JP2017191998A - 操作装置、操作装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】通信ディレイの影響によるユーザ操作のずれを低減することを目的とする。
【解決手段】本発明の操作装置２００は、撮像装置１００を操作可能な操作装置２００であって、撮像装置に対する操作を受け付ける受付手段２０６と、撮像装置１００から受信した画像データを、受付手段２０６で受け付けた操作に基づいて補正して補正画像データを生成する補正手段２０５と、補正画像データを表示する表示手段２０７と、を備えることを特徴とする。
【選択図】図４

Description

本発明は、撮像装置を操作可能な操作装置、操作装置の制御方法、及び、プログラム、並びに、撮像装置と撮像装置を操作可能な操作装置とを備える撮像システムに関する。

従来から、撮像装置と撮像装置を操作する操作装置とを備える撮像システムが知られている。このような撮像システムでは、撮像装置と操作装置との間で、操作命令と画像データとが伝達されて、操作装置により撮像装置を操作できる。すなわち、撮像装置は撮影した画像データを操作装置に送信する。操作装置は、受信した画像データをユーザに提示しながら、ユーザからの撮像装置に対する操作情報を受け付けて、操作命令を撮像装置に送信する（例えば特許文献１）。

特開２００２−２１８４４８号公報

しかしながら、このような撮影システムにおいては、例えば撮像装置と操作装置との間の通信の回線速度、及び、伝送するデータ量に応じて、操作装置と撮像装置との間に通信の遅延（通信ディレイ）が生じることがある。このような通信ディレイが生じると、ユーザが操作装置に表示される画像データを見ながら撮像装置に対する操作を操作装置に入力したとき、入力した操作結果が反映された画像データが操作装置に表示されるまでに、撮像装置の撮影環境が変化することがある。例えばユーザが、操作装置に表示される画像データを参照しながら撮像装置に対するズーム操作を操作装置に入力すると、ズーム量等の操作量が大きすぎたり小さすぎたりすることがある。このため、ユーザが意図した操作を行うことが困難になることがある。

本発明は上記のような点に鑑みてなされたものであり、通信ディレイの影響によるユーザ操作のずれを低減することを目的とする。

本発明の操作装置は、撮像装置を操作可能な操作装置であって、前記撮像装置に対する操作を受け付ける受付手段と、前記撮像装置から受信した画像データを、前記受付手段で受け付けた前記操作に基づいて補正して補正画像データを生成する補正手段と、前記補正画像データを表示する表示手段と、を備えることを特徴とする。

本発明によれば、通信ディレイの影響によるユーザ操作のずれを低減することができる。

撮像システムの構成図である。 撮像装置のブロック図である。 操作装置のブロック図である。 操作装置における操作処理のフローチャートである。 操作装置の操作画面の例を示す図である。 操作装置における補正画像生成処理のフローチャートである。

＜第１実施形態＞
まず、図１を参照して、本実施形態の撮像システム１について説明する。図１は、撮像システム１の構成図である。
撮像システム１は、撮像装置１００と操作装置２００とを備える。
撮像装置１００は、例えば所定の間隔で、ネットワーク通信により、画像情報を操作装置２００に送信する。画像情報には、撮像装置１００が撮影した画像データ、及び、撮影時の撮像装置１００の状態の情報であるカメラ状態情報が含まれる。カメラ状態情報には、カメラパラメータが含まれる。カメラパラメータは、撮像装置１００の主に撮影に関するパラメータであり、例えば、ズーム、フォーカス及び露出のパラメータがある。１つの画像情報に含まれる画像データとカメラ状態情報とは互いに対応する関係にある。なお、カメラパラメータは、撮像パラメータの一例である。

また、撮像装置１００は、操作装置２００からネットワーク通信により受信した操作命令に基づいて、操作命令に対応する処理を実行する。
なお、撮像装置１００は、例えば所定の間隔で、画像データのみを操作装置２００に送信し、操作装置２００からの要求があったときにカメラ状態情報を操作装置２００に送信するようにしてもよい。

操作装置２００は、例えばネットワーク通信により遠隔から撮像装置１００を操作可能であり、撮像装置１００から画像情報を受信し、画像情報に含まれる画像データを表示する。また、操作装置２００は、ユーザ３００による撮像装置１００に対する操作を受け付け、受け付けた操作に対応する操作命令を撮像装置１００に送信する。
ユーザ３００は、操作装置２００に表示される撮像装置１００からの画像データを参照しながら、撮像装置１００に対する操作を操作装置２００に入力して、撮像装置１００を操作できる。

次に、図２を参照して、撮像装置１００について説明する。図２は、撮像装置１００のブロック図である。
レンズ群１０１は、１個以上のレンズ、絞りや減光フィルタにより露出を制御する機構、及び、フォーカスやズーム動作を制御する機構を備える。被写体からの光学像は、レンズ群１０１のレンズを経て、撮像素子１０２上に結像する。
撮像素子１０２は、撮像素子１０２上に結像した光学像を電気信号に変換して、カメラ信号処理部１０３に出力する。この際、撮像素子１０２の蓄積時間の制御により輝度補正が行われる。なお、撮像素子１０２がカメラ信号処理部１０３に出力する信号をカメラ信号と呼ぶ。

カメラ信号処理部１０３は、撮像素子１０２から得られたカメラ信号に対し、ゲイン補正等の輝度補正、ホワイトバランス補正等の色補正、その他の信号処理等を行った上で、ビデオ信号処理部１０４に対して処理されたカメラ信号を出力する。
ビデオ信号処理部１０４は、カメラ信号処理部１０３から得られたカメラ信号に対して符号化処理を施し、記録再生処理部１０５に出力する。また、ビデオ信号処理部１０４は、符号化処理が施されたカメラ信号に対して、この信号に関する情報を付加した上で通信用信号送信処理部１０８に出力する。
記録再生処理部１０５は、符号化処理が施されたカメラ信号を記録に適した形態に変換して、記録媒体１０６に記録する。

記録媒体１０６は、画像データ等を記録する。記録媒体１０６は、制御演算部１１０が実行するプログラムを記録してもよい。なお、制御演算部１１０が実行するプログラムは、不図示のＲＯＭ等に記録されていてもよい。
通信用信号受信処理部１０７は、アンテナ１０９が受信したデータを撮像装置１００の内部で使われる形式又は形態に変換し制御演算部１１０に送る。
通信用信号送信処理部１０８は、アンテナ１０９で送信するデータをアンテナ１０９で送信できる形式又は形態に変換して、アンテナ１０９に送る。アンテナ１０９で送信するデータには、例えば、カメラパラメータを含む上記の画像情報がある。カメラパラメータであるズーム、フォーカス及び露出のパラメータは、それぞれ例えば、ズーム制御部１１３、フォーカス制御部１１２、及び、露出制御部１１１から取得できる。

アンテナ１０９は、撮像装置１００とは別の装置である操作装置２００等から送信されたデータを受信する。
制御演算部１１０は、撮像装置１００を構成する各部の動作の制御、及び、各種の演算を行う。例えば、制御演算部１１０は、通信用信号受信処理部１０７からの情報や、露出制御部１１１、フォーカス制御部１１２、ズーム制御部１１３を含む各ブロックからの情報を読み取り、これらの情報を基に各ブロックの動作を制御する。

露出制御部１１１は、レンズ群１０１に対する露出の制御を行う。露出の制御は、撮像素子１０２からのカメラ信号、カメラ信号処理部１０３からのカメラ信号、及び、制御演算部１１０からの制御の少なくともいずれかに基づいて行われる。
フォーカス制御部１１２は、レンズ群１０１に対するフォーカスの制御を行う。フォーカスの制御は、制御演算部１１０からの制御に基づいて行われる。
ズーム制御部１１３は、レンズ群１０１に対するズームの制御を行う。ズームの制御は、制御演算部１１０からの制御に基づいて行われる。

次に、図３を参照して、操作装置２００について説明する。図３は、操作装置２００のブロック図である。
アンテナ２０１は、操作装置２００とは別の装置である撮像装置１００等から送信されたデータを受信する。アンテナ２０１は、例えば画像情報を受信し、受信した画像情報を通信用信号受信処理部２０３に対して出力する。また、アンテナ２０１は、操作命令等を撮像装置１００等に送信する。

通信用信号送信処理部２０２は、アンテナ２０１で送信するデータをアンテナ２０１で送信できる形式又は形態に変換して、アンテナ２０１に送る。
通信用信号受信処理部２０３は、受信した画像情報を制御演算部２０４へ送るとともに、制御演算部２０４を通じて画像生成部２０５へ送る。
制御演算部２０４は、操作装置２００を構成する各部の動作の制御、及び、各種の演算を行う。制御演算部２０４は、例えば、ユーザ３００から受け付けた撮像装置１００に対する操作の情報、操作装置２００から受信した画像データ、及び、その他の情報を基に、撮像装置１００に対する操作命令を生成して、通信用信号送信処理部２０２に送る。

画像生成部２０５は、制御演算部２０４を介して操作部２０６から取得した撮像装置１００に対する操作の情報、及び、撮像装置１００から受信した画像データに基づいて、受信した画像データに対する補正を行い、補正画像データを生成する。そして、画像生成部２０５は、補正画像データを表示部２０７に送る。ユーザ３００が撮像装置１００に対する操作を行っていないときは、撮像装置１００から受信した画像データを補正せずに、表示部２０７に送る。また、画像生成部２０５は、ユーザ３００が撮像装置１００に対する操作を行うためのＧＵＩ等を生成する。

操作部２０６は、ユーザ３００からの操作を受け付け、その情報を制御演算部２０４へ送る。操作部２０６は、ユーザ３００からの操作装置２００自体に対する操作の他に、ユーザからの撮像装置１００に対する操作を受け付けることができる。ユーザ３００からの撮像装置１００に対する操作には、例えば、ズームの操作、フォーカスの操作、露出補正の操作、カラーバランス補正の操作がある。
表示部２０７は、画像生成部２０５から送られる画像データをユーザ３００に表示する。

次に、図４を参照して、操作装置２００における操作処理について説明する。図４は、操作装置２００における操作処理のフローチャートである。なお、図４では、ユーザ３００は撮像装置１００に対する露出の操作を行う場合を例として説明する。
ユーザ３００は、予め操作画面５０１を操作装置２００に表示させて、操作装置２００に操作処理を開始させる。図５に操作画面５０１の例を示す。操作画面５０１は、操作装置２００の表示部２０７に表示される画面であり、ユーザ３００は、操作画面５０１を操作することで、撮像装置１００に対する操作を入力できる。図５は、撮像装置１００に対する露出の操作を行うための操作画面５０１の例である。
操作画面５０１には、撮像装置１００が撮影した画像データが表示される。ユーザ３００は、この画像データを参照しながら、操作画面５０１を操作して露出の量を入力できる。なお、操作画面５０１に表示される画像データは、操作画面５０１が撮像装置１００から、例えば所定の間隔で受信するものである。以下では、操作画面５０１でユーザ３００が入力した露出の量等の、撮像装置１００の操作に関する量を操作量と呼ぶ。

ステップＳ４０１において、操作装置２００の操作部２０６は、ユーザ３００からの撮像装置１００に対する操作を受け付ける。ここで、操作部２０６は、ユーザ３００からの撮像装置１００に対する操作の種類と操作量とを受け付ける。なお、ステップＳ４０１は、受付手段による処理の一例である。
ステップＳ４０２において、操作装置２００の制御演算部２０４は、ステップＳ４０１で入力された操作量から目標カメラパラメータを算出する。目標カメラパラメータは、ステップＳ４０１で受け付けた撮像装置１００に対する操作の種類と操作量とに対応するカメラパラメータである。なお、目標カメラパラメータは、目標パラメータの一例である。
ステップＳ４０３において、操作装置２００の画像生成部２０５は、補正画像生成処理を行う。補正画像生成処理では、操作装置２００が撮像装置１００から受信した画像データ、及び、撮像装置１００に対する操作の種類と操作量とに基づいて、補正画像データが生成される。補正画像データは、操作装置２００が撮像装置１００から例えば直近に受信した画像データに対して、ステップＳ４０２で算出された目標カメラパラメータが反映された画像データである。補正画像生成処理の詳細は後に説明する。

ステップＳ４０４において、操作装置２００の表示部２０７は、ステップＳ４０３の補正画像生成処理で生成された補正画像データを表示する。
ユーザ３００は、ステップＳ４０４で表示される操作画面５０１を参照して、撮像装置１００に対する操作を続行するか終了するか判断し、判断結果に応じて操作部２０６に対して所定の操作を行う。撮像装置１００に対する操作を終了するときに行う操作部２０６に対する操作は、撮像装置１００への操作命令の送信指示である。

ステップＳ４０５において、制御演算部２０４は、操作部２０６に対するユーザ３００の操作に基づいて、ユーザ３００が撮像装置１００に対する操作の終了を指示したか否かを判断する。制御演算部２０４は、ユーザ３００が撮像装置１００に対する操作の終了を指示したとき処理をステップＳ４０６に進め、指示していないとき処理をステップＳ４０１に戻す。なお、制御演算部２０４は、操作部２０６が一定時間操作されなかったとき、ユーザ３００は撮像装置１００に対する操作の終了の指示をした、と判断してもよい。このとき、操作部２０６が一定時間操作されなかったことが、撮像装置１００への操作命令の送信指示となる。

ステップＳ４０６において、制御演算部２０４は、撮像装置１００に対する操作命令を、通信用信号送信処理部２０２及びアンテナ２０１を介して、撮像装置１００に送信する。撮像装置１００に対する操作命令は、ユーザ３００が入力した撮像装置１００に対する操作、及び、ステップＳ４０２で算出した目標カメラパラメータの少なくともいずれかに基づいて生成される。

次に、図６を参照して、補正画像生成処理について説明する。図６は、操作装置２００における補正画像生成処理のフローチャートである。上記のように、操作装置２００は、例えば所定の間隔で撮像装置１００から画像情報を受信しているものとする。
ステップＳ６０１において、操作装置２００の制御演算部２０４は、撮像装置１００から直近に受信した画像情報に含まれるカメラ状態情報を画像生成部２０５に送る。これにより、操作装置２００の画像生成部２０５はカメラ状態情報に含まれるカメラパラメータを取得する。
ステップＳ６０２において、画像生成部２０５は、図４のステップＳ４０２で算出された目標カメラパラメータを取得する。
ステップＳ６０３において、画像生成部２０５は、ステップＳ６０２で取得した目標カメラパラメータと、ステップＳ６０１で取得したカメラ状態情報に含まれるカメラパラメータとを比較する。

画像生成部２０５は、両者が等しいとき、撮像装置１００から直近に受信した画像データを、補正画像データとすることとして、図６に示す処理を終了する。これは、図４のステップＳ４０１で操作装置２００が受け付けた撮像装置１００に対する操作が、既に撮像装置１００に対して反映されており、操作装置２００は、撮像装置１００に対する操作が反映された画像データを受信している、といえるためである。撮像装置１００から受信した直近の画像データは、図４のステップＳ４０４で表示部２０７が表示する。
画像生成部２０５は、ステップＳ６０２で取得した目標カメラパラメータと、ステップＳ６０１で取得したカメラ状態情報に含まれるカメラパラメータとが異なるとき、処理をステップＳ６０４に進める。
なお、画像生成部２０５は、ステップＳ６０２で取得した目標カメラパラメータと、ステップＳ６０１で取得したカメラ状態情報に含まれるカメラパラメータとの差異が所定の範囲内のとき、両者が等しいと判断してもよい。

ステップＳ６０４において、画像生成部２０５は、現在のフレームで受信したカメラパラメータと、一つ前のフレームで受信したカメラパラメータとの比較を行う。現在のフレームは、撮像装置１００から受信した直近の画像データであり、現在のフレームで受信したカメラパラメータは、この直近の画像データに対応するカメラ状態情報に含まれるカメラパラメータである。また、一つ前のフレームは、撮像装置１００から受信した直近の画像データの一つ前に受信した画像データであり、一つ前のフレームで受信したカメラパラメータは、この一つ前の画像データに対応するカメラ状態情報に含まれるカメラパラメータである。
画像生成部２０５は、現在のフレームで受信したカメラパラメータと、一つ前のフレームで受信したカメラパラメータとが等しいとき、処理をステップＳ６０６に進め、異なるとき処理をステップＳ６０５に進める。
なお、画像生成部２０５は、現在のフレームで受信したカメラパラメータと、一つ前のフレームで受信したカメラパラメータとの差異が所定の範囲内のとき、両者が等しいと判断してもよい。

ステップＳ６０５において、画像生成部２０５は、目標カメラパラメータと、現在のフレームで受信したカメラパラメータとの差分量を算出する。これは、現在のフレームと前のフレームのカメラパラメータが等しくなければ、操作命令の反映途中でカメラパラメータが変化している、又は、自動露出制御等の自動制御によってカメラパラメータが変化していると考えられるためである。なお、ステップＳ６０５で算出される差分量は、例えば制御演算部１１０が備える不図示のメモリ又は記録媒体１０６等に保存される。

ステップＳ６０６において、画像生成部２０５は、ステップＳ６０５で算出されたカメラパラメータの差分量、及び、現在のフレームの画像データに基づいて、補正画像データを生成する。
ステップＳ６０６で使用されるカメラパラメータの差分量は、直近に実行されたステップＳ６０５で算出された値である。例えば、現在のフレーム及び一つ前のフレームのカメラパラメータが異なるときは、現在のフレームのカメラパラメータを用いてステップＳ６０５で算出されたカメラパラメータの差分量がステップＳ６０６で使用される。また、現在のフレーム及び一つ前のフレームのカメラパラメータが等しく、一つ前のフレーム及び二つ前のフレームのカメラパラメータが異なるときは、次の差分量がステップＳ６０６で使用される。すなわち、一つ前のフレームのカメラパラメータを用いてステップＳ６０５で算出されたカメラパラメータの差分量がステップＳ６０６で使用される。

ステップＳ６０６において、画像生成部２０５は、使用するカメラパラメータの差分量に応じて、補正画像データの生成方法を変更する。
本実施形態では、ユーザ３００は露出の操作を行う例について説明しているため、目標カメラパラメータは露出のパラメータである。例えば、目標カメラパラメータのうちの目標アイリス制御値がＦ値４．０であり、現在のフレームのアイリス制御値がＦ５．６であるとする。このとき、目標カメラパラメータと現在のフレームのカメラパラメータとの間にはアイリス制御値について１段分の差分量があるものとして、画像生成部２０５は、１段分の露出補正をかける画像生成方法により、補正画像データを生成する。

そして、次のフレームでアイリス制御値がＦ５．２に変化した場合、目標カメラパラメータと、次のフレームのアイリス制御値との間には３／４段分の差分量がある。このため、画像生成部２０５は、画像生成方法を３／４段分の露出補正をかける画像生成方法に変更して、補正画像データを生成する。

ここでは、露出のパラメータのうちの目標アイリス制御値の例について説明したが、シャッター速度制御値、減光フィルタ制御値、ゲイン制御値等の他の露出のカメラパラメータについても、同様の方法で、露出補正をかける画像生成方法を変更できる。
ステップＳ６０６で生成された補正画像データは表示部２０７に送られて、表示部２０７が表示する。

以上説明したように、操作装置２００は、撮像装置１００から受信した画像データを、操作部２０６で受け付けた撮像装置１００に対する操作に基づいて補正して表示する。したがって、操作装置２００は、通信ディレイが生じる場合であっても、撮像装置１００に対する操作が反映された画像を遅延なく表示することができる。
このため、通信ディレイの影響によるユーザ操作のずれが低減し、通信ディレイによる撮像装置１００に対する操作の遅れをユーザ３００に意識させることがない。また、ユーザ３００は、撮像装置１００に対する操作後の画像を常に閲覧しながら、操作装置２００から撮像装置１００に対する操作を行うことができる。また、ユーザ３００は、撮像装置１００が操作装置２００からの操作命令を反映中であっても、画像の連続性を失うことなく、撮像装置１００に対する操作の結果を常に閲覧できる。

また、操作装置２００は、ユーザ３００から撮像装置１００に対する操作の終了の指示を受けたとき、撮像装置１００に操作命令を送信する。したがって、ユーザ３００が撮像装置１００に対する操作を行うたびに操作命令が撮像装置１００に送信される、ということがないため、通信量を削減できる。
また、操作装置２００は、補正画像データを生成するときに使用するカメラパラメータの差分量には、現在のフレーム及び一つ前のフレームのカメラパラメータが等しいときは、以前に算出されたカメラパラメータの差分量が使われる。したがって、カメラパラメータの差分量を常に算出する必要がなく、操作装置２００の処理負荷が軽減される。

本実施形態では、図４のステップＳ４０２において、ユーザ３００が入力した操作量から操作装置２００が目標カメラパラメータを算出する。しかし、目標カメラパラメータの算出は撮像装置１００が行ってもよい。このとき、操作装置２００は、ユーザ３００が入力した操作量を撮像装置１００に送信する。撮像装置１００は、受信した操作量から目標カメラパラメータを算出して、操作装置２００に送信する。また、操作装置２００は、撮像装置１００への操作命令に、操作命令に対応するカメラパラメータを含んだカメラ状態情報を用いてもよい。

また、操作装置２００は、図４のステップＳ４０４で表示部２０７が表示する補正画像データに対して、操作装置２００の内部に記録できる形式に再エンコード処理を施して、操作装置２００が備える不図示の記録媒体や記録装置等に記録して保存してもよい。

＜第２実施形態＞
第１実施形態では、ユーザ３００が撮像装置１００に対する露出の操作を行う場合の例を説明した。本実施形態では、ユーザ３００が撮像装置１００に対するズームの操作を行う場合の例について説明する。なお、本実施形態の撮像システム１は、第１実施形態の撮像システム１と、図６のステップＳ６０６における補正画像データの生成方法以外は同様であるため、ここでは、本実施形態のステップＳ６０６の補正画像データの生成方法について説明する。

ステップＳ６０６において、画像生成部２０５は、使用するカメラパラメータの差分量に応じて、補正画像データの生成方法を変更する。
本実施形態では目標カメラパラメータはズームのパラメータである。目標カメラパラメータのうちの目標ズーム制御値が倍率４．０倍であり、現在のフレームのズーム制御値が倍率２．０であるとする。このとき、目標カメラパラメータと現在のフレームのカメラパラメータとの間にはズーム制御値について２倍分の差分量がある。このため、画像生成部２０５は、２倍分の拡大補正をかける画像生成方法により、補正画像データを生成する。この画像生成方法により、画像データに対して２倍の拡大補正処理がかけられる。

そして、次のフレームでズーム制御値が３倍に変化した場合、目標カメラパラメータと、次のフレームの目標ズーム制御との間には１．３３３倍分の差分量がある。このため、画像生成部２０５は、画像生成方法を１．３３３倍分の拡大補正処理をかける画像生成方法に変更して、補正画像データを生成する。

次に、目標ズーム制御値が現在のフレームのズーム制御値より小さい場合について説明する。例えば、目標ズーム制御値が倍率２．０倍であり、現在のフレームのズーム制御値が倍率４．０であるとする。このとき、目標カメラパラメータと現在のフレームのカメラパラメータとの間にはズーム制御値について１／２倍分の差分量がある。このため、画像生成部２０５は、１／２倍分の縮小補正をかける画像生成方法により、補正画像データを生成する。この画像生成方法により、画像データに対して１／２倍の縮小補正処理がかけられる。この例では縮小処理を行うので、縮小前の画像サイズに対して縮小後の画素数が足りなくなるが、足りない画素部分については例えば黒画素で補填する。

そして、次のフレームでズーム制御値が３．０倍に変化した場合、目標カメラパラメータと、次のフレームのズーム制御との間には３／４倍分の差分量がある。このため、画像生成部２０５は、画像生成方法を３／４倍分の縮小補正処理をかける画像生成方法に変更して、補正画像データを生成する。この場合も縮小処理を行うので、縮小前の画像サイズに対して縮小後の画素数が足りなくなるが、足りない画素部分については例えば黒画素で補填する。なお、本実施形態の画像生成方法には、拡大補正処理及び縮小補正処理が使われるが、これらはズーム補正シミュレーションと呼ぶことができる。

＜第３実施形態＞
本実施形態では、ユーザ３００が撮像装置１００に対するフォーカス補正の操作を行う場合の例について説明する。なお、本実施形態の撮像システム１は、第１実施形態の撮像システム１と、図６のステップＳ６０６における補正画像データの生成方法以外は同様であるため、ここでは、本実施形態のステップＳ６０６の補正画像データの生成方法について説明する。

ステップＳ６０６において、画像生成部２０５は、使用するカメラパラメータの差分量に応じて、補正画像データの生成方法を変更する。
本実施形態では目標カメラパラメータはフォーカス補正のパラメータである。目標カメラパラメータのうちの目標被写体距離が５０ｃｍであり、現在のフレームの被写体距離が７０ｃｍであるとする。このとき、目標カメラパラメータと現在のフレームのカメラパラメータとの間には被写体距離について２０ｃｍ分の差分量がある。このため、画像生成部２０５は、２０ｃｍ分のフォーカス変更処理を行う画像生成方法により、補正画像データを生成する。

そして、次のフレームで被写体距離が６０ｃｍに変化した場合、目標カメラパラメータと、次のフレームのズーム制御との間には１０ｃｍ分の差分量がある。このため、画像生成部２０５は、画像生成方法を差分量１０ｃｍ分のフォーカス変更処理を行う画像生成方法に変更して、補正画像データを生成する。なお、本実施形態の画像生成方法にはフォーカス変更処理が使われるが、フォーカス変更処理は画像処理シミュレーションの１つということができる。

＜第４実施形態＞
本実施形態では、ユーザ３００が撮像装置１００に対するカラーバランス補正の操作を行う場合の例について説明する。なお、本実施形態の撮像システム１は、第１実施形態の撮像システム１と、図６のステップＳ６０６における補正画像データの生成方法以外は同様であるため、ここでは、本実施形態のステップＳ６０６の補正画像データの生成方法について説明する。

ステップＳ６０６において、画像生成部２０５は、使用するカメラパラメータの差分量に応じて、補正画像データの生成方法を変更する。
本実施形態では目標カメラパラメータはカラーバランス補正のパラメータである。目標カメラパラメータのうちの目標色温度が５０００Ｋであり、現在のフレームの色温度が４５００Ｋであるとする。このとき、目標カメラパラメータと現在のフレームのカメラパラメータとの間には色温度について５００Ｋ分の差分量があるものとして、画像生成部２０５は、５００Ｋ分の色温度補正を行う画像生成方法により、補正画像データを生成する。

そして、次のフレームで色温度が４７００Ｋに変化した場合、目標カメラパラメータと、次のフレームのズーム制御との間には３００Ｋ分の差分量がある。このため、画像生成部２０５は、画像生成方法を差分量３００Ｋ分の色温度変更処理を行う画像生成方法に変更して、補正画像データを生成する。

＜その他の実施形態＞
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 撮像システム、１００ 撮像装置、２００ 操作装置、２０４ 制御演算部、２０５ 画像生成部、２０７ 表示部

Claims (9)

1. 撮像装置を操作可能な操作装置であって、
   前記撮像装置に対する操作を受け付ける受付手段と、
   前記撮像装置から受信した画像データを、前記受付手段で受け付けた前記操作に基づいて補正して補正画像データを生成する補正手段と、
   前記補正画像データを表示する表示手段と、を備えることを特徴とする操作装置。
2. 前記受付手段は、さらに、前記撮像装置に対する前記操作の送信指示を受け付け、
   前記受付手段が前記送信指示を受け付けたとき、前記受付手段が受け付けた前記撮像装置に対する前記操作の操作命令を前記撮像装置に送信する送信手段をさらに備えることを特徴とする請求項１に記載の操作装置。
3. 前記撮像装置に対する前記操作は、ズームの操作、露出の操作、フォーカスの操作、及び、カラーバランス補正の操作の少なくともいずれかであることを特徴とする請求項１又は２に記載の操作装置。
4. 前記補正手段は、前記操作に対応するパラメータである目標パラメータと、前記撮像装置から受信した前記画像データの前記操作に対応するパラメータである撮像パラメータとに基づいて、前記撮像装置から受信した前記画像データを補正して前記補正画像データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の操作装置。
5. 前記目標パラメータと前記撮像パラメータとの差分量を算出する算出手段をさらに備え、
   前記補正手段は、前記算出手段が算出した前記差分量に基づいて、前記撮像装置から受信した前記画像データを補正して前記補正画像データを生成することを特徴とする請求項４に記載の操作装置。
6. 前記算出手段は、直近に受信した第１画像データの前記撮像パラメータと前記第１画像データの前に受信した第２画像データの前記撮像パラメータとの差異が所定の範囲内のとき、前記目標パラメータと前記第１画像データの前記撮像パラメータとの前記差分量の算出を行わず、前記第１画像データの前記撮像パラメータと前記第２画像データの前記撮像パラメータとの差異が前記所定の範囲内ではないとき、前記目標パラメータと前記第１画像データの前記撮像パラメータとの前記差分量の算出を行い、
   前記補正手段は、前記算出手段が直近に算出した前記差分量に基づいて、前記第１画像データを補正して前記補正画像データを生成することを特徴とする請求項５に記載の操作装置。
7. 画像データを生成する撮像装置と、前記撮像装置を操作可能な操作装置とを備える撮像システムであって、
   前記撮像装置は、
   光学像から電気信号を生成する撮像手段と、
   前記撮像手段で生成された電気信号に基づく前記画像データを前記撮像装置に送信する送信手段と、を備え、
   前記操作装置は、
   前記撮像装置に対する操作を受け付ける受付手段と、
   前記撮像装置から受信した前記画像データを、前記受付手段で受け付けた前記操作に基づいて補正して補正画像データを生成する補正手段と、
   前記補正画像データを表示する表示手段と、を備えることを特徴とする撮像システム。
8. ユーザから受け付けた撮像装置に対する操作に基づいて前記撮像装置から受信した画像データを補正して表示することを特徴とする、前記撮像装置を操作可能な操作装置の制御方法。
9. 撮像装置を操作可能な操作装置を制御するためのプログラムであって、
   前記撮像装置に対する操作を受け付ける受付ステップと、
   前記撮像装置から受信した画像データを、前記受付ステップで受け付けた前記操作に基づいて補正して補正画像データを生成する補正ステップと、
   前記補正画像データを表示する表示ステップと、をコンピュータに実行させるためのプログラム。

Images