JP2009081495A - 撮像システム - Google Patents

Abstract

【課題】カメラの演算量を低減することができる撮像システムを提供する。
【解決手段】カメラの受信部１０９は、スコープから見た物体の相対位置情報をスコープから受信する。制御部１０７は、測距センサ１１１およびジャイロセンサ１１２の検出結果に基づいて、カメラから見た物体の相対位置情報を生成する。演算部１１３は、スコープから見た相対位置情報と、カメラから見た相対位置情報とに基づいて変換式を算出し、スコープから見た被写体の相対位置情報を、変換式により、カメラから見た被写体の相対位置情報に変換する。制御部１０７は、変換後の相対位置情報を雲台制御部１１４へ出力する。雲台制御部１１４は、変換後の相対位置情報に基づいて、カメラが被写体を向くように、カメラの向きを制御する。
【選択図】図１

Description

本発明は、遠隔操作によりカメラを制御する撮像システムに関する。

カメラを遠隔操作することが可能なシステムが開示されている。例えば、特許文献１には、１人の撮影者が操作する１台のカメラに連動して複数のカメラが撮影を行う撮像システムが記載されている。この撮像システムでは、システム全体で共通化された座標系が定義され、各カメラが座標変換を実行する。
特開２００５−１６７７９９号公報

しかし、特許文献１に記載された撮像システムでは、全てのカメラの座標系を共通にするための複雑な演算が必要となる。

本発明は、上述した課題に鑑みてなされたものであって、カメラの演算量を低減することができる撮像システムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、カメラと、前記カメラを遠隔操作するための操作装置とを備えた撮像システムであって、前記操作装置は、前記カメラと通信する第１の通信部（図２の受信部２０４、送信部２１５に対応）と、前記操作装置から見た物体の相対位置を検出する第１の相対位置検出部（図２の測距センサ２１２、ジャイロセンサ２１３に対応）と、前記第１の相対位置検出部の検出結果に基づく相対位置情報を前記カメラへ送信するように前記第１の通信部を制御する制御部（図２の制御部２０２に対応）とを有し、前記カメラは、前記操作装置と通信する第２の通信部（図１の受信部１０９、送信部１１５に対応）と、前記カメラから見た物体の相対位置を検出する第２の相対位置検出部（図１の測距センサ１１１、ジャイロセンサ１１２に対応）と、前記第２の通信部によって受信された相対位置情報と、前記第２の相対位置検出部の検出結果に基づく相対位置情報とに基づいて変換式を算出する変換式算出部（図１の演算部１１３に対応）と、前記操作装置から見た被写体の相対位置情報を、前記変換式により、前記カメラから見た前記被写体の相対位置情報に変換する被写体位置演算部（図１の演算部１１３に対応）と、前記操作装置から相対位置情報を受信するように前記第２の通信部を制御し、前記カメラから見た前記被写体の相対位置情報に基づいて前記カメラの向きを制御する第２の制御部（図１の制御部１０７、雲台制御部１１４に対応）とを有することを特徴とする撮像システムである。

また、本発明の撮像システムにおいて、前記変換式算出部は、前記操作装置から見た特定物の相対位置情報と、前記操作装置から見た前記カメラの相対位置情報と、前記カメラから見た前記特定物の相対位置情報とに基づいて前記変換式を算出することを特徴とする。

また、本発明の撮像システムにおいて、前記変換式算出部は、前記操作装置から見た前記カメラの相対位置情報と、前記カメラから見た前記操作装置の相対位置情報とに基づいて前記変換式を算出することを特徴とする。

また、本発明の撮像システムにおいて、前記カメラはさらに、前記被写体を撮像して得られた画像データに基づいて前記被写体を追尾する追尾部（図１の画像処理部１０３、制御部１０７に対応）を有し、前記追尾部が前記被写体を追尾することが可能な間は前記被写体の撮像が可能であることを特徴とする。

また、本発明の撮像システムにおいて、前記被写体位置演算部はさらに、前記カメラから見た前記被写体の複数時刻での相対位置情報に基づいて、所定時刻における前記被写体の予測位置を算出し、前記第２の制御部はさらに、前記被写体の予測位置に基づいて前記カメラの向きを制御することを特徴とする。

また、本発明の撮像システムにおいて、前記操作装置はさらに、前記カメラが捕捉している被写体を示す付加情報と前記被写体の像とを表示する表示部（図２の表示部２１０に対応）を有し、前記被写体位置演算部はさらに、前記カメラから見た前記被写体の相対位置情報を、前記変換式に基づいて、前記操作装置から見た前記被写体の相対位置情報に逆変換し、前記第２の制御部はさらに、逆変換された前記被写体の相対位置情報を前記操作装置へ送信するように前記第２の通信部を制御し、前記第１の制御部はさらに、逆変換された前記被写体の相対位置情報を前記カメラから受信するように前記第１の通信部を制御し、逆変換された前記被写体の相対位置情報に基づいて、前記付加情報の表示を制御することを特徴とする。

上記において、括弧で括った部分の記述は、後述する本発明の実施形態と本発明の構成要素とを便宜的に対応付けるためのものであり、この記述によって本発明の内容が限定されるわけではない。

本発明によれば、操作装置から見た被写体の相対位置情報を、カメラから見た被写体の相対位置情報に変換し、変換後の相対位置情報に基づいてカメラの向きを制御するので、操作装置とカメラの座標系を共通にする必要がなく、被写体の位置を演算するためのカメラの演算量を低減することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。本実施形態による撮像システムは、カメラと、操作者がカメラを遠隔操作するためのスコープとによって構成されている。カメラとスコープは別々の座標系を有しており、スコープから見た特定物の相対位置情報と、カメラから見た特定物の相対位置情報との対応関係を予め求めておくことで、スコープから見た被写体の相対位置情報を、カメラから見た被写体の相対位置情報に変換し、その相対位置情報に基づいてカメラの向き（撮影方向）を制御することが可能となる。したがって、操作者がスコープを操作し、スコープから見た被写体の相対位置情報をカメラに通知することで、操作者はカメラから離れた位置にいてもカメラで被写体を撮像することが可能となる。

図１は、本実施形態によるカメラの構成を示している。このカメラは、レンズ１０１、撮像部１０２、画像処理部１０３、表示部１０４、画像記録部１０５、記憶部１０６、制御部１０７、操作部１０８、受信部１０９、レンズ１１０、測距センサ１１１、ジャイロセンサ１１２、演算部１１３、雲台制御部１１４、および送信部１１５を有している。

レンズ１０１は、入射した光を撮像部１０２に結像する。また、レンズ１０１はフォーカスレンズやズームレンズを備えており、フォーカスやズームを変更することが可能である。撮像部１０２は撮像素子を有しており、レンズ１０１によって結像された光学像を光電変換により電気信号に変換し画像信号として出力する。画像処理部１０３は、撮像部１０２から出力された画像信号を処理し、画像データを生成する。表示部１０４は、画像データに基づく画像やメニューを表示する。画像記録部１０５は、撮影により生成された画像データを記録する。

記憶部１０６は、カメラ内で処理される各種情報を記憶する。制御部１０７はカメラ内の各部を制御する。操作部１０８は、操作者が操作するボタン等を有しており、ボタン等の操作内容に基づいた信号を出力する。受信部１０９は、スコープから無線通信により送信される情報を受信する。

レンズ１１０は、入射した光を測距センサ１１１に結像する。測距センサ１１１はカメラのフォーカス位置すなわち被写体距離を検出する。ジャイロセンサ１１２はカメラの方向を検出する。被写体距離とカメラの方向とから、カメラから見た物体の相対位置を検出することが可能となる。演算部１１３は、測距センサ１１１およびジャイロセンサ１１２の検出結果に基づいて、カメラから見た物体の相対位置情報を演算したり、相対位置情報の変換に用いる変換式を演算したり、変換式を用いて相対位置情報の座標変換を行ったりする。

雲台制御部１１４は、図示せぬ雲台の駆動を制御する。カメラは雲台上に取り付けられており、雲台の駆動を制御することによって、カメラの向きを制御することが可能となる。送信部１１５は、無線通信によりスコープへ情報を送信する。上記の画像処理部１０３、制御部１０７、および演算部１１３をそれぞれハードウェアとして実現してもよいし、各部の機能をソフトウェア処理により実現してもよい。

図２は、本実施形態によるスコープの構成を示している。このスコープは、記憶部２０１、制御部２０２、操作部２０３、受信部２０４、レンズ２０５、撮像部２０６、画像処理部２０７、重畳画像生成部２０８、画像合成部２０９、表示部２１０、レンズ２１１、測距センサ２１２、ジャイロセンサ２１３、演算部２１４、および送信部２１５を有している。

記憶部２０１は、スコープ内で処理される各種情報を記憶する。制御部２０２はスコープ内の各部を制御する。操作部２０３は、操作者が操作するボタン等を有しており、ボタン等の操作内容に基づいた信号を出力する。受信部２０４は、カメラから無線通信により送信される情報を受信する。

レンズ２０５は、入射した光を撮像部２０６に結像する。撮像部２０６は撮像素子を有しており、レンズ２０５によって結像された光学像を光電変換により電気信号に変換し画像信号として出力する。画像処理部２０７は、撮像部２０６から出力された画像信号を処理し、画像データを生成する。重畳画像生成部２０８は、撮像画像に重畳するコンピュータグラフィック画像データ（以下、ＣＧ画像データとする）を生成する。画像合成部２０９は、画像処理部２０７によって処理された画像データと、重畳画像生成部２０８によって生成されたＣＧ画像データとを合成し、合成画像データを生成する。表示部２１０は、合成画像データに基づく画像やメニューを表示する。

レンズ２１１は、入射した光を測距センサ２１２に結像する。測距センサ２１２はスコープのフォーカス位置すなわち被写体距離を検出する。ジャイロセンサ２１３はスコープの方向を検出する。被写体距離とスコープの方向とから、スコープから見た物体の相対位置を検出することが可能となる。演算部２１４は、測距センサ２１２およびジャイロセンサ２１３の検出結果に基づいて、スコープから見た物体の相対位置情報を演算する。送信部２１５は、無線通信によりカメラへ情報を送信する。上記の制御部２０２、画像処理部２０７、および演算部２１４をそれぞれハードウェアとして実現してもよいし、各部の機能をソフトウェア処理により実現してもよい。

次に、本実施形態による撮像システムの動作を説明する。まず、図３を参照しながらスコープの概略動作を説明する。スコープが起動すると、後述する初期化処理が実行される（ステップＡ）。この初期化処理は、カメラ側で相対位置情報の座標変換を行うための変換式を算出するために必要な情報の処理である。続いて、表示部２１０に表示されるメニューに基づいて、操作者が操作部２０３を操作し、スコープの動作を選択する（ステップＢ）。制御部２０２は、操作部２０３から出力される信号に基づいて操作内容を判断する（ステップＣ）。

ステップＢで選択可能なスコープの動作は、図３においては、被写体位置通知、撮影、調整、電源ＯＦＦである。被写体位置通知が選択された場合、スコープから見た被写体の相対位置情報をカメラへ送信する被写体位置通知処理が実行される（ステップＤ）。また、撮影が選択された場合、カメラに対する撮影要求を示す撮影要求情報をカメラへ送信する撮影処理が実行される（ステップＥ）。また、調整が選択された場合、カメラの動作を調整するために必要な情報を処理する調整処理が実行される（ステップＦ）。

また、電源ＯＦＦが選択された場合、カメラの電源をＯＦＦにする電源ＯＦＦ処理が実行される（ステップＧ）。被写体位置通知処理、撮影処理、および調整処理の後には、処理結果を示す処理結果情報が受信部２０４によって受信され、処理結果情報に基づく処理結果が表示部２１０に表示される（ステップＨ）。この後、処理はステップＢに戻る。

次に、図４を参照しながらカメラの概略動作を説明する。カメラが起動すると、後述する初期化処理が実行される（ステップＩ）。この初期化処理は、相対位置情報の変換式を算出する処理である。続いて、制御部１０７は、カメラの動作状態を判断し（ステップＪ）、動作状態に応じて、被写体捕捉処理（ステップＫ）、撮影処理（ステップＬ）、タイムアウト処理（ステップＭ）、調整処理（ステップＮ）、電源ＯＦＦ処理（ステップＯ）のいずれかを実行する。

被写体捕捉処理は、被写体の相対位置情報に基づいて被写体にフォーカスを合わせる処理である。撮影処理は、スコープからの撮影要求情報に基づいて撮影を実行する処理である。タイムアウト処理は、スコープからの操作要求が所定時間以上行われなかった場合に実行される処理である。調整処理は、カメラの動作を調整する処理である。電源ＯＦＦ処理は、カメラの電源をＯＦＦにする処理である。

被写体捕捉処理、撮影処理、タイムアウト処理、および調整処理の後、処理結果を示す処理結果情報が送信部１１５からスコープへ送信される（ステップＰ）。続いて、被写体を追尾する追尾処理が実行される（ステップＱ）。

次に、上述した各処理の具体的な内容を説明する。まず、スコープとカメラで実行される初期化処理の内容を説明する。初期化処理の実行により、カメラにおいて相対位置情報の変換式が算出される。図５はスコープとカメラの位置関係を示している。図示していないが、操作者５０はスコープを保持している。スコープの座標系５４とカメラ５１の座標系５５は互いに独立している。

図中のベクトルＶ１〜Ｖ５は、スコープの座標系５４で表現されるベクトルを示している。ベクトルＶ１は、カメラ５１の位置を始点とし特定の固定被写体５２の位置を終点とするベクトルである。ベクトルＶ２は、スコープの位置を始点とし固定被写体５２の位置を終点とするベクトルである。ベクトルＶ３は、スコープの位置を始点としカメラ５１の位置を終点とするベクトルである。ベクトルＶ４は、スコープの位置を始点とし撮影対象の被写体５３の位置を終点とするベクトルである。ベクトルＶ５は、カメラ５１の位置を始点とし被写体５３の位置を終点とするベクトルである。ベクトルＶ１〜Ｖ５と同様に、カメラ５１の座標系５５で表現されるベクトルＶ１’〜Ｖ５’も定義されるものとする。

ベクトルＶ１，Ｖ２，Ｖ３の間には、Ｖ１＝Ｖ２−Ｖ３という関係がある。スコープはベクトルＶ２，Ｖ３の情報を相対位置情報としてカメラ５１へ送信する。カメラ５１は、ベクトルＶ２，Ｖ３の情報からベクトルＶ１を算出する。カメラ５１は、自身から固定被写体５２を見たときのベクトルＶ１’とベクトルＶ１を比較し変換式Ｆを算出する。ベクトルＶ１，Ｖ１’は、変換式Ｆによって、Ｖ１’＝Ｆ（Ｖ１）という対応関係を有している。例えば、Ｖ１＝（ａ，ｂ，ｃ）、Ｖ１’＝（ｄ，ｅ，ｆ）であるとき、Ｘ，Ｙ，Ｚの各座標に乗ずる係数をＫａ，Ｋｂ，Ｋｃとすると、変換式Ｆを構成する各係数はＫａ＝ｄ／ａ，Ｋｂ＝ｅ／ｂ，Ｋｃ＝ｆ／ｃとなる。

続いて、スコープは、撮影対象の被写体５３に係るベクトルＶ４の情報をカメラ５１へ送信する。以下の（１）式が示すように、ベクトルＶ３，Ｖ４の情報と変換式Ｆを用いることにより、カメラ５１から見た被写体５３のベクトルＶ５’を算出することができる。したがって、カメラ５１から被写体５３を捕捉することが可能となる。
Ｖ５’＝Ｆ（Ｖ５）＝Ｆ（Ｖ４−Ｖ３） ・・・（１）

以下、図６および図７を参照しながら、スコープとカメラの初期化処理の詳細な手順を説明する。図６は、スコープが実行する初期化処理の手順を示している。まず、スコープを固定被写体へ向けることを促すようなメッセージ等が表示部２１０に表示される。表示部２１０の表示を確認した操作者によってスコープが固定被写体へ向けられ、固定被写体にフォーカスが合わせられる（ステップＡ１００）。制御部２０２は、測距センサ２１２およびジャイロセンサ２１３の検出結果を演算部２１４へ出力する。演算部２１４は、スコープから見た固定被写体の相対位置（座標）を算出し、固定被写体の相対位置情報（前述したベクトルＶ２の情報）を生成する（ステップＡ１０１）。

演算部２１４は固定被写体の相対位置情報を制御部２０２へ出力する。制御部２０２は固定被写体の相対位置情報を記憶部２０１に格納すると共に送信部２１５へ出力し、カメラへ相対位置情報を送信するように送信部２１５を制御する（ステップＡ１０２）。この後、相対位置情報を受信したことを示す受信通知情報がカメラから受信されなかった場合（ステップＡ１０３でＮＯの場合）には、固定被写体の相対位置情報を再取得する旨のメッセージ等が表示部２１０に表示され、処理がステップＡ１００に戻る。

また、受信通知情報がカメラから受信された場合（ステップＡ１０３でＹＥＳの場合）には、スコープをカメラへ向けることを促すようなメッセージ等が表示部２１０に表示される。表示部２１０の表示を確認した操作者によってスコープがカメラへ向けられ、カメラにフォーカスが合わせられる（ステップＡ１０４）。ステップＡ１０１と同様にして演算部２１４は、スコープから見たカメラの相対位置（座標）を算出し、カメラの相対位置情報（前述したベクトルＶ３の情報）を生成する（ステップＡ１０５）。

続いて、ステップＡ１０２と同様にして、カメラの相対位置情報がカメラへ送信される（ステップＡ１０６）。この後、初期化処理が完了したことを示す初期化完了通知情報がカメラから受信された場合（ステップＡ１０７でＹＥＳの場合）には、初期化処理が終了する。また、カメラから初期化完了通知情報が受信されなかった場合（ステップＡ１０７でＮＯの場合）には、カメラの相対位置情報を再取得する旨のメッセージ等が表示部２１０に表示され、処理がステップＡ１０４に戻る。

図７は、カメラが実行する初期化処理の手順を示している。初期化処理に先立って、操作者はカメラを固定被写体の方向へ向けておき、固定被写体にフォーカスを合わせておく。初期化処理が開始すると、制御部１０７は、測距センサ１１１およびジャイロセンサ１１２の検出結果を演算部１１３へ出力する。演算部１１３は、カメラから見た固定被写体の相対位置（座標）を算出し、固定被写体の相対位置情報（前述したベクトルＶ１’の情報）を生成する。固定被写体の相対位置情報は制御部１０７へ出力され、制御部１０７によって記憶部１０６に格納される（ステップＩ１００）。

続いて、カメラは、固定被写体の相対位置情報をスコープから受信するための待機状態となる（ステップＩ１０１）。固定被写体の相対位置情報をスコープから受信していない場合（ステップＩ１０２でＮＯの場合）には、処理はステップＩ１０１に戻る。また、固定被写体の相対位置情報をスコープから受信した場合（ステップＩ１０２でＹＥＳの場合）には、制御部１０７は、受信部１０９から出力された固定被写体の相対位置情報を記憶部１０６に格納する。さらに、制御部１０７は、固定被写体の相対位置情報を受信したことを示す受信通知情報を送信部１１５へ出力し、スコープへその受信通知情報を送信するように送信部１１５を制御する（ステップＩ１０３）。

続いて、カメラは、カメラの相対位置情報をスコープから受信するための待機状態となる（ステップＩ１０４）。カメラの相対位置情報をスコープから受信していない場合（ステップＩ１０５でＮＯの場合）には、処理はステップＩ１０４に戻る。また、カメラの相対位置情報をスコープから受信した場合（ステップＩ１０５でＹＥＳの場合）には、制御部１０７は、受信部１０９から出力されたカメラの相対位置情報を記憶部１０６に格納すると共に演算部１１３へ出力する。さらに、制御部１０７は、スコープから見た固定被写体の相対位置情報と、カメラから見た固定被写体の相対位置情報とを記憶部１０６から読み出して演算部１１３へ出力する。演算部１１３は、上記の相対位置情報に基づいて、前述した変換式Ｆを算出する（ステップＩ１０６）。

演算部１１３によって算出された変換式Ｆの情報は制御部１０７へ出力され、制御部１０７によって記憶部１０６に格納される。これ以降、変換式Ｆの情報は適宜記憶部１０６から読み出されて演算部１１３へ出力される。初期化処理が完了したことを示す初期化完了通知情報をカメラがスコープへ送信する（ステップＩ１０７）と、初期化処理が終了する。

図８は、スコープの表示部２１０に表示される画像を示している。撮像により取得した画像８０にメニュー画面８１が重ねて表示される。画像８０の中心にはマーカ８２が表示されている。まず、図８（ａ）に示すように、メニュー画面８１に表示されるメッセージに従って、操作者はスコープを固定被写体に向け、画像８０内のマーカ８２を固定被写体８３に合わせる。この状態で、スコープは固体被写体８３の相対位置情報を取得し、カメラへ送信する。

続いて、図８（ｂ）に示すように、メニュー画面８１に表示されるメッセージに従って、操作者はスコープをカメラに向け、画像８０内のマーカ８２をカメラ８４に合わせる。この状態で、スコープはカメラの相対位置情報を取得し、カメラへ送信する。カメラから初期化処理の完了が通知されると、図８（ｃ）に示すように、初期化処理が完了したことを示すメッセージがメニュー画面８１に表示される。

次に、初期化処理の別の手順を説明する。図９はスコープとカメラの位置関係を示している。図５と比較すると、図９では固定被写体が存在しない。図示していないが、操作者９０はスコープを保持している。また、スコープの座標系９３とカメラ９１の座標系９４は互いに独立している。図中のベクトルＶ３，Ｖ４，Ｖ５は、スコープの座標系で表現されるベクトルであり、各ベクトルの意味は図５のベクトルＶ３，Ｖ４，Ｖ５とそれぞれ同様である。また、ベクトルＶ３，Ｖ４，Ｖ５と同様に、カメラ９１の座標系９４で表現されるベクトルＶ３’，Ｖ４’，Ｖ５’も定義されるものとする。

スコープはベクトルＶ３の情報を相対位置情報としてカメラ９１へ送信する。カメラ９１はベクトルＶ３’とベクトルＶ３を比較し変換式Ｆを算出する。ベクトルＶ３，Ｖ３’は、変換式Ｆによって、Ｖ３’＝Ｆ（Ｖ３）という対応関係を有している。続いて、スコープは、撮影対象の被写体９２に係るベクトルＶ４の情報をカメラ９１へ送信する。これ以降、前述した初期化処理と同様にして、カメラ９１から見た被写体９２のベクトルＶ５’を算出し、カメラ９１から被写体９２を捕捉することが可能となる。

以下、図１０および図１１を参照しながら、スコープとカメラの初期化処理の詳細な手順を説明する。図１０は、スコープが実行する初期化処理の手順を示している。まず、スコープをカメラへ向けることを促すようなメッセージ等が表示部２１０に表示される。表示部２１０の表示を確認した操作者によってスコープがカメラへ向けられ、カメラにフォーカスが合わせられる（ステップＡ１２０）。制御部２０２は、測距センサ２１２およびジャイロセンサ２１３の検出結果を演算部２１４へ出力する。演算部２１４は、スコープから見たカメラの相対位置（座標）を算出し、カメラの相対位置情報（前述したベクトルＶ３の情報）を生成する（ステップＡ１２１）。

演算部２１４はカメラの相対位置情報を制御部２０２へ出力する。制御部２０２はカメラの相対位置情報を記憶部２０１に格納すると共に送信部２１５へ出力し、カメラへその相対位置情報を送信するように送信部２１５を制御する（ステップＡ１２２）。この後、初期化処理が完了したことを示す初期化完了通知情報がカメラから受信された場合（ステップＡ１２３でＹＥＳの場合）には、初期化処理が終了する。また、カメラから初期化完了通知情報が受信されなかった場合（ステップＡ１２３でＮＯの場合）には、カメラの相対位置情報を再取得する旨のメッセージ等が表示部２１０に表示され、処理がステップＡ１２０に戻る。

図１１は、カメラが実行する初期化処理の手順を示している。初期化処理に先立って、操作者は、スコープを持って撮影を行う予定の地点へカメラを向けておき、その地点にフォーカスを合わせておく。初期化処理が開始すると、制御部１０７は、測距センサ１１１およびジャイロセンサ１１２の検出結果を演算部１１３へ出力する。演算部１１３は、カメラから見たスコープの相対位置（座標）を算出し、スコープの相対位置情報（前述したベクトルＶ３’の反対向きのベクトル−Ｖ３’の情報）を生成する。スコープの相対位置情報は制御部１０７へ出力され、制御部１０７によって記憶部１０６に格納される（ステップＩ１２０）。

続いて、カメラは、カメラの相対位置情報をスコープから受信するための待機状態となる（ステップＩ１２１）。カメラの相対位置情報をスコープから受信していない場合（ステップＩ１２２でＮＯの場合）には、処理はステップＩ１２１に戻る。また、カメラの相対位置情報をスコープから受信した場合（ステップＩ１２２でＹＥＳの場合）には、制御部１０７は、受信部１０９から出力されたカメラの相対位置情報を記憶部１０６に格納すると共に演算部１１３へ出力する。さらに、制御部１０７は、スコープから見たカメラの相対位置情報を記憶部１０６から読み出して演算部１１３へ出力する。演算部１１３は、上記の相対位置情報に基づいて、前述した変換式Ｆを算出する（ステップＩ１２３）。

演算部１１３によって算出された変換式Ｆの情報は制御部１０７へ出力され、制御部１０７によって記憶部１０６に格納される。これ以降、変換式Ｆの情報は適宜記憶部１０６から読み出されて演算部１１３へ出力される。初期化処理が完了したことを通知する初期化完了通知情報をカメラがスコープへ送信する（ステップＩ１２４）と、初期化処理が終了する。

次に、撮影対象の被写体を撮影するときのスコープとカメラの動作を説明する。被写体を撮影するとき、まずスコープは、スコープから見た被写体の相対位置情報をカメラに通知する被写体位置通知処理（図３のステップＤ）を実行する。図１２は、スコープが実行する被写体位置通知処理の手順を示している。以下、図１２を参照しながら、被写体位置通知処理の詳細な手順を説明する。

まず、操作者によってスコープが被写体へ向けられ、被写体にフォーカスが合わされる（ステップＤ１００）。制御部２０２は、このときの測距センサ２１２およびジャイロセンサ２１３の検出結果を演算部２１４へ出力する。演算部２１４は、スコープから見た被写体の相対位置（座標）を算出し、被写体の相対位置情報（前述したベクトルＶ４の情報）を生成する（ステップＤ１０１）。

演算部２１４は被写体の相対位置情報を制御部２０２へ出力する。制御部２０２は被写体の相対位置情報を記憶部２０１に格納すると共に送信部２１５へ出力し、カメラへその相対位置情報を送信するように送信部２１５を制御する（ステップＤ１０２）。この後、相対位置情報を受信したことを示す受信通知情報がカメラから受信された場合（ステップＤ１０３でＹＥＳの場合）には、被写体位置通知処理が終了する。また、カメラから受信通知情報が受信されなかった場合（ステップＤ１０３でＮＯの場合）には、被写体の相対位置情報を再取得する旨のメッセージ等が表示部２１０に表示され、処理がステップＤ１００に戻る。

スコープから被写体の相対位置情報が送信されると、カメラの受信部１０９は被写体の相対位置情報を受信し、制御部１０７へ出力する。制御部１０７は、被写体の相対位置情報が受信されたことから、被写体捕捉処理を実行すべきであると判断し（図４のステップＪ）、被写体捕捉処理を実行する（ステップＫ）。なお、スコープから相対位置情報が受信されたときに、カメラは、相対位置情報を受信したことを示す受信通知をスコープへ送信する。図１３は、カメラが実行する被写体捕捉処理の手順を示している。以下、図１３を参照しながら、被写体捕捉処理の詳細な手順を説明する。

制御部１０７は、スコープから受信された被写体の相対位置情報（前述したベクトルＶ４の情報）を演算部１１３へ出力する。また、制御部１０７は、スコープから見たカメラの相対位置情報（前述したベクトルＶ３の情報）と演算式Ｆの情報を記憶部１０６から読み出し、演算部１１３へ出力する。演算部１１３は、前述した（１）式に従って、カメラから見た被写体の相対位置情報（前述したベクトルＶ５’の情報）を算出し、制御部１０７へ出力する。制御部１０７は、この相対位置情報を雲台制御部１１４へ出力する。雲台制御部１１４は、この相対位置情報に基づいて、カメラが被写体を向くように、カメラの向きを制御する（ステップＫ１００）。

続いて、制御部１０７は、カメラから見た被写体の相対位置情報に基づいてレンズ１０１のフォーカスを調整する。制御部１０７は、被写体の相対位置情報が示す位置にレンズ１０１のフォーカスを合わせることができるか否かによって、被写体が捕捉できたか否かを判断する（ステップＫ１０１）。レンズ１０１のフォーカスを合わせることができた場合には、カメラが撮影可能状態に遷移し（ステップＫ１０２）、被写体捕捉処理が終了する。また、レンズ１０１のフォーカスを合わせることができなかった場合には、カメラが撮影不能状態に遷移し（ステップＫ１０３）、被写体捕捉処理が終了する。

図１４に示す状態では、操作者１４０から被写体１４１を見ることができるが、障害物１４２により、カメラ１４３から被写体１４１を見ることはできない。この状態では、カメラ１４３は被写体１４１にフォーカスを合わせることができず、撮影不能状態となる。このようにカメラが撮影不能状態となった場合、スコープが再度被写体の相対位置情報を送信し、その相対位置情報に基づいてカメラが被写体にフォーカスを合わせることができるようになれば、カメラは撮影可能状態に遷移する。

カメラが被写体にフォーカスを合わせることができ、撮影可能状態に遷移した場合、カメラは被写体を追尾する（図４のステップＱ）。図１５は、カメラが実行する追尾処理の手順を示している。以下、図１５を参照しながら、追尾処理の詳細な手順を説明する。

まず、制御部１０７は、カメラの状態が撮影可能状態であるか否かを判断する（ステップＱ１００）。カメラの状態が撮影不能状態であった場合には、追尾処理が終了する。また、カメラの状態が撮影可能状態であった場合には、制御部１０７は被写体が追尾可能であるか否かを判断する（ステップＱ１０１）。このとき、画像処理部１０３は、異なるフレーム間の画像データのパターンマッチングを行い、その結果を制御部１０７に通知する。先行フレームの画像の中央のパターンと同一のパターンが後行フレームで検出された場合、制御部１０７は被写体が追尾可能であると判断する。また、同一のパターンが検出されなかった場合、制御部１０７は被写体が追尾可能でないと判断する。

被写体が追尾可能であった場合、制御部１０７は被写体の追尾を行うため、ステップＱ１０１で同一と判断したパターンが画像の中央に来るように雲台制御部１１４の動作を制御する（ステップＱ１０２）。この後、被写体追尾処理が終了する。また、被写体が追尾可能でなかった場合、カメラが撮影不能状態に遷移し（ステップＱ１０３）、被写体追尾処理が終了する。

図１６に示すように、障害物１６２により、操作者１６０から被写体１６１を見ることができなくても、カメラ１６３から被写体１６１を見ることができる状態では、カメラは撮影可能状態となる。この状態では、カメラは一旦被写体を捕捉すれば、操作者から被写体を見ることができるか否かに関わらず被写体を追尾し続ける。被写体が追尾できなくなった場合には、カメラは撮影不能状態となる。

また、一定時間スコープから操作要求がなかった場合にも、カメラはタイムアウト処理により撮影不能状態に遷移する。カメラの制御部１０７は、スコープから最後に情報を受信してから所定時間以内にスコープから何も情報を受信しなかった場合に、タイムアウト処理を実行すべきであると判断し（図４のステップＪ）、タイムアウト処理を実行する（ステップＭ）。図１７はタイムアウト処理の手順を示しており、カメラは撮影不能状態に遷移する（ステップＭ１００）。

被写体を撮影する場合、操作者が操作部２０３を操作し、撮影指示を入力する（図３のステップＢ）。制御部２０２は、操作部２０３から出力される信号に基づいて、撮影処理を実行すべきであると判断し（ステップＣ）、撮影処理（ステップＥ）を実行する。図１８は、スコープが実行する撮影処理の手順を示している。以下、図１８を参照しながら、撮影処理の詳細な手順を説明する。

制御部２０２はカメラに対する撮影要求を示す撮影要求情報を生成する。続いて、制御部２０２は撮影要求情報を送信部２１５へ出力し、カメラへ撮影要求情報を送信するように送信部２１５を制御する（ステップＥ１００）。この後、撮影が完了したことを示す撮影完了通知情報がカメラから受信された場合（ステップＥ１０１でＹＥＳの場合）には、撮影処理が終了する。また、カメラから撮影完了通知情報が受信されなかった場合（ステップＥ１０１でＮＯの場合）には、処理がステップＥ１００に戻る。

スコープから撮影要求情報が送信されると、カメラの受信部１０９は撮影要求情報を受信し、制御部１０７へ出力する。制御部１０７は、撮影要求情報が受信されたことから、撮影処理を実行すべきであると判断し（図４のステップＪ）、撮影処理を実行する（ステップＬ）。図１９は、カメラが実行する撮影処理の手順を示している。以下、図１９を参照しながら、撮影処理の詳細な手順を説明する。

まず、制御部１０７は、カメラの状態が撮影可能状態であるか否かを判断する（ステップＬ１００）。カメラの状態が撮影不能状態であった場合には、撮影処理が終了する。また、カメラの状態が撮影可能状態であった場合には、制御部１０７はレンズ１０１、撮像部１０２、画像処理部１０３、および画像記録部１０５を制御し、撮影を実行する（ステップＬ１０１）。このとき生成された画像データは画像記録部１０５に記録される。続いて、カメラは、撮影が完了したことを示す撮影完了通知情報をスコープへ送信する（ステップＬ１０２）。以上の処理により、撮影処理が終了する。

次に、高速に移動する被写体を捕捉するときのスコープおよびカメラの動作を説明する。図２０（ａ）に示すように、操作者２０ａが、高速に移動する被写体２０ｂをスコープで捉え、その相対位置情報をカメラ２０ｃへ送信したとする。カメラ２０ｃは、スコープから通知された相対位置情報に基づいて被写体２０ｂにフォーカスを合わせようとするが、図２０（ｂ）に示すように、その時点では既に被写体２０ｂが移動しており、カメラ２０ｃが被写体２０ｂを捕捉できない可能性がある。

そこで、スコープは、異なる２以上の時刻で被写体の相対位置を検出し、カメラに相対位置情報を２回以上送信する。カメラは、２以上の時刻で得られた被写体の相対位置情報に基づいて、所定時刻における被写体の予測位置を算出し、その予測位置に基づいてカメラの向きを制御する。

以下、図２１を参照しながら、より具体的な処理内容を説明する。被写体２１ａが高速に移動している場合、操作者２１ｂは時刻ｔ１とｔ２（ｔ１＜ｔ２）においてスコープを被写体２１ａへ向け、相対位置を検出する。スコープは、時刻ｔ１，ｔ２のそれぞれにおける被写体２１ａの相対位置情報をカメラ２１ｃへ送信する。カメラ２１ｃは、被写体２１ａが等速直線運動をしていると仮定して、時刻ｔ３（ｔ２＜ｔ３）における被写体２１ａの相対位置を算出し、その相対位置が示す方向にカメラを向け、被写体の捕捉を実行する。

図２２は、高速に移動する被写体を撮影するときにスコープが実行する被写体位置通知処理（図３のステップＤ）の手順を示している。以下、図２２を参照しながら、被写体位置通知処理の詳細な手順を説明する。

まず、操作者によってスコープが被写体へ向けられ、被写体にフォーカスが合わされる（ステップＤ１２０）。制御部２０２は、このときの測距センサ２１２およびジャイロセンサ２１３の検出結果を演算部２１４へ出力する。演算部２１４は、スコープから見た被写体の相対位置（座標）を算出し、被写体の相対位置情報を生成する（ステップＤ１２１）。

演算部２１４は被写体の相対位置情報を制御部２０２へ出力する。制御部２０２は被写体の相対位置情報を記憶部２０１に格納すると共に送信部２１５へ出力し、カメラへその相対位置情報を送信するように送信部２１５を制御する（ステップＤ１２２）。この後、相対位置情報を受信したことを示す受信通知情報がカメラから受信されなかった場合（ステップＤ１２３でＮＯの場合）には、被写体の相対位置情報を再取得する旨のメッセージ等が表示部２１０に表示され、処理がステップＤ１２０に戻る。

また、相対位置情報を受信したことを示す受信通知情報がカメラから受信された場合（ステップＤ１２３でＹＥＳの場合）には、制御部２０２は、被写体の相対位置情報を連続して送信するか否かを判断する（ステップＤ１２４）。被写体の相対位置情報を連続して送信する場合、操作者がスコープを被写体へ向けながら操作部２０３を操作し、相対位置情報の送信指示を入力する。ステップＤ１２４において制御部２０２は、操作部２０３から出力される信号に基づいて、相対位置情報を連続して送信するか否かを判断する。

相対位置情報の送信指示が入力されなかった場合には、制御部２０２は被写体の相対位置情報を連続して送信するか否かを再度判断する（ステップＤ１２４）。ステップＤ１２３からステップＤ１２４に処理が移行してから所定時間以内においては、相対位置情報の送信指示が入力されなければ、ステップＤ１２４の処理が繰り返し実行される。また、ステップＤ１２３からステップＤ１２４に処理が移行してから所定時間以内において相対位置情報の送信指示が入力された場合には、処理がステップＤ１２５に移行する。また、図示していないが、ステップＤ１２３からステップＤ１２４に処理が移行してから、相対位置情報の送信指示が入力されることなく所定時間が経過し、タイムアウトとなった場合には、被写体位置通知処理が終了する。

相対位置情報の送信指示が入力されたことにより、相対位置情報を連続して送信すると判断した場合、制御部２０２は、このときの測距センサ２１２およびジャイロセンサ２１３の検出結果を演算部２１４へ出力する。演算部２１４は、スコープから見た被写体の相対位置（座標）を算出し、被写体の相対位置情報を生成する（ステップＤ１２５）。

演算部２１４は被写体の相対位置情報を制御部２０２へ出力する。制御部２０２は被写体の相対位置情報を記憶部２０１に格納すると共に送信部２１５へ出力し、カメラへその相対位置情報を送信するように送信部２１５を制御する（ステップＤ１２６）。この後、相対位置情報を連続して受信したことを示す受信通知情報がカメラから受信された場合（ステップＤ１２７でＹＥＳの場合）には、被写体位置通知処理が終了する。また、カメラから受信通知情報が受信されなかった場合（ステップＤ１２７でＮＯの場合）には、被写体の相対位置情報を再取得する旨のメッセージ等が表示部２１０に表示され、処理がステップＤ１２５に戻る。

スコープから最初の相対位置情報が送信されると、カメラの受信部１０９はその相対位置情報を受信し、制御部１０７へ出力する。制御部１０７は、被写体の相対位置情報が受信されたことから、被写体捕捉処理を実行すべきであると判断し（図４のステップＪ）、被写体捕捉処理を実行する（ステップＫ）。なお、スコープから相対位置情報が受信されたときに、カメラは、相対位置情報を受信したことを示す受信通知をスコープへ送信する。また、受信された被写体の相対位置情報は、制御部１０７によって記憶部１０６に格納される。図２３は、カメラが実行する被写体捕捉処理の手順を示している。以下、図２３を参照しながら、被写体捕捉処理の詳細な手順を説明する。まず、制御部１０７は、カメラが高速追尾状態であるか否かを判断する（ステップＫ１２０）。

最初の相対位置情報を受信した直後のカメラは通常追尾状態である。カメラが通常追尾状態であった場合、制御部１０７は、スコープから受信された被写体の相対位置情報（前述したベクトルＶ４の情報）を記憶部１０６に格納すると共に演算部１１３へ出力する。また、制御部１０７は、スコープから見たカメラの相対位置情報（前述したベクトルＶ３の情報）と演算式Ｆの情報を記憶部１０６から読み出し、演算部１１３へ出力する。演算部１１３は、前述した（１）式に従って、カメラから見た被写体の相対位置情報（前述したベクトルＶ５’の情報）を算出し、制御部１０７へ出力する。制御部１０７は、カメラから見た被写体の相対位置情報を雲台制御部１１４へ出力する。雲台制御部１１４は、カメラから見た被写体の相対位置情報に基づいて、カメラが被写体を向くように、カメラの向きを制御する（ステップＫ１２３）。

続いて、制御部１０７は、被写体の相対位置情報を連続して受信するか否かを判断する（ステップＫ１２４）。被写体の相対位置情報を受信してから所定時間以内に被写体の相対位置情報を再度受信した場合、カメラは、相対位置情報を連続して受信したことを示す受信通知情報をスコープへ送信し（ステップＫ１２５）、高速追尾状態に遷移する（ステップＫ１２６）。続いて、処理はステップＫ１２０に戻る。なお、ステップＫ１２３の処理の途中で被写体の相対位置情報を再度受信した場合には、ステップＫ１２３の処理を中断するようにしてもよい。

ステップＫ１２０において、カメラが高速追尾状態であると判断した場合、制御部１０７は、スコープから受信した２つの時刻での被写体の相対位置情報を記憶部１０６から読み出し、演算部１１３へ出力する。演算部１１３は過去の２つの時刻での被写体の相対位置情報から所定時刻での被写体の予測位置を算出する（ステップＫ１２２）。続いて、カメラは撮影可能状態に遷移する（ステップＫ１２３）。

続いて、制御部１０７は、スコープから見たカメラの相対位置情報と演算式Ｆの情報を記憶部１０６から読み出し、演算部１１３へ出力する。演算部１１３は、ステップＫ１２３で算出した被写体の予測位置（前述したベクトルＶ４の情報）と、スコープから見たカメラの相対位置情報（前述したベクトルＶ３の情報）とを用いて、前述した（１）式に従って、カメラから見た被写体の相対位置情報（前述したベクトルＶ５’の情報）を算出し、制御部１０７へ出力する。制御部１０７は、カメラから見た被写体の相対位置情報を雲台制御部１１４へ出力する。雲台制御部１１４は、カメラから見た被写体の相対位置情報に基づいて、カメラが被写体を向くように、カメラの向きを制御する（ステップＫ１２３）。続いて、前述したステップＫ１２４に処理が移行する。

一方、被写体の相対位置情報を受信してから被写体の相対位置情報を再度受信する前に所定時間が経過した場合（ステップＫ１２４でＮＯの場合）、制御部１０７は、カメラから見た被写体の相対位置情報に基づいてレンズ１０１のフォーカスを調整する。制御部１０７は、被写体の相対位置情報が示す位置にレンズ１０１のフォーカスを合わせることができるか否かによって、被写体が捕捉できたか否かを判断する（ステップＫ１２５）。

レンズ１０１のフォーカスを合わせることができた場合には、カメラが撮影可能状態に遷移し（ステップＫ１２６）、被写体捕捉処理が終了する。また、レンズ１０１のフォーカスを合わせることができなかった場合には、カメラが撮影不能状態および通常追尾状態に遷移し（ステップＫ１２７〜Ｋ１２８）、被写体捕捉処理が終了する。

シャッタチャンスを逃さないようにするため、上述した被写体の捕捉を行った後、自動的に撮影を開始してもよい。また、上記では、被写体が等速直線運動をしているという前提で、２つの時刻で取得した相対位置情報から被写体の予測位置を算出しているが、３つ以上の時刻で取得した相対位置情報から加速中の被写体の予測位置を算出してもよい。

また、上記では、被写体の相対位置情報の送信間隔の長さに基づいて、高速被写体の捕捉を行うか否かを決定しているが、高速被写体の捕捉を行うか否かをカメラに通知するための専用のボタンをスコープに設けておき、そのボタンが操作された場合に、高速被写体の捕捉を行うことを通知する情報をスコープがカメラに送信してもよい。あるいは、通常操作と兼用するボタンに対して特殊な操作（ダブルクリックや長押し等）を割り当てておき、ボタンに対して特殊な操作がなされた場合に、高速被写体の捕捉を行うことを通知する情報をスコープがカメラに送信してもよい。

次に、カメラが捕捉している被写体を操作者がスコープ上で確認する方法を説明する。図２４は、スコープの表示部２１０に表示される画像を示している。画像２４０の中心にはマーカ２４１ａが表示されている。マーカ２４１ａと重なっている被写体２４２は、操作者が撮影対象としたい被写体である。図２４（ａ）に示すように、撮影対象の被写体２４２の近くに別の被写体２４３があった場合、カメラは被写体２４３を撮影対象の被写体と認識して捕捉および追尾する可能性がある。そこで、本実施形態では、カメラが捕捉および追尾している被写体を操作者がスコープ上で確認することが可能となっている。図２４（ｂ）に示すように、カメラが捕捉および追尾している被写体２４３に重ねてマーカ２４１ｂが表示される。

このため、カメラは自身が捕捉および追尾している被写体の相対位置情報を含む処理結果情報を図４のステップＰ（処理結果送信処理）でスコープへ送信する。また、スコープは、処理結果情報に含まれる被写体の相対位置情報が示す被写体を図３のステップＨ（処理結果表示処理）で表示する。図２５は、カメラが実行する処理結果送信処理の手順を示している。以下、図２５を参照しながら、処理結果送信処理の詳細な手順を説明する。

まず、制御部１０７は、カメラから見たスコープの相対位置情報（前述したベクトルＶ３’と逆向きのベクトル−Ｖ３’の情報）と変換式Ｆの情報を記憶部１０６から読み出し、演算部１１３へ出力する。演算部１１３は、変換式Ｆの逆関数Ｆ^−１により、カメラから見たスコープの相対位置情報を、スコープから見たカメラの相対位置情報（前述したベクトルＶ３の情報）に逆変換する（ステップＰ１００）。

演算部１１３は、スコープから見たカメラの相対位置情報を制御部１０７へ出力する。制御部１０７は、初期化処理や、被写体捕捉処理、撮影処理等の処理結果と上記の相対位置情報を含む処理結果情報を送信部１１５へ出力し、スコープへ処理結果情報を送信するように送信部１１５を制御する（ステップＰ１０１）。以上の処理により、処理結果送信処理が終了する。

図２６は、スコープが実行する処理結果表示処理の手順を示している。以下、図２６を参照しながら、処理結果表示処理の詳細な手順を説明する。まず、制御部２０２は、カメラから処理結果情報を受信したか否かを判断する（ステップＨ１００）。カメラから処理結果情報を受信していない場合には、制御部２０２は、カメラから処理結果情報を受信したか否かを再度判断する。カメラから処理結果情報が受信されなければ、ステップＨ１００の処理が繰り返し実行される。

また、カメラから処理結果情報を受信した場合には、制御部２０２は、処理結果情報に含まれるカメラの相対位置情報を演算部２１４へ出力する。また、制御部２０２は、スコープから見た被写体の相対位置情報を記憶部２０１から読み出し、演算部２１４へ出力する。演算部２１４は、これらの相対位置情報に基づいて、カメラが捕捉および追尾している被写体の位置を示すマーカの表示位置を算出し、その情報を制御部２０２へ出力する。制御部２０２は重畳画像生成部２０８を制御し、処理結果を示す文字や上記のマーカ等の付加情報を表示するためのＣＧ画像データを生成させる（ステップＨ１０１）。

続いて、制御部２０２は、演算部２１４によって算出されたマーカの表示位置に基づいて画像合成部２０９を制御し、画像内の所望の位置にマーカが表示されるように合成画像データを生成させる（ステップＨ１０２）。制御部２０２は、合成画像データに基づく画像を表示するように表示部２１０を制御する（ステップＨ１０３）。以上の処理により、処理結果表示処理が終了する。

以下、図２７を参照しながら、スコープの表示部２１０に表示されるマーカの表示位置を算出する方法を説明する。図２７において、ベクトルＶｂは、カメラが捕捉している被写体２７１の相対位置を示すベクトルである。ベクトルＶｂの情報はカメラから受信される。ベクトルＶｃは、操作者２７０（スコープ）から見た被写体の相対位置を示すベクトルである。撮像画像に重畳されるマーカは、操作者（スコープ）が現在見ている方向を法線ベクトルに持つ平面上に描かれると考えられる。求めるベクトルは、ベクトルＶｂをこの平面に投影させたベクトルＶｄである。このベクトルＶｄを、定数ｋを用いて以下の（２）式のように表す。
Ｖｄ＝ｋ×Ｖｂ−Ｖｃ ・・・（２）

（２）式より、ベクトルＶｂは以下の（３）式のように表される。

（２）式からベクトルＶｂとＶｃの内積Ｖｂ・Ｖｃは以下の（４）式のように表され、（４）式からｋは以下の（５）式のように表される。

上記の（２）式と（５）式から、ベクトルＶｄは以下の（６）式のように表される。

次に、スコープとカメラが実行する調整処理を説明する。操作者は撮影中に動くことが考えられる。図２８に示すように、初期化処理時に位置２８０ａにいた操作者２８０が、撮影しながら位置２８０ｂに移動するものとする。初期化処理時にカメラ２８１は、ベクトルＶ３ａが示す相対位置情報をスコープから受信する。続いて、スコープが撮影対象の被写体２８２の相対位置情報をカメラ２８１へ送信すると、カメラ２８１は、被写体２８２の位置が実際の位置２８２ａとは異なる位置２８２ｂであると認識してしまう。

この場合、カメラは、位置２８２ｂにある被写体を捕捉および追尾する。図２９は、上記の場合にスコープの表示部２１０に表示される画像を示している。前述した処理結果送信処理によりカメラから送信された被写体の相対位置情報に基づいて、マーカ２９１が画像２９０に重ねて表示される。図２８のように操作者が移動する場合、図２９（ａ）に示すように、マーカ２９１が撮影対象の被写体２９２に重なっており、カメラが、図２８の位置２８２ａに相当する位置にいる被写体２９２を捕捉および追尾しているように見える。しかし、実際にはカメラは、図２８の位置２８２ｂに相当する位置にいる被写体２９３を捕捉および追尾しているため、図２９（ｂ）に示すように、被写体の２９３の動きに合わせて、被写体２９２の動きと無関係にマーカ２９１が動くことになる。このように、カメラが所望の被写体を捕捉していない場合、スコープは、図２８のベクトルＶ３ｂが示す相対位置情報を再度カメラへ送信する必要がある。この相対位置情報の送信および受信に係る処理が調整処理としてスコープおよびカメラで実行される。

図３０は、スコープが実行する調整処理（図３のステップＦ）の手順を示している。以下、図３０を参照しながら、調整処理の詳細な手順を説明する。まず、スコープをカメラへ向けることを促すようなメッセージ等が表示部２１０に表示される。表示部２１０の表示を確認した操作者によってスコープがカメラへ向けられ、カメラにフォーカスが合わせられる（ステップＦ１００）。制御部２０２は、測距センサ２１２およびジャイロセンサ２１３の検出結果を演算部２１４へ出力する。演算部２１４は、スコープから見たカメラの相対位置（座標）を算出し、カメラの相対位置情報を生成する（ステップＦ１０１）。

演算部２１４はカメラの相対位置情報を制御部２０２へ出力する。制御部２０２はカメラの相対位置情報を記憶部２０１に格納すると共に送信部２１５へ出力し、カメラへその相対位置情報を送信するように送信部２１５を制御する（ステップＦ１０２）。この後、調整処理が完了したことを示す調整完了通知情報がカメラから受信された場合（ステップＦ１０３でＹＥＳの場合）には、調整処理が終了する。また、カメラから調整完了通知情報が受信されなかった場合（ステップＦ１０３でＮＯの場合）には、カメラの相対位置情報を再取得する旨のメッセージ等が表示部２１０に表示され、処理がステップＦ１００に戻る。

スコープからカメラの相対位置情報が送信されると、カメラの受信部１０９はカメラの相対位置情報を受信し、制御部１０７へ出力する。制御部１０７は、カメラの相対位置情報が受信されたことから、調整処理を実行すべきであると判断し（図４のステップＪ）、調整処理を実行する（ステップＮ）。図３１は、カメラが実行する調整処理の手順を示している。以下、図３１を参照しながら、調整処理の詳細な手順を説明する。

まず、制御部１０７は、受信部１０９から出力されたカメラの相対位置情報を記憶部１０６に格納すると共に演算部１１３へ出力する。また、制御部１０７は、変換式Ｆの計算に必要な相対位置情報を記憶部１０６から読み出して演算部１１３へ出力する。演算部１１３は、上記の相対位置情報に基づいて、前述した変換式Ｆを再度算出する（ステップＮ１００）。変換式Ｆの計算方法は、前述した２つの方法のどちらでもよい。演算部１１３によって算出された変換式Ｆの情報は制御部１０７へ出力され、制御部１０７によって記憶部１０６に格納される。これ以降、変換式Ｆの情報は適宜記憶部１０６から読み出されて演算部１１３へ出力される。調整処理が完了したことを通知する調整完了通知情報をカメラがスコープへ送信する（ステップＮ１０１）と、調整処理が終了する。

次に、被写体の捕捉および追尾と撮影の例を説明する。図３２〜図３５は、スコープの表示部２１０に表示される画像を示している。図３２（ａ）は、操作者が撮影対象の被写体へスコープを向けたときの画像を示している。画像３２０の中心のマーカ３２１は撮影対象の被写体３２２に重なっている。図３２（ｂ）は、被写体の相対位置情報をスコープがカメラへ送信したときの画像を示している。画像３２０上のメニュー画面３２３には、相対位置情報を送信している旨のメッセージが表示される。図３２（ｃ）は、スコープがカメラからの処理結果情報を受信したときの画像を示している。画像３２０上には、カメラが認識している被写体を示すマーカ３２４が表示される。この時点では、スコープが認識している被写体とカメラが認識している被写体は一致している。

図３３（ａ）では、カメラが認識している被写体を示すマーカ３３１が撮影対象の被写体３３０からずれている。マーカ３３１のそばには別の被写体３３２があり、カメラはこの被写体３３２を捕捉している。被写体の捕捉が何度か連続して失敗している場合、調整処理が必要であり、操作者の判断により、調整処理が開始される。図３３（ｂ）に示すように、調整処理を開始するため、操作者がメニュー画面３３３上で調整処理を選択する。続いて、操作者がスコープをカメラへ向け、スコープはカメラの相対位置情報をカメラへ送信する。図３３（ｃ）はこのときの画像を示しており、画像３３４の中心のマーカ３３５はカメラ３３６に重なっている。

調整処理が完了すると、カメラは調整完了通知をスコープへ送信する。図３４（ａ）は、カメラからの調整完了通知を受信したときの画像を示している。画像３４０上のメニュー画面３４１には、調整完了通知を受信した旨のメッセージが表示される。続いて、操作者が撮影対象の被写体へスコープを向け、スコープは検出した被写体の相対位置情報をカメラへ送信する。図３４（ｂ）はこのときの画像を示しており、画像３４０の中心のマーカ３４２は被写体３４３に重なっている。図３４（ｃ）は、スコープがカメラからの処理結果情報を受信したときの画像を示している。画像３４０上には、カメラが認識している被写体を示すマーカ３４４が表示される。マーカ３４４は撮影対象の被写体３４３に重なっており、被写体３４３がカメラによって正常に捕捉されていることが分かる。

図３５（ａ）では、被写体が固定物３５０の後ろに移動したため、スコープからは見えていない。しかし、マーカ３５１の位置から、カメラが被写体を正常に捕捉していることが分かる。この状態で、操作者が撮影を指示する。図３５（ｂ）は、撮影が終了したときの画像である。メニュー画面３５２には、撮影を完了した旨のメッセージが表示される。

次に、被写体の捕捉の他の例を説明する。図３６〜図３７は、スコープの表示部２１０に表示される画像を示している。図３６（ａ）は、操作者が撮影対象の被写体へスコープを向けたときの画像を示している。画像３６０の中心のマーカ３６１は撮影対象の被写体３６２に重なっている。図３６（ｂ）は、被写体の相対位置情報をスコープがカメラへ送信したときの画像を示している。画像３６０上のメニュー画面３６３には、相対位置情報を送信している旨のメッセージが表示される。図３６（ｃ）は、スコープがカメラからの処理結果情報を受信したときの画像を示している。画像３６０上には、カメラが認識している被写体を示すマーカ３６４が表示される。撮影対象の被写体３６２のそばに別の被写体３６５がいたため、カメラは撮影対象の被写体３６２とは異なる被写体３６５を認識している。

図３７（ａ）では、撮影対象の被写体３７０とは異なる被写体３７１が移動し、その移動に伴って、カメラが認識している被写体を示すマーカ３７２も移動している。このことから、撮影対象の被写体をカメラに通知する必要がある。このため、操作者がスコープを撮影対象の被写体へ向け、スコープは被写体の相対位置情報をカメラへ送信する。図３７（ｂ）はこのときの画像を示しており、画像３７３の中心のマーカ３７４は撮影対象の被写体３７０に重なっている。図３７（ｃ）は、スコープがカメラからの処理結果情報を受信したときの画像を示している。カメラが認識している被写体を示すマーカ３７２は撮影対象の被写体３７０に重ねて表示される。

次に、本実施形態の変形例を説明する。図３８はスコープの構成を示している。図３８において、図２に示した構成と同一の構成には同一の符号を付与している。ＩＤ記憶部２１６は、各スコープを識別するＩＤを記憶する。複数台のスコープが存在する場合に、ＩＤ記憶部２１６が記憶するＩＤによって、各スコープからの情報が識別される。また、液晶ディスプレイ２１７は透過型のディスプレイであり、重畳画像生成部２０８によって生成されたＣＧ画像と、レンズ２１８を透過した光学像とを合成する。これによって、撮像に係る構成が必要なく、スコープがより安価となる。

初期化処理を実行する際に制御部２０２は、ＩＤ記憶部２１６が記憶するＩＤを含む操作要求情報をカメラへ送信するように送信部２１５を制御する。カメラの受信部１０９は操作要求情報を受信し、制御部１０７へ出力する。制御部１０７は、カメラが使用可能であるか否かを判断し、使用可能であった場合には、操作要求情報に含まれるＩＤを記憶部１０６に格納し、遠隔操作の許可を示す操作許可情報をスコープへ送信するように送信部１１５を制御する。記憶部１０６に既に他のスコープのＩＤが格納されていた場合には、制御部１０７は、カメラが使用不可能であると判断する。

カメラから操作許可情報が送信されると、スコープの受信部２０４は操作許可情報を受信し、制御部２０２へ出力する。制御部２０２は、操作許可情報が受信されたことから、カメラの遠隔操作が許可されたと判断し、前述した初期化処理を実行する。これ以降、カメラは、記憶部１０６に格納されているＩＤと異なるＩＤを含む情報をスコープから受信しても、その情報を処理せず、記憶部１０６に格納されているＩＤと同一のＩＤを含む情報をスコープから受信した場合のみ、その情報を処理する。これによって、カメラとスコープが複数台存在している場合でも、カメラを遠隔操作するために各スコープがカメラへ送信する情報がカメラ毎に識別される。

上述したように、本実施形態による撮像システムでは、カメラが、スコープから見た被写体の相対位置情報を、変換式Ｆにより、カメラから見た被写体の相対位置情報に変換し、変換後の相対位置情報に基づいてカメラの向きを制御する。したがって、スコープとカメラの座標系を共通にする必要がなく、被写体の位置を演算するためのカメラの演算量を低減することができる。よって、カメラ内部の回路規模やコストを低減することができる。また、スコープとカメラの間で相対位置情報の送受信を行うことにより、情報量の少ない通信が可能となり、消費電力を低減すると共に応答性を向上することができる。

また、追尾処理の実行により、カメラが被写体を追尾できている間は被写体の撮像が可能となる。したがって、操作者が被写体を見失った場合でも、カメラが被写体を追尾できていれば、被写体を撮影することができる。

また、カメラが、複数時刻で得られた被写体の相対位置情報に基づいて所定時刻における被写体の予測位置を算出し、その予測位置に基づいてカメラの向きを制御することによって、被写体が高速に移動している場合でも、被写体を捕捉および追尾することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態によるカメラの構成を示すブロック図である。 本発明の一実施形態によるスコープの構成を示すブロック図である。 本発明の一実施形態によるスコープの動作手順を示すフローチャートである。 本発明の一実施形態によるカメラの動作手順を示すフローチャートである。 本発明の一実施形態における初期化処理を説明するためのスコープとカメラの位置関係を示す参考図である。 本発明の一実施形態によるスコープの動作手順（初期化処理）を示すフローチャートである。 本発明の一実施形態によるカメラの動作手順（初期化処理）を示すフローチャートである。 本発明の一実施形態によるスコープが表示する画像を示す参考図である。 本発明の一実施形態における初期化処理の別の手順を説明するためのスコープとカメラの位置関係を示す参考図である。 本発明の一実施形態によるスコープの動作手順（初期化処理）を示すフローチャートである。 本発明の一実施形態によるカメラの動作手順（初期化処理）を示すフローチャートである。 本発明の一実施形態によるスコープの動作手順（被写体位置通知処理）を示すフローチャートである。 本発明の一実施形態によるカメラの動作手順（被写体捕捉処理）を示すフローチャートである。 本発明の一実施形態における被写体捕捉処理を説明するための参考図である。 本発明の一実施形態によるカメラの動作手順（追尾処理）を示すフローチャートである。 本発明の一実施形態における追尾処理を説明するための参考図である。 本発明の一実施形態によるカメラの動作手順（タイムアウト処理）を示すフローチャートである。 本発明の一実施形態によるスコープの動作手順（撮影処理）を示すフローチャートである。 本発明の一実施形態によるカメラの動作手順（撮影処理）を示すフローチャートである。 本発明の一実施形態における高速被写体の捕捉・追尾処理を説明するための参考図である。 本発明の一実施形態における高速被写体の捕捉・追尾処理を説明するための参考図である。 本発明の一実施形態によるスコープの動作手順（被写体位置通知処理）を示すフローチャートである。 本発明の一実施形態によるカメラの動作手順（被写体捕捉処理）を示すフローチャートである。 本発明の一実施形態において、カメラが捕捉している被写体を操作者がスコープ上で確認する方法を説明するための参考図である。 本発明の一実施形態によるカメラの動作手順（処理結果送信処理）を示すフローチャートである。 本発明の一実施形態によるスコープの動作手順（処理結果表示処理）を示すフローチャートである。 本発明の一実施形態におけるマーカの表示位置の算出方法を説明するための参考図である。 本発明の一実施形態における調整処理を説明するための参考図である。 本発明の一実施形態における調整処理を説明するための参考図である。 本発明の一実施形態によるスコープの動作手順（調整処理）を示すフローチャートである。 本発明の一実施形態によるカメラの動作手順（調整処理）を示すフローチャートである。 本発明の一実施形態における被写体の捕捉および追尾と撮影の例を説明するための参考図である。 本発明の一実施形態における被写体の捕捉および追尾と撮影の例を説明するための参考図である。 本発明の一実施形態における被写体の捕捉および追尾と撮影の例を説明するための参考図である。 本発明の一実施形態における被写体の捕捉および追尾と撮影の例を説明するための参考図である。 本発明の一実施形態における被写体の捕捉の例を説明するための参考図である。 本発明の一実施形態における被写体の捕捉の例を説明するための参考図である。 本発明の一実施形態によるスコープの他の構成を示すブロック図である。

符号の説明

１０１，１１０，２０５，２１１，２１８・・・レンズ、１０２，２０６・・・撮像部、１０３，２０７・・・画像処理部、１０４，２１０・・・表示部、１０５・・・画像記録部、１０６，２０１・・・記憶部、１０７，２０２・・・制御部、１０８，２０３・・・操作部、１０９，２０４・・・受信部、１１１，２１２・・・測距センサ、１１２，２１３・・・ジャイロセンサ、１１３，２１４・・・演算部、１１４・・・雲台制御部、１１５，２１５・・・送信部、２１６・・・ＩＤ記憶部、２１７・・・液晶ディスプレイ

Claims (6)

1. カメラと、前記カメラを遠隔操作するための操作装置とを備えた撮像システムであって、
   前記操作装置は、
   前記カメラと通信する第１の通信部と、
   前記操作装置から見た物体の相対位置を検出する第１の相対位置検出部と、
   前記第１の相対位置検出部の検出結果に基づく相対位置情報を前記カメラへ送信するように前記第１の通信部を制御する制御部とを有し、
   前記カメラは、
   前記操作装置と通信する第２の通信部と、
   前記カメラから見た物体の相対位置を検出する第２の相対位置検出部と、
   前記第２の通信部によって受信された相対位置情報と、前記第２の相対位置検出部の検出結果に基づく相対位置情報とに基づいて変換式を算出する変換式算出部と、
   前記操作装置から見た被写体の相対位置情報を、前記変換式により、前記カメラから見た前記被写体の相対位置情報に変換する被写体位置演算部と、
   前記操作装置から相対位置情報を受信するように前記第２の通信部を制御し、前記カメラから見た前記被写体の相対位置情報に基づいて前記カメラの向きを制御する第２の制御部とを有する
   ことを特徴とする撮像システム。
2. 前記変換式算出部は、前記操作装置から見た特定物の相対位置情報と、前記操作装置から見た前記カメラの相対位置情報と、前記カメラから見た前記特定物の相対位置情報とに基づいて前記変換式を算出することを特徴とする請求項１に記載の撮像システム。
3. 前記変換式算出部は、前記操作装置から見た前記カメラの相対位置情報と、前記カメラから見た前記操作装置の相対位置情報とに基づいて前記変換式を算出することを特徴とする請求項１に記載の撮像システム。
4. 前記カメラはさらに、前記被写体を撮像して得られた画像データに基づいて前記被写体を追尾する追尾部を有し、前記追尾部が前記被写体を追尾することが可能な間は前記被写体の撮像が可能であることを特徴とする請求項１〜請求項３のいずれかに記載の撮像システム。
5. 前記被写体位置演算部はさらに、前記カメラから見た前記被写体の複数時刻での相対位置情報に基づいて、所定時刻における前記被写体の予測位置を算出し、
   前記第２の制御部はさらに、前記被写体の予測位置に基づいて前記カメラの向きを制御する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の撮像システム。
6. 前記操作装置はさらに、前記カメラが捕捉している被写体を示す付加情報と前記被写体の像とを表示する表示部を有し、
   前記被写体位置演算部はさらに、前記カメラから見た前記被写体の相対位置情報を、前記変換式に基づいて、前記操作装置から見た前記被写体の相対位置情報に逆変換し、
   前記第２の制御部はさらに、逆変換された前記被写体の相対位置情報を前記操作装置へ送信するように前記第２の通信部を制御し、
   前記第１の制御部はさらに、逆変換された前記被写体の相対位置情報を前記カメラから受信するように前記第１の通信部を制御し、逆変換された前記被写体の相対位置情報に基づいて、前記付加情報の表示を制御する
   ことを特徴とする請求項１〜請求項５のいずれかに記載の撮像システム。

Images