JP2020005112A - 撮像装置、撮像システム、撮像方法およびプログラム - Google Patents

Abstract

【課題】撮影視野内に主要被写体を捉えつつ、ピント状態を確認しながら撮影することができる撮像装置、撮像システム、撮像方法およびプログラムを提供する。【解決手段】撮像装置１は、第１の画角を有する光学系１０１によって第１の撮影視野を撮像することで第１の画像を生成する撮像素子１０２と、撮像装置２から入力された第２の画像に対して、撮像装置２から入力された焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズ部１０６と、第１の画像とリサイズ画像との相関が所定値以上の領域を一致領域として検出する検出部１０７と、一致領域に基づいて、第１の画像に画像処理を行う画像処理部１０８と、を備える。【選択図】図３

Description

本開示は、被写体を撮像することによって画像データを生成する撮像装置、撮像システム、撮像方法およびプログラムに関する。

従来、デジタルカメラ等の撮像装置において、超望遠撮影を行う場合、主要被写体を撮影視野内で捉えるため、光学焦準装置等のドットサイトを設けることによって、主要被写体を撮影視野内で容易に捉えることができる技術が知られている（特許文献１参照）。この技術によれば、本体部に光束を発する光源部を設けるとともに、この光源部が発した光束を本体部の背面側に向けて反射するとともに、撮影視野からの光を透過する反射光学素子を本体部からポップアップする脚部に設け、ドットサイトの起動時に、反射光学素子を本体部から遠ざかる方向であって、撮像光学系の光軸と直交する方向へ移動させることで、撮影視野の中心をポインタで示すことによって、超望遠撮影で主要被写体がフレームアウトした場合であっても、撮影視野に主要被写体を瞬時に捉えることができる。

特開２０１４−２２４９７７号公報

ところで、上述した特許文献１では、ドットサイトを用いて撮影視野内に主要被写体を捉えるのみであるので、撮像装置のフォーカス状態を確認することができない。この理由より、ユーザが所望する位置にピントがあっていない状態で撮影してしまうという問題点があった。

本開示は、上記に鑑みてなされたものであって、撮影視野内に主要被写体を捉えつつ、ピント状態を確認しながら撮影することができる撮像装置、撮像システム、撮像方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、第１の画角を有する光学系によって第１の撮影視野を撮像することで、第１の画像を生成する撮像部と、前記第１の画角と異なる焦点距離の第２の画角の光学系によって、第１の撮影視野の一部である第２の撮影領域を撮像する外部機器から入力された、第２の画像に対して、前記外部機器から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズ部と、前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出部と、前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理部と、を備える。

また、本開示に係る撮像装置は、上記開示において、前記画像処理部は、前記第１の画像に対して、前記一致領域を中心とする画角領域であって、前記リサイズ画像の画角領域よりも広角な画角領域の抽出を行って表示部へ出力する。

また、本開示に係る撮像装置は、上記開示において、前記撮像部によって順次生成された前記第１の画像を複数フレーム保持するバッファ部と、前記リサイズ画像と前記バッファ部が保持する複数フレームの前記第１の画像とに基づいて、前記外部機器と前記撮像部との撮像タイミングのフレーム遅延を算出する算出部と、をさらに備え、前記画像処理部は、前記フレーム遅延に基づいて、前記バッファ部が保持する複数フレームのいずれか一つの前記第１の画像に対して、前記一致領域に前記リサイズ画像を合成して、表示部へ出力する。

また、本開示に係る撮像装置は、上記開示において、前記算出部は、前記一致領域における前記複数フレームの各々の前記第１の画像と前記リサイズ画像との一致度が最も高いフレームを、前記リサイズ画像と撮影タイミングが一致する一致フレームと算出し、前記画像処理部は、前記算出部が算出した前記一致フレームの前記第１の画像に前記リサイズ画像を合成して、表示部へ出力する。

また、本開示に係る撮像装置は、上記開示において、前記算出部は、前記一致フレームの時間的に前となる先行フレームの少なくとも１フレームと、時間的に後となる後続フレームの少なくとも１フレームの前記第１の画像に対して、前記一致度をさらに算出する。

また、本開示に係る撮像装置は、上記開示において、前記外部機器から入力された前記外部機器のフォーカス状態を示すフォーカス情報に基づいて、前記画像処理部が前記表示部へ出力する表示画像上に、前記外部機器のフォーカス状態を示す情報を重畳する重畳部をさらに備える。

また、本開示に係る撮像装置は、上記開示において、前記外部機器から入力された前記外部機器のフォーカス状態を示すフォーカス情報に基づいて、前記画像処理部が前記表示部へ出力する表示画像上に、前記外部機器のフォーカス状態を示す情報を重畳する重畳部をさらに備える。

また、本開示に係る撮像装置は、上記開示において、前記リサイズ画像に基づいて、前記外部機器のピント情報を評価する画像評価部をさらに備え、前記画像処理部は、前記画像評価部によって評価された評価結果を、前記ピント情報に対応して、合焦状態を視認可能な画像データに置き換えて前記第１の画像に合成する。

また、本開示に係る撮像装置は、上記開示において、前記画像評価部は、前記リサイズ画像に対して、エッジを抽出することによって前記ピント情報を評価し、前記画像処理部は、前記エッジを特定の色情報に置き換えて、前記第１の画像に合成する。

また、本開示に係る撮像装置は、上記開示において、前記画像処理部は、前記第１の画像における前記一致領域に、前記第１の画像と前記リサイズ画像とを所定の比率で合成して前記表示部へ出力する。

また、本開示に係る撮像装置は、上記開示において、前記画像処理部は、前記一致領域の中心から外縁に向けて前記第１の画像に対する前記リサイズ画像の比率を徐々に小さくすることによって前記第１の画像に前記リサイズ画像を合成する。

また、本開示に係る撮像システムは、第１の画角を有する第１の光学系によって第１の撮影視野を撮像することで第１の画像を生成する第１の撮像装置と、前記第１の画角と異なる焦点距離の第２の画角を有する第２の光学系によって第１の撮影視野の一部である第２の撮影領域を撮像することによって第２の画像を生成する第２の撮像装置と、前記第２の画像に対して、前記第２の撮像装置から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズ部と、前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出部と、前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理部と、を備える。

また、本開示に係る撮像システムは、上記開示において、前記第１の画像を複数フレーム保持するバッファ部と、前記リサイズ画像と前記バッファ部が保持する複数フレームの前記第１の画像とに基づいて、前記第１の撮像装置と前記第２の撮像装置との撮像タイミングのフレーム遅延を算出する算出部と、をさらに備え、前記画像処理部は、前記フレーム遅延に基づいて、前記バッファ部が保持する複数フレームのいずれか一つの前記第１の画像に対して、前記一致領域に前記リサイズ画像を合成して、表示部へ出力する。

また、本開示に係る撮像システムは、上記開示において、前記第１の撮像装置は、前記第２の撮像装置に対して着脱自在である。

また、本開示に係る撮像システムは、上記開示において、前記第２の撮像装置は、前記第２の画角の光学系と、前記第１の撮像装置が着脱自在に装着される固定部材と、を有するレンズ装置と、前記レンズ装置が着脱自在に装着される本体部と、を備える。

また、本開示に係る撮像システムは、上記開示において、前記第１の撮像装置は、前記第１の光学系を光軸方向に沿って移動させる駆動部と、前記焦点距離に基づいて、前記駆動部を制御することによって前記第１の光学系の画角の変更を制御する変倍制御部と、を備える。

また、本開示に係る撮像システムは、上記開示において、前記第１の撮像装置は、前記第１の画像を複数フレーム保持するバッファ部と、前記第１の画像を記録する記録部と、前記第２の撮像装置が撮影を行ったことを示す信号を前記第２の撮像装置から受信した場合、前記第１の画像を前記記録部に記録するとともに、前記バッファ部が保持する前記複数フレームのうち、前記記録部に記録する前記第１の画像を基準に所定の時間内の前記第１の画像を前記記録部に記録する書き込み制御部と、を備える。

また、本開示に係る撮像方法は、撮像装置が実行する撮像方法であって、撮像装置が実行する撮像方法であって、第１の画角を有する光学系によって第１の撮影視野を撮像することで第１の画像を生成する撮像ステップと、前記第１の画角と異なる焦点距離の第２の画角の光学系によって第１の撮影視野の一部である第２の撮影領域を撮像する外部機器から入力された第２の画像に対して、前記外部機器から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズステップと、前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出ステップと、前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理ステップと、を含む。

また、本開示に係るプログラムは、第１の画角を有する光学系によって第１の撮影視野を撮像することで第１の画像を生成する撮像ステップと、前記第１の画角と異なる焦点距離の第２の画角の光学系によって第１の撮影視野の一部である第２の撮影領域を撮像する外部機器から入力された第２の画像に対して、前記外部機器から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズステップと、前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出ステップと、前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理ステップと、を実行させる。

本発明によれば、撮影視野内に主要被写体を捉えつつ、ピント状態を確認しながら撮影することができるという効果を奏する。

図１は、本開示の実施の形態１に係る撮像システムの概要を示す概略図である。 図２は、本開示の実施の形態１に係る撮像装置の概略構成を示す模式図である。 図３は、本開示の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図４は、本開示の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図５は、本開示の実施の形態１に係る撮像装置が実行する処理の概要を模式的に説明する図である。 図６Ａは、本開示の実施の形態１に係る撮像装置が表示する画像の一例を示す図である。 図６Ｂは、本開示の実施の形態１に係る撮像装置が表示する画像の一例を示す図である。 図６Ｃは、本開示の実施の形態１に係る撮像装置が表示する画像の一例を示す図である。 図７は、本開示の実施の形態２に係る撮像装置の機能構成を示すブロック図である。 図８Ａは、フレーム遅延を考慮することなく合成表示した際の一例を示す図である。 図８Ｂは、フレーム遅延を考慮した合成表示した際の一例を示す図である。 図９は、本開示の実施の形態２に係る撮像装置が備える算出部がフレーム遅延を算出する算出方法を模式的に説明する図である。 図１０は、本開示の実施の形態２に係る撮像装置が実行する処理の概要を示すフローチャートである。 図１１Ａは、本開示の実施の形態２に係る撮像装置によって前ピン状態で撮像された画像の一例を示す図である。 図１１Ｂは、本開示の実施の形態２に係る撮像装置によって主被写体にピントがあった状態で撮像された画像の一例を示す図である。 図１１Ｃは、本開示の実施の形態２に係る撮像装置によって後ピン状態で撮像された画像の一例を示す図である。 図１２は、本開示の実施の形態３に係る撮像装置によって撮像された画像の一例を示す図である。 図１３Ａは、本開示の実施の形態３に係る撮像装置によって前ピン状態で撮像された画像の一例を示す図である。 図１３Ｂは、本開示の実施の形態３に係る撮像装置によって主被写体にピントがあった状態で撮像された画像の一例を示す図である。 図１３Ｃは、本開示の実施の形態３に係る撮像装置によって後ピン状態で撮像された画像の一例を示す図である。 図１４Ａは、図１２の画像データに図１３の画像データのリサイズ画像を合成した合成画像の一例を示す図である。 図１４Ｂは、図１２の画像データに図１４３Ｂの画像データのリサイズ画像を合成した合成画像の一例を示す図である。 図１４Ｃは、図１２の画像データに図１３Ｃの画像データのリサイズ画像を合成した合成画像の一例を示す図である。 図１５は、本開示の実施の形態４に係る撮像装置の機能構成を示すブロック図である。 図１６は、本開示の実施の形態４に係る撮像装置が実行する処理の概要を示すフローチャートである。 図１７は、リサイズ画像の一例を示す図である。 図１８は、リサイズ画像に対するエッジ抽出を模式的に示す図である。 図１９は、本開示の実施の形態４に係る撮像装置が表示する画像の一例を示す図である。 図２０は、本開示の実施の形態５に係る撮像システムの概要を示す概略図である。 図２１は、本開示の実施の形態５に係る撮像装置の機能構成を示すブロック図である。 図２２は、本開示の実施の形態５に係る撮像装置の概略構成を示す模式図である。 図２３は、図２１の制御部の機能構成を示すブロック図である。 図２４は、本開示の実施の形態５の変形例１に係る撮像装置の機能構成を示すブロック図である。 図２５は、本実施の形態５の変形例２に係る撮像装置の機能構成を示すブロック図である。

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各部は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものでない。

（実施の形態１）
〔撮像システムの概要〕
図１は、実施の形態１に係る撮像システムの概要を示す概略図である。図１に示す撮像システム１００は、撮像装置１（第１の撮像装置）と、撮像装置２（第２の撮像装置）と、を備える。撮像装置１は、第１の画角を有する光学系によって第１の撮像視野を撮像することで撮像装置２の撮影を補助する。撮像装置２（以下、単に「メインカメラ２」という）は、撮像装置１（以下、単「サブカメラ１」という）がホットシューまたはアクセサリポートに対して着脱自在に接続され、サブカメラ１と異なる第２の画角の光学系によって第１の撮影視野の一部である第２の撮影視野を撮像する。なお、メインカメラ２は、画角が異なるレンズ装置が着脱自在に接続されるレンズ交換式デジタルカメラまたは所定の画角のレンズが一体的に形成されたデジタルカメラであっても適用することができる。なお、以下においては、メインカメラ２の構成を説明した後に、サブカメラ１の構成を説明する。

〔メインカメラの構成〕
図２は、メインカメラ２の概略構成を示す模式図である。図２に示すメインカメラ２は、光学系２０と、焦点距離検出部２１と、撮像素子２２と、制御部２３と、通信部２４と、映像出力部２５と、ホットシュー２６と、電子ビーファインダ２７（以下、単に「ＥＶＦ２７」という）と、を備える。

光学系２０は、サブカメラ１が撮影する第１の撮影視野の一部である第２の撮影視野であって、第１の撮影視野より狭い第２の撮影視野を撮像素子２２の受光面に像を結像する。光学系２０は、１個または複数のレンズ等を用いて構成される。光学系２０は、サブカメラ１の第１の画角と異なる焦点距離の第２の画角を有する。例えば、光学系２０は、３５ｍｍ換算で３００ｍｍ以上の焦点距離（例えば対角画角８．２５°）を有する。より具体的には、光学系２０は、焦点距離を変更することができ、例えば３５ｍｍ換算で２４ｍｍ〜３００ｍｍの間で焦点距離を変更することができるズーム光学系または３００ｍｍの焦点距離のみの単焦点であってもよい。

焦点距離検出部２１は、光学系２０の焦点距離を検出し、この検出結果を制御部２３へ出力する。焦点距離検出部２１は、例えば光カプラ、ホール素子およびエンコーダ等を用いて構成される。

撮像素子２２は、制御部２３の制御のもと、光学系２０が結像した像を光電変換することによって画像データ（以下、単に「第２の画像」という）を生成し、この第２の画像を制御部２３へ出力する。撮像素子２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサを用いて構成される。

制御部２３は、メインカメラ２を構成する各部を制御する。制御部２３は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processing）およびＡＳＩＣ（Application Specific Integrated Circuit）等を用いて構成される。また、制御部２３は、撮像素子２２から画像データを取得し、取得した第２の画像をＥＶＦ２７の表示フォーマットに変換を行うことによって出力する。さらに、制御部２３は、図示しない操作部の操作に応じて、撮像素子２２に静止画撮影を実行させる。さらにまた、制御部２３は、撮影時に光学系２０のフォーカス状態を調整する制御を行う。

通信部２４は、制御部２３の制御のもと、ホットシュー２６を経由してサブカメラ１と双方向に所定の規格通信に従ってシリアル通信を行う。具体的には、通信部２４は、制御部２３の制御のもと、制御部２３から入力された焦点距離に関する焦点距離情報および主要被写体に対する光学系２０のフォーカス状態に関するフォーカス情報を、ホットシュー２６を経由してサブカメラ１へシリアル通信を行う。通信部２４は、通信モジュール等を用いて構成される。

映像出力部２５は、制御部２３の制御のもと、ホットシュー２６を経由してサブカメラ１へ撮像素子２２によって生成された第２の画像を出力する。映像出力部２５は、例えば映像インターフェースを用いて構成される。

ホットシュー２６は、サブカメラ１が着脱自在に装着される。ホットシュー２６は、通信部２４から入力された各種の情報をサブカメラ１へ伝送するとともに、映像出力部２５から入力された画像データをサブカメラ１へ伝送する。また、ホットシュー２６は、サブカメラ１から入力された各種の情報を通信部２４へ伝送する。さらに、ホットシュー２６は、図示しない電源からサブカメラ１へ電力を供給してもよい。

ＥＶＦ２７は、制御部２３の制御のもと、撮像素子２２によって生成された第２の画像およびメインカメラ２に関する各種情報を表示する。ＥＶＦ２７は、例えば液晶や有機ＥＬ（Electro Luminescence）等の表示パネルを用いて構成される。

〔サブカメラの構成〕
次に、サブカメラ１の構成について説明する。図３は、サブカメラ１の機能構成を示すブロック図である。図３に示すサブカメラ１は、光学系１０１と、撮像素子１０２と、読み出し部１０３と、シリアル通信入力部１０４（以下、「ＳＩＯ部１０４」という）と、映像入力部１０５と、リサイズ部１０６と、検出部１０７と、画像処理部１０８と、ＯＳＤ１０９と、ＥＶＦ１１０と、を備える。

光学系１０１は、第１の撮影領域を撮像素子１０２の受光面に像を結像する。光学系１０１は、１個または複数のレンズ等を用いて構成される。光学系１０１は、メインカメラ２の光学系２０よりも短い焦点距離を有する。例えば光学系１０１は、例えば３５ｍｍ換算で１００ｍｍの焦点距離を有する（例えば２４．５°）。より具体的には、光学系１０１は、メインカメラ２の光学系２０より２倍以上の画角を有する。

撮像素子１０２は、光学系１０１が結像した像を光電変換することによって画像データ（以下、単に「第１の画像」という）を生成する。撮像素子１０２は、例えばＣＭＯＳやＣＣＤ等のイメージセンサを用いて構成される。また、撮像素子１０２は、メインカメラ２の撮像素子２２の撮像面よりも小さい撮像面を有する。このため、撮像素子１０２によって生成される第１の画像は、被写体深度が撮像素子２２よりも深い。そして、第１の画像を、パンフォーカス画像とする。即ち、光学系１０１が結像する像は、撮像素子１０２の受光面のほぼ全域においてピントがあった像が結像される。

読み出し部１０３は、撮像素子１０２から第１の画像を読み出し、この読み出した第１の画像を検出部１０７および画像処理部１０８へ出力する。読み出し部１０３は、例えば水平走査回路、垂直走査回路、タイミングジェネレータおよびＡ/Ｄ変換回路等を用いて構成される。

ＳＩＯ部１０４は、メインカメラ２からメインカメラ２の焦点距離情報およびフォーカス情報等の入力を受け付け、この受け付けた焦点距離情報およびフォーカス情報等をリサイズ部１０６へ出力する。

映像入力部１０５は、メインカメラ２から第２の画像の入力を受け付け、この受け付けた第２の画像をリサイズ部１０６へ出力する。ここで、第２の画像は、例えばＨＤＭＩ（登録商標）等がある。さらに、第２の画像には、水平同期信号および垂直同期信号が含まれる。

リサイズ部１０６は、映像入力部１０５から入力されたメインカメラ２の第２の画像に対して、ＳＩＯ部１０４から入力されたメインカメラ２の焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像データ（以下、単に「リサイズ画像」という）を生成する。そして、リサイズ部１０６は、リサイズ画像を検出部１０７へ出力する。具体的には、まず、リサイズ部１０６は、ＳＩＯ部１０４から入力されたメインカメラ２の焦点距離情報に基づいて、映像入力部１０５から入力された第２の画像のリサイズ率を算出する。続いて、リサイズ部１０６は、リサイズ率に基づいて映像入力部１０５から入力された第２の画像に対してリサイズ処理を行ってリサイズ画像を生成する。例えば、リサイズ部１０６は、光学系１０１の焦点距離が３５ｍｍ換算で１００ｍｍであり、画角が２４．４°である場合において、メインカメラ２の焦点距離が３５ｍｍ換算で３００ｍｍであり、画角が８．２５°であるとき、以下の式（１）により、リサイズ率（３３．８％）を算出する。
リサイズ率＝メインカメラ２の画角／サブカメラ１の画角 ・・・（１）

検出部１０７は、読み出し部１０３から入力された第１の画像とリサイズ部１０６から入力されたリサイズ画像との相関が所定値以上の領域を一致領域として検出し、この検出結果を画像処理部１０８へ出力する。具体的には、検出部１０７は、周知のブロックマッチングおよび相関係数等の周知の技術を用いて、第１の画像とリサイズ画像との相関が所定値以上の領域を一致領域として検出し、この検出結果（例えば画像上の座標）を画像処理部１０８へ出力する。ここで、相関としては、一致度に基づいて適宜設定することができるが、一致領域は、第１の画像から１つ指示するため、相関が最も高い値の領域としてもよい。

画像処理部１０８は、検出部１０７から入力された一致領域に基づいて、第１の画像に対して画像処理を行う。具体的には、画像処理部１０８は、第１の画像に対して、検出部１０７から入力された一致領域を中心とする画角領域であって、リサイズ画像の画角領域よりも広角な表示領域を抽出するトリミング処理を行うことによって、ＥＶＦ１１０に表示する表示画像データを生成する。画像処理部１０８は、表示画像データをＯＳＤ１０９へ出力する。ここで、表示領域としては、適宜設定することができ、例えばメインカメラ２の画角の２倍として固定して設定してもよい。

ＯＳＤ１０９は、画像処理部１０８から入力された表示画像データに対応する表示画像上に、検出部１０７によって検出された一致領域に対応する表示領域にメインカメラ２の撮影視野であることを示す情報およびメインカメラ２のフォーカス状態を示すフォーカス情報を重畳してＥＶＦ１１０へ出力する。なお、上述したリサイズ部１０６、検出部１０７、画像処理部１０８およびＯＳＤ１０９は、例えばＦＰＧＡ、ＡＳＩＣ、ＤＳＰおよびメモリ等を用いて構成され、メモリに記録されたプログラムを実行することで、各機能を発揮するように構成するようにしてもよい。

ＥＶＦ１１０は、ＯＳＤ１０９から入力された表示画像データに対応する表示画像を表示するとともに、表示画像上に重畳されたメインカメラ２の撮影視野およびフォーカス情報を表示する。ＥＶＦ１１０は、例えば液晶または有機ＥＬ等を用いて構成される。

〔サブカメラの処理〕
次に、サブカメラ１が実行する処理について説明する。図４は、サブカメラ１が実行する処理の概要を示すフローチャートである。図５は、サブカメラ１が実行する処理の概要を模式的に説明する図である。図５において、図５の（ａ）がサブカメラ１によって生成される画像の一例を示し、図５の（ｂ）がメインカメラ２によって生成される画像の一例を示す。

図４に示すように、まず、撮像素子１０２は、撮像を行う（ステップＳ１０）。続いて、リサイズ部１０６は、ＳＩＯ部１０４から入力されたメインカメラ２の焦点距離情報を取得し（ステップＳ１１）、ＳＩＯ部１０４から入力されたメインカメラ２の焦点距離情報に基づいて、映像入力部１０５から入力される第２の画像のリサイズ率を算出する（ステップＳ１２）。

続いて、リサイズ部１０６は、映像入力部１０５から入力されたメインカメラ２の第２の画像を取得し（ステップＳ１３）、上述したステップＳ１２で算出したリサイズ率に基づいて、第２の画像のリサイズ処理を行ってリサイズ画像を生成する（ステップＳ１４）。具体的には、リサイズ部１０６は、図５（ｂ）に示すように、メインカメラ２によって生成された画像Ｐｍ１に対して、上述したステップＳ１２で算出したリサイズ率に基づいて、リサイズ処理を行ってリサイズ画像Ｐｍ２を生成する。

その後、検出部１０７は、読み出し部１０３から入力された第１の画像と、リサイズ部１０６から入力されたリサイズ画像とが一致する撮影視野である一致領域を検出する（ステップＳ１５）。

続いて、画像処理部１０８は、撮像素子１０２によって生成された画像データに対して、検出部１０７から入力された一致領域を中心とする画角領域であって、リサイズ画像の画角領域よりも広角な画角領域を表示する表示領域に決定し（ステップＳ１６）、第１の画像においてステップＳ１６で決定した表示領域に対して、トリミング処理を行うことによって、ＥＶＦ１１０において表示する表示画像データに対応する表示画像を生成する（ステップＳ１７）。具体的には、図５に示すように、画像処理部１０８は、撮像素子１０２によって生成された第１の画像に対応する画像Ｐｓ１に対して、検出部１０７から入力された一致領域Ｒ１が画像Ｐｓ１の中心とする画角領域であって、リサイズ画像Ｐｍ２の画角領域よりも広角な画角領域を表示する表示領域Ｆ１として決定する。

その後、ＯＳＤ１０９は、画像処理部１０８から入力された表示画像データに対応する表示画像上に、検出部１０７が検出した一致領域に対応する表示領域にメインカメラ２の撮影視野であることを示す情報およびメインカメラ２のフォーカス状態を示すフォーカス情報を重畳してＥＶＦ１１０へ出力する（ステップＳ１８）。具体的には、図５に示すように、ＯＳＤ１０９は、画像処理部１０８から入力された表示画像データに対応する表示画像Ｐｓ２上に、検出部１０７が検出した一致領域に対応する表示領域にメインカメラ２の撮影視野であることを示す情報Ｒ１およびメインカメラ２のフォーカス状態を示すフォーカス情報を重畳してＥＶＦ１１０へ出力する。

続いて、ＥＶＦ１１０は、ＯＳＤ１０９から入力された表示画像データに対応する表示画像を表示する（ステップＳ１８）。この場合、図６Ａ〜図６Ｃに示すように、ＥＶＦ１１０は、ＯＳＤ１０９がメインカメラ２のフォーカス状態を示すフォーカス情報に基づいて、識別可能な状態で情報Ｒ１の表示態様が変更した表示画像Ｐｓ２を表示する。例えば、ＯＳＤ１０９は、メインカメラ２が合焦前では、図６Ａに示すように情報Ｒ１をグレー（ハッチングで表現）で重畳し、メインカメラ２が合焦状態になった場合、図６Ｂに示すように情報Ｒ１を緑色で重畳し、メインカメラ２が主要被写体に対するピントが外れた場合、図６Ｃに示すように、情報Ｒ１を赤色で重畳してＥＶＦ１１０に表示させる。もちろん、サブカメラ１は、表示の変更以外にもと、音声、文字および図形等によってメインカメラ２の主要被写体に対するピント状態を出力してもよい。

その後、メインカメラ２の電源が停止することにより、終了する場合（ステップＳ１９：Ｙｅｓ）、サブカメラ１は、本処理を終了する。これに対して、メインカメラ２の電源が停止することなく、終了しない場合（ステップＳ１９：Ｎｏ）、サブカメラ１は、ステップＳ１０へ戻る。

以上説明した実施の形態１によれば、サブカメラ１で撮影した広い画角の第１の画像内にメインカメラ２の第２の撮影視野が中心となるようにＥＶＦ１１０に表示させることによって、超望遠でも被写体を見失うことを防止できるので、ドットサイトと同等の効果を得ることができるとともに、ドットサイト等で行う初期調整の作業を行う必要がなく、サブカメラ１をメインカメラ２に装着するだけで、すぐに撮影を行うことができる。

また、実施の形態１によれば、交換レンズを交換したり、ズーム倍率を変更したりしても、一定の広さの画角が自動で得られるので、毎回調整をする手間を省略することができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、上述した実施の形態１に係るサブカメラ１と構成が異なり、無線接続によってサブカメラとメインカメラとを接続するとともに、実行する処理が異なる。以下においては、実施の形態２に係るサブカメラの構成を説明後、実施の形態２に係るサブカメラが実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１００と同一の構成には同一の符号を付して詳細な説明は省略する。

〔サブカメラの処理〕
図７は、実施の形態２に係るサブカメラの機能構成を示すブロック図である。図７に示すサブカメラ１Ａは、上述した実施の形態１に係るサブカメラ１のＳＩＯ部１０４および映像入力部１０５および画像処理部１０８に換えて、メインカメラ２と通信を行う通信部１１１および画像処理部１０８Ａを備える。さらに、サブカメラ１Ａは、バッファ部１１２と、算出部１１３と、画像合成部１１４と、をさらに備える。

通信部１１１は、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格に従って、メインカメラ２と双方向に無線通信を行う。通信部１１１は、メインカメラ２によって生成された画像データ（第２の画像）、メインカメラ２の焦点距離情報およびメインカメラ２のフォーカス情報を受信する。通信部１１１は、例えばＷｉ−ＦｉモジュールおよびＢｌｕｅｔｏｏｔｈモジュール等を用いて構成される。なお、通信部１１１は、複数の通信モジュールを用いて構成し、例えば画像データをＷｉ−Ｆｉで通信し、その他の情報、例えば焦点距離情報およびフォーカス情報をＢｌｕｅｔｏｏｔｈで通信するようにしてもよい。

バッファ部１１２は、読み出し部１０３が撮像素子１０２から読み出した画像データを複数フレーム保持する。バッファ部１１２は、例えばＦＩＦＯ（First-In First-On）を用いて構成される。バッファ部１１２は、算出部１１３からの要求に応じて、保持する複数フレームの画像データを検出部１０７および算出部１１３へ出力する。

算出部１１３は、リサイズ部１０６によって生成されたリサイズ画像とバッファ部１１２が保持する複数フレームの第１の画像とに基づいて、メインカメラ２によって生成された第２の画像と撮像素子１０２によって生成された第１の画像の撮影タイミングのフレーム遅延を算出する。具体的には、算出部１１３は、検出部１０７によって検出された一致領域における複数フレームの各々の画像データ（第１の画像）とリサイズ画像との一致度が最も高いフレームを、リサイズ画像の撮影タイミングが一致する一致フレームとして算出する。なお、算出部１１３は、一致度を周知のブロックマッチングまたは相関演算等によって算出する。

画像処理部１０８Ａは、ＦＰＧＡ、ＡＳＩＣおよびＤＳＰ等を用いて構成される。画像処理部１０８Ａは、第１の画像とリサイズ画像とを合成する画像合成部１１４と、画像合成部１１４によって生成された合成画像からＥＶＦ１１０が表示する表示領域を抽出するトリミング部１１５と、を有する。

画像合成部１１４と、トリミング部１１５と、を有する。画像合成部１１４は、算出部１１３が検出したフレーム遅延に基づいて、バッファ部１１２が保持する複数フレームのいずれか一つの第１の画像に対して、リサイズ画像を合成してからトリミング部１１５へ出力する。

トリミング部１１５は、検出部１０７から入力された一致領域に基づいて、画像合成部１１４から入力される合成画像に対して画像処理を行う。具体的には、画像処理部１０８は、合成画像に対して、検出部１０７から入力された一致領域を中心とする画角領域であって、リサイズ画像の画角領域よりも広角な表示領域を抽出するトリミング処理を行うことによって、ＥＶＦ１１０において表示する表示画像データを生成する。画像処理部１０８は、表示画像データをＯＳＤ１０９へ出力する。

〔サブカメラの合成方法の概要〕
次に、サブカメラ１Ａが実行する合成方法の概要について説明する。図８Ａは、フレーム遅延を考慮することなく合成表示した際の一例を示す図である。図８Ｂは、フレーム遅延を考慮した合成表示した際の一例を示す図である。なお、図８Ａおよび図８Ｂにおいては、主要被写体として接近する車を追いかけながらフレーミングする状況下について説明する。また、図８Ａおよび図８Ｂにおいて、時間Ｔ１〜時間Ｔ５は、ＥＶＦ１１０の表示フレームに対応した時間であり、時間Ｔ１が最も古い表示フレームの時間に対応し、時間Ｔ５が最新の表示フレームの時間に対応する。また、図８Ａの（ａ）および図８Ｂの（ａ）における画像ＦＳ１〜画像ＦＳ５は、サブカメラ１Ａによって順次生成された複数の画像データ（第１の画像）の各々に対応する画像を示す。さらに、図８Ａの（ｂ）および図８Ｂの（ｂ）における画像ＦＭ１〜画像ＦＭ５は、メインカメラ２によって順次生成された複数の画像データ（第２の画像）の各々に対応する画像を示す。さらにまた、図８Ａの（ｃ）および図８Ｂの（ｃ）における画像ＦＡ１〜画像ＦＡ５または画像ＦＤ１〜画像ＦＤ５は、各表示フレームの時間Ｔ１〜時間Ｔ５において、サブカメラ１Ａの画像ＦＳ１〜画像ＦＳ５にメインカメラ２の画像ＦＭ１〜画像ＦＭ５の各々を合成した画像を示す。

サブカメラ１Ａは、通信部１１１が無線通信によってメインカメラ２から画像データを含む各種情報を受信しているため、通信遅延時間と通信状態の悪化によってメインカメラ２から画像データを受信するまでの遅延や画像データの取りこぼし等が発生する。

このため、図８Ａの（ｃ）に示すように、ＥＶＦ１１０が表示する画像ＦＡ１〜画像ＦＡ５の各々には、メインカメラ２からの画像データをリサイズ処理したリサイズ画像ＲＡ１〜画像ＲＡ５の各々とサブカメラ１Ａの画像ＦＳ１〜画像ＦＳ５の各々との間で時間の差（ずれ）が生じる。このため、画像ＦＡ１〜画像ＦＡ５の各々は、境界部において連続的な繋がりがなく、不自然な画像となって表示される。

これに対して、図８Ｂの（ｃ）に示すように、サブカメラ１Ａは、メインカメラ２からの画像データの遅延に合わせて、撮像素子１０２が生成した画像データの表示タイミングを遅らせて合成する。例えば、図８Ｂの（ｃ）に示すように、サブカメラ１Ａは、撮像素子１０２が生成した最新の画像ＦＳ２の一つ前の画像ＦＳ１に、メインカメラ２からの画像ＦＭ２のリサイズ画像Ｒ１を合成した合成画像ＦＤ２をＥＶＦ１１０に表示させる。これにより、画像ＦＤ１〜画像ＦＤ５の各々は、境界部において連続的に繋がることで、自然で滑らかなであり、違和感が無い画像となって表示される。

ここで、算出部１１３がフレーム遅延を算出する算出方法について説明する。図９は、算出部１１３がフレーム遅延を算出する算出方法を模式的に説明する図である。なお、図９においては、画像ＦＭ３は、図８Ｂの時間Ｔ３においてメインカメラ２によって撮像された最新の画像として説明する。

図９に示すように、算出部１１３は、時間Ｔ２において、サブカメラ１Ａによって撮像された第１の画像ＦＳ１を合成したので、合成予定の画像が１フレーム分進んだ画像ＦＳ２となる。このため、算出部１１３は、画像ＦＭ３と画像ＦＳ２の視野領域Ｒ１との相関関係を評価する。さらに、算出部１１３は、画像ＦＭ３と前フレームの画像ＦＳ１および後フレームの画像ＦＳ３の各々の視野領域Ｒ１との相関関係を評価する。そして、算出部１１３は、相関が最も高いフレームの画像が撮影された時間が最も近い画像と評価し、画像合成部１１４が合成する合成対象として決定する。

このように、算出部１１３は、逐次フレーム毎に評価することで、メインカメラ２の撮影タイミングと同じ第１の画像をバッファ部１１２が保持する複数のフレームの中から１つの第１の画像を決定する。なお、算出部１１３は、メインカメラ２から送信される第２の画像が通信状況によってフレームの取りこぼしが発生する可能性があるが、この場合、相関が最も高い第１の画像を合成対象として決定してもよいし、合成対象なしと評価してもよい。このとき、画像合成部１１４は、合成を行わず、メインカメラ２の第２の撮影視野に対応する一致領域を、サブカメラ１Ａの第１の画像とするようにして合成してもよい。

〔サブカメラの処理〕
次に、サブカメラ１Ａが実行する処理について説明する。図１０は、サブカメラ１Ａが実行する処理の概要を示すフローチャートである。

図１０において、まず、撮像素子１０２は、第１の画像を生成し（ステップＳ２０）、バッファ部１１２は、読み出し部１０３から順次入力された第１の画像データをフレーム毎に保持する（ステップＳ２１）。

続いて、通信部１１１は、メインカメラ２から各種の情報を受信する（ステップＳ２２）。具体的には、通信部１１１は、メインカメラ２から第２の画像、焦点距離情報およびフォーカス情報を受信する。ステップＳ２３〜ステップＳ２５は、上述した図４のステップＳ１２〜ステップＳ１５それぞれに対応する。ステップＳ２５の後、サブカメラ１Ａは、後述するステップＳ２６へ移行する。

ステップＳ２６において、算出部１１３は、リサイズ部１０６によって生成されたリサイズ画像とバッファ部１１２が保持する複数フレームの第１の画像とに基づいて、メインカメラ２によって生成された第２の画像と撮像素子１０２によって生成された第１の画像の撮影タイミングの遅延フレームを算出する。具体的には、算出部１１３は、検出部１０７によって検出された一致領域における複数フレームの各々の第１の画像とリサイズ画像との一致度が最も高いフレームを、リサイズ画像の撮影タイミングが一致する一致フレームとして検出することによって遅延フレームを算出する。

続いて、画像合成部１１４は、算出部１１３が検出したフレーム遅延に基づいて、バッファ部１１２が保持する複数フレームのいずれか一つを第１の画像に対して、リサイズ画像を合成することによって画像処理部１０８へ出力する（ステップＳ２７）。ステップＳ２８〜ステップＳ３１は、上述した図４のステップＳ１６〜ステップＳ１９それぞれに対応する。この場合、図１１Ａ〜図１１Ｃに示すように、ＥＶＦ１１０は、表示画像Ｆ_Ｓ３０〜Ｆ_Ｓ３２の各々における一致領域に対応するリサイズ画像Ｆ_Ｍ３０〜Ｆ_Ｍ３２であって、メインカメラ２のピント状態に応じたリサイズ画像Ｆ_Ｍ３０〜Ｆ_Ｍ３２を表示する。これにより、ユーザは、メインカメラ２のピント状態を直感的に把握することができる。

以上説明した実施の形態２によれば、メインカメラ２からの第２の画像のフレーム遅延が生じた場合であっても、画像合成部１１４が算出部１１３の算出結果に基づいて、メインカメラ２の撮影タイミングと同じタイミングで生成された第１の画像に合成するので、自然で滑らかな表示を行うことができる。

また、実施の形態２によれば、メインカメラ２から送信される第２の画像のフレーム遅延が変動した場合であっても、速やかに追従することができる。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３に係るサブカメラは、上述した実施の形態２に係るサブカメラ１Ａと同一の構成を有し、合成方法のみが異なる。具体的には、上述した実施の形態２では、メインカメラ２によって生成された画像データに対応するリサイズ画像をサブカメラ１Ａによって生成された画像に合成していたが、実施の形態３では、リサイズ画像とサブカメラ１Ａによって生成された画像とを所定の比率で合成する。以下においては、実施の形態３に係るサブカメラ１Ａが実行する処理について説明する。なお、上述した実施の形態２に係るサブカメラ１Ａと同一の構成には同一の符号を付して詳細な説明は省略する。

〔サブカメラの合成方法〕
図１２は、サブカメラ１Ａによって撮像された画像の一例を示す図である。図１３Ａは、メインカメラ２によって前ピン状態で撮像された画像の一例を示す図である。図１３Ｂは、メインカメラ２によって主被写体にピントがあった状態で撮像された画像の一例を示す図である。図１３Ｃは、メインカメラ２によって後ピン状態で撮像された画像の一例を示す図である。

図１２、図１３Ａ〜図１３Ｃに示すように、画像合成部１１４は、算出部１１３によって検出されたサブカメラ１の第１の画像に対して、リサイズ部１０６によって生成されたリサイズ画像を、メインカメラ２の撮影視野領域に対応する位置に所定の比率で半透過となるように合成することによって合成画像を生成する。また、画像合成部１１４は、リサイズ画像に対する合成比率を中心から外縁側に向けて徐々に大きくなるように合成するようにしてもよい。即ち、リサイズ画像は、中心から外縁側に行くほど透過率が上がるので、第１の画像とリサイズ画像との境界を自然で滑らかなにすることができる。

図１４Ａは、図１２の画像データに図１３の画像データのリサイズ画像を合成した合成画像の一例を示す図である。図１４Ｂは、図１２の画像データに図１４３Ｂの画像データのリサイズ画像を合成した合成画像の一例を示す図である。図１４Ｃは、図１２の画像データに図１３Ｃの画像データのリサイズ画像を合成した合成画像の一例を示す図である。

図１４Ａ〜図１４Ｃに示すように、表示部１１０は、サブカメラ１Ａによってパンフォーカス状態で撮像された第１の画像に、半透過でメインカメラ２のピント状態（主要被写体に対する被写体深度）に応じたリサイズ画像Ｆ_Ｍ１０〜リサイズ画像F_Ｍ３０の各々が合成された合成画像Ｆ_Ｓ１を表示する。この結果、ユーザは、メインカメラ２のピント状態に関わらず、主要被写体に対するピント状態を確認することができるうえ、パンフォーカス状態であるサブカメラ１Ａの第１の画像のどこにピントがあっているか否かを直感的に把握することができる。

以上説明した実施の形態３によれば、メインカメラ２のピント状態に関わらず、主要被写体に対するピント状態を確認することができるうえ、パンフォーカス状態であるサブカメラ１Ａの第１の画像のどこにピントがあっているか否かを直感的に把握することができる。

また、実施の形態３によれば、メインカメラ２の一致領域の中心から外縁へ向かうほどリサイズ画像の透過率が徐々上がるように合成するので、メインカメラ２の撮影領域境界の違和感を軽減することができる。

（実施の形態４）
次に、実施の形態４について説明する。実施の形態４に係るサブカメラは、上述した実施の形態１に係るサブカメラ１と構成が異なるうえ、実行する処理が異なる。具体的には、実施の形態４は、メインカメラによって生成された画像データのリサイズ画像に対してエッジを抽出するピーキング処理を行って後に、このピーキング処理で抽出したエッジをサブカメラによって生成された画像データに合成する。なお、上述した実施の形態１,２に係るサブカメラ１,１Ａと同一の構成には同一の符号を付して詳細な説明は省略する。

〔サブカメラの処理〕
図１５は、実施の形態４に係るサブカメラの機能構成を示すブロック図である。図１５に示すサブカメラ１Ｂは、上述した実施の形態１に係るサブカメラ１の構成に加えて、上述した実施の形態２に係る画像処理部１０８Ａを備えるうえ、画像評価部１１６をさらに備える。

画像評価部１１６は、リサイズ部１０６から入力されたリサイズ画像に対して、メインカメラ２のピントが合っている部分を抽出するエッジ抽出処理を実行する。具体的には、画像評価部１１６は、リサイズ画像に対して、例えばハイパスフィルタのように、高周波成分を抽出するエッジ抽出処理を行うことによってメインカメラ２のピントが合っている部分を抽出する。

〔サブカメラの処理〕
次に、サブカメラ１Ｂが実行する処理について説明する。図１６は、サブカメラ１Ｂが実行する処理の概要を示すフローチャートである。図１６において、ステップＳ４０〜ステップＳ４５は、上述した図１０のステップＳ２０〜ステップＳ２５それぞれに対応する。

ステップＳ４６において、画像評価部１１６は、リサイズ部１０６から入力されたリサイズ画像に対して、メインカメラ２のピントが合っている部分を抽出するエッジ抽出処理を実行する。具体的には、画像評価部１１６は、図１７に示すリサイズ画像Ｆ_Ｒ１００に対して、エッジ抽出処理を実行することによって、リサイズ画像Ｆ_Ｒ１００においてメインカメラ２のピントが合っている部分を示すエッジ成分を抽出する（図１８の画像Ｆ_{ＰＰ１００}を参照）。

続いて、画像合成部１１４は、画像評価部１１６が抽出したエッジ部分と読み出し部１０３から入力された画像データとを合成することによって合成画像データを生成する（ステップＳ４７）。具体的には、図１９に示すように、画像合成部１１４は、画像評価部１１６が抽出したエッジ部分と読み出し部１０３から入力された画像データとを合成することによって合成画像データに対応する合成画像Ｆ_{ＳＰ１００}を生成する。この場合、画像合成部１１４は、エッジ部分をピーキング処理で施すことによって、エッジ部分（図１９では太線で表現）を強調して、読み出し部１０３から入力された画像データと合成する。なお、エッジ部分の強調することは、合成画像Ｆ_{ＳＰ１００}のエッジ部分を、識別をさせるための特定の色に置き換えて合成することでもよい。特定の色に置き換えて合成することは、フォーカスピーキング機能と同様の効果を得る。

ステップＳ４８〜ステップＳ５１は、上述した図１０のステップＳ２８〜Ｓ３１それぞれに対応する。

以上説明した実施の形態４によれば、画像合成部１１４は、画像評価部１１６が抽出したエッジ部分と読み出し部１０３から入力された画像データとを合成することによって合成画像データを生成し、サブカメラ１Ｂで撮影されたパンフォーカス状態の第１の画像上にメインカメラ２の撮影視野に対応する領域に、メインカメラ２からの画像をピーキング処理した結果を重畳してＥＶＦ１１０に表示することによって、サブカメラ１Ｂのパンフォーカス画像を確認しつつ、メインカメラ２がピント位置を直感的に把握することができるので、大ボケ状態で被写体を見失うことを防止できる。

（実施の形態５）
次に、実施の形態５について説明する。実施の形態５に係る撮像システムは、上述した実施の形態１〜４に係る撮像システムと構成が異なる具体的には、上述した実施の形態１〜４では、サブカメラがメインカメラから入力された第２の画像を用いて各種処理を行っていたが、実施の形態５では、メインカメラがサブカメラから入力された画像データを用いて各種処理を行う。なお、上述した実施の形態１〜４に係る撮像システム１００と同一の構成には同一の符号を付して詳細な説明は省略する。

〔撮像システムの概要〕
図２０は、実施の形態５に係る撮像システムの概要を示す概略図である。図２０に示す撮像システム１００Ｃは、サブカメラ１Ｃと、メインカメラ２Ｃと、を備える。サブカメラ１Ｃおよびメインカメラ２Ｃは、無線通信によって双方向に通信可能に接続される。また、サブカメラ１Ｃは、メインカメラ２Ｃのレンズ装置に設けられたフィルタ装着部に着脱自在に装着される。具体的には、サブカメラ１Ｃは、筒状をなし、内部に複数の溝が形成された固定部材を備える。固定部材は、レンズ装置に設けられたフィルタ装着部に装着される。

〔サブカメラの構成〕
まず、サブカメラ１Ｃの構成について説明する。図２１は、サブカメラ１Ｃの機能構成を示すブロック図である。図２１に示すサブカメラ１Ｃは、光学系１０１と、撮像素子１０２と、読み出し部１０３と、通信部２０１と、を備える。

通信部２０１は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ等の無線通信規格に従って、メインカメラ２Ｃと双方向に無線通信を行う。通信部２０１は、サブカメラ１Ｃによって生成された第１の画像、フォーカス情報および焦点距離情報をメインカメラ２Ｃへ無線送信する。通信部２０１は、例えばＷｉ−ＦｉモジュールおよびＢｌｕｅｔｏｏｔｈモジュール等を用いて構成される。

〔メインカメラの構成〕
次に、メインカメラ２Ｃの構成について説明する。図２２は、メインカメラ２Ｃの概略構成を示す模式図である。図２２に示すメインカメラ２Ｃは、交換レンズ３００と、交換レンズ３００が着脱自在に装着される本体部４００と、を備える。

交換レンズ３００は、少なくとも光学系２０と、焦点距離検出部２１と、を備える。交換レンズ３００は、本体部４００に着脱自在に装着される。

本体部４００は、撮像素子２２と、制御部２３Ｃと、ＥＶＦ２７と、通信部２８と、を備える。

制御部２３Ｃは、メインカメラ２Ｃの各部を統括的に制御する。制御部２３Ｃは、ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ、ＧＰＵおよびメモリ等を用いて構成される。なお、制御部２３Ｃの詳細な構成は、後述する。

通信部２８は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ等の無線通信規格に従って、サブカメラ１Ｃと双方向に無線通信を行う。通信部２８は、サブカメラ１Ｃによって生成された第１の画像、フォーカス情報および焦点距離情報を受信し、受信した受信結果を制御部２３Ｃへ出力する。通信部２８は、例えばＷｉ−ＦｉモジュールおよびＢｌｕｅｔｏｏｔｈモジュール等を用いて構成される。

〔制御部の構成〕
次に、上述した制御部２３Ｃの詳細な構成について説明する。図２３は、制御部２３Ｃの機能構成を示すブロック図である。図２３に示す制御部２３Ｃは、上述した実施の形態２のサブカメラ１Ａと同一の構成を有し、読み出し部１０３と、リサイズ部１０６と、検出部１０７と、算出部１１３と、画像処理部１０８Ａと、ＯＳＤ部１０９と、を備える。さらに、制御部２３Ｃは、取得部４５２を備える。

取得部４５２は、通信部２８を経由してサブカメラ１Ｃから送信された第１の画像、フォーカス情報および焦点距離情報を取得し、取得した各種情報を各部へ出力する。

以上説明した実施の形態５によれば、メインカメラ２ＣのＥＶＦ２７を見ながら撮影をおこなうので、通常の撮影感覚で撮影できるので、違和感が生じることを防止することができる。

また、実施の形態５によれば、サブカメラ１Ｃを交換レンズ３００の先端に装着し、交換レンズ３００とサブカメラ１Ｃの視差を最小とすることができるので、大口径の交換レンズ３００（例えば３５ｍｍ換算で６００ｍｍ以上の焦点距離を有する交換レンズ）を装着した場合でも、サブカメラ１Ｃの撮影視野内に交換レンズ３００が写り込むことを防止することができる。

（実施の形態５の変形例１）
次に、実施の形態５の変形例１について説明する。図２４は、実施の形態５の変形例１に係るサブカメラの機能構成を示すブロック図である。

図２４に示すサブカメラ１Ｄは、上述した実施の形態５に係るサブカメラ１Ｃの構成に加えて、変倍制御部２０２と、駆動部２０３と、を備える。

変倍制御部２０２は、通信部２０１から入力された制御信号に基づいて、駆動部２０３を制御することによって光学系１０１の焦点距離を変更する。

駆動部２０３は、変倍制御部２０２の制御のもと、光学系１０１を光軸に沿って移動させることで光学系１０１の焦点距離を変更する。駆動部２０３は、例えばＶＣＭモータやステッピングモータ等を用いて構成される。

以上説明した実施の形態５の変形例１によれば、メインカメラ２Ｃの焦点距離に応じた画角に変更することができるので、様々なメインカメラ２Ｃに対応することができるとともに、表示画像の画質を向上させることができる。

（実施の形態５の変形例２）
次に、実施の形態５の変形例２について説明する。図２５は、実施の形態５の変形例２に係るサブカメラの機能構成を示すブロック図である。

図２５に示すサブカメラ１Ｅは、上述した実施の形態５に係るサブカメラ１Ｃの構成に加えて、バッファ部２０４、書き込み制御部２０５およびＲＯＭ２０６をさらに備える。

バッファ部２０４は、読み出し部１０３から順次入力された第１の画像を複数フレーム保持する。

書き込み制御部２０５は、通信部２０１からメインカメラ２Ｃの撮影を指示する指示信号が入力されたタイミングにバッファ部２０４に保持された第１の画像と、そのタイミング後の所定時間にバッファ部２０４に保持された第１の画像をＲＯＭ２０６に記録する。

以上説明した実施の形態５の変形例２によれば、メインカメラ２Ｃで撮影された画像より広い画角で撮影前後の状態を記録した画像を取得することができる。

（その他の実施の形態）
上述した本開示の実施の形態１〜５に係る撮像システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１〜５に係る撮像システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１〜５に係る撮像システムで説明した構成要素を適宜組み合わせてもよい。

また、本開示の実施の形態１〜５に係る撮像システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、本開示の実施の形態１〜５に係る撮像システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本開示の実施の形態１〜５に係る撮像システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

１,１Ａ,１Ｂ,１Ｃ,１Ｄ・・・撮像装置；２,２Ａ,２Ｃ,２Ｄ・・・撮像装置；２０,１０１・・・光学系；２１・・・焦点距離検出部；２２,１０２・・・撮像素子；２３,２３Ｃ・・・制御部；２４・・・通信部；２５・・・映像出力部；２６・・・ホットシュー；２７・・・電子ビーファインダ；２８・・・通信部；１００,１００Ｄ・・・撮像システム；１０１・・・光学系；１０２・・・撮像素子；１０３・・・読み出し部；１０４・・・シリアル通信入力部；１０５・・・映像入力部；１０６・・・リサイズ部；１０７・・・検出部；１０８,１０８Ａ・・・画像処理部；１０９・・・ＯＳＤ部；１１０・・・表示部；１１１・・・通信部；１１２・・・バッファ部；１１３・・・算出部；１１４・・・画像合成部；１１５・・・トリミング部；１１６・・・画像評価部；２０１・・・通信部；２０２・・・変倍制御部；２０３・・・駆動部；２０４・・・バッファ部；２０５・・・書き込み制御部；２０６・・・ＲＯＭ；３００・・・交換レンズ；４００・・・本体部；４５２・・・取得部

Claims (18)

1. 第１の画角を有する光学系によって第１の撮影視野を撮像することで、第１の画像を生成する撮像部と、
   前記第１の画角と異なる焦点距離の第２の画角の光学系によって、第１の撮影視野の一部である第２の撮影領域を撮像する外部機器から入力された、第２の画像に対して、前記外部機器から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズ部と、
   前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出部と、
   前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理部と、
   を備える撮像装置。
2. 前記画像処理部は、前記第１の画像に対して、前記一致領域を中心とする画角領域であって、前記リサイズ画像の画角領域よりも広角な画角領域の抽出を行って表示部へ出力する
   請求項１に記載の撮像装置。
3. 前記撮像部によって順次生成された前記第１の画像を複数フレーム保持するバッファ部と、
   前記リサイズ画像と前記バッファ部が保持する複数フレームの前記第１の画像とに基づいて、前記外部機器と前記撮像部との撮像タイミングのフレーム遅延を算出する算出部と、
   をさらに備え、
   前記画像処理部は、前記フレーム遅延に基づいて、前記バッファ部が保持する複数フレームのいずれか一つの前記第１の画像に対して、前記一致領域に前記リサイズ画像を合成して、表示部へ出力する
   請求項１に記載の撮像装置。
4. 前記算出部は、
   前記一致領域における前記複数フレームの各々の前記第１の画像と前記リサイズ画像との一致度が最も高いフレームを、前記リサイズ画像と撮影タイミングが一致する一致フレームと算出し、
   前記画像処理部は、
   前記算出部が算出した前記一致フレームの前記第１の画像に前記リサイズ画像を合成して、表示部へ出力する
   請求項３に記載の撮像装置。
5. 前記算出部は、前記一致フレームの時間的に前となる先行フレームの少なくとも１フレームと、時間的に後となる後続フレームの少なくとも１フレームの前記第１の画像に対して、前記一致度をさらに算出する
   請求項４に記載の撮像装置。
6. 前記外部機器から入力された前記外部機器のフォーカス状態を示すフォーカス情報に基づいて、前記画像処理部が前記表示部へ出力する表示画像上に、前記外部機器のフォーカス状態を示す情報を重畳する重畳部をさらに備える
   請求項２〜５のいずれか一つに記載の撮像装置。
7. 前記リサイズ画像に基づいて、前記外部機器のピント情報を評価する画像評価部をさらに備え、
   前記画像処理部は、前記画像評価部によって評価された評価結果を、前記ピント情報に対応して、合焦状態を視認可能な画像データに置き換えて前記第１の画像に合成する
   請求項１に記載の撮像装置。
8. 前記画像評価部は、前記リサイズ画像に対して、エッジを抽出することによって前記ピント情報を評価し、
   前記画像処理部は、前記エッジを特定の色情報に置き換えて、前記第１の画像に合成する
   請求項７に記載の撮像装置。
9. 前記画像処理部は、前記第１の画像における前記一致領域に、前記第１の画像と前記リサイズ画像とを所定の比率で合成して前記表示部へ出力する
   請求項２または３に記載の撮像装置。
10. 前記画像処理部は、前記一致領域の中心から外縁に向けて前記第１の画像に対する前記リサイズ画像の比率を徐々に小さくすることによって前記第１の画像に前記リサイズ画像を合成する
    請求項９に記載の撮像装置。
11. 第１の画角を有する第１の光学系によって第１の撮影視野を撮像することで第１の画像を生成する第１の撮像装置と、
    前記第１の画角と異なる焦点距離の第２の画角を有する第２の光学系によって第１の撮影視野の一部である第２の撮影領域を撮像することによって第２の画像を生成する第２の撮像装置と、
    前記第２の画像に対して、前記第２の撮像装置から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズ部と、
    前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出部と、
    前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理部と、
    を備える撮像システム。
12. 前記第１の画像を複数フレーム保持するバッファ部と、
    前記リサイズ画像と前記バッファ部が保持する複数フレームの前記第１の画像とに基づいて、前記第１の撮像装置と前記第２の撮像装置との撮像タイミングのフレーム遅延を算出する算出部と、
    をさらに備え、
    前記画像処理部は、前記フレーム遅延に基づいて、前記バッファ部が保持する複数フレームのいずれか一つの前記第１の画像に対して、前記一致領域に前記リサイズ画像を合成して、表示部へ出力する
    請求項１１に記載の撮像システム。
13. 前記第１の撮像装置は、前記第２の撮像装置に対して着脱自在である
    請求項１２に記載の撮像システム。
14. 前記第２の撮像装置は、
    前記第２の画角の光学系と、前記第１の撮像装置が着脱自在に装着される固定部材と、を有するレンズ装置と、
    前記レンズ装置が着脱自在に装着される本体部と、
    を備える
    請求項１２または１３に記載の撮像システム。
15. 前記第１の撮像装置は、
    前記第１の光学系を光軸方向に沿って移動させる駆動部と、
    前記焦点距離に基づいて、前記駆動部を制御することによって前記第１の光学系の画角の変更を制御する変倍制御部と、
    を備える
    請求項１２〜１４のいずれか一つに記載の撮像システム。
16. 前記第１の撮像装置は、
    前記第１の画像を複数フレーム保持するバッファ部と、
    前記第１の画像を記録する記録部と、
    前記第２の撮像装置が撮影を行ったことを示す信号を前記第２の撮像装置から受信した場合、前記第１の画像を前記記録部に記録するとともに、前記バッファ部が保持する前記複数フレームのうち、前記記録部に記録する前記第１の画像を基準に所定の時間内の前記第１の画像を前記記録部に記録する書き込み制御部と、
    を備える
    請求項１１に記載の撮像システム。
17. 撮像装置が実行する撮像方法であって、
    第１の画角を有する光学系によって第１の撮影視野を撮像することで第１の画像を生成する撮像ステップと、
    前記第１の画角と異なる焦点距離の第２の画角の光学系によって第１の撮影視野の一部である第２の撮影領域を撮像する外部機器から入力された第２の画像に対して、前記外部機器から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズステップと、
    前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出ステップと、
    前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理ステップと、
    を含む撮像方法。
18. 撮像装置に、
    第１の画角を有する光学系によって第１の撮影視野を撮像することで第１の画像を生成する撮像ステップと、
    前記第１の画角と異なる焦点距離の第２の画角の光学系によって第１の撮影視野の一部である第２の撮影領域を撮像する外部機器から入力された第２の画像に対して、前記外部機器から入力された前記焦点距離に関する焦点距離情報に基づいて、リサイズ処理を行ってリサイズ画像を生成するリサイズステップと、
    前記第１の画像と前記リサイズ画像との相関が所定値以上の領域を一致領域として検出する検出ステップと、
    前記一致領域に基づいて、前記第１の画像に画像処理を行う画像処理ステップと、
    を実行させるプログラム。