JP2018006993A - 画像処理装置、撮像システムおよび撮像装置 - Google Patents

Abstract

【課題】移動する被写体を撮影した動画のＳ／Ｎ比の向上、高ダイナミックレンジを実現する。【解決手段】画像処理装置は、連続的に取得された複数の画像を入力し、複数の画像のうちの第１画像のＳ／Ｎ比を向上させる処理を行って第３画像を生成し、複数の画像のうちの第２画像のＳ／Ｎ比を向上させる処理を行って第４画像を生成する生成部と、第１画像と第４画像とを合成して第１合成画像を生成し、第２画像と第３画像とを合成して第２合成画像を生成する合成部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、撮像システムおよび撮像装置に関する。

従来から、複数の画像データを加算することにより、ランダムノイズの発生を抑えた画像を表示する撮像装置が知られている（例えば、特許文献１）。しかしながら、移動する被写体を撮影した動画においては、移動する被写体の画像上での位置や大きさ等が異なるので、加算して得られた画像を再生すると、移動する被写体に残像が残ったように見え、画質が低下するという問題がある。

特開２０１３−１６２３５９号公報

請求項１に記載の画像処理装置は、連続的に取得された複数の画像を入力し、複数の画像のうちの第１画像のＳ／Ｎ比を向上させる処理を行って第３画像を生成し、複数の画像のうちの第２画像のＳ／Ｎ比を向上させる処理を行って第４画像を生成する生成部と、第１画像と第４画像とを合成して第１合成画像を生成し、第２画像と第３画像とを合成して第２合成画像を生成する合成部と、を備える。
請求項１０に記載の撮像システムは、被写体像を撮像して連続的に画像を取得する撮像部と、撮像部に電力を供給する電源部とを有する撮像装置と、請求項１乃至９の何れか一項に記載の画像処理装置と、を備える。
請求項１４に記載の撮像装置は、被写体像を撮像して連続的に画像を取得する撮像部と、請求項１乃至９の何れか一項に記載の画像処理装置と、画像処理装置の合成部によって生成された第１合成画像と第２合成画像とを連続的に表示する表示部と、を備える。

実施の形態における撮像システムの構成を模式的に示すブロック図である。 動画データから抽出された移動被写体から三次元移動被写体を生成する処理を模式的に示す図である。 三次元移動被写体から中間画像を生成する処理を模式的に示す図である。 中間画像から合成移動被写体を生成し、高画質動画データを生成する処理を模式的に示す図である。 高画質再生モードにおける処理を説明するフローチャートである。 変形例におけるデジタルカメラの構成を模式的に示すブロック図である。

図面を参照しながら、一実施の形態による撮像システムについて説明する。図１は、撮像システム１の構成を模式的に示すブロック図である。撮像システム１は、撮像装置１０と、制御処理装置２０と、操作端末３０とを備える。本実施の形態の撮像システム１では、ユーザによる操作端末３０の操作に応じた各種指示が、例えば無線通信によって制御処理装置２０に送信される。ユーザによる操作に応じて各種指示に撮影に関する指示が含まれている場合には、更に制御処理装置２０から、例えば無線通信によって撮像装置１０に送信され、撮像装置１０が動作を行う。換言すると、撮像システム１においては、制御処理装置２０がマスターとして、撮像装置１０がスレーブとして機能する。撮像装置１０によって撮影された画像は、例えば無線通信によって制御処理装置２０に送信され、制御処理装置２０にて種々の画像処理が施され、内部に記録される。制御処理装置２０にて画像処理が施された画像は、例えば無線通信によって操作端末３０に送信され、操作端末３０に設けられた表示器に表示される。
以下、撮像システム１の構成について、撮像装置１０と、制御処理装置２０と、操作端末３０とに分けて説明する。

−撮像装置１０−
撮像装置１０は、撮影レンズ１１と、撮像素子１２と、電源部１３と、通信部１４とを備える。撮影レンズ１１は、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含んで構成される。なお、図１では撮影レンズ１１を１枚のレンズで代表して表している。撮像素子１２は、撮像面上において行列状に多数配列されたＣＭＯＳやＣＣＤ等の光電変換素子（画素）や画素の駆動を制御する各種の回路により構成される。撮像素子１２は、後述する制御処理装置２０の制御に応じて駆動して、撮影レンズ１１を通して入力される被写体像を撮像し、撮像して得た撮像信号を出力する撮像部である。撮像素子１２は、グローバルシャッタを搭載し、撮像面の全領域で生成した撮像信号を一時的に格納するフレームバッファ（不図示）を有している。すなわち、撮像素子１２は、光電変換により生成した電荷を一括して同じタイミングにて電荷蓄積部（不図示）へ転送する、または、生成した電荷を電気信号した後、一括して同じタイミングにて電荷蓄積部へ転送することにより、電荷蓄積部をフレームバッファとして機能させることができる。従って、撮像素子１２は、生成した撮像信号を読み出すための時間（データ伝送時間）を長くすることができる。グローバルシャッタ動作により、撮像素子１２上の全画素に対して同時に撮像を行うことができる。

撮像素子１２の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子１２がカラーフィルタを通して被写体像を撮像するため、撮像素子１２から出力される撮像信号はＲＧＢ表色系の色情報を有する。なお、撮像素子１２の撮像面の一部の領域または全領域に焦点検出用画素が配置されても良い。この場合、焦点検出用画素から出力される対の光像に応じた信号を加算した信号が撮像信号として使用される。

通信部１４は、後述する制御処理装置２０の通信部２４との間で、無線通信により各種の情報の送受信を行う。通信部１４は、制御処理装置２０からの駆動指示信号や撮影指示信号を、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の規格に従って受信する。通信部１４は、撮像素子１２から出力された撮像信号を、例えばＩＥＥＥ８０２．１１ａｃに基づいたＷｉＧｉｇ等の規格に従って、制御処理装置２０に高速送信する。即ち、撮像素子１２で生成された撮像信号は、詳細を後述する制御処理装置２０にて各種の処理が施される。これにより、撮像装置１０は、従来のデジタルカメラ等と異なり、画像処理を行うためのメイン基板や、表示器等の部品を有していない。従って、電源部１３は、上記のメイン基板や表示器等に電力を供給する必要がなく、撮像素子１２にのみ電力を供給するので、撮像素子１２の長時間の駆動を可能にすることができる。電源部１３は、撮像装置１０に設けられた撮像素子１２と通信部１４とを駆動させるための駆動電力を供給する。

−制御処理装置２０−
制御処理装置２０は、制御部２１と、画像処理部２２と、メモリ２３と、通信部２４とを備える。制御部２１は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、撮像装置１０や制御処理装置２０の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。制御プログラムは、制御部２１内の不図示の不揮発性メモリに格納されている。

画像処理部２２は、撮像装置１０の撮像素子１２から出力された撮像信号に対して、たとえばホワイトバランス調整やガンマ補正等の種々の画像処理を施して画像データを生成する。また、画像処理部２２は、上記の画像処理で生成した画像データやメモリ２３に記録されている画像データに基づいて、後述する操作端末３０の表示器３２に表示するための表示用の画像データを生成する。画像処理部２２は生成した画像データに対して圧縮処理を行うことにより画像ファイルを生成する。画像処理部２２は、生成された画像ファイルをメモリ２３に記録する。画像処理部２２は、生成部２２１と合成部２２２とを機能として備える。画像処理部２２は、撮像装置１０とは別体の制御処理装置２０内に設けられているので、デジタルカメラに搭載した画像処理回路にて行う処理と比べて、負荷の高い処理や高速性を要する処理を行うことができる。

メモリ２３は、上述した画像ファイルを記録するための記録媒体である。また、メモリ２３には、記録された画像ファイルのファイル名がリスト化されたファイルリストが記録される。通信部２４は、撮像装置１０の通信部１４との間で、上述したように、無線通信により各種の情報の送受信を行うとともに、後述する操作端末３０の通信部３４との間で、無線通信により各種の情報の送受信を行う。通信部２４は、ユーザの操作に応じて出力された駆動指示や撮影指示を示す操作信号を、例えばＢｌｕｅｔｏｏｔｈ等の規格に従って操作端末３０から受信する。通信部１４は、制御処理装置２０により生成された画像データを、例えばＩＥＥＥ８０２．１１ａｃに基づいたＷｉＧｉｇ等の規格に従って、操作端末３０に送信する。

−操作端末３０−
操作端末３０は、制御部３１と、表示器３２と、操作検出部３３と、通信部３４とを備える。制御部３１は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、操作端末３０の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。表示器３２は、制御部３１の制御に基づいて駆動され、制御処理装置２０で生成され送信された画像データに対応する画像の表示を行う。表示器３２には、撮像装置１０や制御処理装置２０の各種動作を設定するためのメニュー画面が表示される。

操作検出部３３は、例えば表示器３２に積層されて設けられるタッチパネル等により構成され、ユーザの指等が表示器３２の画面に接触するタップ操作が行われると、その座標を制御部３１に出力する。ユーザは、操作検出部３３の操作により、例えば撮像装置１０に対する撮影モードの開始指示や、撮像装置１０の撮像指示や、各種の設定等の選択指示または決定指示や、制御処理装置２０内に記録された画像データに対応する画像を表示器３２に再生、表示させるための再生モードの選択指示や、撮像装置１０による撮影を静止画撮影モードと動画撮影モードとの間で切り替える指示や、撮像装置１０で撮影された画像をリアルタイムで表示器３２に表示するライブビュー表示を行うためのライブビューモードの設定指示等が可能である。この場合、制御部３１は、表示器３２に、上記の各指示に応じたアイコン等を表示させる。ユーザは、所望する指示に従って、表示器３２に表示されたアイコンに対してタップ操作を行うと、制御部３１は、操作検出部３３により検出された座標に基づいて、何れの指示が行われたかを判定し、指示の内容に応じて各部に指示信号を出力する。
なお、操作検出部３３としてタッチパネル等により構成されるものに限定されず、ユーザインタフェースとして利用し得る種々の構成を用いることができる。たとえば、ユーザによる操作はボタン等を押下操作することにより行われ、操作検出部３３はユーザのボタン操作を検出するものでも良い。または、操作検出部３３は、ユーザの動作、たとえば手を振ったり、予め決められているジェスチャー等を検出しても良い。この場合、操作検出部３３は撮像装置により構成することができる。また、操作検出部３３は、ユーザの声を検出するマイク等の集音装置により構成されても良い。その他、操作検出部３３は、撮像装置１０の周辺部の温度変化を検知する温度センサーや、においの強弱を検出するにおいセンサによって構成されても良い。
通信部３４は、制御処理装置２０の通信部２４との間で、上述したように、無線通信により各種の情報の送受信を行う。

上述した構成を有する撮像システム１において、撮像装置１０により撮影処理を行う場合の動作および撮影された画像を再生表示する場合の動作について説明する。
撮影モードを開始するために、ユーザにより操作端末３０の表示器３２に表示された撮影モードの開始に対応するアイコンに対してタップ操作が行われる。制御部３１は、操作検出部３３により検出された座標に基づいて、撮影モードの開始が指示されたことを判定し、通信部３４を介して、撮影モードの開始を指示する信号を制御処理装置２０へ送信させる。制御処理装置２０の制御部２１は、通信部２４を介して操作端末３０からの撮影モードの開始を指示する信号を受信すると、制御部２１は、撮像装置１０の駆動開始を指示する信号を、通信部２４を介して撮像装置１０へ送信させる。

撮像装置１０は、駆動開始を指示する信号を受信すると、撮像素子１２が起動するとともに、電源部１３から撮像素子１２への電力供給が開始される。撮像素子１２が駆動を開始すると、上述したように、撮影レンズ１１を介して被写体像を所定周期（フレームレート）ごとに撮像して、撮像面の全領域で撮像して得た撮像信号を出力する。出力された撮像信号は、通信部１４を介して制御処理装置２０に送信される。

制御処理装置２０の画像処理部２２は、受信した撮像信号から、上述した種々の画像処理を施して画像データを生成する。制御部２１は、生成された画像データを通信部２４を介して操作端末３０に送信させる。操作端末３０の制御部３１は、通信部３４を介して受信した画像データに対応する画像を、表示器３２に表示させる。これにより、表示器３２にて、撮像素子１２で撮像した画像をリアルタイムに表示するライブビュー表示が行われる。

ユーザによって操作端末３０の表示器３２上で撮影準備を指示する操作が行われると、制御部３１は、通信部３４を介して撮影準備を指示する信号を制御処理装置２０へ送信する。撮影準備を指示する信号を受信すると、制御処理装置２０の制御部２１は、撮像素子１２から出力され通信部１４および２４を介して受信した焦点検出信号を用いて公知の焦点検出演算を行い、演算結果に基づいて通信部１４および２４を介して撮像装置１０に対して焦点調節を行わせる。なお、パンフォーカスにて撮影が行われる場合には、上記の処理は行われなくてよい。制御部２１は、通信部１４および２４を介して受信した撮像信号を用いて露出演算を行い、露光時間や絞り値等の制御を行う。

ユーザによって操作端末３０の表示器３２上で撮影を指示する操作が行われると、制御部３１は、通信部３４を介して撮影を指示する信号を制御処理装置２０へ送信する。撮影を指示する信号を受信すると、制御部２１は、通信部２４および１４を介して撮像装置１０に撮影動作を行わせ、撮像素子１２から出力された撮像信号を通信部１４および２４を介して受信する。画像処理部２２は、受信した撮像信号に対して種々の画像処理を施して生成した画像データを、画像ファイルの形式でメモリ２３に記録する。このとき、メモリ２３に記録されたファイルリストのファイル名が更新されて記録される。

ユーザによって操作端末３０の表示器３２上で再生を指示する操作が行われると、制御部３１は、通信部３４を介して再生を指示する信号を制御処理装置２０へ送信する。制御処理装置２０の制御部２１は、再生を指示する信号を受信すると、メモリ２３に記録されたファイルリストを通信部２４を介して操作端末３０に送信させる。操作端末３０の制御部３１は、受信したファイルリストを表示器３２に表示する。

ユーザは、表示器３２に表示されたファイルリスト中のファイル名から、再生を所望するファイル名をタップ操作することにより、再生の指示を行う。制御部３１は、操作検出部３３により検出された座標と表示されているファイル名の表示器３２上での座標とに基づいて、ユーザによりタップ操作されたファイル名を特定する。制御部３１は、特定したファイル名を再生指示信号として、通信部３４を介して制御処理装置２０へ送信する。
なお、表示器３２にファイルリストを表示させてファイル名をタップ操作させるものに限定されず、サムネイル画像を表示器３２上に表示させて、タップ操作されたサムネイル画像に対応するファイル名が再生指示信号として送信されても良い。

制御処理装置２０の制御部２１は、通信部２４を介して再生指示信号を受信すると、再生指示信号にて特定されるファイル名を有する画像ファイルをメモリ２３から読み出し、通信部２４を介して操作端末３０へ送信する。操作端末３０の制御部３１は、通信部３４を介して受信した画像ファイルから表示用の画像データを生成し、表示器３２に表示させる。

本実施の形態による撮像システム１においては、撮像装置１０により取得された画像信号に対して、制御処理部２０の画像処理部２２にて以下の処理を行う。
（１）Ｓ／Ｎ比向上、高ダイナミックレンジ処理
（２）移動する被写体に対するＳ／Ｎ向上処理

（１）Ｓ／Ｎ比向上、高ダイナミックレンジ処理
上述したように、撮像装置１０の撮像素子１２がグローバルシャッタを搭載している。制御処理装置２０の画像処理部２２は、撮像装置１０によってグローバルシャッタ動作により撮像面の全領域で取得された撮像信号に基づいて生成された複数の画像データに対して多重化を行う。この場合、画像処理部２２は、複数の画像データを加算することにより、低出力信号と高出力信号とを再現して、高ダイナミックレンジの画像データを生成する。また、画像処理部２２が複数の画像データを加算するため、各画像データ上で異なる位置に発生するランダムノイズが平均化される。これにより、加算された画像データ上では、ランダムノイズが抑制あるいは除去され、Ｓ／Ｎ比が向上される。

（２）移動する被写体に対するＳ／Ｎ比向上処理
本実施の形態の撮像システム１は、動画撮影モードにて生成された画像データ（動画像データ）を再生する際に、制御処理装置２０により動画像データに含まれる移動する被写体（以下、移動被写体と呼ぶ）対してＳ／Ｎ比を向上させる処理を施した後、操作端末３０にて再生する高画質動画再生モードを有する。高画質動画再生モードは、操作端末３０の表示器３２に表示させるメニュー画面上から行うことができる。制御処理装置２０の制御部２１は、ユーザにより指定された画像ファイル（動画像ファイル）をメモリ２３から上述したようにして読み出す。

−特徴点抽出処理−
制御処理装置２０の画像処理部２２は、読み出された動画像ファイルの各フレームの動画像データから移動被写体を抽出して、抽出した移動被写体に対してＳ／Ｎ比を向上させる処理を行う。画像処理部２２の生成部２２１は、各動画像データに対して、公知の特徴点抽出処理を行い、移動被写体の輪郭を抽出する。生成部２２１は、抽出した移動被写体に基づいて、フレーム間における移動被写体の移動ベクトルを算出する。

図２に、動画像データの一例を模式的に示す。なお、図２では、５フレームの動画像データＤ１〜Ｄ５を例に挙げるが、画像処理部２２により処理が行われる動画像データのフレーム数は５個に限定されるものではなく、少なくとも２個以上であれば良い。図２（ａ）では、各動画像データＤ１〜Ｄ５に対して、生成部２２１により移動被写体５０１〜５０５が抽出された場合を示している。なお、移動被写体５０１〜５０５を総称する場合には、符号５００を付して説明を行う。図２（ａ）に示すように、移動被写体５００の移動に伴い、移動被写体５０１〜５０５の間では、動画像データ上での位置、大きさ、方向（並進、回転）等がそれぞれ異なる。なお、図２（ａ）において、移動被写体５０１〜５０５には、ランダムノイズＮが発生している。このランダムノイズＮは、各動画像データＤ１〜Ｄ５において、発生する位置や個数が異なるため、それぞれの移動被写体５０１〜５０５においてランダムノイズＮの位置や個数も異なる。図２（ａ）の例では、移動被写体５０１にはランダムノイズＮ１が、移動被写体５０２にはランダムノイズＮ２が、移動被写体５０３にはランダムノイズＮ３およびＮ４が、移動被写体５０４にはランダムノイズＮ５〜Ｎ７が、移動被写体５０５にはランダムノイズＮ８〜Ｎ１０が発生した様子を示す。

−モデル化処理−
生成部２２１は、大きさや併進や回転が異なる移動被写体５０１〜５０５のそれぞれについて三次元モデルを作成する。この場合、生成部２２１は、例えば公知のポリゴン（多角形）等を用いて各移動被写体５０１〜５０５にモデリング（ポリゴンモデリング）処理を行う。これにより、各移動被写体５０１〜５０５の形状は、ポリゴンの集合体として表される。以後、モデリング処理が施された移動被写体５００を、三次元移動被写体５１０（図２（ｂ）参照）と呼ぶ。なお、モデリング処理としてポリゴンを用いるものに限定されず、例えば、スプライン曲線やペジェ曲線等で曲面を構成する方法を用いても良い。

図２（ｂ）に三次元移動被写体５１１〜５１５の例を示す。なお、図２（ｂ）においては、図示の都合上、三次元移動被写体５１１〜５１５を二次元的に描いている。各三次元移動被写体５１１〜５１５は、移動被写体５０１〜５０５からそれぞれ生成される。このため、各三次元移動被写体５１１〜５１５においても、移動被写体５０１〜５０５のそれぞれに発生したランダムノイズＮと同じ位置、同じ個数のランダムノイズＮの影響を受ける。

三次元移動被写体５１１〜５１５が生成されると、生成部２２１は、三次元移動被写体５１１〜５１５のそれぞれに対して、拡大または縮小や方向変換（並進や回転）を行うことにより、大きさ、並進、回転が異なる複数の三次元移動被写体のそれぞれを所定の大きさと方向（角度）とに揃えた中間画像５２０（図３参照）を生成する。即ち、生成部２２１により、大きさと方向（角度）とが揃った５個の中間画像５２１〜５２５が生成される。

図３に三次元移動被写体５１１〜５１５から中間画像５２０が生成される様子を模式的に示す。図３（ａ）は、中間画像５２０の生成に用いる三次元移動被写体５１１〜５１５を示す図であり、図２（ｂ）と同様である。本実施の形態においては、図３（ｂ）に示すような大きさと方向（角度）を有する様に三次元移動被写体５１１〜５１５の大きさや方向（角度）を変換させる。なお、以下の説明では、図３（ｂ）に示す大きさと方向（角度）とを有する被写体をモデル三次元被写体５３０と呼ぶ。モデル三次元被写体５３０の大きさと方向（角度）とは、三次元移動被写体５１１〜５１５の大きさと方向（角度）とは異なるものであっても良いし、三次元移動被写体５１１〜５１５の何れか一つの大きさと方向（角度）と同じものであっても良い。

生成部２２１は、三次元移動被写体５１１の大きさと方向（角度）とを、移動被写体５００を抽出する際に算出した移動ベクトルに基づいて、以下の式（１）〜（５）を用いて、モデル三次元被写体５３０の大きさと方向（角度）とに揃えるための変換量を算出する。生成部２２１は、三次元モデル化された三次元移動被写体５１０の大きさや方向（角度）を変換するため、Ｘ軸、Ｙ軸およびＺ軸からなる直交座標系における変換量を算出する。
三次元移動被写体５１０をＸ軸の周りに回転させる場合には、ＹＺ平面上において反時計回りの回転方向を正として、以下の式（１）が用いられる。

三次元移動被写体５１０をＹ軸の周りに回転させる場合には、ＺＸ平面上において反時計回りの回転方向を正として、以下の式（２）が用いられる。

三次元移動被写体５１０をＺ軸の周りに回転させる場合には、ＸＹ平面上において反時計回りの回転方向を正として、以下の式（３）が用いられる。

三次元移動被写体５１０の大きさを拡大または縮小する場合には、以下の式（４）が用いられる。

三次元移動被写体５１０を平行移動、すなわち並進させる場合には、以下の式（５）が用いられる。

なお、移動被写体５００までの距離情報を有する場合には、移動ベクトルに代えて距離情報に基づいて変換量を算出しても良い。たとえば、生成部２２１は、距離情報として、制御部２１が焦点調節を行う際に算出するデフォーカス量に基づいて変換量を算出しても良い。また、撮像装置１０が被写体との距離を計測するための専用の測距装置を有する場合、たとえば視差情報から距離が算出されるステレオ測距を行う場合には、測距装置によって測距されて得られた測距結果を変換量として用いても良い。すなわち、移動被写体５００までの距離情報を有する場合には、生成部２２１は、直接的あるいは間接的にモデル三次元被写体５３０を生成できる。

生成部２２１は、この変換量を用いることにより、図３（ｃ）に示すように、中間画像５２１から三次元移動被写体５１１を生成する。上述したように、三次元移動被写体５１１にはランダムノイズＮ１が発生しているので、三次元移動被写体５１１の大きさと方向（角度）とが変換された中間画像５２１においても、ランダムノイズＮ１が発生する。中間画像５２２〜５２５も、同様に、三次元移動被写体５１２〜５１５からそれぞれ生成される。このため、中間画像５２２〜５２５にも、三次元移動被写体５１２〜５１５に発生したランダムノイズＮの影響が現れる。
なお、移動被写体５００の方向（並進、回転）が無視できる場合、即ち移動被写体５００の移動量が小さい場合には、生成部２２１は、大きさの変換量のみ算出しても良い。この場合、生成部２２１は、移動被写体５００を抽出する際に算出した移動ベクトルの大きさが所定の閾値よりも小さい場合に、大きさの変換量のみ算出する。

生成部２２１は、この５個の中間画像５２１〜５２５に対して公知のテクスチャマッピングの手法を用いて、各中間画像５２１〜５２５のポリゴンにテクスチャを貼りつける。
なお、５個の中間画像５２１〜５２５は異なる大きさ、方向（並進、回転）の移動被写体Ｄ１〜Ｄ５に基づいているので、光沢や影の位置が変化し、見え方が不自然になる場合も起こり得る。このような場合には、生成部２２１は、テクスチャマッピングの手法として公知の光の当て方を変える画像処理を中間画像５２０に施して、上記の不自然さを低減する。

−重ね合わせ処理−
生成部２２１は、テクスチャマッピングが行われた中間画像５２１〜５２５を合成して、１個の合成中間画像５４０（図４参照）を生成する。この場合、生成部２２１は、それぞれの中間画像５２１〜５２５のうちの一致するテクスチャ同士を合成する。
図４（ａ）に示すように、合成中間画像５４０は、複数の中間画像５２１〜５２５が合成されることにより生成されるので、各中間画像５２１〜５２５に発生したランダムノイズの影響が、中間画像５２１〜５２５の重ね合わせにより低減または除去される。即ち、合成中間画像５４０は、Ｓ／Ｎ比を向上させる処理が施された画像である。図４（ａ）では、ランダムノイズＮが完全に除去された場合の例を模式的に示す。ランダムノイズＮを除去するためには、合成中間画像５４０の生成に使用する中間画像５２０の個数が多いほど良い。さらに、合成中間画像５４０は、複数の中間画像５２１〜５２５が合成されることにより、ダイナミックレンジの大きな画像となる。
なお、ある中間画像５２０のテクスチャと一致するテクスチャが他の中間画像５２０に存在しない場合には、生成部２２１は、そのテクスチャについては合成をしなくても良い。

−再配置処理−
生成部２２１は、生成した合成中間画像５４０から、各移動被写体５０１〜５０５のそれぞれに対応した合成移動被写体６００（図４（ｂ）参照）を生成する。この場合、生成部２２１は、上述した式の逆行列を用いる。例えば、移動被写体５０１をｍ倍（ｍは正実数）に拡大し、ｘｙ平面にてθ°回転したものに基づいて合成中間画像５４０が生成されている場合には、合成中間画像５４０を１／ｍに縮小し、−θ°回転することにより合成移動被写体６０１が生成される。他の合成移動被写体６０２〜６０５についても、同様にして合成中間画像５４０から生成される。その結果、図４（ｂ）に模式的に示すように、各移動被写体５０１〜５０５と大きさ、方向（並進、回転）が対応する合成移動被写体６０１〜６０５がそれぞれ生成される。合成移動被写体６００は、上述したように、ランダムノイズＮが低減あるいは除去され、Ｓ／Ｎ比を向上させる処理が施された合成中間画像５４０から生成されている。これにより、合成移動被写体６００は、対応する移動被写体５００と同一の形状を有しつつ、移動被写体５００と比べてＳ／Ｎ比が向上した高画質の画像となる。

合成部２２２は、生成部２２１によって生成された合成移動被写体６０１〜６０５と、動画像データＤ１〜Ｄ５とを合成する。この場合、合成部２２２は、動画像データＤ１〜Ｄ５の移動被写体５０１〜５０５のそれぞれを、対応する合成移動被写体６０１〜６０５に置き換える。その結果、図４（ｃ）に示すように、高画質動画像データＤ１１〜Ｄ１５が生成される。即ち、高画質動画像データＤ１１〜Ｄ１５は、各動画像データＤ１〜Ｄ５のうちの移動被写体５０１〜５０５のＳ／Ｎ比を向上させることにより生成された高画質の動画像データである。

制御部２１は、合成部２２２により生成された高画質動画像データＤ１１〜Ｄ１５をメモリ２３に記録する。さらに、制御部２１は、通信部２４を介して操作端末３０に高画質動画像データＤ１１〜Ｄ１５を送信する。操作端末３０の制御部３１は、通信部３４を介して受信した高画質動画像データＤ１１〜Ｄ１５に対応する動画を表示器３２に表示させる。これにより、ユーザは、移動中の被写体からランダムノイズの影響が低減された動画を観察することができる。
なお、動画像データＤ１〜Ｄ５のうち、移動被写体５００以外の領域については、画像処理部２２は、上述したＳ／Ｎ比向上、高ダイナミックレンジ処理を行うことにより、全領域に渡って画質を向上させることができる。移動被写体５００以外の領域、すなわち背景領域は静止状態であるため、加算により画像の変形を伴わずノイズを低減することができる。

図５のフローチャートを参照して、高画質再生モードにおける制御処理装置２０の動作について説明する。図５に示す処理は制御処理装置２０でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御処理装置２０により起動され、実行される。
ステップＳ１では、制御部２１は、通信部２４を介して操作端末３０から再生指示信号を受信すると、再生指示信号にて特定されるファイル名を有する動画像データをメモリ２３から読み出し、ステップＳ２へ進む。ステップＳ２では、画像処理部２２の生成部２２１は、動画像データＤ１〜Ｄ５から移動被写体５０１〜５０５をそれぞれ抽出してステップＳ３へ進む。

ステップＳ３では、生成部２２１は、抽出した移動被写体５０１〜５０５のそれぞれに対してモデリング処理を施して、三次元移動被写体５１１〜５１５を生成してステップＳ４へ進む。ステップＳ４では、生成部２２１は大きさ、並進、回転が異なる複数の三次元移動被写体５１１〜５１５から所定の大きさと回転（角度）（即ちモデル三次元被写体５３０）とに揃えた中間画像５２１〜５２５をそれぞれ生成してステップＳ５へ進む。ステップＳ５では、生成部２２１は、生成された複数の中間画像５２１〜５２５を合成して合成中間画像５４０を生成してステップＳ６へ進む。

ステップＳ６では、生成部２２１は、合成中間画像５４０から合成移動被写体６０１〜６０５を生成してステップＳ７へ進む。ステップＳ７では、動画像データＤ１〜Ｄ５と合成移動被写体６０１〜６０５とをそれぞれ合成して高画質動画像データＤ１１〜Ｄ１５を生成してステップＳ８へ進む。ステップＳ８では、制御部２１は、生成した高画質動画像データＤ１１〜Ｄ１５をメモリ２３に記録するとともに、通信部２４を介して操作端末３０へ送信して処理を終了する。

なお、上述の説明では、各動画像データから移動被写体５００を抽出する場合を例に挙げて説明したが、この例に限定されない。例えば、動画像の撮影時に、画像処理部２２は、受信した動画像データＤ１とＤ２とを用いて、移動被写体５００の抽出および移動ベクトルの算出を行い、次フレームの動画像データＤ３にて移動被写体５００が撮像素子１２上で位置することが見込まれる領域を予測する。制御部２１は、この予測された領域に関する情報を撮像装置１０へ送信し、撮像素子１２の全領域のうち、予測された領域に配置された画素から撮像信号をグローバルシャッタ動作により出力させる。画像処理部２２は、予測された領域、即ち移動被写体５００に対応する領域からの撮像信号を用いて、動画像データＤ３を生成する。以後のフレームについても同様に、移動被写体５００が位置することが予測される領域に配置された画素から撮像信号が出力され、動画像データが生成される。

また、上述した実施の形態においては、高画質再生モードの際に高画質動画像データを生成する場合を例に挙げて説明したが、ライブビュー画像を表示器３２に表示させる際にも適用することができる。この場合、合成中間画像５４０を生成するために必要となる移動被写体５００の個数が所定個数ｎとして予め設定されている。なお、所定個数ｎは予め決められた個数であっても良いし、ユーザにより設定可能な個数であっても良い。

ライブビュー時には、制御処理装置２０の画像処理部２２は、所定周期（フレームレート）ごとに受信した撮像信号から、種々の画像処理を施して画像データを生成し、バッファメモリ（不図示）に一時的に格納する。生成部２２１は、第１〜第ｎフレームの画像データを生成するごとに、上述したようにして、各画像データから移動被写体５００を抽出する。また、第２フレーム以降の画像データが生成されるごとに、生成部２２１は、抽出した移動被写体５００に基づいて、移動ベクトルを算出する。

バッファメモリに格納された画像データの個数が所定個数ｎ、即ち、第１〜第ｎフレームの画像データが格納されると、生成部２２１は、ｎ個の画像データのそれぞれから抽出した移動被写体５００に対して、上述した高画質再生モードの場合と同様の処理を行って、合成移動被写体６００を生成する。合成部２２２は、第１フレームの画像データと、生成部２２１によって生成された合成移動被写体６００とを合成して、第１フレームの高画質の画像データを生成する。第ｎ＋１フレームの画像データが生成されると、生成部２２１は、第２〜第ｎ＋１フレームの画像データから抽出された移動被写体５００を用いて合成移動被写体６００を生成する。合成部２２２は、第２フレームの画像データと、生成部２２１によって生成された合成移動被写体６００とを合成して、第２フレームの高画質の画像データを生成する。以後、同様の処理を繰り返して、高画質の画像データが生成されるごとに、制御部２１は、通信部２４を介して操作端末３０に送信する。これによって、高画質の画像データに対応するライブビュー画像が操作端末３０の表示器３２に表示される。

高画質の画像データに対応するライブビュー画像が表示器３２に表示されている最中に生成された第ｎ＋ｐフレームの画像データから移動被写体５００が抽出されない場合には、ライブビュー画像の表示を中止しても良い。生成部２２１は、第ｎ＋ｐフレームの画像データから移動被写体５００を抽出できなかった場合には、上述した合成移動被写体６００の生成を終了する。制御部２１は第ｎ＋ｐフレームの画像データと、移動被写体５００の抽出ができなかったことを示す信号とを通信部２４を介して操作端末３０に送信する。操作端末３０の制御部３１は、第ｎ＋ｐフレームの画像データと、移動被写体５００の抽出ができなかったことを示す信号とを受信すると、高画質の画像データに対応するライブビュー画像の表示を中断して、第ｎ＋ｐフレームの画像データに対応する画像をライブビュー表示させる。従って、移動する被写体が実際にはフレームアウトしているにも拘わらず、表示器３２に移動被写体が表示され続けるという不具合の発生を防ぐことができる。

上述した実施の形態によれば、次の作用効果が得られる。
（１）制御処理装置２０の画像処理部２２が有する生成部２２１は、連続的に取得された複数の動画像データＤ１〜Ｄ５を入力し、それぞれのＳ／Ｎ比を向上させる処理を行って合成移動被写体６００を生成する。画像処理部２２の合成部２２２は、動画像データＤ１〜Ｄ５と合成移動被写体６００とを合成して、高画質動画像データＤ１１〜Ｄ１５を生成する。従って、再生する動画上に移動する被写体の残像が発生することなく、合成移動被写体６００に発生するランダムノイズＮを低減、除去して高Ｓ／Ｎ比を実現しつつ、高ダイナミックレンジの高画質の動画を再生することが可能になる。これにより、撮像素子１２の画素サイズ縮小に伴い、撮像素子１２の飽和電荷量が低下したり、光電変換の感度が低下することで、Ｓ／Ｎ比の低下が発生した場合であっても、画像データ上のＳ／Ｎ比を向上させることができる。高Ｓ／Ｎ比および高ダイナミックレンジを実現することができるので、特に、定点観測（学術用途では顕微鏡や天体観測等）やタイムラプスの用途、金属光沢のように光沢部分のみが白とびした部分の再現する際に用いることができる。また、低照度時に移動する被写体を撮影する場合には、露光時間（電荷蓄積時間）が短いことに伴うＳ／Ｎ比の低下を低減することができる。

（２）生成部２２１は、動画像データＤ１〜Ｄ５に基づいて合成中間画像５４０を生成し、合成中間画像５４０から合成移動被写体６００を生成する。従って、各動画像データＤ１〜Ｄ５において発生する場所が異なるランダムノイズＮを、合成中間画像５４０を生成することにより抑制あるいは除去するとともに、高ダイナミックレンジを実現できる。

（３）生成部２２１は、動画像データＤ１〜Ｄ５の移動被写体５００を用いて、合成中間画像５４０を生成する。従って、移動する被写体に対応する領域に発生したランダムノイズＮを抑制あるいは除去できるので、高画質の動画を生成することができる。

（４）生成部２２１は、移動被写体５００のそれぞれの形状を所定の形状に変換した中間画像５２０を生成し、生成した複数の中間画像５２０を合成して合成中間画像５４０を生成する。従って、各フレームごとに位置や大きさや方向（並進、回転）が異なる移動被写体５００を加算した場合であっても、位置ずれ、形状ずれ等が発生しないので、移動被写体５００の残像を発生させることなく、ランダムノイズＮを低減あるいは除去することができる。

（５）生成部２２１は、移動被写体５００のそれぞれについて三次元モデルを生成し、三次元モデルの形状を変換して、中間画像５２０を三次元モデルとして生成する。従って、各フレームごとに移動被写体５００の方向（並進、回転）が異なる場合であっても、三次元モデル化することによって、移動被写体５００間で同一の位置に対応するデータを加算し、ランダムノイズＮを低減あるいは除去する際の精度を高め、高画質化に寄与する。

（６）合成部２２２は、動画像データＤ１〜Ｄ５上の移動被写体５０１〜５０５を、合成移動被写体６０１〜６０５にそれぞれ置き換えて高画質動画像データを生成する。従って、移動する被写体に対応する領域からランダムノイズＮを抑制あるいは除去して、高画質の動画を生成することができる。

（７）撮像装置１０は、撮像素子１２と、撮像素子１２に電力を供給する電源部１３とを有する。換言すると、撮像装置１０には、画像処理を行うためのメイン基板や、表示器等の部品が設けられていない。従って、撮像素子１２の制御線や出力線のピン数を削減し、撮像装置１０を小型化できる。撮像装置１０の部品レイアウトの自由度が増すので、電源部１３の大型化やグランド強化が可能になる。さらに加えて、電源部１３は、上記のメイン基板や表示器等に電力を供給する必要がなく、撮像素子１２にのみ電力を供給するので、撮像素子１２の長時間の駆動を可能にすることができる。このため、特に、小型化、高耐久、長時間動作が求められる監視用途に適用することができる。

（８）撮像装置１０は、撮像素子１２により出力された撮像信号を、制御処理装置２０へ送信する通信部１４を有する。従って、電力消費の大きな画像処理を撮像装置１０とは別の制御処理装置２０にて行うので、撮像素子１２の長時間駆動を可能とすることができる。さらに、撮像装置１０とは別体の制御処理装置２０内に画像処理部２２が設けられているので、デジタルカメラに搭載した画像処理回路にて行う処理と比べて、負荷の高い処理や高速性を要する処理を行うことができる。

（９）制御処理装置２０は、生成した高画質動画像データを操作端末３０に送信する通信部２４を有し、操作端末３０は受信した高画質動画像データに対応する動画を表示する表示器３２を備える。従って、離れた場所で画像を観察するような、監視用途に用いることができる。

（１０）撮像装置１０の撮像素子１２は、内部のフレームバッファ（不図示）に撮像信号を一時的に格納して、撮像信号の読出し時間（即ちデータ伝送時間）を長くすることにより、グローバルシャッタ動作により撮像信号を出力する。従って、撮像面の全領域に対して撮像信号の読出しタイミングに同時性を持たせることができるので、ローリングシャッタ動作により撮像面の一部の領域から順次撮像信号を出力する場合と比較して、移動被写体５００に歪（いわゆるローリング歪）が発生することを抑制できる。これにより、移動被写体５００の抽出や合成中間画像５４０の生成に際して誤差の発生を抑制し、生成される合成中間画像５４０や合成移動被写体６００の画質を向上させることができる。さらには、ローリングシャッタ動作を用いる場合とは異なり、移動被写体５００の歪を補正する必要がないので、処理負荷を増加させることを防ぐことができるとともに、歪の補正に伴う画像の変形に起因する画質低下や画素ピッチ以下の誤差成分の残留等を防止できる。

また、ローリングシャッタ動作を行う場合には、移動被写体５００に生じる歪が無視できるように、撮影条件を変更したり、上記のように移動被写体５００の歪を補正する処理が必要になり、撮影速度を高速にすることが困難であったり、閃光装置等を用いて撮影を行う等の制限がある。これに対して、本実施の形態のように撮像素子１２がグローバルシャッタ動作を行うことにより、撮影条件の設定や撮影速度等に制約を設けることなく、歪のない移動被写体５００を得ることができる。

仮に、ローリングシャッタ動作を行う撮像素子１２からの撮像信号の読出しを高速化させる場合には、読出し時間を短縮させたり、別途フレームバッファを接続させる必要がある。この場合、撮像素子１２に別途フレームバッファを接続させる必要があり、データ伝送時間短縮のためのピークパワーが必要となる。大電力は、トランジスタ等の能動部品、抵抗やキャパシタ等の受動部品の大型化、伝送経路や電源の配線拡幅をもたらす。これに対して、本実施の形態のように撮像素子１２がグローバルシャッタ動作を行うことにより、別途フレームバッファ等の追加部品を必要とせず、撮像素子１２の各部品の大型化、伝送経路や電源配線の拡幅等を必要としないので、撮像素子１２の大型化を防ぐことができる。換言すると、撮像素子１２の大型化を防ぐことにより、撮像装置１０内の電源部１３の大型化が可能になるので、撮像素子１２の長時間駆動に寄与することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）撮像装置１０にて動画を撮影する際に、被写体の移動に応じて画像上で動きがある部分と動きが無い部分とのそれぞれに対応する撮像素子１２上の領域で、撮像信号の読出し方法を異ならせても良い。この場合、移動被写体５００を囲む領域に対応する撮像素子１２上の画素からは、実施の形態の場合と同様にグローバルシャッタ動作にて撮像信号が出力される。上記の移動被写体５００を囲む領域は、各フレームの画像を撮影する際に、被写体の移動に応じて撮像素子１２上を移動、即ち位置が変化する。これにより、各フレームの動画像データにおいて、動体被写体５００に動体歪みが発生することを防ぐことができる。撮像素子１２上で被写体の移動に応じた動きが無い部分については、例えば露光時間等の撮影条件を異ならせて、グローバルシャッタ動作で撮像信号を読み出しても良いし、他の読出し動作（例えばローリングシャッタ動作）により撮像信号を読み出しても良い。したがって、被写体の移動に応じた動きが無い部分（たとえば背景領域）は、静止状態なので、長時間露光を行うことにより画像の変形を伴うことなくノイズの影響を低減できる。この場合、撮像素子１２として、裏面照射型撮像チップと信号処理チップとが積層された、いわゆる積層型撮像素子を用いることができる。

（２）撮像素子１２は、ローリングシャッタ動作により各画素から撮像信号を出力しても良い。特に、移動被写体５００が移動する際の速度が遅く、動画像データ上で動体歪みの影響が少ない場合には、ローリングシャッタ動作を用いることができる。

（３）実施の形態においては、５フレームの動画像データＤ１〜Ｄ５のそれぞれから抽出した移動被写体５０１〜５０５を用いて合成中間画像５４０を生成し、この合成中間画像５４０から合成移動被写体６０１〜６０５を生成したが、この例に限定されない。例えば、画像処理部２２は、５フレームの動画像データＤ１〜Ｄ５のうち、動画像データＤ１とＤ２とから移動被写体５０１と５０２とを抽出し、この２つの移動被写体５０１と５０２とを用いて合成中間画像５４０を生成する。画像処理部２２は、この合成中間画像５４０から、５個の合成移動被写体６０１〜６０５を生成すればよい。

（４）移動する被写体に対応する移動被写体５００からランダムノイズＮを低減あるいは除去する処理を行うものに限定されず、静止した被写体に対しても同様の処理を施しても良い。即ち、生成部２２１は、動画像データのそれぞれから抽出した静止被写体を加算した後、動画像データと合成すれば良い。これにより、静止被写体からランダムノイズＮを低減あるいは除去させることができる。さらに、例えば蛍光灯で照明された静止被写体を撮影した動画像データの場合には、蛍光灯のフリッカによる静止被写体への影響を低減させることができる。

（５）撮像システム１は、撮像装置１０と、制御処理装置２０と、操作端末３０とを有するものに限定されない。例えば、撮像システム１は、制御処理装置２０と操作端末３０とが一体となった装置（例えば、コンピュータ等）と、撮像装置１０とを有するものでも良い。換言すると、表示器３２が撮像装置１０の外部に設けられても良い。

（６）実施の形態においては、撮像システム１で行う処理を例に挙げて説明を行ったが、この例に限定されず、例えば、デジタルカメラにも適用できる。
図６のブロック図に、この場合のデジタルカメラ１００の要部構成を模式的に示す。なお、図６においては、図１の撮像システム１で示した構成と同一の処理、動作を行う構成については同一の符号を付与する。デジタルカメラ１００は、撮影レンズ１１と、撮像素子１２と、メモリ２３と、制御回路２５と、表示器３２と、操作検出部３３とを備える。

制御回路２５は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、デジタルカメラ１００の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。制御プログラムは、制御回路２５内の不図示の不揮発性メモリに格納されている。制御回路２５は、画像処理部２２を機能として備える。画像処理部２２は、撮像素子１２から出力された撮像信号に対して、たとえばホワイトバランス調整やガンマ補正等の種々の画像処理を施して画像データを生成する。また、画像処理部２２は、上記の画像処理で生成した画像データやメモリカード（不図示）に記録されている画像データに基づいて、表示器３２に表示するための表示画像データを生成する。

画像処理部２２は、生成部２２１と、合成部２２２とを機能として有している。生成部２２１と、合成部２２２とは、メモリカードから読み出された動画像データを用いて、実施の形態の場合と同様にして、移動被写体５００からランダムノイズＮを低減あるいは除去した、高画質動画像データＤ１１〜Ｄ１５を生成する。生成された高画質動画像データＤ１１〜Ｄ１５に対応する動画は、表示器３２にて再生表示される。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…撮像システム、１０…撮像装置、１１…撮影レンズ、
１２…撮像素子、１３…電源部、１４…通信部、
２０…制御処理装置、２１…制御部、２２…画像処理部、
２４…通信部、２５…制御回路、３０…操作端末、
３１…制御部、３２…表示器、３３…操作検出部、
３４…通信部、２２１…生成部、２２２…合成部、
５００…移動被写体、５１０…三次元移動被写体、５２０…中間画像、
５４０…合成中間画像、６００…合成移動被写体

Claims (14)

1. 連続的に取得された複数の画像を入力し、前記複数の画像のうちの第１画像のＳ／Ｎ比を向上させる処理を行って第３画像を生成し、前記複数の画像のうちの第２画像のＳ／Ｎ比を向上させる処理を行って第４画像を生成する生成部と、
   前記第１画像と前記第４画像とを合成して第１合成画像を生成し、前記第２画像と前記第３画像とを合成して第２合成画像を生成する合成部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記生成部は、前記第１画像と前記第２画像とに基づいて第５画像を生成し、前記第２画像に基づいて前記第５画像から前記第３画像を生成し、前記第１画像に基づいて前記第５画像から前記第４画像とを生成する画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記生成部は、前記第１画像上の第１被写体と、前記第２画像上の前記第１被写体に対応する第２被写体とに基づいて、第３被写体を前記第５画像として生成する画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記生成部は、前記第１被写体の形状を所定の形状に変換した第１中間被写体と、前記第２被写体の形状を前記所定の形状に変換した第２中間被写体とを生成し、前記第１中間被写体と前記第２中間被写体とを合成して前記第３被写体を生成する画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記生成部は、前記第１被写体と前記第２被写体とのそれぞれについて三次元モデルを生成し、前記三次元モデルの形状を変換して、前記第１中間被写体と前記第２中間被写体とを三次元モデルとして生成する画像処理装置。
6. 請求項３または４に記載の画像処理装置において、
   前記生成部は、前記第３被写体の形状を第２被写体の形状へ変換した第４被写体を前記第３画像として生成し、前記第３被写体の形状を前記第１被写体の形状へ変換した第５被写体を前記第４画像として生成する画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記合成部は、前記第１画像上の前記第１被写体を前記第５被写体に置き換えて前記第１合成画像を生成し、前記第２画像上の前記第２被写体を前記第４被写体に置き換えて前記第２合成画像を生成する画像処理装置。
8. 請求項３乃至７の何れか一項に記載の画像処理装置において、
   前記生成部は、前記第１画像の所定領域と前記第２画像の所定領域とを、それぞれ前記第１被写体および前記第２被写体として抽出する画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記生成部は、前記第１画像と前記第２画像とに基づいて移動被写体を検出し、前記移動被写体を前記第１被写体および前記第２被写体として抽出する画像処理装置。
10. 被写体像を撮像して連続的に画像を取得する撮像部と、前記撮像部に電力を供給する電源部とを有する撮像装置と、
    請求項１乃至９の何れか一項に記載の画像処理装置と、を備える撮像システム。
11. 請求項１０に記載の撮像システムにおいて、
    前記撮像装置は、前記撮像部により取得された前記画像を前記画像処理装置へ送信する第１送信部を有する撮像システム。
12. 請求項１０または１１に記載の撮像システムにおいて、
    前記撮像装置の外部に設けられ、前記合成部によって生成された前記第１合成画像と前記第２合成画像とを連続的に表示する表示装置を更に備える撮像システム。
13. 請求項１２に記載の撮像システムにおいて、
    前記画像処理装置は、前記合成部によって生成された前記第１合成画像と前記第２合成画像とを前記表示装置へ送信する第２送信部を有する撮像システム。
14. 被写体像を撮像して連続的に画像を取得する撮像部と、
    請求項１乃至９の何れか一項に記載の画像処理装置と、
    前記画像処理装置の前記合成部によって生成された前記第１合成画像と前記第２合成画像とを連続的に表示する表示部と、を備える撮像装置。
    
    

Images