JP2019169802A - 画像処理装置、撮像システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】蓄積部の使用量を低減する。【解決手段】画像処理装置１は、第１演算部１１と、蓄積部１２と、第２演算部１３と、を備える。第１演算部１１は、順次入力される複数の画像信号ＦＩｋから第１合成画像ＤＡＴｍを生成する第１処理を行う。蓄積部１２は、第１処理で生成された第１合成画像ＤＡＴｍを蓄積する。第２演算部１３は、蓄積部１２に蓄積させた複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎを生成する第２処理を行う。【選択図】図１

Description

本開示は、一般に画像処理装置、撮像システム、画像処理方法、及びプログラムに関し、より詳細には、画像の合成機能を備えた画像処理装置、撮像システム、画像処理方法、及びプログラムに関する。

従来、暗いシーンにおいて動画撮影を行う撮像装置が知られている（例えば、特許文献１参照）。特許文献１に記載の撮像装置は、画像蓄積部と、加算部と、を備える。画像蓄積部は、撮像部で生成された画像信号を一定期間蓄積する。加算部は、画像蓄積部から取得した画像信号を順次加算して、加算画像動画を作成する。

特開２０１４−６８０７５号公報

特許文献１に記載の撮像装置（撮像システム）では、撮像部で生成された画像信号の全てを画像蓄積部に蓄積させているため、画像蓄積部（蓄積部）の使用量が増加するという問題があった。

本開示の目的は、蓄積部の使用量を低減することができる画像処理装置、撮像システム、画像処理方法、及びプログラムを提供することにある。

本開示の一態様に係る画像処理装置は、第１演算部と、蓄積部と、第２演算部と、を備える。前記第１演算部は、順次入力される複数の画像信号から第１合成画像を生成する第１処理を行う。前記蓄積部は、前記第１処理で生成された前記第１合成画像を蓄積する。前記第２演算部は、前記蓄積部に蓄積させた複数の前記第１合成画像から第２合成画像を生成する第２処理を行う。

本開示の一態様に係る撮像システムは、前記画像処理装置と、前記複数の画像信号を出力する撮像素子と、を備える。

本開示の一態様に係る画像処理方法は、第１演算ステップと、蓄積ステップと、第２演算ステップと、を備える。前記第１演算ステップは、順次入力される複数の画像信号から第１合成画像を生成するステップである。前記蓄積ステップは、前記第１演算ステップで生成された前記第１合成画像を蓄積するステップである。前記第２演算ステップは、前記蓄積ステップで蓄積させた複数の前記第１合成画像から第２合成画像を生成するステップである。

本開示の一態様に係るプログラムは、コンピュータシステムに、前記画像処理方法を実行させるためのプログラムである。

本開示によれば、蓄積部の使用量を低減することができる、という効果がある。

図１は、本開示の実施形態１に係る画像処理装置及び撮像システムのブロック図である。 図２は、同上の画像処理装置の動作を説明するシーケンス図である。 図３は、同上の画像処理装置の動作を説明するフローチャートである。 図４Ａは、同上の画像処理装置に入力される画像信号を時系列に並べた模式図である。図４Ｂは、同上の画像処理装置において生成される第１合成画像を時系列に並べた模式図である。図４Ｃは、同上の画像処理装置において生成される第２合成画像の模式図である。 図５Ａは、本開示の実施形態１の変形例１に係る画像処理装置に入力される画像信号を時系列に並べた模式図である。図５Ｂは、同上の画像処理装置において生成される第１合成画像を時系列に並べた模式図である。図５Ｃは、同上の画像処理装置において生成される第２合成画像の模式図である。 図６は、本開示の実施形態２に係る画像処理装置及び撮像システムのブロック図である。 図７Ａは、同上の画像処理装置において対象物の変化量が大きい場合の模式図である。図７Ｂは、同上の画像処理装置において対象物の変化量が小さい場合の模式図である。 図８は、同上の画像処理装置の動作を説明するシーケンス図である。 図９Ａは、同上の画像処理装置に入力される画像信号を時系列に並べた模式図である。図９Ｂは、同上の画像処理装置において生成される第１合成画像を時系列に並べた模式図である。図９Ｃは、同上の画像処理装置において生成される第２合成画像を時系列に並べた模式図である。

（実施形態１）
（１）概要
以下、実施形態１に係る画像処理装置１及び撮像システム１０の概要について、図１を参照して説明する。

本実施形態に係る撮像システム１０は、例えば、夜間等の暗いシーンにおいて画像を撮像可能な暗視カメラ、車載カメラ等である。本実施形態に係る画像処理装置１は、撮像システム１０の撮像素子２で撮像した画像の画質を向上させる機能を備えている。具体的には、画像処理装置１は、撮像素子２で撮像した画像を合成することによって、少なくとも一部が高精細となる画像を生成する。

本実施形態に係る画像処理装置１は、図１に示すように、第１演算部１１と、蓄積部１２と、第２演算部１３と、を備えている。第１演算部１１は、順次入力される複数の画像信号ＦＩｋ（ｋ＝１，２，３，…）から第１合成画像ＤＡＴｍ（ｍ＝１，２，３）を生成する第１処理を行う。第１合成画像ＤＡＴｍは、複数の画像信号ＦＩｋから選択された所定数の画像信号ＦＩｋを合成させた画像である。つまり、第１演算部１１は、所定数の画像信号ＦＩｋを合成することによって１つの第１合成画像ＤＡＴｍを生成する。本実施形態では、所定数は３である。つまり、第１演算部１１は、３つの画像信号ＦＩｋを合成することによって１つの第１合成画像ＤＡＴｍを生成する。蓄積部１２は、第１処理で生成された第１合成画像ＤＡＴｍを蓄積する。第２演算部１３は、蓄積部１２に蓄積させた複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎ（ｎ＝１，２，３，…）を生成する第２処理を行う。本実施形態では、第２演算部１３は、複数の第２合成画像ＦＯｎを時系列に並べて出力する。つまり、本実施形態に係る画像処理装置１は、出力画像として、複数の第２合成画像ＦＯｎからなる動画を出力する。

本実施形態に係る撮像システム１０は、図１に示すように、画像処理装置１と、撮像素子２と、を備えている。撮像素子２は、画像処理装置１に対して複数の画像信号ＦＩｋを順次出力する。

本実施形態に係る画像処理装置１及び撮像システム１０では、第１演算部１１で合成した第１合成画像ＤＡＴｍを蓄積部１２に蓄積させている。そのため、撮像素子２からの画像信号ＦＩｋをそのまま蓄積部１２に蓄積させる場合と比較して、蓄積部１２の使用量を低減することができる。また、第１演算部１１で第１合成画像ＤＡＴｍを生成することによって、フレームレートの低下を抑えながらも高精細な第２合成画像ＦＯｎを出力することができる。

（２）詳細
以下、実施形態１に係る画像処理装置１及び撮像システム１０の詳細について、図１を参照して説明する。

本実施形態に係る撮像システム１０は、図１に示すように、画像処理装置１と、撮像素子２と、を備えている。以下の説明において、蓄積部１２の第１蓄積領域１２１、第２蓄積領域１２２及び第３蓄積領域１２３を特に区別しない場合には、第１蓄積領域１２１、第２蓄積領域１２２及び第３蓄積領域１２３の各々を「蓄積領域１２０」ともいう。

（２．１）画像処理装置
本実施形態に係る画像処理装置１は、図１に示すように、第１演算部１１と、（第１）蓄積部１２と、第２演算部１３と、を備えている。本実施形態に係る画像処理装置１は、更に、制御部１４と、信号処理部１５と、を備えている。

第１演算部１１は、図１に示すように、初期化部１１１と、第２蓄積部１１２と、スイッチ部１１３と、加算部１１４と、を含む。

初期化部１１１は、初期化信号を出力する。初期化信号は、第２蓄積部１１２に蓄積される画像データ（画像信号）を初期化するための信号である。具体的には、加算部１１４に対して初期化信号が入力されると、撮像素子２からの画像信号ＦＩｋ（ｋ＝１，２，３，…）が上記画像データとして第２蓄積部１１２に蓄積（上書き）される。つまり、加算部１１４に対して初期化信号が入力されることによって、第１演算部１１で新たな合成処理が開始されることになる。

第２蓄積部１１２は、加算部１１４から出力される画像データを蓄積する。画像データは、第１画像データと第２画像データとのいずれかである。第１画像データは、画像信号ＦＩｋに初期化信号を加算したデータである。第２画像データは、画像信号ＦＩｋに第２蓄積部１１２の蓄積データを加算したデータである。

スイッチ部１１３は、制御部１４からの第１制御信号Ｓ１を受けて、加算部１１４の接続先を、初期化部１１１と第２蓄積部１１２との一方に切り替える。

加算部１１４は、撮像素子２からの画像信号ＦＩｋに対して、初期化信号と上記蓄積データとの一方を加算する。スイッチ部１１３を介して加算部１１４が初期化部１１１に接続されている場合、加算部１１４は、画像信号ＦＩｋに初期化信号を加算した第１画像データを生成する。スイッチ部１１３を介して加算部１１４が第２蓄積部１１２に接続されている場合、加算部１１４は、画像信号ＦＩｋに上記蓄積データを加算した第２画像データを生成する。

本実施形態では、第１演算部１１は、３つの画像信号ＦＩｋから第１合成画像ＤＡＴｍを生成するタイミングで、第１合成画像ＤＡＴｍのデータを蓄積部１２に出力する。ここで、第１演算部１１が、撮像素子２から順次入力される複数の画像信号ＦＩｋから第１合成画像ＤＡＴｍを生成する処理が第１処理である。

蓄積部１２は、複数（図示例では３つ）の蓄積領域１２０を有している。本実施形態では、蓄積部１２は、第１蓄積領域１２１、第２蓄積領域１２２及び第３蓄積領域１２３を有している。蓄積部１２は、第１演算部１１から順次出力される複数の第１合成画像ＤＡＴｍ（ｍ＝１，２，３）のデータを、第１蓄積領域１２１、第２蓄積領域１２２、第３蓄積領域１２３の順に順次蓄積させる。そして、４番目以降の第１合成画像ＤＡＴｍのデータについては、第１蓄積領域１２１、第２蓄積領域１２２、第３蓄積領域１２３の順に上書きされる。なお、蓄積部１２から第２演算部１３へのデータ出力は、パラレル出力であってもよいし、シリアル出力であってもよい。

第２演算部１３は、加算部１３１を含む。第２演算部１３は、蓄積部１２に蓄積されている複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎ（ｎ＝１，２，３，…）を生成する。本実施形態では、第２演算部１３は、蓄積部１２から出力される２つの第１合成画像ＤＡＴａ，ＤＡＴｂを合成することによって第２合成画像ＦＯｎを生成する。ここで、２つの第１合成画像ＤＡＴａ，ＤＡＴｂの組み合わせは、第１合成画像ＤＡＴ１，ＤＡＴ２の組と、第１合成画像ＤＡＴ２，ＤＡＴ３の組と、第１合成画像ＤＡＴ３，ＤＡＴ１の組とのいずれかである。ここで、第２演算部１３が、蓄積部１２に蓄積させた複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎを生成する処理が第２処理である。

制御部１４は、第１演算部１１、蓄積部１２及び第２演算部１３を各別に制御するように構成されている。制御部１４は、第１演算部１１に対して第１制御信号Ｓ１を出力する。第１制御信号Ｓ１は、スイッチ部１１３を介して加算部１１４の接続先を切り替えるための信号である。すなわち、第１演算部１１では、第１制御信号Ｓ１を受けて、加算部１１４の接続先が初期化部１１１と第２蓄積部１１２との一方に切り替えられる。

制御部１４は、蓄積部１２に対して第２制御信号Ｓ２を出力する。第２制御信号Ｓ２は、蓄積部１２へのデータ書き込みの有効／無効を切り替えるための信号である。第２制御信号Ｓ２には、例えば、データが書き込まれる蓄積領域１２０のアドレスが含まれている。本実施形態では、制御部１４は、３つの画像信号ＦＩｋから第１合成画像ＤＡＴｍが生成されるタイミングで第２制御信号Ｓ２を出力する。なお、蓄積部１２では、データが書き込まれる蓄積領域１２０が、第１蓄積領域１２１、第２蓄積領域１２２、第３蓄積領域１２３の順に繰り返し指定される。

制御部１４は、更に、蓄積部１２に対して第３制御信号Ｓ３を出力する。第３制御信号Ｓ３は、蓄積部１２からのデータ読み出しの有効／無効を切り替えるための信号である。第３制御信号Ｓ３には、例えば、データが読み出される蓄積領域１２０のアドレスが含まれている。蓄積部１２では、第３制御信号Ｓ３に含まれるアドレスが割り当てられた蓄積領域１２０からデータ（第１合成画像ＤＡＴｍのデータ）が読み出される。本実施形態では、制御部１４は、第２制御信号Ｓ２と同様に、第１合成画像ＤＡＴｍが生成されるタイミングで第３制御信号Ｓ３を出力する。すなわち、蓄積部１２では、第２制御信号Ｓ２及び第３制御信号Ｓ３を受けて、データの書き込みとデータの読み出しとが同じタイミングで行われる。

制御部１４は、第２演算部１３に対して第４制御信号Ｓ４を出力する。第４制御信号Ｓ４は、第２演算部１３の有効／無効を切り替えるための信号である。つまり、第２演算部１３は、第４制御信号Ｓ４によって有効になっている場合に、第２合成画像ＦＯｎを生成する。

信号処理部１５は、第２演算部１３で生成された第２合成画像ＦＯｎに対して所定の信号処理（画像処理）を行うように構成されている。信号処理部１５は、例えば、第２合成画像ＦＯｎのホワイトバランス、コントラスト等を調整する。

制御部１４及び信号処理部１５は、プロセッサ及びメモリを有するマイクロコンピュータで構成されている。つまり、制御部１４及び信号処理部１５は、プロセッサ及びメモリを有するコンピュータシステムで実現されている。そして、プロセッサが適宜のプログラムを実行することにより、コンピュータシステムが制御部１４及び信号処理部１５として機能する。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

（２．２）撮像素子
撮像素子２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等である。本実施形態では、撮像システム１０が暗視カメラ、車載カメラ等であるため、撮像素子２は、可視光だけでなく、赤外線に対しても感度を有している。なお、撮像素子２は、撮像素子２に対して光を集光させるレンズを備えていてもよい。

（３）動作
（３．１）動作例１
本実施形態に係る画像処理装置１の動作例１を、図２に示すシーケンス図を参照して説明する。動作例１では、第１演算部１１は、第１処理において、３つの画像信号ＦＩｋを合成することによって第１合成画像ＤＡＴｍを生成している。また、動作例１では、第２演算部１３は、第２処理において、２つの第１合成画像ＤＡＴｍを合成することによって第２合成画像ＦＯｎを生成している。

まず、第１演算部１１の加算部１１４に、１番目の画像信号ＦＩ１が入力される。このとき、第１演算部１１では、制御部１４からの第１制御信号Ｓ１によってスイッチ部１１３を介して加算部１１４が初期化部１１１に接続されている。そのため、加算部１１４は、画像信号ＦＩ１に初期化信号を合成（加算）させた第１合成データを出力し、この第１合成データが第２蓄積部１１２に蓄積される。このとき、制御部１４からの第２制御信号Ｓ２によって蓄積部１２へのデータ書き込みが無効になっており、蓄積部１２は、第１合成データを蓄積領域１２０に書き込まない（蓄積させない）。

次に、２番目の画像信号ＦＩ２が加算部１１４に入力される。このとき、第１演算部１１では、制御部１４からの第１制御信号Ｓ１によってスイッチ部１１３を介して加算部１１４が第２蓄積部１１２に接続されている。そのため、加算部１１４は、画像信号ＦＩ２に第１合成データを合成させた第２合成データを出力し、この第２合成データが第２蓄積部１１２に蓄積される。このときも、制御部１４からの第２制御信号Ｓ２によって蓄積部１２へのデータ書き込みが無効になっており、蓄積部１２は、第２合成データを蓄積領域１２０に書き込まない。

次に、３番目の画像信号ＦＩ３が加算部１１４に入力される。このとき、第１演算部１１では、制御部１４からの第１制御信号Ｓ１によってスイッチ部１１３を介して加算部１１４が第２蓄積部１１２に接続されている。そのため、加算部１１４は、画像信号ＦＩ３に第２合成データを合成させた第１合成画像ＤＡＴ１を生成し、第１合成画像ＤＡＴ１のデータが第２蓄積部１１２に蓄積される。このとき、制御部１４からの第２制御信号Ｓ２によって蓄積部１２へのデータ書き込みが有効になっており、蓄積部１２は、第１合成画像ＤＡＴ１のデータを第１蓄積領域１２１に書き込む（蓄積させる）。

制御部１４からの第３制御信号Ｓ３によって蓄積部１２からのデータ読み出しが有効になると、蓄積部１２は、第２蓄積領域１２２に蓄積されている第１合成画像ＤＡＴ２のデータと第３蓄積領域１２３に蓄積されている第１合成画像ＤＡＴ３のデータとを読み出す。このとき、第１蓄積領域１２１は書き込み状態にあるため、第１蓄積領域１２１から第１合成画像ＤＡＴ１を読み出すことはできない。蓄積部１２は、読み出した２つの第１合成画像ＤＡＴ２，ＤＡＴ３のデータを第２演算部１３に対して出力する。

第２演算部１３は、２つの第１合成画像ＤＡＴ２，ＤＡＴ３を加算部１３１において合成させることによって第２合成画像ＦＯ１を生成する。

以下、残りの画像信号ＦＩ４〜ＦＩｋについても、同様の処理が繰り返し行われる。例えば、画像信号ＦＩ４，ＦＩ５，ＦＩ６の場合、画像信号ＦＩ４，ＦＩ５，ＦＩ６を合成させた第１合成画像ＤＡＴ２のデータが蓄積部１２の第２蓄積領域１２２に蓄積される。第２演算部１３は、第１合成画像ＤＡＴ１を除いた２つの第１合成画像ＤＡＴ３，ＤＡＴ１を加算部１３１において合成させることによって第２合成画像ＦＯ２を生成する。

以上説明した画像処理装置１の動作例１では、第１演算ステップと、蓄積ステップと、第２演算ステップと、が含まれている。第１演算ステップは、順次入力される複数の画像信号ＦＩｋから第１合成画像ＤＡＴｍを生成するステップであり、図３におけるステップＳＴ１の「第１処理」に相当する。蓄積ステップは、第１演算ステップで生成された第１合成画像ＤＡＴｍを蓄積するステップであり、図３におけるステップＳＴ２の「蓄積」に相当する。第２演算ステップは、蓄積ステップで蓄積させた複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎを生成するステップであり、図３におけるステップＳＴ３の「第２処理」に相当する。

（３．２）動作例２
本実施形態に係る画像処理装置１の動作例２を、図４Ａ〜図４Ｃに示す模式図を参照して説明する。図４Ａは、撮像素子２から順次入力される画像信号ＦＩ１〜ＦＩ５を時系列に並べた模式図である。図４Ｂは、第１演算部１１で生成された第１合成画像ＤＡＴ１，ＤＡＴ２を時系列に並べた模式図である。図４Ｃは、第２演算部１３で生成された第２合成画像ＦＯ１の模式図である。動作例２では、人がバットでボールを打つ動作を例示している。また、動作例２では、５つの画像信号ＦＩ１〜ＦＩ５が第１演算部１１に入力され、２つの画像信号ＦＩｋから１つの第１合成画像ＤＡＴｍを生成する場合を例示している。

第１演算部１１は、１番目の画像信号ＦＩ１と２番目の画像信号ＦＩ２とを合成して、第１合成画像ＤＡＴ１を生成する。第１合成画像ＤＡＴ１は、図４Ａ及び図４Ｂに示すように、画像信号ＦＩ１に含まれる対象物Ａ１（ボールを含む）と画像信号ＦＩ２に含まれる対象物Ａ２（ボールを含む）とが合成された画像である。

第１演算部１１は、３番目の画像信号ＦＩ３と４番目の画像信号ＦＩ４とを合成して、第１合成画像ＤＡＴ２を生成する。第１合成画像ＤＡＴ２は、図４Ａ及び図４Ｂに示すように、画像信号ＦＩ３に含まれる対象物Ａ３（ボールを含む）と画像信号ＦＩ４に含まれる対象物Ａ４（ボールを含む）とを合成した画像である。

蓄積部１２は、第１合成画像ＤＡＴ１を第１蓄積領域１２１に蓄積させ、第１合成画像ＤＡＴ２を第２蓄積領域１２２に蓄積させる。

第２演算部１３は、蓄積部１２に蓄積させた２つの第１合成画像ＤＡＴ１，ＤＡＴ２を合成することによって第２合成画像ＦＯ１を生成する。第２合成画像ＦＯ１は、図４Ｃに示すように、上述の対象物Ａ１〜Ａ４が合成された画像である。

（４）効果
本実施形態に係る画像処理装置１は、第１演算部１１と、蓄積部１２と、第２演算部１３と、を備えている。第１演算部１１は、順次入力される複数の画像信号ＦＩｋ（ｋ＝１，２，３，…）から第１合成画像ＤＡＴｍ（ｍ＝１，２，３）を生成する第１処理を行う。蓄積部１２は、第１処理で生成された第１合成画像ＤＡＴｍを蓄積する。第２演算部１３は、蓄積部１２に蓄積させた複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎ（ｎ＝１，２，３，…）を生成する第２処理を行う。本実施形態に係る撮像システム１０は、画像処理装置１と、撮像素子２と、を備えている。撮像素子２は、複数の画像信号ＦＩｋを出力する。

本実施形態に係る画像処理装置１及び撮像システム１０では、上述のように、第１演算部１１で生成した第１合成画像ＤＡＴｍを蓄積部１２に蓄積させている。そのため、撮像素子２から入力される画像信号ＦＩｋをそのまま蓄積する場合と比較して、蓄積部１２の使用量を低減することができる。また、第１演算部１１で第１合成画像ＤＡＴｍを生成することによって、フレームレートの低下を抑えながらも高精細な第２合成画像ＦＯｎを出力することができる。

また、本実施形態に係る画像処理装置１では、蓄積部１２は、複数の蓄積領域１２０を有している。蓄積部１２は、第１演算部１１から順次出力される複数の第１合成画像ＤＡＴｍを複数の蓄積領域１２０に順次蓄積させる。この構成によれば、複数の蓄積領域１２０にそれぞれ蓄積させる複数の第１合成画像ＤＡＴｍを、１つの第１演算部１１で生成することができる。

さらに、本実施形態に係る画像処理装置１では、複数の第１合成画像ＤＡＴｍの各々は、複数の画像信号ＦＩｋから選択された所定数の画像信号ＦＩｋを合成させた画像である。この構成によれば、所定数の画像信号ＦＩｋを合成することによって、高精細な第１合成画像ＤＡＴｍを生成することができる。

また、本実施形態に係る画像処理装置１では、第２演算部１３は、複数の第２合成画像ＦＯｎを時系列に並べて出力する。この構成によれば、高精細な動画を生成することができる。

（５）変形例
実施形態１は、本開示の様々な実施形態の一つに過ぎない。実施形態１は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、画像処理装置１と同様の機能は、画像処理方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的な記録媒体等で具現化されてもよい。

一態様に係る画像処理方法は、図３に示すように、第１演算ステップ（ステップＳＴ１）と、蓄積ステップ（ステップＳＴ２）と、第２演算ステップ（ステップＳＴ３）と、を備える。第１演算ステップは、順次入力される複数の画像信号ＦＩｋ（ｋ＝１，２，３，…）から第１合成画像ＤＡＴｍ（ｍ＝１，２，３）を生成するステップである。蓄積ステップは、第１演算ステップで生成された第１合成画像ＤＡＴｍを蓄積するステップである。第２演算ステップは、蓄積ステップで蓄積させた複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎ（ｎ＝１，２，３，…）を生成するステップである。

一態様に係るプログラムは、コンピュータシステムに、上述の画像処理方法を実行させるためのプログラムである。

以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

本開示における画像処理装置１又は画像処理方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における画像処理装置１又は画像処理方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

また、画像処理装置１の第１演算部１１、第２演算部１３、制御部１４及び信号処理部１５の機能は、１つの装置に設けられていてもよいし、複数の装置に分散して設けられていてもよい。さらに、第１演算部１１、第２演算部１３、制御部１４又は信号処理部１５の少なくとも一部の機能は、例えば、クラウド（クラウドコンピューティング）によって実現されていてもよい。

（５．１）変形例１
実施形態１では、第１演算部１１が、画像信号ＦＩｋに含まれる全ての対象物を合成する場合を例示したが、第１演算部１１は、例えば、画像信号ＦＩｋに含まれる対象物のうち静止体（静止物）のみを合成するように構成されていてもよい。以下、変形例１に係る画像処理装置１の動作について、図５Ａ〜図５Ｃを参照して説明する。図５Ａは、撮像素子２から順次出力される画像信号ＦＩ１〜ＦＩ５を時系列に並べた模式図である。図５Ｂは、第１演算部１１で生成された第１合成画像ＤＡＴ１，ＤＡＴ２を時系列に並べた模式図である。図５Ｃは、第２演算部１３で生成された第２合成画像ＦＯ１の模式図である。

第１演算部１１は、１番目の画像信号ＦＩ１と２番目の画像信号ＦＩ２とを合成して、第１合成画像ＤＡＴ１を生成する。このとき、第１演算部１１は、例えば、機械学習等によって画像信号ＦＩ１に含まれる動体と静止体とを識別し、画像信号ＦＩ１に含まれる静止体のみを画像信号ＦＩ２に合成させる（図５Ｂ参照）。

また、第１演算部１１は、３番目の画像信号ＦＩ３と４番目の画像信号ＦＩ４とを合成して、第１合成画像ＤＡＴ２を生成する。このとき、第１演算部１１は、同様に、機械学習等によって画像信号ＦＩ３に含まれる動体と静止体とを識別し、画像信号ＦＩ３に含まれる静止体のみを画像信号ＦＩ４に合成させる（図５Ｂ参照）。

蓄積部１２は、第１合成画像ＤＡＴ１を第１蓄積領域１２１に蓄積させ、第１合成画像ＤＡＴ２を第２蓄積領域１２２に蓄積させる。

第２演算部１３は、蓄積部１２に蓄積させた２つの第１合成画像ＤＡＴ１，ＤＡＴ２を合成することによって第２合成画像ＦＯ１を生成する。このとき、第２演算部１３は、第１演算部１１と同様に、機械学習等によって第１合成画像ＤＡＴ１に含まれる動体と静止体とを識別し、第１合成画像ＤＡＴ１に含まれる静止体のみを第１合成画像ＤＡＴ２に合成させる（図５Ｃ参照）。

この構成によれば、第２合成画像ＦＯ１に含まれる静止体の精細さを向上させることができる。

（５．２）その他の変形例
以下、実施形態１のその他の変形例を列挙する。

実施形態１では、蓄積部１２が３つの蓄積領域１２０を有している場合を例示したが、蓄積部１２は、２つ又は４つ以上の蓄積領域１２０を有していてもよい。

実施形態１では、第１演算部１１が、２つ又は３つの画像信号ＦＩｋを合成する場合を例示したが、合成させる画像信号ＦＩｋの個数は２つ及び３つに限らず、４つ以上であってもよい。

実施形態１では、第２演算部１３が、２つの第１合成画像ＤＡＴｍから第２合成画像ＦＯｎを生成する場合を例示したが、合成させる第１合成画像ＤＡＴｍの個数は２つに限らず、３つ以上であってもよい。

（実施形態２）
実施形態２に係る画像処理装置１Ａ及び撮像システム１０Ａについて、図６〜図９Ｂを参照して説明する。本実施形態に係る画像処理装置１Ａでは、画像信号ＦＩｋに含まれる対象物１００Ａ（図７Ａ参照）の変化量Ｌ１（図７Ａ参照）の大きさに応じて合成処理を行うか否かを判定している点で、実施形態１に係る画像処理装置１と相違している。

（１）詳細
本実施形態に係る撮像システム１０Ａは、図６に示すように、画像処理装置１Ａと、撮像素子２と、を備えている。画像処理装置１Ａは、図６に示すように、第１演算部１１Ａと、蓄積部１２と、第２演算部１３と、制御部１４と、信号処理部１５と、を備えている。なお、蓄積部１２、第２演算部１３、制御部１４及び信号処理部１５については、実施形態１に係る画像処理装置１の蓄積部１２、第２演算部１３、制御部１４及び信号処理部１５と同様であり、ここでは詳細な説明を省略する。また、撮像素子２についても、実施形態１に係る撮像システム１０の撮像素子２と同様であり、ここでは詳細な説明を省略する。

第１演算部１１Ａは、図６に示すように、第３蓄積部１１１Ａと、第４蓄積部１１２Ａと、スイッチ部１１３Ａと、減算部１１４Ａと、算出部１１５Ａと、処理部１１６Ａと、を含む。

第３蓄積部１１１Ａ及び第４蓄積部１１２Ａには、撮像素子２から順次出力される画像信号ＦＩｋ（ｋ＝１，２，３，…）が交互に蓄積される。つまり、第３蓄積部１１１Ａには、画像信号ＦＩｋ１（ｋ１＝１，３，５，…）が入力され、第４蓄積部１１２Ａには、画像信号ＦＩｋ２（ｋ２＝２，４，６，…）が入力される。

減算部１１４Ａは、第３蓄積部１１１Ａから入力される画像信号ＦＩｋ１と、第４蓄積部１１２Ａから入力される画像信号ＦＩｋ２とに基づく差分データを生成し、この差分データを算出部１１５Ａに出力する。例えば、第３蓄積部１１１Ａから画像信号ＦＩ１が入力され、第４蓄積部１１２Ａから画像信号ＦＩ２が入力されている場合、減算部１１４Ａは、画像信号ＦＩ１，ＦＩ２の差分データを生成する。減算部１１４Ａは、以下順番に、画像信号ＦＩｋ１，ＦＩｋ２の差分データを生成する。

算出部１１５Ａは、減算部１１４Ａからの差分データに基づいて、対象物１００Ａ（図７Ａ参照）の変化量Ｌ１（図７Ａ参照）を算出し、算出結果を処理部１１６Ａに出力する。

処理部１１６Ａは、算出部１１５Ａの算出結果に基づいて、画像信号ＦＩｋ１，ＦＩｋ２を合成するか否かを判定する。具体的には、処理部１１６Ａは、図７Ａに示すように、対象物１００Ａの変化量Ｌ１が予め設定した所定値（閾値）以上であれば、画像信号ＦＩｋ１，ＦＩｋ２を合成しない。言い換えると、第１演算部１１Ａは、判定条件を満たしている場合には第１処理を行わない。ここでいう「判定条件を満たしている」とは、対象物１００Ａの変化量Ｌ１が所定値以上の場合をいう。また、処理部１１６Ａは、図７Ｂに示すように、対象物１００Ａの変化量Ｌ１が所定値よりも小さければ、画像信号ＦＩｋ１，ＦＩｋ２を合成する。ここで、上述の所定値は、対象物１００Ａの大きさ等に応じて任意に設定できるように構成されていることが好ましい。なお、図７Ａ及び図７Ｂにおける対象物１００Ｂは固定物である。

ところで、第１演算部１１Ａでは、処理部１１６Ａは、２つの画像信号ＦＩｋ１，ＦＩｋ２に基づく差分データから、対象物１００Ａの変化量Ｌ１が所定値以上か否かを判定している。つまり、第１演算部１１Ａは、連続する２つの画像信号ＦＩｋ１，ＦＩｋ２に基づく差分画像から、対象物１００Ａの変化量Ｌ１が所定値以上か否かを判定している。この構成によれば、２つの画像信号ＦＩｋ１，ＦＩｋ２による差分画像を求めるだけで対象物１００Ａの変化量Ｌ１を算出することができる。

（２）動作
（２．１）動作例１
本実施形態に係る画像処理装置１Ａの動作例１を、図８に示すシーケンス図を参照して説明する。

まず、スイッチ部１１３Ａが切り替えられることによって画像信号ＦＩ１が第３蓄積部１１１Ａに蓄積され、画像信号ＦＩ２が第４蓄積部１１２Ａに蓄積される。

その後、第３蓄積部１１１Ａに蓄積されている画像信号ＦＩ１及び第４蓄積部１１２Ａに蓄積されている画像信号ＦＩ２が減算部１１４Ａに入力されると、減算部１１４Ａは、画像信号ＦＩ１，ＦＩ２の差分データを生成する。減算部１１４Ａは、生成した差分データを算出部１１５Ａに出力する。

算出部１１５Ａは、減算部１１４Ａからの差分データに基づいて、画像信号ＦＩ１，ＦＩ２に含まれている対象物の変化量を算出し、算出結果を処理部１１６Ａに出力する。

処理部１１６Ａは、算出部１１５Ａの算出結果に基づいて、画像信号ＦＩ１，ＦＩ２を合成するか否かを判定する。図８に示す例では、対象物の変化量が所定値よりも小さい場合を想定しており、処理部１１６Ａは、画像信号ＦＩ１，ＦＩ２を合成することによって第１合成画像ＤＡＴ１を生成する。処理部１１６Ａは、生成した第１合成画像ＤＡＴ１のデータを蓄積部１２に対して出力し、蓄積部１２は、このデータを第１蓄積領域１２１に蓄積させる。

このとき、蓄積部１２の第２蓄積領域１２２及び第３蓄積領域１２３に第１合成画像ＤＡＴ２，ＤＡＴ３が蓄積されておらず、第１蓄積領域１２１は書き込み状態である。そのため、第２演算部１３は、第２合成画像ＦＯｎを生成しない。

同様にして、スイッチ部１１３Ａが切り替えられることによって画像信号ＦＩ３が第３蓄積部１１１Ａに蓄積され、画像信号ＦＩ４が第４蓄積部１１２Ａに蓄積される。

その後、第３蓄積部１１１Ａに蓄積されている画像信号ＦＩ３及び第４蓄積部１１２Ａに蓄積されている画像信号ＦＩ４が減算部１１４Ａに入力されると、減算部１１４Ａは、画像信号ＦＩ３，ＦＩ４の差分データを生成する。減算部１１４Ａは、生成した差分データを算出部１１５Ａに出力する。

算出部１１５Ａは、減算部１１４Ａからの差分データに基づいて、画像信号ＦＩ３，ＦＩ４に含まれている対象物の変化量を算出し、算出結果を処理部１１６Ａに出力する。

処理部１１６Ａは、算出部１１５Ａの算出結果に基づいて、画像信号ＦＩ３，ＦＩ４を合成するか否かを判定する。図８に示す例では、対象物の変化量が所定値以上の場合を想定しており、処理部１１６Ａは、画像信号ＦＩ３，ＦＩ４を合成せずに、画像信号ＦＩ３を出力する。蓄積部１２は、処理部１１６Ａからの画像信号ＦＩ３を第２蓄積領域１２２に蓄積させる。

このとき、蓄積部１２の第１蓄積領域１２１に第１合成画像ＤＡＴ１が蓄積されており、第２蓄積領域１２２は書き込み状態である。そのため、第２演算部１３は、合成画像ＤＡＴ１を第２合成画像ＦＯ３として出力する。

さらに、スイッチ部１１３Ａが切り替えられることによって画像信号ＦＩ５が第３蓄積部１１１Ａに蓄積される。

その後、第４蓄積部１１２Ａに蓄積されている画像信号ＦＩ４及び第３蓄積部１１１Ａに蓄積されている画像信号ＦＩ５が減算部１１４Ａに入力されると、減算部１１４Ａは、画像信号ＦＩ４，ＦＩ５の差分データを生成する。減算部１１４Ａは、生成した差分データを算出部１１５Ａに出力する。

算出部１１５Ａは、減算部１１４Ａからの差分データに基づいて、画像信号ＦＩ４，ＦＩ５に含まれている対象物の変化量を算出し、算出結果を処理部１１６Ａに出力する。

処理部１１６Ａは、算出部１１５Ａの算出結果に基づいて、画像信号ＦＩ４，ＦＩ５を合成するか否かを判定する。図８に示す例では、対象物の変化量が所定値以上の場合を想定しており、処理部１１６Ａは、画像信号ＦＩ４，ＦＩ５を合成せずに、画像信号ＦＩ４を出力する。蓄積部１２は、処理部１１６Ａからの画像信号ＦＩ４を第３蓄積領域１２３に蓄積させる。

このとき、蓄積部１２の第１蓄積領域１２１に第１合成画像ＤＡＴ１が蓄積され、第２蓄積領域１２２に画像信号ＦＩ３が蓄積されており、第３蓄積領域１２３が書き込み状態である。そのため、第２演算部１３は、第１合成画像ＤＡＴ１のデータと画像信号ＦＩ３とを合成することによって第２合成画像ＦＯ４を生成し、生成した第２合成画像ＦＯ４を出力する。

以下、同様の処理が繰り返し行われることによって、第２演算部１３にて複数の第２合成画像ＦＯｎが生成される。そして、第２演算部１３は、複数の第２合成画像ＦＯｎを時系列に並べて出力する。つまり、第２演算部１３は、複数の第２合成画像ＦＯｎからなる動画を出力する。

（２．２）動作例２
本実施形態に係る画像処理装置１Ａの動作例２を、図９Ａ〜図９Ｃに示す模式図を参照して説明する。図９Ａは、撮像素子２から順次入力される画像信号ＦＩ１〜ＦＩ５を時系列に並べた模式図である。図９Ｂは、第１演算部１１で生成された第１合成画像ＤＡＴ１，ＤＡＴ３及び画像信号ＦＩ３を時系列に並べた模式図である。図９Ｃは、第２演算部１３で生成された第２合成画像ＦＯ１，ＦＯ２を時系列に並べた模式図である。動作例２では、人がバットでボールを打つ動作を例示している。また、動作例２では、５つの画像信号ＦＩ１〜ＦＩ５が第１演算部１１Ａに入力される場合を例示している。なお、動作例２では、バットを持つ人とボールとの両方が対象物である。

第１演算部１１の算出部１１５Ａは、第３蓄積部１１１Ａから入力される画像信号ＦＩ１と第４蓄積部１１２Ａから入力される画像信号ＦＩ２との差分データに基づいて、対象物の変化量を算出する。図９Ａに示す例では、対象物の変化量が所定値よりも小さい場合を想定しており、処理部１１６Ａは、画像信号ＦＩ１，ＦＩ２を合成することによって第１合成画像ＤＡＴ１を生成する。つまり、第１合成画像ＤＡＴ１には、画像信号ＦＩ１内の対象物と画像信号ＦＩ２内の対象物とが含まれている。

次に、算出部１１５Ａは、第３蓄積部１１１Ａから入力される画像信号ＦＩ３と第４蓄積部１１２Ａから入力される画像信号ＦＩ４との差分データに基づいて、対象物の変化量を算出する。図９Ａに示す例では、対象物の変化量が所定値以上の場合を想定しており、処理部１１６Ａは、画像信号ＦＩ３，ＦＩ４を合成しないで、画像信号ＦＩ３を出力する。

さらに、算出部１１５Ａは、第４蓄積部１１２Ａから入力される画像信号ＦＩ４と第３蓄積部１１１Ａから入力される画像信号ＦＩ５との差分データに基づいて、対象物の変化量を算出する。図９Ａに示す例では、対象物の変化量が所定値よりも小さい場合を想定しており、処理部１１６Ａは、画像信号ＦＩ４，ＦＩ５を合成することによって第１合成画像ＤＡＴ３を生成する。つまり、第１合成画像ＤＡＴ３には、画像信号ＦＩ４内の対象物と画像信号ＦＩ５内の対象物とが含まれている。

蓄積部１２は、第１合成画像ＤＡＴ１のデータを第１蓄積領域１２１に蓄積させ、画像信号ＦＩ３を第２蓄積領域１２２に蓄積させ、第１合成画像ＤＡＴ３のデータを第３蓄積領域１２３に蓄積させている。

第２演算部１３は、蓄積部１２の第１蓄積領域１２１に蓄積させている第１合成画像ＤＡＴ１のデータと第２蓄積領域１２２に蓄積させている画像信号ＦＩ３とを合成することによって第２合成画像ＦＯ１を生成する。また、第２演算部１３は、蓄積部１２の第２蓄積領域１２２に蓄積させている画像信号ＦＩ３と第３蓄積領域１２３に蓄積させている第１合成画像ＤＡＴ３のデータとを合成することによって第２合成画像ＦＯ２を生成する。そして、第２演算部１３は、これらの第２合成画像ＦＯ１，ＦＯ２を時系列に並べて出力する。

（３）効果
本実施形態に係る画像処理装置１Ａは、第１演算部１１Ａと、蓄積部１２と、第２演算部１３と、を備えている。第１演算部１１Ａは、順次入力される複数の画像信号ＦＩｋ（ｋ＝１，２，３，…）から第１合成画像ＤＡＴｍ（ｍ＝１，２，３）を生成する第１処理を行う。蓄積部１２は、第１処理で生成された第１合成画像ＤＡＴｍを蓄積する。第２演算部１３は、蓄積部１２に蓄積させた複数の第１合成画像ＤＡＴｍから第２合成画像ＦＯｎ（ｎ＝１，２，３，…）を生成する第２処理を行う。

本実施形態に係る画像処理装置１Ａでは、上述のように、第１演算部１１Ａで生成した第１合成画像ＤＡＴｍを蓄積部１２に蓄積させている。そのため、撮像素子２から入力される画像信号ＦＩｋをそのまま蓄積する場合と比較して、蓄積部１２の使用量を低減することができる。また、第１演算部１１Ａで第１合成画像ＤＡＴｍを生成することによって、フレームレートの低下を抑えながらも高精細な第２合成画像ＦＯｎを出力することができる。

また、本実施形態に係る画像処理装置１Ａでは、第１演算部１１Ａは、判定条件を満たしている場合には第１処理を行わないように構成されている。この構成によれば、判定条件に応じて第１演算部１１Ａに第１処理を行わせることができる。

さらに、本実施形態に係る画像処理装置１Ａでは、複数の画像信号ＦＩｋのうち連続する２つの画像信号ＦＩｋ１，ＦＩｋ２に含まれる対象物１００Ａの変化量Ｌ１が所定値以上の場合に判定条件を満たしている。この構成によれば、対象物１００Ａの変化量に応じて第１演算部１１Ａに第１処理を行わせることができる。

また、本実施形態に係る画像処理装置１Ａでは、第１演算部１１Ａは、２つの画像信号ＦＩｋ１，ＦＩｋ２に基づく差分画像から、対象物１００Ａの変化量Ｌ１が所定値以上か否かを判定している。この構成によれば、２つの画像信号ＦＩｋ１，ＦＩｋ２による差分画像を求めるだけで対象物１００Ａの変化量Ｌ１を算出することができる。

（４）変形例
以下、実施形態２の変形例を列挙する。

実施形態２では、対象物１００Ａの変化量Ｌ１が移動量（距離）である場合を例示したが、対象物の変化量は移動量に限らず、例えば、対象物が光源である場合には光量、点滅等であってもよい。

また、実施形態２で説明した構成は、実施形態１で説明した構成（変形例を含む）と適宜組み合わせて適用可能である。

（まとめ）
以上説明したように、第１の態様に係る画像処理装置（１；１Ａ）は、第１演算部（１１；１１Ａ）と、蓄積部（１２）と、第２演算部（１３）と、を備える。第１演算部（１１；１１Ａ）は、順次入力される複数の画像信号（ＦＩｋ）から第１合成画像（ＤＡＴｍ）を生成する第１処理を行う。蓄積部（１２）は、第１処理で生成された第１合成画像（ＤＡＴｍ）を蓄積する。第２演算部（１３）は、蓄積部（１２）に蓄積させた複数の第１合成画像（ＤＡＴｍ）から第２合成画像（ＦＯｎ）を生成する第２処理を行う。

この態様によれば、第１演算部（１１；１１Ａ）で生成した第１合成画像（ＤＡＴｍ）を蓄積部（１２）に蓄積させているので、順次入力される画像信号（ＦＩｋ）をそのまま蓄積させる場合と比較して、蓄積部（１２）の使用量を低減することができる。また、第１演算部（１１；１１Ａ）で第１合成画像（ＤＡＴｍ）を生成することによって、フレームレートの低下を抑えながらも高精細な第２合成画像（ＦＯｎ）を出力することができる。

第２の態様に係る画像処理装置（１；１Ａ）では、第１の態様において、蓄積部（１２）は、複数の蓄積領域（１２０）を有している。蓄積部（１２）は、第１演算部（１１；１１Ａ）から順次出力される複数の第１合成画像（ＤＡＴｍ）を複数の蓄積領域（１２０）に順次蓄積させる。

この態様によれば、複数の蓄積領域（１２０）にそれぞれ蓄積させる複数の第１合成画像（ＤＡＴｍ）を、１つの第１演算部（１１；１１Ａ）で生成することができる。

第３の態様に係る画像処理装置（１；１Ａ）では、第１又は２の態様において、複数の第１合成画像（ＤＡＴｍ）の各々は、複数の画像信号（ＦＩｋ）から選択された所定数の画像信号（ＦＩｋ）を合成させた画像である。

この態様によれば、所定数の画像信号（ＦＩｋ）を合成することによって、高精細な第１合成画像（ＤＡＴｍ）を生成することができる。

第４の態様に係る画像処理装置（１Ａ）では、第１又は２の態様において、第１演算部（１１Ａ）は、判定条件を満たしている場合には第１処理を行わない。

この態様によれば、判定条件に応じて第１演算部（１１Ａ）に第１処理を行わせることができる。

第５の態様に係る画像処理装置（１Ａ）では、第４の態様において、複数の画像信号（ＦＩｋ）のうち連続する２つの画像信号（ＦＩｋ１，ＦＩｋ２）に含まれる対象物（１００Ａ）の変化量（Ｌ１）が所定値以上の場合に判定条件を満たしている。

この態様によれば、対象物（１００Ａ）の変化量（Ｌ１）に応じて第１演算部（１１Ａ）に第１処理を行わせることができる。

第６の態様に係る画像処理装置（１Ａ）では、第５の態様において、第１演算部（１１Ａ）は、２つの画像信号（ＦＩｋ１，ＦＩｋ２）に基づく差分画像から、対象物（１００Ａ）の変化量（Ｌ１）が所定値以上か否かを判定する。

この態様によれば、２つの画像信号（ＦＩｋ１，ＦＩｋ２）による差分画像を求めるだけで対象物（１００Ａ）の変化量（Ｌ１）を算出することができる。

第７の態様に係る画像処理装置（１；１Ａ）では、第１〜６のいずれかの態様において、第２演算部（１３）は、複数の第２合成画像（ＦＯｎ）を時系列に並べて出力する。

この態様によれば、高精細な動画を生成することができる。

第８の態様に係る撮像システム（１０；１０Ａ）は、第１〜７のいずれかの態様の画像処理装置（１；１Ａ）と、複数の画像信号（ＦＩｋ）を出力する撮像素子（２）と、を備える。

この態様によれば、第１演算部（１１；１１Ａ）で生成した第１合成画像（ＤＡＴｍ）を蓄積部（１２）に蓄積させているので、順次入力される画像信号（ＦＩｋ）をそのまま蓄積させる場合と比較して、蓄積部（１２）の使用量を低減することができる。

第９の態様に係る画像処理方法は、第１演算ステップ（ＳＴ１）と、蓄積ステップ（ＳＴ２）と、第２演算ステップ（ＳＴ３）と、を備える。第１演算ステップは、順次入力される複数の画像信号（ＦＩｋ）から第１合成画像（ＤＡＴｍ）を生成するステップである。蓄積ステップは、第１演算ステップで生成された第１合成画像（ＤＡＴｍ）を蓄積するステップである。第２演算ステップは、蓄積ステップで蓄積させた複数の第１合成画像（ＤＡＴｍ）から第２合成画像（ＦＯｎ）を生成するステップである。

この態様によれば、第１演算ステップで生成した第１合成画像（ＤＡＴｍ）を蓄積部（１２）に蓄積させているので、順次入力される画像信号（ＦＩｋ）をそのまま蓄積させる場合と比較して、蓄積部（１２）の使用量を低減することができる。

第１０の態様に係るプログラムは、コンピュータシステムに、第９の態様の画像処理方法を実行させるためのプログラムである。

この態様によれば、第１演算ステップで生成した第１合成画像（ＤＡＴｍ）を蓄積部（１２）に蓄積させているので、順次入力される画像信号（ＦＩｋ）をそのまま蓄積させる場合と比較して、蓄積部（１２）の使用量を低減することができる。

第２〜７の態様に係る構成については、画像処理装置（１；１Ａ）の必須の構成ではなく、適宜省略可能である。

１，１Ａ 画像処理装置
１１，１１Ａ 第１演算部
１２ 蓄積部
１２０ 蓄積領域
１３ 第２演算部
２ 撮像素子
１０，１０Ａ 撮像システム
ＦＩｋ，ＦＩｋ１，ＦＩｋ２ 画像信号
ＤＡＴｍ（ｍ＝１，２，３，…） 第１合成画像
ＦＯｎ（ｎ＝１，２，３，…） 第２合成画像
ＳＴ１ ステップ（第１演算ステップ）
ＳＴ２ ステップ（蓄積ステップ）
ＳＴ３ ステップ（第２演算ステップ）

Claims (10)

1. 順次入力される複数の画像信号から第１合成画像を生成する第１処理を行う第１演算部と、
   前記第１処理で生成された前記第１合成画像を蓄積する蓄積部と、
   前記蓄積部に蓄積させた複数の前記第１合成画像から第２合成画像を生成する第２処理を行う第２演算部と、を備える、
   画像処理装置。
2. 前記蓄積部は、
   複数の蓄積領域を有しており、
   前記第１演算部から順次出力される前記複数の第１合成画像を前記複数の蓄積領域に順次蓄積させる、
   請求項１に記載の画像処理装置。
3. 前記複数の第１合成画像の各々は、前記複数の画像信号から選択された所定数の画像信号を合成させた画像である、
   請求項１又は２に記載の画像処理装置。
4. 前記第１演算部は、判定条件を満たしている場合には前記第１処理を行わない、
   請求項１又は２に記載の画像処理装置。
5. 前記複数の画像信号のうち連続する２つの画像信号に含まれる対象物の変化量が所定値以上の場合に前記判定条件を満たしている、
   請求項４に記載の画像処理装置。
6. 前記第１演算部は、前記２つの画像信号に基づく差分画像から、前記対象物の変化量が前記所定値以上か否かを判定する、
   請求項５に記載の画像処理装置。
7. 前記第２演算部は、複数の前記第２合成画像を時系列に並べて出力する、
   請求項１〜６のいずれか１項に記載の画像処理装置。
8. 請求項１〜７のいずれか１項に記載の画像処理装置と、
   前記複数の画像信号を出力する撮像素子と、を備える、
   撮像システム。
9. 順次入力される複数の画像信号から第１合成画像を生成する第１演算ステップと、
   前記第１演算ステップで生成された前記第１合成画像を蓄積する蓄積ステップと、
   前記蓄積ステップで蓄積させた複数の前記第１合成画像から第２合成画像を生成する第２演算ステップと、を備える、
   画像処理方法。
10. コンピュータシステムに、
    請求項９に記載の画像処理方法を実行させるためのプログラム。

Images