JP2019106647A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 星のような光る被写体の軌跡と軌跡以外の被写体のそれぞれに適した明るさの画像を得ること。【解決手段】 被写体を撮影して得られた連続する複数フレームの画像を取得し、前記複数フレームの画像のうち、第１の露光量で撮影して得られた連続する複数フレームの第１の画像を比較明合成して第２の画像を生成し、前記複数のフレームの画像のうち、前記第１の露光量よりも低い第２の露光量で撮影して得られた第３の画像を、前記第１の画像と同じ露出レベルとなるようにゲイン処理を行って第４の画像を取得し、前記第２の画像から前記第４の画像を差分した差分画像と、前記第３の画像を比較明合成して、前記被写体の軌跡を示す合成画像を生成する。【選択図】 図７

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、複数枚の画像を合成する画像処理装置及び方法、及び撮像装置に関する。

近年、家庭用ビデオカメラやデジタルスチルカメラなどの撮像機器が一般に普及している。これらの撮像機器は撮影画像をその場で確認できる機能を提供しており、ユーザーにとって撮影の利便性が向上している。

また、コンパクトデジタルカメラの撮像素子の感度が向上し、Ｓ／Ｎ比も改善されてきていることから、星空を手軽に撮影できるモードを搭載したモデルも存在する。満点の星空を撮影するモードや、星が時間とともに移動する日周運動の軌跡を撮影するモードなどがある。

星が多く写るように撮影するためには、露光時間や感度を上げて撮影する必要があるが、星に露出を合わせて撮影すると、背景として写る建物や夜空が明るくなってしまい、画像の雰囲気を残すことができないという課題があった。そこで特許文献１では、星の明るさと建物や夜空の明るさを適正に撮影する手法が提案されている。

特開２０１６−７６８６９号公報

しかしながら、特許文献１の方法で星空の軌跡を撮影すると、輝度が所定範囲内に入っている星だけを抽出して合成するため、非常に明るい星や、暗めの星を合成できないという課題があった。

本発明は上記問題点を鑑みてなされたものであり、星のような光る被写体の軌跡と軌跡以外の被写体のそれぞれに適した明るさの画像を得ることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、被写体を撮影して得られた連続する複数フレームの画像を取得する取得手段と、前記取得手段により取得した前記複数フレームの画像を合成して、前記被写体の軌跡を示す合成画像を生成する合成手段と、を有し、前記合成手段は、前記複数フレームの画像のうち、第１の露光量で取得した連続する複数フレームの第１の画像を比較明合成して第２の画像を生成し、前記第１の露光量よりも低い第２の露光量で取得した第３の画像を、前記第１の画像と同じ露出レベルとなるようにゲイン処理を行って第４の画像を取得し、前記第２の画像から前記第４の画像を差分した差分画像と、前記第３の画像を比較明合成することで前記合成画像を生成する。

本発明によれば、星のような光る被写体の軌跡と軌跡以外の被写体のそれぞれに適した明るさの画像を得ることができる。

本発明の実施形態における撮像装置の構成を示すブロック図。 実施形態における星空の撮影モードを選択する画面、および、本発明の背景画像の撮影タイミングを選択する画面を示す図。 実施形態における星空軌跡モードにおける処理を示すフローチャート。 実施形態の星空軌跡モードにおいて、最初に背景を撮影する場合の第１の撮影処理を示すフローチャート。 実施形態の星空軌跡モードにおいて、最後に背景を撮影する場合の第２の撮影処理を示すフローチャート。 実施形態の星空軌跡モードにおいて、最初と最初に背景を撮影する場合の第３の撮影処理を示すフローチャート。 第１の実施形態における、背景画像の「最初に撮影」または「最後に撮影」が選択された場合の背景画像と軌跡画像の合成方法を説明するための図。 第１の実施形態における、背景画像の「最初と最後に撮影」が選択された場合の背景画像と軌跡画像の合成方法を説明するための図。 実施形態におけるオフセット補正領域を示す図。 変形例における背景画像と軌跡画像の合成方法を説明するための図。 変形例における露出差を設定するための画面を示す図。 第２の実施形態における背景画像と軌跡画像の合成方法を説明するための図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。本実施形態では、本発明をデジタルカメラに適用した例に用いて説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の実施形態における画像処理機能を有する撮像装置の一例として、デジタルカメラの構成を示すブロック図である。

図１において、１００は撮像装置、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８が撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用できる。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、焦点調節部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

画像表示部２８は、ＴＦＴ ＬＣＤ等から成り、メモリ３０に書き込まれた表示用の画像データが画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ファインダ（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０は、撮影した静止画像や動画像を格納するために用いられ、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

システム制御回路５０は、撮像装置１００全体を制御する。不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等で構成され、システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮伸長する。また、圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有する。焦点調節部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。

フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。露光制御部４０及び焦点調節部４２はＴＴＬ方式を用いて制御されている。上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及び焦点調節部４２を制御する。

操作手段６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するために用いられ、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

シャッタースイッチＳＷ１（６２）は、不図示のシャッターボタンの操作途中でONとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

シャッタースイッチＳＷ２（６４）は、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、読み出し処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。読み出し処理では、フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。そして、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。そして、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行う。更に、メモリ３０から画像データを読み出して、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理が行われる。

表示切替スイッチ６６は、画像表示部２８の表示切替をすることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等から成り、一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタンを含む。更に、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含む。

ズームスイッチ７２は、ユーザーが撮像画像の倍率変更指示を行うために用いられる。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

サーミスタ７４は、撮像装置１００内部の温度を測定する。撮像素子１４の欠陥画素は温度による影響を受けるため、撮影時の温度により傷補正処理を変える必要がある。サーミスタ７４は、撮像装置１００内の撮像素子１４の近くに配置し、撮像素子１４自体の温度を測定する。

電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池等の二次電池、ＡＣアダプター、または外部バッテリー等からなる。

インタフェース９０は、メモリカードやハードディスク等の記録媒体とのインタフェース、コネクタ９２は、メモリカードやハードディスク等の記録媒体と接続を行う。

光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

通信回路１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は、通信回路１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

記録媒体２００は、メモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

次に、上記構成を有する撮像装置１００における撮像処理および画像処理について説明する。図２（ａ）は、星空の撮影モードを選択する画面である。ユーザーは操作部７０を操作して、星空の撮影モードを選択することができる。撮影画像中の星を流れることなく星空を撮影したい場合は、星空夜景モードを選択し、星が移動する軌跡を撮影したい場合には、星空軌跡モードを選択することで、撮像装置１００は撮影の意図に適した処理を実行する。本実施形態では、星空軌跡モードを選択したときの処理について説明する。選択されたモードはシステム制御回路５０がメモリ３０にモード情報を書き込み、ユーザーが選択したモードを記憶させる。

図２（ｂ）は、星空軌跡モードでの撮影において、背景画像の撮影タイミングを選択する画面である。ユーザーは操作部７０を操作して、星空軌跡モードでの撮影において、背景画像を撮影するタイミングを選択することができる。

ユーザーがシャッタースイッチＳＷ２（６４）を押下することにより撮影指示がなされると、システム制御回路５０はメモリ３０に記憶されたモードを読み出し、指定された撮影モードの撮影処理を開始する。指定された撮影モードが星空軌跡モードの場合、図３に示す処理を開始し、Ｓ１１において、図２（ｂ）に示す選択肢のうち、いずれの選択肢が選択されたかを判定する。「最初に撮影」が選択された場合には、Ｓ１２に進み、撮影開始後、最初に背景画像を撮影し、続いて連続した軌跡画像を撮影する第１の撮影処理を行う。「最後に撮影」が選択された場合には、Ｓ１３に進み、撮影開始後、先に連続した軌跡画像を撮影し、最後に背景画像を撮影する第２の撮影処理を行う。「最初と最後に撮影」が選択された場合には、Ｓ１４に進み、撮影開始後、最初に背景画像を撮影し、続いて連続した軌跡画像を撮影し、最後にもう一度背景画像を撮影する第３の撮影処理を行う。

以下、Ｓ１２、Ｓ１３、Ｓ１４で行われる第１の撮影処理、第２の撮影処理、第３の撮影処理の詳細について、それぞれ、図４、図５、図６を参照して後述する。

図４は、図３のＳ１２で行われる第１の撮影処理を示すフローチャートである。まず、Ｓ１０１において、ユーザーに撮影時間を設定させる。星の軌跡を長く写したい場合は長い撮影時間を設定し、短い軌跡を撮影したい場合は短い撮影時間を設定する。通常１〜２時間の撮影時間が設定される場合が多い。なお、撮影時間として、予め決められたデフォルトの撮影時間や、前回の星空軌跡撮影モードにおける撮影で用いた撮影時間を保持しておき、その撮影時間をユーザーが適宜変更するようにしても良い。

次にＳ１０２において、測光結果に基づいて、背景画像に適した絞り、シャッター速度、ＩＳＯ感度を決定して、第２露光量に設定する。ここでは、後述するＳ１０４で設定する星空画像に適した第１露光量よりも、露出が低くなるように設定する。また、ＩＳＯ感度を優先して下げることで、露出を下げる。そして、Ｓ１０３において、設定された第２露光量で背景画像の撮影を行う。

次にＳ１０４において、測光結果に基づいて、星空画像に適した絞り、シャッター速度、ＩＳＯ感度を決定して、第１露光量に設定し、Ｓ１０５において、設定された第１露光量で星空画像の撮影を行う。Ｓ１０６では、２回目以降の星空画像の撮影であれば、比較明合成により星空画像を合成して、軌跡画像を生成する。なお、比較明合成による軌跡画像の生成方法については、公知の方法を用いることが可能であるため、ここでは詳細説明を省略する。

Ｓ１０７では、Ｓ１０５で撮影を開始してから、Ｓ１０１で設定した撮影時間が経過したかを判断する。撮影時間に達していなければ、Ｓ１０５に戻って星空画像の撮影を行い、Ｓ１０６において比較明合成により星空画像を合成して、軌跡画像を生成する処理を繰り返す。これにより、複数フレームの星空画像を合成して、軌跡画像を取得する。

撮影時間に達していれば、Ｓ１０８に進んで、軌跡画像と背景画像との合成を行い、Ｓ１０９において、合成した画像に対して画像処理回路２０を使用して、現像処理および後述するオフセット補正を含む画像処理を行う。そして、Ｓ１１０において、Ｓ１０９で処理した画像を記録媒体２００へ書き込んで処理を終了する。なお、Ｓ１０８で行われる軌跡画像と背景画像の合成方法については、図７を用いて詳細に後述する。

図５は、図３のＳ１３で行われる第２の撮影処理を示すフローチャートである。まず、Ｓ２０１において、Ｓ１０１と同様に、ユーザーに撮影時間を設定させる。次にＳ２０２において、測光結果に基づいて、星空画像に適した絞り、シャッター速度、ＩＳＯ感度を決定して、第１露光量に設定し、Ｓ２０３において、設定された第１露光量で星空画像の撮影を行う。Ｓ２０４では、２回目以降の星空画像の撮影であれば、Ｓ１０６と同様に比較明合成により星空画像を合成して、軌跡画像を生成する。これにより、複数フレームの星空画像を合成して、軌跡画像を取得する。

Ｓ２０５では、Ｓ２０３で撮影を開始してから、Ｓ２０１で設定した撮影時間が経過したかを判断する。撮影時間に達していなければ、Ｓ２０３に戻って星空画像の撮影を行い、Ｓ２０４において、比較明合成により星空画像を合成して、軌跡画像を生成する処理を繰り返す。

撮影時間に達していれば、Ｓ２０６に進んで、Ｓ１０２と同様に、測光結果に基づいて、背景画像に適した絞り、シャッター速度、ＩＳＯ感度を決定して、第２露光量に設定し、設定された第２露光量でＳ２０７で背景画像の撮影を行う。

Ｓ２０８では、軌跡画像と背景画像との合成を行い、Ｓ２０９において、合成した画像に対して画像処理回路２０を使用して、現像処理および後述するオフセット補正を含む画像処理を行う。そして、Ｓ２１０において、Ｓ２０９で処理した画像を記録媒体２００へ書き込んで処理を終了する。なお、Ｓ２０８で行われる軌跡画像と背景画像の合成方法については、図７を用いて詳細に後述する。

図６は、図３のＳ１４で行われる第３の撮影処理を示すフローチャートである。Ｓ３０１において、Ｓ１０１と同様に、ユーザーに撮影時間を設定させる。次にＳ３０２において、測光結果に基づいて、背景画像に適した絞り、シャッター速度、ＩＳＯ感度を決定して、第２露光量に設定し、Ｓ３０３において、設定された第２露光量で１枚目の背景画像の撮影を行う。

次にＳ３０４において、測光結果に基づいて、星空画像に適した絞り、シャッター速度、ＩＳＯ感度を決定して、第１露光量に設定し、Ｓ３０５において、設定された第１露光量で星空画像の撮影を行う。Ｓ３０６では、２回目以降の星空画像の撮影であれば、Ｓ１０６と同様に比較明合成により星空画像を合成して、軌跡画像を生成する。

Ｓ３０７では、Ｓ３０５で撮影を開始してから、Ｓ３０１で設定した撮影時間が経過したかを判断する。撮影時間に達していなければ、Ｓ３０５に戻って星空画像の撮影を行い、Ｓ３０６において比較明合成により星空画像を合成して、軌跡画像を生成する処理を繰り返す。これにより、複数フレームの星空画像を合成して、軌跡画像を取得する。

撮影時間に達していれば、Ｓ３０８に進んで、背景画像に適した絞り、シャッター速度、ＩＳＯ感度の第２露光量を設定し、Ｓ３０９において、設定された第２露光量で２枚目の背景画像の撮影を行う。

Ｓ３１０では、軌跡画像と２枚の背景画像との合成を行い、Ｓ３１１において、合成した画像に対して画像処理回路２０を使用して、現像処理および後述するオフセット補正を含む画像処理を行う。そして、Ｓ３１２において、Ｓ３１１で処理した画像を記録媒体２００へ書き込んで処理を終了する。なお、Ｓ３１０で行われる軌跡画像と背景画像の合成方法については、図８を用いて詳細に後述する。

なお、図６に示す本実施形態の処理では、最初と最後に撮影する背景画像を両方とも第２露光量で撮影しているが、それぞれ別の露出としてもよい。その場合、合成時に露出が異なることを加味して合成すればよい。

図７は、図４のＳ１０８または図５のＳ２０８で行われる、背景画像と軌跡画像の合成方法を説明するための図である。図７に示すように、軌跡画像７０１は、星に露出を合わせているため、背景の建物には白飛びが発生していおり、夜空も明るくなってしまっている。一方、背景画像７０２は建物や夜空に露出を合わせているため、星は暗く、目立たなくなってしまっている。

そこで、まず背景画像７０２を軌跡画像７０１と同じ露出レベルにするために、露出差段数分のゲイン処理を行う。例えば、星空の撮影時に用いた第１露光量と、背景の撮影時に用いた第２露光量による露出が２段差あるならば、ゲインを２段分かける。ここでゲイン処理によってノイズが増えてしまうが、背景画像７０２は軌跡画像７０１よりＩＳＯ感度を低く設定して撮影しているため、ノイズ量はほぼ変わらない状態となる。ゲイン処理後に軌跡画像７０１からゲイン処理した背景画像７０２を減算して、軌跡だけを抽出した軌跡抽出画像７０３（差分画像）を得る。なお、減算により信号レベルがマイナス値（０未満）となった画素は、０値でクリップする。

最後に、ゲイン処理していない背景画像７０２と軌跡抽出画像７０３を比較明合成することで、星空と背景ともに適正な露出を両立させた最終合成画像７０４を得る。

図８は、図６のＳ３１０で行われる、２枚の背景画像と軌跡画像の合成方法を説明するための図である。まず、最初と最後に撮影された２枚の背景画像８０２，８０３を加算平均により合成して、背景合成画像８０４を得る。そして、背景合成画像８０４を軌跡画像８０１と同じ露出レベルにするために、露出差段数分ゲイン処理を行う。例えば、星空の撮影時に用いた第１露光量と、背景の撮影時に用いた第２露光量による露出が２段差あるならば、ゲインを２段分かける。ゲイン処理後に軌跡画像８０１からゲイン処理した背景合成画像８０４を減算し、軌跡だけを抽出した軌跡抽出画像８０５（差分画像）を得る。なお、減算後に信号レベルがマイナス値（０未満）となった画素は、０でクリップする。

最後に、ゲイン処理していない背景合成画像８０４と軌跡抽出画像８０５を比較明合成することで、星空と背景ともに適正な露出を両立させた最終合成画像８０６を得る。

なお、本実施形態では２枚の背景画像を加算平均で合成する説明にしたが、合成方法は比較明合成、比較暗合成、ＨＤＲ合成やノイズ低減合成等、他の合成方法を使用してもよい。

図９は、オフセット補正領域を示した図である。比較明合成して得た軌跡画像と、背景画像とを加算することで、信号のオフセット成分がずれることがある。これを回避するために、合成後にオフセット補正処理を行う。前述の合成処理は遮光画素領域も含めて合成を行い、合成後画像の遮光画素の状態を検出して、オフセット補正を行う。

図９の検出領域の画素を積分し、１画素当たりのレベルに正規化を行う。正規化を行った後に、合成画像から検出したオフセット量を減算し、所定オフセット量を加算する。

上記の通り本第１の実施形態によれば、星空の軌跡と背景の建物や夜空のそれぞれが適切な明るさになる画像を、合成して得ることができる。また、合成方法も加減算や比較明合成を用いることで、簡素な制御で、また処理速度も長くなることなく、実現することができる。

なお、本実施形態では星空を例にして説明を行ったが、星空以外の撮影に適用することも可能である。例えば、夜景撮影で車のライトの軌跡を撮影する場合や、動きのある被写体を撮影する場合等にも有効に適用することができる。

また、オフセット補正はカラーフィルタを問わずに行ってもよいが、カラーフィルタごとに補正したり、撮像素子の内部構造に応じて画素分離をして補正してもよい。

なお、静止画撮影はシャッター１２を使用して撮影する説明としたが、シャッター１２を使用せずに、電子シャッターのみを使用して撮影してもよい。

＜変形例＞
背景画像の「最初と最後に撮影」が選択された場合、上述した第１の実施形態では、図８を参照して説明したように、複数枚（２枚）の背景画像を加算平均する場合について説明した。これに対し、複数枚（２枚）の背景画像のうちの１枚を選択して、軌跡画像との合成に用いてもよい。以下、本変形例における処理について説明する。

図１０（ｂ）は、合成する画像を選択する手順を示すフローチャートであり、軌跡画像と複数枚の背景画像が得られた後、図７のＳ３１０に変えて実行される。まず、Ｓ４１で、図１０（ａ）に示す背景画像選択画面を表示し、ユーザーに選択させる。そして、Ｓ４１２において、「最初の画像」または「最後の画像」が選択されたと判断すると（Ｓ４１２でＮＯ）、Ｓ４１４において、図７を参照して説明した手順で、選択された背景画像と、軌跡画像との合成を行う。図１０（ｃ）は、「最初の画像」が選択された場合の表示の一例を示す図である。このように、選択した背景画像を、最終合成画像に表示するようにしても良い。

また、Ｓ４１２において「最初と最後に撮影」が選択された場合には（Ｓ４１２でＹＥＳ）、図８を参照して説明した手順で、複数枚の背景画像と、軌跡画像との合成を行う。

なお、合成する前に背景画像を選択するのではなく、図７および図８に示す手順で複数種類の最終合成画像を生成し、得られた複数の最終合成画像をプレビュー表示して、選択画面によりユーザーが気に入った画像を選択して保存できるようにしてもよい。また、生成した複数種類の画像をすべて保存するようにしてもよい。

また、背景画像を撮影する時の第２の露出量と、星空画像の撮影に適した第１露出量との差を、ユーザーが設定するようにしてもよい。図１１は、露出差をユーザーが設定するための画面の一例を示す。例えば、−２を設定すると、背景画像は、第１露光量より２段アンダーの第２露光量で撮影される。また、測光時に星空と背景の露出差を自動的に計算してもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、軌跡画像と背景画像の合成を比較明合成するものとして説明したが、第２の実施形態では、マスク画像を用いて合成を行う方法について説明する。

図１２は、背景画像と軌跡画像の合成方法を示した図である。ここでは、１枚の背景画像と、軌跡画像とを合成する場合について説明する。まず背景画像１２０２を軌跡画像１２０１と同じ露出レベルにするために、図７を参照して説明したようにして、露出段数分のゲイン処理を行う。

ゲイン処理後、軌跡画像１２０１から、ゲイン処理した背景画像１２０２を減算し、軌跡だけを抽出した軌跡抽出画像（差分画像）を得る。そして、この軌跡抽出画像を合成するためのマスク画像を生成する。本第２の実施形態では、軌跡抽出画像で輝度が所定レベルを超える画素のみ抽出し、フィルター処理をかけることで、合成用のマスク画像を生成する。

そして、ゲイン処理していない背景画像１２０２と軌跡抽出画像を合成する際に、マスク画像でマスクされた領域は、軌跡抽出画像を採用し、マスクされていない領域は背景画像１２０２を採用する。なお、境界部で差が目立たない様に、合成比率をなだらかに変化させる。これにより、星空と背景ともに適正な露出を両立させた最終合成画像１２０３を得る。

本第２の実施形態の方法で合成を行うことで、第１の実施形態で比較明合成を行う場合と同じように、星空の軌跡と背景の建物や夜空のそれぞれを適切な明るさになる画像を合成することができる。また合成にマスク画像を用いていることで、星空の軌跡だけを抽出した必要な部分だけを合成することができるので、背景画像のノイズを悪化させずに合成画像を得ることができる。

なお、図１２に示す例では、背景画像が１枚である場合について説明したが、複数枚ある場合には、図８を参照して説明したように加算平均した背景画像を用いたり、変形例で説明したように、使用する背景画像を選択して用いることが可能である。いずれの場合にも、背景画像と軌跡抽出画像を合成する際にマスク処理による合成を行う。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、３０：メモリ、４０：露光制御部、５０：システム制御回路、６０：モードダイアルスイッチ、９０：インタフェース、９２：コネクタ、１００：撮像装置、１１０：通信回路、１１２：コネクタ（またはアンテナ）、２００：記録媒体、２０２：記録部、２０４：インタフェース、２０６：コネクタ

Claims (21)

1. 被写体を撮影して得られた連続する複数フレームの画像を取得する取得手段と、
   前記取得手段により取得した前記複数フレームの画像を合成して、前記被写体の軌跡を示す合成画像を生成する合成手段と、を有し、
   前記合成手段は、
   前記複数フレームの画像のうち、第１の露光量で取得した連続する複数フレームの第１の画像を比較明合成して第２の画像を生成し、
   前記第１の露光量よりも低い第２の露光量で取得した第３の画像を、前記第１の画像と同じ露出レベルとなるようにゲイン処理を行って第４の画像を取得し、前記第２の画像から前記第４の画像を差分した差分画像と、前記第３の画像を比較明合成することで前記合成画像を生成する
   ことを特徴とする画像処理装置。
2. 被写体を撮影して得られた連続する複数フレームの画像を取得する取得手段と、
   前記取得手段により取得した前記複数フレームの画像を合成して、前記被写体の軌跡を示す合成画像を生成する合成手段と、を有し、
   前記合成手段は、
   前記複数フレームの画像のうち、第１の露光量で取得した連続する複数フレームの第１の画像を比較明合成して第２の画像を生成し、
   前記第１の露光量よりも低い第２の露光量で取得した第３の画像を、前記第１の画像と同じ露出レベルとなるようにゲイン処理を行って得た第４の画像を取得し、前記第２の画像から前記第４の画像を差分した差分画像から、輝度が所定レベルを超える画素を抽出したマスク画像を取得し、前記第３の画像において、前記マスク画像によりマスクされた領域を、前記第４の画像で置き換えることで前記合成画像を生成する
   ことを特徴とする画像処理装置。
3. 前記合成手段は、前記第２の露光量で複数フレームの画像を取得した場合に、該複数フレームの画像を加算平均した画像を前記第３の画像とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成手段は、前記第２の露光量で複数フレームの画像を取得した場合に、該複数フレームの画像のいずれかを選択して前記第３の画像とすることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記第２の露光量で複数フレームの画像を取得した場合に、該複数フレームの画像を加算平均した画像を前記第３の画像とするか、該複数フレームの画像のいずれかを選択して前記第３の画像とするか、を選択する選択手段をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記合成手段は、前記第２の露光量で複数フレームの画像を取得した場合に、該複数フレームの画像をそれぞれ前記第３の画像として処理を行い、複数の前記合成画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記合成手段は、前記第２の露光量で複数フレームの画像を取得した場合に、さらに、該複数フレームの画像を加算平均した画像を前記第３の画像として処理を行い、前記合成画像を生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記合成手段により生成された前記複数の合成画像のいずれかを選択して記憶することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記合成手段により生成された前記複数の合成画像を全て記憶することを特徴とする請求項６または７に記載の画像処理装置。
10. 前記合成手段は、前記第１の画像から前記第４の画像の差分により信号レベルが０未満になる画素の信号レベルを０で置き換えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記合成画像にオフセット補正を行う補正手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 光学像を電気信号に変換して、画像を出力する撮像手段と、
    露光量を設定する設定手段と、
    請求項１乃至１１のいずれか１項に記載の画像処理装置と、を有し、
    前記取得手段は、前記撮像手段から前記連続する複数フレームの画像を取得することを特徴とする撮像装置。
13. 撮影モードを選択する選択手段を更に有し、
    前記選択手段により光の軌跡を撮影するモードが選択された場合に、前記画像処理装置による処理を行うことを特徴とする請求項１２に記載の撮像装置。
14. 前記取得手段により前記第２の露光量で画像を取得するタイミングを指定する指定手段と、
    前記指定手段により指定されたタイミングで、前記第２の露光量で画像を得るように前記撮像手段を制御する制御手段と、
    をさらに有することを特徴とする請求項１２または１３に記載の撮像装置。
15. 前記指定手段は、前記第１の画像を撮影する前に、前記第２の露光量で画像を取得するタイミングと、前記第１の画像を撮影した後に、前記第２の露光量で画像を取得するタイミングと、前記第１の画像を撮影する前と撮影した後に、前記第２の露光量で画像を取得するタイミングとのいずれかを指定することを特徴とする請求項１４に記載の撮像装置。
16. 測光手段をさらに有し、
    前記設定手段は、前記第３の画像を撮影する度に、測光結果に基づいて前記第２の露光量を決定することを特徴とする請求項１２乃至１５のいずれか１項に記載の撮像装置。
17. 取得手段が、被写体を撮影して得られた連続する複数フレームの画像を取得する取得工程と、
    合成手段が、前記複数フレームの画像のうち、第１の露光量で撮影して得られた取得した連続する複数フレームの第１の画像を比較明合成して第２の画像を生成する第１の合成工程と、
    前記合成手段が、前記複数のフレームの画像のうち、前記第１の露光量よりも低い第２の露光量で撮影して得られた取得した第３の画像を、前記第１の画像と同じ露出レベルとなるようにゲイン処理を行って第４の画像を取得し、前記第２の画像から前記第４の画像を差分した差分画像と、前記第３の画像を比較明合成して、前記被写体の軌跡を示す合成画像を生成する第２の合成工程と
    を有することを特徴とする画像処理方法。
18. 取得手段が、被写体を撮影して得られた連続する複数フレームの画像を取得する取得工程と、
    合成手段が、前記複数フレームの画像のうち、第１の露光量で撮影して得られた連続する複数フレームの第１の画像を比較明合成して第２の画像を生成する第１の合成工程と、
    前記合成手段が、前記複数のフレームの画像のうち、前記第１の露光量よりも低い第２の露光量で撮影して得られた第３の画像を、前記第１の画像と同じ露出レベルとなるようにゲイン処理を行って得た第４の画像を取得し、前記第２の画像から前記第４の画像を差分した差分画像から、輝度が所定レベルを超える画素を抽出したマスク画像を取得し、前記第３の画像において、前記マスク画像によりマスクされた領域を、前記第４の画像で置き換えて、前記被写体の軌跡を示す合成画像を生成する第２の合成工程と
    を有することを特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
20. コンピュータを、請求項１３乃至１６のいずれか１項に記載の撮像素子を除く撮像装置の各手段として機能させるためのプログラム。
21. 請求項１９または２０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。