JP2016167767A - 撮像装置、合成撮影方法及び合成撮影プログラム - Google Patents

Abstract

【課題】 適正露出が得られないシーンにおいても、色についての再現性を向上させることができるという効果を有する。【解決手段】 画像処理装置は、同一被写体について明るさが異なる複数の画像を取得する画像取得部と、上記複数の画像を蓄積する画像蓄積部と、上記画像蓄積部に蓄積された複数の画像のうち第１の明るさの画像を用いて、画像中の所定の対象領域の色成分判定を行う第１判定部と、上記画像蓄積部に蓄積された複数の画像のうち第２の明るさの画像を用いて、上記対象領域の領域判定を行う第２判定部と、上記第１及び第２判定部の判定結果に基づいて、上記複数の画像のうちの１つの画像中の上記対象領域に上記色成分判定の結果の色を適用した補正画像を生成する画像補正部とを具備する。【選択図】図１

Description

本発明は、バルブ撮影やコンポジット撮影等に好適な撮像装置、合成撮影方法及び合成撮影プログラムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置においては表示部を備えて、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮像装置の操作を容易にしたものもある。

撮像装置においては、シャッタボタンが押されている間とか、操作と操作の間に露光が行われるバルブ撮影機能を有するものがある。バルブ撮影機能を利用することで、星空や夜景撮影等において効果的な写真を得ることができる。更に、バルブ撮影時において、最終的に得られる画像だけでなく露光途中の時々刻々変化する画像を表示可能にしたライブバルブ機能を有する撮像装置も商品化されている。

例えば、破壊読み出しを行う撮像素子を用いてライブバルブ機能を達成する装置としては、例えば特許文献１の装置が開示されている。特許文献１の装置では、露光及び読み出しを複数回繰り返し、各読み出し毎の像信号を積分することで、バルブ撮影において所定の露光時間毎の画像を得るようになっている。このようなライブバルブ機能では、ユーザは、表示された画像を見ながらバルブ撮影を停止させるタイミングを知ることができる。

また、被写体を繰り返し撮影して一連の画像を取得し、取得した一連の画像の特徴に応じて、合成する部分を決定する比較明合成することによって、バルブ撮影と同様の効果を得るコンポジット撮影機能を有する撮像装置も開発されている。

特開２０１４−２３９２９９号公報

しかしながら、バルブ撮影やコンポジット撮影の対象となるシーンは暗いシーンが多く、十分な露光量を得るために、撮影時間は比較的長い。このため、バルブ撮影やコンポジット撮影の撮影期間中において撮影対象以外の光が撮影されてしまうことがある。例えば、星空の撮影時に、飛行機の移動による光の線が撮影されてしまうことがある。また、例えば、ペンライトによって空間に書かれる文字をバルブ機能等を利用して撮影することがある。この場合にも、一筆書きによって文字を書くことができないときには、文字と文字との間や、1文字中の一画と一画との間に、不要な光の線が撮影されてしまう。

なお、コンポジット撮影によって取得した一連の画像をパーソナルコンピュータ等によって読み込み、パーソナルコンピュータによって比較明合成することが考えられる。この場合には、取得した一連の画像をパーソナルコンピュータによってディスプレイ上に表示させ、比較明合成に際して、合成に用いない画像を選択することで、不要な光の線が含まれない合成画像を得ることができる。

しかしながら、コンポジット撮影期間に繰り返し撮影される各タイミングの比較的短い露光時間の各画像から、不要な光が含まれる画像を見つけ出すことは比較的困難である。また、不要な画像の選択のために、カメラから読み出した多数の画像を表示させる必要があり、不要な画像を選択しながら比較明合成を行う作業は煩雑で且つ長時間を要する。また、コンポジット撮影の撮影期間は比較的長く且つカメラの設置等の準備にも比較的長時間を要することから、撮り直しの必要性等を考慮すると、パーソナルコンピュータを用いた比較明合成では全体の作業時間が膨大となってしまう。

本発明は、撮影時に、連続的に取得する複数の画像から補正する画像を指定することを可能にすることにより、不要な光の影響を低減した合成画像を簡単に取得することができる撮像装置、合成撮影方法及び合成撮影プログラムを提供することを目的とする。

本発明に係る撮像装置は、被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部と、上記複数の撮像画像を蓄積するための蓄積制御部と、上記複数の撮像画像のうちの所定の画像を選択する操作を受け付ける操作判定部と、上記選択された画像の明るさを補正する補正部と、上記補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を出力する合成部とを具備する。

また、本発明に係る合成撮影方法は、被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、上記複数の撮像画像を蓄積するための蓄積制御ステップと、上記複数の撮像画像のうちの所定の画像を選択する操作を受け付ける操作判定ステップと、上記選択された画像の明るさを補正する補正ステップと、上記補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を出力する合成ステップとを具備する。

また、本発明に係る合成撮影プログラムは、コンピュータに、被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、上記複数の撮像画像を蓄積するための蓄積制御ステップと、上記複数の撮像画像のうちの所定の画像を選択する操作を受け付ける操作判定ステップと、上記選択された画像の明るさを補正する補正ステップと、上記補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を出力する合成ステップとを実行させる。

本発明によれば、撮影時に、連続的に取得する複数の画像から補正する画像を指定することを可能にすることにより、不要な光の影響を低減した合成画像を簡単に取得することができるという効果を有する。

本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図。 カメラ制御を説明するためのフローチャート。 第１の実施の形態を説明するための説明図。 第１の実施の形態を説明するための説明図。 メニュー表示の一例を示す説明図。 メニュー表示の一例を示す説明図。 本発明の第２の実施の形態において採用される動作フローを示すフローチャート。 本発明の第３の実施の形態において採用される動作フローを示すフローチャート。 第３の実施の形態を説明するための説明図。 第３の実施の形態を説明するための説明図。 第３の実施の形態を説明するための説明図。 第３の実施の形態を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図である。本実施の形態における撮像装置１は、同一被写体を繰り返し撮像して一連の複数の画像を得るバルブ撮影やコンポジット撮影等の合成撮影時において、不要な光の画像部分の影響を低減した合成画像を得ることを可能にしたものである。

図１において、撮像装置１は撮像部１０及び制御部２０を含む。撮像部１０は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない光学系とを備える。光学系は、ズームやフォーカシングのためのレンズ及び絞り等を備えている。

制御部２０は、図示しないＣＰＵ等のプロセッサによって構成することができ、図示しないメモリに記憶されたプログラムに従って各部を制御することができるようになっている。制御部２０には撮像部１０からの撮像画像が与えられる。画像取得部２１は撮像部１０からの画像を取り込むようになっている。画像取得部２１には撮像制御部２２が設けられており、撮像制御部２２は撮像部１０を制御する。撮像制御部２２は、撮像部１０の撮像素子及び光学系を駆動制御する。例えば、撮像制御部２２は、ズームやフォーカシングのためのレンズ及び絞りを駆動して、ズーム及びピント位置や絞りを変更することができる。また、撮像制御部２２は、撮像部１０の撮像素子を駆動制御して、撮像素子からの撮像画像を取得することができるようになっている。また、撮像制御部２２は、撮像素子からの画素信号の読み出しに際して、画素信号を必要に応じて加算したり間引いたりして出力することもできる。

更に、本実施の形態においては、撮像制御部２２は、撮像部１０を制御して、同一被写体について繰り返し撮像を行って一連の複数の撮像画像を得るバルブ撮影やコンポジット撮影のための撮影制御が可能である。こうして、画像取得部２１は、一連の複数の撮像画像を取得する。

画像取得部２１が取得した複数の画像は蓄積合成制御部２３に与えられる。蓄積合成制御部２３は、入力された画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行うこともできる。蓄積合成制御部２３は、信号処理後の画像を記録制御部２７及び表示制御部２９に出力することができる。

蓄積合成制御部２３は、バルブ撮影やコンポジット撮影等の合成撮影モード時には、合成撮影制御部２６によって制御されて、入力される複数の画像を順次蓄積部２５に与えると共に、順次入力される撮像画像を合成して蓄積部２５に与える。蓄積部２５は、蓄積合成制御部２３に制御されて、蓄積合成制御部２３から与えられる画像を記憶すると共に、記憶した画像を蓄積合成制御部２３及び補正部２４に出力することができるようになっている。

蓄積合成制御部２３は、画像取得部２１からの撮像画像を蓄積部２５に与えて記憶させると共に、蓄積部２５に蓄積された画像と画像取得部２１からの撮像画像とを合成した合成画像を生成することができる。更に、蓄積部２５は、蓄積部２５に記憶されている複数の画像を合成した合成画像を生成することもできる。これにより、蓄積合成制御部２３は、撮像部１０による合成撮影によって得られた一連の撮像画像のうちの所定の画像のみを合成することも可能である。

本実施の形態においては、合成撮影において不要と判断される画像の影響を低減するための補正部２４が設けられている。補正部２４は、蓄積合成制御部２３に制御されて、蓄積部２５に記憶されている画像を補正した後蓄積合成制御部２３に与えることができるようになっている。例えば、補正部２４は、蓄積部２５に蓄積された画像のうち不要とされた画像に対して、像信号のレベルを低下させる処理を行うことができる。これにより、補正部２４は、蓄積部２５に蓄積された画像の明るさを低減させて蓄積合成制御部２３に与えることができるようになっている。

なお、補正部２４による明るさの低減方法としては種々の方法が考えられる。例えば、補正部２４は、画像の明るさを所定の比率で低下させるようにしてもよい。また、補正部２４は、各画像全体の明るさを一様に低下させてもよく、画像各部の明るさに応じた比率で低下させてもよい。また、補正部２４は、蓄積部２５に蓄積された画像のうち不要とされていない画像の明るさを明るくする補正を行うようにしてもよい。

ユーザは、操作部３２又はタッチパネル３１ａによって、不要な画像を選択することができるようになっており、操作判定部２８はユーザの選択操作に基づく信号を合成撮影制御部２６に与える。合成撮影制御部２６は、ユーザの選択操作に基づく画像を不要な画像として蓄積合成制御部２３に指示する。蓄積合成制御部２３は、不要な画像として指定された画像を補正するように補正部２４に指示を与える。

蓄積合成制御部２３は、蓄積部２５に蓄積された画像及び補正部２４によって補正された画像を用いて合成画像を生成することができる。これにより、蓄積合成制御部２３は、不要な光の画像部分の影響を低減した合成画像を生成することができるようになっている。蓄積合成制御部２３は生成した合成画像等を記録制御部２７及び表示制御部２９に出力することができる。記録部３３としては、種々の記録媒体を採用することができる。例えば、記録部３３として、カードインターフェースを採用した場合には、記録制御部２７は、メモリカード等の記録媒体に画像を記録可能である。

表示制御部２９は、表示に関する各種処理を実行する。表示制御部２９は、与えられた画像を表示部３１に与えて表示させることができる。表示部３１は、ＬＣＤ等の表示画面３１ｂ（図５参照）を有しており、表示制御部２９から与えられた画像を表示する。また、表示制御部２９は、各種メニュー表示等を表示部３１の表示画面３１ｂに表示させることもできるようになっている。

本実施の形態においては、合成撮影モード時には、表示制御部２９は、合成制御部２６によって制御されて、蓄積合成制御部２３から与えられた画像をサムネイル表示することもできるようになっている。なお、表示部３１の表示画面３１ｂは撮像装置１の筐体１ａ（図５参照）の背面に沿って設けられており、撮影者は、撮影時に表示部３１の表示画面３１ｂ上に表示されたスルー画やサムネイル表示等を確認することができ、スルー画等を確認しながら撮影操作を行うこともできる。

操作判定部２８は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部３２に対するユーザ操作を受け付けるようになっている。また、表示部３１の表示画面３１ｂ上には、タッチパネル３１ａが設けられている。タッチパネル３１ａは、ユーザが指で指し示した表示画面３１ｂ上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号も操作判定部２８に供給される。操作判定部２８は操作部３２及びタッチパネル３１ａに対する操作を判定して、判定結果を合成制御部２６に与える。こうして、合成制御部２６はユーザの指示に従って合成撮影における各部の制御を行う。

次に、このように構成された実施の形態の動作について図２乃至図６を参照して説明する。図２はカメラ制御を説明するためのフローチャートである。また、図３及び図４は第１の実施の形態を説明するための説明図であり、合成画像の作成方法の概要を示している。また、図５及び図６はメニュー表示の一例を示す説明図である。

図２のステップＳ１において、制御部２０は、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、制御部２０は、再生モードが指定されているか否かを判定する（ステップＳ３１）。再生モードが指示されると、制御部２０は、ステップＳ３２において、指定された画像を再生する。制御部２０は、ステップＳ３３において再生画像の変更が指示されたか否かを判定しており、変更が指示された場合には指定された画像に変更して再生を行う（ステップＳ３４）。また、制御部２０は、再生モードが指示されていない場合には、ステップＳ３５において、画像通信モードに移行する。

一方、撮影モードが指示されると、制御部２０は、ステップＳ２においてレンズ交換が行われたか否かを判定する。レンズ交換が行われている場合には、制御部２０は、撮像部１０との間でレンズ通信を行って、撮像部１０の光学系及び撮像素子に関する情報を取得すると共に、ユーザ操作に応じて、光学系及び撮像素子の設定を行う（ステップＳ３）。

撮影モードにおいては、制御部２０の表示制御部２９は、例えば、図５に示すメニュー表示を表示するようにしてもよい。図５に示すように、撮像装置１の筐体１ａの背面に設けられた表示画面３１ｂ上には、撮影モードを選択するための選択表示５１が表示されている。選択表示５１上をタッチ操作すると、例えば、表示制御部２９は、図６に示すメニュー表示を表示させる。図６においては、表示画面３１ｂ上に、合成撮影モードを選択するための選択表示５２，５３が表示されている。なお、通常撮影モード等の他の撮影モードを選択するための選択表示については画面をスクロールすることによって表示可能であるが、図示を省略する。選択表示５２は、サムネイル確認バルブ撮影モードを指定するためのものであり、選択表示５３は、タッチ選択確認バルブ撮影モードを選択するためのものである。なお、本実施の形態はサムネイル確認バルブ撮影モードの例を示すものであり、後述する第３の実施の形態においてタッチ選択確認バルブ撮影モードを説明する。

いま、撮影モードとして合成撮影モードのサムネイル確認バルブ撮影モードが指定されているものとする。合成撮影制御部２６は、ステップＳ４において、撮像制御部２２を制御して撮像部１０の撮像を開始させる。合成撮影制御部２６は、画像取得部２１を制御して撮像部１０から撮像画像を取得し、取得した画像を蓄積合成制御部２３に与える。蓄積合成制御部２３は、取得した画像に所定の信号処理を施した後、表示制御部２９に与える。表示制御部２９は表示部３１の表示画面３１ｂ上にスルー画を表示させる。

次に、制御部２０は、ステップＳ５においてレンズ操作があったか否かを判定する。レンズ操作が行われた場合には、制御部２０はレンズ操作に応じた制御を行って、操作結果を反映させる（ステップＳ６）。次に、制御部２０は、ステップＳ７においてボディ操作があったか否かを判定する。ボディ操作が行われた場合には、制御部２０はボディ操作に応じた制御を行って、操作結果を反映させる（ステップＳ８）。

次に、制御部２０は、ステップＳ９において、合成撮影が開始されたか否かを判定する。例えば、ユーザがシャッタボタン３２ａを押下操作することによって、合成撮影が開始される。合成撮影モード時には、合成撮影制御部２０によって各部が制御されて、合成撮影が行われる。撮像部１０の撮像によって得られた画像の蓄積が開始される（ステップＳ１０）。

即ち、撮像部１０は、撮像制御部２２に制御されて、同一被写体を繰り返し撮像し、一連の複数の撮像画像を出力する。画像取得部２１は、同一被写体について撮影された複数の画像を順次取得して蓄積合成制御部２３に出力し、蓄積合成制御部２３は、入力された画像を順次蓄積部２５に与えて記憶させる。

蓄積合成制御部２３は、合成撮影における１回の撮影に要する露光時間が経過したか否かをステップＳ１１において判定し、１回の撮影に要する露光時間が経過する毎に、ステップＳ１２において合成撮影枚数ｎをカウントし、ステップＳ１３において蓄積結果を順次サムネイル表示する。即ち、蓄積合成制御部２３は、蓄積部２５に画像を蓄積しながら像信号を積算することで、合成画像を順次生成する。蓄積合成制御部２３は、蓄積結果の合成画像を表示制御部２９に与える。表示制御部２９は、ステップＳ１３において、入力された合成画像のサムネイル画像を順次生成して表示部３１に与えて表示させる。もちろん、ここで作成するサムネイル画像は、合成前の画像でも良いが、ペンライトの文字などの場合、文字の各部の部品だけが並ぶと、どれが無駄で、どれが無駄でないかが分かり難くなる。ただし、合成前の素材画像を出す方が、処理的な負荷は軽くなる。システムを単純化したり省エネ効果はある。また、ステップＳ１６をＮｏで分岐した場合は、合成のやり直しをしないような仕様としても良い。

図３はこのようなサムネイル表示の一例を示すものであり、ペンライトによって空間に文字を書く様子を合成撮影によって撮影した場合における表示画面３１ｂ上の表示例を示している。図３は合成撮影枚数ｎが８で、ペンライトによって空間に「ＡＢＣ」という文字を書いた場合の例である。図３（ａ）に示すように、合成撮影の１枚（コマ）目の撮影が終了すると、表示画面３１ｂにはサムネイル表示４１−１が表示される。次に、合成撮影の２枚（コマ）目の撮影が終了すると、１コマ目の撮像画像と２コマ目の撮像画像とが積算されて、表示画面３１ｂにはこの積算画像に基づくサムネイル表示４１−２が表示される。なお、図３（ａ）において、サムネイル表示４１−１の画像部分４３は１コマ目の撮影によって得られたものであり、サムネイル表示４１−２の画像部分４４は２コマ目の撮影によって得られたものである。

次に、合成撮影の３枚（コマ）目の撮影が終了すると、１，２コマの積算画像と３コマ目の撮像画像とが積算されて、表示画面３１ｂにはこの積算画像に基づくサムネイル表示４１−３が表示される。以後同様にして、各コマの撮影が終了する毎に、サムネイル表示４１−４〜４１−８（以下、各サムネイル表示を区別する必要がない場合には、サムネイル表示４１という）が順次追加表示される。このように、合成完了前の合成途中画像をサムネイルで表示することで、途中結果を一覧表示して、時系列で把握でき、対象画像をすぐに検索したり見つけたりすることが可能となる。また、合成前結果表示にしても良いが、暗い場合などには、背景が十分合成されておらず、確認しにくくなる。また、ペンライトの文字などの場合、文字の各部の部品（断片）だけが並ぶと、どれが無駄で、どれが無駄でないかが分かり難くなる。ここでは、合成した途中結果を見せるようにしたので、背景がだんだん明るくなっている様子も確認でき、文字の成立過程から、どの部分が必要か無駄かが把握しやすく、誤操作を防止している。

合成撮影制御部２６は、ステップＳ１４において、ユーザによるタッチ操作を判定する。ユーザによるタッチ操作がなければ、処理をステップＳ１１に戻して、合成撮影における各コマの撮影及びサムネイル表示を繰り返す。ユーザは合成撮影の画像合成（積算）に不要な画像がない場合又は不要な画像を指定する場合には、例えばタッチパネル３１ａを利用してタッチ操作を行う。例えば、ユーザがサムネイル表示４１上をタッチすることで、タッチした位置のサムネイル表示４１に対応するコマの画像を画像合成に不要な画像として指定することができる。また、画像合成に不要な画像が存在しない場合には、ユーザはサムネイル表示４１の表示領域以外の部分をタッチすればよい。

図３（ｂ）はユーザが画像合成に不要な画像を指定したことを示している。表示制御部２９は、ユーザが指定した画像に対応したサムネイル表示４１に×印の表示を施す。即ち、図３（ｂ）の×印の表示が施されたサムネイル表示４５ｂは、ユーザが画像合成に不要なコマを指定する操作を行ったことを示しており、図３（ｂ）の×印の表示が施されていないサムネイル表示４５ａは、画像合成に用いられるコマに対応したサムネイル表示を示している。図３（ｂ）の例では、２コマ目、４コマ目及び７コマ目の撮影によって得られた画像が補正の対象となる。

合成撮影制御部２６は、ユーザが画像合成に不要な画像を指定すると、指定された画像を補正して画像合成するように、蓄積合成制御部２３に指示する。蓄積合成制御部２３は、ステップＳ１５において、補正部２４を制御して、ユーザが選択した画像の補正画像を取得し、この補正画像及び補正していない画像を用いて、合成画像を生成する。

図４は被写体からの光を光電変換によって電気信号に変えて、蓄積や積分を行っている例を示した模式的な図である。画面内の特定の画素などから出る結果を想定している。図４は横軸に所定時間（１回の撮影）間隔毎の時間をとり縦軸に積算結果をとって、補正部２４による補正の一例を示している。図４（ａ）は補正を行わない場合の例を示し、図４（ｂ）は積算する像信号のレベルを低下させる補正を行った例を示している。図４のコマＡ〜コマＤは、図３の１コマ目〜４コマ目の撮像によって得られる像信号（Ｒ，Ｇ，Ｂ信号）を示している。図４（ａ）に示す補正を行わない例に比べて、図４（ｂ）ではハッチングで示すように、コマＢ及びコマＤの像信号のレベルを低下させる補正が行われた後積算されている。

図４（ｃ）は補正部２４がユーザによって不要と指定された画像の像信号のレベルを０にした例を示している。即ち、この場合には、ユーザが不要と指定した画像を削除して画像合成が行われたことと等価である。図４（ｃ）に示すように、不要と指定された画像（コマ）を除く画像に基づく各サムネイル表示４６は、２，４，７コマ目の撮像画像を除く各画像によって得られる積算画像である。ここでは、不要指定画像を削除した結果、再度、合成のやり直しをした結果を表示しているが、最終的に欲しい最後の画像だけを表示するようにしてもよい。当然、途中画像の合成やり直しは処理の負荷がかかるので、必ずしも正確な画像である必要はない。システムが大型化したり、省エネ問題や、処理時間のバランスで仕様を修正してもよい。ただし、図２のステップＳ１５の操作によって、ステップＳ１３が更新される例では、リアルタイムに途中画像の変化まで把握できるので、操作の間違いを把握しやすいということは間違いない。

図４の例では、ユーザはサムネイル表示４１を参照することで、例えば、画と画との間の画像部分が２コマ目の撮像によって得られ、文字と文字との間の画像部分が４コマ目の撮像によって得られることを、容易に判断することができる。ユーザは、簡単な操作で、不要な画像を指定することができる。合成撮影制御部２６は、ユーザが不要な画像を指定する毎に、指定したコマを補正した画像を用いた合成画像を得て、この合成画像に基づくサムネイル表示４１を表示させるようにしてもよい。

本実施の形態においては、図３のように、サムネイル表示として合成画像を表示することで、不要な画像を認識しやすいという利点がある。

なお、図３の例では、合成後の画像をサムネイル表示する例を示したが、蓄積合成制御部２３は、各コマの画像を合成することなくサムネイル表示するようにしてもよい。一般的には合成画像をサムネイル表示した方が不要な画像を判断しやすいと考えられるが、シーンによっては各コマの画像をサムネイル表示した方が不要な画像を判断しやすい場合があり、合成撮影制御部２６は、いずれかの表示形態で表示するかを例えばユーザ操作に基づいて制御するようにしてもよい。

また、図３の例は、不要と判定される画像とそうでない画像とは別のコマの撮像によって得られている例を示した。この場合には、図３（ｃ）のように不要な画像を削除する補正を行った方がよいが、１コマの撮影で不要と判定される画像とそうでない画像とが混在する場合には、レベルを低下させる等の補正処理を行った方が自然に感じられる合成画像が得られることが考えられる。

合成撮影制御部２６は、ステップＳ１６において合成撮影の終了を判定する。合成撮影制御部２６は、合成撮影が終了していない場合には、処理をステップＳ１１に戻して、ステップＳ１１〜Ｓ１６を繰り返す。ユーザによって合成撮影の終了操作が行われた場合、或いは予め決められた合成撮影期間が経過すると、合成撮影制御部２６は処理をステップＳ１７に移行して、最終的に記録などが行われる前の合成画像の表示を行う。

図３（ｄ）は表示画面３１ｂに表示された合成画像４７を示している。図３（ｄ）の合成画像４７は、図３（ｃ）に示すように、２，４，７コマ目の撮像画像を除く各画像によって得られた積算画像であり、ユーザによって不要と判定された画像部分が除去された画像である。

合成撮影制御部２６は、合成画像の表示後にステップＳ１８に移行して、表示した合成画像にユーザが満足したか否かの判定を行う。図３（ｄ）に示すように、表示画面３１ｂ上には、ユーザが表示された合成画像に満足しているか否かの判定のためのボタン表示４８が表示されている。ユーザが「ＯＫ」の表示部分をタッチすると、合成撮影制御部２６は、処理をステップＳ１９に移行して記録処理を行う。蓄積合成制御部２３は、合成画像を記録制御部２７に与えて記録部３３に記録させる。なお、蓄積合成制御部２３は、各コマの画像についても記録させるようにしてもよい。また、ユーザが「キャンセル」の表示部分をタッチすると、合成撮影制御部２６は、処理をステップＳ２０に移行してタッチ判定及び補正処理を行う。ステップＳ２０におけるタッチ判定及び補正処理は、ステップＳ１４，Ｓ１５の処理と同様の処理であり、蓄積合成制御部２３は、ユーザのステップＳ１４における画像の指定をキャンセルし、再度ユーザに合成に不要な画像を選択させ、選択された画像を補正した後補正していない画像と共に合成する。こうして、ユーザは希望する合成画像が得られるまで、画像合成処理を繰り返させることができる。

なお、図２では、合成撮影の開始から終了までの間及び合成撮影の終了後において、不要な画像を指定して補正した後に画像合成する例を示したが、合成撮影の開始から終了までの間又は合成撮影の終了後のいずれか一方のみにおいて、不要な画像を指定して補正した後に画像合成するようにしてもよい。例えば、合成撮影の開始から終了までの間のみにおいて不要な画像を指定して補正した後に画像合成処理を１回のみ許可する場合には、ユーザによる指定されたコマ以前のコマについては、画像合成後には削除してもよく、この場合には蓄積部２５の記憶容量を低減することも可能である。

このように本実施の形態においては、合成撮影時に、連続的に取得する複数の画像から補正する画像を指定することを可能にしており、不要な光の影響を低減した合成画像を簡単に取得することができる。また、ユーザは各コマの撮影毎に順次表示される合成画像に基づくサムネイル表示を参照して補正する画像を指定するようになっており、画像合成に不要と考えられる画像を容易に判定することができ、所望の合成画像を簡単に得ることができる。

（第２の実施の形態）
図７は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。図７において図２と同一のステップには同一符号を付して説明を省略する。本実施の形態のハードウェア構成は第１の実施の形態と同様である。第１の実施の形態においては、ユーザが画像合成に不要な光を含む画像を指定する例について説明した。本実施の形態においては、合成撮影制御部２６において、不要な光の画像部分を例えば自動的に判定して、当該画像部分を合成画像から除去することにより、所望の合成画像を得るものである。

本実施の形態においては、合成撮影制御部２６は、蓄積合成制御部２３からの合成画像が与えられ、図示しないメモリに記憶された一筆書き用手書き文字認識辞書を用いて、合成画像中に含まれる文字部分、並びに、文字と文字との間の部分及び画と画との間の部分（以下、不要部分という）を認識することができるようになっている。合成撮影制御部２６は、不要部分を除去するための指示を蓄積合成制御部２３に与える。これにより、蓄積合成制御部２３は、合成画像中の不要部分を除去する補正を行うように補正部２４を制御する。補正部２４は、蓄積合成制御部２３に制御されて、蓄積部２５から読み出した合成画像の不要部分の像信号のレベルを例えば０又は十分に低下させるように補正を行って、補正画像を蓄積合成制御部２３に出力するようになっている。

このように構成された実施の形態においては、合成撮影制御部２６は、図７のステップＳ４１において、文字・記号を判定できたか否かを判定する。文字・記号が判定されるまではステップＳ１１〜Ｓ１３の処理が繰り返される。合成撮影制御部２６は、ステップＳ４１において合成画像から文字・記号を判定すると、合成画像中に含まれる不要部分を判定し、不要部分を除去するための指示を蓄積合成制御部２３に与える。

例えば、蓄積合成制御部２３から、図３（ａ）のサムネイル表示４１に対応した１コマ目の画像、１コマと２コマとの合成画像、１乃至３コマの合成画像が順次合成撮影制御部２６に与えられるものとする。この場合には、合成撮影制御部２６は、１乃至３コマの合成画像が入力された段階で、合成画像中に文字「Ａ」の画像部分及びサムネイル表示４１−２中の画像部分４４に対応した画像部分が含まれることを判定することができる。合成撮影制御部２６は、画像部分４４に対応した画像部分を合成画像から除去する指示を蓄積合成制御部２３に与える。蓄積合成制御部２３は、補正部２４を制御して、１乃至３コマによる合成画像を補正して文字部分のみの合成画像を生成させる。

以後、ステップＳ１１〜Ｓ１３，Ｓ４１，Ｓ４２の動作が繰り返され、ステップＳ１６において合成撮影の終了が判定されると、補正後の合成画像が表示画面３１ｂ上に表示される。こうして、この場合にも、図３（ｄ）と同様の合成画像が得られる。

合成撮影制御部２６は、ステップＳ１８において、ユーザが図３（ｄ）の「キャンセル」の表示部分をタッチしたものと判定すると、処理をステップＳ４３に移行して文字・記号判定及び補正処理を行う。ステップＳ４３における文字・記号判定及び補正処理は、ステップＳ４１，Ｓ４２の処理と同様の処理であり、合成撮影制御部２６は、ステップＳ４１における不要部分の指定をキャンセルし、再度不要部分を判定して、不要部分と判定した画像部分を補正した合成画像を得る。こうして、ユーザは希望する合成画像が得られるまで、画像合成処理を繰り返させることができる。

このように本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、ユーザが不要部分を指定する必要がなく、自動的に不要部分を除去した合成画像を得ることができる。また、本実施の形態においては、合成画像の不要部分を自動判定して不要部分を除去するように画像補正を行っており、不要部分が複数のコマに跨がって撮影されて得られる場合でも、確実に不要部分を除去した合成画像を得ることができる。

なお、本実施の形態においては、画像中に含まれる文字によって不要部分を判定する例を説明したが、他の画像についても所定の規則性を有していれば不要部分の判定が可能である。例えば、夜空を合成撮影する場合には、天空上の星の移動の軌跡には規則性があるので、例えば、飛行機等の移動に伴う光の軌跡を判定することができる場合があり、このような場合にも本実施の形態は適用可能である。

（第３の実施の形態）
図８は本発明の第３の実施の形態において採用される動作フローを示すフローチャートである。図８において図２と同一の手順には同一符号を付して説明を省略する。また、図９乃至図１２は第３の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態は、ユーザのタッチ期間中に積算される画像を補正するものである。

本実施の形態においては、合成撮影制御部２６は、合成撮影期間中にユーザのタッチ操作を検出すると、タッチ検出期間に対応する期間に積算される画像を補正した後積算するように蓄積合成制御部２３を制御するようになっている。例えば、蓄積合成制御部２３は、補正部２４を制御して、タッチ検出期間に対応する期間に積算される画像の像信号レベルを低減する補正を行って、蓄積合成制御部２３に与えるようになっている。

このように構成された実施の形態においては、合成撮影制御部２６は、図８のステップＳ５１において、積算結果の合成画像を表示させる。図９はこの場合の合成画像の一例を示しており、図９の合成画像６１は合成撮影における最初に得られる画像又は途中の合成画像を示している。合成画像６１は夜景を合成撮影して得られるものである。

合成画像６１は、夜空の画像部分６２、建物の画像部分６３、建物の窓等から漏れる明かりやネオン等による光点の画像部分６４を含む。更に、合成画像６１には、飛行機６５による光の画像部分６５も含まれる。なお、飛行機６５は、図９の画像６１中において紙面左側から右側に向かって飛行する軌跡が撮影されるように飛行するものとする。

合成撮影制御部２６は、ステップＳ５２において、ユーザのタッチ操作があったか否かを判定し、タッチ操作があった場合には、タッチ操作している期間（タッチ操作期間）を求める。なお、合成撮影制御部２６は、ユーザによるタッチ操作を検出しない場合には、処理をステップＳ１６に移行して合成撮影の終了を判定する。合成撮影制御部２６は、ステップＳ５２においてタッチ操作があったものと判定すると、タッチ操作期間を求めて、当該期間の撮像画像を合成画像にそのまま積算しないための指示を蓄積合成制御部２３に与える。

図１０はこの場合におけるユーザによるタッチ操作の様子を示しており、ユーザは指６２によって表示画面３１ｂ上をタッチする。蓄積合成制御部２３は、ユーザのタッチ操作期間に撮像された画像については、補正部２４に像信号のレベルを例えば低減させるよう指示を行う。

図１２はこの場合の積算結果を説明するものである。図１２は横軸に所定時間（１回の撮影）間隔毎の時間をとり縦軸に積算結果をとって、補正部２４による補正の一例を示している。図１２（ａ）は補正を行わない場合の例を示し、図１２（ｂ）は積算する像信号のレベルを低下させる補正を行った例を示している。図１２の例は、一連のコマＡ〜コマＤのうち、コマＢ，Ｃの撮影が行われる期間において、ユーザが表示画面３１ｂをタッチ操作している場合の例である。この期間に撮像されて得られたコマＢ，Ｃの画像については、図１２（ｂ）のハッチングにて示すように、レベルが低減された後、積算処理されている。

図１１は図１０のタッチ操作後の合成撮影終了時点の画像表示を示している。図１１は補正部２４がユーザのタッチ操作期間に得られる画像の像信号のレベルを０又は十分に小さいレベルに補正した例を示している。即ち、この場合には、ユーザがタッチ操作した期間に得られる撮像画像は例えば殆ど積算されない。なお、撮像画像を記憶させるメモリを用いて、撮像画像を遅延させて処理する場合には、ユーザによるタッチ操作期間の前のタイミングにおいて撮影された画像についても補正した後積算させることができる。これにより、図１１の例では、飛行機６５の光に基づく画像６５についても補正されて、殆ど合成されていない。

いま、ユーザはステップＳ１７おいて表示された合成画像に満足しているか否かを図示しない「ＯＫ」ボタンや「キャンセルボタン」等により指定することができるものとする。合成撮影制御部２６は、ステップＳ１８において、「キャンセル」ボタンが操作されたものと判定すると、処理をステップＳ５３に移行して、タッチ判定及び補正処理を行う。ステップＳ５３における処理として、例えば、図２のステップＳ１４，Ｓ１５の処理と同様の処理を採用することができる。この場合には、ステップＳ５２におけるタッチ期間判定をキャンセルし、図３と同様のサムネイル表示を表示させて、不要部分を補正した合成画像を得る。こうして、ユーザは希望する合成画像が得られるまで、画像合成処理を繰り返させることができる。

このように本実施の形態においては、ユーザは不要な画像の影響を低減するために、不要な画像が積算される期間を指定することができる。ユーザは、この期間を合成画像を参照しながら指定することができ、画像合成に不要と考えられる画像を容易に判定することができ、所望の合成画像を簡単に取得することができる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。ここでは特に、暗いシーンで、ゆっくり露光する例を説明したが、短時間の露光で、それを足したり引いたりして画像を得る場合にも利用できる。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、内視鏡や顕微鏡に適用することで、被検体中の不要な光による画像を除去して観察しやすい画像を得ることも可能である。検査やチェックのための画像をリアルタイムの観察ではなく、記録によって得ることは、例えば、非貫通型潜望鏡のような、極端に異なる分野においても行われることである。この場合、潜望鏡なので波の影響などを受ける場合があるが、本発明と同様の考え方で、そうした障害物の部分を削除して観察することも出来る。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮像装置を実現することができる。

１…撮像装置、１０…撮像部、２０…制御部、２１…画像取得部、２２…撮像制御部、２３…蓄積合成制御部、２４…補正部、２５…蓄積部、２６…合成撮影制御部、２７…記録制御部、２８…操作判定部、２９…表示制御部、３１…表示部、３１ａ…タッチパネル、３２…操作部、３３…記録部。

Claims (9)

1. 被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部と、
   上記複数の撮像画像を蓄積するための蓄積制御部と、
   上記複数の撮像画像のうちの所定の画像を選択する操作を受け付ける操作判定部と、
   上記選択された画像の明るさを補正する補正部と、
   上記補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を出力する合成部と
   を具備したことを特徴とする撮像装置。
2. 上記合成部は、上記撮像部によって上記複数の撮像画像の各画像が撮影される毎に上記合成画像を生成し、
   上記合成部によって順次生成される複数の合成画像に基づく複数のサムネイル画像を表示する表示制御部
   を具備したことを特徴とする請求項１に記載の撮像装置。
3. 上記操作判定部は、表示された上記複数のサムネイル画像のうちの所定のサムネイル画像を選択する操作を、上記複数の撮像画像のうちの所定の画像を選択する操作として受け付ける
   ことを特徴とする請求項２に記載の撮像装置。
4. 上記合成部は、上記撮像部によって上記複数の撮像画像の各画像が撮影される毎に上記合成画像を生成し、
   上記合成部によって順次生成される複数の合成画像のうちの最後に生成された合成画像を表示する表示制御部を具備し、
   上記操作判定部は、上記補正部によって明るさを補正する画像を選択するための期間を指示する操作を、上記複数の撮像画像のうちの所定の画像を選択する操作として受け付ける
   ことを特徴とする請求項１に記載の撮像装置。
5. 上記補正部は、上記選択された画像の明るさを低下させる補正を行う
   ことを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
6. 被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部と、
   上記複数の撮像画像を蓄積するための蓄積制御部と、
   上記複数の撮像画像のうちの所定の画像を選択する選択部と、
   上記選択された画像の明るさを補正する補正部と、
   上記補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を出力する合成部と
   を具備したことを特徴とする撮像装置。
7. 上記選択部は、一筆書き用手書き文字認識辞書を用いて、上記撮像画像又は上記合成画像中の文字部分と不要な部分とを判別して、上記不要部分を含む画像を選択する
   を具備したことを特徴とする請求項６に記載の撮像装置。
8. 被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、
   上記複数の撮像画像を蓄積するための蓄積制御ステップと、
   上記複数の撮像画像のうちの所定の画像を選択する操作を受け付ける操作判定ステップと、
   上記選択された画像の明るさを補正する補正ステップと、
   上記補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を出力する合成ステップと
   を具備したことを特徴とする合成撮影方法。
9. コンピュータに、
   被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、
   上記複数の撮像画像を蓄積するための蓄積制御ステップと、
   上記複数の撮像画像のうちの所定の画像を選択する操作を受け付ける操作判定ステップと、
   上記選択された画像の明るさを補正する補正ステップと、
   上記補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を出力する合成ステップと
   を実行させるための合成撮影プログラム。