JP2018014651A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2018014651A
JP2018014651A JP2016143771A JP2016143771A JP2018014651A JP 2018014651 A JP2018014651 A JP 2018014651A JP 2016143771 A JP2016143771 A JP 2016143771A JP 2016143771 A JP2016143771 A JP 2016143771A JP 2018014651 A JP2018014651 A JP 2018014651A
Authority
JP
Japan
Prior art keywords
unit
image
synthesis
image information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016143771A
Other languages
English (en)
Other versions
JP6718762B2 (ja
Inventor
薫示 高橋
Shigeji Takahashi
薫示 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016143771A priority Critical patent/JP6718762B2/ja
Publication of JP2018014651A publication Critical patent/JP2018014651A/ja
Application granted granted Critical
Publication of JP6718762B2 publication Critical patent/JP6718762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】ユーザの創作意図を反映した合成画像を生成することができる画像処理装置、撮像装置、画像処理方法およびプログラムを提供する。【解決手段】画像処理装置は、複数の画像の各々を合成するための少なくとも２つの合成方法を指定する合成方法指定部３０２と、複数の画像の各々の所定の領域に含まれる画像情報を順次抽出する画像情報抽出部４０２と、画像情報抽出部４０２が順次抽出した画像情報に基づいて、所定の領域に指定された少なくとも２つの合成方法を切り替えながら複数の画像を順次合成して１つの合成データを生成する合成処理部３０５と、を備える。【選択図】図１

Description

本発明は、時系列順に並ぶ複数の画像データを合成する画像処理装置、撮像装置、画像処理方法およびプログラムに関する。
従来、デジタルカメラ等の撮像装置において、複数の画像データを合成して、１つの画像データを生成する技術が知られている。例えば、特許文献１には、撮影を行いながら順次生成された画像データを合成して合成画像データを生成し、この合成画像データに対応する合成画像内における所定領域の出力が目標出力に到達したときに撮影を終了する技術が開示されている。
また、特許文献２には、画像の領域毎に異なる合成方法で画像を合成する技術が開示されている。この技術では、指定した画像の領域毎に、比較明合成や比較暗合成等の合成方法を選択して指定することによって、領域毎に異なる合成方法が施された合成画像を生成する。
特開２０１４−１３５６０９号公報 特開２０１５−７３１９９号公報
ところで、画像合成を行う場合、ユーザの創作意図を反映するため、画像合成のための各種設定を自由に設定できることが望ましい。しかしながら、上述した特許文献１，２では、画像合成のための各種設定を自由に設定することができず、ユーザの創作意図を合成画像に反映することができなかった。
本発明は、上記に鑑みてなされたものであって、ユーザの創作意図を反映した合成画像を生成することができる画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも２つの合成方法を指定する合成方法指定部と、前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出部と、前記画像情報抽出部が順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも２つの合成方法を切り替えながら前記複数の画像を順次合成して１つの合成データを生成する合成処理部と、を備えることを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記所定の領域を、前記複数の画像の各々に１つ以上指定する合成領域指定部をさらに備えることを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記合成方法指定部が前記所定の領域に指定した前記少なくとも２つの合成方法を切り替えるための閾値を指定する閾値指定部と、前記画像情報抽出部によって抽出された前記画像情報に応じて定まる値が前記閾値以上であるか否かを判定する閾値判定部と、をさらに備え、前記合成処理部は、前記閾値判定部の判定結果に基づいて、前記合成データを生成することを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記閾値指定部は、前記画像情報抽出部が前記複数の画像において最も古い前記画像に対して抽出した前記画像情報に応じて定まる値を前記閾値に指定することを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記合成領域指定部によって前記所定の領域が２つ以上指定された場合において、互いの少なくとも一部の領域が重なる重複領域が発生したとき、該重複領域に対する前記合成方法の優先度を指定する優先度指定部をさらに備え、前記合成処理部は、前記優先度指定部によって指定された前記優先度の高い前記合成方法によって前記合成データを生成することを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記複数の画像の各々に写る特定の被写体を指定する被写体指定部と、前記被写体指定部によって指定された前記被写体が前記所定の領域に含まれている場合に、前記複数の画像の各々において前記被写体が写る位置を含む被写体領域を順次追尾する被写体追尾部と、をさらに備え、前記合成領域指定部は、前記被写体追尾部が順次追尾した前記被写体領域を前記所定の領域に指定することを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記合成方法は、比較明合成処理、比較暗合成処理、加算合成処理、平均合成処理、置換合成処理および非合成処理のいずれかであることを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記画像情報は、輝度、色成分、画像データ間における画素値の変化量および画像データ間における被写体の移動量のいずれかであることを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記複数の画像の各々を表示可能な表示部と、前記画像情報抽出部が抽出した前記画像情報を前記表示部に表示させる表示制御部と、をさらに備えたことを特徴とする。
また、本発明に係る画像情報装置は、上記発明において、前記複数の画像の各々を表示可能な表示部と、前記合成方法と前記閾値を前記表示部に表示させる表示制御部と、をさらに備えることを特徴とする。
また、本発明に係る撮像装置は、上記の画像処理装置と、被写体を連続的に撮像して画像データを順次生成可能な撮像部と、前記合成処理部が生成した前記合成データを順次記録する記録部と、を備え、前記合成処理部は、前記撮像部が前記画像データを生成する毎に、前記記録部が記録する直前の前記合成データと合成して、新たな前記合成データを生成して前記記録部が記録する前記合成データを更新することを特徴とする。
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも２つの合成方法を指定する合成方法指定ステップと、前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出ステップと、前記画像情報抽出ステップにおいて順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも２つの合成方法を切り替えながら前記複数の画像を順次合成して１つの合成データを生成する合成処理ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に、複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも２つの合成方法を指定する合成方法指定ステップと、前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出ステップと、前記画像情報抽出ステップにおいて順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも２つの合成方法を切り替えながら前記複数の画像を順次合成して１つの合成データを生成する合成処理ステップと、を実行させることを特徴とする。
本発明によれば、ユーザの創作意図を反映した合成画像を生成することができるという効果を奏する。
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図３は、本発明の実施の形態１に係る撮像装置の表示部が表示するライブビュー画像の一例を示す図である。 図４は、図２の画像情報抽出処理の概要を示すフローチャートである。 図５は、本発明の実施の形態１に係る撮像装置の表示部が表示する抽出領域の一例を示す図である。 図６は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像情報の一例を示す図である。 図７は、図２の合成設定処理の概要を示すフローチャートである。 図８は、本発明の実施の形態１に係る撮像装置の表示部が合成設定処理時に表示する画像の一例を示す図である。 図９は、本発明の実施の形態１に係る撮像装置の表示部が合成設定処理時に表示する画像の一例を示す図である。 図１０は、図２の合成処理の概要を示すフローチャートである。 図１１は、本発明の実施の形態１に係る撮像装置の合成処理部が合成する時系列に並ぶ画像群の一例を模式的に示す図である。 図１２は、図１１の画像群を従来の比較明合成処理によって合成した場合における合成画像の遷移を模式的に示す図である。 図１３は、本発明の実施の形態１に係る撮像装置の合成処理部が合成処理によって生成した合成画像の遷移を模式的に示す図である。 図１４は、本発明の実施の形態１の変形例１に係る撮像装置が実行する合成設定処理の概要を示すフローチャートである。 図１５は、本発明の実施の形態１の変形例１に係る撮像装置の表示部が表示する画像の一例を示す図である。 図１６は、本発明の実施の形態１の変形例２に係る撮像装置が時刻Ｔで生成した画像の一例を示す図である。 図１７は、本発明の実施の形態１の変形例２に係る撮像装置が時刻Ｔから所定時間ｔ経過後に生成した画像の一例を示す図である。 図１８は、本発明の実施の形態１の変形例２に係る撮像装置の画像情報処理部による処理を模式的に説明する図である。 図１９は、本発明の実施の形態１の変形例２に係る撮像装置の合成設定処理の概要を模式的に説明する図である。 図２０は、従来の比較明合成処理によって合成した場合における合成画像の遷移を模式的に示す図である。 図２１は、本発明の実施の形態１の変形例２に係る撮像装置の合成処理部が合成処理によって生成した合成画像の遷移を模式的に示す図である。 図２２は、本発明の実施の形態１の変形例３に係る撮像装置の処理の概要を示すフローチャートである。 図２３は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。 図２４は、本発明の実施の形態２に係る撮像装置が実行する合成設定処理の概要を示すフローチャートである。 図２５は、本発明の実施の形態２に係る撮像装置の表示部が表示する画像の一例を示す図である。 図２６は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。 図２７は、本発明の実施の形態３に係る撮像装置が実行する合成設定処理の概要を示すフローチャートである。 図２８は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の一例を示す図である。 図２９は、本発明の実施の形態３に係る撮像装置が連続的に生成した画像群の一例を示す図である。 図３０は、発明の実施の形態３に係る撮像装置の画像合成部によって生成された合成画像の遷移を模式的に示す図である。 図３１は、本発明の実施の形態４に係る撮像装置の機能構成を示すブロック図である。 図３２は、本発明の実施の形態４に係る撮像装置の合成情報記録部が記録する合成情報の一例を模式的に示す図である。 図３３は、本発明の実施の形態４に係る撮像装置が生成する画像の一例を示す図である。 図３４は、本発明の実施の形態４が実行する合成設定処理の概要を示すフローチャートである。 図３５は、本発明の実施の形態４に係る撮像装置の表示部が表示するメニュー画像の一例を示す図である。
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。
（実施の形態１）
〔撮像装置の構成〕
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部１０と、画像処理部２０と、記録部２１と、メモリＩ／Ｆ２２と、記録媒体２３と、表示部２４と、入力部２５と、バス２６と、制御部２７と、を備える。
撮像部１０は、被写体を撮像し、この被写体の画像データを生成する。撮像部１０は、レンズ部１１と、絞り１２と、シャッタ１３と、撮像素子１４と、Ａ／Ｄ変換部１５と、駆動制御部１６と、を有する。
レンズ部１１は、撮像素子１４の受光面に光学像（被写体像）結像させる。レンズ部１１は、一または複数のレンズを用いて構成される。例えば、レンズ部１１は、フォーカスレンズおよびズームレンズ等を用いて構成される。レンズ部１１は、駆動制御部１６の制御のもと、光軸に沿って移動する。
絞り１２は、駆動制御部１６の制御のもと、レンズ部１１が集光した光の入射量を制限することにより露出の調整を行う。
シャッタ１３は、駆動制御部１６の制御のもと、開閉動作を行うことによって、撮像素子１４の状態を露光状態または遮光状態に切り替える。また、シャッタ１３は、駆動制御部１６の制御のもと、撮像素子１４に入射する光の入射時間であるシャッタ速度を調整する。
撮像素子１４は、レンズ部１１が集光した光学像を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元的に配列されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサを用いて構成される。撮像素子１４は、駆動制御部１６の制御のもと、所定のフレームレート、例えば３０ｆｐｓや６０ｆｐｓで連続的にアナログの画像データを生成してＡ／Ｄ変換部１５へ出力する。
Ａ／Ｄ変換部１５は、駆動制御部１６の制御のもと、撮像素子１４から入力されたアナログの画像データに対して、Ａ／Ｄ変換を行うことによって、デジタルの画像データを生成して出力する。
駆動制御部１６は、制御部２７の制御のもと、撮像部１０全体の制御を行う。具体的には、駆動制御部１６は、レンズ部１１の駆動制御を行うことによって、ズーム位置やピント位置の制御、絞り１２やシャッタ１３の開閉状態を制御する。また、駆動制御部１６は、撮像素子１４の光の露光時間（受光時間）や画像データの読み出しタイミングを制御する。
画像処理部２０は、撮像部１０が生成した画像データに対して、各種の画像処理を行って出力する。なお、画像処理部２０の詳細な構成は、後述する。
記録部２１は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等を用いて構成され、バス２６を介してＡ／Ｄ変換部１５から入力される画像データ、撮像装置１の処理中の情報を一時的に記録する。また、記録部２１は、プログラム記録部２１ａを有する。プログラム記録部２１ａは、撮像装置１を動作させるための各種プログラムや本実施の形態１に係るプログラムおよびプログラムの実行中に使用される各種データを記録する。
記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２２を介して撮像装置１に着脱自在に装着される。記録媒体２３には、画像処理部２０によって画像処理が施された画像データやＡ／Ｄ変換部１５によって生成されたデジタルの画像データ（ＲＡＷデータ）が書き込まれることによって記録される。また、記録媒体２３は、メモリＩ／Ｆ２２を介して記録された画像データが読み出される。
表示部２４は、制御部２７の制御のもと、バス２６を介して記録部２１または記録媒体２３に記録された画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後に画像データを所定時間（例えば３秒間）だけ表示する確認表示（レックビュー表示）、記録媒体２３に記録された画像データに対応する画像を再生する再生表示、および撮像部１０が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。表示部２４は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。
入力部２５は、ボタンやスイッチ類等の物理スイッチや表示部２４の表示領域上に重畳して設けられたタッチパネル等を用いて構成される。入力部２５は、撮像装置１に関する操作の入力を受け付ける。具体的には、入力部２５は、撮像装置１の電源状態をオン状態またはオフ状態に切り替える指示信号、撮像装置１に撮影の指示を与えるレリーズ信号、各種の操作を指定する指定信号の入力を受け付ける。タッチパネルは、外部からの物体のタッチ位置を検出し、この検出したタッチ位置に応じた位置信号を、バス２６を介して制御部２７へ出力する。
バス２６は、撮像装置１の各構成部を接続する伝送路等を用いて構成される。バス２６は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部へ転送する。
制御部２７は、ＣＰＵ（Central Processing Unit）等を用いて構成され、撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。
〔画像処理部の構成〕
次に、画像処理部２０の詳細な構成について説明する。
画像処理部２０は、画像合成部３０と、画像情報処理部４０と、現像処理部５０と、を備える。
画像合成部３０は、撮像部１０が生成した複数の画像データを合成して合成画像データを生成する。画像合成部３０は、合成領域指定部３０１と、合成方法指定部３０２と、閾値指定部３０３と、閾値判定部３０４と、合成処理部３０５と、を有する。
合成領域指定部３０１は、合成方法指定部３０２による２つの合成方法を指定可能な所定の領域（以下、「合成領域」という）を、時系列順に並ぶ複数の画像データに対応する複数の画像の各々に１つ以上指定する。具体的には、合成領域指定部３０１は、入力部２５から入力される指示信号に応じて、時系列順に並ぶ複数の画像の各々に合成領域を指定する。
合成方法指定部３０２は、時系列順に並ぶ複数の画像データに対応する複数の画像の各々の所定の領域に、複数の画像の各々を合成するための２つの合成方法を指定する。具体的には、合成方法指定部３０２は、入力部２５から入力される指示信号に応じて、後述する合成処理部３０５が実行可能な２つの合成方法を、合成領域指定部３０１によって指定された合成領域に指定する。例えば、合成方法指定部３０２は、入力部２５から入力される指示信号に応じて、合成領域指定部３０１によって指定された合成領域に、後述する合成処理部３０５による比較明合成処理と比較暗合成処理とを指定する。
閾値指定部３０３は、合成方法指定部３０２が合成領域に指定した２つの合成方法を切り替えるための閾値を指定する。具体的には、入力部２５から入力される指示信号に応じて、閾値を指定する。
閾値判定部３０４は、後述する画像情報処理部４０の画像情報抽出部４０２によって抽出された画像情報に応じて定まる値が閾値以上であるか否かを判定する。例えば、閾値判定部３０４は、画像情報に含まれる輝度成分が閾値以上であるか否かを判定する。
合成処理部３０５は、合成領域指定部３０１によって指定された合成領域および合成方法指定部３０２によって指定された合成方法に基づいて、少なくとも２つ以上の画像データを合成して合成画像データを生成する。具体的には、合成処理部３０５は、合成方法指定部３０２によって合成領域に指定された２つの合成方法を順次切り替えながら時系列順に並ぶ複数の画像を順次合成して１つの合成データを生成する。合成処理部３０５は、比較明合成処理部３０５ａと、比較暗合成処理部３０５ｂと、加算合成処理部３０５ｃと、平均合成処理部３０５ｄと、置換合成処理部３０５ｅと、を有する。
比較明合成処理部３０５ａは、少なくとも２コマ以上の画像データを合成する際に、同じ画素アドレス（座標位置）の画素値を比較し、一番大きい画素値を合成画像の画素値（出力値）として合成画像データを生成する。
比較暗合成処理部３０５ｂは、少なくとも２コマ以上の画像データを合成する際に、同じ画素アドレスの画素値を比較し、一番小さい画素値を合成画像の画素値として合成画像データを生成する。
加算合成処理部３０５ｃは、少なくとも２コマ以上の画像データを合成する際に、同じ画素アドレスの画素の画素値を加算し、この加算した加算値を合成画像の画素値として合成画像データを生成する。
平均合成処理部３０５ｄは、少なくとも２コマ以上の画像データを合成する際に、同じ画素アドレスの画素値を平均し、この平均した平均値を合成画像の画素値として合成画像データを生成する。
置換合成処理部３０５ｅは、２コマの画像データに対応する２コマの画像を合成する際に、同じ画素アドレスの画素値のいずれか一方の画素値を合成画像の画素値として合成画像データを生成する。
画像情報処理部４０は、撮像部１０が生成した画像データに対して、所定の領域に含まれる画像情報を抽出し、この抽出した情報を表示部２４に表示させる。画像情報処理部４０は、情報領域指定部４０１と、画像情報抽出部４０２と、表示制御部４０３と、を有する。
情報領域指定部４０１は、画像情報抽出部４０２が画像情報を抽出するための情報領域を指定する。具体的には、入力部２５から入力される指示信号に応じて、画像情報抽出部４０２が画像情報を抽出するための情報領域を指定する。
画像情報抽出部４０２は、情報領域指定部４０１が指定した情報領域に含まれる画像情報を抽出する。ここで、画像情報とは、輝度、色成分、画像データ間の画素値の変化量および被写体の移動量のいずれか１つ以上である。
表示制御部４０３は、画像情報抽出部４０２が抽出した画像情報を表示部２４に表示させる。
現像処理部５０は、撮像部１０から出力された画像データまたは画像合成部３０によって生成された合成画像データに対して、所定の画像処理を行って画像データまたは合成画像データを現像して表示部２４または記録媒体２３へ出力する。ここで、所定の画像処理とは、デモザイキング処理、ノイズリダクション処理、ホワイトバランス処理、リサイズ処理および圧縮処理等である。
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。図２は、撮像装置１が実行する処理の概要を示すフローチャートである。
図２に示すように、まず、制御部２７は、撮像部１０に撮像させ、画像処理部２０が画像データに画像処理を施した画像データに対応するライブビュー画像を表示部２４に表示させる（ステップＳ１０１）。具体的には、図３に示すように、表示部２４は、撮像部１０によって生成されたライブビュー画像ＬＶ１を表示する。
続いて、画像情報処理部４０は、撮像部１０が生成した画像データに対応する画像から輝度およびＲＧＢ成分等の情報を抽出して表示する画像情報抽出処理を実行する（ステップＳ１０２）。
〔画像情報抽出処理〕
図４は、図２のステップＳ１０２における画像情報抽出処理の概要を示すフローチャートである。
図４に示すように、表示制御部４０３は、画像情報を抽出する抽出領域を表示部２４が表示するライブビュー画像ＬＶ１に重畳して表示させる（ステップＳ２０１）。具体的には、図５に示すように、表示制御部４０３は、ライブビュー画像ＬＶ１上に抽出領域Ｚ１を重畳して表示部２４に表示させる。これにより、ユーザは、現在の抽出領域Ｚ１を直感的に把握することができる。
続いて、情報領域指定部４０１は、入力部２５からの指示信号に応じて、画像情報を抽出する抽出領域を指定する（ステップＳ２０２）。
その後、画像情報抽出部４０２は、情報領域指定部４０１によって指定された抽出領域の画像情報を抽出する（ステップＳ２０３）。
続いて、表示制御部４０３は、画像情報抽出部４０２が抽出した画像情報をライブビュー画像ＬＶ１上に重畳して表示部２４に表示させる（ステップＳ２０４）。具体的には、図６に示すように、表示制御部４０３は、画像情報Ａ１をライブビュー画像ＬＶ１上に重畳して表示部２４に表示させる。これにより、ユーザは、入力部２５を介して指定した領域の画像情報を直感的に把握することができる。なお、図６において、画像情報として、抽出領域における各成分の平均値の輝度成分（Ｙ：２２）、Ｒ成分（Ｒ：２２）、Ｇ成分（Ｇ：３５）およびＢ成分（Ｂ：１５）の各々を表示させているが、これ以外にも、例えば彩度やヒストグラム等を表示させてもよい。もちろん、所定の成分、例えば、輝度成分のみを表示させてもよい。また、画像情報抽出部４０２は、複数のライブビュー画像について、各コマの平均値の輝度成分（Ｒ成分、Ｇ成分、Ｂ成分）を計算し、その値の平均値や、最大値、最小値を表示させても良い。また、画像情報抽出部４０２は、ライブビュー画像ＬＶ１から画像情報を抽出していたが、後述する合成途中の画像から画像情報を抽出してもよい。
その後、入力部２５から画像情報を抽出する抽出領域を追加指定する指示信号が入力された場合（ステップＳ２０５：Ｙｅｓ）、撮像装置１は、上述したステップＳ２０２へ戻る。これに対して、入力部２５から画像情報を抽出する抽出領域を追加する指示信号が入力されていない場合（ステップＳ２０５：Ｎｏ）、撮像装置１は、図２のメインルーチンへ戻る。
図２へ戻り、ステップＳ１０３以降の説明を続ける。
ステップＳ１０３において、画像合成部３０は、ユーザによって指定された領域毎に指定された合成方法を設定する合成設定処理を実行する。
〔合成設定処理〕
図７は、図２のステップＳ１０３の合成設定処理の概要を示すフローチャートである。図８は、合成設定処理を模式的に説明する図である。
図７に示すように、合成領域指定部３０１は、入力部２５からの指示信号に応じて、２コマ以上の画像を合成する際に、互いに異なる合成方法を行うための合成領域を指定する（ステップＳ３０１）。具体的には、図８に示すように、合成領域指定部３０１は、入力部２５からの指示信号に応じて、２コマ以上の画像を合成する際に、互いに異なる合成方法を行うための合成領域Ｒ１を指定する。これにより、表示制御部４０３は、合成領域指定部３０１が指定した合成領域Ｒ１をライブビュー画像ＬＶ１上に重畳して表示部２４に表示させる。この場合、表示制御部４０３は、指定された合成領域Ｒ１以外の領域に対する合成モードによる合成方法に関するアイコンＡ１２および合成方法の情報Ａ１２１を表示部２４に表示させる。さらに、表示制御部４０３は、後述する合成領域Ｒ１に対して指定する合成方法の閾値に関する情報Ａ１０および合成領域Ｒ１に対する合成方法に関するアイコンＡ１１を表示部２４に表示させる。さらにまた、表示制御部４０３は、後述する閾値に応じて設定する合成方法に関する情報Ａ１１１および情報Ａ１１２を表示部２４に表示させる。
続いて、合成方法指定部３０２は、入力部２５からの指示信号に応じて、合成領域指定部３０１が指定した合成領域に対して、合成処理部３０５が合成処理する合成方法を指定する（ステップＳ３０２）。具体的には、図９に示すように、ユーザが入力部２５を介してアイコンＡ１１の情報Ａ１１１を選択した場合、表示制御部４０３は、合成可能な複数の合成処理を表示部２４に表示させる。ユーザは、入力部２５を介して、表示された複数の合成処理の中から２つを選択する。これにより、合成方法指定部３０２は、入力部２５からの指示信号に応じて、合成領域指定部３０１が指定した合成領域に対して、合成処理部３０５が合成処理する２つの合成方法を指定する。なお、情報Ａ１１１には、比較明合成処理、比較暗合成処理、加算合成処理、平均合成処理、置換合成処理および非合成が含まれる。
その後、閾値指定部３０３は、入力部２５からの指示信号に応じて、合成方法指定部３０２が合成領域に対して指定した２つの合成方法を切り替えるための閾値を指定する（ステップＳ３０３）。具体的には、図８に示すように、ユーザは、入力部２５を介して表示部２４が情報Ａ１００において表示する各画像情報を選択し、合成領域Ｒ１に対する合成処理を行う際の閾値を入力する。これにより、閾値指定部３０３は、入力部２５からの指示信号に応じて、合成方法指定部３０２が合成領域に対して指定した２つの合成方法を切り替えるための閾値を指定することができる。
続いて、入力部２５から合成領域を追加指定する指示信号が入力された場合（ステップＳ３０４：Ｙｅｓ）、撮像装置１は、上述したステップＳ３０１へ戻る。これに対して、入力部２５から合成領域を追加指定する指示信号が入力されていない場合（ステップＳ３０４：Ｎｏ）、撮像装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、入力部２５から撮影を指示する指示信号が入力された場合（ステップＳ１０４：Ｙｅｓ）、撮像部１０は、撮像を実行する（ステップＳ１０５）。これに対して、入力部２５から撮影を指示する指示信号が入力されていない場合（ステップＳ１０４：Ｎｏ）、撮像装置１は、この判断を続ける。
続いて、撮像部１０によって撮像されて生成された画像データが１コマ目である場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０８へ移行する。これに対して、撮像部１０によって撮像されて生成された画像データが１コマ目でない場合（ステップＳ１０６：Ｎｏ）、画像合成部３０は、少なくとも２コマ以上の画像データを合成する合成処理を実行する（ステップＳ１０７）。なお、合成処理の詳細は、後述する。ステップＳ１０７の後、撮像装置１は、後述するステップＳ１０８へ移行する。
ステップＳ１０８において、制御部２７は、撮像部１０が生成した画像データを記録部２１に一時的に記録させる。
続いて、現像処理部５０は、記録部２１に一時的に記録された画像データに対して現像処理を行う（ステップＳ１０９）。具体的には、現像処理部５０は、画像データに対して、デモザイキング処理、ノイズリダクション処理、ホワイトバランス処理、リサイズ処理および圧縮処理を行って画像データの現像を行う。
その後、制御部２７は、所定時間、例えば３秒間だけ撮影結果を表示部２４に表示させる（ステップＳ１１０）。
続いて、入力部２５から合成処理を終了する指示信号が入力された場合（ステップＳ１１１：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１２へ移行する。これに対して、入力部２５から合成処理を終了する指示信号が入力されていない場合（ステップＳ１１１：Ｎｏ）、撮像装置１は、上述したステップＳ１０５へ戻る。
ステップＳ１１２において、制御部２７は、現像処理部５０が生成した画像データを、メモリＩ／Ｆ２２を介して記録媒体２３に記録する（ステップＳ１１２）。
続いて、制御部２７は、現像処理部５０が生成した画像データに対応する画像を表示部２４に表示させる（ステップＳ１１３）。ステップＳ１１３の後、撮像装置１は、本処理を終了する。
〔合成処理〕
次に、上述した図２のステップＳ１０７において説明した合成処理の詳細について説明する。図１０は、画像合成部３０が実行する合成処理の概要を示すフローチャートである。
図１０に示すように、合成領域指定部３０１は、撮像部１０が生成した画像データに対応する画像に対して、上述した図７のステップＳ３０１において指定した合成領域を選択する（ステップＳ４０１）。
続いて、画像情報抽出部４０２は、合成領域指定部３０１によって指定された合成領域の画像情報を抽出する（ステップＳ４０２）。
その後、閾値判定部３０４は、画像情報抽出部４０２が抽出した画像情報が閾値指定部３０３によって指定された閾値以上であるか否かを判定する（ステップＳ４０３）。閾値判定部３０４によって画像情報抽出部４０２が抽出した画像情報が閾値以上であると判定された場合（ステップＳ４０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ４０４へ移行する。これに対して、閾値判定部３０４によって画像情報抽出部４０２が抽出した画像情報が閾値以上でないと判定された場合（ステップＳ４０３：Ｎｏ）、撮像装置１は、後述するステップＳ４０５へ移行する。
ステップＳ４０４において、合成処理部３０５は、合成領域指定部３０１によって指定された合成領域に、合成方法指定部３０２によって画像情報が閾値以上のときに指定された合成方法（閾値以上で指定された第１合成方法）によって新たな画像データを合成する。ステップＳ４０４の後、撮像装置１は、後述するステップＳ４０６へ移行する。
ステップＳ４０５において、合成処理部３０５は、合成領域指定部３０１によって指定された合成領域に、合成方法指定部３０２によって画像情報が閾値以上でないとき（閾値未満）に指定された合成方法（閾値未満で指定された第２合成方法）によって新たな画像データを合成する。ステップＳ４０５の後、撮像装置１は、後述するステップＳ４０６へ移行する。
図１１は、合成処理部３０５が合成する時系列に並ぶ画像群の一例を模式的に示す図である。図１２は、図１１の画像群を従来の比較明合成処理によって合成した場合における合成画像の遷移を模式的に示す図である。図１３は、合成処理部３０５が合成処理によって生成した合成画像の遷移を模式的に示す図である。また、図１３では、合成領域指定部３０１によって指定された合成領域に、合成方法指定部３０２によって指定された合成方法によって合成された合成画像の遷移を模式的に示す。さらに、図１３では、合成領域指定部３０１によって指定された合成領域以外の領域に比較明合成処理が指定され、かつ、合成領域については閾値以上の場合に合成なし（非合成）が指定され、閾値未満の場合に比較明合成処理が指定されているときについて説明する。なお、図１２および図１３では、合成方法指定部３０２によって比較明合成が指定された場合について説明するが、もちろん他の合成方法であっても同様である。
図１１に示すように、撮像装置１が星の軌跡を主要被写体として撮影している場合において、撮影の途中で車Ｋ１が通過したとき、車Ｋ１のヘッドライトの光も撮像する（画像Ｐ１→画像Ｐ２→画像Ｐ３→画像Ｐ４）。このため、図１２に示すように、従来の比較明合成では、画像Ｐ１〜画像Ｐ４を時系列に沿って順次合成した場合、車Ｋ１のヘッドライトの光も徐々に合成されてしまう（画像Ｐ１１→画像Ｐ１２→画像Ｐ１３→画像Ｐ１４）。この結果、従来の比較明合成では、車Ｋ１のヘッドライトの軌跡が邪魔となり、撮影者の創作意図にそぐわない画像Ｐ１４（合成画像）を生成してしまうという問題点があった。
これに対して、図１３に示すように、合成処理部３０５は、上述した図７において合成領域指定部３０１によって指定された合成領域Ｒ１に、閾値指定部３０３によって指定された閾値および合成方法指定部３０２によって指定された合成方法で画像Ｐ１に画像Ｐ２〜画像Ｐ４を時系列に沿って順次合成する合成処理を行う場合において、画像Ｐ２〜画像Ｐ４の合成領域Ｒ１における画像情報（例えば輝度）が閾値以上のとき、合成方法が合成なし（非合成）のため、画像Ｐ１の合成領域Ｒ１に画像Ｐ２〜Ｐ４を合成せず、画像Ｐ２〜画像Ｐ４の合成領域Ｒ１における画像情報（例えば輝度）が閾値未満のとき、画像Ｐ１の合成領域Ｒ１に画像Ｐ２〜Ｐ４を順次比較明合成する。さらに、合成処理部３０５は、合成領域Ｒ１以外の領域に対して、比較明合成を行う。これにより、本実施の形態１では、画像Ｐ１〜画像Ｐ４を時系列に沿って順次合成した場合、車Ｋ１のヘッドライトの軌跡がないうえ、星の軌跡が写る撮影者の創作意図に沿った合成画像（画像Ｐ２１→画像Ｐ２２→画像Ｐ２３→画像Ｐ２４）を生成することができる。
図１０に戻り、ステップＳ４０６以降の説明を続ける。
ステップＳ４０６において、画像を合成する追加領域がある場合（ステップＳ４０６：Ｙｅｓ）、撮像装置１は、上述したステップＳ４０１へ戻る。これに対して、画像を合成する追加領域がない場合（ステップＳ４０６：Ｎｏ）、撮像装置１は、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態１によれば、合成方法指定部３０２が複数の画像の各々の合成領域域に、複数の画像の各々を合成するための２つの合成方法を指定し、画像情報抽出部４０２が複数の画像の各々の所定の領域に含まれる画像情報を順次抽出し、合成処理部３０５が画像情報抽出部４０２によって順次抽出された画像情報に基づいて、合成領域に指定された２つの合成方法を切り替えながら複数の画像を順次合成して１つの合成データを生成するので、ユーザの創作意図を反映した合成画像を生成することができる。
また、本発明の実施の形態１によれば、閾値指定部３０３が合成方法指定部３０２によって合成領域に指定された２つの合成方法を切り替えるための閾値を指定し、閾値判定部３０４が画像情報抽出部４０２によって抽出された画像情報に応じて定まる値が閾値以上であるか否かを判定し、合成処理部３０５が閾値判定部３０４の判定結果に基づいて、合成データを生成するので、ユーザは、創作意図をより反映した合成画像を生成することができる。
（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。本実施の形態１に係る変形例１は、上述した実施の形態１に係る撮像装置１と同様の構成を有し、画像合成部が実行する合成設定処理が異なる。具体的には、上述した実施の形態１では、入力部２５から入力された指示信号に応じて、合成領域に指定された合成処理の内容を切り替える閾値を手動によって指定していたが、本実施の形態１の変形例１では、画像情報抽出部４０２によって抽出された画像情報に基づいて、合成領域に指定された合成処理の内容を切り替える閾値を自動的に指定する。以下においては、本実施の形態１の変形例１に係る画像合成部が実行する合成設定処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔合成設定処理〕
図１４は、本発明の実施の形態１の変形例１に係る撮像装置１が実行する合成設定処理の概要を示すフローチャートである。図１４において、ステップＳ５０１およびステップＳ５０３は、上述した図７のステップＳ３０２およびステップＳ３０４それぞれに対応する。
ステップＳ５０２において、画像合成部３０は、画像情報処理部４０によって画像情報が抽出された抽出領域を合成領域に指定するとともに、画像情報を閾値に設定する。具体的には、図１５に示すように、合成領域指定部３０１は、情報領域指定部４０１によって指定された抽出領域を合成領域Ｒ１に指定する。さらに、閾値指定部３０３は、画像情報抽出部４０２によって抽出された画像情報を合成領域に指定された合成方法の内容を切り替える閾値に指定する。この場合において、閾値指定部３０３は、画像情報抽出部４０２によって抽出された画像情報に所定の値を加算、減算、乗算および除算のいずれか１つを行った値を閾値に指定してもよい。例えば、図１５に示す場合、閾値指定部３０３は、画像情報抽出部４０２によって抽出された画像情報に含まれる各値に対して、所定の値として＋１０を加算することによって閾値を指定する。なお、閾値指定部３０３は、画像情報抽出部４０２によって抽出された画像情報に、合成方法指定部３０２によって指定された合成処理の内容に応じて、所定の値を加算、減算、乗算および除算のいずれか１つを行った値を閾値に指定してもよい。また、閾値指定部３０３は、画像情報抽出部４０２によって抽出された複数の画像において最も古い画像の画像情報に応じて定まる値（抽出領域の輝度または色成分の平均値）を合成領域に指定された合成方法の内容を切り替える閾値に設定する。ステップＳ５０２の後、撮像装置１は、ステップＳ５０３へ移行する。
以上説明した本発明の実施の形態１の変形例１によれば、閾値指定部３０３が画像情報抽出部４０２によって複数の画像において最も古い画像に対して抽出した画像情報に応じて定まる値を閾値に指定するので、複雑な設定を行うことなく、抽出領域のみ指定することで、ユーザの創作意図を反映した合成画像を生成することができる。
（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。上述した実施の形態１では、画像情報としてＹＲＧＢ（輝度成分、Ｒ成分、Ｇ成分およびＢ成分）を用いていたが、本実施の形態１の変形例２は、画像情報として時間的に並ぶ画像群において移動する被写体の移動量を用いる。また、本実施の形態１の変形例２に係る撮像装置は、上述した実施の形態１に係る撮像装置１と同様の処理を行うため、本実施の形態１の変形例２に係る撮像装置が実行する処理の詳細については説明を省略し、本実施の形態１の変形例２に係る撮像装置が実行する処理の概要について説明する。以下においては、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔画像情報抽出の概要〕
図１６は、撮像装置１が時刻Ｔで生成した画像の一例を示す図である。図１７は、撮像装置１が時刻Ｔから所定時間ｔ経過後に生成した画像の一例を示す図である。図１８は、画像情報処理部４０による処理を模式的に説明する図である。なお、図１７は、撮像装置１が画像ＰＴを生成した同じ位置で所定時間ｔ経過後に生成した画像であるため、画像ＰＴ＋ｔに写る被写体の星が画像ＰＴから移動している。
図１６〜図１８に示すように、入力部２５からの指示信号に応じて、画像情報を抽出する抽出領域Ｒ１０が指定された場合、画像情報抽出部４０２は、画像ＰＴおよび画像ＰＴ＋ｔに基づいて、抽出領域Ｒ１０において移動した被写体（星）の移動量を抽出する。具体的には、画像情報抽出部４０２は、抽出領域Ｒ１０において移動した被写体（星）の移動量を画素数（ピクセル数）によって数値化し、この数値化した値を画像情報として抽出する。例えば、図１６〜図１８に示すように、画像情報抽出部４０２は、時刻Ｔから所定時間ｔ経過後の時刻Ｔ＋ｔにおいて、抽出領域Ｒ１０を移動する複数の被写体の各々の移動量の平均が１００ピクセルである場合、抽出領域Ｒ１０における画像情報として１００ピクセルを抽出する。この場合、画像情報抽出部４０２は、画像ＰＴおよび画像ＰＴ＋ｔに基づいて、抽出領域Ｒ１０における所定値以上の輝度を有する画素または領域の移動量を算出することによって画像情報を抽出する。そして、表示制御部４０３は、画像情報抽出部４０２によって抽出された画像情報Ａ２０を画像ＰＴ＋ｔに重畳して表示部２４に表示する。これにより、ユーザは、直感的に被写体の移動量を把握することができる。
〔合成設定処理の概要〕
次に、合成設定処理の概要について説明する。図１９は、合成設定処理の概要を模式的に説明する図である。
図１９に示すように、ユーザは、入力部２５を介して、合成領域Ｒ１に対する合成方法、合成方法の内容を切り替える閾値および合成領域Ｒ１以外の合成方法の各々を指定する。より具体的には、ユーザは、入力部２５を介して、合成領域Ｒ１以外の非選択領域に比較明合成処理を指定し、かつ、合成領域Ｒ１を指定する。この場合、合成領域指定部３０１は、入力部２５から入力される指示信号に応じて、合成領域Ｒ１を指定する。
続いて、ユーザは、入力部２５を介して、合成領域Ｒ１における合成方法を指定する。この場合、合成方法指定部３０２は、入力部２５から入力される指示信号に応じて、合成領域Ｒ１における合成方法を指定する。例えば、合成方法指定部３０２は、合成領域Ｒ１に対して、比較明合成および比較暗合成を指定する。
その後、ユーザは、入力部２５を介して、合成領域Ｒ１に指定した合成方法の内容を切り替える閾値を指定する。例えば、ユーザは、図１８において表示された画像情報に基づいて、合成領域Ｒ１に指定した合成方法の内容を切り替える閾値を指定する。例えば、図１８において被写体が１００ピクセル移動する場合、２００ピクセルを閾値に指定する。この場合、閾値指定部３０３は、入力部２５から入力される指示信号に応じて、合成方法指定部３０２によって合成領域Ｒ１に指定された合成方法の内容を切り替える閾値を指定する。これにより、合成領域Ｒ１において２００ピクセル以上で大きく移動する被写体（例えば星よりも速く移動する被写体）は、合成処理部３０５によって比較暗合成が行われる一方、合成領域Ｒ１において２００ピクセル未満で小さく移動する被写体（例えば星を含めてゆっくり移動する被写体）は、合成処理部３０５によって比較明合成が行われる。
〔合成処理の概要〕
次に、合成処理部３０５による合成処理の概要について説明する。図２０は、従来の比較明合成処理によって合成した場合における合成画像の遷移を模式的に示す図である。図２１は、合成処理部３０５が合成処理によって生成した合成画像の遷移を模式的に示す図である。
図２０に示すように、従来の比較明合成処理では、撮像装置１の撮影途中に飛行機Ｋ１０が映りこんだ場合、飛行機Ｋ１０のライトＬ１が順次合成されている（画像Ｐ３１→画像Ｐ３２→画像Ｐ３３→画像Ｐ３４）。ユーザは、星を主要被写体として撮影しているため、飛行機Ｋ１０のライトＬ１の軌跡が創作意図にそぐわない画像Ｐ３４（合成画像）となり、撮影が失敗となる。
これに対して、図２１に示すように、合成処理部３０５は、上述した図１９において合成領域指定部３０１によって指定された合成領域Ｒ１に、閾値指定部３０３によって指定された閾値および合成方法指定部３０２によって指定された合成方法によって順次合成する（画像Ｐ４１→画像Ｐ４２→画像Ｐ４３→画像Ｐ４４）。図２１に示すように、飛行機Ｋ１０は、星よりも移動速度が速いため、コマ毎の移動量が２００ピクセル以上となる。このため、合成処理部３０５は、飛行機Ｋ１０のライトＬ１の軌跡に対して比較暗合成を行う。この場合、合成処理部３０５は、合成領域Ｒ１の背景の星空が飛行機Ｋ１０のライトＬ１よりも暗いので（輝度が小さい）、飛行機Ｋ１０のライトＬ１を合成しない。これにより、合成処理部３０５は、星の光の軌跡が映るとともに、不要な飛行機Ｋ１０のライトＬ１の軌跡が映らない画像Ｐ４４（合成画像）を生成する。この結果、撮影者の創作意図に沿った画像Ｐ４４を生成することができる。
以上説明した本発明の実施の形態１の変形例２によれば、ユーザの創作意図を反映した合成画像を生成することができる。
なお、本発明の実施の形態１の変形例２では、閾値指定部３０３が指定する移動量に、ＹＲＧＢ成分を合わせて追加してもよい。例えば、飛行機Ｋ１０のライトは、様々な色のものがある一方、星の色は、限られているので、色（ＲＧＢ成分）に対して閾値を指定することで、遠方を飛行しており移動量が星と同じか小さい飛行機の場合であっても、飛行機のライトの軌跡を除外して合成した合成画像を生成することができる。
（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３について説明する。本実施の形態１の変形例３は、撮像装置が実行する処理が異なる。具体的には、本実施の形態１の変形例３は、表示部が合成処理部によって合成処理が終了した合成画像を表示している際に、入力部から合成方法の変更を指示する指示信号が入力された場合、指定された合成領域、合成方法および閾値を変更して再度、合成画像を生成する。以下においては、本実施の形態１の変形例３に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔撮像装置の処理〕
図２２は、本実施の形態１の変形例３に係る撮像装置１が実行する処理の概要を示すフローチャートである。図２２において、ステップＳ６０１〜ステップＳ６１０は、上述した図２のステップＳ１０１〜ステップＳ１１０それぞれに対応する。
ステップＳ６１１において、入力部２５から合成方法を変更する指示信号が入力された場合（ステップＳ６１１：Ｙｅｓ）、撮像装置１は、後述するステップＳ６１２へ移行する。これに対して、入力部２５から合成方法を変更する指示信号が入力されていない場合（ステップＳ６１１：Ｎｏ）、撮像装置１は、後述するステップＳ６１４へ移行する。
ステップＳ６１２およびステップＳ６１３は、上述した図２のステップＳ１０２およびステップＳ１０３それぞれに対応する。この場合、ユーザは、撮影結果である合成画像を見ながら合成画像の設定および合成方法を変更することができる。ステップＳ６１３の後、撮像装置１は、後述するステップＳ６１４へ移行する。ステップＳ６１４〜ステップＳ６１６は、上述した図２のステップＳ１１１〜ステップＳ１１３それぞれに対応する。
ステップＳ６１７において、入力部２５を介して合成方法を変更する指示信号が入力された場合（ステップＳ６１７：Ｙｅｓ）、撮像装置１は、後述するステップＳ６１８へ移行する。これに対して、入力部２５を介して合成方法を変更する指示信号が入力されていない場合（ステップＳ６１７：Ｎｏ）、撮像装置１は、本処理を終了する。
ステップＳ６１８およびステップＳ６１９は、上述した図２のステップＳ１０２およびステップＳ１０３それぞれに対応する。ステップＳ６２０は、上述した図２のステップＳ１０７に対応する。ステップＳ６２１およびステップＳ６２２は、上述した図２のステップＳ１１２およびステップＳ１１３それぞれに対応する。
ステップＳ６２３において、入力部２５を介して合成方法を変更する指示信号が入力された場合（ステップＳ６２３：Ｙｅｓ）、撮像装置１は、上述したステップＳ６１８へ移行する。これに対して、入力部２５を介して合成方法を変更する指示信号が入力されていない場合（ステップＳ６２３：Ｎｏ）、撮像装置１は、本処理を終了する。
以上説明した本発明の実施の形態１の変形例３によれば、撮影途中であっても、入力部２５を介して合成方法および閾値を変更することができるので、ユーザの創作意図を反映した合成画像を生成することができる。
また、本発明の実施の形態１の変形例３によれば、撮影後であっても、入力部２５を介して合成方法および閾値を変更することができるので、ユーザの創作意図を反映した合成画像を生成することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、上述した実施の形態１に係る撮像装置１と構成が異なるうえ、実行する合成設定処理が異なる。具体的には、本実施の形態２に係る撮像装置は、ユーザによって指定された合成領域が複数指定された場合において、指定された複数の合成領域が重なるとき、合成領域に指定された優先度に応じた合成方法によって合成画像を生成する。以下においては、本実施の形態２に係る撮像装置の構成を説明後、本実施の形態２に係る撮像装置が実行する合成設定処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔撮像装置の構成〕
図２３は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。図２３に示す撮像装置１ａは、上述した実施の形態１に係る撮像装置１の画像処理部２０に換えて、画像処理部２０ａを備える。画像処理部２０ａは、上述した実施の形態１に係る画像処理部２０の構成に加えて、優先度指定部３０６を有する。
優先度指定部３０６は、合成領域指定部３０１によって指定された複数の合成領域の各々の優先度を指定する。具体的には優先度指定部３０６は、合成領域指定部３０１によって指定された複数の合成領域の少なくとも一部が重複している場合において、この重複している重複領域についての優先度を指定する。
〔合成設定処理〕
次に、撮像装置１ａが実行する合成設定処理について説明する。図２４は、撮像装置１ａが実行する合成設定処理の概要を示すフローチャートである。図２４において、ステップＳ７０１〜ステップＳ７０４は、上述した図７のステップＳ３０１〜ステップＳ３０４それぞれに対応する。
ステップＳ７０５において、合成領域指定部３０１によって指定された合成領域の重複がある場合（ステップＳ７０５：Ｙｅｓ）、撮像装置１ａは、後述するステップＳ７０６へ移行する。これに対して、合成領域指定部３０１によって指定された合成領域の重複がない場合（ステップＳ７０５：Ｎｏ）、撮像装置１ａは、図２のメインルーチンへ戻る。
ステップＳ７０６において、優先度指定部３０６は、合成領域指定部３０１によって指定された複数の合成領域の各々の優先度を指定する。具体的には、図２５に示すように、優先度指定部３０６は、合成領域指定部３０１によって指定された合成領域Ｒ１と合成領域Ｒ２とが重複している場合において、この重複している重複領域Ｒ３についての優先度を指定する。例えば、ユーザが入力部２５を介して合成領域Ｒ１の優先度を「１」に指定し、合成領域Ｒ２の優先度を「２」に指定した場合、優先度指定部３０６は、入力部２５からの指示信号に応じて、合成領域Ｒ１の優先度ａ１を「１」に指定するとともに、合成領域Ｒ２の優先度ａ２を「２」に指定する。表示制御部４０３は、合成領域Ｒ１および合成領域Ｒ２の各々に設定された閾値、合成方法および優先度に関する情報Ａ４０をライブビュー画像ＬＶ１上に重畳して表示部２４に表示させる。その後、画像合成部３０ａは、重複領域Ｒ３に対して、合成領域Ｒ１に設定された閾値および合成方法によって合成が行われる。
以上説明した本発明の実施の形態２によれば、合成領域が２以上指定された場合において、互いの少なくとも一部の領域が重なる重複領域が発生したときであっても、優先度指定部３０６の優先度に応じて、合成処理部３０５が合成するので、ユーザの創作意図を反映した合成画像を生成することができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態２に係る撮像装置１ａの構成と異なるうえ、合成設定処理が異なる。具体的には、本実施の形態３では、移動する被写体を追尾しながら合成画像を生成する。以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３に係る撮像装置が実行する合成設定処理について説明する。なお、上述した実施の形態２に係る撮像装置１ａと同一の構成には同一の符号を付して説明を省略する。
〔撮像装置の構成〕
図２６は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。図２６に示す撮像装置１ｂは、上述した実施の形態２に係る撮像装置１ａの画像処理部２０ａに換えて、画像処理部２０ｂを備える。画像処理部２０ｂは、上述した実施の形態２に係る画像処理部２０ａの構成に加えて、被写体指定部６０と、被写体追尾部７０と、を備える。
被写体指定部６０は、入力部２５から入力される指示信号に応じた画像内の被写体を含む被写体を追尾被写体として指定する。
被写体追尾部７０は、被写体指定部６０によって指定された被写体の特徴量を抽出し、この特徴量に基づいて、撮像部１０が連続的に生成する複数の画像データに対応する複数の画像の各々に写る被写体が写る位置を含む被写体領域を順次追尾する。ここで、特徴量とは、輝度、色、エッジおよびコントラスト等である。また、表示制御部４０３は、被写体追尾部７０による追尾結果を画像に重畳して表示部２４に表示させてもよい。
〔合成設定処理〕
次に、撮像装置１ｂが実行する合成設定処理について説明する。図２７は、撮像装置１ｂが実行する合成設定処理の概要を示すフローチャートである。図２７において、ステップＳ８０１〜ステップＳ８０４は、上述した図７のステップＳ３０１〜ステップＳ３０４それぞれに対応する。
ステップＳ８０５において、入力部２５から合成領域指定部３０１によって指定された合成領域の追尾指定を指示する指示信号があった場合（ステップＳ８０５：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ８０６へ移行する。これに対して、入力部２５から合成領域指定部３０１によって指定された合成領域の追尾指定を指示する指示信号がなかった場合（ステップＳ８０５：Ｎｏ）、撮像装置１ｂは、図２のメインルーチンへ戻る。
ステップＳ８０６において、被写体指定部６０は、入力部２５から入力される指示信号に応じて撮像部１０によって連続的に生成される画像群において追尾する被写体を指定する。具体的には、図２８に示すように、合成領域指定部３０１によって被写体Ｋ２００に合成領域Ｒ１００が指定されている場合において、入力部２５から被写体Ｋ２００を追尾被写体として指定する指示信号が入力されたとき、被写体指定部６０は、被写体Ｋ２００を追尾被写体として指定する。この場合において、合成領域指定部３０１は、被写体追尾部７０によって追尾された追尾結果に基づいて、撮像部１０によって連続的に生成される画像毎に、被写体Ｋ２００を含む合成領域Ｒ１００およびを移動させながら合成領域Ｒ１００（被写体Ｋ２００）の位置を追尾しながら指定する。さらに、表示制御部４０３は、被写体指定部６０によって指定された被写体を含む合成領域を画像Ｐ１００上に重畳して表示部２４に表示させる。さらにまた、表示制御部４０３は、合成領域以外の合成方法に係る情報をＡ２００、合成領域Ｒ１００に対する閾値、合成方法および追尾の有無に関する情報Ａ２００を画像Ｐ１００に重畳して表示部２４に表示させる。
続いて、入力部２５から合成領域指定部３０１によって指定された合成領域の追尾指定を指示する指示信号があった場合（ステップＳ８０７：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ８０８へ移行する。これに対して、入力部２５から合成領域指定部３０１によって指定された合成領域の追尾指定を指示する指示信号がなかった場合（ステップＳ８０７：Ｎｏ）、撮像装置１ｂは、図２のメインルーチンへ戻る。
ステップＳ８０８において、被写体指定部６０は、入力部２５から入力される指示信号に応じて撮像部１０によって連続的に生成される画像群において追尾する被写体を指定する。具体的には、図２８に示すように、合成領域指定部３０１によって被写体Ｋ２００および被写体Ｋ２０１の各々に合成領域Ｒ１００および合成領域Ｒ１０１が指定されている場合において、入力部２５から被写体Ｋ２０１を追尾被写体としてさらに指定する指示信号が入力されたとき、被写体指定部６０は、被写体Ｋ２０１を追尾被写体としてさらに指定する。この場合において、合成領域指定部３０１は、被写体追尾部７０によって追尾された追尾結果に基づいて、撮像部１０によって連続的に生成される画像毎に、被写体Ｋ２００および被写体Ｋ２０１の各々を含む合成領域Ｒ１００および合成領域Ｒ１０１を移動させながら合成領域Ｒ１００（被写体Ｋ２００）および合成領域Ｒ１０１（被写体Ｋ２０１）の位置を追尾しながら指定する。さらに、表示制御部４０３は、被写体指定部６０によって指定された被写体を含む合成領域を画像Ｐ１００上に重畳して表示部２４に表示させる。さらにまた、表示制御部４０３は、合成領域以外の合成方法に係る情報をＡ１００、合成領域Ｒ１００に対する閾値、合成方法および追尾の有無に関する情報Ａ２００および合成領域Ｒ１０１に対する閾値、合成方法および追尾の有無に関する情報Ａ２０１を画像Ｐ１００に重畳して表示部２４に表示させる。
続いて、入力部２５から合成領域指定部３０１によって指定された合成領域の追尾指定を指示する指示信号があった場合（ステップＳ８０９：Ｙｅｓ）、撮像装置１ｂは、上述したステップＳ８０８へ戻る。これに対して、入力部２５から合成領域指定部３０１によって指定された合成領域の追尾指定を指示する指示信号がなかった場合（ステップＳ８０９：Ｎｏ）、撮像装置１ｂは、後述するステップＳ８１０へ移行する。
ステップＳ８１０において、優先度指定部３０６は、合成領域指定部３０１によって指定された複数の合成領域の各々の優先度を指定する。ステップＳ８０７の後、撮像装置１ｂは、図２のメインルーチンへ戻る。
〔合成処理の概要〕
次に、上述した合成設定処理によって設定された画像合成部３０ａによる合成処理の概要について説明する。図２９は、撮像装置１ｂが連続的に生成した画像群の一例を示す図である。図３０は、画像合成部３０ａによって生成された合成画像の遷移を模式的に示す図である。なお、図３０において、合成方法指定部３０２によって合成領域Ｒ１００，Ｒ１０１に置換合成処理が指定され、合成領域Ｒ１００，Ｒ１０１以外の領域に平均合成処理が指定されている。
図２９に示すように、合成領域指定部３０１は、被写体追尾部７０の追尾結果に基づいて、コマ毎に合成領域を移動する（画像Ｐ１００→画像Ｐ１０１→画像Ｐ１０２）。そして、図３０に示すように、合成処理部３０５は、合成領域Ｒ１００，Ｒ１０１に対して、置換合成処理を行い、合成領域Ｒ１００，Ｒ１０１以外の領域に対して、平均合成処理を行う。これにより、合成処理部３０５は、合成領域Ｒ１００，Ｒ１０１の画像が背景に換えて、観覧車の画像に置き換えられ、合成領域Ｒ１００，Ｒ１０１以外を平均合成処理によって合成する。例えば、画像間で移動する飛行機Ｋ１００や観覧車の支柱が薄く写る（画像Ｐ２００→画像Ｐ２０１）。この場合において、合成処理部３０５は、飛行機Ｋ１００と合成領域Ｒ１０１とが重複した場合、合成領域Ｒ１０１を優先する。このため、合成処理部３０５は、合成領域Ｒ１０１の画像が観覧車の画像に置き換えられる。
その後、合成処理部３０５は、合成領域Ｒ１００と合成領域Ｒ１０１とが発生した場合、合成領域Ｒ１００と合成領域Ｒ１０１とが重複した重複領域に対する合成処理の内容を、優先度指定部３０６によって指定された優先度が高い合成領域Ｒ１００の合成処理によって合成処理を行う。具体的には、図３０に示すように、合成処理部３０５は、合成領域Ｒ１００に指定された合成処理の内容を優先して合成処理を行う。これにより、被写体Ｋ２００（観覧車）が合成され、被写体Ｋ２０１（観覧車）が合成されない合成画像Ｐ２０２となる。
以上説明した本発明の実施の形態３によれば、被写体追尾部７０が被写体指定部６０によって指定された被写体が合成領域に含まれている場合に、複数の画像の各々において被写体が写る位置を含む被写体領域を順次追尾し、合成領域指定部３０１が被写体追尾部７０によって順次追尾された被写体領域を合成領域に指定し、合成処理部３０５が合成領域に指定された２つの合成方法を切り替えながら複数の画像を順次合成して１つの合成データを生成するので、ユーザの創作意図を反映した合成画像を生成することができる。
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４は、上述した実施の形態１に係る撮像装置と構成が異なるうえ、撮像装置が実行する合成設定処理が異なる。具体的には、本実施の形態４では、自動で合成領域、合成方法および閾値の各々を指定する。以下においては、本実施の形態４に係る撮像装置の構成を説明後、本実施の形態４に係る撮像装置が実行する合成設定処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔撮像装置の構成〕
図３１は、本発明の実施の形態４に係る撮像装置の機能構成を示すブロック図である。図３１に係る撮像装置１ｄは、上述した実施の形態１に係る撮像装置１の記録部２１に換えて、記録部２１ｄを備える。記録部２１ｄは、上述した実施の形態１に係る記録部２１の構成に加えて、合成情報記録部２１ｂを有する。
合成情報記録部２１ｂは、画像情報抽出部４０２によって抽出された画像情報に基づいて設定される合成モードと、画像合成部３０が合成する合成領域、合成方法および閾値の各々を指定するための合成情報を記録する。
図３２は、合成情報記録部２１ｂが記録する合成情報の一例を模式的に示す図である。図３２に示すように、合成情報Ｔ１には、各合成モードと、合成範囲と、画像情報（移動量）と、合成方法とが対応付けられて記録されている。具体的には、合成モードが星空モードの場合、合成範囲に暗部、移動量が小、合成方法に比較明合成の各々が記載される。星空モードは、図３３の画像Ｐ３００のような場合、合成範囲が暗部（黒塗りの領域）に設定され、被写体が星であり、移動量が小さいため、閾値としての移動量が小（例えば２００ピクセル）に設定され、合成合法が比較明合成に設定される。また、花火モードは、図３３の画像Ｐ３００のような場合、合成範囲が全体（全領域）に設定され、被写体が花火であり、移動量が大きいため、閾値としての移動量が大（例えば５０ピクセル）に設定され、合成方法が比較明合成に設定される。さらに、夜景モードは、図３３の画像Ｐ３００のような場合、合成範囲を明部（白い領域）に設定され、被写体がビルであり、移動しないため、閾値としての移動量を０に設定され、合成方法を比較明合成に設定される。なお、図３２では、星空モード、花火モードおよび夜景モードを一例として記載したが、これに限定されることなく、例えば夜景観覧車モードや夜景電車モードがあってもよい。
〔合成設定処理〕
次に、撮像装置１ｄが実行する合成設定処理について説明する。図３４は、撮像装置１ｄが実行する合成設定処理の概要を示すフローチャートである。
図３４に示すように、表示制御部４０３は、上述した図４の画像情報抽出処理と合成情報記録部２１ｂが記録する合成情報とに基づいて、現在の撮影シーンにおける推奨モードを表示部２４に表示させる（ステップＳ９０１）。具体的には、図３５に示すように、表示制御部４０３は、推奨モードの一覧を示すメニュー画像Ｇ１を表示部２４に表示させる。メニュー画像Ｇ１には、星空モードＭ１１、花火モードＭ１２および夜景モードＭ１３が含まれる。
続いて、入力部２５を介して表示部２４が表示するメニュー画像Ｇ１のいずれかのモードが選択された場合（ステップＳ９０２：Ｙｅｓ）、撮像装置１ｄは、ステップＳ９０３へ移行する。これに対して、入力部２５を介して表示部２４が表示するメニュー画像Ｇ１のいずれかのモードが選択されていない場合（ステップＳ９０２：Ｎｏ）、撮像装置１ｄは、ステップＳ９０１へ戻る。
ステップＳ９０３において、合成領域指定部３０１は、入力部２５を介して選択されたモードに応じた領域を合成領域に指定する（ステップＳ９０３）。
続いて、閾値指定部３０３は、入力部２５を介して選択されたモードに応じた閾値を合成領域に指定する（ステップＳ９０４）。
その後、合成方法指定部３０２は、入力部２５を介して選択されたモードに応じた合成方法を合成領域に指定する（ステップＳ９０５）。ステップＳ９０５の後、撮像装置１ｄは、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態４によれば、ユーザの創作意図を反映した合成画像を生成することができる。
（その他の実施の形態）
また、本発明に係る撮像装置や画像処理装置は、デジタルスチルカメラ以外にも、デジタルビデオカメラ、監視カメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。
また、本発明に係る撮像装置および画像処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明に係る撮像装置および画像処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
１，１ａ，１ｂ，１ｄ・・・撮像装置；１０・・・撮像部；１１・・・レンズ部；１２・・・絞り；１３・・・シャッタ；１４・・・撮像素子；１５・・・Ａ／Ｄ変換部；１６・・・駆動制御部；２０，２０ａ，２０ｂ・・・画像処理部；２１，２１ｄ・・・記録部；２１ａ・・・プログラム記録部；２１ｂ・・・合成情報記録部；２２・・・メモリＩ／Ｆ；２３・・・記録媒体；２４・・・表示部；２５・・・入力部；２６・・・バス；２７・・・制御部；３０，３０ａ・・・画像合成部；４０・・・画像情報処理部；５０・・・現像処理部；６０・・・被写体指定部；７０・・・被写体追尾部；３０１・・・合成領域指定部；３０２・・・合成方法指定部；３０３・・・閾値指定部；３０４・・・閾値判定部；３０５・・・合成処理部；３０５ａ・・・比較明合成処理部；３０５ｂ・・・比較暗合成処理部；３０５ｃ・・・加算合成処理部；３０５ｄ・・・平均合成処理部；３０５ｅ・・・置換合成処理部；３０６・・・優先度指定部；４０１・・・情報領域指定部；４０２・・・画像情報抽出部；４０３・・・表示制御部

Claims (13)

  1. 複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも２つの合成方法を指定する合成方法指定部と、
    前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出部と、
    前記画像情報抽出部が順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも２つの合成方法を切り替えながら前記複数の画像を順次合成して１つの合成データを生成する合成処理部と、
    を備えることを特徴とする画像処理装置。
  2. 前記所定の領域を、前記複数の画像の各々に１つ以上指定する合成領域指定部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  3. 前記合成方法指定部が前記所定の領域に指定した前記少なくとも２つの合成方法を切り替えるための閾値を指定する閾値指定部と、
    前記画像情報抽出部によって抽出された前記画像情報に応じて定まる値が前記閾値以上であるか否かを判定する閾値判定部と、
    をさらに備え、
    前記合成処理部は、前記閾値判定部の判定結果に基づいて、前記合成データを生成することを特徴とする請求項２に記載の画像処理装置。
  4. 前記閾値指定部は、前記画像情報抽出部が前記複数の画像において最も古い前記画像に対して抽出した前記画像情報に応じて定まる値を前記閾値に指定することを特徴とする請求項３に記載の画像処理装置。
  5. 前記合成領域指定部によって前記所定の領域が２つ以上指定された場合において、互いの少なくとも一部の領域が重なる重複領域が発生したとき、該重複領域に対する前記合成方法の優先度を指定する優先度指定部をさらに備え、
    前記合成処理部は、前記優先度指定部によって指定された前記優先度の高い前記合成方法によって前記合成データを生成することを特徴とする請求項２〜４のいずれか１つに記載の画像処理装置。
  6. 前記複数の画像の各々に写る特定の被写体を指定する被写体指定部と、
    前記被写体指定部によって指定された前記被写体が前記所定の領域に含まれている場合に、前記複数の画像の各々において前記被写体が写る位置を含む被写体領域を順次追尾する被写体追尾部と、
    をさらに備え、
    前記合成領域指定部は、前記被写体追尾部が順次追尾した前記被写体領域を前記所定の領域に指定することを特徴とする請求項２〜５のいずれか１つに記載の画像処理装置。
  7. 前記合成方法は、比較明合成処理、比較暗合成処理、加算合成処理、平均合成処理、置換合成処理および非合成処理のいずれかであることを特徴とする請求項１〜６のいずれか１つに記載の画像処理装置。
  8. 前記画像情報は、輝度、色成分、画像データ間における画素値の変化量および画像データ間における被写体の移動量のいずれかであることを特徴とする請求項１〜７のいずれか１つに記載の画像処理装置。
  9. 前記複数の画像の各々を表示可能な表示部と、
    前記画像情報抽出部が抽出した前記画像情報を前記表示部に表示させる表示制御部と、
    をさらに備えたことを特徴とする請求項１〜８のいずれか１つに記載の画像処理装置。
  10. 前記複数の画像の各々を表示可能な表示部と、
    前記合成方法と前記閾値を前記表示部に表示させる表示制御部と、
    をさらに備えることを特徴とする請求項３または４に記載の画像処理装置。
  11. 請求項１〜９のいずれか１つに記載の画像処理装置と、
    被写体を連続的に撮像して画像データを順次生成可能な撮像部と、
    前記合成処理部が生成した前記合成データを順次記録する記録部と、
    を備え、
    前記合成処理部は、前記撮像部が前記画像データを生成する毎に、前記記録部が記録する直前の前記合成データと合成して、新たな前記合成データを生成して前記記録部が記録する前記合成データを更新することを特徴とする撮像装置。
  12. 画像処理装置が実行する画像処理方法であって、
    複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも２つの合成方法を指定する合成方法指定ステップと、
    前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出ステップと、
    前記画像情報抽出ステップにおいて順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも２つの合成方法を切り替えながら前記複数の画像を順次合成して１つの合成データを生成する合成処理ステップと、
    を含むことを特徴とする画像処理方法。
  13. 画像処理装置に、
    複数の画像データに対応する複数の画像の各々の所定の領域に、該複数の画像の各々を合成するための少なくとも２つの合成方法を指定する合成方法指定ステップと、
    前記複数の画像の各々の前記所定の領域に含まれる画像情報を順次抽出する画像情報抽出ステップと、
    前記画像情報抽出ステップにおいて順次抽出した前記画像情報に基づいて、前記所定の領域に指定された前記少なくとも２つの合成方法を切り替えながら前記複数の画像を順次合成して１つの合成データを生成する合成処理ステップと、
    を実行させることを特徴とするプログラム。
JP2016143771A 2016-07-21 2016-07-21 画像処理装置、撮像装置、画像処理方法およびプログラム Active JP6718762B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016143771A JP6718762B2 (ja) 2016-07-21 2016-07-21 画像処理装置、撮像装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016143771A JP6718762B2 (ja) 2016-07-21 2016-07-21 画像処理装置、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018014651A true JP2018014651A (ja) 2018-01-25
JP6718762B2 JP6718762B2 (ja) 2020-07-08

Family

ID=61020460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016143771A Active JP6718762B2 (ja) 2016-07-21 2016-07-21 画像処理装置、撮像装置、画像処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6718762B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189510A1 (ja) * 2019-03-15 2020-09-24 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2020202452A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189510A1 (ja) * 2019-03-15 2020-09-24 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2020202452A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6718762B2 (ja) 2020-07-08

Similar Documents

Publication Publication Date Title
JP5186021B2 (ja) 撮像装置、画像処理装置、及び撮像方法
KR101566081B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
JP2014120844A (ja) 画像処理装置および撮像装置
JP2009017078A (ja) ディジタル・スチル・カメラおよびその動作制御方法
US10530986B2 (en) Image capturing apparatus, image capturing method, and storage medium
KR20160044945A (ko) 이미지 촬영 장치
US10931869B2 (en) Imaging apparatus and control method therefor
JP6718762B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5098949B2 (ja) 電子カメラおよび画像処理プログラム
JP2011044838A (ja) 撮影装置および方法、並びにプログラム
CN106101495B (zh) 摄像装置以及摄像装置的控制方法
US9641757B2 (en) Image processing apparatus that sets moving image area, image pickup apparatus, and method of controlling image processing apparatus
JP4818130B2 (ja) 撮像装置及びその制御方法
JP6091311B2 (ja) 撮像装置
JP5951988B2 (ja) 画像合成装置及び画像合成方法
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP5878063B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2011155692A (ja) 撮像装置及びそのプログラム
US20220294991A1 (en) Focus adjustment device and focus adjustment method
JP5040669B2 (ja) 撮像装置
JP5441656B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6211139B2 (ja) 画像合成装置
JP6218865B2 (ja) 撮像装置および撮像方法
JP6338463B2 (ja) 情報機器、画像処理方法およびプログラム
JP6104022B2 (ja) 撮像装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R151 Written notification of patent or utility model registration

Ref document number: 6718762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250