JP2018007064A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】複数回の撮像の結果として得られる画像の合成を行う場合の合成後の画像の画質を向上することができる撮像装置及び撮像方法を提供すること。【解決手段】撮像装置は、対象物を撮像して対象物に係る画像データを得る撮像部１０２と、画像データにおける対象物の動きを検出する動き検出部１１２５と、動きの検出の結果、対象物が止まっているとみなされるときに、撮像部１０２の撮像条件を変更しながら複数回の撮像を行わせ、複数回の撮像によって得られた画像データを合成する処理を行う制御部１１２とを備える。【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

複数回の撮像の結果として得られた画像を合成する各種の画像処理が知られている。例えば、ハイダイナミックレンジ（ＨＤＲ）合成処理では、露光量の異なる複数回の撮像の結果として得られた画像を合成することにより、画像のダイナミックレンジが拡大される（例えば、特許文献１）。また、深度合成処理では、合焦状態の異なる複数回の撮像の結果として得られた画像を合成することにより、画像全体の焦点状態が改善される。

特開平８−３７６２８号公報

複数回の撮像の結果として得られた画像を合成する場合、状況によって、例えば、各撮像の間に対象物に動きがある場合等の合成が困難になることがあった。

本発明は、前記の事情に鑑みてなされたもので、複数回の撮像の結果として得られる画像の合成を行う場合の合成後の画像の画質を向上することができる撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、対象物を撮像して前記対象物に係る画像データを得る撮像部と、前記画像データにおける前記対象物の動きを検出する動き検出部と、前記動き検出部による前記対象物の動きの検出の結果、前記対象物が止まっているとみなされるときに、前記撮像部の撮像条件を変更しながら複数回の前記撮像を行わせ、複数回の前記撮像によって得られた画像データを合成する処理を行う制御部とを具備する。

前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、前記画像データにおける前記対象物の動きを検出することと、前記対象物の動きの検出の結果、前記対象物が止まっているとみなされるときに、決定した適用処理に応じて前記撮像部の撮像条件を変更しながら複数回の前記撮像を行い、複数回の前記撮像によって得られた画像データを合成することとを具備することを特徴とする。

本発明によれば、複数回の撮像の結果として得られる画像の合成を行う場合の合成後の画像の画質を向上することができる撮像装置及び撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。 撮像装置の静止画撮影モードにおける動作を示すフローチャートである。 シーン判別処理について示すフローチャートである。 画像合成実施判定処理について示すフローチャートである。 フレーム数判定処理について示すフローチャートである。 合成用撮像制御の一例を説明するための図である。 撮像装置の動画撮影モードにおける動作を示すフローチャートである。 合成用撮像制御の変形例を説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。図１に示す撮像装置は、例えばデジタルカメラ、カメラ機能付き携帯電話機、スマートフォンといった各種の携帯端末機器である。図１に示す撮像装置は、撮像部１０２と、表示部１０４と、仮記録部１０６と、記録部１０８と、操作部１１０と、制御部１１２とを有している。

撮像部１０２は、撮像光学系１０２ａと、撮像素子１０２ｂと、駆動部１０２ｃとを有している。撮像光学系１０２ａは、絞り及びレンズ等を有し、図示しない対象物からの光束を撮像素子１０２ｂに入射させる。撮像光学系１０２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１０２ｂは、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、対象物を撮像し、対象物に係る画像データを取得する。撮像素子１０２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１０２ｂは、撮像光学系１０２ａに光軸と直交する平面内で移動可能に構成されていてもよい。駆動部１０２ｃは、制御部１１２による制御に従って、撮像光学系１０２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１０２ｂを駆動したりする。

表示部１０４は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像部１０２で取得された画像データに基づく画像等の各種の画像を表示する。

仮記録部１０６は、ＲＡＭ等の揮発性メモリであり、各種のデータを仮記録するための記録媒体である。仮記録部１０６には、例えば画像合成処理に用いられる画像データが仮記録される。

記録部１０８は、フラッシュメモリ等の不揮発性メモリであり、各種のデータを記録するための記録媒体である。記録部１０８には、例えば撮影動作の結果として得られる画像ファイルが記録される。また、記録部１０８には、撮像装置の制御に用いられるプログラムが記録される。

操作部１１０は、ユーザが撮像装置の操作をするための操作部材である。操作部１１０は、電源スイッチ、レリーズボタン等を操作部材として有している。電源スイッチは、撮像装置の電源のオン／オフの指示を与えるための操作部材である。レリーズボタンは、撮影開始の指示を与えるための操作部材である。また、操作部１１０は、タッチパネル等の他の操作部材を有していてもよい。

制御部１１２は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置の動作を統括的に制御する。制御部１１２は、撮像制御部１１２１としての機能と、表示制御部１１２２としての機能と、画像処理部１１２３としての機能と、シーン判別部１１２４としての機能と、動き検出部１１２５としての機能とを有している。ここで、制御部１１２の各機能は、単一のハードウェア又はソフトウェアによって実現されてもよいし、複数のハードウェア又はソフトウェアによって実現されてもよい。また、一部の機能は、制御部１１２と別個に設けられていてもよい。

撮像制御部１１２１は、撮像部１０２による対象物の撮像動作及び撮像部１０２からの画像データの読み出し動作を制御する。

表示制御部１１２２は、表示部１０４に各種の画像を表示するときの制御をする。

画像処理部１１２３は、画像データに対する各種の画像処理を行う。この画像処理は、ホワイトバランス処理、階調補正処理等を含む。また、この画像処理は、複数の画像データを合成する合成処理を含む。

シーン判別部１１２４は、画像データ及び画像データが撮像されるシーンの判別を行う。例えば、シーン判別部１１２４は、画像データの輝度、対象物に対する合焦状態等を判別する。また、シーン判別部１１２４は、画像データが撮像された際の撮像条件、例えば撮像感度を判別する。ここで挙げたものは一例にすぎない。シーン判別部１１２４は、画像データの色の判別等の各種の判別を行ってもよい。また、シーン判別部１１２４は、撮像距離等の各種の撮像条件の判別を行ってもよい。さらに、ここでは、シーン判別部１１４は、各種のセンサ類の情報を併用して判別を行ってもよい。また、自動で判定せずに手動で設定してもよい。さらには、これは「シーン判定」という言葉以外にも表現可能な技術で代用してもよい。例えば、明るさ判定、撮像判定、画像判定、距離判定、対象物判定と言い直してもよい。また、この結果で、画像処理や合成方法を変更するので、画処理判定、合成判定としてもよい。

動き検出部１１２５は、複数回の撮像の間の対象物の動きを検出する。動き検出部１１２５は、例えば動きベクトルを検出することによって、対象物の動きを検出する。

次に、本実施形態に係る撮像装置の撮影動作について説明する。本実施形態に係る撮像装置は、撮影モードとして静止画撮影モードと動画撮影モードとを有している。静止画撮影モードは、ユーザの撮影指示に従って静止画を撮影するための撮影モードである。動画撮影モードは、ユーザの撮影指示に従って動画を撮影するための撮影モードである。撮影モードの設定は、例えばユーザによる操作部１１０の操作によってなされる。

まず、静止画撮影モードの処理について説明する。図２は、撮像装置の静止画撮影モードにおける動作を示すフローチャートである。図２の処理は、例えば撮像装置の撮影モードが静止画撮影モードに切り替えられたときに開始される。

ステップＳ１において、制御部１１２は、静止画撮影モードがシーン判別モードであるか否かを判定する。本実施形態において、静止画撮影モードは、通常モードとシーン判別モードとを有している。通常モードは、ＨＤＲ合成処理、深度合成処理、ノイズ低減（ＮＲ）合成処理といった複数回の撮像によって得られた複数の画像データの画像合成処理を伴う適用処理を行わないモードである。シーン判別モードは、複数回の撮像によって得られた複数の画像データの画像合成処理を伴う適用処理を行うモードである。本実施形態におけるシーン判別モードでは、シーンの判別結果に応じて、ＨＤＲ合成処理、深度合成処理、ノイズ低減（ＮＲ）処理といった適用処理のなかから適宜に適用処理が選択される。静止画撮影モードを通常モードとするか又はシーン判別モードとするかの設定は、例えばユーザの操作部１１０の操作によって行われる。ステップＳ１において、静止画撮影モードがシーン判別モードでない、すなわち通常モードであると判定されたときには、処理はステップＳ２に移行する。ステップＳ１において、静止画撮影モードがシーン判別モードであると判定されたときには、処理はステップＳ７に移行する。シーン判定は、後述のように、画像を合成処理するかどうかを決めたりもするので、ステップＳ１は、シーン判定モードか、という書き方以外に、合成許可するか、というような表現の分岐でもよい。また、かならず、合成許可する仕様もあり、この分岐なく、必ずステップＳ７に分岐してもよい。

通常モードの処理であるステップＳ２において、制御部１１２は、静止画撮影要求があるか否かを判定する。静止画撮影要求は、例えばユーザによるレリーズボタンの操作又はタッチレリーズ操作によってなされる。ステップＳ２において、静止画撮影要求があると判定されたときには、処理はステップＳ３に移行する。ステップＳ２において、静止画撮影要求がないと判定されたときには、処理はステップＳ４に移行する。

ステップＳ３において、制御部１１２は、静止画撮影を開始する。例えば、制御部１１２は、撮像光学系１０２ａの絞りの設定及び撮像素子１０２ｂの露出時間等を対象物の輝度に応じて設定する。そして、制御部１１２は、撮像部１０２の撮像動作を行わせる。制御部１１２は、撮像動作で得られた画像データに対して必要な画像処理を施して静止画ファイルを作成する。そして、制御部１１２は、作成した静止画ファイルを記録部１０８に記録する。このような静止画撮影動作の後、処理はステップＳ４に移行する。

ステップＳ４において、制御部１１２は、表示用撮像制御を行う。例えば、制御部１１２は、スルー画表示用の絞りの設定及び露出時間の設定で撮像部１０２の撮像動作を行わせる。

ステップＳ５において、制御部１１２は、ステップＳ４の表示用撮像制御の結果として得られた画像データに基づく画像を表示部１０４に表示させる。これにより、スルー画表示が行われる。

ステップＳ６において、制御部１１２は、静止画撮影モードの動作を終了するか否かを判定する。例えば、撮影モードが動画撮影モードに切り替えられたり、撮像装置の電源がオフされたりしたときには、静止画撮影モードの動作を終了すると判定される。ステップＳ６において、静止画撮影モードの動作を終了すると判定されたときには、図２の処理は終了する。ステップＳ６において、静止画撮影モードの動作を終了しないと判定されたときには、処理はステップＳ１に戻る。

シーン判別モードの処理であるステップＳ７において、制御部１１２は、シーン判別処理を行う。以下、シーン判別処理について説明する。図３は、シーン判別処理について示すフローチャートである。これは「シーン判定」という言葉以外にも表現可能な技術で代用してもよい。例えば、明るさ判定、撮像判定、画像判定、距離判定、対象物判定と言い直してもよい。また、「判定」とあっても、自動で判定せずにユーザが手動で設定してもよい。

ステップＳ２１において、制御部１１２は、撮像部１０２を介して得られる画像データにおいて、低レベルの画素と飽和レベルの画素との全画素に対する割合が所定値以上（例えば１０％）であるか、すなわち画像データにおける明暗差が大きいか否かを判定する。１画素のデータが２５６階調で表されるとすると、低レベルの画素は、例えば１６階調以下のデータを有する画素であり、飽和レベルの画素は、例えば２４６階調以上のデータを有する画素である。ステップＳ２１において、低レベルの画素と飽和レベルの画素との割合が所定値以上であると判定されたとき、処理はステップＳ２２に移行する。ステップＳ２１において、低レベルの画素と飽和レベルの画素との割合が所定値以上でないと判定されたとき、処理はステップＳ２３に移行する。

ステップＳ２２において、制御部１１２は、ＨＤＲ合成処理を適用処理として実施することを決定する。その後、処理はステップＳ２３に移行する。ＨＤＲ合成処理は、露出量を異ならせた複数回の撮像によって得られた画像データを合成することによって画像データのダイナミックレンジを拡大する処理である。このようなＨＤＲ合成処理は、明暗差の大きいシーン、すなわち広いダイナミックレンジを必要とするシーンにおいて有効である。

ステップＳ２３において、制御部１１２は、撮像素子１０２ｂに設定されている撮像感度が一定値（例えばＩＳＯ８０００）以上であるか否かを判定する。撮像感度の設定は、例えばユーザによる操作部１１０の操作によってなされる。ステップＳ２３において、撮像素子１０２ｂに設定されている撮像感度が一定値以上であると判定されたときには、処理はステップＳ２４に移行する。ステップＳ２３において、撮像素子１０２ｂに設定されている撮像感度が一定値以上でないと判定されたときには、処理はステップＳ２５に移行する。

ステップＳ２４において、制御部１１２は、ＮＲ合成処理を適用処理として実施することを決定する。その後、処理はステップＳ２５に移行する。ＮＲ合成処理は、複数回の撮像によって得られた画像データを平均化合成することによって画像データのノイズを低減する処理である。このようなＮＲ合成処理は、ノイズの大きいシーンにおいて有効である。例えば、撮像感度が大きくなると、ノイズが大きくなるのでＮＲ合成処理が有効である。実際には、対象物の輝度が低輝度でなければ、ノイズの影響はそれほど大きくならないので、ステップＳ２３においては、対象物の輝度が所定値以下、かつ、撮像感度が所定値以上のときにステップＳ２４において、ＮＲ合成処理を実施することが決定されてもよい。

ステップＳ２５において、制御部１１２は、対象物が焦点深度外であるか否か、すなわち対象物が非合焦状態であるか否かを判定する。対象物は、例えば人物の顔である。例えば、過焦点深度をＨ、焦点距離をｆ、絞り値をＮ、許容錯乱円径をｃとしたとき、対象物に対するデフォーカス量がＨ＝ｆ^２/Ｎｃ以上であるときには、対象物は焦点深度外であると判定される。ステップＳ２５において、対象物が焦点深度外であると判定されたときには、処理はステップＳ２６に移行する。対象物が焦点深度外でないと判定されたときには、図３の処理は終了する。

ステップＳ２６において、制御部１１２は、深度合成処理を適用処理として実施することを決定する。その後、図３の処理は終了する。深度合成処理は、撮像光学系１０２ａの焦点位置を異ならせた複数回の撮像によって得られた画像データを合成することによって画像データの合焦状態を改善する処理である。深度合成処理は、対象物の一部にしか合焦していないようなシーンにおいて有効である。

このように、図３のようなフローチャートの結果で、画像処理や合成方法を変更するので、これを「シーン判定」とせず、画処理判定、合成判定と書いてもよい。ユーザが手動で設定する場合は、合成切り替え処理と表現してもよい。合成処理選択ステップと表現してもよい。合成方法が一種類しかない場合もあり、この場合は切り替えではないので、シーン判定ステップは省略が可能である。

ここで、図２の説明に戻る。シーン判別処理の後のステップＳ８において、制御部１１２は、画像合成実施判定処理を行う。以下、画像合成実施判定処理について説明する。図４は、画像合成実施判定処理について示すフローチャートである。ステップＳ３１において、制御部１１２は、スルー画表示のための撮像によって得られる複数フレームの画像データから各対象物の動きベクトルを算出する。

ステップＳ３２において、制御部１１２は、最大の動きベクトルの大きさが一定値（例えば画像データ上の５ピクセル程度）以下であるか否か、すなわち撮像装置及び対象物の双方が止まっていると見なせる状態であるか否かを判定する。ステップＳ３２において、最大の動きベクトルの大きさが一定値以下であると判定されたときには、処理はステップＳ３３に移行する。ステップＳ３２において、最大の動きベクトルの大きさが一定値以下でないと判定されたときには、図４の処理は終了する。

ステップＳ３３において、制御部１１２は、画像合成処理を実施することを決定する。その後、図４の処理は終了する。すなわち、本実施形態においては、対象物が止まっていると見なせる状態において画像合成処理が実施される。これにより、高い画質で画像合成処理が実施され得る。

ここで、図２の説明に戻る。画像合成実施判定処理の後のステップＳ９において、制御部１１２は、画像合成実施判定処理の結果から、画像合成処理を実施するか否かを判定する。ステップＳ９において、画像合成処理を実施すると判定されたときには、処理はステップＳ１０に移行する。ステップＳ９において、画像合成処理を実施しないと判定されたときには、処理はステップＳ１７に移行する。

ステップＳ１０において、制御部１１２は、撮像フレームレートを判定する。撮像フレームレートは、例えば静止画像の記録モードに応じて設定される。すなわち、多少の応答性を犠牲にしても高画質（高画素数）が要求される記録モードのときには、制御部１１２は、撮像フレームレートを低く（例えば６０ｆｐｓ程度に）設定する。一方、応答性が優先される記録モードのときには、制御部１１２は、撮像フレームレートを高く（例えば２４０ｆｐｓ程度に）設定する。なお、記録モードは、例えばユーザによる操作部１１０の操作によって設定される。

ステップＳ１１において、制御部１１２は、フレーム数判定処理を行う。以下、フレーム数判定処理について説明する。図５は、フレーム数判定処理について示すフローチャートである。ステップＳ４１において、制御部１１２は、ＨＤＲ合成処理を実施するか否かを判定する。ステップＳ４１において、ＨＤＲ合成処理を実施すると判定されたときには、処理はステップＳ４２に移行する。ステップＳ４１において、ＨＤＲ合成処理を実施しないと判定されたときには、処理はステップＳ４３に移行する。

ステップＳ４２において、制御部１１２は、ＨＤＲ合成処理用のフレームを設定する。その後、処理はステップＳ４３に移行する。ＨＤＲ合成処理には、露出量の異なる少なくとも２枚の画像データが必要である。したがって、制御部１１２は、ＨＤＲ合成処理用のフレームとして例えば２フレームを追加する。勿論、ＨＤＲ合成処理用のフレーム数を３フレーム以上としてもよい。

ステップＳ４３において、制御部１１２は、ＮＲ合成処理を実施するか否かを判定する。ステップＳ４３において、ＮＲ合成処理を実施すると判定されたときには、処理はステップＳ４４に移行する。ステップＳ４３において、ＮＲ合成処理を実施しないと判定されたときには、処理はステップＳ４５に移行する。

ステップＳ４４において、制御部１１２は、ＮＲ合成処理用のフレームを設定する。その後、処理はステップＳ４５に移行する。ＮＲ合成処理用のフレーム数は、例えば撮像感度に応じて設定される。例えば、撮像感度がＩＳＯ１６０００以下のときには、制御部１１２は、ＮＲ合成処理用のフレームとして１フレームを追加する。また、撮像感度がＩＳＯ１６０００よりも大きく、ＩＳＯ３２０００以下のときには、制御部１１２は、ＮＲ合成処理用のフレームとして２フレームを追加する。また、撮像感度がＩＳＯ３２０００よりも大きく、ＩＳＯ６４０００以下のときには、制御部１１２は、ＮＲ合成処理用のフレームとして４フレームを追加する。一般に、ＮＲ合成処理においてｎフレームの画像データを合成することにより、ノイズ量は、ルートｎ分の一に低減される。なお、ＮＲ合成処理用のフレーム数の算出手法は、ここで説明したものに限るものではない。

ステップＳ４５において、制御部１１２は、深度合成処理を実施するか否かを判定する。ステップＳ４５において、深度合成処理を実施すると判定されたときには、処理はステップＳ４６に移行する。ステップＳ４５において、深度合成処理を実施しないと判定されたときには、処理はステップＳ４７に移行する。

ステップＳ４６において、制御部１１２は、深度合成処理用のフレームを設定する。その後、処理はステップＳ４７に移行する。例えば、制御部１１２は、フォーカスレンズの駆動時間を算出する。フォーカスレンズの駆動時間は、（深度合成に必要なフォーカスレンズの駆動量）/（単位時間当たりのフォーカスレンズの駆動量）によって算出される。フォーカスレンズの駆動時間の算出後、制御部１１２は、深度合成処理用として追加するフレームの数を算出する。追加するフレームの数は、例えば、（フォーカスレンズの駆動時間）/（１撮像フレーム分の時間）によって算出される。なお、深度合成処理用のフレーム数の算出手法は、ここで説明したものに限るものではない。

ステップＳ４７において、制御部１１２は、総フレーム数を算出する。その後、図５の処理は終了する。総フレーム数は、基本的には、（ＨＤＲ合成処理用のフレーム数）＋（ＮＲ合成処理用のフレーム数）＋（深度合成処理用のフレーム数）によって算出される。ただし、ＨＤＲ合成処理用のフレームと、ＮＲ合成処理用のフレームと、深度合成処理用のフレームとで重複させることができるフレームが存在している場合には、その分だけ総フレーム数は削減され得る。また、総フレーム数には、上限が設けられていてもよい。例えば、スルー画表示において合成処理が行われることを想定した場合、表示部１０４の表示フレームレートよりも短い時間で合成処理が完了する必要がある。この場合、総フレーム数は、表示部１０４の表示フレームレートによって制限される。

ここで、図２の説明に戻る。フレーム数判定処理の後のステップＳ１２において、制御部１１２は、合成用撮像制御を実行する。その後、処理はステップＳ１３に移行する。以下、図６を参照して合成用撮像制御の一例を説明する。合成用撮像制御では、撮像毎に１つ以上の撮像条件を変更しながら撮像が行われる。ここでの撮像条件は、ＨＤＲ合成をするために必要な露出量と、深度合成をするために必要なフォーカスレンズ位置である。なお、図６の四角形は、合成用撮像制御の際の各撮像のタイミングを示している。図６の「露出」は、各撮像のタイミングにおける露出の変更量を示している。−１は、適正露出に対して１段分のアンダー露出であることを示し、＋１は、適正露出に対して１段分のオーバー露出であることを示している。図６の「ＨＤＲ合成」は、各撮像において得られた画像データをＨＤＲ合成処理に使用するか否かを示す。丸印が付されているときには、対応する撮像で得られた画像データがＨＤＲ合成処理に使用される。図６の「ＮＲ合成１」及び「ＮＲ合成２」は、各撮像において得られた画像データをＮＲ合成処理に使用するか否かを示す。なお、「ＮＲ合成１」は、＋１段の露出量の画像データ同士の合成によるＮＲ合成処理であることを示す。「ＮＲ合成２」は、−１段の露出量の画像データ同士の合成によるＮＲ合成処理であることを示す。丸印が付されているときには、対応する撮像で得られた画像データがＮＲ合成処理に使用される。「深度合成」は、各撮像において得られた画像データを深度合成処理に使用するか否かを示す。丸印が付されているときには、対応する撮像で得られた画像データが深度合成処理に使用される。「フォーカスレンズ位置」は、各撮像におけるフォーカスレンズの位置を示す。

図６の例では、ＨＤＲ合成処理には２フレームが使用され、ＮＲ合成処理には３フレームが使用され、深度合成処理には３フレームが使用される。しかしながら、一部のフレームおいて得られる画像データは、ＨＤＲ合成処理、ＮＲ合成処理、深度合成処理のうちの複数の処理に使用される。このため、総フレーム数は、６フレームでよい。

図６に示す１フレーム目において、制御部１１２は、１段分だけアンダー露出となるように撮像部１０２を設定する。そして、制御部１１２は、撮像部１０２による撮像を行う。撮像の後、制御部１１２は、１フレーム目の画像データを仮記録部１０６に仮記録する。

２フレーム目において、制御部１１２は、１フレーム目と同じ条件で撮像部１０２による撮像を行う。撮像の後、制御部１１２は、２フレーム目の画像データを１フレーム目の画像データとは別個に仮記録部１０６に仮記録する。

３フレーム目においても、制御部１１２は、１フレーム目と同じ条件で撮像部１０２による撮像を行う。撮像の後、制御部１１２は、３フレーム目の画像データを１フレーム目及び２フレーム目の画像データとは別個に仮記録部１０６に仮記録する。

４フレーム目において、制御部１１２は、１段分だけオーバー露出となるように撮像部１０２を設定する。また、制御部１１２は、フォーカスレンズの駆動を開始させる。そして、制御部１１２は、撮像部１０２による撮像を行う。撮像の後、制御部１１２は、４フレーム目の画像データを１フレーム目−３フレーム目の画像データとは別個に仮記録部１０６に仮記録する。

５フレーム目において、制御部１１２は、４フレーム目と同じ条件（ただし、フォーカスレンズは移動中である）で撮像部１０２による撮像を行う。撮像の後、制御部１１２は、５フレーム目の画像データを１フレーム目−４フレーム目の画像データとは別個に仮記録部１０６に仮記録する。

６フレーム目においても、制御部１１２は、４フレーム目と同じ条件で撮像部１０２による撮像を行う。撮像の後、制御部１１２は、６フレーム目の画像データを１フレーム目−５フレーム目の画像データとは別個に仮記録部１０６に仮記録する。

ここで、図２の説明に戻る。合成用撮像制御の後のステップＳ１３において、制御部１１２は、合成処理を行う。その後、処理はステップＳ１４に移行する。以下、合成処理を説明する。

図６に示すように、制御部１１２は、１フレーム目の画像データと４フレーム目の画像データとを用いてＨＤＲ合成処理を行う。ＨＤＲ合成処理に際し、制御部１１２は、例えば４フレーム目の画像データの白飛び領域を、この白飛び領域と対応する１フレーム目の画像データで置き換える。これにより、広ダイナミックレンジの画像データが生成される。

また、図６に示すように、制御部１１２は、１フレーム目、２フレーム目及び３フレーム目の画像データを用いてＮＲ合成処理を行うとともに、４フレーム目、５フレーム目及び６フレーム目の画像データを用いてＮＲ合成処理を行う。ＮＲ合成処理に際し、制御部１１２は、１フレーム目、２フレーム目及び３フレーム目の画像データを加算平均するとともに、４フレーム目、５フレーム目及び６フレーム目の画像データを加算平均する。これにより、ノイズ低減された明画像及び暗画像が生成される。

また、図６に示すように、制御部１１２は、４フレーム目、５フレーム目及び６フレーム目の画像データを用いて深度合成処理を行う。深度合成処理に際し、制御部１１２は、６フレーム目の画像データにおける低コントラストの領域を、この領域と対応している４フレーム目又は５フレーム目における高コントラストの領域の画像データで置き換える合成処理を行う。このようにして、各領域に合焦している画像データが生成される。

前述の例では、ＨＤＲ合成処理、ＮＲ合成処理、深度合成処理が個別に行われ、４フレームの画像データが生成される。さらに、ＨＤＲ合成処理、ＮＲ合成処理、深度合成処理の結果として得られた４フレームの画像データを合成してもよい。この場合、制御部１１２は、ノイズ低減された明画像と暗画像を用いてさらにＮＲ合成処理を行う。すなわち、制御部１１２は、ノイズ低減された明画像と暗画像を加算平均によって合成する。その後、制御部１１２は、ＮＲ合成処理後の画像データにおける黒潰れ又は白飛びしている領域にＨＤＲ合成処理で得られた画像データを合成するとともに、ＮＲ合成処理後の画像データにおける低コントラストに深度合成処理で得られた画像データを合成する。

ここで、図２の説明に戻る。合成処理の後のステップＳ１４において、制御部１１２は、合成処理の結果として得られた画像データに基づく画像を表示部１０４に表示させる。ステップＳ１４において、制御部１１２は、ＨＤＲ合成処理、ＮＲ合成処理、深度合成処理の結果として得られた４フレームの画像データに基づく画像を並べて表示させてもよいし、これらの４フレームの画像データを再合成して得られた画像データに基づく画像をスルー画として表示させてもよい。

ステップＳ１５において、制御部１１２は、静止画撮影要求があるか否かを判定する。静止画撮影要求は、ステップＳ２と同様に、例えばユーザによるレリーズボタンの操作又はタッチレリーズ操作によってなされる。ステップＳ１５において、静止画撮影要求があると判定されたときには、処理はステップＳ１６に移行する。ステップＳ１５において、静止画撮影要求がないと判定されたときには、処理はステップＳ６に移行する。

ステップＳ１６において、制御部１１２は、静止画撮影を開始する。このときの静止画撮影おける撮像部１０２の撮像動作は、ステップＳ１２の合成用撮像制御のときと同じ設定で行われる。そして、制御部１１２は、撮像動作の結果として得られた画像データをステップＳ１３と同様にして合成した後で、さらに必要な画像処理を施して静止画ファイルを作成する。そして、制御部１１２は、作成した静止画ファイルを記録部１０８に記録する。このような静止画撮影動作の後、処理はステップＳ６に移行する。

画像合成処理を実施しないと判定された後のステップＳ１７において、制御部１１２は、表示用撮像制御を行う。ステップＳ１８において、制御部１１２は、ステップＳ１７の表示用撮像制御の結果として得られた画像データに基づく画像を表示部１０４に表示させる。ステップＳ１７及びステップＳ１８の処理は、ステップＳ４及びステップＳ５の処理と同様である。

ステップＳ１９において、制御部１１２は、シーン判別モードの設定が仕上がり優先設定になっているか否かを判定する。シーン判別モードの設定は、例えばユーザによる操作部１１０の操作によって設定される。ステップＳ１９において、シーン判別モードの設定が仕上がり優先設定になっていないと判定されたときには、処理はステップＳ１５に移行する。ステップＳ１９において、シーン判別モードの設定が仕上がり優先設定になっていると判定されたときには、処理はステップＳ６に移行する。すなわち、画像合成処理を実施しないと判定され、シーン判別モードの設定が仕上がり優先設定になっていると判定されたときには、静止画撮影要求の有無の判定が行われない。したがって、ユーザが静止画撮影要求をしたとしてもその要求は無効になる。このため、仕上がり優先モードでは画像合成処理が実施されるまで撮影が行われないことになる。

次に、動画撮影モードの処理について説明する。図７は、撮像装置の動画撮影モードにおける動作を示すフローチャートである。図７の処理は、例えば撮像装置の撮影モードが動画撮影モードに切り替えられ、動画記録の開始が指示されたときに開始される。なお、図７において、図２と類似している処理については説明を適宜省略する。

ステップＳ５１において、制御部１１２は、動画撮影モードがシーン判別モードであるか否かを判定する。静止画撮影モードと同様、動画撮影モードも、通常モードとシーン判別モードとを有している。動画撮影モードを通常モードとするか又はシーン判別モードとするかの設定は、例えばユーザの操作部１１０の操作によって行われる。ステップＳ５１において、動画撮影モードがシーン判別モードでない、すなわち通常モードであると判定されたときには、処理はステップＳ５２に移行する。ステップＳ５１において、動画撮影モードがシーン判別モードであると判定されたときには、処理はステップＳ５６に移行する。

通常モードの処理であるステップＳ５２において、制御部１１２は、撮像制御を行う。例えば、制御部１１２は、動画撮影用の絞りの設定及び露出時間の設定で撮像部１０２の撮像動作を行わせる。

ステップＳ５３において、制御部１１２は、ステップＳ５２の撮像制御の結果として得られた画像データに基づく画像を表示部１０４に表示させる。これにより、スルー画表示が行われる。

ステップＳ５４において、制御部１１２は、動画記録を行う。例えば、制御部１１２は、ステップＳ５２の撮像制御の結果として得られた画像データに対して必要な画像処理を施した後で動画ファイルを作成する。そして、制御部１１２は、作成した動画ファイルを記録部１０８に記録する。既に動画ファイルが作成済みであるときには、制御部１１２は、画像処理された画像データを作成した動画ファイルに追記する。このような動画記録の後、処理はステップＳ５５に移行する。

ステップＳ５５において、制御部１１２は、動画記録を終了するか否かを判定する。例えば、ユーザの操作部１１０の操作によって動画記録の終了が指示されたり、撮影モードが静止画撮影モードに切り替えられたり、撮像装置の電源がオフされたりしたときには、動画記録を終了すると判定される。ステップＳ５５において、動画記録を終了すると判定されたときには、図７の処理は終了する。ステップＳ５５において、動画記録を終了しないと判定されたときには、処理はステップＳ５１に戻る。

シーン判別モードの処理であるステップＳ５６において、制御部１１２は、シーン判別処理を行う。シーン判別処理の後、処理はステップＳ５７に移行する。動画撮影モードのときのシーン判別処理は、基本的には静止画撮影モードのときのシーン判別処理と同じでよい。ただし、シーン判別処理において用いられた各種の閾値は、静止画撮影モードと動画撮影モードとで異なっていてもよい。また、動画撮影モードのときのシーン判別処理においては、静止画撮影モードのときのシーン判別処理の全ての判定が行われなくてもよい。例えば、ステップＳ２５の処理（深度合成処理の実施の判定処理）は省略されてもよい。

ステップＳ５７において、制御部１１２は、画像合成実施判定処理を行う。画像合成実施判定処理の後、処理はステップＳ５８に移行する。動画撮影モードのときの画像合成実施判定処理は、基本的には静止画撮影モードのときの画像合成実施判定処理と同じでよい。

ステップＳ５８において、制御部１１２は、画像合成実施判定処理の結果から、画像合成処理を実施するか否かを判定する。ステップＳ５８において、画像合成処理を実施すると判定されたときには、処理はステップＳ５９に移行する。ステップＳ５８において、画像合成処理を実施しないと判定されたときには、処理はステップＳ５２に移行する。

ステップＳ５９において、制御部１１２は、撮像フレームレートを判定する。撮像フレームレートは、例えば動画像のフレームレートに応じて設定される。動画像の撮像フレームレートも、静止画像と同様に画質も考慮して設定されてよい。

ステップＳ６０において、制御部１１２は、フレーム数判定処理を行う。フレーム数判定処理の後、処理はステップＳ６１に移行する。動画撮影モードのときのフレーム数判定処理は、基本的には静止画撮影モードのときのフレーム数判定処理と同じでよい。

ステップＳ６１において、制御部１１２は、合成用撮像制御を実行する。その後、処理はステップＳ６２に移行する。動画撮影モードのときの合成用撮像制御も、静止画撮影モードのときと同様に図６で示したようにして行われてよい。しかしながら、合成用撮像制御は、以下の図８で示すように行われてもよい。

図８を参照して合成用撮像制御の変形例を説明する。ここで、図８の四角形は、合成用撮像制御の際の各撮像のタイミングを示している。図８の「露出」は、各撮像のタイミングにおける露出の変更量を示している。−１は、適正露出に対して１段分のアンダー露出であることを示し、＋１は、適正露出に対して１段分のオーバー露出であることを示している。図８の「フォーカスレンズ位置」は、各撮像におけるフォーカスレンズの位置を示す。図８の「ＮＲ」は、ＮＲ合成処理されるフレーム数を示す。

図６の例では、露出量は−１段から＋１段に不連続的に変化する。これに対し、図８の例では、露出量は、−１段から＋１段の間で略連続的に変化する。例えば図８において、１フレーム目の撮像では、露出量は−１段分だけアンダーに設定される。一方、２フレーム目の撮像では露出量は、０段（適正露出）に設定される。そして、３フレーム目の撮像で露出量は＋１段だけオーバーに設定される。このようにして露出量を連続的に変更することで、フレーム間での露出の急激な変動が抑えられる。したがって、動画記録される際又はスルー画表示される際の画像の違和感を低減することが可能である。

また、図６の例では、６フレームの撮像の後でＮＲ合成処理が行われる。一方、図８の例では、ＮＲ合成処理は撮像制御と並行して行われる。この場合、制御部１１２は、各フレームの撮像が行われる毎に、撮像によって得られた画像データを合成していく。具体的には、制御部１１２は、２フレーム目の画像データを仮記録部１０６に仮記録した後、２フレーム目の画像データと１フレーム目の画像データとを合成する。また、制御部１１２は、３フレーム目の画像データを仮記録部１０６に仮記録した後、３フレーム目の画像データと２フレーム目に得られた合成画像データとを合成する。さらに、制御部１１２は、４フレーム目の画像データを仮記録部１０６に仮記録した後、４フレーム目の画像データと３フレーム目に得られた合成画像データとを合成する。以後も同様である。ＮＲ合成処理は、その他の処理に比べて動画記録される又はスルー画表示される画像に与える影響が小さい。したがって、ＮＲ合成処理は撮像制御と並行して行うことが可能である。なお、図６において、図８のようにＮＲ合成処理と撮像制御とが並行して行われるようにしてもよい。

また、図８の例では、露出量の変更が完了した後でフォーカスレンズの駆動を開始させるようにしている。このような制御では、フォーカスレンズの駆動中には露出量が変わらない。したがって、撮像条件の変更による動画記録される又はスルー画表示される画像に与える影響を小さくすることができる。さらに、図８の例では、露出量の変更が開始されてから変更が完了するまでのフレーム数は２フレームであり、フォーカスレンズの駆動が開始されてから駆動が完了するまでのフレーム数は３フレームである。このようにしてフレーム毎のフォーカスレンズの駆動量を小さくすることでも、動画記録される又はスルー画表示される画像に与える影響を小さくすることができる。

ここで、図８においては露出量を−１段から＋１段まで変更している。逆に、露出量を＋１段から−１段まで変更するようにしてもよい。これは、図６の場合も同様である。なお、この場合であっても、撮像条件の変更順は、ＮＲ合成処理の枚数、露出量、フォーカスレンズ位置の順であることが望ましい。この順序にすることで、動画記録される又はスルー画表示される画像に与える影響を最も小さくできる。

ここで、図７の説明に戻る。合成用撮像制御の後のステップＳ６２において、制御部１１２は、合成処理を行う。その後、処理はステップＳ６３に移行する。動画撮影モードのときの合成処理も、静止画撮影モードのときと同様にして行われてよい。

ステップＳ６３において、制御部１１２は、合成処理の結果として得られた画像データに基づく画像を表示部１０４に表示させる。その後、処理はステップＳ５４に移行する。この表示も静止画撮影モードのときの合成処理の結果の表示と同様に行われてよい。

以上説明したように本実施形態においては、複数回の撮像を伴う合成処理は、対象物が止まっているとみなせるときに行われる。これによって合成が適切に行われるので、合成画像の画質は向上する。

また、本実施形態では、静止画撮影モードのシーン判別モードにおいて仕上がり優先の設定がなされているときには、対象物が止まっていると見なせる状態でない、すなわち合成処理が行われていないとユーザが静止画撮影要求をしたとしても静止画像が記録されない。このように仕上がり優先の設定では画像の仕上がりがユーザの指示よりも優先される。このことによっても画質の向上を図ることが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述した実施形態では、ＨＤＲ合成処理、ＮＲ合成処理、深度合成処理の３つが合成処理として例示されている。しかしながら、合成処理は、これらの３つの処理に限るものではない。すなわち、本実施形態の技術は、複数回の撮像動作を伴う各種の合成処理に対して適用され得る。

また、前述の実施形態では、合成用撮像制御の開始前だけ対象物が止まっているか否かの判定が行われる。実際には、合成用撮像制御の間にも対象物は動き得るので、合成用撮像制御の間にも対象物が止まっているか否かの判定が行われるようにしてもよい。この場合、対象物が止まっているとみなせないときには同じ条件での撮像をやり直すなどしてもよい。

また、前述の実施形態では、撮像装置は、デジタルカメラ等の画像の記録を目的とした撮像装置を例に挙げている。これに対し、本実施形態の技術は、各種の撮像装置に適用されるものであり、画像の記録を行わない撮像装置に対しても適用され得る。この点で、例えば内視鏡装置、顕微鏡装置、監視装置といった撮像装置に対しても本実施形態の技術は適用され得る。例えば、画質の向上によって視認性の向上も期待される。このため、画像を確認することが多いこれらの撮像装置に対しても本実施形態の技術は有用である。特に、観察対象物が様々な反射率や遠近関係を有するような場合の近接撮影や顕微鏡観察時に、ピントの差異、露出の差異、拡大の有無など状況に応じて、画像合成を行っての表示は差異や効果が出やすくなるので、本願の発明は効果を奏する状況が多い。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御部１１２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御部１１２は、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１０２ 撮像部、１０２ａ 撮像光学系、１０２ｂ 撮像素子、１０２ｃ 駆動部、１０４ 表示部、１０６ 仮記録部、１０８ 記録部、１１０ 操作部、１１２ 制御部、１１２１ 撮像制御部、１１２２ 表示制御部、１１２３ 画像処理部、１１２４ シーン判別部、１１２５ 動き検出部。

Claims (5)

1. 対象物を撮像して前記対象物に係る画像データを得る撮像部と、
   前記画像データにおける前記対象物の動きを検出する動き検出部と、
   前記動き検出部による前記対象物の動きの検出の結果、前記対象物が止まっているとみなされるときに、前記撮像部の撮像条件を変更しながら複数回の前記撮像を行わせ、複数回の前記撮像によって得られた画像データを合成する処理を行う制御部と、
   を具備することを特徴とする撮像装置。
2. ユーザからの撮影要求を受け付ける操作部をさらに具備し、
   前記制御部は、前記対象物が止まっているとみなされないときには、前記撮影要求が受け付けられたとしても前記合成する処理を行わないことを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、複数回の前記撮像の間に前記撮像条件を連続的に変化させることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記合成する処理は、ハイダイナミックレンジ合成処理と、深度合成処理とを含み、
   前記制御部は、前記ハイダイナミックレンジ合成処理のための複数回の前記撮像の後に、前記深度合成処理のための複数回の前記撮像を行わせることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、
   前記画像データにおける前記対象物の動きを検出することと、
   前記対象物の動きの検出の結果、前記対象物が止まっているとみなされるときに、適用処理を決定することと、
   決定した適用処理に応じて前記撮像部の撮像条件を変更しながら複数回の前記撮像を行い、複数回の前記撮像によって得られた画像データを合成することと、
   を具備することを特徴とする撮像方法。