JP2021180462A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】動き量の異なる動体を含む画像中の動きブレ量を適正に調整可能とする。【解決手段】画像処理部１２は、撮像画像上の領域を選択する領域選択部１２Ａと、撮像画像上の領域の被写体の動きブレ量を取得する動きブレ量取得部１２Ｂと、領域選択部１２Ａにより選択された選択領域の被写体の動きブレ量に基づいて、選択領域の露光時間を制御する露光時間制御部１２Ｃとを備える。【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

デジタルカメラなどの撮像装置を用いた画像表現として、長時間露光によって動体を滑らかにブレさせることによって被写体の動きを幻想的に表現する手法（以下、動きブレ強調撮影と言うことがある）が知られている（例えば、特許文献１参照）。

特開２０１０−２０００９７号公報

本発明が解決しようとする課題は、動き量の異なる動体を含む画像中の動きブレ量を適正に調整可能とすることである。

本発明の１つの態様による画像処理装置は、撮像画像上の領域を選択する選択手段と、前記選択手段により選択された選択領域の被写体の動きブレ量を取得する取得手段と、前記取得手段により取得された動きブレ量に基づいて、前記選択領域の露光時間を制御する制御手段とを備える。

第１実施形態に係る撮像装置の構成例を示すブロック図。 図１の画像処理部のソフトウェアにより実現される部分の構成例を示すブロック図。 ユーザが意図する構図の一例を示す図。 ユーザが意図する動きブレ強調画像の一例を示す図。 図３の構図での動きブレ強調領域の選択方法の一例を示す図。 図５の動きブレ強調領域の選択後の撮像画像の一例を示す図。 図６の撮像画像での動きブレ追加強調領域の選択方法の一例を示す図。 図１の撮像装置の動きブレ強調撮影時の動作を示すフローチャート。 第２実施形態に係る動きブレ強調領域の選択方法の一例を示す図。 第３実施形態に係る動きブレ強調領域の選択方法の一例を示す図。 第４実施形態に係る動きブレ強調領域の選択方法の一例を示す図。 第５実施形態に係る動きブレ強調画像の一例を示す図。 第６実施形態に係る動きブレ強調画像の一例を示す図。 第７実施形態に係る動きブレ強調画像の一例を示す図。

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正または変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。

＜第１実施形態＞
図１は、第１実施形態に係る撮像装置の構成例を示すブロック図である。
図１に示す撮像装置１Ａの各機能モジュールのうち、ソフトウェアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

図１において、撮像装置１Ａは、撮像系１１、画像処理部１２、撮像系制御部１３、表示系１４および操作部１５を備える。撮像部１１は、結像光学系１１０、絞り１１１および固体撮像素子１１２を備える。なお、撮像系１１は、結像光学系１１０、絞り１１１および固体撮像素子１１２以外にも、光学ローパスフィルタ、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙｓ）カットフィルタ、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタなどを含んでもよい。光学ローパスフィルタは、空間周波数の高いテクスチャ成分を散乱させる。ＩＲカットフィルタは、長波長の光を遮断する。ＮＤフィルタ可視光の入射光量を減少させる。

撮像系１１は、被写体を撮像する。結像光学系１１０は、被写体の像を固体撮像素子１１２に結像する。結像光学系１１０は、図１では、１枚のレンズのみ示しているが、複数のレンズを備えてもよく、例えば、ズームレンズ、フォーカスレンズおよびぶれ補正レンズなどが含まれていてもよい。絞り１１１は、結像光学系１１０を通って固体撮像素子１１２に入射する光の量を調整する。固体撮像素子１１２は、領域ごとにゲインと露光時間を設定可能である。なお、領域は、１または複数の画素を含むことができる。

画像処理部１２は、固体撮像素子１１２から送られた画像信号をＡ／Ｄ変換してデジタルデータに変換した後、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを含む信号処理を行ってデジタル画像を生成する。
また、画像処理部１２は、撮像系１１の制御に用いられる評価値を、画像信号の強度およびコントラストを基に所定の計算式で算出する。さらに、画像処理部１２は、デジタル画像の領域ごとの被写体の動きブレ量を算出する。動きブレ量は、撮像画像上の動体の動きブレの大きさを表す量である。動きブレは、撮像画像上の動体の動きの軌跡を示すことができる。

撮像系制御部１３は、ズームおよびフォーカスのための結像光学系１１０を駆動したり、絞り１１１の開口径を制御したり、固体撮像素子１１２の領域ごとのゲインおよび露光時間を制御したりする。撮像系制御部１３は。不図示の光学ローパスフィルタ、ＩＲカットフィルタおよびＮＤフィルタの挿抜制御を行ってもよい。
このとき、撮像系制御部１３は、画像処理部１２がデジタル画像から算出した領域ごとの評価値に基づいて、撮像系１１を制御する。
また、撮像系制御部１３は、画像処理部１２がデジタル画像から算出した領域ごとの被写体の動きブレ量に基づいて、撮像系１１を制御する。

表示系１４は、画像処理部１２で生成されたデジタル画像を表示する。表示系１４は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などで構成されたディスプレイである。表示系１４は、タッチスクリーンまたはタッチパネルであってもよい。表示系１４は、デジタル画像の他に、現在の撮影条件（絞り、ゲインおよび露光時間）を表示したり、測距枠および測光枠を重畳表示したりする。また、表示系１４は、動きブレ強調領域の枠を重畳表示する。

操作部１５は、ユーザからの指示を入力する。操作部１５は、例えば、ボタン、モードダイヤルまたは表示系１４に付随するタッチパネルなどである。また、操作部１５は、領域ごとの測光枠を設定したり、動きブレ量を強調する領域を選択するための操作環境をユーザに提供する。

図２は、図１の画像処理部のソフトウェアにより実現される部分の構成例を示すブロック図である。
図２において、画像処理部１２は、プロセッサ１２０、主記憶部１２１および補助記憶部１２２を備える。プロセッサ１２０、主記憶部１２１および補助記憶部１２２は、内部バス１２３を介して相互に接続されている。主記憶部１２１および補助記憶部１２２は、プロセッサ１２０からアクセス可能である。

プロセッサ１２０は、画像処理部１２全体の動作制御を司るハードウェアである。プロセッサ１２０は、ＣＰＵであってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。プロセッサ１２０は、シングルコアプロセッサであってもよいし、マルチコアプロセッサであってもよい。プロセッサ１２０は、処理の一部を行うアクセラレータなどのハードウェア回路（例えば、ＦＰＧＡまたはＡＳＩＣ）を備えてもよい。プロセッサ１２０は、ニューラルネットワークとして動作してもよい。

主記憶部１２１は、例えば、ＳＲＡＭまたはＤＲＡＭなどの半導体メモリから構成することができる。主記憶部１２１には、プロセッサ１２０が実行中のプログラムを格納したり、プロセッサ１２０がプログラムを実行するためのワークエリアを設けたりすることができる。

補助記憶部１２２は、大容量の記憶容量を備える記憶デバイスであり、例えば、ハードディスク装置またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。補助記憶部１２２は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。プロセッサ１２０が実行するプログラムは、撮像装置１Ａにインストール可能なソフトウェアであってもよいし、撮像装置１Ａにファームウェアとして組み込まれていてもよい。

プロセッサ１２０は、主記憶部１２１にプログラムを読み出して実行することにより、領域選択部１２Ａ、動きブレ量取得部１２Ｂ、露光時間制御部１２Ｃおよび信号強度補正部１２Ｄの機能を実現することができる。

領域選択部１２Ａは、撮像画像上の領域を選択する。なお、領域選択部１２Ａは、撮像画像上でのユーザの領域指定に基づいて撮像画像上の領域を選択することができる。あるいは、領域選択部１２Ａは、例えば、セマンテックセグメンテーションの手法に基づいて撮像画像上の領域を選択するようにしてもよい。例えば、ユーザが、川と言うキーワードを入力すると、領域選択部１２Ａは、セマンテックセグメンテーションの手法に基づいて撮像画像上の川の領域を検出し、その検出した川の領域を選択するようにしてもよい。このとき、セマンテックセグメンテーションの手法に基づく領域の選択結果をユーザに提示し、その選択結果がユーザの意図に合っているかどうかをユーザが確認できるようにしてもよい。

動きブレ量取得部１２Ｂは、撮像画像上の領域の被写体の動きブレ量を取得する。動きブレ量取得部１２Ｂは、撮像画像上の領域の被写体の動きブレ量を計算で求めるようにしてもよいし、ユーザが指定した動きブレ量を取得可能としてもよい。例えば、ユーザは、表示系１４に表示されたスルー画像を参照し、そのスルー画像上の領域ごとに被写体の動きブレ量を指定することができる。このとき、領域ごとの被写体の動きブレ量は、ユーザの意図に応じてユーザが外部から自由に増減可能である。

露光時間制御部１２Ｃは、領域選択部１２Ａにより選択された選択領域の被写体の動きブレ量に基づいて、その選択領域の露光時間を制御する。信号強度補正部１２Ｄは、露光時間制御部１２Ｃにより露光時間が制御された領域の信号強度を補正する。

なお、領域選択部１２Ａ、動きブレ量取得部１２Ｂ、露光時間制御部１２Ｃおよび信号強度補正部１２Ｄの機能を実現するプログラムの実行は、複数のプロセッサやコンピュータに分担させてもよい。プロセッサ１２０は、領域選択部１２Ａ、動きブレ量取得部１２Ｂ、露光時間制御部１２Ｃおよび信号強度補正部１２Ｄの機能を実現するプログラムの全部または一部の実行を、ネットワークを介してクラウドコンピュータなどに指示してもよい。そして、プロセッサ１２０は、ネットワークを介して指示したプログラムの実行結果を受け取るようにしてもよい。

第１実施形態では、露光時間制御部１２Ｃは、領域選択部１２Ａにより選択された選択領域の被写体の動きブレ量が第１閾値以上になるように選択領域の露光時間を制御することで、動きブレ強調撮影を実現することができる。また、露光時間制御部１２Ｃは、ユーザにより指定された領域ごとの動きブレ量が得られるように露光時間を制御することで、ユーザの意図通りの動きブレが反映された画像を生成することができる。

以下、図１の撮像装置１Ａを用いた動きブレ強調撮影の設定方法について具体的に説明する。なお、撮像装置１Ａは、動きブレ強調表示を常時行うようにしてもよいし、操作部１５に付随するモードダイヤルなどでユーザから選択されたときのみに動きブレ強調撮影を行うようにしてもよい。モードダイヤルには、動きブレ強調撮影モード以外に、一般的な撮影モードとして、オートモード、絞り優先モード、露光時間優先モード、ゲイン優先モードおよびマニュアルモードなどを用意してもよい。以下の説明では、撮像装置１Ａの起動時はオートモードに設定されており、ユーザからのモードダイヤル操作によって動きブレ強調撮影モードに移行する場合を例にとる。

図３は、ユーザが意図する構図の一例を示す図、図４は、ユーザが意図する動きブレ強調画像の一例を示す図である。
図３において、ユーザが意図する構図Ｇ１では、川Ｈ１を流れる花びらＨ２が想定されているものとする。
そして、ユーザは、図４に示すように、図３の川Ｈ１を流れる全ての花びらＨ２をブレさせた花びら画像Ｈ３、Ｈ４が川画像Ｈ５上を流れるように表現された動きブレ強調画像Ｇ３を撮像するものとする。動きブレ強調画像Ｇ３では、川Ｈ１を流れる全ての花びらＨ２は全て所定値以上の動きブレ量となっている。

図５は、図３の構図での動きブレ強調領域の選択方法の一例を示す図である。
図５において、ユーザは、図３の構図Ｇ１に対応するスルー画像をタッチパネルＴＰに表示させる。そして、ユーザは、モードダイヤル操作によって動きブレ強調撮影モードに移行させる。

動きブレ強調撮影モードでは、「動きブレを強調する領域を選択してください」というメッセージＢ１と、選択終了ボタンＢ２がタッチパネルＴＰ上に表示される。ユーザは、動きブレを強調する領域をタッチパネルＴＰ上で指定する。このとき、ユーザが指またはペンでタッチした領域、もしくはなぞった領域の枠Ｒ１が、図３の構図Ｇ１に対応するスルー画像上に重畳表示され、動きブレ強調領域として設定される。このとき、ユーザは、図３の構図Ｇ１の川Ｈ１を流れる全ての花びらＨ２をブレさせることを意図しているため、川Ｈ１が写っている全ての領域をタッチパネルＴＰ上で指定する。

ここで、ユーザが指またはペンで囲んだ範囲に内包される領域が、全て動きブレ強調領域として選択されるようにしてもよい。また、選択された領域の枠Ｒ１は領域ごとに全て表示してもよいし、選択領域同士が隣接している場合は境界の枠を非表示にして、被写体を見やすくしてもよい。図５の例では、タッチパネルＴＰを想定した説明を行ったが、タッチパネルＴＰの代わりに物理構造として十字キーなどを備え、十字キーで移動させた範囲が動きブレ強調領域として選択されるようにしてもよい。あるいは、スルー画像上にアンカーポイントを表示させ、そのアンカーポイントの追加、削除および移動を可能とすることで、ユーザが意図する領域をスルー画像上で指定できるようにしてもよい。

そして、ユーザが枠Ｒ１で川Ｈ１が写っている全ての領域を指定すると、図１の画像処理部１２は、枠Ｒ１内の領域の被写体の動きブレ量が第１閾値以上になるように露光時間を制御する。そして、撮像系制御部１３は、画像処理部１２で制御される露光時間に基づいて、撮像系１１を制御することで、動きブレ強調画像が撮像される。このとき、枠Ｒ１内の領域では、露光時間は等しくなる。

図６は、図５の動きブレ強調領域の選択後の撮像画像の一例を示す図である。
図６において、花びら画像Ｈ３の撮像位置の川Ｈ１の流れよりも、花びら画像Ｈ２Ａの撮像位置の川Ｈ１の流れの方が部分的に遅いものとする。このとき、図５の枠Ｒ１内の全ての領域で露光時間が等しいと、花びら画像Ｈ３と同等のブレ量が得られない花びら画像Ｈ２Ａが写った動きブレ強調画像Ｇ２が撮像される。このため、図５の枠Ｒ１内の全ての領域で露光時間が等しいと、ユーザが意図する図４の動きブレ強調画像Ｇ３が得られない。このとき、ユーザは、動きブレ強調画像Ｇ２を参照し、ユーザが意図する動きブレ強調画像Ｇ３が得られてないと判断すると、動きブレを追加強調する領域をタッチパネルＴＰ上で指定する。そして、ユーザは、ユーザが意図する動きブレ強調画像Ｇ３が得られるように、動きブレを追加強調する領域の動きブレ量を指定する。

図７は、図６の撮像画像での動きブレ追加強調領域の選択方法の一例を示す図である。
図７において、ユーザが動きブレを追加強調する領域をタッチパネルＴＰ上で指定すると、その追加強調する領域は、太い枠Ｒ２、Ｒ３で強調表示される。このとき、ユーザは、ユーザが意図する動きブレ強調画像Ｇ３が得られるようにするため、川の流れが部分的に遅く、花びらのブレ量が少ない領域を選択する。強調表示の方法は、ユーザ自身が指定した領域を認識できればどのような方式でも構わない。例えば、選択領域の枠の表示色を、非選択領域の枠の色と異なる色としてもよいし、選択領域の枠のみ破線で表示するなどの方法でもよい。

また、動きブレ強調画像Ｇ２に対応するスルー画像の外側に動きブレ量を変更するためのスクロールバーＢ３が表示される。このとき、ユーザは、スクロールバーＢ３をドラッグすることで、ユーザが指定した領域の動きブレ量を変更できる。ここに示したスクロールバーＢ３はインターフェースの一例であり、選択領域の動きブレ量を変更できれば他のインターフェースでも構わない。例えば、ユーザが追加強調する領域を指定した後、物理的に設けられたダイヤルを回し、回す方向と回した量で動きブレ量を変更するようにしてもよい。もしくは、タッチパネルＴＰに表示するスクロールバーをダイヤル形状にしてもよい。画像処理部１２は、追加強調する領域の変更後の動きブレ量に必要な露光時間を算出し、撮像系制御部１３は、その露光時間を撮像素子１１２に設定する。

なお、各枠Ｒ２、Ｒ３で示される領域ごとに異なる動きブレ量を設定できるようにしてもよい。このとき、画像処理部１２は、枠Ｒ１で示される領域では、動きブレ量が第１閾値以上になるように露光時間を制御する。また、画像処理部１２は、枠Ｒ２で示される領域では、動きブレ量が第２閾値以上になるように露光時間を制御する。さらに、画像処理部１２は、枠Ｒ３で示される領域では、動きブレ量が第３閾値以上になるように露光時間を制御する。

図８は、図１の撮像装置の動きブレ強調撮影時の動作を示すフローチャートである。なお、フローチャートで示される一連の処理は、図２のプロセッサ１２０が補助記憶部１２２に格納されている制御プログラムを主記憶部１２１に読み込み、実行することにより行われる。あるいは、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。この場合、図８に示すフローチャートにおける各ブロックは、ハードウェアブロックと見做すことができる。なお、複数のブロックをまとめて１つのハードウェアブロックとして構成してもよく、１つのブロックを複数のハードウェアブロックとして構成してもよい。

図８のＳ１において、ユーザがカメラを起動すると、Ｓ２に移り、図１の撮像装置１Ａは、オートモードでの撮影を開始する。オートモードでは、撮像素子１１２で撮像される画像の各領域がそれぞれ適正露出となるように、絞り値Ａｖ、露光時間ＴｖおよびゲインＳｖが領域ごとに自動で設定される。

撮像装置１Ａは、一つの結像光学系１１０を用いて構成される。このため、固体撮像素子１１２の各領域に対して一通りの絞り値Ａｖをとることしかできない。この場合、固体撮像素子１１２のｎ（ｎは自然数）個のすべての領域おいて、以下の（１）式が成立する範囲の絞り値Ａｖを採用すればよい。

Ａｖ＝Ｂｖｍ＋Ｓｖｍ−Ｔｖｍ ・・・（１）
ただし、Ｔｖｍは、ｍ（ｍ＝１〜ｎ）番目の領域における露光時間、Ｓｖｍは、ｍ番目の領域におけるゲイン、Ｂｖｍは、被写体の輝度である。

次に、Ｓ３において、ユーザは、モードダイヤルを用いて動きブレ強調撮影モードを選択する。このとき、撮像系制御部１３は、動きブレ強調撮影モードにおける撮影条件の初期値として、オートモードで自動設定された撮影条件を継続して適用する。そして、Ｓ４において、表示系１４は、オートモードで自動設定された撮影条件が適用された領域別ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）のスルー画像をタッチパネルＴＰに表示する。

次に、Ｓ５において、表示系１４は、図５に示すように、ユーザへ動きブレを強調する領域を選択するよう促すメッセージＢ１をタッチパネルＴＰ上に表示する。このとき、表示系１４は、表示するメッセージを目立たせることを優先して、スルー画像に一時的に重畳表示するようにしてもよい。あるいは、表示系１４は、スルー画像の見やすさを優先するために、スルー画像の外側にメッセージを表示させ続けるようにしてもよい。さらに、表示系１４は、動きブレを強調する領域の選択が終わったことを検出するために、ユーザがタッチすることが可能な選択終了ボタンＢ２をスルー画像の外側に重畳表示する。

次に、Ｓ６において、ユーザは、タッチパネルＴＰを操作し、動きブレを強調する領域を指定する。表示系１４は、動きブレを強調する領域が指定されると、動きブレを強調する領域を囲む枠Ｒ１をスルー画像上に重畳表示する。

次に、Ｓ７において、表示系１４は、選択終了ボタンＢ２がタッチされたかどうかを判断する。そして、選択終了ボタンＢ２がタッチされていない場合は、Ｓ６の処理に戻り、選択終了ボタンＢ２がタッチされた場合は、Ｓ８に移る。

次に、Ｓ８において、画像処理部１２は、スルー画像上の選択された領域ごとに被写体の動き量を検出する。この動き量は、例えば、動きベクトルの絶対値などで定義することができる。動きベクトルの検出には、例えば、ブロックマッチング手法などを利用することができる。

ブロックマッチングに用いるサブブロックのサイズは、固体撮像素子１１２が個別に露光制御可能な領域のサイズと異なってもよく、精度を向上させるためにサブブロックのサイズをさらに小さいものにしてもよい。サブブロックサイズが小さいほど演算量が増えるため、撮像装置１Ａに要求される連写速度およびフレームレートに対して、演算が間に合う範囲で小さくすることが望ましい。固体撮像素子１１２の個別領域のサイズに対してサブブロックサイズを小さくした場合、領域ごとの動きベクトルの代表値として、領域内に含まれる各サブブロックの動きベクトルの絶対値の平均値を採用してもよいし、最小値を採用してもよい。もしくは、領域内のベクトル絶対値の分布に所定値以上の偏りがある場合、各サブブロックの動きベクトルの中央値を採用するようにしてもよい。

次に、Ｓ９において、画像処理部１２は、スルー画像上の選択された各領域の被写体の動きブレ量を算出する。動きブレ量は、例えば、選択領域の被写体の動き量と露光時間との積で与えることができる。動きブレ量は、これ以外の計算式を用いて算出してもよく、長時間露光後の画像における領域ごとの動きブレの量が相対比較できる値であれば、どのような計算式で求めても構わない。例えば、領域ごとの露光時間Ｔｖを動きベクトルの絶対値と足し合わせた値を動きブレ量と定義してもよい。この時点では、露光時間は、オートモードで設定された値が各領域に反映されている状態のため、動きブレ量は、領域ごとに異なった値になっている。

さらに、画像処理部１２は、選択領域の被写体の動きブレ量が所定値以上になるように露光時間を領域ごとに計算する。この所定値は、撮像装置１Ａの設定でユーザが予め自由に選べるようにしてもよい。そして、撮像系制御部１３は、画像処理部１２にて算出された露光時間を固体撮像素子１１２に設定する。

次に、Ｓ１０において、撮像系制御部１３は、各領域の露出調整を行う。Ｓ９およびＳ１５において、オートモードで適用される露光時間と異なる露光時間が一部の領域に設定されている。このため、撮像系制御部１３は、露光時間が指定されている動きブレ強調領域では、ゲインと絞りを調整することで適正露出に設定し、動きブレ強調領域ではない領域では、露光時間とゲインと絞りを調整することで適正露出に設定する。これらの調整により、スルー画像の全ての領域が再び適正露出となる。

次に、Ｓ１１において、ユーザは、スルー画像が意図通りの結果になっているかどうかを判断する。動きブレが少ないかもしくは動きブレが大きすぎる等、ユーザの意図通りの結果になっていない領域が残っていれば、ユーザは、Ｓ１４に移り、該当領域の動きブレ量の再調整に進む。
Ｓ１４において、ユーザは、動きブレ量が意図と異なる領域をタッチパネルＴＰで指定する。このとき、表示系１４は、例えば、図７に示すように、タッチパネルＴＰで指定された追加強調する領域を太い枠Ｒ２、Ｒ３で強調表示する。

次に、Ｓ１５において、ユーザは、スルー画像の外側に表示されているスクロールバーＢ３をドラッグすることで、ユーザが指定した領域の動きブレ量を変更する。画像処理部１２は、動きブレ量が変更された領域について、その変更後の動きブレ量を得るために必要な露光時間を算出し、撮像系制御部１３は、その露光時間を撮像素子１１２に設定する。その後、撮像系制御部１３は、Ｓ１０に戻り、各領域の露出調整を行うことで、撮像素子１１２の全ての領域が再び適正露出になる。

一方、Ｓ１１において、ユーザは、スルー画像が意図通りの結果になっていると判断した場合、Ｓ１２に移り、シャッターボタンを押下し本撮影を行う。例えば、Ｓ１１におけるスルー画像として、図４の動きブレ強調画像Ｇ３が表示されている場合、ユーザは、スルー画像が意図通りの結果になっていると判断する。シャッターボタンは、物理ボタンでもよいし、タッチパネルＴＰで選択するボタンでも構わない。シャッターボタンが押下された際、その時点でスルー画像として表示されている画像を、そのまま撮影結果として保持するようにしてもよい。
次に、Ｓ１３において、撮像装置１Ａは、不図示の記録メディア、例えば、ＳＤカードなどに撮影画像を記録する。

以上説明したように、上述した第１実施形態によれば、露光時間制御部は、選択領域の動きブレ量が所定値以上になるように選択領域の露光時間を制御することで、動きブレ強調撮影を実現することができる。さらに、露光時間制御部は、ユーザにより指定された動きブレ量が得られるように選択領域の露光時間を制御することで、ユーザの意図通りに動きブレが反映された画像を生成することができる。

＜第２実施形態＞
以下、第２実施形態に係る撮像装置について説明する。なお、第２実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態では、動きブレを変更する複数の領域に共通の動きブレ量を設定したが、第２実施形態では、動きブレを変更する複数の領域に個別の動きブレ量を設定する。

図９は、第２実施形態に係る動きブレ強調領域の選択方法の一例を示す図である。なお、以下の説明では、図８のＳ１４およびＳ１５において、ユーザが２つ以上の領域を指定し、それぞれ異なる動きブレ量を設定する場合のインターフェースを例にとる。
図９（ａ）において、表示系１４は、スルー画像の外側に「新規グループ作成」ボタンＢ４を表示し、初期グループとしてグループ１のボタンＢ５も表示する。さらに、表示系１４は、スルー画像の下に動きブレ量を変更するためのスクロールバーＢ３も表示する。

現在がグループ１の領域を選択するフェーズであることをユーザに認識させるため、グループ１のボタンは、「新規グループ作成」ボタンＢ４に比べて太い枠、ないし色違いの枠で強調表示される。ユーザは、グループ１に設定したい領域をタッチし、タッチされた領域の枠Ｒ２が太線などで強調表示される。ユーザは、グループ１の領域を選択後、スクロールバーＢ３をドラッグし、枠Ｒ２で囲まれた領域の動きブレ量を設定する。

次に、ユーザは、２つ目のグループを作成するため、「新規グループ作成」ボタンＢ４をタッチする。「新規グループ作成」ボタンＢ４がタッチされると、表示系１４は、図９（ｂ）に示すように、「グループ２」のボタンＢ６を表示する。

現在がグループ２の領域を選択するフェーズであることをユーザに認識させるため、グループ２のボタンＢ６は、グループ１のボタンＢ５に比べて太い枠、ないし色違いの枠で強調表示される。ユーザは、グループ２に設定したい領域をタッチし、タッチされた領域の枠Ｒ４が太線などで強調表示される。ここで、グループの違いをユーザに認識させるため、グループ２の枠Ｒ４の強調表示方法は、グループ１の枠Ｒ２の強調表示方法と異なることが望ましい。ユーザは、グループ２の領域を選択後、スクロールバーＢ３をドラッグし、枠Ｒ４で囲まれた領域の動きブレ量を設定する。

３つ以上のグループを作成する場合、グループ２の作成手順を繰り返せばよい。複数のグループを一旦設定した後、グループに含まれる領域をさらに追加したい場合には、ユーザは、変更したいグループのボタンをタッチした後、追加したい領域をタッチすればよい。領域の一部を削除したい場合には、ユーザは、すでに選択済みの領域を再度タッチすればよい。

以上説明したように、上述した第２実施形態によれば、画像処理部１２は、動きブレを変更する複数の領域に個別の動きブレ量を設定することにより、同一の動き量の被写体であっても、強制的に動きブレ量に差をつけることが可能になる。このため、より幻想的な画像を撮影することができ、多様なユーザの意図に簡易に対応することができる。

＜第３実施形態＞
以下、第３実施形態に係る撮像装置について説明する。なお、第３実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第２実施形態では、選択領域のグループを指定するために、グループのボタンを用いたが、第３実施形態では、選択領域のグループを指定するために、グループ分けされた選択領域を指定する。

図１０は、第３実施形態に係る動きブレ強調領域の選択方法の一例を示す図である。
図１０において、領域ＲＡ内に領域ＲＢのグループが設定されているものとする。ここで、領域ＲＢのグループを領域ＲＡと区別するために、領域ＲＢは、太い枠で囲まれている。領域ＲＢ以外の領域ＲＡは、他のグループに属しているか、いずれのグループにも属していない領域である。

そして、ユーザは、領域ＲＢを変更するものとする。このとき、ユーザは、領域ＲＢ内のいずれかの領域ＲＣをタッチすると、表示系１４は、タッチされた領域ＲＣから領域ＲＢ以外の隣接する領域ＲＤ、ＲＥへ矢印を重畳表示する。ユーザは、この状態で矢印の先にある他の領域ＲＤをタッチすると、タッチされた領域ＲＤが領域ＲＢのグループに追加される。このとき、領域ＲＤが領域ＲＢのグループに追加されたことをユーザに認識させるため、領域ＲＤは、太い枠で囲まれる。

以上説明したように、上述した第３実施形態によれば、グループ分けされた選択領域の指定に基づいて選択領域を変更可能とすることにより、選択領域のグループを指定するために、スルー画像の外側にあるボタンをタッチする必要がなくなる。このため、ユーザは、注目領域から目を離すことなく、多数のグループが入り混じった境界線を変更する場合などに直感的に作業することが可能になる。

＜第４実施形態＞
以下、第４実施形態に係る撮像装置について説明する。なお、第４実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第３実施形態では、グループ分けされた選択領域に追加可能な領域を矢印で示したが、第４実施形態では、グループ分けされた選択領域を指定すると、その後に指定される任意の領域を同一グループに追加できるようにする。

図１１は、第４実施形態に係る動きブレ強調領域の選択方法の一例を示す図である。
図１１において、領域ＲＡ内に領域ＲＢのグループが設定されているものとする。ここで、領域ＲＢのグループを領域ＲＡと区別するために、領域ＲＢは、太い枠で囲まれている。

そして、ユーザは、領域ＲＢを変更するものとする。このとき、ユーザは、領域ＲＢ内のいずれかの領域をタッチすると、領域ＲＢが選択状態となる。その後、ユーザは、領域ＲＧをタッチしたり、領域ＲＦをなぞったりすると、表示系１４は、領域ＲＦ、ＲＧを太い枠で囲み、領域ＲＦ、ＲＧが領域ＲＢのグループに追加される。

以上説明したように、上述した第４実施形態によれば、グループ分けされた選択領域を指定した後に新たに指定される任意の領域を同一グループに追加できるようにすることで、飛び地の領域を指定したり、多数の領域を一度に追加したりすることも容易になる。

＜第５実施形態＞
以下、第５実施形態に係る撮像装置について説明する。なお、第５実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態では、被写体の動き量に基づいて動きブレ量を決定したが、第５実施形態では、被写体の動き量によらずに動きブレ量を決定する。
図１２は、第５実施形態に係る動きブレ強調画像の一例を示す図である。なお、図１２（ａ）は、走る犬を水平方向に流し撮りした画像Ｇ４である。図１２（ｂ）は、複数の領域グループを作成する手法を用いて撮影した図１２（ａ）の画像Ｇ４と同一構図の流し撮り画像Ｇ５である。

図１２（ｂ）において、画像Ｇ５では、被写体の犬より上部に２つの領域Ｒ１１、Ｒ１２が設定されている。なお、図１２（ｂ）では、領域Ｒ１１を点線の枠で示し、領域Ｒ１２を一点鎖線の枠で示した。ここで、領域Ｒ１１、Ｒ１２の動きブレ量は、領域Ｒ１１、Ｒ１２以外の領域の動きブレ量よりが大きくなるように設定した。この動きブレ量の設定により、流し撮りによって本来は均一な動きブレ量となる背景のうち、被写体の犬より上部の領域Ｒ１１、Ｒ１２でより大きな２種類の動きブレを起こさせることができる。このため、撮像装置１Ａは、被写体の犬の速度をより強調した幻想的な画像を撮像することができる。

以上説明したように、上述した第５実施形態によれば、被写体の動き量によらずに動きブレ量を決定することにより、ユーザの多様な意図に応じた動きブレ強調撮影を実現することができ、ユーザに対して幅の広い表現手法を提供することが可能になる。

＜第６実施形態＞
以下、第６実施形態に係る撮像装置について説明する。なお、第６実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態では、動きブレ強調時の非選択領域では、画像処理部１２は、オートモードで露出設定を行ったが、第６実施形態では、非選択領域の動きブレ量が、選択領域の動きブレ量の第１閾値未満の所定値以下になるように非選択領域の露光時間を算出する。また、画像処理部１２は、非選択領域の露出量が適正値になるように非選択領域のゲインを制御し、非選択領域の露光時間が変更されても、非選択領域の適正露出が維持できるようにする。

このとき、画像処理部１２は、ユーザが動きブレ強調領域として指定しなかった領域を「静止することを意図された領域」であるとみなし、その領域の動きブレ量が所定の値未満に収まるように露光時間を算出する。また、画像処理部１２は、算出した露光時間に合わせて、適正露出に必要なゲインの値を算出し、撮像系制御部１３に設定することにより、画像としての適正露出が保たれるようにする。撮像系制御部１３は、画像処理部１２にて算出された領域別の露光条件（露光時間およびゲイン）を撮像素子１１２に設定する。

図１３は、第６実施形態に係る動きブレ強調画像の一例を示す図である。なお、図１３（ａ）は、第１実施形態の手法を用いて撮影した画像Ｇ６を示し、図１３（ｂ）は、第６実施形態の手法を用いて撮影した図１３（ａ）と同一シーンの画像Ｇ７である。
図１３（ａ）の画像Ｇ６の領域Ｈ６では、局所的に風が吹くなどして木々が揺れているシーンが撮像されている。このようなシーンを第１実施形態の手法を用いて撮影すると、枠Ｒ１で囲まれた動きブレ強調領域ではない領域Ｈ６では、オートモードで算出された露光時間が適用される。

一方、枠Ｒ１で囲まれた動きブレ強調領域で長時間露光をしつつ適正露出を得るために、絞りは、小絞り側の値に設定されることが多い。このため、領域Ｈ６に適用されるオートモードの露光時間は木々の揺れの速度に対して十分に短く設定されない場合があり、領域Ｈ６では、動きブレを起こしたシーンが撮像される。

このように静止を意図する領域Ｈ６で動きブレが発生することをユーザが望まない場合、画像処理部１２は、領域Ｈ６では、動きブレを起こさないよう露光時間を十分に短く設定する。これにより、図１３（ｂ）に示すように、撮像装置１Ａは、動きブレ強調領域以外の領域では、ユーザの意図通りに動きブレのない画像Ｇ７を撮影することが可能になる。また、画像処理部１２は、領域Ｈ６おいて、
一方、動きブレ強調領域以外の領域において、動きブレがないことに不自然さを感じるユーザの場合、第１実施形態の手法を用いることにより、ある程度自然な動きブレを残すことが可能になる。

以上説明したように、上述した第６実施形態によれば、撮像装置１Ａは、動きブレ強調時の非選択領域では、ユーザが静止を意図した領域とみなし、動きブレのない画像を撮影することが可能になる。このため、ユーザが静止を意図した領域を指定することなく、ユーザが静止を意図した領域での動きブレのない画像を撮像することができ、ユーザの作業量の増大を抑制しつつ、ユーザの多様な意図に対応した幅の広い表現手法を提供することが可能になる。

＜第７実施形態＞
以下、第７実施形態に係る撮像装置について説明する。なお、第７実施形態において、第１実施形態と同様の構成および機能については、その詳細な説明は省略し、異なる点についてのみ説明する。第１実施形態では、動きブレ量が所定値以上になるよう露光時間を制御したが、第７実施形態では、動きブレ量が所定の範囲内に収まるように露光時間を制御する。

図１４は、第７実施形態に係る動きブレ強調画像の一例を示す図である。なお、図１４（ａ）および図１４（ｂ）では、どちらも雲の動きを表現することを意図している。図１４（ａ）は、雲の動き量に基づいて動きブレ強調撮影を行った撮影画像Ｇ８である。図１４（ｂ）は、雲の動きブレ量が所定の範囲内に収まるように動きブレ強調撮影を行った図１４（ａ）と同一シーンの撮影画像Ｇ９である。

図１４（ａ）において、多くの場合、雲は全天で均一な動き量であることはない。このため、雲の動き量に基づいて長時間露光を行うと、場所によって動きブレ量が異なる雲画像Ｈ８が撮像された画像Ｇ８が得られる。

一方、図１４（ｂ）において、雲の動きブレ量が所定の範囲内に収まるように動きブレ強調撮影を行うと、雲の動きブレ量が均一化されるように領域別の露光時間が設定される。このため、領域ごとに雲の動き量が異なる場合においても、動きブレ量が均一化された雲画像Ｈ９が撮像された画像Ｇ９が得られる。

なお、動きブレ量は一定値以上であり、かつ領域ごとに被写体の動き量に応じた動きブレの大小が付いていた方がよいというユーザに対しては、第１実施形態に手法を用いればよい。

以上説明したように、上述した第７実施形態によれば、画像処理部１２は、動きブレ量が所定の範囲内に収まるように露光時間を制御することにより、撮像装置１Ａは、被写体の動きによらずユーザの意図通りに動きブレ量を均一化した画像を撮影できる。このため、ユーザに対して撮像機会の増加をもたらすことが可能となるとともに、幅広い表現手段を提供することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給してもよい。そして、上述の実施形態の１以上の機能は、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＦＰＧＡまたはＡＳＩＣ）でも実現可能である。

１ 撮像装置１Ａ１ 撮像系、１２ 画像処理部、１３ 撮像系制御部、１４ 表示系、１５ 操作部、１１０ 結像光学系、１１１ 絞り、１１２ 固体撮像素子

Claims (12)

1. 撮像画像上の領域を選択する選択手段と、
   前記選択手段により選択された選択領域の被写体の動きブレ量を取得する取得手段と、
   前記取得手段により取得された動きブレ量に基づいて、前記選択領域の露光時間を制御する制御手段とを備えることを特徴とする画像処理装置。
2. 前記制御手段により露光時間が制御された領域の信号強度を補正する補正手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記選択手段により選択された選択領域の被写体の動きブレ量が第１閾値以上になるように前記選択領域の露光時間を制御することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、
   前記選択手段により選択された第１選択領域の被写体の動きブレ量が第１閾値以上になるように前記選択領域の露光時間を制御し、
   前記選択手段により選択された第２選択領域の被写体の動きブレ量が第２閾値以上になるように前記選択領域の露光時間を制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記選択手段により選択されなかった非選択領域の被写体の動きブレ量が前記第１閾値未満の所定値以下になるように前記非選択領域の露光時間を制御することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記制御手段は、前記非選択領域の露出量が適正値になるように前記非選択領域のゲインを制御することを特徴とする請求項５に記載の画像処理装置。
7. 前記動きブレ量は、前記選択領域の被写体の動き量と露光時間との積で与えられることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、前記選択手段により選択された選択領域の被写体の動きブレ量が所定の範囲内に収まるように前記選択領域の露光時間を制御することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記動きブレ量は、前記選択手段により選択された選択領域ごとに増減可能であることを特徴とする請求項１または２に記載の画像処理装置。
10. 前記取得手段は、前記選択手段により選択された選択領域ごとに増減された動きブレ量を外部から取得可能であることを特徴とする請求項９に記載の画像処理装置。
11. 撮像画像上の領域を選択するステップと、
    前記撮像画像上で選択された選択領域の被写体の動きブレ量を取得するステップと、
    前記選択領域の被写体の動きブレ量に基づいて、前記選択領域の露光時間を制御するステップとを備えることを特徴とする画像処理方法。
12. コンピュータを請求項１から１０のいずれか１項に記載の画像処理装置として動作させるためのプログラム。

Images