JP2021100167A - 画像処理装置、撮像装置、システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ブラケット撮影後において、動画の映像表示に用いる画像およびＶＣＡによる認識に用いるための画像の両方を適切なものとすることが可能な画像処理装置を提供する。【解決手段】撮像部１１は、撮影制御部１０３による制御により露出制御部１０２にて露出を変化させつつ被写体を複数回撮影するブラケット撮影を行う。動画生成部１０６は、ブラケット撮影により得られた露出の異なる複数の画像から動画像に用いる画像を選択することで、動画像を生成する。ここで、動画生成部１０６は、露出の異なる複数の画像から対象物を検出する検出部１０５の検出結果に基づいて、露出の異なる複数の画像から動画像に用いる画像を選択する。【選択図】 図３

Description

本発明は、画像処理装置、撮像装置、画像処理システム、画像処理方法及びプログラムに関するものである。

従来、デジタルカメラの静止画撮影時において、撮影後にユーザが好みの露出レベルの画像を選択したいというニーズに対応するため、ブラケット撮影という技術が浸透している。ブラケット撮影とは、同じ撮影シーンで撮影条件を変えて被写体を複数回撮影する撮影方法である。

また近年では、逆光等のように輝度差のあるシーンにおいて、ブラケット撮影のように異なる露光時間で撮影した複数の画像を合成するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）技術が主流となってきている。普及している汎用のカメラにおいては、中間階調のコントラスト低下など画質の劣化が課題である。また、動画を撮影するビデオカメラやネットワークカメラ等においてはフレームレート減少なども課題の一つとなっている。

一方で、近年、ネットワークカメラとＶＣＡ（Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ）を用いた顔認証システムや車両のナンバープレート認識システムなどの様々なソリューションが各社から提案されている。各認識システムにおける対象物の認識率を向上させるためには、認識に用いる画像を劣化させないことや、対象物が動体であればフレームレートを低減させないことが重要となる。そこで、広いダイナミックレンジの撮影環境において、シーンに応じた適応処理を施すことによって顔認識・認証やナンバープレート認識といったＶＣＡ等の検出・認識・認証率を向上させることが必要である。

ここで、特許文献１には、露出ブラケット撮影時の第１の露出と第２以降の露出を決定し、認証の可否を判断する技術が開示されている。また、特許文献２には、動画の記録モードとして第１と第２のモードがあり、第２の動画記録モードのときは自動的に静止画撮影に適した撮影条件でブラケット撮影を行う技術が開示されている。

特開２００８−５０８１号公報 特開２０１７−３８３８６号公報

しかしながら、上述の特許文献に開示された従来技術では、ブラケット撮影後の画像を映像として連続的に表示する際、明滅の激しい映像が表示されるおそれがある。また、明滅が激しい映像をＶＣＡに用いると、対象物の認識が困難となる。

そこで、本発明は、ブラケット撮影後において、動画の映像表示に用いる画像およびＶＣＡによる認識に用いるための画像の両方を適切なものとすることを目的とする。

本発明の一実施形態の画像処理装置は、被写体を撮像する撮像手段と、前記撮像手段による撮影時の露出を制御する露出制御手段と、前記露出制御手段を用いて露出を変化させつつ前記撮像手段を用いて前記被写体を複数回撮影する制御を行う撮影制御手段と、前記撮影制御手段の制御により前記撮像手段にて撮像される露出の異なる複数の画像に基づいて動画像を生成する生成手段と、前記露出の異なる複数の画像から対象物を検出する検出手段と、を有し、前記生成手段は、前記対象物の検出結果に基づいて、前記露出の異なる複数の画像から前記動画像に用いる画像を選択する。

本発明の画像処理装置によれば、ブラケット撮影後において、動画の映像表示に用いる画像およびＶＣＡによる認識に用いるための画像の両方を適切なものとすることができる。

撮像装置のハードウェア構成の一例を示すブロック図である。 撮像部の一例を示す図である。 撮像装置のソフトウェア構成の一例を示す図である。 ブラケット撮影時のユーザインターフェースのユーザによる選択例を表す図である。 ブラケット撮影時のユーザインターフェースのユーザによる他の選択例を表す図である。 ブラケット撮影による各撮影画像の一例を示す図である。 ブラケット撮影における撮影のパターンの例を示す図である。 ブラケット撮影による撮影画像内における対象物の検出結果を表した図である。 第１実施形態に係る撮像装置の処理を示すフローチャートである。 クライアント装置のハードウェア構成の一例を示すブロック図である。 第２実施形態に係る撮像システムのソフトウェア構成を示す図である。 ブラケット撮影による撮影画像内における対象物の検出結果を表した図である。 ブラケット撮影による撮影画像内における対象物の他の検出結果を表した図である。 第２実施形態に係る撮像システムの処理を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各実施形態では、ブラケット撮影された露出の異なる複数の画像から、動画生成部１０６が画像を選択することで動画像を生成する画像処理を行う例を説明する。

［第１実施形態］
図１は、撮像装置１０のハードウェア構成の一例を示すブロック図である。本実施形態では、撮像装置１０としてカメラを例示して説明する。撮像装置１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、入力部１４と、表示部１５と、通信部１６を備える。

撮像部１１は、被写体を撮像する。ＣＰＵ１２は、撮像装置１０における各部の制御を行う。メモリ１３は、プログラム、撮像部１１で撮像された画像、設定値等を記憶する。ここで、メモリ１３は、データを記録する手段を示すものであり、ＲＯＭや不揮発性メモリ等の記録媒体とＲＡＭやシステムメモリ等のワークメモリを含む。

入力部１４は、ユーザによる選択操作等の情報が入力されるもので、入力された情報をＣＰＵ１２に渡す。表示部１５は、ＣＰＵ１２の制御に基づき画像等を表示する。通信部１６は、撮像装置１０をネットワークに接続し、他の装置との通信等を制御する。

図２は、撮像部１１の一例を示す図である。撮像部１１は、レンズ２０１と、撮像素子２０２と、ＣＤＳ回路２０３と、ゲインコントロールアンプ回路であるＡＧＣアンプ２０４と、Ａ／Ｄ変換２０５を備える。ここで、ＣＤＳは、Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）の略である。また、ＡＧＣは、Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌの略である。

レンズ２０１は、数枚のレンズ群からなり、被写体像を撮像素子２０２に結像させる。レンズ２０１は、単焦点やズームレンズなど種々のレンズを用いることが可能である。撮像素子２０２は、ＣＣＤやＣＭＯＳ等を備える。撮像素子２０２は、撮像光学系としてのレンズ２０１を介して結像された被写体像を電気信号に変換する。さらに、レンズ２０１と撮像素子２０２の間において、物理的に光量を調節可能な絞りを備えることとしてもよい。

ＣＤＳ回路２０３は、撮像素子２０２から出力された電気信号に対して相関二重サンプリング処理等を実施する。ＡＧＣアンプ２０４は、カメラの利得制御を自動で行うものであり、ＣＤＳ回路２０３から出力された電気信号に対して増幅処理等を行う。Ａ／Ｄ変換２０５は、ＡＧＣアンプ２０４により増幅処理されたアナログ信号をデジタル信号へと変換する。

図３は、撮像装置１０のソフトウェア構成の一例を示す図である。まず、ソフトウェアの各部について説明する。撮像制御部１０１は、撮像部１１の制御を行うものであり、撮像部１１から得られた輝度信号及び色信号を露出制御部１０２に渡す。露出制御部１０２は、撮影時の露出の制御を行う。露出制御部１０２は、撮像部１１のレンズ２０１内の絞りや撮像素子２０２で設定される露光時間、ＡＧＣアンプ２０４で制御されるゲインなど被写体を撮像する際の露出に関する制御を行う。

ブラケット撮影制御部１０３は、ブラケット撮影における制御を行う。本実施形態のブラケット撮影は、露出制御部１０２を用いて露出を変化させつつ撮像部１１を用いて被写体を複数回撮影する。このブラケット撮影により、撮影画角が同一でありかつ露出レベルがそれぞれ異なる複数の撮影画像が得られる。ブラケット撮影制御部１０３は、撮像制御部１０１に通知する撮像枚数を決定するとともに露出制御部１０２に通知する露出レベルを決定する。この際、ブラケット撮影制御部１０３は、ブラケット撮影における制御において、後述の検出部１０５による検出結果を参照することもできる。また、ブラケット撮影制御部１０３は、露出の異なる複数の画像を撮影する場合の撮像順序を決定する。

画像処理部１０４は、露出制御部１０２で決められた露出で撮影された被写体の画像（画像データ）に対して、種々の一般的な画像処理を行う。例えば、ガンマ補正、ＷＢ処理、カラーバランス処理、シャープネス処理、ノイズ低減処理、収差補正、シェーディング補正等が含まれる。ここで、露出制御部１０２で設定する露出レベルに応じて画像処理部１０４における各種画像処理パラメータを変更してもよい。例えば、露出制御部１０２で制御しているゲインが高いほどノイズ低減処理のレベルを強くする処理等が含まれる。

検出部１０５は、画像内における検出対象物の検出を行う。検出部１０５は、画像処理部１０４で種々の画像処理を行った画像において、動体、人物、人物の顔、車両のナンバープレート等の種々の対象物の検出を行う。なお、検出部１０５は、異なる種類の対象物を別の対象物として検出することが可能である。検出部１０５は、対象物の検出結果を、ブラケット撮影制御部１０３や動画生成部１０６に通知する。

動画生成部１０６は、画像処理部１０４で種々の画像処理を行った複数の画像を用いて動画の生成を行う。この時、動画生成時のコーデックはＭｏｔｉｏｎ ＪＰＥＧ、ＭＰＥＧ−４やＨ．２６４、Ｈ．２６５などの種々のコーデックを扱ってもよい。さらに、動画生成部１０６は、複数の動画を生成可能で、後述の出力部１０７用に異なるコーデックやフレーム構成、フレームレートの動画を生成してもよい。このとき、ブラケット撮影により撮影された、露出の異なる複数の画像に対して、２つまたはそれ以上の画像どうしで画像合成を行い、この画像合成を行った画像を用いて動画像の生成をしてもよい。画像合成は、所定の合成比率で行ってもよく、所定のフレーム数ごとに行ってもよく、ブラケット撮影における所定のまとまりの画像である１ＳＥＴの画像ごとに行ってもよい。また、動画生成部１０６は、検出部１０５による検出結果が通知された場合、この検出結果に応じて、動画生成時のコーデックやフレーム構成、フレームレート等を変更することとしてもよい。

出力部１０７は、画像処理部１０４で種々の画像処理を行った画像、または動画生成部１０６で生成された動画の少なくとも何れかを出力する。出力先としては撮像装置１０に内蔵されているディスプレイでもよいし、通信部１６を介してネットワークに接続されている外部の端末装置でもよい。

以上のようなハードウェア及びソフトウェア構成を有する撮像装置１０において、具体例を用いて、各部の説明をより詳しく行う。まず、ユーザが入力部１４により露出レベルを選択する際に用いる、ユーザインターフェースの一例を説明する。

図４および図５は、ブラケット撮影時のユーザインターフェースのユーザによる選択例を表す図である。図４において選択された目盛り３０１〜３０３が示す露出レベルおよび図５において選択された目盛り４０１〜４０３が示す露出レベルは、いずれもユーザが指定した露出レベルである。ユーザが指定した露出レベルは、ブラケット撮影時の１ＳＥＴに含まれる画像の露出レベルを表す。また、図中の目盛りのうち、図４における長い目盛り３０１と図５における長い目盛り４０１は、いずれも適正露出レベルとして設定される目盛りである。

このようなユーザインターフェースにより、ユーザは、次のように露出レベルを選択する。例えば、図４に示すように、ブラケット撮影時の露出として、露出−１．０段と、露出±０段と、露出＋１．０段を指定し、そのうちの露出±０段を、適性露出レベルに指定することもできる。また、ユーザは、図５に示すように、ブラケット撮影時の露出として、露出−１．０段と、露出±０段と、露出＋１．０段を指定し、そのうちの露出＋１．０段を、適正露出レベルに指定することもできる。

次に、ブラケット撮影制御部１０３により制御されるブラケット撮影の具体例を説明する。図６は、ブラケット撮影による各撮影画像の一例を示す図である。ブラケット撮影では、例えば、図６に示すように、複数回の撮影を行う際、露出レベル±０段を基準にして、露出レベル＋２．０段、露出レベル−２．０段のように、露出レベルを異ならせる。これにより、１ＳＥＴの画像となる、露出の異なる複数の画像が得られる。ここで、説明のために、露出レベル＋２．０段を用いて撮影された画像をα、露出レベル±０段を用いて撮影された画像をβ、露出レベル−２．０段を用いて撮影された画像をγとする。この場合、各画像の露出レベルの関係は、露出が高いほうからα＞β＞γという関係となる。

ブラケット撮影における撮影のパターンの例を、具体的に説明する。図７は、ブラケット撮影における撮影のパターンの例を示す図である。ブラケット撮影においては、図７（Ａ）のように、１ＳＥＴの画像を上述のα、β、γで構成し、α、β、γの順のように、露出レベルが次第に低くなるように露出レベルを変化させつつ、１ＳＥＴとなる画像を繰り返し撮影してもよい。また、図７（Ｂ）のように、βの画像の枚数を１枚増やして、１ＳＥＴの画像をα、β、γ、βで構成し、α、β、γ、βの順で、１ＳＥＴの画像を繰り返し撮影してもよい。また、図７（Ｃ）のように、βの画像を用いずに、１ＳＥＴの画像をα、γで構成し、α、γの順で、１ＳＥＴの画像を繰り返し撮影してもよい。

なお、必ずしも１ＳＥＴの画像を繰り返し撮影する必要はなく、状況によって撮影パターンを変えて撮影してもよい。例えば、図７（Ａ）のパターンでブラケット撮影をしている場合であっても、動画撮影時のフレームレートに制限等がある場合、図７（Ｃ）のパターンに変更して、ブラケット撮影をしてもよい。なお、ブラケット撮影制御部１０３によるブラケット撮影の撮影パターンは、図７（Ａ）〜図７（Ｃ）に限定されるものではなく、種々の露出レベルや撮影順序でブラケット撮影が可能である。例えば、撮影可能な露出レベルのうち最も高い露出レベルから、露出レベルが次第に低くなるように変更し、露出レベルが最も低い露出レベルに達した後、露出レベルが次第に高くなるように変更するように、露出レベルを変更してもよい。

ここで、検出部１０５が、ブラケット撮影された画像の中から検出対象となる対象物を検出する場合について、画像を例示して説明する。図８は、ブラケット撮影による撮影画像内における対象物の検出結果を表した図である。

図８にて示す３枚の画像１ａ、画像１ｂ、画像１ｃは、いずれも撮影画角が同一でありかつ露出レベルがそれぞれ異なる撮影画像である。画像の露出レベルは、画像１ａ＜画像１ｂ＜画像１ｃの順で高くなり、画像１ｃが最も明るい画像となる。そして、同図に示す画像１ａ〜１ｃには、撮影対象として、人物２ａと、人物２ａの後ろにある背景としての壁面２ｂが表示されている。また、画像１ｃには、人物の顔等の対象物が検出部１０５により検出されたときに、画像上に重畳する表示枠３ａが表示されている。

次に、本実施形態の撮像装置１０によりブラケット撮影が行われる場合の処理について説明する。図９は、第１実施形態に係る撮像装置１０の処理を示すフローチャートである。

図９に示すように、まず、撮像装置１０内のＣＰＵ１２は、露出ブラケット撮影をするかどうかを判定する（ステップＳ１０１）。なお、ユーザは、撮像装置１０が常にブラケット撮影を行うように設定することもできる。また、ユーザは、撮影シーンに輝度差が所定以上ある場合等、所定の条件に基づいて、自動またはユーザ選択によりブラケット撮影を行うか否かを設定してもよい。

ステップＳ１０１で、ブラケット撮影すると判定された場合には、ＣＰＵ１２は、撮影された映像を表示するか否かを判定する（ステップＳ１０２）。そして、撮影された映像を表示する場合は、ＣＰＵ１２は、ブラケット撮影された露出の異なる複数の画像内において、対象物が検出部１０５によって検出されたか否かを判定する（ステップＳ１０３）。

ステップＳ１０３で、検出部１０５によって対象物が検出された場合、動画生成部１０６は、露出の異なる複数の画像から対象物が検出された露出レベルの画像を選択する。例えば、上述の図８の画像１ｃのように、検出部１０５が、対象物となる顔を検出した場合、ＣＰＵ１２は、動画生成部１０６に対して、対象物が検出された画像１ｃと同じ露出レベルの画像を選択するように指示する。すると、対象物が検出された露出レベルの画像が優先的に動画像に用いられ、その動画像が表示部１５に表示される（ステップＳ１０５）。これにより、表示部１５には、ブラケット撮影をしつつ、露出による明るさ変動のない映像が表示されることとなる。

一方、ステップＳ１０３で、検出部１０５により対象物が検出されなかった場合、ＣＰＵ１２は、適正露出を含む所定の露出以外の画像を除外した動画像を表示する（ステップＳ１０４）。すなわち、この場合、ＣＰＵ１２は、動画生成部１０６を用いて、あらかじめ適正露出として設定された所定の露出の画像を含む画像を選択する。例えば、上述の図８における画像１ａの露出レベルが適正露出として設定されている場合には、動画生成部１０６が画像１ａを選択して、表示部１５に表示する。また、図８における画像１ｂの露出レベルが適正露出として設定されている場合には、動画生成部１０６が画像１ｂを選択して、表示部１５に表示する。

次に、記録に関する制御手順を説明する。図９に示すように、ＣＰＵ１２は、ブラケット撮影された露出の異なる複数の画像を記録するかどうかを判定する（ステップＳ１０６）。ステップＳ１０６において、記録すると判定された場合、ＣＰＵ１２は、ユーザによって露出レベルの指定がされているかを判定する（ステップＳ１０７）。

ステップＳ１０７において、ユーザ指定があると判定された場合は、ＣＰＵ１２は、ユーザが指定する露出レベルの画像をメモリ１３に記録する（ステップＳ１０８）。例えば、上述のユーザインターフェース（図４または図５参照）においてユーザによって指定された露出レベルの画像を記録することとしてもよい。

一方、ステップＳ１０７において、ユーザ指定がないと判定された場合は、ブラケット撮影により撮影された露出の異なる複数の画像の全画像を記録する（ステップＳ１０９）。なお、ステップＳ１０９はこれに限るものではなく、ステップＳ１０４で生成された適正露出を含む所定の露出以外の画像が除外された画像を記録することとしてもよい。また、ステップＳ１０９を、ステップＳ１０５で生成された画像である対象物が検出されている露出レベルの画像を記録することとしてもよい。

本実施形態においては、検出部１０５が検出する対象物の検出結果に基づいて、動画生成部１０６が、ブラケット撮影により得られる露出の異なる複数の画像から、動画像に用いる画像を選択する。動画生成部１０６によって選択された画像は、検出部１０５によって対象物が検出された露出の画像であるため、視認しやすい画像である。このため、動画の映像表示に用いる画像として適切なものである。また、動画生成部１０６によって選択された画像は、検出部１０５によって対象物が検出された露出の画像であるため、ＶＣＡによる認識も行いやすい画像である。このため、ＶＣＡによる認識に用いる画像として適切なものである。このように、本実施形態によれば、ブラケット撮影後において、動画の映像表示に用いる画像およびＶＣＡによる認識に用いるための画像の両方を適切なものとすることができる。

［第２実施形態］
次に、本発明の第２実施形態を図面に基づいて説明する。ここでは、撮像装置１０とクライアント装置２０を有する撮像システムを例示して、本実施形態の画像処理システムを説明する。前述の実施形態と同様の構成については、同符号を付す等をすることにより、詳細な説明を適宜省略する。

図１０は、クライアント装置２０のハードウェア構成の一例を示すブロック図である。クライアント装置２０のハードウェア構成は、前述の実施形態の撮像装置１０のハードウェア構成から撮像部１１を除外した構成と同様である。このため、クライアント装置２０の各部の詳細構成の説明を省略する。クライアント装置２０は、撮像装置１０に対して通信可能な情報処理装置である。

図１１は、第２実施形態に係る撮像システムのソフトウェア構成を示す図である。図１１中の撮像装置１０に含まれるソフトウェアの各要素は、前述のソフトウェア要素と同一構成かつ同一処理内容のため、説明を省略する。

クライアント装置２０は、表示部１５（第１の表示部）とは別の表示部である第２の表示部５０１と、検出部１０５（第１の検出部）とは別の検出部である第２の検出部５０２を有する。クライアント装置２０は、撮像装置１０との間で通信を行う。ここでの通信は、ローカルネットワークを用いて行ってもよいし、インターネットなどのグローバルネットワークを介して通信を行ってもよい。

第２の表示部５０１は、撮像装置１０の出力部１０７から出力された画像または動画像を表示する。第２の検出部５０２は、撮像装置１０の出力部１０７から出力された画像または動画像内における対象物の検出を行う。第２の検出部５０２の検出対象となる対象物は、検出部１０５と同一種類の対象物でもよいし、異なる種類の対象物でもよい。また、第２の検出部５０２が、検出部１０５と同様に、対象物の検出結果をブラケット撮影制御部１０３に通知することとしてもよい。

以上のようなハードウェア及びソフトウェア構成を有する撮像システムにおける本実施形態の画像処理について説明を行う。ここでは、上述の第２の検出部５０２が、ブラケット撮影された画像の中から検出対象となる複数の対象物を検出する場合の画像処理について、画像を例示して説明する。図１２および図１３は、ブラケット撮影による撮影画像内における対象物の検出結果を表した図である。

図１２および図１３にて示す３枚の画像４ａ、画像４ｂ、画像４ｃは、いずれも撮影画角が同一でありかつ露出レベルがそれぞれ異なる撮影画像である。露出レベルは、画像４ａ＜画像４ｂ＜画像４ｃの順で高くなり、画像４ｃが最も明るい画像となる。そして、同図に示す画像４ａ〜４ｃには、撮影対象として、前述の実施形態と同様、人物２ａと壁面２ｂが表示されるとともに、本実施形態では、人物２ａとは異なる人物５ｂと、車両５ｃが表示されている。また、画像４ａ〜４ｃには、対象物としての人物が検出されたときに画像上に重畳する表示枠６ａ、６ｂと、対象物としての車両が検出されたときに画面上に重畳する表示枠６ｃが表示されている。

以上のように、撮影画像内における複数の対象物を第２の検出部５０２が検出した場合、クライアント装置２０のＣＰＵ１２は、動画生成部１０６を用いて、表示または記録のための画像を選択する。この選択例を次に例示する。

まず、対象物の総検出数が最も多い画像が選択された例を説明する。図１２に示す例の場合、画像４ａにおける対象物の総検出数は、人物が１で車両が１の合計２であり、画像４ｂにおける対象物の総検出数は、人物が２で車両が０の合計２であり、画像４ｃにおける対象物の総検出数は、人物が２で車両が１の合計３である。この場合、対象物の総検出数が最も多い画像４ｃが選択される。

一方で、対象物の総検出数が同じ露出レベルが存在する場合は、予め決められた優先度の高い所定の対象物の検出数が多い画像を選択してもよい。図１３に示す例の場合、画像４ａにおける対象物の総検出数は、人物が１で車両が１の合計２であり、画像４ｂにおける対象物の総検出数は、人物が２で車両が０の合計２であり、画像４ｃにおける対象物の総検出数は、人物が２で車両が０の合計２である。この場合、いずれの画像も対象物の総検出数は同一だが、車両を優先度の高い所定の対象物とする場合、車両の検出数が最も多い画像４ａが選択される。一方、人物を優先度の高い所定の対象物とする場合、人物の検出数が画像４ａよりも多い画像４ｂと画像４ｃが優先されて選択される。そして、画像４ｂと画像４ｃのように人物の検出数が同数の場合には、より適正露出レベルに近い画像が画像４ｂである場合、画像４ｂを選択することとしてもよい。

次に、本実施形態の撮像システムによりブラケット撮影が行われる場合の処理について説明する。図１４は、第２実施形態に係る撮像システムの処理を示すフローチャートである。図１４中のステップＳ１０１〜Ｓ１０９に関しては第１実施形態で説明した図９のフローチャートの各処理と同様のため、説明を省略する。

図１４に示すように、撮影された映像を表示する場合は、ＣＰＵ１２は、ブラケット撮影された露出の異なる複数の画像内において、対象物が第２の検出部５０２によって検出されたか否かを判定する（ステップＳ１０３）。そして、ステップＳ１０３で対象物が検出された場合に、クライアント装置２０内のＣＰＵ１２は、対象物が複数存在するかどうかを判定する（ステップＳ２０１）。

ステップＳ２０１で、対象物が複数存在しなかった場合は、ＣＰＵ１２は、単一の対象物が検出されている露出レベルの画像を第２の表示部５０１に表示する（ステップＳ１０５）。一方、ステップＳ２０１で、対象物が複数または所定の種類の対象物が検出された場合は、ＣＰＵ１２は、検出された対象物の種類およびそれぞれの検出数等に応じて選択された露出レベルの画像を第２の表示部５０１に表示する（ステップＳ２０２）。

次に、記録に関する制御手順を説明する。まず、ＣＰＵ１２は、ブラケット撮影された露出の異なる複数の画像を記録するかどうかを判定する（ステップＳ１０６）。ステップＳ１０６において、記録すると判定された場合、ＣＰＵ１２は、ユーザによって露出レベルの指定がされているかを判定する（ステップＳ１０７）。

ステップＳ１０７において、ユーザ指定がなかった場合は、ＣＰＵ１２は、各種ＶＣＡを使用するかどうかを判定する（ステップＳ２０３）。ステップＳ２０３において、ＶＣＡを使用すると判定された場合は、ＣＰＵ１２は、各種ＶＣＡに適した動画像を記録する（ステップＳ２０４）。ここで、各種ＶＣＡに適した動画像とは、例えば人物の検出等をする際に、映像内の人物が検出可能でかつ露出レベルが所定範囲内の動画像である。ここで、人物が検出可能な露出レベルの動画像に対して、人物検出が可能である露出レベルであることを示すメタデータ等を付加してもよい。

本実施形態においては、第２の検出部５０２が検出する対象物の検出結果に基づいて、動画生成部１０６が、ブラケット撮影により得られる露出の異なる複数の画像から、動画像に用いる画像を選択する。動画生成部１０６によって選択された画像は、第２の検出部５０２によって対象物が検出された露出の画像であるため、視認しやすい画像である。このため、動画の映像表示に用いる画像として適切なものである。また、動画生成部１０６によって選択された画像は、第２の検出部５０２によって対象物が検出された露出の画像であるため、ＶＣＡによる認識も行いやすい画像である。このため、ＶＣＡによる認識に用いる画像として適切なものである。このように、本実施形態によれば、ブラケット撮影後において、動画の映像表示に用いる画像およびＶＣＡによる認識に用いるための画像の両方を適切なものとすることができる。

［その他の実施形態］
前述の実施形態において、第１実施形態における検出部１０５と第２実施形態における第２の検出部５０２とで、対象物の検出方法が異なっているが、これに限るものでない。例えば、検出部１０５が、第２の検出部５０２のように、複数の人物や車両を検出することとしてもよく、第２の検出部５０２が、検出部１０５のように、人物の顔を検出することとしてもよい。

前述の実施形態においては、表示または記録をするための画像として、ＣＰＵ１２の指示により、動画生成部１０６が、ブラケット撮影により撮影された露出の異なる複数の画像のうち一部の画像を選択することとしていたが、これに限るものではない。例えば、表示または記録をするための画像として、動画生成部１０６が、ブラケット撮影により撮影された露出の異なる複数の画像を合成することとしてもよい。この場合、表示のための画像としては所定の露出レベルの画像を選択する一方で、記録のための画像としては合成画像を生成するなど、表示または記録に用いる画像の一方のみを合成することとしてもよい。合成をするにあたっては、所定の合成比率で合成することとしてもよいし、所定のフレーム数で合成することとしてもよいし、上述の１ＳＥＴごとに合成をすることとしてもよい。また、合成処理を行う機器は、記録する形態に応じて、撮像装置１０であってもよいし、撮像装置１０から受信した画像に対してクライアント装置２０であってもよい。

前述の実施形態において、検出部１０５または第２の検出部５０２が、対象物の検出結果をブラケット撮影制御部１０３に通知することとしているが、これについて詳しく説明する。検出部１０５や第２の検出部の通知によってブラケット撮影制御部１０３の制御内容が変わる場合、ブラケット撮影制御部１０３が１ＳＥＴのブラケット撮影ごとに異なる露出レベルを設定することがある。このとき、ブラケット撮影制御部１０３によるブラケット撮影の制御内容によっては、ブラケット撮影で得られる画像が、１ＳＥＴごとに同一の露出で行われるとは限らない。すると、動画生成部１０６が選択する画像の露出レベルが広範囲にわたるおそれがある。

このように、動画生成部１０６が、露出レベルが広範囲にわたると判断した場合、動画生成部１０６は、露出の異なる複数の画像から、輝度が所定の範囲となるように、動画像に用いる画像を選択することとしてもよい。この際、ＣＰＵ１２が、画像処理部１０４に配置されるまたは不図示の平均輝度算出手段を用いて、露出の異なる複数の画像の平均輝度を算出して、適正な輝度を設定することとしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１１ 撮像部
１０２ 露出制御部
１０３ ブラケット撮影制御部
１０５ 検出部
１０６ 動画生成部

Claims (15)

1. 被写体を撮像する撮像手段と、
   前記撮像手段による撮影時の露出を制御する露出制御手段と、
   前記露出制御手段を用いて露出を変化させつつ前記撮像手段を用いて前記被写体を複数回撮影する制御を行う撮影制御手段と、
   前記撮影制御手段の制御により前記撮像手段にて撮像される露出の異なる複数の画像に基づいて動画像を生成する生成手段と、
   前記露出の異なる複数の画像から対象物を検出する検出手段と、を有し、
   前記生成手段は、前記対象物の検出結果に基づいて、前記露出の異なる複数の画像から前記動画像に用いる画像を選択する
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記検出手段が検出した前記対象物の種類と数に基づいて、前記露出の異なる複数の画像から前記動画像に用いる画像を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記対象物の前記数が複数ある場合、前記生成手段は、前記露出の異なる複数の画像のうち前記対象物の数が最も多い画像を、前記動画像に用いる画像として選択する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記対象物の前記種類が複数ある場合、前記生成手段は、前記対象物のうち所定の対象物の数が最も多い画像を、前記動画像に用いる画像として選択する
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記生成手段は、前記動画像に用いる画像の露出が所定の露出となるように、前記露出の異なる複数の画像から前記動画像に用いる画像を選択する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記所定の露出は、ユーザにより設定された露出である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記露出の異なる複数の画像から選択された画像の露出が前記所定の露出にならないと判断した場合、前記選択された画像のうち輝度が所定の輝度となる画像を選択することで、前記動画像に用いる画像を選択する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記生成手段は、前記動画像に用いる画像が所定のフレームレートになるように、前記露出の異なる複数の画像から前記動画像に用いる画像を選択する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記露出の異なる複数の画像の一部を合成することで、前記動画像に用いる画像を生成する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記撮影制御手段は、前記検出手段の検出結果に基づいて、前記露出制御手段による露出と、前記撮像手段による撮像枚数を決定する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記撮影制御手段は、前記検出手段の検出結果に基づいて、前記撮像手段にて撮像される前記露出の異なる複数の画像の撮像順序を決定する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 請求項１乃至１１のいずれか１項に記載の画像処理装置と、
    前記被写体の像を電気信号に変換する撮像素子と、を備える
    ことを特徴とする撮像装置。
13. 被写体を撮像する撮像手段と、
    前記撮像手段での撮影時の露出を制御する露出制御手段と、
    前記露出制御手段を用いて露出を変化させつつ前記撮像手段を用いて前記被写体を複数回撮影する制御を行う撮影制御手段と、
    前記撮影制御手段の制御により前記撮像手段にて撮像される露出の異なる複数の画像に基づいて動画像を生成する生成手段と、
    ネットワークを介して前記撮像手段、前記露出制御手段、前記撮影制御手段及び前記生成手段と通信可能な情報処理装置と、を備え、
    前記情報処理装置は、前記露出の異なる複数の画像から対象物を検出する検出手段と、を有し、
    前記生成手段は、前記対象物の検出結果に基づいて、前記露出の異なる複数の画像から前記動画像に用いる画像を選択する
    ことを特徴とする画像処理システム。
14. 被写体の画像データを処理する画像処理装置にて実行される画像処理方法であって、
    露出を変化させつつ被写体を複数回撮影する撮像工程と、
    撮像された露出の異なる複数の画像に基づいて動画像を生成する生成工程と、
    前記露出の異なる複数の画像から対象物を検出する検出工程と、を有し、
    前記生成工程においては、前記対象物の検出結果に基づいて、前記露出の異なる複数の画像から前記動画像に用いる画像を選択する
    ことを特徴とする画像処理方法。
15. 請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
    
    

Images