JP2015080157A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2015080157A JP2015080157A JP2013217490A JP2013217490A JP2015080157A JP 2015080157 A JP2015080157 A JP 2015080157A JP 2013217490 A JP2013217490 A JP 2013217490A JP 2013217490 A JP2013217490 A JP 2013217490A JP 2015080157 A JP2015080157 A JP 2015080157A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- ratio
- combining
- imaging device
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】最適なダイナミックレンジ拡大処理を行う。【解決手段】合成比率算出部305は、異なる露出条件で複数の画像データが撮像された際における撮像装置の状態情報を取得し、状態情報に基づいて、複数の画像データの合成比率を算出する。加重加算部306は、算出された合成比率に基づいて、複数の画像データを合成する。【選択図】図3
Description
本発明は、異なる露出条件で撮像された複数の画像データを合成してダイナミックレンジを拡大させる技術に関するものである。
従来、CCDイメージセンサやCMOSイメージセンサ等の撮像素子を用いたデジタルカメラやデジタルビデオが広く用いられている。しかし、これらの撮像素子は、銀塩フィルムと比較してダイナミックレンジ(ラチチュード)が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化(黒つぶれ)や高輝度部分の階調性悪化(白飛び)が発生しやすかった。
これに対し、特許文献1には、同一被写体を異なる露光量で2枚撮影し、当該2枚の画像データを合成することにより、ダイナミックレンジが広い画像データを生成する技術が開示されている。
しかしながら、特許文献1に開示される技術では、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の動画撮影時の撮像装置の状態が考慮されていない。従って、動画撮影により得られた画像データを合成してダイナミックレンジを拡大させたとしても、ダイナミックレンジが拡大された画像データはノイズを含み、低品質なものとなっていた。
そこで、本発明は、最適なダイナミックレンジ拡大処理を行うことにある。
本発明の画像処理装置は、撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得手段と、前記状態情報に基づいて、前記複数の画像データの第1の合成比率を算出する算出手段と、前記算出手段により算出された前記第1の合成比率に基づいて、前記複数の画像データを合成する合成手段とを有することを特徴とする。
本発明によれば、最適なダイナミックレンジ拡大処理を行うことが可能となる。
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る撮像装置の構成を示す図である。なお、本実施形態に係る撮像装置には、デジタルスチルカメラやデジタルムービーカメラ等の電子カメラ、このような電子カメラを含む画像処理装置や情報処理装置(例えば、パーソナルコンピュータや携帯端末)等を適用することができる。以下では、電子カメラを撮像装置に適用した場合について説明する。
図1において、光学系101は、絞り、メカニカルシャッタ及びレンズ等を備え、後述する制御回路115の制御に従って被写体光学像を撮像素子102上に結像する。撮像素子102は、CCDイメージセンサやCMOSセンサ等の固体撮像素子であり、例えばベイヤー配列を有する原色カラーフィルタを備え、カラー画像データの撮影が可能である。本実施形態において、撮像素子102は、A/D変換器等の前処理回路を含むものとし、メモリ103には撮像素子102により撮像された画像データが格納される。
顔検出部116は、メモリ103に記憶された画像データに対して顔検出技術を適用することにより、画像データ中に含まれる人間の顔領域を検出する。上記顔検出技術としては、ニューラルネットワーク等を利用した学習に基づく手法、及び、テンプレートマッチングを用いて、目、鼻及び口等の形状に特徴のある部位を画像データから探し出し、類似度が高ければ顔とみなす手法等がある。他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的には、これらの手法を複数組み合わせ、顔検出の精度を向上させており、画像データ中に含まれる目の位置や顔領域の位置(顔座標)を検出することができる。顔検出部116は、顔領域が検出された場合、顔領域の位置や大きさに関する情報を顔情報として出力する。
顔検出部116により顔領域が検出された場合、CPU117は、顔領域が適正露出で撮像されるようにシャッタ速度及び絞り値を算出する。また、顔領域を焦点検出領域として合焦制御を行い、フォーカスレンズの駆動量を算出する。一方、顔検出部116により顔領域が検出されなかった場合、CPU117は、画像データ全体の輝度に基づいて、シャッタ速度及び絞り値を算出するとともに、予め定められた合焦領域を用いて合焦制御を行い、フォーカスレンズの駆動量を算出する。
CPU117で算出された露出値(シャッタ速度、絞り値)及びフォーカスレンズの駆動量は、制御回路115に出力される。制御回路115は、これら各値に基づいて、光学系101が有する絞り、シャッタ及びフォーカスレンズを駆動する。
WB(ホワイトバランス)制御部104は、メモリ103に記憶された画像データ及び顔検出部116から得られる顔情報に基づいて、WB(ホワイトバランス)補正値を算出する。そして、WB制御部104は、算出したWB補正値を用いて、メモリ103に記憶された画像データのホワイトバランスを補正する。
色変換マトリックス(MTX)回路105は、WB制御部104によりホワイトバランスが補正された画像データが最適な色で再現されるよう色ゲインを乗じ、2つの色差信号R−Y、B−Yに変換する。ローパスフィルタ(LPF)回路106は、色差信号R−Y、B−Yの帯域を制限する。CSUP(Chroma Supress)回路107は、LPF回路106で帯域制限された色差信号R−Y、B−Yの飽和部分の偽色信号を抑圧する。
一方、WB制御部104によりホワイトバランスが補正された画像データは、輝度信号(Y)生成回路113にも供給され、輝度信号生成回路113で輝度信号Yが生成される。エッジ強調回路114は、生成された輝度信号Yに対してエッジ強調処理を適用する。
CSUP回路107から出力される色差信号R−Y、B−Yと、エッジ強調回路114から出力される輝度信号Yとは、RGB変換回路108にてRGB信号に変換される。ガンマ補正回路109は、RGB信号に対し、予め定められたガンマ特性に従った階調補正処理(即ち、ガンマ補正処理)を適用する。本実施形態では、後述する適正画像データに対応するRGB信号と、同じく後述するアンダー画像データに対応するRGB信号とに対してそれぞれガンマ補正処理が施される。色輝度変換回路110は、適正画像データとアンダー画像データとのそれぞれについて適正露出画像データを生成する。適正画像データに対応する適正露出画像データとアンダー画像データに対応する適正露出画像データとはCPU117に出力される。ここでいう適正画像データ及びアンダー画像データはそれぞれ異なる露出条件で撮影された画像データである。より具体的には、適正画像データは、適正な露光量で撮影された画像データであり、アンダー画像データは、適正画像データと比べて低い露光量で撮影された画像データである。
CPU117は、適正画像データに対応する適正露出画像データとアンダー画像データに対応する適正露出画像データとに基づいて、当該2つの適正露出画像データの合成比率を算出し、当該合成比率に従って当該2つの適正露出画像データを合成する。合成された画像データは、圧縮回路111にて圧縮符号化され、記録回路112によって記録媒体において記録される。ここで記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてよい。
次に、図2及び図3を参照しながら、本発明の第1の実施形態に係る撮像装置の画像合成処理について説明する。図2は、本発明の第1の実施形態に係る撮像装置の画像合成処理の流れを示すフローチャートであり、図3は、本発明の第1の実施形態における画像合成処理に主に関連する撮像装置の構成を示す図である。なお、図3に示した構成のうち、303〜306に示す構成は、CPU117がROM等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する機能構成である。また、図2に示す処理は、CPU117がROM等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する処理である。
ステップS101において、撮像装置は、アンダー画像データ及び適正画像データを撮像し、それぞれに対してガンマ補正処理前までの画像処理を施す。ステップS102において、ガンマ補正回路109は、アンダー画像データ及び適正画像データそれぞれに対して異なる特性のガンマ補正処理を施す。図3に示すように、ガンマ補正回路109は、第1のガンマ補正回路301と第2のガンマ補正回路302とを備えている。第1のガンマ補正回路301は、アンダー画像データに対するガンマ補正処理を行い、第2のガンマ補正回路302は、適正画像データに対するガンマ補正処理を行う。第1のガンマ補正回路301と第2のガンマ補正回路302とは、それぞれが異なる特性のガンマ補正処理を実行する。
ここで、図4を参照しながら、本実施形態におけるガンマ補正処理について説明する。図4の401は、第1のガンマ補正回路301におけるガンマ補正処理の特性(以下、第1のガンマカーブと称す)であり、図4の402は、第2のガンマ補正回路302におけるガンマ補正処理の特性(第2のガンマカーブと称す)である。第2のガンマカーブは、適正画像データに対するガンマ補正処理で使用される通常の特性のガンマカーブである。一方、第1のガンマカーブは、ガンマ補正後におけるアンダー画像データのAE目標値が、第2のガンマカーブを用いたガンマ補正後における適正画像データのAE目標値と一致するように設定されたガンマカーブである。
ところで、ガンマ補正前のアンダー画像データのAE目標値を下げることでダイナミックレンジを拡大することができる。しかし、単純にAE目標値を下げると、露出アンダーとなり、アンダー画像データが暗くなってしまう。そこで、本実施形態では、ダイナミックレンジの拡大量に応じて、アンダー画像データを明るくするようにガンマ補正を行うように第1のガンマカーブを決定する。これにより、アンダー画像データの明るさ(露出)を適正にしながら、ダイナミックレンジを拡大させることが可能となる。
なお、本実施形態では、ガンマ補正前のAE目標値を下げたことによるアンダー画像データの輝度低下をガンマ補正により補正する構成について示したが、ルックアップテーブル等の別の手段を用いて同様の輝度補正を行ってもよい。
また、ホワイトバランス補正のためのホワイトバランス係数のゲインと飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やAFEゲインの低減等によりゲインダウンされた画像データをA/D変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる(飽和信号量を大きくする)ことによっても同じ効果が得られる。
ステップS103において、色輝度変換回路110は、ガンマ補正後のアンダー画像データを適正露出画像データYUV1に変換するとともに、ガンマ補正後の適正画像データを適正露出画像データYUV2に変換する。
ステップS104において、輝度合成比率算出部303は、適正露出画像データYUV2の各画像領域の輝度に基づいて合成比率1を算出する。ここでは例えば、n×nピクセルの画像領域の平均輝度に基づいて合成比率1が算出される。図5(a)に示すように、平均輝度が高い画像領域ほど白飛びの可能性があるため、当該画像領域について適正露出画像データYUV1の合成比率を高めるように合成比率1が算出される。
ステップS105において、移動体合成比率算出部304は、適正露出画像データYUV1及びYUV2に基づいて移動体領域を抽出して合成比率2を算出する。即ち、移動体合成比率算出部304は、適正露出画像データYUV1及びYUV2におけるm×mピクセルの輝度差分及び色差分を算出する。そして、図5(b)に示すように、各画像領域の輝度差分及び色差分が大きい場合には、その画像領域に移動体が存在するものとして、移動体合成比率算出部304は、当該画像領域について適正露出画像データYUV1の合成比率を高めるように合成比率2を算出する。
ステップS106において、合成比率算出部305は、制御回路115から出力される撮像装置の状態情報を取得し、当該状態情報に基づいて合成比率3を算出する。なお、撮像装置の状態情報とは、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の動画撮影時の撮像装置の状態を示す情報である。これらの状態情報のうち、少なくとも1つを取得し、合成比率を決定して良い。なお、これらの状態情報を取得するためのジャイロセンサは光学系101に含まれ、ジャイロセンサからの出力を検出する振れ検出手段、ズームレンズ位置を取得し、ズームスピードを算出する算出手段は制御回路115が担っている。
光学ズーム時のズームスピード、パンニング量及び手ぶれ量等が大きい場合、適正露出画像データYUV1及びYUV2の合成処理が難しくなるため、所望の合成画像データが得られない。そのため、合成比率算出部305は、図5(c)に示すように、光学ズーム時のズームスピード、パンニング量及び手ぶれ量等が増加するに従って、適正露出画像データYUV1の合成比率を高めるように合成比率3を算出する。
ステップS107において、合成比率算出部305は、合成比率1、合成比率2及び合成比率3に基づいて、最終合成比率αを算出する。例えば、合成比率算出部305は、合成比率1、合成比率2及び合成比率3のうちの最大値を最終合成比率αとして決定する。
ステップS108において、加重加算部306は、次の式に示すように、適正露出画像データYUV1と適正露出画像データYUV2とを最終合成比率αで加重加算することで合成処理を行い、合成出力画像データ309を生成する。生成された合成出力画像データ309は、圧縮回路111に対して出力される。
適正露出画像データYUV1×最終合成比率α+適正露出画像データYUV2×(1−最終合成比率α)=合成出力画像データ
適正露出画像データYUV1×最終合成比率α+適正露出画像データYUV2×(1−最終合成比率α)=合成出力画像データ
本実施形態においては、動画撮影時の撮像装置の状態情報を加味して画像データの合成比率を決定しているため、動画撮影時に光学ズーム及びパンニング等のカメラワークを施した場合や手ぶれが生じた場合でも、最適なダイナミックレンジ拡大処理が可能となる。
次に、本発明の第2の実施形態について説明する。図6は、本発明の第2の実施形態に係る撮像装置の画像合成処理の流れを示すフローチャートであり、図7は、本発明の第2の実施形態における画像合成処理に主に関連する撮像装置の構成を示す図である。なお、図7に示した構成のうち、303、304及び701〜704に示す構成は、CPU117がROM等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する機能構成である。また、図6に示す処理は、CPU117がROM等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する処理である。
図6におけるステップS101〜S106は、図2のステップS101〜106とそれぞれ同一処理であるため、説明を省略する。図7において、輝度合成比率算出部303及び移動体合成比率算出部304はそれぞれ、図3に示した同一符号の構成と同様のものである。
ステップS201において、第1の合成比率算出回路701は、輝度合成比率算出部303により算出された合成比率1と、移動体合成比率算出部304により算出された合成比率2とに基づいて、合成比率βを算出する。ここでは、第1の合成比率及び第2の合成比率のうちの最大値を合成比率βとして選択するものとする。
ステップS202において、第1の加重加算部702は、次の式に示すように、合成比率βに基づいて適正露出画像データYUV1と適正露出画像データYUV2とを合成することにより、合成出力画像データ1を生成する。
適正露出画像データYUV1×合成比率β+適正露出画像データYUV2×(1−合成比率β)=合成出力画像データ1
適正露出画像データYUV1×合成比率β+適正露出画像データYUV2×(1−合成比率β)=合成出力画像データ1
ステップS203において、第2の合成比率算出部703は、制御回路115から出力される撮像装置の状態情報に基づいて、合成比率3を算出する。なお、撮像装置の状態情報とは、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の撮像装置の状態を示す情報である。
ステップS204において、第2の加重加算部708は、次の式に示すように、合成比率3に基づいて合成出力画像データ1と適正露出画像データYUV1とを合成することにより、合成出力画像データ2を生成する。
合成出力画像データ1×合成比率3+適正露出画像データYUV1×(1−合成比率3)=合成出力画像データ2
合成出力画像データ1×合成比率3+適正露出画像データYUV1×(1−合成比率3)=合成出力画像データ2
以上のように、第2の実施形態では、動画撮影時の撮像装置の状態情報を加味して画像データの合成比率を決定しているため、第1の実施形態と同様に、最適なダイナミックレンジ拡大処理が可能となる。また、第2の実施形態では、その前段で、画像領域における平均輝度又は移動体の有無も加味して画像データの合成比率を決定する処理を行っているため、画像領域における平均輝度又は移動体の有無がより反映されたダイナミックレンジ拡大処理が可能となる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
109:ガンマ補正回路、110:色輝度変換回路、115:制御回路、301:第1のガンマ補正回路、302:第2のガンマ補正回路、303:輝度合成比率算出部、304:移動体合成比率算出部、305:合成比率算出部、306:加重加算部、701:第1の合成比率算出部、702:第1の加重加算部、703:第2の合成比率算出部、704:第2の加重加算部
Claims (7)
- 撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得手段と、
前記状態情報に基づいて、前記複数の画像データの第1の合成比率を算出する算出手段と、
前記算出手段により算出された前記第1の合成比率に基づいて、前記複数の画像データを合成する合成手段とを有することを特徴とする画像処理装置。 - 前記第1の合成比率と、前記撮像装置により撮像された画像データの輝度に基づいて算出された第2の合成比率及び当該画像データに移動体が含まれるか否かに基づいて算出された第3の合成比率のうちの少なくとも何れか一方とに基づいて、前記複数の画像データの合成比率を決定する決定手段を更に有し、
前記第1の合成手段は、前記決定手段により前記第1の合成比率が前記複数の画像データの合成比率として決定された場合、前記第1の合成比率に基づいて、前記複数の画像データを合成することを特徴とする請求項1に記載の画像処理装置。 - 前記決定手段は、前記第1の合成比率と、前記第2の合成比率及び前記第3の合成比率のうちの少なくとも何れか一方とのうちの最も高い合成比率を、前記複数の画像データの合成比率として決定することを特徴とする請求項2に記載の画像処理装置。
- 前記合成手段は、前記撮像装置により撮像された画像データの輝度に基づいて算出された第2の合成比率、又は、当該画像データに移動体が含まれるか否かに基づいて算出された第3の合成比率に基づいて、前記複数の画像データを合成して合成画像データを生成し、前記第1の合成比率に基づいて、前記複数の画像データのうちの一部の画像データと前記合成画像データとを合成することを特徴とする請求項1に記載の画像処理装置。
- 前記状態情報は、前記撮像装置により前記複数の画像データが撮像された際における、ズームスピード、パンニング量及び手ぶれ量のうちの少なくとも何れか一つを示す情報であることを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 画像処理装置によって実行される画像処理方法であって、
撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得ステップと、
前記状態情報に基づいて、前記複数の画像データの合成比率を算出する算出ステップと、
前記算出ステップにより算出された前記合成比率に基づいて、前記複数の画像データを合成する合成ステップとを有することを特徴とする画像処理方法。 - 撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得ステップと、
前記状態情報に基づいて、前記複数の画像データの合成比率を算出する算出ステップと、
前記算出ステップにより算出された前記合成比率に基づいて、前記複数の画像データを合成する合成ステップとをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013217490A JP2015080157A (ja) | 2013-10-18 | 2013-10-18 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013217490A JP2015080157A (ja) | 2013-10-18 | 2013-10-18 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015080157A true JP2015080157A (ja) | 2015-04-23 |
Family
ID=53011234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013217490A Pending JP2015080157A (ja) | 2013-10-18 | 2013-10-18 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015080157A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017229058A (ja) * | 2016-06-15 | 2017-12-28 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
CN108024062A (zh) * | 2017-12-13 | 2018-05-11 | 联想(北京)有限公司 | 图像处理方法及图像处理装置 |
USD970065S1 (en) | 2019-01-23 | 2022-11-15 | Herbert Waldmann Gmbh & Co. Kg | Lamp |
-
2013
- 2013-10-18 JP JP2013217490A patent/JP2015080157A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017229058A (ja) * | 2016-06-15 | 2017-12-28 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
CN108024062A (zh) * | 2017-12-13 | 2018-05-11 | 联想(北京)有限公司 | 图像处理方法及图像处理装置 |
USD970065S1 (en) | 2019-01-23 | 2022-11-15 | Herbert Waldmann Gmbh & Co. Kg | Lamp |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8325268B2 (en) | Image processing apparatus and photographing apparatus | |
US10861136B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2011041089A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2011109638A (ja) | 画像処理装置、画像処理方法 | |
JP2015082768A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP2013243639A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007324856A (ja) | 撮像装置、撮像制御方法 | |
JP2010193099A (ja) | 撮像装置およびその制御方法 | |
JP2011171842A (ja) | 画像処理装置及び画像処理プログラム | |
JP2015080157A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010183460A (ja) | 撮像装置およびその制御方法 | |
JP2018050149A (ja) | 画像処理装置 | |
JP5245648B2 (ja) | 画像処理装置、及び、プログラム | |
JP6242129B2 (ja) | 撮像装置、その制御方法、及び制御プログラム | |
JP2012235390A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP6740109B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2019075716A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6029464B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2010183461A (ja) | 撮像装置およびその制御方法 | |
JP2017068513A (ja) | 画像処理装置及びその方法、プログラム、記憶媒体 | |
JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
JP2015119436A (ja) | 撮像装置 | |
JP6849351B2 (ja) | 画像処理装置、画像処理方法、及びプログラム |