JP2019029833A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2019029833A
JP2019029833A JP2017147729A JP2017147729A JP2019029833A JP 2019029833 A JP2019029833 A JP 2019029833A JP 2017147729 A JP2017147729 A JP 2017147729A JP 2017147729 A JP2017147729 A JP 2017147729A JP 2019029833 A JP2019029833 A JP 2019029833A
Authority
JP
Japan
Prior art keywords
region
amount
area
gain
correction amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017147729A
Other languages
English (en)
Inventor
明治 伊藤
Akiharu Ito
明治 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017147729A priority Critical patent/JP2019029833A/ja
Publication of JP2019029833A publication Critical patent/JP2019029833A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 撮影画像の領域判別を行い諧調補正を行うときに最適な露出設定を行うことができる撮像装置を提供する。【解決手段】 撮像された画像に対して被写体領域の判定を行う被写体領域判定手段と、前記被写体領域を分割した領域毎に輝度情報を取得し、前記輝度情報から、前記領域毎に適した露出補正量を算出する露出補正量算出手段と、前記領域毎に諧調補正量を算出する諧調補正量算出手段と、前記露出補正量と前記諧調補正量から、前記領域毎にゲイン量を算出する領域別ゲイン量算出手段と、前記領域毎に領域に応じた最大ゲイン量を予め設定する領域別最大ゲイン量設定手段と、前記領域別ゲイン量算出手段の算出結果が領域別最大ゲイン量を超えていた場合は、前記露出補正量を制限する露出補正量制限手段と、を有する。【選択図】図1

Description

本発明は、撮影画像の領域判別を行い諧調補正を行う撮像装置に関するものである。
従来から、特許文献1のように、顔画像の明るさと背景画像の明るさをバランス良くすることを目的とし、対象画像の明るさが所定の目標値となるように,被写体像データを補正する明るさ補正を行い明るさ補正量にもとづいてノイズ低減パラメータを決定することが知られている。また、特許文献2のように、領域別の諧調補正を被写体間のバランスを考慮し、高ダイナミックレンジかつ高コントラストの画像を生成することが知られている。
特開2007−234000号公報 特開2014−153959号公報
しかしながら、特許文献1による方法では、露出量を制御していないため、顔画像の明るさが背景画像とバランスが良くなるように被写体像データの明るさを補正し、補正量にもとづいてノイズ低減パラメータを設定しているが、明るさ補正量が大きくなりすぎると、ノイズ低減処理では処理しきれない量のノイズが発生する問題がある。さらに、顔画像と背景画像の明るさ補正量に応じてのみノイズ低減処理を行っているため、顔に適切なノイズ低減処理、背景画像に適したノイズ低減処理を行うことが出来ない。
また、特許文献2においは、領域別の諧調補正処理を行うために、所定式に従った領域の露出補正量を設定するが、入力された画像の主被写体領域の露出が高いときには、主被写体以外の空領域、背景領域の露光量が小さくなりすぎるという課題がある。
本発明の目的は、撮影画像の領域判別を行い諧調補正を行うときに最適な露出設定を行うことができる撮像装置を提供することである。
上記目的を達成するため、本発明に係る撮像装置は、撮像された画像に対して被写体領域の判定を行う被写体領域判定手段と、前記被写体領域を分割した領域毎に輝度情報を取得し、前記輝度情報から、前記領域毎に適した露出補正量を算出する露出補正量算出手段と、前記領域毎に諧調補正量を算出する諧調補正量算出手段と、前記露出補正量と前記諧調補正量から、前記領域毎にゲイン量を算出する領域別ゲイン量算出手段と、前記領域毎に領域に応じた最大ゲイン量を予め設定する領域別最大ゲイン量設定手段と、前記領域別ゲイン量算出手段の算出結果が領域別最大ゲイン量を超えていた場合は、前記露出補正量を制限する露出補正量制限手段と、を有することを特徴とする。
本発明によれば、撮影画像の領域判別を行い諧調補正を行うときに最適な露出設定を行うことができる。
本発明の実施形態に係る撮像装置の構成を示すブロック図 第1の実施形態に係る動作フロー図 信号処理部の一部詳細ブロック図 取得画像の一例を示す図 取得画像のヒストグラムの一例を示す図 ゲインカーブの一例を示す図 ガンマカーブの一例を示す図 第2の実施形態に係る動作フロー図
(第1の実施形態)
図1は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。図1において、101は絞り・シャッターを備えた撮影レンズ部であり、102はフォーカスレンズである。103は被写体像の光束を光電変換し電気信号に変換する撮像素子であり、全画素を読み出す駆動モードや間引き及びまたは、加算を行い高フレームレートで読み出す駆動モードを持つ。
104は、撮像素子103から出力されたアナログ出力信号にクランプ処理、アナログゲイン調整を行いデジタル信号に変換するCDS/ADであり、107は信号処理部である。107の一例としては図3に示す信号処理ブロックを含み、図示しないが、デジタルゲイン調整、ホワイトバランス調整、画素補間処理、色信号処理等の信号処理を行う信号処理回路などが含まれている。
301は、被写体領域判別部である。画像信号から被写体の領域の判定を行うが、本発明の実施形態として人物の顔領域、人物の顔以外の体領域、雲、太陽などを含む空領域、空以外の領域を背景領域として4つの領域を判別する。顔領域と顔以外の領域を合わせて人物領域とすることで3つの領域判別を行うなど、領域の数は増減しても良い、以下は3つの領域に分割する場合の処理形態について記述するが、同様の処理を実行することで複数の領域に分割処理を実行することが可能な構成となっている。
また、被写体領域の判定方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い(特開2006−39666号公報)。また、被写体領域の判定方法については、1画素毎ではなく、一定のサイズで区切られたブロック毎に判定する方法でもよい。判別された領域の大きさ、判別された領域が画面の中心部または、画像の周辺部であるか、人物が判別されたか、空領域が判別されたかなどのシーン情報をシステム制御部118へ送る。
302は、領域分割部である。検出された被写体領域を分割する。303は、領域別輝度算出部である。領域毎に代表輝度値および領域毎の最大輝度値を算出する。304は、領域別ヒストグラム算出部である。領域毎に輝度や色毎のヒストグラムを算出し、領域毎に白飛びしている画素数または、ブロック数を算出する。305は、領域別ゲイン量算出部である。領域毎にゲインの総量を算出する。
306は、領域別最大ゲイン設定部である。領域毎に予め最大ゲインを設定する。設定値は、操作部121をユーザーが操作することにより設定する。また、たとえばシステム制御部118が撮影画像からシーン情報解析し、シーン判別を行う。判別されたシーンに応じて領域毎の最大ゲイン値をシステム制御部118が設定することが可能な構成となっている。
307は、領域別ゲイン処理部である。たとえば、図6に示したゲイン処理を行う。601は空領域、602は、背景領域、603は顔と体を含めた人物領域にそれぞれ適応するゲインカーブで、領域別に異なるゲイン処理を行う。
308は、領域別ガンマ処理部である。たとえば、図7に示したガンマカーブを領域別に設定することで領域別ガンマ処理を行う。図7−(a)は空領域、図7−(b)は、背景領域、図7−(c)は顔と体を含めた人物領域に適応するガンマカーブを設定することで領域別に異なるガンマ処理を行う。
さらに、図7−(a)に図示した3種類のガンマカーブについて説明する。ガンマカーブにより、702中央のガンマカーブを通常用いるガンマカーブとすると703のガンマカーブを用いることにより通常のガンマカーブよりもよりも処理後の画像のゲインが高くなる。逆に、701のガンマカーブを用いることにより通常のガンマカーブよりもよりも処理後の画像のゲインが低くなる。図示しないが、ガンマカーブの種類を増やすことで、ガンマカーブによるゲインを細かく調整することが可能な構成となっている。704〜709についても同様に領域別ガンマ処理を行う。領域別ゲインおよびまたは、領域別ガンマカーブにより領域別の諧調補正量を制御可能な構成となっている。
309は、領域別にシャープネス処理を行う領域別シャープネス処理部である。領域別シャープネス処理部は、一例として背景領域では、シャープネスを強くし、空領域と人物領域のシャープネスを弱くするなどの調整が可能な構成となっている。たとえば、シャープネス処理は、画像信号にローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ等のフィルタを組み合わせ被写体の周波数解析を行い、被写体のエッジ部にオーバーシュート、アンダーシュートを領域別に付加する処理である。
さらに、オーバーシュート量、アンダーシュート量を調整することで、シャープネスの強弱を制御する。オーバーシュート量、アンダーシュート量を領域毎に可変する、領域別シャープネスゲイン処理を行うことも可能な構成となっている。画像を縮小し解像度の低い画像を作成するなどして、ローパスフィルタの代わりに使用することができる。
また、領域別シャープネス処理部309は、画像信号を前述のローパスフィルタに通すことにより、ノイズリダクション処理を行うことも可能な構成となっている。使用するローパスファイルタの種類を変えたり、フィルタ係数を調整することにより、ノイズリダクション効果を強めたり弱めたりを領域毎に行うことで、領域別にノイズリダクションを実施することが可能な構成となっている。信号処理された画像データは、画像メモリ105に記憶される。
システム制御部118は、撮像装置全体の動作を制御している。システム制御部118に接続されたRAM119及びまたはROM120に、システム制御部118の動作用の定数、変数、プログラム等を記憶している。システム制御部118は、101の撮影レンズに備えた絞り・シャッターを駆動することにより露出制御(AE)を行う。
画像処理部107及びシステム制御部118により、画像データの全体のヒストグラムや、複数のブロックに分割しブロック毎のヒストグラムを取得する。
108は、メモリカードやハードディスク等の記憶媒体109とのインターフェースである。このインターフェース108を用いて、記憶媒体109と画像データを転送し合うことができる。
113は、表示装置114を駆動するための表示回路である。表示装置114にライブビューを表示する事により電子ビューファインダーとして使用することも可能である。
116(SW1)は、レリーズボタンの半押しを検出し、117(SW2)は、全押しを検出する。前記SW1(116)により、レリーズボタンが半押しされたことを検出すると撮影準備を開始し、さらにSW2(117)により、レリーズボタンが全押しされた事を検出すると撮影を開始する。121は操作部であり、ユーザーが操作することにより、撮像装置の設定を変更する。
図2を用い、動作フローについて説明する。ステップ201:画像信号を取得する。取得する画像信号は、静止画像または、間引き、加算処理を行った高フレームレートの動画像を用いても良い。ステップ202:301により、画像信号から被写体の領域の判定を行う。ステップ203:303により領域毎に代表輝度値および領域毎の最大、最小輝度値などを算出する。304により、領域毎に輝度や色毎のヒストグラム、白飛びしている画素数または、ブロック数を算出する。
ステップ204:S203で算出された領域毎の代表輝度値、最大、最小輝度値、ヒストグラム、白とび画素数、または白飛びブロックなどから、領域別に露出量を算出し、領域毎に適応的にガンマカーブを選択する。露出量の算出方法、ガンマカーブの選択方法は、白飛びした画素数、ブロック数および、累積ヒストグラムが所定の割合となる輝度値や累積ヒストグラムが所定の条件となるようにする。また、領域毎の輝度の代表値が所定の値になるような条件を算出するなど他の方法で算出しても良い。
ステップ205:S204で算出された領域別の露出量から撮影露出補正量を決定する。図4、図5を参照して一例を示す。図4の401、402、403が人物領域、404,405,406が空領域、407,408,409が背景領域である。図5(a)が、図4(a)の画像が取得された時にS204で算出した人物領域と空領域のヒストグラムである。点線で示した空領域が、白飛びしている。露出補正を行うことで、図5(b)の露出量で画像を撮影する。
別の一例として、図5(d)が、図4(b)の画像が取得された時にS204で算出した人物領域と空領域のヒストグラムである。実線で示した人物領域が、白飛びしている。露出補正を行うことで、全体の信号値を下げ、図5(e)の露出量で撮影する。図5(b)と図5(e)で示した様に白飛びしている領域に応じて露出補正量を調整する。露出補正量は、図5で示したヒストグラムを参照する方法以外にも領域別に白飛びした画素やブロック数から求めるなどほかの方法で算出してもよい。
ステップ206:S204で算出された領域別の露出値およびガンマカーブとS205で算出された露出補正量から領域別のゲイン量を算出する。
領域別の代表輝度値と撮影露出補正を適応した後の領域別の代表輝度値の差分から露出差を調整するためのゲインとして領域別AE_Gainを算出する。決定されたガンマカーブから領域別Gam_gainを算出する。領域別に設定するシャープネス量から領域別APC_Gainを算出する。
たとえば、空領域のトータルゲインSKY_Gainは、
SKY_Gain=AE_gain_SKY+Gam_gain_SKY+APC_gain_SKY
となる。
同様に人物領域HUMAN_Gain、背景領域BACK_Gainのトータルゲインは、HUMAN_Gain=AE_gain_HUMAN+Gam_gain_HUMAN+APC_gain_HUMAN
BACK_Gain=AE_gain_BACK+Gam_gain_BACK+APC_gain_BACK
となる。
ステップ207:まず、領域毎に予め設定された最大ゲインをたとえば、空領域の最大ゲインをMAX_SKY_Gain、人物領域の最大ゲインをMAX_HUMAN_Gain、背景領域の最大ゲインをMAX_BACK_Gainとする。
SKY_GainとMAX_SKY_Gain、HUMAN_GainとMAX_HUMAN_Gain、BACK_GainとMAX_BACK_Gainをそれぞれ比較する。
Over_Gain=Max(SKY_Gain − MAX_SKY_Gain,HUMAN_Gain − MAX_HUMAN_Gain,BACK_Gain − MAX_BACK_Gain)により求められるOver_Gainが0より大きいかを判別しても良い。
ステップ208:S207にて最大ゲインを超えている領域があると判断された場合は、撮影露出補正量を制限する。一例として、S207で算出した、Over_Gainに応じて撮影露出補正量を制限することにより、全ての領域で最大ゲインを超えない撮影露出が得られる。
(第2の実施形態)
第1の実施形態と同様な構成については、記載を省略する。システム制御部118は、領域毎にノイズの総量を算出する。システム制御部118は、領域毎に予め最大ノイズ量を設定する。設定値は、操作部121をユーザーが操作することにより設定する。また、たとえばシステム制御部118が撮影画像からシーンを自動判別し判別されたシーンに応じて領域毎の最大ノイズ量をすることが可能な構成となっている。
図8のフローチャートを図2を用いて説明する。S801からS806までの処理は、図2のS201からS206の処理と同じ処理を行う。
ステップ807:S806において算出された、SKY_Gain、HUMAN_Gain、BACK_Gainから、空領域のノイズ量SKY_Noise、人物領域のノイズ量HUMAN_Noise、背景領域のノイズ量BACK_Noiseを算出する。たとえば、ノイズ量は、各領域のゲイン量に比例係数αに比例するものとして算出してもよい。
SKY_Noise = α×SKY_Gain
HUMAN_Noise α×HUMAN_Gain
BACK_Noise α×BACK_Gain
ステップ808:S207で説明したようにOver_Gainが0より大きいかを判別する。領域毎に予め設定された最大ノイズ量をたとえば、空領域の最大ノイズ量をMAX_SKY_Noise、人物領域の最大ノイズ量をMAX_HUMAN_Noise、背景領域の最大ノイズ量をMAX_BACK_Noiseとする。
Over_Noise=Max(SKY_Noise − MAX_SKY_Noise,HUMAN_Noise − MAX_HUMAN_Noise,BACK_Noise − MAX_BACK_GNoise)
Over_Noiseが0より大きい場合は、いずれかの領域が最大ノイズ量を超えていると判別できる。
ステップ809:S808にて最大ゲインおよびまたは、最大ノイズ量を超えている領域があると判断された場合は、撮影露出補正量を制限する。一例として、S207で算出した、Over_Gain、Over_Noiseに応じて撮影露出補正量を制限することにより、全ての領域で最大ゲイン、最大ノイズ量を超えない撮影露出が得られる。
301・・被写体領域判別部、303・・領域別輝度値算出部、304・・領域別ヒストグラム算出部、305・・領域別ゲイン量算出部、306・・領域別最大ゲイン設定部

Claims (4)

  1. 撮像された画像に対して被写体領域の判定を行う被写体領域判定手段と、
    前記被写体領域を分割した領域毎に輝度情報を取得し、前記輝度情報から、前記領域毎に適した露出補正量を算出する露出補正量算出手段と、
    前記領域毎に諧調補正量を算出する諧調補正量算出手段と、
    前記露出補正量と前記諧調補正量から、前記領域毎にゲイン量を算出する領域別ゲイン量算出手段と、
    前記領域毎に領域に応じた最大ゲイン量を予め設定する領域別最大ゲイン量設定手段と、
    前記領域別ゲイン量算出手段の算出結果が領域別最大ゲイン量を超えていた場合は、前記露出補正量を制限する露出補正量制限手段と、
    を有することを特徴とする撮像装置。
  2. 領域別に所定の最大ノイズ量を予め設定する領域別最大ノイズ量設定手段と、
    前記領域別のノイズ量を算出する領域ノイズ量算出手段と、を有し、
    前記領域別ノイズ量算出手段の算出結果が前記領域別最大ノイズ量より大きい場合は、前記露出補正量を制限することを特徴とする請求項1に記載の撮像装置。
  3. 領域別にノイズ抑制量を調節するノイズ抑制手段と、
    領域別にシャープネス補正量を調節するシャープネス補正手段と、
    撮影シーンを自動判別するシーン判別手段と、を有し、
    判別されたシーンに応じて領域別にノイズ抑制量およびシャープネス補正量の少なくとも一方を調整することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記領域毎に周波数解析を行う領域別周波数解析手段と、
    前記領域毎の面積および領域の位置情報を取得する領域情報取得手段と、を有することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
JP2017147729A 2017-07-31 2017-07-31 撮像装置 Pending JP2019029833A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017147729A JP2019029833A (ja) 2017-07-31 2017-07-31 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017147729A JP2019029833A (ja) 2017-07-31 2017-07-31 撮像装置

Publications (1)

Publication Number Publication Date
JP2019029833A true JP2019029833A (ja) 2019-02-21

Family

ID=65478859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017147729A Pending JP2019029833A (ja) 2017-07-31 2017-07-31 撮像装置

Country Status (1)

Country Link
JP (1) JP2019029833A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107251A (zh) * 2019-10-10 2020-05-05 曹婷 基于通信内容分析的信号补偿装置
JP2021097420A (ja) * 2019-11-15 2021-06-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN114173062A (zh) * 2021-12-15 2022-03-11 长视科技股份有限公司 摄像设备图像处理方法、装置、设备和存储介质
US12047716B2 (en) 2020-01-28 2024-07-23 i-PRO Co., Ltd. Monitoring camera, camera parameter determining method and storage medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107251A (zh) * 2019-10-10 2020-05-05 曹婷 基于通信内容分析的信号补偿装置
JP2021097420A (ja) * 2019-11-15 2021-06-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
US11533440B2 (en) 2019-11-15 2022-12-20 Canon Kabushiki Kaisha Apparatus, method, and storage medium each relating to image composition
US12047716B2 (en) 2020-01-28 2024-07-23 i-PRO Co., Ltd. Monitoring camera, camera parameter determining method and storage medium
CN114173062A (zh) * 2021-12-15 2022-03-11 长视科技股份有限公司 摄像设备图像处理方法、装置、设备和存储介质
CN114173062B (zh) * 2021-12-15 2024-02-09 长视科技股份有限公司 摄像设备图像处理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
EP2216987B1 (en) Image capturing apparatus and control method thereof
US9077905B2 (en) Image capturing apparatus and control method thereof
US8786764B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium which perform backlight correction
US9148561B2 (en) Image capturing apparatus, executable autoexposure bracketing and control method thereof
US9749546B2 (en) Image processing apparatus and image processing method
JP2019029833A (ja) 撮像装置
JP4999871B2 (ja) 撮像装置およびその制御方法
KR101754425B1 (ko) 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법
US20230196530A1 (en) Image processing apparatus, image processing method, and image capture apparatus
JP5149055B2 (ja) 撮像装置
US9113117B2 (en) Image-taking apparatus and method for controlling the same
US9762805B2 (en) Image processing apparatus performing tone correction process and method, and image capturing apparatus performing tone correction process
JP2010183460A (ja) 撮像装置およびその制御方法
US11678060B2 (en) Apparatus, method for controlling apparatus, and storage medium
JP6904838B2 (ja) 画像処理装置、その制御方法およびプログラム
JP5335964B2 (ja) 撮像装置およびその制御方法
JP2018181070A (ja) 画像処理装置および画像処理方法
JP2010183461A (ja) 撮像装置およびその制御方法
JP5138510B2 (ja) 画像データ処理装置
JP6514577B2 (ja) 画像処理装置および画像処理方法ならびに撮像装置
JP5351663B2 (ja) 撮像装置およびその制御方法
JP5789330B2 (ja) 撮像装置およびその制御方法
JP2010279002A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018207429A (ja) 撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191125