JP2009089357A - 撮像装置、撮像方法、プログラム、および集積回路 - Google Patents

撮像装置、撮像方法、プログラム、および集積回路 Download PDF

Info

Publication number
JP2009089357A
JP2009089357A JP2008169430A JP2008169430A JP2009089357A JP 2009089357 A JP2009089357 A JP 2009089357A JP 2008169430 A JP2008169430 A JP 2008169430A JP 2008169430 A JP2008169430 A JP 2008169430A JP 2009089357 A JP2009089357 A JP 2009089357A
Authority
JP
Japan
Prior art keywords
image
unit
backlight correction
signal
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008169430A
Other languages
English (en)
Other versions
JP5171434B2 (ja
Inventor
Haruo Yamashita
春生 山下
Takeshi Ito
武志 井東
Hiromasa Sato
大将 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008169430A priority Critical patent/JP5171434B2/ja
Priority to US12/209,458 priority patent/US7990465B2/en
Publication of JP2009089357A publication Critical patent/JP2009089357A/ja
Priority to US13/160,881 priority patent/US8786764B2/en
Application granted granted Critical
Publication of JP5171434B2 publication Critical patent/JP5171434B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】動画像の撮像時における逆光補正として違和感のない動画を出力する。
【解決手段】本発明の撮像装置は、電子的に被写体を撮影する撮像装置であって、光量調節機能を有する光学系と、前記光学系が結像する像を読み取る撮像部と、撮像部の出力をA/D変換するA/D変換器と、A/D変換器で読み取った画像を空間的な位置に応じて異なる変換特性を用いて少なくとも暗部を明るくする逆光補正部と、逆光補正開始を指示する指示部と、指示部の逆光補正開始の指示により、逆光処理補正部を動作させ、かつ光学系の露光量を所定量減少させる制御部と、を備える。
【選択図】図2

Description

本発明は、特に主要被写体が暗いシーンや広いダイナミックレンジを持つシーンを適切に撮影できる撮影装置、撮像方法、撮像用集積回路、および撮像用プログラムに関する。
静止画を撮影する撮像装置(デジタルカメラ等)や動画を撮影する撮像装置(デジタルビデオカメラ等)はいずれも、光学系で露光制御を行い、光学系が結像した像をCCDやCMOS等のイメージセンサ(撮像素子)を用いて電気信号に変換し、アナログ画像信号を取得する。そして、そのアナログ画像信号をアナログフロントエンドなどの回路により処理し、A/D変換器によりデジタル画像データに変換する。このようにして、撮像装置により取得されたデジタル画像データは、映像ガンマ処理(例えば、γ=0.45とした映像ガンマ処理など)、knee処理、輝度色差変換等が施され、さらに、静止画ではJPEG規格、動画ではMPEG規格やDV規格のような規格化されたフォーマットのデータに変換され、各種メモリカードやハードディスク、光ディスク、磁気テープなどに記録される。
一般に、撮像装置(カメラ)において、被写体を撮影する際の光学系の露光量(絞り値やシャッタースピードにより決定される露光量)は、撮像画面を分割した光量検出部等の結果をもとに決定されている。撮像装置において、主要被写体が暗い逆光シーンを撮影する場合、絞りを開ける、またはシャッターを長くする(シャッター速度を遅くする)などにより露光量を増やして(撮像装置の撮像素子に入射される光量を多くして)、撮像画像を明るくすることが行われている。また、逆光の状態で、撮像装置において取得された撮像画像(逆光画像)を、撮像画像の暗部(階調値が低い部分)を持ち上げるような階調カーブ(階調変換特性)により階調変換することで逆光画像を明るくする処理が、撮像装置において行われている。
ここで、撮像装置において、一般に空などの明るい背景の前に主要被写体として暗い逆光の人物がいる、いわゆる逆光シーンを撮影する場合では、撮像装置のカメラ制御における露光量の設定は、以下の(A)〜(C)のいずれかに分類される。
(A)撮像画像において、空が白飛びしないように(空の領域の階調が損なわれないように)露光量を設定する(絞りを絞る)。
(B)撮像画像において、人物が適正露光になるように(人物の領域の階調(明るさ)が適正な階調(明るさ)となるように)露光量を設定する(絞りを開く)。
(C)(A)(B)の中庸に露光量を設定する。
設定(A)により撮影した場合、撮像画像において、空は白飛びしないが(撮像画像の空の部分の階調は損なわれないが)、人物が極端に暗くなるひどい逆光状態になる。また、設定(B)により撮影した場合、撮像画像において、人物は明るくなるが空は完全に白飛びする。このように通常は、設定(A)および設定(B)は、いずれも好ましくないので、撮像装置により撮影する場合、中庸の設定(C)による撮影を行うことが一般的である。
しかし、設定(C)により撮影した場合であっても、撮像画像において、空が少し白飛びし、人物も暗い状態であり、空も人物もどちらも適切な明るさにならないので、満足な画質の撮像画像を得ることができない。
また、撮像装置において、ユーザが明示的に設定(B)を選択する通称「逆光補正モード」を備え、ユーザ指示により露光量を割り増しし、設定(B)を実現することも行われている。この際、露光量の割り増し量を顔認識により顔の明るさを基準に決定することも行われている。この場合は、撮像画像において、人物は明るくなるがその分背景が完全に白飛びするので、撮像画像は、必ずしも良い画像にはならない。
また、逆光補正技術としては、撮像装置において露光量を増加させる以外に、撮像画像に対してトーンカーブ(階調変換特性曲線)を用いた階調変換を行い、撮像画像の暗部を明るくすることで逆光補正を実現する技術もある。図18を用いて、逆光補正技術について説明する。
図18は、従来のトーンカーブ(階調変換特性曲線)による逆光補正の特性を示している。図18において、横軸は入力明度であり、縦軸は出力明度である。逆光補正を行うためには、トーンカーブ(階調変換特性曲線)による特性を、図中の矢印のように暗部を明るくする特性にする必要である。
トーンカーブ(階調変換曲線)Xは、撮像画像上の暗部を集中的に明るくし、撮像画像上の明るい部分を変化させない階調変換を行うためのカーブ(特性曲線)である。トーンカーブXによる階調変換を行った画像は、非特許文献1の第2図(Figure 2)に示されているように、中間調(例えば、図18中の点線の円で示した部分に相当。)のコントラストのみが極端に低下し極めて不自然な画像になるので、トーンカーブXによる階調変換では、適切な逆光補正処理を行うことはできないという課題がある。
トーンカーブYは、すべての階調が全体的に低下するが、階調変換後の画像において、不自然さは少ないので、逆光補正に使用されている。ただし、トーンカーブYによる階調変換では、逆光である暗部だけでなく明部も明るくしてしまうので、例えば、背景の空の部分のコントラストが低下し、白飛びしやすくなる(空の部分のようなハイライト部分の階調値が飽和してしまう)という課題がある。実用上、このカーブ(トーンカーブY)による階調変換(逆光補正)処理を行うことができるのは、撮像画像において、コントラストの低下が許せて、かつ、ハイライト部分の白飛びが許せる場合である。すなわち、トーンカーブYによる階調変換(逆光補正)処理では、あまり強くない控えめな補正しかできないという課題がある。したがって、トーンカーブYによる階調変換(逆光補正)処理は、不自然さが許容できる範囲での利用が限度であり、トーンカーブYによる階調変換(逆光補正)処理では、強い逆光補正を実現することはできない。
また、暗部だけでなく中間レベルまで明るくするカーブ(階調変換特性曲線)により、撮像画像に対して階調変換処理を行う場合、階調変換処理後の画像において、不自然さは幾分軽減される。しかし、上記設定(B)と同じようにハイライト部分が明るくなりすぎてしまう。このようなカーブ(階調変換特性曲線)により階調変換処理を行った画像は、例えば、空が飛んだ(空の部分の階調が損なわれた)画像になり、また、全体的にコントラスト不足の画像になる。このため、やはり、暗部だけでなく中間レベルまで明るくするカーブ(階調変換特性曲線)による階調変換(逆光補正)処理においても、強い逆光補正を実現することはできない。
この課題を解決させる技術として、画像中の位置に応じて階調変換特性が変化する制御を行う技術がある。例えば、逆光となっている人物の暗部の領域(画像上の領域)を、例えば空を示す領域(画像上の領域)に適用する階調変換とは異なる階調変換特性を用いて部分的(局所的)に明るくすることで、画像に対して階調変換(逆光補正)処理を行う技術がある。この技術は、視覚処理技術(非特許文献1の第3図〜第5図(Figure 3〜5)、特許文献1、および特許文献2を参照。)として知られている。人間の視覚は、明るい領域は目の感度を上げて明るくして見ており、逆に、暗い領域は目の感度を下げて暗くして見ている。このような人間の視覚特性に基づいた、これらの技術を用いた局所的逆光補正では、コントラスト感の維持が可能で視覚的に自然な処理であるので、極めて強い補正が可能である。つまり、このような局所的逆光補正処理により、非常に暗い人物の部分の画像領域を、局所的なコントラストを維持したまま、明るくすることができる。
特許文献1(国際公開WO2005/027041号パンフレット)は、その一例であり、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブ(階調変換特性曲線)を決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、求めた周辺の明るさに応じてその着目画素に適用する階調カーブ(階調変換特性曲線)を決める手法などが開示されている。
山下他 "Contrast−Gain Based Visual Tone Mapping for Digital Photo Prints", Journal of Imaging Science and Technology, Vol. 50, No.5 , pp. 458−468(2006) 国際公開第2005/027041号パンフレット 国際公開第2005/027043号パンフレット
しかしながら、この視覚処理技術は、以下の2つの課題を有している。
第一に、この技術は入力信号が既に飽和していないことが前提であり、この技術単独では、入力信号が飽和している場合に、適切は階調変換処理(例えば、逆光補正処理)を行うことはできない。
第二に、上述の光学系制御(絞りによる露光量の制御)は、画像処理との連動を勘案したものではない。さらに、上述の局所的補正は、取得された画像データのみから実現されるので、必ずしも撮像装置の光学系の制御と連動したものではない。これによりを下記の副作用が生じる。
通常、撮像装置において動画撮影を行う場合、露光量を光学的に変化させるとき、光学系の駆動の処理時間とデジタル処理における補正カーブ変更の処理時間とには時間的な隔たりが生じる。したがって、撮像装置において、単純に、局所的逆光補正をONにするのと連動して、絞りの制御を開始させたとしても、所定の光量まで絞りを絞るのに時間がかかり、その間は過剰に逆光補正がかかることになる。この結果として、撮像装置において取得される撮像画像(撮像動画)において、逆光の人物は、局所的逆光補正をONにした瞬間(局所的逆光補正処理を開始させた瞬間)、極端に明るくなりその後ゆっくりと暗くなっていき、適正な明るさに落ち着くことになる。
この明るさ変化は、人物は極端に明るくなってから徐々に適正になるものなので、撮像画像(撮像動画)を見ているユーザは、この明るさ変化により、不自然さを感じることになる。
また、撮像画像(撮像動画)において、人物(の部分の画像領域)は、一度極端に明るくなった後次第に暗くなるので、撮像画像(撮像動画)を見ているユーザは、人物の部分の画像領域が補正前に対して明るくなったように感じず、人間の知覚上、逆光補正の効果を感じることができない。
なお、局所的逆光補正をOFFにした際には、逆の動作をすることはいうまでもない。また、上記は、手動でON/OFFした際の一例であり、露光量設定を急激、または、離散的に変化させる場合も、同様の副作用が発生する。
このような副作用を、本発明者らは、実験により初めて見いだした。また、この課題は、露光量を変化させることが特に有効な、局所的逆光補正処理ならではの、特有の課題である。
そこで、本発明では、これら光学系制御部(光学系を制御する機能部)と画像処理部(画像処理を行う機能部)の動作タイミングまたは制御量を連動させ、例えば青空等の特定条件を背景にした逆光の人物に対して、空を飽和させずに人物を明るく撮影できる逆光補正機能を有する撮像装置、撮像方法、プログラムおよび集積回路を実現することを目的とする。
さらに、これらの連動により動画像の連続撮影において、逆光の人物の明るさが自然な変化として知覚されるよう撮像する撮像装置等を実現することを目的とする。
第1の発明は、電子的に被写体を撮影する撮像装置であって、光学系と、撮像部と、逆光補正部と、指示部と、制御部と、を備える撮像装置である。
撮像部は、光学系が集光した光による結像を読み取り、画像信号として取得する。逆光補正部は、撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、着目画素の画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、画像信号に対して逆光補正処理を行う。指示部は、逆光補正部による逆光補正処理の開始を指示する指示信号を出力する。制御部は、指示部の逆光補正処理の開始の指示により、逆光補正部での逆光補正処理を開始させ、かつ、撮像部の露光量を所定量減少させることで、光学系において光量調節させる。
ここで、「少なくとも」とは、暗部画像領域を明るくするだけではなく、明部画像領域を暗くする処理などを含めてもよい、という意味である。
また、「露出」とは、フィルムに対してある一定量の光を当てることであり、この光の量を「露光量」または「露出量」といい、EV値(Exposure Value)で表している。EV値は、絞り値、シャッタースピード、ISO感度の組合せから決まり、これらの露出設定に基づいて、光学系において光量調節が行われる。
また、「露光量を所定量減少させる」とは、通常撮影時(逆光補正処理を行わないとき)より、さらにEV値を所定量下げることを指す。EV値を−1、−2、・・・と下げればダイナミックレンジは2倍、4倍、・・・と拡大し、空などの高輝度信号の飽和が抑えられていく。ここで、「所定量」とは、予め決めておいてもよいが、後述する「空検出」、「ピーク検出」などを用いて、空の飽和がなくなる値を適応的に求めるのが好ましい。なお、EV値を下げるほど、ノイズの影響が大きくなるので、EV値の最大下げ量を規定しておくのが好ましい。
また、「指示部」による「指示信号」は、ユーザ指示(手動ON/OFF)で発生させてもよいし、空検出・ピーク検出・顔検出などにより、自動で発生させてもよい。また、常時ONにしてもよい。つまり、「効果>0のときに絞る」ようにすればよい。
この撮像装置では、制御部により、光学系の制御および画像処理の制御(逆光補正処理)を連動させることができる。また、逆光補正処理部では、着目画素に対して、着目画素の画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行う。これにより、輝度領域(暗部画像領域や明部画像領域など)ごとに異なる階調変換を行うことが可能であり、人間の視覚特性に合った逆光補正処理を行うことができる。つまり、この撮像装置では、光学系制御部(光学系を制御する機能部)と画像処理部(画像処理を行う機能部)の動作タイミングまたは制御量を連動させることで、例えば青空等の特定条件を背景にした逆光の人物の画像に対して、空を飽和させずに人物を明るく撮影できる逆光補正処理を実現することができる。
第2の発明は、第1の発明であって、制御部は、光学系の露光量の減少量に応じて、逆光補正部の補正量を徐々に増加させ、逆光補正部による逆光補正処理の強度を調整するための効果調整信号を徐々に増加させる。逆光補正部は、効果調整信号に基づいた逆光補正処理の強度により、逆光補正処理を行う。
この撮像装置では、光学系の露光量の減少量に応じて、局所的逆光補正の補正量(画像上の暗部領域の持ち上げ量(明るくする程度))を増加させる。これにより、暗部領域(逆光人物など)の明るさを適切な明るさに補正しつつ、画像上の明部領域(空など)の白飛び現象を防止することができる。言い換えれば、この撮像装置では、光学系での露光量の減少に伴い撮像画像における明るさ低下分を相殺する方向に制御することができる。その結果、この撮像装置により取得される画像は、いずれの画像領域においても適切な明るさとなっている画像である。つまり、この撮像装置により、適切に逆光補正処理を行うことができる。
さらに、この撮像装置では、「徐々に」補正量を増加させるので、明部画像領域および暗部画像領域の明るさを連動して変化させることができる。具体的には、空の画像領域は、ゆっくりと暗くなって白飛びすることはなくなり、同時に、人物の画像領域はゆっくりと明るくなってゆく。このように、効果が極めて自然な変化として知覚される。さらに、処理の効果そのもののが、ユーザにわかりやすいもの(認識されやすいもの)になる。
これにより、本発明者らが実験により初めて見いだした、前述の光学系の機械遅延による副作用を解決し、露光量および補正量を自在に変化させることが可能となったので、局所的逆光補正処理の効果をさらに向上させることが可能となった。
なお、「徐々に」補正量を変化させる方法は様々あるが、例を下記に示す。
(1)機械遅延が反映された、実際の露出値(以下、実露出値)を取得できる場合、これに基づいて補正量を算出すればよい。これにより、完全に機械遅延に連動させることができる。
(2)実露出値を取得できない場合、光学系の機械遅延特性は既知であるので、これと目標露出値とから、実露出値を算出すればよい。これにより、完全に機械遅延に連動させることができる。
(3)機械遅延特性が複雑な計算式になる場合、目標露出値をフィルタなどにより滑らかに変化させるだけでよい。これには、後述するIIR(Infinite Inpulse Response)のローパスフィルタを用いてもよい。これに限らず、FIR(Finite Inpulse Response)のローパスフィルタ、線形補間など、「徐々に」露光量を変化させるためのものであれば何でもよい。これにより、多少のずれはあるが、簡易な構成で連動させることができる。
(4)測光値から効果調整信号を算出すればよい。測光値は、機械遅延が反映された値であるから、これに基づいて算出するだけで、効果調整信号が自動的に「徐々に」変化する。これにより、多少のずれはあるが、簡易な構成で連動させることができる。
(5)画像信号の平均値や、各画素の周辺明度の平均値などから効果調整信号を算出してもよい。測光値と同様に、機械遅延が反映された値であるから、これに基づいて算出するだけで、効果調整信号が自動的に「徐々に」変化する。これにより、ほぼ簡易な構成で連動させることができる。
第3の発明は、第2の発明であって、制御部は、光学系の設定露光量をA(t)、所定の時定数をα(0≦α≦1)とするとき、露光量(実質値)A^(t)を、
A^(t)=A^(t−1)+α・(A(t)−A^(t−1))
により推定し、
露光量の減少量をΔA^(t)、所定の最大減少量をΔAmaxとするとき、効果調整信号H(t)(ΔA^(t)=0のときの値をH0とする)を、
H(t)=H0+(1−H0)・(ΔA^(t)/ΔAmax)
により算出する。
ここで、「設定露光量」とはEV設定値に基づく露光量であるが、EV設定値がすぐに光学系の実際の「露光量」(実露光量)に反映されるわけではなく、光学系の機械遅延により、実際の「露光量」は「設定露光量」に遅れて追従する。そのため、設定露光量A(t)に対して、IIRローパスフィルタを施し、設定露光量A(t)を徐々に変化させることで、光学系の実露光量を推定する。なお、時定数αは、光学系の機械遅延特性に合わせてチューニングすればよい。
さらに、露光量の減少量ΔA^(t)を、所定の最大減少量をΔAmaxで正規化した値を、効果調整信号とする。この際、ΔA^(t)=0のとき(露光量を減少させないとき)にも逆光補正処理が効果を有するよう、H0(0≦H0≦1)を基準として、残りの(1−H0)の範囲内で効果調整を行うようにしてもよい。
なお、IIRローパスフィルタを施すタイミングはどこでもよく、例えば、効果調整信号H(t)に施すようにしてもよい。
第4の発明は、第1の発明であって、撮像部が受光している光量を示す測光値を生成する測光部をさらに備える。制御部は、測光値に基づいて、逆光補正部による逆光補正処理の強度を調整するための効果調整信号を生成させる。逆光補正部は、効果調整信号に基づいた逆光補正処理の強度により、逆光補正処理を行う。
測光値は、機械遅延が反映された値であるから、これに基づいて算出するだけで、効果調整信号が自動的に「徐々に」変化する。これにより、簡単に、光学系の制御と連動した局所的逆光補正処理を実現させることができる。
第5の発明は、第4の発明であって、制御部は、測光値の減少量をΔP(t),所定の最大減少量をΔPmaxとするとき、効果調整信号H(t)(ΔP(t)=0のときの値をH0とする)を、
H(t)=H0+(1−H0)・(ΔP(t)/ΔPmax)
により算出する。
測光値は、前述したように、機械遅延が反映された値であるから、正規化するだけでよい。これにより、簡単に、光学系の制御と連動した局所的逆光補正処理を実現させることができる。
第6の発明は、第2から第5のいずれかの発明であって、逆光補正処理部は、逆光補正処理を行っていない画像信号である未補正画像信号Yin1と、逆光補正処理を行った画像信号である逆光補正後画像信号Yin2と、効果調整信号Hと、を入力とし、効果調整信号Hが「0」から「1」の間の実数値をとる場合、
Yout=(1−H)・Yin1+H・Yin2。
により求められた出力画像信号Youtを出力することで、逆光補正処理を行う。
これにより、効果調整信号の値を変化させることで、内分処理により、逆光補正処理の効果を簡単に調節することができる。
なお、露光量の変化を、効果調整信号で完全に相殺するには、図19に示す(方程式1)を解けばよい。γ補正や、逆光補正による非線形性を含んでいるので、近似などを用いるか、または、評価関数を最小化(または最大化)させて収束させる等、数値的に解いてもよい。
第7の発明は、第2から第5のいずれかの発明であって、逆光補正部は、着目画素の明度Yinと,着目画素の周辺画素領域の明るさである周辺明度Yaveとを入力とする、逆光補正機能を有しない2次元LUT1による出力信号をLUT1(Yin、Yave)、逆光補正機能を有する2次元LUT2による出力信号をLUT2(Yin、Yave)、効果調整信号をH(0≦H≦1)とするとき、
Yout=(1−H)・LUT1(Yin、Yave)
+H・LUT2(Yin、Yave)
により求められた出力画像信号Youtを出力することで、逆光補正機能のみの強度を調整する。
視覚処理は、1つのLUTに、暗部補正(逆光補正)機能のみでなく、明部補正(Knee補正)や、局所コントラスト補正など、複数の機能を入れることができる。逆光補正の機能のあるLUTによる処理結果と、逆光補正の機能のないLUTによる処理結果との2つの処理結果を内分することで、他の機能の効果を残したまま、逆光補正の機能のみの効果調整を行うことが可能となる。
なお、上記では2つのLUTとしたが、3つ以上でもよい。また、逆光補正機能の有無のみでなく、図16に示す例や、それ以外にも様々な組合せが可能である。
第8の発明は、第1から第7のいずれかの発明であって、画像信号または逆光補正部の出力画像信号に対してNR(Noise Reduction)処理を行うNR処理部をさらに備える。制御部は、光学系の露光量の減少量に応じて、NR処理部の強度を徐々に増加させる。
通常、露光量を下げて効果調整信号を増加させるほど、ノイズが大きくなる。このため、露光量の減少量に応じてNRの強度を強くするのが好ましい。これにより、ノイズに連動したNR処理が可能となる。
第9の発明は、第8の発明であって、逆光補正部は、着目画素の周辺画素領域の明るさである周辺明度を算出し、NR処理部は、周辺明度が暗い画素に対するNR処理の強度をさらに増加させる。
通常、暗部ほどノイズが目立ちやすい。周辺明度を用いることで、暗部のみNR処理の強度を強くできるので、それ以外の画像領域が不必要にぼけてしまうといった副作用が生じない。
第10の発明は、第1または第9の発明であって、画像信号から、画像信号が形成する画像における、明るさのピーク値を検出するピーク検出部をさらに備える。制御部は、少なくともピーク検出部が検出した明るさのピーク値に応じて、光学系において光量調整することで、撮像部の露光量を減少させる。
例えば、画像信号が8ビットの場合、ピーク値<255となるまで、露光量を減少させ続ける。なお、あまり露光量を減少させすぎると、ノイズの影響が大きくなってしまうので、露光量の最大減少量を規定しておくのが好ましい。
これにより、画像の明るさのピーク値に基づいて、光学系の制御と画像処理の制御とを連動させることができるので、より精度の高い逆光補正処理を行うことができる。
第11の発明は、第1または第10の発明であって、画像信号から、画像信号が形成する画像において、空を示す画像領域を抽出する空検出部をさらに備える。制御部は、少なくとも空検出部で検出された空を示す画像領域の明るさに応じて、光学系においての光量調整することで、撮像部の露光量を減少させる。
ピーク値と同様に、「空を示す画像領域の明るさ」<255となるまで、露光量を減少させ続ける。なお、あまり露光量を減少させすぎると、ノイズの影響が大きくなってしまうので、露光量の最大減少量を規定しておくのが好ましい。
また、「空検出」は、例えば、入力画像をRGB別にブロック化し、各ブロックに対して輝度Yおよび色差B−Yが共に所定値より大きいブロックを「空を示す画像領域」と判定すればよい。また、「空を示す画像領域の明るさ」は、「空」と判定されたブロックの平均輝度値などとすればよい。
多くの場合、ユーザが映したい高輝度信号は「空」であるから、これにより、「空」が白飛びしているときのみ、露光量を減少させることができる。また、画像の空の部分(ハイライト画像領域)を考慮しつつ、光学系の制御と画像処理の制御とを連動させることができるので、より精度の高い逆光補正処理を行うことができる。
第12の発明は、第1または第11の発明であって、画像信号から、画像信号が形成する画像において、人物の顔を示す画像領域である顔領域を抽出する顔検出部をさらに備える。制御部は、少なくとも顔検出部により検出された顔領域の明るさに応じて、逆光補正部の補正強度を変化させる。
例えば、顔領域の明るさが暗い場合は補正強度をより強くし、元々適正レベルの場合には、補正強度をほぼ「0」にすればよい。
多くの場合、ユーザが明るくしたい被写体は人物であり、それ以外の場合に明るくしてもノイズが目立つだけの場合もあるので、これにより、「人物」が暗い場合のみ、逆光補正機能の効果を有効にすることができる。また、画像の顔の部分の画像領域を考慮しつつ、光学系の制御と画像処理の制御とを連動させることができるので、より精度の高い逆光補正処理を行うことができる。
第13の発明は、第4から第12のいずれかの発明であって、測光部は、画像信号により形成される画像を、複数の画像領域に分割し、分割したぞれぞれの画像領域に対応する光量を測定することで、撮像部が受光している光量を示す測光値を生成するとともに、光学系の光量調節を行うための基準露光量を決定する。制御部は、指示部の逆光補正処理の開始の指示により、複数の画像領域の測光重み付けを変更させて、測光値を取得し、取得した測光値に基づいて、光学系の光量調節を行う。
通常の撮像装置(カメラ)は、局所的逆光補正機能を有せず、空の白飛びを低減させる手段がないので、画面上部(空が位置しやすい画像領域)の測光重み付けを相対的に小さくすることで、人物に露出をあわせるようにしている。
この撮像装置は、局所的逆光補正機能を有しているので、空が白飛びしないように「測光重み付けを変更」するのが好ましい。例えば、画面上部の測光重み付けを通常より高めるなどすればよい。これにより、空が白飛びしないよう自動的に露光量を調節するので、「ピーク検出」や「空検出」などが不要となり、簡易に、空の白飛びを抑えることができる。
第14の発明は、光量調節機能を有し、被写体からの光を集光する光学系と、光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法であって、逆光補正ステップと、指示判定ステップと、制御ステップと、を備える。
逆光補正ステップでは、撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、着目画素の画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、画像信号に対して逆光補正処理を行う。指示判定ステップでは、逆光補正部による逆光補正処理の開始を指示する指示信号の有無を判定する。制御ステップでは、指示判定ステップにおいて逆光補正処理の開始の指示があった場合、逆光補正部での逆光補正処理を開始させ、かつ、撮像部の露光量を所定量減少させることで、光学系において光量調節させる。
これにより、第1の発明と同様の効果を奏する撮像方法を実現することができる。
第15の発明は、光量調節機能を有し、被写体からの光を集光する光学系と、光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。そして、このプログラムは、コンピュータに、逆光補正ステップと、指示判定ステップと、制御ステップと、を実行させる。
逆光補正ステップでは、撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、着目画素の画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、画像信号に対して逆光補正処理を行う。指示判定ステップでは、逆光補正部による逆光補正処理の開始を指示する指示信号の有無を判定する。制御ステップでは、指示判定ステップにおいて逆光補正処理の開始の指示があった場合、逆光補正部での逆光補正処理を開始させ、かつ、撮像部の露光量を所定量減少させることで、光学系において光量調節させる。
これにより、第1の発明と同様の効果を奏するプログラムを実現することができる。
第16の発明は、光量調節機能を有し、被写体からの光を集光する光学系と、光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる集積回路であって、逆光補正部と、指示部と、制御部と、を備える。
逆光補正部は、撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、着目画素の画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、画像信号に対して逆光補正処理を行う。指示部は、逆光補正部による逆光補正処理の開始を指示する指示信号を出力する。制御部は、指示部の逆光補正処理の開始の指示により、逆光補正部での逆光補正処理を開始させ、かつ、撮像部の露光量を所定量減少させることで、光学系において光量調節させる。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
本発明によれば、光学系制御部(光学系を制御する機能部)と画像処理部(画像処理を行う機能部)の動作タイミングまたは制御量を連動させ、例えば青空等の特定条件を背景にした逆光の人物の画像に対して、空を飽和させずに人物を明るく撮影できる逆光補正機能を有する撮像装置、撮像方法、プログラムおよび集積回路を実現することができる。
さらに、これらの連動により動画像の連続撮影において、逆光の人物の明るさが自然な変化として知覚されるよう撮像する撮像装置等を実現することができる。
以下、本発明の実施形態における撮像装置、撮像方法および撮像用集積回路について図面を参照しながら説明する。
[第1実施形態]
<1.1:撮像装置の構成>
図1は、本発明の第1実施形態における撮像装置100の概略構成を示す図である。
撮像装置100は、光学系(撮像レンズ11、絞り12、撮像部13、フラッシュ発光部(ストロボ)14)、アナログ信号処理部2、および、デジタル信号処理部3、ならびに、任意の構成としてメモリカード5、表示部(例えば、LCDディスプレイ)5、入力部(ユーザインタフェース)7を含む。また、撮像装置100は、デジタル信号処理部3の各機能部をバス接続するバス38を含む。なお、本実施形態では、図1に示すように、デジタル信号処理部3の各機能部がバス38により接続されている場合について説明する。ただし、必ずしも、デジタル信号処理部3の各機能部がバス接続されている必要はなく、必要なデータ(信号)のやりとりができるように、各機能ブロックが直接接続される構成であってもよいことはいうまでもない。
光学系は、撮像レンズ11、絞り12、撮像素子(イメージセンサ)を有する撮像部13、および、フラッシュ発光部(ストロボ)4を含む。
撮像レンズ11は、撮影する被写体P1からの反射光を集光し撮像部13の撮像素子(イメージセンサ)の撮像面上に結像する。撮像レンズ11が光軸上において前後に移動する量を制御することで、撮像装置100において、オートフォーカス機能あるいはマニュアルフォーカス機能を実現させることができる。
絞り12は、制御部(例えば、制御マイコン(マイクロプロセッサ))23から出力される絞り調整信号を入力とし、絞り調整信号に基づいて絞り12の開口量を変更することで、撮像部13の撮像素子(イメージセンサ)上で受光される光量を調整する(光量調節機能)。
撮像部13は、撮像素子(イメージセンサ)を有している。撮像部13の撮像素子は、例えば、RGBに塗り分けられたカラーフィルタを持つ単板構成のCCD型イメージセンサやCMOS型イメージセンサであり、受光した光量に応じて、撮像部13の撮像素子の撮像面に結像された画像を、光電変換により、所定画素数分(例えば2048画素×1536画素)のアナログ電気信号(アナログ画像信号)に変換して、アナログ信号処理部2に出力する。図1において、矢印で示す信号Aは、撮像部13の撮像素子(イメージセンサ)から出力される信号を示しており、その信号レベルを「A」で表すものとする。
アナログ信号処理部2は、撮像部13から出力される撮像データのアナログ信号(アナログ画像信号)を入力とし、所定の処理を行った後、該画像データをサンプリングしてデジタル画像信号としてデジタル信号処理部3に出力する。アナログ信号処理部2は、相関二重サンプリング部21(CDS(Correlated Double Sampling))、アナログ増幅回路22(GCA(Gain Control Amplifier))、A/D変換器23を含む。
相関二重サンプリング部21は、撮像部13の撮像素子(イメージセンサ)から出力されるアナログ画像信号を入力とし、アナログ画像信号に対してノイズ除去を行った信号をアナログ増幅回路22に出力する。
アナログ増幅回路22は、GCA22から出力された信号を入力とし、GCA22から出力された信号の信号レベルを所定のレベルに増幅(調整)して、A/D変換器23に出力する。図1において、矢印で示す信号Bは、GCA22により増幅された信号を示しており、その信号レベルを「B」で表すものとする。
A/D変換器23は、GCA22から出力された信号を入力とし、GCA22から出力された信号をA/D変換することでデジタル信号(デジタル画像信号)に変換する。そして、A/D変換器23は、A/D変換することで取得したデジタル信号(デジタル画像信号)をデジタル信号処理部3に出力する。具体的には、A/D変換器23は、GCA23の出力信号を、所定の量子化精度およびサンプリング精度でデジタル画像データに変換し(例えば、各画素が4096の階調レベルを持つ12bitのデジタル信号に変換し)、変換データをデジタル信号処理部3に対して出力する。
デジタル信号処理部3は、信号処理部31、記憶部(メモリ)32、制御部(制御マイコン)34、コーデック部33、および、任意の構成としてカードI/F36、表示部制御部(LCD制御回路)35を含む。
信号処理部31は、アナログ信号処理部2から出力されたデジタル画像信号を入力とし、入力されたデジタル画像信号(デジタル画像データ)に対して逆光補正処理を行い、処理後(あるいは処理していない)画像データ(デジタル画像信号)を記憶部(メモリ)32に書き込む。
記憶部(メモリ)32は、制御部34からの指令に基づいて、デジタル画像信号(デジタル画像データ)を記憶する。具体的には、記憶部32は、制御部34から書き込み制御を受けた時点の各種処理部の出力値(例えば、画像データ)を保持し、制御部34からの読み出し制御信号に基づいて指定されたメモリアドレスに保持された値を出力する。
コーデック部33(例えば、MPEG符号化/復号化部)は、記憶部(メモリ)32に連続して保持された画像データ(デジタル画像信号)を用いて、所定の画像圧縮方式(例えばMPEG方式等)により圧縮符号化して動画符号化データを出力する。
制御部34(例えば、制御マイコン)は、信号処理部31または入力部7等の出力値を、直接または記憶部(メモリ)32を介して入力し、絞り12に対し制御信号を出力する。また、制御マイコン23は、前記圧縮符号化された画像データに対し、ヘッダ情報を付加し、ヘッダ情報を付加した画像データを、例えばExifファイルフォーマットとして、カードI/F36を経由してメモリカード6に書き込む。
その他、表示部制御部(例えば、LCD制御回路)36は、メモリカード6に保持される画像データ(または、記憶部(メモリ)32に記憶された画像データ)を取得し、取得した画像データを基に表示部(例えば、LCDディスプレイ)5を駆動する。そして、表示部(例えば、LCDディスプレイ)5は、撮像装置100による撮影時のプレビュー画像(いわゆる「ライブビュー画像」)を表示することができる。
図2は、本実施形態における信号処理部(信号処理回路)31の機能ブロック図である。
信号処理部31は、測光部104、第1信号処理部(第1の信号処理回路)102A、局所的逆光補正部101、内分処理部(内分回路)103、第2信号処理部(第2の信号処理回路)102Bを含む。なお、これらの機能は信号処理回路上に専用のDSP(Digital Singal Processor)を設け、そのDSPにより実現するようにしてもよいし、一部の機能をマイコン処理(制御部34によるマイコンソフトウェア処理等)により、制御部(制御マイコン)34上で当該機能を実現するソフトウェア(プログラム)を実行することで実現するようにしてもよい。
測光部104は、アナログ信号処理部2から出力される画像データ(デジタル画像信号)を入力とし、(必要に応じて画像データを複数に分割し(分割した画像データは、画像データが形成する画像を分割した画像領域(分割画像領域)を形成する画像データに相当する。))、画像データにより形成される画像全体の明るさ情報を抽出し、抽出した明るさ情報を測光値Pとして制御部34に出力する。具体的には、測光部104は、画像データにより形成される画像を複数個の画像領域に分割し、その分割した各画像領域に相当する画像データ(デジタル画像信号)に対して、所定の重み(測光重み)付けにより、加重平均値を算出し、測光値Pとして制御部34に出力する。この際、制御部34は、指示部の逆光補正処理の開始の指示により、測光重み付けを変更させて、測光値を取得するようにしてもよい。
なお、測光部104は、後述するデジタル処理が行われる前の画像データから明るさを抽出するので、測光部104から出力される測光値Pの値(信号値)は、画像そのものが有する明るさを示す値となる。なお、測光部104での処理は、撮像装置100により撮像された画像の明るさ(受光量)を検出できればよいので、測光部104において、図1の信号Aまたは信号Bを用いて測光値Pを取得するようにしてもよい。
第1信号処理部102Aは、アナログ信号処理部2から出力された画像データ(デジタル画像信号)を入力とし、入力された画像データに対してノイズ等を除去するための前処理を行う。そして、第1信号処理部102Aは、前処理を行った画像データ(デジタル画像信号)を局所的逆光補正部101および内分処理部103に出力する。第1信号処理部102Aにより実行される前処理としては、ホワイトバランス補正処理、画素補間処理、色補正処理、ノイズリダクション処理、輪郭強調処理、ガンマ補正処理等の処理があり、第1信号処理部102Aは、これらの処理を必要に応じて行う。
画素補間処理は、各画素において欠落した色情報を周囲の画素から補間する処理である。R、G、Bの色フィルタが分散して配置された撮像部13の撮像素子(イメージセンサ)により取得される画像信号(画像データ)は、各画素においてR、G、Bのいずれかの情報しか持たない(各画素の色フィルタと同一色の情報しか持たない)。このため、欠落している色情報については、欠落している色と同色の周りの画素からの補間により、当該画素における欠落している色情報を推定し、その推定した色情報により当該画素において欠落している色情報を補間する画素補間処理を行う(例えば、Rの色フィルタが配置されている画素から取得された画像データについては、R成分の画像データについては、当該画素で取得した画像データをそのまま採用し、欠落している色情報であるG成分の画像データおよびB成分の画像データについては、GおよびBの色フィルタが配置されている当該画素の周辺の画素から取得された画像データ(G成分の画像データおよびB成分の画像データ)を補間処理することで、Rの色フィルタが配置されている画素(当該画素)における画像データのG成分の画像データおよびB成分の画像データを取得する)。これにより、各画素において、RGBの色情報を有する画像信号(画像データ)を取得することができる。
色補正処理は、撮像部13の撮像素子(イメージセンサ)の色フィルタの特性で決まるRGB値を規格化された色空間(NTSC、sRGB等)のRGB値へ変換する処理である。
ノイズリダクション処理は、画像データの振幅と周波数などからノイズを判別し、ノイズを削減する処理である。
輪郭強調処理は、撮像レンズ11のアパーチャー(レンズ口径)や絞り12の影響によるMTF(Modulation Transfer Function)の低下を補償し解像度感のある画像を再現することができる画像データ(画像信号)を取得する処理である。
なお、第1信号処理部102Aは、アナログ信号処理部2から出力されるデジタル画像信号(デジタル画像データ)の出力値が所定の精度を有する場合は、必須の構成ではない。
また、測光値Pは光量に対してリニア(線形)な信号であるが、局所的逆光補正部101の処理はγ補正後のノンリニア(非線形)な信号であるので、本来、γ補正の影響も考慮すべきであるが、本質的ではなく、わかりにくくなるので、以下はすべてリニアでの処理を想定して記載する。
局所的逆光補正部101は、前述した局所的逆光補正を行うための処理部であり、第1信号処理部102A(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)から出力された画像データを入力とし、入力された画像データに対して局所的逆光補正処理を行う。そして、局所的逆光補正部101は、局所的逆光補正を行った画像データを内分処理部103に出力する。局所的逆光補正部101では、画像データが形成する画像において、処理対象の画素(着目画素)を含む所定の大きさの画像領域(画像中の部分領域の概略的な明るさを示しうる領域)から当該画像領域の概略的な明るさを示す値(例えば、当該画像領域の画素値の平均値)を取得し、その取得した値に基づいて、処理対象の画素(着目画素)に対応する画像データに対して逆光補正(暗部補正)処理を実行する。なお、局所的逆光補正部の処理については後述する。
内分処理部103は、第1信号処理部102A(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)から出力された画像データ(処理前画像)と、局所的逆光補正部101から出力された局所逆光補正処理後の画像データ(処理有画像)との2枚の画像データを入力とし、制御部34からの効果調整信号(この効果調整信号の信号値は、例えば、「0.0」〜「1.0」の範囲の値(実数値)である。)によって2枚の画像データを内分(画素値同士を内分、つまり、2枚の画像データのそれぞれが形成する画像において、画像上の座標が一致する画素同士の画素値を内分)することで画像データを取得する。そして、内分処理部は、内分処理により取得した画像データを第2信号処理部102Bに出力する。第1信号処理部102A(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)から出力された画像データ(処理前画像)をInAとし、局所的逆光補正部101から出力された局所逆光補正処理後の画像データ(処理有画像)をInBとし、内分処理部103から出力される画像データOutとし、効果調整信号の値をHとすると、内分処理部103は、
Out=InA+H・(InB−InA)
により求められた画像データOutを第2信号処理部102Bに出力する。
すなわち、内分処理部103では、効果調整信号Hとして「0.0」が入力された場合、処理前画像(逆光補正処理をしていない画像データ)を出力し、効果調整信号として「1.0」が入力された場合、局所逆光補正された画像データを出力することになる。

第2信号処理部(第2の信号処理回路)102Bは、内分処理部103から出力された画像データを入力とし、入力された画像データに対して、種々の後処理(色調整処理等)を行う。
本発明における局所的逆光補正部101の構成を図3に、その入出力変換特性を図4に、それぞれ、示す。
局所的逆光補正部101は、周囲明度検出部111と、動的階調補正部112とを含む。
周囲明度検出部111は、処理すべき画素(着目画素)の周囲の明るさの代表値(例えば平均値や重付平均値など)を検出する。
動的階調補正部112は、周囲明度検出部111の出力に応じて、図4に示す階調カーブ(階調変換特性曲線)を変化させる。周囲明度検出部111の出力は、画像中の位置によって変化するので、画像中の位置に応じて周囲明度検出部111の出力は変化する。したがって、図4に示すように、動的階調補正部112が与える入出力変換特性(階調変換特性)も画像中の位置により変化する。
図4は、処理対象の画素(着目画素)の周囲の画像領域の明るさにより変化する7本の階調カーブ(階調変換特性曲線)を図示しており、着目画素の周囲の画像領域の明るさが最も暗い場合の曲線をa、着目画素の周囲の画像領域の明るさが最も明るい場合の曲線をc、上記両者の中央の曲線をbとしている。図4では、説明のために、階調変換特性曲線は7本としているが、これに限定されることはなく、演算精度の許す範囲で、階調変換特性曲線の数は、多ければ多いほど望ましい。また、階調変換特性曲線の数は、階調カーブ(階調変換特性曲線)が、着目画素の周囲の画像領域の明るさの変化に対して、連続的に変化していると見なせる本数であることが望ましい。また、階調変換特性曲線は、代表的な階調変換特性を実現するものを数本用意しておき、その間の特性を実現する階調変換特性曲線については、演算により求めるようにしてもよい。
階調カーブ(階調変換特性曲線)の導出は、入力明度を「0.0」〜「1.0」にとった場合に、べき乗ガンマ係数の値(例えば「0.4」〜「2.0」。0.4≦γ≦2.0)が着目画素の周囲の画像領域の明度が小さいほど小さくなるように決定して導出してもよいし、予め上述の階調変換特性曲線に対応するデータをLUTとして保持しておいてもよい(例えば、入力値を着目画素(処理対象画素)の画素値および当該着目画素の周囲の画像領域の明度の代表値(例えば、周辺画素の画素値の平均値)とし、上述の階調変換特性曲線により決定される値を出力値とする2次元LUTとして保持しておいてもよい)。
ここで、画像中で着目画素の周囲の画像領域が暗いところ(例えば、図4の領域203など)では、階調変換特性曲線として、曲線aが適用されることになるので、階調変換された画像において、逆光の暗い顔は適正な明るさになる。
また、画像中で着目画素の周囲の画像領域が非常に明るいところ(例えば、図4の領域204など)では、階調変換特性曲線として、曲線cが適用されることになるので、階調変換された画像において、明るさの変化はない。したがって、このような階調変換処理により、非常に自然で高品位な画像を得ることができる。
また、「視覚処理」と呼ばれるこの手法は、人間が目で見る際の視覚特性である暗い領域は感度を上げてみるという特性に一致しているので、非常に強い逆光補正も不自然なく行うことができる。
なお、本発明は、上記で説明した構成に限るものではなく、特に、局所的逆光補正部101は、画像の空間的な位置に応じて入出力変換特性を実質的に変化させる技術により実現させてもよい。例えば、前述した特許文献記載の技術やRetinex処理、あるいは局所的なヒストグラム均等化処理などの実質的に同様の効果が得られる公知な技術を用いることで、局所的逆光補正部101を実現させるようにしてもよい。
また、周囲明度検出部111が扱う着目画素(処理対象画素)の周辺領域(周囲の画像領域(周辺画素の領域))のサイズは、効果に応じて、その領域の大きさが設定されるものである。視覚効果を得るためには、周辺画素の領域は、ある程度の大きさの領域に設定することが好ましい。例えば、撮像装置100において、処理対象とする画像の大きさがXGA(1024×768)である場合、周辺画素の領域を80画素×80画素以上の大きさの領域に設定するのが好ましい。また、着目画素(処理対象画素)の周囲の画像領域の明るさ情報を得るための低域空間フィルタは、アンシャープ信号の生成に通常用いられるLPFであればよく、この低域空間フィルタとして、FIR(Finite Impulse Response)型の低域空間フィルタ等を利用することができる。
<1.2:撮像装置の動作>
以上のように構成された撮像装置の動作について、説明する。
以下、本実施形態における、撮像装置100の動作を、制御部34の処理を中心に説明する。
制御部34が、ユーザから逆光補正の指示(割り込み)を受けると(制御部34に、入力部7から逆光補正処理の実行を指示する制御信号(指示信号U)が制御部34に入力されると)、
(1)制御部34は、撮像装置100の光学系に対しては、露光量を制御するための絞り調整信号や電気的なゲインの調整信号を出力し、
(2)それと略同時に、制御部34は、信号処理部31に対しては、前述の効果調整信号等を出力し、
撮像装置100に必要な種々の制御/設定を行う。
具体的には、制御部34は、撮像画像の暗部を明るくする局所的逆光補正処理を起動状態(実行可能状態)にするのと略同時に、撮像部13の受光量を減少させるように撮像装置100の絞り12に前記絞り調整信号を出力し、撮像装置100の絞りを絞る動作を開始させる。つまり、制御部34は、逆光補正処理の開始を指示された場合、撮像画像の暗部がより暗くなる方向の制御である絞り12を絞る動作を開始させるとともに、局所的逆光補正処理により撮像画像の暗部を明るくする処理を開始させる。
本実施形態における動画撮影用のビデオカメラ(撮像装置100)の露光制御と局所的逆光補正の制御部の動作を、従来の手法と比較しながら説明する。具体的には、図5に示す撮影シーンを、図6(従来手法)、図7(本発明の第1の手法)、図8(本発明の第2の手法)、および図9(本発明の第3の手法)により処理する場合について説明する。
図5は、撮影シーンの一例の模式図である。
図5において、201は、逆光補正の対象とする撮影シーン全体を示している。撮影シーン201は、背景に明るい青空、雲、山があり、前景に主要被写体である人物の顔202がある。領域202〜304は、各々画像特徴量抽出部で検出された領域であって、領域202は主要被写体(顔)の領域、領域203は主要被写体エリアの領域、領域204は最明部(ハイライト部)(空と雲)の領域である。
以下、図5の撮影シーン201を処理する場合を例に、従来手法による制御と本発明による制御について、比較しながら説明する。
(1.2.1:従来手法による処理)
図6は、従来手法による処理を撮像装置100において実行した場合の撮像装置100の動作(動作タイミング)を示す図である。
具体的には、図6(o)に、入力部7から制御部34に入力される指示信号Uの信号波形を、図6(p)に、制御部34から信号処理部31の内分処理部103に出力される効果調整信号Hの信号波形を、図6(q)に、制御部34から絞り12に出力される絞り調整信号Aiの信号波形を、図6(s)に従来手法による処理を行った後の画像領域ごとの出力値(明度値)を示すグラフを、示している。なお、図6(o)〜(s)において、横軸を時間とし、それぞれの時間軸は一致している。
図6に示すように、時刻t0において、撮像装置の制御部は、ユーザの指示する逆光補正モードの状態変化(OFF→ON)を検出すると(図6(o)参照)、効果調整信号を「0.5」(逆光補正画像データ出力信号と補正前画像の中庸(平均値))にして出力する(図6(p)参照)。
なお、図6に示す従来手法による処理では、絞りと連動しない制御を行っているので、絞り制御値(絞り調整信号Ai)は一定値のままである(図6(q)参照)。
図6(s)は、従来手法による出力画像(絞り調整信号を画像処理部の動作と連動させない従来の出力画像)を示している。図6(s)に示す「a」は、図4に示す撮影シーン201の領域204(最明部(ハイライト部)(空と雲))の出力明度値を示している。また、図6(s)に示す「b」は、撮影シーン201の領域202(主要被写体(顔))の出力明度値を示している。また、図6(s)の点線は、撮像部13の撮像素子(イメージセンサ)で撮影できる最大明度(図1の信号Aの信号レベルの飽和レベル)を示している(図6(s)では、このレベルを「1.0」としている)。
図6のb(領域203のレベル(出力明度値))に示すとおり、撮像画像の顔領域については、局所的逆光補正処理を軽く(効果として「0.5」程度(局所的逆光補正処理の効果の程度は、効果調整信号の値と相関する。))作用させることにより、少し暗い顔を適正レベルの明るさにすることができている。しかし、局所的逆光補正処理のみでは、本来的に飽和レベルを超えている画像領域である空の領域(領域204)の明るさは、変化させることができない。このため、この従来手法により処理した画像は、人物の領域は明るくなったが空の領域は白飛びしたまま(階調が損なわれたまま)である。また、このような軽い(「0.5」程度の効果(効果調整信号を「0.5」程度にした場合の逆光補正処理の効果)を発生させる)逆光補正処理であれば、従来のトーンカーブ(階調変換特性曲線)による手法(非特許文献1 Figure2に示す階調変換特性曲線による階調変換による逆光補正処理)でも少しの不自然さを許容すれば、実現させることは可能である。
(1.2.2:第1の手法による処理)
図7は、本発明の第1の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)を説明するためのタイミングチャートである。具体的には、図7(o)は、入力部7から制御部34に入力される指示信号Uの信号波形を示す。図7(p)は、制御部34から信号処理部31の内分処理部103に出力される効果調整信号Hの信号波形を示す。図7(q)は、制御部34から絞り12に出力される絞り調整信号Aiの信号波形を示す。図7(r)は、測光部104から制御部34に出力される測光値Pの信号波形を示す。図7(s)は、本手法による処理を行った後の画像領域ごとの出力値(明度値)を示すグラフを示す。なお、図7(o)〜(s)において、横軸を時間とし、それぞれの時間軸は一致している。
第1の手法による処理では、図7のタイミングチャートに示すように、図6のタイミングチャートとは異なり、制御部34は、画像処理と絞り制御とを連動させる点で(ユーザが指示したタイミングで、制御部34は、局所的逆光補正処理と絞り12を閉じる動作を開始させる点で)、異なっている。
なお、指示信号Uの変化検出、効果調整信号の変更、絞り調整信号の変更などの各タイミングには、クロック信号などの影響により僅かなタイムラグがあるが、詳細な説明は省略する。
まず、制御部34は、時刻t0で指示信号(図7(o)に示す指示信号U)の変化(逆光補正モードON)を検出する。制御部34は、指示信号Uの変化を検出した後、効果調整信号(図7(p)に示す効果調整信号H)を最大値「1.0」にして信号処理部31の内分処理部103に出力する。後述するように、制御部34は、信号処理部31に対して補正機能(局所的逆光補正機能)をONにするのと略同時に、撮像装置100の光学系に対しても絞り12を絞る制御を行う。絞り12を絞った場合、撮像画像において、逆光の人物の画像領域がさらに暗くなるので、効果調整信号を最大値にして、局所的逆光補正処理による効果を最大にすることで、逆光の人物の画像領域を明るくする。つまり、撮像装置100では、絞り12を絞ったことにより、撮像画像において、暗くなった画像領域(例えば、逆光の人物の画像領域)を、局所的逆光補正処理により明るくすることで、適切な明るさの画像を取得する。
また、制御部34は、効果調整信号を最大値「1.0」にする時刻t0と略同時刻において、撮像装置100の光学系の絞り12に対して絞り調整信号(図7(q)に示す絞り調整信号Ai)を出力する。
制御部34は、絞り調整信号の値に対応する絞り値(絞り量)になるまで機械制御により絞り12を絞ることで、撮像部13の受光量を徐々に減少させる。これに伴い、測光部104の出力値(図7(s)に示す測光値P)は、徐々に小さくなる。
図7(s)は、撮像装置100おいて、第1の手法による処理を行った場合の出力画像の画像領域ごとの明るさを示す図である。第1の手法による処理では、絞り12を絞ることで、撮像部13の撮像素子において、空の領域204に対応する部分の画像信号(撮像部13から出力される画像信号)が飽和することなく、さらに、絞り12を絞る動作と連動する効果調整信号による画像補正処理(局所的逆光補正処理)により、空の領域204の明度(レベル)aは暗くなる(白飛びしないレベルの画像信号(飽和レベル以下の画像信号)となり)。その結果、第1の手法により処理した画像において、空の領域204の明るさ(明度)は適切なものとなる(図7(s)に示すa(画像領域204のレベル)参照)。
このように、第1の手法による処理では、絞り12を絞る動作により、空の領域204に相当する画像データ(画像信号)は、白飛びせず適正な明度の画像データ(画像信号)に変換される。さらに、顔の領域203に相当する画像データ(画像信号)は、局所的逆光補正処理においてその効果を強くするように設定された局所的逆光補正処理を施されることで、こちらも適正な画像データ(画像信号)に変換される。これにより、撮像装置100において、第1の手法による処理を行うことで、空の領域204も顔の領域203も適切な明度となる画像を取得することができる。
以上のように、第1の手法によれば、空の領域204が飛ばないように撮像装置100の露光量を設定して、撮像部13の撮像素子(イメージセンサ)でのハイライト飽和を回避できる。また、補完的に極端に暗くなった(露光量を調節したことにより暗くなった)人物の領域203に対しては、視覚的に自然な処理である局所的逆光補正処理による強い逆光補正処理を行うことも可能である。したがって、所望の明るさまで人物(人物の領域の明るさ)を明るくすることができる。
(1.2.3:第2の手法による処理)
次に、図8を用いて、本発明の第2の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)について説明する。
図8は、本発明の第2の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)を説明するためのタイミングチャートである。具体的には、図8(o)は、入力部7から制御部34に入力される指示信号Uの信号波形を示す。図8(p)は、制御部34から信号処理部31の内分処理部103に出力される効果調整信号Hの信号波形を示す。図8(q)は、制御部34から絞り12に出力される絞り調整信号Aiの信号波形を示す。図8(r)は、測光部104から制御部34に出力される測光値Pの信号波形を示す。図8(s)は、本手法による処理を行った後の画像領域ごとの出力値(明度値)を示すグラフを示す。なお、図8(o)〜(s)において、横軸を時間とし、それぞれの時間軸は一致している。
前述した第1の手法による処理では、図7(s)に示すとおり、絞り12が実際に受光量に反映されるまでの機械遅延(図7(r)参照)(時刻t0での絞り調整信号Aiの信号値の変化が測光値Pに完全に反映されるまでに、(t1−t0)の時間を要する。)により、空の領域の明るさ(明度)aは、時刻t0以降徐々に暗くなり白飛びが改善されてくるのに対し、顔の領域の明るさ(明度)bは、時刻t0〜t1までの間、一旦明るくなりすぎの状態になり、徐々に暗くなって適正な明るさに落ち着くという不自然な挙動を示す(課題1)。
また、撮像装置100において、実際に第1の手法による制御を行ってみると、顔の領域の明るさbの変化は不自然であるだけでなく、図7(s)のグラフbの最終値(図7(s)の時刻t1〜t2の画像領域203の明度値b)が時刻t0以前の値より大きくなっている(顔が明るくなった)と感じにくく、逆光補正の効果を人間の知覚上では感じにくいことを、本発明者らは、新たに発見した(課題2)。
また、信号処理部31での逆光補正処理が解除された時刻t2〜t3の間、顔の領域の明るさbは、一旦、元の逆光画像より暗くなってから元の明るさに復帰するという不自然な変化をする(課題3)。
本発明の第2の手法は、上記課題1〜3を解決するための手法である。
第2の手法において、図8に示すように、制御部34は、顔の領域の明るさbを、適正な明るさを出力し続けるように、局所的逆光補正処理の効果調整信号Hを、時刻t0で瞬間的に所定量まで高めた後、時刻t0〜t1までの間に、徐々に最大値に到達するように制御する(図8(p)参照)。
図8(p)に示す変化時間は、絞り12が実際に機械的に絞られていく変化時間(図8(r)参照)に概略一致するものである。
かつ、図8(p)に示すとおり、効果調整信号の値は、図8(r)に示す測光された値(測光値P)と相反する(打ち消す)値とする。
つまり、制御部34は、図8(q)に示す絞り調整信号Aiを絞り12に出力するとともに、図8(p)に示す効果調整信号Hを信号処理部31の内分処理部103に出力する。
図8(s)は、第2の手法による出力画像の領域ごとの明るさ(明度)を示す図である。
顔の領域の明るさbは、ユーザの逆光補正機能をONにした後、絞り12の絞り量(実際の撮像部13での受光量の変化(機械遅延のある受光量の変化))にかかわらず、適正な明るさを出力し続けることができる(図8(s)のb参照)。したがって、第2の手法により、前述の課題1を解決することができる。
なお、このように逆光の画像に対して絞りを絞ってさらに暗くした画像の顔(の領域)を明るくするような、極端な逆光補正処理は、従来のトーンカーブ(階調変換特性曲線)による処理のみでは適切に行うことができない。そのような極端な逆光補正処理は、本発明のような光量調節機能と連動した局所的な階調補正処理による逆光補正処理(局所的逆光補正処理)により、初めて実現することができる(実用化することができる)。
(1.2.4:第3の手法による処理)
次に、図9を用いて、本発明の第3の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)について説明する。
図9は、本発明の第3の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)を説明するためのタイミングチャートである。具体的には、図9(o)は、入力部7から制御部34に入力される指示信号Uの信号波形を示す。図9(p)は、制御部34から信号処理部31の内分処理部103に出力される効果調整信号Hの信号波形を示す。図9(q)は、制御部34から絞り12に出力される絞り調整信号Aiの信号波形を示す。図9(r)は、測光部104から制御部34に出力される測光値Pの信号波形を示す。図9(s)は本手法による処理を行った後の画像領域ごとの出力値(明度値)を示すグラフを示す。なお、図9(o)〜(s)において、横軸を時間とし、それぞれの時間軸は一致している。
撮像装置100において、前述した第2の手法により処理(図8参照)を用いることで、撮像装置100の光学系の絞り12を制御する際の機械的な影響(機械遅延)を除去することができ、処理画像において、適正な明るさを出力することができる。しかし、前述したとおり、人間は、撮像装置100において、逆光補正機能をONにした後、処理画像において、徐々に明るさが変化しない場合、違和感を抱くことがある(課題2)。
そこで、第3の手法による処理(図9参照)では、効果調整信号Hの値を連続的に変化させる(図9(p)の時刻t0〜t1に示す)。
なお、詳細は省略するが、逆光補正部をゲイン型(入力信号へのゲインを出力する構成)で構成するよう構成した場合や、リニア・ガンマの違いを反映した場合など、図8・9(p)の効果調整信号Hの遷移部が非線形になる場合もある。
このように、効果調整信号の値を図9(p)に示すように変化させることで、時刻t0以降、処理画像において、顔の部分の画像領域の明るさが徐々に明るくなり、最終的に(図9では、時刻t1に)逆光補正における適正な明るさに落ち着くことになる。最終的な局所的逆光補正処理の補正強度(効果調整信号Hによる効果の程度)は、図6〜8と同じとなる。
また、図9に示すように、第3の手法による処理では、時刻t0以降において(実際に処理画像上の画像領域の明るさが変化するのは、時刻t0〜t1)、空の領域204の明るさaが暗くなるのと、顔の領域203の明るさbが明るくなるのが連動して変化するので、撮像装置100による処理画像において、効果(所定の画像領域の明るさの変化)が極めて自然に見えるだけでなく、処理の効果そのものが、ユーザにわかりやすいもの(認識されやすいもの)になる。
また、図9に示すように、逆光補正処理の指示を解除した時刻t2以降(制御部34が、逆光補正処理の解除を指示する指示信号Uを受けた後、絞り調整信号Aiを変化させる時刻t2以降)も、顔の領域203の明るさは、徐々に暗くなり元の明るさに自然に復帰する。したがって、撮像装置100では、ユーザによる逆光補正処理のON/OFF指示のいずれの操作に対しても自然で滑らかな挙動を示す。このため、動画撮影中に、ユーザは、何の制限もなく自由に逆光補正処理の効果をON/OFFすることができるので、撮像装置100において極めて使いやすい機能(逆光補正処理機能およびその効果のON/OFF切替機能)を実現することができる。
このように、まず、本発明の第1の手法(図7参照)によれば、撮像装置100では、ユーザI/Fを用いた指示を契機とし、撮像画像の暗部を明るくする局所的逆光補正処理をオン状態にするのと略同時に、撮像部13の受光量を減少させる(絞り12の制御動作(絞り12を絞る制御動作)をONにする)よう光学系の制御を行う。
第1の手法を用いた場合、撮像装置100では、空の領域(ハイライト画像領域)が飛ばないように露光量を設定して撮像部13の撮像素子(イメージセンサ)でのハイライト飽和を回避できる。また、補完的に極端に暗くなった人物の領域(画像領域)に対して、視覚的に自然な処理である局所的逆光補正処理により強い逆光補正処理を施すことが可能であるので、所望の明るさまで人物を明るくすることができる。
また、本発明の第2の手法(図8参照)によれば、制御部34は、撮像装置100の光学系の露光量の変化速度に応じて、連続的に、局所的逆光補正処理での補正量(局所的逆光補正の効果の強度)を変化させる。
第2の手法を用いた場合、撮像装置100では、絞り12の絞り制御動作を行う際の機械遅延のために時間的に多段階を経て減少する光量に対応させて(機械遅延により緩やかに光量が変化することを考慮して)、局所的逆光補正処理の効果の強度を効果調整信号により変化させる。つまり、この撮像装置100では、実際に光量が変化する時間に対応する時間において、光量の変化による(絞り12を絞ったことによる)撮像画像の明るさの変化を補完(相殺)するように局所的逆光補正処理の効果(暗部の持ち上げ量)を変動させる。このため、この撮像装置100により取得された画像(処理画像)は、いずれの画像領域においても(ハイライト画像領域であっても、逆光の人物の画像領域であっても)、適正な値(適正な明るさ)を有する画像となる。
また、本発明の第3の手法(図9参照)を用いた場合、撮像装置100では、さらに、処理画像において、例えば空の領域(ハイライト画像領域)は、ゆっくりと暗くなって白飛びすることはなくなり、同時に、人物の領域(画像領域)はゆっくりと明るくなってゆくので、極めて自然に効果(局所的逆光補正処理の効果)を発揮させることができる。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
図10は、本変形例に係る信号処理部31Aを示している。
本変形例の信号処理部31Aにおいて、第1実施形態の信号処理部31(図2参照)と異なる点は、画像特徴量抽出部210をさらに設けた点、および、測光部104が画像の領域を分割し、分割領域ごとの測光値を出力する点である。それ以外については、上記第1実施形態の信号処理部31と同様である。また、第1変形例に係る撮像装置は、第1実施形態に係る撮像装置100において、信号処理部31を信号処理部31Aに置換したものである。それ以外については、第1変形例に係る撮像装置は、第1実施形態に係る撮像装置100と同様であるので、詳細な説明を省略する。
図11(a)は、測光部104が画像を所定の大きさの画像領域に分割して、受光量を抽出する場合のイメージ図である。
画像特徴量抽出部210(図10中、破線で囲んだ部分に相当。)は、第1信号処理部102A(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)から出力された画像データ(この画像データは、記憶部(メモリ)32に保持された画像データであってもよい。)を入力し、入力された画像データから特徴量を抽出し、特徴量信号Fを制御部34へ出力する。画像特徴量抽出部210は、ピーク検出部105、顔検出部106、および、空検出部107の少なくとも1つを含む。
ピーク検出部105は、画像データを入力し、画像(画像データにより形成される画像)中の最も明るい(例えば、輝度値、G値(G(緑)成分の値)等が大きい)画素の位置(当該画素が含まれる画像領域の位置)および/または当該画素(または当該画素を含む画像領域)の明るさ(画像領域の場合は、例えば、当該画像領域を構成する画素の画素値の平均値、重付平均値等)を画像特徴量として出力することができる。
顔検出部106は、画像データを入力し、既知の顔検出アルゴリズムにより、画像上の顔の有無、その位置、大きさ、および、顔領域(画像上において顔の部分を構成する画像領域)の明るさなどを抽出して、制御部34へ出力する。図11(b)の下側破線丸部が、検出される顔を示す領域の一例である。
空検出部107は、画像データを入力し、入力された画像データにより形成される画像上において、所定の青成分の色情報を有する画素を抽出し、空を示す領域(画像領域)の位置、大きさ、明るさ等の情報を制御部34へ出力する。例えば、図11(b)の上側破線丸部が、検出される空を示す領域の一例である。
第1変形例によれば、以下の変形が可能である。
1)制御部34は、画像特徴量抽出部210の出力(特徴量信号F)に基づいて、絞り12を絞る際、空の領域が飛ばないように露光量を制御する際に、測光部104において受光量を取得するための分割画像領域の重み付け(空間的な重み分布)を変えてもよい。例えば、通常、空は画面上方(撮像画像の上方)に映っている(存在する)ことが多いので、制御部34は、画面(撮像画像)上方の画像領域に対して重みをより大きくすることで、受光量(測光値P)を取得するようにしてもよい。
2)制御部34は、画像特徴量抽出部210の出力(特徴量信号F)に基づいて、空を検出して絞り制御を変えてもよい。例えば、制御部34は、画面上方(撮像画像の上方部分の画像領域)に、大きな面積の白色および/または青色が存在する場合は空が存在すると判断し、この場合、空を飛ばさない、および/または、空の領域の階調をより良く維持するために、絞り12を通常よりさらに絞る(絞り12の絞り量を通常より多くする)、などの制御を行うようにしてもよい。なお、この際、制御部34は、画像の白色および青色の面積比(画像領域の面積比)などにより、空が晴れであるか曇りであるかを判定し、晴れであれば絞り12をさらに絞り、曇りであればそれほど絞らないようにしてもよい。
3)制御部34は、画像特徴量抽出部210の出力(特徴量信号F)に基づいて、撮像画像上において、顔を検出して局所的逆光補正処理の強度を制御してもよい。制御部34は、例えば、顔が極端に暗い場合は補正強度を強く、逆に顔がやや暗い程度の場合は補正強度を弱めにするように制御してもよい。さらに、制御部34は、顔の面積(顔の部分の画像領域の面積)が大きい場合、撮影者が撮りたい被写体が当該顔である可能性が高いので、局所的逆光補正処理の補正強度を強くして、逆に、顔の面積が小さい場合、人物撮影が目的でない可能性があるので、局所的逆光補正処理の補正強度を弱くする、などの制御を行うようにしてもよい。
4)制御部34は、入力された画像(画像データにより形成される画像)の特徴量信号Fに応じて、自動的に(ユーザからの指示とは無関係に)局所的逆光補正処理をONにするようにしてもよい。例えば、前記したような、撮像画像の画面上方に空があり、撮像画像の画面下方には顔があり、その結果、撮像装置100の露光状態が、図6で示したような中途半端な露光状態になっているのであれば、制御部34は、自動的に(ユーザからの指示とは無関係に)局所的逆光補正処理をONにすることで、図7〜9で示したような空も顔も好適な画像が得られるように制御するようにしてもよい。また、使用者(ユーザ)に無断で(ユーザの意図に反して)局所的逆光補正処理がONになるのが問題となる場合(例えば、使用者(ユーザ)の意図として、顔をシルエットとして撮影している場合)も想定されるので、使用者(ユーザ)に、撮像装置100において、局所的逆光補正ボタンをONにすると、より好適な画像が得られることを促す、メッセージを出力するようにしてもよい。使用者(ユーザ)は、そのメッセージを無視してもよいし、そのメッセージ通りに、局所的逆光補正ボタンをONにしてもよい。
さらに、撮像装置100において、局所的逆光補正処理がONの場合と、OFFの場合との画像の違いを撮影前に使用者(ユーザ)にプレビューさせ、ユーザの好みによってどちらのモードで撮影するか、判断させてもよい。例えば、撮像装置100において、ファインダー、あるいはプレビュー用の液晶画面を分割し、撮影モードの異なる画像を並べ、使用者(ユーザ)は、ボタン操作、あるいは液晶画面をタッチすることで、好みの撮影モードを選択してもよい。ユーザの前記選択と同時に、撮像装置100において、撮影が開始されるものとしてもよい。また、上記のように、撮像装置100において、単なるON/OFFの選択のみならず、局所的逆光補正処理の強度に応じて数種類の撮影モードを用意し、液晶画面にそれら撮影モードによって得られる画像をサムネイル表示させ、それを使用者に選択させてもよい。
さらに、現在の局所的逆光補正処理の設定値(強度値など)がわかるもの、例えばメーターなどを、撮像装置100のファインダーあるいはプレビュー用の液晶画面に表示してもよい。さらに、撮像装置100において、プレビュー用の液晶画面をタッチパネル操作が可能なものとし、前記の操作をユーザが指で直接触ることで選択、あるいは、調整してもよい。
≪フローチャートによる説明≫
本実施形態における動画撮影用のビデオカメラ(撮像装置100)の露光制御と局所的逆光補正の制御の動作を、図10の撮像装置100の信号処理部31Aおよび制御部34の機能ブロック図および図12のフローチャートを用いて説明する。
図12に示す300は、撮像装置100の動作を示すメインフローチャートである。
ステップ301では、入力部7により撮影者(ユーザ)が逆光補正をONにするのを待つ。
ステップ302では、空検出部107により検出された画像上の空の領域の明るさを基に、所定の絞り量(絞り12の絞り量)を決定する。
ステップ303では、ステップ302で決定した所定の絞り量と、顔検出部106により検出された画像上の顔の領域の明るさを基に、逆光補正量Hlevelを決定する。
ステップ304では、逆光補正パラメータHを初期化する(Hに初期値「0」を代入する)。
ステップ305では、逆光補正開始処理を行う。図12に示すように、ステップ305は、サブルーチンであり、ステップ305により逆光補正処理を開始させる。
ステップ306では、入力部37により撮影者(ユーザ)が逆光補正をOFFにするのを待つ。
ステップ307では、逆光補正終了処理を行う。図12に示すように、ステップ305は、サブルーチンであり、ステップ305により逆光補正処理を終了させる。
次に、逆光補正開始処理(サブルーチン)305について説明する。
ステップ311では、絞り12を所定量の絞り量になるまで絞る。
ステップ312では、逆光補正パラメータH(効果調整信号の値に相当。)を少し増加させる。
ステップ313では、Hを内分処理部103に出力する。
ステップ314では、逆光補正の強度を変化させるタイミングを得るために所定の時間だけ遅延させる。なお、ステップ314で遅延させる時間は、絞り12の絞り量が所定の絞り量になるように制御するときの機械遅延により生じる時間(遅延時間)に対応させた時間である。
ステップ315では、逆光補正パラメータH(効果調整信号の値に相当。)と逆光補正量HLevelとの大小関係を比較し、H<HLebelの場合、ステップ312に戻り、ステップ312からステップ314までの処理を繰り返す。H≧HLevelの場合、逆光補正開始処理サブルーチンを終了させ、メインフローチャートに戻る。なお、HLevelは通常、「1」である。
次に、逆光補正終了処理(サブルーチン)307について説明する。
ステップ321では、絞り12の絞り量を元の絞り量(逆光補正処理を開始する前の絞り量)に戻す。
ステップ322では、逆光補正パラメータH(効果調整信号の値に相当。)を少し減少させる。
ステップ323では、逆光補正パラメータHを内分処理部103に出力する。
ステップ324では、逆光補正の強度を変化させるタイミングを得るために所定の時間だけ遅延させる。ステップ324で遅延させる時間は、絞り12の絞り量が所定の絞り量になるように制御するときの機械遅延により生じる時間(遅延時間)に対応させた時間である。
ステップ325では、逆光補正パラメータH(効果調整信号の値に相当。)が「0」に達したか否かを判断する。つまり、ステップ325では、H>0の場合、ステップ322に戻り、ステップ322からステップ324の処理を繰り返す。一方、H≦0の場合は、逆光補正終了処理を終了させ、メインフローチャートに戻る。
なお、絞りを所定量絞るステップ311は、絞り12を制御する図示しないコントローラに、絞り12の絞り量が所定の絞り量になるまで絞り12を絞る指示をするステップである。図示しないコントローラは、絞り12を、所定の絞り量になるまでゆっくりと絞ってゆく動作をする。これは、動画カメラ(撮像装置100で動画撮影をする場合)において、シーンの中の瞬間的な明るさ変化に絞りが素早く追従しすぎると見づらくなるので(撮像画像が不自然に見えるので)、通常、絞り(絞り12の絞り量)はなだらかに変化させる必要があるからである。
ステップ312から315によるループ処理は、上記ゆっくり変化する絞りの変化(絞り12の絞り量の変化)とおおよそ同じタイミングで逆光補正パラメータH(効果調整信号の値に相当。)を変化させる働きをしている。逆光補正を終了する際の、ステップ322から325によるループ処理も同様である。
ここで時間的に変化する逆光補正パラメータHは、図2の内分処理部103に与えられ、内分処理部103により、局所的逆光補正部101から出力される信号(画像データ)と逆光補正を行わない信号(画像データ)を内分した画像データが取得される。したがって、逆光補正の効果の度合いは、逆光補正パラメータH(効果調整信号の値に相当。)に応じて連続的に変化する。
なお、上述した各実施形態では、撮像装置100において、逆光補正処理の補正度合い(補正強度)を内分により変化させているが、局所的逆光補正部101そのものが図4の特性(階調変換特性)を変化させ連続的に効果(局所的逆光補正処理の効果)を調整する機能を持っていてもよい。また、内分以外の公知の手段により効果の程度を調整するようにしてもよい。
なお、本実施形態では、撮像装置100において、逆光補正パラメータH(効果調整信号の値に相当。)を差分の加減算により直線的に変化させているが、図9に示すように曲線的に(理想値になるまで画像処理(局所的逆光補正処理)の効果を弱めるように段過程的に)変化させてもよい。
なお、上記説明(図12に示すフローチャートによる説明)では、空検出部107により空の明るさを検出するステップ302により所定の絞り量を決定している場合について説明したが、これに限定されることはない。例えば、前述のようにピーク検出部105により所定の絞り量を決定してもよい。また、測光部104の測光値を割り増しして、所定の絞り量を決定してもよい。また、撮像画像の画面上部の重みを強めた測光部104の測光値により所定の絞り量を決定するようにしてもよい。
なお、上記説明では逆光補正量HLevelは、所定の絞り量と顔検出部106により決定している場合について説明したが、これに限定されることはない。例えば、顔検出は簡易なものでもよく、撮像画像の画面中央の重みを強めた測光部104により所定の絞り量を決定するようにしてもよい。
また、ステップ302は、逆光補正ONの指示を待つステップ301の後に配置されているが、ステップ302をステップ301の前に配置する処理を撮像装置100に実行させるようにしてもよい。
≪第2変形例≫
次に、本実施形態の第2変形例に係る撮像装置について、説明する。
図13に、本変形例の撮像装置の信号処理部31Bおよび制御部34の機能ブロック図を示す。
本変形例の撮像装置は、第1実施形態に係る撮像装置100において、信号処理部31(または信号処理部31A)を信号処理部31Bに置換したものである。それ以外については、第1実施形態に係る撮像装置100と同様であるので、詳細な説明を省略する。
図13に示すように、信号処理部31Bは、信号処理部31の局所的逆光補正部101および内分処理部103を、視覚処理部400Bに置換したものである。なお、画像特徴量抽出部210は、第1変形例の撮像装置の画像特徴量抽出部210と同様である。画像特徴量抽出部210は、については、省略することも可能である。
本変形例の撮像装置において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の撮像装置の信号処理部31Bの視覚処理部400Bは、周囲明度検出部401と、内分処理部402と、2次元LUT403と、を備える。
周囲明度検出部401は、第1実施形態の周囲明度検出部111と同様の機能を有するもので、第1信号処理部102Aから(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)出力された画像データ(これを「画像データYin」という。)を入力とし、入力された画像データから周囲明度を検出し、検出した周囲明度に関する情報を内分処理部402に出力する。具体的には、周囲明度検出部401は、入力された画像データにより形成する画像において、処理対象画素(着目画素)の周囲の画素により形成される周辺画素領域の明るさの代表値(例えば、周辺画素領域に含まれる画素の画素値の平均値や重付平均値)(これを、「画像データYave」という。)を取得し、取得した値Yaveを内分処理部402に出力する。
内分処理部402は、周囲明度検出部401から出力された画像データYaveと、所定の定数D1(詳細については後述。)と、制御部34から出力される効果調整信号(効果調整信号の値をHとする。)を入力とし、効果調整信号の値Hを内分比として、定数D1および画像データYaveを内分する。つまり、内分処理部402の出力をYave’とすると、内分処理部402は、
Yave’=Yave+H・(D1−Yave)
により求めた画像データYave’を2次元LUT403に出力する。
2次元LUT403は、2次元LUTであり、第1実施形態の動的階調補正部112と同様の階調変換特性曲線のデータを2次元LUT(ルックアップテーブル)として保持している。2次元LUT403は、第1信号処理部102Aから(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)出力された画像データYinおよび内分処理部402から出力された画像データYave’を入力とする。2次元LUT403は、画像データYave(処理対象画素の周辺画素領域の明るさ情報)に基づいて、画像データYin(処理対象画素)に適用する階調変換特性曲線を決定し、決定した階調変換特性曲線により、画像データYin(処理対象画素)に対して階調変換を行う。そして、2次元LUT403により階調変換された画像データは、第2信号処理部102Bに出力される。
ここで、2次元LUT403に保持される階調変換特性曲線のデータのうち、ニー(Knee)特性に最も近い階調変換特性曲線が選択されるときの2次元LUTの一方の入力値(Yave’に相当する入力値)をD1とする。そして、内分処理部402で入力される定数をこの定数D1に設定する。
これにより、効果調整信号の値Hが「0」である場合、2次元LUT403の入力Yave’は、Yave’=D1となり、2次元LUT403での階調変換特性は、ニー特性(単一カーブ(単一の階調変換特性曲線)によるニー特性)に近いものとなる。
つまり、本変形例の撮像装置において、視覚処理部400Bを上記のように構成することで、効果調整信号の値Hが「0」の場合は、ニー特性による階調変換を実現することができる。また、効果調整信号の値Hが「1」の場合は、視覚処理特性(例えば、局所的逆光補正処理特性)を実現することができる。さらに、効果調整信号の値Hを0〜1の範囲内で変化させることで、視覚処理(例えば、局所的逆光補正処理)の強度を調整することができる。
また、本変形例においても、上記で説明したのと同様に(図7〜図9参照)効果調整信号の値Hの値を変化させることで、撮像装置の絞り制御と連動させた視覚処理(例えば、局所的逆光補正処理)を実現させることができる。
なお、本変形例の撮像装置では、効果調整信号の値Hが「0」の場合、視覚処理部400Bによりニー特性による階調変換処理を実行することができるので、信号処理部31Bに入力される画像データ(画像データ信号)のDレンジが大きい場合にも対応することができる。さらに、視覚処理部400Bにより、Dレンジ圧縮処理(ニー特性による処理)が可能なので、第1信号処理部102Aでのニー処理を実現する機能部を省略した構成としてもよい。
≪第3変形例≫
次に、本実施形態の第3変形例に係る撮像装置について、説明する。
図14に、本変形例の撮像装置の信号処理部31Cおよび制御部34の機能ブロック図を示す。
本変形例の撮像装置は、第1実施形態に係る撮像装置100において、信号処理部31(または信号処理部31A)を信号処理部31Cに置換したものである。それ以外については、第1実施形態に係る撮像装置100と同様であるので、詳細な説明を省略する。
図14に示すように、信号処理部31Cは、信号処理部31の局所的逆光補正部101および内分処理部103を、視覚処理部400Cに置換したものである。なお、画像特徴量抽出部210は、第1変形例の撮像装置の画像特徴量抽出部210と同様である。画像特徴量抽出部210は、については、省略することも可能である。
本変形例の撮像装置において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の撮像装置の信号処理部31Cの視覚処理部400Cは、第1視覚処理部404と、第2視覚処理部405と、内分処理部406と、を備える。
なお、第1視覚処理部404の周辺明度検出部441と、第2視覚処理部405の周辺明度検出部451は共通化して回路規模を削減するのが好ましいが、説明を省略する。
内分処理部406は、第1視覚処理部404から出力される画像データYin1と、第2視覚処理部405から出力される画像データYin2と、制御部34から出力される効果調整信号とを入力とする。内分処理部406は、画像データYin1およびYin2に対して、効果調整信号の値Hを内分比として内分処理を行う。つまり、内分処理部406は、その出力をYoutとすると、
Yout=Yin1+H・(Yin2−Yin1)
により画像データYoutを求め、画像データYoutを第2信号処理部102Bに出力する。
図15に、第1視覚処理部404および第2視覚処理部の概略構成図を示す。
図15に示すように、第1視覚処理部404および第2視覚処理部の構成は同一であり、その構成は、第1実施形態の局所的逆光補正部の構成と同様である。2次元LUT442および452は、動的階調補正部112に相当する。
2次元LUT442および2次元LUT452は、画像データが形成する画像において、処理対象画素の周辺画素領域の明るさに基づいて決定される階調変換特性により、入力画像データ(処理対象画素の値に相当。)に対して、階調変換処理を行う。
本変形例では、2次元LUT442および2次元LUT442および2次元452の階調変換特性を所定の特性に設定することで、処理画像における視覚処理効果を変化させることを特徴としている。
具体例について、図16を用いて、説明する。
(設定例1)
まず、図16に示すように、第1視覚処理部404の2次元LUT442の階調変換特性を「ニー特性」および「局所コントラスト特性」(局所コントラストを保持(または強調)する階調変換特性)を実現するものに設定し、かつ、第2視覚処理部405の2次元LUT452の階調変換特性を「ニー特性」、「局所コントラスト特性」(局所コントラストを保持・強調する階調変換特性)および「逆光補正特性」を実現するものに設定した場合について、説明する。
この場合、効果調整信号の値Hが「0」のときは、第1視覚処理部404から出力される画像データYin1が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性および局所コントラスト特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、視覚処理による局所コントラストを保持(または強調)された画像データとなる。
そして、効果調整信号の値Hが「1」のときは、第2視覚処理部405から出力される画像データYin2が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性、局所コントラスト特性および逆光補正処理を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、視覚処理による局所コントラストを保持(または強調)され、さらに、逆光補正処理がなされた画像データとなる。
そして、効果調整信号の値Hが、0<H<1である場合、出力画像データYoutは、上記両者の中間の特性により階調変換された画像データとなる。
つまり、本変形例によれば、第1視覚処理部404の2次元LUT442の階調変換特性と第2視覚処理部405の2次元LUT452との差の特性(設定例1では「逆光補正特性」)のみの効果の程度(強度)を、効果調整信号により調整することができる。
そして、本変形例においても、上記実施形態で説明したのと同様に(図7〜図9参照)効果調整信号の値Hの値を変化させることで、撮像装置の絞り制御と連動させて視覚処理(第1視覚処理部404の2次元LUT442および第2視覚処理部の2次元LUT452の差の特性(設定例1では、「逆光補正特性」)による視覚処理)の程度(強度)を調整することができる。
(設定例2)
次に、設定例2について説明する。
図16に示すように、第1視覚処理部404の2次元LUT442の階調変換特性を「ニー特性」を実現するものに設定し、かつ、第2視覚処理部405の2次元LUT452の階調変換特性を「ニー特性」、「局所コントラスト特性」(局所コントラストを保持・強調する階調変換特性)を実現するものに設定した場合について、説明する。
この場合、効果調整信号の値Hが「0」のときは、第1視覚処理部404から出力される画像データYin1が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)された画像データとなる。
そして、効果調整信号の値Hが「1」のときは、第2視覚処理部405から出力される画像データYin2が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性および局所コントラスト特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、視覚処理による局所コントラストを保持(または強調)された画像データとなる。
そして、効果調整信号の値Hが、0<H<1である場合、出力画像データYoutは、上記両者の中間の特性により階調変換された画像データとなる。
つまり、本変形例によれば、第1視覚処理部404の2次元LUT442の階調変換特性と第2視覚処理部405の2次元LUT452との差の特性(設定例2では「局所コントラスト特性」)のみの効果の程度(強度)を、効果調整信号により調整することができる。
そして、本変形例においても、上記実施形態で説明したのと同様に(図7〜図9参照)効果調整信号の値Hの値を変化させることで、撮像装置の絞り制御と連動させて視覚処理(第1視覚処理部404の2次元LUT442および第2視覚処理部の2次元LUT452の差の特性(設定例2では、「局所コントラスト特性」)による視覚処理)の程度(強度)を調整することができる。
(設定例3)
次に、設定例3について説明する。
図16に示すように、第1視覚処理部404の2次元LUT442の階調変換特性を「ニー特性」および「局所コントラスト特性」を実現するものに設定し、かつ、第2視覚処理部405の2次元LUT452の階調変換特性を「ニー特性」および「逆光補正特性」を実現するものに設定した場合について、説明する。
この場合、効果調整信号の値Hが「0」のときは、第1視覚処理部404から出力される画像データYin1が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性および局所コントラスト特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、局所コントラストが維持(または強調)された画像データとなる。
そして、効果調整信号の値Hが「1」のときは、第2視覚処理部405から出力される画像データYin2が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性および逆光補正特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、視覚処理による逆光補正された画像データとなる。
そして、効果調整信号の値Hが、0<H<1である場合、出力画像データYoutは、上記両者の中間の特性により階調変換された画像データとなる。
つまり、本変形例によれば、第1視覚処理部404の2次元LUT442の階調変換特性と第2視覚処理部405の2次元LUT452との差の特性(設定例3では「局所コントラスト特性」および「逆光補正特性」)の効果の程度(強度)を、効果調整信号により調整することができる。
撮像装置において、人物を撮影する場合、一般に、逆光補正処理の強度(処理効果の程度)を高くすることが好ましい。一方、撮像装置において、風景を撮影する場合、逆光補正を行う必要性は低く、局所コントラストを保持(または強調)する処理を行うのが好ましい。
したがって、本変形性の撮像装置では、設定3のように2次元LUTの特性を設定し、例えば、制御部34が、特徴量信号Fから、撮像画像の状況を判断し、効果調整信号により、視覚処理の種類およびその効果の程度を変更することができる。具体的には、制御部34が、撮像装置により撮影されているシーンが人物である可能性が高いと判断した場合は、効果調整信号の値Hを大きくすることで、逆光補正特性による視覚処理効果を高める。逆に、撮像装置により撮影されているシーンが風景である可能性が高いと判断した場合、効果調整信号の値Hを小さくする。これにより、局所コントラスト特性による視覚処理効果を高めることができる。
≪第4変形例≫
次に、本実施形態の第4変形例に係る撮像装置について、説明する。
図17に、本変形例の撮像装置の信号処理部31Dおよび制御部34の機能ブロック図を示す。
本変形例の撮像装置は、第1実施形態に係る撮像装置100において、信号処理部31(または信号処理部31A)を信号処理部31Dに置換したものである。それ以外については、第1実施形態に係る撮像装置100と同様であるので、詳細な説明を省略する。
図17に示すように、信号処理部31Dは、信号処理部31の局所的逆光補正部101および内分処理部103を、視覚処理部400Dに置換したものである。なお、画像特徴量抽出部210は、第1変形例の撮像装置の画像特徴量抽出部210と同様である。画像特徴量抽出部210は、については、省略することも可能である。
本変形例の撮像装置において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の撮像装置の信号処理部31Dの視覚処理部400Dは、周囲明度検出部401と、内分処理部402と、2次元LUT407と、を備える。
周囲明度検出部401および内分処理部402については、第2変形例の視覚処理部400Bと同様である。ただし、内分処理部402の入力の一方が、定数ではなく、画像データYinである点が異なる。
本変形例の内分処理部402は、周囲明度検出部401から出力される画像データYaveと、第1信号処理部102Aから出力される画像データYinと、制御部34から出力される効果調整信号と、を入力とする。内分処理部402は、効果調整信号の値Hを内分比として、画像データYinおよびYaveを内分処理する。つまり、内分処理部は、その出力画像データをYave’とすると、
Yave’=Yave+H・(Yin−Yave)
により求められた画像データYave’を2次元LUT407に出力する。
2次元LUT407は、2次元LUTであり、第1実施形態の動的階調補正部112と同様の階調変換特性曲線のデータを2次元LUT(ルックアップテーブル)として保持している。2次元LUT407は、第1信号処理部102Aから(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)出力された画像データYinおよび内分処理部402から出力された画像データYave’を入力とする。2次元LUT407は、画像データYave(処理対象画素の周辺画素領域の明るさ情報)に基づいて、画像データYin(処理対象画素)に適用する階調変換特性曲線を決定し、決定した階調変換特性曲線により、画像データYin(処理対象画素)に対して階調変換を行う。そして、2次元LUT403により階調変換された画像データは、第2信号処理部102Bに出力される。
ここで、2次元LUT407のデータにおいて、対角成分による階調変換特性(2次元LUTの2入力の値が同一である場合の階調変換特性)を所定の特性(例えば、逆光補正特性)に設定する。この所定の特性により、効果調整信号の値Hが「0」である場合、2次元LUTでの階調変換が実行される。
つまり、本変形例の撮像装置において、視覚処理部400Bを上記のように構成することで、効果調整信号の値Hが「0」の場合は、2次元LUT407の対角成分により決定される階調変換特性による階調変換(単一カーブ(単一の階調変換特性曲線)による階調変換)を実現することができる。効果調整信号の値Hが「1」の場合は、視覚処理特性(局所的逆光補正処理特性)を実現することができる。さらに、効果調整信号の値Hを0〜1の範囲内で変化させることで、視覚処理(局所的コントラスト補正処理)の強度を調整することができる。
また、本変形例においても、上記で説明したのと同様に(図7〜図9参照)効果調整信号の値Hの値を変化させることで、撮像装置の絞り制御と連動させた視覚処理(局所的コントラスト補正処理)を実現させることができる。
[他の実施形態]
上記実施形態で説明した信号処理部31(31A〜31D)は、デジタル回路として他のカメラ信号処理機能と一体として撮像用集積回路などを用いたハードウェアにより実施してもよいし、撮像用集積回路の中に備えられた中央処理装置(以下、「CPU」という)を用いて組み込みソフトウェアで実視されてもよい。また、独立したコンピュータのアプリケーションソフトウェアとして実施されてもよい。上記各種機能をソフトウェアおよびハードウェアの混在処理により実現してもよい。また、上記各種機能をハードウェアで実施する場合は、本実施形態での各機能を個別に撮像用集積回路としてもよいし、一部またはすべてを含むように1チップ化された撮像用集積回路としてもよい。なお、ここでの撮像用集積回路とは、LSIに限らず、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、撮像用集積回路は、専用回路または汎用プロセッサで実現してもよい。例えば、半導体チップを製造した後、撮像用プログラムすることが可能なFPGA(Field Programmable Gate Array)や、撮像用集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらに、半導体技術の進歩または派生する別技術による撮像用集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。また、アプリケーションソフトウェアは、ディスク等に格納されて配布される形態のみならずネットワークを通じてダウンロードする形態のものでもよい。
なお、本発明では、撮像レンズ11は1枚の構成としたが実際には複数枚のレンズ組でもよい。
また、図示していないシャッターは、メカニカルシャッターおよび、撮像部13の撮像素子(イメージセンサ)の駆動タイミングにより光量を調節する電子シャッターのいずれでもよい。
なお、A/D変換器23は、アナログ信号処理部2と独立した構成あるいはデジタル信号処理部3に含まれる構成でもよい。なお、撮像部13の撮像素子(イメージセンサ)は、CMOS方式など他の方式でもよく、その構成も、単板構成だけでなく3板構成でもよい。
また、顔検出部106は、学習を用いたパターンマッチング等により顔の輪郭や口、目、鼻の配置から検出する手法や、肌色などの色情報を用いて検出する手法他、公知の様々なアルゴリズムのものを使用することが可能である。
なお、本発明の各実施形態では、撮像装置の露光量の調整に絞り12の絞り量を変化させる方法を用いて説明したが、メカニカルなシャッターを開く時間、電子シャッターの開く時間で調整しても同様の効果が得られる。また、シャッターと絞りをどちらも最大にしてもなお必要な露光量に達しない場合は、アナログ信号処理部2またはデジタル信号処理部3のいずれか、または両方でゲインをかけて画像信号(画像データ)を増幅することで対処するようにすることもできる。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で実施形態を組み合せてもよく、種々の変更および修正が可能である。
[付記]
本発明は、次のように表現することも可能である。
(付記1)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力画像を空間的な位置に応じて異なる変換特性を用いて少なくとも暗部を明るくする逆光補正部と、
逆光補正開始を指示する指示部と、
前記指示部の逆光補正開始の指示により、前記逆光補正部を動作させ、かつ前記光学系が受光する光量を所定量減少させる制御部と、
を備える撮像装置。
(付記2)
前記制御部は、前記光学系の露光量の減少方向の変化量に応じて、段階的に前記逆光補正部の補正量を増加方向に変化させることを特徴とする、
付記1記載の撮像装置。
(付記3)
画像データから明るさがピークとなる位置の明るさを抽出するピーク検出部を備え、
前記制御部は、少なくとも前記ピーク検出部が検出した前記明るさの増加量に応じて、前記前記光学系の露光量を減少させることを特徴とする、
付記1または2のいずれかに記載の撮像装置。
(付記4)
入力された画像データから空を示す領域を抽出する空検出部を備え、
前記制御部は、少なくとも前記空検出部で検出された前記領域の明るさに応じて前記前記光学系の露光量を減少させることを特徴とする、
付記1または2のいずれかに記載の撮像装置。
(付記5)
画像中から人物の顔を示す顔領域を抽出する顔検出部を備え、
前記制御部は、少なくとも前記顔検出部により前記画像中から検出された前記顔領域の明るさに応じて、前記逆光補正部の補正強度を変化させることを特徴とする、
付記1から5のいずれかに記載の撮像装置。
(付記6)
さらに、撮影シーンを複数の領域に分割して測光し光学系に対して基準露光量を決定する分割測光部を備え、
前記指示部の逆光補正開始の指示により、前記複数の領域の測光重みを変更させることを特徴とする、
付記1または2のいずれかに記載の撮像装置。
(付記7)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置で用いられる撮像方法であって、
撮影シーンを測光し前記光学系に対して基準露光量を決定するステップと、
撮影者の指示の有無を判定するステップと、
画像の空間的な位置に応じて異なる変換特性を用いて逆光補正を行うステップと、
前記基準露光量からさらに露光量を絞るステップと
を含む撮像方法。
(付記8)
前記逆光補正を行うステップは、前記露光量を絞るステップによる前記光学系の露光量の変化速度に応じて、連続的に前記逆光補正部の補正量を変化させることを特徴とする、
付記6記載の撮像方法。
(付記9)
光量調節機能を有する光学系とイメージセンサとA/D変換器を有する撮像装置に用いる撮像用撮像用集積回路であって、
前記A/D変換器で読み取った画像を空間的な位置に応じて異なる変換特性を用いて少なくとも暗部を明るくする逆光補正部と、
撮影者の逆光補正開始の指示により、前記逆光補正部を動作させ、かつ前記光学系の光量を所定量減少させる制御部と、
を備える撮像用集積回路。
(付記10)
撮像装置で用いられるプロセッサで実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
撮影シーンを測光し前記光学系に対して基準露光量を決定するステップと、
撮影者の指示の有無を判定するステップと、
画像の空間的な位置に応じて異なる変換特性を用いて逆光補正を行うステップと、
前記基準露光量からさらに露光量を絞る制御信号を出力するステップと、
を実行させるプログラム。
(付記11)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有し、被写体からの光を集光する光学系と、
前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、
前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正部と、
前記逆光補正部の強度に応じて、前記撮像部の露光量を所定量減少させる制御部と、
を備える撮像装置。
本発明に係る撮像装置、撮像方法、プログラムおよび集積回路は、デジタルスティルカメラだけでなく、ビデオカメラ、携帯電話内蔵のカメラ、監視カメラ、セキュリティカメラ、ロボットの目など画像を撮影する多くの撮像機器や、デジタルスティルカメラ用のRAW現像ソフトやフォトレタッチソフトなどのアプリケーションソフトに利用することができるので、映像関連分野において有用であり、本発明は、当該分野において実施することができる。
第1実施形態の撮像装置の構成を示す図 第1実施形態の撮像装置の信号処理部31および制御部34のブロック図 第1実施形態の局所的逆光補正部101のブロック図 局所的逆光補正部101の階調変換特性を説明するための図 撮影シーンを例示する図 従来手法による処理の動作タイミングチャート 第1実施形態に係る発明の第1の手法による動作タイミングチャート 第1実施形態に係る発明の第2の手法による動作タイミングチャート 第1実施形態に係る第3の手法による動作タイミングチャート 第1実施形態の第1変形例の信号処理部31Aおよび制御部34のブロック図 測光部104が画像を所定の大きさの画像領域に分割して、受光量を抽出する場合のイメージ図 第1実施形態の撮像装置の動作シーケンスを示すフローチャート 第1実施形態の第2変形例の信号処理部31Bおよび制御部34のブロック図 第1実施形態の第3変形例の信号処理部31Cおよび制御部34のブロック図 第1視覚処理部404および第2視覚処理部404のブロック図 第1視覚処理部404の2次元LUT442および第2視覚処理部404の2次元LUT452の階調変換特性の設定例 第1実施形態の第4変形例の信号処理部31Dおよび制御部34のブロック図 従来の逆光補正処理を説明するための図 効果調整信号による絞りキャンセルの原理を説明するための図
符号の説明
100 撮像装置
2 アナログ信号処理部
3 デジタル信号処理部
7 入力部
31、31A、31B、31C、31D 信号処理部
34 制御部
11 撮像レンズ
12 絞り
13 撮像部
41 被写体
101 局所的逆光補正部
102A 第1の信号処理部
102B 第2の信号処理部
103、402、406 内分回路(内分処理部)
104 測光部
105 ピーク検出部
106 顔検出部
107 空検出部
111、401 周囲明度検出部
112 動的階調補正部
210 画像特徴量抽出部
400B、400C、400D 視覚処理部
404 第1視覚処理部
405 第2視覚処理部

Claims (16)

  1. 電子的に被写体を撮影する撮像装置であって、
    光量調節機能を有し、被写体からの光を集光する光学系と、
    前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、
    前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正部と、
    前記逆光補正部による前記逆光補正処理の開始を指示する指示信号を出力する指示部と、
    前記指示部から出力された指示信号により、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御部と、
    を備える撮像装置。
  2. 前記制御部は、前記光学系の露光量の減少量に応じて、前記逆光補正部による前記逆光補正処理の強度を調整するための効果調整信号を増加させ、
    前記逆光補正部は、前記効果調整信号に基づいた前記逆光補正処理の強度により、前記逆光補正処理を行う、
    請求項1記載の撮像装置。
  3. 前記制御部は、
    前記光学系の設定露光量をA(t)、所定の時定数をα(0≦α≦1)とするとき、前記露光量(実質値)A^(t)を、
    A^(t)=A^(t−1)+α・(A(t)−A^(t−1))
    により推定し、
    前記露光量の減少量をΔA^(t)、所定の最大減少量をΔAmaxとするとき、前記効果調整信号H(t)(ΔA^(t)=0のときの値をH0とする)を、
    H(t)=H0+(1−H0)・(ΔA^(t)/ΔAmax)
    により算出する、
    請求項2に記載の撮像装置。
  4. 前記撮像部が受光している光量を示す測光値を生成する測光部をさらに備え、
    前記制御部は、前記測光値に基づいて、前記逆光補正部による前記逆光補正処理の強度を調整するための効果調整信号を生成させ、
    前記逆光補正部は、前記効果調整信号に基づいた前記逆光補正処理の強度により、前記逆光補正処理を行う、
    請求項1に記載の撮像装置。
  5. 前記制御部は、前記測光値の減少量をΔP(t),所定の最大減少量をΔPmaxとするとき、前記効果調整信号H(t)(ΔP(t)=0のときの値をH0とする)を、
    H(t)=H0+(1−H0)・(ΔP(t)/ΔPmax)
    により算出する、
    請求項4に記載の撮像装置。
  6. 前記逆光補正部は、
    前記逆光補正処理を行っていない前記画像信号である未補正画像信号をYin1、前記逆光補正処理を行った前記画像信号である逆光補正後画像信号をYin2、前記効果調整信号をH(0≦H≦1)とするとき、
    Yout=(1−H)・Yin1+H・Yin2
    により求められた出力画像信号Youtを出力することで、前記逆光補正処理を行う、
    請求項2から5のいずれかに記載の撮像装置。
  7. 前記逆光補正部は、
    前記着目画素の明度Yinと,前記着目画素の周辺画素領域の明るさである周辺明度Yaveとを入力とする、逆光補正機能を有しない2次元LUT1による出力信号をLUT1(Yin、Yave)、逆光補正機能を有する2次元LUT2による出力信号をLUT2(Yin、Yave)、前記効果調整信号をH(0≦H≦1)とするとき、
    Yout=(1−H)・LUT1(Yin、Yave)
    +H・LUT2(Yin、Yave)
    により求められた出力画像信号Youtを出力することで、前記逆光補正機能のみの強度を調整する、
    請求項2から5のいずれかに記載の撮像装置。
  8. 前記画像信号または前記逆光補正部の出力画像信号に対してNR(Noise Reduction)処理を行うNR処理部をさらに備え、
    前記制御部は、前記光学系の露光量の減少量に応じて、前記NR処理部の強度を増加させる、
    請求項1から7のいずれかに記載の撮像装置。
  9. 前記逆光補正部は、前記着目画素の周辺画素領域の明るさである周辺明度を算出し、
    前記NR処理部は、前記周辺明度が暗い画素に対する前記NR処理の強度をさらに増加させる、
    請求項8に記載の撮像装置。
  10. 前記画像信号から、前記画像信号が形成する画像における明るさのピーク値を検出するピーク検出部をさらに備え、
    前記制御部は、少なくとも前記ピーク検出部が検出した前記明るさのピーク値に応じて、前記前記光学系において光量調整することで、前記撮像部の露光量を減少させる、
    請求項1から9のいずれかに記載の撮像装置。
  11. 前記画像信号から、前記画像信号が形成する画像において、空を示す画像領域を抽出する空検出部をさらに備え、
    前記制御部は、少なくとも前記空検出部で検出された空を示す前記画像領域の明るさに応じて、前記前記光学系においての光量調整することで、前記撮像部の露光量を減少させる、
    請求項1から10のいずれかに記載の撮像装置。
  12. 前記画像信号から、前記画像信号が形成する画像において、人物の顔を示す画像領域である顔領域を抽出する顔検出部をさらに備え、
    前記制御部は、少なくとも前記顔検出部により検出された前記顔領域の明るさに応じて、前記逆光補正部の補正強度を変化させる、
    請求項1から11のいずれかに記載の撮像装置。
  13. 前記測光部は、前記画像信号により形成される画像を、複数の画像領域に分割し、分割したぞれぞれの画像領域に対応する光量を測定することで、前記撮像部が受光している光量を示す前記測光値を生成するとともに、前記光学系の光量調節を行うための基準露光量を決定し、
    前記制御部は、前記指示部から出力された指示信号により、前記複数の画像領域の測光重み付けを変更させて、前記測光値を取得し、取得した前記測光値に基づいて、前記光学系の光量調節を行う、
    請求項4から12のいずれかに記載の撮像装置。
  14. 光量調節機能を有し、被写体からの光を集光する光学系と、
    前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法であって、
    前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正ステップと、
    前記逆光補正部による前記逆光補正処理の開始を指示する指示信号の有無を判定する指示判定ステップと、
    前記指示判定ステップにおいて前記逆光補正処理の開始の指示があった場合、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御ステップと、
    を備える撮像方法。
  15. 光量調節機能を有し、被写体からの光を集光する光学系と、
    前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
    コンピュータに、
    前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正ステップと、
    前記逆光補正部による前記逆光補正処理の開始を指示する指示信号の有無を判定する指示判定ステップと、
    前記指示判定ステップにおいて前記逆光補正処理の開始の指示があった場合、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御ステップと、
    を実行させるプログラム。
  16. 光量調節機能を有し、被写体からの光を集光する光学系と、
    前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる集積回路であって、
    前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正部と、
    前記逆光補正部による前記逆光補正処理の開始を指示する指示信号を出力する指示部と、
    前記指示部の前記逆光補正処理の開始の指示により、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御部と、
    を備える集積回路。
JP2008169430A 2007-09-13 2008-06-27 撮像装置、撮像方法、プログラム、および集積回路 Expired - Fee Related JP5171434B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008169430A JP5171434B2 (ja) 2007-09-13 2008-06-27 撮像装置、撮像方法、プログラム、および集積回路
US12/209,458 US7990465B2 (en) 2007-09-13 2008-09-12 Imaging apparatus, imaging method, storage medium, and integrated circuit
US13/160,881 US8786764B2 (en) 2007-09-13 2011-06-15 Imaging apparatus, imaging method, and non-transitory storage medium which perform backlight correction

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007237730 2007-09-13
JP2007237730 2007-09-13
JP2008169430A JP5171434B2 (ja) 2007-09-13 2008-06-27 撮像装置、撮像方法、プログラム、および集積回路

Publications (2)

Publication Number Publication Date
JP2009089357A true JP2009089357A (ja) 2009-04-23
JP5171434B2 JP5171434B2 (ja) 2013-03-27

Family

ID=40662083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008169430A Expired - Fee Related JP5171434B2 (ja) 2007-09-13 2008-06-27 撮像装置、撮像方法、プログラム、および集積回路

Country Status (2)

Country Link
US (2) US7990465B2 (ja)
JP (1) JP5171434B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011030383A1 (ja) * 2009-09-10 2011-03-17 株式会社 東芝 画像処理装置
EP2424227A2 (en) 2010-08-25 2012-02-29 Ricoh Company, Ltd. Imaging apparatus, sky-area determining method, and a sky-area determining program
JP2012044559A (ja) * 2010-08-20 2012-03-01 Canon Inc 撮像装置及びその制御方法
WO2012060393A1 (ja) * 2010-11-01 2012-05-10 国立大学法人北海道大学 ターゲット位置追跡装置およびターゲット発光検出装置
JP2013040997A (ja) * 2011-08-11 2013-02-28 Nikon Corp 露出演算装置およびカメラ
JP2017168919A (ja) * 2016-03-14 2017-09-21 パナソニックIpマネジメント株式会社 インターホンシステム及び画像処理用プログラム
US20220198224A1 (en) * 2020-12-17 2022-06-23 Ubtech Robotics Corp Ltd Face recognition method, terminal device using the same, and computer readable storage medium
WO2023166556A1 (ja) 2022-03-01 2023-09-07 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7755670B2 (en) * 2005-10-24 2010-07-13 Nikon Corporation Tone-conversion device for image, program, electronic camera, and tone-conversion method
JP2009177272A (ja) * 2008-01-22 2009-08-06 Sony Corp 撮像装置、その制御方法およびプログラム
JP5202245B2 (ja) * 2008-11-20 2013-06-05 キヤノン株式会社 撮像装置およびその制御方法
JP4818393B2 (ja) * 2009-05-07 2011-11-16 キヤノン株式会社 画像処理方法および画像処理装置
US20110044552A1 (en) * 2009-08-24 2011-02-24 Jonathan Yen System and method for enhancement of images in a selected region of interest of a captured image
KR101168110B1 (ko) * 2009-09-04 2012-07-24 삼성전자주식회사 이미지 영상의 역광을 보상하기 위한 장치 및 방법
US8634649B2 (en) * 2010-04-15 2014-01-21 Kabushiki Kaisha Toshiba Backlit scene type detection
KR101248902B1 (ko) * 2010-10-13 2013-04-01 에스케이하이닉스 주식회사 주변 조도에 따른 영상 보정 기능을 갖는 영상 처리 장치 및 영상 처리 방법
TWM454546U (zh) * 2013-01-24 2013-06-01 tai-lin Liu 可擷錄影像的單筒望遠鏡
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
KR102073685B1 (ko) * 2013-09-06 2020-02-06 삼성디스플레이 주식회사 액정 표시 장치
US8958658B1 (en) * 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
US9436870B1 (en) * 2014-06-06 2016-09-06 Amazon Technologies, Inc. Automatic camera selection for head tracking using exposure control
KR102251440B1 (ko) * 2014-11-05 2021-05-14 삼성전자주식회사 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치
CN104575405B (zh) * 2015-02-04 2017-08-25 京东方科技集团股份有限公司 一种调节显示装置背光亮度的方法、显示装置
JP6600216B2 (ja) * 2015-09-29 2019-10-30 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2018056743A (ja) * 2016-09-28 2018-04-05 ルネサスエレクトロニクス株式会社 逆光補正プログラム及び半導体装置
EP3454547A1 (en) * 2017-09-11 2019-03-13 Canon Kabushiki Kaisha Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium
JP7087331B2 (ja) 2017-10-05 2022-06-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2019070870A (ja) * 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
TWI649600B (zh) * 2018-01-12 2019-02-01 友達光電股份有限公司 訊號處理方法及顯示裝置
JP7278096B2 (ja) * 2019-02-20 2023-05-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN111325680B (zh) * 2020-01-08 2023-04-25 深圳深知未来智能有限公司 一种具有抑制局部过曝的图像增亮方法
US12062176B2 (en) * 2020-11-02 2024-08-13 Adobe Inc. Generating change comparisons during editing of digital images
KR20230020846A (ko) * 2021-08-04 2023-02-13 현대자동차주식회사 로봇의 카메라 역광 개선 장치 및 그 방법
US12015855B2 (en) 2021-11-16 2024-06-18 Samsung Electronics Co., Ltd. System and method for synthesizing low-light images
JP2023110325A (ja) * 2022-01-28 2023-08-09 キヤノン株式会社 カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723287A (ja) * 1993-06-22 1995-01-24 Matsushita Electric Ind Co Ltd 撮像装置
JP2000278592A (ja) * 1999-01-22 2000-10-06 Canon Inc 撮像装置、その制御方法および記憶媒体
JP2006067409A (ja) * 2004-08-30 2006-03-09 Olympus Corp 画像処理装置と撮像装置、および画像処理プログラム
JP2007165947A (ja) * 2005-12-09 2007-06-28 Fujifilm Corp 撮像装置,被写体像の逆光補正装置,対象画像検出装置およびそれらの制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
US7265784B1 (en) * 2002-08-19 2007-09-04 Pixim, Inc. Image processor with noise reduction circuit
KR101027825B1 (ko) 2003-09-11 2011-04-07 파나소닉 주식회사 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및반도체 장치
WO2005027043A1 (ja) 2003-09-11 2005-03-24 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP3949684B2 (ja) * 2004-04-30 2007-07-25 三菱電機株式会社 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
JP4537255B2 (ja) * 2005-04-28 2010-09-01 富士フイルム株式会社 撮像装置および撮像方法
JP4973372B2 (ja) * 2007-08-06 2012-07-11 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP2009071621A (ja) * 2007-09-13 2009-04-02 Panasonic Corp 画像処理装置及びデジタルカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723287A (ja) * 1993-06-22 1995-01-24 Matsushita Electric Ind Co Ltd 撮像装置
JP2000278592A (ja) * 1999-01-22 2000-10-06 Canon Inc 撮像装置、その制御方法および記憶媒体
JP2006067409A (ja) * 2004-08-30 2006-03-09 Olympus Corp 画像処理装置と撮像装置、および画像処理プログラム
JP2007165947A (ja) * 2005-12-09 2007-06-28 Fujifilm Corp 撮像装置,被写体像の逆光補正装置,対象画像検出装置およびそれらの制御方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011030383A1 (ja) * 2009-09-10 2011-03-17 株式会社 東芝 画像処理装置
JP2012044559A (ja) * 2010-08-20 2012-03-01 Canon Inc 撮像装置及びその制御方法
EP2424227A2 (en) 2010-08-25 2012-02-29 Ricoh Company, Ltd. Imaging apparatus, sky-area determining method, and a sky-area determining program
WO2012060393A1 (ja) * 2010-11-01 2012-05-10 国立大学法人北海道大学 ターゲット位置追跡装置およびターゲット発光検出装置
JP2013040997A (ja) * 2011-08-11 2013-02-28 Nikon Corp 露出演算装置およびカメラ
JP2017168919A (ja) * 2016-03-14 2017-09-21 パナソニックIpマネジメント株式会社 インターホンシステム及び画像処理用プログラム
US20220198224A1 (en) * 2020-12-17 2022-06-23 Ubtech Robotics Corp Ltd Face recognition method, terminal device using the same, and computer readable storage medium
US11709914B2 (en) * 2020-12-17 2023-07-25 Ubtech Robotics Corp Ltd Face recognition method, terminal device using the same, and computer readable storage medium
WO2023166556A1 (ja) 2022-03-01 2023-09-07 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
US8786764B2 (en) 2014-07-22
US7990465B2 (en) 2011-08-02
US20110242366A1 (en) 2011-10-06
JP5171434B2 (ja) 2013-03-27
US20090231467A1 (en) 2009-09-17

Similar Documents

Publication Publication Date Title
JP5171434B2 (ja) 撮像装置、撮像方法、プログラム、および集積回路
US10171786B2 (en) Lens shading modulation
JP5412553B2 (ja) 視覚処理装置、視覚処理方法
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
EP2216987B1 (en) Image capturing apparatus and control method thereof
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
KR101243335B1 (ko) 화상처리장치 및 방법, 프로그램 및 촬상장치
US9148561B2 (en) Image capturing apparatus, executable autoexposure bracketing and control method thereof
JP5321163B2 (ja) 撮像装置及び撮像方法
JP4803284B2 (ja) 画像処理装置、及び画像処理プログラム
JP5624809B2 (ja) 画像信号処理装置
US20080259181A1 (en) Imaging apparatus, imaging method, integrated circuit, and storage medium
JP5660341B2 (ja) 撮像装置、撮像方法
JP2006081037A (ja) 撮像装置
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2011228807A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
US9294685B2 (en) Image processing apparatus, electronic camera, and medium storing image processing program
JP6873679B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP5335964B2 (ja) 撮像装置およびその制御方法
JP2012124652A (ja) 撮像装置及び画像処理方法
JP2007235421A (ja) 撮像装置
JP7555730B2 (ja) 画像処理装置、方法及びプログラム
JP2010028363A (ja) 撮像装置および画像処理プログラム
KR101456493B1 (ko) 디지털 영상 처리기에서 광 역광 보정 장치 및 방법
JP2024011915A (ja) 撮像装置、及び撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121101

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121225

R150 Certificate of patent or registration of utility model

Ref document number: 5171434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371