JP2009089357A - 撮像装置、撮像方法、プログラム、および集積回路 - Google Patents
撮像装置、撮像方法、プログラム、および集積回路 Download PDFInfo
- Publication number
- JP2009089357A JP2009089357A JP2008169430A JP2008169430A JP2009089357A JP 2009089357 A JP2009089357 A JP 2009089357A JP 2008169430 A JP2008169430 A JP 2008169430A JP 2008169430 A JP2008169430 A JP 2008169430A JP 2009089357 A JP2009089357 A JP 2009089357A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- backlight correction
- signal
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 267
- 238000012545 processing Methods 0.000 claims abstract description 425
- 238000012937 correction Methods 0.000 claims abstract description 369
- 238000006243 chemical reaction Methods 0.000 claims abstract description 136
- 230000003287 optical effect Effects 0.000 claims abstract description 94
- 230000007423 decrease Effects 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 167
- 230000000694 effects Effects 0.000 claims description 143
- 230000008569 process Effects 0.000 claims description 103
- 238000001514 detection method Methods 0.000 claims description 60
- 230000002093 peripheral effect Effects 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 16
- 230000003247 decreasing effect Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 101100021996 Arabidopsis thaliana CYP97C1 gene Proteins 0.000 claims description 6
- 101100510695 Arabidopsis thaliana LUT2 gene Proteins 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 description 83
- 230000006870 function Effects 0.000 description 46
- 238000012986 modification Methods 0.000 description 42
- 230000004048 modification Effects 0.000 description 42
- 230000008859 change Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 21
- 210000003127 knee Anatomy 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000001965 increasing effect Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 17
- 238000005375 photometry Methods 0.000 description 17
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000005282 brightening Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009738 saturating Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【解決手段】本発明の撮像装置は、電子的に被写体を撮影する撮像装置であって、光量調節機能を有する光学系と、前記光学系が結像する像を読み取る撮像部と、撮像部の出力をA/D変換するA/D変換器と、A/D変換器で読み取った画像を空間的な位置に応じて異なる変換特性を用いて少なくとも暗部を明るくする逆光補正部と、逆光補正開始を指示する指示部と、指示部の逆光補正開始の指示により、逆光処理補正部を動作させ、かつ光学系の露光量を所定量減少させる制御部と、を備える。
【選択図】図2
Description
ここで、撮像装置において、一般に空などの明るい背景の前に主要被写体として暗い逆光の人物がいる、いわゆる逆光シーンを撮影する場合では、撮像装置のカメラ制御における露光量の設定は、以下の(A)〜(C)のいずれかに分類される。
(A)撮像画像において、空が白飛びしないように(空の領域の階調が損なわれないように)露光量を設定する(絞りを絞る)。
(B)撮像画像において、人物が適正露光になるように(人物の領域の階調(明るさ)が適正な階調(明るさ)となるように)露光量を設定する(絞りを開く)。
(C)(A)(B)の中庸に露光量を設定する。
しかし、設定(C)により撮影した場合であっても、撮像画像において、空が少し白飛びし、人物も暗い状態であり、空も人物もどちらも適切な明るさにならないので、満足な画質の撮像画像を得ることができない。
また、撮像装置において、ユーザが明示的に設定(B)を選択する通称「逆光補正モード」を備え、ユーザ指示により露光量を割り増しし、設定(B)を実現することも行われている。この際、露光量の割り増し量を顔認識により顔の明るさを基準に決定することも行われている。この場合は、撮像画像において、人物は明るくなるがその分背景が完全に白飛びするので、撮像画像は、必ずしも良い画像にはならない。
図18は、従来のトーンカーブ(階調変換特性曲線)による逆光補正の特性を示している。図18において、横軸は入力明度であり、縦軸は出力明度である。逆光補正を行うためには、トーンカーブ(階調変換特性曲線)による特性を、図中の矢印のように暗部を明るくする特性にする必要である。
トーンカーブ(階調変換曲線)Xは、撮像画像上の暗部を集中的に明るくし、撮像画像上の明るい部分を変化させない階調変換を行うためのカーブ(特性曲線)である。トーンカーブXによる階調変換を行った画像は、非特許文献1の第2図(Figure 2)に示されているように、中間調(例えば、図18中の点線の円で示した部分に相当。)のコントラストのみが極端に低下し極めて不自然な画像になるので、トーンカーブXによる階調変換では、適切な逆光補正処理を行うことはできないという課題がある。
この課題を解決させる技術として、画像中の位置に応じて階調変換特性が変化する制御を行う技術がある。例えば、逆光となっている人物の暗部の領域(画像上の領域)を、例えば空を示す領域(画像上の領域)に適用する階調変換とは異なる階調変換特性を用いて部分的(局所的)に明るくすることで、画像に対して階調変換(逆光補正)処理を行う技術がある。この技術は、視覚処理技術(非特許文献1の第3図〜第5図(Figure 3〜5)、特許文献1、および特許文献2を参照。)として知られている。人間の視覚は、明るい領域は目の感度を上げて明るくして見ており、逆に、暗い領域は目の感度を下げて暗くして見ている。このような人間の視覚特性に基づいた、これらの技術を用いた局所的逆光補正では、コントラスト感の維持が可能で視覚的に自然な処理であるので、極めて強い補正が可能である。つまり、このような局所的逆光補正処理により、非常に暗い人物の部分の画像領域を、局所的なコントラストを維持したまま、明るくすることができる。
山下他 "Contrast−Gain Based Visual Tone Mapping for Digital Photo Prints", Journal of Imaging Science and Technology, Vol. 50, No.5 , pp. 458−468(2006)
第一に、この技術は入力信号が既に飽和していないことが前提であり、この技術単独では、入力信号が飽和している場合に、適切は階調変換処理(例えば、逆光補正処理)を行うことはできない。
第二に、上述の光学系制御(絞りによる露光量の制御)は、画像処理との連動を勘案したものではない。さらに、上述の局所的補正は、取得された画像データのみから実現されるので、必ずしも撮像装置の光学系の制御と連動したものではない。これによりを下記の副作用が生じる。
通常、撮像装置において動画撮影を行う場合、露光量を光学的に変化させるとき、光学系の駆動の処理時間とデジタル処理における補正カーブ変更の処理時間とには時間的な隔たりが生じる。したがって、撮像装置において、単純に、局所的逆光補正をONにするのと連動して、絞りの制御を開始させたとしても、所定の光量まで絞りを絞るのに時間がかかり、その間は過剰に逆光補正がかかることになる。この結果として、撮像装置において取得される撮像画像(撮像動画)において、逆光の人物は、局所的逆光補正をONにした瞬間(局所的逆光補正処理を開始させた瞬間)、極端に明るくなりその後ゆっくりと暗くなっていき、適正な明るさに落ち着くことになる。
また、撮像画像(撮像動画)において、人物(の部分の画像領域)は、一度極端に明るくなった後次第に暗くなるので、撮像画像(撮像動画)を見ているユーザは、人物の部分の画像領域が補正前に対して明るくなったように感じず、人間の知覚上、逆光補正の効果を感じることができない。
なお、局所的逆光補正をOFFにした際には、逆の動作をすることはいうまでもない。また、上記は、手動でON/OFFした際の一例であり、露光量設定を急激、または、離散的に変化させる場合も、同様の副作用が発生する。
そこで、本発明では、これら光学系制御部(光学系を制御する機能部)と画像処理部(画像処理を行う機能部)の動作タイミングまたは制御量を連動させ、例えば青空等の特定条件を背景にした逆光の人物に対して、空を飽和させずに人物を明るく撮影できる逆光補正機能を有する撮像装置、撮像方法、プログラムおよび集積回路を実現することを目的とする。
さらに、これらの連動により動画像の連続撮影において、逆光の人物の明るさが自然な変化として知覚されるよう撮像する撮像装置等を実現することを目的とする。
撮像部は、光学系が集光した光による結像を読み取り、画像信号として取得する。逆光補正部は、撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、着目画素の画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、画像信号に対して逆光補正処理を行う。指示部は、逆光補正部による逆光補正処理の開始を指示する指示信号を出力する。制御部は、指示部の逆光補正処理の開始の指示により、逆光補正部での逆光補正処理を開始させ、かつ、撮像部の露光量を所定量減少させることで、光学系において光量調節させる。
また、「露出」とは、フィルムに対してある一定量の光を当てることであり、この光の量を「露光量」または「露出量」といい、EV値(Exposure Value)で表している。EV値は、絞り値、シャッタースピード、ISO感度の組合せから決まり、これらの露出設定に基づいて、光学系において光量調節が行われる。
また、「露光量を所定量減少させる」とは、通常撮影時(逆光補正処理を行わないとき)より、さらにEV値を所定量下げることを指す。EV値を−1、−2、・・・と下げればダイナミックレンジは2倍、4倍、・・・と拡大し、空などの高輝度信号の飽和が抑えられていく。ここで、「所定量」とは、予め決めておいてもよいが、後述する「空検出」、「ピーク検出」などを用いて、空の飽和がなくなる値を適応的に求めるのが好ましい。なお、EV値を下げるほど、ノイズの影響が大きくなるので、EV値の最大下げ量を規定しておくのが好ましい。
この撮像装置では、制御部により、光学系の制御および画像処理の制御(逆光補正処理)を連動させることができる。また、逆光補正処理部では、着目画素に対して、着目画素の画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行う。これにより、輝度領域(暗部画像領域や明部画像領域など)ごとに異なる階調変換を行うことが可能であり、人間の視覚特性に合った逆光補正処理を行うことができる。つまり、この撮像装置では、光学系制御部(光学系を制御する機能部)と画像処理部(画像処理を行う機能部)の動作タイミングまたは制御量を連動させることで、例えば青空等の特定条件を背景にした逆光の人物の画像に対して、空を飽和させずに人物を明るく撮影できる逆光補正処理を実現することができる。
この撮像装置では、光学系の露光量の減少量に応じて、局所的逆光補正の補正量(画像上の暗部領域の持ち上げ量(明るくする程度))を増加させる。これにより、暗部領域(逆光人物など)の明るさを適切な明るさに補正しつつ、画像上の明部領域(空など)の白飛び現象を防止することができる。言い換えれば、この撮像装置では、光学系での露光量の減少に伴い撮像画像における明るさ低下分を相殺する方向に制御することができる。その結果、この撮像装置により取得される画像は、いずれの画像領域においても適切な明るさとなっている画像である。つまり、この撮像装置により、適切に逆光補正処理を行うことができる。
これにより、本発明者らが実験により初めて見いだした、前述の光学系の機械遅延による副作用を解決し、露光量および補正量を自在に変化させることが可能となったので、局所的逆光補正処理の効果をさらに向上させることが可能となった。
なお、「徐々に」補正量を変化させる方法は様々あるが、例を下記に示す。
(1)機械遅延が反映された、実際の露出値(以下、実露出値)を取得できる場合、これに基づいて補正量を算出すればよい。これにより、完全に機械遅延に連動させることができる。
(2)実露出値を取得できない場合、光学系の機械遅延特性は既知であるので、これと目標露出値とから、実露出値を算出すればよい。これにより、完全に機械遅延に連動させることができる。
(3)機械遅延特性が複雑な計算式になる場合、目標露出値をフィルタなどにより滑らかに変化させるだけでよい。これには、後述するIIR(Infinite Inpulse Response)のローパスフィルタを用いてもよい。これに限らず、FIR(Finite Inpulse Response)のローパスフィルタ、線形補間など、「徐々に」露光量を変化させるためのものであれば何でもよい。これにより、多少のずれはあるが、簡易な構成で連動させることができる。
(4)測光値から効果調整信号を算出すればよい。測光値は、機械遅延が反映された値であるから、これに基づいて算出するだけで、効果調整信号が自動的に「徐々に」変化する。これにより、多少のずれはあるが、簡易な構成で連動させることができる。
(5)画像信号の平均値や、各画素の周辺明度の平均値などから効果調整信号を算出してもよい。測光値と同様に、機械遅延が反映された値であるから、これに基づいて算出するだけで、効果調整信号が自動的に「徐々に」変化する。これにより、ほぼ簡易な構成で連動させることができる。
A^(t)=A^(t−1)+α・(A(t)−A^(t−1))
により推定し、
露光量の減少量をΔA^(t)、所定の最大減少量をΔAmaxとするとき、効果調整信号H(t)(ΔA^(t)=0のときの値をH0とする)を、
H(t)=H0+(1−H0)・(ΔA^(t)/ΔAmax)
により算出する。
ここで、「設定露光量」とはEV設定値に基づく露光量であるが、EV設定値がすぐに光学系の実際の「露光量」(実露光量)に反映されるわけではなく、光学系の機械遅延により、実際の「露光量」は「設定露光量」に遅れて追従する。そのため、設定露光量A(t)に対して、IIRローパスフィルタを施し、設定露光量A(t)を徐々に変化させることで、光学系の実露光量を推定する。なお、時定数αは、光学系の機械遅延特性に合わせてチューニングすればよい。
なお、IIRローパスフィルタを施すタイミングはどこでもよく、例えば、効果調整信号H(t)に施すようにしてもよい。
第4の発明は、第1の発明であって、撮像部が受光している光量を示す測光値を生成する測光部をさらに備える。制御部は、測光値に基づいて、逆光補正部による逆光補正処理の強度を調整するための効果調整信号を生成させる。逆光補正部は、効果調整信号に基づいた逆光補正処理の強度により、逆光補正処理を行う。
第5の発明は、第4の発明であって、制御部は、測光値の減少量をΔP(t),所定の最大減少量をΔPmaxとするとき、効果調整信号H(t)(ΔP(t)=0のときの値をH0とする)を、
H(t)=H0+(1−H0)・(ΔP(t)/ΔPmax)
により算出する。
測光値は、前述したように、機械遅延が反映された値であるから、正規化するだけでよい。これにより、簡単に、光学系の制御と連動した局所的逆光補正処理を実現させることができる。
Yout=(1−H)・Yin1+H・Yin2。
により求められた出力画像信号Youtを出力することで、逆光補正処理を行う。
これにより、効果調整信号の値を変化させることで、内分処理により、逆光補正処理の効果を簡単に調節することができる。
なお、露光量の変化を、効果調整信号で完全に相殺するには、図19に示す(方程式1)を解けばよい。γ補正や、逆光補正による非線形性を含んでいるので、近似などを用いるか、または、評価関数を最小化(または最大化)させて収束させる等、数値的に解いてもよい。
Yout=(1−H)・LUT1(Yin、Yave)
+H・LUT2(Yin、Yave)
により求められた出力画像信号Youtを出力することで、逆光補正機能のみの強度を調整する。
視覚処理は、1つのLUTに、暗部補正(逆光補正)機能のみでなく、明部補正(Knee補正)や、局所コントラスト補正など、複数の機能を入れることができる。逆光補正の機能のあるLUTによる処理結果と、逆光補正の機能のないLUTによる処理結果との2つの処理結果を内分することで、他の機能の効果を残したまま、逆光補正の機能のみの効果調整を行うことが可能となる。
第8の発明は、第1から第7のいずれかの発明であって、画像信号または逆光補正部の出力画像信号に対してNR(Noise Reduction)処理を行うNR処理部をさらに備える。制御部は、光学系の露光量の減少量に応じて、NR処理部の強度を徐々に増加させる。
通常、露光量を下げて効果調整信号を増加させるほど、ノイズが大きくなる。このため、露光量の減少量に応じてNRの強度を強くするのが好ましい。これにより、ノイズに連動したNR処理が可能となる。
第9の発明は、第8の発明であって、逆光補正部は、着目画素の周辺画素領域の明るさである周辺明度を算出し、NR処理部は、周辺明度が暗い画素に対するNR処理の強度をさらに増加させる。
第10の発明は、第1または第9の発明であって、画像信号から、画像信号が形成する画像における、明るさのピーク値を検出するピーク検出部をさらに備える。制御部は、少なくともピーク検出部が検出した明るさのピーク値に応じて、光学系において光量調整することで、撮像部の露光量を減少させる。
例えば、画像信号が8ビットの場合、ピーク値<255となるまで、露光量を減少させ続ける。なお、あまり露光量を減少させすぎると、ノイズの影響が大きくなってしまうので、露光量の最大減少量を規定しておくのが好ましい。
第11の発明は、第1または第10の発明であって、画像信号から、画像信号が形成する画像において、空を示す画像領域を抽出する空検出部をさらに備える。制御部は、少なくとも空検出部で検出された空を示す画像領域の明るさに応じて、光学系においての光量調整することで、撮像部の露光量を減少させる。
ピーク値と同様に、「空を示す画像領域の明るさ」<255となるまで、露光量を減少させ続ける。なお、あまり露光量を減少させすぎると、ノイズの影響が大きくなってしまうので、露光量の最大減少量を規定しておくのが好ましい。
また、「空検出」は、例えば、入力画像をRGB別にブロック化し、各ブロックに対して輝度Yおよび色差B−Yが共に所定値より大きいブロックを「空を示す画像領域」と判定すればよい。また、「空を示す画像領域の明るさ」は、「空」と判定されたブロックの平均輝度値などとすればよい。
第12の発明は、第1または第11の発明であって、画像信号から、画像信号が形成する画像において、人物の顔を示す画像領域である顔領域を抽出する顔検出部をさらに備える。制御部は、少なくとも顔検出部により検出された顔領域の明るさに応じて、逆光補正部の補正強度を変化させる。
例えば、顔領域の明るさが暗い場合は補正強度をより強くし、元々適正レベルの場合には、補正強度をほぼ「0」にすればよい。
第13の発明は、第4から第12のいずれかの発明であって、測光部は、画像信号により形成される画像を、複数の画像領域に分割し、分割したぞれぞれの画像領域に対応する光量を測定することで、撮像部が受光している光量を示す測光値を生成するとともに、光学系の光量調節を行うための基準露光量を決定する。制御部は、指示部の逆光補正処理の開始の指示により、複数の画像領域の測光重み付けを変更させて、測光値を取得し、取得した測光値に基づいて、光学系の光量調節を行う。
この撮像装置は、局所的逆光補正機能を有しているので、空が白飛びしないように「測光重み付けを変更」するのが好ましい。例えば、画面上部の測光重み付けを通常より高めるなどすればよい。これにより、空が白飛びしないよう自動的に露光量を調節するので、「ピーク検出」や「空検出」などが不要となり、簡易に、空の白飛びを抑えることができる。
第14の発明は、光量調節機能を有し、被写体からの光を集光する光学系と、光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法であって、逆光補正ステップと、指示判定ステップと、制御ステップと、を備える。
これにより、第1の発明と同様の効果を奏する撮像方法を実現することができる。
第15の発明は、光量調節機能を有し、被写体からの光を集光する光学系と、光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。そして、このプログラムは、コンピュータに、逆光補正ステップと、指示判定ステップと、制御ステップと、を実行させる。
これにより、第1の発明と同様の効果を奏するプログラムを実現することができる。
第16の発明は、光量調節機能を有し、被写体からの光を集光する光学系と、光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる集積回路であって、逆光補正部と、指示部と、制御部と、を備える。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
さらに、これらの連動により動画像の連続撮影において、逆光の人物の明るさが自然な変化として知覚されるよう撮像する撮像装置等を実現することができる。
[第1実施形態]
<1.1:撮像装置の構成>
図1は、本発明の第1実施形態における撮像装置100の概略構成を示す図である。
撮像装置100は、光学系(撮像レンズ11、絞り12、撮像部13、フラッシュ発光部(ストロボ)14)、アナログ信号処理部2、および、デジタル信号処理部3、ならびに、任意の構成としてメモリカード5、表示部(例えば、LCDディスプレイ)5、入力部(ユーザインタフェース)7を含む。また、撮像装置100は、デジタル信号処理部3の各機能部をバス接続するバス38を含む。なお、本実施形態では、図1に示すように、デジタル信号処理部3の各機能部がバス38により接続されている場合について説明する。ただし、必ずしも、デジタル信号処理部3の各機能部がバス接続されている必要はなく、必要なデータ(信号)のやりとりができるように、各機能ブロックが直接接続される構成であってもよいことはいうまでもない。
撮像レンズ11は、撮影する被写体P1からの反射光を集光し撮像部13の撮像素子(イメージセンサ)の撮像面上に結像する。撮像レンズ11が光軸上において前後に移動する量を制御することで、撮像装置100において、オートフォーカス機能あるいはマニュアルフォーカス機能を実現させることができる。
絞り12は、制御部(例えば、制御マイコン(マイクロプロセッサ))23から出力される絞り調整信号を入力とし、絞り調整信号に基づいて絞り12の開口量を変更することで、撮像部13の撮像素子(イメージセンサ)上で受光される光量を調整する(光量調節機能)。
アナログ信号処理部2は、撮像部13から出力される撮像データのアナログ信号(アナログ画像信号)を入力とし、所定の処理を行った後、該画像データをサンプリングしてデジタル画像信号としてデジタル信号処理部3に出力する。アナログ信号処理部2は、相関二重サンプリング部21(CDS(Correlated Double Sampling))、アナログ増幅回路22(GCA(Gain Control Amplifier))、A/D変換器23を含む。
アナログ増幅回路22は、GCA22から出力された信号を入力とし、GCA22から出力された信号の信号レベルを所定のレベルに増幅(調整)して、A/D変換器23に出力する。図1において、矢印で示す信号Bは、GCA22により増幅された信号を示しており、その信号レベルを「B」で表すものとする。
A/D変換器23は、GCA22から出力された信号を入力とし、GCA22から出力された信号をA/D変換することでデジタル信号(デジタル画像信号)に変換する。そして、A/D変換器23は、A/D変換することで取得したデジタル信号(デジタル画像信号)をデジタル信号処理部3に出力する。具体的には、A/D変換器23は、GCA23の出力信号を、所定の量子化精度およびサンプリング精度でデジタル画像データに変換し(例えば、各画素が4096の階調レベルを持つ12bitのデジタル信号に変換し)、変換データをデジタル信号処理部3に対して出力する。
信号処理部31は、アナログ信号処理部2から出力されたデジタル画像信号を入力とし、入力されたデジタル画像信号(デジタル画像データ)に対して逆光補正処理を行い、処理後(あるいは処理していない)画像データ(デジタル画像信号)を記憶部(メモリ)32に書き込む。
記憶部(メモリ)32は、制御部34からの指令に基づいて、デジタル画像信号(デジタル画像データ)を記憶する。具体的には、記憶部32は、制御部34から書き込み制御を受けた時点の各種処理部の出力値(例えば、画像データ)を保持し、制御部34からの読み出し制御信号に基づいて指定されたメモリアドレスに保持された値を出力する。
制御部34(例えば、制御マイコン)は、信号処理部31または入力部7等の出力値を、直接または記憶部(メモリ)32を介して入力し、絞り12に対し制御信号を出力する。また、制御マイコン23は、前記圧縮符号化された画像データに対し、ヘッダ情報を付加し、ヘッダ情報を付加した画像データを、例えばExifファイルフォーマットとして、カードI/F36を経由してメモリカード6に書き込む。
その他、表示部制御部(例えば、LCD制御回路)36は、メモリカード6に保持される画像データ(または、記憶部(メモリ)32に記憶された画像データ)を取得し、取得した画像データを基に表示部(例えば、LCDディスプレイ)5を駆動する。そして、表示部(例えば、LCDディスプレイ)5は、撮像装置100による撮影時のプレビュー画像(いわゆる「ライブビュー画像」)を表示することができる。
信号処理部31は、測光部104、第1信号処理部(第1の信号処理回路)102A、局所的逆光補正部101、内分処理部(内分回路)103、第2信号処理部(第2の信号処理回路)102Bを含む。なお、これらの機能は信号処理回路上に専用のDSP(Digital Singal Processor)を設け、そのDSPにより実現するようにしてもよいし、一部の機能をマイコン処理(制御部34によるマイコンソフトウェア処理等)により、制御部(制御マイコン)34上で当該機能を実現するソフトウェア(プログラム)を実行することで実現するようにしてもよい。
測光部104は、アナログ信号処理部2から出力される画像データ(デジタル画像信号)を入力とし、(必要に応じて画像データを複数に分割し(分割した画像データは、画像データが形成する画像を分割した画像領域(分割画像領域)を形成する画像データに相当する。))、画像データにより形成される画像全体の明るさ情報を抽出し、抽出した明るさ情報を測光値Pとして制御部34に出力する。具体的には、測光部104は、画像データにより形成される画像を複数個の画像領域に分割し、その分割した各画像領域に相当する画像データ(デジタル画像信号)に対して、所定の重み(測光重み)付けにより、加重平均値を算出し、測光値Pとして制御部34に出力する。この際、制御部34は、指示部の逆光補正処理の開始の指示により、測光重み付けを変更させて、測光値を取得するようにしてもよい。
第1信号処理部102Aは、アナログ信号処理部2から出力された画像データ(デジタル画像信号)を入力とし、入力された画像データに対してノイズ等を除去するための前処理を行う。そして、第1信号処理部102Aは、前処理を行った画像データ(デジタル画像信号)を局所的逆光補正部101および内分処理部103に出力する。第1信号処理部102Aにより実行される前処理としては、ホワイトバランス補正処理、画素補間処理、色補正処理、ノイズリダクション処理、輪郭強調処理、ガンマ補正処理等の処理があり、第1信号処理部102Aは、これらの処理を必要に応じて行う。
ノイズリダクション処理は、画像データの振幅と周波数などからノイズを判別し、ノイズを削減する処理である。
輪郭強調処理は、撮像レンズ11のアパーチャー(レンズ口径)や絞り12の影響によるMTF(Modulation Transfer Function)の低下を補償し解像度感のある画像を再現することができる画像データ(画像信号)を取得する処理である。
なお、第1信号処理部102Aは、アナログ信号処理部2から出力されるデジタル画像信号(デジタル画像データ)の出力値が所定の精度を有する場合は、必須の構成ではない。
局所的逆光補正部101は、前述した局所的逆光補正を行うための処理部であり、第1信号処理部102A(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)から出力された画像データを入力とし、入力された画像データに対して局所的逆光補正処理を行う。そして、局所的逆光補正部101は、局所的逆光補正を行った画像データを内分処理部103に出力する。局所的逆光補正部101では、画像データが形成する画像において、処理対象の画素(着目画素)を含む所定の大きさの画像領域(画像中の部分領域の概略的な明るさを示しうる領域)から当該画像領域の概略的な明るさを示す値(例えば、当該画像領域の画素値の平均値)を取得し、その取得した値に基づいて、処理対象の画素(着目画素)に対応する画像データに対して逆光補正(暗部補正)処理を実行する。なお、局所的逆光補正部の処理については後述する。
Out=InA+H・(InB−InA)
により求められた画像データOutを第2信号処理部102Bに出力する。
第2信号処理部(第2の信号処理回路)102Bは、内分処理部103から出力された画像データを入力とし、入力された画像データに対して、種々の後処理(色調整処理等)を行う。
本発明における局所的逆光補正部101の構成を図3に、その入出力変換特性を図4に、それぞれ、示す。
局所的逆光補正部101は、周囲明度検出部111と、動的階調補正部112とを含む。
動的階調補正部112は、周囲明度検出部111の出力に応じて、図4に示す階調カーブ(階調変換特性曲線)を変化させる。周囲明度検出部111の出力は、画像中の位置によって変化するので、画像中の位置に応じて周囲明度検出部111の出力は変化する。したがって、図4に示すように、動的階調補正部112が与える入出力変換特性(階調変換特性)も画像中の位置により変化する。
図4は、処理対象の画素(着目画素)の周囲の画像領域の明るさにより変化する7本の階調カーブ(階調変換特性曲線)を図示しており、着目画素の周囲の画像領域の明るさが最も暗い場合の曲線をa、着目画素の周囲の画像領域の明るさが最も明るい場合の曲線をc、上記両者の中央の曲線をbとしている。図4では、説明のために、階調変換特性曲線は7本としているが、これに限定されることはなく、演算精度の許す範囲で、階調変換特性曲線の数は、多ければ多いほど望ましい。また、階調変換特性曲線の数は、階調カーブ(階調変換特性曲線)が、着目画素の周囲の画像領域の明るさの変化に対して、連続的に変化していると見なせる本数であることが望ましい。また、階調変換特性曲線は、代表的な階調変換特性を実現するものを数本用意しておき、その間の特性を実現する階調変換特性曲線については、演算により求めるようにしてもよい。
ここで、画像中で着目画素の周囲の画像領域が暗いところ(例えば、図4の領域203など)では、階調変換特性曲線として、曲線aが適用されることになるので、階調変換された画像において、逆光の暗い顔は適正な明るさになる。
また、「視覚処理」と呼ばれるこの手法は、人間が目で見る際の視覚特性である暗い領域は感度を上げてみるという特性に一致しているので、非常に強い逆光補正も不自然なく行うことができる。
なお、本発明は、上記で説明した構成に限るものではなく、特に、局所的逆光補正部101は、画像の空間的な位置に応じて入出力変換特性を実質的に変化させる技術により実現させてもよい。例えば、前述した特許文献記載の技術やRetinex処理、あるいは局所的なヒストグラム均等化処理などの実質的に同様の効果が得られる公知な技術を用いることで、局所的逆光補正部101を実現させるようにしてもよい。
<1.2:撮像装置の動作>
以上のように構成された撮像装置の動作について、説明する。
制御部34が、ユーザから逆光補正の指示(割り込み)を受けると(制御部34に、入力部7から逆光補正処理の実行を指示する制御信号(指示信号U)が制御部34に入力されると)、
(1)制御部34は、撮像装置100の光学系に対しては、露光量を制御するための絞り調整信号や電気的なゲインの調整信号を出力し、
(2)それと略同時に、制御部34は、信号処理部31に対しては、前述の効果調整信号等を出力し、
撮像装置100に必要な種々の制御/設定を行う。
本実施形態における動画撮影用のビデオカメラ(撮像装置100)の露光制御と局所的逆光補正の制御部の動作を、従来の手法と比較しながら説明する。具体的には、図5に示す撮影シーンを、図6(従来手法)、図7(本発明の第1の手法)、図8(本発明の第2の手法)、および図9(本発明の第3の手法)により処理する場合について説明する。
図5において、201は、逆光補正の対象とする撮影シーン全体を示している。撮影シーン201は、背景に明るい青空、雲、山があり、前景に主要被写体である人物の顔202がある。領域202〜304は、各々画像特徴量抽出部で検出された領域であって、領域202は主要被写体(顔)の領域、領域203は主要被写体エリアの領域、領域204は最明部(ハイライト部)(空と雲)の領域である。
以下、図5の撮影シーン201を処理する場合を例に、従来手法による制御と本発明による制御について、比較しながら説明する。
(1.2.1:従来手法による処理)
図6は、従来手法による処理を撮像装置100において実行した場合の撮像装置100の動作(動作タイミング)を示す図である。
図6に示すように、時刻t0において、撮像装置の制御部は、ユーザの指示する逆光補正モードの状態変化(OFF→ON)を検出すると(図6(o)参照)、効果調整信号を「0.5」(逆光補正画像データ出力信号と補正前画像の中庸(平均値))にして出力する(図6(p)参照)。
図6(s)は、従来手法による出力画像(絞り調整信号を画像処理部の動作と連動させない従来の出力画像)を示している。図6(s)に示す「a」は、図4に示す撮影シーン201の領域204(最明部(ハイライト部)(空と雲))の出力明度値を示している。また、図6(s)に示す「b」は、撮影シーン201の領域202(主要被写体(顔))の出力明度値を示している。また、図6(s)の点線は、撮像部13の撮像素子(イメージセンサ)で撮影できる最大明度(図1の信号Aの信号レベルの飽和レベル)を示している(図6(s)では、このレベルを「1.0」としている)。
図6のb(領域203のレベル(出力明度値))に示すとおり、撮像画像の顔領域については、局所的逆光補正処理を軽く(効果として「0.5」程度(局所的逆光補正処理の効果の程度は、効果調整信号の値と相関する。))作用させることにより、少し暗い顔を適正レベルの明るさにすることができている。しかし、局所的逆光補正処理のみでは、本来的に飽和レベルを超えている画像領域である空の領域(領域204)の明るさは、変化させることができない。このため、この従来手法により処理した画像は、人物の領域は明るくなったが空の領域は白飛びしたまま(階調が損なわれたまま)である。また、このような軽い(「0.5」程度の効果(効果調整信号を「0.5」程度にした場合の逆光補正処理の効果)を発生させる)逆光補正処理であれば、従来のトーンカーブ(階調変換特性曲線)による手法(非特許文献1 Figure2に示す階調変換特性曲線による階調変換による逆光補正処理)でも少しの不自然さを許容すれば、実現させることは可能である。
図7は、本発明の第1の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)を説明するためのタイミングチャートである。具体的には、図7(o)は、入力部7から制御部34に入力される指示信号Uの信号波形を示す。図7(p)は、制御部34から信号処理部31の内分処理部103に出力される効果調整信号Hの信号波形を示す。図7(q)は、制御部34から絞り12に出力される絞り調整信号Aiの信号波形を示す。図7(r)は、測光部104から制御部34に出力される測光値Pの信号波形を示す。図7(s)は、本手法による処理を行った後の画像領域ごとの出力値(明度値)を示すグラフを示す。なお、図7(o)〜(s)において、横軸を時間とし、それぞれの時間軸は一致している。
なお、指示信号Uの変化検出、効果調整信号の変更、絞り調整信号の変更などの各タイミングには、クロック信号などの影響により僅かなタイムラグがあるが、詳細な説明は省略する。
まず、制御部34は、時刻t0で指示信号(図7(o)に示す指示信号U)の変化(逆光補正モードON)を検出する。制御部34は、指示信号Uの変化を検出した後、効果調整信号(図7(p)に示す効果調整信号H)を最大値「1.0」にして信号処理部31の内分処理部103に出力する。後述するように、制御部34は、信号処理部31に対して補正機能(局所的逆光補正機能)をONにするのと略同時に、撮像装置100の光学系に対しても絞り12を絞る制御を行う。絞り12を絞った場合、撮像画像において、逆光の人物の画像領域がさらに暗くなるので、効果調整信号を最大値にして、局所的逆光補正処理による効果を最大にすることで、逆光の人物の画像領域を明るくする。つまり、撮像装置100では、絞り12を絞ったことにより、撮像画像において、暗くなった画像領域(例えば、逆光の人物の画像領域)を、局所的逆光補正処理により明るくすることで、適切な明るさの画像を取得する。
制御部34は、絞り調整信号の値に対応する絞り値(絞り量)になるまで機械制御により絞り12を絞ることで、撮像部13の受光量を徐々に減少させる。これに伴い、測光部104の出力値(図7(s)に示す測光値P)は、徐々に小さくなる。
図7(s)は、撮像装置100おいて、第1の手法による処理を行った場合の出力画像の画像領域ごとの明るさを示す図である。第1の手法による処理では、絞り12を絞ることで、撮像部13の撮像素子において、空の領域204に対応する部分の画像信号(撮像部13から出力される画像信号)が飽和することなく、さらに、絞り12を絞る動作と連動する効果調整信号による画像補正処理(局所的逆光補正処理)により、空の領域204の明度(レベル)aは暗くなる(白飛びしないレベルの画像信号(飽和レベル以下の画像信号)となり)。その結果、第1の手法により処理した画像において、空の領域204の明るさ(明度)は適切なものとなる(図7(s)に示すa(画像領域204のレベル)参照)。
以上のように、第1の手法によれば、空の領域204が飛ばないように撮像装置100の露光量を設定して、撮像部13の撮像素子(イメージセンサ)でのハイライト飽和を回避できる。また、補完的に極端に暗くなった(露光量を調節したことにより暗くなった)人物の領域203に対しては、視覚的に自然な処理である局所的逆光補正処理による強い逆光補正処理を行うことも可能である。したがって、所望の明るさまで人物(人物の領域の明るさ)を明るくすることができる。
次に、図8を用いて、本発明の第2の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)について説明する。
図8は、本発明の第2の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)を説明するためのタイミングチャートである。具体的には、図8(o)は、入力部7から制御部34に入力される指示信号Uの信号波形を示す。図8(p)は、制御部34から信号処理部31の内分処理部103に出力される効果調整信号Hの信号波形を示す。図8(q)は、制御部34から絞り12に出力される絞り調整信号Aiの信号波形を示す。図8(r)は、測光部104から制御部34に出力される測光値Pの信号波形を示す。図8(s)は、本手法による処理を行った後の画像領域ごとの出力値(明度値)を示すグラフを示す。なお、図8(o)〜(s)において、横軸を時間とし、それぞれの時間軸は一致している。
また、撮像装置100において、実際に第1の手法による制御を行ってみると、顔の領域の明るさbの変化は不自然であるだけでなく、図7(s)のグラフbの最終値(図7(s)の時刻t1〜t2の画像領域203の明度値b)が時刻t0以前の値より大きくなっている(顔が明るくなった)と感じにくく、逆光補正の効果を人間の知覚上では感じにくいことを、本発明者らは、新たに発見した(課題2)。
本発明の第2の手法は、上記課題1〜3を解決するための手法である。
第2の手法において、図8に示すように、制御部34は、顔の領域の明るさbを、適正な明るさを出力し続けるように、局所的逆光補正処理の効果調整信号Hを、時刻t0で瞬間的に所定量まで高めた後、時刻t0〜t1までの間に、徐々に最大値に到達するように制御する(図8(p)参照)。
図8(p)に示す変化時間は、絞り12が実際に機械的に絞られていく変化時間(図8(r)参照)に概略一致するものである。
つまり、制御部34は、図8(q)に示す絞り調整信号Aiを絞り12に出力するとともに、図8(p)に示す効果調整信号Hを信号処理部31の内分処理部103に出力する。
図8(s)は、第2の手法による出力画像の領域ごとの明るさ(明度)を示す図である。
顔の領域の明るさbは、ユーザの逆光補正機能をONにした後、絞り12の絞り量(実際の撮像部13での受光量の変化(機械遅延のある受光量の変化))にかかわらず、適正な明るさを出力し続けることができる(図8(s)のb参照)。したがって、第2の手法により、前述の課題1を解決することができる。
(1.2.4:第3の手法による処理)
次に、図9を用いて、本発明の第3の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)について説明する。
図9は、本発明の第3の手法を用いた場合の本実施形態における撮像装置100の動作(特に、制御部34の動作)を説明するためのタイミングチャートである。具体的には、図9(o)は、入力部7から制御部34に入力される指示信号Uの信号波形を示す。図9(p)は、制御部34から信号処理部31の内分処理部103に出力される効果調整信号Hの信号波形を示す。図9(q)は、制御部34から絞り12に出力される絞り調整信号Aiの信号波形を示す。図9(r)は、測光部104から制御部34に出力される測光値Pの信号波形を示す。図9(s)は本手法による処理を行った後の画像領域ごとの出力値(明度値)を示すグラフを示す。なお、図9(o)〜(s)において、横軸を時間とし、それぞれの時間軸は一致している。
そこで、第3の手法による処理(図9参照)では、効果調整信号Hの値を連続的に変化させる(図9(p)の時刻t0〜t1に示す)。
なお、詳細は省略するが、逆光補正部をゲイン型(入力信号へのゲインを出力する構成)で構成するよう構成した場合や、リニア・ガンマの違いを反映した場合など、図8・9(p)の効果調整信号Hの遷移部が非線形になる場合もある。
また、図9に示すように、第3の手法による処理では、時刻t0以降において(実際に処理画像上の画像領域の明るさが変化するのは、時刻t0〜t1)、空の領域204の明るさaが暗くなるのと、顔の領域203の明るさbが明るくなるのが連動して変化するので、撮像装置100による処理画像において、効果(所定の画像領域の明るさの変化)が極めて自然に見えるだけでなく、処理の効果そのものが、ユーザにわかりやすいもの(認識されやすいもの)になる。
このように、まず、本発明の第1の手法(図7参照)によれば、撮像装置100では、ユーザI/Fを用いた指示を契機とし、撮像画像の暗部を明るくする局所的逆光補正処理をオン状態にするのと略同時に、撮像部13の受光量を減少させる(絞り12の制御動作(絞り12を絞る制御動作)をONにする)よう光学系の制御を行う。
また、本発明の第2の手法(図8参照)によれば、制御部34は、撮像装置100の光学系の露光量の変化速度に応じて、連続的に、局所的逆光補正処理での補正量(局所的逆光補正の効果の強度)を変化させる。
第2の手法を用いた場合、撮像装置100では、絞り12の絞り制御動作を行う際の機械遅延のために時間的に多段階を経て減少する光量に対応させて(機械遅延により緩やかに光量が変化することを考慮して)、局所的逆光補正処理の効果の強度を効果調整信号により変化させる。つまり、この撮像装置100では、実際に光量が変化する時間に対応する時間において、光量の変化による(絞り12を絞ったことによる)撮像画像の明るさの変化を補完(相殺)するように局所的逆光補正処理の効果(暗部の持ち上げ量)を変動させる。このため、この撮像装置100により取得された画像(処理画像)は、いずれの画像領域においても(ハイライト画像領域であっても、逆光の人物の画像領域であっても)、適正な値(適正な明るさ)を有する画像となる。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
図10は、本変形例に係る信号処理部31Aを示している。
本変形例の信号処理部31Aにおいて、第1実施形態の信号処理部31(図2参照)と異なる点は、画像特徴量抽出部210をさらに設けた点、および、測光部104が画像の領域を分割し、分割領域ごとの測光値を出力する点である。それ以外については、上記第1実施形態の信号処理部31と同様である。また、第1変形例に係る撮像装置は、第1実施形態に係る撮像装置100において、信号処理部31を信号処理部31Aに置換したものである。それ以外については、第1変形例に係る撮像装置は、第1実施形態に係る撮像装置100と同様であるので、詳細な説明を省略する。
画像特徴量抽出部210(図10中、破線で囲んだ部分に相当。)は、第1信号処理部102A(第1信号処理部102Aが省略された構成の場合は、アナログ信号処理部2)から出力された画像データ(この画像データは、記憶部(メモリ)32に保持された画像データであってもよい。)を入力し、入力された画像データから特徴量を抽出し、特徴量信号Fを制御部34へ出力する。画像特徴量抽出部210は、ピーク検出部105、顔検出部106、および、空検出部107の少なくとも1つを含む。
ピーク検出部105は、画像データを入力し、画像(画像データにより形成される画像)中の最も明るい(例えば、輝度値、G値(G(緑)成分の値)等が大きい)画素の位置(当該画素が含まれる画像領域の位置)および/または当該画素(または当該画素を含む画像領域)の明るさ(画像領域の場合は、例えば、当該画像領域を構成する画素の画素値の平均値、重付平均値等)を画像特徴量として出力することができる。
空検出部107は、画像データを入力し、入力された画像データにより形成される画像上において、所定の青成分の色情報を有する画素を抽出し、空を示す領域(画像領域)の位置、大きさ、明るさ等の情報を制御部34へ出力する。例えば、図11(b)の上側破線丸部が、検出される空を示す領域の一例である。
第1変形例によれば、以下の変形が可能である。
1)制御部34は、画像特徴量抽出部210の出力(特徴量信号F)に基づいて、絞り12を絞る際、空の領域が飛ばないように露光量を制御する際に、測光部104において受光量を取得するための分割画像領域の重み付け(空間的な重み分布)を変えてもよい。例えば、通常、空は画面上方(撮像画像の上方)に映っている(存在する)ことが多いので、制御部34は、画面(撮像画像)上方の画像領域に対して重みをより大きくすることで、受光量(測光値P)を取得するようにしてもよい。
3)制御部34は、画像特徴量抽出部210の出力(特徴量信号F)に基づいて、撮像画像上において、顔を検出して局所的逆光補正処理の強度を制御してもよい。制御部34は、例えば、顔が極端に暗い場合は補正強度を強く、逆に顔がやや暗い程度の場合は補正強度を弱めにするように制御してもよい。さらに、制御部34は、顔の面積(顔の部分の画像領域の面積)が大きい場合、撮影者が撮りたい被写体が当該顔である可能性が高いので、局所的逆光補正処理の補正強度を強くして、逆に、顔の面積が小さい場合、人物撮影が目的でない可能性があるので、局所的逆光補正処理の補正強度を弱くする、などの制御を行うようにしてもよい。
4)制御部34は、入力された画像(画像データにより形成される画像)の特徴量信号Fに応じて、自動的に(ユーザからの指示とは無関係に)局所的逆光補正処理をONにするようにしてもよい。例えば、前記したような、撮像画像の画面上方に空があり、撮像画像の画面下方には顔があり、その結果、撮像装置100の露光状態が、図6で示したような中途半端な露光状態になっているのであれば、制御部34は、自動的に(ユーザからの指示とは無関係に)局所的逆光補正処理をONにすることで、図7〜9で示したような空も顔も好適な画像が得られるように制御するようにしてもよい。また、使用者(ユーザ)に無断で(ユーザの意図に反して)局所的逆光補正処理がONになるのが問題となる場合(例えば、使用者(ユーザ)の意図として、顔をシルエットとして撮影している場合)も想定されるので、使用者(ユーザ)に、撮像装置100において、局所的逆光補正ボタンをONにすると、より好適な画像が得られることを促す、メッセージを出力するようにしてもよい。使用者(ユーザ)は、そのメッセージを無視してもよいし、そのメッセージ通りに、局所的逆光補正ボタンをONにしてもよい。
≪フローチャートによる説明≫
本実施形態における動画撮影用のビデオカメラ(撮像装置100)の露光制御と局所的逆光補正の制御の動作を、図10の撮像装置100の信号処理部31Aおよび制御部34の機能ブロック図および図12のフローチャートを用いて説明する。
図12に示す300は、撮像装置100の動作を示すメインフローチャートである。
ステップ302では、空検出部107により検出された画像上の空の領域の明るさを基に、所定の絞り量(絞り12の絞り量)を決定する。
ステップ303では、ステップ302で決定した所定の絞り量と、顔検出部106により検出された画像上の顔の領域の明るさを基に、逆光補正量Hlevelを決定する。
ステップ304では、逆光補正パラメータHを初期化する(Hに初期値「0」を代入する)。
ステップ305では、逆光補正開始処理を行う。図12に示すように、ステップ305は、サブルーチンであり、ステップ305により逆光補正処理を開始させる。
ステップ307では、逆光補正終了処理を行う。図12に示すように、ステップ305は、サブルーチンであり、ステップ305により逆光補正処理を終了させる。
次に、逆光補正開始処理(サブルーチン)305について説明する。
ステップ311では、絞り12を所定量の絞り量になるまで絞る。
ステップ312では、逆光補正パラメータH(効果調整信号の値に相当。)を少し増加させる。
ステップ313では、Hを内分処理部103に出力する。
ステップ314では、逆光補正の強度を変化させるタイミングを得るために所定の時間だけ遅延させる。なお、ステップ314で遅延させる時間は、絞り12の絞り量が所定の絞り量になるように制御するときの機械遅延により生じる時間(遅延時間)に対応させた時間である。
次に、逆光補正終了処理(サブルーチン)307について説明する。
ステップ321では、絞り12の絞り量を元の絞り量(逆光補正処理を開始する前の絞り量)に戻す。
ステップ322では、逆光補正パラメータH(効果調整信号の値に相当。)を少し減少させる。
ステップ324では、逆光補正の強度を変化させるタイミングを得るために所定の時間だけ遅延させる。ステップ324で遅延させる時間は、絞り12の絞り量が所定の絞り量になるように制御するときの機械遅延により生じる時間(遅延時間)に対応させた時間である。
ステップ325では、逆光補正パラメータH(効果調整信号の値に相当。)が「0」に達したか否かを判断する。つまり、ステップ325では、H>0の場合、ステップ322に戻り、ステップ322からステップ324の処理を繰り返す。一方、H≦0の場合は、逆光補正終了処理を終了させ、メインフローチャートに戻る。
なお、絞りを所定量絞るステップ311は、絞り12を制御する図示しないコントローラに、絞り12の絞り量が所定の絞り量になるまで絞り12を絞る指示をするステップである。図示しないコントローラは、絞り12を、所定の絞り量になるまでゆっくりと絞ってゆく動作をする。これは、動画カメラ(撮像装置100で動画撮影をする場合)において、シーンの中の瞬間的な明るさ変化に絞りが素早く追従しすぎると見づらくなるので(撮像画像が不自然に見えるので)、通常、絞り(絞り12の絞り量)はなだらかに変化させる必要があるからである。
ここで時間的に変化する逆光補正パラメータHは、図2の内分処理部103に与えられ、内分処理部103により、局所的逆光補正部101から出力される信号(画像データ)と逆光補正を行わない信号(画像データ)を内分した画像データが取得される。したがって、逆光補正の効果の度合いは、逆光補正パラメータH(効果調整信号の値に相当。)に応じて連続的に変化する。
なお、上述した各実施形態では、撮像装置100において、逆光補正処理の補正度合い(補正強度)を内分により変化させているが、局所的逆光補正部101そのものが図4の特性(階調変換特性)を変化させ連続的に効果(局所的逆光補正処理の効果)を調整する機能を持っていてもよい。また、内分以外の公知の手段により効果の程度を調整するようにしてもよい。
なお、上記説明(図12に示すフローチャートによる説明)では、空検出部107により空の明るさを検出するステップ302により所定の絞り量を決定している場合について説明したが、これに限定されることはない。例えば、前述のようにピーク検出部105により所定の絞り量を決定してもよい。また、測光部104の測光値を割り増しして、所定の絞り量を決定してもよい。また、撮像画像の画面上部の重みを強めた測光部104の測光値により所定の絞り量を決定するようにしてもよい。
また、ステップ302は、逆光補正ONの指示を待つステップ301の後に配置されているが、ステップ302をステップ301の前に配置する処理を撮像装置100に実行させるようにしてもよい。
≪第2変形例≫
次に、本実施形態の第2変形例に係る撮像装置について、説明する。
図13に、本変形例の撮像装置の信号処理部31Bおよび制御部34の機能ブロック図を示す。
図13に示すように、信号処理部31Bは、信号処理部31の局所的逆光補正部101および内分処理部103を、視覚処理部400Bに置換したものである。なお、画像特徴量抽出部210は、第1変形例の撮像装置の画像特徴量抽出部210と同様である。画像特徴量抽出部210は、については、省略することも可能である。
本変形例の撮像装置において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の撮像装置の信号処理部31Bの視覚処理部400Bは、周囲明度検出部401と、内分処理部402と、2次元LUT403と、を備える。
内分処理部402は、周囲明度検出部401から出力された画像データYaveと、所定の定数D1(詳細については後述。)と、制御部34から出力される効果調整信号(効果調整信号の値をHとする。)を入力とし、効果調整信号の値Hを内分比として、定数D1および画像データYaveを内分する。つまり、内分処理部402の出力をYave’とすると、内分処理部402は、
Yave’=Yave+H・(D1−Yave)
により求めた画像データYave’を2次元LUT403に出力する。
これにより、効果調整信号の値Hが「0」である場合、2次元LUT403の入力Yave’は、Yave’=D1となり、2次元LUT403での階調変換特性は、ニー特性(単一カーブ(単一の階調変換特性曲線)によるニー特性)に近いものとなる。
つまり、本変形例の撮像装置において、視覚処理部400Bを上記のように構成することで、効果調整信号の値Hが「0」の場合は、ニー特性による階調変換を実現することができる。また、効果調整信号の値Hが「1」の場合は、視覚処理特性(例えば、局所的逆光補正処理特性)を実現することができる。さらに、効果調整信号の値Hを0〜1の範囲内で変化させることで、視覚処理(例えば、局所的逆光補正処理)の強度を調整することができる。
なお、本変形例の撮像装置では、効果調整信号の値Hが「0」の場合、視覚処理部400Bによりニー特性による階調変換処理を実行することができるので、信号処理部31Bに入力される画像データ(画像データ信号)のDレンジが大きい場合にも対応することができる。さらに、視覚処理部400Bにより、Dレンジ圧縮処理(ニー特性による処理)が可能なので、第1信号処理部102Aでのニー処理を実現する機能部を省略した構成としてもよい。
≪第3変形例≫
次に、本実施形態の第3変形例に係る撮像装置について、説明する。
本変形例の撮像装置は、第1実施形態に係る撮像装置100において、信号処理部31(または信号処理部31A)を信号処理部31Cに置換したものである。それ以外については、第1実施形態に係る撮像装置100と同様であるので、詳細な説明を省略する。
図14に示すように、信号処理部31Cは、信号処理部31の局所的逆光補正部101および内分処理部103を、視覚処理部400Cに置換したものである。なお、画像特徴量抽出部210は、第1変形例の撮像装置の画像特徴量抽出部210と同様である。画像特徴量抽出部210は、については、省略することも可能である。
本変形例の撮像装置において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
なお、第1視覚処理部404の周辺明度検出部441と、第2視覚処理部405の周辺明度検出部451は共通化して回路規模を削減するのが好ましいが、説明を省略する。
内分処理部406は、第1視覚処理部404から出力される画像データYin1と、第2視覚処理部405から出力される画像データYin2と、制御部34から出力される効果調整信号とを入力とする。内分処理部406は、画像データYin1およびYin2に対して、効果調整信号の値Hを内分比として内分処理を行う。つまり、内分処理部406は、その出力をYoutとすると、
Yout=Yin1+H・(Yin2−Yin1)
により画像データYoutを求め、画像データYoutを第2信号処理部102Bに出力する。
図15に示すように、第1視覚処理部404および第2視覚処理部の構成は同一であり、その構成は、第1実施形態の局所的逆光補正部の構成と同様である。2次元LUT442および452は、動的階調補正部112に相当する。
2次元LUT442および2次元LUT452は、画像データが形成する画像において、処理対象画素の周辺画素領域の明るさに基づいて決定される階調変換特性により、入力画像データ(処理対象画素の値に相当。)に対して、階調変換処理を行う。
本変形例では、2次元LUT442および2次元LUT442および2次元452の階調変換特性を所定の特性に設定することで、処理画像における視覚処理効果を変化させることを特徴としている。
(設定例1)
まず、図16に示すように、第1視覚処理部404の2次元LUT442の階調変換特性を「ニー特性」および「局所コントラスト特性」(局所コントラストを保持(または強調)する階調変換特性)を実現するものに設定し、かつ、第2視覚処理部405の2次元LUT452の階調変換特性を「ニー特性」、「局所コントラスト特性」(局所コントラストを保持・強調する階調変換特性)および「逆光補正特性」を実現するものに設定した場合について、説明する。
この場合、効果調整信号の値Hが「0」のときは、第1視覚処理部404から出力される画像データYin1が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性および局所コントラスト特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、視覚処理による局所コントラストを保持(または強調)された画像データとなる。
そして、効果調整信号の値Hが、0<H<1である場合、出力画像データYoutは、上記両者の中間の特性により階調変換された画像データとなる。
つまり、本変形例によれば、第1視覚処理部404の2次元LUT442の階調変換特性と第2視覚処理部405の2次元LUT452との差の特性(設定例1では「逆光補正特性」)のみの効果の程度(強度)を、効果調整信号により調整することができる。
(設定例2)
次に、設定例2について説明する。
図16に示すように、第1視覚処理部404の2次元LUT442の階調変換特性を「ニー特性」を実現するものに設定し、かつ、第2視覚処理部405の2次元LUT452の階調変換特性を「ニー特性」、「局所コントラスト特性」(局所コントラストを保持・強調する階調変換特性)を実現するものに設定した場合について、説明する。
そして、効果調整信号の値Hが「1」のときは、第2視覚処理部405から出力される画像データYin2が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性および局所コントラスト特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、視覚処理による局所コントラストを保持(または強調)された画像データとなる。
つまり、本変形例によれば、第1視覚処理部404の2次元LUT442の階調変換特性と第2視覚処理部405の2次元LUT452との差の特性(設定例2では「局所コントラスト特性」)のみの効果の程度(強度)を、効果調整信号により調整することができる。
そして、本変形例においても、上記実施形態で説明したのと同様に(図7〜図9参照)効果調整信号の値Hの値を変化させることで、撮像装置の絞り制御と連動させて視覚処理(第1視覚処理部404の2次元LUT442および第2視覚処理部の2次元LUT452の差の特性(設定例2では、「局所コントラスト特性」)による視覚処理)の程度(強度)を調整することができる。
次に、設定例3について説明する。
図16に示すように、第1視覚処理部404の2次元LUT442の階調変換特性を「ニー特性」および「局所コントラスト特性」を実現するものに設定し、かつ、第2視覚処理部405の2次元LUT452の階調変換特性を「ニー特性」および「逆光補正特性」を実現するものに設定した場合について、説明する。
この場合、効果調整信号の値Hが「0」のときは、第1視覚処理部404から出力される画像データYin1が内分処理部406の出力画像データYoutとなる。この場合の出力画像データYoutは、ニー特性および局所コントラスト特性を実現する2次元LUTデータにより階調変換されたものであるので、視覚処理によるDレンジ圧縮(ダイナミックレンジ圧縮)され、かつ、局所コントラストが維持(または強調)された画像データとなる。
そして、効果調整信号の値Hが、0<H<1である場合、出力画像データYoutは、上記両者の中間の特性により階調変換された画像データとなる。
つまり、本変形例によれば、第1視覚処理部404の2次元LUT442の階調変換特性と第2視覚処理部405の2次元LUT452との差の特性(設定例3では「局所コントラスト特性」および「逆光補正特性」)の効果の程度(強度)を、効果調整信号により調整することができる。
したがって、本変形性の撮像装置では、設定3のように2次元LUTの特性を設定し、例えば、制御部34が、特徴量信号Fから、撮像画像の状況を判断し、効果調整信号により、視覚処理の種類およびその効果の程度を変更することができる。具体的には、制御部34が、撮像装置により撮影されているシーンが人物である可能性が高いと判断した場合は、効果調整信号の値Hを大きくすることで、逆光補正特性による視覚処理効果を高める。逆に、撮像装置により撮影されているシーンが風景である可能性が高いと判断した場合、効果調整信号の値Hを小さくする。これにより、局所コントラスト特性による視覚処理効果を高めることができる。
次に、本実施形態の第4変形例に係る撮像装置について、説明する。
図17に、本変形例の撮像装置の信号処理部31Dおよび制御部34の機能ブロック図を示す。
本変形例の撮像装置は、第1実施形態に係る撮像装置100において、信号処理部31(または信号処理部31A)を信号処理部31Dに置換したものである。それ以外については、第1実施形態に係る撮像装置100と同様であるので、詳細な説明を省略する。
図17に示すように、信号処理部31Dは、信号処理部31の局所的逆光補正部101および内分処理部103を、視覚処理部400Dに置換したものである。なお、画像特徴量抽出部210は、第1変形例の撮像装置の画像特徴量抽出部210と同様である。画像特徴量抽出部210は、については、省略することも可能である。
本変形例の撮像装置の信号処理部31Dの視覚処理部400Dは、周囲明度検出部401と、内分処理部402と、2次元LUT407と、を備える。
周囲明度検出部401および内分処理部402については、第2変形例の視覚処理部400Bと同様である。ただし、内分処理部402の入力の一方が、定数ではなく、画像データYinである点が異なる。
本変形例の内分処理部402は、周囲明度検出部401から出力される画像データYaveと、第1信号処理部102Aから出力される画像データYinと、制御部34から出力される効果調整信号と、を入力とする。内分処理部402は、効果調整信号の値Hを内分比として、画像データYinおよびYaveを内分処理する。つまり、内分処理部は、その出力画像データをYave’とすると、
Yave’=Yave+H・(Yin−Yave)
により求められた画像データYave’を2次元LUT407に出力する。
つまり、本変形例の撮像装置において、視覚処理部400Bを上記のように構成することで、効果調整信号の値Hが「0」の場合は、2次元LUT407の対角成分により決定される階調変換特性による階調変換(単一カーブ(単一の階調変換特性曲線)による階調変換)を実現することができる。効果調整信号の値Hが「1」の場合は、視覚処理特性(局所的逆光補正処理特性)を実現することができる。さらに、効果調整信号の値Hを0〜1の範囲内で変化させることで、視覚処理(局所的コントラスト補正処理)の強度を調整することができる。
[他の実施形態]
上記実施形態で説明した信号処理部31(31A〜31D)は、デジタル回路として他のカメラ信号処理機能と一体として撮像用集積回路などを用いたハードウェアにより実施してもよいし、撮像用集積回路の中に備えられた中央処理装置(以下、「CPU」という)を用いて組み込みソフトウェアで実視されてもよい。また、独立したコンピュータのアプリケーションソフトウェアとして実施されてもよい。上記各種機能をソフトウェアおよびハードウェアの混在処理により実現してもよい。また、上記各種機能をハードウェアで実施する場合は、本実施形態での各機能を個別に撮像用集積回路としてもよいし、一部またはすべてを含むように1チップ化された撮像用集積回路としてもよい。なお、ここでの撮像用集積回路とは、LSIに限らず、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、撮像用集積回路は、専用回路または汎用プロセッサで実現してもよい。例えば、半導体チップを製造した後、撮像用プログラムすることが可能なFPGA(Field Programmable Gate Array)や、撮像用集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらに、半導体技術の進歩または派生する別技術による撮像用集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。また、アプリケーションソフトウェアは、ディスク等に格納されて配布される形態のみならずネットワークを通じてダウンロードする形態のものでもよい。
また、図示していないシャッターは、メカニカルシャッターおよび、撮像部13の撮像素子(イメージセンサ)の駆動タイミングにより光量を調節する電子シャッターのいずれでもよい。
なお、A/D変換器23は、アナログ信号処理部2と独立した構成あるいはデジタル信号処理部3に含まれる構成でもよい。なお、撮像部13の撮像素子(イメージセンサ)は、CMOS方式など他の方式でもよく、その構成も、単板構成だけでなく3板構成でもよい。
また、顔検出部106は、学習を用いたパターンマッチング等により顔の輪郭や口、目、鼻の配置から検出する手法や、肌色などの色情報を用いて検出する手法他、公知の様々なアルゴリズムのものを使用することが可能である。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で実施形態を組み合せてもよく、種々の変更および修正が可能である。
[付記]
本発明は、次のように表現することも可能である。
(付記1)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力画像を空間的な位置に応じて異なる変換特性を用いて少なくとも暗部を明るくする逆光補正部と、
逆光補正開始を指示する指示部と、
前記指示部の逆光補正開始の指示により、前記逆光補正部を動作させ、かつ前記光学系が受光する光量を所定量減少させる制御部と、
を備える撮像装置。
(付記2)
前記制御部は、前記光学系の露光量の減少方向の変化量に応じて、段階的に前記逆光補正部の補正量を増加方向に変化させることを特徴とする、
付記1記載の撮像装置。
(付記3)
画像データから明るさがピークとなる位置の明るさを抽出するピーク検出部を備え、
前記制御部は、少なくとも前記ピーク検出部が検出した前記明るさの増加量に応じて、前記前記光学系の露光量を減少させることを特徴とする、
付記1または2のいずれかに記載の撮像装置。
(付記4)
入力された画像データから空を示す領域を抽出する空検出部を備え、
前記制御部は、少なくとも前記空検出部で検出された前記領域の明るさに応じて前記前記光学系の露光量を減少させることを特徴とする、
付記1または2のいずれかに記載の撮像装置。
(付記5)
画像中から人物の顔を示す顔領域を抽出する顔検出部を備え、
前記制御部は、少なくとも前記顔検出部により前記画像中から検出された前記顔領域の明るさに応じて、前記逆光補正部の補正強度を変化させることを特徴とする、
付記1から5のいずれかに記載の撮像装置。
(付記6)
さらに、撮影シーンを複数の領域に分割して測光し光学系に対して基準露光量を決定する分割測光部を備え、
前記指示部の逆光補正開始の指示により、前記複数の領域の測光重みを変更させることを特徴とする、
付記1または2のいずれかに記載の撮像装置。
(付記7)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置で用いられる撮像方法であって、
撮影シーンを測光し前記光学系に対して基準露光量を決定するステップと、
撮影者の指示の有無を判定するステップと、
画像の空間的な位置に応じて異なる変換特性を用いて逆光補正を行うステップと、
前記基準露光量からさらに露光量を絞るステップと
を含む撮像方法。
(付記8)
前記逆光補正を行うステップは、前記露光量を絞るステップによる前記光学系の露光量の変化速度に応じて、連続的に前記逆光補正部の補正量を変化させることを特徴とする、
付記6記載の撮像方法。
(付記9)
光量調節機能を有する光学系とイメージセンサとA/D変換器を有する撮像装置に用いる撮像用撮像用集積回路であって、
前記A/D変換器で読み取った画像を空間的な位置に応じて異なる変換特性を用いて少なくとも暗部を明るくする逆光補正部と、
撮影者の逆光補正開始の指示により、前記逆光補正部を動作させ、かつ前記光学系の光量を所定量減少させる制御部と、
を備える撮像用集積回路。
(付記10)
撮像装置で用いられるプロセッサで実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
撮影シーンを測光し前記光学系に対して基準露光量を決定するステップと、
撮影者の指示の有無を判定するステップと、
画像の空間的な位置に応じて異なる変換特性を用いて逆光補正を行うステップと、
前記基準露光量からさらに露光量を絞る制御信号を出力するステップと、
を実行させるプログラム。
(付記11)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有し、被写体からの光を集光する光学系と、
前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、
前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正部と、
前記逆光補正部の強度に応じて、前記撮像部の露光量を所定量減少させる制御部と、
を備える撮像装置。
2 アナログ信号処理部
3 デジタル信号処理部
7 入力部
31、31A、31B、31C、31D 信号処理部
34 制御部
11 撮像レンズ
12 絞り
13 撮像部
41 被写体
101 局所的逆光補正部
102A 第1の信号処理部
102B 第2の信号処理部
103、402、406 内分回路(内分処理部)
104 測光部
105 ピーク検出部
106 顔検出部
107 空検出部
111、401 周囲明度検出部
112 動的階調補正部
210 画像特徴量抽出部
400B、400C、400D 視覚処理部
404 第1視覚処理部
405 第2視覚処理部
Claims (16)
- 電子的に被写体を撮影する撮像装置であって、
光量調節機能を有し、被写体からの光を集光する光学系と、
前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、
前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正部と、
前記逆光補正部による前記逆光補正処理の開始を指示する指示信号を出力する指示部と、
前記指示部から出力された指示信号により、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御部と、
を備える撮像装置。 - 前記制御部は、前記光学系の露光量の減少量に応じて、前記逆光補正部による前記逆光補正処理の強度を調整するための効果調整信号を増加させ、
前記逆光補正部は、前記効果調整信号に基づいた前記逆光補正処理の強度により、前記逆光補正処理を行う、
請求項1記載の撮像装置。 - 前記制御部は、
前記光学系の設定露光量をA(t)、所定の時定数をα(0≦α≦1)とするとき、前記露光量(実質値)A^(t)を、
A^(t)=A^(t−1)+α・(A(t)−A^(t−1))
により推定し、
前記露光量の減少量をΔA^(t)、所定の最大減少量をΔAmaxとするとき、前記効果調整信号H(t)(ΔA^(t)=0のときの値をH0とする)を、
H(t)=H0+(1−H0)・(ΔA^(t)/ΔAmax)
により算出する、
請求項2に記載の撮像装置。 - 前記撮像部が受光している光量を示す測光値を生成する測光部をさらに備え、
前記制御部は、前記測光値に基づいて、前記逆光補正部による前記逆光補正処理の強度を調整するための効果調整信号を生成させ、
前記逆光補正部は、前記効果調整信号に基づいた前記逆光補正処理の強度により、前記逆光補正処理を行う、
請求項1に記載の撮像装置。 - 前記制御部は、前記測光値の減少量をΔP(t),所定の最大減少量をΔPmaxとするとき、前記効果調整信号H(t)(ΔP(t)=0のときの値をH0とする)を、
H(t)=H0+(1−H0)・(ΔP(t)/ΔPmax)
により算出する、
請求項4に記載の撮像装置。 - 前記逆光補正部は、
前記逆光補正処理を行っていない前記画像信号である未補正画像信号をYin1、前記逆光補正処理を行った前記画像信号である逆光補正後画像信号をYin2、前記効果調整信号をH(0≦H≦1)とするとき、
Yout=(1−H)・Yin1+H・Yin2
により求められた出力画像信号Youtを出力することで、前記逆光補正処理を行う、
請求項2から5のいずれかに記載の撮像装置。 - 前記逆光補正部は、
前記着目画素の明度Yinと,前記着目画素の周辺画素領域の明るさである周辺明度Yaveとを入力とする、逆光補正機能を有しない2次元LUT1による出力信号をLUT1(Yin、Yave)、逆光補正機能を有する2次元LUT2による出力信号をLUT2(Yin、Yave)、前記効果調整信号をH(0≦H≦1)とするとき、
Yout=(1−H)・LUT1(Yin、Yave)
+H・LUT2(Yin、Yave)
により求められた出力画像信号Youtを出力することで、前記逆光補正機能のみの強度を調整する、
請求項2から5のいずれかに記載の撮像装置。 - 前記画像信号または前記逆光補正部の出力画像信号に対してNR(Noise Reduction)処理を行うNR処理部をさらに備え、
前記制御部は、前記光学系の露光量の減少量に応じて、前記NR処理部の強度を増加させる、
請求項1から7のいずれかに記載の撮像装置。 - 前記逆光補正部は、前記着目画素の周辺画素領域の明るさである周辺明度を算出し、
前記NR処理部は、前記周辺明度が暗い画素に対する前記NR処理の強度をさらに増加させる、
請求項8に記載の撮像装置。 - 前記画像信号から、前記画像信号が形成する画像における明るさのピーク値を検出するピーク検出部をさらに備え、
前記制御部は、少なくとも前記ピーク検出部が検出した前記明るさのピーク値に応じて、前記前記光学系において光量調整することで、前記撮像部の露光量を減少させる、
請求項1から9のいずれかに記載の撮像装置。 - 前記画像信号から、前記画像信号が形成する画像において、空を示す画像領域を抽出する空検出部をさらに備え、
前記制御部は、少なくとも前記空検出部で検出された空を示す前記画像領域の明るさに応じて、前記前記光学系においての光量調整することで、前記撮像部の露光量を減少させる、
請求項1から10のいずれかに記載の撮像装置。 - 前記画像信号から、前記画像信号が形成する画像において、人物の顔を示す画像領域である顔領域を抽出する顔検出部をさらに備え、
前記制御部は、少なくとも前記顔検出部により検出された前記顔領域の明るさに応じて、前記逆光補正部の補正強度を変化させる、
請求項1から11のいずれかに記載の撮像装置。 - 前記測光部は、前記画像信号により形成される画像を、複数の画像領域に分割し、分割したぞれぞれの画像領域に対応する光量を測定することで、前記撮像部が受光している光量を示す前記測光値を生成するとともに、前記光学系の光量調節を行うための基準露光量を決定し、
前記制御部は、前記指示部から出力された指示信号により、前記複数の画像領域の測光重み付けを変更させて、前記測光値を取得し、取得した前記測光値に基づいて、前記光学系の光量調節を行う、
請求項4から12のいずれかに記載の撮像装置。 - 光量調節機能を有し、被写体からの光を集光する光学系と、
前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法であって、
前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正ステップと、
前記逆光補正部による前記逆光補正処理の開始を指示する指示信号の有無を判定する指示判定ステップと、
前記指示判定ステップにおいて前記逆光補正処理の開始の指示があった場合、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御ステップと、
を備える撮像方法。 - 光量調節機能を有し、被写体からの光を集光する光学系と、
前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
コンピュータに、
前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正ステップと、
前記逆光補正部による前記逆光補正処理の開始を指示する指示信号の有無を判定する指示判定ステップと、
前記指示判定ステップにおいて前記逆光補正処理の開始の指示があった場合、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御ステップと、
を実行させるプログラム。 - 光量調節機能を有し、被写体からの光を集光する光学系と、
前記光学系が集光した光による結像を読み取り、画像信号として取得する撮像部と、を備える撮像装置に用いられる集積回路であって、
前記撮像部により取得された画像信号により形成される画像において、処理対象となっている画素である着目画素に対して、前記着目画素の前記画像上の空間的な位置に応じて異なる変換特性を用いて階調変換を行い、少なくとも前記画像上の暗部画像領域の明るさを明るくする階調変換を行うことで、前記画像信号に対して逆光補正処理を行う逆光補正部と、
前記逆光補正部による前記逆光補正処理の開始を指示する指示信号を出力する指示部と、
前記指示部の前記逆光補正処理の開始の指示により、前記逆光補正部での前記逆光補正処理を開始させ、かつ、前記撮像部の露光量を所定量減少させることで、前記光学系において光量調節させる制御部と、
を備える集積回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008169430A JP5171434B2 (ja) | 2007-09-13 | 2008-06-27 | 撮像装置、撮像方法、プログラム、および集積回路 |
US12/209,458 US7990465B2 (en) | 2007-09-13 | 2008-09-12 | Imaging apparatus, imaging method, storage medium, and integrated circuit |
US13/160,881 US8786764B2 (en) | 2007-09-13 | 2011-06-15 | Imaging apparatus, imaging method, and non-transitory storage medium which perform backlight correction |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007237730 | 2007-09-13 | ||
JP2007237730 | 2007-09-13 | ||
JP2008169430A JP5171434B2 (ja) | 2007-09-13 | 2008-06-27 | 撮像装置、撮像方法、プログラム、および集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009089357A true JP2009089357A (ja) | 2009-04-23 |
JP5171434B2 JP5171434B2 (ja) | 2013-03-27 |
Family
ID=40662083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008169430A Expired - Fee Related JP5171434B2 (ja) | 2007-09-13 | 2008-06-27 | 撮像装置、撮像方法、プログラム、および集積回路 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7990465B2 (ja) |
JP (1) | JP5171434B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011030383A1 (ja) * | 2009-09-10 | 2011-03-17 | 株式会社 東芝 | 画像処理装置 |
EP2424227A2 (en) | 2010-08-25 | 2012-02-29 | Ricoh Company, Ltd. | Imaging apparatus, sky-area determining method, and a sky-area determining program |
JP2012044559A (ja) * | 2010-08-20 | 2012-03-01 | Canon Inc | 撮像装置及びその制御方法 |
WO2012060393A1 (ja) * | 2010-11-01 | 2012-05-10 | 国立大学法人北海道大学 | ターゲット位置追跡装置およびターゲット発光検出装置 |
JP2013040997A (ja) * | 2011-08-11 | 2013-02-28 | Nikon Corp | 露出演算装置およびカメラ |
JP2017168919A (ja) * | 2016-03-14 | 2017-09-21 | パナソニックIpマネジメント株式会社 | インターホンシステム及び画像処理用プログラム |
US20220198224A1 (en) * | 2020-12-17 | 2022-06-23 | Ubtech Robotics Corp Ltd | Face recognition method, terminal device using the same, and computer readable storage medium |
WO2023166556A1 (ja) | 2022-03-01 | 2023-09-07 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び記録媒体 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7755670B2 (en) * | 2005-10-24 | 2010-07-13 | Nikon Corporation | Tone-conversion device for image, program, electronic camera, and tone-conversion method |
JP2009177272A (ja) * | 2008-01-22 | 2009-08-06 | Sony Corp | 撮像装置、その制御方法およびプログラム |
JP5202245B2 (ja) * | 2008-11-20 | 2013-06-05 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP4818393B2 (ja) * | 2009-05-07 | 2011-11-16 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
US20110044552A1 (en) * | 2009-08-24 | 2011-02-24 | Jonathan Yen | System and method for enhancement of images in a selected region of interest of a captured image |
KR101168110B1 (ko) * | 2009-09-04 | 2012-07-24 | 삼성전자주식회사 | 이미지 영상의 역광을 보상하기 위한 장치 및 방법 |
US8634649B2 (en) * | 2010-04-15 | 2014-01-21 | Kabushiki Kaisha Toshiba | Backlit scene type detection |
KR101248902B1 (ko) * | 2010-10-13 | 2013-04-01 | 에스케이하이닉스 주식회사 | 주변 조도에 따른 영상 보정 기능을 갖는 영상 처리 장치 및 영상 처리 방법 |
TWM454546U (zh) * | 2013-01-24 | 2013-06-01 | tai-lin Liu | 可擷錄影像的單筒望遠鏡 |
JP2014212479A (ja) * | 2013-04-19 | 2014-11-13 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
KR102073685B1 (ko) * | 2013-09-06 | 2020-02-06 | 삼성디스플레이 주식회사 | 액정 표시 장치 |
US8958658B1 (en) * | 2013-09-10 | 2015-02-17 | Apple Inc. | Image tone adjustment using local tone curve computation |
KR102149187B1 (ko) * | 2014-02-21 | 2020-08-28 | 삼성전자주식회사 | 전자 장치와, 그의 제어 방법 |
US9131150B1 (en) * | 2014-06-06 | 2015-09-08 | Amazon Technologies, Inc. | Automatic exposure control and illumination for head tracking |
US9436870B1 (en) * | 2014-06-06 | 2016-09-06 | Amazon Technologies, Inc. | Automatic camera selection for head tracking using exposure control |
KR102251440B1 (ko) * | 2014-11-05 | 2021-05-14 | 삼성전자주식회사 | 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치 |
CN104575405B (zh) * | 2015-02-04 | 2017-08-25 | 京东方科技集团股份有限公司 | 一种调节显示装置背光亮度的方法、显示装置 |
JP6600216B2 (ja) * | 2015-09-29 | 2019-10-30 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
JP2018056743A (ja) * | 2016-09-28 | 2018-04-05 | ルネサスエレクトロニクス株式会社 | 逆光補正プログラム及び半導体装置 |
EP3454547A1 (en) * | 2017-09-11 | 2019-03-13 | Canon Kabushiki Kaisha | Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium |
JP7087331B2 (ja) | 2017-10-05 | 2022-06-21 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2019070870A (ja) * | 2017-10-05 | 2019-05-09 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
TWI649600B (zh) * | 2018-01-12 | 2019-02-01 | 友達光電股份有限公司 | 訊號處理方法及顯示裝置 |
JP7278096B2 (ja) * | 2019-02-20 | 2023-05-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN111325680B (zh) * | 2020-01-08 | 2023-04-25 | 深圳深知未来智能有限公司 | 一种具有抑制局部过曝的图像增亮方法 |
US12062176B2 (en) * | 2020-11-02 | 2024-08-13 | Adobe Inc. | Generating change comparisons during editing of digital images |
KR20230020846A (ko) * | 2021-08-04 | 2023-02-13 | 현대자동차주식회사 | 로봇의 카메라 역광 개선 장치 및 그 방법 |
US12015855B2 (en) | 2021-11-16 | 2024-06-18 | Samsung Electronics Co., Ltd. | System and method for synthesizing low-light images |
JP2023110325A (ja) * | 2022-01-28 | 2023-08-09 | キヤノン株式会社 | カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723287A (ja) * | 1993-06-22 | 1995-01-24 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2000278592A (ja) * | 1999-01-22 | 2000-10-06 | Canon Inc | 撮像装置、その制御方法および記憶媒体 |
JP2006067409A (ja) * | 2004-08-30 | 2006-03-09 | Olympus Corp | 画像処理装置と撮像装置、および画像処理プログラム |
JP2007165947A (ja) * | 2005-12-09 | 2007-06-28 | Fujifilm Corp | 撮像装置,被写体像の逆光補正装置,対象画像検出装置およびそれらの制御方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6825884B1 (en) * | 1998-12-03 | 2004-11-30 | Olympus Corporation | Imaging processing apparatus for generating a wide dynamic range image |
US7265784B1 (en) * | 2002-08-19 | 2007-09-04 | Pixim, Inc. | Image processor with noise reduction circuit |
KR101027825B1 (ko) | 2003-09-11 | 2011-04-07 | 파나소닉 주식회사 | 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및반도체 장치 |
WO2005027043A1 (ja) | 2003-09-11 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末 |
JP3949684B2 (ja) * | 2004-04-30 | 2007-07-25 | 三菱電機株式会社 | 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ |
JP4537255B2 (ja) * | 2005-04-28 | 2010-09-01 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
JP4973372B2 (ja) * | 2007-08-06 | 2012-07-11 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP2009071621A (ja) * | 2007-09-13 | 2009-04-02 | Panasonic Corp | 画像処理装置及びデジタルカメラ |
-
2008
- 2008-06-27 JP JP2008169430A patent/JP5171434B2/ja not_active Expired - Fee Related
- 2008-09-12 US US12/209,458 patent/US7990465B2/en active Active
-
2011
- 2011-06-15 US US13/160,881 patent/US8786764B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723287A (ja) * | 1993-06-22 | 1995-01-24 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2000278592A (ja) * | 1999-01-22 | 2000-10-06 | Canon Inc | 撮像装置、その制御方法および記憶媒体 |
JP2006067409A (ja) * | 2004-08-30 | 2006-03-09 | Olympus Corp | 画像処理装置と撮像装置、および画像処理プログラム |
JP2007165947A (ja) * | 2005-12-09 | 2007-06-28 | Fujifilm Corp | 撮像装置,被写体像の逆光補正装置,対象画像検出装置およびそれらの制御方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011030383A1 (ja) * | 2009-09-10 | 2011-03-17 | 株式会社 東芝 | 画像処理装置 |
JP2012044559A (ja) * | 2010-08-20 | 2012-03-01 | Canon Inc | 撮像装置及びその制御方法 |
EP2424227A2 (en) | 2010-08-25 | 2012-02-29 | Ricoh Company, Ltd. | Imaging apparatus, sky-area determining method, and a sky-area determining program |
WO2012060393A1 (ja) * | 2010-11-01 | 2012-05-10 | 国立大学法人北海道大学 | ターゲット位置追跡装置およびターゲット発光検出装置 |
JP2013040997A (ja) * | 2011-08-11 | 2013-02-28 | Nikon Corp | 露出演算装置およびカメラ |
JP2017168919A (ja) * | 2016-03-14 | 2017-09-21 | パナソニックIpマネジメント株式会社 | インターホンシステム及び画像処理用プログラム |
US20220198224A1 (en) * | 2020-12-17 | 2022-06-23 | Ubtech Robotics Corp Ltd | Face recognition method, terminal device using the same, and computer readable storage medium |
US11709914B2 (en) * | 2020-12-17 | 2023-07-25 | Ubtech Robotics Corp Ltd | Face recognition method, terminal device using the same, and computer readable storage medium |
WO2023166556A1 (ja) | 2022-03-01 | 2023-09-07 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US8786764B2 (en) | 2014-07-22 |
US7990465B2 (en) | 2011-08-02 |
US20110242366A1 (en) | 2011-10-06 |
JP5171434B2 (ja) | 2013-03-27 |
US20090231467A1 (en) | 2009-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5171434B2 (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
US10171786B2 (en) | Lens shading modulation | |
JP5412553B2 (ja) | 視覚処理装置、視覚処理方法 | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
EP2216987B1 (en) | Image capturing apparatus and control method thereof | |
CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
KR101243335B1 (ko) | 화상처리장치 및 방법, 프로그램 및 촬상장치 | |
US9148561B2 (en) | Image capturing apparatus, executable autoexposure bracketing and control method thereof | |
JP5321163B2 (ja) | 撮像装置及び撮像方法 | |
JP4803284B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP5624809B2 (ja) | 画像信号処理装置 | |
US20080259181A1 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
JP5660341B2 (ja) | 撮像装置、撮像方法 | |
JP2006081037A (ja) | 撮像装置 | |
JP4999871B2 (ja) | 撮像装置およびその制御方法 | |
JP2011228807A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
US9294685B2 (en) | Image processing apparatus, electronic camera, and medium storing image processing program | |
JP6873679B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP5335964B2 (ja) | 撮像装置およびその制御方法 | |
JP2012124652A (ja) | 撮像装置及び画像処理方法 | |
JP2007235421A (ja) | 撮像装置 | |
JP7555730B2 (ja) | 画像処理装置、方法及びプログラム | |
JP2010028363A (ja) | 撮像装置および画像処理プログラム | |
KR101456493B1 (ko) | 디지털 영상 처리기에서 광 역광 보정 장치 및 방법 | |
JP2024011915A (ja) | 撮像装置、及び撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120509 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121101 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5171434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |