JP2018033156A

JP2018033156A - 画像処理装置および撮像装置

Info

Publication number: JP2018033156A
Application number: JP2017195319A
Authority: JP
Inventors: 泰荻野; Yasushi Ogino
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2017-10-05
Filing date: 2017-10-05
Publication date: 2018-03-01

Abstract

【課題】画像のゲイン設定を行うこと。
【解決手段】カメラ１００は、環境照明からの照明光と、閃光装置からの照明光とで照明された被写体までの距離情報を取得する距離情報取得手段と、距離情報取得手段によって取得された被写体までの距離情報に基づいて、被写体までの距離ごとに異なるゲインを設定するゲイン設定手段と、ゲイン設定手段によって設定されたゲインを適用して画像を生成する画像生成手段とを備える。
【選択図】図１

Description

本発明は、画像処理装置および撮像装置に関する。

次のようなストロボ撮影装置が知られている。このストロボ撮影装置では、ある距離に存在する特定の被写体の明るさが適正となるように発光量を制御していた（例えば、特許文献１）。

特開２００９−２８８６５７号公報

しかしながら、従来のストロボ撮影装置では、撮影時にストロボ等の補助光を使用すると、カメラが適正露光に再現しようとした距離にある被写体は適正露光になるが、それより前側にある被写体は露光オーバーになり、それより後側にある被写体は露光アンダーになるという問題があった。

本発明による画像処理装置は、撮像装置により撮像された、第１被写体の第１信号と第２被写体の第２信号とに画像処理を行う画像処理装置であって、前記撮像装置から第１被写体までの距離と前記撮像装置から第２被写体までの距離とにより、前記第１信号及び前記第２信号に対してゲインを設定する設定部と、前記設定部で設定されたゲインにより前記第１信号及び前記第２信号を処理する信号処理部と、を備え、前記設定部は、前記第１信号を、前記第２信号のゲインとは異なるゲインに設定する。
本発明による撮像装置は、第１被写体と第２被写体とを撮像する撮像装置であって、前記撮像装置から前記第１被写体までの距離と前記撮像装置から前記第２被写体までの距離とにより、撮像された前記第１被写体の第１信号と、撮像された前記第２被写体の第２信号と、に対してゲインを設定する設定部と、前記設定部で設定されたゲインにより前記第１信号及び前記第２信号を処理する信号処理部と、を備え、前記設定部は、前記第１信号に対して、前記第２信号に設定したゲインとは異なるゲインに設定する。

本発明によれば、距離の異なる被写体に対して、適正露光を得ることができる。

カメラの一実施の形態の構成を示すブロック図である。照明装置２００を発光させて撮影を行うストロボ撮影時の被写体距離と明るさの関係を示す図である。被写体までの距離に応じたゲイン制御の方法を示す図である。補正の前後での被写体の明るさの違いを模式的に示した図である。補正方法と撮影画像の具体例を示す図である。ゲイン補正を、定常光照明環境下での撮影に適用した場合の具体例を示す図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、撮像素子１および２と、偏光分離プリズム３と、瞳分割フィルタ４と、対物レンズ５と、ＡＦ駆動部６と、位置センサ７と、撮像駆動部８と、画像処理部９と、カメラ制御部１０と、記憶媒体１１と、操作部材１２と、表示素子１３とを備えている。また、カメラ１００には、被写体を照明する閃光装置である照明装置２００、例えばストロボが接続されている。照明装置２００は、電源２０１と、発光駆動部２０２と、照明制御部２０３とを備えている。なお、ここでは、照明装置２００は、不図示の接続部を介してカメラ１００と着脱可能に取り付けられる例について説明するが、カメラ１００が照明装置２００を内蔵する場合にも本発明は適用可能である。

本実施の形態におけるカメラ１００では、対物レンズ５の瞳位置には、互いに透過偏光軸の直交する透過特性を有する瞳分割フィルタ４が配置されている。瞳分割フィルタ４を透過したそれぞれの光は、偏光分離プリズム３によって２方向に分離され、それぞれ撮像素子１と２に結像する。撮像素子１と２で撮像される像は、異なる瞳領域を透過しているため、焦点がずれていると結像位置にずれが生じ、そのずれ量から被写界の距離情報を取得することができる。

２つの撮像素子１、２で撮像された視差画像は、撮像駆動部８に伝送された後、画像処理部９に入力される。画像処理部９では、入力された画像を画像処理して表示素子１３に表示可能な形態にすると同時に、２像の像ズレを検出し対物レンズ５のデフォーカス量を算出する。このデフォーカス量に基づいてＡＦ駆動部６によって対物レンズ５の位置を調整し、焦点合わせ動作を行う。このときの対物レンズ５のレンズ位置を位置センサ７で検出することで、焦点を合わせた物体の絶対距離を算出できる。

カメラ制御部１０は、この絶対距離を基準にして、デフォーカス量から画面全体の距離分布を算出する。そして、カメラ制御部１０は、算出された距離分布によって特定される被写体距離に基づいて、照明装置２００の発光量を決定する。決定された発光量のデータは、カメラ制御部１０から照明制御部２０３へ送信され、照明制御部２０３は、発光駆動部２０２を制御して発光させる。

図２は、照明装置２００を発光させて撮影を行うストロボ撮影時の被写体までの距離（被写体距離）と明るさの関係を示す図である。なお、ここでは、図２（ａ）に示すように、カメラ１００の光軸上に４つの被写体２ａ〜２ｄが配置されているものとする。また、ここでは、説明の簡略化のために、環境光の影響は考えず、全露光が照明装置２００から照明されるストロボ光による場合を考える。

カメラ１００に装着された照明装置２００からのストロボ光の光量は、カメラ１００からの距離の二乗に反比例して低下する。このため、図２（ｂ）に示すように、カメラ１００からの距離Ｘにある被写体２ｂに対して適正露光となるようにストロボ光の光量を決定した場合、０．７Ｘの距離にある被写体２ａは、光量が約２倍となるため、露出は１段オーバー（＋１ＥＶ）となる。１．４Ｘの距離にある被写体２ｃは、光量が約１／２倍となるため、露出は１段アンダー（−１ＥＶ）となる。２．０Ｘの距離にある被写体２ｄは、光量が約１／４倍となるため、露出は２段アンダー（−２ＥＶ）となる。その結果、図２（ｂ）に示すように、撮影される画像においては、撮影距離が遠くなるに従って被写体が暗くなり、近距離にあるものは明るくなる。このため、奥行き方向に並んだ人物などを撮影すると、カメラ１００からの距離によって被写体の明るさが異なってしまうという問題が生じていた。

そこで、本実施の形態では、画像処理部９は、ストロボ撮影時に、被写体までの距離に応じた異なるゲインをかけることによって、上述した被写体の明るさ変化を低減させる。具体的には、以下のように処理を行う。

図３は、本実施の形態における被写体までの距離に応じたゲイン制御（距離別ゲイン制御）の方法を示す図である。図３（ａ）は、従来のストロボ撮影時のストロボ光量と被写体距離の関係を示している。すなわち、この図３（ａ）からは、上述したように、距離Ｘにある被写体２ｂに対して適正露光（１００％）となるように撮影した場合には、距離の二乗に反比例して光量が低下していくことがわかる。

図３（ｂ）は、距離Ｘにある被写体２ｂに対して適正露光（１００％）となるようにストロボを発光させて撮影した場合に生成される画像の濃度（縦軸）と被写体距離（横軸）との関係を示す図である。図３（ｂ）において、実線は、本発明適用前の従来の階調、すなわち被写体距離によって被写体の明るさが異なってしまう場合の例を示している。ここでは、距離Ｘにおける適正露光時の濃度を、８ビット２５６階調の中間であるレベル１２８とする。被写体距離が１．４Ｘの場合、光量は距離Ｘの１／２となるから、画像濃度は距離Ｘの半分のレベル６４として再現されている。被写体距離が２Ｘの場合、光量は距離Ｘの１／４となるから、画像濃度も１／４のレベル３２となっている。ただしこれは一例であり、画像の階調再現特性（＝ガンマの設定）によって変化する。

ここで、被写体の距離がわかっていれば、距離に応じてゲイン（増幅倍率）を変えることで、距離によって明るさが異ならないようにすることができる。例えば、距離１．４Ｘの被写体には２倍のゲインをかけることにより、画像濃度を距離Ｘにおける画像濃度と同じレベル１２８に補正することができる。また、距離２Ｘの被写体には４倍のゲインを与えることにより、画像濃度を距離Ｘにおける画像濃度と同じレベル１２８に補正することができる。

具体的には、カメラの設定感度がＩＳＯ４００だった場合には、距離１．４Ｘの被写体にはＩＳＯ８００を、距離２Ｘの被写体にはＩＳＯ１６００をそれぞれ適用することによって、ストロボ光の距離による光量差を補正することができる。なお、ここではストロボ光で全ての露光を行うものとして考えているが、定常光との混合で露光する場合、定常光は被写体とカメラとの距離によって変わらないので、ストロボ光の寄与分についてのみゲイン調整を行えばよい。例えば距離Ｘでの定常光とストロボ光の混合比が１：１で適正だった場合、距離２Ｘでは１：１／４となるから、距離Ｘとの露光差３／４分だけゲインを上げればよい。一方で、定常光を含めた露光量全体について補正を行うと、遠距離被写体が過剰に明るく補正されてしまい好ましい結果は得られない。

画像処理部９は、このように被写体距離に応じて異なるゲインをかけることにより、図３（ｂ）の点線で示すように、全ての被写体距離において、画像濃度をレベル１２８に補正する。これによって、被写体距離に応じた明るさの変化を低減させることができる。

図４は、上述した補正の前後での被写体２ａ〜２ｄの明るさの違いを模式的に示した図である。補正を行う前の画像においては、図４（ａ）に示すように、被写体２ａ〜２ｂの明るさは異なっている。図４（ａ）における被写体距離に応じた階調を図５（ａ）に示し、そのときに撮影される画像の具体例を図５（ｂ）に示す。なお、図５（ａ）に示す階調は、図３（ｂ）の実線で示した階調と同一であり、図５（ｂ）に示す画像例は、図２（ｂ）に示した画像例と同一である。図５（ｂ）において、各被写体の上に表示されている＋１ＥＶ等は、距離Ｘの被写体２ｂとの露出の差を表している。これは、後述する図５（ｄ）、（ｆ）、（ｈ）においても同様である。

一方、補正を行った後の画像においては、図４（ｂ）に示すように、被写体２ａ〜２ｂの明るさは同じになっている。図４（ｂ）における被写体距離に応じた階調を図５（ｃ）に示し、そのときに撮影される画像の具体例を図５（ｄ）に示す。なお、図５（ｃ）に点線で示す階調は、図３（ｂ）の点線で示した階調と同一である。この場合、図５（ｄ）に示すように、被写体２ａ〜２ｂの間に露出の差はなく、全ての被写体の明るさは同じになっている。

上述した処理では、画像処理部９は、図５（ｃ）に示したように、全ての被写体距離にある被写体の明るさが一定になるように、距離に応じたゲインをかけるようにした。しかしながら、図５（ｅ）や図５（ｇ）に示すような階調となるようにゲインをかけることによって、距離による被写体の明るさの変化を低減させるようにしてもよい。例えば、図５（ｃ）に示したように、距離による露光量差を完全に補正した場合には、距離による画像明るさの差は補正できるが、遠距離が過剰に高感度の設定になってノイズが目立ってしまう可能性がある。また、画像全体の明るさが均一になることによって奥行き感が減少してしまう可能性もある。これが好ましくない場合には、図５（ｅ）や図５（ｇ）に示すように補正を行ってもよい。

図５（ｅ）に示す補正方法は、明るさ補正を行う距離に制限を持たせた方法を示している。図５（ｅ）に示すように、一定距離までは図５（ｃ）と同じように補正を行うが、それ以上の距離ではそれ以上に感度設定を上げないようにする。図５（ｆ）は、このようにゲイン補正を行った結果得られる画像の具体例を示している。このように、所定の距離範囲内を対象としてゲインを設定するようにして、遠距離側の感度上昇を制限すれば、ノイズの発生を抑えることができる。また、遠距離側を若干暗めにすることで、画像に奥行き感を出すことができる。あるいは、上限感度を設定して、その感度に達する距離までは補正を行い、それ以上の距離では上限感度以上に感度は上げないようにしてもよい。このような方法でも同様の効果が得られるため、撮影者側がどちらを優先して制限するかを選択できるようにしてもよい。

図５（ｇ）に示す補正方法は、距離による明るさの差を一定割合で補正する方法を示している。具体的には、距離による被写体の奥行き感を出すために、明るさの距離差を完全には補正せず、図５（ｃ）に示した被写体の明るさを一定とするゲインよりも少ない比率となるようにゲインを設定して補正している。これにより被写体の奥行き感を保ちつつ、距離による露光オーバー・アンダーを抑制し、遠距離での過剰な高感度設定の使用も抑えることができる。図５（ｈ）は、このようにゲイン補正を行った結果得られる画像の具体例を示している。

図６は、本実施の形態における被写体距離に応じたゲイン補正を、定常光照明環境下での撮影に適用した場合の具体例を示す図である。なお、図６（ａ）は、定常光照明環境下で照明装置２００を発光させて静止画撮影を行う場合の具体例を示しており、図６（ｂ）は、定常光照明環境下で照明装置２００を発光させて動画撮影を行う場合の具体例を示している。

定常光照明環境で照明装置２００（ストロボ）を発光させて静止画撮影を行う場合には、図６（ａ）に示すように、レリーズボタンが半押しされてから全押しされるまで（半押しＯＮからレリーズＯＮまで）の間に定常光の測光を行う。その後、レリーズＯＮを検出すると、ストロボをプリ発光させて、そのときのストロボ光を測光し、プリ発光時の測光結果に基づいて、ストロボの発光量を決定し、ストロボを本発光させて静止画撮影を行う。

これに対して、定常光照明環境下で照明装置２００を発光させて動画撮影を行う場合、動画の撮影中（録画中）は、継続して照明装置２００から照明する必要がある。しかし、定常光照明環境下で照明装置２００を発光させながら測光を行った場合には、環境光と照明光とのそれぞれの状態や比率がどうなっているかを判別することができない。そこで、本実施の形態では、図６（ｂ）に示すように、録画中に照明光をわずかな時間だけ停止（ＯＦＦ）し、その間に環境光の測光を行う。これにより定常光の状態が測定でき、適切なホワイトバランス設定ができる。なお、この場合、ストロボとして用いる照明は、ＬＥＤなど高速に点滅可能なものが必要である。

また、録画中の画像の状態から、画面が大きく変わって環境光状態が変化したと判断される場合は、通常より環境光測光頻度を増やして、変化に対応すればよい。例えば、図６（ｂ）では、「照明状態変動」と記されている期間内だけ照明を停止する回数が増やすことにより対応している。これにより、環境光の照明状態が変動したときには、環境光の測光タイミングを増やして、環境光の測光精度を向上することができる。また、環境光測光タイミングでは照明状態が変わってしまうため、環境光を測光するために照明光をＯＦＦしている間に撮影したフレームは記録画像に残さないか、その前後のフレームから補間するなどで、照明光ＯＦＦによる影響が目立たないようにする必要がある。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）照明装置２００からの照明光で照明された被写体までの距離情報を取得し、取得した被写体までの距離情報に基づいて、距離に応じた被写体の明るさの変化を低減するように、被写体までの距離ごとに異なるゲインを設定し、設定したゲインを適用して画像を生成するようにした。これによって、画像内の被写体の明るさの変化を低減することができる。

（２）図５（ｃ）に示したように、全ての被写体距離にある被写体の明るさが一定になるように、距離に応じたゲインをかけるようにした。これによって、画像内の被写体の明るさを一定にすることができる。

（３）所定の上限値までの範囲内でゲインを設定するようにした。これによって、遠距離側の感度上昇を制限すれば、ノイズの発生を抑えることができる。また、遠距離側を若干暗めにすれば、画像に奥行き感を出すことができる。

（４）図５（ｅ）に示したように、所定の距離範囲内を対象としてゲインを設定するようにした。これによって、遠距離側の感度上昇を制限すれば、ノイズの発生を抑えることができる。また、遠距離側を若干暗めにすれば、画像に奥行き感を出すことができる。

（５）図５（ｇ）に示したように、被写体の明るさを一定とするゲインよりも少ない比率となるようにゲインを設定して補正するようにした。これによって、被写体の奥行き感を保ちつつ、距離による露光オーバー・アンダーを抑制し、遠距離での過剰な高感度設定の使用も抑えることができる。

（６）動画の撮影中に継続して照明装置２００から被写体を照明する場合には、所定のタイミングで照明装置２００からの照明を停止し、照明の停止中に測光した結果に基づいて、被写体までの距離情報を取得するようにした。これによって、動画の撮影中でも精度高く被写体までの距離に応じたゲイン設定を行うことが可能となる。

（７）環境光の照明状態が変化したときに、照明装置２００からの照明を停止させる回数を変化させるようにした。これにより、環境光の照明状態が変動したときには、環境光の測光タイミングを増やして、環境光の測光精度を向上することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）図６（ｂ）に示す例では、録画中に照明光をわずかな時間だけ停止（ＯＦＦ）し、その間に環境光の測光を行う例について説明した。しかしながら、録画中は常に測光を継続しておき、照明光を停止している間の測光データのみを用いて環境光の測光を行うようにしてもよい。

（２）上述した実施の形態では、図５（ｃ）、（ｅ）、（ｇ）に示した方法によりゲイン補正を行う例について説明した。しかしながら、図５（ｃ）、（ｅ）、（ｇ）に示した方法を組み合わせて使用するようにしてもよい。例えば、図５（ｇ）のように一定割合で補正しつつ、上限感度設定で過剰な高感度の使用を避けるといった使い方をしてもよい。

（３）上述した実施の形態では、本発明をカメラ１００に適用する例について説明した。しかしながら、照明装置を備えた他の撮影装置にも本発明を適用することができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００カメラ、１、２撮像素子、３偏光分離プリズム、４瞳分割フィルタ、５対物レンズ、６ＡＦ駆動部、７位置センサ、８撮像駆動部、９画像処理部、１０カメラ制御部、１１記憶媒体、１２操作部材、１３表示素子、２００照明装置、２０１電源、２０２発光駆動部、２０３照明制御部

Claims

撮像装置により撮像された、第１被写体の第１信号と第２被写体の第２信号とに画像処理を行う画像処理装置であって、
前記撮像装置から第１被写体までの距離と前記撮像装置から第２被写体までの距離とにより、前記第１信号及び前記第２信号に対してゲインを設定する設定部と、
前記設定部で設定されたゲインにより前記第１信号及び前記第２信号を処理する信号処理部と、を備え、
前記設定部は、前記第１信号を、前記第２信号のゲインとは異なるゲインに設定する画像処理装置。
前記設定部は、前記撮像装置から前記第１被写体までの距離が前記撮像装置から前記第２被写体までの距離より小さい場合、前記第２信号を、前記第１信号のゲインよりも高いゲインに設定する請求項１に記載の画像処理装置。
前記設定部は、前記撮像装置から前記第１被写体までの距離が前記撮像装置から前記第２被写体までの距離より大きい場合、前記第２信号を、前記第１信号のゲインよりも低いゲインに設定する請求項１に記載の画像処理装置。
前記設定部は、前記第１信号と前記第２信号とに異なるＩＳＯ感度が適用されるようにゲインを設定する請求項１から請求項３のいずれか一項に記載の画像処理装置。
前記設定部は、照明装置からの照明光で照明された被写体までの距離に基づいてゲインを設定する請求項１から請求項４のいずれか一項に記載の画像処理装置。
第１被写体と第２被写体とを撮像する撮像装置であって、
前記撮像装置から前記第１被写体までの距離と前記撮像装置から前記第２被写体までの距離とにより、撮像された前記第１被写体の第１信号と、撮像された前記第２被写体の第２信号と、に対してゲインを設定する設定部と、
前記設定部で設定されたゲインにより前記第１信号及び前記第２信号を処理する信号処理部と、を備え、
前記設定部は、前記第１信号に対して、前記第２信号に設定したゲインとは異なるゲインに設定する撮像装置。
前記設定部は、前記撮像装置から前記第１被写体までの距離が前記撮像装置から前記第２被写体までの距離より小さい場合、前記第２信号を、前記第１信号のゲインよりも高いゲインに設定する請求項６に記載の撮像装置。
前記設定部は、前記撮像装置から前記第１被写体までの距離が前記撮像装置から前記第２被写体までの距離より大きい場合、前記第２信号を、前記第１信号のゲインよりも低いゲインに設定する請求項６に記載の撮像装置。
前記設定部は、前記第１信号と前記第２信号とに異なるＩＳＯ感度が適用されるようにゲインを設定する請求項６から請求項８のいずれか一項に記載の撮像装置。
前記設定部は、照明装置からの照明光で照明された被写体までの距離に基づいてゲインを設定する請求項６から請求項９のいずれか一項に記載の撮像装置。