JP2018196068A - ゴースト検出装置及びそれを有する撮像装置 - Google Patents
ゴースト検出装置及びそれを有する撮像装置 Download PDFInfo
- Publication number
- JP2018196068A JP2018196068A JP2017100474A JP2017100474A JP2018196068A JP 2018196068 A JP2018196068 A JP 2018196068A JP 2017100474 A JP2017100474 A JP 2017100474A JP 2017100474 A JP2017100474 A JP 2017100474A JP 2018196068 A JP2018196068 A JP 2018196068A
- Authority
- JP
- Japan
- Prior art keywords
- ghost
- image
- imaging surface
- imaging
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Lens Barrels (AREA)
- Lenses (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Abstract
【課題】特に撮像面近傍に発生要因の一部がある撮像面ゴーストを的確に検出することを可能にしたゴースト検出装置及びそれを有する撮像装置を提供すること。【解決手段】撮像光学系によって形成される像を受光する光電変換素子が配列された撮像面と、前記撮像面を保持し、撮像光学系の光軸との角度を変えられる保持部材と、前記保持部材を駆動させる駆動装置を有し、前記撮像面が光軸に対して異なる角度で保持された状態で得られた第1及び第2の撮影画像の差分からゴーストを検出することを特徴とする。【選択図】図1
Description
本発明は、撮像装置におけるゴーストを検出するための方法及び装置に関し、例えばデジタルスチルカメラ、デジタルビデオカメラ、TVカメラ、監視カメラ等の撮像装置に好適なものである。
従来、撮像装置に用いられる撮像光学系には撮影光束を撮像面に結像させるために、複数枚のレンズが配置されており、各レンズは光を透過させると同時に0.1〜数%程度の光を反射させるため、ゴーストの発生原因ともなっていた。また撮像装置自体にも像面近傍には撮像素子、ローパスフィルター、赤外カットフィルター等の光学部材が配置されており、その表面でレンズと同様に光を反射しゴーストの発生原因ともなっていた。また、レンズ鏡筒の内壁による反射もゴーストの発生要因となっていた。これらのゴーストは撮影画像に対して不要なものであり、撮像装置としてはゴーストを低減もしくは除去することが望まれている。
従来これらのゴーストを検出し撮影画像から除去する方法としていくつかの方法が知られている。特許文献1では、ゴーストの発現状況が相互に異なる2つの撮像光学系から得られた画像からゴーストを検出し除去している。特許文献2では、撮像光学系に内包された開口絞りを駆動させ得られた2つの撮影画像からゴーストを検出し除去している。
撮影画像に発生するゴーストとして特に強度の強い物として、物体側から入射した光束が撮像素子に入射する直前に撮像面付近の撮像素子、各種フィルター等の表面で一度反射し、その後撮影光学系のレンズ表面で反射し撮像素子に入射する所謂撮像面ゴーストがある。通常撮影光学系のレンズ表面には反射防止膜が施されているため、発生するゴーストの強度をある程度弱めることができる。しかし撮像素子表面のマイクロレンズやローパスフィルター、赤外カットフィルターはその構造上十分な反射防止を施すのが困難である。
また特に、第2反射面となる撮影レンズ表面の形状が撮像面に向けて凹面を向けている場合、撮像面で反射し発散した光束が撮影レンズ表面で反射しまた収斂するため強度が上がりやすい。
上述の特許文献1に開示された従来技術では、ゴーストを検出するために2つの撮像光学系が必要であるため装置が大型化しやすいという課題があった。またそもそも2つの撮像光学系を用いたとしてもゴーストを正確に検出するのは困難であった。
特許文献2に開示された従来技術では、開口絞りの絞り値が異なる状態で得られた2つの撮影画像からゴーストを推定しているが、これも正確に検出するのは困難であった。また、前述の撮像面ゴーストが開口絞りよりも像側の面同士の反射で発生している場合ゴースト形状は変わらないため検出するのは困難であった。
そこで、本発明の目的は、特に撮像面近傍に発生要因の一部がある撮像面ゴーストを的確に検出することを可能にしたゴースト検出装置及びそれを有する撮像装置を提供することにある。
上記の目的を達成するために、本発明に係るゴースト検出装置は、
撮像光学系によって形成される像を受光する光電変換素子が配列された撮像面と、前記撮像面を保持し、撮像光学系の光軸との角度を変えられる保持部材と、前記保持部材を駆動させる駆動装置を有し、前記撮像面が光軸に対して異なる角度で保持された状態で得られた第1及び第2の撮影画像の差分からゴーストを検出することを特徴とする。
撮像光学系によって形成される像を受光する光電変換素子が配列された撮像面と、前記撮像面を保持し、撮像光学系の光軸との角度を変えられる保持部材と、前記保持部材を駆動させる駆動装置を有し、前記撮像面が光軸に対して異なる角度で保持された状態で得られた第1及び第2の撮影画像の差分からゴーストを検出することを特徴とする。
本発明によれば、特に撮像面近傍に発生要因の一部がある撮像面ゴーストを的確に検出することを可能にしたゴースト検出装置及びそれを有する撮像装置を提供することができる。
以下、本発明のゴースト検出装置及びそれを有する撮像装置について説明する。
本発明のゴースト検出装置は撮像光学系OLによって形成される像を受光する光電変換素子が配列された撮像面IPと、その撮像面を保持し、撮像光学系の光軸との角度を変えられる保持部材Hを有している。さらに保持部材Hを駆動させる駆動装置MOを有している。
図1は本発明の実施例1のゴースト検出装置の構成を模式的に示す図である。
図1においてOLは撮影光学系、OAは撮像光学系の光軸、IPは撮像面を表し、ビデオカメラやデジタルカメラではCCDセンサやCMOSセンサなどの固体撮像素子(光電変換素子)が配置されている。IPoは基準座標となる撮像面中心を表す。Hは撮像面を保持する保持部材を表し、MOは保持部材の駆動装置を表す。図1の(A)はそれぞれ本発明の実施例の第1画像及び第2画像を取得する際の撮影光学系及び撮像面の配置となっている。
図2は本発明によるゴースト検出方法を説明するための図である。
g及びg’は第1及び第2画像取得時のゴースト像を表し、n及びn’は同様に通常撮影光束による像を表す。x,yは撮像面における座標を表す。さらにL1及びL1’、L2及びL2’は第1及び第2画像における、通常撮影光束の像n及びゴースト像の撮像面中心座標IPoからの距離を表す。
図3は本発明の実施例1のゴースト検出装置における処理フローを説明したブロック図でありS1〜S5はそれぞれ処理ステップを表す。
図4は本発明の実施例1のゴースト検出装置におけるゴースト検出方法及びゴースト情報出力を説明する図である。図4(A)(B)はそれぞれ第1画像及び第2画像の画素毎の輝度を表す。
図4において表の数字は画素毎の輝度を表す。f1及びf2は第1画像においてゴーストが発生していた画素と第2画像においてそれに対応する画素を表し、f1’は第1画像のゴースト像が第2画像で移動した画素を表す。Δx,Δyは第1及び第2の撮映画像取得時の撮像面の移動量を表す。図4(C)は出力されるゴースト情報を表し、それぞれの画素毎のゴースト像の輝度情報を表す。図4(C)におけるfiは第1画像中でゴースト像が発生していた画素を表す。
図5は本発明の実施例1におけるゴースト検出装置におけるゴースト検出精度を高めるための処理アルゴリズムを表した図である。
F1はゴースト像が存在する画素を表し、F2はgに対して光軸OAと対称な位置に存在する画素の集合体を表す。
図6は本発明の実施例2のゴースト検出装置を有する撮像装置におけるゴースト除去フローを説明するブロック図である。
図7は本発明の実施例2のゴースト検出装置を有する撮像装置におけるゴースト検出方法及びゴースト除去画像出力を説明する図である。図7(A)(B)(C)はそれぞれ第1及び第2画像、そしてゴースト除去画像の画素毎の輝度を表す。
n及びn’は第1及び第2画像におけるゴースト像f1及びf2に隣接する画素を表す。図7(C)におけるfrはゴースト像除去後の画素を表す。
図8は本発明の実施例2におけるゴースト検出装置を有する撮像装置においてゴースト検出精度を高めるための処理アルゴリズムを表した図である。
F1はゴースト像が存在する画素を表し、F3はそれに隣接する画素を表す。
図9は本発明のゴースト検出装置を備える撮像装置の要部概略図である。
本発明の各実施例のゴースト検出装置は撮影光学系OLによって形成される像を受光する光電変換素子が配置された撮像面IPと、その撮像面を保持し、撮像光学系の光軸との角度を変えられる保持部材Hを有している。さらに保持部材Hを駆動させる駆動装置MOを有している。
各実施例のゴースト検出装置は保持部材Hを駆動装置MOによって駆動させ、光軸に対する撮像面の角度を変える前後で第1の画像P1及び第2の画像P2を取得し、その画像P1とP2の画像を比較することによりゴーストを検出している。
この原理について説明する。物体側から撮影光学系に入射した光束が撮像面近傍の平板で反射し、さらに撮影光学系のレンズ面で反射し撮像面に入射する所謂撮像面ゴーストは前述のように強度が高くなることが多くゴーストの低減もしくは除去が望まれている。このゴーストは第1反射面が撮像面近傍にあるため、撮像面自体を傾けて撮影光学系との相対的な角度を変えてやればその発生位置が移動する。例えば図1のように撮像面で反射した光束が撮影光学系OLの最も像側に配置されたレンズの第1面で反射するような撮像面ゴーストを考える。図1(A)では撮像面中心IPo近傍に発生していたゴーストが、図1(B)のように撮像面の傾くことによって、撮像面からの反射光束の角度が水平に近づき、結果的に撮像面中心IPoから離れた位置にゴースト像が発生する。
一方、撮像面自体が傾き、撮影光学系との相対的な位置関係が変わったことによって、撮影光束の結像位置も移動する。しかし、撮影光束の結像位置の移動量は撮像面の傾き変化によって幾何的に求められる量であるため、その結像位置の変化は傾き変化量から演算で求めることができる。
これらの関係を図2を用いて説明する。図2は撮像面を撮像面に垂直方向から見た図である。図2(A)では撮像面中心IPoの左下の距離L2の位置にゴースト像gが発生している。また撮像面中心IPoの右上の距離L1の位置に撮影光束の結像点でもありゴースト光源の像でもあるnがある。この状態が第1の画像P1の状態である。一方、図2(B)では撮像面中心IPoの左下の距離L2’及び右上L1’の位置にゴースト像g’及び撮影光束像n’が発生している。この状態が第1の画像P2の状態である。
ゴースト像g及びg’は発生原因は変わっていないが、前述のように撮像面と光軸の傾きを変えることで位置が変化している。また撮影光束像n及びn’も撮像面中心IPoに対して発生位置が変わっているが、それは撮像面自体の移動に伴う位置の変化によるものである。
この関係についてさらに説明する。撮像面と光軸との傾き変化に伴う撮像面自体の水平方向及び垂直方向の移動量をΔx、Δyとする。なお、ここでΔx及びΔyは撮像面に平行な座標上での移動量であり、撮像面と光軸との傾き変化をΔθx,y、撮像面の回転中心と対応画素との距離をDx,yとすると、
Δx,y = Dx,y×(1−cosΔθx,y)・・・(a)
なる関係で表される。ただし、添え字のx,yはそれぞれx方向、y方向に対応した量である。L1とL1’の関係はΔx及びΔyを用いて以下のように表される。
Δx,y = Dx,y×(1−cosΔθx,y)・・・(a)
なる関係で表される。ただし、添え字のx,yはそれぞれx方向、y方向に対応した量である。L1とL1’の関係はΔx及びΔyを用いて以下のように表される。
|L1−L1’|=(Δx2+Δy2)1/2・・・(b)
このように、撮影光束像の撮像面自体の傾き変化に伴う撮像面中心IPoからの距離の変化量は幾何的に求めることができる。一方前述のようにゴースト像gは撮像面自体の傾きによって発生経路が変わるため、その発生位置の関係は(b)式関係から大きく外れる。この関係を用いることで、撮像面ゴーストを精度良く検出することができる。
このように、撮影光束像の撮像面自体の傾き変化に伴う撮像面中心IPoからの距離の変化量は幾何的に求めることができる。一方前述のようにゴースト像gは撮像面自体の傾きによって発生経路が変わるため、その発生位置の関係は(b)式関係から大きく外れる。この関係を用いることで、撮像面ゴーストを精度良く検出することができる。
本発明のゴースト検出装置はこの関係に着目し、特に撮像面ゴーストを精度良く検出できる方法となっている。
本発明の実施例では撮像面と光軸角度を変えているが、撮像面近傍の面であれば撮像面に限らない。例えば、撮像面近傍に配置されているローパスフィルター、赤外カットフィルター等の表面でも撮像面と同様に反射光が発生し撮像面ゴーストの原因となっている。したがって、これら光学部材と光軸の角度を変えてやれば、前述のように撮像面を傾けた場合と同様の効果を得ることができる。さらに、撮像面と撮影光学系の相対関係を変えるという意味では例えば交換レンズではレンズとカメラが接続するマウントからカメラ全体を倒すことで同様の効果を得ることができる。
また、光軸と撮像面の角度を変えた画像を2枚よりも多く取ることができれば、ゴースト検出精度が上がるため好ましい。
本発明の実施例のゴースト検出装置は第1の画像及び第2の画像P1及びP2の画素毎の輝度をg1(x,y)、g2(x,y)とした時に、g1(x,y)とg2(x−Δx,y−Δy)の差分からゴーストを検出している。なおここで、Δx、Δyは前述の撮像面の移動量である。
これについてさらに説明する。前述のように画像P1及びP2において撮像面ゴーストの発生位置は異なり、式(b)の関係から外れる。この場合、当然画像P1とP2の対応画素の輝度g1(x,y)とg2(x−Δx,y−Δy)を比較すると、元々画像P1の画素に加算されていたゴースト像は別の位置に像を結び加算されなくなる。つまり、P2の対応画素の輝度g2(x−Δx、y−Δy)はg1(x,y)とは異なった値となるためそれぞれの差分を取る相関演算を行うことでゴーストを検出することができる。
さらに、本発明の実施例のゴースト検出装置は前述の第1の画像と第の画像の対応画素の輝度g1(x,y)とg2(x−Δx、y−Δy)について、以下の条件式を使ってゴーストを検出している。
0.05<{g1(x,y)−g2(x−Δx、y−Δy)}/g1(x,y)・・・(1)
この式について説明する。条件式(2)は第1及び第2の画像P1及びP2の輝度変化を第1の画像の輝度で規格化したものである。条件式の下限を下回ると、輝度変化が少ないことを意味し、当該画素にはゴースト像が発生していないと判断することができる。また条件式の値が負の値となる場合、第2の画像P2の輝度が増したことを意味し、撮像面の傾き変化によって、元々発生していなかったゴーストが当該画素に発生したと検出することができる。このように、第1の画像及び第2の画像の対応画素の輝度変化が左辺に示す数値の割合よりも大きければゴースト像が発生していると検出することができる。更に好ましくは条件式(1)の数値範囲を次の如く設定するのが良い。
この式について説明する。条件式(2)は第1及び第2の画像P1及びP2の輝度変化を第1の画像の輝度で規格化したものである。条件式の下限を下回ると、輝度変化が少ないことを意味し、当該画素にはゴースト像が発生していないと判断することができる。また条件式の値が負の値となる場合、第2の画像P2の輝度が増したことを意味し、撮像面の傾き変化によって、元々発生していなかったゴーストが当該画素に発生したと検出することができる。このように、第1の画像及び第2の画像の対応画素の輝度変化が左辺に示す数値の割合よりも大きければゴースト像が発生していると検出することができる。更に好ましくは条件式(1)の数値範囲を次の如く設定するのが良い。
0.10<{g1(x,y)−g2(x−Δx、y−Δy)}/g1(x,y)
・・・(1a)
更に好ましくは条件式(1a)の数値範囲を次の如く設定するのが良い。
・・・(1a)
更に好ましくは条件式(1a)の数値範囲を次の如く設定するのが良い。
0.30<{g1(x,y)−g2(x−Δx、y−Δy)}/g1(x,y)
・・・(1b)
本発明の実施例のゴースト検出装置は前述の方法によって検出したゴーストに対して以下の比較を行うことで検出精度をさらに高めている。前記画像P1においてゴーストを検出した画素F1の座標を(xi,yi)、輝度をg1(xi,yi)とする。また画素F1と光軸に対して略対称位置の画素F2の座標を(xj,yj)とする。さらに画素F2の輝度をg1(xj、yj)とする。なお、ここで座標F1とF2は以下の関係にあるものとする。
・・・(1b)
本発明の実施例のゴースト検出装置は前述の方法によって検出したゴーストに対して以下の比較を行うことで検出精度をさらに高めている。前記画像P1においてゴーストを検出した画素F1の座標を(xi,yi)、輝度をg1(xi,yi)とする。また画素F1と光軸に対して略対称位置の画素F2の座標を(xj,yj)とする。さらに画素F2の輝度をg1(xj、yj)とする。なお、ここで座標F1とF2は以下の関係にあるものとする。
0.90<xj/yj×yi/xi<1.10・・・(c)
ただし0<|xj|<|xmax|、xmaxは撮像面端部の座標であり、xjはxiとは常に異符号を取るものとする。この時、以下の条件式(2)を満足する座標が0<|xj|<|xmax|の間になければ画像P1で検出したゴースト像を除外する。
ただし0<|xj|<|xmax|、xmaxは撮像面端部の座標であり、xjはxiとは常に異符号を取るものとする。この時、以下の条件式(2)を満足する座標が0<|xj|<|xmax|の間になければ画像P1で検出したゴースト像を除外する。
−0.2<{g1(xj,yj)−g1(xi,yi)}/g1(x,y)・・・(2)
この条件式(2)について説明する。撮像面ゴーストは発生原因となる面が撮像面近傍の平板であり、通常ゴースト光源となる像も撮影光束内にあると考えられる。また、そのゴーストの発生経路を考えると、光源像と光軸に対して対称な位置にゴースト像が出ることが多い。さらに、通常の撮影光束は撮影光学系によって収斂してきた光束であるためその輝度は撮像面近傍では高くなっていると考えられる。このような観点から撮像面ゴーストが検出されれば、その発生位置と光軸に対して略対称な位置に強い輝度の光源像があると考えられる。ただし、その発生位置が十分に光軸に対して対称になるとは限らない。したがって、ゴースト像検出位置と光軸に対して対称な方向に強い輝度を持つ像がないかを前述の0<|xj|<|xmax|の範囲で網羅的に探索する必要がある。
この条件式(2)について説明する。撮像面ゴーストは発生原因となる面が撮像面近傍の平板であり、通常ゴースト光源となる像も撮影光束内にあると考えられる。また、そのゴーストの発生経路を考えると、光源像と光軸に対して対称な位置にゴースト像が出ることが多い。さらに、通常の撮影光束は撮影光学系によって収斂してきた光束であるためその輝度は撮像面近傍では高くなっていると考えられる。このような観点から撮像面ゴーストが検出されれば、その発生位置と光軸に対して略対称な位置に強い輝度の光源像があると考えられる。ただし、その発生位置が十分に光軸に対して対称になるとは限らない。したがって、ゴースト像検出位置と光軸に対して対称な方向に強い輝度を持つ像がないかを前述の0<|xj|<|xmax|の範囲で網羅的に探索する必要がある。
条件式(2)はこの観点に基づく条件式である。条件式(2)の下限を下回ると、ゴースト像と光軸に対して対称な位置に強い輝度を持つ光源像がないことを意味するため、撮像面ゴーストが発生していない可能性がある。このようなものを検出したゴースト像から除くことでゴーストの検出精度を上げることができる。更に好ましくは条件式(2)の数値範囲を次の如く設定するのが良い。
0.0<{g1(xj,yj)−g1(xi,yi)}/g1(x,y)・・・(2a)
更に好ましくは条件式(2a)の数値範囲を次の如く設定するのが良い。
更に好ましくは条件式(2a)の数値範囲を次の如く設定するのが良い。
0.0<{g1(xj,yj)−g1(xi,yi)}/g1(x,y)・・・(2b)
本発明の実施例のゴースト検出装置は前述の方法によって検出したゴーストに対してさらに以下の比較を行うことで検出精度をさらに高めている。前記画像P1においてゴーストを検出した座標F1に隣接した画素F3の座標を(xk,yk)及びその輝度をg1(xk,yk)とする。この時、以下の条件式(3)を満足する画素F3に対してはゴースト像が発生していると判断しゴースト検出範囲に加える
|{g1(xi,yi)−g1(xk,yk)}|/{g1(xi,yi)<0.20
・・・(3)
条件式(3)について説明する。通常ゴーストは撮影光束のように撮影光学系によって点に集まるように収斂させられた光束ではないため、点ではなくある程度の範囲をもって発生すると考えられる。したがって検出したゴースト像の周囲にゴースト像に近い輝度をもつ画素があればその位置にもゴースト像が発生していると考えることができる。条件式(3)はこのような観点に基づく条件式であり、条件式(2)の範囲内であれば隣接する画素同士の輝度差が小さいため当該画素でもゴースト像が発生していると判断することができる。
本発明の実施例のゴースト検出装置は前述の方法によって検出したゴーストに対してさらに以下の比較を行うことで検出精度をさらに高めている。前記画像P1においてゴーストを検出した座標F1に隣接した画素F3の座標を(xk,yk)及びその輝度をg1(xk,yk)とする。この時、以下の条件式(3)を満足する画素F3に対してはゴースト像が発生していると判断しゴースト検出範囲に加える
|{g1(xi,yi)−g1(xk,yk)}|/{g1(xi,yi)<0.20
・・・(3)
条件式(3)について説明する。通常ゴーストは撮影光束のように撮影光学系によって点に集まるように収斂させられた光束ではないため、点ではなくある程度の範囲をもって発生すると考えられる。したがって検出したゴースト像の周囲にゴースト像に近い輝度をもつ画素があればその位置にもゴースト像が発生していると考えることができる。条件式(3)はこのような観点に基づく条件式であり、条件式(2)の範囲内であれば隣接する画素同士の輝度差が小さいため当該画素でもゴースト像が発生していると判断することができる。
また、本発明のゴースト検出装置は撮像面を傾けて撮像面ゴーストの検出精度を高めている。この方法ではその性質上、ゴースト像の輪郭は少ない傾きでも精度良く検出できる。しかし、ゴースト像の出現範囲が広い場合、その輪郭の内部でゴーストが発生している部分については撮像面を大きく傾けてゴースト像の位置を大きく変えてやらなければ検出精度が低下してしまう。または撮像面を、複数方向に傾けて相互比較をする方法もある。
このような場合に条件式(3)の判別式を用いてゴースト像輪郭内部についても検出してやれば、少ない動きでゴースト像を精度良く検出することができるため好ましい。更に好ましくは条件式(3)の数値範囲を次の如く設定するのが良い。
|{g1(xi,yi)−g1(xk,yk)}|/{g1(xi,yi)<0.10
・・・(3a)
更に好ましくは条件式(3a)の数値範囲を次の如く設定するのが良い。
・・・(3a)
更に好ましくは条件式(3a)の数値範囲を次の如く設定するのが良い。
|{g1(xi,yi)−g1(xk,yk)}|/{g1(xi,yi)<0.10
・・・(3b)
なお、本発明のゴースト検出装置はRGBの色毎に輝度値を相互に比較すれば、より精度良くゴーストを検出することができて望ましい。
・・・(3b)
なお、本発明のゴースト検出装置はRGBの色毎に輝度値を相互に比較すれば、より精度良くゴーストを検出することができて望ましい。
本発明のゴースト検出装置を有する撮像装置は前述の方法によって検出したゴーストを第1の画像P1から除去してゴースト除去画像P3を得ている。画像P1のゴースト像発生範囲の画素の輝度を、画像P2の対応画素の輝度に置き換えることで画像P3を得ることができる。
さらに画像P1のゴースト発生範囲の画素の輝度と隣接する画素の、画像P1からP2への変化を見てその差分は、撮影タイミングや撮像面を傾けたことによる変化として除いてやればさらに高精度に画像P3を得ることがえきる。
以下、図3を参照して、本発明の第1の実施例による、ゴースト検出装置について説明する。
図3は本発明の第1の実施例によるゴースト検出フローを表したものである。
第1の実施例ではステップ1でまず第1の画像P1を取得する。その後ステップ2で撮影面を保持している保持部材を駆動させ撮像面と光軸の傾きを変化させ、ステップ3で画像P2を取得する。その後ステップ4で第1及び第2の画像P1及びP2の相関演算を行いゴーストを検出し、ステップ5でそのゴースト位置及び輝度情報を出力する。
また実施例1のゴースト検出装置は前述のステップ4及び5では図4にあるように第1及び第2の画像P1及びP2の相関演算及び出力を行っている。
まず図4(A)のf1で示された画素の輝度と、(B)のf2で示された画素の輝度を比較する。ここでf1とf2の画素の座標は撮像面の傾き変化に伴う移動量の分だけずれた関係となっている。
f1の輝度は100でありf2の輝度は60であるため、条件式(1)に相当する量は0.4であり、この画素ではゴーストが発生していると判断することができる。そこで図4(C)にあるようにゴースト像発生画素fiの輝度としてf1及びf2の輝度差40を入れてステップ5にあるようにゴースト情報を出力することができる。
また実施例1のゴースト検出装置では図5にあるように、ゴースト検出画素F1に対して光軸と略対称な位置にある画素F2の輝度を比較して、ゴースト像を判別する処理を行っている。本実施例1ではどの画素に対しても条件式(2)を上回っており、ゴースト像ではないと判別することができる。
このようにステップ1〜5の操作を行うことで実施例1では精度良くゴーストを検出しゴースト情報として出力することができる。
以下、図6を参照して、本発明の第2の実施例による、ゴースト検出装置を有する撮像装置について説明する。
図6は本発明の第2の実施例によるゴースト検出フローを表したものである。
第2の実施例ではステップ1でまず第1の画像P1を取得する。その後ステップ2で撮影面を保持している保持部材を駆動させ撮像面と光軸の傾きを変化させ、ステップ3で画像P2を取得する。その後ステップ4で第1及び第2の画像P1及びP2の相関演算を行いゴーストを検出し、ステップ5でそのゴーストを除去したゴースト除去画像を出力する。
また実施例2のゴースト検出装置を有する撮像装置では前述のステップ4及び5では図7にあるように第1及び第2の画像P1及びP2の相関演算及び出力を行っている。
まず図7(A)のf1で示された画素の輝度と、(B)のf2で示された画素の輝度を比較する。ここでf1とf2の画素の座標は撮像面の傾き変化に伴う移動量の分だけずれた関係となっている。
f1の輝度は100でありf2の輝度は85であるため、条件式(1)に相当する量は0.15であり、この画素ではゴーストが発生していると判断することができる。そこで図7(C)にあるようにゴースト像発生画素frの輝度としてf1及びf2の輝度差15から、f1及びf2に隣接する画素の輝度差2を引いた13を第一の画像から引いた87を入れてステップ5にあるようにゴースト除去画像を出力することができる。
また実施例2のゴースト検出装置を有する撮像装置では図8にあるように、ゴースト検出画素F1に対して隣接する画素F3の輝度を比較して、ゴースト像を判別する処理を行っている。本実施例2では右隣に隣接している画素に対しても条件式(3)を満たしており、F3にもゴースト像が発生していると判別することができる。
このようにステップ1〜5の操作を行うことで実施例2では精度良くゴーストを検出しゴースト除去画像として出力することができる。
図9は一眼レフカメラの要部概略図である。図9において、10は撮影光学系である。撮影光学系1は保持部材である鏡筒2に保持されている。20はカメラ本体である。カメラ本体20はクイックリターンミラー3、焦点板4、ペンタダハプリズム5、接眼レンズ6等によって構成されている。7はカメラの撮像面であり、7を傾ける機構を配置することにより本発明のゴースト検出装置を得ることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
OA 光軸、OL 撮影光学系、IP 撮像面、IPo 撮像面中心(原点)、
H 撮像面保持部材、MO 駆動装置
H 撮像面保持部材、MO 駆動装置
Claims (8)
- 撮像光学系によって形成される像を受光する光電変換素子が配列された撮像面と、前記撮像面を保持し、撮像光学系の光軸との角度を変えられる保持部材と、前記保持部材を駆動させる駆動装置を有し、前記撮像面が光軸に対して異なる角度で保持された状態で得られた第1及び第2の撮影画像の差分からゴーストを検出することを特徴とするゴースト検出装置。
- 前記第1及び第2の画像の画素毎の輝度をそれぞれg1(x,y)、g2(x,y)とし、前記第1の画像と第2の画像を得る際の撮像面の傾き変化に伴う撮像面自体の移動量をΔx,Δyとした時に、g1(x,y)とg2(x−Δx、y−Δy)の差分からゴーストを検出することを特徴とする請求項1に記載のゴースト検出装置。
なおここでx、yは撮像面内の原点を基準とする座標を表す。 - 前記第1及び第2の画像の輝度g1(x,y)とg2(x−Δx、y−Δy)に対して、
0.05<{g1(x,y)−g2(x−Δx、y−Δy)}/g1(x,y)
なる条件を満足する撮像面上の座標(xi,yi)にゴーストが存在すると検出することを特徴とする請求項1又は請求項2に記載のゴースト検出装置。 - 前記検出したゴーストの第1の画像の座標(xi,yi)と光軸に対して対称位置の座標(xj,yj)の輝度をg1(xj,yj)とした時に
−0.2<{g1(xj,yj)−g1(xi,yi)}/g1(x,y)
なる条件を満足する座標がない場合、検出したゴーストから除外することを特徴とする請求項1乃至請求項3の何れか一項に記載のゴースト検出装置。
ただし、ここでxjとyjは
0.90<xj/yj×yi/xi<1.10
なる関係を満足し、xjは0から撮像面の端部座標まで変化する。 - 前記第1の画像において検出したゴーストが存在する画素と隣り合う画素の座標及び輝度をそれぞれ(xi,yi)、(xk,yk)及びg1(xi,yi)、g1(xk,yk)とした時に、
|{g1(xi,yi)−g1(xk,yk)}|/{g1(xi,yi)<0.20
なる条件を満足する場合、隣り合う画素にもゴーストが存在すると検出することを特徴とする請求項1乃至請求項4の何れか一項に記載のゴースト検出装置。 - 請求項5に記載のゴースト検出装置と前記検出したゴーストを第1の画像から除去することを特徴とする撮像装置。
- 前記第1の画像のゴーストが存在する座標の輝度を第2の画像の輝度に置き換えてゴーストを除去することを特徴とする請求項6に記載の撮像装置。
- 前記第1及び第2の画像のゴーストが存在する座標の輝度の差分と、ゴーストが存在しない座標の輝度の差分の差分を第1の画像の輝度から引くことでゴーストを除去することを特徴とする請求項6又は請求項7に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100474A JP2018196068A (ja) | 2017-05-22 | 2017-05-22 | ゴースト検出装置及びそれを有する撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100474A JP2018196068A (ja) | 2017-05-22 | 2017-05-22 | ゴースト検出装置及びそれを有する撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018196068A true JP2018196068A (ja) | 2018-12-06 |
Family
ID=64571888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017100474A Pending JP2018196068A (ja) | 2017-05-22 | 2017-05-22 | ゴースト検出装置及びそれを有する撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018196068A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112444A (zh) * | 2020-01-09 | 2021-07-13 | 舜宇光学(浙江)研究院有限公司 | 鬼像检测方法及其系统、电子设备以及鬼像检测平台 |
-
2017
- 2017-05-22 JP JP2017100474A patent/JP2018196068A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112444A (zh) * | 2020-01-09 | 2021-07-13 | 舜宇光学(浙江)研究院有限公司 | 鬼像检测方法及其系统、电子设备以及鬼像检测平台 |
CN113112444B (zh) * | 2020-01-09 | 2022-05-31 | 舜宇光学(浙江)研究院有限公司 | 鬼像检测方法及其系统、电子设备以及鬼像检测平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5564987B2 (ja) | 被写体追尾装置及び撮像装置 | |
JP6584149B2 (ja) | 撮像装置 | |
US20130194387A1 (en) | Image processing method, image processing apparatus and image-pickup apparatus | |
JP2008026802A (ja) | 撮像装置 | |
JP2007025595A (ja) | オートフォーカス装置 | |
JP6381266B2 (ja) | 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体 | |
JP2009017155A (ja) | 画像認識装置、焦点調節装置および撮像装置 | |
TW201328321A (zh) | 3d成像模組及3d成像方法 | |
JP6415140B2 (ja) | 撮像装置及びその制御方法 | |
JP2016197231A (ja) | 表示制御装置及び方法、及び撮像装置 | |
KR101038815B1 (ko) | 고속 오토 포커스가 가능한 촬상 시스템 | |
US8436934B2 (en) | Method for using flash to assist in focal length detection | |
JP2011232544A (ja) | 焦点検出装置 | |
JP5378283B2 (ja) | 撮像装置およびその制御方法 | |
JP2019095480A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2002365524A (ja) | オートフォーカス装置及びそれを用いた撮像装置 | |
JP2018196068A (ja) | ゴースト検出装置及びそれを有する撮像装置 | |
WO2019202984A1 (ja) | 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 | |
JP2006129084A (ja) | 撮像装置及び撮像方法 | |
JP4546781B2 (ja) | 撮像装置及び色ずれ補正プログラム | |
JP2018004904A (ja) | 被写体追尾装置および撮像装置 | |
TW201642008A (zh) | 影像擷取裝置及其動態對焦方法 | |
WO2016181620A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP7022534B2 (ja) | 画像処理装置および画像処理方法 | |
JP2018026604A (ja) | 撮像装置および撮像装置システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |