JP2020039078A - 撮像装置および画像監視システム - Google Patents

撮像装置および画像監視システム Download PDF

Info

Publication number
JP2020039078A
JP2020039078A JP2018166122A JP2018166122A JP2020039078A JP 2020039078 A JP2020039078 A JP 2020039078A JP 2018166122 A JP2018166122 A JP 2018166122A JP 2018166122 A JP2018166122 A JP 2018166122A JP 2020039078 A JP2020039078 A JP 2020039078A
Authority
JP
Japan
Prior art keywords
lens
image sensor
correction
shading correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018166122A
Other languages
English (en)
Inventor
智也 大仲
Tomoya Onaka
智也 大仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018166122A priority Critical patent/JP2020039078A/ja
Priority to US16/554,719 priority patent/US11146734B2/en
Publication of JP2020039078A publication Critical patent/JP2020039078A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

【課題】撮像素子およびレンズの少なくとも一方のレンズの光軸に直交する平面に対する傾斜角度を自由に変更可能であるとともに、シェーディングによる画質劣化を低減可能な撮像装置および画像監視システムを提供すること。【解決手段】撮像装置は、レンズ鏡筒に設けられたレンズを透過した光を受光して撮像信号を生成する撮像素子と、撮像素子およびレンズの少なくとも一方をレンズの光軸に直交する平面に対して傾斜させる駆動手段と、撮像素子およびレンズの少なくとも一方の、平面に対する傾斜角度に基づいて、撮像信号に対してシェーディング補正を行う補正手段と、を有する。【選択図】図17

Description

本発明は、監視カメラ等の撮像装置、およびこれを備える画像監視システムに関する。
ネットワークカメラでは、レンズを通過した入射光を撮像素子で結像させ、画像を取得する。取得された画像において、被写界深度内の被写体の結像状態は良好になり、被写界深度外の被写体の結像状態は不良になる。画素ピッチが小さい撮像素子が搭載されたカメラを使用した場合や、絞りを開放して使用した場合、撮像画面範囲に被写界深度外の撮像範囲が生じやすく、撮像対象の一部分を良好に認識できないおそれがある。このような場合でも、複数のカメラを設置して、いずれかのカメラの被写界深度内に被写体が入っていれば、良好な画像を取得できる。しかしながら、カメラの数を抑制するため、1台のカメラで被写体を良好に認識することが望ましい。したがって、被写界深度が大きいカメラが望まれている。
従来、レンズまたは撮像素子を相対的に傾けて被写界深度を大きくするアオリ撮像機能付きカメラが知られている。アオリ撮像機能を利用することにより、絞りが開放状態でも結像状態を改善できる。しかしながら、アオリ撮像を行うことで、色むらなどのシェーディングが生じてしまう。特許文献1には、光を入射する光学系の光軸に垂直な主面に対して傾いて配置された撮像素子を有し、撮像された画像に発生するシェーディングに対してシェーディング補正を実行する撮像装置が開示されている。
特開2015−216544号公報
しかしながら、特許文献1の撮像装置では、光学系に対する、撮像素子のアオリ角度を自由に変更できるようにした場合、光学特性がアオリ角度、レンズの位置および絞り量などの撮像装置のパラメータによって変化してしまう。そのため、シェーディングが一様に決まらず、画質劣化が生じてしまう。
本発明は、撮像素子およびレンズの少なくとも一方の、レンズの光軸に直交する平面に対する傾斜角度を自由に変更可能であるとともに、シェーディングによる画質劣化を低減可能な撮像装置および画像監視システムを提供することを目的とする。
本発明の一側面としての撮像装置は、レンズ鏡筒に設けられたレンズを透過した光を受光して撮像信号を生成する撮像素子と、撮像素子およびレンズの少なくとも一方をレンズの光軸に直交する平面に対して傾斜させる駆動手段と、撮像素子およびレンズの少なくとも一方の、平面に対する傾斜角度に基づいて、撮像信号に対してシェーディング補正を行う補正手段と、を有することを特徴とする。
本発明によれば、撮像素子およびレンズの少なくとも一方の、レンズの光軸に直交する平面に対する傾斜角度を自由に変更可能であるとともに、シェーディングによる画質劣化を低減可能な撮像装置および画像監視システムを提供することができる。
第1の実施形態に係る撮像装置の一例であるネットワーク監視カメラの分解斜視図である。 撮像素子ユニットが装着されたレンズ鏡筒の縦断面図である。 レンズ鏡筒および撮像素子ユニットの分解斜視図である。 撮像部の斜視図である。 撮像部の縦断面図である。 第1の実施形態に係る画像監視システムのブロック図である。 撮像素子ユニットのアオリ角度がゼロの状態における被写界深度を示す図である。 撮像素子ユニットのアオリ角度がゼロではない状態における被写界深度を示す図である。 各種のパラメータを示す図である。 色シェーディングの説明図である。 輝度シェーディングの説明図である。 色シェーディング補正のサンプルデータ位置の例を示す図である。 色シェーディング補正方法を示す図である。 撮像素子をレンズ鏡筒に対して傾けた場合の部分断面図である。 色シェーディングの入射特性関数の求め方を示す図である。 色シェーディングの特性を表す関数の求め方を示す図である。 第1の実施形態のシェーディング補正処理を示すフローチャートである。 第2の実施形態のシェーディング補正処理を示すフローチャートである。 第3の実施形態のシェーディング補正処理を示すフローチャートである。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
<第1の実施形態>
<撮像装置の概略構成>
図1は、本実施形態に係る撮像装置の一例である、ネットワークに接続されたネットワーク監視カメラ(以下、監視カメラ)1の分解斜視図である。監視カメラ1は、固定カバー2、ドームカバー3、レンズ鏡筒4、撮像素子ユニット5、およびパン・チルト・ローテーションユニット6を有する。
撮像素子ユニット5は、レンズ鏡筒4に取り付けられている。レンズ鏡筒4は、パン方向、チルト方向およびローテーション方向へ回転可能に、パン・チルト・ローテーションユニット6に保持されている。パン・チルト・ローテーションユニット6は、例えば、建物の天井などの定位置に固定されている。ドームカバー3は、レンズ鏡筒4を保護する。ドームカバー3は、固定カバー2に嵌め入れられ、固定カバー2は、複数のビス6Aによって、パン・チルト・ローテーションユニット6に固定されている。このように、ドームカバー3は、固定カバー2とパン・チルト・ローテーションユニット6との間に挟まれて固定されている。以下の説明では、固定カバー2の側(被写体側)を前側とし、パン・チルト・ローテーションユニット6の側(撮像素子側)を後側とする。
ドームカバー3を透過した光は、レンズ鏡筒4を通過し、後述する撮像素子ユニット5の撮像素子ISに受けられることで像を結び、監視カメラ1は映像を撮像できる。本実施形態では、監視カメラ1は、撮像素子ISのアオリ角度(傾斜角度)に応じて、シェーディングの補正値を調整する。監視カメラ1は、下方向を撮像するように設置されることが多い。以下の説明では、アオリ撮像のためのレンズ鏡筒4に対する撮像素子ISの傾斜方向を、地面に対して平行な軸(アオリ軸)を中心として回転する方向(以下、アオリ方向と呼ぶ)とする。なお、監視カメラ1の撮像方向は、他の方向でもよい。また、アオリ撮像のための撮像素子ISの傾斜方向はアオリ方向には限定されず、レンズ鏡筒4の光軸に直交する平面のうちアオリ軸に直交する軸を中心とする回転方向であってもよい。また、本実施形態では、アオリ撮像のため撮像素子ISがレンズ鏡筒4に対して傾斜するが、レンズ鏡筒4が撮像素子ISに対して傾斜してもよい。
<レンズ鏡筒の構成>
図2は、撮像素子ユニット5が装着されたレンズ鏡筒4の縦断面図である。図3は、レンズ鏡筒4および撮像素子ユニット5の分解斜視図である。
図2に示されるように、レンズ鏡筒4は、前側から後側に順に、第1レンズ群L1、第2レンズ群L2、第3レンズ群L3、第4レンズ群L4および第5レンズ群L5を有する。第1レンズ群L1〜第5レンズ群L5は、撮像光学系を構成する。第1レンズ群L1は、光軸OAに沿った方向(光軸方向)において固定されている。第2レンズ群L2は、光軸方向へ移動することで変倍動作(ズーミング)を行う。第3レンズ群L3は、光軸方向において固定されている。第4レンズ群L4は、光軸方向へ移動することで合焦動作(フォーカシング)を行う。第5レンズ群L5は、光軸方向において固定されている。
本実施形態では、第1レンズ群L1は2つのレンズL11,L12を有し、第2レンズ群L2、第3レンズ群L3、第4レンズ群L4および第5レンズ群L5はそれぞれ、1つのレンズを有する。ただし、各レンズ群を構成するレンズの数は本実施形態の数に限定されない。また、レンズ群の数も本実施形態の数に限定されない。
第5レンズ群L5の後側には、光学フィルタOFおよび撮像素子ISが配置されている。光学フィルタOFは、例えば、IRカットフィルタまたはローパスフィルタであり、光軸方向において固定され、特定の波長域の光線を透過、遮光、または減衰する。撮像素子ISは、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはCCD(Charge−Coupled Device)イメージセンサなどの光電変換素子である。撮像素子ISは、撮像光学系を介して形成された光学像を光電変換し、撮像信号を生成する。
図3に示されるように、レンズ鏡筒4は、第1鏡筒12、第2鏡筒21、第3鏡筒32、第4鏡筒41および第5鏡筒51を有する。第5鏡筒51には、撮像部76が固定されている。
第1鏡筒12は、第1レンズ群L1を保持する。
第2鏡筒21は、第2レンズ群L2を保持する。第2鏡筒21には、スリーブ部22とU字溝23が設けられている。ガイドバー24は、スリーブ部22に挿入され、第1鏡筒12および第5鏡筒51に支持されている。これにより、第2鏡筒21は、光軸方向へ移動可能に支持される。ガイドバー25は、U字溝23に挿入され、第1鏡筒12および第3鏡筒32に支持されている。これにより、第2鏡筒21のガイドバー24を中心とした回転が規制される。
第2鏡筒21には、ラック部材26が取り付けられている。ラック部材26は、ステッピングモータ54の回転軸に固定されたスクリューに噛み合っている。したがって、第2鏡筒21は、ステッピングモータ54の回転軸の回転に伴って、ラック部材26とともに光軸方向へ移動する。
第3鏡筒32は、第3レンズ群L3を保持し、第1鏡筒12と第5鏡筒51との間で挟持されている。第3鏡筒32には、絞りユニット(光量調節手段)31が固定されている。絞りユニット31は、レンズ鏡筒4を通過する光量を調節する。絞りユニット31の絞り羽根(図示せず)を駆動して、開口径を変化させることで、絞り値が制御される。
第4鏡筒41は、第4レンズ群L4を保持する。第4鏡筒41には、スリーブ部42とU字溝43が設けられている。ガイドバー45は、スリーブ部42に挿入され、第1鏡筒12と第5鏡筒51に支持されている。これにより、第4鏡筒41は、光軸方向へ移動可能に支持される。ガイドバー46は、U字溝43に挿入され、第3鏡筒32と第5鏡筒51に支持されている。これにより、第4鏡筒41のガイドバー45を中心とした回転が規制される。
第4鏡筒41には、ラック部材44が取り付けられている。ラック部材44は、ステッピングモータ55の回転軸に固定されたスクリューに噛み合っている。したがって、第4鏡筒41は、ステッピングモータ55の回転軸の回転に伴って、ラック部材44とともに光軸方向へ移動する。
第5鏡筒51は、第5レンズ群L5を保持し、ビス11によって第1鏡筒12に固定されている。第5鏡筒51には、ステッピングモータ54,55および不図示のFPC(フレキシブルプリント基板)56が固定されている。
FPC56には、フォトインタラプタ52,53が半田付けで固定されている。FPC56は、絞りユニット31、ステッピングモータ54,55およびフォトインタラプタ52,53に電気的に接続されている。FPC56からの通電によって、絞りユニット31、ステッピングモータ54,55およびフォトインタラプタ52,53を起動することができる。
フォトインタラプタ52は、第2鏡筒21および第2レンズ群L2の位置を計測して、第2鏡筒21を移動させるステッピングモータ54を制御するために設けられている。フォトインタラプタ52は、第2鏡筒21の移動領域上に配置されている。フォトインタラプタ52の出力を参照してステッピングモータ54の駆動パルス数を制御することで、第2鏡筒21の位置を制御することができる。
フォトインタラプタ53は、第4鏡筒41および第4レンズ群L4の位置を計測して、第4鏡筒41を移動させるステッピングモータ55を制御するために設けられている。フォトインタラプタ53は、第4鏡筒41の移動領域上に配置されている。フォトインタラプタ53の出力を参照してステッピングモータ55の駆動パルス数を制御することで、第4鏡筒41の位置を制御することができる。
撮像部76は、撮像素子アオリベース61、ステッピングモータ(駆動手段)63および撮像素子ユニット5を有する。チルトベース61は、第5鏡筒51に固定されている。撮像素子ユニット5は、撮像素子ホルダ70、光学フィルタOF、フィルタホルダ72、撮像素子IS、撮像素子固定プレート73およびセンサFPC75を有する。アオリ撮像のために、撮像素子ユニット5は、光軸OAに対しアオリ方向へ傾斜可能に、撮像素子アオリベース61によって支持されている。
以下、図3から図5を参照して、撮像部76について詳細に説明する。図4および図5はそれぞれ、撮像部76の斜視図および縦断面図である。
光学フィルタOFは、撮像素子ホルダ70に対して固定されている。具体的には、光学フィルタOFは、ゴム製のフィルタホルダ72に保持されている。撮像素子ISは、接着剤によって板金製の撮像素子固定プレート73に固定されている。フィルタホルダ72を撮像素子ホルダ70に接触させた状態で、撮像素子固定プレート73を撮像素子ホルダ70に固定することで、フィルタホルダ72は、撮像素子ホルダ70と撮像素子固定プレート73との間に挟持される。このような構造により、光学フィルタOFおよび撮像素子ISは、撮像素子ホルダ70に対して定位置に取り付けられる。
撮像素子ISは、回路基板74に半田付けされて、回路基板74上の回路に電気的に接続されている。回路基板74には、センサFPC75が接合されている。回路基板74は、センサFPC75上の配線を通じて、上述したFPC56に電気的に接続される。
撮像素子ホルダ70は、同心の2つの軸70Aを有する。撮像素子ホルダ70は、軸70Aを中心にして、撮像素子アオリベース61に対して、アオリ方向へ回転可能である。したがって、撮像素子ホルダ70に取り付けられた撮像素子ISも軸70Aを中心にして、撮像素子アオリベース61ひいてはレンズ鏡筒4に対して、アオリ方向へ回転可能である。このように、撮像素子ISがレンズ鏡筒4に対して傾くことにより、監視カメラ1はアオリ撮像を行うことができる。
より具体的には、撮像素子ホルダ70の一方の軸70Aは、撮像素子アオリベース61に支持された軸受62に支持され、他方の軸70Aは、撮像素子アオリベース61に固定された軸受ホルダ68に支持された軸受67に支持されている。ウェーブワッシャ65および軸受ワッシャ66は、撮像素子ホルダ70と軸受67との間に配置され、軸70Aの軸線方向へ撮像素子ホルダ70を付勢している。
また、撮像素子アオリベース61には、ステッピングモータ63が固定されている。ステッピングモータ63の回転軸には、ウォームギア64が圧入等によって固定されている。撮像素子ホルダ70には、噛み合い部71が一体的に設けられている。噛み合い部71は、ウォームギア64と噛み合っている。ステッピングモータ63には、FPC56が電気的に接続されている。通電によってステッピングモータ63がウォームギア64を回転させることで、噛み合い部71を移動させる。このように、ステッピングモータ63の回転に伴って、噛み合い部71が移動すると、撮像素子ユニット5は、軸70Aを中心として、光軸に対し傾斜させられる。
撮像素子アオリベース61と撮像素子ホルダ70との間には、金属製の引っ張りバネ69が架け渡されている。引っ張りバネ69は、図5において、反時計方向の付勢力を撮像素子ホルダ70に与えている。噛み合い部71が前進させられた場合、噛み合い部71は、引っ張りバネ69の付勢力に抗して、撮像素子ホルダ70を図5において時計方向へ回転させる。
噛み合い部71が後退させられた場合、撮像素子ホルダ70は、図5において反時計方向へ回転させられる。噛み合い部71とウォームギア64との間には、バックラッシが存在する。しかしながら、引っ張りバネ69は反時計方向の付勢力を撮像素子ホルダ70に与えているため、噛み合い部71が後退させられる場合、撮像素子ホルダ70は噛み合い部71の後退に応じて迅速に回転する。そのため、噛み合い部71の後退時、撮像素子ホルダ70のチルト動作の応答性が高い。
なお、金属製の引っ張りバネ69の代わりに、ゴムなどの弾性材料から形成された引っ張り部材を使用してもよい。
撮像素子アオリベース61には、不図示のフォトインタラプタ(計測手段)77が固定されている。フォトインタラプタ77は、撮像素子ホルダ70ひいては撮像素子ISのアオリ角度を計測し、撮像素子ホルダ70を傾斜させるステッピングモータ63を制御するために設けられている。フォトインタラプタ77は、撮像素子ホルダ70の移動領域上に配置され、撮像素子ホルダ70に設けられた不図示の被検出片78の位置を検出する。被検出片78の位置が撮像素子ホルダ70の初期のアオリ基準角度である。フォトインタラプタ77の出力を参照してステッピングモータ63の駆動パルス数を制御することで、撮像素子ホルダ70のアオリ角度を制御できる。
<画像監視システムの制御系統>
図6は、本実施形態に係る画像監視システム100のブロック図である。撮像素子ISは、レンズ鏡筒4によって結像された光を電気信号に変換し、画像処理回路103に伝送する。制御回路104は、レンズ鏡筒4、撮像素子ユニット5、パン・チルト・ローテーションユニット6、撮像素子ISおよび画像処理回路(補正手段)103の動作を制御し、画像処理回路103から出力された画像の保存または転送を行う。記憶部105は、画像処理回路103や制御回路104の処理に必要なデータを保存するとともに、処理後の画像も保存する。
撮像素子ISは、2色以上のカラーフィルタを備える。本実施形態では、撮像素子ISは、赤(R)、緑(G)および青(B)のカラーフィルタを備え、イメージをRGBそれぞれの電気信号に変換して出力する。レンズ鏡筒4は、制御回路104からの信号により、ズーム倍率、絞り量およびフォーカス位置を制御される。撮像素子ユニット5は、制御回路104からの信号により、レンズ鏡筒4に対するアオリ角度θtを制御される。
画像処理回路103は、撮像素子ISからの信号に対して補正処理を行う補正回路部分と、補正後の信号を現像処理して保存または転送するための形式に変換する現像処理回路138とを有する。補正回路部分は、色シェーディング補正回路131、画像の周辺部分が暗くなることを補正するための輝度シェーディング補正回路132およびホワイトバランスを調整するためのホワイトバランス調整回路133などを有する。制御回路104は、画像信号や画像処理回路103の処理結果、またはユーザーからの指示をもとに、撮像素子IS、レンズ鏡筒4および画像処理回路103の動作を制御する。
また、制御回路104は、画像処理回路103から出力された画像を記憶部105に保存するとともに、ネットワーク通信部104aを通して外部のネットワークに画像やデータを転送する。
操作ユニット(監視装置)102は、表示部134、操作ユニットCPU135および操作部136を備え、通信回路(通信手段)137を介して監視カメラ1に通信可能に接続されている。表示部134は、例えば、ディスプレイ装置である。表示部134は、制御回路104を介して取得された画像処理回路103で処理された画像(監視カメラ1で撮像された映像)、および操作ユニット102の操作者(オペレータ)の操作を案内する画像を表示する。通信回線137は、例えば、専用回線または公衆通信網であり、制御回路104と操作ユニット102とを有線または無線で接続している。
操作部136は、マンマシンインタフェースである。操作部136を操作することで、監視カメラ1のパン・チルト・ローテーション動作、第2レンズ群L2や第4レンズ群L4の駆動動作、撮像素子ユニット5のアオリ動作、および絞りユニット31の絞り羽根の駆動動作に関する指令を入力可能である。
操作ユニットCPU135は、操作部136からの入力に応じて指令信号を生成し、指令信号を制御回路104に供給する。したがって、操作者は、監視カメラ1で撮像された映像を表示部134によって確認しながら、操作部136を操作して、所望の撮像条件で被写体を撮像できる。操作ユニットCPU135は、不図示のROMなどの記憶媒体に記憶されたプログラムを実行することで各種の機能動作を実行する。
<被写界深度とアオリ角度の関係>
図7から図9を参照して、監視カメラ1の被写界深度とアオリ角度との関係について説明する。
図7は、撮像素子ユニット5のアオリ角度θtがゼロの状態における被写界深度を示す図である。レンズ主面140、撮像素子面141Aおよび合焦面142Aは、全て平行となっている。また、被写界深度範囲143Aは、網目で示された領域であって、合焦面142Aに平行な、後方境界144Aおよび前方境界145Aを有する。
図8は、撮像素子ユニット5のアオリ角θtがゼロではない状態における被写界深度を示す図である。シャインプルーフの法則より、レンズ主面140、撮像素子面141Bおよび合焦面142Bが1つの直線146Bで交わっている(直線146Bは、図の紙面に対する垂直方向に延びている)。被写界深度範囲143Bは、網目で示された領域であって、直線146Bで交わる、後方境界144Bおよび前方境界145Bを有する。
図9は、各種のパラメータを示す図である。本実施形態では、レンズ鏡筒4の現在のチルト角度をθa、撮像素子ユニット5の現在のアオリ角度をθt、被写体距離をD、撮像半画角をω、レンズ焦点距離をf、アオリ角度θtがゼロの状態の後方被写界深度および前方被写界深度Df,Dnとする。
後方被写界深度Dfおよび前方被写界深度Dnはそれぞれ、以下の式(1)および式(2)により算出される。
ここで、δは監視カメラ1の許容錯乱円径であり、Fは絞り値である。
光軸OAと直線146Bの距離T、光軸OAと前方境界145Bとのなす角θbおよび光軸OAと後方境界144Bとのなす角θcはそれぞれ、以下の式(3)から(5)により算出される。
後方境界144Bと画界の交点P1と、光軸OAと合焦面142Bの交点との間の水平距離Dfsおよび前方境界145Bと画界の交点P2と、光軸OAと合焦面142Bの交点との間の水平距離Dnsはそれぞれ、以下の式(6)および(7)により算出される。
アオリ角度θtが変化すると、撮像素子ユニット5のアオリ角度θtがゼロではない状態の水平距離Dfs,Dnsも変化する。
<撮像素子のアオリ角度に対応した、シェーディング補正の方法>
本実施形態のシェーディング補正の方法について説明する。本実施形態におけるシェーディングとは、色シェーディングと輝度シェーディングを含む概念である。
図10は、色シェーディングの説明図である。図10(a)は、撮像素子ISの撮像面を示している。図10(b)−図10(d)はそれぞれ、均一白色面撮影時の撮像素子ISの中央、画面端および両端の各信号強度および正規化された値を示している。色シェーディングとは、均一な輝度を有する面を撮像した場合に撮像素子ISから出力される各色信号の強度比が撮像素子ISの場所によって異なっている現象である。色シェーディングが発生すると、撮像された画像に色むらが発生してしまう。色シェーディングが発生する要因として、撮像素子IS内の画素の位置によって、光線の入射方向分布が異なるため、撮像素子IS上の画素ごとに配置されるマイクロレンズでは斜め方向からの光が十分集光されず、受光部に光が届かないことが挙げられる。また、他の要因として、受光部自体が画素の中央に配置されず片側に寄った構造になることも挙げられる。レンズの条件(ズーム位置や絞り条件など)によっても光線の入射方向分布が変わるため、色シェーディングはレンズの条件によっても変化する。
図11は、輝度シェーディングの説明図である。図11(a)は、撮像素子ISの撮像面を示している。図11(b)は、均一白色面撮影時の信号強度を示している。輝度シェーディングとは、周辺光量落ちとも呼ばれ、レンズの条件(ズーム位置や絞り条件など)によって生じ、均一な輝度を有する面を撮像した場合に、レンズ鏡筒4の光軸OAから離れるほど、輝度が低下する現象である。輝度シェーディングは、広角レンズ、またはズームレンズの広角側で著しくなる傾向があり、また、絞り開放での落ち量が大きくなる傾向がある。この現象は、レンズ径よりも外径を通る光束がレンズ鏡筒4によって遮られてしまう口径食が要因の1つとして引き起こされる。また、光束が斜めから入射することによって減光してしまうこと(cos4乗則)も要因の1つである。
以下、色シェーディング補正回路131の補正方法について説明する。図12は、色シェーディング補正のサンプルデータ位置の例を示す図である。以下の説明では、代表例として1つの信号に対する処理について説明するが、実際にはR信号、G信号およびB信号のそれぞれに対する処理が行われる。本実施形態では、均一白色面を撮影した撮像素子ISの各色信号から図12(a)に示されるように、H方向およびV方向の中央にそれぞれM点およびN点ずつサンプリングする。取得されたサンプリングデータ形状を表す関数をff(x)およびgg(y)(xおよびyはそれぞれ、H方向およびV方向の位置)とすると、色シェーディング強度関数H(x,y)は以下の式(8)で表される。
取得されたサンプリングデータ形状次第では、色シェーディング強度関数H(x,y)は、以下の式(9)で表される。
関数ff(x),gg(y)を取得するためのサンプリングについては、ショットノイズなどの影響を抑えるため、サンプリング点付近のデータを平均化した値をサンプリングデータとして用いる。平均化する画素数は多いほどショットノイズの影響等を抑えられるが、位置分解能が低下し、平均化に要する時間も増大する。そのため、サンプリング点を中心として、数十〜数千画素分の平均を取ることが望ましい。
サンプリング点数を多くすれば、より精度よく色シェーディングの形状を抽出できるので、色シェーディング補正も正確に行える。しかしながら、サンプリング時の計算や形状の算出に時間が掛かるため、数を増やし過ぎると管理コストの増大につながる。また、形状が単純な関数である場合、特に形状が一様な傾きを持つ場合、サンプリング数を増やしても色シェーディングの補正精度はそれほど向上しない。
例えば、図12(b)に示される同心円形状の色シェーディングがある場合、色シェーディングの形状を表す多項式関数(ここでは4次関数とする)は以下の式(10)で近似される。定数a−eは、各平均値との差分が最小になるように、例えば、最小二乗法を用いて求められる。
また、例えば、図10(d)に示される一様な傾きを持つ形状の色シェーディングがある場合、色シェーディングの形状を表す関数ff(x)は以下の式(11)で近似される。定数a’,b’は、各平均値との差分が最小になるように、例えば、最小二乗法を用いて求められる。
このように、サンプリング点数を減らし、色シェーディングの形状を表す関数を一次関数で近似することで、計算時間を短縮化することができる。一般的に色シェーディングの形状は、同心円形状および傾きを持つ形状のいずれか、または両者の合成になる。そのため、まず、撮像素子ISのH方向またはV方向の両端部および中央部におけるサンプリングデータS1,S2,Scを取得して比較を行う。図12(b)に示されるように、S1<ScかつS2<Scかつ|S1−S2|<ε1である場合、色シェーディングの形状は同心円形状と推定される。また、図12(c)に示されるように、S1<Sc<S2かつ|1−(S2+S1)/2Sc|<ε2、またはS2<Sc<S1かつ|1−(S2+S1)/2Sc|<ε2の場合、色シェーディングの形状は一様な傾きを持つ形状と推定される。ここで、ε1,ε2は一定値である。色シェーディングの形状が一様な傾きを持つ形状と推定された場合、サンプリングデータS1,S2,Scのみを用いる。また、色シェーディングの形状が同心円形状と推定された場合またはどちらとも推定されなかった場合、サンプリングを行う点を追加して読み出す。このように、色シェーディングの形状を抽出してその形状に応じたサンプリングをすることで、効率的に色シェーディングの補正値を求めることができる。サンプリングを行う点を追加する場合は、サンプリングデータの数が多い分ショットノイズの影響を受けにくくなるため、平均化の画素数を始めよりも少なくしてもよい。ここではff(x)のみについて述べたが、gg(x)についても同様に求めることができる。
式(8)や式(9)によって、色シェーディング強度関数H(x,y)が求まった後、撮像素子IS上の各位置での色シェーディング補正値J(x,y)は以下の式(12)で算出される。
図13は、色シェーディング補正方法を示す図である。図13(a)および図13(b)はそれぞれ、補正前および補正後の信号強度および正規化された値を示している。まず、図13(a)の上側グラフのように得られた各色信号について式(12)を用いて、色シェーディング補正値を求める。その後、各色信号の出力値が画面内の所定値に揃うように、色信号に対して補正値を乗算することで、図13(a)の上側のグラフが図13(b)の上側のグラフのようになる。これにより、画面内の場所に依らずに色信号の強度比が一定となる。そして、Gに対する強度比を中央で規格化することで、図13(b)の上側のグラフが図13(b)の下側のグラフのようになり、色シェーディングを補正できる。その後、取得されたRGBの色シェーディング補正値を、画素位置(x,y)の関数として記憶部105に記憶することで、色シェーディング発生時に図13(b)の下側グラフように色シェーディングを低減できる。
ただし、レンズ鏡筒4がズームレンズである場合や絞りユニット31を有する場合、撮像素子ISのアオリ角度θt、ズーム位置および絞り量によって色シェーディングの度合いが変化する。そのため、撮像素子ISのアオリ角度θt、ズーム位置および絞り量に応じた色シェーディングの補正値を算出しておく必要がある。各パラメータについて、取りうる値を設定しながら、色シェーディング補正値をサンプリングすることで、色シェーディングをより低減できる。
特に、図12のV方向が軸70Aの方向と同一である場合、関数ff(x)をアオリ角度θtに応じた関数ff(x,θt)とすることで、関数gg(y)はそのままで色シェーディング強度関数H(x,y)を各アオリ角度θtに対応させて計算できる。その結果、記憶部105に保存するデータ量を削減できる。
以下、アオリ角度θtに関する色シェーディング補正値を、全ての変数(ズーム位置や絞り量など)についてデータとして記憶部105に記憶せず、撮像素子ISが傾いた場合の補正値を換算して求める方法について説明する。データとして記憶しないことで、事前に全てのアオリ角度θtについて色シェーディング補正値を計測することなく利用できるため、色シェーディングを測定する工程を削減できる。
図14は、撮像素子ISをレンズ鏡筒4に対して傾けた場合の部分断面図である。図14(a)−図14(c)はそれぞれ、撮像素子ISのアオリ角度θtが0,θs,−θsの場合を示している。
図14(a)に示されるように、撮像素子ISのアオリ角度θtが0である場合の撮像素子ISの上端に届く主光線147Uに対応する画素への入射角をαとする。このとき、図14(b)に示されるように、撮像素子ISのアオリ角度θtがθsである場合の撮像素子ISの上端に届く主光線147Uに対応する画素への入射角は、「α+θs」で表される。また、撮像素子IS下端に届く主光線147Lに対応する画素への入射角は、「α−θs」で表される。
図14に記載の射出瞳距離L0と図13のグラフの各画素の光軸からの距離とを用いて、図13のグラフの横軸を各画素への入射角のグラフに変換することができる。例えば、図14(a)において、撮像素子ISの上端に届く主光線147Uに対応する画素と光軸との距離をK0とすると、以下の式(13)を用いて、図13(a)のグラフを図15(a)のグラフに変換することができる。
式(13)と同様な計算を各画素について行うことで、撮像素子ISの各画素への入射角と色シェーディング量の関係をグラフ化できる。すなわち、色シェーディングの入射角特性FFを算出できる。ここで、図15に記載のαX、αYは、式(13)を用いて変換された図13に記載のXとYに対応する角度である。
前述したように、一般的に色シェーディングの形状は、同心円形状および傾きを持つ形状のいずれか、または両者の合成になる。したがって、撮像素子ISがどのパターンに当てはまるかを事前に計測し、補正式を算出することで、撮像素子ISのアオリ角度がθsである場合の色シェーディングの補正値を算出できる。
また、色シェーディングが、アオリ角度θtが0である軸に対称性を持つ場合、アオリ角度θtがθsである場合の色シェーディングの補正値をアオリ角度θtが−θsである場合の色シェーディングの補正値として使用可能である。例えば、図14(c)において、アオリ角度θtが−θsである場合、撮像素子ISの上端に届く主光線147Uに対応する画素への入射角は、「α−θs」で表される。また、撮像素子ISの下端に届く主光線147Lに対応する画素への入射角は、「α+θs」で表される。前述したように、図14(b)において、撮像素子ISの上端に届く主光線147Uに対応する画素への入射角は「α+θs」と表され、撮像素子ISの下端に届く主光線147Lに対応する画素への入射角は「α−θs」と表される。そのため、図14(b)における色シェーディング補正値を、図14(c)における色シェーディング補正値として使用可能である。
色シェーディングの入射角特性FFが縦軸(相対出力軸)に対称の場合(FF(x)=FF(−x)の場合)、かつアオリ角度θtがθsである場合について説明する。このとき、上端側の画素の入射角は「FF(θs+α)」、下端側の画素の入射角は「FF(θs−α)」となる。また、アオリ角度θtが−θsである場合、上端側の画素の入射角は「FF(−(θs−α))=FF(θs−α)」、下端側の画素の入射角は「FF(−(θs+α))=FF(θs+α)」となる。アオリ角度θtがθsである場合の色シェーディングの補正値があれば、アオリ角度θtが−θsである場合の色シェーディングの補正値を取得可能である。したがって、色シェーディングの補正値のデータ数を削減できる。この際、基本的にはアオリ角度θt以外の変数(ズーム位置や絞り量など)は同じとする。
また、色シェーディングの入射角特性FFが切片b(縦軸との交点)に対称の場合(FF(−x)=−FF(x)+2bを満たす場合)、かつアオリ角度θtが−θsである場合について説明する。このとき、上端側の画素の入射角は「FF(−(θs−α))=−FF(θs−α)+2b」、下端側の画素の入射角は「FF(−(θs+α))=−FF(θs+α)+2b」となる。したがって、アオリ角度θsと切片bがわかれば、アオリ角度−θsの補正値を取得可能である。
また、色シェーディングの入射角特性FFが最大となるときのアオリ角度θtの値βの直線に対称の場合(FF(x)=FF(x−β)を満たす場合)、かつアオリ角度θtが−θsである場合について説明する。このとき、上端側の画素の入射角は「FF(θs−β+α)=FF(θs+α)」、下端側の画素の入射角は「FF(θs−β−α)=FF(θs−α)」となる。したがって、アオリ角度θsと値βがわかれば、アオリ角度θs−βの補正値を取得可能である。
また、撮像素子ISのアオリ角度θtの絶対値が大きくなるにつれて、アオリ角度θtによる、色シェーディングへの影響が大きくなる傾向がある。例えば、図15では、入射角がαX、αYに近づくことで信号強度が下がることが分かる。そのため、アオリ角度θtの基準角度からの大きさが大きくなるにつれて、色シェーディングの補正値のテーブルまたは補正式の数を多くしておくことが望ましい。ここで、基準角度とは、色シェーディングの形状が同心円状である場合は、頂点におけるアオリ角度であり、色シェーディングの形状が一次関数であれば、原点に対応するアオリ角度である。具体的には、基準角度に対して第1の角度の大きさを有する第1のアオリ角度に対応するテーブルまたは補正式の数を、基準角度に対して第1の角度より小さい第2の角度の大きさを有する第2のアオリ角度に対応するテーブルまたは補正式の数以上にすることで、色シェーディングによる影響をより低減できる。
このように、色シェーディングの入射角特性FFを算出することで、工程を増やすことなく、色シェーディングの補正値を算出できる。
図16は、色シェーディングの特性を表す関数の求め方を示す図である。図16に示されるように、図13(a)のグラフをアオリ角度θtに合わせて、色シェーディングの特性を表す関数Q(θt)だけ横軸方向へずらすことで、関数ff(x,θt)を求めてもよい。例えば、アオリ角度θtの値が1画素分のズレである場合、関数Q(θt)は1画素分の位置の移動となることを示している。
以下、輝度シェーディング補正回路132による輝度シェーディング補正について説明する。輝度シェーディング補正は、記憶部105に保存された白一面画像撮影時の画像の各部の出力レベルと画像中心部の出力レベルとの比である補正係数を、画像データに乗算することでなされる。例えば、図11のA部の輝度シェーディング補正の補正係数Naは、白一面撮影時の画像中心部の出力レベルをOc、白一面撮影時のA部の出力レベルをOaとするとき、以下の式(14)で表される。
最終的に本撮影された画像データのA部の出力に補正係数Naを乗算する。このように、画像位置ごとの画像データに対して、画像位置に応じた補正係数を乗算することで、輝度シェーディング補正がなされる。
輝度シェーディング量は、撮像素子ISのアオリ角度θt、ズーム位置および絞り量等でも変わることから、撮像素子ISのアオリ角度θt、ズーム位置および絞り量ごとの輝度シェーディングデータが記憶部105に格納される。制御回路104は、現在の撮像素子ISのアオリ角度θt、ズーム位置および絞り量に基づいた、対応する輝度シェーディング補正データを記憶部105から出力されるように制御する。輝度シェーディング補正回路132で輝度シェーディング補正された画像データは、輝度シーディングの無い画像として信号処理されて出力される。
また、輝度シェーディングについても、アオリ角度θtでの補正値を算出する方法について説明する。輝度シェーディングについては、画素ごとに算出または計測された係数N’(θt)をアオリ角度θtが0のときの補正値に乗算することで補正してもよい。例えば、シェーディング発生の主要因が周辺光量落ちである場合、シェーディングはcos4乗則に従う。撮像素子ISのアオリ角度θtが0である場合の図14(a)での上端側の画素への入射角をαとすると、図14(b)での撮像素子ISのアオリ角度θtだけ傾いた画素への入射角は「α+θt」となる。以下の式(15)で算出される係数N’(θt)をアオリ角度θtが0のときの上端側の画素の信号強度に乗算することで、アオリ角度θtでの輝度シェーディングの補正を行うことができる。
同様に、各画素に対応する入射角ごとに係数N’(θt)を算出し、アオリ角度θtが0である場合の各画素の信号強度に乗算することで、アオリ角度θtのときの輝度シェーディングの補正することが可能である。
ここまで具体的なシェーディングの補正方法について説明したが、色シェーディングとともに輝度シェーディングが同時に発生する場合があり、各色の信号強度に影響している場合がある。このため、事前に輝度シェーディングを一律に補正し、信号強度への影響を抑えることで色シェーディングの補正値をより効果的に求められる。
実際に撮像装置の色シェーディングを補正する場合、均一白色面を作成するのは難しく、ムラが出来てしまうことがある。そのため、性能とコストの兼ね合いから、例えば各信号の強度比が許容値以内であれば色シェーディングを補正しない、といった場合もある。
<撮像素子ISのアオリ角度に対応するシェーディング補正の処理フロー>
図17を参照して、本実施形態の撮像素子ISのアオリ角度θtに対応するシェーディング補正処理について説明する。図17は、本実施形態のシェーディング補正処理を示すフローチャートである。シェーディング補正処理は、動画像の撮像の処理と並行して実行される。
ただし、変更前のアオリ角度θt、レンズの配置および絞り量は記憶部105に事前に記憶されており、変更後の値もその値を記憶していることとする。また、撮像素子ISからのRGB信号は絶えず記憶されているものとする。本処理は、アオリ角度θtを変更する指令値が入力された時点で開始され、各シェーディングの補正値を設定し終えた時点で終了する。
ステップS701では、制御回路104は、撮像素子ISのアオリ角度θtを取得する。
ステップS702では、制御回路104は、アオリ角度θtが所定角度θ1より大きく、所定角度θ2より小さい角度である(「θ1<θt<θ2」を満足する)かどうかを判定する。アオリ角度θtが「θ1<θt<θ2」を満足する場合、ステップS703に進み、満足しない場合、ステップS704に進む。
ステップS703では、制御回路104は、まず、レンズの配置および絞り量に基づく色シェーディングの補正値を記憶部105から呼び出す。次に、制御回路104は、色シェーディング補正回路131に撮像素子ISの各画素に対応する色シェーディングの補正値を設定する。
ステップS704では、制御回路104は、まず、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく色シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、色シェーディング補正回路131に撮像素子ISの各画素に対応する色シェーディングの補正値を設定する。
ステップS705では、制御回路104は、アオリ角度θtが所定角度θ3より大きく、所定角度θ4より小さい角度である(「θ3<θt<θ4」を満足する)かどうかを判定する。アオリ角度θtが「θ3<θt<θ4」を満足する場合、ステップS706に進み、満足しない場合、ステップS707に進む。
ステップS706では、制御回路104は、まず、レンズの配置および絞り量に基づく輝度シェーディングの補正値を記憶部105から呼び出す。次に、制御回路104は、輝度シェーディング補正回路132に撮像素子ISの各画素に対応する輝度シェーディング補正値を設定する。
ステップS707では、制御回路104は、まず、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく輝度シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、輝度シェーディング補正回路132に撮像素子ISの各画素に対応する輝度シェーディングの補正値を設定する。
なお、本実施形態では、シェーディング補正において、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく演算テーブルが用いられる。また、該当パラメータに基づく演算テーブルを持たず、他の演算パラメータから推定値を計算した演算テーブルを用いてもよい。
撮像素子ISのアオリ角度θt、レンズの配置および絞り量を変化させた際のシェーディング量が小さい場合、画質低減に寄与しない領域がある。例えば、アオリ角度θtによるシェーディング量の増減が数%であればよい、という許容値を設定する場合、角度θ1−θ4はそれに対応する数値を指定すればよい。
また、本実施形態では、「θ1<θt<θ2」および「θ3<θt<θ4」の範囲以外、撮像素子ISのアオリ角度θtに対応するシェーディング補正を行う。しかしながら、撮像素子ISのアオリ角度θtが大きくなるにつれて、シェーディングムラが発生し、シェーディング補正を行わない方がよいという領域が発生する場合がある。このような場合、「θ1<θt<θ2」の範囲だけでなく、「θ5<θt<θ6」の範囲でも撮像素子ISのアオリ角度θtに対応するシェーディングを行わないようにしてもよい。
また、ステップS702やステップS705において、不等式として、「<(小なり記号)」を用いたが、少なくとも一方が「≦(小なりイコール記号)」であってもよい。また、アオリ角度θtを考慮したシェーディング補正が「θ1<θt<θ2」および「θ3<θt<θ4」の範囲内で行われてもよい。
また、本実施形態では、全ての画素に対して、シェーディング補正を行うが、本発明はこれに限定されない。
また、輝度シェーディングに関する係数N’(θt)は、光軸OAから各画素の距離を変数として、同心円状に変化する値としてもよい。
本実施形態では、ステッピングモータ63の入力パルスにてアオリ角度θtに移動させる構成について説明したが、監視カメラ1は撮像素子ISのアオリ角度θtを計測する角度エンコーダを有してもよい。また、ステッピングモータ63の代わりに、人が回すためのハンドルを付けてもよく、その場合、角度エンコーダで取得した角度に応じて、シェーディング補正を行えばよい。
<第2の実施形態>
本実施形態では、温度変化時に撮像素子ISとレンズ鏡筒4との距離が変化する監視カメラ1の、シェーディング補正方法について説明する。監視カメラ1および画像監視システムの構成は、第1の実施形態と同じであるため、詳細な説明は省略する。
本実施形態では、簡単のため、図14のレンズ鏡筒4の位置に対して、光軸方向にのみ撮像素子ユニット5が温度膨張または収縮する場合について説明する。しかしながら、レンズ鏡筒4の位置が光軸方向へずれ、レンズ鏡筒4からの主光線147U、147M、147Lの入射角自体が変化する場合や撮像素子ユニット5が光軸OAと垂直な平面内を移動する場合にも本発明を適用することは可能である。
本実施形態では、撮像素子ユニット5の軸70Aから撮像側に最も近いレンズ鏡筒4の保持位置をL1とする。また、軸70Aとレンズ鏡筒4との間に使用される部材の光軸方向の線膨張係数をm、撮像素子ISの撮像面方向の線膨張係数をn、シェーディング補正用のデータを作成または計測したときの温度をT0とする。また、レンズ鏡筒4には、例えば、熱電対があり、レンズ鏡筒4や撮像素子ユニット5の温度を計測できる。
以下、図18を参照して、本実施形態の撮像素子ISのアオリ角度θtに対応するシェーディング補正処理について説明する。図18は、本実施形態のシェーディング補正処理を示すフローチャートである。シェーディング補正処理は、動画像の撮像の処理と並行して実行される。
ただし、アオリ角度θt、レンズの配置および絞り量は記憶部105に事前に記憶されており、変更後の値もその値を記憶していることとする。また、撮像素子ISからのRGB信号は絶えず記憶されているものとする。本処理は、アオリ角度θtを変更する指令値が入力された時点で開始され、各シェーディングの補正値を設定し終えた時点で終了する。
ステップS801では、制御回路104は、記憶部105またはセンサから撮像素子ISのアオリ角度θtおよび撮像素子ユニット5周りの雰囲気温度Tを取得する。
ステップS802では、制御回路104は、アオリ角度θtが所定角度θ1より大きく、所定角度θ2より小さい角度である(「θ1<θt<θ2」を満足する)かどうかを判定する。アオリ角度θtが「θ1<θt<θ2」を満足する場合、ステップS804に進み、満足しない場合、ステップS803に進む。
ステップS803では、制御回路104は、雰囲気温度Tが所定温度T1より大きく、所定温度T2より小さい温度である(「T1<T<T2」を満足する)かどうかを判定する。雰囲気温度Tが「T1<T<T2」を満足する場合、ステップS805に進み、満足しない場合、ステップS806に進む。
ステップS804では、制御回路104は、まず、レンズの配置および絞り量に基づく色シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、色シェーディング補正回路131に撮像素子ISの各画素に対応する色シェーディング補正値を設定する。
ステップS805では、制御回路104は、まず、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく色シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、色シェーディング補正回路131に撮像素子ISの各画素に対応する色シェーディングの補正値を設定する。
ステップS806では、制御回路104は、雰囲気温度T、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく色シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、色シェーディング補正回路131に撮像素子ISの各画素に対応する色シェーディングの補正値を設定する。
この際、雰囲気温度Tを用いて、膨張した長さΔLはL1×m×(T−T0)となり、温度T0のときに撮像素子IS上の光軸OAから距離K0だけ離れている画素の光軸OAからの膨張した距離ΔKはK0×n×(T−T0)となる。したがって、雰囲気温度Tでの撮像素子ISの画素への入射角α’は以下の式(16)で表される。
したがって、入射角度を「α’+θ」として補正の計算を行う。
ステップS807では、制御回路104は、アオリ角度θtが所定角度θ3より大きく、所定角度θ4より小さい角度である(「θ3<θt<θ4」を満足する)かどうかを判定する。アオリ角度θtが「θ3<θt<θ4」を満足する場合、ステップS809に進み、満足しない場合、ステップS808に進む。
ステップS808では、制御回路104は、雰囲気温度Tが所定温度T3より大きく、所定温度T4より小さい温度である(「T3<T<T4」を満足する)かどうかを判定する。雰囲気温度Tが「T3<T<T4」を満足する場合、ステップS810に進み、満足しない場合、ステップS811に進む。
ステップS809では、制御回路104は、まず、レンズの配置および絞り量に基づく輝度シェーディングの補正値を記憶部105から呼び出す。次に、制御回路104は、輝度シェーディング補正回路132に撮像素子ISの各画素に対応する輝度シェーディング補正値を設定する。
ステップS810では、制御回路104は、まず、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく輝度シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、輝度シェーディング補正回路132に撮像素子ISの各画素に対応する輝度シェーディングの補正値を設定する。
ステップS811では、制御回路104は、まず、雰囲気温度T、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく輝度シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、輝度シェーディング補正回路132に撮像素子ISの各画素に対応する輝度シェーディングの補正値を設定する。本ステップでは、ステップS806と同様に、入射角を「α’+θt」として計算を行う。
高温下や低温下では、撮像素子ISが大きく傾いていると、シェーディングによる影響が顕著になる。本実施形態では、上述した補正方法を用いることで、高温下や低温下において撮像アオリを行った状態でもシェーディングを適切に補正できる。したがって、撮像アオリの状態でもシェーディングによる画質低減を抑制可能である。
なお、ステップS802とステップS803、およびステップS807とステップS808の処理はそれぞれ可換であり、順番を入れ替えてもよい。
<第3の実施形態>
本実施形態では、監視カメラ1は、交換レンズ式の撮像装置で、撮像アオリを行う。監視カメラ1および画像監視システムの他の構成は、第1の実施形態と同じであるため、詳細な説明は省略する。
本実施形態では、記憶部105は、シェーディング補正係数のデータであるシェーディング補正係数テーブルを記憶している。シェーディング補正係数テーブルには、レンズ種別を特定するレンズIDごとにシェーディング補正係数が羅列されている。なお、レンズシェーディング補正係数テーブルは、ネットワーク上に保存されていてもよい。この場合、レンズIDに応じて、シェーディング補正係数テーブルを取得すればよい。
以下、図19を参照して、本実施形態のシェーディング補正処理について説明する。図19は、本実施形態のシェーディング補正処理を示すフローチャートである。シェーディング補正処理は、動画像の撮像の処理と並行して実行される。
ただし、アオリ角度θt、レンズの配置および絞り量は記憶部105に事前に記憶されており、変更後の値もその値を記憶していることとする。また、撮像素子ISからのRGB信号は絶えず記憶されているものとする。本処理は、アオリ角度θtを変更する指令値が入力された時点で開始され、各シェーディングの補正値を設定し終えた時点で終了する。
ステップS1001では、制御回路104は、レンズ鏡筒4からレンズ種別を特定するレンズIDを取得する。
ステップS1002では、制御回路104は、レンズIDに対応する、撮像素子ISのアオリ角度θt、レンズ配置および絞り量を変数に持つ、シェーディング補正係数テーブルを取得する。取得されたシェーディング補正係数テーブルは、記憶部105に保存されてもよいし、交換レンズに保存されてもよい。
ステップS1003では、制御回路104は、撮像素子ISのアオリ角θtを取得する。
ステップS1004では、制御回路104は、アオリ角度θtが所定角度θ1より大きく、所定角度θ2より小さい角度である(「θ1<θt<θ2」を満足する)かどうかを判定する。アオリ角度θtが「θ1<θt<θ2」を満足する場合、ステップS1005に進み、満足しない場合、ステップS1006に進む。
ステップS1005では、制御回路104は、まず、レンズの配置および絞り量に基づく色シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、色シェーディング補正回路131に撮像素子ISの各画素に対応する色シェーディング補正値を設定する。
ステップS1006では、制御回路104は、まず、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく色シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、色シェーディング補正回路131に撮像素子ISの各画素に対応する色シェーディングの補正値を設定する。
ステップS1007では、制御回路104は、アオリ角度θtが所定角度θ3より大きく、所定角度θ4より小さい角度である(「θ3<θt<θ4」を満足する)かどうかを判定する。アオリ角度θtが「θ3<θt<θ4」を満足する場合、ステップS1008に進み、満足しない場合、ステップS1009に進む。
ステップS1008では、制御回路104は、まず、レンズの配置および絞り量に基づく輝度シェーディングの補正値を記憶部105から呼び出す。次に、制御回路104は、輝度シェーディング補正回路132に撮像素子ISの各画素に対応する輝度シェーディング補正値を設定する。
ステップS1009では、制御回路104は、まず、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく輝度シェーディング補正値を記憶部105から呼び出す。次に、制御回路104は、輝度シェーディング補正回路132に撮像素子ISの各画素に対応する輝度シェーディングの補正値を設定する。
なお、本実施形態では、シェーディング補正において、撮像素子ISのアオリ角度θt、レンズの配置および絞り量に基づく演算テーブルが用いられる。また、該当パラメータに基づく演算テーブルを持たず、他の演算パラメータから推定値を計算した演算テーブルを用いてもよい。
交換レンズが変わると、シェーディング補正値が変わる。そのため、アオリ角度θtを0に戻し、シェーディングが最小である状態に戻せばよく、そこから、シェーディング補正値とアオリ角度を適正値に戻せばよい。
本実施形態では、撮像素子ISのアオリ角度θtが変化した後でもシェーディング補正値をアオリ角度θtに応じて変更することで画質の低下を抑制できる。
<他の変形例>
上述した実施形態では、ステッピングモータが使用されているが、本発明はこれに限定されない。ステッピングモータの代わりに、サーボモータなどの他のモータまたはアクチュエータを使用してもよい。
また、上述した実施形態において、色シェーディングと輝度シェーディングを特定の順番で補正したが、順序が逆になってもよいし、一方だけの補正を行ってもよい。
また、上述した本実施形態では、アオリ角度θtが一定の範囲内である場合に、レンズ配置および絞り形状に合わせたシェーディング補正を行うが、これにはシェーディング補正自体を一切行わないことも含んでいる。
色シェーディングや輝度シェーディングの補正方法として、絞り量とレンズ配置を挙げたが、一方だけのパラメータに基づいてもよいし、両方のパラメータに基づかなくてもよい。また、他のパラメータに基づいてシェーディング補正の値を変更してもよい。
また、第2の実施形態と第3の実施形態を組み合わせてもよく、また、各実施形態内で述べた実施形態の一部を他の実施形態と組み合わせてもよい。
制御回路104で実行される各機能は、制御回路104の代わりに、ハードウェアで実行されてもよい。また、FPGA(Field Programmable Gate Array)やDSP(Digital Signal Processor)等のプログラマブルロジックデバイスで実行されてもよい。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC(Application−Specific Integrated Circuit))によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
1 ネットワーク監視カメラ(撮像装置)
4 レンズ鏡筒
IS 撮像素子
63 ステッピングモータ
103 画像処理回路(補正手段)

Claims (12)

  1. レンズ鏡筒に設けられたレンズを透過した光を受光して撮像信号を生成する撮像素子と、
    前記撮像素子および前記レンズの少なくとも一方を前記レンズの光軸に直交する平面に対して傾斜させる駆動手段と、
    前記撮像素子および前記レンズの少なくとも一方の、前記平面に対する傾斜角度に基づいて、前記撮像信号に対してシェーディング補正を行う補正手段と、を有することを特徴とする撮像装置。
  2. 前記補正手段は、前記傾斜角度が所定の範囲に含まれる場合、前記傾斜角度に基づいて、前記撮像信号に対してシェーディング補正を行うことを特徴とする請求項1に記載の撮像装置。
  3. 前記傾斜角度が基準値に対して第1の角度の大きさを有する場合にシェーディング補正で使用されるテーブルまたは補正式の数は、前記傾斜角度が前記基準値に対して前記第1の角度より小さい第2の角度の大きさを有する場合にシェーディング補正で使用されるテーブルまたは補正式の数以上であることを特徴とする請求項1または2に記載の撮像装置。
  4. 前記補正手段は、前記撮像素子の撮像面における互いに直交する第1の方向および第2の方向において、各方向に対応するテーブルまたは補正式を用いてシェーディング補正を行い、
    前記補正手段は、前記第1の方向において、前記傾斜角度ごとのテーブルまたは補正式を用いてシェーディング補正を行うことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記補正手段は、前記撮像素子の所定の画素に入射する光線の入射角をα、前記レンズ鏡筒に対する前記撮像素子のアオリ角度をθとするとき、角度「θ+α」に対応するテーブルまたは補正式を用いてシェーディング補正を行うことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
  6. 前記補正手段は、光量調節手段により調節される前記レンズ鏡筒を通過する光量に基づいて、シェーディング補正を行うことを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
  7. 前記補正手段は、前記レンズの配置に基づいて、シェーディング補正を行うことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  8. 前記補正手段は、前記撮像素子および前記レンズの少なくとも一方の温度が所定の範囲に含まれる場合、前記少なくとも一方の温度に基づいてシェーディング補正を行うことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
  9. 前記補正手段は、前記レンズ鏡筒ごとのレンズIDに基づいてシェーディング補正を行うことを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  10. 前記補正手段は、色シェーディングおよび輝度シェーディングの少なくとも一方を補正することを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
  11. 前記傾斜角度を計測する計測手段を更に有することを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
  12. 請求項1から11のいずれか1項に記載の撮像装置と、
    前記撮像装置と通信手段を介して通信可能に接続され、前記通信手段を介して、前記撮像装置により撮像された画像を取得する監視装置と、を有することを特徴とする画像監視システム。
JP2018166122A 2018-09-05 2018-09-05 撮像装置および画像監視システム Pending JP2020039078A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018166122A JP2020039078A (ja) 2018-09-05 2018-09-05 撮像装置および画像監視システム
US16/554,719 US11146734B2 (en) 2018-09-05 2019-08-29 Image capturing apparatus and image monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018166122A JP2020039078A (ja) 2018-09-05 2018-09-05 撮像装置および画像監視システム

Publications (1)

Publication Number Publication Date
JP2020039078A true JP2020039078A (ja) 2020-03-12

Family

ID=69640484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018166122A Pending JP2020039078A (ja) 2018-09-05 2018-09-05 撮像装置および画像監視システム

Country Status (2)

Country Link
US (1) US11146734B2 (ja)
JP (1) JP2020039078A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491085A (zh) * 2020-04-21 2020-08-04 Oppo广东移动通信有限公司 图像传感器、摄像装置及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010036936A1 (de) 2010-08-10 2012-02-16 Bothmer-Pyrotechnik Gmbh Verschlussmittel sowie druckmittelbetriebene Ausstoßeinheit für Gegenstände, insbesondere Konfettishooter
US11095807B2 (en) * 2019-01-23 2021-08-17 Giovanni Sacco Method and apparatus for the correction of geometric and depth of field problems during image taking
EP3722856A1 (en) 2019-04-10 2020-10-14 Canon Kabushiki Kaisha Image-capturing apparatus
JP7406902B2 (ja) * 2019-12-10 2023-12-28 キヤノン株式会社 制御装置、制御方法、プログラム、方法及び記憶媒体
TWI824289B (zh) * 2021-02-08 2023-12-01 明俐科技有限公司 影像處理演算法的測試系統及測試方法
US12069399B2 (en) 2022-07-07 2024-08-20 Snap Inc. Dynamically switching between RGB and IR capture

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917377B2 (en) * 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
US7022960B2 (en) * 2002-02-12 2006-04-04 Konica Corporation Photographic film image reading apparatus with film density detection
JP4377622B2 (ja) * 2003-07-16 2009-12-02 オリンパス株式会社 シェーディング補正装置
JP2013118547A (ja) * 2011-12-05 2013-06-13 Tamron Co Ltd 赤外線カメラ
JP2013258634A (ja) * 2012-06-14 2013-12-26 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2015216544A (ja) 2014-05-12 2015-12-03 株式会社リコー 撮像装置および撮像方法
JP6605318B2 (ja) * 2015-12-14 2019-11-13 東レエンジニアリング株式会社 立体形状物の検査装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491085A (zh) * 2020-04-21 2020-08-04 Oppo广东移动通信有限公司 图像传感器、摄像装置及电子设备
CN111491085B (zh) * 2020-04-21 2021-11-05 Oppo广东移动通信有限公司 图像传感器、摄像装置及电子设备

Also Published As

Publication number Publication date
US20200077027A1 (en) 2020-03-05
US11146734B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
JP2020039078A (ja) 撮像装置および画像監視システム
JP2017122791A (ja) 光学制御装置、光学機器および光学制御プログラム
JP2007078833A (ja) ズームレンズ及びそれを有する撮像装置
JP2008170508A (ja) 撮像装置
JP2011150117A (ja) レンズ鏡筒及び撮像装置
JP2018101951A (ja) 撮像装置、撮像方法およびコンピュータのプログラム
JP2010258669A (ja) 全方位撮像装置
JP4914143B2 (ja) 光学機器
JP2007121770A (ja) レンズ装置、レンズ調整装置、及びカメラ
JP6320105B2 (ja) 撮像装置およびその制御方法
CN110784643B (zh) 控制设备、摄像设备、存储介质和控制方法
JP6218385B2 (ja) 交換レンズ及び撮像装置
JP6584637B2 (ja) 変倍光学システムおよびその制御方法
JP2007158700A (ja) 色忠実カメラ
JP2013186293A (ja) 画像生成装置および画像表示方法
US20130070144A1 (en) Optical apparatus
JP2004170638A (ja) 映像撮影装置
JP2017068195A (ja) 合焦制御装置、レンズ鏡筒、及び、光学機器
JP4323925B2 (ja) 光学機器
JP2020188348A (ja) 撮像装置、画像監視システムおよび撮像装置の制御方法
JP2006171356A (ja) 撮像装置
JP2020013050A (ja) 撮影パラメータ調整装置、それを備えたレンズユニット、撮影パラメータ調整システム、及び撮影パラメータの調整方法
JP5268607B2 (ja) 撮影装置
JP2981481B2 (ja) 自動合焦手段を有するビデオカメラ
JP2017191212A (ja) 焦点検出装置