JP2008288743A - 撮像装置 - Google Patents

Abstract

【課題】
周囲の映像を適切な露光レベルに保ちながらLED情報表示装置など高速で点滅する被写体も撮影できる撮像装置を提供する。
【解決手段】
フレーム蓄積方式の固体撮像素子１０２にて撮影した映像信号の中に高速で点滅を繰り返す対象物が混在していると判断したときに、一方のフレームでは固体撮像素子１０２にて画角全体の明るさにあわせた適切な電子シャッタパルスで被写体を撮影し、他方のフレームでは固体撮像素子１０２にて高速で点滅を繰り返す対象物の点灯時を必ず撮影できる十分に長い電子シャッタパルスで被写体を撮影し、両映像を画像記憶手段１２１、１２２に記憶し、一方のフレームの映像信号と他方のフレーム映像信号とを画像合成手段１２５で合成する。
【選択図】図１

Description

本発明は、撮像装置の信号処理に関する発明である。

広ダイナミックレンジ機能に関する背景技術としては、例えば、特開２００２−３１４８８５公報（特許文献１）がある。該公報には、課題として「高速用、低速用の各電子シャッタ処理を用いて撮像し、得られた映像信号を信号処理し、極めて広範囲な光量に対する画像撮像が可能となる。」と記載され、解決手段として、「ＣＣＤカメラ部３０２の撮像出力は、電子シャッタ回路により異なる露光時間による第１、第２の画像信号として得られる。第１、第２の画像信号は２系統に分岐され、それぞれ特性制御が行われ合成される。積算値回路３１５、ピーク値検出回路３１６、マイコン回路３１８により画面特性が検出され、輝度ダイナミックレンジの広い撮像を得るようにシャッタタイミングが制御される。」と記載されている。

特開２００２−３１４８８５公報

近年、固体撮像素子を用いた撮像装置はビデオカメラ、監視カメラなど多くの用途に使われている。一般的にカメラでは適切な光量で撮像を行うために、固体撮像素子の電子シャッタ機能により光量調節を行っている。ここでいう電子シャッタ機能とは、各光電変換素子の蓄積した信号電荷をシャッタパルスの印加により掃き出すことが可能な固体撮像素子において、フィールド期間内における電荷蓄積期間をシャッタパルスの印加によって調節することにより露光時間を可変させる機能のことで、シャッタパルス間隔を短くすれば露光時間が短くなり、長くすれば露光時間は長くなる。

そして、低輝度の被写体と高輝度の被写体が混在する広範囲な輝度を有する被写体に対しては、フィールド画像期間あるいはフレーム画像期間中に、短いシャッタパルス間隔で撮影した画像と長いシャッタパルス間隔で撮影した画像の両方の画像を取り込んで合成することで広いダイナミックレンジを実現している。

ところで、近年、省エネおよび装置の長寿命化に優れたLED（Light Emitting Diode＝発光ダイオード）による照明や情報表示装置が急増しており、交流電源の商用周波数もしくはその２倍で点灯と消灯を繰り返している。

前述の通り、固体撮像素子を用いた撮像装置の電子シャッタ機能は、撮像する時間と撮像しない時間を有しており、LED情報表示装置の発光タイミングも発光する時間と発光していない時間を有しているため、電子シャッタによる撮像期間とLEDの発光期間が図２に示す組み合わせとなった場合、LEDの消灯状態を画像化してしまう。

このような従来のシャッタ機能を用いると、例えばエレベータの籠内に取り付けられた監視カメラにおいて、重要な情報であるエレベータ内のLED情報表示装置に表示された階数の表示情報を撮影できないという課題が生じる。露光時間を長くすることで、LED情報表示装置の情報を確実に撮影することが可能となるが、画面の大半を占める周囲の映像に対して、撮像時のダイナミックレンジが不十分となり、白飛びするなど監視カメラ映像としては不適切な映像となる。従来の広ダイナミックレンジ機能では、低輝度の被写体と高輝度の被写体が混在する被写体に対する画質確保は有効であるものの、本発明が課題とする画面の局部位置にて高速点滅を繰り返す被写体を確実に点灯状態にて撮影することには有効ではない。この点、前述の特許文献１ではこれらの課題について考慮されていない。

本発明の目的は、上記問題を解決するもので、被写体を好適に撮影できる撮像装置を提供することである。

本発明による撮像装置では、電子シャッタをフレーム単位で切り替え、画角全体の明るさに調節された電子シャッタ速度で読み出した映像信号と、高速で点滅を繰り返す対象物の点灯時を撮影できる十分に長い電子シャッタ速度で読み出した映像信号とを取り込む。そして、画面全体の明るさに調節された適切な電子シャッタ速度で読み出した映像信号では撮影できない、高速で点滅を繰り返す対象物の部分を、十分に長い電子シャッタ速度で読み出した部分の波形で置き換えるように、２つの映像信号を合成する。

詳細には、上記目的を達成するため、本発明は、一例として特許請求の範囲に記載の構成とする。

本発明の撮像装置によれば、被写体を好適に撮影できる撮像装置を提供することができる。

以下、本発明にかかる撮像装置の実施例について図面を参照して説明する。

まず、本発明にかかるエレベータの籠内に取り付けられた監視カメラの設置例について、図３を用いて説明する。

エレベータの籠４２０の中に取り付けられた監視カメラ１００は、画角内にLED情報表示装置４１０、階数表示部４１１、ドア４３０を含めて撮影している。LED情報表示装置４１０内にある階数表示部４１１は、LED情報表示装置４１０からの信号に応じて、エレベータの籠４２０が位置している階数をエレベータの利用者に知らせる。

次に、本発明にかかるLED情報表示装置４１０の構成について、図４を用いて簡単に説明する。

LED表示装置４１０は、階数表示部４１１と電源回路部５０１とLED制御回路５０３からなる。LED表示は、省エネおよび装置の長寿命化のため、図２に示すように点灯および消灯を繰り返して使用する。この点灯および消灯を行う間欠駆動を実現するため、電源回路部５０１は、交流電圧の入力電源５０４を用いて、入力電圧に応じてON／OFFを切り替える仮想的なスイッチ５０２を設けている。階数表示部４１１は、仮想的なスイッチ５０２がONになっている期間中、籠位置センサ５０５からの信号に基づいてLED制御回路５０３の制御に従い、階数表示部４１１に現在の階数を出力する。なお、電源回路５０１および仮想的なスイッチ５０２、LED制御回路５０３はLED情報表示装置４１０の外にあってもよい。

次に、本発明を実現する監視カメラ１００の一実施例の構成について図１を用いて説明する。図１において、１０１は結像手段である。１０２は光学情報を電気的に変換し、フレーム蓄積方式（固体撮像素子の一つの画素の信号蓄積時間が１／３０秒である方式）もしくはフィールド蓄積方式（固体撮像素子の一つの画素の信号蓄積時間が１／６０秒である方式）で信号電荷を読み出し映像信号として出力する固体撮像素子である。１０３は信号増幅手段である。１０４はアナログ信号処理手段である。１０５はA／D変換手段である。１０６はデジタル信号処理手段である。１０７はD／A変換手段である。１０８は映像出力手段である。１０９は撮像素子駆動手段である。１１０は信号処理マイコンである。１１１は信号選択手段である。１２１、１２２は１フレーム分の映像を記憶できる画像記憶手段である。１２３は比較手段である。１２４は位置情報を記憶できる位置情報記憶手段である。１２５は合成手段である。また、１４０は監視カメラ１００の外部にある制御コントローラである。

以下に、監視カメラ１００の動作を説明する。被写体からの光を光学的に結像させるレンズ等の結像手段１０１により得られる光学像が固体撮像素子１０２により光電変換され、その出力が信号増幅手段１０３により増幅され、映像信号としてアナログ信号処理手段１０４へ供給される。アナログ信号処理手段１０４では、信号増幅手段１０３より出力される映像信号に対してガンマ補正、利得特性補正などが行われる。

アナログ信号処理手段１０４から出力される映像信号は、A／D変換手段１０５によりA／D変換され、信号選択手段１１１に送られる信号処理マイコン１１０からの情報により、１フレームごとに、画像記憶手段１２１、画像記憶手段１２２に記憶される。画像記憶手段１２１、画像記憶手段１２２に記憶された映像信号は、比較手段１２３により、固体撮像素子１０２により撮像された階数表示部４１１のような高速で点滅する被写体のエリアを判定し、その位置情報は位置情報記憶手段１２４に記憶される。位置情報は比較手段１２３からの情報を入力する代わりに、監視カメラ１００の外部に設けられた制御コントローラ１４０からの信号を記憶することもできる。

画像記憶手段１２１、画像記憶手段１２２に記憶された映像信号は、合成手段１２５にて位置情報記憶手段１２４に記憶された位置情報を基に合成され、デジタルの１フレーム分の映像信号としてデジタル信号処理手段１０６に供給される。デジタル信号処理手段１０６では、デジタルの映像信号に対して輪郭補正、ノイズ低減などの各種信号処理が施され、Ｄ／Ａ変換手段１０７によってＤ／Ａ変換され、出力処理手段１０８によって信号がエンコードされて外部へ出力される。なお、D／A変換回路１０７を省略し、デジタルのまま出力してもよい。出力される映像信号は図示しない外部モニタや記録装置などといった外部機器に接続される。

このとき、信号処理マイコン１１０にはデジタル信号処理手段１０６から映像信号の輝度レベル情報がフレーム毎に伝送される。

信号処理マイコン１１０は、デジタル信号処理手段１０６からの映像信号の輝度レベル情報および位置情報記憶手段１２４からの点滅を繰り返す対象物の有無の情報に基づき、
所定の電子シャッタ速度で固体撮像素子１０２を駆動するよう撮像素子駆動手段１０９を制御している。

また、固体撮像素子１０２、信号増幅手段１０３、アナログ信号処理手段１０４、A／D変換手段１０５、デジタル信号処理手段１０６、D／A変換手段１０７、映像出力手段１０８、撮像素子駆動手段１０９、信号処理マイコン１１０、信号選択手段１１１、画像記憶手段１２１、画像記憶手段１２２、比較手段１２３、画像記憶手段１２４、合成手段１２５の全てもしくは任意の組み合わせにより、ワンチップにしてもよい。

次に、高速で点滅を繰り返す被写体と周囲の被写体を含む画像フレームに対するシャッタ速度の影響を図５、高速で点滅を繰り返す被写体の点灯状態の画像フレームの検出方法を図６、高速で点滅を繰り返す被写体の点灯状態の画像フレームと周囲の被写体の画像フレームを合成する方法を図７を用いて説明する。

図５は、シャッタ速度によって、点滅を繰り返す被写体と周囲の被写体で撮影される映像状態が異なることを、階数表示部４１１とドア４３０を例にとって示す。

図５（Ａ）は、シャッタ速度を、高速で点滅を繰り返す対象物の点灯時を撮影できる十分に長い速度（例えば１／６０秒）で撮影した時の映像である。このとき、階数表示部４１１はＬＥＤ点灯状態で撮影されるとともに、ドア４３０も撮影されている。

図５（Ｂ）は、シャッタ速度１／１２０秒で撮影した時の映像である。このとき、階数表示部４１１とドア４３０が撮影状態は、シャッタ速度が１／６０秒の時に比べて、露光時間が１／２となるため、信号増幅手段１０３による増幅率を（Ａ）と（Ｂ）を同じ値にして撮影すると、得られる映像信号量は半分になる。

図５（Ｃ）はシャッタ速度１／４８０秒で撮影した時の映像である。階数表示部４１１は、ＬＥＤの発光タイミングと固体撮像素子のシャッタタイミングが完全にずれてＬＥＤ点灯状態で撮影することができなくなり、LED点灯状態を撮影できない部分については信号量が非常に小さくなる。また、ドア４３０の撮影状態は、シャッタ速度が１／６０秒の時に比べて、露光時間が１／８となるため、信号増幅手段１０３による増幅率を（Ａ）と（Ｃ）を同じ値にして撮影すると、信号量は１／８になる。

即ち、高速で点滅を繰り返す被写体を撮影する場合、ＬＥＤの発光タイミングと固体撮像素子のシャッタタイミングが完全にずれる場合もあるため、このような場合には露光時間を１／Ｎにしても信号量は１／Ｎとならず、信号量が非常に小さくなる。その為、このような場合にはLEDが点灯している状態か否かを検出する必要がある。

次に、図６のフローチャートを用いて、上記特性を利用した高速で点滅を繰り返す被写体の点灯状態の画像フレームを検出する方法について説明する。

まず、ステップＳ１００において、シャッタ速度１／Ｎ１で被写体を撮影する。シャッタ速度は、ＬＥＤ等の高速点滅を行う被写体の特性にあわせてＬＥＤ等の点灯状態を確実に撮影できる１／６０秒など十分に長くする。ＬＥＤ等の高速点滅は、商用電源と同期した周期（交流電源の周波数）や、商用電源の一周期もしくは半周期（交流電源の２倍の周波数）で点滅と消灯を繰り返すものが多い。そのため、シャッタ速度は、商用電源と同期して点滅を繰り返す対象物の点滅周期より長く設定することや、商用電源の一周期もしくは半周期で点滅を繰り返す対象物の点滅周期より長く設定することによって、好適に被写体を撮像することができる。

次に、ステップＳ１０１において、ステップＳ１００で撮影した映像信号をＹ１として画像記憶手段１２１に記憶する。Ｙ１は任意にｎ個のエリア、Ｙ１＿１からＹ１＿ｎに分割する。

ステップＳ１０２において、シャッタ速度１／Ｎ２で被写体を撮影する。シャッタ速度はLEDが映らない可能性の高くなる高速シャッタ速度、例えば１／４０００秒にて撮影する。

ステップＳ１０３において、撮影した映像信号をＹ２として画像記憶手段１２２に記憶する。Ｙ２もｎ個のエリア、Ｙ２＿１からＹ２＿ｎに分割する。

ステップＳ１０４において、エリアの個数を数えるカウンタのリセットを行う。

ステップＳ１０５において、画像記憶手段１２１に記憶された映像信号の分割エリアＹ１＿ｋと画像記憶手段１２２に記憶された映像信号の分割エリアＹ２＿ｋの信号量を比較する。（Ｙ１＿ｋの信号量）／（Ｙ２＿ｋの信号量）とＮ２／Ｎ１の比が閾値１／Ｍ以上の場合は、エリアｋは高速で点滅を繰り返すＬＥＤ部であると判断してステップＳ１０６に進む。一方、（Ｙ１＿ｋの信号量）／（Ｙ２＿ｋの信号量）とＮ２／Ｎ１の比が閾値１／Ｍより小さい場合は、エリアｋは通常の被写体であると判断し、ステップＳ１０７に進む。

ステップＳ１０６において、エリアｋはＬＥＤ等の高速点滅を行う被写体であるという情報を位置情報記憶手段１２４に記憶する。

ステップＳ１０７において、エリアｋは通常の被写体であるという情報を位置情報記憶手段１２４に記憶する。

ステップＳ１０８において、カウンタｋをｋ＋１にアップする。

ステップＳ１０９において、エリアｋが最終のエリアであるかどうかの判定を行う。ｋ≦ｎの時は、Ｓ１０６またはＳ１０７で情報を書き込んだエリアが最終ではないため、ステップＳ１０５に戻り、エリアｋ＋１について判定を行う。ｋ＝ｎ＋１の時は、Ｓ１０６またはＳ１０７で情報を書き込んだエリアが最終であるため、ステップＳ１１０に進み終了となる。

ただし、高速シャッタで露光を行った時も、タイミングによってはＬＥＤ部を露光することがあるため、図６のフローチャートＳ１００からＳ１１０までの手順を何度か繰り返し、Ｓ１０５にて一度でもＬＥＤ部と判断されＳ１０６にて記憶手段１２４にＬＥＤ部であると書き込んだエリアについては、以後Ｓ１０７により、通常部であると記憶手段１２４に書き込むことは行わないことにする。

こうして位置情報記憶手段１２４に記憶されたｎ個のエリアの位置情報を読むことにより高速で点滅を繰り返す被写体の位置情報を判断することができる。

なお、監視カメラが固定されている場合は、ＬＥＤ部は常に一定の位置に配置されるため、位置情報記憶手段１２４に書き込んだ情報データは更新しなくてもよい。また被写体の位置情報は、図６のフローチャートを使わず、監視カメラ１００の外部に設置された制御コントローラ１４０により、指定してもよい。

次に、図１と図７を用いて高速で点滅を繰り返す被写体の点灯状態の画像と周囲の被写体の画像の画像合成方法について説明する。

信号処理マイコン１１０は、まず位置情報記憶手段１２４に記憶された被写体の位置情報から、高速で点滅を繰り返すエリアがあるかどうかを判断する。

高速で点滅を繰り返すエリアがない場合は、信号処理マイコン１１０は、デジタル信号処理手段１０６から得られる画面全体の輝度信号に応じて露光を最適化したシャッタ速度にて固体撮像素子１０２を駆動するように撮像素子駆動手段１０９を動作させる。
固体撮像素子１０２にてフレーム蓄積方式で信号電荷を読み出された映像信号は、A／D変換手段１０５にてA／D変換後、信号選択手段１１１により直接デジタル信号処理手段１０６に供給され、デジタル信号処理手段１０６にてデジタルの映像信号に対する輪郭補正、ノイズ低減などの各種信号処理が施された後、Ｄ／Ａ変換手段１０７によってＤ／Ａ変換され、出力処理手段１０８によって信号がエンコードされて外部へ出力される。

一方、高速で点滅を繰り返すエリアがある場合は、信号処理マイコン１１０は、高速で点滅を繰り返す対象物の点灯時を撮影できる十分に長い速度（例えば１／６０秒）のシャッタ速度と、デジタル信号処理手段１０６から得られる画面全体の輝度信号に応じて露光を最適化したシャッタ速度（例えば１／４８０秒）を、１フレームごとに繰り返して固体撮像素子１０２を駆動するように、撮像素子駆動手段１０９を動作させる。

固体撮像素子１０２にてフレーム蓄積方式で信号電荷を読み出された映像信号は、A／D変換手段１０５にてA／D変換後、信号選択手段１１１により１フレームずつ振り分けられ、シャッタ速度１／６０秒で撮影された映像信号は画像記憶手段１２１に、画面全体の輝度信号に応じて露光を最適化された（シャッタ速度１／４８０秒で撮影された）映像信号は画像記憶手段１２２に記憶される。また、必要に応じて２フレームの映像の輝度が同じようになるように、増幅手段１０３の増幅率を変更させる。

図７（Ａ）が、画像記憶手段１２１に記憶されたシャッタ速度１／６０秒で撮影された映像信号であり、図７（Ｂ）が、画像記憶手段１２２に記憶されたシャッタ速度１／４８０秒で撮影された映像信号である。

図７（Ａ）からわかるように、シャッタ速度１／６０秒で撮影すると、高速で点滅を繰り返すエリア（ＬＥＤ等）を点灯状態で撮影することはできるが、その他のエリアに対しては露光レベルが適切ではないため、白飛びするなど不適切な映像となる。

一方、図７（Ｂ）からわかるように、シャッタ速度１／４８０秒で撮影すると、高速で点滅を繰り返すエリア（ＬＥＤ等）を点灯状態で撮影することはできないが、その他のエリアに対しては露光レベルが適切にであるため、適切な映像となる。

次に、合成手段１２５にて、位置情報記憶手段１２４に記憶された被写体の位置情報に基づいて、シャッタ速度１／６０秒で撮影された映像から高速で点滅を繰り返すエリアを画像記憶手段１２１から読み出し、画像記憶手段１２２から読み出した同じエリアの信号部分を置き換える。合成手段１２５により２枚のフレームから合成された１枚のフレームの映像信号は、デジタル信号処理手段１０６に供給され、デジタル信号処理手段１０６にてデジタルの映像信号に対する輪郭補正、ノイズ低減などの各種信号処理が施された後、Ｄ／Ａ変換手段１０７によってＤ／Ａ変換され、出力処理手段１０８によって信号がエンコードされて外部へ出力される。

このように図７（Ａ）の映像信号と、図７（Ｂ）の映像信号を合成した映像信号が、図７（Ｃ）の映像信号である。

以上のように制御することで、被写体を撮影する際にLED情報表示装置など高速で点滅を繰り返す照明が混在している被写体でも、周囲の映像を適切な露光レベルに保ちながら高速で点滅する被写体も撮影することができる。

本発明における監視カメラの構成図 ＬＥＤの発光タイミングとＣＣＤの撮像タイミングの比較 本発明における監視カメラと被写体 ＬＥＤ情報表示装置の構成図 各シャッタ速度で撮影した時の映像 高速で点滅を行うエリア判定手段のフローチャート ２フレームの映像情報の合成

符号の説明

１００・・・監視カメラ、１０１・・・レンズ、１０２・・・固体撮像素子、１０３・・・信号増幅手段、１０４・・・アナログ信号処理手段、１０５・・・Ａ／Ｄ変換手段、１０６・・・デジタル信号処理手段、１０７・・・Ｄ／Ａ変換手段、１０８・・・映像出力手段、１０９・・・撮像素子駆動手段、１１０・・・信号処理マイコン、１１１・・・信号選択手段、１２１・・・画像記憶手段、１２２・・・画像記憶手段、１２３・・・比較手段、１２４・・・画像記憶手段、１２５・・・合成手段、１４０・・・制御コントローラ、４１０・・・ＬＥＤ情報表示装置、４１１・・・階数表示部、４２０・・・エレベータの籠、４３０・・・ドア、５０１・・・電源回路部、５０２・・・スイッチ、５０３・・・ＬＥＤ制御回路、５０４・・・電源、５０５・・・籠位置センサ

Claims (6)

1. 被写体からの光を光学的に結像させる結像手段と、前記結像手段より得られる光学像を電気的に変換し映像信号として出力する固体撮像素子と、前記固体撮像素子に対して第一のシャッタ速度と第二のシャッタ速度を切り替えて制御を行う撮像素子駆動手段を具備する撮像装置であって、
   前記被写体に含まれる点滅を繰り返す対象物の点滅周期より長く設定した前記第一のシャッタ速度で撮影した１フレームの映像信号を記憶する第１の画像記憶手段と、
   前記第二のシャッタ速度で撮影した１フレームの映像信号を記憶する第２の画像記憶手段と、
   前記第１および第２の画像記憶手段から各フレームの映像信号を読み出して複数のエリアに分割し、各フレームの同一エリアの信号を比較する画像比較手段と、
   前記画像比較手段にて、前記信号が所定値以上相違したエリアの位置情報を記憶する位置情報記憶手段と、
   前記位置情報記憶手段の位置情報に基づいて、前記第１の画像記憶手段に記憶しているエリアの映像信号を前記第２の画像記憶手段に記憶しているエリアの映像信号と置き換える画像合成手段を具備することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第一のシャッタ速度は固定のシャッタ速度であり、前記第二のシャッタ速度は任意のシャッタ速度であることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記固体撮像素子から出力される映像信号を増幅する手段を設け、固定のシャッタ速度で撮影した映像信号の増幅率に対する任意のシャッタ速度で撮影した映像信号の増幅率の比を、任意のシャッタ速度に対する固定のシャッタ速度の比とすることを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記固定のシャッタ速度は、前記被写体に含まれる商用電源と同期して点滅を繰り返す対象物の点滅周期より長く設定することを特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、
   前記固定のシャッタ速度は、前記被写体に含まれる商用電源の一周期もしくは半周期で点滅を繰り返す対象物の点滅周期より長く設定することを特徴とする撮像装置。
6. 請求項２記載の撮像装置において、
   前記信号は輝度レベルであることを特徴とする撮像装置。

Images