JP2009038627A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置の切り出し画像は、例えば電子ズームで使用される場合、後から画像の拡大処理を行い、大きく表示するなどして観察することがあるが、この時、元々撮像信号に含まれるノイズ成分も拡大され、見た目の画質が大きく劣化するという課題がある。
【解決手段】切り出しモード時にはＣＭＯＳセンサ１１の全撮像エリアの中からその一部分を切り出して第１の画像信号を読み出し、表示側で拡大する所謂電子的ズームを行う場合に、上記の第１の画像信号に対して、フレームメモリ制御回路１３とフレームメモリ１４とを用いて、フレーム間で加算処理を行うことにより、Ｓ／Ｎを向上させた第２の画像信号を生成し、出力する。
【選択図】図１

Description

本発明は撮像装置に係り、特に監視カメラに適用して好適な固体撮像素子を用いた撮像装置に関する。

監視カメラにより広い監視範囲の監視対象物を監視する場合、監視対象物自体の変化、あるいは監視対象物に対して何らかの行動を起こそうとしている人物等をできるだけ高精細で撮像することが重要である。そのため、監視カメラに高精細解像度の撮像素子を搭載して、広い監視範囲内から上記の現象が生じた部分だけを拡大する電子ズームを行って撮像したり、制限された伝送路の帯域で必要な高精細の画像情報だけを監視センタなどに伝送することを目的として、全撮像範囲の内の部分的な範囲を切り出して使う撮像装置が従来知られている（例えば、特許文献１参照）。

この特許文献１記載の撮像装置は、通常は高精細解像度の撮像素子で広角に撮像された映像信号に対して粗くサブサンプリングした通常の画素数の画像を出力し、監視範囲内に動きがあった場合は動きがある範囲を指定して切り出した切り出し画像を通常の画素数と等しくして伝送することで、高精細解像度の撮像素子を使用しても画像データ量が増大することがなく、このため電子ズームによる監視や制限された伝送路の帯域での監視対象の画像データの伝送を可能とし、また、監視範囲の死角をなくすために複数台のカメラを用いることを不要とし、更に高精細撮像素子に対応する画像圧縮装置も不要な簡易な構成とするものである。

特開２００２−３４０３０号公報

しかしながら、上記の特許文献１における切り出し画像は、例えば電子ズームで使用される場合、後から画像の拡大処理を行い、大きく表示するなどして観察することがあるが、この時、元々撮像信号に含まれるノイズ成分も拡大され、見た目の画質が大きく劣化するという課題がある。

本発明は上記の点に鑑みなされたもので、ノイズが低減された切り出し画像を得、拡大時にも画質劣化の少ない撮像画像を得ることが可能な撮像装置を提供することを目的とする。

上記の目的を達成するため、本発明は全撮像エリアの中から部分的な撮像エリアを任意に選択して、その部分的な撮像エリアから撮像信号を読み出すことのできる固体撮像素子を用いた撮像装置であって、
固体撮像素子に対して任意の部分的な撮像エリア又は全撮像エリアを選択する撮像エリア選択手段と、部分的な撮像エリアから読み出された複数フレームの撮像信号を、同一の位置関係にある画素毎に加算合成して、全撮像エリアから読み出された撮像信号から得られる第１の映像信号と略同一のフレームレートの第２の映像信号を生成する映像信号生成手段と、第１の映像信号と第２の映像信号の一方を選択して出力する映像信号選択手段とを有することを特徴とする。

この発明では、撮像素子の部分的な撮像エリアから読み出された撮像信号を出力する場合は、その部分的な撮像エリアから読み出された撮像信号を複数フレームに亘って同一の位置関係にある画素毎に加算合成して生成した第２の映像信号を出力するようにしたため、部分的な撮像エリアから読み出された撮像信号に比べて、上記の加算合成により相関性のないノイズ成分が等価的に減少した（Ｓ／Ｎが向上された）第２の映像信号を出力することができる。

本発明によれば、撮像素子の部分的な撮像エリアから読み出された撮像信号をノイズ成分が減少した映像信号に処理して出力することにより、その出力映像信号を拡大した時でもノイズの少ない撮像画像を得ることができる。

次に、発明を実施するための最良の形態について図面と共に詳細に説明する。図１は本発明になる撮像装置の一実施の形態のブロック図を示す。本実施の形態では、撮像素子としてＣＭＯＳセンサ１１を用いており、図示しない光学レンズにより受光面に結像された光学像を電気信号に変換し２次元の撮像イメージデータとして出力する。

ここで、近年、電子式の撮像装置の固体撮像素子として、ＣＣＤ（電荷結合素子）に代わり所謂ＣＭＯＳセンサが使用されることが多くなってきた。ＣＭＯＳセンサは２次元的に配列された複数の画素からの映像信号を、基本的にＸＹアドレス方式で選択しながら連続的に読み出す構造である。この構造により、全撮像エリアの内、部分的なエリアを切り出して読み出すことが容易になっている。例えば、総画素数が約５００万画素のＣＭＯＳセンサの場合、フルエリアに対してその一部の約９２万画素相当（１２８０画素×７２０画素）を部分的に読み出すことが可能である。この時、総画素数の読み出しフレームレートが一秒間あたり１５フレームの場合、前記のように切り出して読み出した場合は、フレームレートを一秒間あたり６０フレームまで上げることが可能となる。

一方、撮像装置のうち所謂監視用途に使用される監視カメラは、ネットワークなどの伝送路を介して画像データが監視センタなどへ転送される構成とされる場合が多く、限られた伝送帯域（転送レート）の中で必要な情報を送ることが重要になっている。そのため、テレビジョンで使用される様な毎秒３０枚より低いフレームレートで画像を表現する場合が多く、例えば監視カメラの転送レートは毎秒７〜１５フレーム程度が一般的となっている。

以上のことを鑑み、本実施の形態では監視カメラ用途としてＣＭＯＳセンサ１１を使用し、全撮像エリアの中からその一部分を切り出して第１の映像信号を読み出し、表示側で拡大する所謂電子的ズームを行う場合に、上記の第１の映像信号に対してフレーム間で加算処理を行い、Ｓ／Ｎを向上させた第２の映像信号を生成し、出力するものである。

なお、ＣＭＯＳセンサ１１の中にはＡ／Ｄコンバータが内蔵されており、ＣＭＯＳセンサ１１により被写体を撮像して得られた撮像信号はディジタル信号である撮像イメージデータとなっている。

次に、本実施の形態の動作について説明する。ＣＭＯＳセンサ１１は監視対象の被写体を撮像して得られた撮像イメージデータをカメラ信号処理回路１２へ出力する。ここで、ＣＭＯＳセンサ１１はカメラ制御回路１６からのセンサ制御信号１８により、その撮像領域が全撮像領域か部分的な撮像領域か選択され、選択された撮像領域の撮像信号である撮像イメージデータを出力する。上記のセンサ制御信号１８の中には、例えば３線式のシリアル制御信号が含まれており、これによってセンサ内部にある制御レジスタに撮像領域の情報（一例として、撮像領域の開始点と水平・垂直のサイズ）を指定する。

カメラ信号処理回路１２は、ＣＭＯＳセンサ１１からの撮像イメージデータに対して、ＣＭＯＳセンサ１１の受光面上に設けられた色フィルタの配列に応じた色補間処理とガンマ処理等の公知の信号処理を行い、第１のカラー映像信号として出力する。フレームメモリ制御回路１３は、カメラ信号処理回路１２から出力された第１のカラー映像信号に対して、フレームメモリ１４への書き込み・読み出し動作を制御する一方、フレームメモリ１４からの読み出しデータとカメラ信号処理回路１２からの入力である第１のカラー映像信号を巡回的に加算し、第２のカラー映像信号として出力する。

図２は、フレームメモリ制御回路１３の一実施の形態の内部構成図を示す。同図に示すように、フレームメモリ制御回路１３は加算回路１３１とタイミング制御回路１３２とから構成される。加算回路１３１は、フレームメモリ１４からの１フレーム遅延信号と第１のカラー映像信号を対応画素毎に加算する加算回路であり、本実施の形態では４フレーム分のデータを巡回加算する様に動作する。

タイミング制御回路１３２はフレームメモリ１４の書き込み・読み出しを制御するとともにフレームメモリ１４からの読み出し信号と、入力される第１のカラー映像信号における各画素タイミングを合わせる様に動作する。これにより、フレームメモリ制御回路１３において、対応画素毎に４フレーム分の信号が加算され、相関性のないノイズ成分が等価的に減少した（Ｓ／Ｎが向上された）第２のカラー映像信号が生成されるのである。なお、上記の４フレーム分加算動作は、主にＣＭＯＳセンサの読み出しが後述する切り出しモードの状態で行われる。この時、最終的に生成された第２のカラー映像信号は、１／１５秒に１回の生成となることはいうまでもない。

再び図１に戻って説明する。映像信号切替回路１５は、カメラ信号処理回路１２から出力された第１のカラー映像信号と、フレームメモリ制御回路１３から出力された第２のカラー映像信号とを選択的に切替える。すなわち、ここでは映像信号切替回路１５は、カメラ制御回路１６から出力される選択制御信号１７により、第１のカラー映像信号及び第２のカラー映像信号の一方を選択して出力する。また、カメラ制御回路１６はＣＭＯＳセンサ１１を所定の動作条件で駆動するセンサ制御信号１８も出力する。

本実施の形態では、監視対象に動きが無い場合は、カメラ制御回路１７からの選択制御信号１７により、毎秒１５フレームの第１のカラー映像信号が映像信号切替回路１５により選択されて出力される。一方、監視対象に動きが有る場合は、カメラ制御回路１７からの選択制御信号１７により、動きのある監視対象部分の領域を切り出した毎秒１５フレームの第２のカラー映像信号が映像信号切替回路１５により選択されて出力される。映像信号切替回路１５から出力された第１又は第２のカラー映像信号は例えば記録媒体に記録されたり、監視センタなどへ伝送される。

次に、本実施の形態による撮像信号の切り出し動作について更に詳細に説明する。図３はＣＭＯＳセンサ１１において、全撮像エリアの内の一部分を切り出して読み出す状態を示している。図３に示すＣＭＯＳセンサ１１上に投影された全景のイメージ１０１において、破線で示す部分は、全景の内、切り出し部分の領域を示したものであり、１０２は切り出して読み出した画像のイメージを示す。上記の切り出し部分の領域、すなわちＣＭＯＳセンサ１１の部分的な撮像領域は、前述したように、図１のカメラ制御回路１６から出力されるセンサ制御信号１８により、部分的な撮像領域の開始点と水平・垂直のサイズとが指定される。

図４は、ＣＭＯＳセンサ１１の全撮像エリアから上記全景イメージ１０１を読み出している状態（２０１）の撮像イメージデータのフレーム時間間隔と、ＣＭＯＳセンサ１１の部分的な撮像エリアから切り出し部分１０２を読み出している状態（２０５）の撮像イメージデータのフレーム時間間隔を相対的に表した模式図である。図４において、２０３と２０７は、それぞれ状態２０１、２０５におけるある時点でのフレームを表し、２０２と２０６はフレーム２０３、２０７より一つ前のフレーム、２０４と２０８はフレーム２０３、２０７より一つ後のフレームをそれぞれ示している。この例では全景イメージ（全撮像エリア）を読み出す場合は、フレーム間隔が１／１５秒であり、全撮像エリアの約１／４倍の部分撮像エリアからの切り出し画像を読み出す場合はその１／４のフレーム間隔（１／６０秒）となる様に設定される。

図５は、本実施の形態における、出力画像の相対的なフレームタイミングを図４と同様に示した模式図である。図５において、５０１は上記全景イメージ１０１を読み出している状態のときに選択された第１のカラー映像信号のフレーム時間間隔を模式的に示し、また５０５は切り出し部分１０２を読み出している状態のときに選択された第２のカラー映像信号のフレーム時間間隔を模式的に示す図である。図５において、５０３と５０７は、それぞれ状態５０１、５０５におけるある時点でのフレームを表し、５０２と５０６はフレーム５０３、５０７より一つ前のフレーム、５０４と５０８はフレーム５０３、５０７より一つ後のフレームをそれぞれ示している。

また、第２のカラー映像信号５０５のフレーム間隔の模式図において、実線で示すフレーム５０９は、切り出しモード時においてフレーム５０９の１フレームとそれよりも前の３つのフレーム５０６〜５０８の計４フレーム分、対応画素毎に加算された結果のフレームを示す。このように、本実施の形態では、切り出しモード時には全撮像エリアの約１／４倍の部分撮像エリアからの切り出し画像を４フレーム分加算した第２のカラー映像信号が出力されるが、そのフレーム間隔は、５０１で示す全撮像エリア撮像時と同等の１／１５秒のフレーム間隔となっている。

なお、上記の例では、切り出しモードにおいてフレーム間隔１／６０秒でＣＭＯＳセンサ１１から読み出される全撮像エリアの約１／４倍の部分撮像エリアからの切り出し画像を４フレーム分加算し、全撮像エリア撮像時と同等の１／１５秒のフレーム間隔となる第２のカラー映像信号を生成する場合を示したが、このフレーム間隔１／６０秒の切り出し画像を例えば５フレーム分加算することにより、フレーム間隔が１／１２秒間隔となる第２のカラー映像信号が出力されるようにしてもよい。この場合は、第２のカラー映像信号のフレームレート（フレーム間隔）が全撮像エリアから得られる第１のカラー映像信号のフレームレート（フレーム間隔１／１５秒）と異なるが、特に問題はない。

このように、本実施の形態によれば、切り出しモード時に出力される第２のカラー映像信号は、対応画素毎に４フレーム分の撮像信号（撮像イメージデータ）が加算され、相関性のないノイズ成分が等価的に減少した（Ｓ／Ｎが向上された）カラー映像信号とされるため、その後に例えば画像の拡大処理を行い、大きく表示するなどして観察する場合でも、元々撮像信号に含まれるノイズ成分が減少しているので、見た目の画質劣化の少ない撮像画像を得ることができる。

なお、本発明は上記の実施の形態に限定されるものではなく、例えば使用用途は監視用途に限定されるものではない。また、フレームメモリ制御回路１３での加算フレーム数は４フレームとして説明したが、これに限定されるものではなく、例えばＣＭＯＳセンサ１１から実施の形態よりも更に狭い撮像領域から更に高いフレーム周波数で切り出し画像を読み出し、加算フレーム数を５フレーム以上とすることも可能である。

本発明の撮像装置の一実施の形態のブロック図である。 図１中のフレームメモリ制御回路の一実施の形態の内部構成図である。 ＣＭＯＳセンサの読み出し状態と切り出し状態の一例を示す模式図である。 ＣＭＯＳセンサの出力撮像信号のフレームの様子を表した模式図である。 本発明の一実施の形態により出力される第１のカラー映像信号と第２のカラー映像信号のフレーム間隔を模式的に示す図である。

符号の説明

１１ ＣＭＯＳセンサ
１２ カメラ信号処理回路
１３ フレームメモリ制御回路
１４ フレームメモリ
１５ 映像信号切替回路
１６ カメラ制御回路
１７ 選択制御信号
１８ センサ制御信号
１３１ 加算回路
１３２ タイミング制御回路

Claims (1)

1. 全撮像エリアの中から部分的な撮像エリアを任意に選択して、その部分的な撮像エリアから撮像信号を読み出すことのできる固体撮像素子を用いた撮像装置であって、
   前記固体撮像素子に対して任意の部分的な撮像エリア又は全撮像エリアを選択する撮像エリア選択手段と、
   前記部分的な撮像エリアから読み出された複数フレームの撮像信号を、同一の位置関係にある画素毎に加算合成して、前記全撮像エリアから読み出された撮像信号から得られる第１の映像信号と略同一のフレームレートの第２の映像信号を生成する映像信号生成手段と、
   前記第１の映像信号と前記第２の映像信号の一方を選択して出力する映像信号選択手段と
   を有することを特徴とする撮像装置。

Images