JP2006101227A

JP2006101227A - 撮像装置および撮像システム

Info

Publication number: JP2006101227A
Application number: JP2004285261A
Authority: JP
Inventors: Shigekazu Yoshihara; 重和吉原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-09-29
Filing date: 2004-09-29
Publication date: 2006-04-13

Abstract

【課題】コストが低く、高性能で、かつダイナミックレンジの広い映像を得ることができる撮像装置および撮像システムを提供する。
【解決手段】ネットワーク４を介して撮像装置２と画像処理装置６とが接続され、撮像装置２は、第一の電荷蓄積時間によるハイライト露光処理と、第二の電荷蓄積時間によるローライト露光処理とを１フレームごとに交互に繰り返し、それぞれ蓄積した電荷を電気信号として出力する撮像素子２３と、ハイライト露光処理で得られた電気信号を取り込んでハイライト画像データを生成するとともにローライト露光処理で得られた電気信号を取り込んでローライト画像データを生成し、これらの画像データを交互にネットワーク４に送出するカメラ信号処理部２４とを備え、画像処理装置６は、ネットワークを介して受信したハイライト画像データとローライト画像データとを合成する画像合成部６５を備える。
【選択図】図１

Description

本発明は、ダイナミックレンジの広い画像を得ることができる撮像装置および撮像システムに関する。

半導体撮像素子を用いて撮像されたデジタル画像を記憶媒体に記憶する撮像装置は、ダイナミックレンジが狭いという欠点がある。電子撮像装置のダイナミックレンジを拡大する方法として、撮像素子の電子シャッター機能を利用して電荷蓄積時間の異なるハイライト露光処理による画像とローライト（ノーマル）露光処理による画像とを生成し、撮像装置の内部で合成する方法がある。

監視用撮像システムでは一般的に市販ＴＶモニターに映像を表示するため、撮像装置に画像メモリーを内蔵してそれら複数の画像の合成を行っていた。

従来の監視用撮像装置の機能の概要を図６に示す。従来の監視用撮像装置１００は、レンズ１０１、絞り１０２、半導体撮像素子１０３、カメラ信号処理部１０４、撮像素子駆動回路１０５、絞り駆動部１０６、焦点駆動部１０７、カメラ制御部１０８、フレームメモリ１０９、および合成部１１０を備える。

レンズ１０１は焦点駆動部１０７により制御され、レンズから入射した被写体光の光量を制限する
絞り１０２は絞り駆動部１０６により制御され、レンズ１０１から入射した被写体光の光量を制限する。

撮像素子１０３は撮像素子駆動回路１０５により駆動される。撮像素子１０３は被写体光を受光し、結像された被写体光を電荷に光電変換する。光電変換された電荷は、設定された電荷蓄積時間分撮像素子１０３に蓄積される。電荷蓄積時間は、フレームにより異なる値を複数設定する。蓄積された電荷は電気信号に変換されてカメラ信号処理部１０４に送出される。

カメラ信号処理部１０４はカメラ信号制御部１０８により制御される。カメラ信号処理部１０４は、撮像素子１０３から電気信号を取り込んで画像データを生成するとともに、画像データの黒固定、γ処理、ディテール補正等を行って、フレームメモリ１０９へ送出する。

フレームメモリ１０９に記憶された画像データは、カメラ信号処理部１０４から順次送出されてくる電荷蓄積時間が異なる画像データとともに画像合成部１１０に送出される。

画像合成部１１０では複数の画像データが合成され、これによってダイナミックレンジの広い画像を得ることができる。

しかし、撮像装置内部で画像の合成を行うには専用ＤＳＰ（Digital Signal Processor）を内蔵し、標準的な撮像装置とは異なる高ダイナミックレンジ専用の撮像装置にする必要があり装置にかかる負担が大きいという問題点があった。

そこでこれらの問題を解決するため、撮像装置と画像処理を行うセンターとを通信回線を介した撮像システムが提案されている。特許文献１（特開２００２−２１８３１６）では電子カメラにて撮像した画像の縮小画像をセンターに送信し、センターで合成した画像を電子カメラで受信して電子カメラのディスプレイで確認後、原画像をセンターに送信して合成処理が行われるものである。このシステムはカメラにおいて高度な画像処理を行う必要がなくなるので、カメラ側の負担が軽減される。また、確認のための画像を縮小画像とすることで通信の負担を軽減することができる。
特開２００２−２１８３１６号

しかし、特許文献１に記載の技術の場合、センター側の装置の処理能力が電子カメラより高度であっても、確認用の画像が画素数の少ない縮小画像では細かな修正を行うことができない。また、最終的に送信するデータ量の大きい原画像の他、確認用の画像の送受信も行うため通信への負担は未だ大きく、連続して画像が送信される監視用システムには適さない。

本発明は、上記事情に鑑みてなされたものであり、ネットワークを介して撮像装置に画像処理装置を接続することにより、撮像された画像の処理を画像処理装置側で行うことが可能であり、それによりコストが低く、高性能で、かつダイナミックレンジの広い映像を得ることができる撮像装置および撮像システムを提供することを目的とする。

上記目的を達成するための本発明の請求項１に記載の撮像装置は、ネットワークを介して画像データを処理する画像処理装置に接続されるように構成されており、第一の電荷蓄積時間と第二の電荷蓄積時間とを設定する撮像素子駆動回路と、第一の電荷蓄積時間によるハイライト露光処理と、第二の電荷蓄積時間によるローライト露光処理とを１フレームごとに交互に繰り返し、それぞれ蓄積した電荷を電気信号として出力する撮像素子と、ハイライト露光処理で得られた電気信号を取り込んでハイライト画像データを生成するとともにローライト露光処理で得られた電気信号を取り込んでローライト画像データを生成し、これらの画像データを交互にネットワークを介して画像処理装置に送出可能なカメラ信号処理部とを備えることを特徴とする。

また、請求項２に記載の撮像システムは、ネットワークを介して撮像装置と画像処理装置とを接続する撮像システムであって、撮像装置は、第一の電荷蓄積時間と第二の電荷蓄積時間とを設定する撮像素子駆動回路と、第一の電荷蓄積時間によるハイライト露光処理と、第二の電荷蓄積時間によるローライト露光処理とを１フレームごとに交互に繰り返し、それぞれ蓄積した電荷を電気信号として出力する撮像素子と、ハイライト露光処理で得られた電気信号を取り込んでハイライト画像データを生成するとともにローライト露光処理で得られた電気信号を取り込んでローライト画像データを生成し、これらの画像データを交互にネットワークに送出するカメラ信号処理部とを備え、画像処理装置は、ネットワークを介して受信したハイライト画像データとローライト画像データとを合成する画像合成部を備えることを特徴とすることを特徴とする。

本発明によれば、ネットワークを介して撮像装置に画像処理装置を接続することにより、撮像された画像を画像処理装置で画像処理を行うことが可能であり、それによりコストが低く、高性能で、かつダイナミックレンジの広い映像を得ることができる撮像システムを構築することができる。

本発明の一実施形態を、図面を用いて説明する。

〈撮像システムの概要〉
図１は本発明の第一実施形態による撮像装置および撮像システムを示すブロック図である。本実施形態による撮像システム１は、撮像装置２と画像処理装置６とを備え、撮像装置２は送信部３を介してネットワーク４に接続され、画像処理装置６は受信部５を介してネットワーク４に接続されている。

撮像装置２は、レンズ２１、絞り２２、撮像素子２３、カメラ信号処理部２４、撮像素子駆動回路２５、絞り駆動部２６、焦点駆動部２７、カメラ制御部２８、および画像圧縮部２９を有する。

レンズ２１は、焦点駆動部２７により駆動され、焦点制御されて撮像された被写体光を撮像装置２内に取り込む。絞り２２は絞り制御部２６により制御され、レンズ２１から入射した被写体光の光量を制限する。

撮像素子２３は、ＣＣＤ（Charge Coupled Devices）、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の半導体撮像素子のいずれでも良いが、本実施形態ではＣＭＯＳ型を例に説明する。撮像素子２３内部にはＡ／Ｄ変換器が内蔵されており、蓄積された電荷を８ビットの電気信号に変換して出力する。

さらに詳述すると撮像素子２３は、撮像素子駆動回路２５により駆動され、被写体光を受光し、結像された被写体光を光電変換して電荷を生成する。光電変換された電荷は、設定された電荷蓄積時間分だけ撮像素子２３に蓄積される。本実施形態では電荷蓄積時間をフレームごとに変化させ、短い電荷蓄積時間（第一の電荷蓄積時間）である９６０／１秒に設定したハイライト露光処理と、通常の電荷蓄積時間（第二の電荷蓄積時間）である６０／１秒に設定したローライト露光処理とを交互に繰り返すように設定する。変換された電気信号はＶブランキング同期処理により同期をとってフレームごとに取り込まれてカメラ信号処理部２４に送出される。（取り込み間隔は固定長、または可変長に設定可能である。）
絞り２２での絞り値、撮像素子２３での電荷蓄積時間、電気信号の取り込み間隔等は、ユーザによりネットワーク４を介して外部から設定可能である。

カメラ信号処理部２４はカメラ制御部２８により制御される。カメラ信号処理部２４では、撮像素子２３でハイライト露光処理またはローライト露光処理の後に取り込まれた電気信号がそれぞれ１フレーム期間分積分され、画像データが生成される（ハイライト露光処理により生成された画像データを以下「ハイライト画像データ」、ローライト露光処理により生成された画像データを以下「ローライト画像データ」という）。そしてカメラ信号処理部２４にて画像データの黒固定、γ処理、ディテール補正等を行い、画像圧縮部２９へ送出する。

画像圧縮部２９はカメラ制御部２８により制御される。画像圧縮部２９は、カメラ信号処理部２４から送出されたハイライト画像データおよびローライト画像データをフレームごとに圧縮して圧縮ハイライト画像データおよび圧縮ローライト画像データを生成し、送信部３に送出する。

送信部３は、圧縮ハイライト画像データおよび圧縮ローライト画像データをエンコードし、順次イーサネット（登録商標）などのネットワーク４に送出する。

カメラ制御部２８は、カメラ信号処理部２４、撮像素子駆動回路２５、絞り駆動部２６、焦点駆動部２７、および、画像圧縮部２９を制御する。

受信部５は、エンコードされた圧縮ハイライト画像データおよび圧縮ローライト画像データをネットワーク４から受信してデコードし、画像処理装置６内のバッファメモリ６１に展開する。

画像処理装置６は、バッファメモリ６１、画像処理制御部６２、補助記憶装置６３、画像伸張部６４、および画像合成部６５を有する。画像処理装置６にはモニター７が接続されている。

バッファメモリ６１はデコードされた圧縮ハイライト画像データおよび圧縮ローライト画像データを一時的に記憶する。

画像処理制御部６２は、バッファメモリ６１に記憶された圧縮ハイライト画像データおよび圧縮ローライト画像データを読み込み、補助記憶装置６３、画像伸張部６４へ送出する。また、補助記憶装置６３へのデータの保存の設定、画像伸張部６４への伸張方法の設定、画像合成部６５への閾値・合成方法の設定、およびモニター７への表示の設定等を制御する。

画像伸張部６４は画像処理制御部６２から送出された圧縮ハイライト画像データおよび圧縮ローライト画像データをハイライト画像データおよびローライト画像データに伸張し、画像合成部６５に送出する。

画像合成部６５は画像伸張部６４で伸張されたハイライト画像データとローライト画像データとを、ピクセル毎にあらかじめ設定された閾値を基準として合成し、モニター７に表示させる。閾値はユーザにより設定可能である。

補助記憶装置６３は画像処理制御部６２から送出された圧縮ハイライト画像データ、圧縮ローライト画像データ、および合成の際に使用する閾値をプロファイルとして保存する。これらを保存しておくことで再生する際に同じ条件で合成することが可能であり、また異なった条件で合成を行って再生画面の見直しを行うことも可能である。

〈第一実施形態による撮像装置および撮像システムの動作〉
以上の構成による撮像システムの動作の一例を以下に示す。図４は本発明の第一実施形態による撮像装置の動作を示すフローチャート、図５は画像処理装置の動作を示すフローチャートである。

まずレンズ２１にて入射した被写体光の焦点の調整が行われ、絞り２２にて光量が制限される。絞り２２の絞り値はあらかじめ電荷蓄積時間ごとに設定されており、本実施形態ではハイライト露光処理かあるいはローライト露光処理のいずれかの電荷蓄積時間をユーザが選択することにより絞り値が生成されて絞り２２に設定される（Ｓ１）。入射した被写体光が撮像素子２３にて電荷に光電変換され、設定された電荷蓄積時間分電荷が蓄積される（Ｓ２）。蓄積された電荷が撮像素子２３にて８ビットの電気信号に変換されて出力され、カメラ信号処理部２４にて取り込まれる（Ｓ３）。カメラ信号処理部２４での電気信号の取り込み間隔は固定長でも可変長でもよく、本実施形態では１／６０秒の固定長である。

図２を参照する。図２は本実施形態において撮像素子２３で出力された電気信号がカメラ信号処理部２４にて取り込まれる際のタイミングチャートを示す。電気信号は、フレームごとにＶブランキング同期処理により同期をとって取り込まれる。取り込まれる際は、まず第１フレームでは電荷蓄積時間が１／９６０秒のハイライト露光処理が行われ、処理された電気信号は１フレーム期間分（１／６０秒分）積分される。積分された電気信号は、カメラ信号処理部２４にて取り込まれる。次に第２フレームでは電荷蓄積時間が１／６０秒のローライト露光処理が行われ、処理された電気信号は同じく１フレーム期間分積分される（本実施形態のローライト露光処理では電荷蓄積時間、電気信号取り込み間隔ともに１／６０秒である）。積分された電気信号は、カメラ信号処理部２４にて取り込まれる。第３フレーム以降、この順にハイライト露光処理とローライト露光処理とが繰り返される。

カメラ信号処理部２４では、取り込まれた電気信号からハイライト画像データおよびローライト画像データが生成される（Ｓ４）。

生成されたハイライト画像データおよびローライト画像データは、カメラ信号処理部２４にて黒固定、γ処理、ディテール補正等の調整が行われる（Ｓ５）。

調整されたハイライト画像データおよびローライト画像データは、画像圧縮部２９にて圧縮され圧縮ハイライト画像データおよび圧縮ローライト画像データが生成される（Ｓ６）。圧縮方法はM-JPEG（Motion−Joint Photographic Experts Group）、またはM-JPEG2000などである。

圧縮された圧縮ハイライト画像データおよび圧縮ローライト画像データは送信部３にてエンコードされ、ネットワーク４へ送出される（Ｓ７）。

エンコードされた圧縮ハイライト画像データおよび圧縮ローライト画像データはネットワーク４を介して受信部５で受信され、デコードされる。

デコードされた圧縮ハイライト画像データおよび圧縮ローライト画像データはフレームごとにバッファメモリ６１に展開され、画像処理制御部６２に取り込まれる。取り込まれる際は、まず第１フレームの圧縮ハイライト画像データが画像処理制御部６２に取り込まれる（Ｓ１１）。取り込まれた圧縮ハイライト画像データは画像伸張部６４に送出され、画像伸張部６４にて伸張されハイライト画像データが生成される（Ｓ１２）。生成されたハイライト画像データは画像合成部６５に送出される。次に、第２フレームの圧縮ローライト画像データが画像処理制御部６２に取り込まれる（Ｓ１３）。取り込まれた圧縮ローライト画像データは画像伸張部６４に送出され、画像伸張部６４にて伸張されローライト画像データが生成される（Ｓ１４）。生成されたローライト画像データは画像合成部６５に送出される。

画像合成部６５では、画像伸張部６４から送出されたハイライト画像データとローライト画像データとがピクセル毎にあらかじめ設定された閾値を基準として合成される（Ｓ１５）。閾値はユーザにより設定可能である。例えば閾値を輝度レベルの８０％に設定したと仮定すると、ローライト画像データにおいてレベルが８０％以下のピクセルはそのままとし、８０％以上のピクセルのデータは直前のハイライト画像データのピクセルと入れ替えることにより合成する。合成することにより、ダイナミックレンジが広い画像を得ることができる。

合成された画像データはモニター７に出力される（Ｓ１６）。本実施形態では、それぞれ１／６０秒の固定長で取り込んだハイライト画像データとローライト画像データとを合成したことにより、モニター７には１／３０秒の合成画像が映像として表示される。映像はプログレッシブ走査により表示される。

〈第二実施形態による撮像装置および撮像システムの動作〉
本発明の第二実施形態による撮像装置および撮像システムについて説明する。撮像装置の構成は第一実施形態と同じであるので、図１を援用する。本実施形態ではカメラ信号処理部２４における電気信号の取り込み間隔を可変長にし、ハイライト露光処理による電気信号は高速で取り込み、ローライト露光処理による電気信号は低速で取り込むよう設定する。

図３は本実施形態において撮像素子２３で出力された電気信号がカメラ信号処理部２４にて取り込まれる際のタイミングチャートを示す。

本実施形態では撮像素子２３での電荷蓄積時間をハイライト露光処理では１／１２００秒、ローライト露光処理では１／６秒に設定する。また、カメラ信号処理部での電気信号取り込み間隔を可変長にし、ハイライト露光処理では１／３０秒、ローライト露光処理では１／６秒に設定する。ハイライト露光処理によるフレームをローライト露光処理によるフレームより高速で取り込むことによって２つのフレーム間の取り込み時差が少なくなり、動画がより滑らかに表示され、さらにダイナミックレンジを拡大することができる。

〈他の実施形態〉
上記の第一実施形態および第二実施形態では、ハイライトおよびローライトの２パターンの電荷蓄積時間で処理をしたが、さらに細かく中間の電荷蓄積時間を設定することも可能であり、それにより画像の質を向上させることができる。

また、撮像システム１中の送信部３は撮像装置２に内蔵されても、撮像装置２とは別に設けられてもよく、受信部５は画像処理装置６内に内蔵されても、画像処理装置６とは別に設けられてもよい。

また、画像処理装置６は、汎用ＰＣを用いてもよい。画像処理装置６に汎用ＰＣを用いることで、露光処理における電荷蓄積時間および撮像素子から出力される電気信号の取り込み間隔をＰＣから設定可能であり、設定値の変更を容易に行うことができる。これにより、さらに撮像装置２の負荷を減らすことができ、撮像装置２を小型化することができる。さらに、第一の電荷蓄積時間と第二の電荷蓄積時間を等しく設定することで、標準的なプログレッシブ走査の撮像装置として使用することができる。

また、画像圧縮部２９にて画像データを圧縮する際は、フレームごとそのまま圧縮するモードと、８ビット内で閾値を設定し、ローライト画像データはその閾値以下を、ハイライト画像データは閾値以上を対象として圧縮するモードとのどちらかを選択することができる。閾値を設けて部分的に圧縮することにより圧縮効率を上げることができ、処理時間を短縮することができる。

本発明の第一実施形態による撮像システムを示す機能ブロック図である。本発明の第一実施形態による撮像システムの撮像素子で出力された電気信号がカメラ信号処理部にて取り込まれる際のタイミングチャートを示す図である。本発明の第二実施形態による撮像システムの撮像素子で出力された電気信号がカメラ信号処理部にて取り込まれる際のタイミングチャートを示す図である。本発明の第一実施形態による撮像装置の動作を示すフローチャートである。本発明の第一実施形態による画像処理装置の動作を示すフローチャートである。従来の撮像装置を示す機能ブロック図である。

符号の説明

１撮像システム
２撮像装置
３送信部
４ネットワーク
５受信部
６画像処理装置
７モニター
２１レンズ
２２絞り
２３撮像素子
２４カメラ信号処理部
２５撮像素子駆動回路
２６絞り駆動部
２７焦点駆動部
２８カメラ制御部
２９カメラ信号処理部
６１バッファメモリ
６２画像処理制御部
６３補助記憶装置
６４画像伸張部
６５画像合成部

Claims

ネットワークを介して画像データを処理する画像処理装置に接続されるように構成されており、
第一の電荷蓄積時間と第二の電荷蓄積時間とを設定する撮像素子駆動回路と、
前記第一の電荷蓄積時間によるハイライト露光処理と、前記第二の電荷蓄積時間によるローライト露光処理とを１フレームごとに交互に繰り返し、それぞれ蓄積した電荷を電気信号として出力する撮像素子と、
前記ハイライト露光処理で得られた電気信号を取り込んでハイライト画像データを生成するとともにローライト露光処理で得られた電気信号を取り込んでローライト画像データを生成し、これらの画像データを交互に前記ネットワークを介して前記画像処理装置に送出可能なカメラ信号処理部と
を備えることを特徴とする撮像装置。
ネットワークを介して撮像装置と画像処理装置とを接続する撮像システムであって、
前記撮像装置は、
第一の電荷蓄積時間と第二の電荷蓄積時間とを設定する撮像素子駆動回路と、
前記第一の電荷蓄積時間によるハイライト露光処理と、前記第二の電荷蓄積時間によるローライト露光処理とを１フレームごとに交互に繰り返し、それぞれ蓄積した電荷を電気信号として出力する撮像素子と、
前記ハイライト露光処理で得られた電気信号を取り込んでハイライト画像データを生成するとともにローライト露光処理で得られた電気信号を取り込んでローライト画像データを生成し、これらの画像データを交互に前記ネットワークに送出するカメラ信号処理部とを備え、
前記画像処理装置は、
ネットワークを介して受信した前記ハイライト画像データと前記ローライト画像データとを合成する画像合成部を備える
ことを特徴とする撮像システム。