JP2009302764A - ネットワークカメラシステム - Google Patents

Abstract

【課題】 本発明は、ネットワークカメラに負担をかけることなく画像中心ズレの無い適切な画像補正を行なうことを目的とする。
【解決手段】 上記課題を解決するために、本発明のネットワークカメラシステムは、ズームカメラ部に、ズーム光学系の位置を検出するレンズ位置検出手段とズーム光学系に関わるレンズ情報を予め記憶するレンズ情報記憶手段と、前記レンズ情報記憶手段に記憶された光学情報をズーム光学系の移動に伴い、前記情報処理装置に配信する手段を設けた。
【選択図】 図２

Description

本発明はネットワークカメラシステムにおいて、ズーム機構を有する撮像装置のズーミングによる光軸ズレの補正方法に関する。

近年、撮像装置の高倍化・高画質化が進んでいる。

理想的なレンズシステムの場合、ズーミングによる光軸中心のズレは発生しないため、ワイド端での中心被写体とテレ端での中心被写体にズレは生じない。

しかしながら、レンズ群同士の偏心やレンズと撮像素子との取り付け位置ズレ等のメカ的ばらつきにより、ズーミング時の光軸ズレが発生し、図６のように画面の中心から目標被写体がはずれてしまうという問題がある。

監視用撮像装置や産業用撮像装置では、雲台を用いてパン・チルト動作を行い、撮影範囲を広げる一方、任意の位置を拡大撮影するために、高倍率のズーム機構付きレンズの要望がある。

このようなことから、ズーミングによる光軸ズレの問題が顕著になっている。

光軸ズレを軽減する方法として、レンズ自身やレンズに付随する部材の加工精度を上げる、あるいは組み立て後に調整を行うなどの方法がある。

しかしこの場合、製造コストが上昇するという課題がある。

そこで、上述した光軸ズレを補正する方法として、特許文献１では撮像素子からの切り出し位置をずらすことによって光軸ズレを補正した画像を生成している。

また、特許文献２では像ブレ補正用の光路補正光学系を兼用してズーミングの際の光軸ズレを補正している。
特開平９−２７９２６号公報 特開２００６−１９１１８１号公報

撮像素子からの切り出し位置をずらすことによって光軸ズレを補正する場合、撮影される画像は撮像素子の有効画素の一部しか利用することができないため、画質が劣化する。

また、像ブレ補正用の補正光学系と兼用する場合、画質の劣化はないが、像ブレ補正のための光学系振れ角の一部を光軸ズレ補正用に利用するため、像ブレ補正効果や光軸ズレ補正効果が十分に得られなくなってしまう。

すなわち、像ブレ補正と光軸ズレ補正を同時に行うことには無理があり困難である。

本発明は、このような課題を鑑みてなされたものであり、ネットワークカメラに負担をかけることなく画像中心ズレの無い適切な画像補正を行なうことを目的とする。

上記課題を解決するために、本発明のネットワークカメラシステムは、
ズームカメラ部に、
ズーム光学系の位置を検出するレンズ位置検出手段と、
ズーム光学系に関わるレンズ情報を予め記憶するレンズ情報記憶手段と、
前記レンズ情報記憶手段に記憶された光学情報をズーム光学系の移動に伴い、前記情報処理装置に配信する手段を設けた。

更に、前記情報処理装置には、
前記配信されたレンズ情報に基づき撮影画像を補正する画像補正手段を備えた。

ここで、前記光学情報はズームレンズ位置と光軸ズレに関わる情報であり、
前記情報処理装置の画像補正手段は、
前記配信されたレンズ情報に基づき撮影画像の光軸ズレを補正するものである。

更に、前記画像補正手段を実行するか否かを選択する補正選択手段と、
画像補正の実行が選択され、画像補正量が所定以上の時、上記ズーム光学系の移動領域を規制するものである。

本発明によれば、低コストかつ画質を劣化させることなく撮影中や画像再生時にズーミング時の光軸ズレを補正することが可能である。

更に、任意の時に必要とする撮影画像の中心位置ズレ補正画像を得ることが可能である。

次に、本発明の詳細を実施例の記述に従って説明する。

以下、図面を参照しながら、本発明の実施例であるズーム光学系を有するネットワークカメラについて説明する。

図１は、
本実施形態におけるネットワークカメラシステムの概略構成の一例を示した図である。図１において、ネットワークカメラシステムは、ネットワークカメラ（撮像装置）１００、パーソナルコンピュータなどの情報処理装置からなるクライアント端末装置２００、および蓄積サーバ７００が、ＬＡＮ５００を介して相互に接続されている。

本願発明は、ＬＡＮ５００の代わりにインターネットに置き換え可能である。

ネットワークカメラ１００は、MPEG2、MPEG4、H.264などの動画ストリームや、MJPEG、JPEGなどの静止画や、付属のマイクあるいは外部からの音声入力に基づく音声ストリームデータを、パケット通信網であるＬＡＮ５００に配信する。

なお、本実施形態では、３台のネットワークカメラ１００ａ〜１００ｂが設けられている場合を例に挙げて示しているが、ネットワークカメラ１００の数は３台に限定されないということは言うまでもない。

クライアント端末装置２００は、ビューワとして機能し、ネットワークカメラ１００から配信された各ストリームデータを受信し、様々なフォーマットによって符号化された各ストリームデータを復号化してモニタ６００へ出力する。

また、クライアント端末装置２００は、ハードディスクなどの蓄積装置３００にネットワークカメラ１００から受信したストリームデータを蓄積し、その蓄積したストリームデータを後で再生する録画、録音機能を有する。

なお、本実施形態では、２つのクライアント端末装置２００ａ、２００ｂが設けられている場合を例に挙げて示しているが、クライアント端末装置２００の数は２つに限定されないということは言うまでもない。

蓄積サーバ７００は、蓄積装置３００と同様に、ネットワークカメラ１００から受信したストリームデータを蓄積するものである。そして、クライアント端末装置２００の要求に応じて蓄積したストリームデータを、クライアント端末装置２００へ配信する。

このようなネットワークカメラシステムの構成において、ネットワークカメラ１００においてズーム制御された場合、配信された動画あるいは静止画をクライアント端末装置２００にて画像の光軸中心ズレ補正を行なう一例を詳細に説明する。

図２は、ネットワークカメラ１００の構成の一例を示したブロック図である。

図２において、１００はネットワークカメラの本体を示す。

システム制御部１０９は、撮影レンズ群（変倍レンズ群１０１、フォーカスレンズ群１０３）及び、アイリス１０２の制御をすると共に、映像信号処理回路１０５の画像生成に関わり、さらにネットワークカメラ１００のシステム全体を制御する。

１０１は、撮影倍率を可変させる変倍レンズ群である。

変倍レンズ群１０１の移動は、クライアント端末装置２００の要求に応じて、ＬＡＮ回線網５００を通じて後述するＬＡＮ Ｉ／Ｆ部１１１を介し、システム制御部１０９からズーム駆動信号が発せられる。

ズーム駆動信号は、駆動回路１１２とズームモーター１０７によって変倍レンズ群１０１を移動させる。

移動した変倍レンズ群１０１の位置は、ズームエンコーダ１０８により移動位置信号を出力する。

但し、ズームモーター１０７がパルスモータの場合、システム制御部１０９内部で位置をカウントすることで位置検出ができるため、この場合はズームエンコーダ１０８がなくてもよい。

光軸移動データメモリ１１３は、ＥＥＰＲＯＭやフラッシュＲＯＭなどの書換え可能な記憶素子であり、予め光軸ズレに関わる、光軸ズレ量に関するデータを記憶する。

光軸ズレ量に関するデータを得るためには、設計シミュレーションによって算出するか、若しくは撮像装置の製造過程において測定する必要がある。

光軸ズレ情報はすべてのズームレンズ位置毎に記憶する手法があるが、データ量が大きくなるという問題がある。

そのため、所定の間隔を空けて、複数のズームレンズ位置の光軸ズレ情報を記憶し、記憶されていなズームレンズ位置での光軸ズレは記憶された光軸ズレ情報から線形補間等により近似的に算出することも可能である。

この手法ならば、光軸ズレ情報を設計シミュレーションや製造過程から得るデータは少なくて済み、容易に算出、測定することが可能である。

１０３は焦点合わせを行なうためのフォーカスレンズ群であり、１０２は、撮像レンズ１０１から入射した光の光量を調節するアイリスである。

１０４は、アイリス１０２により光量が調節され、撮像面に結像された光像を光電変換により画像信号に変換するＣＣＤセンサー，ＣＭＯＳセンサーなどの撮像素子である。

なお、撮像素子１０４は、ＣＣＤセンサーやＣＭＯＳセンサーに限定されるものでない。

撮像素子１０４から出力された信号は、映像信号処理回路１０５に送られる。映像信号処理回路１０５では撮像素子１０４からの出力信号に対して所定の増幅やガンマ補正などの各種処理を施して映像信号を生成する。

映像信号符号化部１０６は、映像信号処理回路１０５から出力されたデジタル画像信号を圧縮して符号化する。

画像中心遷移データ符号化部１１４は、変倍レンズ群１０１が移動した時に、光軸移動データメモリ１１３からシステム制御部１０９を介して出力された画像中心移動データを圧縮して符号化する。

パケット化多重化部１１０は、符号化されたデジタル画像信号及び画像中心遷移データ信号を、それぞれビデオパケット及びデータパケットにするパケット化処理を行なう。

さらに、送信されるビデオストリーム、データストリーム、及び制御ストリームを、ＬＡＮ Ｉ／Ｆ部１１１に出力するために、所定のフォーマットに従って配置してパケットの多重化処理を行なう。

ＬＡＮ Ｉ／Ｆ部１１１は、網と端末との間に必要な適応化を図るためのものである。

図３は、クライアント端末装置２００の構成の一例を示したブロック図である。

なお、図３に示すように、本実施形態のクライアント端末装置２００は、専用の組み込み機器であっても、パーソナルコンピュータなどに本実施形態を実行するためのソフトウェアをインストールすることによっても実現可能である。

図３のクライアント端末装置２００において、ＬＡＮ Ｉ／Ｆ部２０１は、外部と通信を行なうためのインターフェースである。

デパケット化分離部２０２は、まず、所定のフォーマットによって多重化されたデータであるメディアパケット（ストリームデータ）をビデオ、データ及び制御の各メディアに分離する。

そして、分離したビデオパケット及びデータパケットをデパケット化し、符号化画像情報及び符号化データ情報を構成する。

映像信号復号化部２０３は、デパケット化分離部２０２から出力された符号化画像情報を伸張及び復号化して、デジタル動画データ又はデジタル静止画データにする。

映像補正処理部２０４は、映像信号復号化部２０３によって復号化された画像データ（デジタル動画データ又はデジタル静止画データ）のうち、変倍レンズ群１０１の移動に伴って画像中心がずれている画像を選択し、ずれの中心から画像の切り出し処理を行い補正画像を生成する。

映像信号選択回路２０５は、映像信号復号化部２０３によって復号化された原画像データ（デジタル動画データ又はデジタル静止画データ）をそのまま映像信号に変換して、モニタ６００に出力するか、映像補正処理部２０４によって画像中心ずれ補正された画像を映像信号に変換して、モニタ６００に出力するか選択する。

システム制御部２０６は、オペレータの操作２０９に従い、画像中心ずれ補正を実行する場合と、しない場合で画像補正処理回路２０４や映像信号選択回路２０５を制御する。

蓄積装置Ｉ／Ｆ部２０７は、ＬＡＮ Ｉ／Ｆ部２０１で入力されたメディアパケット、又はデパケット化分離部２０２で構成された符号化画像情報及び符号化データ情報を蓄積装置３００へ転送したり、蓄積装置３００に蓄積されている符号化画像情報及び符号化データ情報を、デパケット化分離部２０２を介して映像信号選択回路２０５へ転送し、ビデオを再生させるようにしたりするためのものである。

蓄積装置３００は、ネットワークカメラ１００から配信されたビデオストリーム及びデータストリームを蓄積させる。

具体的に蓄積装置３００は、例えばハードディスク装置や記録型ＤＶＤ装置などを用いて構成される。システム制御部２０６は、クライアント端末装置２００のシステム全体を制御する。

操作部２０９は、明るさ補正部２０８の補正のオン、オフを含めたクライアント端末装置２００の操作や、ネットワークカメラ１００からの各メディアの配信開始を指示する操作などをユーザが行なう操作デバイスである。

操作部２０９は、例えばキーボード，マウス，タッチパネルなどを用いて構成される。

図４は、蓄積サーバ７００の構成の一例を示したブロック図である。

図４において、ＬＡＮ Ｉ／Ｆ部７０１はネットワークを介して他の装置とデータの通信を行なうためのものであり、画像・データ蓄積部７０３は、ネットワークカメラ１００から配信されたビデオストリーム及びデータストリームを蓄積する。画像・データ蓄積部７０３は、例えばハードディスク装置や記録型ＤＶＤ装置などを用いて構成される。

画像・データ蓄積部Ｉ／Ｆ部７０２は、ＬＡＮ Ｉ／Ｆ部７０１を介してネットワークカメラ１００から配信されたビデオストリーム及びデータストリームをそのまま画像・データ蓄積部７０３へ転送したり、画像・データ蓄積部７０３に蓄積されているビデオストリーム及びデータストリームをクライアント端末装置２００へ配信するためにＬＡＮ Ｉ／Ｆ部７０１へ転送したりする。

画像・データ蓄積部Ｉ／Ｆ部７０２は、クライアント端末装置２００へ配信するビデオストリームを最適化するために、ネットワークカメラ１００から配信されたビデオストリーム及びデータストリームを、画像変換部７０６にも転送する。

７０６は、クライアント端末装置２００の復号化能力に応じて、配信するビデオストリームに基づく画像のフォーマット・サイズなどを変換する画像変換部である。

７０４は、蓄積サーバ７００のシステム全体を制御するシステム制御部であり、７０５は、画像変換部７０６の変換制御の指示など、蓄積サーバ７００の操作をユーザが行なうようにするための操作部である。

図５及び図７では、ネットワークカメラ１００のズーム操作によって配信された、光軸ずれ画像をクライアント端末２００の映像補正処理部２０４によって、画像中心位置ずれを補正した画像に生成する方法について述べる。

以下映像補正処理部２０４の動作について説明する。

ネットワークカメラ１００において、変倍レンズ群１０１のズーム操作によって配信された原画像５０２は、同時に付加配信されるネットワークカメラ１００光軸移動データメモリ１１３に対応する。

原画像５０２は、順次光軸移動データメモリ１１３から、ワイド端での画像中心位置を基準に、焦点距離に応じた補正中心点が求められる。

求めた補正中心点から、モニタ６００のアスペクト比に応じて画像の切り出しエリアが算出される。

画像の切り出しエリアから切り出された画像５０３は、モニタ６００の画面上の大きさになるように画像を拡大処理（リサイズ）（５０４）される。

このようにして補正画像５０５は、焦点距離に応じ連続的な動画像や静止画像を、ズーム中心ずれの無い画像として補正処理できる。

図６には、本発明の特徴となる処理フローに関して説明する。

（Ｓ３０１）
クライアント端末２００のモニタ６００で動画監視していたオペレータが、ネットワークカメラ１００に向けてズーム操作２０９を指令した時、ズーム中心ずれ補正を実行するか否かを選択する。

若しくは、クライアント端末２００のモニタ６００で再生画像を監視していたオペレータが、ズーム操作２０９されたシーンであった場合、ズーム中心ずれ補正を実行するか否かを選択する。

（Ｓ３０２）
画像のズーム中心ずれ補正を実行する選択をすると、クライアント端末２００のデパケット分離部２０２から分離された光軸移動データメモリ１１３の符号データを複号化して、画像中心移動情報を取得する。

（Ｓ３０３）
映像補正処理回路２０４は、取得した画像中心移動情報に基づいて原画像を補正するステップとして以下の処理を行う。

ワイド端での画像中心位置を基準に、焦点距離に応じた補正中心点を求める。

次に、求めた補正中心点から、モニタ６００のアスペクト比に応じて画像の切り出しエリアを算出する。

（Ｓ３０４）
ここで、求めた切り出しエリアが任意の所定値より小さい場合は、後で行う画像拡大（リサイズ）処理５０４によって解像度が著しく低下する恐れが懸念されるので、切り出しエリアの大きさが適正か否かを判定する。

又、ズームレンズ群１０１がテレ近傍で、補正中心点が画面外と算出されるか否かを判定する。

（Ｓ３０５）
上記判定で、補正中心点が画面内で、かつ補正画像の切り出しエリアの大きさが適正であれば、原画像５０２から補正画像５０３を切り出した後、モニタ６００の画面上の大きさになるように画像を拡大処理（リサイズ）する。

（Ｓ３０６）
このような処理をズーム中の画像に対して連続的に行うことで、ズーム中心ずれが補正された動画像、若しくは静止画像を得ることができる。

（Ｓ３０７）
一方、Ｓ３０４の判定で、補正中心点が画面外となるか、補正画像の切り出しエリアの大きさが適正でなければ、撮影中の画像と再生中の画像で以下の処理を行う。

撮影中の画像であれば、ワイド端からのズーム移動領域を制限して、画像の補正中心点が画面内で、かつ補正画像の切り出しエリアの大きさが適正となるようにシステム制御部１０９、２０６は、映像信号選択回路２０５を介して制御する。

ここでのズーム移動領域を制限値は、ネットワークカメラ１００ａ、１００ｂ、１００ｃ毎に予め光軸移動データメモリ１１３内に記憶しておいても良い。

又、再生中の画像であれば、不適切な画像フレームは除外処理する。

（Ｓ３０８）
一方、Ｓ３０１の判定で、クライアント端末２００のモニタ６００で動画、若しくは再生画の監視していたオペレータが、ズーム中心ずれ補正を実行しなければ、原画像５０２は、映像信号選択回路２０５を介してそのままモニタ表示６００する。

図7にはズーム中心ずれ補正を実施した時と、実施しない場合の概略図を示す。

本発明実施形態のネットワームカメラシステムを示すブロック図 本発明実施形態のネットワームカメラの構成を示すブロック図 本発明実施形態のクライアント端末装置の構成を示すブロック図 本発明実施形態の蓄積サーバの構成を示すブロック図 本発明実施形態の光軸ズレ補正動作を示すブロック図 本発明実施形態の光軸ズレ補正処理を示すフローチャート 本発明実施形態の光軸ズレ補正を示す概念図

符号の説明

１００ ネットワークカメラ
１０１ 変倍レンズ群
１１３ 光軸移動データメモリ
２００ クライアント端末装置
２０４ 画像補正処理回路
７００ 蓄積サーバ

Claims (3)

1. ズームカメラ部によって撮像された画像を情報処理装置に配信するネットワークカメラシステムにおいて、
   前記ズームカメラ部は、
   ズーム光学系の位置を検出するレンズ位置検出手段と、
   ズーム光学系に関わるレンズ情報を予め記憶するレンズ情報記憶手段と、
   前記レンズ情報記憶手段に記憶されたレンズ情報をズーム光学系の移動に伴い、前記情報処理装置に配信する手段と、
   を有し、
   前記情報処理装置は、
   前記配信されたレンズ情報に基づき撮影画像を補正する画像補正手段を備えた
   ことを特徴とするネットワークカメラシステム。
2. 前記レンズ情報はズームレンズ位置と光軸ズレに関わる情報であり、
   前記情報処理装置は、
   前記配信されたレンズ情報に基づき撮影画像の光軸ズレを補正する画像補正手段を備えた
   ことを特徴とする請求項１に記載のネットワークカメラシステム。
3. 前記画像補正手段を実行するか否かを選択する補正選択手段と、
   画像補正の実行が選択され、画像補正量が所定以上の時、上記ズーム光学系の移動領域を規制する制限手段を設けた
   ことを特徴とする請求項１に記載のネットワークカメラシステム。

Images