JP2011254339A - 撮像装置 - Google Patents

Abstract

【課題】
他のカメラで撮影した映像情報の検知結果と連携し、撮影シーンに適応した撮像制御や信号処理の制御を行うこと。
【解決手段】
撮像素子に入射した光を光電変換し撮像信号として出力する撮像手段と、撮像手段の出力する撮像信号に信号処理を行い映像信号として出力する信号処理手段と、他の撮像機器ないし画像信号処理機器と接続して、他の撮像機器の撮像信号を信号処理して得られた検知情報を取得する他撮像信号検知情報取得手段と、他撮像信号検知情報取得手段の出力する検知情報を用いて撮像手段の撮像条件や信号処理手段の信号処理を制御する撮像制御手段と、を備えること、を特徴とする撮像装置によって実現される。
【選択図】図１

Description

本発明は、他の撮像機器や他の画像信号処理機器と接続し、連携して撮像制御や信号処理の制御を行う撮像装置に関する。

本技術の背景分野として、例えば特開２００６−１９７１４０号公報（特許文献１）がある。該公報には、「画質の劣化を防止して被写体の色再現精度が良好な画像信号を取得することが可能な撮像装置及び情報提供システムを提供する」を目的とし、「ユーザから天気情報の取得を指示されたデジタルカメラ１において、制御部１０は、ＧＰＳ受信機１５が受信する電波に基づいて現在地を特定し、特定した現在地及び現在時刻に対応する天気情報をサーバ装置３から取得する。制御部１０は、電源投入後に順次取得する画像信号に基づいて選択した天気と、サーバ装置３から取得した天気情報が示す天気とを比較して最終的な天気を決定し、決定した天気に対応するＡＥ制御処理及びホワイトバランス処理におけるパラメータを決定する。そして、制御部１０は、決定したパラメータに基づくＡＥ制御を行なった上で撮像部１６による撮像処理を行なうと共に、取得した画像信号に対して、決定したパラメータに基づくホワイトバランス処理を行なう」という技術が開示されている。

特開２００６−１９７１４０号

民生や監視、車載など様々な用途で、静止画や動画などの撮影した映像データに対しデジタル信号処理を行い、映像出力ないし録画するデジタルカメラが普及している。これらのデジタルカメラでは、映像データ中の輝度情報や色情報を解析し、撮影シーンの明るさや色温度などを推定して得られる各種の検知情報を撮像制御や信号処理にフィードバックすることで、撮影シーンに適応した信号処理による高画質化を実現している。例えば、撮影シーンの環境光の明るさを推定することで最適な露光制御を実現するＡＥ（自動露光）機能や、撮影シーンの環境光の色温度を推定することで最適なホワイトバランスを実現するＡＷＢ（自動ホワイトバランス）機能などが一般的である。しかし、映像データ中には環境光だけでなく被写体も映りこんでいるため、映像データから環境光の成分だけを抽出して明るさや色温度を推定するのは困難である。そのため、暗い撮影シーン中にスポットライトのような光源があったり、環境光と極端に異なる色温度の大きな被写体があったりすると、ＡＥやＡＷＢはユーザが所望する動作を行わない場合があり、視認性の低下や画質劣化が生じる。

上記特許文献１では、ＧＰＳ受信機からカメラの位置を取得し、また、サーバとネットワークで接続して、カメラの位置や時刻からカメラ設置位置付近の天気情報を取得し、映像データから予想した天気情報とサーバから取得した天気情報とを組み合わせて用いることで色再現を高精度に行うホワイトバランス処理を実現する、という方法が開示されている。但し、上記特許文献１に示された方法では、サーバから取得する天気情報が必ずしも高精度とは限らず、例えばカメラが屋内にある場合や、非常に狭い範囲で局所的に天気が近隣とは異なる場合などには誤った天気情報が与えられる可能性がある。また、動画撮影を行うためリアルタイムの情報が必要な場合はサーバ上の天気情報をリアルタイムで更新することが必要となり、信頼性のある天気情報の取得やサーバへの格納など労力が大きくなるという課題もある。

一方で、近年、監視システムのＩＰ化が進んでおり、監視エリアに対し死角を防止するため複数のカメラを設置した場合に、カメラとＰＣ間、あるいはカメラ間をイーサネット（登録商標）で接続しネットワークを構築することで、カメラ間の通信が容易となってきている。

そこで、本発明では、他のカメラで撮影した映像を他のカメラ、ＰＣ、専用の画像処理装置などで信号処理して得られる各種の検知情報をネットワーク経由などで取得し、自分のカメラにフィードバックして撮像制御や信号処理の制御に用いる。これにより、例えば自分のカメラにＡＥやＡＷＢが誤検知を起こす原因となるような被写体が映りこんでいる場合に、それらの被写体が画角に入らない近くの他のカメラの検知情報を用いて、撮影シーンに適応したＡＥやＡＷＢを行うことが可能となる。また、近年、画像処理により顔や動体などの特定の被写体の検出や、識別などを行う画像認識技術が普及してきているが、他のカメラにおけるこれらの認識結果も検知情報として自分のカメラの撮像制御や信号処理の制御にフィードバックすることも可能である。このように、本発明では、他カメラとの連携により、撮影シーンに適応した撮像制御や信号処理の制御が可能となり、視認性の向上や画質向上、高機能化などを図ることが可能となる。

上記課題は、例えば特許請求の範囲に記載の発明により達成される。

本発明によれば、他のカメラで撮影した映像情報の検知結果と連携して撮像制御や信号処理の制御を行うことで、撮影シーンに適応した高画質な映像の取得や高機能化が実現できる。

本発明の第１実施例に係る撮像装置を示す模式図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御シーケンスの一例を示す図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第１の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第２の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第３の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第４の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第５の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第６の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第７の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第８の図 本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第９の図 本発明の第２実施例に係る撮像装置を示す第１の模式図 本発明の第２実施例に係る他撮像信号検知情報を用いた映像圧縮制御方法の一例を示す第１の図 本発明の第２実施例に係る撮像装置を示す第２の模式図 本発明の第２実施例に係る他撮像信号検知情報を用いた録画制御方法の一例を示す第２の図 本発明の第３実施例に係る撮像装置を示す模式図 本発明の第３実施例に係る他複数撮像信号検知情報を用いた撮像制御方法の一例を示す図 本発明の第３実施例に係る撮像制御および検知情報の重み推定シーケンスの一例を示す図

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係る撮像装置を示す模式図である。図１において、０１０１は撮像部、０１０２は信号処理部、０１０３は他撮像信号検知情報取得部、０１０４は撮像制御部である。

図１に示した撮像装置において、撮像部０１０１はズームレンズまたはフォーカスレンズを含むレンズ群やアイリスやシャッタや近赤外カットフィルタやＣＣＤまたはＣＭＯＳ等の撮像素子や信号増幅器やＡＤ変換器などを備え、撮像制御部０１０４の出力するアイリスの絞り量や露光時間などの制御情報に基づいて、撮像素子に入射した光を光電変換し、撮像信号として出力する。信号処理部０１０２は撮像制御部０１０４の出力する制御情報に基づいて、輝度・色信号生成処理や、ゲイン処理や、ノイズ除去処理や、ガンマ等の輝度・色補正処理や、コントラスト補正処理や、ホワイトバランス処理や、ダイナミックレンジ拡大処理や、雨滴除去処理や雪除去処理や映像信号生成処理などの撮像信号に対する補正処理を行い、補正した信号を映像信号として不図示のモニタや画像処理装置、録画装置などに出力する。また、信号処理の過程で、領域内の輝度信号や色信号の積分値やヒストグラムなどの、撮像制御や信号処理の制御を行う上で必要な解析情報を演算し、撮影時の明るさや、色温度や、濃霧らしさや、雨天らしさや、降雪らしさや、フリッカ状況などを推定して、検知情報として撮像制御部０１０４に出力する。また、補正途中ないし補正後の撮像信号に対し信号処理による画像認識を行って顔や動体などの特定の被写体の検出や、識別などを行い、その認識結果を検知情報として撮像制御部０１０４に出力しても良い。他撮像信号検知情報取得部０１０３は、他の撮像信号処理装置とイーサネットやシリアル等で接続し、他の撮像信号処理装置において他の撮像装置で撮像された撮像信号に信号処理を行うことで得られた検知情報を取得し、撮像制御部０１０４に出力する。ここで、他の撮像信号処理装置とは、他の撮像装置そのものや、他の撮像装置の出力する撮像信号を信号処理可能なＰＣないし専用の画像処理装置などを指す。撮像制御部０１０４は、信号処理部０１０２の出力する検知情報、または、他撮像信号検知情報取得部０１０３の出力する検知情報、または、不図示のユーザ入力部から入力したユーザ入力情報を用いて、撮像部０１０１の撮像条件や、信号処理部０１０２で行う信号処理の各制御パラメータを決定し、それぞれ撮像部０１０１、信号処理部０１０２に出力することで、露光制御や、画質制御や、ダイナミックレンジ拡大制御や、近赤外カットフィルタの着脱制御や、ホワイトバランス制御や、霧画像補正処理制御や、コントラスト拡大制御や、雨滴除去処理制御や、雪除去処理制御や、フリッカキャンセル制御や、信号処理を行うフレームレート制御や、信号処理を行う解像度制御や、被写体検出処理制御や、被写体認識処理制御などを行う。これにより、他のカメラで撮影した映像情報の検知結果と連携した撮像制御や信号処理の制御を行うことが可能となる。なお、信号処理部０１０２の信号処理や、他撮像信号検知情報取得部０１０３の他撮像信号処理装置への接続および検知情報の取得処理や、撮像制御部０１０４の撮像条件および信号処理の制御処理は、通常はカメラ内のマイコンやカメラ信号処理ＤＳＰや専用のＡＳＩＣやＦＰＧＡなどで行われる。また、信号処理部０１０２、他撮像信号検知情報取得部０１０３、撮像制御部０１０４の一部ないし全体をＰＣや専用の画像処理装置などが行う形態を取っても良い。

図２は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御シーケンスの一例を示す図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図２の他撮像信号検知情報を用いた撮像制御シーケンスにおいて、ＳＴ０２０１では、他撮像信号検知情報取得部０１０３は接続された他撮像信号処理装置に対し他の撮像装置で撮像された撮像信号より得られた検知情報の取得を要求する。ＳＴ０２０２では、他撮像信号検知情報取得部０１０３は、他撮像信号処理装置より取得可能な検知情報があるかを判定し、他撮像信号処理装置より検知情報が返ってきた場合はＳＴ０２０３へ、他撮像信号処理装置より返答された情報に検知情報が含まれていない場合、あるいは一定時間返答が返らず通信がタイムアウトとなった場合は、取得可能な検知情報はないと判定してＳＴ０２０６へ、それぞれ進む。ＳＴ０２０３では、撮像制御部０１０４は、信号処理部０１０２の出力する自カメラの検知情報と他撮像信号検知情報取得部０１０３の出力する他カメラの検知情報のうちいずれを使うかを選択する。これは、予めいずれを選択するかの選択情報を例えばＥＥＰＲＯＭ等の記録装置に記録しておき、制御時にその情報を取得して選択する。あるいは、ユーザがシリアル通信やカメラ付属のボタン操作等の不図示のユーザ入力部より、いずれの検知情報を使うかを選択し、その選択情報を以後使うようにしてもよい。その結果、他カメラの検知情報を使用する場合はＳＴ０２０４へ、他カメラの検知情報と自カメラの検知情報の重み付け平均結果を使用する場合はＳＴ０２０５へ、自カメラの検知情報を使用する場合はＳＴ０２０６へ、それぞれ進む。ＳＴ０２０４では、撮像制御部０１０４は、撮像制御に用いる検知情報として他撮像信号検知情報取得部０１０３より取得した他カメラの検知情報を選択する。ＳＴ０２０５では、撮像制御部０１０４は、撮像制御に用いる検知情報として他撮像信号検知情報取得部０１０３より取得した他カメラの検知情報と信号処理部０１０２の出力する自カメラの検知情報の重み付け平均結果を選択し、予め定めた所定の重み係数に従って他カメラの検知情報と自カメラの検知情報の重み付き平均を算出する。このとき、重み係数を例えばＥＥＰＲＯＭ等の記録装置に記録しておき、制御時にその情報を取得して選択しても良いし、ユーザがシリアル通信やカメラ付属のボタン操作等の不図示のユーザ入力部より重み係数を入力して、その重み係数を以後使うようにしてもよい。ＳＴ０２０６では、撮像制御部０１０４は、撮像制御に用いる検知情報として信号処理部０１０２の出力する自カメラの検知情報を選択する。ＳＴ０２０７では、撮像制御部０１０４は、ＳＴ０２０４からＳＴ０２０６において選択した検知情報を元に、撮像部０１０１の撮像条件、および、信号処理部０１０２の信号処理の各パラメータを演算し、それぞれ撮像部０１０１、信号処理部０１０２に出力する。撮像部０１０１の撮像条件、および、信号処理部０１０２の信号処理の各パラメータの項目および演算方法の例については、図３から図１１を用いて後述する。これにより、必要に応じて自カメラの検知情報と他カメラの検知情報を切り替えて使用する、適用的な撮像制御や信号処理の制御を行うことが可能である。例えば、撮影を行いたいエリアに自カメラと他カメラを設置した場合に、自カメラのほうが撮影シーンの明るさや色温度等の検知情報を安定して得られる設置になっていれば自カメラの検知情報を使用して撮像制御を行い、他カメラのほうが撮影シーンの明るさや色温度等の検知情報を安定して得られる設置になっていれば他カメラの検知情報を使用して撮像制御を行うことで、より撮影シーンに適応した撮像制御が可能となる。また、必ずしも一方のカメラだけでは十分に安定した検知情報が得られない場合は、自カメラの検知情報と他カメラの検知情報の重み付き平均を使用することで、一方のカメラのみの検知情報のみを用いた場合に比べ、より撮影シーンに適応した撮像制御が可能となる。なお、図２で示す他撮像信号検知情報を用いた撮像制御シーケンスは、撮像部０１０１が撮像信号を出力する周期に対し、毎周期実施することでリアルタイムかつ高応答性な他の撮像装置と連携した撮像制御を行うことが可能となる。例えば６０ｆｐｓで撮像および信号出力が可能な撮像素子を用いた場合、撮像制御も秒あたり６０回行えばよい。また、一定間隔ごとの周期やユーザタイミングで行っても良く、この場合は処理負荷の低減を行うことが可能である。

図３は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第１の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図３は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御を露光制御に適用した場合の例である。図３（ａ）は、暗い室内に２つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは窓を介して明るい屋外が画角に入るように設置され、第２のカメラは暗い室内のみが画角に入るように設置されている様子を示している。図３（ｂ）は、それぞれのカメラの検知情報を用いた場合の露光制御の目標値を示した図であり、横軸に検知情報として撮影シーンの明るさ推定値、縦軸に露光制御の目標値を取っている。撮影シーンの明るさ推定値は、例えば、撮像信号の所定の領域の輝度積分値などから算出される。図中に点線で示した直線は、検出された撮影シーンの明るさ推定値に対する適切な露光制御の目標値の例であり、撮影シーンが暗いほど露光目標を高くすることで適切な露光の映像が得られる。第１のカメラで算出した撮影シーンの明るさ推定値は、第２のカメラと同じく室内に設置されているものの、屋外が画角に入っているため日中は大きい値をとり、露光制御の目標値は低くなる。一方で第２のカメラの撮影シーンの明るさ推定値を用いた場合は露光制御の目標値は高くなる。第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラで検出した撮影シーンの明るさ推定値を取得し、第１のカメラの撮像制御部０１０４は、第１のカメラの撮影シーンの明るさ推定値、第２のカメラの撮影シーンの明るさ推定値、第１のカメラの撮影シーンの明るさ推定値と第２のカメラの撮影シーンの明るさ推定値の重み付き平均値、のいずれかを選択し、第１のカメラの露光制御にフィードバックする。ここで、露光制御は、撮像部０１０１のアイリスの絞り量やシャッタ、信号増幅器の増幅量、信号処理部０１０２のゲイン量の制御や、それに伴う、ノイズ除去の強さやコントラスト補正の強さなどの画質制御を指すものとする。図３（ｃ）は、第１のカメラの撮影シーンの明るさ推定値を第１のカメラの露光制御にフィードバックした場合に得られる映像の例であり、図３（ｄ）は、第２のカメラの撮影シーンの明るさ推定値を第１のカメラの露光制御にフィードバックした場合に得られる映像の例であり、図３（ｅ）は、第１のカメラの撮影シーンの明るさ推定値と第２のカメラの推定値の平均値を第１のカメラの露光制御にフィードバックした場合に得られる映像の例である。図３（ｃ）では、撮影シーンの明るさ推定値が実際の明るさに対し高いため、映像が十分な明るさとなるまで露光制御を行うことができないが、図３（ｄ）では、実際の明るさに近い第２のカメラの撮影シーンの明るさ推定値を用いることで、撮影シーンに適切な露光制御を行うことが可能となっている。また、図３（ｅ）では、第２のカメラの撮影シーンの明るさ推定値のみを用いたときに対し、室内の暗い領域は十分に明るくなっていないが、一方で露光を上げすぎて屋外の明るい領域が過剰に飽和することを防ぐことが可能である。このように、撮影シーンの明るさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した露光制御を行うことが可能となる。

図４は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第２の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図４は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御をダイナミックレンジ拡大制御に適用した場合の例である。図４（ａ）は、図３（ａ）に示したカメラの配置において、第１のカメラの撮影シーンの明るさ推定値を第１のカメラの露光制御にフィードバックした場合に得られる映像および輝度ヒストグラムの例であり、図４（ｂ）は、図３（ａ）に示したカメラの配置において、第２のカメラの撮影シーンの明るさ推定値を第１のカメラの露光制御にフィードバックした場合に得られる映像および輝度ヒストグラムの例であり、図４（ｃ）は第１のカメラの撮影シーンの明るさ推定値を第１のカメラの露光制御にフィードバックした場合に得られる映像と、第２のカメラの撮影シーンの明るさ推定値を第１のカメラの露光制御にフィードバックした場合に得られる映像を信号処理部０１０２においてそれぞれ生成し、合成することで得られる映像およびその輝度ヒストグラムの例である。図４（ａ）では、屋外の明るさを含む撮影シーンに露光を合わせているため、室内の明るさは十分ではないが、屋外が飽和しない映像を得ることが可能である。また、図４（ｂ）では、室内の明るさのみを含む撮影シーンに露光を合わせているため、室内は十分な明るさとなるが、屋外は飽和気味になる。図４（ｃ）では屋外の明るさを含む撮影シーンに露光を合わせた映像と、室内の明るさのみを含む撮影シーンに露光を合わせた映像を合成することで、室内と屋外の両方の視認性が向上したダイナミックレンジの広い映像を得ることが可能となる。このように、撮影シーンの明るさ推定を安定して行うことのできる他のカメラの検知情報と自メラの検知情報を組み合わせて用いることで、撮影シーンに適応したコントラスト拡大制御を行うことが可能となる。

図５は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第３の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図５は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御を近赤外カットフィルタ着脱制御に適用した場合の例である。図５（ａ）は、図３（ａ）に示したカメラの配置において、それぞれのカメラの検知情報を用いた場合の近赤外カットフィルタ着脱制御を示した図であり、横軸に検知情報として撮影シーンの明るさ推定値、縦軸に近赤外カットフィルタ着脱状況の２値を取っている。撮像制御部０１０４は、撮影シーンが明るい場合は、撮像部０１０１の撮像素子の前に近赤外カットフィルタを装着することで、近赤外域の波長の光の影響が撮像信号に乗ることを防止する。一方で、低照度下で撮影を行う場合は、近赤外カットフィルタを撮像素子から外すことで感度向上が実現できる。図５（ａ）の例では、撮像制御部０１０４は、第１のカメラで算出した撮影シーンの明るさ推定値を用いた場合には近赤外カットフィルタを装着し、第２のカメラで算出した撮影シーンの明るさ推定値を用いた場合には近赤外カットフィルタを外すように制御する。図５（ｂ）は、第１のカメラの撮影シーンの明るさ推定値を第１のカメラの近赤外カットフィルタ着脱制御にフィードバックした場合に得られる映像の例であり、図５（ｃ）は、第２のカメラの撮影シーンの明るさ推定値を第１のカメラの近赤外カットフィルタ着脱制御にフィードバックした場合に得られる映像の例である。図５（ｂ）では、撮影シーンの明るさ推定値が実際の明るさに対し高いため、近赤外カットフィルタ装着により余り高い感度の映像を得ることはできない。一方で図５（ｃ）では、実際の明るさに近い第２のカメラの撮影シーンの明るさ推定値を用いることで、暗い室内に合わせて近赤外カットフィルタを外し高感度な映像を得ることが可能となる。このように、撮影シーンの明るさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した近赤外カットフィルタ着脱制御を行うことが可能となる。

図６は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第４の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図６は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御をホワイトバランス制御に適用した場合の例である。図６（ａ）は、色温度が５０００Ｋ程度の白色光源を持つ室内に２つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは窓を介して色温度の高い晴天の青空が画角に入るように設置され、第２のカメラは室内のみが画角に入るように設置されている様子を示している。図６（ｂ）は、それぞれのカメラの検知情報としての色温度推定値と実際の色温度との関係を示した図であり、横軸に色音頭を取っている。撮影シーンの色温度は、例えば、撮像信号の所定の領域の色データ積分値などから算出される。第１のカメラの色温度推定値は室内光源下の被写体と屋外光源下の被写体の両方の色データから算出されるため、室内光源の色温度と屋外光源の色温度の間の値が推定される。一方で第２のカメラの色温度推定値は屋外光源の影響が少ない被写体の色データから算出されるため、室内光源の色温度に近くなる。第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラで検出した撮影シーンの色温度推定値を取得し、第１のカメラの撮像制御部０１０４は、第１のカメラの撮影シーンの色温度推定値、第２のカメラの撮影シーンの色温度推定値、第１のカメラの撮影シーンの色温度推定値と第２のカメラの撮影シーンの色温度推定値の重み付き平均値、のいずれかを選択し、第１のカメラのホワイトバランス制御にフィードバックする。図６（ｃ）は、第１のカメラの撮影シーンの色温度推定値を第１のカメラのホワイトバランス制御にフィードバックした場合に得られる映像をカラーベクトルスコープに入力して得られる、映像中の被写体の色情報の例であり、図６（ｄ）は、第２のカメラの撮影シーンの色温度推定値を第１のカメラのホワイトバランス制御にフィードバックした場合に得られる映像をカラーベクトルスコープに入力して得られる、映像中の被写体の色情報の例である。図６（ｃ）では、第１のカメラの撮影シーンの色温度推定値が室内光源の色温度より高いため、第１のカメラの撮影シーンの色温度推定値を元にホワイトバランス制御を行うと、室内にいる被写体人物の色再現性が低下してしまう。図６（ｄ）では、室内光源の色温度に近い第２のカメラの撮影シーンの色温度推定値を用いてホワイトバランス制御を行うことで、室内にいる被写体人物の色再現性が向上した映像が得られる。このように、撮影シーンの色温度推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応したホワイトバランス制御を行うことが可能となる。

図７は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第５の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図７は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御を霧画像補正処理制御に適用した場合の例である。図７（ａ）は、室内と濃霧の発生しやすい屋外にそれぞれカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは窓を介して濃霧の発生している屋外が画角に入るように設置され、第２のカメラは濃霧の発生している屋外のみが画角に入るように設置されている様子を示している。図７（ｂ）は、それぞれのカメラの検知情報を用いた場合のコントラスト拡大制御を示した図であり、横軸に検知情報として撮影シーンの濃霧らしさ推定値、縦軸に霧画像補正制御の目標値を取っている。撮影シーンの濃霧らしさ推定値は、例えば、撮像信号の所定の領域の輝度積分値やエッジ分布、エッジの強さなどから算出される。図中に点線で示した直線は、検出された撮影シーンの濃霧らしさ推定値に対する適切な霧画像補正制御の目標値の例であり、濃霧らしさが大きいほど霧画像補正制御の目標値を大きくすることで適切な霧の影響の少ない映像が得られる。第１のカメラで算出した撮影シーンの濃霧らしさ推定値は、室内に設置されており画角内で屋外の映る面積が小さいため小さい値をとり、コントラスト拡大係数は小さくなる。一方で第２のカメラの撮影シーンの濃霧らしさ推定値を用いた場合は霧画像補正制御の目標値が大きくなる。第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラで検出した撮影シーンの濃霧らしさ推定値を取得し、第１のカメラの撮像制御部０１０４は、第１のカメラの撮影シーンの濃霧らしさ推定値、第２のカメラの撮影シーンの濃霧らしさ推定値、第１のカメラの撮影シーンの濃霧らしさ推定値と第２のカメラの撮影シーンの濃霧らしさ推定値の重み付き平均値、のいずれかを選択し、第１のカメラの霧画像補正処理制御にフィードバックする。ここで、霧画像補正処理制御は、信号処理部０１０２のコントラスト拡大制御の強さや、輝度・色補正処理の係数などのパラメータ制御などを指すものとする。図７（ｃ）は、第１のカメラの撮影シーンの濃霧らしさ推定値を第１のカメラの霧画像補正処理制御にフィードバックした場合に得られる映像の例であり、図７（ｄ）は、第２のカメラの撮影シーンの濃霧らしさ推定値を第１のカメラの霧画像補正処理制御にフィードバックした場合に得られる映像の例である。図７（ｃ）では、室内を撮影シーンに含むため撮影シーンの濃霧らしさ推定値が低くなり、十分な霧画像補正を行うことができず屋外のコントラストが低下する。一方で、図７（ｄ）では、屋外のみが撮影シーンに含まれるため濃霧らしさ推定値が高くなり、十分な霧画像補正を行うことができ屋外のコントラストが向上する。このとき、予め霧画像補正処理を実施する撮像信号中の領域を定め、その領域内のみに濃霧らしさ推定値をフィードバックして霧画像補正処理を実施するようにしてもよく、この場合屋外領域のみ適切な霧画像補正処理の効果を得ることができる。このように、撮影シーンの濃霧らしさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した霧画像補正処理制御を行うことが可能となる。

図８は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第６の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図８は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御を雨滴除去処理制御に適用した場合の例である。図８（ａ）は、室内と雨天の屋外にそれぞれカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは窓を介して降雨中の屋外が画角に入るように設置され、第２のカメラは降雨中の屋外のみが画角に入るように設置されている様子を示している。図８（ｂ）は、それぞれのカメラの検知情報を用いた場合の雨滴除去制御を示した図であり、横軸に検知情報として撮影シーンの雨天らしさ推定値、縦軸に雨滴除去制御の実施の可否の２値を取っている。撮影シーンの雨天らしさ推定値は、例えば、撮像信号の所定の領域の輝度の時間軸方向の動きベクトルや、フレーム間差分値の大きさや分布などなどから算出され、撮像制御部０１０４で実施する雨滴除去処理制御は、雨天らしさ推定値が閾値より大きいときに信号処理部０１０２での雨滴除去処理を実施するように制御し、雨天らしさ推定値が閾値より小さいときに信号処理部０１０２での雨滴除去処理を実施しないように制御する。信号処理部０１０２における雨滴除去処理は、例えば動きベクトルを考慮した３次元ノイズリダクション処理などを行う。第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラで検出した撮影シーンの雨天らしさ推定値を取得し、第１のカメラの撮像制御部０１０４は、第１のカメラの撮影シーンの雨天らしさ推定値、第２のカメラの撮影シーンの雨天らしさ推定値、第１のカメラの撮影シーンの雨天らしさ推定値と第２のカメラの撮影シーンの雨天らしさ推定値の重み付き平均値、のいずれかを選択し、第１のカメラの雨滴除去処理制御にフィードバックする。図８（ｃ）は、第１のカメラの撮影シーンの雨天らしさ推定値を第１のカメラの雨滴除去処理制御にフィードバックした場合に得られる映像の例であり、図８（ｄ）は、第２のカメラの撮影シーンの雨天らしさ推定値を第１のカメラの雨滴除去処理制御にフィードバックした場合に得られる映像の例である。図８（ｃ）では、室内を撮影シーンに含むため撮影シーンの雨天らしさ推定値が低くなり、雨滴除去処理を行うことができず屋外の視認性が低下する。一方で、図８（ｄ）では、屋外のみが撮影シーンに含まれるため雨天らしさ推定値が高くなり、雨滴除去処理を適用することができ屋外の視認性が向上する。このとき、予め雨滴除去処理を実施する撮像信号中の領域を定め、その領域内のみに雨天らしさ推定値をフィードバックして雨滴除去処理を実施するようにしてもよく、この場合屋外領域のみ適切な雨滴除去処理の効果を得ることができる。このように、撮影シーンの雨天らしさ推定を安定して行うことのできる他のカメラの検知情報を用いることで、より撮影シーンに適応した雨滴除去処理制御を行うことが可能となる。

図９は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第７の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図９は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御をフリッカキャンセル制御に適用した場合の例である。図９（ａ）は、カメラの撮像フレームレートと周期の異なる電源周波数の蛍光灯下の室内に２つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは窓を介して屋外が画角に入るように設置され、第２のカメラは室内のみが画角に入るように設置されている様子を示している。図９（ｂ）は、それぞれのカメラの撮影シーンの明るさ推定値の変動を示した図であり、横軸に時間、縦軸に撮影シーンの明るさ推定値を取っている。例えば撮像素子としてＣＣＤを用いた場合、カメラの撮像フレームレートと蛍光灯の電源周波数の周期が異なると、同じ被写体を同じ条件で撮影しても、得られる映像の明るさはフレーム毎に変動する。信号処理部０１０２はこの明るさの変動からフリッカの状態を検出し、撮像制御部０１０４は信号処理部０１０２の検出したフリッカ検出情報から信号処理部０１０２がフリッカをキャンセルするような信号処理を実施するように、フリッカキャンセル制御を行う。図９（ｂ）の例では、第１のカメラは撮影シーンに屋外が含まれるため、第２のカメラに比べ撮影シーンの明るさ推定値のフレーム間の変動が小さくなり、フリッカの検出が行いにくい。そこで、第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラで検出した撮影シーンのフリッカ検出情報を取得し、第１のカメラの撮像制御部０１０４は、第２のカメラの撮影シーンのフリッカ検出情報を用いてフリッカキャンセル制御を行う。これにより、フリッカ成分の検出のしにくい設置状態にありおいても、フリッカ検出を安定して行うことのできる他のカメラの検知情報を用いることで、撮影シーンに適切なフリッカキャンセル制御を行うことが可能となる。

図１０は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第８の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図１０は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御を信号処理のフレームレート制御に適用した場合の例である。図１０（ａ）は、敷地内への入場者管理を目的として敷地内に２つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは敷地内の広域が画角に入るように設置され、第２のカメラは敷地内の入り口付近が画角に入るように設置されている様子を示している。また、歩行者が時刻ｔから時刻ｔ＋ａを経て時刻ｔ＋ｂ（ただし、ｂ＞ａとする）にかけて敷地外から敷地の奥へと進行する様子を示している。このとき、第２のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラから人物検知情報を取得し、第１のカメラの撮像制御部０１０４は、第二のカメラで人物が検知されていない間は信号処理を行うフレームレートを撮像のフレームレートより小さくし、第二のカメラで人物が検知されると一定期間の間、信号処理を行うフレームレートを撮像のフレームレートと同じにする。画像処理による映像内の人物検出は、例えば、パターンマッチングや、特徴量の評価や、フレーム間差分とラベリングにより移動体を検出した後に面積や色による人物らしさ評価処理を行うなど、既存の手法を用いればよい。図１０（ｂ）は、時刻ｔにおける第１のカメラと第２のカメラでそれぞれ撮影された映像を示した図であり、図１０（ｃ）は、時刻ｔ＋ａにおける第１のカメラと第２のカメラでそれぞれ撮影された映像を示した図であり、図１０（ｄ）は、時刻ｔ＋ｂにおける第１のカメラと第２のカメラでそれぞれ撮影された映像を示した図である。図１０（ｂ）では、歩行者が敷地内に入る前であり、第１のカメラの撮像制御部０１０４は信号処理を行うフレームレートを撮像のフレームレートより小さく制御している。一方で図１０（ｃ）および図１０（ｄ）では、歩行者が敷地内に入る瞬間およびその直後であり、第１のカメラの撮像制御部０１０４は信号処理を行うフレームレートを撮像のフレームレートと同じにしている。これにより、歩行者が敷地外にいる間は第１のカメラは信号処理を省電力で行い、敷地内にはいった直後の間は信号処理を毎フレーム行うことで歩行者の視認性を向上することができる。このとき、第１のカメラの撮像制御部０１０４が第２のカメラで検出した人物検知結果を用いることにより、歩行者が第１のカメラの画角に入る前からフレームレートを向上して歩行者の撮影漏れするフレームが発生することを防ぐことが可能である。このように、設置位置の異なる他のカメラの検知情報を用いることで、省電力と視認性を両立した適応的なフレームレート制御を行うことが可能となる。

図１１は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御方法の一例を示す第９の図である。本発明において他撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部０１０３および撮像制御部０１０４で実施される。図１１は、本発明の第１実施例に係る他撮像信号検知情報を用いた撮像制御を信号処理の顔認証処理制御に適用した場合の例である。図１１（ａ）は、敷地内への入場者認証を目的として敷地内に２つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは敷地内の広域が画角に入るように設置され、第２のカメラは敷地内の入り口付近が画角に入るように設置されている様子を示している。また、敷地内のみを移動する第１の歩行者は時刻ｔの時点で敷地内を歩行しており、敷地外から敷地内に入場する第２の歩行者は時刻ｔから時刻ｔ＋ａを経て時刻ｔ＋ｂ（ただし、ｂ＞ａとする）にかけて敷地外から敷地の奥へと進行する様子を示している。このとき、第２のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラから人物検知情報を取得し、第１のカメラの撮像制御部０１０４は、第二のカメラで人物が検知されていない間は顔認証処理制御を行わず、第二のカメラで人物が検知されると顔認証処理制御を開始する。顔認証処理は、例えば、特徴量の評価により映像ないから顔領域を検出し、事前に登録されたテンプレートとマッチングして識別処理を行うなど、既存の手法を用いればよい。図１１（ｂ）は、時刻ｔにおける第１のカメラと第２のカメラでそれぞれ撮影された映像に画像処理結果を重畳して生成した映像を示した図であり、図１１（ｃ）は、時刻ｔ＋ａにおける第１のカメラと第２のカメラでそれぞれ撮影された映像に画像処理結果を重畳して生成した映像を示した図であり、図１１（ｄ）は、時刻ｔ＋ｂにおける第１のカメラと第２のカメラでそれぞれ撮影された映像に画像処理結果を重畳して生成した映像を示した図である。ここでは、顔認証を行った場合や人物検出を行った場合に、被写体を矩形で囲んで表示している。図１１（ｂ）では、歩行者が敷地内に入る前であり、第１のカメラの撮像制御部０１０４は顔認証制御を行っていない。一方で図１１（ｃ）および図１１（ｄ）では、歩行者が敷地内に入る瞬間およびその直後であり、第１のカメラの撮像制御部０１０４は顔認証処理制御を行っており、結果として図１１（ｄ）では、顔認証を行った人物の顔に矩形が重畳されて表示されている。これにより、敷地外から敷地内に入った人物を顔認証処理の対象とすることで、敷地入場者の認証処理を効率的に行うことが可能となる。このように、設置位置の異なる他のカメラの検知情報を用いることで、効率的な画像検知処理制御や画像認識処理制御を行うことが可能となる。

かように本実施例によれば、他のカメラで撮影した映像情報の検知結果と連携することにより、撮影シーンに適応した撮像制御や信号処理の制御や、信号処理を応用した機能拡張が実現できる。

図１２は、本発明の第２実施例に係る撮像装置を示す第１の模式図である。図１２において、０１０１は撮像部、０１０２は信号処理部、０１０３は他撮像信号検知情報取得部、０１０４は撮像制御部、１２０５は映像圧縮部、１２０６は映像圧縮制御部であり、図１で示した本発明の第１実施例に係る撮像装置を示す模式図に映像圧縮部１２０５、映像圧縮制御部１２０６を加えた構成となっている。

図１２に示した撮像装置において、撮像部０１０１、信号処理部０１０２、他撮像信号検知情報取得部０１０３、撮像制御部０１０４は、図１で示した本発明の第１実施例に係る撮像装置と同様の処理を行う。映像圧縮部１２０５は、信号処理部０１０２の出力する補正を行った映像信号を符号化し、圧縮された映像データとして不図示の映像録画部や映像ネットワーク出力部に出力する。映像圧縮制御部１２０６は、信号処理部０１０２の出力する検知情報または他撮像信号検知情報取得部０１０３の出力する検知情報または不図示のユーザ入力部から入力したユーザ入力情報または予め不図示のＥＥＰＲＯＭなどに格納した定義情報を元に、映像録画部１２０５が映像信号を符号化する際の、圧縮映像の解像度、画質、フレームレートやビットレートなどを制御する。これにより、他のカメラで撮影した映像情報の検知結果と連携した映像圧縮制御を行うことが可能となる。なお、映像圧縮部１２０５の映像圧縮処理や、映像圧縮制御部１２０６の映像圧縮制御処理は、通常はカメラ内のマイコンやコーデックＬＳＩや専用のＡＳＩＣやＦＰＧＡなどで行われる。また、映像録画部１２０５、録画制御部１２０６の一部ないし全体をＰＣや専用の映像圧縮装置などが行う形態を取っても良い。

図１３は、本発明の第２実施例に係る他撮像信号検知情報を用いた映像圧縮制御方法の一例を示す第１の図である。本発明において他撮像信号検知情報を用いた映像圧縮制御は他撮像信号検知情報取得部０１０３および映像圧縮制御部１２０６で実施される。図１３は、本発明の第２実施例に係る他撮像信号検知情報を用いた映像圧縮制御を圧縮映像画質制御に適用した場合の例である。図１３（ａ）は、敷地内への入場者管理を目的として敷地内に２つのカメラを設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは敷地内の広域が画角に入るように設置され、第２のカメラは敷地内の入り口付近が画角に入るように設置されている様子を示している。また、歩行者が時刻ｔから時刻ｔ＋ａを経て時刻ｔ＋ｂ（ただし、ｂ＞ａとする）にかけて敷地外から敷地の奥へと進行する様子を示している。このとき、第２のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラから人物検知情報を取得し、第１のカメラの映像圧縮制御部１２０６は、第二のカメラで人物が検知されていない間は映像圧縮のフレームレートやビットレートや画像解像度を低くなるように制御し、第二のカメラで人物が検知されると、映像圧縮のフレームレートやビットレートや画像解像度が高くなるように制御する。図１３（ｂ）は、時刻ｔにおける第１のカメラで圧縮された映像と第２のカメラで撮影された映像を示した図であり、図１３（ｃ）は、時刻ｔ＋ａにおける第１のカメラで圧縮された映像と第２のカメラで撮影された映像を示した図であり、図１３（ｄ）は、時刻ｔ＋ｂにおける第１のカメラで圧縮された映像と第２のカメラで撮影された映像を示した図である。図１３（ｂ）では、歩行者が敷地内に入る前であり、第１のカメラの映像圧縮部１２０５は低画質で映像圧縮を行う。一方で図１３（ｃ）および図１３（ｄ）では、歩行者が敷地内に入る瞬間およびその直後であり、第１のカメラの映像圧縮部１２０５は高画質で映像圧縮を行っている。これにより、歩行者が敷地外にいる間は第１のカメラは高圧縮率で圧縮した映像を出力することで、ネットワーク経由で圧縮映像を配信する際のネットワーク転送効率の向上を実現し、敷地内にはいった後は低圧縮率の高画質な映像圧縮を行うことで歩行者の視認性を向上することができる。このように、設置位置の異なる他のカメラの検知情報を用いることで、圧縮映像の画質を動的に制御し、記録データの低容量化やネットワーク転送効率の向上を図ることが可能となる。

図１４は、本発明の第２実施例に係る撮像装置を示す第２の模式図である。図１４において、０１０１は撮像部、０１０２は信号処理部、０１０３は他撮像信号検知情報取得部、０１０４は撮像制御部、１２０５は映像圧縮部、１２０６は映像圧縮制御部、１４０７は映像録画部、１４０８は録画制御部であり、図１２で示した本発明の第２実施例に係る撮像装置を示す第２の模式図に映像録画部１４０７、録画制御部１４０８を加えた構成となっている。

図１４に示した撮像装置において、撮像部０１０１、信号処理部０１０２、他撮像信号検知情報取得部０１０３、撮像制御部０１０４、映像圧縮部１２０５、映像圧縮制御部１２０６は、図１２で示した本発明の第２実施例に係る撮像装置の第１の例と同様の処理を行う。映像録画部１４０７は、信号処理部０１０２の出力する補正を行った映像信号を、静止画データないし静止画データの集合として、または、映像圧縮部１２０５の出力する圧縮を行った映像信号を、動画データとして、磁気ディスクや光ディスクやフラッシュメモリなどの記録媒体に記録する。録画制御部１４０８は、信号処理部０１０２の出力する検知情報または他撮像信号検知情報取得部０１０３の出力する検知情報または不図示のユーザ入力部から入力したユーザ入力情報または予め不図示のＥＥＰＲＯＭなどに格納した定義情報を元に、映像録画部１４０７が映像信号を静止画データないし動画データとして記録する際の記録開始および終了のタイミングや、記録画像の解像度、記録画像の画質、動画データとして記録する際のフレームレートやビットレートなどを制御する。これにより、他のカメラで撮影した映像情報の検知結果と連携した録画制御を行うことが可能となる。なお、映像録画部１４０７の録画処理や、録画制御部１４０８の録画制御処理は、通常はカメラ内のマイコンやコーデックＬＳＩや専用のＡＳＩＣやＦＰＧＡなどで行われる。また、映像録画部１４０７、録画制御部１４０８の一部ないし全体をＰＣや専用の映像録画装置などが行う形態を取っても良い。

図１５は、本発明の第２実施例に係る他撮像信号検知情報を用いた録画制御方法の一例を示す第２の図である。本発明において他撮像信号検知情報を用いた録画制御は他撮像信号検知情報取得部０１０３および録画制御部１４０８で実施される。図１５は、本発明の第２実施例に係る他撮像信号検知情報を用いた録画制御を映像録画開始タイミング制御に適用した場合の例である。図１５（ａ）に示したカメラ設置状況の例において、第２のカメラでは、画像処理により映像内の人物検出を行い、検知情報として出力しており、第１のカメラを基準カメラとした場合、第１のカメラの他撮像信号検知情報取得部０１０３は第２のカメラから人物検知情報を取得し、第１のカメラの録画制御部１４０８は、第二のカメラで人物が検知されていない間は映像録画部１４０７が録画処理を行わないよう制御し、第二のカメラで人物が検知されると、映像録画部１４０７が録画処理を開始するよう制御する。図１５（ａ）は、時刻ｔにおける第１のカメラで録画された映像と第２のカメラで撮影された映像を示した図であり、図１５（ｂ）は、時刻ｔ＋ａにおける第１のカメラで録画された映像と第２のカメラで撮影された映像を示した図であり、図１５（ｃ）は、時刻ｔ＋ｂにおける第１のカメラで録画された映像と第２のカメラで撮影された映像を示した図である。図１５（ａ）では、歩行者が敷地内に入る前であり、第１のカメラの映像録画部１４０７は映像の録画を行っていない。一方で図１５（ｂ）および図１５（ｃ）では、歩行者が敷地内に入る瞬間およびその直後であり、第１のカメラの映像録画部１４０７は映像の録画を開始している。これにより、歩行者が敷地外にいる間は第１のカメラは録画を行わず省電力や記録媒体の容量節約を行い、敷地内にはいった後は録画を行うことで歩行者の映像の記録ができる。このとき、第１のカメラの録画制御部１４０８が第２のカメラで検出した人物検知結果を用いることにより、歩行者が第１のカメラの画角に入る前から録画を開始して歩行者の録画漏れするフレームが発生することを防ぐことが可能である。このように、設置位置の異なる他のカメラの検知情報を用いることで、映像録画の効率を向上し、省電力化や再生時の歩行者確認の省力化を図ることが可能となる。

かように本実施例によれば、他のカメラで撮影した映像情報の検知結果と連携することにより、撮影シーンに適応した映像圧縮制御や映像録画制御が実現でき、省電力化や記録データの低容量化やネットワーク転送の効率化などが図れる。

図１６は、本発明の第３実施例に係る撮像装置を示す模式図である。図１６において、０１０１は撮像部、０１０２は信号処理部、１６０３は他複数撮像信号検知情報取得部、０１０４は撮像制御部であり、図１で示した本発明の第１実施例に係る撮像装置を示す模式図の他撮像信号検知情報取得部０１０３を他複数撮像信号検知情報取得部１６０３に置き換えた構成となっている。

図１６に示した撮像装置において、撮像部０１０１、信号処理部０１０２は、図１で示した本発明の第１実施例に係る撮像装置と同様の処理を行う。他複数撮像信号検知情報取得部１６０３は、他の複数の撮像信号処理装置とイーサネットやシリアル等で接続し、他の複数の撮像信号処理装置において他の複数の撮像装置で撮像された撮像信号に信号処理を行うことで得られた検知情報をそれぞれ取得し、撮像制御部０１０４に出力する。撮像制御部０１０４は、信号処理部０１０２の出力する検知情報または他複数撮像信号検知情報取得部０１０３の出力する複数の検知情報または不図示のユーザ入力部から入力したユーザ入力情報を用いて、撮像部０１０１の撮像条件や、信号処理部０１０２で行う信号処理を制御する。このとき、撮像制御部０１０４は、信号処理部０１０２の出力する検知情報または他複数撮像信号検知情報取得部０１０３の出力する複数の検知情報を、重み付け平均を取って用いる。これにより、広域監視システムなどの、撮影したいエリア内に３台以上の多数の監視カメラが設置されている場合に、より安定した撮影シーンの検知情報を用いて撮像制御を行うことが可能となる。なお、他複数撮像信号検知情報取得部１６０３の複数の他撮像信号処理装置への接続および検知情報の取得処理は、通常はカメラ内のマイコンやカメラ信号処理ＤＳＰや専用のＡＳＩＣやＦＰＧＡなどで行われる。また、他複数撮像信号検知情報取得部１６０３の処理をＰＣや専用の画像処理装置などが行う形態を取っても良い。

図１７は、本発明の第３実施例に係る他複数撮像信号検知情報を用いた撮像制御方法の一例を示す図である。本発明において他複数撮像信号検知情報を用いた撮像制御は他撮像信号検知情報取得部１６０３および撮像制御部０１０４で実施される。図１７（ａ）は、室内に２つのカメラを、屋外に１つのカメラをそれぞれ設置した場合のカメラ設置状況の例を俯瞰図で示したものであり、第１のカメラは窓を介して屋外が画角に入るように設置され、第２のカメラは室内のみが画角に入るように設置され、第３のカメラは屋外のみが画角に入るように設置されている様子を示している。図１７（ｂ）は、第１のカメラを基準カメラとした場合に、第１のカメラの撮像制御部０１０４が、第１のカメラの信号処理部０１０２が出力する検知情報と、第１のカメラの他複数撮像信号処理検知情報取得部より取得した第２のカメラの検知情報と第３のカメラの検知情報をそれぞれ重み付けし、加算平均をとって撮像制御に用いる場合に、重み付け平均を行う検知情報である撮影シーンの明るさ推定値と色温度推定値と天候推定値のそれぞれに対し、第１のカメラの検知情報と第２のカメラの検知情報と第３のカメラの検知情報の重みを定めた場合の例を示した表である。図１７（ｂ）の例では、第１のカメラは室内に設置されているため、撮影シーンの明るさ推定値や色温度推定値を重み付け平均により取得する場合には、室内のみが画角に入る第２のカメラの重みを大きくし、屋外のみが画角に入る第３のカメラの重みを小さくすることが好ましい。また、窓の外に映る屋外の天候推定値を得る際には、逆に屋外のみが画角に入る第３のカメラの重みを大きくすることが好ましい。このように適切な重みにより重み付け平均を取った検知情報を用いることにより、より撮影シーンに適応した撮像制御や信号処理の制御を行うことが可能となる。なお、各カメラの検知情報の重みは、カメラの設置位置に応じてユーザが予め決定して設定するか、図１８を用いて後述する重み推定処理により決定して設定すれば良い。

図１８は、本発明の第３実施例に係る撮像制御および検知情報の重み推定シーケンスの一例を示す図である。本発明において撮像制御処理および検知情報の重み推定処理は他複数撮像信号検知情報取得部１６０３および撮像制御部０１０４で実施される。図１８の撮像制御および検知情報の重み推定シーケンスにおいて、ＳＴ１８０１では、他複数撮像信号検知情報取得部１６０３は他撮像信号処理装置に接続し、検知情報の取得を要求する。ＳＴ１８０２では、他複数撮像信号検知情報取得部１６０３は、取得可能な検知情報があるかを判定し、検知情報がある場合は撮像制御部０１０４に出力してＳＴ１８０３に進み、検知情報がない場合や通信がタイムアウトとなった場合にはＳＴ１８０４に進む。ＳＴ１８０３では、撮像制御部０１０４は、他撮像信号処理装置より取得した検知情報に対し、予め保存した他撮像信号処理装置に対応した重みをかけて加算する。ＳＴ１８０４では、他複数撮像信号検知情報取得部１６０３は、接続している全ての他撮像信号処理装置から検知情報を取得したかを判定し、検知情報を取得していない他撮像信号処理装置がある場合にはＳＴ１８０１から繰り返し、全ての他撮像信号処理装置から検知情報を取得している場合にはＳＴ１８０５に進む。ＳＴ１８０５では、撮像制御部０１０４は、重み付き平均の取られた検知情報を元に、撮像部０１０１の撮像条件および信号処理部０１０２の信号処理の各パラメータを演算し、それぞれ撮像部０１０１および信号処理部０１０２に出力する。ＳＴ１８０６では、撮像制御部０１０４は、重み付き平均の取られた検知情報と、それぞれの他撮像信号処理装置より取得した検知情報との差分を演算する。ＳＴ１８０７では、撮像制御部０１０４は、重み付き平均の取られた検知情報と、それぞれの他撮像信号処理装置より取得した検知情報との差分を元に、それぞれの他撮像信号処理装置より取得した検知情報の重みを更新する。例えば、ある他撮像信号処理装置より取得した検知情報と重み付き平均の取られた検知情報との差分が小さい場合には、その他撮像信号処理装置より取得した検知情報は信頼性が高いとして、次回以降の処理での重みを大きくし、逆に差分が大きい場合には信頼性が低いとして次回以降の処理での重みを小さくする。これにより、撮影したいエリアに複数のカメラが設置されている場合に、いずれのカメラが安定した撮影シーンの推定を行えているかを自動で判断し、より撮影シーンに適応した撮像制御や信号処理の制御を行うことが可能となる。

かように本実施例によれば、他の複数のカメラで撮影した映像情報の検知結果と連携することにより、広域に多数のカメラを設置した場合により撮影シーンに適応した撮像制御や信号処理の制御や、信号処理を応用した機能拡張が実現できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は民生や監視や車載や業務用途において、撮像装置や撮像装置と接続したＰＣアプリケーション、画像処理装置などに利用可能である。

０１０１ 撮像部
０１０２ 信号処理部
０１０３ 他撮像信号検知情報取得部
０１０４ 撮像制御部
１２０５ 映像圧縮部
１２０６ 映像圧縮制御部
１４０７ 映像録画部
１４０８ 録画制御部
１６０３ 他複数撮像信号検知情報取得部

Claims (20)

1. 撮像素子に入射した光を光電変換し撮像信号として出力する撮像手段と、
   該撮像手段の出力する撮像信号に信号処理を行い映像信号として出力する信号処理手段と、
   他の撮像機器ないし画像信号処理機器と接続して、他の撮像機器の撮像信号を信号処理して得られた検知情報を取得する他撮像信号検知情報取得手段と、
   該他撮像信号検知情報取得手段の出力する検知情報を用いて該撮像手段の撮像条件や該信号処理手段の信号処理を制御する撮像制御手段と、
   を備えること、
   を特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記他撮像信号検知情報取得手段の取得する検知情報として、撮影時の明るさ推定情報、色温度推定情報、天候推定情報、フリッカ検出情報、被写体検出情報、被写体認識情報、の少なくともいずれかを含むこと、
   を特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記信号処理手段は、前記撮像手段の出力する撮像信号に対し信号処理を行って、撮影時の明るさ推定情報、色温度推定情報、天候推定情報、フリッカ検出情報、被写体検出情報、被写体認識情報、の少なくともいずれかの検知情報を出力し、
   前記撮像制御手段は、前記信号処理手段より取得した前記撮像手段の出力する撮像信号の検知情報と、前記他撮像信号検知情報取得手段より取得した他の撮像機器の撮像信号の検知情報と、を組み合わせて用いて前記撮像手段の撮像条件や前記信号処理手段の信号処理を制御すること、
   を特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記信号処理手段は前記撮像手段の出力する撮像信号に対する画質補正処理を有し、
   前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の明るさ推定情報を取得し、該撮影時の明るさ推定情報を用いて、前記撮像手段の撮像条件や前記信号処理手段の画質補正処理を制御すること、
   を特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記信号処理手段は前記撮像手段の出力する撮像信号に対するダイナミックレンジ拡大処理を有し、
   前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の明るさ推定情報を取得し、該撮影時の明るさ推定情報を用いて、前記信号処理手段のダイナミックレンジ拡大処理を制御すること、
   を特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記撮像手段が撮像素子に対し着脱可能な近赤外光カットフィルタを備え、
   前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の明るさ推定情報を取得し、該撮影時の明るさ推定情報を用いて、前記撮像手段の近赤外光カットフィルタの撮像素子への着脱状態を制御すること、
   を特徴とする撮像装置。
7. 請求項１に記載の撮像装置において、
   前記信号処理手段は前記撮像手段の出力する撮像信号に対するホワイトバランス処理を有し、
   前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の色温度推定情報または天候推定情報を取得し、該撮影時の色温度推定情報または天候推定情報を用いて、前記信号処理手段のホワイトバランス処理を制御すること、
   を特徴とする撮像装置。
8. 請求項１に記載の撮像装置において、
   前記信号処理手段は前記撮像手段の出力する撮像信号に対する霧画像補正処理やコントラスト拡大処理を有し、
   前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の天候推定情報を取得し、該撮影時の天候推定情報を用いて、前記霧画像補正処理やコントラスト拡大処理を制御すること、
   を特徴とする撮像装置。
9. 請求項１に記載の撮像装置において、
   前記信号処理手段は前記撮像手段の出力する撮像信号に対する雨滴除去処理や雪除去処理を有し、
   前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の天候推定情報を取得し、該撮影時の天候推定情報を用いて、前記信号処理手段の雨滴除去処理や雪除去処理を制御すること、
   を特徴とする撮像装置。
10. 請求項１に記載の撮像装置において、
    前記信号処理手段は前記撮像手段の出力する撮像信号に対するフリッカキャンセル処理を有し、
    前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時のフリッカ検出情報を取得し、該撮影時のフリッカ検出情報を用いて、前記信号処理手段のフリッカキャンセル処理を制御すること、
    を特徴とする撮像装置。
11. 請求項１に記載の撮像装置において、
    前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の被写体検出情報や被写体認識情報を取得し、該撮影時の被写体検出情報や被写体認識情報を用いて、前記信号処理手段が信号処理を行うフレームレートや、解像度や、一部の信号処理の実施の有無を制御すること、
    を特徴とする撮像装置。
12. 請求項１に記載の撮像装置において、
    前記信号処理手段は、前記撮像装置の出力する撮像信号から特定の被写体を検出する被写体検出処理や、特定の被写体を識別する被写体検出認識処理を有し、
    前記撮像制御手段は、前記他撮像信号検知情報取得手段より他の撮像機器の撮影時の被写体検出情報や被写体認識情報を取得し、該撮影時の被写体検出情報や被写体認識情報を用いて、前記信号処理手段の被写体検出処理や被写体認識処理を制御すること、
    を特徴とする撮像装置。
13. 撮像素子に入射した光を光電変換し撮像信号として出力する撮像手段と、
    該撮像手段の出力する撮像信号に信号処理を行い映像信号として出力する信号処理手段と、
    該信号処理手段の出力する映像信号を圧縮して出力する映像圧縮手段と、
    他の撮像機器ないし画像信号処理機器と接続して、他の撮像機器の撮像信号を信号処理して得られた検知情報を取得する他撮像信号検知情報取得手段と、
    該他撮像信号検知情報取得手段の出力する検知情報を用いて該撮像手段の撮像条件や該信号処理手段の信号処理を制御する撮像制御手段と、
    該他撮像信号検知情報取得手段の出力する検知情報を用いて該映像圧縮手段の映像圧縮処理を制御する映像圧縮制御手段と、を備えること、
    を特徴とする撮像装置。
14. 請求項１３に記載の撮像装置において、
    前記映像圧縮制御手段は、前記他撮像信号検知情報取得手段の出力する検知情報を用いて、前記映像圧縮手段における圧縮映像のフレームレート、圧縮映像のビットレート、圧縮映像の解像度、圧縮映像の画質、の少なくともいずれかを制御すること、
    を特徴とする撮像装置。
15. 請求項１３に記載の撮像装置において、
    さらに、前記信号処理手段の出力する映像信号ないし、前記映像圧縮手段の出力する圧縮された映像信号を記録する映像録画手段と、
    前記他撮像信号検知情報取得手段の出力する検知情報を用いて該映像録画手段の録画処理を制御する録画制御手段と、を備えること、
    を特徴とする撮像装置。
16. 請求項１５に記載の撮像装置において、
    前記録画制御手段は、前記他撮像信号検知情報取得手段の出力する検知情報を用いて、前記映像録画手段における録画処理の開始および終了タイミング、録画映像のフレームレート、録画映像のビットレート、録画映像の解像度、録画映像の画質、の少なくともいずれかを制御すること、
    を特徴とする撮像装置。
17. 撮像素子に入射した光を光電変換し撮像信号として出力する撮像手段と、
    該撮像手段の出力する撮像信号に信号処理を行い映像信号として出力する信号処理手段と、
    他の複数の撮像機器ないし画像信号処理機器と接続して、他の複数の撮像機器の撮像信号を信号処理して得られた複数の検知情報を取得する他複数撮像信号検知情報取得手段と、
    該他複数撮像信号検知情報取得手段の出力する複数の検知情報を用いて該撮像手段の撮像条件や該信号処理手段の信号処理を制御する撮像制御手段と、を備えること、
    を特徴とする撮像装置。
18. 請求項１７に記載の撮像装置において、
    前記撮像制御手段は、前記他複数撮像信号検知情報取得手段より取得した他の複数の撮像機器の撮像信号を信号処理して得られた複数の検知情報に対し、前記他の複数の撮像機器の設置位置や撮影画角を元に各々の検知情報に重み付けをし、重み付けした検知情報を用いて前記撮像手段の撮像条件や前記信号処理手段の信号処理を制御すること、
    を特徴とする撮像装置。
19. 請求項１７に記載の撮像装置において、
    前記撮像制御手段は、前記他複数撮像信号検知情報取得手段より取得した他の複数の撮像機器の撮像信号を信号処理して得られた複数の検知情報に対し、過去の検知結果を元に各々の検知情報に重み付けをし、重み付けした検知情報を用いて前記撮像手段の撮像条件や前記信号処理手段の信号処理を制御すること、
    を特徴とする撮像装置。
20. 撮像素子に入射した光を光電変換し撮像信号を出力する撮像手段と、
    前記撮像信号を信号処理し映像信号を出力する信号処理手段と、
    他の撮像機器ないし画像信号処理機器と接続して、他の撮像機器の撮像信号を信号処理して得られた検知情報を取得する検知手段と、
    取得された前記検知情報を用いて前記撮像手段の撮像条件または前記信号処理手段の信号処理を制御する制御手段と、を備えること、を特徴とする撮像装置。

Images