JP2015211302A - 撮像装置、撮像システム - Google Patents

Abstract

【課題】高解像度のセンサで撮影した画像を、解像度変換して低解像度の映像信号を出力可能な撮像装置に場合において、着目領域の大きさに応じて解像度を制御することにより、着目領域の視認性を向上する撮像装置を提供する。【解決手段】撮像部が撮像した映像信号から着目領域を抽出し、抽出した着目領域の大きさ、個数、距離等に応じて、着目領域の各々の解像度を決定し、着目領域の画像データの解像度を変換する。【選択図】図１

Description

本発明は、撮像装置、撮像システムに関する。

本技術分野の背景技術として特許文献１がある。特許文献１には、課題として「高解像度カメラで撮影した監視領域の全体映像を、通常サイズ（例えば１４インチ）のモニタに表示した場合、監視領域全体を大まかに確認できるが、モニタ画面に表示された映像の細部（着目部分）の詳細な映像は小さすぎて、人間の視力では確認が困難であった。一方、高解像度カメラで撮影した映像の細部を充分に人間の視力で確認できるような大型の高解像度モニタに監視領域全体の映像を表示した場合、映像表示領域（モニタ画面） の拡大によって人間による観察範囲が拡大し、モニタ観察による監視労力の増大につながるとともに、近接距離で見ると詳細は見えても全体が見きれないといった問題点や、モニタの設置スペースが大きくなるといった問題があった。」と記載され、解決手段として「１つの監視カメラから入力した監視映像データに基づいて、監視領域の全体映像（低解像度）と、着目部分の拡大映像（高解像度）とを１つのモニタ画面に同時に表示し、かつ監視領域内での着目部分の位置関係が容易に把握できるように、全体映像中の着目部分と位置関係にあわせて着目部分の拡大映像を表示する」と記載されている。

特開２００４−０１５５１７号公報

監視カメラシステムでは、複数の監視カメラである撮像装置と、表示装置とをネットワーク接続する構成とし、１台の表示装置で複数の撮像装置で撮像した映像を表示する場合が多い。近年、撮像装置及び表示装置はより鮮明な画像で記録、表示できるように、高解像度化が進んでいるが、監視カメラシステムでは、表示装置が表示する撮像装置１台当たりの解像度は、撮像装置が撮像した映像よりも低い解像度で表示することが多い。

特許文献１では、ネットワーク負荷軽減着目領域の解像度は相対的に向上するが、高解像度の撮像装置で撮影した映像はそのまま出力されるため、データ量については考慮されておらず、ネットワークの負荷軽減の点で改良の余地がある。

上記目的を解決するために、たとえば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、被写体を撮像して電気信号を生成する撮像部と、撮像部が生成した電気信号を処理して映像信号を生成する信号処理部と、信号処理部で生成した映像信号の解像度を変換する解像度変換部と、信号処理部で生成した映像信号から着目領域を抽出し、着目領域内にある画像データの解像度を変換する着目領域処理部と、解像度変換部の出力と着目領域処理部の出力とを合成して一つの出力信号にする映像合成部と、を有し、着目領域処理部は抽出した着目領域の大きさに関する情報と、解像度変換部で変換する解像度とを基に着目領域処理部で変換する着目領域の画像データの解像度を決定することを特徴とする。

本発明によれば、高解像度の撮像装置で撮像した画像を撮像装置の出力時点で解像度を下げることが可能なためデータ量を低減でき、ネットワーク負荷を軽くする効果がある。

一実施例における撮像装置の全体構成を示すブロック図である。 画像合成部の画像合成の一例を示す図である。 画像合成部の画像合成の一例を示す図である。 画像合成部の画像合成の一例を示す図である。 撮像装置を使った監視システムの構成の一例を示す図である。 撮像装置と伝送量のいちれいを示す図である。 解像度変換部の入出力画像の一例を示す図である。 着目領域解像度変換部の入出力画像の一例を示す図である。 解像度制御部の解像度設定の一例を示す図である。 解像度制御部の解像度設定の一例を示す図である。 画像合成部の画像合成の一例を示す図である。 一実施例における解像度制御部の処理フローの一例を示す図である。 一実施例における撮像装置の全体構成を示すブロック図である。 解像度制御部の解像度設定の一例を示す図である。 一実施例における解像度制御部の処理フローの一例を示す図である。 一実施例における撮像装置の全体構成を示すブロック図である。 一実施例における解像度制御部の処理フローの一例を示す図である。 一実施例における撮像装置の全体構成を示すブロック図である。 信号処理部および画像合成部の出力画像の一例を示す図である。 着目領域重要度判定部が出力する情報の一例を示す図である。 一実施例における撮像装置の全体構成を示すブロック図である。 一実施例における撮像装置の全体構成を示すブロック図である。 着目領域、着目領域周辺部の領域の一例を示す図である。

以下、本発明の実施形態について図面を用いて説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

本実施形態では、表示装置に出力する全体映像に対する着目領域の大きさおよび着目領域のサイズにより、着目領域の解像度を変える撮像装置について例を用いて説明する。
なお、以下では、「サイズ」とは画像を構成する画素の数を意味し、「解像度」とはある画像を示すための画像サイズや鮮明さを含む情報量を意味し、「大きさ」とは全体映像に対する着目領域が占める画像サイズを意味するものとして説明する。

図１は、実施例１における撮像装置の全体構成を示すブロック図である。１００は撮像装置であり、１０１は撮像部、１０２は信号処理部、１０３は解像度変換部、１０４は着目領域検出部、１０５は着目領域解像度変換部、１０６は解像度制御部、１０７は画像合成部、１０８は画像出力部である。以下、各々のブロックについて説明する。

撮像部１０１は、ズームレンズ及びフォーカスレンズを含むレンズ群、アイリス、シャッタ、ＣＣＤまたはＣＭＯＳなどの撮像素子等で構成されるイメージセンサ、増幅器及びＡＤコンバータ等を適宜用いて構成され、イメージセンサで受光した光学像を光電変換し、信号として出力する。

信号処理部１０２は、撮像部１０１が出力した信号に分離処理とデモザイキング処理等を行い、映像信号を生成する。さらに、必要に応じて、生成した映像信号の輝度、コントラスト、色合い等の調整や、ノイズ除去等の処理を行う。

解像度変換部１０３は、信号処理部１０２から出力された映像信号の画像サイズを解像度制御部１０６が設定する設定値に従って変換し、出力する。解像度変換方法としては、例えば元の画像サイズと出力する画像サイズに応じてローパスフィルタ処理後間引き等により縮小する方法があるが、この方法に限るものではない。

着目領域検出部１０４は、監視用途に合わせた対象物を検出し、検出した対象物を含む着目領域を設定し、設定した着目領域の画像内の位置、画像全体に占める着目領域の大きさを解像度制御部１０６に出力し、着目領域内にある画像データを映像信号から抽出し、着目領域解像度変換部１０５に出力する。なお、着目対象物が複数検出された場合は、着目対象物毎に着目領域を設定し、各々の着目領域の画像内の位置および大きさを解像度制御部１０６に出力する。

ここで、着目対象物は、例えば、侵入者等の監視システムに使用する場合は移動体であり、着目領域検出部１０４は移動体を検知し、検知した移動体を含む領域を着目領域とする。また、着目対象物は、特定の画像を認識した場合を着目領域としてもいい。例えば交通監視システムでは、ナンバープレートを着目対象物とし、着目領域検出部１０４はナンバープレートを認識した場合にナンバープレートを含む領域を着目領域とする。他にも、着目対象物を顔とし、着目領域検出部１０４で顔と認識した部分を含む領域を着目領域としてもいい。

着目領域解像度変換部１０５は、解像度制御部１０６が設定した解像度に従い、着目領域検出部で検出された着目領域にある画像データの解像度を変換し、画像合成部１０７に解像度変換した画像データを出力する。

解像度制御部１０６は、撮像装置１００の出力する映像信号の画像サイズと、撮像部１０１が撮像する画像サイズと、着目領域検出部１０４で検出した画像全体に占める着目領域の大きさに応じて、背景画像および着目領域の解像度を決定し、解像度変換部１０３および着目領域解像度変換部１０５の出力画像が決定した解像度になるよう解像度変換部１０３および着目領域解像度変換部１０５を制御する。

画像合成部１０７は解像度変換部１０３の出力映像データに、着目領域解像度変換部１０５の出力画像を所定の位置に合わせて合成する。所定の位置とは、例えば解像度変換部１０３が出力した背景画像内にある着目領域の中心位置に、着目領域解像度変換部１０５が出力した着目領域画像データの中心位置が合うように重ねる。重ね合わせ方について図２を用いて説明する。

図２に画像合成部１０７の背景画像と着目領域画像データの合成画像例を示す。図２では、２個の着目領域がある場合の例について説明する。３５１は解像度変換部１０３から出力された背景画像、３５４と３５５は着目領域、３５２は解像度変換部１０３で変換した後の着目領域３５４の中心位置、３５３は解像度変換部１０３で変換した後の着目領域３５５の中心位置を示す。

３６１は着目領域解像度変換部１０５から出力された着目領域３５４の画像データ、３６２は画像データ３６１の中心位置、３６３は着目領域解像度変換部１０５から出力された着目領域３５５の画像データ、３６４は画像データ３６３の中心位置、３７１は画像合成部１０７の出力である合成画像、３７２は画像データ３６１の合成画像３７１上への配置例、３７３は画像データ３６１の合成画像３７１上への配置例を示す。

画像合成部１０７は、中心位置３５２に画像データ３６１の中心位置３６２を、合わせて、中心位置３５２に画像データ３６３の中心位置３６４を合わせるように、背景画像３５１と画像データ３６１と画像データ３６３とを合成し、合成画像３７１を出力する。以上説明したように画像を合成することにより、背景画像と着目領域の解像度を変えても、撮像装置１００の出力画像を見ている監視員等が背景に対する着目領域の場所を正しく認識できる。

なお、着目領域の中心位置と着目領域の解像度によっては、着目領域の画像データが全体画像からはみ出してしまう場合がある。

図３に画像合成部１０７の背景画像と着目領域画像データの合成画像例を示す。図２と同じものには同じ番号を付し、説明は省略する。３８１は着目領域解像度変換部１０５から出力された着目領域３５５の画像データ、３８２は画像データ３８１の中心位置、３８３は画像合成部１０７の出力である合成画像、３８４は画像データ３８１の合成画像３８３上への配置例を示す。

例えば、中心位置３５３から背景画像３８３の右端および下端までの画素数より、画像データ３８１の中心位置３８２からの画像データ３８１の右端および下端までの画素数が多いことから、画像データ３８４が背景画像３８３からはみ出してしまう領域が生じる。このように、着目領域が背景画像からはみ出す場合は、はみ出している側の着目領域画像データの端と背景画像データの端の位置を合わせるように、上下、左右に移動させることで、着目画像領域の画像データの欠落を防ぐようにしてもよい。

図４に着目領域の画像データを移動させた場合の画像合成部の出力画像例を示す。３９１は画像合成部１０７の出力である合成画像、３９２は合成画像３９１上の着目領域、３９３は着目領域３９２の中心位置を示す。なお、図２と同じものには同じ番号を付し説明は省略する。着目領域２の中心位置を中心位置３５３から中心位置３９３に移動することにより着目領域３９２の画像データ３８２（図３）を背景画像３９１内に収めることができ、着目領域のデータの欠落を防ぐことができる。

なお、以上説明した画像合成部１０７での合わせる着目領域の位置の決定は、画像合成部で行ってもよいし、解像度制御部１０６で行ってもよい。画像出力部１０８は、画像合成部で合成した画像データを、表示装置が受信可能な信号処理にして出力する。例えば、撮像装置１００に直接表示装置が接続されている場合は、画像出力部１００は、輝度信号と色信号、あるいはＲＧＢ信号等の表示装置に対応した映像信号を出力する。また、表示装置がネットワーク等を介して接続されている場合は、表示装置で受信可能な動画像の伝送形式に対応した形式に変換して出力する。

図５に本発明の撮像装置を使った監視カメラシステムの例を示す。１００ａ、１００ｂ、１００ｃおよび１００ｄは本発明の撮像装置、１２０はネットワーク、１２１は受信制御装置、１３０は表示装置、１３１は表示装置１３０の表示部、１３２ａは撮像装置１００ａから送られてきた映像を表示する表示部１３１上の表示エリア、１３２ｂは撮像装置１００ｂから送られてきた映像を表示する表示部１３１上の表示エリア、１３２ｃは撮像装置１００ｃから送られてきた映像を表示する表示部１３１上の表示エリア、１３２ｄは撮像装置１００ｄから送られてきた映像を表示する表示部１３１上の表示エリアを示す。

ネットワーク１２０は、例えば、インターネット・プロトコル等を使用する通信ネットワークであり、撮像装置１００a、撮像装置１００ｂ、撮像装置１００ｃおよび撮像装置１００ｄと受信制御装置１２１を相互に接続し、情報を送受信する。受信制御装置１２１は、例えば、他の装置や機器と通信可能な通信手段、動画像の再生・合成手段、表示装置への出力手段を備えた装置であり、撮像装置１００ａ、撮像装置１００ｂ、撮像装置１００ｃおよび撮像装置１００ｄの各映像情報を受信し、合成して表示装置１３０に出力する。

表示装置１３０は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の映像を表示する装置であり、受信制御装置１２１が出力した映像情報を表示画面１３１上に表示する。なお、撮像装置の台数および表示部１３１の分割方法は一例であり、撮像装置の台数および分割する形状、分割数を限定するものではない。

受信制御装置１２１は、ネットワーク１２０に接続された撮像装置から映像情報を受信し、表示画面１３１に表示できる形式で表示装置１３０に出力する。すなわち、図５に示すように４台の撮像装置から送信される映像情報を４分割された１つの画面に表示するために、各撮像装置から送信された映像所法を合成して１つの映像情報にして表示装置１３０に出力する等の処理を行う。また、受信制御装置１２１は、表示装置１３０に出力する画像情報に関する情報を各撮像装置に送信可能である。例えば、図６で説明するように伝送情報量を削減するために撮像装置から送信される画像情報の解像度を制御する場合は、表示装置１３０が出力する画像の解像度と、表示装置１３０に同時に出力する画像の数に基づき、例えば４台の撮像装置の画像を表示画面１３１に同時に表示する場合は表示装置１３０が出力する画像の解像度の４分の１の解像度の画像情報を送信するように各撮像装置に指示する。さらに受信制御部１２１は、ユーザが制御する入力手段等と表示方法の切り替え手段を備え、複数接続している撮像装置から１つの撮像装置の選択を入力手段が受け付けた場合に、選択された撮像装置から送信された映像情報を表示部１３１全体に表示して映像情報の細部が確認できる表示方法を選べるようにしてもよい。

ここで、撮像装置の接続台数と伝送情報量について説明する。図６に撮像装置の接続台数と伝送情報量の関係例を示す。１４１は撮像装置が表示部の解像度と同じ解像度で映像信号を伝送した場合の情報量を示し、１４２は撮像装置が実際に表示する解像度に合わせた映像情報を伝送した場合の情報量を示す。撮像装置が撮像部１３０の解像度に合わせた映像情報を出力した場合、撮像装置の台数の増加に伴い伝送情報量も増加する。一方、撮像装置で表示する解像度にした映像情報を出力した場合、伝送情報量はほぼ撮像装置１台分に等しく、ほとんど増加しない。

例えば、撮像装置が４台接続し、各々が表示エリアの解像度に合わせた映像情報を出力することにより、表示部全体の解像度に合わせた映像情報を出力するのと比較し、ネットワーク１２０で伝送される情報量は約１／４に低減できる。以上、監視カメラシステムで表示装置に撮像装置の映像をマルチ表示する時のネットワーク負荷の軽減について説明したが、表示装置の方が撮像装置よりも解像度が低い場合においても、表示装置の解像度に合わせることにより、ネットワーク負荷の軽減が可能である。

以上説明したように本撮像装置では、撮像装置１００の出力する映像信号の画像サイズと、撮像部１０１が撮像する画像サイズと、着目領域検出部１０４で検出した着目領域の大きさに応じて、背景画像と着目領域の解像度の比率を変えることができ、着目領域の解像度を背景画像の解像度より高くすることで、着目領域の視認性を向上させることができる。また、着目領域を着目領域の大きさに応じた解像度にすることで、着目領域を表示領域内に適切な大きさに収めることができ、着目領域の欠落の防止および背景画像の欠落を最低限にすることができる。なお、「解像度を変える」等の表現は、解像度制御部１０６が決定する背景画像および着目領域の解像度が「解像度を変える処理」を行う前の画像の解像度と「解像度を変える処理」を行った後の画像の解像度とが同じものを含むこととする。

また、撮像装置の出力解像度を、撮像した解像度よりも低くして表示装置に送信することで、データ伝送量を軽減し、例えば、ネットワーク負荷を軽減することが可能になる。

以下、本実施形態の解像度制御部１０６が設定する解像度の設定方法例について説明する。

本発明の撮像装置１００では、ネットワーク負荷軽減の為、表示サイズに合わせた解像度の映像情報を出力するが、着目領域においては、解像度を全体の解像度よりも高くすることにより着目領域内の画像の視認性を向上させる。この為、撮像部１０１では、着目領域の解像度に合わせて、撮像装置１００の出力解像度よりも高い解像度で撮像する。

図７に解像度変換部１０３の周辺画像の入出力画像例を示す。

３０１は撮像部が撮像した映像信号の全体画像例であり、解像度変換部１０３および着目領域検出部１０４の入力画像例を示す。また、３０４は、全体画像例３０１が入力した時の解像度変換部１０３の出力画像例を示す。

解像度変換部１０３の出力画像例３０４は、受信制御装置１２１から送信された表示装置１３０が出力可能な映像の解像度に基づき、解像度制御部１０６が解像度変換部１０３を制御するため、表示装置の仕様によって決まり、例えば表示装置がフルハイビジョンの映像信号を表示するものであるならば、水平１９２０画素、垂直１０８０画素である。これに対し、全体画像例３０１の画像サイズは、撮像部１０１が出力する画像が、表示装置の画像よりも高解像度になるように、解像度制御部１０６が撮像部１０１（図１）を制御する。

全体画像例３０１の画像サイズは、撮像部１０１が撮像可能な画像サイズと等しい、あるいは小さければよく、例えば水平３８４０画素、垂直２１６０画素である。解像度制御部１０６は、全体画像例３０１と解像度変換部１０３の出力画像例３０４の水平および垂直画素数を前記値に設定した場合、解像度変換部１０３で水平および垂直の解像度が２分の１になるように解像度変換部１０３を制御する。

なお、上記水平および垂直の画素数、解像度変換部１０３の変換率は説明の為の数値例であり、本発明を限定するものではない。

図８に着目領域検出部１０４および着目領域解像度変換部１０５の着目領域の入出力画像例を示す。図７と同じものには同じ番号を付し、説明は省略する。３０２および３０３は、全体画像例３０１内の着目領域例を示す。３１０および３１１は全体画像３０１が入力した時の着目領域検出部１０４の出力着目画像例、３１２および３１３は着目画像例３０２および３０３が入力した時の着目領域解像度変換部１０５の出力画像例を示す。

着目領域検出部１０４は、着目画像例３１０および着目画像例３１１を全体画像３０１から抽出し、着目領域解像度変換部１０５に出力するとともに、各々の画像サイズを解像度制御部１０６に通知する。解像度制御部１０６は、例えば、着目画像の画像サイズが全体画像に占める割合から、着目画像の各々の解像度を決定する。

例えば、大きな着目画像例３１０が全体画像に占める割合が１８％、小さな着目画像例３１１が全体に占める割合が３％であり、着目画像の画像サイズが全体画像に占める割合が５％以下の場合は解像度を変換せずにそのまま出力し、１５％以上の場合は全体画像３０１の縮小率に合わせて縮小するとした場合、解像度制御部１０６は着目領域解像度変換部１０５が着目画像例３１０は全体画像３０１と同じ縮小率で解像度変換した着目画像例３１２を、着目画像例３１１は解像度変換しない着目画像例３１３を出力するように制御する。

上記説明したように、小さな着目領域の大きさを相対的に大きくすることにより、監視員が着目領域に気が付きやすくすることができ、かつ、背景、大きな着目領域をバランスよく表示することができる。

なお、上記着目領域の全体に占める割合の数値は説明の例であり、本発明を限定するものではない。さらに、着目画像の解像度は、着目画像サイズに応じて、全体画像と撮像画像の間となる値を設定してもよい。解像度制御部１０６の解像度設定例を図９に示す。４０１は着目画像サイズと解像度変換率の設定例を示している。解像度変換率は着目領域解像度変換部１０５の出力画像データの解像度に対する入力画像データの解像度比であり、入力画像データと出力画像データの解像度が等しい場合は解像度変換率が１、出力画像データの解像度が低くなるにつれ解像度変換率は大きくなり、出力画像データの解像度が全体画像と同じ解像度で変換率は最大となる。

解像度制御部１０６は着目画像サイズに対応した解像度変換率を着目領域解像度変換部１０５に適用する。４０１は着目領域が小さければ小さいほど、撮像部の解像度に近く、着目領域が大きければ大きいほど周辺画像に近くなるように制御することを示している。上記説明したように、小さな着目領域の大きさを相対的に大きくすることにより、監視員等が着目領域に気が付きやすくすることができ、かつ、背景、大きな着目領域をバランスよく表示することができる。

さらに、着目領域は複数個ある場合があり、着目画像の個数毎に設定する解像度を変える解像度設定例について説明する。

図１０に、着目領域の個数に対応して、解像度設定をする解像度制御部１０６の解像度設定例を示す。５０１、５０２および５０３は、着目画像サイズと解像度変換率の設定例を示している。着目領域の個数と設定例の関係は、例えば、着目領域が１個の時は設定例５０１、着目領域が２個の時は設定例５０２、着目領域が３個以上の場合は設定例５０３を使用する等、設定例５０３が最も着目領域が多く、５０１が最も着目領域が少なくなる。着目領域の個数が増えると、設定例５０１から設定例５０２、設定例５０３と使用する設定値を変える。

着目領域の個数が増えれば、着目領域に1個当たりの着目領域の大きさを小さくする必要が有る為、解像度が低い関数を使用する。

上記制御により、着目領域の重なりや、背景がなくなることを防ぎ、着目領域の画像データの欠落を防ぎ、かつ、背景に着目領域をバランスよく表示することができる。なお、本実施例は着目領域の最大数を３個に限定するものではなく、例えば着目領域の数に応じて解像度変換率を変えることや、着目領域の数がしきい値に達した場合に解像度変換率を変えることなどが可能である。

図１１に画像合成部１０７の入出力画像例を示す。図７および図８と同じものには同じ番号を付し、説明は省略する。６０７は画像合成部１０７の出力画像例、６０８、６０９は出力画像例６０７内の着目画像例である。画像合成部１０７は、入力画像を全体画像例３０４、着目画像例３１２および着目画像例３１３とした時に、全体画像例３０４に解像度制御部１０６（図１）が指定した位置に着目画像３１２および着目画像３１３を配置し、出力画像例６０７を出力する。

解像度制御部１０６（図１）が指定する位置としては、例えば、着目画像３１２の中心位置および着目画像３１３の中心位置を全体画像３０４の各々に対応する着目画像の中心位置とする。なお、解像度制御部１０６は配置した着目画像が全体画像６０７からはみ出ると判断した場合は着目画像の欠落がない位置にずらして配置するようにしてもよい。

以上説明した画像合成部１０７により、撮像装置１００の出力映像を見ている監視員等が、着目領域の画像が全体のどのおおよその位置を把握することができ、かつ、重要な着目領域のデータの欠落を防ぐことができる。

以上説明した本実施形態の処理フローについて説明する。図１２に解像度制御部１０６の処理フローの一例を示す。

解像度制御部１０６はステップ２００で、撮像部１０１で撮像する画素の解像度を設定する。設定する解像度は、撮像部１０１の最大解像度に設定する、あるいは、撮像部１０１と撮像装置１００の出力解像度差が十分に大きい場合は、撮像装置１００の出力解像度に対して撮像部の解像度を整数倍等にする扱いやすい解像度を選択して設定してもよい。

次のステップ２１０では、受信制御装置１２１から撮像装置１００に要求されている出力映像情報の解像度を確認し、既に解像度変換部１０３に設定されている解像度を変換の為の設定値の変更要否を判定し、変更が必要な場合はステップ２０１に、変更が不要の場合はステップ２０２に進む。

ステップ２０１では、ステップ２００で設定した撮像部１０１の解像度と撮像装置１００の出力解像度から解像度変換部１０３の解像度変換率を決定し、設定する。ステップ２０２で、着目領域検出部１０４（図１）から着目領域の画像サイズおよび全体画像における位置を取得する。

ステップ２０３で、ステップ２００で撮像部１０１に設定した解像度およびステップ２０２で取得した着目領域の画像サイズおよび着目領域の個数から、着目領域の各々の解像度を決定し、着目領域解像度変換部１０５に設定する。ステップ２０４で、ステップ２０２で取得した着目領域の位置とステップ２００で設定した撮像部１０１の解像度とステップ２０１で設定した解像度変換部１０３の解像度から画像合成部１０７に設定する着目画像の配置位置を算出し、ステップ２０３で設定した解像度から解像度変換後の着目領域の画像サイズを算出し、着目画像が全体画像に収まる場合は算出した着目画像の配置位置を映像合成部に設定する。

一方、着目画像がはみ出る場合は、着目画像の位置を修正し、配置位置を映像合成部に設定する。次にステップ２０５では、撮像終了を判断し、撮像が終了しない場合は、ステップ２１０に進む。

以降、撮像中は、ステップ２０２、ステップ２０３およびステップ２０４と必要に応じてステップ２０１の処理を繰り返し行う。なお、撮像装置１００の撮像終了の判定はステップ２０５のタイミングで判定することに限定したものではなく、例えば、割り込みの終了要求やリセット要求に応じて終了する。

以上説明した本実施例の撮像装置では、限られた表示領域内で解像度が必要な着目領域の解像度を確保しつつ監視領域全体の画像を表示することができるため、全体を監視つつ、着目すべき対象物があることを監視員が容易に認識しやすくし、さらに、着目対象物の視認性を向上することができる。

また、表示装置へ出力する画像サイズへの解像度変換を撮像装置で行うことにより、ネットワーク等で伝送する情報量を削減することができ、ネットワークの負荷軽減が可能になる。

なお、本実施例では全体の画像に対して着目領域の解像度を変える撮像装置について説明したが、例えば、着目領域を検出しない等により画像を一律の解像度で出力するモードを設けて、監視員が解像度を変えるのを不要と判断した場合等にモードを切り替える機能を設けてもよい。

また、記録装置等の表示装置以外のより高い解像度の画像を必要とされる可能性がある装置に出力する場合は、画像出力部１０８（図１）の他に、信号処理部１０２の出力解像度のまま出力するインタフェースを設け、撮像部１０１の解像度と同じ解像度の映像信号を出力するようにしてもよい。

本実施形態では、着目領域の大きさおよび着目領域までの距離により、着目領域と着目領域以外の解像度の割合を変える撮像装置について例を用いて説明する。

図１３は、実施例２における撮像装置８００の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付してあり、説明を省略する。

８０１は距離検出部であり、例えば、着目領域検出部１０４で検出した着目領域までの距離を計測して、計測結果を解像度制御部１０６に出力する。距離検出部８０１の距離検出方法としては、例えば、パルス状の光を投光信号として着目領域に光を投射して、投光信号と着目領域からの反射光受光信号との位相差から距離を計測する方法があるが、本実施例において距離の検出方法について限定するものではない。

なお、撮像部１０１が撮像する画像サイズと距離検出部８０１の距離測定ポイント数は一致している必要はなく、距離検出部の距離選択手段としては、着目領域に含まれる距離計測ポイントの中心部の距離あるいは、着目領域を含む距離検出ポイントの平均等、使用用途に応じて使用してもよい。なお、距離検出部８０１は全体画像領域の距離を常に検出しており、解像度制御部１０６からある領域の距離情報を要求された時に、測定済の距離情報を出力する構成としてもよい。

解像度制御部１０６による着目対象物までの距離に応じた解像度設定例を図１４に示す。９０１は着目対象物までの距離と解像度変換率の設定例を示している。解像度制御部１０６は、距離検出部８０１により検出された着目対象物までの距離に対応した解像度変換率で着目領域の画像を出力するように着目領域解像度変換部１０５を制御する。解像度変換率が１の場合、着目画像の解像度の設定は最大値であり、撮像部の解像度をそのまま使用する。解像度変換率が高いほど着目画像の解像度は低くなり、解像度の最小値は着目領域以外の全体画像と同じ解像度となる。

解像度設定例９０１は着目領域が遠ければ遠いほど、撮像部の解像度に近く、着目領域が近ければ近いほど周辺画像に近くなるように制御することを示している。

図１５に、解像度制御部１０６の処理フローを示す。図１２と同じものは同じ番号を付し、説明は省略する。

ステップ２０２で着目領域を設置した後、ステップ１００１で着目領域を距離検出領域として、距離検出部８０１に距離情報を要求する。ステップ１００２で要求した領域の距離情報を距離検出部８０１から取得する。ステップ１１０３では、撮像装置８００の出力解像度、着目領域の大きさ、個数、位置等の情報に加えて、ステップ１００２で取得した距離情報を加えた情報をもとに着目領域の解像度を決定し、ステップ１００３で着目領域解像度変換部１０５に決定した解像度変換率を設定する。

以上説明した本実施例では、距離情報を使用することで対象物の解像度をより最適な大きさに設定することが可能になる。また、対象物の大きさを判断することが可能であり、例えば動体ではあるが非常に小さいものを距離情報と画像全体に対する大きさによって判断可能であり、例えば、虫や小動物と判断されるものに関しては解像度を拡大しないことや、着目すべき対象物を不要に拡大せず、必要な対象物のみの拡大することなどが可能であり、監視員が異常を発見しやすい画像とすることができる。

本実施形態では、着目領域までの距離の検出に、撮像装置のフォーカスレンズの位置を用いる例について図を用いて説明する。

図１６は、実施例３における撮像装置９００の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付してあり、説明を省略する。

９０１はフォーカスレンズを移動制御するフォーカス制御部、９０２は信号処理部１０２の映像信号の高周波成分からフォーカス評価値を生成するフォーカス検波部であり、フォーカス評価値がもっとも高いフォーカスレンズ位置が合焦点となる。

フォーカスレンズを備えた撮像装置では、フォーカス検波部９０２の検波結果から、レンズの位置を合焦位置に移動させて合焦動作を行う。従い、予めフォーカスレンズの位置と被写体までの距離の情報をフォーカス制御部に保持しておくことで、合焦点にあるレンズ位置から合焦している被写体までの距離が得られる。

撮像部１０１は、撮影対象物にフォーカスを合わせるためのフォーカスレンズを備えている。フォーカス制御部９０１は撮像部１０１のフォーカスレンズを移動させる。フォーカス検波部９０２は、信号処理部１０２が出力する映像信号からフォーカス検波を行い、フォーカス評価値を出力する。

フォーカス検波部は、指定した領域内の検波結果を出力する。着目領域を検波領域とし、検波結果を取得する。なお、着目領域が複数個ある場合は、検波領域を複数個設けたフォーカス検波部９０２とし、解像度制御部１０６は、着目領域毎に検波領域を指定し、フォーカス制御部９０１でフォーカスレンズを移動制御し、着目領域毎のフォーカス評価値を取得する。

解像度制御部１０６は、フォーカス制御部９０１でフォーカスレンズを移動制御する中で、フォーカス検波部９０２のフォーカス評価値がもっとも高いフォーカス制御部９０１のフォーカスレンズ位置から着目領域毎の被写体までの距離が得られる。また、着目領域が複数個あり、それぞれの着目領域までの距離が離れている場合は、全着目領域の合焦点位置にレンズ位置を合わせることができない。

このような場合は、例えば、後述する実施例４で説明する重要度等により着目領域に順位をつけ、重要度が高い着目領域が合焦点になるようにする、あるいは、各着目領域のフォーカス評価値の平均値が高くなるレンズ位置にする等、撮像装置の用途に応じて解像度制御部１０６でフォーカス制御部９０１のレンズ位置を決定する。

図１７に、解像度制御部１０６の処理フローを示す。図１２及び図１５と同じものは同じ番号を付し、説明は省略する。

ステップ２０２で着目領域を設置した後、ステップ１２０１で着目領域を距離検出領域として、フォーカス検波部９０２にフォーカス検波領域を設定する。ステップ１２０２でフォーカス制御部９０１からフォーカス制御情報を取得し、ステップ１２０３で設定したフォーカス検波した検波結果を取得する。

ステップ１２０４では、フォーカスレンズ位置から距離情報を生成し、撮像装置９００の出力解像度、着目領域の大きさ、個数、位置等の情報に加えて、ステップ１２０３で取得した距離情報を加えた情報をもとに着目領域の解像度を決定し、ステップ１２０４で着目領域解像度変換部１０４に決定した解像度変換率を設定する。

以上説明した本実施例では、撮像装置内部の信号処理のみで被写体までの距離を測定することができ、簡単な構成での距離の計測が可能になる

本実施形態では、着目領域の解像度を重要度に応じて設定する例について説明する。

図１８は、実施例４における撮像装置１２００の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付してあり、説明を省略する。

１２０１は着目領域重要度判定部であり、着目領域検出部１０４で検出した着目領域の画像データの内容から重要度を判定し、重要度情報を付加して解像度制御部１０６に送る。

重要度は、例えば、監視対象物が人の場合、着目対象物が人の顔や人間と判断した場合に重要度を高く、人以外の重要度を低くする。解像度制御部１０６は重要度が高いほど解像度を高く、重要度が低いほど解像度を低く設定する。

図１９に着目領域検出部１０４の着目領域例を、図２０に着目領域重要度判定部１２０１の出力情報例を示す。１３００は、信号処理部１０２が出力する全体画像例であり、１３０１、１３０２、１３０３および１３０４は着目領域検出部１０４で検出された着目領域を示す。図１９の１４０１、１４０２、１４０３および１４０４は各々の着目領域に対する情報例であり、例えば、着目領域のＩＤ、サイズ、位置、重要度の情報が含まれる。

ここで、着目領域１３０１、着目領域１３０２、着目領域１３０３、着目領域１３０４の各々に対応する情報例を着目領域情報１４０１、着目領域情報１４０２、着目領域情報１４０３、着目領域情報１４０４とする。着目領域検出部１０４で生成した着目領域のＩＤ、サイズ、位置の情報に、着目領域重要度判定部１２０１は例えば、人と判断した着目領域１３０２および着目領域１３０３を重要と判断し、重要度を高くする。また、人ではないと判断した着目領域１３０１と１３０４では重要度を低く設定する。着目領域１３０１と１３０４との重要度の順位は、例えば、人に近いと判断した順に重要度を設定していく。解像度制御部１０６は、重要度が高いものほど解像度を高く、重要度が低いものほど解像度を低く設定する。

図２１に画像合成部１０７が出力する画像の例を示す。１３１０は全体画像、１３１１、１３１２、１３１３および１３１４は着目領域解像度変換部１０５から出力された着目領域を示す。重要度が高いと判断された着目領域１３１２は解像度が高く設定され、相対的に大きく表示される。同じく重要度が高いと判断された着目領域１３１３は、重要度が高くても、画像サイズが大きい為、１３１２よりも低い解像度が設定されている。

以上、本実施形態では、重要度により解像度を変えることにより、着目する必要がある領域の視認性を向上することができる。

なお、本実施例では、重要度の判断基準として人を例にしたが、監視カメラの用途により、人以外、例えば交通監視等では車や、ナンバープレート等を検出した場合に重要度を高くしてもよいし、着目する場所を明るさや色で判断するシステムにおいては明るさや色を重要度の判断基準としてもいい。

本実施形態では、着目領域の解像度を高くすることで、欠落してしまう画像と着目領域の周囲の画像を全体画像より解像度を下げることにより、大きな範囲での画像欠落を防ぐ撮像装置について図面を用いて説明する。

図２２は、実施例５における撮像装置１６０１の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付してあり、説明を省略する。

１６０２は着目領域周辺処理部であり、着目領域の周辺部分を圧縮する。着目領域周辺処理部１６０２の機能について図２３を用いて説明する。

図２３は信号処理部１０２の画像から、着目領域および着目領域周辺部の切り出しをイメージした画像の一例である。１７０１は全体画像、１７０２は信号処理部１０２の出力時点での着目領域の大きさ、１７０３は画像合成部１０７の出力での着目領域の大きさ、１７０４は着目領域周辺境界部を示す。

例えば、映像信号処理部１０２で設定された着目領域の大きさ１７０２は、画像合成部１０７の出力では相対的に拡大され、着目領域の大きさ１７０３まで拡大される。この時、着目領域の大きさ１７０２の外側から着目領域周辺境界部１７０４のデータを着目領域周辺部として、着目領域周辺処理部１６０２で全体画像１７０１の解像度よりもさらに低い解像度に圧縮して、着目領域の大きさ１７０３の外側から着目領域周辺部の境界１７０４に振り分ける。

以上説明した本実施例では、着目領域と接する周辺部における画像データの欠落を抑制し、着目領域を高い解像度にすることができる。さらに、着目領域の周辺解像度を映像全体の解像度よりもさらに低くすることにより着目領域を目立たせることができ、着目領域の視認性を向上させることができる。

なお、本実施例で着目領域を１つの場合を例にしたが、複数個の場合も同様の処理を行うことにより、大きなデータの欠落を防ぎかつ視認性をよくすることができる。また、着目領域の形状は限定するものではなく、切り出しやすい形あるいは着目対象物にあった形状にしてもよい。

１００，８００，９００，１２００，１６０１:撮像装置、１０１：撮像部、１０２：信号処理部、１０３：解像度変換部、１０４：着目領域検出部、１０５：着目領域解像度変換部、１０６：解像度制御部、１０７：画像合成部、１０８：画像出力部、８０１：距離検出部、９０１：フォーカス制御部、９０２：フォーカス検波部、１２０１：着目領域重要度判定部、１６０２：着目領域周囲処理部

Claims (9)

1. 撮像装置であって、
   被写体を撮像して電気信号を生成する撮像部と、
   前記撮像部が生成した電気信号を処理して映像信号を生成する信号処理部と、
   前記信号処理部で生成した映像信号の解像度を変換する解像度変換部と、
   前記解像度変換部で変換する解像度に基づき、前記信号処理部で生成した映像信号の着目領域内の画像データの解像度を変換する着目領域処理部と、
   前記解像度変換部の出力と前記着目領域処理部の出力とを合成して一つの出力信号にする映像合成部と、
   を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記着目領域処理部は、さらに着目領域の大きさに基づき着目領域内の画像データの解像度を決定することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記着目領域処理部は着目領域に対して着目領域毎に設定した解像度に変換することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記着目領域処理部は着目領域の個数に応じて変換する解像度を変えることを特徴とする撮像装置。
5. 請求項１乃至請求項４のいずれかに記載の撮像装置において、
   着目領域までの距離に関する距離情報を検出する距離検出部(801)を有し、
   前記着目領域処理部は、さらに前記距離情報に基づき着目領域内の画像データの解像度を決定することを特徴とする撮像装置。
6. 請求項１乃至請求項４のいずれかに記載の撮像装置において、
   前記信号処理部から出力される映像信号の指定領域のフォーカスを検波し、指定領域毎のフォーカス情報を出力するフォーカス検波部(902)と、
   前記フォーカス情報を基に、前記撮像部のフォーカスレンズを駆動して所定の位置にフォーカスを移動させて合焦させ、距離情報を生成するフォーカス制御部(901)と、を有し、
   前記着目領域処理部は、さらに前記距離情報に基づき着目領域内の画像データの解像度を決定することを特徴とする撮像装置。
7. 請求項１乃至請求項６のいずれかに記載の撮像装置において、
   着目領域の画像データに応じて重要度を設定する着目領域重要度判定部(1201)を備え、
   前記着目領域処理部は、さらに前記重要度に基づき着目領域の画像データの解像度を決定することを特徴とする撮像装置。
8. 請求項１乃至請求項７のいずれかに記載の撮像装置と、表示装置とを有する撮像システムにおいて、
   前記解像度変換部が変換する映像信号の解像度は、前記表示装置の表示領域の解像度であり、
   前記表示装置は前記撮像装置から受信した映像を表示することを特徴とする撮像システム。
9. 請求項１乃至請求項７のいずれかに記載の複数の撮像装置と、表示装置とを有する撮像システムにおいて、
   前記解像度変換部が変換する映像信号の解像度は、前記表示装置の表示領域を複数に分割した領域の解像度であり、
   前記表示装置は前記撮像装置から受信した複数の映像を、前記表示領域を複数に分割した領域のそれぞれに表示することを特徴とする撮像システム。

Images