JP2023038480A - 監視システム及び監視方法 - Google Patents
監視システム及び監視方法 Download PDFInfo
- Publication number
- JP2023038480A JP2023038480A JP2021145232A JP2021145232A JP2023038480A JP 2023038480 A JP2023038480 A JP 2023038480A JP 2021145232 A JP2021145232 A JP 2021145232A JP 2021145232 A JP2021145232 A JP 2021145232A JP 2023038480 A JP2023038480 A JP 2023038480A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- unit
- preset
- image
- camera unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】カメラの画角ずれを自動で補正することにより、プリセット再登録の時間を短縮することができる監視システムを提供すること。【解決手段】カメラ部(101)と、監視部(102)と、位置補正部(104-1)とを含む監視システム(100)であって、監視部は、カメラ部の向き及び画角を規定する第1のプリセット情報を格納するデータベース(305)を含み、位置補正部は、第1のプリセット情報について、カメラ部の画角が所定の基準に対してどの程度ずれているかを画素数として示す画角ずれ量を判定するずれ量認識部(406)と、判定した前記画角ずれ量から算出した移動角を用いて、画角ずれ量を解消する補正位置に前記カメラ部を移動させる補正部(407-1)と、第1のプリセット情報を、補正位置に基づいて更新し、第2のプリセット情報として登録するプリセット再登録部(410)とを含む。【選択図】図4
Description
本開示は、監視システム及び監視方法に関する。
従来から、店舗、路上、駐車場等の様々な場所では、防犯対策の一環として、不審物や不審者を撮像可能な監視カメラを用いる監視システムが提供されている。また、この中では、監視カメラの向きや画角を予め設定したプリセット情報によって制御する手段が知られている。
プリセット情報を用いた監視カメラの一例として、例えば、特許第6016295号(特許文献1)が存在する。
特許文献1には、「監視エリア内を撮像する複数のカメラと、当該複数のカメラから入力された画像信号を画像処理し、前記監視エリア内に侵入した侵入物体を検知する画像処理装置と、当該画像処理装置によって検知された前記侵入物体の座標位置から、予め登録されたプリセット情報を基に前記複数のカメラの向きや画角の変更を指示する制御部とを備えた監視システムにおいて、前記複数のカメラのそれぞれに各カメラで撮影された画像信号から侵入物体を検知し、当該侵入物体の前記座標位置と検知枠面積情報とを算出する前記画像処理装置が接続され、各画像処理装置に当該画像処理装置からの画像データのヘッダ部に前記侵入物体の前記座標位置と前記検知枠面積情報とを付加して前記制御部に送信する複数のエンコーダを備え、前記制御部は、前記エンコーダから入力された前記侵入物体の前記座標位置を基に前記侵入物体の移動予測を行うとともに、前記エンコーダから入力された前記侵入物体の前記検知枠面積情報に基づいて前記複数のカメラから送信された画像の重要度の順位付けを行い、当該順位付けに従って監視モニタに当該画像を表示させることを特徴とする監視システム。」が開示されている。
特許文献1には、「監視エリア内を撮像する複数のカメラと、当該複数のカメラから入力された画像信号を画像処理し、前記監視エリア内に侵入した侵入物体を検知する画像処理装置と、当該画像処理装置によって検知された前記侵入物体の座標位置から、予め登録されたプリセット情報を基に前記複数のカメラの向きや画角の変更を指示する制御部とを備えた監視システムにおいて、前記複数のカメラのそれぞれに各カメラで撮影された画像信号から侵入物体を検知し、当該侵入物体の前記座標位置と検知枠面積情報とを算出する前記画像処理装置が接続され、各画像処理装置に当該画像処理装置からの画像データのヘッダ部に前記侵入物体の前記座標位置と前記検知枠面積情報とを付加して前記制御部に送信する複数のエンコーダを備え、前記制御部は、前記エンコーダから入力された前記侵入物体の前記座標位置を基に前記侵入物体の移動予測を行うとともに、前記エンコーダから入力された前記侵入物体の前記検知枠面積情報に基づいて前記複数のカメラから送信された画像の重要度の順位付けを行い、当該順位付けに従って監視モニタに当該画像を表示させることを特徴とする監視システム。」が開示されている。
特許文献1には、画像処理装置で侵入者を検知した際の検知枠の大きさやレーザーセンサで検知された侵入者の軌跡情報等に基づいて侵入者の次の行動を予測し、複数のカメラ画像から重要度の順位付けを行うことで、重要な画像をリアルタイムに監視者へ提供する監視システムが記載されている。また、特許文献1に記載の手段では、この「重要な画像」を撮影できるように、監視カメラの向きや画角の変更が予め登録されたプリセット情報に基づいて制御される。
しかし、監視カメラは、経年変化によるモーターの劣化等により、画角がプリセット情報によって規定されている画角からずれてしまうことがある。この画角ずれにより、撮影対象が捉えられなくなり、侵入者や不審物の検知精度が限定されてしまうため、画角ずれが発生した場合、画角ずれを解消するための対応が必要となる。
従来では、監視カメラの画角ずれが許容範囲外に達した場合、当該監視カメラのプリセット情報を再登録することが必要となる。このプリセット再登録を行う際、作業者は、全てのプリセットを手動で適切な角度に更新し登録を行うため、時間を要する上、ユーザエラーによるプリセット登録のミスが起こる可能性がある。
従って、上記の課題を鑑み、監視カメラの画角ずれに伴うプリセット再登録の負担を軽減する手段が望まれている。
従って、上記の課題を鑑み、監視カメラの画角ずれに伴うプリセット再登録の負担を軽減する手段が望まれている。
そこで、本開示は、カメラの画角ずれを自動で補正することにより、プリセット再登録の時間を短縮することができる監視システムを提供することを目的とする。
上記の課題を解決するために、代表的な本発明の監視システムの一つは、カメラ部と、監視部と、位置補正部とを含む監視システムであって、前記監視部は、前記カメラ部の向き及び画角を規定する第1のプリセット情報を格納するデータベースを含み、前記位置補正部は、前記第1のプリセット情報について、前記カメラ部の画角が所定の基準に対してどの程度ずれているかを画素数として示す画角ずれ量を判定するずれ量認識部と、判定した前記画角ずれ量から算出した移動角を用いて、前記画角ずれ量を解消する補正位置に前記カメラ部を移動させる補正部と、前記第1のプリセット情報を、前記補正位置に基づいて更新し、第2のプリセット情報として登録するプリセット再登録部とを含む。
本開示によれば、カメラの画角ずれを自動で補正することにより、プリセット再登録の時間を短縮することができる監視システムを提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
以下、図面を参照して、本発明の実施例について説明する。なお、この実施例により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
なお、以下では、実施例1や実施例2等の実施例を特定して本開示の態様を説明する場合や、実施例を特定せずに本開示の態様を説明する場合がある。実施例を特定して説明する本開示の態様は、その実施例に限定されず、他の実施例にも適用されてもよい。また、実施例を特定せずに説明する本開示の態様は、実施例1や実施例2等、いずれの実施例にも適用可能な共通の要素である。
なお、以下では、実施例1や実施例2等の実施例を特定して本開示の態様を説明する場合や、実施例を特定せずに本開示の態様を説明する場合がある。実施例を特定して説明する本開示の態様は、その実施例に限定されず、他の実施例にも適用されてもよい。また、実施例を特定せずに説明する本開示の態様は、実施例1や実施例2等、いずれの実施例にも適用可能な共通の要素である。
上述したように、本開示は、カメラの画角ずれを自動で補正することにより、プリセット再登録の時間を短縮することができる監視システムを提供することを目的とする。
より具体的には、本開示では、プリセット再登録を行う際、プリセット情報に含まれる全てのプリセットが許容範囲外になっていない場合には、補正を行えるプリセットの情報を自動で収集し、画角ずれ量を算出する。全てのプリセットが許容範囲外になった場合及び、ユーザが手動でプリセット再登録を行いたい場合には、1か所のプリセットを手動で設定し、そのプリセットで発生していた画角ずれ量を算出する。
より具体的には、本開示では、プリセット再登録を行う際、プリセット情報に含まれる全てのプリセットが許容範囲外になっていない場合には、補正を行えるプリセットの情報を自動で収集し、画角ずれ量を算出する。全てのプリセットが許容範囲外になった場合及び、ユーザが手動でプリセット再登録を行いたい場合には、1か所のプリセットを手動で設定し、そのプリセットで発生していた画角ずれ量を算出する。
この算出した画角ずれ量に基づいてカメラ部の補正位置を判定し、カメラ部を当該補正位置に移動させ、当該補正位置を新たなプリセットとして登録することにより、画角ずれを解消し、プリセット再登録を自動で行うことができる。
また、現在のカメラ映像表示だけでなく、正しいプリセットで撮影された基準画像と現在のカメラ映像とを重ね合わせて表示することにより、プリセット再登録の際の微調整が容易となる。
また、現在のカメラ映像表示だけでなく、正しいプリセットで撮影された基準画像と現在のカメラ映像とを重ね合わせて表示することにより、プリセット再登録の際の微調整が容易となる。
まず、図1を参照し、本開示の実施例1に係る監視システムの構成について説明する。
図1は、本開示の実施例1に係る監視システム100の構成の一例を示す図である。図1に示すように、本開示の実施例1に係る監視システム100は、カメラ部101、監視部102、表示部103、及び位置補正部104-1で構成される。
なお、カメラ部101、監視部102、表示部103、及び位置補正部104-1は、一つの装置(例えば、コンピューティングデバイス)によって実施されるソフトウエアアプリケーションであってもよく、独立した専用ハードウェアであってもよい。
なお、カメラ部101、監視部102、表示部103、及び位置補正部104-1は、一つの装置(例えば、コンピューティングデバイス)によって実施されるソフトウエアアプリケーションであってもよく、独立した専用ハードウェアであってもよい。
カメラ部101は、所定の環境を撮影するように設置された機能部である。カメラ部101は、例えば、パン、チルト、ズーム等の調整機能を有する雲台を備えたカメラであり、360度回転可能な旋回カメラであってもよい。また、カメラ部101の設置箇所及び数は、本開示では特に限定されず、監視の目的等に応じて適宜に定められてもよい。
監視部102は、画像や映像を録画、管理、閲覧する機能を備えた機能部である。監視部102は、カメラ部101によって撮影された映像を表示部103に出力したり、表示部103からの指示(例えば、プリセット再登録の操作)をカメラ部101に転送したりしてもよい。一例として、監視部102は、いわゆるVMS(Video Management System)を搭載した機能部であってもよい。
表示部103は、監視システム100のユーザにユーザインターフェースを提供し、カメラ部101によって取得された映像の表示、雲台の制御、カメラ部101への指示の入力等を管理する装置である。表示部103は、例えば監視部102に接続されているコンピューター(ノートパソコン、デスクトップパソコン)や携帯端末(スマートフォン、タブレット)を含んでもよい。
位置補正部104-1は、カメラ部101の位置を調整するための機能部である。後述するように、位置補正部104-1は、例えばカメラ部101の画角ずれを認識するためのずれ量認識部、カメラ部101の位置を補正するための補正部、カメラ部101の雲台を制御するための雲台制御部、カメラ部101の位置を判定する基準となる基準位置データ、及びカメラ部101のプリセットを再登録するためのプリセット再登録部とを含んでもよい。
なお、位置補正部104-1の構成については図4を参照して説明するため、ここではその説明を省略する。
なお、位置補正部104-1の構成については図4を参照して説明するため、ここではその説明を省略する。
次に、図2を参照して、本開示の実施例2に係る監視システムの構成について説明する。
図2は、本開示の実施例2に係る監視システム200の構成の一例を示す図である。本開示の実施例2に係る監視システム200は、実施例1に係る監視システム100に対して、位置補正部104-1の代わりに、プリセット再登録処理を支援するための映像を出力する映像出力機能を設けた位置補正部104-2を備える点において異なり、それ以外の構成は同様である。
位置補正部104-2は、表示部103のユーザインターフェースに表示する映像を作成した後、作成した映像を表示部103に出力する。位置補正部104-2の映像を表示部103のユーザインターフェース上に表示することにより、ユーザは、画角ずれが補正された後の映像を視認することが可能となる。
なお、位置補正部104-2による処理の詳細については、図8を参照して説明するため、ここではその説明を省略する。
なお、位置補正部104-2による処理の詳細については、図8を参照して説明するため、ここではその説明を省略する。
以上説明した監視システム100、200によれば、画角ずれを自動で補正し、プリセット再登録の時間を短縮することが可能となる。なお、監視システム100、200のどちらを使用するかは、例えば画角ずれが補正された後の映像を確認する要否等に基づいて、自由に選択されてもよい。
次に、図3を参照して、本開示の実施例に係る監視部の内部構成について説明する。
図3は、本開示の実施例に係る監視部102の内部構成の一例を示す図である。図3に示すように、監視部102は、主にプログラムメモリ301、データベース305、データバス312、CPU313、及びLANI/F314から構成されている。
プログラムメモリ301は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体(揮発性又は不揮発性のいずれか)である。より具体的には、プログラムメモリ301は、上述した表示部103のインターフェースに表示する画面を管理するソフトウェアプログラムを格納してもよい。例えば、図3に示すように、プログラムメモリ301は、画面作成部302、画面表示部303、及び疎通確認部304を含んでもよい。
画面作成部302は、表示部103が起動したことを示す起動情報を受信した場合、データベース305に格納されている各種情報を用いて、表示部103のユーザインターフェースに表示する操作画面1400を作成する。この作成された操作画面1400の詳細は、図14を参照して説明するため、ここではその説明を省略する。
画面表示部303は、画面作成部302によって作成された操作画面1400を表示部103に出力する。
疎通確認部304は、カメラ部101に対して、データの送受信が可能か否かを検証するための疎通確認を行う。疎通が取れない場合には、疎通確認部304は、表示部103のユーザインターフェースの画面の「エラー」の部分を赤色表示に変更して表示し、疎通が取れた場合やエラーが復旧した場合には、表示部103のユーザインターフェースの画面の「エラー」の部分を白色で表示する。
CPU313は、1つ又は複数の汎用プログラマブル中央処理装置であり、プログラムメモリ301に格納されるプログラムを実行するように構成されている。
LANI/F314は、監視部102と、カメラ部101と、表示部103とのデータの送受信を行うためのローカルエリアネットワークインターフェースである。
データベース305は、監視部102によって用いられる各種情報を格納するための記憶部である。例えば、図3に示すように、データベース305は、監視部102と接続されているカメラ部101の名称を示すカメラ名称306、カメラ部101によって撮影されている映像の配信元アドレス(例えば、IPアドレス等)を示す映像配信元アドレス307、カメラ部101の向き及び画角の変更を規定するプリセット情報308、カメラ部101及び表示部の機種を示す機種情報309、プリセット情報308に基づいて設定されたカメラ部101によって撮影されるプリセット画像310、及び映像や操作画面が表示される表示部103に関する端末情報311を格納してもよい。
データバス312は、プログラムメモリ301、データベース305、CPU313、及びLANI/F314との間のデータ通信を行うバスインターフェースである。
次に、図4を参照して、本開示の実施例1に係る位置補正部の内部構成について説明する。
図4は、本開示の実施例1に係る位置補正部104-1の内部構成の一例を示す図である。上述したように、位置補正部104-1は、画角ずれを補正するようにカメラ部101の位置を調整するための機能部である。図4に示すように、位置補正部104-1は、主に画像入力I/F401、処理メモリ402、プログラムメモリ415、CPU413、及びLANI/F414から構成されている。
画像入力I/F401は、映像データの通信インターフェースである。画像入力I/F401は、カメラ部101の映像をLANI/F414を介して取り込み、処理メモリ402における画像メモリ403に保存する。
処理メモリ402は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体(揮発性又は不揮発性のいずれか)である。より具体的には、処理メモリ402は、カメラ部101によって取得される映像のデータを記憶してもよい。
図3に示すように、処理メモリ402は、画像メモリ403、基準画像メモリ404、及びワークメモリ405を含んでもよい。
図3に示すように、処理メモリ402は、画像メモリ403、基準画像メモリ404、及びワークメモリ405を含んでもよい。
画像メモリ403は、カメラ部101の位置補正処理において用いられる各種画像のデータを一時的に保存する画像記憶メモリである。
基準画像メモリ404は、カメラ部101の画角ずれを判定するための基準画像を保存しておくメモリである。この基準画像は、例えば位置補正部104-1の設定時に設定されてもよい。また、基準画像メモリ404に保存されている基準画像は、プリセット再登録の際に更新されてもよい。
ワークメモリ405は、算出した画角ずれ量や視野角等、カメラ部101の位置補正処理において用いられる画像以外のデータを保存するためのメモリである。
基準画像メモリ404は、カメラ部101の画角ずれを判定するための基準画像を保存しておくメモリである。この基準画像は、例えば位置補正部104-1の設定時に設定されてもよい。また、基準画像メモリ404に保存されている基準画像は、プリセット再登録の際に更新されてもよい。
ワークメモリ405は、算出した画角ずれ量や視野角等、カメラ部101の位置補正処理において用いられる画像以外のデータを保存するためのメモリである。
CPU413は、1つ又は複数の汎用プログラマブル中央処理装置であり、プログラムメモリ415に格納されるプログラムを実行し、位置補正処理を行うように構成されている。
プログラムメモリ415は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体(揮発性又は不揮発性のいずれか)である。より具体的には、プログラムメモリ415は、ずれ量認識部406、補正部407-1、雲台制御部408、基準位置データ409、及びプリセット再登録部410を含んでもよい。
ずれ量認識部406は、カメラ部101の画角ずれを認識するための機能部である。
補正部407-1は、カメラ部101の位置を補正するため機能部である。
雲台制御部408は、カメラ部101の雲台を制御するための機能部である。雲台制御部408は、例えば、ずれ量認識部406、補正部407-1や、プリセット再登録部410によって実行された焦点距離の取得や雲台移動指示を解釈し、雲台を移動させるための指令を生成し、LANI/F414を介してカメラ部101に出力してもよい。
基準位置データ409は、カメラ部101の位置を判定する基準となる基準位置データである。
プリセット再登録部410は、カメラ部101のプリセットを再登録するための機能部である。
なお、ずれ量認識部406、補正部407-1、雲台制御部408、基準位置データ409、及びプリセット再登録部410の詳細については後述するため、ここではその説明を省略する。
ずれ量認識部406は、カメラ部101の画角ずれを認識するための機能部である。
補正部407-1は、カメラ部101の位置を補正するため機能部である。
雲台制御部408は、カメラ部101の雲台を制御するための機能部である。雲台制御部408は、例えば、ずれ量認識部406、補正部407-1や、プリセット再登録部410によって実行された焦点距離の取得や雲台移動指示を解釈し、雲台を移動させるための指令を生成し、LANI/F414を介してカメラ部101に出力してもよい。
基準位置データ409は、カメラ部101の位置を判定する基準となる基準位置データである。
プリセット再登録部410は、カメラ部101のプリセットを再登録するための機能部である。
なお、ずれ量認識部406、補正部407-1、雲台制御部408、基準位置データ409、及びプリセット再登録部410の詳細については後述するため、ここではその説明を省略する。
LANI/F414は、位置補正部104-1と、監視部102と、カメラ部101と、表示部103とのデータの送受信を行うためのローカルエリアネットワークインターフェースである。
次に、図5を参照して、本開示の実施例2に係る位置補正部の内部構成について説明する。
図5は、本開示の実施例2に係る位置補正部104-2の内部構成の一例を示す図である。本開示の実施例2に係る位置補正部104-2の内部構成は、実施例1に係る位置補正部104-1の構成に加えて、画角ずれを補正した補正映像を出力するために、当該補正映像を保存するための出力映像メモリ501を処理メモリ402内に備え、当該補正映像を、LANI/F414を介して表示部103に送信するための画像出力I/F502を備える。また、実施例2に係る位置補正部104-2は、補正部407-1の代わりに、補正映像を出力する処理を更に行う補正部407-2を含む。これらの点以外、位置補正部104-2の構成は実施例1に係る位置補正部104-1と同様であるため、繰り返しとなる説明を省略する。
次に、図6を参照して、本開示の実施例に係るプリセット情報テーブルの構成について説明する。
本開示の実施例に係るプリセット情報テーブル600の構成の一例を示す図である。図6に示すプリセット情報テーブル600は、カメラ部101の向き及び画角の変更を規定するプリセット情報(例えば、図3に示すプリセット情報308)を格納するテーブルである。
図6に示すように、プリセット情報テーブル600は、特定のプリセットを識別する識別子としてのプリセット番号602毎に、パンの角度を示すパン604、チルトの角度を示すチルト606、カメラのズームの度合いを示すズーム608、カメラのフォーカスの度合いを示すフォーカス610、及びカメラの焦点距離を示す焦点距離612を含む。
カメラ部101は、このプリセット情報テーブル600に規定されているプリセット情報に従ってパン、チルト、ズーム、フォーカス及び焦点距離を制御し、撮影を行う。ただし、上述したように、経年変化によるモーターの劣化等により、カメラ部101の位置や画角は、プリセット情報によって規定されているものからずれてしまうことがある。そこで、本開示によれば、この画角ずれを自動で補正することにより、プリセット再登録の時間を短縮することができる。
なお、プリセット情報テーブル600に格納されているプリセットは図6に示すものに限定されず、実際には、カメラ部101の機種や設定、或いは撮影の目的等に応じて適宜に設定されてもよい。
カメラ部101は、このプリセット情報テーブル600に規定されているプリセット情報に従ってパン、チルト、ズーム、フォーカス及び焦点距離を制御し、撮影を行う。ただし、上述したように、経年変化によるモーターの劣化等により、カメラ部101の位置や画角は、プリセット情報によって規定されているものからずれてしまうことがある。そこで、本開示によれば、この画角ずれを自動で補正することにより、プリセット再登録の時間を短縮することができる。
なお、プリセット情報テーブル600に格納されているプリセットは図6に示すものに限定されず、実際には、カメラ部101の機種や設定、或いは撮影の目的等に応じて適宜に設定されてもよい。
次に、図7を参照して、本開示の実施例に係るずれ量認識部によるずれ量認識処理について説明する。
図7は、本開示の実施例に係るずれ量認識部406によるずれ量認識処理700のフローチャートである。図7に示すずれ量認識処理700は、カメラ部101の画角の、プリセット情報(例えば、図6に示すプリセット情報テーブル600に格納されているプリセット情報、「第1のプリセット情報」ともいう)に対する画角ずれ量を判定するための処理である。ここでの画角ずれ量とは、カメラ部101の画角がプリセット情報に対してどの程度ずれているかを示す情報であり、例えば画素数で表現してもよい。
まず、ステップ701では、ずれ量認識部406は、パターン再登録フラグとして初期値を「0」として設定する。ここでのパターンとは、いわゆるパターン認識において、カメラ部101の画角ずれ量を判定する基準として用いる画像中の特定の被写体(例えば、看板、建物、標識等の不動のオブジェクト)を意味する。
パターン再登録フラグとして初期値を「0」として設定することは、パターン再登録を行わないことを示している。
パターン再登録フラグとして初期値を「0」として設定することは、パターン再登録を行わないことを示している。
次に、ステップ702では、ずれ量認識部406は、カメラ部101の動作状態を監視し、カメラ部101が停止しているか否かを判定する。画角ずれ量の判定は、カメラ部101が停止している状態のみに実行するため、ユーザによる移動、すなわち表示部103の操作画面1400の操作によるプリセット移動が行われている場合、ずれ量認識部406は、カメラ部101の動作状態が移動中の状態から停止状態に変化したか否かを判定する。
ステップ702の判定の結果、カメラ部101が停止していると判定した場合、本処理はステップ703へ進む。一方、カメラ部101が移動中と判定した場合、本処理はステップ701へ戻り、以降のステップを繰り返す。
ステップ702の判定の結果、カメラ部101が停止していると判定した場合、本処理はステップ703へ進む。一方、カメラ部101が移動中と判定した場合、本処理はステップ701へ戻り、以降のステップを繰り返す。
次に、ステップ703では、ずれ量認識部406は、画角ずれ量の判定方法として、QRコード認識又はパターン認識のいずれか選択する。ここでは、ずれ量認識部406は、ユーザの入力に基づいて画角ずれ量の判定方法の選択を行ってもよく、設定時に予め設定した判定方法を選択してもよい。QRコード認識又はパターン認識を用いることで、カメラ部101の基準画像に対する画角ずれを容易に判定することができる。
QRコード認識を用いる場合、本処理はステップ704へ進み、パターン認識を用いる場合、本処理はステップ705へ進む。
QRコード認識を用いる場合、本処理はステップ704へ進み、パターン認識を用いる場合、本処理はステップ705へ進む。
ステップ704では、ずれ量認識部406は、位置補正部104-1又は位置補正部104-2の基準画像メモリ404に格納されている基準画像の中から、基準位置データ409で登録された基準位置の画像をQRコードとして抽出する。その後、ずれ量認識部406は、カメラ部101によって撮影される入力画像において抽出したQRコードに対応するQRコードが認識できるか否かを判定する。
ステップ705では、ずれ量認識部406は、位置補正部104-1又は位置補正部104-2の基準画像メモリ404に格納されている基準画像の中から、基準位置データ409で登録された基準位置の画像を基準パターンとして抽出する。その後、ずれ量認識部406は、カメラ部101によって撮影される入力画像において、抽出した基準パターンに対応する基準パターンが認識できるか否かを判定する。
ステップ706では、ずれ量認識部406は、ステップ704においてQRコードが認識できたか否か、ステップ705において基準パターンが認識できたか否かを判定する。QRコード又は基準パターンのいずれかを認識できた場合には、本処理はステップ707へ進む。
一方、QRコード又は基準パターンのいずれも認識できなかった場合、本処理はステップ708へ進む。
一方、QRコード又は基準パターンのいずれも認識できなかった場合、本処理はステップ708へ進む。
ステップ707では、ずれ量認識部406は、認識できたQRコード又は基準パターンを用いて、カメラ部101によって撮影される入力画像の、QRコード又は基準パターンによって示される基準位置に対する画角ずれ量を判定する。ここで、ずれ量認識部406は、縦のずれ量及び横のずれ量を判定してもよい。その後、ずれ量認識部406は、判定した画角ずれ量(縦のずれ量及び横のずれ量)を位置補正部104-1又は位置補正部104-2のワークメモリ405に格納する。
その後、本処理はステップ701へ戻り、以降のステップを繰り返す。
その後、本処理はステップ701へ戻り、以降のステップを繰り返す。
ステップ708では、ずれ量認識部406は、カメラ部101によって撮影される入力画像の映像状態を判定する。ここで映像状態を判定するのは、例えば入力画像が暗かった場合、霧があった場合、もしくは水滴がカメラ部101に付着していた場合等には、QRコードや基準パターンが入力画像にあったとしても認識できない場合があるからである。従って、入力画像の映像状態を判定することによって、QRコードや基準パターンが入力画像に存在するにも拘わらず、入力画像の状態によって認識できなかったのか、実際にQRコードや基準パターンが入力画像に存在しなかったのかを判定することができる。
ここでの映像状態の判定は、入力画像と、基準画像とを所定の映像状態判定基準に基づいて比較することで、入力画像が正常か否かを判定することを含んでもよい。ここでの映像状態判定基準は、例えば、画像のエッジ量、コントラスト差、及び画像レベル等を含んでもよい。
より具体的には、ずれ量認識部406は、基準画像メモリ404から取得した基準画像と、カメラ部101によって撮影される入力画像とを比較し、これらの二つの画像のエッジの量、コントラスト差、及び映像レベルの数値が所定の類似度基準を満たすか否かを判定してもよい。これらの2つの画像のエッジの量、コントラスト差、及び映像レベルのいずれかの数値が所定の類似度基準を満たす場合、入力画像が正常と判定される。一方、これらの2の画像のエッジの量、コントラスト差、及び映像レベルの数値のいずれもが所定の類似度基準を満たさない場合、入力画像が異常と判定される。
より具体的には、ずれ量認識部406は、基準画像メモリ404から取得した基準画像と、カメラ部101によって撮影される入力画像とを比較し、これらの二つの画像のエッジの量、コントラスト差、及び映像レベルの数値が所定の類似度基準を満たすか否かを判定してもよい。これらの2つの画像のエッジの量、コントラスト差、及び映像レベルのいずれかの数値が所定の類似度基準を満たす場合、入力画像が正常と判定される。一方、これらの2の画像のエッジの量、コントラスト差、及び映像レベルの数値のいずれもが所定の類似度基準を満たさない場合、入力画像が異常と判定される。
カメラ部101に水滴が付着している場合には、画面がにじみ、エッジ量が減る傾向があることから、エッジ量を映像状態判定基準として用いることで、入力画像が正常か否かを判定できる。
また、映像が暗かった場合には、映像レベルが極端に下がり、ノイズが多く発生することから、エッジ量及び映像レベルを比較することで、入力画像が正常か否かを判定できる。
更に、霧があった場合には、コントラスト差が極端に減ることから、コントラスト差を映像状態判定基準として用いることで、入力画像が正常か否かを判定できる。
また、映像が暗かった場合には、映像レベルが極端に下がり、ノイズが多く発生することから、エッジ量及び映像レベルを比較することで、入力画像が正常か否かを判定できる。
更に、霧があった場合には、コントラスト差が極端に減ることから、コントラスト差を映像状態判定基準として用いることで、入力画像が正常か否かを判定できる。
ステップ708の判定の結果、入力画像が正常と判定された場合には、本処理はステップ709へ進む。一方、ステップ708の判定の結果、入力画像が異常と判定された場合には、本処理はステップ710へ進む。
ステップ709では、ずれ量認識部406は、カメラ部の画角ずれ量を「0」とする。その後、ステップ710では、ずれ量認識部406は、パターン再登録フラグを「1」に設定する。
このパターン再登録フラグを「1」に設定することは、基準パターン又はQRコードの再登録を行うことを示している。基準パターン又はQRコードを再登録し、ステップ704又はステップ705を再度行うことで、正常と判定されたのに基準パターンやQRコードが認識できなかった画像に対するパターン認識の精度を向上させることができる。
その後、本処理はステップ701へ戻り、以降のステップを繰り返す。
このパターン再登録フラグを「1」に設定することは、基準パターン又はQRコードの再登録を行うことを示している。基準パターン又はQRコードを再登録し、ステップ704又はステップ705を再度行うことで、正常と判定されたのに基準パターンやQRコードが認識できなかった画像に対するパターン認識の精度を向上させることができる。
その後、本処理はステップ701へ戻り、以降のステップを繰り返す。
ステップ710では、ずれ量認識部406は、カメラ部の画角ずれ量を「0」とし、後述する位置補正処理を行わずに入力画像を表示部103に出力する。その後、本処理はステップ701へ戻り、以降のステップを繰り返す。
以上説明したずれ量認識処理700によれば、カメラ部101の画角のプリセット情報に対する画角ずれ量を判定することができる。
次に、図8を参照して、本開示の実施例1に係る補正部による位置補正処理について説明する。
図8は、本開示の実施例1に係る補正部407-1による位置補正処理800のフローチャートである。図8に示す位置補正処理800は、上述したずれ量認識処理700によって判定された、カメラ部101の画角のプリセット情報に対する画角ずれ量に基づいて、カメラ部101の位置を補正し、画角ずれを解消するための処理である。
まず、ステップ801では、補正部407-1は、カメラ部101の焦点距離情報及びイメージセンサのサイズを取得する。ここで、補正部407-1は、カメラ部101の焦点距離情報を例えば図6を参照して説明したプリセット情報テーブル600から取得し、カメラ部101のイメージセンササイズをデータベース305に格納されているカメラ部101の機種情報309から取得してもよい。
次に、ステップ802では、補正部407-1は、ステップ801で取得したカメラ部101の焦点距離及びイメージセンササイズから、カメラ部101の視野角を算出する。ここでの視野角とは、カメラ部101で撮影される映像に写される光景の範囲を角度で表したものであり、水平視野角及び垂直視野角を含んでもよい。
補正部407-1は、例えば以下の数式を用いてカメラ部101の水平視野角及び垂直視野角を計算してもよい。
[数1]
水平視野角=2×atan(水平イメージセンササイズ/(2×焦点距離))
[数2]
垂直視野角=2×atan(垂直イメージセンササイズ/(2×焦点距離))
補正部407-1は、例えば以下の数式を用いてカメラ部101の水平視野角及び垂直視野角を計算してもよい。
[数1]
水平視野角=2×atan(水平イメージセンササイズ/(2×焦点距離))
[数2]
垂直視野角=2×atan(垂直イメージセンササイズ/(2×焦点距離))
次に、ステップ803では、補正部407-1は、上述したずれ量認識処理700のステップ707でワークメモリ405に格納された画角ずれ量と、ステップ802で算出した視野角から、カメラ部101の移動角を算出する。ここでの移動角とは、カメラ部101の画角の、プリセット情報(例えば、図6に示すプリセット情報テーブル600に格納されているプリセット情報)に対するずれを角度で表したものである。言い換えれば、移動角は、カメラ部101の画角が、プリセット情報に指定されている角度に対して何度ずれているかを示す情報である。また、この移動角は、水平移動角及び垂直移動角を含んでもよい。
補正部407-1は、例えば以下の数式を用いてカメラ部101の水平移動角及び垂直移動角を計算してもよい。
[数3]
水平移動角=水平視野角/画像水平サイズ(VGAであれば640)×水平ずれ量
[数4]
垂直移動角=垂直視野角/画像垂直サイズ(VGAであれば480)×垂直ずれ量
補正部407-1は、例えば以下の数式を用いてカメラ部101の水平移動角及び垂直移動角を計算してもよい。
[数3]
水平移動角=水平視野角/画像水平サイズ(VGAであれば640)×水平ずれ量
[数4]
垂直移動角=垂直視野角/画像垂直サイズ(VGAであれば480)×垂直ずれ量
次に、ステップ804では、ステップ803で計算した移動角が予め指定された所定の規定値(移動角閾値)以上か否かを判定する。これは、カメラ部101の移動を制御する雲台には停止誤差があるため、微小な移動角の場合には移動しなくてよいからである。ステップ803で計算した水平移動角及び垂直移動角のいずれか一方以上が規定値以上の場合、本処理はステップ805へ進み、ステップ803で計算した水平移動角及び垂直移動角の両方が規定値未満の場合、雲台を移動せず、本処理はステップ801へ戻り、それ以降の処理を繰り返す。
ステップ805では、補正部407-1は、雲台制御部408を用いて、ステップ803で計算した水平移動角及び垂直移動角に応じてカメラ部101をプリセット情報に指定されている位置から移動させる。これにより、カメラの画角ずれを補正することができる。本明細書では、カメラの画角ずれを補正した位置は、「補正位置」という。
例えば、一例として、プリセット情報では、あるプリセットの「パン」の角度が「30度」として設定されているとする。しかし、図7を参照して説明したずれ量認識処理を行った結果、カメラ部101の設置のねじのゆるみ等によってカメラの原点にずれが生じ、「20度」で止まってしまい、当該プリセットに対して10度のずれが存在するとする。この場合、プリセットに指定されている「30度」に対して、ずれ分の「10度」を足した「40度」をカメラ部101の補正位置とする。これにより、当該プリセットに従ってカメラ部101を「40度」の補正位置に移動させる際、10度のずれが発生し、カメラ部101が元々プリセットに指定された「30度」の位置となるため、画角ずれを解消することができる。
また、カメラの画角ずれを補正することで、画角ずれの補正をした映像のを表示部103に提供することが可能となる。
例えば、一例として、プリセット情報では、あるプリセットの「パン」の角度が「30度」として設定されているとする。しかし、図7を参照して説明したずれ量認識処理を行った結果、カメラ部101の設置のねじのゆるみ等によってカメラの原点にずれが生じ、「20度」で止まってしまい、当該プリセットに対して10度のずれが存在するとする。この場合、プリセットに指定されている「30度」に対して、ずれ分の「10度」を足した「40度」をカメラ部101の補正位置とする。これにより、当該プリセットに従ってカメラ部101を「40度」の補正位置に移動させる際、10度のずれが発生し、カメラ部101が元々プリセットに指定された「30度」の位置となるため、画角ずれを解消することができる。
また、カメラの画角ずれを補正することで、画角ずれの補正をした映像のを表示部103に提供することが可能となる。
次に、図9を参照して、本開示の実施例2に係る補正部による位置補正処理について説明する。
図9は、本開示の実施例2に係る補正部407-2による位置補正処理900のフローチャートである。図9に示す位置補正処理900は、カメラの画角ずれを補正した補正映像を出力するための処理であり、図8に示す位置補正処理800に続いて行われる。例えば、位置補正処理900は、位置補正処理800のステップ805の終了後に行われてもよい。
まず、ステップ901では、補正部407-2は、位置補正部104-2の画像メモリ403において、出力映像メモリ501を作成し、初期化を行う。例えば、補正部407-2は、初期値を0とし、黒画面としてもよい。
次に、ステップ902では、補正部407-2は、上述したずれ量認識処理700のステップ707でワークメモリ405に格納された水平の画角ずれ量及び垂直の画角ずれ量をワークメモリ405から取得し、画像メモリ403に格納された入力画像を、水平、垂直ずれ量分移動させた位置にコピーすることで、補正映像を作成する。その後、補正部407-2は、作成した補正映像を出力映像メモリ501に保存する。
次に、ステップ903では、補正部407-2は、ステップ902で作成した補正映像を出力映像メモリ501から取得し、表示部103に出力する。これにより、画角ずれを補正した補正映像を出力することが可能となり、ユーザは、画角ずれのないカメラ映像を視認することができる。
なお、上述した位置補正処理900は常時実行されるが、カメラ部101が停止している間には、ずれ量分移動した補正画像を表示部103に出力し、カメラ部101が移動した場合にはカメラの映像を表示部103にそのまま出力する。
なお、上述した位置補正処理900は常時実行されるが、カメラ部101が停止している間には、ずれ量分移動した補正画像を表示部103に出力し、カメラ部101が移動した場合にはカメラの映像を表示部103にそのまま出力する。
次に、図10を参照して、本開示の実施例に係るプリセット再登録部によるプリセット再登録処理(1)について説明する。
図10は、本開示の実施例に係るプリセット再登録部410によるプリセット再登録処理(1)1000のフローチャートである。プリセット再登録処理(1)1000は、カメラ部101のプリセットを再登録するための処理の第1の部分であり、プリセット情報に含まれるプリセット毎に画角ずれ量を判定するための処理である。
まず、ステップ1001では、プリセット再登録部410は、表示部103のユーザインターフェースの画面上に「プリセット登録を行うか?」の確認ボックスを表示する。「NO」が選択された場合には、本処理はステップ1002へ進み、「YES」が選択された場合には、本処理はステップ1003へ進む。
ステップ1002では、ステップ1001で「No」が押された時刻を記録し、一定時間が経過した後、プリセット登録を促す再通知を行うプロセスを起動し、プリセット再登録部410を登録する。プリセット登録を行う再通知を行うプロセスでは、一定時間経過後、プリセット再登録部410のステップ1001へ戻る。
ステップ1003では、プリセット再登録部410は、表示部103のユーザインターフェースの画面上に「プリセットを自動で登録するか?プリセットを手動で登録するか?」の確認ボックスを表示する。「プリセットを自動で登録する」ことが選択された場合、本処理はステップ1006へ進み、プリセット情報に含まれる全てのプリセット番号に対して、画角ずれ量を算出する処理が行われる。一方、「プリセットを手動で登録する」ことが選択された場合、本処理はステップ1004へ進み、ユーザが手動位置合わせ処理を行う。
ステップ1004では、プリセット再登録部410は、カメラ部101の現在位置を判定し、判定したカメラ部101の現在位置をワークメモリ405に保存した後、表示部103のユーザインターフェースの操作画面1400上に手動位置合わせ処理をユーザに促す通知を表示する。その後、ユーザは、表示部103の操作画面1400を用いてカメラ部101を、画角ずれを解消した補正位置に移動させる。その後、ユーザは、表示部103の操作画面1400のプリセット登録ボタンを押すことにより、手動位置合わせ処理を終了させる。
次に、ステップ1005では、ユーザによる手動位置合わせ処理が終了した後、プリセット再登録部410は、カメラ部101から現在の位置情報(すなわち、ユーザの操作によってカメラ部101が移動された補正位置)を判定する。その後、プリセット再登録部410は、ステップ1004でワークメモリ405に保存した手動位置合わせ処理前の位置情報と、手動位置合わせ処理後の位置情報(つまり、補正位置の情報)の差分を計算することで、カメラ部101の移動角を計算し、ワークメモリ405に保存する。
ステップ1006では、プリセット再登録部410は、プリセット情報に含まれる全てのプリセット番号に対して画角ずれ量が算出されているか否かを判定する。プリセット情報に含まれる全てのプリセット番号に対して画角ずれ量が算出済みの場合、本処理は図11に示すプリセット再登録処理(2)1100に進む。プリセット情報に含まれる全てのプリセット番号に対して画角ずれ量が算出済みでない場合、プリセット再登録部410は、プリセット情報に含まれる全てのプリセット番号に対して画角ずれ量が算出されるまで、ステップ1007~1010を実行する。
ステップ1007では、プリセット再登録部410は、雲台制御部408を用いて、カメラ部101を、画角ずれ量を認識したい対象のプリセットに指定される位置へ移動させる。
次に、ステップ1008では、プリセット再登録部410は、カメラ部101が停止するまで待ち、カメラ部101が停止した後、カメラ部101から焦点距離情報を取得する。その後、プリセット再登録部410は、取得した焦点距離情報を、ワークメモリ405において対象のプリセット番号に対応付けて保存する。
次に、ステップ1009では、プリセット再登録部410は、例えば図7を参照して説明したずれ量認識処理700を実行し、対象のプリセットの画角ずれ量を算出する。
次に、ステップ1010では、プリセット再登録部410は、ワークメモリ405において、ステップ1009で算出した画角ずれ量を対象のプリセットに対応付けて保存する。全てのプリセットに対して画角ずれ量の算出が終了した場合、本処理は図11に示すプリセット再登録処理(2)1100に進む。
次に、図11を参照して、本開示の実施例に係るプリセット再登録部によるプリセット再登録処理(2)について説明する。
図11は、本開示の実施例に係るプリセット再登録部によるプリセット再登録処理(2)1100のフローチャートである。プリセット再登録処理(2)1100は、カメラ部101のプリセットを再登録するための処理の第2の部分であり、画角ずれ量を角度で示す移動角を算出するための処理である。また、プリセット再登録処理(2)1100は、図10に示すプリセット再登録処理(1)1000において全てのプリセットに対して画角ずれ量の算出が終了した後に行われてもよい。
まず、ステップ1110では、プリセット再登録部410は、累計移動角の初期値を「0」に設定する。この累計移動角は、各プリセットについて算出した画角ずれ量の合計である。
次に、ステップ1111では、プリセット再登録部410は、累計移動角を算出した回数の初期値を「0」に設定する。
なお、以下では、この累計移動角を算出した回数を「カウント」という。
なお、以下では、この累計移動角を算出した回数を「カウント」という。
次に、ステップ1112では、プリセット再登録部410は、全ての算出された画角ずれ量に対して累計移動角を計算する処理を行ったか否かを判定する。全ての画角ずれ量に対して累計移動角を計算する処理が終了している場合、本処理はステップ1120へ進む。一方、全ての画角ずれ量に対して累計移動角を計算する処理が終了していない場合、全ての画角ずれ量に対して移動角が計算されるまで、ステップ1113から1119を繰り返す。
ステップ1113では、プリセット再登録部410は、プリセット再登録処理(1)1000で算出された画角ずれ量の中から、処理対象の画角ずれ量をワークメモリ405から取得する。
次に、ステップ1114では、プリセット再登録部410は、ステップ1113で取得した処理対象の画角ずれ量に対応付けられている焦点距離をワークメモリ405から取得する。
次に、ステップ1115では、プリセット再登録部410は、ステップ1114で取得した焦点距離及びカメラ部101のイメージセンササイズから、カメラ部101の視野角を算出する。ここでは、プリセット再登録部410は、例えば上述した数式1、2を用いて視野角を算出してもよい。
次に、ステップ1116では、プリセット再登録部410は、ステップ1115で算出した視野角と、ステップ1113で取得した処理対象の画角ずれ量とを用いて、移動角を算出する。ここでは、プリセット再登録部410は、例えば上述した数式3、4を用いて移動角を算出してもよい。
次に、ステップ1117では、プリセット再登録部410は、ステップ1116で算出した移動角に対して重みを設定する。この重みは、ステップ114で取得した焦点距離及びステップ1113で取得した画角ずれ量に基づいて決定される。ここで、移動角に対して重みを設定しているのは、カメラ部101の停止精度の移動角への影響が焦点距離によって異なり、正確な移動角を得るためには、カメラ部101の停止精度の移動角への影響の差を緩和することが望ましいからである。
より具体的には、焦点距離が短い場合、すなわち、ワイド方向では、移動角はカメラ部101の停止精度の影響を受けないが、映像上のずれ量(画素数)は少なくなる傾向がある。一方、焦点距離が長い場合、すなわちテレ方向では、移動角はカメラ部101の停止精度の影響を受けるが、映像上のずれ量(画素数)は大目に出ることがある。従って、より正確な移動角を推定するためには、焦点距離毎に累計移動角用の重みを0~1.0までの値で設定しておくことが望ましい。また、画角ずれ量0の場合には、画角ずれ量を測定できなかったことも考えられるため、重みを0にし、累計移動角に反映されないようにすることが望ましい。
このように、カウント用の重みは0または1とし、画角ずれ量が0の場合に重みを0とし、それ以外の場合には重みを1とする。
このように、カウント用の重みは0または1とし、画角ずれ量が0の場合に重みを0とし、それ以外の場合には重みを1とする。
次に、ステップ1118では、プリセット再登録部410は、累計移動角度を算出する。ここで、プリセット再登録部410は、最新の累計移動角である累計移動角cを以下の数式に従って算出してもよい。
[数5]
累計移動角c=累計移動角p+(重みc×移動角c)
ここで、累計移動角pは、現時点までに処理したプリセットの移動角の合計であり、移動角cは、処理対象のプリセットの移動角(つまり、ステップ1116で算出した移動角)であり、重みcは、ステップ1117で処理対象のプリセットの移動角(移動角c)について設定した重みである。
[数5]
累計移動角c=累計移動角p+(重みc×移動角c)
ここで、累計移動角pは、現時点までに処理したプリセットの移動角の合計であり、移動角cは、処理対象のプリセットの移動角(つまり、ステップ1116で算出した移動角)であり、重みcは、ステップ1117で処理対象のプリセットの移動角(移動角c)について設定した重みである。
次に、ステップ1119では、プリセット再登録部410は、以下の数式に従って、最新のカウントであるカウントcを算出する。
[数6]
カウントc=カウントp+(1×重みc)
ここで、カウントpは、現時点までに累計移動角を算出した回数(つまり、処理したプリセットの数)であり、重みcは、ステップ1117で処理対象のプリセットの移動角(移動角c)について設定した重みである。
[数6]
カウントc=カウントp+(1×重みc)
ここで、カウントpは、現時点までに累計移動角を算出した回数(つまり、処理したプリセットの数)であり、重みcは、ステップ1117で処理対象のプリセットの移動角(移動角c)について設定した重みである。
次に、ステップ1120では、プリセット再登録部410は、全ての算出された画角ずれ量に対して累計移動角を計算する処理が終了した場合、以下の数式に従って、加重平均移動角を算出する。
[数7]
加重平均移動角=累計移動角c/カウントc
ここで、より正確な移動角を算出するために、移動角に重みを付けた平均で算出する方法を採用しているが、本開示はこれに限定されず、例えば、最初に計算した移動角のみを採用する方法や、プリセット毎に算出した移動角の中から最小値、中間値、最大値を採用する方法も考えられる。
加重平均移動角を計算した後、本処理は図12に示すプリセット再登録処理(3)1200へ進む。
[数7]
加重平均移動角=累計移動角c/カウントc
ここで、より正確な移動角を算出するために、移動角に重みを付けた平均で算出する方法を採用しているが、本開示はこれに限定されず、例えば、最初に計算した移動角のみを採用する方法や、プリセット毎に算出した移動角の中から最小値、中間値、最大値を採用する方法も考えられる。
加重平均移動角を計算した後、本処理は図12に示すプリセット再登録処理(3)1200へ進む。
次に、図12を参照して、本開示の実施例に係るプリセット再登録部によるプリセット再登録処理(3)について説明する。
図12は、本開示の実施例に係るプリセット再登録部によるプリセット再登録処理(3)1200のフローチャートである。プリセット再登録処理(3)1200は、カメラ部101のプリセットを再登録するための処理の第3の部分であり、図11に示すプリセット再登録処理(2)1100において加重平均移動角を計算した後に行われてもよい。
まず、ステップ1201では、プリセット再登録部410は、プリセット情報に含まれている全てのプリセットに対してプリセット再登録処理が終了しているか否かを判定する。全てのプリセットに対してプリセット再登録処理が終了していると判定した場合、本処理はステップ1001に戻り、それ以降のステップを行う。全てのプリセットに対してプリセット再登録処理が終了していないと判定した場合、プリセット再登録部410は、全てのプリセットに対してプリセット再登録処理が終了するまで、ステップ1202~1206を繰り返す。
ステップ1202では、プリセット再登録部410は、雲台制御部408を用いて、カメラ部101を、再登録する対象のプリセットに指定されている位置に移動させる。例えば、対象のプリセットに指定されている位置が「140度」の場合、プリセット再登録部410は、雲台制御部408を用いて、カメラ部101を「140度」の位置に移動させる。
次に、ステップ1203では、プリセット再登録部410は、雲台制御部408を用いて、カメラ部101を、ステップ1120又はステップ1005で計算した加重平均移動角分移動させる。これにより、カメラ部101は、プリセット再登録位置(すなわち、補正位置)と推定した位置に移動される。
また、ここでは、ステップ1005でユーザによる手動位置合わせで記憶した移動角を用いてカメラ部101を移動させることができるため、手動の操作によって1つのプリセットについて判定した移動角に基づいて全てのプリセットを更新することが可能である。これにより、ユーザへの作業の負荷を減らし、プリセット再登録の時間を短縮することができる。
また、ここでは、ステップ1005でユーザによる手動位置合わせで記憶した移動角を用いてカメラ部101を移動させることができるため、手動の操作によって1つのプリセットについて判定した移動角に基づいて全てのプリセットを更新することが可能である。これにより、ユーザへの作業の負荷を減らし、プリセット再登録の時間を短縮することができる。
次に、ステップ1204では、プリセット再登録部410は、ステップ105でカメラ部101を移動した補正位置を新たなプリセットとして再登録する前に、ユーザ調整の要否を確認する。例えば、ここで、プリセット再登録部410は、表示部103のユーザインターフェースの画面上に「プリセットの再登録をしてよいか、手動調整を行うか?」の確認ボックスを表示してもよい。
ユーザ調整が必要の場合、本処理はステップ1205へ進む。一方、ユーザ調整が不要の場合、本処理はステップ1206へ進む。
ユーザ調整が必要の場合、本処理はステップ1205へ進む。一方、ユーザ調整が不要の場合、本処理はステップ1206へ進む。
ステップ1205では、ユーザは、表示部103の操作画面を用いてカメラ部101の位置を調整する。その後、ユーザは、表示部103の操作画面のプリセット登録ボタンを押すことにより、手動位置合わせ処理を終了させる。
次に、ステップ1206では、プリセット再登録部410は、ステップ1203又はステップ1205でカメラを移動した補正位置を新たなプリセット(例えば、第2のプリセット)として再登録を行う。ここで、「補正位置を新たなプリセットとして再登録する」ことは、例えば図6に示すプリセット情報において、対象プリセットの角度を、補正位置の角度に更新することを意味する。このように、プリセット情報に含まれる各プリセットを補正位置の角度に更新することで、カメラ部101の画角ずれを補正した新たなプリセット情報(例えば、第2のプリセット情報)を生成することができる。
また、プリセット再登録の際には、プリセット再登録部410は、基準画像メモリ404及び、基準位置データ409を更新する。基準位置データ409の更新の際には、QRコード又はパターンの認識処理が行われてもよい。
また、プリセット再登録の際には、プリセット再登録部410は、基準画像メモリ404及び、基準位置データ409を更新する。基準位置データ409の更新の際には、QRコード又はパターンの認識処理が行われてもよい。
一例として、プリセット情報では、第1のプリセットの「パン」の角度が「140度」として設定されているとする。しかし、ステップ1120で加重平均移動角を計算した結果、カメラ部101は、当該第1のプリセットに対して20度のずれが存在すると判定されたとする。
この場合、プリセット再登録部410は、ステップ1202でカメラ部101を「140度」の位置に移動させた後、ステップ1203では、カメラ部101を加重平均移動角分の「20度」を更に移動させ、「160度」の位置へと移動させる。その後、ステップ1206では、プリセット再登録部410は、「140度」の第1のプリセットを「160度」に更新し、新たな第2のプリセットとして再登録する。
これにより、当該第2のプリセットに従ってカメラ部101を「160度」の補正位置に移動させる際、20度のずれが発生し、カメラ部101が元々第1のプリセットに指定された「140度」の位置となるため、画角ずれを解消することができる。
この場合、プリセット再登録部410は、ステップ1202でカメラ部101を「140度」の位置に移動させた後、ステップ1203では、カメラ部101を加重平均移動角分の「20度」を更に移動させ、「160度」の位置へと移動させる。その後、ステップ1206では、プリセット再登録部410は、「140度」の第1のプリセットを「160度」に更新し、新たな第2のプリセットとして再登録する。
これにより、当該第2のプリセットに従ってカメラ部101を「160度」の補正位置に移動させる際、20度のずれが発生し、カメラ部101が元々第1のプリセットに指定された「140度」の位置となるため、画角ずれを解消することができる。
以上、図10~図12を参照して説明したプリセット再登録によれば、旋回カメラのような監視カメラの向きや画角の変更を規定する様々なプリセットについて、経年変化等によって発生したカメラの画角ずれを自動で補正することができる。これにより、再登録を手動で行う作業の時間を短縮させ、ユーザへの負担を大幅に減らせることができる。
次に、図13を参照して、本開示の実施例に係る手動位置合わせの際の映像表示について説明する。
図13は、本開示の実施例に係る手動位置合わせの際の映像表示の一例を示す図である。上述したように、例えば図10を参照して説明したプリセット再登録処理(1)1000及び図12を参照して説明したプリセット再登録処理(3)1200において、ユーザがカメラ部101の画角ずれを解消するためにカメラ部101を手動で移動させることがある。しかし、この手動位置合わせを行う場合、カメラ映像だけでは位置合わせが難しい場合がある。
従って、本開示では、カメラ部101によって取得された入力画像と、画角ずれがない基準画像とを重ね合わせて表示することが可能な構成を提供する。これにより、手動位置合わせの際の位置調整が容易となる。
従って、本開示では、カメラ部101によって取得された入力画像と、画角ずれがない基準画像とを重ね合わせて表示することが可能な構成を提供する。これにより、手動位置合わせの際の位置調整が容易となる。
例えば、図13に示すように、重ね合わせ表示映像1303-1は、基準画像1301を点線、カメラ部101によって取得された入力画像1302-1を実線で表示する場合を示す。ユーザは、重ね合わせ表示映像1303-1を参照しながら、入力画像1302-1が、基準画像1301に重なるようにカメラ部101を移動させることで、画角ずれを手動で補正することができる。
また、重ね合わせ表示映像1303-2に示すように、基準画像1301を点線、カメラ部101によって取得された入力画像1302-2を実線で表示するのに加え、画像間の縦の差分及び横の差分を算出し、算出した差分を棒グラフで表示することができる。この場合、ユーザは、この棒グラフで示される画像間の差分を最小化するようにカメラ部101を移動させることで、画角ずれを手動で補正することができる。
なお、図13では、2種類の重ね合わせ表示について説明したが、本開示はこれに限定されず、他の重ね合わせ表示方法も可能である。一例として、基準画像と入力画像の差分を取り、二値化映像(白黒の映像)を表示することにより、位置ずれがある場合には白が表示され、ずれがなくなると黒くなる画像の提供も可能である。更に、棒グラフではなく、縦軸、横軸の差分量を折れ線グラフで表示することも可能である。
次に、図14を参照して、本開示の実施例に係る表示部のユーザインターフェースに表示する操作画面ついて説明する。
図14は、本開示の実施例に係る表示部103のユーザインターフェースに表示する操作画面1400の一例を示す図である。図14に示す操作画面1400は、カメラ部101の手動位置合わせを行うための画面である。
図14に示すように、操作画面1400は、カメラ部101から取得した入力画像1401、カメラ選択リスト1402、雲台の移動、ズーム、フォーカスを調整する制御ボタン1403、プリセット操作を行う画像付きのボタン1404、エラー表示1405及びプリセット再登録ボタン1406から構成されている。
入力画像1401は、データベース305に登録された映像配信元アドレス307から取得される。カメラ選択リスト1402は、データベース305に登録されたカメラ名称306に基づいて作成される。制御ボタン1403は、データベース305に登録された機種情報309に基づいて作成される。プリセット操作を行う画面付きのボタン1404は、データベース305のプリセット情報308及びプリセット画像310に基づいて作成される。プリセット再登録ボタン1406は、操作画面1400の操作でカメラ部101を移動させた位置(すなわち、画角ずれを解消した補正値)を、新たなプリセットとして再登録するためのボタンである。
入力画像1401は、データベース305に登録された映像配信元アドレス307から取得される。カメラ選択リスト1402は、データベース305に登録されたカメラ名称306に基づいて作成される。制御ボタン1403は、データベース305に登録された機種情報309に基づいて作成される。プリセット操作を行う画面付きのボタン1404は、データベース305のプリセット情報308及びプリセット画像310に基づいて作成される。プリセット再登録ボタン1406は、操作画面1400の操作でカメラ部101を移動させた位置(すなわち、画角ずれを解消した補正値)を、新たなプリセットとして再登録するためのボタンである。
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
100・200:監視システム、101:カメラ部、102:監視部、103:表示部、104-1・104-2:位置補正部、301・415:プログラムメモリ、302:画面作成部、303:画面表示部、304:疎通確認部、305:データベース、306:カメラ名称、307:映像配信元アドレス、308:プリセット情報、309:機種情報、310:プリセット画像、311:端末情報、312:データバス、313:CPU、314:LAN I/F、401:画像入力I/F、402:処理メモリ、403:画像メモリ、404:基準画像メモリ、405:ワークメモリ、406:ずれ量認識部、407-1・407-2:補正部、408:雲台制御部、409:基準位置データ、410:プリセット再登録部、501:出力映像メモリ、600:プリセット情報テーブル、700:ずれ量認識処理、800・900:位置補正処理、1000:プリセット再登録処理(1)、1100:プリセット再登録処理(2)、1200:プリセット再登録処理(3)、1301:基準画像、1302-1・1302-2:入力画像、1303-1・1303-2:重ね合わせ表示映像、1400:操作画面
Claims (9)
- カメラ部と、監視部と、位置補正部とを含む監視システムであって、
前記監視部は、
前記カメラ部の向き及び画角を規定する第1のプリセット情報を格納するデータベースを含み、
前記位置補正部は、
前記第1のプリセット情報について、前記カメラ部の画角が所定の基準に対してどの程度ずれているかを画素数として示す画角ずれ量を判定するずれ量認識部と、
判定した前記画角ずれ量から算出した移動角を用いて、前記画角ずれ量を解消する補正位置に前記カメラ部を移動させる補正部と、
前記第1のプリセット情報を、前記補正位置に基づいて更新し、第2のプリセット情報として登録するプリセット再登録部と、
を含むことを特徴とする監視システム。 - 前記ずれ量認識部は、
前記カメラ部によって取得された入力画像と、前記カメラ部の正しい向き及び画角で撮影された基準画像とを取得し、
前記入力画像と、前記基準画像とを比較し、前記基準画像において予め定めた基準パターンが前記入力画像において認識可能か否かを判定し、
前記基準パターンが前記入力画像において認識可能と判定した場合、
前記入力画像と、前記基準画像とに基づいて、前記入力画像の、前記基準画像に対してずれている画素数を前記画角ずれ量として判定する、
ことを特徴とする、請求項1に記載の監視システム。 - 前記基準パターンは、
前記基準画像に埋め込められたQRコード又は予め指定した被写体である、
ことを特徴とする、請求項2に記載の監視システム。 - 前記基準パターンが前記入力画像において認識不可能と判定した場合、
前記ずれ量認識部は、
前記入力画像と、前記基準画像とを所定の映像状態判定基準に基づいて比較することで、前記入力画像が正常か否かを判定する、
ことを特徴とする、請求項2に記載の監視システム。 - 前記映像状態判定基準は、
画像のエッジ量、コントラスト差、及び画像レベルのいずれか一方以上を含む、
ことを特徴とする、請求項4に記載の監視システム。 - 前記補正部は、
前記カメラ部の焦点距離情報及びイメージセンササイズ情報を前記カメラ部から取得し、
前記焦点距離情報及び前記イメージセンササイズ情報に基づいて前記カメラ部の視野角を算出し、
判定した前記画角ずれ量と、算出した前記視野角とに基づいて、前記カメラ部の前記画角ずれ量を角度で示す移動角を算出し、
算出した前記移動角が所定の移動角閾値を満たす場合、前記カメラ部を前記第1のプリセット情報に指定されている位置から、前記移動角に基づいて移動させることで、前記カメラ部を前記補正位置に移動させる、
ことを特徴とする、請求項4に記載の監視システム。 - 前記監視システムは、
表示部を更に備え、
前記補正部は、
前記入力画像と、前記基準画像とを重ね合わせることで生成した出力映像を前記表示部に出力する、
ことを特徴とする、請求項6に記載の監視システム。 - 前記ずれ量認識部は、
前記入力画像が正常であると判定した場合、
前記プリセット再登録部は、
前記第1のプリセット情報に含まれる各プリセットについて、前記移動角を前記画角ずれ量、前記焦点距離情報、及び前記視野角から算出し、
前記各プリセットについて算出した前記移動角と、前記焦点距離情報に基づいて設定された重みとに基づいて、移動角の加重平均である加重平均移動角を算出し、
前記第1のプリセット情報に含まれる各プリセットについて、前記加重平均移動角から判定した前記補正位置を、前記第2のプリセット情報として登録する、
ことを特徴とする、請求項7に記載の監視システム。 - カメラ部と、監視部と、位置補正部とを含む監視システムによる監視方法であって、
前記カメラ部によって取得された入力画像と、前記カメラ部の正しい向き及び画角で撮影された基準画像とを取得する工程と、
前記入力画像と、前記基準画像とを比較し、前記基準画像において予め定めた基準パターンが前記入力画像において認識可能か否かを判定する工程と、
前記基準パターンが前記入力画像において認識可能と判定した場合、前記入力画像と、前記基準画像とに基づいて、前記入力画像の、前記基準画像に対してずれている画素数を画角ずれ量として判定する工程と、
前記カメラ部の焦点距離情報及びイメージセンササイズ情報を前記カメラ部から取得する工程と、
前記焦点距離情報及び前記イメージセンササイズ情報に基づいて前記カメラ部の視野角を算出する工程と、
判定した前記画角ずれ量と、算出した前記視野角とに基づいて、前記カメラ部の前記画角ずれ量を角度で示す移動角を算出する工程と、
算出した前記移動角が所定の移動角閾値を満たす場合、前記カメラ部を第1のプリセット情報に指定されている位置から、前記移動角に基づいて移動させることで、前記画角ずれ量を解消する補正位置に前記カメラ部を移動させる工程と、
前記第1のプリセット情報を、前記補正位置に基づいて更新することで第2のプリセット情報を作成する工程と、
前記第2のプリセット情報を用いて前記カメラ部の移動を制御する工程と、
を含むことを特徴とする監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021145232A JP2023038480A (ja) | 2021-09-07 | 2021-09-07 | 監視システム及び監視方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021145232A JP2023038480A (ja) | 2021-09-07 | 2021-09-07 | 監視システム及び監視方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023038480A true JP2023038480A (ja) | 2023-03-17 |
Family
ID=85514698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021145232A Pending JP2023038480A (ja) | 2021-09-07 | 2021-09-07 | 監視システム及び監視方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023038480A (ja) |
-
2021
- 2021-09-07 JP JP2021145232A patent/JP2023038480A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4942185B2 (ja) | 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体 | |
EP3122034B1 (en) | Method for calibrating a camera | |
US20060209186A1 (en) | Field angle adjustment apparatus, camera system, and field angle adjustment method | |
JP2006523043A (ja) | 監視を行なう方法及びシステム | |
KR101875137B1 (ko) | 프라이버시 마스크 처리 방법 및 장치 | |
CN111787232B (zh) | 基于云台摄像机的图像处理方法、设备及存储介质 | |
KR20070048841A (ko) | 감시용 카메라의 프라이버시 마스크 표시 제어방법 | |
US20200177817A1 (en) | Imaging apparatus, control method for imaging apparatus, information processing apparatus, and storage medium | |
US9091904B2 (en) | Camera device with rotary base | |
US10432843B2 (en) | Imaging apparatus, control method of imaging apparatus, and non-transitory recording medium for judging an interval between judgement targets | |
JP5183152B2 (ja) | 画像処理装置 | |
CN106060372B (zh) | 用于图像稳定的方法和系统 | |
EP3745718B1 (en) | Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system | |
JP6265602B2 (ja) | 監視カメラシステム、撮像装置及び撮像方法 | |
KR101452342B1 (ko) | 감시카메라 유닛 및 그 구동방법 | |
JP2023038480A (ja) | 監視システム及び監視方法 | |
JP2018201146A (ja) | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム | |
KR101817509B1 (ko) | Ptz 틀어짐 복원 방법 | |
KR102482341B1 (ko) | 차량 단속영역좌표 자동 보정 시스템 | |
WO2023113754A1 (en) | Calibration and management method of ptz cameras | |
JPWO2020016921A1 (ja) | 撮像装置 | |
JP5132705B2 (ja) | 画像処理装置 | |
KR101822429B1 (ko) | 객체 정보 획득 장치 및 그 방법 | |
JP2012019285A (ja) | 撮像装置及び撮像方法 | |
KR20130097286A (ko) | 고정형 카메라를 이용한 이동형 카메라의 제어장치 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230913 |