JP2016212500A - 撮影方向変動検出装置および撮影方向変動検出方法 - Google Patents

Abstract

【課題】より正確に撮像装置の撮影方向の変動を検出することができる撮影方向変動検出装置を提供する。
【解決手段】撮像装置が撮影した画像に基づき、画像上の物体の位置座標を算出し、算出した位置座標について、当該位置座標の比較対象とする基準位置座標に対し物体の移動可能性に応じた信頼度に基づき設定された信頼性グループに応じて、グループ分けを行う位置座標算出部と、位置座標算出部が算出した位置座標について、信頼性の高いグループにグループ分けされた位置座標から順に、基準位置座標との比較を行い、位置座標と基準位置座標とが一致するかどうかを判定する位置座標比較部と、位置座標比較部の判定結果に基づき、位置座標と基準位置座標との差分を算出し、当該算出した差分が閾値以上となった場合に、撮像装置の撮影方向の変動を検出する変動量算出部とを備えた。
【選択図】図２

Description

この発明は、映像から人物や物体の位置情報を算出し、算出した位置座標と基準となる基準位置座標との比較を行うことで、撮像装置の撮影方向の変動を検知する撮影方向変動検出装置および撮影方向変動検出方法に関するものである。

従来から、撮像装置の撮影方向に変動があったことを検出する技術が知られている。
例えば、特許文献１には、他のカメラと異なる外観上の特徴を有する複数のカメラを、他のカメラを少なくとも２つ撮影するように設置し、当該少なくとも２つの他のカメラを撮影したカメラ映像からカメラの位置を算出し、前回算出された位置と今回算出された位置とを比較することで、当該カメラの向きの変動を検出する技術が開示されている。
また、特許文献２には、定点監視カメラによる撮影画像から背景画像との相違部分のみを抽出した前景画像を生成し、連続する当該前景画像の差分画像を複数のブロックに分割して、これらのブロックのうちの差分領域の占有割合が閾値以上のものを急変ブロックとし、差分画像のブロックのうち当該急変ブロック数がどれぐらいあるかによって、定点監視カメラの向きの変動を検出する技術が開示されている。

特開２０１１−０７６５７３号公報 特開２０１４−０２６３７２号公報

しかしながら、特許文献１に開示されているような技術では、カメラは、少なくとも２つの他のカメラを撮影するように設置されていなければならず、当該少なくとも２つのほかのカメラを撮影できなくなるように、撮影方向が全く異なる方向へカメラの向きが変えられてしまうと、差分が取得できず、変動検知が正常に動作できなくなるという課題があった。

これに対し、特許文献２に開示されているような技術では、必ず撮影されていることが必要となる物体は必要なく、定点監視カメラによる撮影画像から抽出して作成した前景画像により定点監視カメラの向きの変動を検出するため、撮影方向が全く異なる方向へカメラの向きが変えられても、差分を取得することはできる。

しかしながら、特許文献２に開示されているような技術では、前景画像、すなわち、差分を検出するための対象がどれだけ差分検出において信頼できるものであるかを考慮していないため、定点監視カメラの向きに変動がなくても、変動があったものと判断してしまう可能性があるという課題があった。
例えば、撮影画像の範囲の閾値以上の範囲を覆うような大きさの落下物が突然落下してきた場合などは、定点監視カメラの向きに変動がなくても、変動があったと判断してしまう可能性がある。

この発明は、上記のような課題を解決するためになされたものであり、撮像装置の撮影方向の変動を検出するための対象の信頼度を考慮することで、より正確に撮像装置の撮影方向の変動を検出することができる撮影方向変動検出装置を提供することを目的としている。

この発明に係る撮影方向変動検出装置は、撮像装置が撮影した画像に基づき、画像上の物体の位置座標を算出し、算出した位置座標について、当該位置座標の比較対象とする基準位置座標に対し物体の移動可能性に応じた信頼度に基づき設定された信頼性グループに応じて、グループ分けを行う位置座標算出部と、位置座標算出部が算出した位置座標について、信頼性の高いグループにグループ分けされた位置座標から順に、基準位置座標との比較を行い、位置座標と基準位置座標とが一致するかどうかを判定する位置座標比較部と、位置座標比較部の判定結果に基づき、位置座標と基準位置座標との差分を算出し、当該算出した差分が閾値以上となった場合に、撮像装置の撮影方向の変動を検出する変動量算出部とを備えたものである。

この発明に係る撮影方向変動検出装置および撮影方向変動検出方法によれば、撮像装置の撮影方向の変動を検出するための対象の信頼度を考慮することで、より正確に撮像装置の撮影方向の変動を検出することができる。

この発明の実施の形態１に係る撮影方向変動検出装置の構成を説明する図である。 この発明の実施の形態１の向き変動判定部の内部構成図である。 この発明の実施の形態１におけるカメラの撮影方向の変動の算出例を説明する図である。 この発明の実施の形態１におけるカメラの撮影方向の変動の算出例を説明する図である。 この発明の実施の形態１に係る撮影方向変動検出装置の動作を説明するフローチャートである。 実施の形態１において、位置座標算出部による図５のステップＳＴ５０３の座標位置算出処理の動作を詳細に説明するフローチャートである。 この実施の形態１において、記録媒体に記録されている基準位置関連情報の一例を説明する図である。 実施の形態１において、位置座標算出部による、信頼性グループのグループ分けの一例のイメージを説明する図である。 実施の形態１において、位置座標算出部によって一時保存されたカメラが撮影した画像上の物体に関する情報を、位置座標比較部が並べ替えた後の内容の一例を説明する図である。 実施の形態１において、基準位置変更有無確認部による図５のステップＳＴ５０５の基準位置変更有無確認処理の動作を詳細に説明するフローチャートである。 実施の形態１において、一時保存されている、並べ替え後のカメラが撮影した画像上の物体に関する情報の内容の一例を説明する図である。 実施の形態１において、記録媒体に記録されている基準座標関連情報の内容の一例を説明する図である。 実施の形態１において、変動量算出部による図５のステップＳＴ５０８の変動判定処理の動作を詳細に説明するフローチャートである。 この発明の実施の形態１に係る撮影方向変動検出装置のハードウェア構成を説明する図である。 この発明の実施の形態２に係る撮影方向変動検出装置の構成図である。 この発明の実施の形態２の基準位置情報設定制御部の内部構成図である。 実施の形態２において、基準位置関連情報を設定し、記録媒体に記録させる動作を説明するフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る撮影方向変動検出装置１０６の構成を説明する図である。

図１に示すように、撮影方向変動検出装置１０６は、映像信号取得部１０１と、映像信号処理部１０２と、向き変動判定部１０３と、記録媒体１０４と、アラーム部１０５とを備える。
映像信号取得部１０１は、カメラ１００などの撮像装置から、当該カメラ１００が撮影した映像データを取得する。
映像信号処理部１０２は、映像信号取得部１０１が取得した映像データから、カメラ１００が撮影した画像上の物体を検出して、当該検出した物体のエッジを抽出する。

向き変動判定部１０３は、映像信号処理部１０２が抽出したエッジの特徴量に基づき、映像信号取得部１０１が取得し映像信号処理部１０２が抽出したエッジから、カメラ１００が撮影した画像上の物体の座標を算出し、記録媒体１０４に記録されている基準位置座標との比較を行い、差分の算出および当該差分に基づく撮影方向の変動有無の判定を行う。なお、この実施の形態１において、位置座標とは、カメラ１００の撮影画像上の物体のエッジの中点の座標とする。

記録媒体１０４は、予め、カメラ１００が撮影した画像上の物体の位置座標との比較を行う基準位置座標を含む基準位置関連情報を記憶する。なお、この実施の形態１において、基準位置座標とは、例えば、監視対象のフロアの平面座標上での、カメラ１００が撮影する撮影範囲内に存在する物体の撮影画像上での位置座標である。監視対象のフロアの平面座標とは、同一監視対象を撮影する複数のカメラ共通の座標軸（共通座標軸）であり、当該共通座標軸は、初期設定時にユーザにて入力されるものであるとする。ユーザは、カメラ１００の設置時に、カメラの位置、撮影方向を設定し、カメラ１００の撮影範囲内に存在する物体の、カメラ１００が撮影する画像上の座標を、共通座標軸へと変換を行うことで、物体の基準位置座標を算出しておく。
なお、その位置座標が基準位置座標とされ得る物体は、予めユーザが任意に指定できるものとする。例えば、カメラ１００を設置した際に、カメラ１００が撮影した画像上に存在する物体から、ユーザが指定するようにすることができる。これに限らず、カメラ１００を設置した際に、カメラ１００による所定期間の撮影画像より、移動がない、あるいは、移動が設定した閾値未満であるなど移動が少ないと判断できる物体を、自動で検出して指定するようにしてもよい。

この実施の形態１では、上述したように、予めユーザが任意に指定、あるいは、カメラ１００を設置した際に、カメラ１００による所定期間の撮影画像より、移動がない、あるいは、移動が設定した閾値未満であるなど移動が少ないと判断できる物体を自動で検出して指定された物体の位置座標が、共通座標軸へと変換され、基準位置座標として予め記録媒体１０４に記録されている。
例えば、カメラ１００を設置した際に撮影した画像からユーザが指定した物体の、当該画像上の位置座標を共通座標軸へと変換し、基準位置座標として記録媒体１０４に記録させておいてもよいし、カメラ１００が撮影した画像のうち、ユーザが任意で取得した時間に撮影された画像からユーザが指定した物体の、当該画像上の位置座標を共通座標軸へと変換し、基準位置座標として記録媒体１０４に記録させておいてもよい。また、例えば、カメラ１００が撮影した数フレームの画像からユーザが指定した物体の、数フレームの画像上の位置座標をそれぞれ算出し、平均値を共通座標軸へと変換し、基準位置座標として記録媒体１０４に記録させておいてもよい。
この実施の形態１において、カメラ１００が設定された通常状態で撮影される画像上に存在する物体の、通常状態で撮影される画像上での位置情報を共通座標軸へと変換し、基準位置情報とするものであればよい。

アラーム部１０５は、向き変動判定部１０３がカメラ１００の撮影方向の変動を検出した場合に、警報を出力させる。
なお、この実施の形態１では、図１に示すように、記録媒体１０４は、撮影方向変動検出装置１０６が備えるものとしたが、これに限らず、記録媒体１０４は、撮影方向変動検出装置１０６の外部に備えるようにしてもよい。

図２は、この発明の実施の形態１の向き変動判定部１０３の内部構成図である。
図２に示すように、向き変動判定部１０３は、位置座標算出部２０１と、位置座標比較部２０２と、基準位置座標変更有無確認部２０３と、変動量算出部２０４とを備える。
位置座標算出部２０１は、映像信号処理部１０２が抽出した、カメラ１００が撮影した画像上の全ての物体のエッジを取得し、当該物体の位置座標を算出する。なお、ここでは、位置座標算出部２０１は、カメラ１００が撮影した画像上の物体のエッジの中点の座標を物体の位置座標とするものとする。また、位置座標算出部２０１は、位置座標算出の際には、共通座標軸へと変換した座標を、当該物体の位置座標として算出するものとする。以下、位置座標算出部２０１が算出した物体の画像上の位置座標とは、共通座標軸へと変換されているものとして説明する。
また、位置座標算出部２０１は、算出した画像上の物体の位置座標について、その位置座標の比較対象とする基準位置座標に対し物体の移動可能性に応じた信頼度に基づき設定された信頼性グループに応じて、グループ分けを行う。

位置座標比較部２０２は、位置座標算出部２０１が算出した位置座標について、信頼性の高いグループにグループ分けされた位置座標から順に、記録媒体１０４が記憶する基準位置座標との比較を行い、位置座標と基準位置座標とが一致するかどうかを判定する。
基準位置座標変更有無確認部２０３は、位置座標比較部２０２によって位置座標と基準位置座標とが一致しないと判断された場合、当該一致しないと判断された位置座標に対応する基準位置座標の信頼性グループに応じて、比較対象とした基準位置座標に変更がないかどうかの判定を行う。なお、基準位置座標変更有無確認部２０３は、基準位置座標に変更があったと判断した場合には、記録媒体１０４に記録されている基準位置座標を、比較を行ったカメラ１００が撮影した画像上の物体の位置座標の内容で更新する。
変動量算出部２０４は、位置座標比較部２０２による位置座標と基準位置座標との比較結果と、基準位置座標変更有無確認部２０３による基準位置座標の変更有無の判断結果とに応じて、位置座標と基準位置座標との差分を算出し、当該算出した差分が閾値以上となった場合にカメラ１００の撮影方向の変動を検出する。

図３と図４に、この発明の実施の形態１におけるカメラ１００の撮影方向の変動の算出例を示す。
図３において、物体３０１が物体３０２の位置へ位置を変えた、すなわち、位置座標を変えた場合について説明する。
物体３０１の位置で撮影された映像が、本来の撮影方向で撮影されるカメラ映像例、物体３０２の位置で撮影された映像が、撮影方向が変動した結果撮影されたカメラ映像例とする。すなわち、物体３０１の位置座標が、共通座標軸へと変換され、基準位置座標として記録媒体１０４に記録されている。
図４において、白丸４０１は、記録媒体１０４に記録されている基準位置座標を座標上に表わしたもの、黒丸４０２は、物体３０２が撮影されたカメラ映像から、向き変動判定部１０３の位置座標算出部２０１が位置座標を算出し、座標上に表わしたものである。
矢印４０３は、白丸４０１の位置座標から黒丸４０２の位置座標への位置座標の変動量を表わす。

動作について説明する。
図５は、この発明の実施の形態１に係る撮影方向変動検出装置１０６の動作を説明するフローチャートである。
映像信号取得部１０１は、カメラなどのカメラ１００から、当該カメラ１００が撮影した映像データを取得する（ステップＳＴ５０１）。
映像信号処理部１０２は、ステップＳＴ５０１において映像信号取得部１０１が取得した映像データから、カメラ１００が撮影した画像上の物体を検出して、当該検出した物体のエッジを抽出する。（ステップＳＴ５０２）。なお、エッジは特徴量として抽出するものとし、エッジの抽出には、公知の画像処理方法を用いることができる。例えば、映像信号処理部１０２は、エッジの急激な濃度値変化部分を関数の変化分として取り出す微分演算法、エッジの方向に対応する８種類のマスクを用意し、画像と比較してもっとも似たパターンを選ぶテンプレート・マッチングを使ったＰｒｅｗｉｔｔ ｆｉｌｔｅｒなどを利用して、比較対象物体のエッジを検出する。

なお、ステップＳＴ５０２において、映像信号取得部１０１から取得した画像上に複数の物体があれば、映像信号処理部１０２は、複数の物体についてエッジを全て抽出する。
また、ステップＳＴ５０２において、映像信号処理部１０２が検出した画像上の物体のエッジに関する情報は、例えば、内部に保有するメモリや、記録媒体１０４の空きスペースなどに一時保存される。

向き変動判定部１０３の位置座標算出部２０１は、ステップＳＴ５０２において映像信号処理部１０２が抽出して一時保存した画像上の物体のエッジの情報を取得し、当該物体の位置座標算出処理を行う（ステップＳＴ５０３）。なお、ここでは、位置座標算出部２０１は、エッジの中点の座標を位置座標とするものとする。また、位置座標算出部２０１は、位置座標算出の際には、共通座標軸へと変換した座標を、当該物体の位置座標として算出するものとする。
また、このとき、位置座標算出部２０１は、画像上の対象物体について、その位置座標の比較対象とする基準位置座標に対し物体の移動可能性に応じた信頼度に基づき設定された信頼性グループに応じて、グループ分けを行う。

ここで、図６は、実施の形態１において、位置座標算出部２０１による図５のステップＳＴ５０３の座標位置算出処理の動作を詳細に説明するフローチャートである。
位置座標算出部２０１は、記録媒体１０４を参照し、ステップＳＴ５０２において映像信号処理部１０２がエッジを抽出した画像上の物体の基準位置座標が、記録媒体１０４に記録されているかを判断する（ステップＳＴ６０１）。具体的には、位置座標算出部２０１は、ステップＳＴ５０２において映像信号処理部１０２が抽出したエッジの特徴量と、記録媒体１０４に記録されているエッジの特徴量とのつき合わせを行い、一致するエッジがあるかどうかを判定し、一致するエッジがあれば、画像上の物体に対応する基準位置座標が記録媒体１０４に記録されていると判断し、当該基準位置座標を取得する。

ここで、図７は、この実施の形態１において、記録媒体１０４に記録されている基準位置関連情報の一例を説明する図である。
図７に示すように、記録媒体１０４には、物体ＩＤと、エッジ特徴量と、基準位置座標と、信頼性グループと、周囲物体ＩＤとが紐付けられた情報が記録されている。この実施の形態１では、図７に示すような、記録媒体１０４に記録されている情報を、基準位置関連情報とする。なお、図７に示した内容は一例にすぎず、基準位置関連情報には、少なくとも図７に示す情報が含まれていればよい。

ステップＳＴ６０１において、位置座標算出部２０１は、ステップＳＴ５０２において映像信号処理部１０２が抽出したエッジの特徴量と、図７に示すように、記録媒体１０４に記録されているエッジの特徴量とのつき合わせを行い、当該エッジの特徴量が一致するかどうかを判定する。

ステップＳＴ６０１において、基準位置座標が記録媒体１０４に記録されていないと判断した場合（ステップＳＴ６０１の“ＮＯ”の場合）、すなわち、ステップＳＴ５０２において映像信号処理部１０２が抽出したエッジの特徴量と、記録媒体１０４に記録されているエッジの特徴量とが一致しない場合、位置座標算出部２０１は、当該画像上の物体の情報を破棄し（ステップＳＴ６０６）、ステップＳＴ６０５に進む。
なお、通行人など、通常状態でカメラ１００が撮影する画像上に存在しないと考えられる物体は、その位置情報を基準位置情報とする条件を満たさないため、当該条件を満たさない物体に関する情報は記録媒体１０４には記録されていない。

ステップＳＴ６０１において、基準位置座標が記録媒体１０４に記録されていると判断した場合（ステップＳＴ６０１の“ＹＥＳ”の場合）、すなわち、ステップＳＴ５０２において映像信号処理部１０２が抽出したエッジの特徴量と、記録媒体１０４に記録されているエッジの特徴量とが一致した場合、位置座標算出部２０１は、基準位置関連情報上で、当該一致したエッジの特徴量の基準位置座標の信頼性グループとして記録されている信頼性グループを取得する（ステップＳＴ６０２）。

例えば、ステップＳＴ６０１において、位置座標算出部２０１は、画像上の物体のエッジの特徴量と、図７に示すように記録媒体１０４に記録されている物体ＩＤが１の物体のエッジ特徴量が一致したと判断したとすると、当該物体ＩＤが１の物体のエッジの特徴量の基準位置座標の信頼性グループとして記録されている信頼性グループ３を取得する。

信頼性グループとは、物体の移動可能性に基づき、その基準位置座標が、カメラ１００の撮影方向の変動量を検出するために画像上の物体の位置座標と比較する対象として、信頼できるものであるかどうかの度合いをグループ分けしたものであり、その位置がどれだけ変わりにくいものであるか、すなわち、撮影方向の変動有無の判定を行うための差分算出用の比較対象物として、どれだけ信頼できるものであるかをその信頼度の高さに応じてグループ分けしたものである。
なお、信頼性グループは、予めユーザによって設定されているものとする。

基準位置座標の信頼性が高いとは、その物体が移動しない可能性が高いと考えられ、基準位置座標に設定された信頼性グループが上位のグループであるほど、その基準位置座標が、撮影方向の変動有無の判定を行うための差分算出の際に使用する位置座標として信頼できる可能性が高いと考えられる。撮影方向の変動有無の判定の詳細については後述する。

例えば、柱や壁などのエッジの特徴量は変動しないため、算出される座標位置は信頼性が高いと考えられるため、信頼性グループには上位のグループに設定する。
ここでは、信頼性グループは３つのグループにグループ分けするものとし、柱や壁などの移動が困難な物体の基準位置座標には、信頼性が最も高い信頼性グループ１が設定される。また、棚や机など移動が少ない物体の基準位置座標には、信頼性が次に高い信頼性グループ２が設定されている。また、持ち運びが可能な物体の基準位置座標には、信頼性が一番低い信頼性グループ３が設定されている。

図８は、実施の形態１において、位置座標算出部２０１による、信頼性グループのグループ分けの一例のイメージを説明する図である。
図８（ａ）は、カメラ１００が撮影した画像の一例を示しており、当該画像から、映像信号処理部１０２が、比較対象物体のエッジとして、壁のエッジ７０１と、棚のエッジ７０２と、ボールのエッジ７０３と、人物のエッジ７０４とを抽出した例を示している。
図８（ｂ）は、図８（ａ）に示された各エッジを持つ比較対象物体について、記録媒体１０４に記録されている基準位置関連情報とのつき合わせを行い、信頼性グループを設定してグループ分けを行った例を示している。
図８（ｂ）に示すように、エッジ７０１を持つ壁は信頼性グループ第１位にグループ分けされ、エッジ７０１を持つ壁とエッジ７０２を持つ棚とが、信頼性グループ第２位以上にグループ分けされている。すなわち、棚に対応する基準位置座標の信頼性グループは第２位に設定されている。

また、エッジ７０１を持つ壁と、エッジ７０２を持つ棚と、エッジ７０３を持つボールとが、信頼性グループ第３位以上にグループ分けされている。すなわち、ボールに対応する基準位置座標の信頼性グループは第３位に設定されている。
なお、図８（ｂ）には、図８（ａ）のエッジ７０４を持つ人物に対応する信頼性グループが設定されていない。これは、人物は、通常状態でカメラ１００が撮影する画像上に存在しないと考えられ、このような物体の基準位置座標は条件を満たさないため、その情報が記録媒体１０４には記録されておらず、当該人物に関する情報は破棄されたからである（ステップＳＴ６０６参照）。

なお、ここでは、記録媒体１０４に予め信頼性グループを記録させておくものとしたが、これに限らず、位置座標算出部２０１が、予め信頼性グループのグループ分けのルールを記憶しており、エッジの特徴量から当該ルールに従って信頼性グループを設定するようにしてもよい。

また、ここでは、信頼性グループは３つにグループ分けされるものとして説明するが、これに限らず、さらに細かくグループ分けしてもよいし、グループ数については適宜設定可能である。

位置座標算出部２０１は、カメラ１００が撮影した画像上の物体の位置座標を算出する（ステップＳＴ６０３）。なお、ここでは、位置座標算出部２０１は、エッジの中点の座標をカメラ１００が撮影した画像上の物体の位置座標とするものとする。また、位置座標算出部２０１は、位置座標算出の際には、共通座標軸へと変換した座標を、当該物体の位置座標として算出するものとする。
このように、映像信号処理部１０２において、映像信号取得部１０１が取得した映像データから、カメラ１００が撮影した画像上の物体を検出して、当該検出した物体のエッジを抽出するようにし、位置座標算出部２０１は、エッジの情報から物体の位置座標を算出するようにしたので、処理の負荷を軽減することができる。

位置座標算出部２０１は、カメラ１００が撮影した画像上の物体のエッジに関する情報と、ステップＳＴ６０１で取得した基準位置座標と、ステップＳＴ６０２で取得した基準位置座標の信頼性グループと、ステップＳＴ６０３で算出した位置座標の情報を紐付けて、例えば、内部に保有するメモリや、記録媒体１０４の空きスペースなどに一時保存する（ステップＳＴ６０４）。すなわち、位置座標算出部２０１によって、カメラ１００が撮影した画像上の物体の位置座標について、基準位置座標の信頼性グループに基づいたグループ分けが行われる。

位置座標算出部２０１は、ステップＳＴ５０２において映像信号処理部１０２が抽出した画像上の物体のエッジ全てについて、記録媒体１０４に記録された基準位置関連情報とのつき合わせを終了したかどうかを判断する（ステップＳＴ６０５）。
ステップＳＴ６０５において、全てのつき合わせを終了したと判断した場合（ステップＳＴ６０５の“ＹＥＳ”の場合）、図６の処理を終了する。

ステップＳＴ６０５において、全てのつき合わせを終了していないと判断した場合（ステップＳＴ６０５の“ＮＯ”の場合）、ステップＳＴ６０１に戻り、まだ記録媒体１０４に記録された基準位置関連情報とのつき合わせを終了していない、画像上の物体のエッジを読み込み、以降の処理を繰り返す。このようにして、位置座標算出部２０１は、ステップＳＴ５０２において映像信号処理部１２０が抽出した全てのエッジについて、記録媒体１０４に記録されている基準位置関連情報とのつき合わせを行う。

なお、この実施の形態１では、他のカメラ１００で取得し記録しておいた別の記録媒体１０４を参照して基準位置座標を取得できるものとする。これにより、パターンが一致しないエッジの特徴量の発生確率を低くすることができる。

また、ここでは、基準位置座標が記録媒体１０４に記録されていないと判断した場合は、比較対象物体の情報を破棄するものとしたが（ステップＳＴ６０６参照）、これに限らず、基準位置座標が記録媒体１０４に記録されていないと判断した場合は、すなわち、カメラ１００が撮影した画像上の物体のエッジの特徴量と記録媒体１０４に記録されたエッジの特徴量とがマッチしない場合は、例えば、カメラが遮光もしくは空等に向きを変えられたものと判断し、警報を発生するようにしてもよい。警報出力の動作（図５のステップＳＴ５１０）については、追って説明する。
なお、図６のステップＳＴ６０２，ステップＳＴ６０３の処理の順番は入れ換えてもよい。

図５のフローチャートに戻る。
ステップＳＴ５０３において、向き変動判定部１０３の位置座標算出部２０１が、カメラ１００が撮影した画像上の物体の位置座標を算出すると、向き変動判定部１０３の位置座標比較部２０２は、位置座標算出部２０１が図６のステップＳＴ６０４で一時保存した情報を、基準位置座標の信頼性グループの信頼性の高い順になるように並べ替える（ステップＳＴ５０４）。すなわち、ここでは、信頼性グループ１のものから、信頼性グループ２、信頼性グループ３の順となるよう、比較対象物体に関する情報の並べ替えを行う。なお、同じ信頼性グループが設定された比較対象物体が複数ある場合、同じ信頼グループ内での比較対象物体の順序は任意とする。
このステップＳＴ５０４において、位置座標算出部２０１によって一時保存されたカメラ１００が撮影した画像上の物体に関する情報を、位置座標比較部２０２が並べ替えた後の内容の一例を図９に示す。

位置座標比較部２０２は、ステップＳＴ５０４において並べ替えられたカメラ１００が撮影した画像上の物体に関する情報を順に参照し、位置座標と、当該位置座標に対応する基準位置座標とが一致するかどうかを判定する（ステップＳＴ５０５）。
すなわち、位置座標比較部２０２は、信頼性が高い、上位の信頼性グループにグループ分けされた物体の位置座標から、基準位置座標との比較を行うことになる。

ステップＳＴ５０５において、位置座標と基準位置座標とが一致したと判断した場合（ステップＳＴ５０５の“ＹＥＳ”の場合）、位置座標比較部２０２は、ステップＳＴ５０３において位置座標算出部２０１によって一時保存され、ステップＳＴ５０４において並べ替えが行われた、カメラ１００が撮影した画像上の物体に関する情報に含まれる全ての物体の位置座標について、基準位置座標とのつき合わせを終了したかどうかを判断する（ステップＳＴ５１１）。

ステップＳＴ５１１において、全ての比較対象物体について位置座標と基準位置座標とのつき合わせを終了していないと判断した場合（ステップＳＴ５１１の“ＮＯ”の場合）、ステップＳＴ５０５に戻り、まだ位置座標と基準位置座標とのつき合わせをしていない次の比較対象物体の情報を読み込み、以降の処理を行う。

ステップＳＴ５１１において、全ての物体の位置座標について基準位置座標とのつき合わせを終了したと判断した場合（ステップＳＴ５１１の“ＹＥＳ”の場合）、カメラ１００の撮影方向に変動はなかったと判断し、処理終了する。

ステップＳＴ５０５において、カメラ１００が撮影した画像上の物体の位置座標と基準位置座標とが一致しないと判断した場合（ステップＳＴ５０５の“ＮＯ”の場合）、向き変動判定部１０３の基準位置座標変更有無確認部２０３は、一致しないと判断された位置座標に対応する基準位置座標の信頼性グループに応じて、比較を行った基準位置座標に変更がないかどうかを判定する基準位置変更有無確認処理を行う（ステップＳＴ５０６）。

ここで、図１０は、実施の形態１において、基準位置座標変更有無確認部２０３による図５のステップＳＴ５０６の基準位置変更有無確認処理の動作を詳細に説明するフローチャートである。
基準位置座標変更有無確認部２０３は、ステップＳＴ５０３において位置座標算出部２０１が一時保存し、ステップＳＴ５０４において並べ替えが行われた情報から、ステップＳＴ５０５において位置座標と一致しないと判断された基準位置座標の信頼性グループを取得し、取得した信頼性グループは上位２グループであるかどうか、すなわち、信頼性グループ１または信頼性グループ２であるかどうかを判定する（ステップＳＴ１００１）。

ステップＳＴ１００１において、ステップＳＴ５０５において位置座標と一致しないと判断された基準位置座標の信頼性グループが上位２グループでないと判断された場合（ステップＳＴ１００１の“ＮＯ”の場合）、基準位置座標変更有無確認部２０３は、当該位置座標を持つ物体の周辺にある物体のうち、位置座標と基準位置座標の一致しない物体が１／３以上あるかどうかを判定する（ステップＳＴ１００２）。具体的には、基準位置座標変更有無確認部２０３は、該当の物体のエッジ特徴量から、記録媒体１０４に記録されている基準位置関連情報を参照し、マッチするエッジ特徴量と紐付けられた周辺物体ＩＤを取得する。そして、取得した周辺物体ＩＤをもとに、周辺物体のエッジ特徴量を取得する。その後、取得した周辺物体のエッジ特徴量をキーに、一時保存していたカメラ１００が撮影した画像上の物体に関する情報とのつき合わせを行い、マッチしたエッジ特徴量に紐づけられた位置情報と基準位置情報とが一致しているかどうかを判定する。そして、一致しない物体が１／３以上であるかどうかを判定する。

ここで、ステップＳＴ１００１〜ステップＳＴ１００２の処理について、具体例を挙げて説明する。
以下の例では、例えば、一時保存されている、並べ替え後のカメラ１００が撮影した画像上の物体に関する情報の内容が図１１であるとし、記録媒体１０４に記録されている基準座標関連情報の内容が図１２であるとして、図５のステップＳＴ５０５において、位置座標比較部２０２は、図１１のエッジ特徴量がｆｆの物体の位置座標と基準位置座標とが一致しないと判断したものとする。

エッジ特徴量がｆｆの物体の位置座標との比較対象となる基準位置座標の信頼性グループは３なので、ステップＳＴ１００１において、基準位置座標変更有無確認部２０３は、取得した信頼性グループは上位２グループではないと判断する（ステップＳＴ１００１の“ＮＯ”）。

次に、基準位置座標変更有無確認部２０３は、記録媒体１０４を参照し、エッジ特徴量ｆｆと紐付けられた周辺物体ＩＤ７，８，９を取得する。
そして、基準位置座標変更有無確認部２０３は、周辺物体ＩＤ７，８，９それぞれのエッジ特徴量ｇｇ，ｈｈ，ｉｉを取得する。
その後、基準位置座標変更有無確認部２０３は、エッジ特徴量ｇｇ，ｈｈ，ｉｉをキーに、図１１のカメラ１００が撮影した画像上の物体に関する情報とのつき合わせを行い、エッジ特徴量ｇｇについて、位置座標（ｘ_７，ｙ_７），基準位置座標（ｘ_７，ｙ_７）、エッジ特徴量ｈｈについて、位置座標（ｘ_８，ｙ_８），基準位置座標（ｘ_８，ｙ_８）、エッジ特徴量ｉｉについて、位置座標（ｘ_９，ｙ_９），基準位置座標（ｘ_９，ｙ_９）を取得し、位置座標と基準位置座標とが一致しない物体が１／３以上かどうかを判定する。ここでは、全てのエッジ特徴量ｇｇ〜ｉｉに対応する位置座標と基準位置座標とが一致しているので、基準位置座標変更有無確認部２０３は、位置座標と基準位置座標とが一致しない物体は１／３以上ではないと判断する（ステップＳＴ１００２の“ＮＯ”）。

なお、記録媒体１０４を参照して、周辺物体ＩＤから特定したエッジ特徴量と図１１の情報とのつき合わせを行った際に、マッチするエッジ特徴量がない場合は、位置座標と基準位置座標とが一致しないものとしてもよいし、カウントの対象外としてもよい。

図１０のフローチャートに戻る。
ステップＳＴ１００２において、位置座標と基準位置座標とが一致しない物体は１／３以上ではないと判断した場合（ステップＳＴ１００２の“ＮＯ”の場合）、基準位置座標変更有無確認部２０３は、ステップＳＴ５０５において位置情報と一致しないと判断された基準位置座標が変わった、すなわち、現在記録媒体１０４に記録されている基準位置座標は、カメラ１００が撮影した画像上の物体の位置座標との比較を行う座標として使用できるものではなくなったと判断し（ステップＳＴ１００３）、記録媒体１０４に記録されている該当の物体のエッジ特徴量に紐付けられた基準位置座標の情報を、ステップＳＴ５０３で位置座標算出部２０１が算出した位置座標の情報に更新する（ステップＳＴ１００４）。具体的には、上述した例で説明すると、エッジ特徴量ｆｆに紐付けられて記録媒体１０４に現在記録されている基準位置座標（ｘ_６，ｙ_６）を、位置座標である（ｘ_６６，ｙ_６６）に更新する。

そして、基準位置座標変更有無確認部２０３は、記録媒体更新フラグに１を設定する（ステップＳＴ１００５）。なお、記録媒体更新フラグの初期値は０とする。
このように、持ち運びが可能な物体など、信頼性が低いとされた信頼性グループが設定されていた基準位置座標については、物体の移動に伴いその位置が変わり、比較対象として使用できないものになっていないかどうかを判断し、基準位置座標が変更になっていると判断された場合には、基準位置座標を更新することで、基準位置座標の情報を最新の正しい情報にすることができる。
その後、図１０の処理を終了する。

一方、ステップＳＴ１００１において、ステップＳＴ５０５において位置座標と一致しないと判断された基準位置座標の信頼性グループは上位２グループが上位２グループであると判断された場合（ステップＳＴ１００１の“ＹＥＳ”の場合）、あるいは、ステップＳＴ１００２において位置座標と基準位置座標の一致しない物体が１／３以上であったと判断した場合（ステップＳＴ１００２の“ＹＥＳ”の場合）、基準位置座標変更有無確認部２０３は、基準位置座標に変更はなく、ステップＳＴ５０５において位置座標比較部２０２が位置座標と基準位置座標とが一致しないとした判断内容は正当であったと判断し、ステップＳＴ５０３において位置座標算出部２０１によって一時保存され、ステップＳＴ５０４で並べ替え後の、カメラ１００が撮影した画像上の物体に関する情報に、物体位置移動フラグ１を付与する（ステップＳＴ１００６）。なお、物体位置移動フラグの初期値は０とする。
その後、図１０の処理を終了する。
このように、基準位置座標の信頼性グループの上位のグループから位置座標との比較を行い、信頼性グループの上位のグループの基準位置座標と一致しないと判断すれば、一致しないとした判断内容は正当であったと判断し、その他の位置座標について基準位置座標との比較は行わない。このようにすることで、判定処理の負荷を軽くし、処理の効率化をはかることができる。

なお、この実施の形態１では、ステップＳＴ１００１において、基準位置座標変更有無確認部２０３は、位置座標と一致しなかった基準位置座標の信頼性グループは上位２グループであるかどうかを判定することとしたが、これに限らず、上位１グループのみとしてもよく、どの信頼性グループまでを無条件で比較対象として使用できる基準位置座標、すなわち、移動している可能性を考慮しなくていい基準位置座標とするかは適宜設定可能である。

また、この実施の形態１では、ステップＳＴ１００２において、基準位置座標変更有無確認部２０３は、比較対象物体の周辺にある物体のうち、位置座標と基準位置座標の一致しない物体が１／３以上あるかどうかを判定するものとしたが、これに限らず、１／２以上としてもよいし、１／４以上としてもよく、判定基準は適宜設定可能である。

図５のフローチャートに戻る。
ステップＳＴ５０６において、基準位置座標変更有無確認部２０３が基準位置変更有無確認処理を行うと、向き変動判定部１０３の変動量算出部２０４は、基準位置座標変更有無確認部２０３によって、記録媒体更新フラグに１が設定されたかどうかを判定する（ステップＳＴ５０７）。

ステップＳＴ５０７において、記録媒体更新フラグに１が設定されている場合（ステップＳＴ５０７の“ＹＥＳ”の場合）、ステップＳＴ５０５に戻り、位置座標比較部２０２は、ステップＳＴ５０４において並べ替えられた、カメラ１００が撮影した画像上の物体に関する情報を参照し、次の物体について、位置座標と当該位置座標に対応する基準位置座標とが一致するかどうかを判定する。
記録媒体更新フラグに１が設定されたということは、基準位置座標が移動して、記録媒体１０４に記録されていた基準位置座標が、比較対象として使用できるものではなくなっていたということなので、ステップＳＴ５０５において、位置座標と基準位置座標との正しい比較が行われていないということになる。よって、その場合は、改めて、別の物体について、位置座標と基準位置座標との比較を行う。
このようにすることで、誤った基準位置座標との比較による誤った判断結果に基づいて撮影方向の変動判定を行うことを防ぐことができる。なお、撮影方向の変動判定については後述する。
なお、このステップＳＴ５０７において、ステップＳＴ５０５に戻る際は、記録媒体更新フラグを０に初期化しておくものとする。

ステップＳＴ５０７において、記録媒体更新フラグに１が設定されていない場合（ステップＳＴ５０７の“ＮＯ”の場合）、変動量算出部２０４は、カメラ１００の撮影方向に変動があったか、変動があった場合にはその変動量を算出する変動判定処理を行う（ステップＳＴ５０８）。

ここで、図１３は、実施の形態１において、変動量算出部２０４による図５のステップＳＴ５０８の変動判定処理の動作を詳細に説明するフローチャートである。
変動量算出部２０４は、ステップＳＴ５０６の基準位置変更有無確認処理において、物体位置移動フラグに１が設定されているかどうかを判定する（ステップＳＴ１３０１）。
ステップＳＴ１３０１において、物体位置移動フラグに１が設定されていると判断した場合（ステップＳＴ１３０１の“ＹＥＳ”の場合）、変動量算出部２０４は、一時保存されているカメラ１００が撮影した画像上の物体に関する情報を参照し、位置座標と基準位置座標との差分を算出する（ステップＳＴ１３０２）。

例えば、図９に示すような内容の情報が一時保存されており、エッジ特徴量ｅｅの位置座標について変動判定を行っているとすると、変動量算出部２０４は、エッジ特徴量ｅｅには物体位置移動フラグ１が設定されているので、ステップＳＴ１３０１において物体位置移動フラグ１であると判断し、位置座標（ｘ_５５，ｙ_５５）と基準位置座標（ｘ_５，ｙ_５）の差分を算出する。なお、位置座標と基準位置座標の差分は、例えば、２点間の距離で求めればよい。

変動量算出部２０４は、ステップＳＴ１３０２において算出した位置座標と基準位置座標の差分が、予め設定された閾値以上であるかどうかを判定する（ステップＳＴ１３０３）。ここで判定する閾値については、適宜設定可能とする。

ステップＳＴ１３０３において、位置座標と基準位置座標の差分が、予め設定された閾値以上であると判断された場合（ステップＳＴ１３０３の“ＹＥＳ”の場合）、変動量算出部２０４は、カメラ１００の撮影方向に変動があったものとして、撮影方向変動ありフラグ１を設定し、内部に保有するメモリや、記録媒体１０４の空きスペースなどに一時保存する（ステップＳＴ１３０４）。なお、撮影方向変動ありフラグの初期値は０とする。
このとき、変動量算出部２０４は、ステップＳＴ１３０２で算出した位置座標と基準位置座標との差分を変動量とし、当該変動量と、位置座標と基準位置座標とを一緒に一時保存する。

変動量算出部２０４は、現在のカメラ１００の撮影方向、すなわち、カメラ１００の向きを算出する（ステップＳＴ１３０５）。具体的には、変動量算出部２０４は、ステップＳＴ１３０４で一時保存した位置座標、基準位置座標、変動量と、カメラ１００の設置時のカメラの向きとから、現在のカメラ１００のカメラの向きを算出する。このとき、変動量算出部２０４は、算出した現在のカメラ１００のカメラの向きの情報を、ステップＳＴ１３０４で保存した情報と紐付けて保存する。
なお、カメラ１００の設置時のカメラの向きは、設置時に撮影方向変動検出装置１０６が内部に記憶しているものとする。
そして、図１３の処理を終了する。

ステップＳＴ１３０１において、物体位置移動フラグに１が設定されていないと判断した場合（ステップＳＴ１３０１の“ＮＯ”の場合）、または、ステップＳＴ１３０３において、位置座標と基準位置座標の差分が、予め設定された閾値以上ではないと判断された場合（ステップＳＴ１３０３の“ＮＯ”の場合）、カメラ１００の撮影方向に変動はなかったものとして、図１３の処理を終了する。

図５のフローチャートに戻る。
アラーム部１０５は、ステップＳＴ５０８において、変動量算出部２０４によって、撮影方向変動フラグに１が設定されているかどうかを判定する（ステップＳＴ５０９）。
ステップＳＴ５０９において、撮影方向変動フラグに１が設定されていない場合（ステップＳＴ５０９の“ＮＯ”の場合）、カメラ１００の撮影方向に変動はないと判断し、処理終了する。
ステップＳＴ５０９において、撮影方向変動フラグに１が設定されている場合（ステップＳＴ５０９の“ＹＥＳ”の場合）、アラーム部１０５は、カメラ１００の撮影方向に変動があったとして、警報を出力する（ステップＳＴ５１０）。
警報の出力方法は、例えば、アラーム部１０５が、スピーカ等の音声出力装置（図１においては図示を省略する）からアラーム音を出力させるようにしてもよいし、ディスプレイ等の表示装置（図１においては図示を省略する）に撮影方向に変動があった旨の警告情報を表示させるようにしてもよい。
また、警報を出力するとともに、ステップＳＴ１３０５で変動量算出部２０４が算出した現在のカメラ１００の撮影方向、すなわち、カメラ１００の向きの情報を、例えば、旋回カメラ（図示を省略する）等に送信し、旋回カメラ等においてカメラ１００の撮影方向に死角があるかどうかを判定し、死角があれば、カメラ１００のカメラ向きを修正する制御を行うようにしてもよい。あるいは、カメラ１００の保守作業時に、作業者に、カメラ１００の向きをどれだけ調整すればよいのかの指標として、ステップＳＴ１３０５で変動量算出部２０４が算出した現在のカメラ１００の撮影方向を作業者に通知するようにしてもよい。

図１４は、この発明の実施の形態１に係る撮影方向変動検出装置１０６のハードウェア構成を説明する図である。
この発明の実施の形態１において、記録媒体１０４は、ＨＤＤ１４０２を使用する。なお、これは一例にすぎず、記録媒体１０４は、ＤＶＤ、メモリ１４０３等によって構成されるものであってもよい。
映像信号取得部１０１は、通信Ｉ／Ｆ装置１４０６を使用する。
映像信号処理部１０２と、位置座標算出部２０１と、位置座標比較部２０２と、基準位置座標変更有無確認部２０３と、変動量算出部２０４は、ＨＤＤ１４０２、メモリ１４０３等に記憶されたプログラムを実行するＣＰＵ１４０１、システムＬＳＩ等の処理回路により実現される。
また、複数の処理回路が連携して上記機能を実行してもよい。
アラーム部１０５は、スピーカ１４０４、または、ディスプレイ１４０５を使用する。なお、これは一例であって、アラーム部１０５は、その他のハードウェアで構成されるものであってもよい。

以上のように、この実施の形態１によれば、カメラ１００が撮影した画像上の物体の位置座標を算出し、当該位置座標と基準位置座標との差分に基づいてカメラ１００の撮影方向の変動を判断する際に、当該位置座標と比較する基準位置座標の信頼性を考慮して当該位置座標をグループ分けし、その基準位置座標の信頼性が高いグループにグループ分けされた位置情報から基準位置座標との比較を行うようにしたので、より正確にカメラ１００の撮影方向の変動を検出することができる。

実施の形態２．
実施の形態１では、カメラ１００が撮影した映像から抽出した全ての物体のエッジに基づき、それぞれに対応する基準位置座標を記録媒体１０４から取得し、当該基準位置座標の信頼性グループに基づいてグループ分けして、信頼性の高いグループにグループ分けされた位置座標から基準位置座標との比較を行うようにしていたが、記録媒体１０４に記録されている基準位置座標について、物体の配置換えなどにより多数の基準位置座標が変更となった場合には、記録媒体の更新が追い付かず、カメラ１００の撮影方向の変動の正確な検出ができなくなる可能性がある。
そこで、この実施の形態２では、記録媒体１０４で記録する基準位置座標を含む基準位置関連情報をリアルタイムに反映する実施の形態について説明する。

図１５は、この発明の実施の形態２に係る撮影方向変動検出装置１０６の構成図である。
図１５において、実施の形態１で図１を用いて説明した構成と同様の構成については同じ符号を付して重複した説明を省略する。
この発明の実施の形態２に係る撮影方向変動検出装置１０６は、図１５に示すように、図１の撮影方向変動検出装置１０６とは、基準位置座標用情報取得部１０７と、基準位置情報設定制御部１０８とをさらに備える点が異なるのみである。

基準位置座標用情報取得部１０７は、カメラ９０１が撮影した画像、および、カメラ９０１の設置位置と撮影方向の情報を常時取得する。なお、カメラ９０１は、撮影方向の変動を検出しようとするカメラ１００とは別の撮像装置であり、少なくともカメラ１００が撮影している範囲を撮影するものである。なお、カメラ９０１は、広い範囲で物体を検出できるような撮像装置、例えば、旋回カメラや全方位カメラを使用すると、記録媒体１０４に記録されるエッジの特徴量を増やすことができる。

基準位置情報設定制御部１０８は、基準位置座標用情報取得部１０７が取得したカメラ９０１の撮影画像、および、カメラ９０１の設置位置と撮影方向の情報に基づき、基準位置座標と、当該基準位置座標を含む基準位置関連情報を設定し、記録媒体１０４に記録させる。

図１６は、この発明の実施の形態２の基準位置情報設定制御部１０８の内部構成図である。
図１６に示すように、基準位置情報設定制御部１０８は、エッジ抽出部１６０１と、基準位置座標決定部１６０３と、信頼性グループ設定部１６０４と、周辺物体ＩＤ設定部１６０５と、基準位置情報設定部１６０６を備える。
エッジ抽出部１６０１は、基準位置座標用情報取得部１０７が取得したカメラ９０１の撮影画像上の全ての物体を取得し、取得した全ての物体のエッジを抽出する。
基準位置座標決定部１６０３は、エッジ抽出部１６０１が抽出したカメラ９０１の撮影画像上の全ての物体のエッジの情報に基づき、撮影画像上の物体それぞれの基準位置座標を設定する。
信頼性グループ設定部１６０４は、各物体に対応する基準位置座標の信頼性グループを設定する。
周辺物体ＩＤ設定部１６０５は、各物体の周辺の物体の物体ＩＤを周辺物体ＩＤに設定する。
基準位置情報設定部１６０６は、記録媒体１０４に記録させる基準位置関連情報を設定し、当該設定した基準位置関連情報を記録媒体１０４に記録させる。

動作について説明する。
なお、以下では、この実施の形態２に係る撮影方向変動検出装置１０６の動作について、実施の形態１で説明した動作とは異なる動作についてのみ説明し、実施の形態１で説明済みの動作については重複した説明を省略する。
この実施の形態２に係る撮影方向変動検出装置１０６の動作については、まず、向き変動判定部１０３の位置座標算出部２０１による位置座標算出の方法が、実施の形態１とは異なる。実施の形態１では、共通座標軸を、ユーザが入力した、監視対象のフロアの平面座標としていたが、この実施の形態２においては、基準とするカメラ９０１の撮影画像上の座標軸を共通座標軸とする。すなわち、位置座標算出部２０１は、位置座標算出の際には、カメラ９０１の撮影画像上の座標軸へと変換した座標を、物体の位置座標として算出するものとする。
また、この実施の形態２に係る撮影方向変動検出装置１０６では、実施の形態１で説明した撮影方向変動検出装置１０６の動作に、基準位置座標を算出し、記録媒体１０４に記録させる動作が追加される。
この発明の実施の形態２に係る撮影方向変動検出装置１０６は、以下に説明する動作により基準位置座標を含む基準位置関連情報が設定された記録媒体１０４を参照して、実施の形態１で図５を用いて説明したような、カメラ１００の撮影方向の変動の検出を行う。

図１７は、実施の形態２において、基準位置関連情報を設定し、記録媒体１０４に記録させる動作を説明するフローチャートである。
基準位置座標用情報取得部１０７は、カメラ９０１が撮影した画像、および、カメラ９０１の設置位置と撮影方向の情報を常時取得する（ステップＳＴ１７０１）。
基準位置情報設定制御部１０８のエッジ抽出部１６０１は、基準位置座標用情報取得部１０７が取得したカメラ９０１の撮影画像上の全ての物体を取得し、当該取得した全ての物体のエッジを抽出する（ステップＳＴ１７０２）。なお、エッジは特徴量として検出するものとし、エッジの検出には、公知の画像処理方法を用いることができる。例えば、エッジ抽出部１６０１は、エッジの急激な濃度値変化部分を関数の変化分として取り出す微分演算法、エッジの方向に対応する８種類のマスクを用意し、画像と比較してもっとも似たパターンを選ぶテンプレート・マッチングを使ったＰｒｅｗｉｔｔ ｆｉｌｔｅｒなどを利用して、物体のエッジを検出する。なお、この時、エッジ抽出部１６０１は、抽出したエッジごとに物体ＩＤを付与する。付与する物体ＩＤは、例えば１からの連番等、適宜設定すればよく、物体ＩＤが重複しないようになっていればよい。

基準位置情報設定制御部１０８の基準位置座標決定部１６０３は、ステップＳＴ１７０２においてエッジ抽出部１６０１が抽出したエッジの情報に基づき、撮影画像上の物体それぞれの基準位置座標を設定する（ステップＳＴ１７０３）。具体的には、基準位置座標決定部１６０３は、エッジ抽出部１６０１が抽出した物体のエッジの中点の座標を基準位置座標とする。

基準位置情報設定制御部１０８の信頼性グループ設定部１６０４は、各基準位置座標の信頼性グループを設定する（ステップＳＴ１７０４）。具体的には、例えば、信頼性グループ設定部１６０４は、ステップＳＴ１７０２で抽出したエッジの特徴量をキーにして予めエッジの特徴量と信頼性グループとが対応付けられたデータとのマッチングを行い、一致したエッジの特徴量に対応付けられた信頼性グループを該当の基準位置座標の信頼性グループに設定するようにすればよい。

基準位置情報設定制御部１０８の周辺物体ＩＤ設定部１６０５は、各物体の周辺の物体の物体ＩＤを周辺物体ＩＤに設定する（ステップＳＴ１７０５）。具体的には、周辺物体ＩＤ設定部１６０５は、ステップＳＴ１７０２でエッジを抽出した物体それぞれについて、ステップＳＴ１７０３で設定した各々の物体の基準位置座標に基づき、予め設定された範囲内にある他の物体を特定し、特定した物体の物体ＩＤを周辺物体ＩＤに設定する。

基準位置情報設定制御部１０８の基準位置情報設定部１６０６は、記録媒体１０４に記録させる基準位置関連情報を設定し、当該設定した基準位置関連情報を記録媒体１０４に記録させる（ステップＳＴ１７０６）。具体的には、基準位置情報設定部１６０６は、ステップＳＴ１７０２で抽出、設定したエッジの特徴量と物体ＩＤと、ステップＳＴ１７０３で設定した基準位置座標と、ステップＳＴ１７０４で設定した信頼性グループと、ステップＳＴ１７０５で設定した周辺物体ＩＤとを紐づけて基準位置関連情報とし、当該基準位置関連情報を記録媒体１０４に記録させる。

この発明の実施の形態２に係る撮影方向変動検出装置１０６のハードウェア構成は、実施の形態１において図１４を用いて説明したハードウェア構成と同様であるため重複した説明を省略する。
基準位置座標用情報取得部１０７と、エッジ抽出部１６０１と、基準位置座標決定部１６０３と、信頼性グループ設定部１６０４と、周辺物体ＩＤ設定部１６０５と、基準位置情報設定部１６０６は、ＨＤＤ１４０２、メモリ１４０３等に記憶されたプログラムを実行するＣＰＵ１４０１、システムＬＳＩ等の処理回路により実現される。
また、複数の処理回路が連携して上記機能を実行してもよい。
なお、ステップＳＴ１７０３〜ステップＳＴ１７０５の処理の順番はこれに限らず、入れ替えてもよい。

以上のように、実施の形態２によれば、記録媒体１０４に記録される基準位置座標は予め登録されたものではなく、基準座標関連情報設定用のカメラ９０１から常時取得した情報に基づきリアルタイムに反映するようにしたので、撮影方向の変動を検出しようとするカメラ１００の撮影画像上の物体の位置座標の比較対象とする基準位置座標の移動をリアルタイムに記録媒体１０４の情報に反映することができる。
また、基準位置座標の変動をリアルタイムに反映できるため、固定された物体ではなく、人のような移動する物体の位置座標でも基準位置座標として、カメラ１００の撮影方向の変動判定の際の比較の対象とすることができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態１において、撮影方向変動検出装置１０６は、図１，２に示すような構成としたが、撮影方向変動検出装置１０６は、位置座標算出部２０１と、位置座標比較部２０２と、変動量算出部２０４とを備えることで上述した効果が得られる。

１００，９０１ カメラ、１０１ 映像信号取得部、１０２ 映像信号処理部、１０３ 向き変動判定部、１０４ 記録媒体、１０５ アラーム部、１０６ 撮影方向変動検出装置、１０７ 基準位置座標用情報取得部、１０８ 基準位置情報設定制御部、２０１ 位置座標算出部、２０２ 位置座標比較部、２０３ 基準位置座標変更有無確認部、２０４ 変動量算出部、１４０１ ＣＰＵ、１４０２ ＨＤＤ、１４０３ メモリ、１４０４ スピーカ、１４０５ ディスプレイ、１４０６ 通信Ｉ／Ｆ装置、１６０１ エッジ抽出部、１６０３ 基準位置座標決定部、１６０４ 信頼性グループ設定部、１６０５ 周辺物体ＩＤ設定部、１６０６ 基準位置情報設定部。

Claims (7)

1. 撮像装置が撮影した画像に基づき、前記画像上の物体の位置座標を算出し、前記算出した位置座標について、当該位置座標の比較対象とする基準位置座標に対し物体の移動可能性に応じた信頼度に基づき設定された信頼性グループに応じて、グループ分けを行う位置座標算出部と、
   前記位置座標算出部が算出した位置座標について、信頼性の高いグループにグループ分けされた前記位置座標から順に、前記基準位置座標との比較を行い、前記位置座標と前記基準位置座標とが一致するかどうかを判定する位置座標比較部と、
   前記位置座標比較部の判定結果に基づき、前記位置座標と前記基準位置座標との差分を算出し、当該算出した差分が閾値以上となった場合に、前記撮像装置の撮影方向の変動を検出する変動量算出部
   とを備えた撮影方向変動検出装置。
2. 前記位置座標比較部によって前記位置座標と前記基準位置座標とが一致しないと判断された場合、当該一致しないと判断された位置座標がグループ分けされた前記グループに応じて、前記比較対象とした基準位置座標に変更がないかどうかの判定を行う基準位置座標変更有無確認部をさらに備え、
   前記変動量算出部は、
   前記位置座標比較部が前記位置座標と前記基準位置座標とが一致しないと判断し、かつ、前記基準位置座標変更有無確認部が前記基準位置座標に変更がないと判断した場合に、前記位置座標と前記基準位置座標との差分を算出し、当該算出した差分が閾値以上となった場合に前記撮像装置の撮影方向の変動を検出する
   ことを特徴とする請求項１記載の撮影方向変動検出装置。
3. 前記撮像装置が撮影した画像上の物体を検出し、当該検出した物体のエッジを抽出する映像信号処理部をさらに備え、
   前記位置座標算出部は、
   前記映像信号処理部が抽出したエッジの特徴量に基づき、前記画像上の物体の位置座標を算出する
   ことを特徴とする請求項１または請求項２記載の撮影方向変動検出装置。
4. 前記変動量算出部が前記撮像装置の撮影方向の変動を検出した場合に、警報を出力させるアラーム部をさらに備えた
   ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の撮影方向変動検出装置。
5. 前記基準位置座標変更有無確認部は、
   前記基準位置座標に変更があったと判断した場合に、前記基準位置座標を、前記比較を行った前記位置座標の内容に更新する
   ことを特徴とする請求項２記載の撮影方向変動検出装置。
6. 前記撮像装置とは別の撮像装置が撮影した画像を取得する基準位置座標用情報取得部と、
   前記基準位置座標用情報取得部が取得した画像上の物体を検出し、当該検出した物体のエッジを抽出するエッジ抽出部と、
   前記エッジ抽出部が抽出した画像上の物体のエッジの情報に基づき、前記基準位置座標を設定する基準位置座標決定部
   とをさらに備えたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の撮影方向変動検出装置。
7. 位置座標算出部が、撮像装置が撮影した画像に基づき、前記画像上の物体の位置座標を算出し、前記算出した位置座標について、当該位置座標の比較対象とする基準位置座標に対し物体の移動可能性に応じた信頼度に基づき設定された信頼性グループに応じて、グループ分けを行い、
   位置座標比較部が、前記位置座標算出部が算出した位置座標について、信頼性の高いグループにグループ分けされた前記位置座標から順に、前記基準位置座標との比較を行い、前記位置座標と前記基準位置座標とが一致するかどうかを判定し、
   変動量算出部が、前記位置座標比較部の判定結果に基づき、前記位置座標と前記基準位置座標との差分を算出し、当該算出した差分が閾値以上となった場合に、前記撮像装置の撮影方向の変動を検出する
   ことを特徴とする撮影方向変動検出方法。

Images