しかしながら、上記特許文献1に係る技術では、複数のテンプレートパターンの作成、各パターン毎のマッチング処理、各パターン毎の移動ベクトルの算出等を行うので、カメラに配設される処理部に高い処理能力が必要とされる。したがって、特許文献1に係る技術では、動体検知機能付監視カメラを低コストで提供することができない。
そこで、本発明は、低コストで、撮像部の揺れ補正を実施することができる動体検知機能付監視カメラを提供することを目的とする。
上記の目的を達成するために、本発明に係る請求項1に記載の動体検知機能付監視カメラは、撮像部と、基準エッジ画素の座標情報である、基準エッジ画素座標を保持する基準情報保持部と、前記撮像部で撮像された対象デジタル画像から得られる連続したエッジ画素を、対象エッジ画素として検出するエッジ判別部と、前記対象デジタル画像における前記対象エッジ画素の座標情報である、対象エッジ画素座標を求めるエッジ特徴性算出部と、前記基準画素座標と前記対象エッジ画素座標とを比較する、座標比較処理を行うエッジ特徴比較部と、前記座標比較処理の結果に基づいて前記撮像部の揺れ量を求め、前記揺れ量に応じて前記対象デジタル画像の座標を補正する補正処理を行い、前記補正後の前記対象デジタル画像から、移動体を検出する動体検知処理を行う動体検知部とを、備えており、前記基準エッジ画素とは、前記撮像部の撮像領域に存する固定物に起因して、デジタル画像内に連続して形成されたエッジ画素である。
また、本発明に係る請求項2に記載の動体検知機能付監視カメラは、請求項1に記載の動体検知機能付監視カメラであって、前記基準情報保持部は、前記デジタル画像の隅部に存する前記固定物に起因した前記基準エッジ画素の座標を、前記基準エッジ画素座標として保持している。
また、本発明に係る請求項3に記載の動体検知機能付監視カメラは、請求項2に記載の動体検知機能付監視カメラであって、前記基準情報保持部は、前記デジタル画像における前記固定物が存する範囲を、固定物範囲として保持しており、前記エッジ判別部は、前記対象デジタル画像における、前記固定物範囲を含み、前記固定物範囲より所定量だけ広い固定物判定範囲から、前記対象エッジ画素を検出する。
また、本発明に係る請求項4に記載の動体検知機能付監視カメラは、請求項3に記載の動体検知機能付監視カメラであって、前記基準情報保持部は、前記基準エッジ画素座標から得られる、前記基準エッジ画素の形状に関する基準エッジ特徴量を、保持している。
また、本発明に係る請求項5に記載の動体検知機能付監視カメラは、請求項4に記載の動体検知機能付監視カメラであって、前記エッジ特徴性算出部は、前記対象エッジ画素座標から得られる、前記対象エッジ画素の形状に関する対象エッジ特徴量を、算出する。
また、本発明に係る請求項6に記載の動体検知機能付監視カメラは、請求項5に記載の動体検知機能付監視カメラであって、前記エッジ特徴比較部は、前記対象エッジ特徴量と前記基準エッジ特徴量との差が、予め設定されている差分閾値以下であるとき、前記対象エッジ画素は、前記固定物に起因したものであると判断し、前記動体検知部は、前記固定物に起因していると判断した前記対象エッジ画素を用いて、前記補正処理を実行する。
また、本発明に係る請求項7に記載の動体検知機能付監視カメラは、請求項6に記載の動体検知機能付監視カメラであって、前記基準情報保持部は、前記基準エッジ画素座標から、前記デジタル画像の隅部に近い側に所定量だけ離れた位置に存する画素の輝度に関する基準輝度情報を、保持している。
また、本発明に係る請求項8に記載の動体検知機能付監視カメラは、請求項7に記載の動体検知機能付監視カメラであって、対象デジタル画像を構成する画素から輝度値を検出する輝度検出部を、さらに備えており、前記エッジ特徴比較部は、前記対象デジタル画像において、前記対象エッジ画素座標から、当該対象デジタル画像の隅部に近い側に前記所定量だけ離れた位置に存する前記画素において、当該画素の輝度に関する対象輝度情報を、前記輝度検出部で検出した前記輝度値を用いて求める。
また、本発明に係る請求項9に記載の動体検知機能付監視カメラは、請求項8に記載の動体検知機能付監視カメラであって、前記エッジ特徴比較部は、前記基準輝度情報と前記対象輝度情報との差が、予め設定されている輝度差分閾値より大きいとき、前記対象エッジ画素は、前記固定物に起因したものでないと判断する。
また、本発明に係る請求項10に記載の動体検知機能付監視カメラは、請求項9に記載の動体検知機能付監視カメラであって、前記基準輝度情報は、前記基準エッジ画素を構成する各画素の輝度値から選択される、基準最大輝度値であり、前記対象輝度情報は、前記対象エッジ画素を構成する各画素の輝度値から選択される、対象最大輝度値であり、前記エッジ特徴比較部は、前記基準最大輝度値と前記対象最大輝度値との差が、予め設定されている最大輝度差分閾値より大きいとき、前記対象エッジ画素は、前記固定物に起因したものでないと判断する。
また、本発明に係る請求項11に記載の動体検知機能付監視カメラは、請求項9に記載の動体検知機能付監視カメラであって、前記基準輝度情報は、前記基準エッジ画素を構成する各画素の輝度値から選択される、基準最小輝度値であり、前記対象輝度情報は、前記対象エッジ画素を構成する各画素の輝度値から選択される、対象最小輝度値であり、前記エッジ特徴比較部は、前記基準最小輝度値と前記対象最小輝度値との差が、予め設定されている最小輝度差分閾値より大きいとき、前記対象エッジ画素は、前記固定物に起因したものでないと判断する。
また、本発明に係る請求項12に記載の動体検知機能付監視カメラは、請求項9に記載の動体検知機能付監視カメラであって、前記基準輝度情報は、前記基準エッジ画素を構成する各画素の輝度値から得られる、基準平均輝度値であり、前記対象輝度情報は、前記対象エッジ画素を構成する各画素の輝度値から得られる、対象平均輝度値であり、前記エッジ特徴比較部は、前記基準平均輝度値と前記対象平均輝度値との差が、予め設定されている平均輝度差分閾値より大きいとき、前記対象エッジ画素は、前記固定物に起因したものでないと判断する。
また、本発明に係る請求項13に記載の動体検知機能付監視カメラは、請求項9に記載の動体検知機能付監視カメラであって、前記基準輝度情報は、前記基準エッジ画素を構成する各画素の輝度値と当該輝度値の画素数との分布から得られる、基準最頻度輝度値であり、前記対象輝度情報は、前記対象エッジ画素を構成する各画素の輝度値と当該輝度値の画素数との分布から得られる、対象最頻度輝度値であり、前記エッジ特徴比較部は、前記基準最頻度輝度値と前記対象最頻度輝度値との差が、予め設定されている最頻度輝度差分閾値より大きいとき、前記対象エッジ画素は、前記固定物に起因したものでないと判断する。
また、本発明に係る請求項14に記載の動体検知機能付監視カメラは、請求項9に記載の動体検知機能付監視カメラであって、前記対象デジタル画像において、前記固定物に起因したものであると判断された前記対象エッジ画素が複数存するとき、前記動体検知部は、所定数の前記対象エッジ画素毎の前記座標比較処理の結果に基づいて、前記所定数の前記対象エッジ画素毎に揺れ量を求め、同一値である前記揺れ量が最も多い揺れ量に基づいて、前記補正処理を行う。
また、本発明に係る請求項15に記載の動体検知機能付監視カメラは、請求項14に記載の動体検知機能付監視カメラであって、前記エッジ特徴性算出部は、前記対象エッジ画素毎に、エッジ画素の連続長であるエッジ長を算出し、前記動体検知部は、前記エッジ長が最長である前記対象エッジ画素から所定の番目の長さの前記対象エッジ画素までの、前記所定数の前記対象エッジ画素の前記座標比較処理の結果に基づいて、前記所定数の前記対象エッジ画素毎に揺れ量を求め、同一値である前記揺れ量が最も多い揺れ量に基づいて、前記補正処理を行う。
本発明の請求項1に記載の動体検知機能付監視カメラは、撮像部と、基準エッジ画素の座標情報である、基準エッジ画素座標を保持する基準情報保持部と、撮像部で撮像された対象デジタル画像から得られる連続したエッジ画素を、対象エッジ画素として検出するエッジ判別部と、対象デジタル画像における対象エッジ画素の座標情報である、対象エッジ画素座標を求めるエッジ特徴性算出部と、基準画素座標と対象エッジ画素座標とを比較する、座標比較処理を行うエッジ特徴比較部と、座標比較処理の結果に基づいて撮像部の揺れ量を求め、揺れ量に応じて対象デジタル画像の座標を補正する補正処理を行い、補正後の対象デジタル画像から、移動体を検出する動体検知処理を行う動体検知部とを、備えており、基準エッジ画素とは、撮像部の撮像領域に存する固定物に起因して、デジタル画像内に連続して形成されたエッジ画素である。
このように、基準情報保持部に格納されている基準エッジ画素座標を用いて、揺れ量算出処理、揺れ補正処理、動体検知処理を行う。したがって、前記各処理行うブロックは、処理能力の低いものでよい。よって、低コストで、撮像部の揺れ補正を実施することができる動体検知機能付監視カメラを提供することができる。
また、基準情報保持部には基準エッジ画素座標を保持し、基準デジタル画像の全データを保持しているわけではない。よって、基準情報保持部は小容量ですみ、この観点からも、低コスト化を図ることができる。
また、本発明に係る請求項2に記載の動体検知機能付監視カメラでは、基準情報保持部は、デジタル画像の隅部に存する固定物に起因した基準エッジ画素の座標を、基準エッジ画素座標として保持している。
したがって、移動体検知エリアとならないデジタル画像の隅部に、揺れ補正の基準となる固定物を定めることにより、揺れ補正の精度の低下や動体検知の誤判断を防止することができる。
また、本発明に係る請求項3に記載の動体検知機能付監視カメラでは、基準情報保持部は、デジタル画像における固定物が存する範囲を、固定物範囲として保持しており、エッジ判別部は、対象デジタル画像における、固定物範囲を含み、固定物範囲より所定量だけ広い固定物判定範囲から、対象エッジ画素を検出する。
したがって、固定物に起因すると想定される対象エッジ画素を検出する範囲が限定されるので、固定物に起因すると想定される以外の対象エッジ画素の検出を極力抑制できる。さらに、固定物に起因すると想定される対象エッジ画素の検出処理をより短時間で行うことができる。
また、本発明に係る請求項4に記載の動体検知機能付監視カメラでは、基準情報保持部は、基準エッジ画素座標から得られる、基準エッジ画素の形状に関する基準エッジ特徴量を、保持している。
したがって、たとえばエッジ高さ・エッジ幅・エッジ長などのエッジ特徴量を用いて、固定物に起因すると想定される対象エッジ画素を検出できる。よって、より精度良く、固定物に起因すると想定される対象エッジ画素を取捨選択できる。
また、本発明に係る請求項5に記載の動体検知機能付監視カメラでは、エッジ特徴性算出部は、対象エッジ画素座標から得られる、対象エッジ画素の形状に関する対象エッジ特徴量を、算出する。
したがって、基準エッジ特徴量と当該算出される対象エッジ特徴量とを用いて、固定物に起因すると想定される対象エッジ画素を検出できる。よって、より精度良く、簡単な処理により、固定物に起因すると想定される対象エッジ画素を取捨選択できる。
また、本発明に係る請求項6に記載の動体検知機能付監視カメラでは、エッジ特徴比較部は、対象エッジ特徴量と基準エッジ特徴量との差が、予め設定されている差分閾値以下であるとき、対象エッジ画素は、固定物に起因したものであると判断し、動体検知部は、固定物に起因していると判断した対象エッジ画素を用いて、補正処理を実行する。
したがって、固定物に起因している確率のかなり高い対象エッジ画素の絞込みを、簡単な処理により実現される。また、当該対象エッジ画素を用いての補正処理が実行される。よって、撮像部の揺れ補正の精度をより向上させることができる。
また、本発明に係る請求項7に記載の動体検知機能付監視カメラでは、基準情報保持部は、基準エッジ画素座標から、デジタル画像の隅部に近い側に所定量だけ離れた位置に存する画素の輝度に関する基準輝度情報を、保持している。
したがって、比較的少ない画素数の各画素が有する輝度情報を用いて、対象エッジ画素が固定物に起因するものであるか否かを、より精度良く特定する処理を実施できる。
また、本発明に係る請求項8に記載の動体検知機能付監視カメラは、対象デジタル画像を構成する画素から輝度値を検出する輝度検出部を、さらに備えており、エッジ特徴比較部は、対象デジタル画像において、対象エッジ画素座標から、対象デジタル画像の隅部に近い側に所定量だけ離れた位置に存する画素において、当該画素の輝度に関する対象輝度情報を、輝度検出部で検出した輝度値を用いて求める。
したがって、基準輝度情報と対象輝度情報との比較により、対象エッジ画素が固定物に起因するものであるか否かを、より精度良く特定できる。
また、本発明に係る請求項9乃至13に記載の動体検知機能付監視カメラでは、エッジ特徴比較部は、基準輝度情報と対象輝度情報との差が、予め設定されている輝度差分閾値より大きいとき、対象エッジ画素は、固定物に起因したものでないと判断する。
たとえば、基準輝度情報は、基準エッジ画素を構成する各画素の輝度値から選択される、基準最大輝度値であり、対象輝度情報は、対象エッジ画素を構成する各画素の輝度値から選択される、対象最大輝度値であり、エッジ特徴比較部は、基準最大輝度値と対象最大輝度値との差が、予め設定されている最大輝度差分閾値より大きいとき、対象エッジ画素は、固定物に起因したものでないと判断する。
また、基準輝度情報は、基準エッジ画素を構成する各画素の輝度値から選択される、基準最小輝度値であり、対象輝度情報は、対象エッジ画素を構成する各画素の輝度値から選択される、対象最小輝度値であり、エッジ特徴比較部は、基準最小輝度値と対象最小輝度値との差が、予め設定されている最小輝度差分閾値より大きいとき、対象エッジ画素は、固定物に起因したものでないと判断する。
また、基準輝度情報は、基準エッジ画素を構成する各画素の輝度値から得られる、基準平均輝度値であり、対象輝度情報は、対象エッジ画素を構成する各画素の輝度値から得られる、対象平均輝度値であり、エッジ特徴比較部は、基準平均輝度値と対象平均輝度値との差が、予め設定されている平均輝度差分閾値より大きいとき、対象エッジ画素は、固定物に起因したものでないと判断する。
また、基準輝度情報は、基準エッジ画素を構成する各画素の輝度値と当該輝度値の画素数との分布から得られる、基準最頻度輝度値であり、対象輝度情報は、対象エッジ画素を構成する各画素の輝度値と当該輝度値の画素数との分布から得られる、対象最頻度輝度値であり、エッジ特徴比較部は、基準最頻度輝度値と対象最頻度輝度値との差が、予め設定されている最頻度輝度差分閾値より大きいとき、対象エッジ画素は、固定物に起因したものでないと判断する。
以上により、検出した対象画素エッジが固定物に起因したものであると誤判断されることを、抑制することができる。
また、本発明に係る請求項14に記載の動体検知機能付監視カメラは、対象デジタル画像において、固定物に起因したものであると判断された対象エッジ画素が複数存するとき、動体検知部は、所定数の対象エッジ画素毎の座標比較処理の結果に基づいて、所定数の対象エッジ画素毎に揺れ量を求め、同一値である揺れ量が最も多い揺れ量に基づいて、補正処理を行う。
したがって、固定物に起因すると判断された対象エッジ画素が複数であったとしても、より適切な揺れ量を求めることができる。
また、本発明に係る請求項15に記載の動体検知機能付監視カメラでは、エッジ特徴性算出部は、対象エッジ画素毎に、エッジ画素の連続長であるエッジ長を算出し、動体検知部は、エッジ長が最長である対象エッジ画素から所定の番目の長さの対象エッジ画素までの、所定数の対象エッジ画素の座標比較処理の結果に基づいて、所定数の対象エッジ画素毎に揺れ量を求め、同一値である揺れ量が最も多い揺れ量に基づいて、補正処理を行う。
したがって、様々なエッジ長を有する全対象エッジ画素を対象として揺れ量を求めることをしないので、適正な揺れ量をより短時間で求めることができる。
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
<実施の形態>
図1は、本実施の形態に係る動体検知機能付監視カメラ100の構成を示すブロック図である。
動体検知機能付監視カメラ100は、建物の壁や天井等に設置される。そして、監視エリアに侵入する不審者等を検知し、当該検知結果をたとえば他の外部装置に転送することができる。また、動体検知機能付監視カメラ100は、移動体検出の誤判断を防止するために、振動や風による撮像部の揺れに対する補正を実施することができる。
図1に示すように、動体検知機能付監視カメラ100内には、撮像部10、ブロック選択部20、エッジ判別部30、輝度検出部40、エッジ特徴性算出部50、基準情報保持部60、エッジ特徴比較部70、および動体検知部80が配設されている。
撮像部10は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子から構成されており、所定のエリアを撮像する。
図2に示すように、撮像部10で撮像されたデジタル画像Dが、複数のブロックBでマトリクス状(8×8)に分割されているとする。この場合において、ブロック選択部20は、外部操作に応じて、当該複数のブロックBの中から所定のブロックBを選択することができる。ここで、各ブロックBは、複数の画素により構成されている。
エッジ判別部30は、撮像部10で撮像された対象デジタル画像から得られる連続したエッジ画素を、対象エッジ画素として検出することができる。
ここで、対象デジタル画像とは、揺れ補正処理が実施され、補正後において移動体を検知するために使用されるデジタル画像である。
また、デジタル画像において、被写体に起因して生じるエッジ画素は、複数画素より構成され、画素同士の連続性を有している。図3は、デジタル画像Dの一部を示す図である。デジタル画像Dは、図3に示すように、マトリクス状に配設された複数の画素Gaにより構成されている。図3において、斜線の画素がエッジ画素EGaである。図3に例示するように、対象エッジ画素OGは、複数のエッジ画素EGaから構成されており、各エッジ画素EGaは連続している。対象デジタル画像から抽出され、連続する複数のエッジ画素EGaの塊を対象エッジ画素OGと称する。
輝度検出部40は、デジタル画像を構成する各画素において、各画素の有する輝度値を検出(抽出する)。なお、本実施の形態では、後述するエッジ特徴比較部70において、、輝度検出部40から出力された輝度値に基づいて、対象輝度情報を検出する。具体的に、エッジ特徴比較部70は、対象デジタル画像において、対象エッジ画素座標から所定量(LN)だけ離れた位置に存する複数の画素から、当該各画素の輝度に関する対象輝度情報を検出する。
ここで、対象エッジ画素座標とは、上記対象エッジ画素OGの対象デジタル画像における座標である。また、上記所定量(LN)は、ユーザによる外部操作により、動体検知機能付監視カメラ100に予め設定されており、当該所定量(LN)は、所望の値に変更することができる。
エッジ特徴性算出部50は、対象デジタル画像における対象エッジ画素の座標情報である、上記対象エッジ画素座標を求めることができる。また、エッジ特徴性算出部50は、対象エッジ画素座標から得られる、当該対象エッジ画素の形状に関する対象エッジ特徴量を、算出する。
たとえば、エッジ特徴性算出部50は、図3に例示する対称エッジ画素OGの座標情報から、エッジ高さH、エッジ幅W、およびエッジ長L(=H+W)を算出する。エッジ高さH、エッジ幅Wおよびエッジ長Lが、対象エッジ特徴量である。ここで、エッジ高さHとは、対象デジタル画像における垂直方向の対象エッジ画素OGの寸法である。また、エッジ幅とは、対象デジタル画像における水平方向の対象エッジ画素OGの寸法である。また、エッジ長Lは、対象デジタル画像の対象エッジ画素OGにおける、エッジ高さHとエッジ幅Wとの和である。
基準情報保持部60は、基準エッジ画素の座標情報である基準エッジ画素座標を、予め保持している。
ここで、基準エッジ画素は、デジタル画像において被写体である固定物(撮像部10の撮像領域に存する固定物)に起因して発生(形成)したエッジ画素の塊である。対象エッジ画素OGと同様に、基準エッジ画素も、連続する複数のエッジ画素により構成される(図3参照)。
一般的に、デジタル画像の中心部領域が動体検知エリアとなる。したがって、図4に示すように、揺れ補正の際の基準となる家屋等の移動が起こらない固定物Stは、デジタル画像Dの隅部に写るものが採用される。よって、基準情報保持部60には、デジタル画像の隅部に存する固定物Stに起因した基準エッジ画素BGの座標情報(基準エッジ画素座標)が保持される(図5)。
なお、当該基準エッジ画像座標は、ユーザの外部操作により、基準情報保持部60に直接設定しても良い。しかし、撮像部10で揺れ補正の際に基準となる基準デジタル画像を撮像し、エッジ判別部30で得られた基準デジタル画像から上記固定物Stに起因して発生した基準エッジ画素EGを検出し、エッジ特徴性算出部50で算出した前記基準エッジ画素座標を、基準情報保持部60で自動的に保持する構成を採用することもできる。
当該エッジ画素座標を自動的に保持する構成を採用する場合には、デジタル画像の隅部に写される固定物Stの座標情報(図4に示す砂地部の画素の座標)を登録しておくと良い。または、デジタル画像の隅部に写される固定物Stが存する上記ブロック(図4に示す砂地部が含まれる最小数のブロック)をブロック選択部20を用いて登録しておくと良い。これにより、基準デジタル画像から当該固定物Stに起因したエッジ画素を容易に抽出(特定)できる。ここで、デジタル画像における、当該固定物Stの座標情報または固定物Stが存する範囲のブロックに関する情報は、固定物の存する範囲を固定物範囲として基準情報保持部60に保持しておく。
なお、上述したエッジ判別部30は、対象デジタル画像における固定物判定範囲から、対象エッジ画素OGを検出する。ここで、図6に示すように、固定物判定範囲Sjとは、デジタル画像Dにおける上記固定物範囲Stを含み、当該固定物範囲Stより所定量だけ広い範囲である。たとえば、固定物判定範囲Sjの水平寸法は、固定物範囲Stの水平寸法のN倍とし、固定物判定範囲Sjの垂直寸法は、固定物範囲Stの垂直寸法のM倍とすることができる。ここで、N,Mは任意の正数であり、動体検知機能付監視カメラ100に予め設定されている。また、固定物範囲Stの中心と固定物判定範囲Sjの中心とは、一致している。
また、基準情報保持部60は、上記基準エッジ画素座標から得られる、基準エッジ画素の形状に関する基準エッジ特徴量(エッジ高さ、エッジ幅、およびエッジ長)を、保持している。当該基準エッジ特徴量は、ユーザの外部操作により、基準情報保持部60に直接設定しても良い。しかし、撮像部10で揺れ補正の際に基準となる基準デジタル画像を撮像し、エッジ判別部30で得られた基準デジタル画像から上記固定物Stに起因して発生した基準エッジ画素EGを検出し、エッジ特徴性算出部50で算出した前記基準エッジ特徴量を、基準情報保持部60で自動的に保持する構成を採用することもできる。
また、基準情報保持部60は、基準エッジ画素座標から上記所定量(LN)だけ離れた位置に存する複数の画素において、各画素の輝度に関する基準輝度情報を、保持している。ここで、固定物Stは、デジタル画像の隅部に写るものを採用される。基準情報保持部60で保持される基準輝度情報は、図7に示すように、基準エッジ画素座標BGから、当該デジタル画像Dの隅部に近い側に上記所定量(LN)だけ離れた位置に存する複数の画素における、各画素の輝度に関する情報を採用する。同様に、本実施の形態では、エッジ特徴比較部70は、対象デジタル画像において、対象エッジ画素座標から、当該対象デジタル画像の隅部に近い側に所定量(LN)だけ離れた位置に存する複数の画素から、当該各画素の輝度に関する対象輝度情報を検出する。
また、基準情報保持部60は、上記基準輝度情報は、ユーザの外部操作により、基準情報保持部60に直接設定しても良い。しかし、撮像部10で揺れ補正の際に基準となる基準デジタル画像を撮像し、エッジ判別部30で得られた基準デジタル画像から上記固定物Stに起因して発生した基準エッジ画素EGを検出し、輝度検出部40で基準デジタル画像から輝度値を抽出し、エッジ特徴比較部70で検出した前記基準輝度情報を、基準情報保持部60で自動的に保持する構成を採用することもできる。
なお、基準エッジ画素座標、基準エッジ特徴量および基準輝度情報は、揺れ補正処理・動体検知処理の際に使用される基準情報なので、当該処理に先立って、これらの情報は基準情報保持部60に保持されるべきことは言うまでもない。
エッジ特徴比較部70は、上記基準画素座標と上記対象エッジ画素座標とを比較する。また、エッジ特徴比較部70は、上記対象エッジ特徴量と上記基準エッジ特徴量との差が、予め設定されている差分閾値以下であるか否かを判断する。そして、当該差が差分閾値以下であることを検出したときには、エッジ特徴比較部70は、上記対象デジタル画像から検出した対象エッジ画素は、基準として採用された上記固定物Stに起因したものであると判断する。
ここで、エッジ特徴比較部70で比較処理の際に使用されるエッジ特徴量は、上記エッジ高さ、エッジ幅およびエッジ長の全て、若しくはこれらの少なくとも一つを採用する。なお、下記の動作の説明では、エッジ高さ、エッジ幅およびエッジ長の各々について比較処理を行い、当該比較処理の結果得られる各差が上記差分閾値以下であるか否かを判断する。
また、エッジ特徴比較部70は、上記基準輝度情報と上記対象輝度情報との差が、予め設定されている輝度差分閾値より大きいか否かを判断する。そして、当該差が輝度差分閾値より大きいことを検出したときには、エッジ特徴比較部70は、上記対象デジタル画像から検出した対象エッジ画素は、基準として採用された上記固定物Stに起因したものでないと判断する。つまり、当該場合には、エッジ特徴比較部70は、上記対象デジタル画像から検出した対象エッジ画素は、ノイズ若しくは基準として採用された上記固定物St以外の被写体に起因するものであると判断する。
たとえば、上記基準輝度情報は、基準エッジ画素BGを構成する各画素の輝度値から選択される最大輝度値(基準最大輝度値)であり、上記対象輝度情報は、対象エッジ画素OGを構成する各画素の輝度値から選択される最大輝度値(対象最大輝度値)であるとする。
ここで、図8は、基準エッジ画素BG(又は対象エッジ画素OG)を構成する各エッジ画素の輝度値分布の例を示す。図8の横軸は輝度値であり、図面右方向に行くに連れて輝度値が高くなる。また、図8において上下方向は所定の輝度値を有するエッジ画素の数である。したがって、図8の分布に示す最大輝度値が、上記基準最大輝度値(又は対象最大輝度値)である。
さて、この場合には、エッジ特徴比較部70は、基準最大輝度値と対象最大輝度値との差が、予め設定されている最大輝度差分閾値より大きいことを検出したとき、対象エッジ画素OGは、固定物Stに起因したものでないと判断する。
また、たとえば、上記基準輝度情報は、基準エッジ画素BGを構成する各画素の輝度値から選択される最小輝度値(基準最小輝度値)であり、上記対象輝度情報は、対象エッジ画素OGを構成する各画素の輝度値から選択される最小輝度値(対象最小輝度値)であるとする。図8に例示した分布に示す最小輝度値が、上記基準最小輝度値(又は対象最小輝度値)である。
さて、この場合には、エッジ特徴比較部70は、基準最小輝度値と対象最小輝度値との差が、予め設定されている最小輝度差分閾値より大きいことを検出したとき、対象エッジ画素OGは、固定物Stに起因したものでないと判断する。
また、たとえば、上記基準輝度情報は、基準エッジ画素BGを構成する各画素の輝度値から得られる平均輝度値(基準平均輝度値)であり、上記対象輝度情報は、対象エッジ画素OGを構成する各画素の輝度値から得られる平均輝度値(対象平均輝度値)であるとする。図8に例示した分布に示す平均輝度値が、上記基準平均輝度値(又は対象平均輝度値)である。
さて、この場合には、エッジ特徴比較部70は、基準平均輝度値と対象平均輝度値との差が、予め設定されている平均輝度差分閾値より大きいことを検出したとき、対象エッジ画素OGは、固定物Stに起因したものでないと判断する。
また、たとえば、上記基準輝度情報は、基準エッジ画素BGを構成する各画素の輝度値と当該輝度値の画素数との分布から得られる最頻度輝度値(基準最頻度輝度値)であり、上記対象輝度情報は、対象エッジ画素OGを構成する各画素の輝度値と当該輝度値の画素数との分布から得られる最頻度輝度値(対象最頻度輝度値)であるとする。図8に例示した分布に示す最頻度輝度値が、上記基準最頻度輝度値(又は対象最頻度輝度値)である。
さて、この場合には、エッジ特徴比較部70は、基準最頻度輝度値と対象最頻度輝度値との差が、予め設定されている最頻度輝度差分閾値より大きいことを検出したとき、対象エッジ画素OGは、固定物Stに起因したものでないと判断する。
なお、エッジ特徴比較部70は、基準最大輝度値と対象最大輝度値との差が上記最大輝度差分閾値より大きいことを検出し、基準最小輝度値と対象最小輝度値との差が上記最小輝度差分閾値より大きいことを検出し、基準平均輝度値と対象平均輝度値との差が上記平均輝度差分閾値より大きいことを検出し、かつ、基準最頻度輝度値と対象最頻度輝度値との差が上記最頻度輝度差分閾値より大きいことを検出したときに、対象エッジ画素OGは、固定物Stに起因したものでないと判断しても良い。つまり、前記4つの条件を全て満たすときに、エッジ特徴比較部70は、対象エッジ画素OGは、固定物Stに起因したものでないと判断しても良い。また、上記4つの条件のうち、何れか1つ以上の条件を満たすときに、エッジ特徴比較部70は、対象エッジ画素OGは、固定物Stに起因したものでないと判断しても良い。
次に、動体検知部80は、エッジ特徴比較部70における上記座標比較処理の結果(上記基準画素座標と上記対象エッジ画素座標との比較処理の結果)に基づいて、撮像部10(動体検知機能付監視カメラ100)の揺れ量を求める。そして、動体検知部80は、当該求めた揺れ量に応じて、対象デジタル画像の座標を補正する補正処理を行う。つまり、基準デジタル画像に写された固定物Stの位置と、対象デジタル画像に写された固定物Stの位置とが一致するように、対象デジタル画像に対して座標変換処理を行う。その後、動体検知部80は、上記補正後の対象デジタル画像から、移動体を検出する動体検知処理を行う。たとえば、動体検知部80は、前記補正処理が実施され、前後に撮像されたデジタル画像間の差分を取ることにより、上記動体検知処理を実施する。
なお、エッジ特徴比較部70が、上記対象エッジ特徴量と上記基準エッジ特徴量との差が、予め設定されている差分閾値以下であることを検出したとき、対象エッジ画素OGは、固定物Stに起因したものであると判断し、動体検知部80は、対象エッジ画素OG等を用いた、上記補正処理および上記動体検知処理を実行する。
次に、本実施の形態に係る動体検知機能付監視カメラ100の動作について、図9に示すフロー図を用いて説明する。
まず、撮像部10は、基準デジタル画像を撮像する。
図5に示すように、ユーザは、基準デジタル画像D内において、検知エリア(斜線エリア)以外の領域に存する固定物Stを定める(ステップS1)。当該固定物Stは、大きさ・位置が変化しないものである。また、図5に示すように、当該固定物Stとして、デジタル画像Dの隅部に存するものを採用する。なお、固定物Stが存する最小範囲を固定物範囲St(図4)を、画素単位若しくはブロック単位で特定する。
次に、基準情報保持部60は、当該固定物Stに関する上記基準エッジ画素座標および当該固定物Stに関する上記基準エッジ特徴量(エッジ高さ、エッジ幅、エッジ長)、さらに図7を用いて説明した上記基準輝度情報を、保持(設定)する(ステップS2)。当該保持(設定)の方法は、上記の通り、手入力による直接設定であっても、動体検知機能付監視カメラ100自身による自動設定であっても良い。
また、基準輝度情報として、上述の通り、基準最大輝度値、基準最小輝度値、基準平均輝度値、および基準最頻度輝度値等がある。
次に、撮像部10は、所定のタイミングで、対象デジタル画像を撮像する(ステップS3)。撮像部10で撮像された対象デジタル画像信号は、エッジ判別部30および輝度検出部40へと送信される。
次に、エッジ判別部30では、対象デジタル画像において、上記固定物範囲Stに応じて定められる固定物判定範囲Sjから、対象エッジ画素OGを検出する(ステップS4)。固定物判定範囲Sjに関する説明は、上記で図6を用いて説明した通りである。
また、輝度検出部40では、対象デジタル画像を構成する全画素において、当該画素が有する輝度値を検出する(ステップS5)。
さて、エッジ特徴性算出部50では、エッジ判別部30で検出された対象エッジ画素OGについて、対象デジタル画像における上記対象エッジ画素座標および上記対象エッジ特徴量(エッジ高さ、エッジ幅、エッジ長)を算出する(ステップS6)。
エッジ特徴比較部70では、上記基準画素座標と上記対象エッジ画素座標とを比較する(ステップS7)。また、エッジ特徴比較部70は、上記対象エッジ特徴量と上記基準エッジ特徴量との差が、予め設定されている差分閾値以下であるか否かを判断する(ステップS7)。そして、当該差が差分閾値以下であることを検出したときには、エッジ特徴比較部70は、上記対象デジタル画像から検出した対象エッジ画素OGは、基準として採用された上記固定物Stに起因したものであると判断する(ステップS7)。そして、当該判断された対象エッジ画素OGを抽出する。
たとえば、エッジ特徴比較部70は、基準エッジ画素EGのエッジ高さと対象エッジ画素OGのエッジ高さとの差(第一の差)が、第一の差分閾値以下であるか否かを判断する。また、エッジ特徴比較部70は、基準エッジ画素EGのエッジ幅と対象エッジ画素OGのエッジ幅との差(第二の差)、第二の差分閾値以下であるか否かを判断する。また、エッジ特徴比較部70は、基準エッジ画素EGのエッジ長と対象エッジ画素OGのエッジ長との差(第三の差)が、第三の差分閾値以下であるか否かを判断する。
そして、第一の差が第一の差分閾値以下であり、第二の差が第二の差分閾値以下であり、かつ、第三の差が第三の差分閾値以下であるときに、エッジ特徴比較部70は、上記対象デジタル画像から検出した対象エッジ画素は、基準として採用された上記固定物Stに起因したものであると判断する(ステップS7)。
なお、第一の差が第一の差分閾値以下である第一の条件、第二の差が第二の差分閾値以下である第二の条件、第三の差が第三の差分閾値以下である第三の条件の内の、少なくとも一つ以上の条件を満たすときに、エッジ特徴比較部70は、上記対象デジタル画像から検出した対象エッジ画素は、基準として採用された上記固定物Stに起因したものであると判断しても良い(ステップS7)。
たとえば、ステップS4で検出された対象エッジ画素OGがF個であり、ステップS7で判断(抽出)された対象エッジ画素OGがH(≦F)個であるとする。
次に、エッジ特徴比較部70は、輝度検出部40からの信号に基づいて、上記固定物判定範囲Sj内から、上記対象輝度情報を抽出(算出)する。図7と同様な方法により、エッジ特徴比較部70は、対象デジタル画像の固定物判定範囲Sjにおいて、対象エッジ画素座標から、当該対象デジタル画像の隅部に近い側に所定量(LN)だけ離れた位置に存する複数の画素を選択する。そして、エッジ特徴比較部70は、当該選択した画素の輝度値を輝度検出部40から出力された信号に基づいて抽出する。そして、エッジ特徴比較部70は、当該抽出した輝度値に基づいて、輝度に関する上記対象輝度情報(対象最大輝度値、対象最小輝度値、対象平均輝度値、対象最頻度輝度値)を検出する。
ここで、当該対象輝度情報の検出は、ステップS4で検出されたF個の対象エッジ画素OG毎に行われるのでなく、ステップS7で抽出されたH個の対象エッジ画素OG毎に行われる。
次に、エッジ特徴比較部70は、上記基準輝度情報と上記で求めたH個の内の一の対象輝度情報との差が、予め設定されている輝度差分閾値より大きいか否かを判断する(ステップS8)。そして、当該差が輝度差分閾値より大きいことを検出したときには、エッジ特徴比較部70は、当該一の対象輝度情報の導出の基礎となった対象エッジ画素OGは、上記固定物Stに起因したものでないと判断する(ステップS8)。当該判断処理は、上記で求めたH個の対象輝度情報の各々に対して実施される。ここで、当該判断処理の条件に対する詳細は、上記エッジ特徴比較部70の構成の説明において記載を参酌されたない。
次に、エッジ特徴比較部70は、上記固定物Stに起因したものでないと判断した対象エッジ画素OGを、次工程以降で用いないように、対象から除去する(ステップS8)。たとえば、ステップS7で抽出された対象エッジ画素OGがH個であり、ステップS8で判断された対象エッジ画素OGがK個であるとする。すると、次工程の揺れ量算出の対象となるのは、(H−K=Q)個の対象エッジ画素OGである。
次に、動体検知部80は、エッジ特徴比較部70における上記基準画素座標と上記対象エッジ画素座標との比較の結果、撮像部10(動体検知機能付監視カメラ100)の揺れ量を求める(ステップS9)。たとえば、動体検知部80は、基準画素座標と対象エッジ画素座標の差分情報から、前記揺れ量を求める。なお、動体検知部80は、当該揺れ量の算出を、ステップS7,S8の処理により絞り込まれた上記Q個の対象エッジ画素OG毎に実施する。
次に、動体検知部80は、当該求めた揺れ量に応じて、対象デジタル画像の座標を補正する補正処理を行う(ステップS10)。つまり、基準デジタル画像に写された固定物Stの位置と、対象デジタル画像に写された固定物Stの位置とが一致するように、対象デジタル画像に対して座標変換処理を行う。
具体的に、たとえば、エッジ特徴比較部70では、ステップS7,S8の処理により絞り込まれたQ個の対象エッジ画素OGの全てに対して、対象エッジ画素座標(対象エッジ画素により当該座標はもちろん異なる)と基準エッジ画素座標との座標比較処理(座標差分処理)が実施されている。そこで、動体検知部80は、当該座標比較処理の結果、各対象エッジ画素OG毎に揺れ量(計Q個)を求める。そして、動体検知部80は、同一値である揺れ量が最も多い揺れ量に基づいて、上記補正処理を行う。たとえば、揺れ量m1が1個であり、揺れ量m2が3個である、揺れ量m3が8個であり、揺れ量m4が5個であるとする。この場合、動体検知部80は、同一値である揺れ量が最も多い揺れ量m3に基づいて、上記補正処理を行う。
なお、次の処理を実施しても良い。
たとえば、エッジ特徴性算出部50では、ステップS7,S8の処理により絞り込まれたQ個の対象エッジ画素OGの全てに対して、上記エッジ長を各々算出されている。そして、エッジ特徴比較部70では、エッジ長が最も長い対象エッジ画素OGからNa番目の長さまでの対象エッジ画素に対して、対象エッジ画素座標(対象エッジ画素により当該座標はもちろん異なる)と基準エッジ画素座標との座標比較処理(座標差分処理)が実施されている。
当該Naは任意に設定可能である。たとえば、Naが「3」であれば、エッジ長が最も長い対象エッジ画素OGからNa番目の長さまでの対象エッジ画素とは、エッジ長が最も長い対象エッジ画素OG、エッジ長が2番目に長い対象エッジ画素OG、およびエッジ長が3番目に長い対象エッジ画素OGを意味する。なお、エッジ長が最も長い対象エッジ画素OGからNa番目の長さまでの対象エッジ画素の総数は、I個であるとする。
動体検知部80は、当該I個の対象エッジ画素OGに対してエッジ特徴比較部70で実施された上記座標比較処理の結果から、各対象エッジ画素OG毎に揺れ量(計I個)を求める。そして、動体検知部80は、当該も求めたI個の揺れ量の中で、同一値である揺れ量が最も多い揺れ量に基づいて、上記補正処理を行う。
図10に示すように、撮像部10に対して、通常の状態から下方向への揺れが発生したとする。この場合には、動体検知部80は、当該揺れを補正するために、図10に示すように、対象デジタル画像の各画素について、上記揺れ量に相当する量で座標を下方向に変換する補正処理を行う。換言すれば、撮像部10に対して揺れが発生することにより、対象デジタル画像に写る固定物が、基準デジタル画像に写る固定物の位置に対して、(Δx、Δy)だけ移動したとする。この場合には、動体検知部80は、当該対称デジタル画像の各画素が(−Δx、−Δy)だけずれるように、座標変換処理(補正処理)を実施する。
その後、動体検知部80は、上記補正後の対象デジタル画像から、移動体を検出する動体検知処理を行う(ステップS11)。たとえば、動体検知部80は、前記補正処理が実施され、前後に撮像されたデジタル画像間の差分を取ることにより、上記動体検知処理を実施する。
本実施の形態に係る動体検知機能付監視カメラ100は、基準エッジ画素座標を保持する基準情報保持部60と、対象デジタル画像から対象エッジ画素OGを検出するエッジ判別部30と、対象エッジ画素座標を求めるエッジ特徴性算出部50と、上記座標比較処理を行うエッジ特徴比較部70と、座標比較処理の結果に基づいて撮像部10の揺れ量を求め、揺れ量に応じて補正処理を行い、その後動体検知処理を行う動体検知部とを、備えている。
このように、基準情報保持部60に格納されている基準エッジ画素座標を用いて、揺れ量算出処理、揺れ補正処理、動体検知処理を行う。したがって、前記各処理行うブロックは、処理能力の低いものでよい。よって、低コストで、撮像部10の揺れ補正を実施することができる動体検知機能付監視カメラ100を提供することができる。
また、基準情報保持部60には基準エッジ画素座標を保持し、基準デジタル画像の全データを保持しているわけではない。よって、基準情報保持部60は小容量ですみ、この観点からも、低コスト化を図ることができる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、基準情報保持部60は、デジタル画像Dの隅部に存する固定物Stに起因した基準エッジ画素座標を、保持している。
したがって、移動体検知エリアとならないデジタル画像Dの隅部に、揺れ補正の基準となる固定物Stを定めることにより、揺れ補正の精度の低下や動体検知の誤判断を防止することができる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、基準情報保持部60は、デジタル画像Dにおける、固定物Stの存する固定物範囲を保持しており、エッジ判別部30は、対象デジタル画像における、固定物範囲を含み、固定物範囲より所定量だけ広い固定物判定範囲Sjから、対象エッジ画素OGを検出する。
したがって、固定物Stに起因すると想定される対象エッジ画素OGを検出する範囲が限定されるので、固定物Stに起因すると想定される以外の対象エッジ画素OGの検出を極力抑制できる。さらに、固定物Stに起因すると想定される対象エッジ画素OGの検出処理をより短時間で行うことができる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、基準情報保持部60は、基準エッジ画素座標から得られる基準エッジ特徴量を、保持している。
したがって、たとえばエッジ高さ・エッジ幅・エッジ長などのエッジ特徴量を用いて、固定物Stに起因すると想定される対象エッジ画素OGを検出できる。よって、より精度良く、固定物Stに起因すると想定される対象エッジ画素OGを取捨選択できる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、エッジ特徴性算出部50は、対象エッジ画素座標から得られる対象エッジ特徴量を、算出する。
したがって、基準エッジ特徴量と当該算出される対象エッジ特徴量とを用いて、固定物Stに起因すると想定される対象エッジ画素OGを検出できる。よって、より精度良く、簡単な処理により、固定物Stに起因すると想定される対象エッジ画素OGを取捨選択できる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、エッジ特徴比較部は、対象エッジ特徴量と基準エッジ特徴量との差が、予め設定されている差分閾値以下であるとき、対象エッジ画素OGは、固定物Stに起因したものであると判断し、動体検知部は、固定物Stに起因していると判断した対象エッジ画素OGを用いて、補正処理を実行する。
したがって、固定物Stに起因している確率のかなり高い対象エッジ画素OGの絞込みを、簡単な処理により実現される。また、当該対象エッジ画素OGを用いての補正処理が実行される。よって、撮像部10の揺れ補正の精度をより向上させることができる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、基準情報保持部60は、基準エッジ画素座標から、デジタル画像Dの隅部に近い側に所定量だけ離れた位置に存する画素の輝度に関する基準輝度情報を、保持している。
したがって、比較的少ない画素数の各画素が有する輝度情報を用いて、対象エッジ画素OGが固定物Stに起因するものであるか否かを、より精度良く特定する処理を実施できる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、エッジ特徴比較部70は、対象デジタル画像において、対象エッジ画素座標から、当該対象デジタル画像の隅部に近い側に所定量だけ離れた位置に存する画素から、当該画素の輝度に関する対象輝度情報を、輝度検出部40で検出した輝度値を用いて求める。
したがって、基準輝度情報と対象輝度情報との比較により、対象エッジ画素OGが固定物Stに起因するものであるか否かを、より精度良く特定できる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、エッジ特徴比較部70は、基準輝度情報(基準最大輝度値、基準最小輝度値、基準平均輝度値、基準最頻度輝度値)と対象輝度情報(対象最大輝度値、対象最小輝度値、対象平均輝度値、対象最頻度輝度値)との差が、予め設定されている輝度差分閾値(最大輝度差分閾値、最小輝度差分閾値、平均輝度差分閾値、最頻度輝度差分閾値)より大きいとき、対象エッジ画素OGは、固定物Stに起因したものでないと判断する。
したがって、検出した対象画素エッジOGが固定物Stに起因したものであると誤判断されることを、抑制することができる。
また、本実施の形態に係る動体検知機能付監視カメラ100は、対象デジタル画像において、固定物Stに起因したものであると判断された対象エッジ画素OGが複数存するとき、動体検知部80は、所定数の対象エッジ画素OG毎の座標比較処理の結果に基づいて、所定数の対象エッジ画素OG毎に揺れ量を求め、同一値である揺れ量が最も多い揺れ量に基づいて、補正処理を行う。
したがって、固定物Stに起因すると判断された対象エッジ画素OGが複数であったとしても、より適切な揺れ量を求めることができる。
また、本実施の形態に係る動体検知機能付監視カメラ100では、エッジ特徴性算出部50は、対象エッジ画素OG毎に、エッジ画素の連続長であるエッジ長を算出し、動体検知部80は、エッジ長が最長である対象エッジ画素OGから所定の番目の長さの対象エッジ画素OGまでの、所定数の対象エッジ画素の座標比較処理の結果に基づいて、所定数の対象エッジ画素OG毎に揺れ量を求め、同一値である揺れ量が最も多い揺れ量に基づいて、補正処理を行う。
したがって、様々なエッジ長を有する全対象エッジ画素OGを対象として揺れ量を求めることをしないので、適正な揺れ量をより短時間で求めることができる。