以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る監視システム110の利用環境の一例を示す。監視システム110は、複数の撮像装置100a〜cと、伝送経路140と、サーバ170と、複数の表示装置180、181、182・・・とを備える。サーバ170及び複数の表示装置180、181、182・・・は、監視領域150、151、152・・・の遠方の監視室160に設けられる。なお、撮像装置100a〜cは、複数の監視領域150、151、152・・・を撮像すべく、複数の監視領域150、151、152・・・のそれぞれに設けられる。以後、複数の監視領域150、151、152・・・のそれぞれに設けられる撮像装置100a〜cを撮像装置100と総称する。
撮像装置100は、監視領域150、151、152・・・を撮像した動画を伝送経路140を通じてサーバ170に送信する。サーバ170は、撮像装置100から受け取った動画を、表示装置180、181、182・・・に表示させる。表示装置180、181、182・・・は、それぞれ監視領域150、151、152・・・の動画を表示する。
撮像装置100は、表示装置180、181、182・・・が表示することができるモニタ解像度より高い解像度のフレーム画像を、表示装置180、181、182・・・が表示することができる動画の表示レートであるモニタ表示レートより高いフレームレートで動画を撮像する。そして、撮像装置100は、撮像した動画に人物又は変化が検出されていない間、撮像装置100が撮像した動画をモニタ解像度以下の解像度のフレーム画像がモニタ表示レート以下のレートで表示される動画に変換して、サーバ170に送信し続ける。
そして、撮像装置100は、動画に人物又は変化が検出されると、撮像した高い解像度・高フレームレートの動画を、動画に人物又は変化が検出されなくなるまでサーバ170に送信し続ける。サーバ170は、撮像装置100から受け取った動画を記録するとともに、受け取った動画をモニタ解像度及びモニタ表示レートに合わせて表示装置180、181、182・・・に表示させる。
例えば、撮像装置100は、撮像して得られた複数のフレーム画像を時間的に平均化して得られた平均化画像から変化を検出したり、平均化画像に含まれる人物を検出する。例えば、撮像装置100は、時間的に連続する平均化画像の間において変化が検出された領域の面積が所定の閾値以上である場合に、動画に変化がある旨を検出する。そして動画から人物又は変化が検出されると、撮像装置100は、少なくとも人物又は変化が検出された部分領域において撮像時の解像度を有するフレーム画像を生成して、生成したフレーム画像を含む動画をサーバ170に送信する。また、撮像装置100は、人物の動きを検出した場合には、少なくとも人物の移動方向の側が広くなるよう設定された部分領域において撮像した解像度を有するフレーム画像を生成して、生成したフレーム画像を含む動画をサーバ170に送信する。
また、撮像装置100は、人物又は変化が検出された部分領域をフレーム画像とする動画をサーバ170に送信してよい。このとき撮像装置100は、人物又は変化が検出された部分領域以外の領域の部分画像を保持しておく。上記のように、撮像装置100は、人物又は変化が検出されなくなると、画質を低減したフレーム画像をサーバ170に送信するので、人物又は変化が検出されなくなる期間には、伝送経路140が伝送するデータ量は低減する。したがって、撮像装置100は、当該期間に、保持しておいた部分画像をサーバ170に送信してもよい。
また、サーバ170は、伝送経路140が伝送することができる時間あたりのデータ量と、撮像装置100が送信する時間あたりのデータ量との差がより小さい場合に、より大きい閾値を撮像装置100に設定させる。これにより、伝送経路140を伝送するデータ量が増加して動画データの到達が遅延することを未然に防ぐことができる。
なお、監視領域150、151、152・・・は、異なる建物内の空間であってよいし、同じ建物内の異なる空間であってもよい。例えば、監視領域150、151、152・・・は、店舗内の陳列棚の間の通路であってよい。また、監視領域150、151、152は、建物内の空間に限らず、建物によって囲われていない開放された空間であってよいことは言うまでもない。
図2は、撮像装置100のブロック構成の一例を示す。撮像装置100は、撮像部200、平均化画像生成部202、撮像制御部210、オブジェクト領域特定部212、画像保持部214、差分画像生成部216、画像特徴量抽出部220、適合判断部230、条件格納部240、条件設定部242、許容データ量取得部250、画質選択部260、画質格納部262、出力制御部270、画像生成部280、及び出力部290を備える。適合判断部230は、一致度算出部232を有する。また、画像生成部280は、出力動画生成部282を有する。図3は、画像特徴量抽出部220のブロック構成の一例を示す。画像特徴量抽出部220は、変化量算出部221、動き量算出部222、動き方向特定部223、特定色面積算出部224、及びオブジェクト抽出部225を有する。
撮像部200は、監視領域の画像を撮像する。具体的には、撮像部200は、監視領域の動画を撮像する。平均化画像生成部202は、撮像部200が撮像した動画に含まれる複数の動画構成画像を平均化した平均化画像を生成する。例えば、平均化画像生成部202は、複数の動画構成画像を画素毎に平均化することによって、平均化画像を生成する。なお、条件格納部240は、異常が生じていると判断される動画に含まれる複数の動画構成画像が平均化された平均化画像が適合すべき条件を格納する。
そして、適合判断部230は、平均化画像生成部202が生成した平均化画像が条件に適合するか否かを判断する。そして、出力動画生成部282は、平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、撮像部200が撮像した動画に含まれる動画構成画像から、適合判断部230が平均化画像が条件に適合する旨を判断した場合より低画質の動画構成画像を含む出力動画を生成する。そして、出力部290は、出力動画生成部282が生成した出力動画を出力する。例えば、出力部290は、複数の撮像部200が撮像した監視領域の動画を伝送する伝送経路140に、出力動画生成部282が生成した出力動画を出力する。なお、出力部290は、撮像部200が撮像した監視領域の動画を出力してもよい。例えば、出力部290は、平均化画像が条件に適合した旨を適合判断部230が判断した場合には、撮像部200が撮像した動画を出力してよい。
具体的には、出力動画生成部282は、平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、平均化画像が条件に適合する旨を適合判断部230が判断した場合より低い解像度の動画構成画像を含む出力動画を生成する。また、出力動画生成部282は、平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、平均化画像が条件に適合する旨を適合判断部230が判断した場合より少ない階調数の動画構成画像を含む出力動画を生成してよい。また、出力動画生成部282は、平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、撮像部200が撮像した動画から、平均化画像が条件に適合する旨を適合判断部230が判断した場合より低い表示レートの出力動画を生成してよい。
なお、出力動画生成部282は、平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、平均化画像生成部202が生成した平均化画像を含む出力動画を生成し、平均化画像が条件に適合する旨を適合判断部230が判断した場合に撮像部200が撮像した動画を出力動画としてよい。
差分画像生成部216は、平均化画像生成部202が生成した第1平均化画像と、当該第1平均化画像を生成するために用いられたいずれの動画構成画像より後に撮像された動画構成画像を用いて平均化画像生成部202が生成した第2平均化画像との間の差分画像を生成する。そして、出力動画生成部282は、平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、差分画像生成部216が生成した差分画像を含む出力動画を生成し、平均化画像が条件に適合する旨を適合判断部230が判断した場合に撮像部200が撮像した動画を出力動画としてよい。
許容データ量取得部250は、出力部290から出力することが許容されている単位時間あたりのデータ量を取得する。例えば、許容データ量取得部250は、伝送経路140が単位時間あたりに伝送することができるデータ量、出力制御装置172が単位時間当たりに処理することができるデータ量容量を取得してよい。そして、出力動画生成部282は、平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、更に許容データ量取得部250が取得したデータ量が予め定められた値より小さいことを条件として、差分画像生成部216が生成した差分画像を含む出力動画を生成する。
なお、適合判断部230は、平均化画像における複数の部分領域のそれぞれが条件に適合するか否かを判断してよい。そして、出力動画生成部282は、適合判断部230が条件に適合する旨を判断した領域である適合領域以外の領域において適合領域より低画質な動画構成画像を含む出力動画を生成してよい。
なお、オブジェクト抽出部225は、撮像部200が撮像した動画から、予め定められた条件に適合するオブジェクトを抽出する。具体的には、オブジェクト抽出部225は、撮像部200が撮像した動画に含まれる動画構成画像から、条件格納部240が格納している条件に適合するオブジェクトを抽出する。そして、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した動画をより低画質の動画に変換する。そして、出力部290は、画像生成部280が変換して得られた動画を出力する。この場合、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した動画をより低い解像度の動画に変換してよい。
また、動き量算出部222は、撮像部200が撮像した動画に含まれる複数の動画構成画像の間における、オブジェクト抽出部225が抽出したオブジェクトの動き量を算出する。条件格納部240は、抽出されるべきオブジェクトが有するべきオブジェクトの動き量の下限値を格納している。例えば、条件格納部240は、抽出されるべきオブジェクトが有するべき、連続するフレーム間におけるオブジェクトの動き量の下限値を格納している。そして、オブジェクト抽出部225は、動き量算出部222が算出したオブジェクトの動き量が条件格納部240が格納している動き量の下限値以上であるオブジェクトを、撮像部200が撮像した動画に含まれる複数の動画構成画像から抽出する。そして、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した動画をより低い解像度の動画に変換する。具体的には、画像生成部280は、動き量算出部222が算出したオブジェクトの動き量がより大きい場合に、撮像部200が撮像した動画をより低い表示レートの動画に変換する。
なお、画質格納部262は、オブジェクトの大きさ及びオブジェクトの動き量に対応づけて、動画の表示レート及び動画に含まれる動画構成画像の画質の組合せを格納する。そして、画質選択部260は、オブジェクト抽出部225が抽出したオブジェクトの大きさ及び動き量算出部222が算出したオブジェクトの動き量に対応づけて画質格納部262が格納している画質及び表示レートの組合せを選択する。そして、画像生成部280は、撮像部200が撮像した動画を、画質選択部260によって選択された画質の動画構成画像が画質選択部260によって選択された表示レートで表示される動画に変換する。
なお、動き方向特定部223は、撮像部200が撮像した動画の画像内容に基づいて、オブジェクト抽出部225が抽出したオブジェクトの動き方向を特定する。そして、画像生成部280は、オブジェクトを含み、動き方向の画像幅が動き方向に垂直方向の画像幅より大きい動画構成画像を、撮像部200が撮像した動画に含まれる動画構成画像からトリミングによって生成する。そして、出力部290は、画像生成部280が生成した動画構成画像を含む動画を出力する。そして、動き量算出部222は、撮像部200が撮像した動画に含まれる複数の動画構成画像に基づいて、動き方向特定部223が特定した方向への、複数の動画構成画像の間におけるオブジェクトの動き量を算出する。そして、画像生成部280は、動き量算出部222が算出した動き量がより大きい場合に、動き方向特定部223が特定した動き方向の画像幅がより大きい動画構成画像を、撮像部200が撮像した動画に含まれる動画構成画像からトリミングによって生成する。このため、撮像装置100は、伝送経路140が伝送するデータ量が不必要に増大することを防ぎつつ、不審者の移動先の領域を適切に監視することができる監視画像を提供することができる。
なお、条件格納部240は、異常が生じていると判断される動画に含まれる動画構成画像において検出されるべき基準画像からの変化量の下限値を格納する。そして、変化量算出部221は、撮像部200が撮像した動画における予め定められた基準画像からの変化量を算出する。例えば、変化量算出部221は、撮像部200が撮像した動画に含まれる第1動画構成画像における、第1動画構成画像より前に撮像された第2動画構成画像からの変化量を算出する。なお、変化量算出部221は、平均化画像生成部202が生成した平均化画像の、基準画像からの変化量を算出する。なお、基準画像とは、予め用意された監視領域の画像、前のタイミングで撮像部200によって撮像された動画構成画像、又は前のタイミングで生成された平均化画像であってよい。そして、適合判断部230は、変化量算出部221が算出した変化量が条件格納部240が格納している変化量の下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
また、出力制御部270は、変化量算出部221が算出した変化量が予め定められた変化量の下限値より小さい場合に、撮像部200が撮像した動画を、変化量算出部221が算出した変化量が下限値以上である場合よりデータ量の小さい動画に変換して出力部290に出力させる。具体的には、出力制御部270は、基準画像からの変化量が下限値より小さい場合に、撮像部200が撮像した動画を、基準画像からの変化量が下限値以上である場合より低解像度の動画に変換して出力部290に出力させる。また、出力制御部270は、基準画像からの変化量が下限値より小さい場合に、撮像部200が撮像した動画を、基準画像からの変化量が下限値以上である場合より少ない階調数の動画に変換して出力部290に出力させてよい。その他にも、出力制御部270は、基準画像からの変化量が下限値より小さい場合に、撮像部200が撮像した動画を、基準画像からの変化量が下限値以上である場合より低い表示レートの動画に変換して出力部290に出力させる。なお、条件設定部242は、許容データ量取得部250が取得したデータ量がより小さい場合に、条件格納部240が格納している下限値をより増加させる。
なお、変化量算出部221は、撮像部200が撮像した動画に含まれる第1動画構成画像と第2動画構成画像との間における同じ被写体を示すオブジェクトの動き量を算出してよい。そして、出力制御部270は、変化量算出部221が算出したオブジェクトの動き量が予め定められた動き量の下限値より小さい場合に、撮像部200が撮像した動画を、変化量算出部221が算出した動き量が動き量の下限値以上である場合よりデータ量の小さい動画に変換して出力部290に出力させる。なお、条件設定部242は、許容データ量取得部250が取得したデータ量がより小さい場合に、動き量の下限値をより増加させてよい。
条件格納部240は、異常が生じていると判断される動画に含まれる複数の動画構成画像を平均化した平均化画像において検出されるべき、平均化画像に含まれるオブジェクトと予め定められたオブジェクトとの間の一致度の下限値を格納する。そして、オブジェクト抽出部225は、平均化画像生成部202が生成した平均化画像からオブジェクトを抽出する。そして、適合判断部230は、オブジェクト抽出部225が抽出したオブジェクトと予め定められたオブジェクトとの間の一致度が、条件格納部240が格納している下限値以上である場合に、平均化画像が条件に適合する旨を判断する。具体的には、一致度算出部232は、撮像部200が撮像した動画に含まれるオブジェクトの形状と予め定められた基準オブジェクトの形状との間の形状の一致度を算出する。そして、適合判断部230は、一致度算出部232が算出した一致度が、条件格納部240が格納している下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
なお、出力制御部270は、一致度算出部232が算出した一致度が予め定められた一致度の下限値より小さい場合に、撮像部200が撮像した動画を、一致度算出部232が算出した一致度が下限値以上である場合よりデータ量の小さい動画に変換して出力部290に出力させてもよい。具体的には、出力制御部270は、一致度算出部232が算出した一致度が予め定められた形状の一致度の下限値より小さい場合に、撮像部200が撮像した動画を、一致度算出部232が算出した一致度が形状の一致度の下限値以上である場合よりデータ量の小さい動画に変換して出力部290に出力させる。なお、条件設定部242は、許容データ量取得部250が取得したデータ量がより小さい場合に、形状の一致度の下限値をより増加させてよい。
条件格納部240は、異常が生じていると判断される動画に含まれる複数の動画構成画像を平均化した平均化画像において検出されるべき、予め定められた色範囲に含まれる色が占める面積の下限値を格納する。例えば、条件格納部240は、人物に特徴的な色を含む色範囲に含まれる色が占める面積の下限値を格納してよい。そして、特定色面積算出部224は、平均化画像生成部202が生成した平均化画像における、予め定められた色範囲に含まれる色が占める面積を算出する。そして、適合判断部230は、特定色面積算出部224が算出した面積が条件格納部240が格納している面積の下限値以上である場合に、平均化画像が条件に適合する旨を判断する。具体的には、一致度算出部232は、撮像部200が撮像した動画に含まれるオブジェクトに含まれる色と予め定められた基準オブジェクトに含まれる色との間の色の一致度を算出する。そして、適合判断部230は、一致度算出部232が算出した一致度が、条件格納部240が格納している下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
条件格納部240は、異常が生じていると判断される動画に含まれる複数の動画構成画像を平均化した平均化画像において検出されるべき、平均化画像に含まれる被写体の位置から撮像部200への方向と被写体の動き方向との間の一致度の下限値を格納する。そして、動き方向特定部223は、平均化画像生成部202が生成した複数の平均化画像の画像内容に基づいて、監視領域内における被写体の動き方向を特定する。そして、適合判断部230は、被写体の動き方向と当該被写体の位置から撮像部200に向かう方向との間の一致度が条件格納部240が格納している一致度の下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
また、オブジェクト領域特定部212は、適合判断部230が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定する。そして、出力部290は、適合判断部230が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を出力する。そして、画像保持部214は、適合判断部230が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域以外の領域の画像を保持する。そして、出力制御部270は、画像保持部214がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画において、適合判断部230が条件に適合するオブジェクトが存在しない旨を判断した場合に、画像保持部214が保持しているオブジェクト領域以外の領域の画像を出力部290に出力させる。
なお、出力部290は、条件に適合するオブジェクトが存在する旨を適合判断部230が判断した場合に、許容データ量取得部250が取得したデータ量がより大きいほどより高い画質でオブジェクト領域の画像を出力してよい。また、オブジェクト領域特定部212は、条件に適合するオブジェクトが存在する旨を適合判断部230が判断した場合に、許容データ量取得部250が取得したデータ量がより大きいほど条件に適合するオブジェクトを含むより大きいオブジェクト領域を特定してよい。
また、出力制御部270は、画像保持部214がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画において、適合判断部230が条件に適合するオブジェクトが存在しない旨を判断した場合に、許容データ量取得部250が取得したデータ量が予め定められた値より大きいことを条件として、画像保持部214が保持しているオブジェクト領域以外の領域の画像を、出力部290に出力させる。
また、出力制御部270は、画像保持部214がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画において、適合判断部230が条件に適合するオブジェクトが存在しない旨を判断した場合に、画像保持部214が保持しているオブジェクト領域以外の領域の画像を、許容データ量取得部250が取得したデータ量に応じた画質で出力部290に出力させてよい。
オブジェクト領域特定部212は、撮像部200が撮像した動画に含まれる複数の動画構成画像にわたるオブジェクトの動き量が、条件格納部240が格納している動き量の下限値以上であるオブジェクトを含む領域を、オブジェクト領域として特定してよい。
なお、条件格納部240は、動画から抽出されるべきオブジェクトが有するべき予め定められたオブジェクトとの間の一致度の下限値を格納してよい。そして、オブジェクト領域特定部212は、条件格納部240が格納している一致度の下限値以上の一致度で一致するオブジェクトを含む領域を、オブジェクト領域として抽出してよい。また、条件格納部240は、動画から抽出されるべきオブジェクトが有するべき予め定められた色範囲に含まれる色が占める面積の下限値を格納してよい。そして、オブジェクト領域特定部212は、予め定められた色範囲に含まれる色の占める面積が条件格納部240が格納している面積の下限値以上であるオブジェクトを含む領域を、オブジェクト領域として抽出する。
なお、変化量算出部221及び条件設定部242は撮像装置100のそれぞれに設けられるのではなく、監視システム110は一の変化量算出部221及び一の条件設定部242を有してもよい。そして、変化量算出部221は、複数の撮像部200が撮像したそれぞれの動画における予め定められた基準画像からの変化量を、複数の撮像部200が撮像したそれぞれの動画毎に算出してよい。そして、出力制御部270は、変化量算出部221が算出した変化量が予め定められた変化量の下限値より小さい動画を、変化量算出部221が算出した変化量が下限値以上である場合よりデータ量の小さい動画に変換して伝送経路140に出力させてよい。そして、条件設定部242は、伝送経路140が伝送することができる単位時間あたりのデータ量と複数の撮像部200のそれぞれが出力する単位時間あたりのデータ量との差がより小さい場合に、条件格納部240が格納している下限値をより増加させてもよい。また、一致度算出部232は、複数の撮像部200が撮像したそれぞれの動画に含まれるオブジェクトと予め定められた基準オブジェクトとの間の一致度を、複数の撮像部200が撮像したそれぞれの動画毎に算出してもよい。そして、出力制御部270は、一致度算出部232が算出した一致度が予め定められた一致度の下限値より小さい動画を、一致度算出部232が算出した一致度が下限値以上である場合よりデータ量の小さい動画に変換して伝送経路140に出力させる。そして、条件設定部242は、伝送経路140が伝送することができる単位時間あたりのデータ量と複数の撮像部200のそれぞれが出力する単位時間あたりのデータ量との差がより小さい場合に、下限値をより増加させる。
なお、撮像制御部210は、オブジェクトを含み、動き方向の画像幅が動き方向に垂直方向の画像幅より大きい動画構成画像を含む動画を撮像部200に撮像させるべく撮像部200の撮像範囲を設定して、撮像部200に監視領域を撮像させる。そして、出力部290は、撮像制御部210によって撮像範囲が設定された状態で撮像部200が撮像した動画を出力する。このとき、撮像制御部210は、オブジェクトを含み、動き方向の画像幅が動き方向に垂直方向の画像幅より大きい動画構成画像が撮像される撮像範囲に含まれる被写体に対して、撮像部200の撮像条件を調整してよい。そして、出力部290は、撮像制御部210によって撮像条件が調整された状態で撮像部200が撮像した動画を出力してよい。
また、撮像制御部210は、オブジェクトを含み、オブジェクトに対して動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像を撮像部200に撮像させるべく撮像部200の撮像範囲を設定して、撮像部200に撮像させてよい。また、撮像制御部210は、オブジェクトを含み、オブジェクトに対して動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像が撮像される撮像範囲に含まれる被写体に対して、撮像部200の撮像条件を調整してよい。
なお、撮像部200が撮像する動画の撮像レートはモニタ表示レートより高くてもよいし、全ての撮像装置100が撮像する動画を送信するために要する時間あたりのデータ量は、伝送経路140が時間あたりに伝送することができるデータ量より大きくてもよい。なお、本実施形態におけるフレーム画像は動画構成画像の一例であり、動画構成画像はフィールド画像を含む。また、撮像部200は、魚眼レンズを通じて、監視領域全体の画像を撮像してもよい。
以上の説明においては、撮像装置100が撮像して動画をサーバ170に送信する形態について説明したが、他の形態においては、撮像装置100の機能をサーバ170が有してよい。例えば、撮像装置100は撮像した監視領域の動画をそのまま伝送経路140に出力し、サーバ170が、記録する動画の画質を制御したり、表示装置180、181、及び182が表示する動画の画質を制御してもよい。この場合、サーバ170が、オブジェクト領域特定部212、画像保持部214、差分画像生成部216、画像特徴量抽出部220、適合判断部230、条件格納部240、条件設定部242、許容データ量取得部250、画質選択部260、画質格納部262、出力制御部270、画像生成部280、及び出力部290を備えてよい。この場合、出力部290は、出力動画生成部282が生成した動画を記録媒体に記録したり、表示装置180、181、及び182に表示させてよい。
図4は、撮像装置100の動作フローの一例を示す。撮像部200は、表示装置180〜182のモニタ解像度より高解像度のフレーム画像を、表示装置180〜182のモニタ表示レートより高いフレームレートで連続して撮像することによって、監視領域の動画を撮像する(S400)。なお、平均化画像生成部202は、撮像部200がフレーム画像を撮像する度に平均化カウンタをインクリメントする。そして、平均化画像生成部202は、平均化カウンタの値に基づいて、撮像部200が所定数のフレーム画像を撮像したか否かを判断する(S401)。S401において所定数のフレーム画像を撮像した旨が判断された場合には、平均化画像生成部202は、撮像部200が撮像した所定数のフレーム画像にわたって画素毎に平均化することによって平均化画像を生成し(S402)、平均化カウンタを0にセットする。
そして、適合判断部230は、人物に適合するオブジェクトが検出されたか否かを判断する(S404)。具体的には、オブジェクト抽出部225は、平均化画像からエッジ強調等によってオブジェクトの輪郭を抽出する。そして、一致度算出部232は、オブジェクト抽出部225が抽出したオブジェクトの輪郭と、予め定められた人物のパターンとを比較することによって、オブジェクト抽出部225が抽出したオブジェクトの輪郭と予め定められた人物のパターンとの間の形状の一致度を算出する。例えば、一致度算出部232は、オブジェクトの輪郭と、当該オブジェクトと同じ面積を持つ人物のパターンとが一致する部分の面積を、オブジェクトの輪郭の面積で除した値を、形状の一致度として算出してよい。そして、適合判断部230は、一致度算出部232が算出した形状の一致度が、条件格納部240が格納している形状の一致度の下限値以上である場合に、人物に適合するオブジェクトが検出されたと判断する。
なお、動き量算出部222は、オブジェクト抽出部225が抽出したオブジェクトの移動速度を算出している。そして、S404において人物に適合するオブジェクトが検出されたと適合判断部230が判断した場合には、画質選択部260は、動き量算出部222が算出した、人物に適合するオブジェクトの移動速度を取得する(S406)。
そして、撮像装置100は、伝送経路140に出力する出力動画の表示レートとフレーム画像の解像度とを決定する(S408)。具体的には、画質選択部260が、人物に適合するオブジェクトの面積と、人物に適合するオブジェクトの動きの速さとに対応づけて画質格納部262が格納している解像度及び表示レートを選択する。例えば、S408において画質選択部260は、オブジェクトの大きさが小さいほど高い解像度(ただし、撮像部200が撮像したフレーム画像の解像度以下の解像度)が選択され、また、オブジェクトの動き速さが大きいほど高い表示レート(ただし、撮像部200が撮像したフレーム画像の撮像レート以下の表示レート)が決定される。
そして、出力動画生成部282は、S408において決定された表示レートに従って、撮像部200が撮像したフレーム画像から生成した出力フレーム画像を含む出力動画を生成するか否かを判断する(S410)。例えば、出力動画生成部282は、撮像部200がフレーム画像を撮像する毎にインクリメントされ、撮像されたフレーム画像から動画が生成される毎に0に初期化されるカウンタを保持しており、保持しているカウンタ値と撮像部200が撮像するフレーム画像の撮像間隔との積が、S408で決定した表示レートで示される出力動画が有する出力フレーム画像のフレーム間隔以上である場合に、出力フレーム画像を含む出力動画を生成する旨を判断する。
S410において、出力動画生成部282が出力動画を生成する旨を判断した場合に、許容データ量取得部250は、伝送経路140において単位時間あたりに伝送されているデータ量を検出する(S412)。そして、許容データ量取得部250は、伝送経路140が単位時間あたりに伝送することができるデータ量と、伝送経路140が単位時間あたりに伝送しているデータ量との差を示す許容データ量を算出する。なお、許容データ量取得部250は、許容データ量をサーバ170から取得してもよい。
そして、出力動画生成部282は、S408で決定された画質の動画を生成できるか否かを判断する(S414)。具体的には、出力動画生成部282は、許容データ量が、S408で決定された解像度及び表示レートを有する動画データを伝送するのに必要な単位時間あたりに伝送すべきデータ量以上である場合に、S408で決定された画質の動画を生成できる旨を判断する。
そして、S414において、S408で決定された画質の動画を生成できる旨が判断された場合には、出力動画生成部282は、撮像部200が撮像したフレーム画像から画素を間引くことによって、フレーム画像をS408で決定された解像度に変換した出力フレーム画像を生成する。そして、出力動画生成部282は、生成した出力フレーム画像を含む動画を生成して、出力部290に供給する(S416)。そして、撮像装置100は、撮影終了指示を受け付けたか否かを判断する(S418)。S418において撮影終了指示を受け付けていない場合には、撮像装置100はS400に処理を移行し、S418において撮影終了指示を受け付けた場合には処理を終了する。
なお、S418の撮影終了判断の後にS400に処理が移行した後に、S401において所定数のフレーム画像を撮像していない旨が判断された場合には、出力動画生成部282は、出力フレーム画像を含む出力動画を生成するか否かを判断する(S440)。S440では、出力動画生成部282は、S410と同様に、既に決定されている表示レートに従って、出力フレーム画像を含む出力動画を生成するか否かを判断する。そして、撮像装置100は、S440において出力フレーム画像を含む出力動画を生成する旨が判断された場合にはS412に処理を移行し、出力フレーム画像を含む出力動画を生成しない旨が判断された場合にはS400に処理を移行する。
さて、S414において、出力動画生成部282がS408で決定された画質の動画を生成できない旨を判断した場合には、出力動画生成部282は、人物に適合するオブジェクトの移動方向を取得する(S420)。具体的には、人物に適合するオブジェクトについて動き方向特定部223が特定した動き方向を、当該オブジェクトの移動方向として取得する。
そして、出力動画生成部282は、撮像部200が撮像したフレーム画像に対するトリミング範囲を決定する(S422)。具体的には、出力動画生成部282は、人物に適合するオブジェクトを含み、当該オブジェクトの移動方向の画像幅が移動方向に垂直な方向の画像幅より大きいトリミング画像が得られるトリミング範囲を決定する。以下、当該トリミング範囲の領域を人物領域という。そして、出力動画生成部282は、S422で決定したトリミング範囲でフレーム画像をトリミングすることによって、人物領域のトリミング画像を生成する(S424)。また、画像保持部214は、トリミングされた領域の画像(人物領域以外の領域の画像)を記憶しておく(S426)。そして、出力動画生成部282はS424において得られたトリミング画像を含む動画を生成して、出力部290に供給する(S428)。そして、撮像装置100はS418に処理を移行する。
なお、S404において適合判断部230が人物に適合するオブジェクトを検出していない場合には、出力動画生成部282は平均化画像から動画を生成して出力部290に供給する(S430)。このとき、出力動画生成部282は、平均化画像の画素を適宜間引くことによってデータ量を低減した出力フレーム画像を含む動画を生成して出力部290に供給してよいし、撮像部200が撮像したフレーム画像の画素を適宜間引くことによってデータ量を低減した出力フレーム画像から動画を生成して出力部290に供給してもよい。
そして、出力制御部270は、S426において画像保持部214が保持した人物領域以外の領域の画像を含む動画を出力部290に供給する(S432)。また、S410においてフレーム画像を生成しない旨が判断された場合にも、撮像装置100はS432に処理を進め、出力制御部270がS426において画像保持部214が保持した人物領域以外の領域の画像を含む動画を出力部290に供給する。なお、S432においては、出力制御部270は、人物領域以外の領域の画像から動画を生成して出力部290に供給するのではなく、人物領域以外の領域の画像自体を、出力部290に出力させてもよい。
以上説明したように、撮像装置100は、人物の動きを検出した場合には、人物の動きを検出しない場合より高解像度・高表示レートの動画をサーバ170に送信する。このとき、撮像装置100は、伝送経路140の負荷が高い場合には、人物の動きが検出された領域だけ高解像度にして他の領域をトリミングしたフレーム画像を含む動画をサーバ170に送信し、その後に人物の動きが検出されなくなったときに、トリミングされた人物領域以外の画像を送信する。したがって、撮像装置100によると、伝送経路140の負荷が大きい場合であっても、動画データがサーバ170に到着するのに要する時間を削減することができる。
図5は、画質格納部262が格納している画質情報の一例をテーブル形式で示す。画質格納部262は、人物の面積S及び動きの速さVに対応づけて、出力する動画に含まれる出力フレーム画像の解像度PR及び出力する動画の表示レートFRを格納している。例えば、画質格納部262は、人物の面積SがS1以上S2未満であり、動きの速さVがV1未満である場合には、出力フレーム画像の解像度としてPR3、出力する動画の表示レートとしてFR1を格納している。
なお、解像度PRの高さはPR4>PR3>PR2>PR1であり、表示レートFRの高さはFR4>FR3>FR2>FR1である。このように、画質格納部262は、より大きい動きの速さに対応づけてより高い表示レートFRを格納しており、より小さい人物の面積に対応づけてより大きい解像度PRを格納している。このため、撮像装置100は、人物がより大きく写っているフレーム画像の解像度をより低くすることによって、送信する動画のデータ量が必要以上に大きくなってしまうことを未然に防ぐことができる。また、撮像装置100は、より速く動く人物が検出された場合には、表示レートを大きくするので、人物が何をしているかを監視者が容易に判別することができる動画を提供することができる。
なお、上記の説明では、画質格納部262は、人物の面積S及び動きの速さVに対応づけて、出力フレーム画像の解像度PR及び出力する動画の表示レートFRを格納しているが、画質格納部262は、人物の面積S及び動きの速さVに対応づけて、出力フレーム画像の解像度PR及び階調数、並びに出力する動画の表示レートFRを格納してもよい。例えば、画質格納部262は、より大きい人物の面積に対応づけてより小さい階調数を格納してもよい。そして、出力動画生成部282は、人物の面積がより大きい場合に、より小さい階調数の出力フレーム画像から出力動画を生成してもよい。
このように、条件格納部240は、撮像部200が撮像した画像から抽出されるべきオブジェクトの条件を格納する。そして、オブジェクト抽出部225は、撮像部200が撮像した画像から、条件に適合するオブジェクトを抽出する。そして、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した画像をより低画質の画像に変換する。そして、出力部290は、画像生成部280が変換して得られた画像を出力する。
例えば、条件格納部240は、抽出されるべきオブジェクトと予め定められたオブジェクトとの間の一致度の下限値を格納する。そして、オブジェクト抽出部225は、条件格納部240が格納している下限値より高い一致度で予め定められたオブジェクトと一致するオブジェクトを、撮像部200が撮像した動画から抽出する。そして、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した画像をより低画質の画像に変換する。
また、条件格納部240は、抽出されるべきオブジェクトが有するべき予め定められた色範囲に含まれる色が占める面積の下限値を格納する。そして、オブジェクト抽出部225は、予め定められた色範囲に含まれる色が占める面積が、条件格納部240が格納している面積の下限値以上であるオブジェクトを、撮像部200が撮像した動画から抽出する。そして、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した画像をより低画質の画像に変換する。
具体的には、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した画像をより低解像度の画像に変換する。また、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトの大きさがより大きい場合に、撮像部200が撮像した画像をより少ない階調数の画像に変換する。
図6は、出力動画生成部282が生成するトリミング画像の一例を示す。出力動画生成部282は、画像600から、出力部290が出力する動画に含めるべきトリミング画像Aを生成する。なお、画像600は、撮像部200が撮像した動画の1コマのフレーム画像であってよいし、平均化画像生成部202が生成した平均化画像であってもよい。動き方向特定部223及び動き量算出部222は、連続する複数の画像においてオブジェクト抽出部225が抽出した同一人物650の位置の変化から、画像600における人物650の動き方向660及び人物650の動きの速さVを算出する。
そして、出力動画生成部282は、人物650を含み、動き方向特定部223が特定した動き方向の画像幅xが、動き方向に垂直な方向の画像幅yより大きいトリミング枠610を決定する(図4のS422)。本図の例では、出力動画生成部282は、動き方向特定部223が特定した動き方向の側が、動き方向と反対の側より広いトリミング枠610を決定する。
そして、出力動画生成部282は、トリミング枠610内のトリミング画像Aを画像600が撮像されたタイミングの出力フレーム画像とする動画を生成して、出力部290に供給する(図4のS428)。そして、画像保持部214は、トリミング枠610外の領域画像Bを記憶しておく(図4のS426)。そして、出力部290は、出力部290が出力する動画データの送信データ量より許容データ量が大きいタイミングで、画像保持部214が記憶している領域画像Bを送信する(図4のS432)。
このように、画像生成部280は、オブジェクトを含み、オブジェクトに対する動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像を、撮像部200が撮像した動画に含まれる動画構成画像からトリミングによって生成する。このため、撮像装置100は、人物650だけでなく、人物650の移動先の画像領域を含めてトリミングした画像をサーバ170に送信することができる。これにより、撮像装置100は、撮像した全領域の画像を送信する場合に比べて送信するデータ量を削減しつつ、監視者にとって望ましい監視対象被写体が写った動画を提供することができる。このため、撮像装置100は、伝送経路140が混雑していて全画像の動画を送信する余裕がないような場合であっても、監視者が人物650を十分に監視することができる内容を持つ動画を速やかにサーバ170に提供することができる。
図7は、出力動画生成部282が生成するトリミング画像の他の一例を示す。本図の例では、動き量算出部222は、図6より大きい動きの速さを算出している。このとき、出力動画生成部282は、動き方向特定部223が特定した方向760の画像幅がより大きくなるトリミング画像Aが得られるよう、トリミング枠710を設定する。このため、撮像装置100は、人物の動きが速い場合であっても、監視者が人物の行動意図を的確に判断することができる監視画像をサーバ170に提供することができる。
図8は、出力動画生成部282が生成するトリミング画像の更なる他の一例を示す。本図の例では、出力動画生成部282は、人物850が略中央に位置するトリミング枠810を決定する。このように、画像生成部280は、オブジェクト抽出部225が抽出したオブジェクトを含み、オブジェクトに対して動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像を、撮像部200が撮像した動画に含まれる動画構成画像からトリミングによって生成する。つまり、出力動画生成部282は、人物850の動き方向と側の領域と、当該動き方向と反対方向の側の領域とが略同一となるトリミング画像Aを得ることができるトリミング枠810を決定する。このようにすると、撮像装置100は、人物850の前後方向の領域を監視者が適切に監視することができる画像を、サーバ170に提供することができる。
なお、図6から図8の説明では、撮像装置100が撮像したフレーム画像又は平均化画像をトリミングする例について説明したが、トリミング枠610、710、及び810でトリミングすることに代えて、撮像制御部210は、トリミング枠610、710、及び810内の被写体に対して撮像条件を合わせて、撮像部200に撮像させてもよい。例えば、撮像制御部210は、トリミング枠610、710、及び810の範囲が撮像部200の撮像範囲となるよう、撮像部200の撮像方向及びズーム値を制御してよい。
図9は、出力部290が出力する動画に含まれるフレーム画像の一例を時系列で示す。平均化画像生成部202は、撮像部200が連続して撮像した4つのフレーム画像を平均化することによって、平均化画像910、920、930、940、・・・、980、990・・・を生成する。そして、連続する平均化画像の間で変化がない場合には、出力動画生成部282は、撮像部200の撮像間隔の所定数倍(例えば、4倍)の表示間隔で出力フレーム画像が表示される動画を、出力部290に供給する。例えば、出力動画生成部282は、所定数の連続するフレーム画像を平均化した平均化画像(例えば、910、920、930)が出力フレーム画像である動画を、出力部290に供給する。なお、出力動画生成部282は、平均化画像の画素を適宜間引いた画像を出力フレーム画像とする動画を出力部290に供給してよいし、連続する平均化画像から差分画像生成部216が生成した差分画像を含む動画を出力部290に供給してもよい。
そして、例えば時刻t12、t16のように、連続する平均化画像(例えば、平均化画像920及び930、平均化画像930及び平均化画像940)の間で変化が検出され、適合判断部230が平均化画像(例えば、平均化画像930、940)に人物の動きに適合するオブジェクトが存在すると判断すると、出力動画生成部282は、時刻t12より後に撮像部200が撮像したフレーム画像を有する動画を出力部290に供給する。
このとき、図4のS420〜S428で説明したように、出力動画生成部282は、図6から図8に関連して説明したトリミング枠でトリミングしたトリミング画像941を出力フレーム画像とする動画を、出力部290に供給してよい。そして、画像保持部214は、トリミングされた部分の画像945を保持しておく。そして、出力動画生成部282は、人物の動きが検出されなくなる時刻t80までの間、撮像部200が撮像する撮像間隔の出力フレーム画像を有する動画を生成して、出力部290に供給する。作図の都合上図示されていないが、時刻t14から時刻t80までの間においても、画像保持部214はトリミングされた部分の画像を保持してよいことは言うまでもない。
そして、平均化画像980及び990のように、連続する平均化画像の間で変化が検出されなくなると、出力動画生成部282は、再び平均化画像が1コマの出力フレーム画像である動画を出力部290に供給する。このとき、出力制御部270は、画像保持部214が保持している画像945を出力部290に出力させる。なお、出力制御部270は、出力部290から出力される単位時間あたりのデータ量が許容データ量取得部250が取得した許容データ量以下になるよう、画像945を複数の領域に分割して、分割した複数の領域の画像を出力部290に順次出力させてもよい。
なお、画像保持部214は、時刻t13〜t80で撮像部200が撮像したフレーム画像の全体を保持しておき、変化が検出されなくなった時刻t81以降において、画像保持部214が保持しているフレーム画像を1コマの出力フレーム画像とする動画を出力部290に出力させてもよい。このとき、出力制御部270は、出力部290が出力する単位時間あたりのデータ量の合計が、許容データ量取得部250が取得した許容データ量以下になるよう、出力部290に送信させる画像の大きさ、解像度、又は階調数を決定してよい。なお、出力制御部270は、いずれのタイミングで撮像された画像であるかを示すタイミング情報を含めて、画像保持部214が保持しているフレーム画像(又は画像945)を出力部290に出力させる。
このように、平均化画像生成部202は、所定の時間幅の期間に撮像部200が撮像した動画に含まれる複数の動画構成画像を平均化して、所定の時間幅毎に平均化画像を生成する。そして、出力動画生成部282は、第1の期間に撮像部200が撮像した動画に含まれる複数の動画構成画像を平均化して平均化画像生成部202が生成した第1平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、第1平均化画像を第1の期間の出力動画の動画構成画像とし、第1平均化画像が条件に適合する旨を適合判断部230が判断した場合に、第1の期間に撮像部200が撮像した動画を第1の期間の出力動画とする。
また、平均化画像生成部202は、所定の時間幅の期間に撮像部200が撮像した動画に含まれる複数の動画構成画像を平均化して、所定の時間幅毎に平均化画像を生成してよい。そして、出力動画生成部282は、第1の期間に撮像部200が撮像した動画に含まれる複数の動画構成画像を平均化して平均化画像生成部202が生成した第1平均化画像が条件に適合しない旨を適合判断部230が判断した場合に、第1の期間の次の第2の期間に撮像部200が撮像した複数の動画構成画像を平均化して平均化画像生成部202が生成した平均化画像を第2の期間の出力動画の動画構成画像とし、第1平均化画像が条件に適合する旨を適合判断部230が判断した場合に、第2の期間に撮像部200が撮像した動画を第2の期間の出力動画としてよい。
なお、平均化画像生成部202は、複数の平均化画像によって表される動画の表示レートが許容データ量取得部250が取得したデータ量で送信することができる動画の表示レートより低くなるよう、一の平均化画像を生成するために用いる複数の動画構成画像が撮像される時間幅を決定し、当該時間幅の期間に撮像部200が撮像した動画に含まれる複数の動画構成画像を平均化して、当該時間幅毎に平均化画像を生成してよい。
図10は、出力動画生成部282が生成する出力フレーム画像の一例を示す。本図は、図9の時刻t13において撮像部200が撮像したフレーム画像から出力動画生成部282が生成する出力フレーム画像の他の一例を示す。図9の例では、出力動画生成部282は、撮像部200が撮像するフレーム画像のうち、人物を含む領域を含むトリミング画像が出力フレーム画像である動画を生成して出力部290に出力させたが、本図の例では、出力動画生成部282は、人物を含む領域の解像度が人物を含む領域以外の領域の解像度より高い出力フレーム画像1010を含む動画を生成して、出力部290に出力させる。
出力動画生成部282は、撮像部200が撮像したフレーム画像において、人物を含む領域より人物を含む領域以外の領域からより多くの画素を間引くことによって出力フレーム画像1010を生成する。なお、出力動画生成部282は、出力フレーム画像1010における複数の領域のそれぞれの解像度を示す解像度情報を含めて出力部290に出力させてよい。また、画像保持部214は、出力動画生成部282が間引いた画素で表される画像を保持してよく、出力制御部270は、画像保持部214が保持している画像を、時刻t81以降において出力部290に出力させてよい。
以上説明したように、撮像部200は、表示装置180〜182が表示することができる画素数、階調数、及び表示レートの動画データより多いデータ量の動画を撮像する。また、撮像部200は、伝送経路140が単位時間あたりに伝送することができる撮像装置100の1台あたりのデータ量より大きいデータ量の動画を撮像する。そして、出力動画生成部282及び出力制御部270は、出力部290に出力させる動画の画質、例えば解像度、階調数、及び表示レートを制御することによって、出力部290が時間あたりに出力するデータ量を低減させる。
図11は、出力部290が伝送経路140に出力すべきデータ量の時間発展の一例を示す。許容データ量取得部250は、伝送経路140が単位時間あたりに伝送することができる撮像装置100の1台あたりのデータ量を、伝送経路140が許容することができる時間あたりのデータ量である許容データ量として取得する。図1から図10にかけて説明したように、出力動画生成部282及び出力制御部270は、出力部290に出力させる動画の解像度、階調数、及び表示レートを制御することによって、出力部290が時間あたりに出力するデータ量が許容データ量を超えないように制御する。
例えば、出力動画生成部282は、人物の動きが検出されたりすることによって撮像部200が撮像した表示レート又は解像度の高い動画を送信しようとすると、例えば時刻t1102〜t1103の期間のように、出力部290が出力する単位時間あたりのデータ量が許容データ量を超えてしまう。このような場合、出力動画生成部282は、出力部290が単位時間当たりに出力するデータ量を許容データ量まで低減させるべく、撮像部200が撮像したフレーム画像をトリミングして人物を含む部分の動画を生成したり、人物の動き速さに応じてフレーム画像を適宜間引いたりして、低データ量の動画を生成する。そして、出力制御部270は、時刻1102〜t1103までの間にトリミングされた画像又は間引いた画素で表される画像を、単位時間当たりに出力するデータ量が許容データ量より小さくなる期間(例えば、時刻t1103〜t1104の期間)に出力部290に出力させる。このような制御によって、撮像装置100は、許容データ量と略同一のデータ量の動画を、サーバ170に送信することができる。このため、監視システム110によると、伝送経路140の帯域幅を有効に使用することができる。
図12は、条件格納部240が格納している条件の一例を示す。条件格納部240は、人物の面積、オブジェクトの動き速さ、変化領域の面積、特定色の面積、基準オブジェクトとの間の形状の一致度、及び基準方向との間の移動方向の一致度のそれぞれについて、下限値(S1、V1、Sα、Sβ、sγ、md)を格納している。そして、適合判断部230は、平均化画像生成部202が生成した平均化画像において、条件格納部240が格納している下限値以上の人物の面積、オブジェクトの動く速さ、変化領域の面積、特定色の面積、基準オブジェクトとの間の形状の一致度、又は基準方向との間の移動方向の一致度を有するオブジェクトが検出された場合に、当該平均化画像は条件格納部240が格納している条件に適合すると判断する。このとき、図1から図11に関連して説明したように、出力動画生成部282は、条件格納部240が格納している条件に適合しないと適合判断部230が判断した場合より高画質の動画を、撮像部200が撮像した動画から生成する。
なお、条件格納部240は、撮像部200が撮像した複数のフレーム画像又は平均化画像生成部202が生成した複数の平均化画像の間で、予め定められた値以上変化した画素値を持つ画素の数の下限値を、変化領域の面積の下限値として格納してよい。また、条件格納部240は、複数のフレーム画像又は複数の平均化画像の全画素数に対する、予め定められた値以上変化した画素値を持つ画素数の比の下限値を、変化領域の面積の下限値として格納してもよい。なお、画素値とは輝度値であってよい。
また、条件格納部240は、複数のフレーム画像又は複数の平均化画像に含まれる、予め定められた色範囲に含まれる色を有する画素の数の下限値を、特定色の面積の下限値として格納してよい。また、条件格納部240は、フレーム画像又は平均化画像の全画素数に対する、予め定められた色範囲に含まれる色を有する画素の数の比の下限値を、特定色の面積の下限値として格納してもよい。
また、条件格納部240は、フレーム画像又は平均化画像に含まれるオブジェクトの輪郭が同じ面積を有する予め定められた基準オブジェクトと重なり合う部分の面積の下限値を、基準オブジェクトとの間の形状の一致度の下限値として格納してよい。また、条件格納部240は、フレーム画像又は平均化画像に含まれるオブジェクトの輪郭が同じ面積を有する予め定められた基準オブジェクトと重なり合う部分の面積の、オブジェクトの面積に対する比の下限値を、基準オブジェクトとの間の形状の一致度の下限値として格納してもよい。
また、条件格納部240は、フレーム画像又は平均化画像に含まれるオブジェクトの動き方向と予め定められた基準方向との間のなす角度に反比例する指標値の下限値を、基準方向と移動方向の一致度の下限値として格納してよい。なお基準方向とは、フレーム画像上又は平均化画像上において予め定められた方向であってよく、実空間において予め定められた方向であってもよい。なお、条件格納部240は、フレーム画像又は平均化画像に含まれるオブジェクトが示す被写体が動く方向と当該被写体の位置から撮像部200に向かう方向との間のなす角度に反比例する指標値の下限値を、基準方向と移動方向の一致度の下限値として格納してよい。
図13は、撮像部200に向かう被写体が撮像されたフレーム画像1310、1320、及び1330の一例を示す。動き方向特定部223は、撮像部200が撮像したフレーム画像1310、1320、及び1330のそれぞれからオブジェクト抽出部225が抽出したオブジェクト1315、1325、及び1335の重心位置1311、1321、及び1331を算出する。また、動き方向特定部223は、フレーム画像1310、1320、及び1330のそれぞれからオブジェクト抽出部225が抽出したオブジェクトの長さl1312、l1322、及びl1332を算出する。
そして、動き方向特定部223は、フレーム画像1310、1320、及び1330にわたるオブジェクトの長さの増加率及びオブジェクトの重心位置の変化率を算出して、算出したオブジェクトの長さの増加率が予め定められた基準値以上であり、かつオブジェクトの重心位置の変化率が予め定められた基準値より小さい場合に、オブジェクトが示す被写体が撮像部200に向かっている旨を判断する。
なお、条件格納部240は、オブジェクトの重心が画像における中心に向かう方向を示す条件を格納してよい。そして、適合判断部230は、重心位置の移動方向が、画像における中心に向かう方向を示す場合に、条件格納部240が格納している条件に適合する旨を判断する。なお、条件格納部240は、オブジェクトの重心が画像における中心に向かう方向を示す条件の他に、オブジェクトの大きさの変化を示す条件を格納してもよい。例えば、条件格納部240は、複数の動画構成画像又は平均化画像にわたって、オブジェクトの長さの増加速度が予め定められた増加速度より大きく、オブジェクトの重心が画像における中心に向かっていること又はオブジェクトの重心が画像における中心近傍にあることを示す条件を格納してよい。
このように、撮像装置100は、撮像部200に向かってくる被写体を検出したときに出力する動画の画質を高めることができる。このため、盗難から守るべき物体に撮像部200を設けることによって、その物体に近づく人物を適切に監視することができる。また、撮像装置100は、撮像部200に対して布をかぶせる等の妨害工作をしようとする人物を適切に監視することができる。
図14は、条件設定部242が設定する動き速さの下限値の時間発展の一例を示す。伝送経路140は、時刻t1400〜t1401、時刻t1402〜t1403、及び時刻t1404〜t1405の期間、略一定のデータ量の動画を伝送している。これらの期間においては、いずれの撮像装置100も人物の動きを検出しておらず、全ての撮像装置100は、撮像した動画を低画質の動画に変換して出力することによって、合計のデータ量R0の動画を出力している。
一方、時刻t1401〜t1402、時刻t1403〜t1404、及び時刻t1405〜t1406の期間には、いずれかの撮像装置100が人物の動きを検出しており、撮像した動画を低画質の動画にすることなくそのまま伝送経路140に出力することによって、伝送経路140が時間あたりに伝送するデータが増大する。このとき、許容データ量取得部250は、伝送経路140が単位時間あたりに伝送することができる最大のデータ量Rmaxと、伝送経路140が時間あたりに伝送しているデータ量との差を、単位時間あたりに許容される許容データ量として取得する。なお、許容データ量取得部250は、伝送経路140が単位時間あたりに伝送することができる最大のデータ量Rmaxと伝送経路140が時間あたりに伝送しているデータ量との差を、伝送経路140に動画を出力する撮像装置100の個数で除した値を、許容データ量として取得してもよい。
そして、条件設定部242は、許容データ量取得部250が取得した許容データ量に反比例する動き速さの下限値を、条件格納部240に格納させる。これにより、条件格納部240には、許容データ量がより小さいほどより大きい動き速さの下限値が格納される。
なお、撮像装置100には、優先順位が予め定められてよい。そして、条件設定部242は、より高い優先順位が撮像装置100に定められている場合に、より低い動き速さの下限値を条件格納部240に格納させてよい。また、条件設定部242は、予め定められた順で所定の期間毎に、許容データ量に応じた動き速さの下限値を条件格納部240に格納させてよい。
以上の説明においては、条件格納部240が格納している動き速さの下限値を、許容データ量に応じて条件設定部242が設定する場合について説明したが、条件設定部242は同様に、条件格納部240が格納している人物の面積の下限値、変化領域の面積の下限値、特定色の面積の下限値、基準オブジェクトとの間の形状の一致度の下限値、及び基準方向との間の移動方向の一致度の下限値を、許容データ量に応じて設定することができることは言うまでもない。
図15は、監視システム110に係るコンピュータ1500のハードウェア構成の一例を示す。コンピュータ1500は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、コンピュータ1500内のCPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワークを介して撮像装置100と通信し、撮像装置100にプログラム、及びデータを提供する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動時に実行するブート・プログラムや、コンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM1520を介して通信インターフェイス1530に提供されるプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM1520を介して通信インターフェイス1530に提供され、ネットワークを介して撮像装置100に送信される。撮像装置100に送信されたプログラムは、撮像装置100においてインストールされて実行される。
撮像装置100にインストールされて実行されるプログラムは、撮像装置100を、図1から図13に関連して説明した撮像部200、平均化画像生成部202、撮像制御部210、オブジェクト領域特定部212、画像保持部214、差分画像生成部216、変化量算出部221、動き量算出部222、動き方向特定部223、特定色面積算出部224、及びオブジェクト抽出部225、適合判断部230、一致度算出部232、条件格納部240、条件設定部242、許容データ量取得部250、画質選択部260、画質格納部262、出力制御部270、画像生成部280、出力動画生成部282、及び出力部290として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1500に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。