JP2008182680A - Monitoring system, monitoring method, and program - Google Patents
Monitoring system, monitoring method, and program Download PDFInfo
- Publication number
- JP2008182680A JP2008182680A JP2007323646A JP2007323646A JP2008182680A JP 2008182680 A JP2008182680 A JP 2008182680A JP 2007323646 A JP2007323646 A JP 2007323646A JP 2007323646 A JP2007323646 A JP 2007323646A JP 2008182680 A JP2008182680 A JP 2008182680A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- output
- area
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、監視システム、監視方法、及びプログラムに関する。特に本発明は、画像により監視する監視システム及び監視方法、並びに監視システム用のプログラムに関する。 The present invention relates to a monitoring system, a monitoring method, and a program. In particular, the present invention relates to a monitoring system and a monitoring method for monitoring by an image, and a program for the monitoring system.
動画圧縮部において検出された動きベクトルが所定値未満の期間には、撮像部に供給される同期信号の周期を比較的長くすることで撮像部による撮像のフレームレートを低下させ、動きベクトルが所定値以上の期間には、同期信号の周期を比較的短くすることで撮像のフレームレートを高くする撮影装置が知られている（例えば、特許文献１参照。）。
特許文献１に記載の撮影装置は、動きが検出されていない間は低フレームレートで撮像し、撮影している低フレームレートの画像から所定値以上の動きが検出されると、撮像のフレームレートを高くしたり、撮像の解像度を高める。このため、特許文献１に記載の撮影装置によると、動きが検出された場合に生成される監視画像のデータ量は非常に大きくなってしまう。そのような監視画像を外部に送信しようとすると、監視画像が送信先に到達するのまでに長い時間を要してしまう場合がある。このため、監視者が監視画像を迅速に閲覧することができず、不審者に迅速に対応することができなくなる虞がある。
The imaging device described in
そこで本発明は、上記課題を解決することができる監視システム、監視方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Then, an object of this invention is to provide the monitoring system, the monitoring method, and program which can solve the said subject. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
上記課題を解決するために、本発明の第１の形態における監視システムは、監視領域の動画を撮像する撮像部と、撮像部が撮像した動画から抽出されるべきオブジェクトの条件を格納する条件格納部と、撮像部が撮像した動画に条件に適合するオブジェクトが存在するか否かを判断する適合判断部と、適合判断部が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定するオブジェクト領域特定部と、適合判断部が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を出力する出力部と、適合判断部が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域以外の領域の画像を保持する画像保持部と、画像保持部がオブジェクト領域以外の領域の画像を保持した後に、画像保持部が保持しているオブジェクト領域以外の領域の画像を送信すべき旨を判断した場合に、画像保持部が保持しているオブジェクト領域以外の領域の画像を出力部に出力させる出力制御部とを備える。 In order to solve the above-described problem, a monitoring system according to a first embodiment of the present invention includes an imaging unit that captures a moving image of a monitoring area, and a condition storage that stores a condition of an object to be extracted from the moving image captured by the imaging unit. And a conformity determination unit that determines whether or not there is an object that satisfies the condition in the moving image captured by the image capturing unit, and the conformity determination unit determines that there is an object that conforms to the condition. An object region specifying unit that specifies an object region that includes a conforming object, an output unit that outputs an image of the object region when the conformity determining unit determines that an object conforming to the condition exists, and a conformity determining unit An image holding unit that holds an image of an area other than the object area when it is determined that there is an object that meets the conditions; and an image holding unit When it is determined that an image of an area other than the object area held by the image holding unit should be transmitted after holding the image of the area other than the object area, the image of the object other than the object area held by the image holding unit is stored. An output control unit that causes the output unit to output an image of the region.
出力部から出力することが許容されている単位時間あたりのデータ量を取得する許容データ量取得部をさらに備え、出力部は、適合判断部が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を出力し、出力制御部は、画像保持部がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画において、適合判断部が条件に適合するオブジェクトが存在しない旨を判断した場合に、許容データ量取得部が取得したデータ量が予め定められた値より大きいことを条件として、画像保持部が保持しているオブジェクト領域以外の領域の画像を、出力部に出力させてよい。 When the output unit further includes an allowable data amount acquisition unit that acquires the amount of data per unit time allowed to be output from the output unit, and the output unit determines that there is an object that meets the conditions In addition, the image of the object area is output, and the output control unit indicates that there is no object that the conformity determination unit satisfies the condition in the moving image of the monitoring area after the image holding unit holds the image of the area other than the object area. If the data amount acquired by the allowable data amount acquisition unit is larger than a predetermined value, an image of an area other than the object area held by the image holding unit is output to the output unit. You may let me.
本発明の第２の形態における監視方法は、監視領域の動画を撮像する撮像段階と、撮像段階において撮像された動画を出力する出力段階と、撮像段階において撮像された動画から抽出されるべきオブジェクトの条件を格納する条件格納段階と、撮像段階において撮像された動画に条件に適合するオブジェクトが存在するか否かを判断する適合判断段階と、適合判断段階において条件に適合するオブジェクトが存在する旨が判断された場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定するオブジェクト領域特定段階と、適合判断段階において条件に適合するオブジェクトが存在する旨が判断された場合に、オブジェクト領域の画像を出力する出力段階と、適合判断段階において条件に適合するオブジェクトが存在する旨が判断された場合に、オブジェクト領域以外の領域の画像を保持する画像保持段階と、画像保持段階においてオブジェクト領域以外の領域の画像を保持された後に、画像保持段階において保持されているオブジェクト領域以外の領域の画像を送信すべき旨が判断された場合に、画像保持段階において保持されているオブジェクト領域以外の領域の画像を出力段階において出力させる出力制御段階とを備える。 The monitoring method according to the second aspect of the present invention includes an imaging stage for capturing a moving image of a monitoring area, an output stage for outputting a moving image captured in the imaging stage, and an object to be extracted from the moving image captured in the imaging stage. A condition storage stage for storing the above conditions, a conformity determination stage for determining whether or not there is an object that meets the conditions in the moving image captured in the imaging stage, and an object that meets the conditions in the conformity determination stage. If it is determined that there is an object region that includes an object region that includes an object that satisfies the condition, and that an object that meets the condition exists in the conformity determination step, an image of the object region is displayed. It is determined that there are objects that meet the conditions in the output stage and the conformity judgment stage. An image holding stage for holding an image of an area other than the object area, and an area other than the object area held in the image holding stage after holding an image of the area other than the object area in the image holding stage. An output control stage for outputting an image in an area other than the object area held in the image holding stage in the output stage when it is determined that the image is to be transmitted.
本発明の第３の形態によると、監視システム用のプログラムであって、監視システムを、監視領域の動画を撮像する撮像部、撮像部が撮像した動画から抽出されるべきオブジェクトの条件を格納する条件格納部、撮像部が撮像した動画に条件に適合するオブジェクトが存在するか否かを判断する適合判断部、適合判断部が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定するオブジェクト領域特定部、適合判断部が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を出力する出力部、適合判断部が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域以外の領域の画像を保持する画像保持部、画像保持部がオブジェクト領域以外の領域の画像を保持した後に、画像保持部が保持しているオブジェクト領域以外の領域の画像を送信すべき旨を判断した場合に、画像保持部が保持しているオブジェクト領域以外の領域の画像を出力部に出力させる出力制御部として機能させる。 According to the third aspect of the present invention, there is provided a program for a monitoring system, in which the monitoring system stores an image capturing unit that captures a moving image of a monitoring area, and a condition of an object to be extracted from the moving image captured by the image capturing unit. When the condition storage unit, the conformity determination unit that determines whether there is an object that meets the condition in the moving image captured by the imaging unit, or the conformity determination unit determines that there is an object that meets the condition, An object region specifying unit that identifies an object region that includes a conforming object, and an output unit that outputs an image of the object region when the conformity determining unit determines that there is an object that conforms to the condition. An image holding unit and an image holding unit for holding an image of an area other than the object area when it is determined that a matching object exists When it is determined that an image of an area other than the object area held by the image holding unit should be transmitted after holding the image of the area other than the object area, the image of the object other than the object area held by the image holding unit is stored. It functions as an output control unit that causes the output unit to output an image of the region.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
本発明によれば、監視画像を送信するのに要する単位時間あたりのデータ量を必要以上に増やすことなく、詳細な監視画像を提供することができる監視システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the monitoring system which can provide a detailed monitoring image can be provided, without increasing the data amount per unit time required to transmit a monitoring image more than necessary.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
図１は、一実施形態に係る監視システム１１０の利用環境の一例を示す。監視システム１１０は、複数の撮像装置１００ａ〜ｃと、伝送経路１４０と、サーバ１７０と、複数の表示装置１８０、１８１、１８２・・・とを備える。サーバ１７０及び複数の表示装置１８０、１８１、１８２・・・は、監視領域１５０、１５１、１５２・・・の遠方の監視室１６０に設けられる。なお、撮像装置１００ａ〜ｃは、複数の監視領域１５０、１５１、１５２・・・を撮像すべく、複数の監視領域１５０、１５１、１５２・・・のそれぞれに設けられる。以後、複数の監視領域１５０、１５１、１５２・・・のそれぞれに設けられる撮像装置１００ａ〜ｃを撮像装置１００と総称する。
FIG. 1 shows an example of a usage environment of a
撮像装置１００は、監視領域１５０、１５１、１５２・・・を撮像した動画を伝送経路１４０を通じてサーバ１７０に送信する。サーバ１７０は、撮像装置１００から受け取った動画を、表示装置１８０、１８１、１８２・・・に表示させる。表示装置１８０、１８１、１８２・・・は、それぞれ監視領域１５０、１５１、１５２・・・の動画を表示する。
The
撮像装置１００は、表示装置１８０、１８１、１８２・・・が表示することができるモニタ解像度より高い解像度のフレーム画像を、表示装置１８０、１８１、１８２・・・が表示することができる動画の表示レートであるモニタ表示レートより高いフレームレートで動画を撮像する。そして、撮像装置１００は、撮像した動画に人物又は変化が検出されていない間、撮像装置１００が撮像した動画をモニタ解像度以下の解像度のフレーム画像がモニタ表示レート以下のレートで表示される動画に変換して、サーバ１７０に送信し続ける。
The
そして、撮像装置１００は、動画に人物又は変化が検出されると、撮像した高い解像度・高フレームレートの動画を、動画に人物又は変化が検出されなくなるまでサーバ１７０に送信し続ける。サーバ１７０は、撮像装置１００から受け取った動画を記録するとともに、受け取った動画をモニタ解像度及びモニタ表示レートに合わせて表示装置１８０、１８１、１８２・・・に表示させる。
Then, when a person or change is detected in the moving image, the
例えば、撮像装置１００は、撮像して得られた複数のフレーム画像を時間的に平均化して得られた平均化画像から変化を検出したり、平均化画像に含まれる人物を検出する。例えば、撮像装置１００は、時間的に連続する平均化画像の間において変化が検出された領域の面積が所定の閾値以上である場合に、動画に変化がある旨を検出する。そして動画から人物又は変化が検出されると、撮像装置１００は、少なくとも人物又は変化が検出された部分領域において撮像時の解像度を有するフレーム画像を生成して、生成したフレーム画像を含む動画をサーバ１７０に送信する。また、撮像装置１００は、人物の動きを検出した場合には、少なくとも人物の移動方向の側が広くなるよう設定された部分領域において撮像した解像度を有するフレーム画像を生成して、生成したフレーム画像を含む動画をサーバ１７０に送信する。
For example, the
また、撮像装置１００は、人物又は変化が検出された部分領域をフレーム画像とする動画をサーバ１７０に送信してよい。このとき撮像装置１００は、人物又は変化が検出された部分領域以外の領域の部分画像を保持しておく。上記のように、撮像装置１００は、人物又は変化が検出されなくなると、画質を低減したフレーム画像をサーバ１７０に送信するので、人物又は変化が検出されなくなる期間には、伝送経路１４０が伝送するデータ量は低減する。したがって、撮像装置１００は、当該期間に、保持しておいた部分画像をサーバ１７０に送信してもよい。
In addition, the
また、サーバ１７０は、伝送経路１４０が伝送することができる時間あたりのデータ量と、撮像装置１００が送信する時間あたりのデータ量との差がより小さい場合に、より大きい閾値を撮像装置１００に設定させる。これにより、伝送経路１４０を伝送するデータ量が増加して動画データの到達が遅延することを未然に防ぐことができる。
Further, the
なお、監視領域１５０、１５１、１５２・・・は、異なる建物内の空間であってよいし、同じ建物内の異なる空間であってもよい。例えば、監視領域１５０、１５１、１５２・・・は、店舗内の陳列棚の間の通路であってよい。また、監視領域１５０、１５１、１５２は、建物内の空間に限らず、建物によって囲われていない開放された空間であってよいことは言うまでもない。
The
図２は、撮像装置１００のブロック構成の一例を示す。撮像装置１００は、撮像部２００、平均化画像生成部２０２、撮像制御部２１０、オブジェクト領域特定部２１２、画像保持部２１４、差分画像生成部２１６、画像特徴量抽出部２２０、適合判断部２３０、条件格納部２４０、条件設定部２４２、許容データ量取得部２５０、画質選択部２６０、画質格納部２６２、出力制御部２７０、画像生成部２８０、及び出力部２９０を備える。適合判断部２３０は、一致度算出部２３２を有する。また、画像生成部２８０は、出力動画生成部２８２を有する。図３は、画像特徴量抽出部２２０のブロック構成の一例を示す。画像特徴量抽出部２２０は、変化量算出部２２１、動き量算出部２２２、動き方向特定部２２３、特定色面積算出部２２４、及びオブジェクト抽出部２２５を有する。
FIG. 2 shows an example of a block configuration of the
撮像部２００は、監視領域の画像を撮像する。具体的には、撮像部２００は、監視領域の動画を撮像する。平均化画像生成部２０２は、撮像部２００が撮像した動画に含まれる複数の動画構成画像を平均化した平均化画像を生成する。例えば、平均化画像生成部２０２は、複数の動画構成画像を画素毎に平均化することによって、平均化画像を生成する。なお、条件格納部２４０は、異常が生じていると判断される動画に含まれる複数の動画構成画像が平均化された平均化画像が適合すべき条件を格納する。
The imaging unit 200 captures an image of the monitoring area. Specifically, the imaging unit 200 captures a moving image in the monitoring area. The averaged
そして、適合判断部２３０は、平均化画像生成部２０２が生成した平均化画像が条件に適合するか否かを判断する。そして、出力動画生成部２８２は、平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、撮像部２００が撮像した動画に含まれる動画構成画像から、適合判断部２３０が平均化画像が条件に適合する旨を判断した場合より低画質の動画構成画像を含む出力動画を生成する。そして、出力部２９０は、出力動画生成部２８２が生成した出力動画を出力する。例えば、出力部２９０は、複数の撮像部２００が撮像した監視領域の動画を伝送する伝送経路１４０に、出力動画生成部２８２が生成した出力動画を出力する。なお、出力部２９０は、撮像部２００が撮像した監視領域の動画を出力してもよい。例えば、出力部２９０は、平均化画像が条件に適合した旨を適合判断部２３０が判断した場合には、撮像部２００が撮像した動画を出力してよい。
Then, the
具体的には、出力動画生成部２８２は、平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、平均化画像が条件に適合する旨を適合判断部２３０が判断した場合より低い解像度の動画構成画像を含む出力動画を生成する。また、出力動画生成部２８２は、平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、平均化画像が条件に適合する旨を適合判断部２３０が判断した場合より少ない階調数の動画構成画像を含む出力動画を生成してよい。また、出力動画生成部２８２は、平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、撮像部２００が撮像した動画から、平均化画像が条件に適合する旨を適合判断部２３０が判断した場合より低い表示レートの出力動画を生成してよい。
Specifically, when the
なお、出力動画生成部２８２は、平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、平均化画像生成部２０２が生成した平均化画像を含む出力動画を生成し、平均化画像が条件に適合する旨を適合判断部２３０が判断した場合に撮像部２００が撮像した動画を出力動画としてよい。
Note that the output moving
差分画像生成部２１６は、平均化画像生成部２０２が生成した第１平均化画像と、当該第１平均化画像を生成するために用いられたいずれの動画構成画像より後に撮像された動画構成画像を用いて平均化画像生成部２０２が生成した第２平均化画像との間の差分画像を生成する。そして、出力動画生成部２８２は、平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、差分画像生成部２１６が生成した差分画像を含む出力動画を生成し、平均化画像が条件に適合する旨を適合判断部２３０が判断した場合に撮像部２００が撮像した動画を出力動画としてよい。
The difference
許容データ量取得部２５０は、出力部２９０から出力することが許容されている単位時間あたりのデータ量を取得する。例えば、許容データ量取得部２５０は、伝送経路１４０が単位時間あたりに伝送することができるデータ量、出力制御装置１７２が単位時間当たりに処理することができるデータ量容量を取得してよい。そして、出力動画生成部２８２は、平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、更に許容データ量取得部２５０が取得したデータ量が予め定められた値より小さいことを条件として、差分画像生成部２１６が生成した差分画像を含む出力動画を生成する。
The allowable data
なお、適合判断部２３０は、平均化画像における複数の部分領域のそれぞれが条件に適合するか否かを判断してよい。そして、出力動画生成部２８２は、適合判断部２３０が条件に適合する旨を判断した領域である適合領域以外の領域において適合領域より低画質な動画構成画像を含む出力動画を生成してよい。
Note that the
なお、オブジェクト抽出部２２５は、撮像部２００が撮像した動画から、予め定められた条件に適合するオブジェクトを抽出する。具体的には、オブジェクト抽出部２２５は、撮像部２００が撮像した動画に含まれる動画構成画像から、条件格納部２４０が格納している条件に適合するオブジェクトを抽出する。そして、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した動画をより低画質の動画に変換する。そして、出力部２９０は、画像生成部２８０が変換して得られた動画を出力する。この場合、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した動画をより低い解像度の動画に変換してよい。
The object extraction unit 225 extracts an object that meets a predetermined condition from the moving image captured by the imaging unit 200. Specifically, the object extraction unit 225 extracts an object that meets the conditions stored in the
また、動き量算出部２２２は、撮像部２００が撮像した動画に含まれる複数の動画構成画像の間における、オブジェクト抽出部２２５が抽出したオブジェクトの動き量を算出する。条件格納部２４０は、抽出されるべきオブジェクトが有するべきオブジェクトの動き量の下限値を格納している。例えば、条件格納部２４０は、抽出されるべきオブジェクトが有するべき、連続するフレーム間におけるオブジェクトの動き量の下限値を格納している。そして、オブジェクト抽出部２２５は、動き量算出部２２２が算出したオブジェクトの動き量が条件格納部２４０が格納している動き量の下限値以上であるオブジェクトを、撮像部２００が撮像した動画に含まれる複数の動画構成画像から抽出する。そして、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した動画をより低い解像度の動画に変換する。具体的には、画像生成部２８０は、動き量算出部２２２が算出したオブジェクトの動き量がより大きい場合に、撮像部２００が撮像した動画をより低い表示レートの動画に変換する。
In addition, the motion
なお、画質格納部２６２は、オブジェクトの大きさ及びオブジェクトの動き量に対応づけて、動画の表示レート及び動画に含まれる動画構成画像の画質の組合せを格納する。そして、画質選択部２６０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさ及び動き量算出部２２２が算出したオブジェクトの動き量に対応づけて画質格納部２６２が格納している画質及び表示レートの組合せを選択する。そして、画像生成部２８０は、撮像部２００が撮像した動画を、画質選択部２６０によって選択された画質の動画構成画像が画質選択部２６０によって選択された表示レートで表示される動画に変換する。
The image
なお、動き方向特定部２２３は、撮像部２００が撮像した動画の画像内容に基づいて、オブジェクト抽出部２２５が抽出したオブジェクトの動き方向を特定する。そして、画像生成部２８０は、オブジェクトを含み、動き方向の画像幅が動き方向に垂直方向の画像幅より大きい動画構成画像を、撮像部２００が撮像した動画に含まれる動画構成画像からトリミングによって生成する。そして、出力部２９０は、画像生成部２８０が生成した動画構成画像を含む動画を出力する。そして、動き量算出部２２２は、撮像部２００が撮像した動画に含まれる複数の動画構成画像に基づいて、動き方向特定部２２３が特定した方向への、複数の動画構成画像の間におけるオブジェクトの動き量を算出する。そして、画像生成部２８０は、動き量算出部２２２が算出した動き量がより大きい場合に、動き方向特定部２２３が特定した動き方向の画像幅がより大きい動画構成画像を、撮像部２００が撮像した動画に含まれる動画構成画像からトリミングによって生成する。このため、撮像装置１００は、伝送経路１４０が伝送するデータ量が不必要に増大することを防ぎつつ、不審者の移動先の領域を適切に監視することができる監視画像を提供することができる。
Note that the movement
なお、条件格納部２４０は、異常が生じていると判断される動画に含まれる動画構成画像において検出されるべき基準画像からの変化量の下限値を格納する。そして、変化量算出部２２１は、撮像部２００が撮像した動画における予め定められた基準画像からの変化量を算出する。例えば、変化量算出部２２１は、撮像部２００が撮像した動画に含まれる第１動画構成画像における、第１動画構成画像より前に撮像された第２動画構成画像からの変化量を算出する。なお、変化量算出部２２１は、平均化画像生成部２０２が生成した平均化画像の、基準画像からの変化量を算出する。なお、基準画像とは、予め用意された監視領域の画像、前のタイミングで撮像部２００によって撮像された動画構成画像、又は前のタイミングで生成された平均化画像であってよい。そして、適合判断部２３０は、変化量算出部２２１が算出した変化量が条件格納部２４０が格納している変化量の下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
The
また、出力制御部２７０は、変化量算出部２２１が算出した変化量が予め定められた変化量の下限値より小さい場合に、撮像部２００が撮像した動画を、変化量算出部２２１が算出した変化量が下限値以上である場合よりデータ量の小さい動画に変換して出力部２９０に出力させる。具体的には、出力制御部２７０は、基準画像からの変化量が下限値より小さい場合に、撮像部２００が撮像した動画を、基準画像からの変化量が下限値以上である場合より低解像度の動画に変換して出力部２９０に出力させる。また、出力制御部２７０は、基準画像からの変化量が下限値より小さい場合に、撮像部２００が撮像した動画を、基準画像からの変化量が下限値以上である場合より少ない階調数の動画に変換して出力部２９０に出力させてよい。その他にも、出力制御部２７０は、基準画像からの変化量が下限値より小さい場合に、撮像部２００が撮像した動画を、基準画像からの変化量が下限値以上である場合より低い表示レートの動画に変換して出力部２９０に出力させる。なお、条件設定部２４２は、許容データ量取得部２５０が取得したデータ量がより小さい場合に、条件格納部２４０が格納している下限値をより増加させる。
The
なお、変化量算出部２２１は、撮像部２００が撮像した動画に含まれる第１動画構成画像と第２動画構成画像との間における同じ被写体を示すオブジェクトの動き量を算出してよい。そして、出力制御部２７０は、変化量算出部２２１が算出したオブジェクトの動き量が予め定められた動き量の下限値より小さい場合に、撮像部２００が撮像した動画を、変化量算出部２２１が算出した動き量が動き量の下限値以上である場合よりデータ量の小さい動画に変換して出力部２９０に出力させる。なお、条件設定部２４２は、許容データ量取得部２５０が取得したデータ量がより小さい場合に、動き量の下限値をより増加させてよい。
Note that the change
条件格納部２４０は、異常が生じていると判断される動画に含まれる複数の動画構成画像を平均化した平均化画像において検出されるべき、平均化画像に含まれるオブジェクトと予め定められたオブジェクトとの間の一致度の下限値を格納する。そして、オブジェクト抽出部２２５は、平均化画像生成部２０２が生成した平均化画像からオブジェクトを抽出する。そして、適合判断部２３０は、オブジェクト抽出部２２５が抽出したオブジェクトと予め定められたオブジェクトとの間の一致度が、条件格納部２４０が格納している下限値以上である場合に、平均化画像が条件に適合する旨を判断する。具体的には、一致度算出部２３２は、撮像部２００が撮像した動画に含まれるオブジェクトの形状と予め定められた基準オブジェクトの形状との間の形状の一致度を算出する。そして、適合判断部２３０は、一致度算出部２３２が算出した一致度が、条件格納部２４０が格納している下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
The
なお、出力制御部２７０は、一致度算出部２３２が算出した一致度が予め定められた一致度の下限値より小さい場合に、撮像部２００が撮像した動画を、一致度算出部２３２が算出した一致度が下限値以上である場合よりデータ量の小さい動画に変換して出力部２９０に出力させてもよい。具体的には、出力制御部２７０は、一致度算出部２３２が算出した一致度が予め定められた形状の一致度の下限値より小さい場合に、撮像部２００が撮像した動画を、一致度算出部２３２が算出した一致度が形状の一致度の下限値以上である場合よりデータ量の小さい動画に変換して出力部２９０に出力させる。なお、条件設定部２４２は、許容データ量取得部２５０が取得したデータ量がより小さい場合に、形状の一致度の下限値をより増加させてよい。
The
条件格納部２４０は、異常が生じていると判断される動画に含まれる複数の動画構成画像を平均化した平均化画像において検出されるべき、予め定められた色範囲に含まれる色が占める面積の下限値を格納する。例えば、条件格納部２４０は、人物に特徴的な色を含む色範囲に含まれる色が占める面積の下限値を格納してよい。そして、特定色面積算出部２２４は、平均化画像生成部２０２が生成した平均化画像における、予め定められた色範囲に含まれる色が占める面積を算出する。そして、適合判断部２３０は、特定色面積算出部２２４が算出した面積が条件格納部２４０が格納している面積の下限値以上である場合に、平均化画像が条件に適合する旨を判断する。具体的には、一致度算出部２３２は、撮像部２００が撮像した動画に含まれるオブジェクトに含まれる色と予め定められた基準オブジェクトに含まれる色との間の色の一致度を算出する。そして、適合判断部２３０は、一致度算出部２３２が算出した一致度が、条件格納部２４０が格納している下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
The
条件格納部２４０は、異常が生じていると判断される動画に含まれる複数の動画構成画像を平均化した平均化画像において検出されるべき、平均化画像に含まれる被写体の位置から撮像部２００への方向と被写体の動き方向との間の一致度の下限値を格納する。そして、動き方向特定部２２３は、平均化画像生成部２０２が生成した複数の平均化画像の画像内容に基づいて、監視領域内における被写体の動き方向を特定する。そして、適合判断部２３０は、被写体の動き方向と当該被写体の位置から撮像部２００に向かう方向との間の一致度が条件格納部２４０が格納している一致度の下限値以上である場合に、平均化画像が条件に適合する旨を判断する。
The
また、オブジェクト領域特定部２１２は、適合判断部２３０が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定する。そして、出力部２９０は、適合判断部２３０が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を出力する。そして、画像保持部２１４は、適合判断部２３０が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域以外の領域の画像を保持する。そして、出力制御部２７０とは、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を送信すべき旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。
The object
具体的には、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を送信することができる旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。より具体的には、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、出力部２９０が出力すべき動画のデータ量が予め定められたデータ量より小さい旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。より具体的には、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、出力部２９０が単位時間あたりに出力すべき動画のデータ量が許容データ量取得部２５０が取得したデータ量より小さい旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。
Specifically, the
他にも、出力制御部２７０は、出力部２９０から出力することが許容されているデータ量の範囲内で、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させてよい。例えば、画像生成部２８０は、出力部２９０から出力される動画の単位時間当たりのデータ量が、許容データ量取得部２５０が取得したデータ量以下にすべく、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させてよい。
In addition, the
他にも、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、許容データ量取得部２５０が取得したデータ量が予め定められた値より大きい旨が判断された場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。他にも、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画におけるオブジェクト領域以外の領域の画像内容と、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像内容との間の差が予め定められた値より大きい旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。他にも、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持してから予め定められた時間幅より長い時間幅の時間が経過した旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。他にも、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画において、適合判断部２３０が条件に適合するオブジェクトが存在しない旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を出力部２９０に出力させる。
In addition, the
なお、適合判断部２３０は、条件に適合する複数のオブジェクトが存在する旨を判断してよい。そして、オブジェクト領域特定部２１２は、適合判断部２３０が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、条件に適合する複数のオブジェクトをそれぞれ含む複数のオブジェクト領域を特定してよい。そして、出力部２９０は、適合判断部２３０が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、オブジェクトの特徴の種類に応じて予め定められた優先度がより高いオブジェクトを含むオブジェクト領域の画像をより優先して出力してよい。なお、画像保持部２１４は、適合判断部２３０が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、出力部２９０が出力していないオブジェクト領域の画像及びオブジェクト領域以外の領域の画像を保持してよい。そして、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、画像保持部２１４が保持している画像を送信すべき旨を判断した場合に、画像保持部２１４が保持している画像を出力部２９０に出力させてよい。
Note that the
なお、出力部２９０は、出力するオブジェクト領域の画像のデータ量を予め定められたデータ量以下にすべく、オブジェクトの特徴の種類に応じて予め定められた優先度がより高いオブジェクトを含むオブジェクト領域の画像をより優先して出力してよい。また、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、画像保持部２１４が保持している画像を送信すべき旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域の画像を、オブジェクト領域以外の領域の画像より優先して出力部２９０に出力させてよい。
Note that the
画像生成部２８０は、条件に適合するオブジェクトの特徴の種類毎に、オブジェクトの種類に応じて異なる画質のオブジェクト領域の画像であるオブジェクト領域画像を生成する。そして、出力部２９０は、適合判断部２３０が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、画像生成部が生成したより高画質のオブジェクト領域画像をより優先して出力する。画像保持部２１４は、適合判断部２３０が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、出力部２９０が出力していないオブジェクト領域の画像及びオブジェクト領域以外の領域の画像を保持する。そして、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、画像保持部２１４が保持している画像を送信すべき旨を判断した場合に、画像保持部２１４が保持している画像を出力部２９０に出力させる。
The
なお、画像生成部２８０は、条件に適合するオブジェクトの特徴の種類毎に、オブジェクトの種類に応じて異なる解像度のオブジェクト領域の画像であるオブジェクト領域画像を生成して、生成した高解像度のオブジェクト領域画像と低解像度のオブジェクト領域画像との間の差分画像を生成してよい。そして、出力部２９０は、適合判断部２３０が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、画像生成部が生成したより低解像度のオブジェクト領域画像を差分画像より優先して出力してよい。そして、画像保持部２１４は、適合判断部２３０が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、出力部２９０が出力していない差分画像及びオブジェクト領域以外の領域の画像を保持してよい。そして、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後に、画像保持部２１４が保持している画像を送信すべき旨を判断した場合に、画像保持部２１４が保持している画像を出力部２９０に出力させてよい。
Note that the
なお、出力部２９０は、条件に適合するオブジェクトが存在する旨を適合判断部２３０が判断した場合に、許容データ量取得部２５０が取得したデータ量がより大きいほどより高い画質でオブジェクト領域の画像を出力してよい。また、オブジェクト領域特定部２１２は、条件に適合するオブジェクトが存在する旨を適合判断部２３０が判断した場合に、許容データ量取得部２５０が取得したデータ量がより大きいほど条件に適合するオブジェクトを含むより大きいオブジェクト領域を特定してよい。
Note that the
また、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画において、適合判断部２３０が条件に適合するオブジェクトが存在しない旨を判断した場合に、許容データ量取得部２５０が取得したデータ量が予め定められた値より大きいことを条件として、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を、出力部２９０に出力させる。
Also, the
また、出力制御部２７０は、画像保持部２１４がオブジェクト領域以外の領域の画像を保持した後の監視領域の動画において、適合判断部２３０が条件に適合するオブジェクトが存在しない旨を判断した場合に、画像保持部２１４が保持しているオブジェクト領域以外の領域の画像を、許容データ量取得部２５０が取得したデータ量に応じた画質で出力部２９０に出力させてよい。
Also, the
オブジェクト領域特定部２１２は、撮像部２００が撮像した動画に含まれる複数の動画構成画像にわたるオブジェクトの動き量が、条件格納部２４０が格納している動き量の下限値以上であるオブジェクトを含む領域を、オブジェクト領域として特定してよい。
The object
なお、条件格納部２４０は、動画から抽出されるべきオブジェクトが有するべき予め定められたオブジェクトとの間の一致度の下限値を格納してよい。そして、オブジェクト領域特定部２１２は、条件格納部２４０が格納している一致度の下限値以上の一致度で一致するオブジェクトを含む領域を、オブジェクト領域として抽出してよい。また、条件格納部２４０は、動画から抽出されるべきオブジェクトが有するべき予め定められた色範囲に含まれる色が占める面積の下限値を格納してよい。そして、オブジェクト領域特定部２１２は、予め定められた色範囲に含まれる色の占める面積が条件格納部２４０が格納している面積の下限値以上であるオブジェクトを含む領域を、オブジェクト領域として抽出する。
The
なお、変化量算出部２２１及び条件設定部２４２は撮像装置１００のそれぞれに設けられるのではなく、監視システム１１０は一の変化量算出部２２１及び一の条件設定部２４２を有してもよい。そして、変化量算出部２２１は、複数の撮像部２００が撮像したそれぞれの動画における予め定められた基準画像からの変化量を、複数の撮像部２００が撮像したそれぞれの動画毎に算出してよい。そして、出力制御部２７０は、変化量算出部２２１が算出した変化量が予め定められた変化量の下限値より小さい動画を、変化量算出部２２１が算出した変化量が下限値以上である場合よりデータ量の小さい動画に変換して伝送経路１４０に出力させてよい。そして、条件設定部２４２は、伝送経路１４０が伝送することができる単位時間あたりのデータ量と複数の撮像部２００のそれぞれが出力する単位時間あたりのデータ量との差がより小さい場合に、条件格納部２４０が格納している下限値をより増加させてもよい。また、一致度算出部２３２は、複数の撮像部２００が撮像したそれぞれの動画に含まれるオブジェクトと予め定められた基準オブジェクトとの間の一致度を、複数の撮像部２００が撮像したそれぞれの動画毎に算出してもよい。そして、出力制御部２７０は、一致度算出部２３２が算出した一致度が予め定められた一致度の下限値より小さい動画を、一致度算出部２３２が算出した一致度が下限値以上である場合よりデータ量の小さい動画に変換して伝送経路１４０に出力させる。そして、条件設定部２４２は、伝送経路１４０が伝送することができる単位時間あたりのデータ量と複数の撮像部２００のそれぞれが出力する単位時間あたりのデータ量との差がより小さい場合に、下限値をより増加させる。
Note that the change
なお、撮像制御部２１０は、オブジェクトを含み、動き方向の画像幅が動き方向に垂直方向の画像幅より大きい動画構成画像を含む動画を撮像部２００に撮像させるべく撮像部２００の撮像範囲を設定して、撮像部２００に監視領域を撮像させる。そして、出力部２９０は、撮像制御部２１０によって撮像範囲が設定された状態で撮像部２００が撮像した動画を出力する。このとき、撮像制御部２１０は、オブジェクトを含み、動き方向の画像幅が動き方向に垂直方向の画像幅より大きい動画構成画像が撮像される撮像範囲に含まれる被写体に対して、撮像部２００の撮像条件を調整してよい。そして、出力部２９０は、撮像制御部２１０によって撮像条件が調整された状態で撮像部２００が撮像した動画を出力してよい。
Note that the
また、撮像制御部２１０は、オブジェクトを含み、オブジェクトに対して動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像を撮像部２００に撮像させるべく撮像部２００の撮像範囲を設定して、撮像部２００に撮像させてよい。また、撮像制御部２１０は、オブジェクトを含み、オブジェクトに対して動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像が撮像される撮像範囲に含まれる被写体に対して、撮像部２００の撮像条件を調整してよい。
In addition, the
なお、撮像部２００が撮像する動画の撮像レートはモニタ表示レートより高くてもよいし、全ての撮像装置１００が撮像する動画を送信するために要する時間あたりのデータ量は、伝送経路１４０が時間あたりに伝送することができるデータ量より大きくてもよい。なお、本実施形態におけるフレーム画像は動画構成画像の一例であり、動画構成画像はフィールド画像を含む。また、撮像部２００は、魚眼レンズを通じて、監視領域全体の画像を撮像してもよい。
Note that the imaging rate of the moving image captured by the imaging unit 200 may be higher than the monitor display rate, and the amount of data per time required to transmit the moving images captured by all the
以上の説明においては、撮像装置１００が撮像して動画をサーバ１７０に送信する形態について説明したが、他の形態においては、撮像装置１００の機能をサーバ１７０が有してよい。例えば、撮像装置１００は撮像した監視領域の動画をそのまま伝送経路１４０に出力し、サーバ１７０が、記録する動画の画質を制御したり、表示装置１８０、１８１、及び１８２が表示する動画の画質を制御してもよい。この場合、サーバ１７０が、オブジェクト領域特定部２１２、画像保持部２１４、差分画像生成部２１６、画像特徴量抽出部２２０、適合判断部２３０、条件格納部２４０、条件設定部２４２、許容データ量取得部２５０、画質選択部２６０、画質格納部２６２、出力制御部２７０、画像生成部２８０、及び出力部２９０を備えてよい。この場合、出力部２９０は、出力動画生成部２８２が生成した動画を記録媒体に記録したり、表示装置１８０、１８１、及び１８２に表示させてよい。
In the above description, the form in which the
図４は、撮像装置１００の動作フローの一例を示す。撮像部２００は、表示装置１８０〜１８２のモニタ解像度より高解像度のフレーム画像を、表示装置１８０〜１８２のモニタ表示レートより高いフレームレートで連続して撮像することによって、監視領域の動画を撮像する（Ｓ４００）。なお、平均化画像生成部２０２は、撮像部２００がフレーム画像を撮像する度に平均化カウンタをインクリメントする。そして、平均化画像生成部２０２は、平均化カウンタの値に基づいて、撮像部２００が所定数のフレーム画像を撮像したか否かを判断する（Ｓ４０１）。Ｓ４０１において所定数のフレーム画像を撮像した旨が判断された場合には、平均化画像生成部２０２は、撮像部２００が撮像した所定数のフレーム画像にわたって画素毎に平均化することによって平均化画像を生成し（Ｓ４０２）、平均化カウンタを０にセットする。
FIG. 4 shows an example of the operation flow of the
そして、適合判断部２３０は、人物に適合するオブジェクトが検出されたか否かを判断する（Ｓ４０４）。具体的には、オブジェクト抽出部２２５は、平均化画像からエッジ強調等によってオブジェクトの輪郭を抽出する。そして、一致度算出部２３２は、オブジェクト抽出部２２５が抽出したオブジェクトの輪郭と、予め定められた人物のパターンとを比較することによって、オブジェクト抽出部２２５が抽出したオブジェクトの輪郭と予め定められた人物のパターンとの間の形状の一致度を算出する。例えば、一致度算出部２３２は、オブジェクトの輪郭と、当該オブジェクトと同じ面積を持つ人物のパターンとが一致する部分の面積を、オブジェクトの輪郭の面積で除した値を、形状の一致度として算出してよい。そして、適合判断部２３０は、一致度算出部２３２が算出した形状の一致度が、条件格納部２４０が格納している形状の一致度の下限値以上である場合に、人物に適合するオブジェクトが検出されたと判断する。
Then, the matching
なお、動き量算出部２２２は、オブジェクト抽出部２２５が抽出したオブジェクトの移動速度を算出している。そして、Ｓ４０４において人物に適合するオブジェクトが検出されたと適合判断部２３０が判断した場合には、画質選択部２６０は、動き量算出部２２２が算出した、人物に適合するオブジェクトの移動速度を取得する（Ｓ４０６）。
Note that the motion
そして、撮像装置１００は、伝送経路１４０に出力する出力動画の表示レートとフレーム画像の解像度とを決定する（Ｓ４０８）。具体的には、画質選択部２６０が、人物に適合するオブジェクトの面積と、人物に適合するオブジェクトの動きの速さとに対応づけて画質格納部２６２が格納している解像度及び表示レートを選択する。例えば、Ｓ４０８において画質選択部２６０は、オブジェクトの大きさが小さいほど高い解像度（ただし、撮像部２００が撮像したフレーム画像の解像度以下の解像度）が選択され、また、オブジェクトの動き速さが大きいほど高い表示レート（ただし、撮像部２００が撮像したフレーム画像の撮像レート以下の表示レート）が決定される。
Then, the
そして、出力動画生成部２８２は、Ｓ４０８において決定された表示レートに従って、撮像部２００が撮像したフレーム画像から生成した出力フレーム画像を含む出力動画を生成するか否かを判断する（Ｓ４１０）。例えば、出力動画生成部２８２は、撮像部２００がフレーム画像を撮像する毎にインクリメントされ、撮像されたフレーム画像から動画が生成される毎に０に初期化されるカウンタを保持しており、保持しているカウンタ値と撮像部２００が撮像するフレーム画像の撮像間隔との積が、Ｓ４０８で決定した表示レートで示される出力動画が有する出力フレーム画像のフレーム間隔以上である場合に、出力フレーム画像を含む出力動画を生成する旨を判断する。
Then, the output moving
Ｓ４１０において、出力動画生成部２８２が出力動画を生成する旨を判断した場合に、許容データ量取得部２５０は、伝送経路１４０において単位時間あたりに伝送されているデータ量を検出する（Ｓ４１２）。そして、許容データ量取得部２５０は、伝送経路１４０が単位時間あたりに伝送することができるデータ量と、伝送経路１４０が単位時間あたりに伝送しているデータ量との差を示す許容データ量を算出する。なお、許容データ量取得部２５０は、許容データ量をサーバ１７０から取得してもよい。
In S410, when the output moving
そして、出力動画生成部２８２は、Ｓ４０８で決定された画質の動画を生成できるか否かを判断する（Ｓ４１４）。具体的には、出力動画生成部２８２は、許容データ量が、Ｓ４０８で決定された解像度及び表示レートを有する動画データを伝送するのに必要な単位時間あたりに伝送すべきデータ量以上である場合に、Ｓ４０８で決定された画質の動画を生成できる旨を判断する。
Then, the output moving
そして、Ｓ４１４において、Ｓ４０８で決定された画質の動画を生成できる旨が判断された場合には、出力動画生成部２８２は、撮像部２００が撮像したフレーム画像から画素を間引くことによって、フレーム画像をＳ４０８で決定された解像度に変換した出力フレーム画像を生成する。そして、出力動画生成部２８２は、生成した出力フレーム画像を含む動画を生成して、出力部２９０に供給する（Ｓ４１６）。そして、撮像装置１００は、撮影終了指示を受け付けたか否かを判断する（Ｓ４１８）。Ｓ４１８において撮影終了指示を受け付けていない場合には、撮像装置１００はＳ４００に処理を移行し、Ｓ４１８において撮影終了指示を受け付けた場合には処理を終了する。
If it is determined in S414 that the moving image having the image quality determined in S408 can be generated, the output moving
なお、Ｓ４１８の撮影終了判断の後にＳ４００に処理が移行した後に、Ｓ４０１において所定数のフレーム画像を撮像していない旨が判断された場合には、出力動画生成部２８２は、出力フレーム画像を含む出力動画を生成するか否かを判断する（Ｓ４４０）。Ｓ４４０では、出力動画生成部２８２は、Ｓ４１０と同様に、既に決定されている表示レートに従って、出力フレーム画像を含む出力動画を生成するか否かを判断する。そして、撮像装置１００は、Ｓ４４０において出力フレーム画像を含む出力動画を生成する旨が判断された場合にはＳ４１２に処理を移行し、出力フレーム画像を含む出力動画を生成しない旨が判断された場合にはＳ４００に処理を移行する。
If it is determined in S401 that the predetermined number of frame images have not been captured after the processing shifts to S400 after the shooting end determination in S418, the output moving
さて、Ｓ４１４において、出力動画生成部２８２がＳ４０８で決定された画質の動画を生成できない旨を判断した場合には、出力動画生成部２８２は、人物に適合するオブジェクトの移動方向を取得する（Ｓ４２０）。具体的には、人物に適合するオブジェクトについて動き方向特定部２２３が特定した動き方向を、当該オブジェクトの移動方向として取得する。
In S414, when the output moving
そして、出力動画生成部２８２は、撮像部２００が撮像したフレーム画像に対するトリミング範囲を決定する（Ｓ４２２）。具体的には、出力動画生成部２８２は、人物に適合するオブジェクトを含み、当該オブジェクトの移動方向の画像幅が移動方向に垂直な方向の画像幅より大きいトリミング画像が得られるトリミング範囲を決定する。以下、当該トリミング範囲の領域を人物領域という。そして、出力動画生成部２８２は、Ｓ４２２で決定したトリミング範囲でフレーム画像をトリミングすることによって、人物領域のトリミング画像を生成する（Ｓ４２４）。なお、トリミング画像は、この発明におけるオブジェクト領域画像の一例であってよい。また、画像保持部２１４は、トリミングされた領域の画像（人物領域以外の領域の画像）を記憶しておく（Ｓ４２６）。そして、出力動画生成部２８２はＳ４２４において得られたトリミング画像を含む動画を生成して、出力部２９０に供給する（Ｓ４２８）。そして、撮像装置１００はＳ４１８に処理を移行する。
Then, the output moving
なお、Ｓ４０４において適合判断部２３０が人物に適合するオブジェクトを検出していない場合には、出力動画生成部２８２は平均化画像から動画を生成して出力部２９０に供給する（Ｓ４３０）。このとき、出力動画生成部２８２は、平均化画像の画素を適宜間引くことによってデータ量を低減した出力フレーム画像を含む動画を生成して出力部２９０に供給してよいし、撮像部２００が撮像したフレーム画像の画素を適宜間引くことによってデータ量を低減した出力フレーム画像から動画を生成して出力部２９０に供給してもよい。
In S404, if the matching
そして、出力制御部２７０は、Ｓ４２６において画像保持部２１４が保持した人物領域以外の領域の画像を含む動画を出力部２９０に供給する（Ｓ４３２）。また、Ｓ４１０においてフレーム画像を生成しない旨が判断された場合にも、撮像装置１００はＳ４３２に処理を進め、出力制御部２７０がＳ４２６において画像保持部２１４が保持した人物領域以外の領域の画像を含む動画を出力部２９０に供給する。なお、Ｓ４３２においては、出力制御部２７０は、人物領域以外の領域の画像から動画を生成して出力部２９０に供給するのではなく、人物領域以外の領域の画像自体を、出力部２９０に出力させてもよい。
Then, the
以上説明したように、撮像装置１００は、人物の動きを検出した場合には、人物の動きを検出しない場合より高解像度・高表示レートの動画をサーバ１７０に送信する。このとき、撮像装置１００は、伝送経路１４０の負荷が高い場合には、人物の動きが検出された領域だけ高解像度にして他の領域をトリミングしたフレーム画像を含む動画をサーバ１７０に送信し、その後に人物の動きが検出されなくなったときに、トリミングされた人物領域以外の画像を送信する。したがって、撮像装置１００によると、伝送経路１４０の負荷が大きい場合であっても、動画データがサーバ１７０に到着するのに要する時間を削減することができる。
As described above, when detecting the movement of a person, the
図５は、画質格納部２６２が格納している画質情報の一例をテーブル形式で示す。画質格納部２６２は、人物の面積Ｓ及び動きの速さＶに対応づけて、出力する動画に含まれる出力フレーム画像の解像度ＰＲ及び出力する動画の表示レートＦＲを格納している。例えば、画質格納部２６２は、人物の面積ＳがＳ１以上Ｓ２未満であり、動きの速さＶがＶ１未満である場合には、出力フレーム画像の解像度としてＰＲ３、出力する動画の表示レートとしてＦＲ１を格納している。
FIG. 5 shows an example of image quality information stored in the image
なお、解像度ＰＲの高さはＰＲ４＞ＰＲ３＞ＰＲ２＞ＰＲ１であり、表示レートＦＲの高さはＦＲ４＞ＦＲ３＞ＦＲ２＞ＦＲ１である。このように、画質格納部２６２は、より大きい動きの速さに対応づけてより高い表示レートＦＲを格納しており、より小さい人物の面積に対応づけてより大きい解像度ＰＲを格納している。このため、撮像装置１００は、人物がより大きく写っているフレーム画像の解像度をより低くすることによって、送信する動画のデータ量が必要以上に大きくなってしまうことを未然に防ぐことができる。また、撮像装置１００は、より速く動く人物が検出された場合には、表示レートを大きくするので、人物が何をしているかを監視者が容易に判別することができる動画を提供することができる。
Note that the height of the resolution PR is PR4> PR3> PR2> PR1, and the height of the display rate FR is FR4> FR3> FR2> FR1. In this way, the image
なお、上記の説明では、画質格納部２６２は、人物の面積Ｓ及び動きの速さＶに対応づけて、出力フレーム画像の解像度ＰＲ及び出力する動画の表示レートＦＲを格納しているが、画質格納部２６２は、人物の面積Ｓ及び動きの速さＶに対応づけて、出力フレーム画像の解像度ＰＲ及び階調数、並びに出力する動画の表示レートＦＲを格納してもよい。例えば、画質格納部２６２は、より大きい人物の面積に対応づけてより小さい階調数を格納してもよい。そして、出力動画生成部２８２は、人物の面積がより大きい場合に、より小さい階調数の出力フレーム画像から出力動画を生成してもよい。
In the above description, the image
このように、条件格納部２４０は、撮像部２００が撮像した画像から抽出されるべきオブジェクトの条件を格納する。そして、オブジェクト抽出部２２５は、撮像部２００が撮像した画像から、条件に適合するオブジェクトを抽出する。そして、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した画像をより低画質の画像に変換する。そして、出力部２９０は、画像生成部２８０が変換して得られた画像を出力する。
As described above, the
例えば、条件格納部２４０は、抽出されるべきオブジェクトと予め定められたオブジェクトとの間の一致度の下限値を格納する。そして、オブジェクト抽出部２２５は、条件格納部２４０が格納している下限値より高い一致度で予め定められたオブジェクトと一致するオブジェクトを、撮像部２００が撮像した動画から抽出する。そして、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した画像をより低画質の画像に変換する。
For example, the
また、条件格納部２４０は、抽出されるべきオブジェクトが有するべき予め定められた色範囲に含まれる色が占める面積の下限値を格納する。そして、オブジェクト抽出部２２５は、予め定められた色範囲に含まれる色が占める面積が、条件格納部２４０が格納している面積の下限値以上であるオブジェクトを、撮像部２００が撮像した動画から抽出する。そして、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した画像をより低画質の画像に変換する。
In addition, the
具体的には、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した画像をより低解像度の画像に変換する。また、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトの大きさがより大きい場合に、撮像部２００が撮像した画像をより少ない階調数の画像に変換する。
Specifically, when the size of the object extracted by the object extraction unit 225 is larger, the
図６は、出力動画生成部２８２が生成するトリミング画像の一例を示す。出力動画生成部２８２は、画像６００から、出力部２９０が出力する動画に含めるべきトリミング画像Ａを生成する。なお、画像６００は、撮像部２００が撮像した動画の１コマのフレーム画像であってよいし、平均化画像生成部２０２が生成した平均化画像であってもよい。動き方向特定部２２３及び動き量算出部２２２は、連続する複数の画像においてオブジェクト抽出部２２５が抽出した同一人物６５０の位置の変化から、画像６００における人物６５０の動き方向６６０及び人物６５０の動きの速さＶを算出する。
FIG. 6 shows an example of a trimmed image generated by the output moving
そして、出力動画生成部２８２は、人物６５０を含み、動き方向特定部２２３が特定した動き方向の画像幅ｘが、動き方向に垂直な方向の画像幅ｙより大きいトリミング枠６１０を決定する（図４のＳ４２２）。本図の例では、出力動画生成部２８２は、動き方向特定部２２３が特定した動き方向の側が、動き方向と反対の側より広いトリミング枠６１０を決定する。
Then, the output moving
そして、出力動画生成部２８２は、トリミング枠６１０内のトリミング画像Ａを画像６００が撮像されたタイミングの出力フレーム画像とする動画を生成して、出力部２９０に供給する（図４のＳ４２８）。そして、画像保持部２１４は、トリミング枠６１０外の領域画像Ｂを記憶しておく（図４のＳ４２６）。そして、出力部２９０は、出力部２９０が出力する動画データの送信データ量より許容データ量が大きいタイミングで、画像保持部２１４が記憶している領域画像Ｂを送信する（図４のＳ４３２）。
Then, the output moving
このように、画像生成部２８０は、オブジェクトを含み、オブジェクトに対する動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像を、撮像部２００が撮像した動画に含まれる動画構成画像からトリミングによって生成する。このため、撮像装置１００は、人物６５０だけでなく、人物６５０の移動先の画像領域を含めてトリミングした画像をサーバ１７０に送信することができる。これにより、撮像装置１００は、撮像した全領域の画像を送信する場合に比べて送信するデータ量を削減しつつ、監視者にとって望ましい監視対象被写体が写った動画を提供することができる。このため、撮像装置１００は、伝送経路１４０が混雑していて全画像の動画を送信する余裕がないような場合であっても、監視者が人物６５０を十分に監視することができる内容を持つ動画を速やかにサーバ１７０に提供することができる。
As described above, the
図７は、出力動画生成部２８２が生成するトリミング画像の他の一例を示す。本図の例では、動き量算出部２２２は、図６より大きい動きの速さを算出している。このとき、出力動画生成部２８２は、動き方向特定部２２３が特定した方向７６０の画像幅がより大きくなるトリミング画像Ａが得られるよう、トリミング枠７１０を設定する。このため、撮像装置１００は、人物の動きが速い場合であっても、監視者が人物の行動意図を的確に判断することができる監視画像をサーバ１７０に提供することができる。
FIG. 7 shows another example of a trimmed image generated by the output moving
図８は、出力動画生成部２８２が生成するトリミング画像の更なる他の一例を示す。本図の例では、出力動画生成部２８２は、人物８５０が略中央に位置するトリミング枠８１０を決定する。このように、画像生成部２８０は、オブジェクト抽出部２２５が抽出したオブジェクトを含み、オブジェクトに対して動き方向の側の領域が、オブジェクトに対して動き方向と反対方向の側の領域より広い動画構成画像を、撮像部２００が撮像した動画に含まれる動画構成画像からトリミングによって生成する。つまり、出力動画生成部２８２は、人物８５０の動き方向と側の領域と、当該動き方向と反対方向の側の領域とが略同一となるトリミング画像Ａを得ることができるトリミング枠８１０を決定する。このようにすると、撮像装置１００は、人物８５０の前後方向の領域を監視者が適切に監視することができる画像を、サーバ１７０に提供することができる。
FIG. 8 shows still another example of the trimmed image generated by the output moving
なお、図６から図８の説明では、撮像装置１００が撮像したフレーム画像又は平均化画像をトリミングする例について説明したが、トリミング枠６１０、７１０、及び８１０でトリミングすることに代えて、撮像制御部２１０は、トリミング枠６１０、７１０、及び８１０内の被写体に対して撮像条件を合わせて、撮像部２００に撮像させてもよい。例えば、撮像制御部２１０は、トリミング枠６１０、７１０、及び８１０の範囲が撮像部２００の撮像範囲となるよう、撮像部２００の撮像方向及びズーム値を制御してよい。
In the description of FIGS. 6 to 8, the example of trimming the frame image or the averaged image captured by the
図９は、出力部２９０が出力する動画に含まれるフレーム画像の一例を時系列で示す。平均化画像生成部２０２は、撮像部２００が連続して撮像した４つのフレーム画像を平均化することによって、平均化画像９１０、９２０、９３０、９４０、・・・、９８０、９９０・・・を生成する。そして、連続する平均化画像の間で変化がない場合には、出力動画生成部２８２は、撮像部２００の撮像間隔の所定数倍（例えば、４倍）の表示間隔で出力フレーム画像が表示される動画を、出力部２９０に供給する。例えば、出力動画生成部２８２は、所定数の連続するフレーム画像を平均化した平均化画像（例えば、９１０、９２０、９３０）が出力フレーム画像である動画を、出力部２９０に供給する。なお、出力動画生成部２８２は、平均化画像の画素を適宜間引いた画像を出力フレーム画像とする動画を出力部２９０に供給してよいし、連続する平均化画像から差分画像生成部２１６が生成した差分画像を含む動画を出力部２９０に供給してもよい。
FIG. 9 shows an example of a frame image included in the moving image output by the
そして、例えば時刻ｔ１２、ｔ１６のように、連続する平均化画像（例えば、平均化画像９２０及び９３０、平均化画像９３０及び平均化画像９４０）の間で変化が検出され、適合判断部２３０が平均化画像（例えば、平均化画像９３０、９４０）に人物の動きに適合するオブジェクトが存在すると判断すると、出力動画生成部２８２は、時刻ｔ１２より後に撮像部２００が撮像したフレーム画像を有する動画を出力部２９０に供給する。
Then, for example, at times t12 and t16, a change is detected between successive averaged images (for example, averaged
このとき、図４のＳ４２０〜Ｓ４２８で説明したように、出力動画生成部２８２は、図６から図８に関連して説明したトリミング枠でトリミングしたトリミング画像９４１を出力フレーム画像とする動画を、出力部２９０に供給してよい。そして、画像保持部２１４は、トリミングされた部分の画像９４５を保持しておく。そして、出力動画生成部２８２は、人物の動きが検出されなくなる時刻ｔ８０までの間、撮像部２００が撮像する撮像間隔の出力フレーム画像を有する動画を生成して、出力部２９０に供給する。作図の都合上図示されていないが、時刻ｔ１４から時刻ｔ８０までの間においても、画像保持部２１４はトリミングされた部分の画像を保持してよいことは言うまでもない。
At this time, as described in S420 to S428 in FIG. 4, the output moving
そして、平均化画像９８０及び９９０のように、連続する平均化画像の間で変化が検出されなくなると、出力動画生成部２８２は、再び平均化画像が１コマの出力フレーム画像である動画を出力部２９０に供給する。このとき、出力制御部２７０は、画像保持部２１４が保持している画像９４５を出力部２９０に出力させる。なお、出力制御部２７０は、出力部２９０から出力される単位時間あたりのデータ量が許容データ量取得部２５０が取得した許容データ量以下になるよう、画像９４５を複数の領域に分割して、分割した複数の領域の画像を出力部２９０に順次出力させてもよい。
When no change is detected between successive averaged images, such as the averaged
なお、画像保持部２１４は、時刻ｔ１３〜ｔ８０で撮像部２００が撮像したフレーム画像の全体を保持しておき、変化が検出されなくなった時刻ｔ８１以降において、画像保持部２１４が保持しているフレーム画像を１コマの出力フレーム画像とする動画を出力部２９０に出力させてもよい。このとき、出力制御部２７０は、出力部２９０が出力する単位時間あたりのデータ量の合計が、許容データ量取得部２５０が取得した許容データ量以下になるよう、出力部２９０に送信させる画像の大きさ、解像度、又は階調数を決定してよい。なお、出力制御部２７０は、いずれのタイミングで撮像された画像であるかを示すタイミング情報を含めて、画像保持部２１４が保持しているフレーム画像（又は画像９４５）を出力部２９０に出力させる。
The
このように、平均化画像生成部２０２は、所定の時間幅の期間に撮像部２００が撮像した動画に含まれる複数の動画構成画像を平均化して、所定の時間幅毎に平均化画像を生成する。そして、出力動画生成部２８２は、第１の期間に撮像部２００が撮像した動画に含まれる複数の動画構成画像を平均化して平均化画像生成部２０２が生成した第１平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、第１平均化画像を第１の期間の出力動画の動画構成画像とし、第１平均化画像が条件に適合する旨を適合判断部２３０が判断した場合に、第１の期間に撮像部２００が撮像した動画を第１の期間の出力動画とする。
As described above, the averaged
また、平均化画像生成部２０２は、所定の時間幅の期間に撮像部２００が撮像した動画に含まれる複数の動画構成画像を平均化して、所定の時間幅毎に平均化画像を生成してよい。そして、出力動画生成部２８２は、第１の期間に撮像部２００が撮像した動画に含まれる複数の動画構成画像を平均化して平均化画像生成部２０２が生成した第１平均化画像が条件に適合しない旨を適合判断部２３０が判断した場合に、第１の期間の次の第２の期間に撮像部２００が撮像した複数の動画構成画像を平均化して平均化生成部が生成した平均化画像を第２の期間の出力動画の動画構成画像とし、第１平均化画像が条件に適合する旨を適合判断部２３０が判断した場合に、第２の期間に撮像部２００が撮像した動画を第２の期間の出力動画としてよい。
Further, the averaged
なお、平均化画像生成部２０２は、複数の平均化画像によって表される動画の表示レートが許容データ量取得部２５０が取得したデータ量で送信することができる動画の表示レートより低くなるよう、一の平均化画像を生成するために用いる複数の動画構成画像が撮像される時間幅を決定し、当該時間幅の期間に撮像部２００が撮像した動画に含まれる複数の動画構成画像を平均化して、当該時間幅毎に平均化画像を生成してよい。
Note that the averaged
なお、上述の例では、出力制御部２７０は、変化が検出されなくなった場合に画像９４５を出力部２９０に出力させた。他の例では、出力制御部２７０は、画像保持部２１４が画像を保持してから所定の時間が経過したことを条件として、画像９４５を出力部２９０に出力させてよい。また、画像保持部２１４が更に記憶することができる記憶容量が予め定められた値より少なくなったことを条件として、画像９４５を送信してもよい。その他にも、出力制御部２７０は、動画における画像９４５の領域に予め定められた値を超える変化が生じたことを条件として、画像９４５を送信してもよい。
In the above example, the
なお、上述のように画像９４５を送信すると、許容データ量取得部２５０から取得したデータ量である許容データ量を超える可能性がある。このような場合、出力動画生成部２８２は、画像９４５及びトリミング画像９４１を出力部２９０から送信した場合に単位時間あたりに送信される送信データ量を許容データ量以下にすべく、トリミング画像９４１−９４４及び画像９４５の合計のデータ量を低下させてもよい。例えば、出力動画生成部２８２は、圧縮率を上げたり画質を低下させたりすることによって、合計のデータ量を低下させてよい。このように出力制御部２７０は、画像９４５を送信するための帯域を確保してもよい。なお、出力制御部２７０は、出力部２９０から送信されるデータ量が許容データ量より小さくなったことを条件として、画像９４５を送信してもよい。なお、出力動画生成部２８２は、送信データ量を許容データ量以下にすべく、画像９４５の画質又は画像９４５を圧縮する圧縮率を調整してよい。
If the
図１０は、出力動画生成部２８２が生成する出力フレーム画像の一例を示す。本図は、図９の時刻ｔ１３において撮像部２００が撮像したフレーム画像から出力動画生成部２８２が生成する出力フレーム画像の他の一例を示す。図９の例では、出力動画生成部２８２は、撮像部２００が撮像するフレーム画像のうち、人物を含む領域を含むトリミング画像が出力フレーム画像である動画を生成して出力部２９０に出力させたが、本図の例では、出力動画生成部２８２は、人物を含む領域の解像度が人物を含む領域以外の領域の解像度より高い出力フレーム画像１０１０を含む動画を生成して、出力部２９０に出力させる。
FIG. 10 shows an example of an output frame image generated by the output moving
出力動画生成部２８２は、撮像部２００が撮像したフレーム画像において、人物を含む領域より人物を含む領域以外の領域からより多くの画素を間引くことによって出力フレーム画像１０１０を生成する。なお、出力動画生成部２８２は、出力フレーム画像１０１０における複数の領域のそれぞれの解像度を示す解像度情報を含めて出力部２９０に出力させてよい。また、画像保持部２１４は、出力動画生成部２８２が間引いた画素で表される画像を保持してよく、出力制御部２７０は、画像保持部２１４が保持している画像を、時刻ｔ８１以降において出力部２９０に出力させてよい。
The output moving
以上説明したように、撮像部２００は、表示装置１８０〜１８２が表示することができる画素数、階調数、及び表示レートの動画データより多いデータ量の動画を撮像する。また、撮像部２００は、伝送経路１４０が単位時間あたりに伝送することができる撮像装置１００の１台あたりのデータ量より大きいデータ量の動画を撮像する。そして、出力動画生成部２８２及び出力制御部２７０は、出力部２９０に出力させる動画の画質、例えば解像度、階調数、及び表示レートを制御することによって、出力部２９０が時間あたりに出力するデータ量を低減させる。
As described above, the imaging unit 200 captures a moving image having a larger data amount than the moving image data having the number of pixels, the number of gradations, and the display rate that can be displayed by the
図１１は、出力部２９０が伝送経路１４０に出力すべきデータ量の時間発展の一例を示す。許容データ量取得部２５０は、伝送経路１４０が単位時間あたりに伝送することができる撮像装置１００の１台あたりのデータ量を、伝送経路１４０が許容することができる時間あたりのデータ量である許容データ量として取得する。図１から図１０にかけて説明したように、出力動画生成部２８２及び出力制御部２７０は、出力部２９０に出力させる動画の解像度、階調数、及び表示レートを制御することによって、出力部２９０が時間あたりに出力するデータ量が許容データ量を超えないように制御する。
FIG. 11 shows an example of the time evolution of the amount of data that the
例えば、出力動画生成部２８２は、人物の動きが検出されたりすることによって撮像部２００が撮像した表示レート又は解像度の高い動画を送信しようとすると、例えば時刻ｔ１１０２〜ｔ１１０３の期間のように、出力部２９０が出力する単位時間あたりのデータ量が許容データ量を超えてしまう。このような場合、出力動画生成部２８２は、出力部２９０が単位時間当たりに出力するデータ量を許容データ量まで低減させるべく、撮像部２００が撮像したフレーム画像をトリミングして人物を含む部分の動画を生成したり、人物の動き速さに応じてフレーム画像を適宜間引いたりして、低データ量の動画を生成する。そして、出力制御部２７０は、時刻１１０２〜ｔ１１０３までの間にトリミングされた画像又は間引いた画素で表される画像を、単位時間当たりに出力するデータ量が許容データ量より小さくなる期間（例えば、時刻ｔ１１０３〜ｔ１１０４の期間）に出力部２９０に出力させる。このような制御によって、撮像装置１００は、許容データ量と略同一のデータ量の動画を、サーバ１７０に送信することができる。このため、監視システム１１０によると、伝送経路１４０の帯域幅を有効に使用することができる。
For example, if the output moving
図１２は、条件格納部２４０が格納している条件の一例を示す。条件格納部２４０は、人物の面積、オブジェクトの動き速さ、変化領域の面積、特定色の面積、基準オブジェクトとの間の形状の一致度、及び基準方向との間の移動方向の一致度のそれぞれについて、下限値（Ｓ１、Ｖ１、Ｓα、Ｓβ、ｓγ、ｍｄ）を格納している。そして、適合判断部２３０は、平均化画像生成部２０２が生成した平均化画像において、条件格納部２４０が格納している下限値以上の人物の面積、オブジェクトの動く速さ、変化領域の面積、特定色の面積、基準オブジェクトとの間の形状の一致度、又は基準方向との間の移動方向の一致度を有するオブジェクトが検出された場合に、当該平均化画像は条件格納部２４０が格納している条件に適合すると判断する。このとき、図１から図１１に関連して説明したように、出力動画生成部２８２は、条件格納部２４０が格納している条件に適合しないと適合判断部２３０が判断した場合より高画質の動画を、撮像部２００が撮像した動画から生成する。
FIG. 12 shows an example of conditions stored in the
なお、条件格納部２４０は、撮像部２００が撮像した複数のフレーム画像又は平均化画像生成部２０２が生成した複数の平均化画像の間で、予め定められた値以上変化した画素値を持つ画素の数の下限値を、変化領域の面積の下限値として格納してよい。また、条件格納部２４０は、複数のフレーム画像又は複数の平均化画像の全画素数に対する、予め定められた値以上変化した画素値を持つ画素数の比の下限値を、変化領域の面積の下限値として格納してもよい。なお、画素値とは輝度値であってよい。
The
また、条件格納部２４０は、複数のフレーム画像又は複数の平均化画像に含まれる、予め定められた色範囲に含まれる色を有する画素の数の下限値を、特定色の面積の下限値として格納してよい。また、条件格納部２４０は、フレーム画像又は平均化画像の全画素数に対する、予め定められた色範囲に含まれる色を有する画素の数の比の下限値を、特定色の面積の下限値として格納してもよい。
In addition, the
また、条件格納部２４０は、フレーム画像又は平均化画像に含まれるオブジェクトの輪郭が同じ面積を有する予め定められた基準オブジェクトと重なり合う部分の面積の下限値を、基準オブジェクトとの間の形状の一致度の下限値として格納してよい。また、条件格納部２４０は、フレーム画像又は平均化画像に含まれるオブジェクトの輪郭が同じ面積を有する予め定められた基準オブジェクトと重なり合う部分の面積の、オブジェクトの面積に対する比の下限値を、基準オブジェクトとの間の形状の一致度の下限値として格納してもよい。
In addition, the
また、条件格納部２４０は、フレーム画像又は平均化画像に含まれるオブジェクトの動き方向と予め定められた基準方向との間のなす角度に反比例する指標値の下限値を、基準方向と移動方向の一致度の下限値として格納してよい。なお基準方向とは、フレーム画像上又は平均化画像上において予め定められた方向であってよく、実空間において予め定められた方向であってもよい。なお、条件格納部２４０は、フレーム画像又は平均化画像に含まれるオブジェクトが示す被写体が動く方向と当該被写体の位置から撮像部２００に向かう方向との間のなす角度に反比例する指標値の下限値を、基準方向と移動方向の一致度の下限値として格納してよい。
The
図１３は、撮像部２００に向かう被写体が撮像されたフレーム画像１３１０、１３２０、及び１３３０の一例を示す。動き方向特定部２２３は、撮像部２００が撮像したフレーム画像１３１０、１３２０、及び１３３０のそれぞれからオブジェクト抽出部２２５が抽出したオブジェクト１３１５、１３２５、及び１３３５の重心位置１３１１、１３２１、及び１３３１を算出する。また、動き方向特定部２２３は、フレーム画像１３１０、１３２０、及び１３３０のそれぞれからオブジェクト抽出部２２５が抽出したオブジェクトの長さｌ１３１２、ｌ１３２２、及びｌ１３３２を算出する。
FIG. 13 shows an example of
そして、動き方向特定部２２３は、フレーム画像１３１０、１３２０、及び１３３０にわたるオブジェクトの長さの増加率及びオブジェクトの重心位置の変化率を算出して、算出したオブジェクトの長さの増加率が予め定められた基準値以上であり、かつオブジェクトの重心位置の変化率が予め定められた基準値より小さい場合に、オブジェクトが示す被写体が撮像部２００に向かっている旨を判断する。
Then, the movement
なお、条件格納部２４０は、オブジェクトの重心が画像における中心に向かう方向を示す条件を格納してよい。そして、適合判断部２３０は、重心位置の移動方向が、画像における中心に向かう方向を示す場合に、条件格納部２４０が格納している条件に適合する旨を判断する。なお、条件格納部２４０は、オブジェクトの重心が画像における中心に向かう方向を示す条件の他に、オブジェクトの大きさの変化を示す条件を格納してもよい。例えば、条件格納部２４０は、複数の動画構成画像又は平均化画像にわたって、オブジェクトの長さの増加速度が予め定められた増加速度より大きく、オブジェクトの重心が画像における中心に向かっていること又はオブジェクトの重心が画像における中心近傍にあることを示す条件を格納してよい。
The
このように、撮像装置１００は、撮像部２００に向かってくる被写体を検出したときに出力する動画の画質を高めることができる。このため、盗難から守るべき物体に撮像部２００を設けることによって、その物体に近づく人物を適切に監視することができる。また、撮像装置１００は、撮像部２００に対して布をかぶせる等の妨害工作をしようとする人物を適切に監視することができる。
As described above, the
図１４は、条件設定部２４２が設定する動き速さの下限値の時間発展の一例を示す。伝送経路１４０は、時刻ｔ１４００〜ｔ１４０１、時刻ｔ１４０２〜ｔ１４０３、及び時刻ｔ１４０４〜ｔ１４０５の期間、略一定のデータ量の動画を伝送している。これらの期間においては、いずれの撮像装置１００も人物の動きを検出しておらず、全ての撮像装置１００は、撮像した動画を低画質の動画に変換して出力することによって、合計のデータ量Ｒ０の動画を出力している。
FIG. 14 shows an example of the time evolution of the lower limit value of the movement speed set by the
一方、時刻ｔ１４０１〜ｔ１４０２、時刻ｔ１４０３〜ｔ１４０４、及び時刻ｔ１４０５〜ｔ１４０６の期間には、いずれかの撮像装置１００が人物の動きを検出しており、撮像した動画を低画質の動画にすることなくそのまま伝送経路１４０に出力することによって、伝送経路１４０が時間あたりに伝送するデータが増大する。このとき、許容データ量取得部２５０は、伝送経路１４０が単位時間あたりに伝送することができる最大のデータ量Ｒｍａｘと、伝送経路１４０が時間あたりに伝送しているデータ量との差を、単位時間あたりに許容される許容データ量として取得する。なお、許容データ量取得部２５０は、伝送経路１４０が単位時間あたりに伝送することができる最大のデータ量Ｒｍａｘと伝送経路１４０が時間あたりに伝送しているデータ量との差を、伝送経路１４０に動画を出力する撮像装置１００の個数で除した値を、許容データ量として取得してもよい。
On the other hand, during the period from time t1401 to t1402, time t1403 to t1404, and time t1405 to t1406, one of the
そして、条件設定部２４２は、許容データ量取得部２５０が取得した許容データ量に反比例する動き速さの下限値を、条件格納部２４０に格納させる。これにより、条件格納部２４０には、許容データ量がより小さいほどより大きい動き速さの下限値が格納される。
Then, the
なお、撮像装置１００には、優先順位が予め定められてよい。そして、条件設定部２４２は、より高い優先順位が撮像装置１００に定められている場合に、より低い動き速さの下限値を条件格納部２４０に格納させてよい。また、条件設定部２４２は、予め定められた順で所定の期間毎に、許容データ量に応じた動き速さの下限値を条件格納部２４０に格納させてよい。
Note that the priority order of the
以上の説明においては、条件格納部２４０が格納している動き速さの下限値を、許容データ量に応じて条件設定部２４２が設定する場合について説明したが、条件設定部２４２は同様に、条件格納部２４０が格納している人物の面積の下限値、変化領域の面積の下限値、特定色の面積の下限値、基準オブジェクトとの間の形状の一致度の下限値、及び基準方向との間の移動方向の一致度の下限値を、許容データ量に応じて設定することができることは言うまでもない。
In the above description, the case where the
図１５は、出力動画生成部２８２が生成する動画の他の一例を示す。出力動画生成部２８２は、撮像装置１００によって時刻ｔ１５０１−１５０７に撮像された画像１５９１−１５９７から、それぞれ人物の顔の領域１５５１−１５５７を特定する。そして、出力動画生成部２８２は、当該領域１５５１−１５５７以外の領域の画素値を所定値にすることによって、オブジェクト領域画像１５１１−１５１７を生成する。このようにして出力動画生成部２８２は、オブジェクト領域画像１５１１−１５１７を含む出力動画１５１０を生成する。
FIG. 15 shows another example of the moving image generated by the output moving
また、出力動画生成部２８２は、画像１５９１、１５９３、１５９５、及び１５９７の画素を間引くことによって解像度が低減された画像における、人物の体の領域１５６１、１５６３、１５６５、及び１５６７を特定する。そして出力動画生成部２８２は、当該領域１５６１、１５６３、１５６５、及び１５６７以外の領域の画素値を所定値にすることによって、オブジェクト領域画像１５２１、１５２３、１５２５、及び１５２７を生成する。このようにして出力動画生成部２８２は、オブジェクト領域画像１５２１、１５２３、１５２５、及び１５２７を含む出力動画１５２０を生成する。
In addition, the output moving
また、出力動画生成部２８２は、画像１５９１及び１５９５の解像度をさらに低減することによって、オブジェクト領域以外の領域の画像である背景領域画像１５３１及び１５３５を生成する。このように、出力動画生成部２８２は、解像度及び表示レートが異なる動画１５１０、１５２０、及び１５３０を生成する。なお、本図の例では、動画１５１０は動画１５２０より高画質となり、動画１５２０は動画１５３０より高画質となっている。このように、出力動画生成部２８２は、オブジェクトの種類に応じて予め定められた解像度及び表示レートの動画を生成する。なお、オブジェクトの種類は、本図に説明したような人物の顔及び体の他に、条件格納部２４０が格納している条件または複数の条件の組み合わせで特定されてよい。
Further, the output moving
そして、出力制御部２７０は、許容データ量の範囲内で出力部２９０から送信することができる動画を、動画のデータ量に基づいて選択する。例えば、出力制御部２７０は、動画１５１０、動画１５２０、動画１５３０の順に、許容データ量の範囲内で出力部２９０から送信することができる動画を選択する。なお、出力制御部２７０は、図９等に関連して説明したように、選択されなかった動画に含まれるフレーム画像を、後に送信できるようになったタイミングで出力部２９０に送信させる。
Then, the
なお、出力動画生成部２８２は、動画１５１０、動画１５２０、及び動画１５３０の単位で、含まれる複数のオブジェクト領域画像を圧縮符号化してもよい。このように、出力動画生成部２８２が、オブジェクト領域以外の領域の画素値を所定値にしてから圧縮符号化するので、汎用の符号化器を使用しつつ動画のデータ量を著しく低減することができる。
Note that the output moving
図１６は、出力動画生成部２８２が生成した他の動画に含まれる動画構成画像の一例を示す。出力動画生成部２８２は、画像１５９１の画素を間引くことによって縮小した低解像度画像１６３１を生成する。また、出力動画生成部２８２は、画像１５９１の画素を間引くことによって縮小した中解像度画像を生成する。なお、ここでは、中解像度画像は、低解像度画像より高解像度であるとする。また、低解像度画像１６３１中には、低解像度な人物領域１６７１が含まれる。
FIG. 16 shows an example of a moving image constituent image included in another moving image generated by the output moving
また、出力動画生成部２８２は、中解像度画像と低解像度画像１６３１との間の差分により差分画像１６２１を生成する。ここで、出力動画生成部２８２は、差分画像１６２１における人物領域１６６１以外の領域における画素の差分値を０にする。この操作により、差分画像１６２１における人物領域１６６１（頭部領域１６６１ａ及び体部領域１６６１ｂ）以外の領域の画像内容は、低解像度画像１６３１と実質的に等価になる。
Further, the output moving
また、出力動画生成部２８２は、画像１５９１と中解像度画像との間の差分により、差分画像１６１１を生成する。ここで、出力動画生成部２８２は、差分画像１６１１における人物の頭部領域１６５１以外の領域における画素の差分値を０にする。この操作により、差分画像１６１１における頭部領域１６５１以外の領域の画像内容は、低解像度画像１６２１と実質的に等価になる。
Further, the output moving
このように、出力動画生成部２８２は、画像１５９１を、いわば低精細な低解像度画像１６３１、人物領域１６６１において中程度の精細度を有する差分画像１６２１、及び人物の頭部領域において高精細な差分画像１６１１に分解する。これらの画像を足し合わせて得られる足し合わせ画像は、人物領域が他の領域より高精細であり、人物領域内では頭部領域が他の領域より高精細となる。したがって、足し合わせ画像は、元の画像１５９１よりデータ量が著しく低減されたものとなる。
Thus, the output moving
なお、ここまでの説明では、１の画像１５９１から複数のオブジェクト領域画像を生成する生成方法について説明したが、同様にして、複数の画像からそれぞれ複数のオブジェクト領域画像を生成することができる。そして、出力動画生成部２８２は、同じ解像度の差分画像を一組の動画構成画像とする動画を生成する。
In the description so far, the generation method for generating a plurality of object area images from one
なお、差分画像１６２１及び差分画像１６１１は、この発明におけるオブジェクト領域画像の一例であってよい。そして、出力制御部２７０は、許容データ量の範囲内で出力部２９０から送信することができる動画を、動画のデータ量及び許容データ量に基づいて選択する。なお、上述したように、送信することができない動画に含まれるオブジェクト領域画像は、後に送信することができるよう画像保持部２１４に格納される。
Note that the
なお、本図に関連して説明したように、出力動画生成部２８２が差分画像をオブジェクト領域画像として生成した場合には、人物領域の画像を復元するためには低解像度の画像が必要となる。したがって、このような場合、出力制御部２７０は、より低解像度のオブジェクト領域画像をより優先して送信することが好ましい。
As described with reference to this figure, when the output moving
図１７は、監視システム１１０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
FIG. 17 shows an exemplary hardware configuration of a
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１００と通信し、撮像装置１００にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
The input /
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１００に送信される。撮像装置１００に送信されたプログラムは、撮像装置１００においてインストールされて実行される。
A program provided to the
撮像装置１００にインストールされて実行されるプログラムは、撮像装置１００を、図１から図１６に関連して説明した撮像部２００、平均化画像生成部２０２、撮像制御部２１０、オブジェクト領域特定部２１２、画像保持部２１４、差分画像生成部２１６、変化量算出部２２１、動き量算出部２２２、動き方向特定部２２３、特定色面積算出部２２４、及びオブジェクト抽出部２２５、適合判断部２３０、一致度算出部２３２、条件格納部２４０、条件設定部２４２、許容データ量取得部２５０、画質選択部２６０、画質格納部２６２、出力制御部２７０、画像生成部２８０、出力動画生成部２８２、及び出力部２９０として機能させる。
The program that is installed and executed in the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１００ 撮像装置
１１０ 監視システム
１４０ 伝送経路
１５０ 監視領域
１５１ 監視領域
１５２ 監視領域
１６０ 監視室
１７０ サーバ
１８０ 表示装置
１８１ 表示装置
１８２ 表示装置
２００ 撮像部
２０２ 平均化画像生成部
２１０ 撮像制御部
２１２ オブジェクト領域特定部
２１４ 画像保持部
２１６ 差分画像生成部
２２０ 画像特徴量抽出部
２２１ 変化量算出部
２２２ 動き量算出部
２２３ 動き方向特定部
２２４ 特定色面積算出部
２２５ オブジェクト抽出部
２３０ 適合判断部
２３２ 一致度算出部
２４０ 条件格納部
２４２ 条件設定部
２５０ 許容データ量取得部
２６０ 画質選択部
２６２ 画質格納部
２７０ 出力制御部
２８０ 画像生成部
２８２ 出力動画生成部
２９０ 出力部
100
Claims (23)
前記撮像部が撮像した動画から抽出されるべきオブジェクトの条件を格納する条件格納部と、
前記撮像部が撮像した動画に前記条件に適合するオブジェクトが存在するか否かを判断する適合判断部と、
前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記条件に適合するオブジェクトを含むオブジェクト領域を特定するオブジェクト領域特定部と、
前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記オブジェクト領域の画像を出力する出力部と、
前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記オブジェクト領域以外の領域の画像を保持する画像保持部と、
前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後に、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を送信すべき旨を判断した場合に、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を前記出力部に出力させる出力制御部と
を備える監視システム。 An imaging unit that captures a moving image of the monitoring area;
A condition storage unit that stores conditions of an object to be extracted from the moving image captured by the imaging unit;
A conformity determination unit that determines whether or not an object that meets the condition exists in the moving image captured by the image capturing unit;
An object region specifying unit that specifies an object region including an object that meets the condition when the conformity determination unit determines that an object that meets the condition exists;
An output unit that outputs an image of the object area when the conformity determination unit determines that an object that meets the condition exists;
An image holding unit that holds an image of a region other than the object region when the matching determination unit determines that an object that meets the condition exists;
When it is determined that an image of an area other than the object area held by the image holding section should be transmitted after the image holding section holds an image of an area other than the object area, the image holding section A monitoring system comprising: an output control unit that causes the output unit to output an image of a region other than the object region held by the computer.
請求項１に記載の監視システム。 The output control unit determines that an image of an area other than the object area held by the image holding unit can be transmitted after the image holding part holds an image of an area other than the object area. 2. The monitoring system according to claim 1, wherein when the image is stored, the output unit outputs an image of an area other than the object area held by the image holding unit.
請求項２に記載の監視システム。 When the output control unit determines that the data amount of the moving image to be output by the output unit is smaller than a predetermined data amount after the image holding unit holds an image of an area other than the object area. The monitoring system according to claim 2, wherein an image of an area other than the object area held by the image holding unit is output to the output unit.
をさらに備え、
前記出力制御部は、前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後に、前記出力部が単位時間あたりに出力すべき動画のデータ量が前記許容データ量取得部が取得したデータ量より小さい旨を判断した場合に、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を前記出力部に出力させる
請求項３に記載の監視システム。 Further comprising an allowable data amount acquisition unit for acquiring a data amount per unit time allowed to be output from the output unit,
The output control unit includes the data acquired by the allowable data amount acquisition unit for the amount of moving image data that the output unit should output per unit time after the image holding unit stores an image of an area other than the object area. The monitoring system according to claim 3, wherein when it is determined that the amount is smaller than the amount, an image of an area other than the object area held by the image holding unit is output to the output unit.
請求項２に記載の監視システム。 The output control unit causes the output unit to output an image of an area other than the object area held by the image holding unit within a range of data amount allowed to be output from the output unit. Item 3. The monitoring system according to Item 2.
をさらに備え、
前記出力制御部は、前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後に、前記許容データ量取得部が取得したデータ量が予め定められた値より大きい旨が判断された場合に、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を前記出力部に出力させる
請求項２に記載の監視システム。 Further comprising an allowable data amount acquisition unit for acquiring a data amount per unit time allowed to be output from the output unit,
When the output control unit determines that the data amount acquired by the allowable data amount acquisition unit is greater than a predetermined value after the image storage unit stores an image of an area other than the object area. The monitoring system according to claim 2, wherein an image of an area other than the object area held by the image holding unit is output to the output unit.
請求項１に記載の監視システム。 The output control unit holds the image content of the region other than the object region in the moving image of the monitoring region after the image holding unit holds the image of the region other than the object region, and the image holding unit holds the image content When it is determined that the difference between the image content of the area other than the object area is larger than a predetermined value, the image of the area other than the object area held by the image holding section is output by the output section. The monitoring system according to claim 1, wherein the monitoring system is made to output.
請求項１に記載の監視システム。 When the output control unit determines that a time width longer than a predetermined time width has elapsed since the image holding unit held an image of an area other than the object area, the image holding unit The monitoring system according to claim 1, wherein the output unit outputs an image of an area other than the object area held by the computer.
請求項１に記載の監視システム。 When the output control unit determines that there is no object that satisfies the condition in the moving image of the monitoring area after the image holding unit holds an image of an area other than the object area. The monitoring system according to claim 1, wherein an image of an area other than the object area held by the image holding unit is output to the output unit.
前記オブジェクト領域特定部は、前記撮像部が撮像した動画に含まれる複数の動画構成画像にわたるオブジェクトの動き量が、前記条件格納部が格納している動き量の下限値以上であるオブジェクトを含む領域を、前記オブジェクト領域として特定する
請求項１に記載の監視システム。 The condition storage unit stores a lower limit value of the amount of movement of the object to be extracted from the video,
The object area specifying unit includes an object including an object in which a motion amount of an object over a plurality of moving image constituent images included in the moving image captured by the imaging unit is equal to or greater than a lower limit value of the moving amount stored in the condition storage unit. The monitoring system according to claim 1, wherein the object area is specified.
前記オブジェクト領域特定部は、前記条件格納部が格納している一致度の下限値以上の一致度で一致するオブジェクトを含む領域を、前記オブジェクト領域として抽出する
請求項１に記載の監視システム。 The condition storage unit stores a lower limit value of the degree of coincidence with a predetermined object that the object to be extracted from the moving image should have,
The monitoring system according to claim 1, wherein the object area specifying unit extracts an area including an object that matches with a degree of matching equal to or higher than a lower limit value of the degree of matching stored in the condition storage unit as the object area.
前記オブジェクト領域特定部は、予め定められた色範囲に含まれる色の占める面積が前記条件格納部が格納している面積の下限値以上であるオブジェクトを含む領域を、前記オブジェクト領域として抽出する
請求項１に記載の監視システム。 The condition storage unit stores a lower limit value of an area occupied by a color included in a predetermined color range that an object to be extracted from a moving image should have,
The object region specifying unit extracts, as the object region, a region including an object in which an area occupied by a color included in a predetermined color range is equal to or greater than a lower limit value of an area stored in the condition storage unit. Item 2. The monitoring system according to Item 1.
をさらに備え、
前記出力制御部は、前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後の前記監視領域の動画において、前記適合判断部が前記条件に適合するオブジェクトが存在しない旨を判断した場合に、前記許容データ量取得部が取得したデータ量が予め定められた値より大きいことを条件として、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を、前記出力部に出力させる
請求項９に記載の監視システム。 Further comprising an allowable data amount acquisition unit for acquiring a data amount per unit time allowed to be output from the output unit,
When the output control unit determines that there is no object that satisfies the condition in the moving image of the monitoring area after the image holding unit holds an image of an area other than the object area. In addition, on the condition that the data amount acquired by the allowable data amount acquisition unit is larger than a predetermined value, an image of an area other than the object area held by the image holding unit is output to the output unit. The monitoring system according to claim 9.
をさらに備え、
前記出力制御部は、前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後の前記監視領域の動画において、前記適合判断部が前記条件に適合するオブジェクトが存在しない旨を判断した場合に、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を、前記許容データ量取得部が取得したデータ量に応じた画質で前記出力部に出力させる
請求項９に記載の監視システム。 Further comprising an allowable data amount acquisition unit for acquiring a data amount per unit time allowed to be output from the output unit,
When the output control unit determines that there is no object that satisfies the condition in the moving image of the monitoring area after the image holding unit holds an image of an area other than the object area. The monitoring according to claim 9, wherein an image of an area other than the object area held by the image holding unit is output to the output unit with an image quality corresponding to a data amount acquired by the allowable data amount acquiring unit. system.
をさらに備え、
前記出力部は、前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記許容データ量取得部が取得したデータ量がより大きいほどより高い画質で前記オブジェクト領域の画像を出力する
請求項９に記載の監視システム。 Further comprising an allowable data amount acquisition unit for acquiring a data amount per unit time allowed to be output from the output unit,
The output unit, when the conformity determination unit determines that there is an object that meets the condition, the larger the amount of data acquired by the allowable data amount acquisition unit, the higher the image quality of the object region. 10. The monitoring system according to claim 9, wherein
をさらに備え、
前記オブジェクト領域特定部は、前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記許容データ量取得部が取得したデータ量がより大きいほど前記条件に適合するオブジェクトを含むより大きい前記オブジェクト領域を特定する
請求項９に記載の監視システム。 Further comprising an allowable data amount acquisition unit for acquiring a data amount per unit time allowed to be output from the output unit,
When the conformity determining unit determines that there is an object that satisfies the condition, the object area specifying unit determines an object that conforms to the condition as the data amount acquired by the allowable data amount acquiring unit is larger. The monitoring system according to claim 9, wherein the object area larger than the object area is specified.
前記出力部は、前記適合判断部が前記条件に適合する複数のオブジェクトが存在する旨を判断した場合に、オブジェクトの特徴の種類に応じて予め定められた優先度がより高いオブジェクトを含む前記オブジェクト領域の画像をより優先して出力し、
前記画像保持部は、前記適合判断部が前記条件に適合する複数のオブジェクトが存在する旨を判断した場合に、前記出力部が出力していない前記オブジェクト領域の画像及び前記オブジェクト領域以外の領域の画像を保持し、
前記出力制御部は、前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後に、前記画像保持部が保持している画像を送信すべき旨を判断した場合に、前記画像保持部が保持している画像を前記出力部に出力させる
請求項１に記載の監視システム。 The object region specifying unit specifies a plurality of object regions each including a plurality of objects that meet the condition when the conformity determining unit determines that there are a plurality of objects that meet the condition,
The output unit includes the object having a higher priority determined in advance according to the type of feature of the object when the conformity determination unit determines that there are a plurality of objects that match the condition. The area image is output with higher priority,
The image holding unit, when the conformity determining unit determines that there are a plurality of objects that meet the condition, the image of the object region not output by the output unit and the region other than the object region Hold the image,
When the output control unit determines that the image held by the image holding unit should be transmitted after the image holding unit holds an image of an area other than the object area, the image holding unit The monitoring system according to claim 1, wherein the held image is output to the output unit.
請求項１７に記載の監視システム。 The output unit includes the object region including an object having a higher priority predetermined according to the type of the feature of the object so that the data amount of the image of the object region to be output is equal to or less than a predetermined data amount. The monitoring system according to claim 17, wherein the image is output with higher priority.
請求項１７に記載の監視システム。 When the output control unit determines that the image held by the image holding unit should be transmitted after the image holding unit holds an image of an area other than the object area, the image holding unit The monitoring system according to claim 17, wherein the image of the object area that is held is output to the output unit in preference to an image of an area other than the object area.
前記監視システムは、
前記条件に適合するオブジェクトの特徴の種類毎に、オブジェクトの種類に応じて異なる画質のオブジェクト領域の画像であるオブジェクト領域画像を生成する画像生成部
をさらに備え、
前記出力部は、前記適合判断部が前記条件に適合する複数のオブジェクトが存在する旨を判断した場合に、前記画像生成部が生成したより高画質のオブジェクト領域画像をより優先して出力し、
前記画像保持部は、前記適合判断部が前記条件に適合する複数のオブジェクトが存在する旨を判断した場合に、前記出力部が出力していない前記オブジェクト領域の画像及び前記オブジェクト領域以外の領域の画像を保持し、
前記出力制御部は、前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後に、前記画像保持部が保持している画像を送信すべき旨を判断した場合に、前記画像保持部が保持している画像を前記出力部に出力させる
請求項１に記載の監視システム。 The object region specifying unit specifies a plurality of object regions each including a plurality of objects that meet the condition when the conformity determining unit determines that there are a plurality of objects that meet the condition,
The monitoring system includes:
An image generation unit that generates an object region image that is an image of an object region having different image quality depending on the type of the object for each type of object feature that meets the condition;
The output unit outputs the higher-quality object region image generated by the image generation unit with higher priority when the conformity determination unit determines that there are a plurality of objects that meet the condition,
The image holding unit, when the conformity determining unit determines that there are a plurality of objects that meet the condition, the image of the object region not output by the output unit and the region other than the object region Hold the image,
When the output control unit determines that the image held by the image holding unit should be transmitted after the image holding unit holds an image of an area other than the object area, the image holding unit The monitoring system according to claim 1, wherein the held image is output to the output unit.
前記監視システムは、
前記条件に適合するオブジェクトの特徴の種類毎に、オブジェクトの種類に応じて異なる解像度のオブジェクト領域の画像であるオブジェクト領域画像を生成して、生成した高解像度のオブジェクト領域画像と低解像度のオブジェクト領域画像との間の差分画像を生成する画像生成部
をさらに備え、
前記出力部は、前記適合判断部が前記条件に適合する複数のオブジェクトが存在する旨を判断した場合に、前記画像生成部が生成したより低解像度のオブジェクト領域画像を前記差分画像より優先して出力し、
前記画像保持部は、前記適合判断部が前記条件に適合する複数のオブジェクトが存在する旨を判断した場合に、前記出力部が出力していない前記差分画像及び前記オブジェクト領域以外の領域の画像を保持し、
前記出力制御部は、前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後に、前記画像保持部が保持している画像を送信すべき旨を判断した場合に、前記画像保持部が保持している画像を前記出力部に出力させる
請求項１に記載の監視システム。 The object region specifying unit specifies a plurality of object regions each including a plurality of objects that meet the condition when the conformity determining unit determines that there are a plurality of objects that meet the condition,
The monitoring system includes:
For each type of object feature that meets the above conditions, an object area image that is an image of an object area having a different resolution according to the type of object is generated, and the generated high-resolution object area image and low-resolution object area are generated. An image generation unit that generates a difference image with the image;
The output unit gives priority to the lower resolution object region image generated by the image generation unit over the difference image when the determination unit determines that there are a plurality of objects that match the condition. Output,
The image holding unit, when the matching determination unit determines that there are a plurality of objects that match the condition, the difference image and the image of the region other than the object region that are not output by the output unit. Hold and
When the output control unit determines that the image held by the image holding unit should be transmitted after the image holding unit holds an image of an area other than the object area, the image holding unit The monitoring system according to claim 1, wherein the held image is output to the output unit.
前記撮像段階において撮像された動画から抽出されるべきオブジェクトの条件を格納する条件格納段階と、
前記撮像段階において撮像された動画に前記条件に適合するオブジェクトが存在するか否かを判断する適合判断段階と、
前記適合判断段階において前記条件に適合するオブジェクトが存在する旨が判断された場合に、前記条件に適合するオブジェクトを含むオブジェクト領域を特定するオブジェクト領域特定段階と、
前記適合判断段階において前記条件に適合するオブジェクトが存在する旨が判断された場合に、前記オブジェクト領域の画像を出力する出力段階と、
前記適合判断段階において前記条件に適合するオブジェクトが存在する旨が判断された場合に、前記オブジェクト領域以外の領域の画像を保持する画像保持段階と、
前記画像保持段階において前記オブジェクト領域以外の領域の画像を保持された後に、前記画像保持段階において保持されている前記オブジェクト領域以外の領域の画像を送信すべき旨が判断された場合に、前記画像保持段階において保持されている前記オブジェクト領域以外の領域の画像を前記出力段階において出力させる出力制御段階と
を備える監視方法。 An imaging stage for capturing a video of the surveillance area;
A condition storage step for storing the conditions of the object to be extracted from the moving image captured in the imaging step;
A conformity determination step of determining whether or not an object that satisfies the condition exists in the moving image captured in the imaging step;
An object region specifying step of specifying an object region including an object that meets the condition when it is determined in the matching determination step that an object that meets the condition exists;
An output step of outputting an image of the object region when it is determined that there is an object that satisfies the condition in the matching determination step;
An image holding step of holding an image of a region other than the object region when it is determined that an object that satisfies the condition exists in the matching determination step;
When it is determined that an image of an area other than the object area held in the image holding stage should be transmitted after an image of an area other than the object area is held in the image holding stage. A monitoring method comprising: an output control step of outputting an image of a region other than the object region held in the holding step in the output step.
監視領域の動画を撮像する撮像部、
前記撮像部が撮像した動画から抽出されるべきオブジェクトの条件を格納する条件格納部、
前記撮像部が撮像した動画に前記条件に適合するオブジェクトが存在するか否かを判断する適合判断部、
前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記条件に適合するオブジェクトを含むオブジェクト領域を特定するオブジェクト領域特定部、
前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記オブジェクト領域の画像を出力する出力部、
前記適合判断部が前記条件に適合するオブジェクトが存在する旨を判断した場合に、前記オブジェクト領域以外の領域の画像を保持する画像保持部、
前記画像保持部が前記オブジェクト領域以外の領域の画像を保持した後に、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を送信すべき旨を判断した場合に、前記画像保持部が保持している前記オブジェクト領域以外の領域の画像を前記出力部に出力させる出力制御部
として機能させるプログラム。 A monitoring system program comprising:
An imaging unit that captures a moving image of the monitoring area;
A condition storage unit that stores conditions of an object to be extracted from the moving image captured by the imaging unit;
A conformity determination unit that determines whether or not an object that satisfies the condition exists in the moving image captured by the image capturing unit;
An object region specifying unit that specifies an object region including an object that meets the condition when the conformity determination unit determines that an object that meets the condition exists;
An output unit that outputs an image of the object area when the conformity determination unit determines that there is an object that meets the condition;
An image holding unit that holds an image of a region other than the object region when the matching determination unit determines that an object that meets the condition exists;
When it is determined that an image of an area other than the object area held by the image holding section should be transmitted after the image holding section holds an image of an area other than the object area, the image holding section A program for causing the output unit to output an image of an area other than the object area held by the output unit.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007323646A JP4979083B2 (en) | 2006-12-27 | 2007-12-14 | Monitoring system, monitoring method, and program |
| US11/965,603 US7940963B2 (en) | 2006-12-27 | 2007-12-27 | Monitoring system, monitoring method, and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006353192 | 2006-12-27 | ||
| JP2006353192 | 2006-12-27 | ||
| JP2007323646A JP4979083B2 (en) | 2006-12-27 | 2007-12-14 | Monitoring system, monitoring method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008182680A true JP2008182680A (en) | 2008-08-07 |
| JP4979083B2 JP4979083B2 (en) | 2012-07-18 |
Family
ID=39726211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007323646A Expired - Fee Related JP4979083B2 (en) | 2006-12-27 | 2007-12-14 | Monitoring system, monitoring method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4979083B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014068183A (en) * | 2012-09-26 | 2014-04-17 | Jvc Kenwood Corp | System and image pick-up device |
| JP2017516415A (en) * | 2014-05-21 | 2017-06-15 | クアルコム，インコーポレイテッド | System and method for determining image resolution |
| KR20170126982A (en) * | 2015-03-02 | 2017-11-20 | 이스라엘 에어로스페이스 인더스트리즈 리미티드 | Remote object detection and tracking |
| WO2024047876A1 (en) * | 2022-09-02 | 2024-03-07 | 日本電信電話株式会社 | Video transmission system, video transmission control method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000358221A (en) * | 1999-06-14 | 2000-12-26 | Olympus Optical Co Ltd | Image display device |
| JP2001320705A (en) * | 2000-05-09 | 2001-11-16 | Oki Electric Ind Co Ltd | Image data compression device for monitoring camera |
| JP2004120341A (en) * | 2002-09-26 | 2004-04-15 | Riosu Corp:Kk | Video image monitoring system |
| JP2004200989A (en) * | 2002-12-18 | 2004-07-15 | Fuji Photo Film Co Ltd | Imaging apparatus and supervisory system |
| JP2004206665A (en) * | 2002-10-30 | 2004-07-22 | Japan Science & Technology Agency | Human face detecting method and human face detecting device |
| JP2004328318A (en) * | 2003-04-24 | 2004-11-18 | Spike Co Ltd | Image compositing system for portable terminal with camera |
| JP2006033793A (en) * | 2004-06-14 | 2006-02-02 | Victor Co Of Japan Ltd | Tracking video reproducing apparatus |
| JP2006245746A (en) * | 2005-03-01 | 2006-09-14 | Hitachi Kokusai Electric Inc | Monitoring system |
-
2007
- 2007-12-14 JP JP2007323646A patent/JP4979083B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000358221A (en) * | 1999-06-14 | 2000-12-26 | Olympus Optical Co Ltd | Image display device |
| JP2001320705A (en) * | 2000-05-09 | 2001-11-16 | Oki Electric Ind Co Ltd | Image data compression device for monitoring camera |
| JP2004120341A (en) * | 2002-09-26 | 2004-04-15 | Riosu Corp:Kk | Video image monitoring system |
| JP2004206665A (en) * | 2002-10-30 | 2004-07-22 | Japan Science & Technology Agency | Human face detecting method and human face detecting device |
| JP2004200989A (en) * | 2002-12-18 | 2004-07-15 | Fuji Photo Film Co Ltd | Imaging apparatus and supervisory system |
| JP2004328318A (en) * | 2003-04-24 | 2004-11-18 | Spike Co Ltd | Image compositing system for portable terminal with camera |
| JP2006033793A (en) * | 2004-06-14 | 2006-02-02 | Victor Co Of Japan Ltd | Tracking video reproducing apparatus |
| JP2006245746A (en) * | 2005-03-01 | 2006-09-14 | Hitachi Kokusai Electric Inc | Monitoring system |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014068183A (en) * | 2012-09-26 | 2014-04-17 | Jvc Kenwood Corp | System and image pick-up device |
| JP2017516415A (en) * | 2014-05-21 | 2017-06-15 | クアルコム，インコーポレイテッド | System and method for determining image resolution |
| KR101781773B1 (en) * | 2014-05-21 | 2017-09-25 | 퀄컴 인코포레이티드 | System and method for determining image resolution |
| KR20170126982A (en) * | 2015-03-02 | 2017-11-20 | 이스라엘 에어로스페이스 인더스트리즈 리미티드 | Remote object detection and tracking |
| KR102285078B1 (en) | 2015-03-02 | 2021-08-04 | 이스라엘 에어로스페이스 인더스트리즈 리미티드 | Remote detection and tracking of objects |
| WO2024047876A1 (en) * | 2022-09-02 | 2024-03-07 | 日本電信電話株式会社 | Video transmission system, video transmission control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4979083B2 (en) | 2012-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2100453B1 (en) | Monitoring system, monitoring method and program | |
| US9247132B2 (en) | Moving picture capturing device, information processing system, information processing device, and image data processing method | |
| JP5774889B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| US20140002604A1 (en) | Information processing apparatus, information processing method, and data structure of position information | |
| US8681239B2 (en) | Image capturing device, image capturing method, program, and integrated circuit | |
| US8169501B2 (en) | Output apparatus, output method and program | |
| US20070222858A1 (en) | Monitoring system, monitoring method and program therefor | |
| JP2011510521A (en) | On-chip smart network camera system | |
| JP4794938B2 (en) | Monitoring system, monitoring device, monitoring method, and program | |
| JP2007243660A (en) | Monitoring system, monitoring method, and monitoring program | |
| JP4979083B2 (en) | Monitoring system, monitoring method, and program | |
| JP4879717B2 (en) | Monitoring system, monitoring method, and program | |
| JP4694461B2 (en) | Imaging apparatus, imaging method, monitoring system, monitoring method, and program | |
| US7940963B2 (en) | Monitoring system, monitoring method, and program | |
| JP5150943B2 (en) | Monitoring system, monitoring method, and program | |
| JP4977454B2 (en) | Monitoring system, monitoring method, and program | |
| JP5033412B2 (en) | Monitoring system, monitoring method, and program | |
| JP2008035096A (en) | Monitoring apparatus, monitoring method and program | |
| JP4509883B2 (en) | Imaging system, imaging apparatus, imaging method, and imaging program | |
| JP2008236425A (en) | Monitoring system, monitoring method, and monitoring program | |
| JP2007019845A (en) | Monitor camera, monitor method, and monitor program | |
| JP6559378B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2008228281A (en) | Image capturing apparatus, image capturing method, and program | |
| JP4267415B2 (en) | Moving image selection output device, moving image selection output system, and program | |
| JP4750005B2 (en) | Display device, display method, imaging system, imaging method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120321 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120413 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |