JP2011203897A - Heat image monitoring apparatus - Google Patents
Heat image monitoring apparatus Download PDFInfo
- Publication number
- JP2011203897A JP2011203897A JP2010069205A JP2010069205A JP2011203897A JP 2011203897 A JP2011203897 A JP 2011203897A JP 2010069205 A JP2010069205 A JP 2010069205A JP 2010069205 A JP2010069205 A JP 2010069205A JP 2011203897 A JP2011203897 A JP 2011203897A
- Authority
- JP
- Japan
- Prior art keywords
- electrical equipment
- thermal image
- area
- human body
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 89
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Abstract
Description
本発明は、監視領域を撮影した熱画像から監視領域内に不必要な電気設備の稼動があると判定した場合に利用者に警告を行う熱画像監視装置に関する。 The present invention relates to a thermal image monitoring apparatus that warns a user when it is determined from a thermal image obtained by photographing a monitoring area that there is an unnecessary operation of electrical equipment in the monitoring area.
近年、地球温暖化により、省エネルギーは社会面、環境面、経済面で、必要不可欠なテーマとなっている。オフィスビル、テナント等だけでなく、一般家庭においても電力の無駄を排斥するために、パソコン、照明、暖房器具等の電気設備を無人のときはオフにすることを励行しているケースが多い。
特許文献１には、室内を撮影したカメラから取得した画像に所定時間変化がないと稼動中の室内に備えられた装置を停止する装置自動停止システムが開示されている。
In recent years, due to global warming, energy conservation has become an indispensable theme in terms of society, environment and economy. In order to eliminate waste of electric power not only in office buildings and tenants, but also in general homes, there are many cases in which electrical equipment such as personal computers, lighting, and heaters are turned off when they are unattended.
Patent Document 1 discloses an automatic device stop system that stops a device provided in an operating room if there is no change in an image acquired from a camera that has captured the room for a predetermined time.
しかしながら、特許文献１のシステムでは監視を必要とする電気設備ごとに稼動監視手段が必要となる。またカメラで室内を撮影することはプライバシーの問題もあり抵抗感が強いという問題がある。本発明は上記課題を解決するために、取得した熱画像を画像処理して監視対象内で不必要な電気設備の稼動があれば適切に利用者に警告を行うことが可能な熱画像監視装置の実現を目的とする。 However, the system of Patent Document 1 requires operation monitoring means for each electrical facility that requires monitoring. In addition, taking a picture of the room with a camera has a problem of privacy and strong resistance. In order to solve the above problems, the present invention provides a thermal image monitoring apparatus capable of appropriately processing a warning for a user if there is an unnecessary operation of electrical equipment within a monitoring target by performing image processing on the acquired thermal image. It aims at realization.
上記目的を達成するため、本発明の熱画像監視装置は、監視対象領域の熱画像を取得する熱画像取得手段と、前記電気設備の電気設備が存在する位置を電気設備領域として設定する領域設定手段と、前記電気設備領域を記憶する記憶手段と、前記熱画像中の前記電気設備領域の温度より前記電気設備の稼動状況を判定する電気設備監視手段と、前記熱画像中の前記電気設備領域を含まない領域の熱源の有無より人体が存在するか否かを判定する人体監視手段と、前記電気設備が不要に稼動されているか否かを前記電気設備の稼働状況と前記人体の存否に基づいて判定する判定手段と、前記判定結果に基づいて警告を行う警告手段を有することを特徴としている。 In order to achieve the above object, the thermal image monitoring apparatus of the present invention includes a thermal image acquisition unit that acquires a thermal image of a monitoring target region, and a region setting that sets a position where the electrical facility of the electrical facility exists as an electrical facility region Means, storage means for storing the electrical equipment area, electrical equipment monitoring means for determining the operating status of the electrical equipment from the temperature of the electrical equipment area in the thermal image, and the electrical equipment area in the thermal image A human body monitoring means for determining whether or not a human body is present based on the presence or absence of a heat source in a region that does not include, and whether or not the electrical equipment is being operated unnecessarily based on the operating status of the electrical equipment and the presence or absence of the human body Determination means, and warning means for giving a warning based on the determination result.
また、本発明に係る熱画像監視装置の前記判定手段は、前記人体監視手段により人体と判定された熱源が所定時間移動がなく、かつ、前記電気設備が稼動中である場合に前記電気設備が不要に稼動されていると判定することを特徴としている。 Further, the determination unit of the thermal image monitoring apparatus according to the present invention is configured such that the electrical equipment is installed when the heat source determined to be a human body by the human body monitoring unit has not moved for a predetermined time and the electrical equipment is in operation. It is characterized in that it is determined that it is operating unnecessarily.
また、本発明に係る熱画像監視装置の前記判定手段は、前記電気設備が稼動中であり、かつ前記熱画像中に人体が不在の場合に電気設備の不要な稼動があると判定することを特徴としている。 Further, the determination means of the thermal image monitoring apparatus according to the present invention determines that there is an unnecessary operation of the electrical equipment when the electrical equipment is in operation and a human body is absent in the thermal image. It is a feature.
また、本発明に係る熱画像監視装置の前記領域設定手段は、前記電気設備が照明設備である属性を設定可能であり、前記判定手段は、前記照明設備属性の電気設備が非稼動状態になったとき、他の稼動中の電気設備がある場合に電気設備の不要な稼動があると判定することを特徴としている。 Further, the region setting means of the thermal image monitoring apparatus according to the present invention can set an attribute that the electrical equipment is a lighting equipment, and the determination means is that the electrical equipment of the lighting equipment attribute is in a non-operating state. In this case, it is characterized that it is determined that there is an unnecessary operation of the electrical equipment when there is another electrical equipment in operation.
本発明によれば、熱画像上に設定した電気設備領域中の温度を監視して電気設備が稼動中であるか否かを判定し、さらに電気設備領域以外の熱源を人体と判定することで、電気設備の稼動状況と人体の存否に応じて、電気設備の不必要な稼動か否かを判定することができる。かかる判定を他の設備監視手段を必要とせず、熱画像の処理のみから行うことで低コストなシステムを実現可能とし、さらに熱画像を用いることで画像上で利用者の個人が特定されないため、利用者のプライバシーにも配慮した監視装置が実現できる。 According to the present invention, the temperature in the electrical equipment area set on the thermal image is monitored to determine whether the electrical equipment is in operation, and the heat source other than the electrical equipment area is determined to be a human body. It is possible to determine whether or not the electrical equipment is being operated unnecessarily according to the operating status of the electrical equipment and the presence or absence of the human body. Since such a determination does not require any other equipment monitoring means, it is possible to realize a low-cost system by performing only from thermal image processing, and further, the user's individual is not identified on the image by using the thermal image, A monitoring device that takes into account user privacy can be realized.
以下、本発明に係る熱画像監視装置を適用した実施形態について図を参照して説明する。 Hereinafter, an embodiment to which a thermal image monitoring apparatus according to the present invention is applied will be described with reference to the drawings.
図１は、本実施形態に係る熱画像監視装置１のブロック図である。熱画像監視装置１は、大きく熱画像センサ３とコントローラ４により構成される。熱画像センサ３は例えば監視対象である室内の天井又は壁に設置され、コントローラ４はリビング、玄関付近の壁等の建物内の適切な場所に設置される。熱画像センサ３とコントローラ４間は無線または有線にて接続される。尚、図１の例では一つのコントローラ４に対し熱画像センサ３が一つ接続される構成を示しているが、熱画像センサ３を複数の室内ごとに設置し、一つのコントローラ４に複数の熱画像センサ３が接続されるようにすることも可能である。 FIG. 1 is a block diagram of a thermal image monitoring apparatus 1 according to the present embodiment. The thermal image monitoring apparatus 1 is largely composed of a thermal image sensor 3 and a controller 4. The thermal image sensor 3 is installed, for example, on the ceiling or wall of a room to be monitored, and the controller 4 is installed in an appropriate place in a building such as a living room or a wall near the entrance. The thermal image sensor 3 and the controller 4 are connected wirelessly or by wire. 1 shows a configuration in which one thermal image sensor 3 is connected to one controller 4. However, the thermal image sensor 3 is installed in each of a plurality of rooms, and a single controller 4 has a plurality of thermal image sensors 3. It is also possible to connect the thermal image sensor 3.
以下、熱画像センサ３及びコントローラ４を構成する各部について説明する。熱画像センサ３は、赤外線カメラ３０、画像入力手段３１、制御部３２、電気設備監視手段３３、人体監視手段３４、記憶手段３５、照明監視手段３６、報知手段３７、通信手段３８から構成される。 Hereinafter, each part which comprises the thermal image sensor 3 and the controller 4 is demonstrated. The thermal image sensor 3 includes an infrared camera 30, an image input unit 31, a control unit 32, an electrical equipment monitoring unit 33, a human body monitoring unit 34, a storage unit 35, an illumination monitoring unit 36, a notification unit 37, and a communication unit 38. .
熱画像センサ３は、監視対象である建物が無人で利用者以外の侵入者がいると検出する警備モード（外出モード）であるときは熱画像上の移動体検出結果より侵入者の有無を判定してコントローラ４に通報し、監視対象である建物が有人である警備モード（在宅モード或いは在宅警備モード）であるときは、熱画像から電気設備の稼動有無を監視し、電気の不要か稼動があると判定すると在宅中の利用者に警告を行う、或いはコントローラ４に通報し、コントローラ４から利用者に警告を行う。この警備モードについては後述する。 The thermal image sensor 3 determines the presence or absence of an intruder from the detection result of the moving object on the thermal image when it is in a security mode (outing mode) for detecting that the building to be monitored is unmanned and there is an intruder other than the user. When the building to be monitored is in the security mode (home mode or home security mode), the presence or absence of electricity is monitored from the thermal image to check whether electricity is required If it is determined that there is, a warning is given to the user at home, or a notification is sent to the controller 4, and the warning is given from the controller 4 to the user. This security mode will be described later.
以下熱画像センサ３の各部について説明する。赤外線カメラ３０は、人体温度、電気設備の稼動時の温度に代表される波長領域に感度のあるカメラであり監視領域の熱画像を撮影して、画像入力手段３１へ出力する。画像入力手段３１は赤外線カメラ３０が撮影した熱画像を所定間隔フレームで取得する入力インターフェースである。制御部３２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、熱画像センサ３全体を制御する。また、本実施形態において制御部３２は、電気設備監視手段３３、人体監視手段３４、照明監視手段３６として機能する。また電気設備監視手段３３及び人体監視手段３４、或いは照明監視手段３６の出力結果より利用者に警告を行うか否かの異常判定を行う判定手段として機能する。 Hereinafter, each part of the thermal image sensor 3 will be described. The infrared camera 30 is a camera that is sensitive to a wavelength region typified by the temperature of the human body and the temperature of the electrical equipment, and takes a thermal image of the monitoring region and outputs it to the image input means 31. The image input means 31 is an input interface that acquires thermal images taken by the infrared camera 30 at predetermined intervals. The control unit 32 controls the entire thermal image sensor 3 by a semiconductor integrated circuit including a central processing unit (CPU), a ROM storing programs, a RAM as a work area, and the like. In the present embodiment, the control unit 32 functions as the electrical equipment monitoring unit 33, the human body monitoring unit 34, and the illumination monitoring unit 36. Also, it functions as a determination unit that determines whether or not to warn the user based on the output results of the electrical equipment monitoring unit 33, the human body monitoring unit 34, or the illumination monitoring unit 36.
電気設備監視手段３３は、予め熱画像上の所定範囲に設定された電気設備領域の温度を計測して、電気設備の稼動状況を判定する。照明監視手段３６は、電気設備監視手段３３に含まれ、設定された電気機器領域の中で特に照明設備領域としての属性を有する領域に関する温度を計測し、照明設備の稼動状況を判定する。人体監視手段３４は、現フレームの熱画像と、前フレームの熱画像との差分を求め、上述の電気設備及び照明設備領域を除く領域（人体監視領域）内の高温領域の有無から人体の存否を判定する。 The electrical equipment monitoring means 33 measures the temperature of the electrical equipment area set in advance in a predetermined range on the thermal image, and determines the operating status of the electrical equipment. The illumination monitoring means 36 is included in the electrical equipment monitoring means 33, measures the temperature related to the area having the attribute as the illumination equipment area in the set electrical equipment area, and determines the operating status of the lighting equipment. The human body monitoring means 34 obtains a difference between the thermal image of the current frame and the thermal image of the previous frame, and determines whether or not a human body exists based on the presence or absence of a high-temperature region in a region (human body monitoring region) excluding the electrical equipment and lighting equipment regions described above. Determine.
記憶手段３５は、ＲＡＭ、ＨＤＤ等で構成され、制御部３２で利用するプログラムやデータを保持する。また記憶手段３５は、後述の領域設定手段４３によりコンローラ４で設定された電気設備領域、照明領域の情報をコントローラ４から受信して記憶する。また各電器設備領域等における電気設備の稼動状況の管理情報、コントローラ４から送信される現在の警備モードの情報等を保持する。また、取得される熱画像を所定周期分記憶している。 The storage unit 35 includes a RAM, an HDD, and the like, and holds programs and data used by the control unit 32. The storage means 35 receives information from the controller 4 on the electrical equipment area and the illumination area set by the controller 4 by the area setting means 43 described later, and stores the information. In addition, the management information on the operation status of the electrical equipment in each electrical equipment area, the current security mode information transmitted from the controller 4 and the like are held. The acquired thermal image is stored for a predetermined period.
報知手段３７は、音声、ランプ等により利用者に警告を行う手段であり、スピーカ、ＬＥＤ、ブザー等により構成される。通信手段３８は、コントローラ４との通信を行う通信インターフェースであり、有線又は無線にてコントローラと接続し、コントローラからの各種情報の受信及び、熱画像センサ３からの異常信号をコントローラ４に送信する。 The notification unit 37 is a unit that gives a warning to the user by voice, a lamp, or the like, and includes a speaker, an LED, a buzzer, or the like. The communication means 38 is a communication interface that communicates with the controller 4, is connected to the controller by wire or wirelessly, receives various information from the controller, and transmits an abnormal signal from the thermal image sensor 3 to the controller 4. .
次にコントローラ４を構成する各部について説明する。コントローラ４は、制御手段４１、表示手段４２、領域設定手段４３、通信手段４４、警報手段４５、モード設定手段４６、記憶手段４７から構成されている。 Next, each part which comprises the controller 4 is demonstrated. The controller 4 includes control means 41, display means 42, area setting means 43, communication means 44, alarm means 45, mode setting means 46, and storage means 47.
コントローラ４は、監視対象である建物の警備モードの設定や、熱画像センサ３による監視のための各電器設備領域、照明領域の設定や、熱画像センサ３への設定情報の送信、熱画像センサ３からの異常出力の受信等を行う。また、ここでは説明を省略するが、建物内に設置された他の侵入検知センサ、火災検知センサ、煙検知センサ等が異常検知した信号を受信して、必要に応じて遠隔の警備センター等へ通報を行ったりもする。 The controller 4 sets the security mode of the building to be monitored, sets each electrical equipment area and lighting area for monitoring by the thermal image sensor 3, transmits setting information to the thermal image sensor 3, and the thermal image sensor. An abnormal output from 3 is received. In addition, although explanation is omitted here, a signal detected by another intrusion detection sensor, a fire detection sensor, a smoke detection sensor, etc. installed in the building is detected and sent to a remote security center as necessary. Also make reports.
制御手段４１は、コントローラ４全体を統括制御する手段であり、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成される。 The control unit 41 is a unit that performs overall control of the entire controller 4 and is configured by a semiconductor integrated circuit including a central processing unit (CPU), a ROM that stores programs, a RAM as a work area, and the like.
表示手段４２は液晶、有機ＥＬなどのディスプレイであり、各種設定情報をテキストで表示したり、熱画像による監視映像を表示する。 The display means 42 is a display such as a liquid crystal or an organic EL, and displays various setting information as text or displays a monitoring image by a thermal image.
領域設定手段４３は、取得される熱画像中より電気設備の設置されている領域を利用者が指定して設定する。監視領域の設定方法は、例えば以下のように行う。いま、図６（a）に示すように室内にエアコン６０１、テレビ６０２、照明６０３が設置されているとする。
図６（ｂ）に図６（a）の状態で各電気設備をオンにした場合の赤外線カメラより取得した熱画像のイメージ図を示す。エアコン６０１、テレビ６０２、照明６０３に対応する熱画像上の高温領域が各々６０４、６０５、６０６を示す。
The area setting means 43 is set by the user specifying the area where the electrical equipment is installed from the acquired thermal image. The monitoring area setting method is performed as follows, for example. Now, as shown in FIG. 6A, it is assumed that an air conditioner 601, a television 602, and an illumination 603 are installed in the room.
FIG. 6B shows an image diagram of a thermal image acquired from an infrared camera when each electrical facility is turned on in the state of FIG. The high temperature regions on the thermal image corresponding to the air conditioner 601, the television set 602, and the illumination 603 indicate 604, 605, and 606, respectively.
利用者（又は管理者）は初期設定としてディスプレイ等の表示手段４３に図６（ｂ）のような熱画像を表示させ、タッチパネル等を含む領域設定手段４２により、電気設備の領域を設定する。この際、監視領域内の電気設備はオンにしておく。利用者は、表示手段４２上で高温の場所を電気設備として個別に設定する。この設定方法は、タッチペン等により矩形領域を選択したり、指定したポイントの周辺領域を自動的に電気設備の領域として設定することができる。また、電気設備領域のうち、照明設備の領域６０６については当該領域が照明設備である旨の属性を付加して設定を行うことができる。 The user (or administrator) displays the thermal image as shown in FIG. 6B on the display means 43 such as a display as an initial setting, and sets the area of the electrical equipment by the area setting means 42 including a touch panel and the like. At this time, the electrical equipment in the monitoring area is turned on. The user individually sets high-temperature places on the display means 42 as electrical equipment. This setting method can select a rectangular area with a touch pen or the like, or can automatically set a peripheral area of a designated point as an area of electrical equipment. Further, among the electrical equipment areas, the lighting equipment area 606 can be set with an attribute indicating that the area is the lighting equipment.
尚、本実施の形態では、設定された電気設備領域以外の領域を人が存在する可能性のある人体監視領域として取り扱うが、領域設定手段４３で、さらに人体が存在する可能性のない領域を利用者が指定し、利用者が指定した領域を除外した領域を人体監視領域として設定できるようにしてもよい。 In the present embodiment, an area other than the set electrical equipment area is handled as a human body monitoring area where a person may exist. However, the area setting unit 43 may further select an area where no human body may exist. An area specified by the user and excluding the area specified by the user may be set as the human body monitoring area.
設定された領域情報は、後述の通信手段４４を介して熱画像センサ３に送信され、熱画像センサ３の記憶手段３５に記憶される。 The set area information is transmitted to the thermal image sensor 3 via the communication unit 44 described later, and is stored in the storage unit 35 of the thermal image sensor 3.
また、コントローラ４に設けている領域設定手段４３を熱画像センサ２に設け、電気設備領域を熱画像上の温度分布等により自動登録するようにすることもできる。また一度設定した領域を自動的にその位置を修正するような機能を設けることも可能である。例えば、熱画像上に移動を伴わずに出現し、所定時間移動がない高温領域を電気設備領域として設定することができる。人体であれば移動を伴って画像外から出現するため区別ができる。また、電気設備の発熱部分は方形状であることが多いため、上記自動設定の条件として熱画像中の高温領域の形状の条件も加えることも可能である。 Further, the area setting means 43 provided in the controller 4 may be provided in the thermal image sensor 2 so that the electrical equipment area is automatically registered by the temperature distribution on the thermal image or the like. It is also possible to provide a function for automatically correcting the position of a once set area. For example, a high-temperature region that appears on the thermal image without movement and does not move for a predetermined time can be set as the electrical equipment region. A human body can be distinguished because it appears from outside the image with movement. In addition, since the heat generating portion of the electrical equipment is often rectangular, it is possible to add the condition of the shape of the high-temperature region in the thermal image as the automatic setting condition.
また、設定済みの電気設備領域に関する修正を自動で行うような修正手段を設けるようにしてもよい。例えば、電気設備領域として設定済みの領域の近傍に、略同一の温度分布/形状の領域が存在し、かつ設定済みの領域内の全部又は一部の温度が低い場合は、設定済の電気設備領域の位置を修正することができる。これは、ストーブなどの移動可能な暖房器具は、その位置を利用者が変更する可能性があるためである。 Moreover, you may make it provide the correction means which performs the correction regarding the set electrical equipment area | region automatically. For example, if there is a region with approximately the same temperature distribution / shape in the vicinity of a region that has already been set as an electrical facility region, and if all or part of the temperature in the set region is low, the configured electrical facility The position of the area can be corrected. This is because a user can change the position of a movable heater such as a stove.
同様に、一度設定済みの電気設備領域について所定期間以上電気設備の稼動がない場合は自動で設定済みの領域を削除するようにすることもできる。これは暖房器具等は冬にしか使わないため、季節によってはまったく稼動しないことが考えられるためである。 Similarly, if the electrical equipment area that has been set once has not been operated for a predetermined period or longer, the set area can be automatically deleted. This is because heaters and the like are used only in winter, and may not operate at all depending on the season.
また、電気設備領域のうち、照明設備のある領域については照明である旨の属性を付加して設定を行うことができる。照明設備についても画像上部で固定かつ温度変化が急激であるものを照明領域として自動設定するようにしてもよい。 In addition, among the electrical equipment areas, an area with lighting equipment can be set by adding an attribute indicating lighting. As for the lighting equipment, the lighting area may be automatically set as a lighting area that is fixed at the upper part of the image and has a rapid temperature change.
通信手段４４は、無線或いは有線を介して熱画像センサ３と通信を行う通信インタフェースであるとともに、電話回線、インターネットを介して遠隔の警備センタとの通信も行う通信インタフェース機能を有する。警報手段４５は、通信手段４４から受信した熱画像センサ３からの通報を受信し、後述の警備モードに応じて各種警報を行う手段であり、スピーカ、ＬＥＤ、ブザー等により構成される。 The communication unit 44 is a communication interface that communicates with the thermal image sensor 3 via wireless or wired communication, and also has a communication interface function that communicates with a remote security center via a telephone line or the Internet. The alarm unit 45 is a unit that receives the notification from the thermal image sensor 3 received from the communication unit 44 and performs various alarms according to a security mode described later, and includes a speaker, an LED, a buzzer, and the like.
モード設定手段４６は、監視対象である建物の警備モードの設定、変更を行う。警備モードについて説明する。警備モードは、例えば、「外出モード」、「在宅モード」、「在宅警備モード」の３種類があり、これらの警備モードは利用者がモード設定手段４６を操作して設定、変更する。 The mode setting means 46 sets and changes the security mode of the building to be monitored. The security mode will be described. There are three types of security modes, for example, “outing mode”, “home mode”, and “home security mode”. These security modes are set and changed by the user by operating the mode setting means 46.
警備モードのうち「外出モード」は、利用者が外出して建物が無人となる場合に設定され、「外出モード」中に熱画像センサ３および他の各種センサを通じて異常が検知された場合、その旨がコントローラ４に伝達される。警備モードとして「在宅モード」が設定された場合、利用者が在宅していることとなるので、たとえ侵入監視センサ等の内部監視センサが人を検知したとしても通報は抑制される。警備モードとして「在宅警備モード」が設定された場合、利用者が在宅しているが、外部からの侵入者は検出するので、窓開放検知センサ、ドア開放検知センサ等を通じて建物の外周やドアの開放などを検知し、コントローラ４にその旨通報する。 The “outing mode” of the security mode is set when the user goes out and the building is unattended. When an abnormality is detected through the thermal image sensor 3 and other various sensors during the “outing mode”, This is transmitted to the controller 4. When “at-home mode” is set as the security mode, the user is at home, so even if an internal monitoring sensor such as an intrusion monitoring sensor detects a person, the notification is suppressed. When “Home security mode” is set as the security mode, the user is at home, but intruders from the outside are detected. Opening is detected and the controller 4 is notified accordingly.
コントローラ４のモード設定手段４６で設定される警備モードの情報は通信手段４４より熱画像センサ３に送信される。熱画像センサ３はコントローラ４から送信された警備モードの情報を記憶手段３５に保持し、「在宅モード」或いは「在宅警備モード」において電気機器の稼動監視を行い、在室者の存否等に応じて不必要な電力使用がされていないかを監視する。 Information on the security mode set by the mode setting means 46 of the controller 4 is transmitted from the communication means 44 to the thermal image sensor 3. The thermal image sensor 3 holds the security mode information transmitted from the controller 4 in the storage means 35, and monitors the operation of the electrical equipment in the “home mode” or “home security mode”, depending on the presence / absence of the person in the room, etc. Monitor for unnecessary power usage.
記憶手段４７は、各種プログラム、警備モード情報、各熱画像センサの状態、各センサのＩＤ等を記憶する手段であり、ＲＡＭ、ＨＤＤ等で構成される。 The storage unit 47 is a unit that stores various programs, security mode information, the state of each thermal image sensor, the ID of each sensor, and the like, and includes a RAM, an HDD, and the like.
以上、本実施形態に係る熱画像監視装置を構成する各部の機能について説明した。次に本実施形態に係る熱画像監視装置の動作について図２から図４のフローチャートを用いて説明する。図２のステップＳ１０〜Ｓ８０までの動作は本実施形態に係る熱画像監視装置について熱画像カメラ３０から熱画像が所定周期で入力されるごとに実行されるものとする。 The function of each part constituting the thermal image monitoring apparatus according to the present embodiment has been described above. Next, the operation of the thermal image monitoring apparatus according to the present embodiment will be described with reference to the flowcharts of FIGS. The operations from step S10 to step S80 in FIG. 2 are executed each time a thermal image is input from the thermal image camera 30 with a predetermined period in the thermal image monitoring apparatus according to the present embodiment.
まず、ステップＳ１０において熱画像センサ３の画像入力手段３１に所定周期ごとに熱画像カメラ３０が撮像した熱画像が入力される。次に、ステップＳ２０で現在設定されている警備モードの判定が行われる。この警備モードの情報は、コントローラ４から熱画像センサ３に送られ、記憶されている。警備モードが外出モードである場合（ステップＳ２０−Ｙｅｓ）、熱画像センサ３ではステップＳ７０で入力された画像上の変化の有無より、侵入者の検出を判定する。侵入者が検出された場合はステップＳ８０でコントローラ４に対し、異常通報を送信する。画像変化に基づき侵入異常を判定する方法としては、公知の手法を用いることができ、本発明の範囲外であるのでここでは詳細な説明を省略する。 First, in step S10, a thermal image captured by the thermal image camera 30 is input to the image input unit 31 of the thermal image sensor 3 at predetermined intervals. Next, the security mode currently set in step S20 is determined. Information on the security mode is sent from the controller 4 to the thermal image sensor 3 and stored therein. When the security mode is the outing mode (step S20—Yes), the thermal image sensor 3 determines the detection of an intruder based on whether or not there is a change on the image input in step S70. If an intruder is detected, an abnormality report is transmitted to the controller 4 in step S80. As a method for determining an intrusion abnormality based on an image change, a known method can be used, and since it is outside the scope of the present invention, detailed description thereof is omitted here.
ステップＳ２０において外出モードでない場合（ステップＳ２０−Ｎｏ）、すなわち在宅警備モードと在宅モードのいずれかである場合、ステップＳ３０で電気設備の稼動監視、ステップＳ４０で人体監視が各々実施される。ステップＳ３０では、熱画像上に予め設定した電気設備領域内の温度を監視して監視領域内の電気設備の稼動状況を監視する。一方ステップＳ４０では、電気設備以外の領域について人体の存否を監視する。ステップＳ３０およびステップＳ４０はサブルーチン化されており、詳細については後述する。 If it is not the outing mode in step S20 (step S20-No), that is, if it is either the home security mode or the home mode, the operation monitoring of the electrical equipment is performed in step S30, and the human body monitoring is performed in step S40. In step S30, the temperature in the electrical equipment area preset on the thermal image is monitored to monitor the operating status of the electrical equipment in the monitoring area. On the other hand, in step S40, the presence or absence of a human body is monitored in a region other than the electrical equipment. Steps S30 and S40 are made into subroutines, and details will be described later.
ステップＳ５０では、監視領域内で電気設備の不要稼動の有無を電気設備の利用状況（ステップＳ３０）、人体の存否（ステップＳ４０）に基づいて予め定めた警告条件を満たすか否かにより判定する。ステップＳ６０ではステップＳ５０で警告条件を満たす場合は、警告手段により利用者に警告を行う。警告条件の判定についての詳細は後述する。 In step S50, the presence or absence of unnecessary operation of the electrical equipment in the monitoring area is determined based on whether or not a predetermined warning condition is satisfied based on the usage status of the electrical equipment (step S30) and the presence or absence of a human body (step S40). In step S60, if the warning condition is satisfied in step S50, a warning is given to the user by a warning means. Details of the warning condition determination will be described later.
次に、ステップＳ３０の電気設備監視に関し、図３のフローチャートを用いて詳細に説明する。図３の処理は監視領域に電気設備領域が複数設定されているときは各々の領域に対し実行される。 Next, the electrical equipment monitoring in step S30 will be described in detail using the flowchart of FIG. The process of FIG. 3 is executed for each area when a plurality of electric equipment areas are set in the monitoring area.
本熱画像監視装置の実施の形態においては、各電気設備の稼動状態の判定として以下の３種類のフラグを設定する。電気設備が所定時間以上稼動中であると本稼動中フラグが１に設定される。そして当該電気設備が稼動を開始したと判定してから所定時間の計時中は予備稼動中として予備稼動中フラグが１に設定される。この予備稼動中フラグは所定時間の計時中に電気設備がオフになるか所定時間が経過して電気設備が本稼動中になると０にリセットされる。尚、本実施の形態では、この本稼動中（本稼動中フラグ＝１）又は予備稼動中（予備稼動中＝１）の状態を電気設備の稼動中であるとしている。
また、本稼動中または予備稼動中の電気設備がオフになった場合に停止フラグが１に設定される。これは主に照明設備がオフになった時点を検出する。停止フラグは熱画像が画像入力手段３１から熱画像が入力されるたびに０にリセットされる。これらの各フラグは電気設備領域ごとに個別に設定される。以下図３のフローチャートについて説明する。
In the embodiment of the thermal image monitoring apparatus, the following three types of flags are set as determination of the operating state of each electrical facility. If the electrical equipment is operating for a predetermined time or more, the in-service flag is set to 1. Then, the pre-operation flag is set to 1 as pre-operation during the measurement of a predetermined time after it is determined that the electric facility has started operation. This preliminary operating flag is reset to 0 when the electrical equipment is turned off during the predetermined time or when the electrical equipment is in full operation after the predetermined time has elapsed. In the present embodiment, the state in which the electrical equipment is in operation is in the state of actual operation (main operation flag = 1) or preliminary operation (preliminary operation = 1).
In addition, the stop flag is set to 1 when the electrical equipment in actual operation or preliminary operation is turned off. This mainly detects when the lighting equipment is turned off. The stop flag is reset to 0 each time a thermal image is input from the image input means 31. Each of these flags is individually set for each electric equipment area. Hereinafter, the flowchart of FIG. 3 will be described.
まずステップＳ３００において上述のように停止フラグが０に設定される。次にステップＳ３０１において画像入力部３１から入力した熱画像上において各電気設備領域内ごとに、領域内における画素ごとの温度を求め、その平均値Ｔを算出し当該領域の温度を算出する。 First, in step S300, the stop flag is set to 0 as described above. Next, in step S301, on the thermal image input from the image input unit 31, for each electric equipment area, the temperature of each pixel in the area is obtained, the average value T is calculated, and the temperature of the area is calculated.
ステップＳ３０２では、算出した温度が所定値Ｔｈ（例えば４０度）以上であるか否か判定する。この場合、熱画像領域以外の平均温度Ｔｂｇも求めておき、所定値Ｔｈをこの平均温度Ｔｂｇで補正するようにしてもよい。 In step S302, it is determined whether or not the calculated temperature is equal to or higher than a predetermined value Th (for example, 40 degrees). In this case, an average temperature Tbg outside the thermal image area may also be obtained, and the predetermined value Th may be corrected with the average temperature Tbg.
ステップＳ３０３では、ステップＳ３０２において電気設備領域の温度が所定以上と判定（ステップＳ３０２−Ｙｅｓ）されると、電気設備が所定時間以上、既に稼動しているか否か（本稼動中フラグ＝１）を判定する。既に本稼動中である場合（ステップＳ３０３−Ｙｅｓ）、これは電気設備が所定時間以上稼動中であり、現在（現フレーム）でもその状態が継続しているということであるから、状態変化はないため、処理を終了し、他の電気設備領域に対する処理を行い、全ての電気設備領域に対する処理が終了すると図２のフローチャートに戻る。 In step S303, if it is determined in step S302 that the temperature of the electrical equipment area is equal to or higher than a predetermined value (step S302-Yes), it is determined whether or not the electrical equipment has already been operated for a predetermined time or longer (in-service flag = 1). judge. If it is already in operation (step S303-Yes), this means that the electrical equipment has been operating for a predetermined time or more and the state continues even now (current frame), so there is no state change. Therefore, the process is terminated, the process for the other electrical equipment area is performed, and the process returns to the flowchart of FIG.
ステップＳ３０３で電気設備が本稼動中でない場合（ステップＳ３０３−Ｎｏ）は、次にステップＳ３０４へ進み、稼動計時中であるか、即ち予備稼動中であるか（予備稼動中フラグ＝１）否か判定する。 If the electrical equipment is not in actual operation in step S303 (step S303-No), the process proceeds to step S304, whether the operation is being measured, that is, whether it is in standby operation (preliminary operation flag = 1). judge.
予備稼動中でない場合は、前フレーム以前で稼動していなかった電気設備が稼動開始したことを意味するので、ステップＳ３０５で予備稼動中フラグを１とし、ステップＳ３０６で所定期間の計時タイマをスタートさせる。 When the spare operation is not in progress, it means that the electrical equipment that has not been operated before the previous frame has started operation. Therefore, the preliminary operation flag is set to 1 in step S305, and a time-measurement timer for a predetermined period is started in step S306. .
ステップＳ３０４にて、予備稼動中である場合、前フレーム以前でも稼動していた電気設備であり、計時中であることを意味するので、ステップＳ３０７でタイマーがカウントアップしたか否かを判定する。まだタイムアップしていなければ（ステップＳ３０７―Ｎｏ）処理を終了し、他の電気設備領域に対する処理に移る。全ての電気設備領域に対する処理が終了していれば図２のフローチャートに戻る。 In step S304, if the preliminary operation is in progress, it means that the electrical equipment has been operating even before the previous frame and is being timed. Therefore, in step S307, it is determined whether or not the timer has counted up. If the time has not yet expired (step S307—No), the process is terminated, and the process moves to a process for another electrical facility area. If the processing for all the electrical equipment areas has been completed, the process returns to the flowchart of FIG.
タイマーがカウントアップした場合（ステップＳ３０７−Ｙｅｓ）は、電気設備が稼動開始してから所定時間が経過したことを意味するので、ステップＳ３０８で本稼動中フラグを１に設定し、ステップＳ３０９で予備稼動中フラグを０にリセットし、図２のフローチャートへ戻る。 If the timer counts up (step S307-Yes), it means that a predetermined time has elapsed since the operation of the electrical equipment started. Therefore, the main operation flag is set to 1 in step S308, and the standby in step S309. The operating flag is reset to 0, and the process returns to the flowchart of FIG.
再びステップＳ３０２へ戻り、電気設備領域の温度Ｔが所定値Ｔｈ未満である場合の処理について説明する。ステップＳ３１０で電気設備が（前フレームまで）本稼動中となっているか否かが判定される。ここで現フレームにおいて電気設備領域の温度が所定値未満で本稼動中フラグが１である（ステップＳ３１０−Ｙｅｓ）ということは、前フレームでは本稼動中であった電気設備が現フレームでオフになったということを意味する。 Returning to step S302 again, a process when the temperature T of the electrical equipment area is lower than the predetermined value Th will be described. In step S310, it is determined whether or not the electrical equipment is in full operation (up to the previous frame). Here, in the current frame, the temperature of the electrical equipment area is less than the predetermined value and the flag for active operation is 1 (step S310-Yes). This means that the electrical equipment that was in active operation in the previous frame is turned off in the current frame. It means that it became.
同様にステップＳ３１３で予備稼動中であるということは前フレームで本稼動中であった電気設備がオフになったことを意味する。これら場合（ステップＳ３１０−Ｙｅｓ，ステップＳ３１３−Ｙｅｓ）、ステップＳ３１１で停止フラグを１に設定する。この停止フラグは稼動中（本稼動中又は予備稼動中）であった電気設備がオフに変化したことを検出するために用いる。具体的には電気設備領域の属性が照明設備である場合に照明設備がオフになったときに、他の電気設備が稼動中であるか否かの判定に用いる。ステップＳ３１１で停止フラグを１に設定すると、続いてステップＳ３１２で本稼動中フラグ又は予備稼動中フラグを０に変更して、他の電気設備領域に対する処理に移る。 Similarly, the preliminary operation in step S313 means that the electrical equipment that has been operating in the previous frame has been turned off. In these cases (step S310-Yes, step S313-Yes), the stop flag is set to 1 in step S311. This stop flag is used to detect that the electrical equipment that has been operating (in actual operation or preliminary operation) has changed to off. Specifically, when the attribute of the electrical equipment area is lighting equipment, when the lighting equipment is turned off, it is used to determine whether or not another electrical equipment is in operation. When the stop flag is set to 1 in step S311, subsequently, the main operation flag or the preliminary operation flag is changed to 0 in step S312, and the process proceeds to another electric facility area.
ステップ３１０、ステップ３１３において電気設備が本稼動中でもなく予備稼動中でもない場合は前フレームから電気設備が稼動していないことを意味するので、その場合は何もせずに処理を終了し、他の電気設備領域に対する処理に移る。 In step 310 and step 313, if the electrical equipment is not in full operation or in standby operation, it means that the electrical equipment has not been operated from the previous frame. Move on to the equipment area.
以上で電気設備領域の処理について説明した。前述の通り、電気設備領域が複数設定されていれば、各電気設備領域について図３のフローチャートが実行され、すべての電気設備領域に対する処理が終了すると図２のフローチャートに戻る。 The processing of the electrical equipment area has been described above. As described above, if a plurality of electrical facility areas are set, the flowchart of FIG. 3 is executed for each electrical facility area, and the process returns to the flowchart of FIG.
次に、Ｓ４０の人体監視処理について図４のフローチャートを用いて詳細に説明する。本熱画像監視装置の実施の形態においては、人体監視の判定として以下の２種類のフラグを設定する。後述の人体監視領域において人体がいると判定された場合は人体判定フラグが１に設定される。そして当該人体が所定時間以上動かないと判定された場合は静止判定フラグが１に設定される。当該静止判定フラグは人が居眠りをしてしまった場合等を想定して設定されるフラグである。従って、当該静止判定フラグは、静止中であった高温領域が移動すると０にリセットされる。そして人体と判定された高温領域が熱画像上から消失すると人体判定フラグは０にリセットされる。これら人体判定フラグと静止判定フラグは熱画像中で人体と判定された領域ごとに各々設定される。 Next, the human body monitoring process of S40 will be described in detail using the flowchart of FIG. In the embodiment of the thermal image monitoring apparatus, the following two types of flags are set as the determination of human body monitoring. When it is determined that there is a human body in a human body monitoring area described later, the human body determination flag is set to 1. When it is determined that the human body does not move for a predetermined time or more, the stillness determination flag is set to 1. The stillness determination flag is a flag that is set assuming that the person has fallen asleep. Therefore, the stillness determination flag is reset to 0 when the high temperature region that has been stationary has moved. When the high temperature region determined to be a human body disappears from the thermal image, the human body determination flag is reset to zero. These human body determination flag and stillness determination flag are set for each region determined as a human body in the thermal image.
ステップＳ４０１では熱画像上で電気設備領域として設定された領域以外を人体監視領域として当該領域内に熱源測定を行う。この測定は監視領域内に人体が不在の場合の熱画像を背景熱画像として記憶しておき、現フレームの熱画像と背景熱画像の差分を求め、差分として検出された領域が所定温度以上かつ、所定大きさ以上である場合に熱源とすることができる。或いは、監視領域に人体が不在時の人体監視領域の平均温度を算出しておき、当該平均温度よりも所定温度以上でかつ所定サイズ以上の高温領域の有無により熱源とするようにしてもよい。 In step S401, the heat source measurement is performed in the region other than the region set as the electric facility region on the thermal image as the human body monitoring region. In this measurement, a thermal image in the absence of a human body in the monitoring region is stored as a background thermal image, the difference between the thermal image of the current frame and the background thermal image is obtained, and the region detected as the difference is equal to or higher than a predetermined temperature and When it is above a predetermined size, it can be used as a heat source. Alternatively, the average temperature of the human body monitoring area when no human body is present in the monitoring area may be calculated and used as a heat source depending on the presence or absence of a high temperature area that is a predetermined temperature higher than the average temperature and a predetermined size or more.
ステップＳ４０２では、ステップＳ４０１で測定した人体監視領域内における熱源の有無を判定する。人体監視領域に熱源がないと判定された場合は、ステップＳ４１５に進む。これは、人体監視領域に元々人体が不在の場合と、前フレームで人体がいて、退出した場合の両方が考えられる。このいずれの場合でも各種設定フラグ、タイマの値は０に初期化される。 In step S402, it is determined whether or not there is a heat source in the human body monitoring region measured in step S401. If it is determined that there is no heat source in the human body monitoring area, the process proceeds to step S415. This can be considered both when the human body originally does not exist in the human body monitoring area and when the human body is present in the previous frame and then exits. In either case, the various setting flags and timer values are initialized to zero.
ステップＳ４０２で熱源があると判定された場合、ステップＳ４０３へ進む。ステップＳ４０３では、現フレームと前フレームを比較し、フレーム間差分を算出する。そしてステップＳ４０４ではフレーム間の差分に所定以上の変化があるか否かを判定する。このフレーム間差分により変化の有無の判定はフレーム間差分処理として知られている公知の手法を採用でき、ここでは説明を省略する。 If it is determined in step S402 that there is a heat source, the process proceeds to step S403. In step S403, the current frame and the previous frame are compared, and an interframe difference is calculated. In step S404, it is determined whether there is a predetermined change or more in the difference between frames. The determination of the presence / absence of a change based on the inter-frame difference can employ a known method known as inter-frame difference processing, and will not be described here.
ステップＳ４０４で画像差分があると判定された場合、ステップＳ４０５へ進む。画像差分がある場合は、前フレームで検出されていなかった熱源が新たに熱画像上に進入した場合と、前フレームで検出されていた熱源が移動した場合の双方が考えられる。そこでステップＳ４０５では、熱画像上で検出された熱源（高温領域）が前フレームに現れていなかった新熱源であるか否かが判定される。新熱源である場合は、熱画像外から新たな人体が画像範囲内に進入したとしてステップＳ４０６で人体判定フラグを１にして、図２のフローチャートへ戻る。 If it is determined in step S404 that there is an image difference, the process proceeds to step S405. When there is an image difference, both a case where a heat source that has not been detected in the previous frame newly enters the thermal image and a case where the heat source that has been detected in the previous frame has moved are considered. Therefore, in step S405, it is determined whether or not the heat source (high temperature region) detected on the thermal image is a new heat source that did not appear in the previous frame. If it is a new heat source, it is determined that a new human body has entered the image range from outside the thermal image, the human body determination flag is set to 1 in step S406, and the flow returns to the flowchart of FIG.
ステップＳ４０５で新熱源ではないと判定された場合、即ち前フレームで検出された熱源が移動したとみなせる場合である。異なるフレームにおける高温領域を同一物体として判定することは画像監視におけるトラッキング技術が採用できる。この手法も公知でありここでは説明を省略する。この場合、前フレームで静止中の物体が移動開始した場合であるので、ステップＳ４０７で静止判定フラグを０に再設定する。そしてステップＳ４０８で静止判定のタイマーがカウント中であればステップＳ４０９でタイマをリセットして図２のフローチャートへ戻る。この静止判定については後述する。 When it is determined in step S405 that the heat source is not a new heat source, that is, when the heat source detected in the previous frame can be regarded as moved. A tracking technique in image monitoring can be used to determine a high temperature region in a different frame as the same object. This technique is also known and will not be described here. In this case, since the stationary object starts moving in the previous frame, the stillness determination flag is reset to 0 in step S407. If the still determination timer is counting in step S408, the timer is reset in step S409 and the process returns to the flowchart of FIG. This stillness determination will be described later.
再び、ステップＳ４０４へ戻り、現フレームと前フレーム間の差分に変化がない場合（ステップＳ４０４−Ｎｏ）について説明する。この場合、熱源があるにも係わらず、画像差分がないということであるから、ステップＳ４１０で静止判定の計時中か否か判定する。そして計時中でなければ、ステップＳ４１２で静止判定の計時を開始する。 Returning to step S404 again, the case where there is no change in the difference between the current frame and the previous frame (step S404-No) will be described. In this case, since there is no image difference despite the presence of the heat source, it is determined in step S410 whether or not the stillness determination is in progress. If it is not timed, at step S412, time measurement for stillness determination is started.
静止判定の計時中であれば（ステップＳ４１０−Ｙｅｓ）、ステップＳ４１３で所定時間以上、熱源が静止しているか否かが判定される。そして、所定時間が経過している場合はステップＳ４１４で静止判定フラグを１に設定し、図２のフローチャートへ戻る。同様に所定時間にまだ到達していなければ、図２のフローチャートへ戻る。 If the stationary determination is being timed (step S410—Yes), it is determined in step S413 whether or not the heat source is stationary for a predetermined time or more. If the predetermined time has elapsed, the stationary determination flag is set to 1 in step S414, and the process returns to the flowchart of FIG. Similarly, if the predetermined time has not yet been reached, the process returns to the flowchart of FIG.
この静止判定は、人体監視領域にて検出された人体が所定時間以上動かない場合であり、居眠りをしているか、なんらかの身体に異常が合った場合かを判定するものである。 This stillness determination is a case where the human body detected in the human body monitoring area does not move for a predetermined time or more, and it is determined whether the human body is asleep or an abnormality is found in some body.
尚、移動可能な電気設備が、利用者が登録された位置とは異なる位置に移動させ、当該電気設備をオンにした場合にも静止条件を満たす場合がある。この場合は、前述のように画像外から移動を伴わずに画像内に出現し、その後まったく移動しない熱源は人体判定フラグを0にし、当該熱源を新たな電気設備領域として追加/修正設定するようにしてもよい。 Note that there may be a case where the movable electrical equipment is moved to a position different from the position where the user is registered and the electrical equipment is turned on to satisfy the stationary condition. In this case, as described above, the heat source that appears in the image without moving from the outside of the image and does not move at all thereafter is set to the human body determination flag 0, and the heat source is added / modified as a new electric facility area. It may be.
以上のようにステップＳ４０の人体監視判定では、熱画像中の人体監視領域において所定温度以上かつ、所定大きさ以上の熱源の存在により人体が存在するか否か、また検出された人体が所定時間以上動いていないかを判定する。 As described above, in the human body monitoring determination in step S40, whether or not a human body exists due to the presence of a heat source having a predetermined temperature or higher and a predetermined size or higher in the human body monitoring region in the thermal image, and the detected human body is determined for a predetermined time. It is determined whether or not it is moving.
再び、図２のフローチャートに戻り、ステップＳ５０の警告条件を満たすか否かの判定について説明する。本実態形態にかかる熱画像監視装置においては、熱画像処理結果より以下の３種類の場合について警告を行う。
１：照明設備がオフ時（停止フラグ＝１）に他の電気設備が稼動中（本稼動中フラグ＝１、又は予備稼動中フラグ＝１）の場合
２：人が不在時（人体判定フラグ＝０）に電気設備のいずれかが稼動中の場合（本稼動中フラグ＝１、又は予備稼動中フラグ＝１）
３：人が在室し（人体判定フラグ＝１）、かつ長時間動きがない（静止判定フラグ＝１）状態で、さらに電気設備が本稼動中の場合（本稼動中フラグ＝１）
Returning to the flowchart of FIG. 2 again, the determination of whether or not the warning condition in step S50 is satisfied will be described. In the thermal image monitoring apparatus according to the present embodiment, a warning is given for the following three types based on the thermal image processing result.
1: When the lighting equipment is off (stop flag = 1) and other electrical equipment is in operation (full operation flag = 1 or preliminary operation flag = 1) 2: When there is no person (human body determination flag = 0) If any of the electrical equipment is in operation (full operation flag = 1 or standby operation flag = 1)
3: When a person is in the room (human body determination flag = 1) and there is no movement for a long time (stillness determination flag = 1), and the electrical equipment is in operation (main operation flag = 1)
電気設備の稼動状態、人体の存否、静止の状態は熱画像センサ３の記憶手段３５に図５のようなテーブルで管理している。図５の例では、説明のため時刻を表示させてあるが、時刻情報と関連づけて各電器設備の稼動状態等を記憶することは必須ではない。図５のテーブルには、電気設備領域として、図６の３つが設定されているとする。具体的にはエアコン（領域１）、テレビ（領域２）、照明（領域３＝照明１）である。 The operating state of the electrical equipment, the presence / absence of the human body, and the stationary state are managed in a storage unit 35 of the thermal image sensor 3 using a table as shown in FIG. In the example of FIG. 5, the time is displayed for the sake of explanation, but it is not essential to store the operating state of each electrical equipment in association with the time information. In the table of FIG. 5, it is assumed that three of FIG. 6 are set as the electric equipment area. Specifically, an air conditioner (area 1), a television (area 2), and illumination (area 3 = light 1).
予備判定５０１は、電気設備監視手段３３により電気設備が稼動開始してからまだそれほど時間がたっていない場合に予備稼動中フラグ＝１が設定される。稼働判定５０２は電気設備監視手段３３により電気設備が稼動開始してから所定時間が経過すると本稼動中フラグ＝１が設定される。本稼動中フラグが１に設定されると予備稼動中フラグが０にリセットされる。停止判定５０３は照明監視手段３６により照明設備がオフに変化したときに停止フラグ＝１が設定される。本実施の形態では、この停止フラグは照明設備の停止時のみ記録するようにしている。 In the preliminary determination 501, the preliminary operation flag = 1 is set when the electric facility monitoring means 33 has not yet taken a long time since the operation of the electric facility has started. In the operation determination 502, when the electric equipment monitoring means 33 starts the operation of the electric equipment, a predetermined operation flag = 1 is set when a predetermined time has elapsed. When the active flag is set to 1, the preliminary operating flag is reset to 0. In the stop determination 503, when the lighting equipment is turned off by the lighting monitoring means 36, the stop flag = 1 is set. In this embodiment, the stop flag is recorded only when the lighting equipment is stopped.
人体判定５０４は人体監視手段３４により人体監視領域内に人体が存在すると判定すると人体判定フラグが１に設定される。静止判定５０５は、存在すると判定された人体が所定時間停止している場合に静止判定フラグ＝１が設定される。次に図５の例を用いて具体的に説明する。 When the human body determination unit 504 determines that a human body exists in the human body monitoring area by the human body monitoring unit 34, the human body determination flag is set to 1. In the stillness determination 505, the stillness determination flag = 1 is set when the human body determined to exist is stopped for a predetermined time. Next, a specific description will be given using the example of FIG.
時刻０７：２０では、照明１の設備が消灯したことを示すフラグが１となっている。これにも係わらず領域１の電気設備（エアコン）と領域２の電気設備（テレビ）が本稼動中（又は予備稼動中）であることを示すフラグが１となっている。この場合は、エアコン、テレビの消し忘れと判定して警告を行う。この警告処理は人体の存否にかかわらず行われる。 At time 07:20, the flag indicating that the equipment of the lighting 1 is turned off is 1. In spite of this, the flag indicating that the electrical equipment in the area 1 (air conditioner) and the electrical equipment in the area 2 (TV) are in operation (or in standby operation) is 1. In this case, it is determined that the user has forgotten to turn off the air conditioner or the TV, and a warning is given. This warning process is performed regardless of the presence or absence of a human body.
次に、時刻１０：１０では、人体が不在であるにも係わらず、領域２の電気設備（テレビ）、照明１が本稼動中であることがわかる。この場合も、消し忘れと判定して警告を行う。
次に、時刻１８：４０の例を図７を用いて説明する。領域１の電気設備（エアコン）７０４、照明７０６が本稼動中で、人が存在する状態(人体１＝１)である。熱画像上では、例えば皮膚が露出している顔部分などが高温領域の熱源７０７として検出される。熱画像上では高温領域が検出されるのみで個人の特定はできない。また、手なども皮膚が露出するが、大きさが所定以下の領域は検出対象外として画像処理により除外される。また、図５の例では、人体が静止中であるフラグが１（人体１＝１）となっている。これは、利用者が在室しているが、居眠りをしている可能性が高いので、不要な電気設備利用と判定して警告を行う。
Next, at time 10:10, although the human body is absent, it can be seen that the electrical equipment (television) in the region 2 and the illumination 1 are in full operation. Also in this case, it is determined that the user has forgotten to turn it off, and a warning is given.
Next, an example of time 18:40 will be described with reference to FIG. The electric equipment (air conditioner) 704 and the illumination 706 in the area 1 are in full operation and a person is present (human body 1 = 1). On the thermal image, for example, a face part with exposed skin is detected as a heat source 707 in a high temperature region. On the thermal image, only a high temperature area is detected, and an individual cannot be specified. Further, although the skin of the hand and the like is exposed, an area having a size equal to or smaller than a predetermined size is excluded from detection by image processing. In the example of FIG. 5, the flag indicating that the human body is stationary is 1 (human body 1 = 1). This is because there is a high possibility that the user is present in the room but is falling asleep.
上述の警告方法としては、熱画像センサ３に設けた報知手段であるスピーカ等により、在室者に対して音声にて警告を行うことができる。また、報知手段のみ熱画像センサ３から分離して居室の入り口付近等に設けるようにしてもよい。 As the above-described warning method, a warning can be given to the occupant by voice using a speaker or the like provided as a notification means provided in the thermal image sensor 3. Further, only the notification means may be separated from the thermal image sensor 3 and provided near the entrance of the living room.
また、熱画像センサ３からコントローラ４に通報を行い、コントローラ４の警告手段としてのスピーカ等により警告を行うようにしてもよい。これにより利用者が睡眠している可能性が高い場合に、コントローラ４の警告手段より他の家人に警告を行うことができる。
このように、警告手段、警告方法は多種多様に考えられる。
Further, the thermal image sensor 3 may report to the controller 4 and the warning may be given by a speaker or the like as a warning means of the controller 4. Thereby, when there is a high possibility that the user is sleeping, the warning means of the controller 4 can warn other householders.
As described above, there are various warning means and warning methods.
上述のように本実施形態にかかる熱画像監視装置をおいて、監視領域を撮像した熱画像を画像処理することにより、監視領域中の電気設備の稼動状態及び、人体の存否、動作の有無等から電気設備の不必要な稼動があると判定すると利用者に適切に警告が可能となる。尚、本実施の形態では、電気設備の稼動状態を稼動開始してから所定時間が経過する前は、予備稼動状態として、所定時間以上稼動中の本稼動状態と区別して判定を行うようにしていたが、電気設備の稼動時間に係らず、電気設備の稼動状況と人体の存否に応じて警告を行うようにして、より厳しく不要な電気設備の稼動を監視するようにしてもよい。 As described above, in the thermal image monitoring apparatus according to the present embodiment, by performing image processing on the thermal image obtained by imaging the monitoring area, the operating state of the electrical equipment in the monitoring area, the presence / absence of the human body, the presence / absence of the operation, etc. Therefore, if it is determined that there is an unnecessary operation of the electrical equipment, a warning can be appropriately given to the user. In the present embodiment, before the predetermined time elapses after the operation state of the electrical equipment is started, the preliminary operation state is determined to be distinguished from the main operation state that has been operating for a predetermined time or more. However, regardless of the operation time of the electrical equipment, warning may be performed according to the operation status of the electrical equipment and the presence or absence of the human body, and the operation of the unnecessary electrical equipment may be monitored more strictly.
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載される範疇内において、各種の変更例または修正例に想到し得ることは明からであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It is obvious that a person skilled in the art can come up with various changes or modifications within the scope of the claims, and these are naturally within the technical scope of the present invention. It is understood.
１・・熱画像監視装置の本体
３・・熱画像センサ
３０・・・熱画像カメラ
４・・コントローラ
1. Main body of thermal image monitoring device 3. Thermal image sensor 30 ... Thermal imaging camera 4. Controller
Claims (4)
前記電気設備の電気設備が存在する位置を電気設備領域として設定する領域設定手段と、
前記電気設備領域を記憶する記憶手段と、
前記熱画像中の前記電気設備領域の温度より前記電気設備の稼動状況を判定する電気設備監視手段と、
前記熱画像中の前記電気設備領域を含まない領域の熱源の有無より人体が存在するか否かを判定する人体監視手段と、
前記電気設備が不要に稼動されているか否かを前記電気設備の稼働状況と前記人体の存否に基づいて判定する判定手段と、前記判定結果に基づいて警告を行う警告手段を有することを特徴とする熱画像監視装置。 Thermal image acquisition means for acquiring a thermal image of the monitoring target area;
Area setting means for setting a position where the electric equipment of the electric equipment exists as an electric equipment area;
Storage means for storing the electrical equipment area;
Electrical equipment monitoring means for determining the operating status of the electrical equipment from the temperature of the electrical equipment area in the thermal image;
Human body monitoring means for determining whether or not a human body exists from the presence or absence of a heat source in an area not including the electrical facility area in the thermal image;
It has a judging means for judging whether or not the electrical equipment is being operated unnecessarily based on the operating status of the electrical equipment and the existence of the human body, and a warning means for giving a warning based on the judgment result, Thermal image monitoring device.
前記判定手段は、前記照明設備属性の電気設備が稼動中から非稼動になったとき、他に稼動中の電気設備がある場合に前記電気設備が不要に稼動されていると判定することを特徴とする請求項1乃至３に記載の熱画像監視装置。 The region setting means can set an attribute that the electrical equipment is a lighting equipment,
The determination means determines that the electrical equipment is operated unnecessarily when there is another electrical equipment in operation when the electrical equipment having the lighting equipment attribute is changed from operating to non-operating. The thermal image monitoring apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010069205A JP5469496B2 (en) | 2010-03-25 | 2010-03-25 | Thermal image monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010069205A JP5469496B2 (en) | 2010-03-25 | 2010-03-25 | Thermal image monitoring device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011203897A true JP2011203897A (en) | 2011-10-13 |
| JP2011203897A5 JP2011203897A5 (en) | 2012-12-13 |
| JP5469496B2 JP5469496B2 (en) | 2014-04-16 |
Family
ID=44880494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010069205A Expired - Fee Related JP5469496B2 (en) | 2010-03-25 | 2010-03-25 | Thermal image monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5469496B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101310653B1 (en) * | 2012-04-05 | 2013-09-24 | 연세대학교 산학협력단 | Context awareness system based bim using thermal image camera |
| JP2013219645A (en) * | 2012-04-11 | 2013-10-24 | Sony Corp | Playback system and playback method |
| JP2014048947A (en) * | 2012-08-31 | 2014-03-17 | Secom Co Ltd | Image monitoring device |
| WO2014057921A1 (en) * | 2012-10-09 | 2014-04-17 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | Electronic apparatus and sound reproduction method |
| JP5528531B1 (en) * | 2012-12-25 | 2014-06-25 | 三菱電機株式会社 | Control system, control method and program |
| JP2016062141A (en) * | 2014-09-16 | 2016-04-25 | 株式会社オプティム | Image determination device, image determination method, and image determination device program |
| JP2020106952A (en) * | 2018-12-26 | 2020-07-09 | セコム株式会社 | Security system |
| JPWO2019203351A1 (en) * | 2018-04-20 | 2021-05-27 | パナソニックＩｐマネジメント株式会社 | Image display device and image display method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6110262A (en) * | 1984-06-26 | 1986-01-17 | Toshiba Corp | Device for manufacturing semiconductor lead frame |
| JPH09252512A (en) * | 1996-03-18 | 1997-09-22 | Chubu Electric Power Co Inc | Diagnostic method and apparatus for electric apparatus by using thermograph |
| JPH10134272A (en) * | 1996-11-01 | 1998-05-22 | Shimizu Corp | Monitoring system and infrared camera for wide space disaster prevention or the like |
| JP2002122678A (en) * | 2001-01-30 | 2002-04-26 | Masanobu Kujirada | Detector of camera, etc. |
| JP2004092937A (en) * | 2002-08-29 | 2004-03-25 | Toto Ltd | Space heating machine |
| JP2008299515A (en) * | 2007-05-30 | 2008-12-11 | Aruze Corp | Device automatic stop system and program to be executed in device automatic stop system |
-
2010
- 2010-03-25 JP JP2010069205A patent/JP5469496B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6110262A (en) * | 1984-06-26 | 1986-01-17 | Toshiba Corp | Device for manufacturing semiconductor lead frame |
| JPH09252512A (en) * | 1996-03-18 | 1997-09-22 | Chubu Electric Power Co Inc | Diagnostic method and apparatus for electric apparatus by using thermograph |
| JPH10134272A (en) * | 1996-11-01 | 1998-05-22 | Shimizu Corp | Monitoring system and infrared camera for wide space disaster prevention or the like |
| JP2002122678A (en) * | 2001-01-30 | 2002-04-26 | Masanobu Kujirada | Detector of camera, etc. |
| JP2004092937A (en) * | 2002-08-29 | 2004-03-25 | Toto Ltd | Space heating machine |
| JP2008299515A (en) * | 2007-05-30 | 2008-12-11 | Aruze Corp | Device automatic stop system and program to be executed in device automatic stop system |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101310653B1 (en) * | 2012-04-05 | 2013-09-24 | 연세대학교 산학협력단 | Context awareness system based bim using thermal image camera |
| JP2013219645A (en) * | 2012-04-11 | 2013-10-24 | Sony Corp | Playback system and playback method |
| JP2014048947A (en) * | 2012-08-31 | 2014-03-17 | Secom Co Ltd | Image monitoring device |
| WO2014057921A1 (en) * | 2012-10-09 | 2014-04-17 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | Electronic apparatus and sound reproduction method |
| JP5528531B1 (en) * | 2012-12-25 | 2014-06-25 | 三菱電機株式会社 | Control system, control method and program |
| WO2014103700A1 (en) * | 2012-12-25 | 2014-07-03 | 三菱電機株式会社 | Control system, control method and program |
| JP2016062141A (en) * | 2014-09-16 | 2016-04-25 | 株式会社オプティム | Image determination device, image determination method, and image determination device program |
| JPWO2019203351A1 (en) * | 2018-04-20 | 2021-05-27 | パナソニックＩｐマネジメント株式会社 | Image display device and image display method |
| JP7122595B2 (en) | 2018-04-20 | 2022-08-22 | パナソニックＩｐマネジメント株式会社 | Image display device and image display method |
| US11874177B2 (en) | 2018-04-20 | 2024-01-16 | Panasonic Intellectual Property Management Co., Ltd. | Image display device and image display method |
| JP2020106952A (en) * | 2018-12-26 | 2020-07-09 | セコム株式会社 | Security system |
| JP7158274B2 (en) | 2018-12-26 | 2022-10-21 | セコム株式会社 | Security system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5469496B2 (en) | 2014-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5469496B2 (en) | Thermal image monitoring device | |
| JP6609657B2 (en) | Information providing method and information providing apparatus | |
| US10188222B2 (en) | Bed with embedded smart sensors | |
| JP6099921B2 (en) | refrigerator | |
| WO2017219530A1 (en) | Safety monitoring method, device, and system, monitoring system, and electronic apparatus | |
| JP5950610B2 (en) | Air conditioner | |
| EP3316232B1 (en) | Method, apparatus and storage medium for controlling target device | |
| JP6261295B2 (en) | Air conditioning system | |
| WO2019062335A1 (en) | Information display method and device for intelligent panel | |
| TW201331893A (en) | Intelligent monitoring system with automatic notification and intelligent monitoring device thereof | |
| JP2006245829A (en) | Apparatus, system, method and program for controlling electric appliance, and recording medium | |
| KR101310653B1 (en) | Context awareness system based bim using thermal image camera | |
| JP2013242841A (en) | Animal monitoring device | |
| JP6849494B2 (en) | Notification device, notification method and program | |
| CN103839358A (en) | Intelligent air conditioner and anti-theft monitoring method and device thereof | |
| US20160149718A1 (en) | Monitoring system | |
| CN201689513U (en) | Image type fire detector | |
| JP2019039793A (en) | Heat stroke prevention device and heat stroke prevention method | |
| JP6220922B1 (en) | Power monitoring processing system | |
| CN211209798U (en) | Intelligent environment monitoring equipment based on Internet of things | |
| TWM464777U (en) | Monitoring device | |
| JP2008164179A (en) | Air conditioner | |
| US20190238958A1 (en) | Stove sensor | |
| CN210351417U (en) | Intelligent building monitoring system | |
| WO2019169601A1 (en) | Smart home monitoring system and smart home monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121030 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121030 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140131 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5469496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |