JP2016208408A - Detection method, detection device and control method - Google Patents

Detection method, detection device and control method Download PDF

Info

Publication number
JP2016208408A
JP2016208408A JP2015090604A JP2015090604A JP2016208408A JP 2016208408 A JP2016208408 A JP 2016208408A JP 2015090604 A JP2015090604 A JP 2015090604A JP 2015090604 A JP2015090604 A JP 2015090604A JP 2016208408 A JP2016208408 A JP 2016208408A
Authority
JP
Japan
Prior art keywords
temperature
detection
time
infrared image
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015090604A
Other languages
Japanese (ja)
Inventor
育規 石井
Yasunori Ishii
育規 石井
宗太郎 築澤
Sotaro Tsukizawa
宗太郎 築澤
高橋 正樹
Masaki Takahashi
正樹 高橋
令子 羽川
Reiko Hagawa
令子 羽川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015090604A priority Critical patent/JP2016208408A/en
Publication of JP2016208408A publication Critical patent/JP2016208408A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a detection method etc. capable of stably detecting an object in an infrared ray image.SOLUTION: The detection method includes the steps of: acquiring a piece of information relevant to an environmental temperature as a temperature in a space where an infrared ray image is acquired and a piece of specific information for identifying a temperature of the object (S22, S23); identifying a reference model from plural reference models based on the acquired specific information and environmental temperature (S24); and detecting the object in the infrared ray image using the specified one reference model (S25).SELECTED DRAWING: Figure 11

Description

本発明は、赤外線画像の中のオブジェクトを検出する検出方法および検出装置、それを用いた制御方法に関する。   The present invention relates to a detection method and a detection device for detecting an object in an infrared image, and a control method using the same.

近年、機械学習の研究が進み、可視カメラで撮影された画像の画像認識に応用できる段階にきている。具体的には、可視カメラで撮影された大量の画像を機械学習させることで統計的に輪郭特徴を算出する。そして、この輪郭特徴を用いることで画像中のオブジェクトを高精度に検出できるようになる。   In recent years, research on machine learning has progressed, and it has reached a stage where it can be applied to image recognition of images taken with a visible camera. Specifically, contour features are statistically calculated by machine learning of a large number of images taken by a visible camera. By using this contour feature, an object in the image can be detected with high accuracy.

しかし、可視カメラで撮影された画像では、直接可視できず認識できないオブジェクトもある。   However, there are objects that cannot be directly recognized and recognized in an image taken with a visible camera.

そこで、赤外線画像を用いて、可視カメラで撮影された画像では認識できないオブジェクトを認識する技術も提案されている(例えば特許文献1)。特許文献1には、赤外線画像の中のオブジェクト(対象物)を検出する画像処理装置等が開示されている。特許文献1では、車両のマフラー領域を100℃、人物領域を30℃といったようにオブジェクトに予め定めた温度を与えた上で、赤外線画像の中のオブジェクトを検出処理する技術について開示されている。   Therefore, a technique for recognizing an object that cannot be recognized by an image taken by a visible camera using an infrared image has been proposed (for example, Patent Document 1). Patent Document 1 discloses an image processing apparatus that detects an object (object) in an infrared image. Patent Document 1 discloses a technique for detecting and processing an object in an infrared image after giving a predetermined temperature to the object, such as a vehicle muffler region of 100 ° C. and a person region of 30 ° C.

特開2013−042404号公報JP 2013-0240404 A

"Pedestrian Detection with Unsupervised Multi-Stage Feature Learning" , Pierre Sermanet, Koray Kavukcuoglu, Soumith Chintala, Yann LeCun, CVPR2013"Pedestrian Detection with Unsupervised Multi-Stage Feature Learning", Pierre Sermanet, Koray Kavukcuoglu, Soumith Chintala, Yann LeCun, CVPR2013

しかしながら、例えば人などのオブジェクトは、周囲の温度(環境温度)が変わり表面温度が変化してしまう場合、特許文献1に記載の画像処理方法では、オブジェクトの検出が困難となるという問題がある。   However, for example, an object such as a person has a problem that when the ambient temperature (environmental temperature) changes and the surface temperature changes, the image processing method described in Patent Document 1 makes it difficult to detect the object.

本発明は、上記の問題点に着目したものであり、赤外線画像の中のオブジェクトを安定して検出することができる検出方法、検出装置、それを用いた制御方法を提供することを目的とする。   The present invention focuses on the above-described problems, and an object of the present invention is to provide a detection method, a detection device, and a control method using the same that can stably detect an object in an infrared image. .

上記目的を達成するために、本発明の一形態に係る検出方法は、赤外線画像の中の所定のオブジェクトを、コンピュータが検出する検出方法であって、(i)前記赤外線画像を取得した空間の温度である環境温度に関する情報と、(ii)前記オブジェクトの温度を特定するための特定情報と、を取得する取得ステップと、前記特定情報と前記環境温度とに基づいて、複数の参照モデルの中から一の参照モデルを特定する特定ステップと、特定した前記一の参照モデルを用いて、前記赤外線画像の中の前記オブジェクトを検出する検出ステップと、を含む。   In order to achieve the above object, a detection method according to an aspect of the present invention is a detection method in which a computer detects a predetermined object in an infrared image, and (i) a space in which the infrared image is acquired. Based on the acquisition step of acquiring information on the environmental temperature, which is a temperature, and (ii) specific information for specifying the temperature of the object, and among the plurality of reference models based on the specific information and the environmental temperature And a detecting step of detecting the object in the infrared image using the specified reference model.

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。   These general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM. The system, method, integrated circuit, computer You may implement | achieve with arbitrary combinations of a program and a recording medium.

本発明によれば、赤外線画像の中のオブジェクトを安定して検出することができる検出方法等を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the detection method etc. which can detect the object in an infrared image stably can be provided.

図1は、赤外線画像の一例を示す図である。FIG. 1 is a diagram illustrating an example of an infrared image. 図2は、課題を説明するための図である。FIG. 2 is a diagram for explaining the problem. 図3は、実施の形態1における検出装置の構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a configuration of the detection device according to the first embodiment. 図4は、実施の形態1における記憶部の構成の一例を示す図である。FIG. 4 is a diagram illustrating an example of the configuration of the storage unit in the first embodiment. 図5は、実施の形態1における取得部の詳細構成の一例を示す図である。FIG. 5 is a diagram illustrating an example of a detailed configuration of the acquisition unit according to the first embodiment. 図6は、実施の形態1における検出処理部の詳細構成の一例を示す図である。FIG. 6 is a diagram illustrating an example of a detailed configuration of the detection processing unit in the first embodiment. 図7は、図5に示す特定部の詳細構成の一例を示す図である。FIG. 7 is a diagram illustrating an example of a detailed configuration of the specifying unit illustrated in FIG. 5. 図8は、実施の形態1における被災事例における時刻温度変換テーブルの一例を説明するための図である。FIG. 8 is a diagram for explaining an example of the time-temperature conversion table in the disaster case in the first embodiment. 図9は、実施の形態1における複数の参照モデルの一例を示す図である。FIG. 9 is a diagram illustrating an example of a plurality of reference models in the first embodiment. 図10は、実施の形態1における検出装置の動作の概要を示すフローチャートである。FIG. 10 is a flowchart showing an outline of the operation of the detection apparatus according to the first embodiment. 図11は、図10のS22の処理の詳細の一例を示すフローチャートである。FIG. 11 is a flowchart illustrating an example of details of the process of S22 of FIG. 図12は、図10のS24の処理の詳細の一例を示すフローチャートである。FIG. 12 is a flowchart illustrating an example of details of the processing in S24 of FIG. 図13は、図10のS25の処理の詳細の一例を示すフローチャートである。FIG. 13 is a flowchart showing an example of details of the processing in S25 of FIG. 図14は、実施の形態1の効果の一例を説明するための図である。FIG. 14 is a diagram for explaining an example of the effect of the first embodiment. 図15は、実施の形態1の効果の一例を説明するための図である。FIG. 15 is a diagram for explaining an example of the effect of the first embodiment. 図16は、機械学習装置の構成の一例を示す図である。FIG. 16 is a diagram illustrating an example of the configuration of the machine learning device. 図17は、図16に示す機械学習装置の学習結果のデータの集合の一例を示す図である。FIG. 17 is a diagram illustrating an example of a data set of learning results of the machine learning device illustrated in FIG. 図18は、図16に示す機械学習部21の処理の一例を示す図である。FIG. 18 is a diagram illustrating an example of processing of the machine learning unit 21 illustrated in FIG. 図19は、実施の形態2における検出装置の構成の一例を示す図である。FIG. 19 is a diagram illustrating an example of the configuration of the detection device according to the second embodiment. 図20は、実施の形態2における記憶部の構成の一例を示す図である。FIG. 20 is a diagram illustrating an example of a configuration of a storage unit in the second embodiment. 図21は、実施の形態2における取得部の詳細構成の一例を示す図である。FIG. 21 is a diagram illustrating an example of a detailed configuration of the acquisition unit according to the second embodiment. 図22は、実施の形態2における特定部の詳細構成の一例を示す図である。FIG. 22 is a diagram illustrating an example of a detailed configuration of the specifying unit according to the second embodiment. 図23は、実施の形態2における風呂上り事例における時刻温度変換テーブルの一例を説明するための図である。FIG. 23 is a diagram for explaining an example of a time-temperature conversion table in the bath-up example in the second embodiment. 図24は、実施の形態2における複数の参照モデルの一例を示す図である。FIG. 24 is a diagram illustrating an example of a plurality of reference models in the second embodiment. 図25は、実施の形態1における検出装置の動作の概要を示すフローチャートである。FIG. 25 is a flowchart showing an outline of the operation of the detection apparatus according to the first embodiment. 図26は、実施の形態2におけるS23の処理の詳細の一例を示すフローチャートである。FIG. 26 is a flowchart illustrating an example of details of the processing of S23 in the second embodiment. 図27は、実施の形態3における検出装置の構成の一例を示す図である。FIG. 27 is a diagram illustrating an example of the configuration of the detection device according to the third embodiment. 図28は、実施の形態3における記憶部の構成の一例を示す図である。FIG. 28 is a diagram illustrating an example of a configuration of a storage unit in the third embodiment. 図29は、実施の形態3における取得部の詳細構成の一例を示す図である。FIG. 29 is a diagram illustrating an example of a detailed configuration of an acquisition unit according to Embodiment 3. 図30は、実施の形態3における検出処理部の詳細構成の一例を示す図である。FIG. 30 is a diagram illustrating an example of a detailed configuration of the detection processing unit in the third embodiment. 図31は、図30に示す特定部の詳細構成の一例を示す図である。FIG. 31 is a diagram illustrating an example of a detailed configuration of the specifying unit illustrated in FIG. 30. 図32は、実施の形態3における人の運動時における時間と体温との関係の一例を示す図である。FIG. 32 is a diagram illustrating an example of a relationship between time and body temperature during exercise of a person in the third embodiment. 図33は、実施の形態3における検出装置の動作の概要を示すフローチャートである。FIG. 33 is a flowchart illustrating an outline of the operation of the detection device according to the third embodiment. 図34は、実施の形態4における空気調和機の構成の一例を示す図である。FIG. 34 is a diagram illustrating an example of a configuration of an air conditioner according to Embodiment 4. 図35は、図34の空気調和機が設置された様子の一例を示す図である。FIG. 35 is a diagram illustrating an example of a state in which the air conditioner of FIG. 34 is installed. 図36は、実施の形態4における空気調和機の動作の概要を示すフローチャートである。FIG. 36 is a flowchart showing an outline of the operation of the air conditioner according to the fourth embodiment.

(本発明の基礎となった知見)
可視カメラで撮影された画像で画像認識を行う場合、遮蔽物などで直接可視できないオブジェクトは認識できない。一方、赤外線画像で画像認識を行なう場合には、遮蔽物があって直接可視できないオブジェクトであっても認識できる可能性がある。ここで、赤外線画像は、例えば図1に示すように、対象空間の温度部分布を示す複数の画素から構成される画像である。図1は、赤外線画像の一例を示す図である。
(Knowledge that became the basis of the present invention)
When image recognition is performed using an image taken by a visible camera, an object that cannot be directly seen by a shield or the like cannot be recognized. On the other hand, when performing image recognition using an infrared image, there is a possibility that even an object that has a shielding object and cannot be directly seen can be recognized. Here, for example, as shown in FIG. 1, the infrared image is an image composed of a plurality of pixels indicating the temperature portion distribution of the target space. FIG. 1 is a diagram illustrating an example of an infrared image.

上記特許文献1に開示される技術では、車両のマフラー領域を100℃、人物領域を30℃といったようにオブジェクトに予め定めた温度を与えた上で、赤外線画像の中のオブジェクトを検出処理することが開示されている。これにより、夜間などで人を直接可視できない場合でも認識できるという効果を奏する。   In the technique disclosed in Patent Document 1, an object in an infrared image is detected and processed after a predetermined temperature is applied to the object, such as a vehicle muffler region of 100 ° C. and a person region of 30 ° C. Is disclosed. Thereby, there is an effect that the person can be recognized even when the person cannot be directly seen at night.

しかしながら、例えば人などのオブジェクトは、周囲の温度(環境温度)が変わり表面温度が変化してしまう場合、特許文献1に記載の画像処理方法では、オブジェクトの検出が困難となるという問題がある。   However, for example, an object such as a person has a problem that when the ambient temperature (environmental temperature) changes and the surface temperature changes, the image processing method described in Patent Document 1 makes it difficult to detect the object.

例えば、赤外線画像の中のオブジェクトの検出をするために、周囲の温度(環境温度)とオブジェクトとの温度差から算出した輪郭特徴を用いる。しかし、周囲の温度が一定であっても、人の体内温度(オブジェクトの表面温度)が変化すると、環境温度との差が少ない部位の領域が増える。つまり、図2に示すように、人の体内温度の変化に応じて輪郭特徴が変化してしまう問題がある。したがって、特許文献1に記載の画像処理方法では、一定の環境温度かつオブジェクトの温度も一定であるという条件を満たさないと、オブジェクトを安定的に検出できないという問題がある。   For example, in order to detect an object in an infrared image, a contour feature calculated from the temperature difference between the ambient temperature (environment temperature) and the object is used. However, even if the ambient temperature is constant, if the human body temperature (the surface temperature of the object) changes, the region of the region where the difference from the environmental temperature is small increases. That is, as shown in FIG. 2, there is a problem that the contour feature changes in accordance with the change in the human body temperature. Therefore, the image processing method described in Patent Document 1 has a problem that an object cannot be stably detected unless the condition that the environment temperature and the object temperature are constant is satisfied.

そこで、本発明では、環境温度とオブジェクトの温度が変動する場合でも、赤外線画像の中のオブジェクトを安定して検出することができる検出方法等を提供することを目的とする。   Therefore, an object of the present invention is to provide a detection method that can stably detect an object in an infrared image even when the environmental temperature and the temperature of the object fluctuate.

本発明の一態様に係る検出方法は、赤外線画像の中の所定のオブジェクトを、コンピュータが検出する検出方法であって、(i)前記赤外線画像を取得した空間の温度である環境温度に関する情報と、(ii)前記オブジェクトの温度を特定するための特定情報と、を取得する取得ステップと、前記特定情報と前記環境温度とに基づいて、複数の参照モデルの中から一の参照モデルを特定する特定ステップと、特定した前記一の参照モデルを用いて、前記赤外線画像の中の前記オブジェクトを検出する検出ステップと、を含む。   A detection method according to an aspect of the present invention is a detection method in which a computer detects a predetermined object in an infrared image, and (i) information on environmental temperature that is a temperature of a space from which the infrared image is acquired; (Ii) specifying one reference model from among a plurality of reference models based on the acquisition step for acquiring specific information for specifying the temperature of the object, and the specifying information and the environmental temperature And a detection step of detecting the object in the infrared image using the specified one reference model.

これによれば、環境温度とオブジェクトの温度が変動する場合でも、赤外線画像の中のオブジェクトを安定して検出することができる検出方法を実現できる。   According to this, even when the environmental temperature and the temperature of the object fluctuate, it is possible to realize a detection method that can stably detect the object in the infrared image.

ここで、例えば、前記複数の参照モデルはそれぞれ、環境温度とオブジェクトの温度との組み合わせにおける当該オブジェクトを示す画素で構成される形状を規定したものであり、前記形状は、環境温度とオブジェクトの温度との組み合わせで異なり、前記形状は、環境温度とオブジェクトの温度とが近いほど、小さくなるとしてもよい。   Here, for example, each of the plurality of reference models defines a shape including pixels indicating the object in a combination of the environmental temperature and the temperature of the object, and the shape includes the environmental temperature and the temperature of the object. The shape may be smaller as the environmental temperature is closer to the object temperature.

また、例えば、前記検出ステップでは、前記赤外線画像の中に、前記一の参照モデルが示す形状および温度と類似する領域があった場合、前記領域に前記オブジェクトが存在すると判定し、前記赤外線画像における前記領域の座標位置に関する情報を、前記オブジェクトの位置として取得することにより、前記オブジェクトを検出するとしてもよい。   Further, for example, in the detection step, when there is a region similar to the shape and temperature indicated by the one reference model in the infrared image, it is determined that the object exists in the region, and the infrared image The object may be detected by acquiring information on the coordinate position of the region as the position of the object.

また、例えば、前記特定情報は、特定のイベントからの経過時間であり、前記特定ステップでは、前記経過時間を前記オブジェクトの温度に変換し、前記環境温度と、変換した前記オブジェクトの温度とに基づいて、前記一の参照モデルを特定するとしてもよい。   Further, for example, the specific information is an elapsed time from a specific event, and in the specific step, the elapsed time is converted into a temperature of the object, and based on the environmental temperature and the converted temperature of the object. Thus, the one reference model may be specified.

ここで、例えば、前記特定のイベントは災害であり、前記経過時間は前記災害が発生した時刻から経過した時間であり、前記災害が発生した時刻は、前記コンピュータが備えるまたは外部装置に備えられている災害検知装置が前記災害を検知した時刻であり、前記取得ステップでは、前記コンピュータは、前記災害を検知した時刻を前記災害検知装置からネットワークまたは物理的な接続ケーブルを介して取得することで、前記経過時間を取得するとしてもよい。   Here, for example, the specific event is a disaster, the elapsed time is a time elapsed from the time when the disaster occurred, and the time when the disaster occurred is included in the computer or in an external device. The disaster detection device is the time when the disaster was detected, and in the acquisition step, the computer acquires the time when the disaster was detected from the disaster detection device via a network or a physical connection cable. The elapsed time may be acquired.

また、例えば、前記災害検知装置は、所定の閾値以上の振動を検知したときに、前記災害を検知するとしてもよい。   Further, for example, the disaster detection device may detect the disaster when detecting a vibration of a predetermined threshold value or more.

ここで、例えば、オブジェクトは人物であり、前記特定のイベントは、前記人物が風呂から出たことであり、前記経過時間は前記人物が風呂から出た時刻から経過した時間であり、前記取得ステップでは、前記コンピュータは、前記人物が風呂から出た時刻を、前記風呂の制御システムからネットワークをまたは物理的な接続ケーブルを介して取得することで、前記経過時間を取得するとしてもよい。   Here, for example, the object is a person, the specific event is that the person has gone out of the bath, and the elapsed time is a time that has elapsed since the time at which the person got out of the bath, and the obtaining step Then, the computer may obtain the elapsed time by obtaining the time when the person has taken the bath from the bath control system via a network or a physical connection cable.

また、例えば、前記特定情報は、前記オブジェクトの温度であり、前記オブジェクトの温度は、前記オブジェクトに装着された温度計測装置により測定され、前記取得ステップでは、前記コンピュータは、前記オブジェクトの温度を、前記温度計測装置からネットワークまたは物理的な接続ケーブルを介して取得するとしてもよい。   Further, for example, the specific information is a temperature of the object, and the temperature of the object is measured by a temperature measuring device attached to the object. In the obtaining step, the computer calculates the temperature of the object, It may be acquired from the temperature measurement device via a network or a physical connection cable.

また、本発明の一態様に係る空気調和機の制御方法は、空気調和機の設定温度、風向、風量のうち少なくともいずれか一つを制御する制御方法であって、請求項7に記載の検出方法を実行するコンピュータは、前記検出ステップにおいて、前記空気調和機が空気調和の対象とする空間で取得された前記赤外線画像の中の前記オブジェクトを検出し、前記制御方法は、前記コンピュータにより検出された前記オブジェクトの位置および温度に応じて前記空気調和機を制御する制御ステップを含む。   The control method for an air conditioner according to an aspect of the present invention is a control method for controlling at least one of a set temperature, a wind direction, and an air volume of the air conditioner, and the detection according to claim 7. In the detection step, the computer executing the method detects the object in the infrared image acquired in the space that the air conditioner is subject to air conditioning, and the control method is detected by the computer. And a control step of controlling the air conditioner according to the position and temperature of the object.

また、本発明の一態様に係る空気調和機の検出装置は、赤外線画像を取得する赤外線画像取得部と、前記赤外線画像を取得した空間の温度である環境温度を取得する環境温度取得部と、前記赤外線画像の中の所定のオブジェクトの温度を特定するための特定情報を取得する特定情報取得部と、前記赤外線画像の中の前記オブジェクトを検出する検出処理部と、を備え、前記検出処理部は、前記特定情報と前記環境温度とに基づいて、前記複数の参照モデルの中から一の参照モデルを特定し、特定した前記一の参照モデルを用いて、前記赤外線画像の中の前記オブジェクトを検出する。   Moreover, the detection apparatus of the air conditioner according to one aspect of the present invention includes an infrared image acquisition unit that acquires an infrared image, an environmental temperature acquisition unit that acquires an environmental temperature that is the temperature of the space from which the infrared image is acquired, A specific information acquisition unit that acquires specific information for specifying a temperature of a predetermined object in the infrared image; and a detection processing unit that detects the object in the infrared image, the detection processing unit Identifies one reference model from among the plurality of reference models based on the identification information and the environmental temperature, and uses the identified one reference model to identify the object in the infrared image. To detect.

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。   These general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM. The system, method, integrated circuit, computer You may implement | achieve with arbitrary combinations of a program or a recording medium.

以下、本発明の一態様に係る赤外線検出装置等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。   Hereinafter, an infrared detection device and the like according to one embodiment of the present invention will be specifically described with reference to the drawings. Note that each of the embodiments described below shows a specific example of the present invention. Numerical values, shapes, materials, constituent elements, arrangement positions of constituent elements, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements.

(実施の形態1)
[検出装置の構成]
以下、実施の形態1における検出装置について、図面を参照しながら説明する。
(Embodiment 1)
[Configuration of detection device]
Hereinafter, the detection apparatus according to Embodiment 1 will be described with reference to the drawings.

図3は、実施の形態1における検出装置の構成の一例を示す図である。図4は、実施の形態1における記憶部の構成の一例を示す図である。   FIG. 3 is a diagram illustrating an example of a configuration of the detection device according to the first embodiment. FIG. 4 is a diagram illustrating an example of the configuration of the storage unit in the first embodiment.

検出装置100は、図3に示すように、検出部1と、赤外線センサ2と、温度センサ3と、時刻計測器4と、記憶部5と、出力部6とを備える。   As shown in FIG. 3, the detection device 100 includes a detection unit 1, an infrared sensor 2, a temperature sensor 3, a time measuring device 4, a storage unit 5, and an output unit 6.

赤外線センサ2は、例えば検出装置100に取り付けられたサーモグラフィーであり、対象空間内の温度分布を示す赤外線画像(熱画像)を取得する。赤外線センサ2は、取得した赤外線画像を、検出部1に送信する。   The infrared sensor 2 is, for example, a thermography attached to the detection device 100, and acquires an infrared image (thermal image) indicating a temperature distribution in the target space. The infrared sensor 2 transmits the acquired infrared image to the detection unit 1.

ここで、赤外線センサ2は、例えば二次元的にマトリックス状に配列された赤外線検出素子(画素)で構成され、一度に二次元的な赤外線画像を取得する。なお、赤外線センサ2は、例えばラインセンサすなわち一次元状に配列された赤外線検出素子(画素)で構成され、一次元的に走査することで二次元的な赤外線画像を取得するとしてもよい。つまり、赤外線センサ2は、二次元的な赤外線画像を取得可能であればどのような構成でも構わない。   Here, the infrared sensor 2 includes, for example, infrared detection elements (pixels) arranged two-dimensionally in a matrix, and acquires a two-dimensional infrared image at a time. Note that the infrared sensor 2 may be constituted by, for example, a line sensor, that is, an infrared detection element (pixel) arranged one-dimensionally, and may acquire a two-dimensional infrared image by scanning one-dimensionally. That is, the infrared sensor 2 may have any configuration as long as it can acquire a two-dimensional infrared image.

温度センサ3は、例えばサーミスタや熱電対であり、対象空間中の一点や部材表面の一点の温度を測定することができる。本実施の形態では、温度センサ3は、赤外線センサ2が赤外線画像を取得した際に、当該赤外線画像を取得した空間(対象空間)の温度である環境温度を測定し、検出部1に送信する。   The temperature sensor 3 is a thermistor or a thermocouple, for example, and can measure the temperature at one point in the target space or one point on the member surface. In the present embodiment, when the infrared sensor 2 acquires an infrared image, the temperature sensor 3 measures the environmental temperature that is the temperature of the space (target space) from which the infrared image is acquired, and transmits it to the detection unit 1. .

時刻計測器4は、時刻を計測する。本実施の形態では、時刻計測器4は、赤外線センサ2が赤外線画像を取得した時刻を計測し、検出部1に送信する。   The time measuring device 4 measures time. In the present embodiment, the time measuring device 4 measures the time when the infrared sensor 2 acquires the infrared image, and transmits it to the detection unit 1.

記憶部5は、図4に示すように、時刻温度変換テーブル51と、学習結果関連情報DB52とを記憶している。時刻温度変換テーブル51は、特定情報が時間に関する情報(時間情報)である場合に、時間情報をオブジェクトの温度情報に変換するために用いられるテーブルである。学習結果関連情報DB52は、機械学習による学習結果のデータの集合が保持されたデータベースである。本実施の形態では、学習結果関連情報DB52には、それぞれ環境温度とオブジェクトの温度との組み合わせにおける当該オブジェクトを示す画素で構成される形状を規定する複数の参照モデルが保持されている。複数の参照モデルが規定する形状は、環境温度とオブジェクトの温度との組み合わせで異なる。当該形状は、環境温度とオブジェクトの温度とが近いほど、小さくなる。   As shown in FIG. 4, the storage unit 5 stores a time-temperature conversion table 51 and a learning result related information DB 52. The time-temperature conversion table 51 is a table used for converting time information into temperature information of an object when the specific information is information about time (time information). The learning result related information DB 52 is a database in which a collection of learning result data by machine learning is held. In the present embodiment, the learning result related information DB 52 holds a plurality of reference models that define the shape composed of pixels indicating the object in each combination of the environmental temperature and the temperature of the object. The shapes defined by the plurality of reference models differ depending on the combination of the environmental temperature and the object temperature. The shape becomes smaller as the environmental temperature and the temperature of the object are closer.

なお、学習結果関連情報DB52に保持される複数の参照モデルは、機械学習による学習結果のデータでなくても構わない。例えば、検出装置100を利用する知財部門等が所有する既存テンプレートであってもよいし、非特許文献1に開示される方法で生成したものであってもよい。   Note that the plurality of reference models stored in the learning result related information DB 52 may not be data of learning results by machine learning. For example, an existing template owned by an intellectual property department or the like using the detection apparatus 100 may be used, or a template generated by a method disclosed in Non-Patent Document 1 may be used.

検出部1は、赤外線画像の中のオブジェクトを検出する。本実施の形態では、検出部1は、取得部11と検出処理部12とを備える。取得部11は、赤外線センサ2から赤外線画像を取得し、検出処理部12は、取得した赤外線画像の中から、人などのオブジェクトを検出する。   The detection unit 1 detects an object in the infrared image. In the present embodiment, the detection unit 1 includes an acquisition unit 11 and a detection processing unit 12. The acquisition unit 11 acquires an infrared image from the infrared sensor 2, and the detection processing unit 12 detects an object such as a person from the acquired infrared image.

以下、本実施の形態における検出部1の詳細構成について説明する。   Hereinafter, a detailed configuration of the detection unit 1 in the present embodiment will be described.

[取得部の詳細構成]
図5は、実施の形態1における取得部の詳細構成の一例を示す図である。
[Detailed configuration of acquisition unit]
FIG. 5 is a diagram illustrating an example of a detailed configuration of the acquisition unit according to the first embodiment.

取得部11は、図5に示すように、赤外線画像取得部111と、特定情報取得部112と、環境温度取得部113とを備える。   As illustrated in FIG. 5, the acquisition unit 11 includes an infrared image acquisition unit 111, a specific information acquisition unit 112, and an environmental temperature acquisition unit 113.

赤外線画像取得部111は、赤外線画像を取得する。本実施の形態では、赤外線センサ2から対象空間の赤外線画像を取得する。   The infrared image acquisition unit 111 acquires an infrared image. In the present embodiment, an infrared image of the target space is acquired from the infrared sensor 2.

環境温度取得部113は、赤外線画像を取得した空間の温度である環境温度に関する情報を取得する。本実施の形態では、環境温度取得部113は、温度センサ3が測定した対象空間の環境温度を取得する。なお、環境温度取得部113は、温度センサ3が測定したものに限らず、対象空間の環境温度を温度計などで測定した情報を、ネットワーク等を介して、または検出装置100に入力されることにより取得してもよい。   The environmental temperature acquisition unit 113 acquires information on the environmental temperature that is the temperature of the space from which the infrared image is acquired. In the present embodiment, the environmental temperature acquisition unit 113 acquires the environmental temperature of the target space measured by the temperature sensor 3. The environmental temperature acquisition unit 113 is not limited to the one measured by the temperature sensor 3, and information obtained by measuring the environmental temperature of the target space with a thermometer or the like is input to the detection apparatus 100 via a network or the like. You may acquire by.

特定情報取得部112は、赤外線画像の中の所定のオブジェクトの温度を特定するための特定情報を取得する。本実施の形態では、特定情報は、特定のイベントからの経過時間である。以下では、特定のイベントは災害であり、経過時間は災害が発生した時刻から経過した時間であるとして説明する。   The specific information acquisition unit 112 acquires specific information for specifying the temperature of a predetermined object in the infrared image. In the present embodiment, the specific information is an elapsed time from a specific event. In the following description, it is assumed that the specific event is a disaster and the elapsed time is a time elapsed from the time when the disaster occurred.

特定情報取得部112は、災害が発生した時刻と、時刻計測器4が計測した時刻とから、経過時間を算出して取得する。特定情報取得部112は、例えば災害検知装置が当該災害を検知した時刻を、災害が発生した時刻として取得すればよい。ここで、災害検知装置は、所定の閾値以上の振動を検知したときに、災害を検知する。なお、この災害検知装置は、検出装置100が備えるまたは検出装置100とは異なる外部装置に備えられており、災害検知装置と特定情報取得部112とは物理的な接続ケーブルまたはネットワーク介して接続される。このようにして、特定情報取得部112は、災害検知装置から災害が発生した時刻を取得することができる。   The specific information acquisition unit 112 calculates and acquires the elapsed time from the time when the disaster occurs and the time measured by the time measuring device 4. For example, the specific information acquisition unit 112 may acquire the time when the disaster detection device detects the disaster as the time when the disaster occurred. Here, the disaster detection device detects a disaster when detecting a vibration of a predetermined threshold value or more. The disaster detection device is provided in the detection device 100 or in an external device different from the detection device 100, and the disaster detection device and the specific information acquisition unit 112 are connected via a physical connection cable or a network. The In this way, the specific information acquisition unit 112 can acquire the time when the disaster occurred from the disaster detection device.

[検出処理部の詳細構成]
図6は、実施の形態1における検出処理部の詳細構成の一例を示す図である。図7は、図5に示す特定部の詳細構成の一例を示す図である。
[Detailed configuration of detection processing unit]
FIG. 6 is a diagram illustrating an example of a detailed configuration of the detection processing unit in the first embodiment. FIG. 7 is a diagram illustrating an example of a detailed configuration of the specifying unit illustrated in FIG. 5.

検出処理部12は、図6に示すように、特定部121と、オブジェクト検出部122とを備える。   As illustrated in FIG. 6, the detection processing unit 12 includes a specifying unit 121 and an object detection unit 122.

特定部121は、時刻温度変換部1211と、参照モデル特定部1212とを備え、取得したと特定情報と環境温度に基づいて、複数の参照モデルの中から一の参照モデルを特定する。   The specifying unit 121 includes a time-temperature converting unit 1211 and a reference model specifying unit 1212, and specifies one reference model from among a plurality of reference models based on the acquired specific information and environmental temperature.

時刻温度変換部1211は、特定情報をオブジェクトの温度に変換する。本実施の形態では、時刻温度変換部1211は、特定情報取得部112が取得した特定情報である経過時間を検出対象のオブジェクトの温度に変換する。より詳細には、時刻温度変換部1211は、記憶部5に記憶されている時刻温度変換テーブル51を参照して、特定情報取得部112が取得した特定情報である経過時間を検出対象のオブジェクトの温度に変換する。   The time temperature conversion unit 1211 converts the specific information into the temperature of the object. In the present embodiment, the time temperature conversion unit 1211 converts the elapsed time, which is the specific information acquired by the specific information acquisition unit 112, into the temperature of the object to be detected. More specifically, the time-temperature conversion unit 1211 refers to the time-temperature conversion table 51 stored in the storage unit 5 and determines the elapsed time that is the specific information acquired by the specific information acquisition unit 112 of the detection target object. Convert to temperature.

ここで、時刻温度変換テーブル51の一例について説明する。   Here, an example of the time-temperature conversion table 51 will be described.

図8は、実施の形態1における被災事例における時刻温度変換テーブルの一例を説明するための図である。図8に示す被災事例では、被災した人に家の壁などのなんらかの物体が覆いかぶさっており被災した人が活動できない状態であり、かつ、環境温度Tcが人の体温よりも低い場合を想定している。この場合、図8に示すように、人の体温は、被災時刻からの時間(災害発生時刻からの経過時間)において、環境温度Tcまでは線型的に下がり、その後は緩やかに下がると考えられる。   FIG. 8 is a diagram for explaining an example of the time-temperature conversion table in the disaster case in the first embodiment. In the case of the disaster shown in FIG. 8, it is assumed that the affected person is covered with some object such as a wall of the house and the affected person is unable to act, and the environmental temperature Tc is lower than the human body temperature. ing. In this case, as shown in FIG. 8, it is considered that the human body temperature decreases linearly to the environmental temperature Tc and gradually decreases after the disaster time (elapsed time from the disaster occurrence time).

そのため、時刻温度変換テーブル51には、図8(後述する図9の下軸)に示すような災害発生時刻からの経過時間と体温との関係が記述されている。この時刻温度変換テーブル51を用いることで、時刻温度変換部1211は、特定情報取得部112が取得した特定情報である経過時間を人の温度に変換することができる。なお、被災時刻と災害発生時刻とは同刻であると取り扱っているが、その場合に限らない。また、災害発生時刻からの経過時間と体温との関係は、図8に示す場合に限らない。事前に取得でき、かつ、一定の確度を有する関係であればよい。   Therefore, the time-temperature conversion table 51 describes the relationship between the elapsed time from the disaster occurrence time and the body temperature as shown in FIG. 8 (lower axis of FIG. 9 described later). By using this time-temperature conversion table 51, the time-temperature conversion unit 1211 can convert the elapsed time, which is the specific information acquired by the specific information acquisition unit 112, into a human temperature. Although the disaster time and the disaster occurrence time are handled at the same time, the present invention is not limited to this case. Further, the relationship between the elapsed time from the disaster occurrence time and the body temperature is not limited to the case shown in FIG. Any relationship that can be acquired in advance and has a certain degree of accuracy is acceptable.

参照モデル特定部1212は、環境温度取得部113により取得された環境温度と、時刻温度変換部1211により変換されたオブジェクトの温度とに基づいて、複数の参照モデルの中から一の参照モデルを特定する。本実施の形態では、参照モデル特定部1212は、記憶部5の学習結果関連情報DB52に保持されている複数の参照モデルを参照して、一の参照モデルを特定する。   The reference model specifying unit 1212 specifies one reference model from among a plurality of reference models based on the environmental temperature acquired by the environmental temperature acquisition unit 113 and the temperature of the object converted by the time temperature conversion unit 1211. To do. In the present embodiment, the reference model specifying unit 1212 specifies one reference model with reference to a plurality of reference models held in the learning result related information DB 52 of the storage unit 5.

ここで、学習結果関連情報DB52に保持されている複数の参照モデルの一例について説明する。図9は、実施の形態1における複数の参照モデルの一例を示す図である。図9には、検出対象のオブジェクトが人であるとして、環境温度が15度〜30度のときの赤外線画像において人を示す画素で構成される形状を規定した複数の参照モデルが示されている。人の体内温度は37度前後であるため、当該形状は、環境温度と人の体内温度とが近いほど、小さくなっている。   Here, an example of a plurality of reference models held in the learning result related information DB 52 will be described. FIG. 9 is a diagram illustrating an example of a plurality of reference models in the first embodiment. FIG. 9 shows a plurality of reference models that define a shape composed of pixels representing a person in an infrared image when the environmental temperature is 15 degrees to 30 degrees assuming that the object to be detected is a person. . Since the human body temperature is around 37 degrees, the shape is smaller as the environmental temperature is closer to the human body temperature.

参照モデル特定部1212は、環境温度取得部113が取得した環境温度と、時刻温度変換部1211により変換された人などのオブジェクトの温度とに基づいて、図9に示すような複数の参照モデルの中から一の参照モデルを特定する。   Based on the environmental temperature acquired by the environmental temperature acquisition unit 113 and the temperature of an object such as a person converted by the time temperature conversion unit 1211, the reference model specifying unit 1212 includes a plurality of reference models as illustrated in FIG. Identify one reference model.

オブジェクト検出部122は、特定した一の参照モデルを用いて、赤外線画像の中のオブジェクトを検出する。   The object detection unit 122 detects an object in the infrared image using the identified one reference model.

より具体的には、オブジェクト検出部122は、取得部11が取得した赤外線画像の中に、特定した一の参照モデルが示す形状および温度と類似する領域があった場合、当該領域に検出対象のオブジェクトが存在すると判定する。そして、オブジェクト検出部122は、取得部11が取得した赤外線画像における当該領域の座標位置に関する情報を、当該オブジェクトの位置として取得することにより、検出対象のオブジェクトを検出する。   More specifically, when there is a region similar to the shape and temperature indicated by the identified one reference model in the infrared image acquired by the acquisition unit 11, the object detection unit 122 detects the detection target in the region. It is determined that the object exists. And the object detection part 122 detects the object of a detection target by acquiring the information regarding the coordinate position of the said area | region in the infrared image which the acquisition part 11 acquired as a position of the said object.

本実施の形態では、オブジェクト検出部122は、図9に示すような複数の参照モデルの中から特定された一の参照モデルが示す形状および温度と類似する領域に人が存在すると判定し、当該領域の座標位置を取得することで赤外線画像の中の人を検出する。   In the present embodiment, the object detection unit 122 determines that there is a person in a region similar to the shape and temperature indicated by one reference model identified from a plurality of reference models as shown in FIG. A person in the infrared image is detected by acquiring the coordinate position of the region.

[検出装置の動作]
次に、以上のように構成された検出装置100の動作について説明する。
[Detection device operation]
Next, the operation of the detection apparatus 100 configured as described above will be described.

図10は、実施の形態1における検出装置の動作の概要を示すフローチャートである。図11は、図10のS23の処理の詳細の一例を示すフローチャートである。図12は、図10のS24の処理の詳細の一例を示すフローチャートである。図13は、図10のS25の処理の詳細の一例を示すフローチャートである。   FIG. 10 is a flowchart showing an outline of the operation of the detection apparatus according to the first embodiment. FIG. 11 is a flowchart illustrating an example of details of the process of S23 of FIG. FIG. 12 is a flowchart illustrating an example of details of the processing in S24 of FIG. FIG. 13 is a flowchart showing an example of details of the processing in S25 of FIG.

まず、検出装置100は、赤外線画像を取得する(S21)。具体的には、検出部1は、赤外線センサ2から赤外線画像を取得する。   First, the detection apparatus 100 acquires an infrared image (S21). Specifically, the detection unit 1 acquires an infrared image from the infrared sensor 2.

次に、検出装置100は、環境温度を取得する(S22)。具体的には、検出部1は、温度センサ3が測定した、赤外線画像を取得した空間の温度である環境温度を取得する。   Next, the detection apparatus 100 acquires the environmental temperature (S22). Specifically, the detection unit 1 acquires an environmental temperature that is measured by the temperature sensor 3 and is the temperature of the space from which the infrared image is acquired.

次に、検出装置100は、特定情報を取得する(S23)。具体的には、検出部1は、赤外線画像の中の所定のオブジェクトの温度を特定するための特定情報を取得する。本実施の形態では、特定情報は災害が発生した時刻から経過した時間である経過時間である。そのため、まず、検出部1は、図11に示すように、災害が発生した時刻として、災害検知装置から災害を検知した時刻を取得し(S231)、時刻計測器4から現在時刻を取得する(S232)。次いで、検出部1は、災害が発生した時刻と、時刻計測器4が計測した時刻とから、経過時間を算出する(S233)。   Next, the detection apparatus 100 acquires specific information (S23). Specifically, the detection unit 1 acquires specific information for specifying the temperature of a predetermined object in the infrared image. In the present embodiment, the specific information is an elapsed time that is an elapsed time from the time when the disaster occurred. Therefore, first, as shown in FIG. 11, the detection unit 1 acquires the time when the disaster was detected from the disaster detection device as the time when the disaster occurred (S231), and acquires the current time from the time measuring device 4 (S231). S232). Next, the detection unit 1 calculates the elapsed time from the time when the disaster occurred and the time measured by the time measuring device 4 (S233).

次に、検出装置100は、参照モデルを特定する(S24)。具体的には、検出部1は、取得した環境温度と特定情報とに基づいて、複数の参照モデルの中から一の参照モデルを特定する。本実施の形態では、検出部1は、図12に示すように、まず、特定情報である経過時間を検出対象のオブジェクトの温度に変換する(S241)。次いで、検出部1は、学習結果関連情報DB52を参照し、複数の参照モデルを取得する(S242)。次いで、検出部1は、取得した環境温度と、変換したオブジェクトの温度とから、複数の参照モデルの中から一の参照モデルを特定する(S243)。   Next, the detection apparatus 100 specifies a reference model (S24). Specifically, the detection unit 1 identifies one reference model from among a plurality of reference models based on the acquired environmental temperature and identification information. In the present embodiment, as shown in FIG. 12, the detection unit 1 first converts the elapsed time as the specific information into the temperature of the object to be detected (S241). Next, the detection unit 1 refers to the learning result related information DB 52 and acquires a plurality of reference models (S242). Next, the detection unit 1 identifies one reference model from among the plurality of reference models from the acquired environmental temperature and the converted object temperature (S243).

次に、検出装置100は、赤外線画像中のオブジェクトを検出する(S25)。具体的には、検出部1は、特定した一の参照モデルを用いて、赤外線画像の中のオブジェクトを検出する。本実施の形態では、検出部1は、図11に示すように、まず、取得した赤外線画像の中に、特定した一の参照モデルが示す形状および温度と類似する領域があるかどうかを判定する(S251)。S251において取得した赤外線画像の中に、当該領域がある場合(S251でYes)、検出部1は、当該領域が赤外線画像中の検出対象のオブジェクトであるとして検出する(S252)。一方、S251において取得した赤外線画像の中に、当該領域がない場合(S251でNo)、検出部1は、赤外線画像中に検出対象のオブジェクトはないことを検出する(S253)。   Next, the detection apparatus 100 detects an object in the infrared image (S25). Specifically, the detection unit 1 detects an object in the infrared image using the specified one reference model. In the present embodiment, as shown in FIG. 11, the detection unit 1 first determines whether or not there is a region similar to the shape and temperature indicated by the specified one reference model in the acquired infrared image. (S251). When the region is present in the infrared image acquired in S251 (Yes in S251), the detection unit 1 detects that the region is an object to be detected in the infrared image (S252). On the other hand, when the region does not exist in the infrared image acquired in S251 (No in S251), the detection unit 1 detects that there is no object to be detected in the infrared image (S253).

なお、S21〜S23の処理はこの順に限らない。S24の処理より前であれば、S21〜S23の処理の順番は入れ替えても構わない。   In addition, the process of S21-S23 is not restricted to this order. If it is before the process of S24, the order of the processes of S21 to S23 may be switched.

[実施の形態1の効果等]
以上のように、実施の形態1によれば、環境温度とオブジェクトの温度が変動する場合でも、赤外線画像の中のオブジェクトを安定して検出することができる検出方法等を実現できる。
[Effects of First Embodiment, etc.]
As described above, according to the first embodiment, it is possible to realize a detection method that can stably detect an object in an infrared image even when the environmental temperature and the temperature of the object fluctuate.

例えば、検出対象のオブジェクトが人である場合、環境温度とオブジェクトの温度が変動すると、環境温度との差が少ない人の身体の部分(輪郭)が欠けるなどして、人の輪郭特徴が変動する。そのため、従来のように一つの輪郭特徴を規定する一つの参照モデルを用いて赤外線画像の中の人を検出しても安定的に検出することができない。   For example, when the object to be detected is a person, when the environmental temperature and the temperature of the object fluctuate, the human contour feature fluctuates due to lack of a human body part (contour) with a small difference between the environmental temperature and the like. . Therefore, even if a person in an infrared image is detected using one reference model that defines one contour feature as in the prior art, it cannot be detected stably.

それに対して、本実施の形態の検出方法によれば、環境温度とオブジェクトの温度との組み合わせにおける輪郭特徴を規定する複数の参照モデルを用いるので、環境温度とオブジェクトの温度が変動しても赤外線画像の中のオブジェクトを安定的に検出することができる。   On the other hand, according to the detection method of the present embodiment, since a plurality of reference models that define the contour characteristics in the combination of the environmental temperature and the object temperature are used, the infrared rays can be detected even if the environmental temperature and the object temperature vary Objects in the image can be detected stably.

例えば図14に示す可視カメラで撮影された画像では、領域Xに家の屋根などの遮蔽物がある。遮蔽物の下は直接可視できないため、領域Xに人がいるかわからない。しかしながら、本実施の検出方法を用いることで、図15に示すように領域Xに人(領域Y)がいるのを検出することができる可能性がある。ここで、図14および図15は実施の形態1の効果の一例を説明するための図である。このように、可視カメラだけでなく温度センサなども用いたセンサヒュージョンを利用することで、環境変動に頑強な(ロバスト)な認識処理を実現できる可能性がある。   For example, in the image taken by the visible camera shown in FIG. Since the area under the shield is not directly visible, it is not known whether there is a person in the area X. However, by using the detection method of the present embodiment, there is a possibility that it is possible to detect the presence of a person (region Y) in the region X as shown in FIG. Here, FIG. 14 and FIG. 15 are diagrams for explaining an example of the effect of the first embodiment. In this way, by using sensor fusion using not only a visible camera but also a temperature sensor or the like, there is a possibility that a robust recognition process robust to environmental changes may be realized.

なお、本実施の形態では、記憶部5に記憶される学習結果関連情報DB52は、機械学習による学習結果のデータの集合が保持されたデータベースであるとして説明した。以下、機械学習により、学習結果のデータ(学習生成物)として、複数の参照モデルを得る処理について説明する。なお、以下ではオブジェクトを人として説明する。   In the present embodiment, the learning result related information DB 52 stored in the storage unit 5 is described as a database in which a set of data of learning results by machine learning is held. Hereinafter, a process of obtaining a plurality of reference models as learning result data (learning products) by machine learning will be described. In the following description, the object is described as a person.

図16は、機械学習装置の構成の一例を示す図である。図17は、図16に示す機械学習装置の学習結果のデータの集合の一例を示す図である。   FIG. 16 is a diagram illustrating an example of the configuration of the machine learning device. FIG. 17 is a diagram illustrating an example of a data set of learning results of the machine learning device illustrated in FIG.

図16に示す機械学習装置200は、機械学習部21と、学習データ関連情報DB22と、学習結果関連情報DB23とを備える。   A machine learning device 200 illustrated in FIG. 16 includes a machine learning unit 21, a learning data related information DB 22, and a learning result related information DB 23.

学習データ関連情報DB22は、機械学習部21が学習するためのデータ(学習データ)を保持している。本実施の形態では、学習データ関連情報DB22は、9パターンの輪郭特徴で規定される人を含む多数の赤外線画像を保持している。また、各赤外線画像に、撮影時の環境温度の情報が対応づけられている。   The learning data related information DB 22 holds data (learning data) for the machine learning unit 21 to learn. In the present embodiment, the learning data related information DB 22 holds a large number of infrared images including people defined by nine patterns of contour features. Each infrared image is associated with information on the environmental temperature at the time of shooting.

学習結果関連情報DB23は、機械学習部21が学習処理を行った後の学習結果のデータの集合を保持している。本実施の形態では、学習結果関連情報DB23は、図17に示すように環境温度と赤外線画像中の人の表面温度(オブジェクト温度)との組み合わせにおける当該人を示す画素で構成される形状を規定する9つの参照モデルを保持する。なお、学習結果関連情報DB23は、学習結果関連情報DB52と同一であってもよい。つまり、機械学習部21が学習処理を行った後の学習結果のデータの集合は、学習結果関連情報DB52に直接保持させるとしてもよい。   The learning result related information DB 23 holds a set of learning result data after the machine learning unit 21 performs the learning process. In the present embodiment, the learning result related information DB 23 defines a shape composed of pixels indicating the person in a combination of the environmental temperature and the surface temperature (object temperature) of the person in the infrared image as shown in FIG. Nine reference models are held. The learning result related information DB 23 may be the same as the learning result related information DB 52. That is, a set of learning result data after the machine learning unit 21 performs the learning process may be directly stored in the learning result related information DB 52.

機械学習部21は、学習データ関連情報DB22に保持されている学習データを用いて学習し、学習結果のデータの集合を学習結果関連情報DB23に保持させる。   The machine learning unit 21 learns using the learning data held in the learning data related information DB 22 and holds a set of learning result data in the learning result related information DB 23.

次に、以上のように構成された機械学習装置200の処理について説明する。以下では、オブジェクトが人であるとして説明する。   Next, the process of the machine learning device 200 configured as described above will be described. In the following description, it is assumed that the object is a person.

図18は、図16に示す機械学習部21の処理の一例を示す図である。   FIG. 18 is a diagram illustrating an example of processing of the machine learning unit 21 illustrated in FIG.

まず、機械学習部21は、学習結果関連情報DB23に保持されている学習データを選択する(S31)。   First, the machine learning unit 21 selects learning data held in the learning result related information DB 23 (S31).

次に、機械学習部21は、学習データを構成する赤外線画像それぞれに含まれる人の表面温度を、赤外線画像から取得する(S32)。   Next, the machine learning unit 21 acquires the surface temperature of the person included in each of the infrared images constituting the learning data from the infrared image (S32).

次に、機械学習部21は、学習データを構成する赤外線画像それぞれに対応する環境温度を取得する(S33)。   Next, the machine learning unit 21 acquires an environmental temperature corresponding to each of the infrared images constituting the learning data (S33).

次に、機械学習部21は、選択した学習データを構成する赤外線画像と、取得した人の表面温度と、環境温度とを用いて学習処理を行う(S34)。なお、機械学習による学習処理の詳細は、本実施の形態の趣旨と異なるので説明を省略する。   Next, the machine learning unit 21 performs a learning process using the infrared image constituting the selected learning data, the acquired human surface temperature, and the environmental temperature (S34). Note that the details of the learning process by machine learning are different from the gist of the present embodiment, and thus description thereof is omitted.

次に、機械学習部21は、学習処理を行った結果である学習結果を学習結果関連情報DB23に保持させる(S35)。   Next, the machine learning unit 21 causes the learning result related information DB 23 to hold a learning result that is a result of performing the learning process (S35).

(実施の形態2)
実施の形態1では、環境温度とオブジェクトの温度とが変動する場合の例として災害事例を挙げたが、それに限らない。本実施の形態では、オブジェクトの温度が変動する場合の例として人の風呂上りを挙げて説明する。
(Embodiment 2)
In the first embodiment, a disaster example is given as an example when the environmental temperature and the temperature of the object fluctuate. However, the present invention is not limited thereto. In the present embodiment, a human bathing will be described as an example when the temperature of an object varies.

以下、実施の形態2における検出装置100Aについて、実施の形態1と異なるところを中心に説明する。   Hereinafter, the detection apparatus 100A according to the second embodiment will be described focusing on differences from the first embodiment.

図19は、実施の形態2における検出装置の構成の一例を示す図である。図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。   FIG. 19 is a diagram illustrating an example of the configuration of the detection device according to the second embodiment. Elements similar to those in FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted.

図19に示す検出装置100Aは、実施の形態1の検出装置100と比較して、検出部1Aおよび記憶部5Aの構成が異なる。検出部1Aは、実施の形態1の検出部1と比較して、取得部11Aおよび検出処理部12Aの構成が異なる。   A detection device 100A shown in FIG. 19 differs from the detection device 100 of the first embodiment in the configuration of the detection unit 1A and the storage unit 5A. The detection unit 1A is different from the detection unit 1 of the first embodiment in the configuration of the acquisition unit 11A and the detection processing unit 12A.

[記憶部の構成]
図20は、実施の形態2における記憶部の構成の一例を示す図である。図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Configuration of storage unit]
FIG. 20 is a diagram illustrating an example of a configuration of a storage unit in the second embodiment. Elements similar to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.

記憶部5Aは、図20に示すように、時刻温度変換テーブル51Aと、学習結果関連情報DB52とを記憶している。   As shown in FIG. 20, the storage unit 5A stores a time-temperature conversion table 51A and a learning result related information DB 52.

時刻温度変換テーブル51Aは、特定情報が時間に関する情報(時間情報)である場合に、時間情報をオブジェクトの温度情報に変換するために用いられるテーブルである。本実施の形態では、時刻温度変換テーブル51Aは、風呂上り事例におけるテーブルとなっている。詳細は後述するのでここでの説明は省略する。   The time-temperature conversion table 51A is a table used to convert time information into temperature information of an object when the specific information is information related to time (time information). In the present embodiment, the time-temperature conversion table 51A is a table in the bath-up example. Since details will be described later, description thereof is omitted here.

[取得部の詳細構成]
図21は、実施の形態2における取得部の詳細構成の一例を示す図である。図5と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Detailed configuration of acquisition unit]
FIG. 21 is a diagram illustrating an example of a detailed configuration of the acquisition unit according to the second embodiment. The same elements as those in FIG. 5 are denoted by the same reference numerals, and detailed description thereof is omitted.

取得部11Aは、図21に示すように、赤外線画像取得部111と、特定情報取得部112Aと、環境温度取得部113とを備える。図21に示す取得部11Aは、図5に示す取得部11に対して特定情報取得部112Aの構成が異なる。   As illustrated in FIG. 21, the acquisition unit 11A includes an infrared image acquisition unit 111, a specific information acquisition unit 112A, and an environmental temperature acquisition unit 113. The acquisition unit 11A illustrated in FIG. 21 is different from the acquisition unit 11 illustrated in FIG. 5 in the configuration of the specific information acquisition unit 112A.

特定情報取得部112Aは、赤外線画像の中の所定のオブジェクトの温度を特定するための特定情報を取得する。本実施の形態では、検出対象のオブジェクトは人物であり、特定情報は、特定のイベントからの経過時間である。また、特定のイベントは人物が風呂から出たことであり、経過時間は当該人物が風呂から出た時刻から経過した時間であるとして説明する。   The specific information acquisition unit 112A acquires specific information for specifying the temperature of a predetermined object in the infrared image. In the present embodiment, the object to be detected is a person, and the specific information is an elapsed time from a specific event. The specific event is that the person has taken the bath, and the elapsed time is the time that has elapsed since the person has taken the bath.

特定情報取得部112Aは、当該人物が風呂から出た時刻と、時刻計測器4が計測した時刻とから、経過時間を算出して取得する。特定情報取得部112Aは、風呂の制御システムが検知した当該人物が風呂から出た時刻を取得する。   The specific information acquisition unit 112A calculates and acquires the elapsed time from the time when the person gets out of the bath and the time measured by the time measuring device 4. The specific information acquisition unit 112A acquires the time when the person detected by the bath control system leaves the bath.

ここで、風呂の制御システムは、ネットワークをまたは物理的な接続ケーブルを介して検出装置100Aと接続されている。当該制御システムは、当該人物が風呂から出た時刻を、脱衣所の熱センサや浴室に取り付けられた重量センサなどの別センサにより当該人物が風呂からでた時刻を検知する。なお、当該制御システムが当該人物の風呂から出た時刻を検知する方法はこの場合の例に限らない。当該制御システムが当該人物の風呂から出た時刻を検知し、特定情報取得部112Aに送信できればどのような方法でもよい。このようにして、特定情報取得部112Aは、風呂の制御システムから当該人物が風呂から出た時刻を取得することができる。   Here, the bath control system is connected to the detection apparatus 100A via a network or a physical connection cable. The said control system detects the time when the said person got out of the bath by another sensors, such as the heat sensor of a dressing room, and the weight sensor attached to the bathroom. Note that the method for detecting the time when the control system leaves the person's bath is not limited to this example. Any method may be used as long as the control system can detect the time when the person gets out of the bath and can transmit it to the specific information acquisition unit 112A. In this manner, the specific information acquisition unit 112A can acquire the time when the person has taken the bath from the bath control system.

なお、当該制御システムは、さらに、当該人物の風呂から出た時刻における当該人物の表面温度をセンシングし、特定情報取得部112Aに送信するとしてもよい。   Note that the control system may further sense the surface temperature of the person at the time when he / she gets out of the person's bath and transmit the sensed temperature to the specific information acquisition unit 112A.

[検出処理部の詳細構成]
図19に示す検出処理部12Aは、図6に示す検出処理部12に対して特定部121Aの構成が異なる。以下、特定部121Aについて説明する。
[Detailed configuration of detection processing unit]
19 is different from the detection processing unit 12 shown in FIG. 6 in the configuration of the specifying unit 121A. Hereinafter, the specifying unit 121A will be described.

図22は、実施の形態2における特定部の詳細構成の一例を示す図である。図7と同様の要素には同一の符号を付しており、詳細な説明は省略する。図22に示す特定部121Aは、図7に示す特定部121に対して時刻温度変換部1211Aの構成が異なる。   FIG. 22 is a diagram illustrating an example of a detailed configuration of the specifying unit according to the second embodiment. The same elements as those in FIG. 7 are denoted by the same reference numerals, and detailed description thereof is omitted. 22 differs from the specifying unit 121 shown in FIG. 7 in the configuration of the time-temperature conversion unit 1211A.

時刻温度変換部1211Aは、特定情報をオブジェクトの温度に変換する。本実施の形態では、時刻温度変換部1211Aは、特定情報取得部112Aが取得した特定情報である経過時間を検出対象のオブジェクトの温度に変換する。より詳細には、時刻温度変換部1211Aは、記憶部5Aに記憶されている時刻温度変換テーブル51Aを参照して、特定情報取得部112Aが取得した特定情報である経過時間を検出対象のオブジェクトの温度に変換する。   The time-temperature conversion unit 1211A converts the specific information into the temperature of the object. In the present embodiment, the time temperature conversion unit 1211A converts the elapsed time, which is the specific information acquired by the specific information acquisition unit 112A, into the temperature of the object to be detected. More specifically, the time-temperature conversion unit 1211A refers to the time-temperature conversion table 51A stored in the storage unit 5A, and determines the elapsed time that is the specific information acquired by the specific information acquisition unit 112A of the detection target object. Convert to temperature.

ここで、時刻温度変換テーブル51Aの一例について説明する。   Here, an example of the time-temperature conversion table 51A will be described.

図23は、実施の形態2における風呂上り事例における時刻温度変換テーブルの一例を説明するための図である。図23には、風呂上り事例として人物が41度のお湯を充たす風呂に入ったときの時間と体温(深部体温)との関係の一例が示されている。図24は、実施の形態2における複数の参照モデルの一例を示す図である。図24には、検出対象のオブジェクトは人物である場合に環境温度が15度〜30度のときの赤外線画像において人を示す画素で構成される形状を規定した複数の参照モデルが示されている。当該形状は、環境温度と人の表面温度とが近いほど、小さくなっている。   FIG. 23 is a diagram for explaining an example of a time-temperature conversion table in the bath-up example in the second embodiment. FIG. 23 shows an example of the relationship between time and body temperature (deep body temperature) when a person enters a bath filled with 41-degree hot water as a bath-up example. FIG. 24 is a diagram illustrating an example of a plurality of reference models in the second embodiment. FIG. 24 shows a plurality of reference models that define a shape composed of pixels indicating a person in an infrared image when the environmental temperature is 15 degrees to 30 degrees when the object to be detected is a person. . The shape becomes smaller as the environmental temperature and the human surface temperature are closer.

図23に示すように、人の体温は、風呂に入った時刻からの時間と共に、線型的に上がると考えられる。そこから、人の表面温度は、風呂から出た時刻から、線形的に下がると考えられる。例えば図23に示すように、30分お風呂に入り、体温が39度になった場合、同様に風呂から出た時刻から30分で2度下がると考えられる。そのため、時刻温度変換テーブル51Aには、図24の下軸示すような風呂から出た時刻からの経過時間と人の表面温度との関係が記述されている。この時刻温度変換テーブル51Aを用いることで、時刻温度変換部1211Aは、特定情報取得部112Aが取得した特定情報である経過時間を人の温度(表面温度)に変換することができる。   As shown in FIG. 23, the human body temperature is considered to increase linearly with the time from the time of taking a bath. From there, it is thought that the surface temperature of a person falls linearly from the time of getting out of the bath. For example, as shown in FIG. 23, if a person takes a bath for 30 minutes and the body temperature reaches 39 degrees, it is considered that the temperature drops similarly twice in 30 minutes from the time of getting out of the bath. Therefore, the time-temperature conversion table 51A describes the relationship between the elapsed time from the time of getting out of the bath as shown in the lower axis of FIG. 24 and the surface temperature of the person. By using this time temperature conversion table 51A, the time temperature conversion unit 1211A can convert the elapsed time, which is the specific information acquired by the specific information acquisition unit 112A, into a human temperature (surface temperature).

なお、人物が風呂から出た時刻と体温(深部体温)との関係は、図24の下軸に示す例に限らない。事前に取得でき、かつ、一定の確度を有する関係であればよい。また、人物が風呂から出た時刻の表面温度を、制御システムなどで別途取得することで、図24の下軸の原点の位置を適宜移動させるとしてもよい。   It should be noted that the relationship between the time when the person leaves the bath and the body temperature (deep body temperature) is not limited to the example shown on the lower axis of FIG. Any relationship that can be acquired in advance and has a certain degree of accuracy is acceptable. Further, the position of the origin of the lower axis in FIG. 24 may be appropriately moved by separately acquiring the surface temperature at the time when the person gets out of the bath with a control system or the like.

[検出装置の動作]
次に、以上のように構成された検出装置100Aの動作について説明する。
[Detection device operation]
Next, the operation of the detection apparatus 100A configured as described above will be described.

図25は、実施の形態1における検出装置の動作の概要を示すフローチャートである。図26は、実施の形態2におけるS23の処理の詳細の一例を示すフローチャートである。   FIG. 25 is a flowchart showing an outline of the operation of the detection apparatus according to the first embodiment. FIG. 26 is a flowchart illustrating an example of details of the processing of S23 in the second embodiment.

検出装置100Aは、図10に示す検出装置100の動作に対して、S23Aの処理が異なるので、S23Aの処理について以下説明する。S21、S22、S24およびS25の処理については実施の形態1で説明した通りであるので、ここでの説明は省略する。   Since the detection apparatus 100A differs from the operation of the detection apparatus 100 shown in FIG. 10 in the process of S23A, the process of S23A will be described below. Since the processing of S21, S22, S24, and S25 is as described in the first embodiment, the description thereof is omitted here.

S23Aにおいて、検出装置100Aは、赤外線画像の中の人物の温度を特定するための特定情報を取得する。ここで、特定情報は人物が風呂から出た時刻から経過した時間である経過時間である。より詳細には、図26に示すように、まず、検出装置100Aは、検出対象の人物が風呂から出た時刻を、風呂の制御システムから取得し(S231A)、時刻計測器4から現在時刻を取得する(S232A)。次いで、検出装置100Aは、その人物が風呂から出た時刻と、時刻計測器4が計測した時刻とから、経過時間を算出する(S233A)。   In S <b> 23 </ b> A, the detection apparatus 100 </ b> A acquires specific information for specifying the temperature of a person in the infrared image. Here, the specific information is an elapsed time that is an elapsed time from the time when the person leaves the bath. More specifically, as shown in FIG. 26, first, the detection apparatus 100A acquires the time when the person to be detected has gone out of the bath from the bath control system (S231A), and obtains the current time from the time measuring device 4. Obtain (S232A). Next, the detection device 100A calculates the elapsed time from the time when the person gets out of the bath and the time measured by the time measuring device 4 (S233A).

その後、検出装置100Aは、S24およびS25の処理を行うことで、取得した環境温度と特定情報とに基づいて、複数の参照モデルの中から一の参照モデルを特定し、特定した一の参照モデルを用いて、赤外線画像の中の人物を検出する。   Thereafter, the detection apparatus 100A performs the processes of S24 and S25 to identify one reference model from among the plurality of reference models based on the acquired environmental temperature and the specific information, and to identify the identified one reference model Is used to detect a person in an infrared image.

このようにして、風呂上り直後やその後で人物の表面温度が異なっても、赤外線画像の中の人物を安定して検出することができる。   In this way, a person in an infrared image can be detected stably even if the person's surface temperature differs immediately after bathing or afterwards.

[実施の形態2の効果等]
以上のように、実施の形態2によれば、環境温度とオブジェクトである人物の温度が変動する場合でも、赤外線画像の中の人物を安定して検出することができる検出方法等を実現できる。
[Effects of Second Embodiment, etc.]
As described above, according to the second embodiment, it is possible to realize a detection method and the like that can stably detect a person in an infrared image even when the environmental temperature and the temperature of a person as an object fluctuate.

より詳細には、実施の形態2の検出方法では、取得できる時間情報を人物の表面温度に変換するとともに、環境温度と人物の表面温度との組み合わせにおける輪郭特徴を規定する複数の参照モデルを用いる。それにより、実施の形態2の検出方法では、環境温度と人物の温度が変動し、熱画像中の人物と認識できる領域が変化しても、変動に応じた参照モデルを用いることにより、赤外線画像の中のオブジェクトを安定的に検出することができる。   More specifically, in the detection method according to the second embodiment, the time information that can be acquired is converted into the surface temperature of the person, and a plurality of reference models that define the contour characteristics in the combination of the environmental temperature and the surface temperature of the person are used. . Thereby, in the detection method of the second embodiment, even if the environmental temperature and the temperature of the person fluctuate and the region that can be recognized as the person in the thermal image changes, the infrared image can be obtained by using the reference model corresponding to the fluctuation. The object in the can be detected stably.

(実施の形態3)
実施の形態3では、環境温度とオブジェクトの温度が変動する場合の例として、実施の形態2とは異なる事例を挙げて説明する。
(Embodiment 3)
In the third embodiment, a case different from the second embodiment will be described as an example in the case where the environmental temperature and the temperature of the object fluctuate.

本実施の形態では、オブジェクトの温度が変動する場合の例として、人の運動時を挙げて説明する。   In the present embodiment, a case where a person is exercising will be described as an example of a case where the temperature of an object varies.

以下、実施の形態3における検出装置100Bについて、実施の形態1と異なるところを中心に説明する。   Hereinafter, the detection apparatus 100B according to the third embodiment will be described focusing on differences from the first embodiment.

図27は、実施の形態3における検出装置の構成の一例を示す図である。図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。   FIG. 27 is a diagram illustrating an example of the configuration of the detection device according to the third embodiment. Elements similar to those in FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted.

図27に示す検出装置100Bは、実施の形態1の検出装置100と比較して、検出部1Bおよび記憶部5Bの構成が異なる。検出部1Bは、実施の形態1の検出部1と比較して、取得部11Bおよび検出処理部12Bの構成が異なる。   The detection device 100B shown in FIG. 27 differs from the detection device 100 of the first embodiment in the configuration of the detection unit 1B and the storage unit 5B. The detection unit 1B is different from the detection unit 1 of the first embodiment in the configuration of the acquisition unit 11B and the detection processing unit 12B.

[記憶部の構成]
図28は、実施の形態3における記憶部の構成の一例を示す図である。図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Configuration of storage unit]
FIG. 28 is a diagram illustrating an example of a configuration of a storage unit in the third embodiment. Elements similar to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.

記憶部5Bは、図28に示すように、学習結果関連情報DB52を記憶している。すなわち、図28に示す記憶部5Bは、図4に示す記憶部5に対して、時刻温度変換テーブル51を備えない点で構成が異なる。   The storage unit 5B stores a learning result related information DB 52 as shown in FIG. That is, the storage unit 5B shown in FIG. 28 differs from the storage unit 5 shown in FIG. 4 in that the time-temperature conversion table 51 is not provided.

[取得部の詳細構成]
図29は、実施の形態3における取得部の詳細構成の一例を示す図である。図5と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Detailed configuration of acquisition unit]
FIG. 29 is a diagram illustrating an example of a detailed configuration of an acquisition unit according to Embodiment 3. The same elements as those in FIG. 5 are denoted by the same reference numerals, and detailed description thereof is omitted.

取得部11Bは、図29に示すように、赤外線画像取得部111と、特定情報取得部112Bと、環境温度取得部113とを備える。図29に示す取得部11Bは、図5に示す取得部11に対して特定情報取得部112Bの構成が異なる。   As shown in FIG. 29, the acquisition unit 11B includes an infrared image acquisition unit 111, a specific information acquisition unit 112B, and an environmental temperature acquisition unit 113. The acquisition unit 11B illustrated in FIG. 29 differs from the acquisition unit 11 illustrated in FIG. 5 in the configuration of the specific information acquisition unit 112B.

特定情報取得部112Bは、赤外線画像の中の所定のオブジェクトの温度を特定するための特定情報を取得する。本実施の形態では、特定情報は、検出対象のオブジェクトの温度である。このオブジェクトの温度は、オブジェクトに装着された温度計測装置により測定される。以下では、検出対象のオブジェクトは人物であるとして説明する。   The specific information acquisition unit 112B acquires specific information for specifying the temperature of a predetermined object in the infrared image. In the present embodiment, the specific information is the temperature of the object to be detected. The temperature of this object is measured by a temperature measuring device attached to the object. In the following description, it is assumed that the detection target object is a person.

特定情報取得部112Bは、オブジェクトの温度を温度計測装置からネットワークまたは物理的な接続ケーブルを介して取得する。より具体的には、特定情報取得部112Bは、検出対象の人物の温度を人に装着された温度計測装置と通信することで取得する。なお、温度計測装置は、その人物の脈なども計測できるとしてもよい。それにより、人物は健康状態を視認しながら運動できるので、装着する可能性が高くなる。   The specific information acquisition unit 112B acquires the temperature of the object from the temperature measurement device via a network or a physical connection cable. More specifically, the specific information acquisition unit 112B acquires the temperature of the person to be detected by communicating with the temperature measurement device worn by the person. The temperature measuring device may be able to measure the person's pulse and the like. Thereby, since a person can exercise while visually recognizing his / her health condition, the possibility of wearing becomes high.

[検出処理部の詳細構成]
図30は、実施の形態3における検出処理部の詳細構成の一例を示す図である。図31は、図30に示す特定部の詳細構成の一例を示す図である。図6および図7と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Detailed configuration of detection processing unit]
FIG. 30 is a diagram illustrating an example of a detailed configuration of the detection processing unit in the third embodiment. FIG. 31 is a diagram illustrating an example of a detailed configuration of the specifying unit illustrated in FIG. 30. Elements similar to those in FIGS. 6 and 7 are denoted by the same reference numerals, and detailed description thereof is omitted.

検出処理部12Bは、図6に示す検出処理部12に対して特定部121Bの構成が異なる。   The detection processing unit 12B is different from the detection processing unit 12 illustrated in FIG. 6 in the configuration of the specifying unit 121B.

特定部121Bは、図7に示す特定部121に対して時刻温度変換部1211の構成を供えていない点で構成が異なる。本実施の形態では、特定情報取得部112Bが、温度計測装置から検出対象の人物の温度を取得することができるので、時刻温度変換部1211の構成を備える必要がないからである。   The configuration of the specifying unit 121B is different from that of the specifying unit 121 illustrated in FIG. 7 in that the configuration of the time-temperature conversion unit 1211 is not provided. This is because in the present embodiment, the specific information acquisition unit 112B can acquire the temperature of the person to be detected from the temperature measurement device, and therefore it is not necessary to include the configuration of the time-temperature conversion unit 1211.

ここで、人の運動時における時間と体温との関係について説明する。   Here, the relationship between time and body temperature during human exercise will be described.

図32は、実施の形態3における人の運動時における時間と体温との関係の一例を示す図である。例えば、人は休憩を取りながら運動すると仮定すると、運動中による体温上昇と、休憩中による体温低下とが交互に繰り返される。そして、時間と共に休憩中の体温低下の程度が減り、運動中の体温が全体として上がるといった傾向がある。つまり、時間と体温との関係に線型等の関係がない。そこで、本実施の形態では、人に装着可能な温度計測装置を用いて人の体温を測定する。こうすることで、環境温度と人の温度との組み合わせにおける当該人を示す画素で構成される形状を規定する複数の参照モデルを用いることができる。   FIG. 32 is a diagram illustrating an example of a relationship between time and body temperature during exercise of a person in the third embodiment. For example, assuming that a person exercises while taking a break, a rise in body temperature during exercise and a decrease in body temperature during break are alternately repeated. And the degree of the fall of body temperature during a break decreases with time, and the body temperature during exercise tends to increase as a whole. That is, there is no linear relationship between time and body temperature. Therefore, in this embodiment, a human body temperature is measured using a temperature measurement device that can be worn by the person. By doing so, it is possible to use a plurality of reference models that define a shape composed of pixels indicating the person in a combination of the environmental temperature and the person's temperature.

[検出装置の動作]
次に、以上のように構成された検出装置100Bの動作について説明する。
[Detection device operation]
Next, the operation of the detection apparatus 100B configured as described above will be described.

図33は、実施の形態3における検出装置の動作の概要を示すフローチャートである。   FIG. 33 is a flowchart illustrating an outline of the operation of the detection device according to the third embodiment.

検出装置100Bは、図10に示す検出装置100の動作に対して、S23Bの処理が異なる。S21、S22、S24およびS25の処理については実施の形態1で説明した通りであるので、ここでの説明は省略する。   The detection device 100B differs from the operation of the detection device 100 shown in FIG. 10 in the process of S23B. Since the processing of S21, S22, S24, and S25 is as described in the first embodiment, the description thereof is omitted here.

S23Bにおいて、検出装置100Bは、赤外線画像の中の人物の温度を特定するための特定情報を取得し、S24の処理に進む。ここで、特定情報は人物に装着された温度計測装置で測定された人物の温度である。つまり、S23Bでは、実施の形態1および2で説明したような、時間温度変換処理を必要としないので、そのまま、S24の処理に進むことができる。   In S23B, the detection apparatus 100B acquires specific information for specifying the temperature of the person in the infrared image, and proceeds to the process of S24. Here, the specific information is the temperature of the person measured by the temperature measuring device attached to the person. That is, in S23B, the time-temperature conversion process as described in the first and second embodiments is not required, and therefore the process can proceed to S24 as it is.

次に、S24およびS25において、検出装置100Bは、取得した環境温度と人物の温度とに基づいて、複数の参照モデルの中から一の参照モデルを特定し、特定した一の参照モデルを用いて、赤外線画像の中の人物を検出する。   Next, in S24 and S25, the detection apparatus 100B specifies one reference model from among a plurality of reference models based on the acquired environmental temperature and the temperature of the person, and uses the specified one reference model. Detect a person in an infrared image.

このようにして、運動中で人物の表面温度が異なっても、赤外線画像の中の人物を安定して検出することができる。   In this way, a person in an infrared image can be detected stably even if the surface temperature of the person is different during exercise.

[実施の形態3の効果等]
以上のように、実施の形態3によれば、環境温度とオブジェクトである人物の温度が変動する場合でも、赤外線画像の中の人物を安定して検出することができる検出方法等を実現できる。
[Effects of Embodiment 3, etc.]
As described above, according to the third embodiment, it is possible to realize a detection method or the like that can stably detect a person in an infrared image even when the environmental temperature and the temperature of a person as an object fluctuate.

より詳細には、実施の形態3の検出方法では、人物に装着された温度計測装置から測定された人物の温度そのものを取得し、環境温度と人物の温度との組み合わせにおける輪郭特徴を規定する複数の参照モデルを用いる。それにより、環境温度と人物の温度が変動し、熱画像中の人物と認識できる領域が変化しても、変動に応じた参照モデルを用いることにより、赤外線画像の中のオブジェクトを安定的に検出することができる。   More specifically, in the detection method according to the third embodiment, the temperature of the person measured from the temperature measurement device attached to the person is acquired, and a plurality of contour characteristics are defined for the combination of the environmental temperature and the temperature of the person. The reference model is used. As a result, even if the environmental temperature and the temperature of the person fluctuate and the area that can be recognized as a person in the thermal image changes, the object in the infrared image can be detected stably by using the reference model according to the fluctuation. can do.

なお、本実施の形態では、検出対象のオブジェクトとして人物として説明したが、それに限らない。検出対象のオブジェクトとして例えば立ったり座ったり手を上げたりするなどの人物の姿勢であってもよい。この場合、人物の姿勢ごとに、環境温度と人物の温度との組み合わせにおける輪郭特徴を規定する複数の参照モデルがあればよい。   In the present embodiment, the detection target object is described as a person, but the present invention is not limited to this. The object to be detected may be a posture of a person such as standing, sitting or raising a hand. In this case, it is only necessary to have a plurality of reference models that define the contour feature in the combination of the environmental temperature and the temperature of the person for each posture of the person.

(実施の形態4)
本実施の形態では、実施の形態1〜3における検出装置を搭載する空気調和機について説明する。
(Embodiment 4)
This Embodiment demonstrates the air conditioner which mounts the detection apparatus in Embodiment 1-3.

[空気調和機の構成]
図34は、実施の形態4における空気調和機の構成の一例を示す図である。図35は、図34の空気調和機が設置された様子の一例を示す図である。図7と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Configuration of air conditioner]
FIG. 34 is a diagram illustrating an example of a configuration of an air conditioner according to Embodiment 4. FIG. 35 is a diagram illustrating an example of a state in which the air conditioner of FIG. 34 is installed. The same elements as those in FIG. 7 are denoted by the same reference numerals, and detailed description thereof is omitted.

空気調和機300は、図34に示すように、例えば実施の形態1における検出部1と、赤外線センサ2と、温度センサ3と、時刻計測器4と、制御部7とを少なくとも備える。また、空気調和機300は、ルーバ、コンプレッサ、ファンなどを備え、これらを図35に示す対象空間70内で検出したオブジェクトの位置および温度に応じて設定温度、風向、風量のうち少なくともいずれか一つを制御することで対象空間70の空調制御を行う。   As shown in FIG. 34, the air conditioner 300 includes at least the detection unit 1, the infrared sensor 2, the temperature sensor 3, the time measuring device 4, and the control unit 7 in the first embodiment, for example. The air conditioner 300 includes a louver, a compressor, a fan, and the like, and at least one of a set temperature, a wind direction, and an air volume according to the position and temperature of the object detected in the target space 70 shown in FIG. The air conditioning control of the target space 70 is performed by controlling one.

ここで、空気調和機300は、例えばエアコンであり、例えば図35に示すように対象空間70の床と略垂直な設置面に床から所定高さで設置される。そして、空気調和機300は、例えば空気調和機300の前面に取り付けられた検出部1により検出された人71の位置および温度に応じて、ルーバ、コンプレッサ、ファンを制御することで設定温度、風向、風量のうち少なくともいずれか一つを制御して対象空間70の空調制御を行う。   Here, the air conditioner 300 is an air conditioner, for example, and is installed at a predetermined height from the floor on an installation surface substantially perpendicular to the floor of the target space 70 as shown in FIG. 35, for example. The air conditioner 300 controls the louver, the compressor, and the fan according to the position and temperature of the person 71 detected by the detection unit 1 attached to the front surface of the air conditioner 300, for example, to set temperature and wind direction. Then, air conditioning control of the target space 70 is performed by controlling at least one of the air volumes.

本実施の形態では、検出部1は、空気調和機300が空気調和の対象とする空間である対象空間70で取得された赤外線画像の中の人71を検出する。   In this Embodiment, the detection part 1 detects the person 71 in the infrared image acquired in the object space 70 which is the space which the air conditioner 300 makes air conditioning object.

制御部7は、検出部1の検出結果すなわち対象空間70で取得された赤外線画像の中の人71の位置および温度に応じて、ルーバ、コンプレッサ、ファンなどを制御することで、人71にとって快適な環境温度となるように対象空間70の空調制御を行う。制御部7は、例えば、対象空間70で取得された赤外線画像の中の人71の表面温度が高い(つまり暑いと感じていると判断できる)場合には、コンプレッサとファンを動作させて風温、風速を制御し、冷風を発生させるように制御する。なお、制御部7は、人71の位置の方向にルーバを向けるように制御してもよい。これにより、人71の表面温度を下げることができるので、人71は暑いと感じなくなり、快適に過ごすことができるようになる。また、制御部7は、例えば、対象空間70で取得された赤外線画像の中の人71の表面温度が低い(つまり寒いと感じていると判断できる)場合には、コンプレッサとファンを動作させ風温、風速を制御し、温風を発生させるように制御する。なお、制御部7は、人71の位置の方向にルーバを向けるように制御してもよい。これにより、人71の表面温度を上げることができるので、人71は寒いと感じなくなり、快適に過ごすことができるようになる。   The control unit 7 is comfortable for the person 71 by controlling the louver, the compressor, the fan, and the like according to the detection result of the detection unit 1, that is, the position and temperature of the person 71 in the infrared image acquired in the target space 70. The air conditioning control of the target space 70 is performed so that the ambient temperature becomes a proper temperature. For example, when the surface temperature of the person 71 in the infrared image acquired in the target space 70 is high (that is, it can be determined that the person 71 feels hot), the control unit 7 operates the compressor and the fan to Control the wind speed and generate cold air. The control unit 7 may perform control so that the louver is directed toward the position of the person 71. Thereby, since the surface temperature of the person 71 can be lowered, the person 71 does not feel hot and can spend comfortably. For example, when the surface temperature of the person 71 in the infrared image acquired in the target space 70 is low (that is, it can be determined that the person 71 feels cold), the control unit 7 operates the compressor and the fan to Controls temperature and wind speed to generate hot air. The control unit 7 may perform control so that the louver is directed toward the position of the person 71. Thereby, since the surface temperature of the person 71 can be raised, the person 71 does not feel cold and can spend comfortably.

[空気調和機の動作]
次に、以上のように構成された空気調和機300の動作について説明する。
[Air conditioner operation]
Next, the operation of the air conditioner 300 configured as described above will be described.

図36は、実施の形態4における空気調和機の動作の概要を示すフローチャートである。   FIG. 36 is a flowchart showing an outline of the operation of the air conditioner according to the fourth embodiment.

図36に示すように、まず、空気調和機300は、空気調和の対象の空間である対象空間70の赤外線画像を取得し、赤外線画像中のオブジェクトを検出する(S101)。具体的には、空気調和機300に搭載された検出部1が赤外線画像中の人71を検出するが、詳細は、上述した通りであるのでここでの説明を省略する。   As shown in FIG. 36, first, the air conditioner 300 acquires an infrared image of the target space 70, which is a target space for air conditioning, and detects an object in the infrared image (S101). Specifically, the detection unit 1 mounted on the air conditioner 300 detects the person 71 in the infrared image, but since details are as described above, description thereof is omitted here.

次に、空気調和機300は、検出されたオブジェクトの位置と温度とに応じて、設定温度、風向、風量のうち少なくともいずれか一つを制御することで対象空間70の空調制御を行う(S102)。   Next, the air conditioner 300 performs air conditioning control of the target space 70 by controlling at least one of the set temperature, the wind direction, and the air volume in accordance with the detected position and temperature of the object (S102). ).

[実施の形態4の効果等]
以上のように、実施の形態4によれば、環境温度とオブジェクトの温度が変動する場合でも、赤外線画像の中の人を安定して検出することができる検出装置等を用いた空気調和機の制御方法を実現できる。これにより、人が快適に感じるように当該人が存在する空間の空気調和を行うことができる。
[Effects of Embodiment 4 and the like]
As described above, according to the fourth embodiment, an air conditioner using a detection device that can stably detect a person in an infrared image even when the environmental temperature and the temperature of an object fluctuate. A control method can be realized. Thereby, the air conditioning of the space where the said person exists can be performed so that a person may feel comfortable.

なお、実施の形態4では、検出部1と、赤外線センサ2と、温度センサ3と、時刻計測器4と、制御部7を備える空気調和機について説明した。しかし、検出部1と時刻計測器4と、制御部7等、空気調和機の構成要素の一部をソフトウェアとして別個の構成とすることも可能である。この場合、当該ソフトウェアを処理する主体は、空気調和機の演算部であってもよいし、PC(パーソナルコンピュータ)やスマートホン等に含まれる演算部であってもよいし、当該空気調和機とネットワークを介して接続されるクラウドサーバ等であってもよい。また、検出部1、時刻計測器4および制御部7などの一部の構成を、空気調和機とは別個の構成としてもよい。すなわち少なくとも上記の実施の形態に記載された検出部1を備えたセンサシステムとしてもよい。   In addition, Embodiment 4 demonstrated the air conditioner provided with the detection part 1, the infrared sensor 2, the temperature sensor 3, the time measuring device 4, and the control part 7. FIG. However, some components of the air conditioner such as the detection unit 1, the time measuring device 4, and the control unit 7 may be configured separately as software. In this case, the main body that processes the software may be an arithmetic unit of an air conditioner, an arithmetic unit included in a PC (personal computer), a smart phone, or the like. It may be a cloud server connected via a network. Moreover, it is good also considering some structures, such as the detection part 1, the time measuring device 4, and the control part 7, as a structure different from an air conditioner. That is, it is good also as a sensor system provided with the detection part 1 described in said embodiment at least.

以上、本発明によれば、環境温度とオブジェクトの温度が変動する場合でも、赤外線画像の中のオブジェクトを安定して検出することができる検出方法、検出装置およびそれを用いた制御方法を実現できる。   As described above, according to the present invention, it is possible to realize a detection method, a detection apparatus, and a control method using the same that can stably detect an object in an infrared image even when the environmental temperature and the temperature of the object fluctuate. .

このように、赤外線画像を機械学習させた生成物(複数の参照モデル)を、災害事例等における環境毎(環境温度とオブジェクト温度)に適したものに切り替えた上で認識処理させることにより、誤認識を抑制しつつ正認識を向上させることができる。それにより、環境温度やオブジェト温度の変化が大きい環境でも赤外線画像の中のオブジェクトを安定して検出することができる。   In this way, the product (a plurality of reference models) obtained by machine learning of infrared images is recognized and processed after switching to one suitable for each environment (environment temperature and object temperature) in disaster cases. Positive recognition can be improved while suppressing recognition. Thereby, the object in the infrared image can be stably detected even in an environment where the change in the environmental temperature or the object temperature is large.

つまり、これらの検出方法、検出装置およびそれを用いた制御方法を用いることにより、環境変動に頑強(ロバスト)な認識処理を実現することができる。   That is, by using these detection methods, detection devices, and control methods using the detection methods, recognition processing that is robust against environmental changes can be realized.

以上、本発明の一つまたは複数の態様に係る検出方法、検出装置およびそれを用いた制御方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本発明に含まれる。   As described above, the detection method, the detection apparatus, and the control method using the detection method according to one or more aspects of the present invention have been described based on the embodiment. However, the present invention is limited to this embodiment. is not. Unless it deviates from the gist of the present invention, one or more of the present invention may be applied to various modifications that can be conceived by those skilled in the art, or forms constructed by combining components in different embodiments. It may be included within the scope of the embodiments. For example, the present invention includes the following cases.

(1)上記の実施の形態1〜実施の形態3では、検出装置は、検出部と、赤外線センサと、温度センサと、時刻計測器と、記憶部と、出力部とを備えるとして説明したが、それに限られない。本発明の検出装置は、例えば検出部(検出部1、1Aまたは1B)を最小構成として備えていればよい。   (1) In the first to third embodiments described above, the detection device has been described as including a detection unit, an infrared sensor, a temperature sensor, a time measuring device, a storage unit, and an output unit. Not limited to that. The detection apparatus of the present invention only needs to include, for example, a detection unit (detection unit 1, 1A, or 1B) as a minimum configuration.

(2)上記の実施の形態1〜実施の形態3では、検出装置は、記憶部を備えるとしたが、それに限らない。記憶部が備える時刻温度変換テーブルや学習結果関連情報DBは、検出装置とネットワークを介して接続された記憶装置に記憶されているとしてもよい。また、時刻温度変換テーブルや学習結果関連情報DBは、検出装置とネットワークを介して接続されたサービス事業者等のクラウドサービスにより提供されるとしてもよい。   (2) In the first to third embodiments described above, the detection device includes the storage unit, but the present invention is not limited thereto. The time-temperature conversion table and the learning result related information DB included in the storage unit may be stored in a storage device connected to the detection device via a network. Further, the time-temperature conversion table and the learning result related information DB may be provided by a cloud service such as a service provider connected to the detection device via a network.

(3)上記の実施の形態1〜実施の形態3では、検出対象のオブジェクトの一例として人を例に挙げて説明したが、それに限らない。犬、猫等の動物でもよく恒温動物であればよい。   (3) In the above-described first to third embodiments, a person has been described as an example of an object to be detected. However, the present invention is not limited to this. Animals such as dogs and cats may be used as long as they are constant temperature animals.

(4)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。   (4) Specifically, each of the above devices is a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like. A computer program is stored in the RAM or hard disk unit. Each device achieves its functions by the microprocessor operating according to the computer program. Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.

(5)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。   (5) A part or all of the constituent elements constituting each of the above-described devices may be configured by one system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.

(6)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。   (6) A part or all of the components constituting each of the above devices may be configured as an IC card that can be attached to and detached from each device or a single module. The IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like. The IC card or the module may include the super multifunctional LSI described above. The IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.

(7)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。   (7) The present disclosure may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.

(8)また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。   (8) Further, the present disclosure provides a computer-readable recording medium such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD ( It may be recorded on a Blu-ray (registered trademark) Disc), a semiconductor memory, or the like. The digital signal may be recorded on these recording media.

(9)また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。   (9) Further, the present disclosure may transmit the computer program or the digital signal via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.

(10)また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。   (10) The present disclosure may be a computer system including a microprocessor and a memory, the memory storing the computer program, and the microprocessor operating according to the computer program. .

(11)また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。   (11) In addition, by recording the program or the digital signal on the recording medium and transferring it, or transferring the program or the digital signal via the network or the like, another independent computer It may be implemented by the system.

(12)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。   (12) The above embodiment and the above modifications may be combined.

本発明は、検出方法、検出装置およびそれを用いた制御方法に利用でき、特に、車両の空調機器やオフィスに設置される個別の空調機器に設置され対象空間の空調制御を行う空気調和機、駐車場などに用いられる監視装置に利用可能である。   The present invention can be used for a detection method, a detection device, and a control method using the same, and in particular, an air conditioner that is installed in a vehicle air conditioner or an individual air conditioner installed in an office and performs air conditioning control of a target space, It can be used for a monitoring device used in a parking lot or the like.

1、1A、1B 検出部
2 赤外線センサ
3 温度センサ
4 時刻計測器
5、5A、5B 記憶部
6 出力部
7 制御部
11、11A、11B 取得部
12、12A、12B 検出処理部
21 機械学習部
22 学習データ関連情報DB
23、52 学習結果関連情報DB
51、51A 時刻温度変換テーブル
70 対象空間
71 人
100、100A、100B 検出装置
111 赤外線画像取得部
112、112A、112B 特定情報取得部
113 環境温度取得部
121、121A、121B 特定部
122 オブジェクト検出部
200 機械学習装置
300 空気調和機
1211、1211A 時刻温度変換部
1212 参照モデル特定部
DESCRIPTION OF SYMBOLS 1, 1A, 1B detection part 2 Infrared sensor 3 Temperature sensor 4 Time measuring device 5, 5A, 5B Storage part 6 Output part 7 Control part 11, 11A, 11B Acquisition part 12, 12A, 12B Detection processing part 21 Machine learning part 22 Learning data related information DB
23, 52 Learning result related information DB
51, 51A Time temperature conversion table 70 Target space 71 Person 100, 100A, 100B Detection device 111 Infrared image acquisition unit 112, 112A, 112B Specific information acquisition unit 113 Environmental temperature acquisition unit 121, 121A, 121B Identification unit 122 Object detection unit 200 Machine learning device 300 Air conditioner 1211, 1211A Time temperature conversion unit 1212 Reference model specifying unit

Claims (10)

赤外線画像の中の所定のオブジェクトを、コンピュータが検出する検出方法であって、
(i)前記赤外線画像を取得した空間の温度である環境温度に関する情報と、(ii)前記オブジェクトの温度を特定するための特定情報と、を取得する取得ステップと、
前記特定情報と前記環境温度とに基づいて、複数の参照モデルの中から一の参照モデルを特定する特定ステップと、
特定した前記一の参照モデルを用いて、前記赤外線画像の中の前記オブジェクトを検出する検出ステップと、を含む、
検出方法。
A detection method in which a computer detects a predetermined object in an infrared image,
(I) an acquisition step of acquiring information related to an environmental temperature that is a temperature of the space from which the infrared image is acquired; and (ii) specifying information for specifying the temperature of the object;
A specifying step of specifying one reference model from a plurality of reference models based on the specifying information and the environmental temperature;
Detecting the object in the infrared image using the identified one reference model,
Detection method.
前記複数の参照モデルはそれぞれ、環境温度とオブジェクトの温度との組み合わせにおける当該オブジェクトを示す画素で構成される形状を規定したものであり、
前記形状は、環境温度とオブジェクトの温度との組み合わせで異なり、
前記形状は、環境温度とオブジェクトの温度とが近いほど、小さくなる、
請求項1に記載の検出方法。
Each of the plurality of reference models defines a shape constituted by pixels indicating the object in a combination of the environmental temperature and the temperature of the object,
The shape differs depending on the combination of the environmental temperature and the temperature of the object,
The shape becomes smaller as the ambient temperature and the temperature of the object are closer.
The detection method according to claim 1.
前記検出ステップでは、
前記赤外線画像の中に、前記一の参照モデルが示す形状および温度と類似する領域があった場合、前記領域に前記オブジェクトが存在すると判定し、
前記赤外線画像における前記領域の座標位置に関する情報を、前記オブジェクトの位置として取得することにより、前記オブジェクトを検出する、
請求項2に記載の検出方法。
In the detection step,
When there is a region similar to the shape and temperature indicated by the one reference model in the infrared image, it is determined that the object exists in the region,
Detecting the object by obtaining information on the coordinate position of the region in the infrared image as the position of the object;
The detection method according to claim 2.
前記特定情報は、特定のイベントからの経過時間であり、
前記特定ステップでは、前記経過時間を前記オブジェクトの温度に変換し、
前記環境温度と、変換した前記オブジェクトの温度とに基づいて、前記一の参照モデルを特定する、
請求項1〜3のいずれか1項に記載の検出方法。
The specific information is an elapsed time from a specific event,
In the specifying step, the elapsed time is converted into the temperature of the object,
Identifying the one reference model based on the environmental temperature and the converted temperature of the object;
The detection method of any one of Claims 1-3.
前記特定のイベントは災害であり、
前記経過時間は前記災害が発生した時刻から経過した時間であり、
前記災害が発生した時刻は、前記コンピュータが備えるまたは外部装置に備えられている災害検知装置が前記災害を検知した時刻であり、
前記取得ステップでは、
前記コンピュータは、前記災害を検知した時刻を前記災害検知装置からネットワークまたは物理的な接続ケーブルを介して取得することで、前記経過時間を取得する、
請求項4に記載の検出方法。
The specific event is a disaster,
The elapsed time is the time elapsed from the time when the disaster occurred,
The time when the disaster occurred is the time when the disaster detection device provided in the computer or in an external device detected the disaster,
In the acquisition step,
The computer acquires the elapsed time by acquiring the time when the disaster was detected from the disaster detection device via a network or a physical connection cable.
The detection method according to claim 4.
前記災害検知装置は、所定の閾値以上の振動を検知したときに、前記災害を検知する、
請求項5に記載の検出方法。
The disaster detection device detects the disaster when detecting a vibration of a predetermined threshold value or more.
The detection method according to claim 5.
前記オブジェクトは人物であり、
前記特定のイベントは、前記人物が風呂から出たことであり、
前記経過時間は前記人物が風呂から出た時刻から経過した時間であり、
前記取得ステップでは、
前記コンピュータは、前記人物が風呂から出た時刻を、前記風呂の制御システムからネットワークをまたは物理的な接続ケーブルを介して取得することで、前記経過時間を取得する、
請求項4に記載の検出方法。
The object is a person,
The specific event is that the person has taken a bath,
The elapsed time is the time elapsed from the time when the person got out of the bath,
In the acquisition step,
The computer obtains the elapsed time by obtaining the time when the person has taken the bath from the bath control system via a network or a physical connection cable.
The detection method according to claim 4.
前記特定情報は、前記オブジェクトの温度であり、
前記オブジェクトの温度は、前記オブジェクトに装着された温度計測装置により測定され、
前記取得ステップでは、前記コンピュータは、
前記オブジェクトの温度を、前記温度計測装置からネットワークまたは物理的な接続ケーブルを介して取得する、
請求項1に記載の検出方法。
The specific information is the temperature of the object,
The temperature of the object is measured by a temperature measuring device attached to the object,
In the obtaining step, the computer
Obtaining the temperature of the object from the temperature measuring device via a network or a physical connection cable;
The detection method according to claim 1.
空気調和機の設定温度、風向、風量のうち少なくともいずれか一つを制御する制御方法であって、
請求項7に記載の検出方法を実行するコンピュータは、前記検出ステップにおいて、前記空気調和機が空気調和の対象とする空間で取得された前記赤外線画像の中の前記オブジェクトを検出し、
前記制御方法は、前記コンピュータにより検出された前記オブジェクトの位置および温度に応じて前記空気調和機を制御する制御ステップを含む、
制御方法。
A control method for controlling at least one of set temperature, wind direction, and air volume of an air conditioner,
A computer that executes the detection method according to claim 7, in the detection step, detects the object in the infrared image acquired in a space that the air conditioner is subject to air conditioning,
The control method includes a control step of controlling the air conditioner according to the position and temperature of the object detected by the computer.
Control method.
赤外線画像を取得する赤外線画像取得部と、
前記赤外線画像を取得した空間の温度である環境温度を取得する環境温度取得部と、
前記赤外線画像の中の所定のオブジェクトの温度を特定するための特定情報を取得する特定情報取得部と、
前記赤外線画像の中の前記オブジェクトを検出する検出処理部と、を備え、
前記検出処理部は、
前記特定情報と前記環境温度とに基づいて、前記複数の参照モデルの中から一の参照モデルを特定し、特定した前記一の参照モデルを用いて、前記赤外線画像の中の前記オブジェクトを検出する、
検出装置。
An infrared image acquisition unit for acquiring an infrared image;
An environmental temperature acquisition unit that acquires an environmental temperature that is the temperature of the space from which the infrared image was acquired;
A specific information acquisition unit for acquiring specific information for specifying the temperature of a predetermined object in the infrared image;
A detection processing unit for detecting the object in the infrared image,
The detection processing unit
One reference model is specified from the plurality of reference models based on the specification information and the environmental temperature, and the object in the infrared image is detected using the specified reference model. ,
Detection device.
JP2015090604A 2015-04-27 2015-04-27 Detection method, detection device and control method Pending JP2016208408A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015090604A JP2016208408A (en) 2015-04-27 2015-04-27 Detection method, detection device and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015090604A JP2016208408A (en) 2015-04-27 2015-04-27 Detection method, detection device and control method

Publications (1)

Publication Number Publication Date
JP2016208408A true JP2016208408A (en) 2016-12-08

Family

ID=57490604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015090604A Pending JP2016208408A (en) 2015-04-27 2015-04-27 Detection method, detection device and control method

Country Status (1)

Country Link
JP (1) JP2016208408A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245191A1 (en) * 2018-06-20 2019-12-26 써모아이 주식회사 Apparatus and method for analyzing image
JP2020190390A (en) * 2019-05-23 2020-11-26 三菱電機株式会社 Air conditioner
JP2023024465A (en) * 2018-05-23 2023-02-16 三菱電機株式会社 air conditioning system
WO2023032771A1 (en) * 2021-08-31 2023-03-09 パナソニックIpマネジメント株式会社 Control method, program, and control system
CN116990022A (en) * 2023-09-26 2023-11-03 成都工业职业技术学院 Bearing detection method and system for new energy automobile transmission system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023024465A (en) * 2018-05-23 2023-02-16 三菱電機株式会社 air conditioning system
JP7400928B2 (en) 2018-05-23 2023-12-19 三菱電機株式会社 air conditioning system
WO2019245191A1 (en) * 2018-06-20 2019-12-26 써모아이 주식회사 Apparatus and method for analyzing image
KR20190143153A (en) * 2018-06-20 2019-12-30 써모아이 주식회사 Image analysis apparatus and method
KR102107298B1 (en) * 2018-06-20 2020-05-06 써모아이 주식회사 Image analysis apparatus and method
JP2020190390A (en) * 2019-05-23 2020-11-26 三菱電機株式会社 Air conditioner
WO2023032771A1 (en) * 2021-08-31 2023-03-09 パナソニックIpマネジメント株式会社 Control method, program, and control system
CN116990022A (en) * 2023-09-26 2023-11-03 成都工业职业技术学院 Bearing detection method and system for new energy automobile transmission system

Similar Documents

Publication Publication Date Title
JP6835926B2 (en) Thermal image processing method and thermal image processing equipment
JP2016208408A (en) Detection method, detection device and control method
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
US9672426B2 (en) Intelligent monitoring system
EP3387629B1 (en) Baby tracker
JP2019532532A5 (en)
JP6067124B2 (en) Thermal image sensor and air conditioner
JPWO2016143641A1 (en) Attitude detection device and attitude detection method
CN112101115B (en) Temperature control method and device based on thermal imaging, electronic equipment and medium
JP4830765B2 (en) Activity measurement system
JP6708980B2 (en) Image processing system, image processing device, image processing method, and image processing program
JP6351860B2 (en) Action identification device, air conditioner and robot control device
TW201441985A (en) Thermal sensor module with lens array
CN112862145A (en) Occupant thermal comfort inference using body shape information
JP2018032243A (en) Information processor and program
KR20210155655A (en) Method and apparatus for identifying object representing abnormal temperatures
KR102150623B1 (en) Method and system for analyzing baby behavior
JP7389369B2 (en) Mobile control system
Adolf et al. Deep neural network based body posture recognitions and fall detection from low resolution infrared array sensor
KR101978987B1 (en) Contactless temperature measurement device and operation method for measuring temperature using thermal imaging sensors
JP2016099165A (en) Calculation device, measurement system, body weight calculation method and program
CN113627448A (en) Method for constructing human body thermal comfort prediction model, prediction method and system
JPWO2017199663A1 (en) Biological state prediction device, biological state prediction method, and biological state prediction program
JPWO2020008726A1 (en) Target object detection program and target object detection device
US20220020287A1 (en) Information processing system, information processing apparatus, and non-transitory storage medium