JP2022118511A - Surface temperature measuring system and surface temperature measuring method - Google Patents

Surface temperature measuring system and surface temperature measuring method Download PDF

Info

Publication number
JP2022118511A
JP2022118511A JP2021015083A JP2021015083A JP2022118511A JP 2022118511 A JP2022118511 A JP 2022118511A JP 2021015083 A JP2021015083 A JP 2021015083A JP 2021015083 A JP2021015083 A JP 2021015083A JP 2022118511 A JP2022118511 A JP 2022118511A
Authority
JP
Japan
Prior art keywords
thermal sensor
surface temperature
measured
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021015083A
Other languages
Japanese (ja)
Other versions
JP7371645B2 (en
Inventor
宏之 三野
Hiroyuki Mino
昂志 太田
Takashi Ota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2021015083A priority Critical patent/JP7371645B2/en
Priority to PCT/JP2021/047136 priority patent/WO2022168470A1/en
Publication of JP2022118511A publication Critical patent/JP2022118511A/en
Application granted granted Critical
Publication of JP7371645B2 publication Critical patent/JP7371645B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

To provide a technology capable of accurately measuring a surface temperature of an object using a thermopile type thermal sensor.SOLUTION: A surface temperature measuring system comprises a thermopile type thermal sensor that measures a surface temperature of an object to be measured, and a processing unit that corrects the measured value of the thermal sensor based on a distance between the thermal sensor and the object to be measured in an optical axis direction of the thermal sensor, and a displacement amount of the object to be measured with respect to the optical axis of the thermal sensor.SELECTED DRAWING: Figure 1

Description

本発明は、非接触により表面温度を測定するための技術に関する。 The present invention relates to techniques for non-contact surface temperature measurement.

COVID-19の影響により、非接触による体温測定の需要が増加している。従来、空港等ではボロメータ方式によるサーモグラフィが利用されていたが、このシステムは非常に高価であるため、商業施設やオフィス等で導入することは難しい。そこで、商業施設やオフィス等の用途では、サーモパイル方式のサーマルセンサを用いた表面温度測定システムが広く利用されている(特許文献1参照)。 Due to the impact of COVID-19, the demand for contactless body temperature measurement is increasing. Conventionally, bolometer-type thermography has been used in airports and the like, but this system is very expensive and difficult to introduce in commercial facilities, offices, and the like. Therefore, in applications such as commercial facilities and offices, a surface temperature measurement system using a thermopile type thermal sensor is widely used (see Patent Document 1).

特開2013-200137号公報JP 2013-200137 A

サーモパイル方式のサーマルセンサは、画素の大きさの影響やレンズの影響により、センサと測定対象物(顔等)の相対位置に依存して出力される温度が変わる、という課題がある。このような課題を解決する方策として、特許文献1では、TOFセンサにより測定対象物までの距離を測定し、距離に基づいてサーマルセンサの出力温度を補正するというアイデアが提案されている。しかし特許文献1の方策にも次に述べるような課題が残る。 A thermopile-type thermal sensor has a problem that the output temperature changes depending on the relative position between the sensor and the measurement object (face, etc.) due to the influence of the size of the pixels and the influence of the lens. As a measure to solve such a problem, Patent Document 1 proposes an idea of measuring the distance to an object to be measured by a TOF sensor and correcting the output temperature of the thermal sensor based on the distance. However, the measures of Patent Document 1 also have the following problems.

本発明者らが実験を実施したところ、サーマルセンサの出力温度は、センサと測定対象物の間の光軸方向の距離だけでなく、光軸に対する測定対象物の位置ずれ量にも依存して変化することが判ってきた。すなわち、測定対象物が光軸上に存在する場合は正確な測定値が得られるが、測定対象物が光軸から離れると測定値が変動するのである。特許文献1の方策では、光軸に対する測定対象物の位置ずれは考慮されていないため、補正精度に限界があり、正確な表面温度を得ることができないケースがある。 According to experiments conducted by the present inventors, the output temperature of the thermal sensor depends not only on the distance between the sensor and the object to be measured in the direction of the optical axis, but also on the amount of displacement of the object to be measured with respect to the optical axis. It has been found to change. That is, an accurate measurement value can be obtained when the measurement object exists on the optical axis, but the measurement value fluctuates when the measurement object separates from the optical axis. Since the method of Patent Document 1 does not consider the positional deviation of the object to be measured with respect to the optical axis, there is a limit to the correction accuracy, and there are cases where an accurate surface temperature cannot be obtained.

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、サーモパイル方式のサーマルセンサを用いて物体の表面温度をより正確に測定可能な技術を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of more accurately measuring the surface temperature of an object using a thermopile type thermal sensor.

本開示は、測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサと、前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正する処理ユニットと、を備えることを特徴とする表面温度測定システムを含む。このような構成を採用することによって、サーモパイル方式のセンサを利用しつつも、測定対象物の表面温度を精度良く測定可能なシステムを実現することができる。 The present disclosure includes a thermopile-type thermal sensor that measures the surface temperature of an object to be measured, a distance between the thermal sensor and the object to be measured in the optical axis direction of the thermal sensor, and and a processing unit that corrects the measurement value of the thermal sensor based on the amount of positional deviation of the object to be measured. By adopting such a configuration, it is possible to realize a system capable of accurately measuring the surface temperature of an object to be measured while using a thermopile type sensor.

前記サーマルセンサと共通の視野を有するカメラをさらに備え、前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、前記カメラで撮影された画像を解
析することによって前記測定対象物の距離を求めてもよい。前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出サイズに基づいて前記測定対象物の距離を求めてもよい。
A camera having a common field of view with the thermal sensor may be further provided, and the processing unit may determine the displacement amount of the measurement object with respect to the optical axis by analyzing an image captured by the camera. The processing unit may detect the measurement object from the image by object detection processing, and obtain a positional deviation amount of the measurement object with respect to the optical axis based on the detected position on the image. The processing unit may determine the distance of the measurement object by analyzing images captured by the camera. The processing unit may detect the measurement object from the image by object detection processing, and obtain the distance of the measurement object based on the detected size on the image.

前記サーマルセンサと共通の視野を有するカメラをさらに備え、前記処理ユニットは、前記カメラで撮影された画像と前記サーマルセンサから出力された測定値を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正してもよい。 A camera having a common field of view with the thermal sensor is further provided, and the processing unit receives as input the image captured by the camera and the measured value output from the thermal sensor, and measures the distance and displacement of the measurement object. The thermal sensor readings may be corrected using AI that has been machine-learned to make corrections based on quantity.

前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、前記温度分布画像を解析することによって前記測定対象物の距離を求めてもよい。前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出サイズに基づいて前記測定対象物の距離を求めてもよい。 The processing unit may obtain the positional deviation amount of the measurement object with respect to the optical axis by analyzing the temperature distribution image output from the thermal sensor. The processing unit may detect the measurement object from the temperature distribution image by object detection processing, and obtain a positional deviation amount of the measurement object with respect to the optical axis based on the detected position on the temperature distribution image. . The processing unit may obtain the distance of the measurement object by analyzing the temperature distribution image. The processing unit may detect the measurement object from the temperature distribution image by object detection processing, and obtain the distance of the measurement object based on the detected size on the temperature distribution image.

前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正してもよい。 The processing unit uses machine-learned AI to perform correction according to the distance and the positional deviation amount of the measurement object when given as an input the temperature distribution image output from the thermal sensor. may be corrected.

前記サーマルセンサと共通の視野を有するTOFセンサをさらに備え、前記処理ユニットは、前記TOFセンサで得られる距離画像を解析することによって、前記測定対象物の距離、及び、前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。 A TOF sensor having a common field of view with the thermal sensor is further provided, and the processing unit analyzes a distance image obtained by the TOF sensor to determine the distance of the measurement object and the measurement object relative to the optical axis. A positional deviation amount of an object may be obtained.

本開示は、サーモパイル方式のサーマルセンサにより、測定対象物の表面温度を測定するステップと、前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正するステップと、を含むことを特徴とする表面温度測定方法を含む。 The present disclosure includes a step of measuring the surface temperature of an object to be measured using a thermopile type thermal sensor, a distance between the thermal sensor and the object to be measured in the optical axis direction of the thermal sensor, and and correcting the measured value of the thermal sensor based on the amount of positional deviation of the object to be measured with respect to the optical axis.

本発明は、上記手段の少なくとも一部を有する表面温度測定システムとして捉えてもよいし、上記処理の少なくとも一部を含む表面温度測定方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 The present invention may be regarded as a surface temperature measurement system having at least part of the above means, a surface temperature measurement method including at least part of the above processing, or a program for realizing such a method or its program. It can also be regarded as a recorded recording medium. It should be noted that each of the means and processes described above can be combined with each other as much as possible to constitute the present invention.

本発明によれば、サーモパイル方式のサーマルセンサを用いて物体の表面温度をより正確に測定可能な技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which can measure the surface temperature of an object more correctly using a thermopile type thermal sensor can be provided.

図1は、表面温度測定システムの適用例を示す図である。FIG. 1 is a diagram showing an application example of the surface temperature measurement system. 図2は、第1実施形態の表面温度測定システムの外観を示す斜視図である。FIG. 2 is a perspective view showing the appearance of the surface temperature measurement system of the first embodiment. 図3は、第1実施形態の表面温度測定システムのハードウエア構成を示すブロック図である。FIG. 3 is a block diagram showing the hardware configuration of the surface temperature measurement system of the first embodiment. 図4は、サーマルセンサの構成を模式的に示す断面図である。FIG. 4 is a cross-sectional view schematically showing the configuration of the thermal sensor. 図5は、第1実施形態の表面温度測定システムの機能構成を示すブロック図である。FIG. 5 is a block diagram showing the functional configuration of the surface temperature measurement system of the first embodiment. 図6は、第1実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。FIG. 6 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system of the first embodiment. 図7は、顔の検出例を示す図である。FIG. 7 is a diagram showing an example of face detection. 図8は、センサの光軸及び視野と測定対象物の位置関係を例示する図である。FIG. 8 is a diagram illustrating the positional relationship between the optical axis and field of view of the sensor and the object to be measured. 図9A及び図9Bは、表面温度測定システムの測定結果の出力例を示す図である。9A and 9B are diagrams showing output examples of measurement results of the surface temperature measurement system. 図10は、第2実施形態の表面温度測定システムの機能構成を示すブロック図である。FIG. 10 is a block diagram showing the functional configuration of the surface temperature measurement system of the second embodiment. 図11は、第2実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。FIG. 11 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system of the second embodiment. 図12は、第3実施形態の表面温度測定システムのハードウエア構成を示すブロック図である。FIG. 12 is a block diagram showing the hardware configuration of the surface temperature measurement system of the third embodiment. 図13は、第3実施形態の表面温度測定システムの機能構成を示すブロック図である。FIG. 13 is a block diagram showing the functional configuration of the surface temperature measurement system of the third embodiment. 図14は、第3実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。FIG. 14 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system of the third embodiment. 図15は、第4実施形態の表面温度測定システムのハードウエア構成を示すブロック図である。FIG. 15 is a block diagram showing the hardware configuration of the surface temperature measurement system of the fourth embodiment. 図16は、第4実施形態の表面温度測定システムの機能構成を示すブロック図である。FIG. 16 is a block diagram showing the functional configuration of the surface temperature measurement system of the fourth embodiment. 図17は、第4実施形態の表面温度測定システムによる表面温度測定処理の流れを示すフローチャートである。FIG. 17 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system of the fourth embodiment.

<適用例>
図1を参照して、本発明の適用例の一つについて説明する。図1は、主な使用例として、感染症予防のために、商業施設やオフィスの入口に設置し入場者の体温を非接触で測定するためのシステムに本発明を適用した場合の構成例を示す。
<Application example>
One application example of the present invention will be described with reference to FIG. Fig. 1 shows a configuration example of the present invention applied to a system installed at the entrance of a commercial facility or office to measure the body temperature of visitors without contact, as a main example of use for the prevention of infectious diseases. show.

表面温度測定システム1は、サーモパイル方式のサーマルセンサを用いて測定対象物の表面温度を測定し、その測定結果を表示するシステムである。サーモパイル方式のサーマルセンサは、センサと測定対象物の相対位置に依存して測定値が変動する特性があるため、従来は測定精度に限界があった。そこで本システム1では、「サーマルセンサの光軸方向における、サーマルセンサと測定対象物の間の距離」と「サーマルセンサの光軸に対する測定対象物の位置ずれ量」を取得し、「距離」と「位置ずれ量」の両方に基づいてサーマルセンサの測定値を補正する。このような構成を採用することによって、サーモパイル方式のセンサを利用しつつも、測定対象物の表面温度を精度良く測定可能なシステムを実現することができる。したがって、低価格のシステムを提供することが可能となり、商業施設やオフィスをはじめとする様々な場所への導入や、途上国などへの普及を促進することができる。 The surface temperature measurement system 1 is a system that measures the surface temperature of an object to be measured using a thermopile type thermal sensor and displays the measurement result. The thermopile-type thermal sensor has a characteristic that the measured value fluctuates depending on the relative position of the sensor and the object to be measured. Therefore, in this system 1, "the distance between the thermal sensor and the object to be measured in the direction of the optical axis of the thermal sensor" and "the displacement amount of the object to be measured with respect to the optical axis of the thermal sensor" are acquired, and the "distance" is obtained. The measured value of the thermal sensor is corrected based on both of the "positional deviation amount". By adopting such a configuration, it is possible to realize a system capable of accurately measuring the surface temperature of an object to be measured while using a thermopile type sensor. Therefore, it is possible to provide a low-cost system, and it is possible to promote introduction to various places such as commercial facilities and offices, and spread to developing countries.

なお、図1では、ヒトの体温測定を例示したが、本発明の適用範囲はこれに限られない。例えば、ヒト以外の生物(動植物など)の表面温度の測定、機械、建造物、製造物などの一般物体の表面温度の測定などにも本発明に係るシステムを適用可能である。 Note that FIG. 1 exemplifies the measurement of human body temperature, but the scope of application of the present invention is not limited to this. For example, the system according to the present invention can be applied to the measurement of the surface temperature of living organisms other than humans (animals and plants), the measurement of the surface temperature of general objects such as machines, buildings, and products.

<第1実施形態>
図2及び図3に、第1実施形態の表面温度測定システム1の構成例を示す。図2は、第1実施形態の表面温度測定システム1の外観を示す斜視図であり、図3は、第1実施形態の表面温度測定システム1のハードウエア構成を示すブロック図である。
<First Embodiment>
2 and 3 show a configuration example of the surface temperature measurement system 1 of the first embodiment. FIG. 2 is a perspective view showing the appearance of the surface temperature measurement system 1 of the first embodiment, and FIG. 3 is a block diagram showing the hardware configuration of the surface temperature measurement system 1 of the first embodiment.

表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、カメラ(画像センサ)11、処理ユニット12、表示装置13を有する。表面温度測定システム1は、専用デバイスとして設計されたものでもよいし、カメラを具備する汎用のコンピュータ装置(スマートフォン、タブレット、ノートパソコン等)にサーマルセンサ10を接続して構成されたものでもよい。 The surface temperature measurement system 1 has a thermopile thermal sensor 10, a camera (image sensor) 11, a processing unit 12, and a display device 13 as main hardware components. The surface temperature measurement system 1 may be designed as a dedicated device, or may be configured by connecting the thermal sensor 10 to a general-purpose computer device (smartphone, tablet, laptop, etc.) equipped with a camera.

サーマルセンサ10とカメラ11は、互いの光軸が平行(実質的に平行である状態も含む)になるように設置され、共通の視野を有している。なおサーマルセンサ10とカメラ11の視野は完全一致している必要はなく、少なくとも一部(測定対象物が存在し得る範囲を包含するエリア)が重なっていればよい。以後の説明において、サーマルセンサ10及びカメラ11の光軸方向をz方向(奥行方向)といい、光軸に垂直な平面における横方向・縦方向をそれぞれx方向・y方向という。 The thermal sensor 10 and the camera 11 are installed such that their optical axes are parallel (including a state in which they are substantially parallel), and have a common field of view. Note that the fields of view of the thermal sensor 10 and the camera 11 do not have to match perfectly, and it is sufficient that at least a part of them (the area including the range in which the object to be measured can exist) overlaps. In the following description, the optical axis direction of the thermal sensor 10 and the camera 11 is called the z direction (depth direction), and the horizontal direction and vertical direction on a plane perpendicular to the optical axis are called the x direction and the y direction, respectively.

(サーマルセンサ)
図4は、サーマルセンサ10の構成を模式的に示す断面図である。
(thermal sensor)
FIG. 4 is a cross-sectional view schematically showing the configuration of the thermal sensor 10. As shown in FIG.

サーマルセンサ10は、赤外線センサであり、測定対象物からの放射熱エネルギー(赤外線)を集光するための光学系40と、赤外線を電気エネルギーに変換するサーモパイルチップ41と、サーモパイルチップ41から出力される電圧信号を増幅、AD変換し、温度データを出力する処理回路42とを有する。サーモパイルチップ41は、MEMS素子であり、複数の熱電対が2次元アレイ状に配置された構造を有する。 The thermal sensor 10 is an infrared sensor, and includes an optical system 40 for condensing radiant heat energy (infrared rays) from an object to be measured, a thermopile chip 41 for converting the infrared rays into electrical energy, and an output from the thermopile chip 41. and a processing circuit 42 that amplifies and AD-converts the voltage signal and outputs temperature data. The thermopile chip 41 is a MEMS element and has a structure in which a plurality of thermocouples are arranged in a two-dimensional array.

本実施形態では、例えば、x方向,y方向の視野角がそれぞれ90°,90°であり、x方向×y方向の分解能が32ピクセル×32ピクセルの性能をもつサーマルセンサ10が用いられる。すなわち、サーマルセンサ10から出力される温度データは、32×32の2次元画像(温度分布を表す画像)となる。なお、視野角及び分解能については、システム1のアプリケーションにあわせて適宜設計すればよい。 In this embodiment, for example, the thermal sensor 10 is used, which has viewing angles of 90° and 90° in the x and y directions, respectively, and a resolution of 32 pixels×32 pixels in the x and y directions. That is, the temperature data output from the thermal sensor 10 is a 32×32 two-dimensional image (image representing temperature distribution). Note that the viewing angle and resolution may be appropriately designed according to the application of the system 1 .

(カメラ)
カメラ11は、光学像を撮影するためのカメラである。例えば、CCDやCMOSなどの撮像素子を用いた高解像のカメラが用いられる。
(camera)
Camera 11 is a camera for taking an optical image. For example, a high-resolution camera using an imaging device such as CCD or CMOS is used.

(処理ユニット)
処理ユニット12は、表面温度測定システム1全体の制御、各種の信号処理や画像処理、測定結果の出力処理などを実行するデバイスである。処理ユニット12は、例えば、汎用のプロセッサ(CPU等)とメモリから構成してもよいし、専用のプロセッサ(ASIC等)で構成してもよい。
(processing unit)
The processing unit 12 is a device that performs control of the entire surface temperature measurement system 1, various signal processing and image processing, output processing of measurement results, and the like. The processing unit 12 may be composed of, for example, a general-purpose processor (CPU, etc.) and memory, or may be composed of a dedicated processor (ASIC, etc.).

(表示装置)
表示装置13は、測定結果(すなわち測定対象物の表面温度)等の情報を出力するためのデバイスである。例えば、液晶ディスプレイや有機ELディスプレイが用いられる。
(Display device)
The display device 13 is a device for outputting information such as measurement results (that is, the surface temperature of the object to be measured). For example, liquid crystal displays and organic EL displays are used.

(機能構成)
図5は、第1実施形態の表面温度測定システム1の機能構成を示すブロック図である。
(Functional configuration)
FIG. 5 is a block diagram showing the functional configuration of the surface temperature measurement system 1 of the first embodiment.

表面温度測定システム1は、機能構成として、温度データ取得部50、画像データ取得部51、対象物検出部52、距離計算部53、位置ずれ計算部54、温度補正部55、情報出力部56を有する。これらの機能は、処理ユニット12によって提供される。例えば処理ユニット12が汎用のプロセッサで構成される場合には、メモリに格納されたプログ
ラムをプロセッサが読み出し実行することで、これらの機能が実現される。なお、図5の示す機能の一部をクラウドサーバによって実現してもよい。
The surface temperature measurement system 1 includes a temperature data acquisition unit 50, an image data acquisition unit 51, an object detection unit 52, a distance calculation unit 53, a positional deviation calculation unit 54, a temperature correction unit 55, and an information output unit 56 as functional configurations. have. These functions are provided by processing unit 12 . For example, when the processing unit 12 is composed of a general-purpose processor, these functions are realized by the processor reading and executing a program stored in the memory. Note that part of the functions shown in FIG. 5 may be implemented by a cloud server.

(表面温度測定方法)
図6は、第1実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。
(Surface temperature measurement method)
FIG. 6 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system 1 of the first embodiment.

ステップS60では、温度データ取得部50が、サーマルセンサ10から温度データを取得する。ここで取得される温度データは、例えば、32×32の2次元画像であり、各画素の値がサーマルセンサ10の測定値(表面温度)を表している。 In step S<b>60 , the temperature data acquisition unit 50 acquires temperature data from the thermal sensor 10 . The temperature data acquired here is, for example, a 32×32 two-dimensional image, and the value of each pixel represents the measured value (surface temperature) of the thermal sensor 10 .

ステップS61では、画像データ取得部51が、カメラ11から画像データを取得する。ここで取得される画像データは、光学画像であり、例えば、32×32の2次元RGB画像である。本実施形態では、説明を簡単にするため、サーマルセンサ10とカメラ11の視野及び解像度が一致している(つまり、温度データの画素(x,y)と画像データの画素(x,y)が測定対象物の同じ点を表す。)と仮定する。もし両者の視野及び/又は解像度が異なる場合には、画像データ取得部51が、サーマルセンサ10の温度データに合わせて、画像データの解像度変換やトリミング(クロッピング)を行えばよい。 In step S<b>61 , the image data acquisition unit 51 acquires image data from the camera 11 . The image data acquired here is an optical image, for example, a 32×32 two-dimensional RGB image. In this embodiment, to simplify the explanation, the field of view and resolution of the thermal sensor 10 and the camera 11 are the same (that is, the pixel (x, y) of the temperature data and the pixel (x, y) of the image data are represent the same point on the object to be measured.). If the fields of view and/or resolutions of the two are different, the image data acquisition unit 51 may perform resolution conversion and trimming (cropping) of the image data in accordance with the temperature data of the thermal sensor 10 .

なお、図6では、温度データの取り込みの後に画像データの取り込みを実行しているが、取り込みの順番は逆でもよいし、並列処理で取り込んでもよい。温度データと画像データは同じ時刻もしくは出来る限り近いタイミングで測定されたデータであることが望ましい。 In FIG. 6, the image data is captured after the temperature data is captured, but the order of capturing may be reversed or the data may be captured in parallel. It is desirable that the temperature data and the image data are data measured at the same time or at timings as close as possible.

ステップS62では、対象物検出部52が、画像データを解析し、画像のなかから測定対象物を検出する。例えば人の体温測定が目的である場合は、顔の表面温度から体温を推定する方法がよく実施されている。そこで、顔検出アルゴリズムや人体検出アルゴリズムなどに代表される物体検出処理を利用して、測定対象物としての「顔」を検出すればよい。図7は、顔70の検出例を示している。対象物検出部52の検出結果として、顔70を囲む検出枠71の中心点の座標(xc,yc)とサイズ(w,h)が出力される。座標(xc,yc)が画像上の検出位置を表し、サイズ(w,h)が画像上の検出サイズを表す。図8は、センサの光軸及び視野と測定対象物の位置関係を例示する図である。 In step S62, the object detection unit 52 analyzes the image data and detects the object to be measured from the image. For example, when the purpose is to measure a person's body temperature, a method of estimating the body temperature from the surface temperature of the face is often implemented. Therefore, an object detection process represented by a face detection algorithm, a human body detection algorithm, or the like may be used to detect a "face" as a measurement object. FIG. 7 shows an example of face 70 detection. As the detection result of the object detection unit 52, the coordinates (xc, yc) of the center point of the detection frame 71 surrounding the face 70 and the size (w, h) are output. The coordinates (xc, yc) represent the detection position on the image, and the size (w, h) represents the detection size on the image. FIG. 8 is a diagram illustrating the positional relationship between the optical axis and field of view of the sensor and the object to be measured.

ステップS63では、距離計算部53が、画像上の検出サイズ(w,h)に基づいて、サーマルセンサ10から測定対象物までの光軸方向の距離を計算する。被写体の画像上のサイズは、カメラ11と被写体の間の距離に依存し、距離が近いほど画像上のサイズは大きく、逆に距離が遠いほど画像上のサイズは小さくなる。したがって、被写体の実際の大きさとカメラ11の光学系及び撮像素子のスペックがわかれば、画像上の検出サイズをカメラ11と被写体の間の距離に換算することが可能である。そして、カメラ11とサーマルセンサ10は近接して配置されているため、カメラ11と被写体の間の距離はサーマルセンサ10と被写体の間の距離とみなしてよい(仮に、サーマルセンサ10とカメラ11の設置位置が離れている場合は、サーマルセンサ10とカメラ11の相対的な位置関係に基づいて、カメラ11と被写体の間の距離からサーマルセンサ10と被写体の間の距離を計算すればよい。)。 In step S63, the distance calculator 53 calculates the distance in the optical axis direction from the thermal sensor 10 to the object to be measured based on the detected size (w, h) on the image. The size of the subject on the image depends on the distance between the camera 11 and the subject. The closer the distance is, the larger the size of the image is. Therefore, if the actual size of the subject and the specifications of the optical system and imaging device of the camera 11 are known, it is possible to convert the detected size on the image into the distance between the camera 11 and the subject. Since the camera 11 and the thermal sensor 10 are arranged close to each other, the distance between the camera 11 and the subject may be regarded as the distance between the thermal sensor 10 and the subject. If the installation position is far away, the distance between the thermal sensor 10 and the subject can be calculated from the distance between the camera 11 and the subject based on the relative positional relationship between the thermal sensor 10 and the camera 11.) .

例えば、成人の平均的な顔の大きさを仮定して、予め、画像上のサイズを距離に換算するためのLUT又は関数を用意しておけば、距離計算部53は、ステップS62で得られた検出サイズ(w,h)をLUT又は関数に代入するだけで容易に距離を求めることができる。なお、性別(男性/女性)や年代(子供/大人)によって平均的な顔の大きさが異なるため、LUT又は関数を複数種類用意しておき、対象物検出部52によって性別推定
や年代推定を行い、その推定結果に基づいて距離計算に使用するLUT又は関数を変えてもよい。これにより距離の推定精度を向上することができる。
For example, assuming the average face size of an adult, if a LUT or function for converting the size on the image into a distance is prepared in advance, the distance calculation unit 53 calculates the distance obtained in step S62. The distance can be easily obtained simply by substituting the detected size (w, h) into the LUT or function. Since the average face size differs depending on gender (male/female) and age (child/adult), a plurality of types of LUTs or functions are prepared, and the object detection unit 52 performs gender estimation and age estimation. and the LUT or function used for distance calculation may be changed based on the estimation result. This makes it possible to improve the distance estimation accuracy.

ステップS64では、位置ずれ計算部54が、画像上の検出位置(xc,yc)に基づいて、サーマルセンサ10の光軸に対する測定対象物の位置ずれ量を計算する。被写体が光軸上に存在すれば、被写体は画像の中心にあり、被写体が光軸から離れるほど画像の中心から離れる。したがって、カメラ11の光学系及び撮像素子のスペックがわかっていれば、画像上の検出位置を光軸に対する位置ずれ量に換算することが可能である。そして、カメラ11とサーマルセンサ10は近接し且つ光軸が平行になるように配置されているため、カメラ11の光軸に対する位置ずれ量はサーマルセンサ10の光軸に対する位置ずれ量とみなしてよい(仮に、サーマルセンサ10とカメラ11の設置位置が離れているか、光軸が平行でない場合は、サーマルセンサ10とカメラ11の相対的な位置関係に基づいて、カメラ11の光軸に対する位置ずれ量からサーマルセンサ10の光軸に対する位置ずれ量を計算すればよい。)。なお、位置ずれ量の計算のためにサーマルセンサ10と測定対象物の間の距離が必要な場合は、距離計算部53の計算結果を利用すればよい。 In step S64, the positional deviation calculator 54 calculates the amount of positional deviation of the object to be measured with respect to the optical axis of the thermal sensor 10 based on the detected position (xc, yc) on the image. If the subject is on the optical axis, the subject is at the center of the image, and the farther the subject is from the optical axis, the farther away from the center of the image. Therefore, if the specs of the optical system and imaging device of the camera 11 are known, it is possible to convert the detected position on the image into the amount of positional deviation with respect to the optical axis. Since the camera 11 and the thermal sensor 10 are arranged close to each other with their optical axes parallel, the amount of positional deviation of the camera 11 with respect to the optical axis can be regarded as the amount of positional deviation of the thermal sensor 10 with respect to the optical axis. (If the installation positions of the thermal sensor 10 and the camera 11 are separated or the optical axes are not parallel, the amount of positional deviation of the camera 11 with respect to the optical axis is calculated based on the relative positional relationship between the thermal sensor 10 and the camera 11. , the amount of positional deviation of the thermal sensor 10 with respect to the optical axis can be calculated.). If the distance between the thermal sensor 10 and the object to be measured is required for calculating the amount of positional deviation, the calculation result of the distance calculator 53 may be used.

ステップS65では、温度補正部55が、ステップS63で計算した「距離」とステップS64で計算した「位置ずれ量」に基づいて、ステップS60で得られた温度データを補正する。サーモパイル式のサーマルセンサの特性として、サーマルセンサから測定対象物までの距離が遠いほど測定値が小さくなる傾向がある。また、サーマルセンサの光軸からの位置ずれ量が大きいほど測定値が小さくなる傾向もある。したがって、温度補正部55は、距離が遠いほど温度を高くし、且つ、位置ずれ量が大きいほど温度を高くするように、サーマルセンサ10の温度データ(測定値)を修正するとよい。 In step S65, the temperature correction unit 55 corrects the temperature data obtained in step S60 based on the "distance" calculated in step S63 and the "positional deviation amount" calculated in step S64. As a characteristic of the thermopile type thermal sensor, the measured value tends to decrease as the distance from the thermal sensor to the object to be measured increases. Also, there is a tendency that the larger the amount of positional deviation from the optical axis of the thermal sensor, the smaller the measured value. Therefore, the temperature correction unit 55 should correct the temperature data (measured value) of the thermal sensor 10 so that the longer the distance, the higher the temperature, and the larger the positional deviation amount, the higher the temperature.

例えば、温度補正部55は、「距離」と「位置ずれ量」の組み合わせに対する「補正量」が定義されたLUTや、「距離」と「位置ずれ量」から「補正量」を算出する関数などを用いて、温度データの補正処理を行えばよい。LUTや関数は、サーマルセンサ10を用いた測定実験の結果から作成してもよいし、サーマルセンサ10の特性に基づいて理論的に作成したものでもよい。 For example, the temperature correction unit 55 may include an LUT that defines a "correction amount" for a combination of a "distance" and a "positional deviation amount", or a function that calculates the "correction amount" from the "distance" and the "positional deviation amount". can be used to correct the temperature data. The LUT and functions may be created from the results of measurement experiments using the thermal sensor 10, or may be created theoretically based on the characteristics of the thermal sensor 10. FIG.

ステップS66では、情報出力部56が、補正温度データを表示装置13に出力する。図9Aに示す出力例では、ステップS61で取り込まれた画像データの上に、ステップS62の検出結果(検出枠)とステップS65で補正された温度が重畳表示されている。図9Bのように画像から複数の測定対象物(本例では顔)が検出された場合には、測定対象物ごとに検出枠と補正温度が表示されてもよい。 In step S<b>66 , the information output unit 56 outputs the corrected temperature data to the display device 13 . In the output example shown in FIG. 9A, the detection result (detection frame) of step S62 and the temperature corrected in step S65 are superimposed on the image data captured in step S61. When a plurality of measurement objects (faces in this example) are detected from the image as shown in FIG. 9B, the detection frame and correction temperature may be displayed for each measurement object.

以上述べた構成によれば、測定対象物の「距離」と「位置ずれ量」の両方に基づいてサーマルセンサ10の測定値を補正するので、従来よりも精度の良い測定結果を得ることができる。 According to the configuration described above, the measurement value of the thermal sensor 10 is corrected based on both the "distance" and the "positional deviation amount" of the object to be measured, so that it is possible to obtain measurement results with higher accuracy than in the conventional art. .

<第2実施形態>
第2実施形態では、AI(人工知能)を用いてサーマルセンサ10の測定値を補正する。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
<Second embodiment>
In the second embodiment, AI (artificial intelligence) is used to correct the measured value of the thermal sensor 10 . Below, the configuration different from the first embodiment will be mainly described, and the description of the configuration common to the first embodiment will be omitted.

図10に第2実施形態の表面温度測定システム1の機能構成の一例を示す。本実施形態の表面温度測定システム1は、機能構成として、温度データ取得部50、画像データ取得部51、温度補正部100、情報出力部56を有する。第1実施形態とは温度補正部100の構成のみ相違する。 FIG. 10 shows an example of the functional configuration of the surface temperature measurement system 1 of the second embodiment. The surface temperature measurement system 1 of this embodiment has a temperature data acquisition section 50, an image data acquisition section 51, a temperature correction section 100, and an information output section 56 as functional configurations. Only the configuration of the temperature correction unit 100 is different from the first embodiment.

温度補正部100は、画像データと温度データを入力として与えると、測定対象物の「距離」及び「位置ずれ量」に応じて補正された補正温度データを出力するように機械学習された学習済みモデル101を有する。機械学習手法やモデルの構造はどのようなものを用いてもよく、例えば、ディープニューラルネットワークを用いてもよい。学習フェーズにおいては、「カメラで撮影された画像データ」と「サーマルセンサから出力された測定値からなる温度データ」と「真値の温度データ」からなる学習データを用いて機械学習が行われるとよい。 The temperature correction unit 100 is machine-learned to output corrected temperature data corrected according to the "distance" and "positional deviation amount" of the measurement object when image data and temperature data are input. It has model 101 . Any machine learning method or model structure may be used, for example, a deep neural network may be used. In the learning phase, machine learning is performed using learning data consisting of "image data taken by the camera", "temperature data consisting of measured values output from the thermal sensor", and "true temperature data". good.

図11は、第2実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60~S61の処理は第1実施形態(図6)と同じである。ステップS110では、温度補正部100が、ステップS60で取得した温度データとステップS61で取得した画像データを学習済みモデルに入力して、補正温度データを得る。ステップS66の処理は第1実施形態(図6)と同じである。 FIG. 11 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system 1 of the second embodiment. The processing of steps S60 to S61 is the same as in the first embodiment (FIG. 6). In step S110, the temperature correction unit 100 inputs the temperature data acquired in step S60 and the image data acquired in step S61 into the learned model to obtain corrected temperature data. The processing of step S66 is the same as that of the first embodiment (FIG. 6).

<第3実施形態>
第1実施形態では、カメラ11から得られた光学画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求めたのに対し、第3実施形態では、サーマルセンサ10から出力される温度分布画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求める。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
<Third embodiment>
In the first embodiment, the "distance" and "positional deviation amount" of the object to be measured are obtained by analyzing the optical image obtained from the camera 11, whereas in the third embodiment, the thermal sensor 10 outputs The "distance" and "positional deviation amount" of the object to be measured are obtained by analyzing the temperature distribution image. Below, the configuration different from the first embodiment will be mainly described, and the description of the configuration common to the first embodiment will be omitted.

図12及び図13に、第3実施形態の表面温度測定システム1の構成例を示す。図12は、第3実施形態の表面温度測定システム1のハードウエア構成を示すブロック図であり、図13は、第3実施形態の表面温度測定システム1の機能構成を示すブロック図である。 12 and 13 show a configuration example of the surface temperature measurement system 1 of the third embodiment. FIG. 12 is a block diagram showing the hardware configuration of the surface temperature measuring system 1 of the third embodiment, and FIG. 13 is a block diagram showing the functional configuration of the surface temperature measuring system 1 of the third embodiment.

本実施形態の表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、処理ユニット12、表示装置13を有する。また、表面温度測定システム1は、機能構成として、温度データ取得部50、対象物検出部130、距離計算部131、位置ずれ計算部132、温度補正部55、情報出力部56を有する。第1実施形態との違いは、カメラが必須の構成でない点、距離及び位置ずれの計算に温度データ(温度分布画像)を用いる点である。 The surface temperature measurement system 1 of this embodiment has a thermopile type thermal sensor 10, a processing unit 12, and a display device 13 as main hardware configurations. The surface temperature measurement system 1 also has a temperature data acquisition unit 50, an object detection unit 130, a distance calculation unit 131, a positional deviation calculation unit 132, a temperature correction unit 55, and an information output unit 56 as functional configurations. The difference from the first embodiment is that the camera is not an essential component, and temperature data (temperature distribution image) is used to calculate the distance and positional deviation.

図14は、第3実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60の処理は第1実施形態(図6)と同じである。ステップS140では、対象物検出部130が、ステップS60で取得した温度分布画像を解析し、画像のなかから測定対象物を検出する。一般に、顔や人体の部分は背景に比べて温度が高いため、例えばシルエット検出などのアルゴリズムを用いることによって、温度分布画像から顔や人体を検出可能である。ステップS141では、距離計算部131が、温度分布画像上の検出サイズに基づいて、サーマルセンサ10から測定対象物までの光軸方向の距離を計算する。ステップS142では、位置ずれ計算部132が、温度分布画像上の検出位置に基づいて位置ずれ量を計算する。なお、距離及び位置ずれ量の具体的な計算方法は第1実施形態で述べた方法と同じでよい。ステップS65~S66の処理は第1実施形態と同じである。 FIG. 14 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system 1 of the third embodiment. The processing of step S60 is the same as that of the first embodiment (FIG. 6). In step S140, the object detection unit 130 analyzes the temperature distribution image acquired in step S60 and detects the measurement object from the image. In general, the temperature of the face and the human body is higher than that of the background, so the face and the human body can be detected from the temperature distribution image by using an algorithm such as silhouette detection. In step S141, the distance calculator 131 calculates the distance in the optical axis direction from the thermal sensor 10 to the object to be measured based on the detected size on the temperature distribution image. In step S142, the positional deviation calculator 132 calculates the amount of positional deviation based on the detected position on the temperature distribution image. A specific method for calculating the distance and the amount of positional deviation may be the same as the method described in the first embodiment. The processing of steps S65 and S66 is the same as in the first embodiment.

本実施形態の構成によっても、従来よりも精度良い温度測定が可能となる。しかも、本実施形態の構成ではカメラが必須構成でなくなるため、第1実施形態よりも装置構成がシンプルとなり低コスト化も図ることができる。 The configuration of this embodiment also enables temperature measurement with higher accuracy than the conventional one. Moreover, since the camera is not an essential component in the configuration of this embodiment, the device configuration is simpler than in the first embodiment, and the cost can be reduced.

<第4実施形態>
第1実施形態では、カメラ11から得られた光学画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求めたのに対し、第4実施形態では、TOFセンサで得られる距離画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求める。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
<Fourth Embodiment>
In the first embodiment, the "distance" and "positional deviation amount" of the object to be measured are obtained by analyzing the optical image obtained from the camera 11. In the fourth embodiment, however, the TOF sensor obtains By analyzing the distance image, the "distance" and "positional deviation amount" of the object to be measured are obtained. Below, the configuration different from the first embodiment will be mainly described, and the description of the configuration common to the first embodiment will be omitted.

図15及び図16に、第4実施形態の表面温度測定システム1の構成例を示す。図15は、第4実施形態の表面温度測定システム1のハードウエア構成を示すブロック図であり、図16は、第4実施形態の表面温度測定システム1の機能構成を示すブロック図である。 15 and 16 show a configuration example of the surface temperature measurement system 1 of the fourth embodiment. FIG. 15 is a block diagram showing the hardware configuration of the surface temperature measuring system 1 of the fourth embodiment, and FIG. 16 is a block diagram showing the functional configuration of the surface temperature measuring system 1 of the fourth embodiment.

本実施形態の表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、TOFセンサ150、処理ユニット12、表示装置13を有する。また、表面温度測定システム1は、機能構成として、温度データ取得部50、距離画像取得部160、対象物検出部161、距離計算部162、位置ずれ計算部163、温度補正部55、情報出力部56を有する。第1実施形態との違いは、カメラが必須の構成でない点、TOFセンサを有する点、距離及び位置ずれの計算に距離画像を用いる点である。 The surface temperature measurement system 1 of this embodiment has a thermopile type thermal sensor 10, a TOF sensor 150, a processing unit 12, and a display device 13 as main hardware configurations. In addition, the surface temperature measurement system 1 includes a temperature data acquisition unit 50, a distance image acquisition unit 160, an object detection unit 161, a distance calculation unit 162, a positional deviation calculation unit 163, a temperature correction unit 55, and an information output unit as functional configurations. 56. The differences from the first embodiment are that a camera is not an essential component, that a TOF sensor is provided, and that distance images are used to calculate the distance and positional deviation.

図17は、第4実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60の処理は第1実施形態(図6)と同じである。ステップS170では、距離画像取得部160が、TOFセンサ150から距離画像データを取得する。ここで取得される距離画像データは、例えば、1024×1024の2次元画像であり、各画素の値がTOFセンサ150から被写体までの距離を表している。TOFセンサ150としては、直接TOF法のセンサを用いてもよいし、間接TOF法のセンサを用いてもよい。ステップS171では、対象物検出部161が、ステップS170で取得した距離画像を解析し、画像のなかから測定対象物を検出する。例えばシルエット検出や点群クラスタリングなどのアルゴリズムを用いることによって、距離画像から顔や人体を検出可能である。ステップS172では、距離計算部162が、サーマルセンサ10から測定対象物までの光軸方向の距離を距離画像から抽出する。ステップS173では、位置ずれ計算部163が、距離画像上の検出位置に基づいて位置ずれ量を計算する。なお、位置ずれ量の具体的な計算方法は第1実施形態で述べた方法と同じでよい。ステップS65~S66の処理は第1実施形態と同じである。 FIG. 17 is a flow chart showing the flow of surface temperature measurement processing by the surface temperature measurement system 1 of the fourth embodiment. The processing of step S60 is the same as that of the first embodiment (FIG. 6). In step S<b>170 , the distance image acquisition unit 160 acquires distance image data from the TOF sensor 150 . The distance image data acquired here is, for example, a 1024×1024 two-dimensional image, and the value of each pixel represents the distance from the TOF sensor 150 to the subject. As the TOF sensor 150, a direct TOF method sensor or an indirect TOF method sensor may be used. In step S171, the object detection unit 161 analyzes the distance image acquired in step S170 and detects the measurement object from the image. For example, by using algorithms such as silhouette detection and point cloud clustering, faces and human bodies can be detected from range images. In step S172, the distance calculator 162 extracts the distance in the optical axis direction from the thermal sensor 10 to the object to be measured from the distance image. In step S173, the positional deviation calculator 163 calculates the amount of positional deviation based on the detected position on the range image. A specific method for calculating the amount of positional deviation may be the same as the method described in the first embodiment. The processing of steps S65 and S66 is the same as in the first embodiment.

本実施形態の構成によっても、従来よりも精度良い温度測定が可能となる。しかも、本実施形態の構成ではTOFセンサを用いるため、センサと測定対象物の間の距離を正確に知ることができ、距離による温度補正の精度を向上することができる。 The configuration of this embodiment also enables temperature measurement with higher accuracy than the conventional one. Moreover, since the TOF sensor is used in the configuration of this embodiment, the distance between the sensor and the object to be measured can be accurately known, and the accuracy of temperature correction based on the distance can be improved.

<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。上述した実施形態の構成や処理を適宜組み合わせてもよい。例えば、第3実施形態の構成に第2実施形態の学習済みモデルを適用してもよい。この場合、サーマルセンサから出力される温度分布画像を学習済みモデルに入力すると、測定対象物の距離及び位置ずれ量に応じた補正がされた補正温度分布画像が出力されるとよい。さらには、第4実施形態の構成に第2実施形態の学習済みモデルを適用してもよい。この場合、サーマルセンサから出力される温度データとTOFセンサから出力される距離画像データを学習済みモデルに入力すると、測定対象物の距離及び位置ずれ量に応じた補正がされた補正温度データが出力されるとよい。
<Others>
The above-described embodiment is merely an exemplary description of a configuration example of the present invention. The present invention is not limited to the specific forms described above, and various modifications are possible within the technical scope of the present invention. The configurations and processes of the above-described embodiments may be combined as appropriate. For example, the trained model of the second embodiment may be applied to the configuration of the third embodiment. In this case, when the temperature distribution image output from the thermal sensor is input to the learned model, a corrected temperature distribution image that has been corrected according to the distance and the amount of positional deviation of the object to be measured may be output. Furthermore, the trained model of the second embodiment may be applied to the configuration of the fourth embodiment. In this case, when the temperature data output from the thermal sensor and the distance image data output from the TOF sensor are input to the learned model, the corrected temperature data corrected according to the distance and positional deviation amount of the object to be measured is output. should be.

<付記1>
(1) 測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサ(10)と、
前記サーマルセンサ(10)の光軸方向における前記サーマルセンサ(10)と前記測定対象物の間の距離、及び、前記サーマルセンサ(10)の光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサ(10)の測定値を補正する処理ユニット(12)と、
を備えることを特徴とする表面温度測定システム(1)。
<Appendix 1>
(1) a thermopile-type thermal sensor (10) for measuring the surface temperature of an object to be measured;
Based on the distance between the thermal sensor (10) and the object to be measured in the optical axis direction of the thermal sensor (10) and the amount of displacement of the object to be measured with respect to the optical axis of the thermal sensor (10) , a processing unit (12) for correcting the measurements of said thermal sensor (10);
A surface temperature measurement system (1), characterized in that it comprises:

(2) サーモパイル方式のサーマルセンサ(10)により、測定対象物の表面温度を測定するステップ(S60)と、
前記サーマルセンサ(10)の光軸方向における前記サーマルセンサ(10)と前記測定対象物の間の距離、及び、前記サーマルセンサ(10)の光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサ(10)の測定値を補正するステップ(S65)と、
を含むことを特徴とする表面温度測定方法。
(2) a step of measuring the surface temperature of the object to be measured with a thermopile-type thermal sensor (10) (S60);
Based on the distance between the thermal sensor (10) and the object to be measured in the optical axis direction of the thermal sensor (10) and the amount of displacement of the object to be measured with respect to the optical axis of the thermal sensor (10) , a step (S65) of correcting the measured value of the thermal sensor (10);
A surface temperature measuring method comprising:

1:表面温度測定システム
10:サーマルセンサ
11:カメラ
12:処理ユニット
13:表示装置
40:光学系
41:サーモパイルチップ
42:処理回路
70:顔
71:検出枠
150:TOFセンサ
1: Surface temperature measurement system 10: Thermal sensor 11: Camera 12: Processing unit 13: Display device 40: Optical system 41: Thermopile chip 42: Processing circuit 70: Face 71: Detection frame 150: TOF sensor

Claims (13)

測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサと、
前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正する処理ユニットと、
を備えることを特徴とする表面温度測定システム。
a thermopile-type thermal sensor that measures the surface temperature of an object to be measured;
The measured value of the thermal sensor is corrected based on the distance between the thermal sensor and the object to be measured in the direction of the optical axis of the thermal sensor and the displacement amount of the object to be measured with respect to the optical axis of the thermal sensor. a processing unit to
A surface temperature measurement system comprising:
前記サーマルセンサと共通の視野を有するカメラをさらに備え、
前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。
further comprising a camera having a common field of view with the thermal sensor;
2. The surface temperature measurement system according to claim 1, wherein the processing unit obtains the amount of positional deviation of the object to be measured with respect to the optical axis by analyzing the image captured by the camera.
前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項2に記載の表面温度測定システム。
3. The processing unit detects the object to be measured from the image by object detection processing, and obtains the amount of displacement of the object to be measured with respect to the optical axis based on the detected position on the image. 2. The surface temperature measurement system according to 2.
前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記測定対象物の距離を求める
ことを特徴とする請求項2又は3に記載の表面温度測定システム。
4. The surface temperature measurement system according to claim 2, wherein the processing unit obtains the distance of the measurement object by analyzing the image taken by the camera.
前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出サイズに基づいて前記測定対象物の距離を求める
ことを特徴とする請求項4に記載の表面温度測定システム。
5. The surface temperature according to claim 4, wherein the processing unit detects the measurement object from the image by object detection processing, and obtains the distance of the measurement object based on the detected size on the image. measurement system.
前記サーマルセンサと共通の視野を有するカメラをさらに備え、
前記処理ユニットは、前記カメラで撮影された画像と前記サーマルセンサから出力された測定値を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正する
ことを特徴とする請求項1に記載の表面温度測定システム。
further comprising a camera having a common field of view with the thermal sensor;
The processing unit is an AI machine-learned so as to perform correction according to the distance and the positional deviation amount of the measurement object when given as input the image captured by the camera and the measurement value output from the thermal sensor. 2. The surface temperature measurement system according to claim 1, wherein the measured value of said thermal sensor is corrected using .
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。
2. The surface temperature measurement system according to claim 1, wherein the processing unit obtains the amount of positional deviation of the object to be measured with respect to the optical axis by analyzing the temperature distribution image output from the thermal sensor.
前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項7に記載の表面温度測定システム。
The processing unit detects the object to be measured from the temperature distribution image by object detection processing, and obtains a displacement amount of the object to be measured with respect to the optical axis based on the detected position on the temperature distribution image. 8. The surface temperature measurement system according to claim 7.
前記処理ユニットは、前記温度分布画像を解析することによって前記測定対象物の距離を求める
ことを特徴とする請求項7又は8に記載の表面温度測定システム。
9. The surface temperature measurement system according to claim 7, wherein the processing unit obtains the distance of the measurement object by analyzing the temperature distribution image.
前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出サイズに基づいて前記測定対象物の距離を求める
ことを特徴とする請求項9に記載の表面温度測定システム。
10. The method according to claim 9, wherein the processing unit detects the measurement object from the temperature distribution image by object detection processing, and obtains the distance of the measurement object based on the detected size on the temperature distribution image. A surface temperature measurement system as described.
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたA
Iを用いて、前記サーマルセンサの測定値を補正する
ことを特徴とする請求項1に記載の表面温度測定システム。
The processing unit is machine-learned to perform correction according to the distance and positional deviation amount of the measurement object when given as an input the temperature distribution image output from the thermal sensor.
2. The surface temperature measurement system of claim 1, wherein I is used to correct the thermal sensor measurements.
前記サーマルセンサと共通の視野を有するTOFセンサをさらに備え、
前記処理ユニットは、前記TOFセンサで得られる距離画像を解析することによって、前記測定対象物の距離、及び、前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。
further comprising a TOF sensor having a common field of view with the thermal sensor;
2. The processing unit obtains the distance of the object to be measured and the amount of displacement of the object to be measured with respect to the optical axis by analyzing the distance image obtained by the TOF sensor. The surface temperature measurement system according to .
サーモパイル方式のサーマルセンサにより、測定対象物の表面温度を測定するステップと、
前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正するステップと、
を含むことを特徴とする表面温度測定方法。
a step of measuring the surface temperature of the object to be measured with a thermopile type thermal sensor;
The measured value of the thermal sensor is corrected based on the distance between the thermal sensor and the object to be measured in the direction of the optical axis of the thermal sensor and the displacement amount of the object to be measured with respect to the optical axis of the thermal sensor. and
A surface temperature measuring method comprising:
JP2021015083A 2021-02-02 2021-02-02 Surface temperature measurement system and surface temperature measurement method Active JP7371645B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021015083A JP7371645B2 (en) 2021-02-02 2021-02-02 Surface temperature measurement system and surface temperature measurement method
PCT/JP2021/047136 WO2022168470A1 (en) 2021-02-02 2021-12-20 Surface temperature measurement system and surface temperature measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021015083A JP7371645B2 (en) 2021-02-02 2021-02-02 Surface temperature measurement system and surface temperature measurement method

Publications (2)

Publication Number Publication Date
JP2022118511A true JP2022118511A (en) 2022-08-15
JP7371645B2 JP7371645B2 (en) 2023-10-31

Family

ID=82742217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021015083A Active JP7371645B2 (en) 2021-02-02 2021-02-02 Surface temperature measurement system and surface temperature measurement method

Country Status (2)

Country Link
JP (1) JP7371645B2 (en)
WO (1) WO2022168470A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237861A (en) * 2004-02-27 2005-09-08 Omron Corp Automatic thermometric device and automatic thermometric method
JP2006059015A (en) * 2004-08-18 2006-03-02 Sony Corp Human body detector, human body detection method, and computer program
US20120170612A1 (en) * 2010-12-30 2012-07-05 Francesco Pompei Infrared Sensor and Method for Electrical Monitoring
JP2013200137A (en) * 2012-03-23 2013-10-03 Omron Corp Infrared temperature measurement device, infrared temperature measurement method, and infrared temperature measurement device control program
JP2013543133A (en) * 2010-11-17 2013-11-28 株式会社Easytem Temperature measuring apparatus and temperature measuring method using infrared array sensor
JP2020092349A (en) * 2018-12-06 2020-06-11 株式会社ユピテル System, program, and the like

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237861A (en) * 2004-02-27 2005-09-08 Omron Corp Automatic thermometric device and automatic thermometric method
JP2006059015A (en) * 2004-08-18 2006-03-02 Sony Corp Human body detector, human body detection method, and computer program
JP2013543133A (en) * 2010-11-17 2013-11-28 株式会社Easytem Temperature measuring apparatus and temperature measuring method using infrared array sensor
US20120170612A1 (en) * 2010-12-30 2012-07-05 Francesco Pompei Infrared Sensor and Method for Electrical Monitoring
JP2013200137A (en) * 2012-03-23 2013-10-03 Omron Corp Infrared temperature measurement device, infrared temperature measurement method, and infrared temperature measurement device control program
JP2020092349A (en) * 2018-12-06 2020-06-11 株式会社ユピテル System, program, and the like

Also Published As

Publication number Publication date
JP7371645B2 (en) 2023-10-31
WO2022168470A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
US10116885B2 (en) Systems and approaches for repeated thermal imaging determinations
WO2021196360A1 (en) Temperature measurement method and system
US10979694B2 (en) Information processing apparatus, method, and storage medium
Shetty et al. Detection and tracking of a human using the infrared thermopile array sensor—“Grid-EYE”
Budzan et al. Face and eyes localization algorithm in thermal images for temperature measurement of the inner canthus of the eyes
Muñoz et al. Environmental applications of camera images calibrated by means of the Levenberg–Marquardt method
Park et al. Child body shape measurement using depth cameras and a statistical body shape model
TW201928868A (en) Thermal image processing system and method
CN113834571A (en) Target temperature measurement method, device and temperature measurement system
JP2018066712A (en) Measuring device
WO2016135856A1 (en) Three-dimensional shape measurement system and measurement method for same
KR102037999B1 (en) Themal image surveillance system and method of amending body temperature in thermal image using radar measuring distance
Bapat et al. Towards kilo-hertz 6-dof visual tracking using an egocentric cluster of rolling shutter cameras
US20220283043A1 (en) Apparatus and method for measuring body temperature by recognizing the face
Jia et al. 3D depth information extraction with omni-directional camera
US20210307619A1 (en) Fever detection
WO2022168470A1 (en) Surface temperature measurement system and surface temperature measurement method
JP5727969B2 (en) Position estimation apparatus, method, and program
Yang et al. Effect of field of view on the accuracy of camera calibration
JP2008236276A (en) Camera apparatus
JP2015129710A (en) Non-contact temperature measurement method and non-contact temperature measurement device
CN115855274A (en) Infrared temperature measurement correction method and device based on face recognition
KR20220036418A (en) Apparatus, method and computer program for correcting temperature of object
US20220330835A1 (en) Hybrid body temperature measurement system and method thereof
Soleimanijavid et al. Smart Low-cost Thermal Imaging Acquisition Towards Personal Comfort Prediction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R150 Certificate of patent or registration of utility model

Ref document number: 7371645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150