JP2022118511A - Surface temperature measuring system and surface temperature measuring method - Google Patents
Surface temperature measuring system and surface temperature measuring method Download PDFInfo
- Publication number
- JP2022118511A JP2022118511A JP2021015083A JP2021015083A JP2022118511A JP 2022118511 A JP2022118511 A JP 2022118511A JP 2021015083 A JP2021015083 A JP 2021015083A JP 2021015083 A JP2021015083 A JP 2021015083A JP 2022118511 A JP2022118511 A JP 2022118511A
- Authority
- JP
- Japan
- Prior art keywords
- thermal sensor
- surface temperature
- measured
- distance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000003287 optical effect Effects 0.000 claims abstract description 57
- 238000006073 displacement reaction Methods 0.000 claims abstract description 12
- 238000009529 body temperature measurement Methods 0.000 claims description 64
- 238000005259 measurement Methods 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000002366 time-of-flight method Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radiation Pyrometers (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
Description
本発明は、非接触により表面温度を測定するための技術に関する。 The present invention relates to techniques for non-contact surface temperature measurement.
COVID-19の影響により、非接触による体温測定の需要が増加している。従来、空港等ではボロメータ方式によるサーモグラフィが利用されていたが、このシステムは非常に高価であるため、商業施設やオフィス等で導入することは難しい。そこで、商業施設やオフィス等の用途では、サーモパイル方式のサーマルセンサを用いた表面温度測定システムが広く利用されている(特許文献1参照)。 Due to the impact of COVID-19, the demand for contactless body temperature measurement is increasing. Conventionally, bolometer-type thermography has been used in airports and the like, but this system is very expensive and difficult to introduce in commercial facilities, offices, and the like. Therefore, in applications such as commercial facilities and offices, a surface temperature measurement system using a thermopile type thermal sensor is widely used (see Patent Document 1).
サーモパイル方式のサーマルセンサは、画素の大きさの影響やレンズの影響により、センサと測定対象物(顔等)の相対位置に依存して出力される温度が変わる、という課題がある。このような課題を解決する方策として、特許文献1では、TOFセンサにより測定対象物までの距離を測定し、距離に基づいてサーマルセンサの出力温度を補正するというアイデアが提案されている。しかし特許文献1の方策にも次に述べるような課題が残る。
A thermopile-type thermal sensor has a problem that the output temperature changes depending on the relative position between the sensor and the measurement object (face, etc.) due to the influence of the size of the pixels and the influence of the lens. As a measure to solve such a problem,
本発明者らが実験を実施したところ、サーマルセンサの出力温度は、センサと測定対象物の間の光軸方向の距離だけでなく、光軸に対する測定対象物の位置ずれ量にも依存して変化することが判ってきた。すなわち、測定対象物が光軸上に存在する場合は正確な測定値が得られるが、測定対象物が光軸から離れると測定値が変動するのである。特許文献1の方策では、光軸に対する測定対象物の位置ずれは考慮されていないため、補正精度に限界があり、正確な表面温度を得ることができないケースがある。
According to experiments conducted by the present inventors, the output temperature of the thermal sensor depends not only on the distance between the sensor and the object to be measured in the direction of the optical axis, but also on the amount of displacement of the object to be measured with respect to the optical axis. It has been found to change. That is, an accurate measurement value can be obtained when the measurement object exists on the optical axis, but the measurement value fluctuates when the measurement object separates from the optical axis. Since the method of
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、サーモパイル方式のサーマルセンサを用いて物体の表面温度をより正確に測定可能な技術を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of more accurately measuring the surface temperature of an object using a thermopile type thermal sensor.
本開示は、測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサと、前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正する処理ユニットと、を備えることを特徴とする表面温度測定システムを含む。このような構成を採用することによって、サーモパイル方式のセンサを利用しつつも、測定対象物の表面温度を精度良く測定可能なシステムを実現することができる。 The present disclosure includes a thermopile-type thermal sensor that measures the surface temperature of an object to be measured, a distance between the thermal sensor and the object to be measured in the optical axis direction of the thermal sensor, and and a processing unit that corrects the measurement value of the thermal sensor based on the amount of positional deviation of the object to be measured. By adopting such a configuration, it is possible to realize a system capable of accurately measuring the surface temperature of an object to be measured while using a thermopile type sensor.
前記サーマルセンサと共通の視野を有するカメラをさらに備え、前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、前記カメラで撮影された画像を解
析することによって前記測定対象物の距離を求めてもよい。前記処理ユニットは、物体検出処理によって前記画像から前記測定対象物を検出し、前記画像上の検出サイズに基づいて前記測定対象物の距離を求めてもよい。
A camera having a common field of view with the thermal sensor may be further provided, and the processing unit may determine the displacement amount of the measurement object with respect to the optical axis by analyzing an image captured by the camera. The processing unit may detect the measurement object from the image by object detection processing, and obtain a positional deviation amount of the measurement object with respect to the optical axis based on the detected position on the image. The processing unit may determine the distance of the measurement object by analyzing images captured by the camera. The processing unit may detect the measurement object from the image by object detection processing, and obtain the distance of the measurement object based on the detected size on the image.
前記サーマルセンサと共通の視野を有するカメラをさらに備え、前記処理ユニットは、前記カメラで撮影された画像と前記サーマルセンサから出力された測定値を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正してもよい。 A camera having a common field of view with the thermal sensor is further provided, and the processing unit receives as input the image captured by the camera and the measured value output from the thermal sensor, and measures the distance and displacement of the measurement object. The thermal sensor readings may be corrected using AI that has been machine-learned to make corrections based on quantity.
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出位置に基づいて前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。前記処理ユニットは、前記温度分布画像を解析することによって前記測定対象物の距離を求めてもよい。前記処理ユニットは、物体検出処理によって前記温度分布画像から前記測定対象物を検出し、前記温度分布画像上の検出サイズに基づいて前記測定対象物の距離を求めてもよい。 The processing unit may obtain the positional deviation amount of the measurement object with respect to the optical axis by analyzing the temperature distribution image output from the thermal sensor. The processing unit may detect the measurement object from the temperature distribution image by object detection processing, and obtain a positional deviation amount of the measurement object with respect to the optical axis based on the detected position on the temperature distribution image. . The processing unit may obtain the distance of the measurement object by analyzing the temperature distribution image. The processing unit may detect the measurement object from the temperature distribution image by object detection processing, and obtain the distance of the measurement object based on the detected size on the temperature distribution image.
前記処理ユニットは、前記サーマルセンサから出力される温度分布画像を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正してもよい。 The processing unit uses machine-learned AI to perform correction according to the distance and the positional deviation amount of the measurement object when given as an input the temperature distribution image output from the thermal sensor. may be corrected.
前記サーマルセンサと共通の視野を有するTOFセンサをさらに備え、前記処理ユニットは、前記TOFセンサで得られる距離画像を解析することによって、前記測定対象物の距離、及び、前記光軸に対する前記測定対象物の位置ずれ量を求めてもよい。 A TOF sensor having a common field of view with the thermal sensor is further provided, and the processing unit analyzes a distance image obtained by the TOF sensor to determine the distance of the measurement object and the measurement object relative to the optical axis. A positional deviation amount of an object may be obtained.
本開示は、サーモパイル方式のサーマルセンサにより、測定対象物の表面温度を測定するステップと、前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正するステップと、を含むことを特徴とする表面温度測定方法を含む。 The present disclosure includes a step of measuring the surface temperature of an object to be measured using a thermopile type thermal sensor, a distance between the thermal sensor and the object to be measured in the optical axis direction of the thermal sensor, and and correcting the measured value of the thermal sensor based on the amount of positional deviation of the object to be measured with respect to the optical axis.
本発明は、上記手段の少なくとも一部を有する表面温度測定システムとして捉えてもよいし、上記処理の少なくとも一部を含む表面温度測定方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 The present invention may be regarded as a surface temperature measurement system having at least part of the above means, a surface temperature measurement method including at least part of the above processing, or a program for realizing such a method or its program. It can also be regarded as a recorded recording medium. It should be noted that each of the means and processes described above can be combined with each other as much as possible to constitute the present invention.
本発明によれば、サーモパイル方式のサーマルセンサを用いて物体の表面温度をより正確に測定可能な技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which can measure the surface temperature of an object more correctly using a thermopile type thermal sensor can be provided.
<適用例>
図1を参照して、本発明の適用例の一つについて説明する。図1は、主な使用例として、感染症予防のために、商業施設やオフィスの入口に設置し入場者の体温を非接触で測定するためのシステムに本発明を適用した場合の構成例を示す。
<Application example>
One application example of the present invention will be described with reference to FIG. Fig. 1 shows a configuration example of the present invention applied to a system installed at the entrance of a commercial facility or office to measure the body temperature of visitors without contact, as a main example of use for the prevention of infectious diseases. show.
表面温度測定システム1は、サーモパイル方式のサーマルセンサを用いて測定対象物の表面温度を測定し、その測定結果を表示するシステムである。サーモパイル方式のサーマルセンサは、センサと測定対象物の相対位置に依存して測定値が変動する特性があるため、従来は測定精度に限界があった。そこで本システム1では、「サーマルセンサの光軸方向における、サーマルセンサと測定対象物の間の距離」と「サーマルセンサの光軸に対する測定対象物の位置ずれ量」を取得し、「距離」と「位置ずれ量」の両方に基づいてサーマルセンサの測定値を補正する。このような構成を採用することによって、サーモパイル方式のセンサを利用しつつも、測定対象物の表面温度を精度良く測定可能なシステムを実現することができる。したがって、低価格のシステムを提供することが可能となり、商業施設やオフィスをはじめとする様々な場所への導入や、途上国などへの普及を促進することができる。
The surface
なお、図1では、ヒトの体温測定を例示したが、本発明の適用範囲はこれに限られない。例えば、ヒト以外の生物(動植物など)の表面温度の測定、機械、建造物、製造物などの一般物体の表面温度の測定などにも本発明に係るシステムを適用可能である。 Note that FIG. 1 exemplifies the measurement of human body temperature, but the scope of application of the present invention is not limited to this. For example, the system according to the present invention can be applied to the measurement of the surface temperature of living organisms other than humans (animals and plants), the measurement of the surface temperature of general objects such as machines, buildings, and products.
<第1実施形態>
図2及び図3に、第1実施形態の表面温度測定システム1の構成例を示す。図2は、第1実施形態の表面温度測定システム1の外観を示す斜視図であり、図3は、第1実施形態の表面温度測定システム1のハードウエア構成を示すブロック図である。
<First Embodiment>
2 and 3 show a configuration example of the surface
表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、カメラ(画像センサ)11、処理ユニット12、表示装置13を有する。表面温度測定システム1は、専用デバイスとして設計されたものでもよいし、カメラを具備する汎用のコンピュータ装置(スマートフォン、タブレット、ノートパソコン等)にサーマルセンサ10を接続して構成されたものでもよい。
The surface
サーマルセンサ10とカメラ11は、互いの光軸が平行(実質的に平行である状態も含む)になるように設置され、共通の視野を有している。なおサーマルセンサ10とカメラ11の視野は完全一致している必要はなく、少なくとも一部(測定対象物が存在し得る範囲を包含するエリア)が重なっていればよい。以後の説明において、サーマルセンサ10及びカメラ11の光軸方向をz方向(奥行方向)といい、光軸に垂直な平面における横方向・縦方向をそれぞれx方向・y方向という。
The
(サーマルセンサ)
図4は、サーマルセンサ10の構成を模式的に示す断面図である。
(thermal sensor)
FIG. 4 is a cross-sectional view schematically showing the configuration of the
サーマルセンサ10は、赤外線センサであり、測定対象物からの放射熱エネルギー(赤外線)を集光するための光学系40と、赤外線を電気エネルギーに変換するサーモパイルチップ41と、サーモパイルチップ41から出力される電圧信号を増幅、AD変換し、温度データを出力する処理回路42とを有する。サーモパイルチップ41は、MEMS素子であり、複数の熱電対が2次元アレイ状に配置された構造を有する。
The
本実施形態では、例えば、x方向,y方向の視野角がそれぞれ90°,90°であり、x方向×y方向の分解能が32ピクセル×32ピクセルの性能をもつサーマルセンサ10が用いられる。すなわち、サーマルセンサ10から出力される温度データは、32×32の2次元画像(温度分布を表す画像)となる。なお、視野角及び分解能については、システム1のアプリケーションにあわせて適宜設計すればよい。
In this embodiment, for example, the
(カメラ)
カメラ11は、光学像を撮影するためのカメラである。例えば、CCDやCMOSなどの撮像素子を用いた高解像のカメラが用いられる。
(camera)
(処理ユニット)
処理ユニット12は、表面温度測定システム1全体の制御、各種の信号処理や画像処理、測定結果の出力処理などを実行するデバイスである。処理ユニット12は、例えば、汎用のプロセッサ(CPU等)とメモリから構成してもよいし、専用のプロセッサ(ASIC等)で構成してもよい。
(processing unit)
The
(表示装置)
表示装置13は、測定結果(すなわち測定対象物の表面温度)等の情報を出力するためのデバイスである。例えば、液晶ディスプレイや有機ELディスプレイが用いられる。
(Display device)
The
(機能構成)
図5は、第1実施形態の表面温度測定システム1の機能構成を示すブロック図である。
(Functional configuration)
FIG. 5 is a block diagram showing the functional configuration of the surface
表面温度測定システム1は、機能構成として、温度データ取得部50、画像データ取得部51、対象物検出部52、距離計算部53、位置ずれ計算部54、温度補正部55、情報出力部56を有する。これらの機能は、処理ユニット12によって提供される。例えば処理ユニット12が汎用のプロセッサで構成される場合には、メモリに格納されたプログ
ラムをプロセッサが読み出し実行することで、これらの機能が実現される。なお、図5の示す機能の一部をクラウドサーバによって実現してもよい。
The surface
(表面温度測定方法)
図6は、第1実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。
(Surface temperature measurement method)
FIG. 6 is a flow chart showing the flow of surface temperature measurement processing by the surface
ステップS60では、温度データ取得部50が、サーマルセンサ10から温度データを取得する。ここで取得される温度データは、例えば、32×32の2次元画像であり、各画素の値がサーマルセンサ10の測定値(表面温度)を表している。
In step S<b>60 , the temperature
ステップS61では、画像データ取得部51が、カメラ11から画像データを取得する。ここで取得される画像データは、光学画像であり、例えば、32×32の2次元RGB画像である。本実施形態では、説明を簡単にするため、サーマルセンサ10とカメラ11の視野及び解像度が一致している(つまり、温度データの画素(x,y)と画像データの画素(x,y)が測定対象物の同じ点を表す。)と仮定する。もし両者の視野及び/又は解像度が異なる場合には、画像データ取得部51が、サーマルセンサ10の温度データに合わせて、画像データの解像度変換やトリミング(クロッピング)を行えばよい。
In step S<b>61 , the image
なお、図6では、温度データの取り込みの後に画像データの取り込みを実行しているが、取り込みの順番は逆でもよいし、並列処理で取り込んでもよい。温度データと画像データは同じ時刻もしくは出来る限り近いタイミングで測定されたデータであることが望ましい。 In FIG. 6, the image data is captured after the temperature data is captured, but the order of capturing may be reversed or the data may be captured in parallel. It is desirable that the temperature data and the image data are data measured at the same time or at timings as close as possible.
ステップS62では、対象物検出部52が、画像データを解析し、画像のなかから測定対象物を検出する。例えば人の体温測定が目的である場合は、顔の表面温度から体温を推定する方法がよく実施されている。そこで、顔検出アルゴリズムや人体検出アルゴリズムなどに代表される物体検出処理を利用して、測定対象物としての「顔」を検出すればよい。図7は、顔70の検出例を示している。対象物検出部52の検出結果として、顔70を囲む検出枠71の中心点の座標(xc,yc)とサイズ(w,h)が出力される。座標(xc,yc)が画像上の検出位置を表し、サイズ(w,h)が画像上の検出サイズを表す。図8は、センサの光軸及び視野と測定対象物の位置関係を例示する図である。
In step S62, the
ステップS63では、距離計算部53が、画像上の検出サイズ(w,h)に基づいて、サーマルセンサ10から測定対象物までの光軸方向の距離を計算する。被写体の画像上のサイズは、カメラ11と被写体の間の距離に依存し、距離が近いほど画像上のサイズは大きく、逆に距離が遠いほど画像上のサイズは小さくなる。したがって、被写体の実際の大きさとカメラ11の光学系及び撮像素子のスペックがわかれば、画像上の検出サイズをカメラ11と被写体の間の距離に換算することが可能である。そして、カメラ11とサーマルセンサ10は近接して配置されているため、カメラ11と被写体の間の距離はサーマルセンサ10と被写体の間の距離とみなしてよい(仮に、サーマルセンサ10とカメラ11の設置位置が離れている場合は、サーマルセンサ10とカメラ11の相対的な位置関係に基づいて、カメラ11と被写体の間の距離からサーマルセンサ10と被写体の間の距離を計算すればよい。)。
In step S63, the
例えば、成人の平均的な顔の大きさを仮定して、予め、画像上のサイズを距離に換算するためのLUT又は関数を用意しておけば、距離計算部53は、ステップS62で得られた検出サイズ(w,h)をLUT又は関数に代入するだけで容易に距離を求めることができる。なお、性別(男性/女性)や年代(子供/大人)によって平均的な顔の大きさが異なるため、LUT又は関数を複数種類用意しておき、対象物検出部52によって性別推定
や年代推定を行い、その推定結果に基づいて距離計算に使用するLUT又は関数を変えてもよい。これにより距離の推定精度を向上することができる。
For example, assuming the average face size of an adult, if a LUT or function for converting the size on the image into a distance is prepared in advance, the
ステップS64では、位置ずれ計算部54が、画像上の検出位置(xc,yc)に基づいて、サーマルセンサ10の光軸に対する測定対象物の位置ずれ量を計算する。被写体が光軸上に存在すれば、被写体は画像の中心にあり、被写体が光軸から離れるほど画像の中心から離れる。したがって、カメラ11の光学系及び撮像素子のスペックがわかっていれば、画像上の検出位置を光軸に対する位置ずれ量に換算することが可能である。そして、カメラ11とサーマルセンサ10は近接し且つ光軸が平行になるように配置されているため、カメラ11の光軸に対する位置ずれ量はサーマルセンサ10の光軸に対する位置ずれ量とみなしてよい(仮に、サーマルセンサ10とカメラ11の設置位置が離れているか、光軸が平行でない場合は、サーマルセンサ10とカメラ11の相対的な位置関係に基づいて、カメラ11の光軸に対する位置ずれ量からサーマルセンサ10の光軸に対する位置ずれ量を計算すればよい。)。なお、位置ずれ量の計算のためにサーマルセンサ10と測定対象物の間の距離が必要な場合は、距離計算部53の計算結果を利用すればよい。
In step S64, the
ステップS65では、温度補正部55が、ステップS63で計算した「距離」とステップS64で計算した「位置ずれ量」に基づいて、ステップS60で得られた温度データを補正する。サーモパイル式のサーマルセンサの特性として、サーマルセンサから測定対象物までの距離が遠いほど測定値が小さくなる傾向がある。また、サーマルセンサの光軸からの位置ずれ量が大きいほど測定値が小さくなる傾向もある。したがって、温度補正部55は、距離が遠いほど温度を高くし、且つ、位置ずれ量が大きいほど温度を高くするように、サーマルセンサ10の温度データ(測定値)を修正するとよい。
In step S65, the
例えば、温度補正部55は、「距離」と「位置ずれ量」の組み合わせに対する「補正量」が定義されたLUTや、「距離」と「位置ずれ量」から「補正量」を算出する関数などを用いて、温度データの補正処理を行えばよい。LUTや関数は、サーマルセンサ10を用いた測定実験の結果から作成してもよいし、サーマルセンサ10の特性に基づいて理論的に作成したものでもよい。
For example, the
ステップS66では、情報出力部56が、補正温度データを表示装置13に出力する。図9Aに示す出力例では、ステップS61で取り込まれた画像データの上に、ステップS62の検出結果(検出枠)とステップS65で補正された温度が重畳表示されている。図9Bのように画像から複数の測定対象物(本例では顔)が検出された場合には、測定対象物ごとに検出枠と補正温度が表示されてもよい。
In step S<b>66 , the
以上述べた構成によれば、測定対象物の「距離」と「位置ずれ量」の両方に基づいてサーマルセンサ10の測定値を補正するので、従来よりも精度の良い測定結果を得ることができる。
According to the configuration described above, the measurement value of the
<第2実施形態>
第2実施形態では、AI(人工知能)を用いてサーマルセンサ10の測定値を補正する。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
<Second embodiment>
In the second embodiment, AI (artificial intelligence) is used to correct the measured value of the
図10に第2実施形態の表面温度測定システム1の機能構成の一例を示す。本実施形態の表面温度測定システム1は、機能構成として、温度データ取得部50、画像データ取得部51、温度補正部100、情報出力部56を有する。第1実施形態とは温度補正部100の構成のみ相違する。
FIG. 10 shows an example of the functional configuration of the surface
温度補正部100は、画像データと温度データを入力として与えると、測定対象物の「距離」及び「位置ずれ量」に応じて補正された補正温度データを出力するように機械学習された学習済みモデル101を有する。機械学習手法やモデルの構造はどのようなものを用いてもよく、例えば、ディープニューラルネットワークを用いてもよい。学習フェーズにおいては、「カメラで撮影された画像データ」と「サーマルセンサから出力された測定値からなる温度データ」と「真値の温度データ」からなる学習データを用いて機械学習が行われるとよい。
The
図11は、第2実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60~S61の処理は第1実施形態(図6)と同じである。ステップS110では、温度補正部100が、ステップS60で取得した温度データとステップS61で取得した画像データを学習済みモデルに入力して、補正温度データを得る。ステップS66の処理は第1実施形態(図6)と同じである。
FIG. 11 is a flow chart showing the flow of surface temperature measurement processing by the surface
<第3実施形態>
第1実施形態では、カメラ11から得られた光学画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求めたのに対し、第3実施形態では、サーマルセンサ10から出力される温度分布画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求める。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
<Third embodiment>
In the first embodiment, the "distance" and "positional deviation amount" of the object to be measured are obtained by analyzing the optical image obtained from the
図12及び図13に、第3実施形態の表面温度測定システム1の構成例を示す。図12は、第3実施形態の表面温度測定システム1のハードウエア構成を示すブロック図であり、図13は、第3実施形態の表面温度測定システム1の機能構成を示すブロック図である。
12 and 13 show a configuration example of the surface
本実施形態の表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、処理ユニット12、表示装置13を有する。また、表面温度測定システム1は、機能構成として、温度データ取得部50、対象物検出部130、距離計算部131、位置ずれ計算部132、温度補正部55、情報出力部56を有する。第1実施形態との違いは、カメラが必須の構成でない点、距離及び位置ずれの計算に温度データ(温度分布画像)を用いる点である。
The surface
図14は、第3実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60の処理は第1実施形態(図6)と同じである。ステップS140では、対象物検出部130が、ステップS60で取得した温度分布画像を解析し、画像のなかから測定対象物を検出する。一般に、顔や人体の部分は背景に比べて温度が高いため、例えばシルエット検出などのアルゴリズムを用いることによって、温度分布画像から顔や人体を検出可能である。ステップS141では、距離計算部131が、温度分布画像上の検出サイズに基づいて、サーマルセンサ10から測定対象物までの光軸方向の距離を計算する。ステップS142では、位置ずれ計算部132が、温度分布画像上の検出位置に基づいて位置ずれ量を計算する。なお、距離及び位置ずれ量の具体的な計算方法は第1実施形態で述べた方法と同じでよい。ステップS65~S66の処理は第1実施形態と同じである。
FIG. 14 is a flow chart showing the flow of surface temperature measurement processing by the surface
本実施形態の構成によっても、従来よりも精度良い温度測定が可能となる。しかも、本実施形態の構成ではカメラが必須構成でなくなるため、第1実施形態よりも装置構成がシンプルとなり低コスト化も図ることができる。 The configuration of this embodiment also enables temperature measurement with higher accuracy than the conventional one. Moreover, since the camera is not an essential component in the configuration of this embodiment, the device configuration is simpler than in the first embodiment, and the cost can be reduced.
<第4実施形態>
第1実施形態では、カメラ11から得られた光学画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求めたのに対し、第4実施形態では、TOFセンサで得られる距離画像を解析することによって測定対象物の「距離」と「位置ずれ量」を求める。以下では、第1実施形態と異なる構成を主に説明し、第1実施形態と共通する構成については説明を割愛する。
<Fourth Embodiment>
In the first embodiment, the "distance" and "positional deviation amount" of the object to be measured are obtained by analyzing the optical image obtained from the
図15及び図16に、第4実施形態の表面温度測定システム1の構成例を示す。図15は、第4実施形態の表面温度測定システム1のハードウエア構成を示すブロック図であり、図16は、第4実施形態の表面温度測定システム1の機能構成を示すブロック図である。
15 and 16 show a configuration example of the surface
本実施形態の表面温度測定システム1は、主なハードウエア構成として、サーモパイル方式のサーマルセンサ10、TOFセンサ150、処理ユニット12、表示装置13を有する。また、表面温度測定システム1は、機能構成として、温度データ取得部50、距離画像取得部160、対象物検出部161、距離計算部162、位置ずれ計算部163、温度補正部55、情報出力部56を有する。第1実施形態との違いは、カメラが必須の構成でない点、TOFセンサを有する点、距離及び位置ずれの計算に距離画像を用いる点である。
The surface
図17は、第4実施形態の表面温度測定システム1による表面温度測定処理の流れを示すフローチャートである。ステップS60の処理は第1実施形態(図6)と同じである。ステップS170では、距離画像取得部160が、TOFセンサ150から距離画像データを取得する。ここで取得される距離画像データは、例えば、1024×1024の2次元画像であり、各画素の値がTOFセンサ150から被写体までの距離を表している。TOFセンサ150としては、直接TOF法のセンサを用いてもよいし、間接TOF法のセンサを用いてもよい。ステップS171では、対象物検出部161が、ステップS170で取得した距離画像を解析し、画像のなかから測定対象物を検出する。例えばシルエット検出や点群クラスタリングなどのアルゴリズムを用いることによって、距離画像から顔や人体を検出可能である。ステップS172では、距離計算部162が、サーマルセンサ10から測定対象物までの光軸方向の距離を距離画像から抽出する。ステップS173では、位置ずれ計算部163が、距離画像上の検出位置に基づいて位置ずれ量を計算する。なお、位置ずれ量の具体的な計算方法は第1実施形態で述べた方法と同じでよい。ステップS65~S66の処理は第1実施形態と同じである。
FIG. 17 is a flow chart showing the flow of surface temperature measurement processing by the surface
本実施形態の構成によっても、従来よりも精度良い温度測定が可能となる。しかも、本実施形態の構成ではTOFセンサを用いるため、センサと測定対象物の間の距離を正確に知ることができ、距離による温度補正の精度を向上することができる。 The configuration of this embodiment also enables temperature measurement with higher accuracy than the conventional one. Moreover, since the TOF sensor is used in the configuration of this embodiment, the distance between the sensor and the object to be measured can be accurately known, and the accuracy of temperature correction based on the distance can be improved.
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。上述した実施形態の構成や処理を適宜組み合わせてもよい。例えば、第3実施形態の構成に第2実施形態の学習済みモデルを適用してもよい。この場合、サーマルセンサから出力される温度分布画像を学習済みモデルに入力すると、測定対象物の距離及び位置ずれ量に応じた補正がされた補正温度分布画像が出力されるとよい。さらには、第4実施形態の構成に第2実施形態の学習済みモデルを適用してもよい。この場合、サーマルセンサから出力される温度データとTOFセンサから出力される距離画像データを学習済みモデルに入力すると、測定対象物の距離及び位置ずれ量に応じた補正がされた補正温度データが出力されるとよい。
<Others>
The above-described embodiment is merely an exemplary description of a configuration example of the present invention. The present invention is not limited to the specific forms described above, and various modifications are possible within the technical scope of the present invention. The configurations and processes of the above-described embodiments may be combined as appropriate. For example, the trained model of the second embodiment may be applied to the configuration of the third embodiment. In this case, when the temperature distribution image output from the thermal sensor is input to the learned model, a corrected temperature distribution image that has been corrected according to the distance and the amount of positional deviation of the object to be measured may be output. Furthermore, the trained model of the second embodiment may be applied to the configuration of the fourth embodiment. In this case, when the temperature data output from the thermal sensor and the distance image data output from the TOF sensor are input to the learned model, the corrected temperature data corrected according to the distance and positional deviation amount of the object to be measured is output. should be.
<付記1>
(1) 測定対象物の表面温度を測定するサーモパイル方式のサーマルセンサ(10)と、
前記サーマルセンサ(10)の光軸方向における前記サーマルセンサ(10)と前記測定対象物の間の距離、及び、前記サーマルセンサ(10)の光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサ(10)の測定値を補正する処理ユニット(12)と、
を備えることを特徴とする表面温度測定システム(1)。
<
(1) a thermopile-type thermal sensor (10) for measuring the surface temperature of an object to be measured;
Based on the distance between the thermal sensor (10) and the object to be measured in the optical axis direction of the thermal sensor (10) and the amount of displacement of the object to be measured with respect to the optical axis of the thermal sensor (10) , a processing unit (12) for correcting the measurements of said thermal sensor (10);
A surface temperature measurement system (1), characterized in that it comprises:
(2) サーモパイル方式のサーマルセンサ(10)により、測定対象物の表面温度を測定するステップ(S60)と、
前記サーマルセンサ(10)の光軸方向における前記サーマルセンサ(10)と前記測定対象物の間の距離、及び、前記サーマルセンサ(10)の光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサ(10)の測定値を補正するステップ(S65)と、
を含むことを特徴とする表面温度測定方法。
(2) a step of measuring the surface temperature of the object to be measured with a thermopile-type thermal sensor (10) (S60);
Based on the distance between the thermal sensor (10) and the object to be measured in the optical axis direction of the thermal sensor (10) and the amount of displacement of the object to be measured with respect to the optical axis of the thermal sensor (10) , a step (S65) of correcting the measured value of the thermal sensor (10);
A surface temperature measuring method comprising:
1:表面温度測定システム
10:サーマルセンサ
11:カメラ
12:処理ユニット
13:表示装置
40:光学系
41:サーモパイルチップ
42:処理回路
70:顔
71:検出枠
150:TOFセンサ
1: Surface temperature measurement system 10: Thermal sensor 11: Camera 12: Processing unit 13: Display device 40: Optical system 41: Thermopile chip 42: Processing circuit 70: Face 71: Detection frame 150: TOF sensor
Claims (13)
前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正する処理ユニットと、
を備えることを特徴とする表面温度測定システム。 a thermopile-type thermal sensor that measures the surface temperature of an object to be measured;
The measured value of the thermal sensor is corrected based on the distance between the thermal sensor and the object to be measured in the direction of the optical axis of the thermal sensor and the displacement amount of the object to be measured with respect to the optical axis of the thermal sensor. a processing unit to
A surface temperature measurement system comprising:
前記処理ユニットは、前記カメラで撮影された画像を解析することによって前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。 further comprising a camera having a common field of view with the thermal sensor;
2. The surface temperature measurement system according to claim 1, wherein the processing unit obtains the amount of positional deviation of the object to be measured with respect to the optical axis by analyzing the image captured by the camera.
ことを特徴とする請求項2に記載の表面温度測定システム。 3. The processing unit detects the object to be measured from the image by object detection processing, and obtains the amount of displacement of the object to be measured with respect to the optical axis based on the detected position on the image. 2. The surface temperature measurement system according to 2.
ことを特徴とする請求項2又は3に記載の表面温度測定システム。 4. The surface temperature measurement system according to claim 2, wherein the processing unit obtains the distance of the measurement object by analyzing the image taken by the camera.
ことを特徴とする請求項4に記載の表面温度測定システム。 5. The surface temperature according to claim 4, wherein the processing unit detects the measurement object from the image by object detection processing, and obtains the distance of the measurement object based on the detected size on the image. measurement system.
前記処理ユニットは、前記カメラで撮影された画像と前記サーマルセンサから出力された測定値を入力として与えると前記測定対象物の距離及び位置ずれ量に応じた補正を行うように機械学習されたAIを用いて、前記サーマルセンサの測定値を補正する
ことを特徴とする請求項1に記載の表面温度測定システム。 further comprising a camera having a common field of view with the thermal sensor;
The processing unit is an AI machine-learned so as to perform correction according to the distance and the positional deviation amount of the measurement object when given as input the image captured by the camera and the measurement value output from the thermal sensor. 2. The surface temperature measurement system according to claim 1, wherein the measured value of said thermal sensor is corrected using .
ことを特徴とする請求項1に記載の表面温度測定システム。 2. The surface temperature measurement system according to claim 1, wherein the processing unit obtains the amount of positional deviation of the object to be measured with respect to the optical axis by analyzing the temperature distribution image output from the thermal sensor.
ことを特徴とする請求項7に記載の表面温度測定システム。 The processing unit detects the object to be measured from the temperature distribution image by object detection processing, and obtains a displacement amount of the object to be measured with respect to the optical axis based on the detected position on the temperature distribution image. 8. The surface temperature measurement system according to claim 7.
ことを特徴とする請求項7又は8に記載の表面温度測定システム。 9. The surface temperature measurement system according to claim 7, wherein the processing unit obtains the distance of the measurement object by analyzing the temperature distribution image.
ことを特徴とする請求項9に記載の表面温度測定システム。 10. The method according to claim 9, wherein the processing unit detects the measurement object from the temperature distribution image by object detection processing, and obtains the distance of the measurement object based on the detected size on the temperature distribution image. A surface temperature measurement system as described.
Iを用いて、前記サーマルセンサの測定値を補正する
ことを特徴とする請求項1に記載の表面温度測定システム。 The processing unit is machine-learned to perform correction according to the distance and positional deviation amount of the measurement object when given as an input the temperature distribution image output from the thermal sensor.
2. The surface temperature measurement system of claim 1, wherein I is used to correct the thermal sensor measurements.
前記処理ユニットは、前記TOFセンサで得られる距離画像を解析することによって、前記測定対象物の距離、及び、前記光軸に対する前記測定対象物の位置ずれ量を求める
ことを特徴とする請求項1に記載の表面温度測定システム。 further comprising a TOF sensor having a common field of view with the thermal sensor;
2. The processing unit obtains the distance of the object to be measured and the amount of displacement of the object to be measured with respect to the optical axis by analyzing the distance image obtained by the TOF sensor. The surface temperature measurement system according to .
前記サーマルセンサの光軸方向における前記サーマルセンサと前記測定対象物の間の距離、及び、前記サーマルセンサの光軸に対する前記測定対象物の位置ずれ量に基づいて、前記サーマルセンサの測定値を補正するステップと、
を含むことを特徴とする表面温度測定方法。 a step of measuring the surface temperature of the object to be measured with a thermopile type thermal sensor;
The measured value of the thermal sensor is corrected based on the distance between the thermal sensor and the object to be measured in the direction of the optical axis of the thermal sensor and the displacement amount of the object to be measured with respect to the optical axis of the thermal sensor. and
A surface temperature measuring method comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021015083A JP7371645B2 (en) | 2021-02-02 | 2021-02-02 | Surface temperature measurement system and surface temperature measurement method |
PCT/JP2021/047136 WO2022168470A1 (en) | 2021-02-02 | 2021-12-20 | Surface temperature measurement system and surface temperature measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021015083A JP7371645B2 (en) | 2021-02-02 | 2021-02-02 | Surface temperature measurement system and surface temperature measurement method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022118511A true JP2022118511A (en) | 2022-08-15 |
JP7371645B2 JP7371645B2 (en) | 2023-10-31 |
Family
ID=82742217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021015083A Active JP7371645B2 (en) | 2021-02-02 | 2021-02-02 | Surface temperature measurement system and surface temperature measurement method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7371645B2 (en) |
WO (1) | WO2022168470A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005237861A (en) * | 2004-02-27 | 2005-09-08 | Omron Corp | Automatic thermometric device and automatic thermometric method |
JP2006059015A (en) * | 2004-08-18 | 2006-03-02 | Sony Corp | Human body detector, human body detection method, and computer program |
US20120170612A1 (en) * | 2010-12-30 | 2012-07-05 | Francesco Pompei | Infrared Sensor and Method for Electrical Monitoring |
JP2013200137A (en) * | 2012-03-23 | 2013-10-03 | Omron Corp | Infrared temperature measurement device, infrared temperature measurement method, and infrared temperature measurement device control program |
JP2013543133A (en) * | 2010-11-17 | 2013-11-28 | 株式会社Easytem | Temperature measuring apparatus and temperature measuring method using infrared array sensor |
JP2020092349A (en) * | 2018-12-06 | 2020-06-11 | 株式会社ユピテル | System, program, and the like |
-
2021
- 2021-02-02 JP JP2021015083A patent/JP7371645B2/en active Active
- 2021-12-20 WO PCT/JP2021/047136 patent/WO2022168470A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005237861A (en) * | 2004-02-27 | 2005-09-08 | Omron Corp | Automatic thermometric device and automatic thermometric method |
JP2006059015A (en) * | 2004-08-18 | 2006-03-02 | Sony Corp | Human body detector, human body detection method, and computer program |
JP2013543133A (en) * | 2010-11-17 | 2013-11-28 | 株式会社Easytem | Temperature measuring apparatus and temperature measuring method using infrared array sensor |
US20120170612A1 (en) * | 2010-12-30 | 2012-07-05 | Francesco Pompei | Infrared Sensor and Method for Electrical Monitoring |
JP2013200137A (en) * | 2012-03-23 | 2013-10-03 | Omron Corp | Infrared temperature measurement device, infrared temperature measurement method, and infrared temperature measurement device control program |
JP2020092349A (en) * | 2018-12-06 | 2020-06-11 | 株式会社ユピテル | System, program, and the like |
Also Published As
Publication number | Publication date |
---|---|
JP7371645B2 (en) | 2023-10-31 |
WO2022168470A1 (en) | 2022-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10116885B2 (en) | Systems and approaches for repeated thermal imaging determinations | |
WO2021196360A1 (en) | Temperature measurement method and system | |
US10979694B2 (en) | Information processing apparatus, method, and storage medium | |
Shetty et al. | Detection and tracking of a human using the infrared thermopile array sensor—“Grid-EYE” | |
Budzan et al. | Face and eyes localization algorithm in thermal images for temperature measurement of the inner canthus of the eyes | |
Muñoz et al. | Environmental applications of camera images calibrated by means of the Levenberg–Marquardt method | |
Park et al. | Child body shape measurement using depth cameras and a statistical body shape model | |
TW201928868A (en) | Thermal image processing system and method | |
CN113834571A (en) | Target temperature measurement method, device and temperature measurement system | |
JP2018066712A (en) | Measuring device | |
WO2016135856A1 (en) | Three-dimensional shape measurement system and measurement method for same | |
KR102037999B1 (en) | Themal image surveillance system and method of amending body temperature in thermal image using radar measuring distance | |
Bapat et al. | Towards kilo-hertz 6-dof visual tracking using an egocentric cluster of rolling shutter cameras | |
US20220283043A1 (en) | Apparatus and method for measuring body temperature by recognizing the face | |
Jia et al. | 3D depth information extraction with omni-directional camera | |
US20210307619A1 (en) | Fever detection | |
WO2022168470A1 (en) | Surface temperature measurement system and surface temperature measurement method | |
JP5727969B2 (en) | Position estimation apparatus, method, and program | |
Yang et al. | Effect of field of view on the accuracy of camera calibration | |
JP2008236276A (en) | Camera apparatus | |
JP2015129710A (en) | Non-contact temperature measurement method and non-contact temperature measurement device | |
CN115855274A (en) | Infrared temperature measurement correction method and device based on face recognition | |
KR20220036418A (en) | Apparatus, method and computer program for correcting temperature of object | |
US20220330835A1 (en) | Hybrid body temperature measurement system and method thereof | |
Soleimanijavid et al. | Smart Low-cost Thermal Imaging Acquisition Towards Personal Comfort Prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7371645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |