JP2019174299A - Image processing apparatus, imaging device, and movable body - Google Patents

Image processing apparatus, imaging device, and movable body Download PDF

Info

Publication number
JP2019174299A
JP2019174299A JP2018063194A JP2018063194A JP2019174299A JP 2019174299 A JP2019174299 A JP 2019174299A JP 2018063194 A JP2018063194 A JP 2018063194A JP 2018063194 A JP2018063194 A JP 2018063194A JP 2019174299 A JP2019174299 A JP 2019174299A
Authority
JP
Japan
Prior art keywords
subject
image
far
temperature
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018063194A
Other languages
Japanese (ja)
Other versions
JP6927914B2 (en
Inventor
耀恒 蘇
Yao Heng Su
耀恒 蘇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018063194A priority Critical patent/JP6927914B2/en
Publication of JP2019174299A publication Critical patent/JP2019174299A/en
Priority to JP2021129305A priority patent/JP2021183974A/en
Application granted granted Critical
Publication of JP6927914B2 publication Critical patent/JP6927914B2/en
Priority to JP2023048952A priority patent/JP2023095847A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radiation Pyrometers (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Analysis (AREA)

Abstract

To estimate information on the temperature of a subject with high accuracy.SOLUTION: An image processing apparatus 10 comprises an image acquisition unit 17 and a controller 20. The image acquisition unit 17 acquires a far-infrared image. The controller 20 estimates information on the temperature of a subject included in an image in the far-infrared image, on the basis of a subject distance from an imaging position of the far-infrared image to the subject, a predetermined reference distance, information on the temperature of a reference object 15 fixed at a position separated by the reference distance from the imaging position and having a predetermined emissivity, a signal level in the image of the subject in the far-infrared image, and a signal level in an area predetermined as an imaging area of the reference object in the far-infrared image.SELECTED DRAWING: Figure 1

Description

本開示は、画像処理装置、撮像装置、および移動体に関する。   The present disclosure relates to an image processing device, an imaging device, and a moving object.

従来、遠赤外線カメラが、被写体から放出される赤外線を撮像し、撮像した赤外線の強度に基づいて算出される被写体の温度により、歩行者である被写体を抽出することが知られている。遠赤外線カメラによって得られた熱画像から路面の領域を推定し、該路面の温度に基づいて歩行者の取り得る温度を算出することによって、高い精度で歩行者を抽出することが提案されている（例えば、特許文献１参照）。   Conventionally, it is known that a far-infrared camera captures infrared rays emitted from a subject and extracts a subject that is a pedestrian based on the temperature of the subject calculated based on the intensity of the captured infrared rays. It has been proposed to extract a pedestrian with high accuracy by estimating a road surface area from a thermal image obtained by a far-infrared camera and calculating a temperature that the pedestrian can take based on the temperature of the road surface. (For example, refer to Patent Document 1).

特開２０１２−５３７２４号公報JP 2012-53724 A

しかしながら、路面の温度と歩行者の取り得る温度との関係は一定でないことがある。このため、特許文献１に記載の方法では、遠赤外線カメラによって検出された遠赤外線の強度を用いて路面の温度と歩行者の取り得る温度との関係に基づいて、被写体の温度に関する情報を正確に推定することが困難となる。   However, the relationship between the temperature of the road surface and the temperature that a pedestrian can take may not be constant. For this reason, in the method described in Patent Document 1, information on the temperature of the subject is accurately obtained based on the relationship between the temperature of the road surface and the temperature that the pedestrian can take using the intensity of the far infrared ray detected by the far infrared camera. It is difficult to estimate.

本開示は、被写体の温度に関する情報を高い精度で推定する画像処理装置、撮像装置、及び移動体を提供することを目的とする。   An object of the present disclosure is to provide an image processing apparatus, an imaging apparatus, and a moving body that estimate information related to the temperature of a subject with high accuracy.

本開示の一実施形態に係る画像処理装置は、画像取得部と、コントローラと、を備える。前記画像取得部は、遠赤外画像を取得する。前記コントローラは、前記遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの被写体距離と、予め定められている基準距離と、前記撮像位置から前記基準距離離れた位置に固定されている所定の放射率を有する基準物体の温度に関する情報と、前記遠赤外画像内の前記被写体の像における信号レベルと、前記遠赤外画像内で前記基準物体の撮像領域として予め定められている領域における信号レベルとに基づいて、前記被写体の温度に関する情報を推定する。   An image processing apparatus according to an embodiment of the present disclosure includes an image acquisition unit and a controller. The image acquisition unit acquires a far infrared image. The controller includes a subject distance from an imaging position of the far-infrared image to a subject included as an image in the far-infrared image, a predetermined reference distance, and a position away from the imaging position by the reference distance. Information regarding the temperature of a reference object that has a fixed predetermined emissivity, a signal level in the image of the subject in the far-infrared image, and an imaging region of the reference object in the far-infrared image are predetermined. Information on the temperature of the subject is estimated based on the signal level in the area.

本開示の一実施形態に係る撮像装置は、画像処理装置を備える。前記画像処理装置は、画像取得部と、コントローラと、を含む。前記画像取得部は、遠赤外画像を取得する。前記コントローラは、前記遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの被写体距離と、予め定められている基準距離と、前記撮像位置から前記基準距離離れた位置に固定されている所定の放射率を有する基準物体の温度に関する情報と、前記遠赤外画像内の前記被写体の像における信号レベルと、前記遠赤外画像内で前記基準物体の撮像領域として予め定められている領域における信号レベルとに基づいて、前記被写体の温度に関する情報を推定する。   An imaging device according to an embodiment of the present disclosure includes an image processing device. The image processing apparatus includes an image acquisition unit and a controller. The image acquisition unit acquires a far infrared image. The controller includes a subject distance from an imaging position of the far-infrared image to a subject included as an image in the far-infrared image, a predetermined reference distance, and a position away from the imaging position by the reference distance. Information regarding the temperature of a reference object that has a fixed predetermined emissivity, a signal level in the image of the subject in the far-infrared image, and an imaging region of the reference object in the far-infrared image are predetermined. Information on the temperature of the subject is estimated based on the signal level in the area.

本開示の一実施形態に係る移動体は、画像処理装置を備える。前記画像処理装置は、画像取得部と、コントローラと、を含む。前記画像取得部は、遠赤外画像を取得する。前記コントローラは、前記遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの被写体距離と、予め定められている基準距離と、前記撮像位置から前記基準距離離れた位置に固定されている所定の放射率を有する基準物体の温度に関する情報と、前記遠赤外画像内の前記被写体の像における信号レベルと、前記遠赤外画像内で前記基準物体の撮像領域として予め定められている領域における信号レベルとに基づいて、前記被写体の温度に関する情報を推定する。   A moving object according to an embodiment of the present disclosure includes an image processing device. The image processing apparatus includes an image acquisition unit and a controller. The image acquisition unit acquires a far infrared image. The controller includes a subject distance from an imaging position of the far-infrared image to a subject included as an image in the far-infrared image, a predetermined reference distance, and a position away from the imaging position by the reference distance. Information regarding the temperature of a reference object that has a fixed predetermined emissivity, a signal level in the image of the subject in the far-infrared image, and an imaging region of the reference object in the far-infrared image are predetermined. Information on the temperature of the subject is estimated based on the signal level in the area.

本開示の一実施形態に係る画像処理装置、撮像装置、および移動体によれば、被写体の温度に関する情報を高い精度で推定することができる。   According to the image processing device, the imaging device, and the moving body according to an embodiment of the present disclosure, it is possible to estimate information related to the temperature of the subject with high accuracy.

本実施形態に係る画像処理装置を含む被写体種別推定システムを備える移動体を示す概略図である。It is the schematic which shows a mobile body provided with the subject classification estimation system containing the image processing apparatus which concerns on this embodiment. 図１に示す被写体種別推定システムの概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the to-be-photographed object type estimation system shown in FIG. 図１に示す撮像部によって撮像された遠赤外画像の例を示す概略図である。It is the schematic which shows the example of the far-infrared image imaged by the imaging part shown in FIG. 図１に示す被写体種別推定システムの被写体種別推定処理のフローを示すフローチャートである。3 is a flowchart showing a flow of subject type estimation processing of the subject type estimation system shown in FIG. 1.

以下、本開示の一実施形態に係る画像処理装置１０について、図面を参照して説明する。   Hereinafter, an image processing apparatus 10 according to an embodiment of the present disclosure will be described with reference to the drawings.

図１に示すように、本開示の一実施形態に係る画像処理装置１０を含む被写体種別推定システム１は、移動体１００に取り付けられる。   As illustrated in FIG. 1, a subject type estimation system 1 including an image processing apparatus 10 according to an embodiment of the present disclosure is attached to a moving body 100.

移動体１００は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。   The moving body 100 may include, for example, a vehicle, a ship, and an aircraft. The vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, a fixed wing aircraft that runs on a runway, and the like. Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction. Industrial vehicles may include, for example, forklifts and golf carts. Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like. The vehicle may include a vehicle that travels manually. The classification of the vehicle is not limited to the example described above. For example, an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple classifications. Ships may include, for example, marine jets, boats, tankers, and the like. Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft.

図２に示すように、被写体種別推定システム１は、撮像装置１１と、距離測定装置１２とを備える。撮像装置１１は、撮像部１３と、画像処理装置１０とを備える。   As shown in FIG. 2, the subject type estimation system 1 includes an imaging device 11 and a distance measurement device 12. The imaging device 11 includes an imaging unit 13 and an image processing device 10.

図１に示したように、撮像部１３は、例えば、移動体１００の前方から放出される遠赤外光を撮像可能なように移動体１００に取付けられている。撮像部１３は、移動体１００の前方に限らず、側方または後方を撮像可能なように移動体１００に取り付けられてもよい。撮像部１３は、撮像範囲内にある被写体から放出された遠赤外光を撮像した遠赤外画像を生成する。撮像部１３は、例えば、遠赤外カメラである。   As illustrated in FIG. 1, the imaging unit 13 is attached to the moving body 100 so that, for example, far-infrared light emitted from the front of the moving body 100 can be imaged. The imaging unit 13 may be attached to the moving body 100 so as to capture not only the front of the moving body 100 but also the side or the rear. The imaging unit 13 generates a far-infrared image obtained by imaging far-infrared light emitted from a subject within the imaging range. The imaging unit 13 is, for example, a far infrared camera.

撮像装置１１の撮像範囲に基準物体１５が取り付けられている。具体的には、基準物体１５は、移動体１００の外表面における、撮像部１３の撮像位置から予め定められた基準距離Ｄ１に固定されている。基準物体１５は、所定の放射率を有する物体である。所定の放射率は、例えば、人間の放射率が取り得る範囲である。人間の放射率は、皮膚の状態、および衣服の素材等にもよるが、例えば０．９５〜１である。基準物体１５は、例えば、放射率が１の物体である黒体であってよい。基準物体１５の温度は、体温が取り得る範囲に含まれる所定温度であってよい。体温が取り得る範囲は、例えば、３５度から４２度である。基準物体１５は、ヒーター等の任意の温度制御装置によって所定温度に保持されるよう制御されてよい。   A reference object 15 is attached to the imaging range of the imaging device 11. Specifically, the reference object 15 is fixed to a predetermined reference distance D <b> 1 from the imaging position of the imaging unit 13 on the outer surface of the moving body 100. The reference object 15 is an object having a predetermined emissivity. The predetermined emissivity is, for example, a range that human emissivity can take. The human emissivity is, for example, 0.95 to 1, although it depends on the state of the skin and the material of the clothes. The reference object 15 may be, for example, a black body that is an object having an emissivity of 1. The temperature of the reference object 15 may be a predetermined temperature included in a range that the body temperature can take. The range that the body temperature can take is, for example, 35 degrees to 42 degrees. The reference object 15 may be controlled to be held at a predetermined temperature by an arbitrary temperature control device such as a heater.

画像処理装置１０は、画像取得部１７と、情報取得部１８と、メモリ１９と、コントローラ２０と、出力部２１とを備える。   The image processing apparatus 10 includes an image acquisition unit 17, an information acquisition unit 18, a memory 19, a controller 20, and an output unit 21.

画像取得部１７は、撮像装置１１によって生成された遠赤外画像を取得するインターフェースである。   The image acquisition unit 17 is an interface that acquires a far-infrared image generated by the imaging device 11.

情報取得部１８は、被写体距離Ｄ２を取得する。被写体距離Ｄ２は、距離測定装置１２によって測定された、遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの距離である。   The information acquisition unit 18 acquires the subject distance D2. The subject distance D2 is a distance from the imaging position of the far infrared image measured by the distance measuring device 12 to the subject included as an image in the far infrared image.

メモリ１９は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。メモリ１９は、基準物体１５から放出された遠赤外光の強度ＩA0を記憶する。メモリ１９は、撮像部１３における撮像位置から基準物体１５までの基準距離Ｄ１を記憶する。メモリ１９は、撮像部１３における撮像位置から距離測定装置１２までの距離Ｄ２２を記憶する。遠赤外光の強度ＩA0、基準距離Ｄ１、および距離Ｄ２２は、予め設計された値である。遠赤外光の強度ＩA0、基準距離Ｄ１、および距離Ｄ２２は、被写体種別推定システム１の移動体１００への搭載後に校正された値、あるいは実測値であってもよい。 The memory 19 includes an arbitrary storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory). The memory 19 stores the intensity I A0 of the far infrared light emitted from the reference object 15. The memory 19 stores a reference distance D1 from the imaging position in the imaging unit 13 to the reference object 15. The memory 19 stores a distance D22 from the imaging position in the imaging unit 13 to the distance measuring device 12. The far-infrared light intensity I A0 , the reference distance D1, and the distance D22 are values designed in advance. The far-infrared light intensity I A0 , the reference distance D1, and the distance D22 may be values calibrated after being mounted on the moving body 100 of the subject type estimation system 1 or measured values.

コントローラ２０は、１以上のプロセッサおよびメモリを含む。コントローラ２０は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ASIC; Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（PLD; Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ２０は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってもよい。   The controller 20 includes one or more processors and memory. The controller 20 may include a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process. The dedicated processor may include an application specific integrated circuit (ASIC). The processor may include a programmable logic device (PLD). The PLD may include an FPGA (Field-Programmable Gate Array). The controller 20 may be one of SoC (System-on-a-Chip) in which one or more processors cooperate and SiP (System In a Package).

コントローラ２０は、画像取得部１７によって取得された遠赤外画像に対して処理を実行する。コントローラ２０が実行する処理の詳細は後述する。   The controller 20 performs processing on the far-infrared image acquired by the image acquisition unit 17. Details of processing executed by the controller 20 will be described later.

出力部２１は、コントローラ２０によって実行された処理に基づく情報を、距離測定装置１２、ならびに移動体１００に搭載されたディスプレイおよびＥＣＵ（Engine Control UnitまたはElectric Control Unit）等に出力してよい。ＥＣＵは、出力部２１によって出力された情報に基づいて、例えば移動体１００に関連して使用される被制御装置を制御することにより、移動体１００の走行を制御しうる。被制御装置には、例えば、エンジン、モータ、トランスミッション、カーエアコンディショナ、パワーウィンドウ、カーナビゲーションシステム、カーオーディオ、ヘッドアップディスプレイ等を含んでよいが、これらに限られない。   The output unit 21 may output information based on the processing executed by the controller 20 to the distance measurement device 12, the display mounted on the moving body 100, an ECU (Engine Control Unit or Electric Control Unit), and the like. The ECU can control the traveling of the moving body 100 by controlling, for example, a controlled device used in association with the moving body 100 based on the information output by the output unit 21. The controlled devices may include, but are not limited to, for example, an engine, a motor, a transmission, a car air conditioner, a power window, a car navigation system, a car audio, a head-up display, and the like.

距離測定装置１２は、撮像装置１１における撮像位置から被写体までの距離である被写体距離Ｄ２を算出するための情報を生成する。被写体距離Ｄ２を算出するための情報は、例えば、該距離測定装置１２から被写体までの距離Ｄ２１、または被写体距離Ｄ２そのものである。被写体距離Ｄ２を算出するための情報が距離Ｄ２１である構成では、距離測定装置１２は、距離Ｄ２１を測定し、測定した距離Ｄ２１を、被写体距離Ｄ２を算出するための情報として生成する。被写体距離Ｄ２を算出するための情報が被写体距離Ｄ２そのものである構成では、距離測定装置１２は、距離Ｄ２１を測定する。距離測定装置１２は、測定された距離Ｄ２１と、予め定められた撮像装置１１の撮像位置および距離測定装置１２の間の距離Ｄ２２とに基づいて撮像装置１１における撮像位置から被写体までの被写体距離Ｄ２を算出する。図１に示した例では、距離測定装置１２は、撮像部１３と被写体との間に位置する。このため、距離測定装置１２は、距離測定装置１２から被写体までの距離Ｄ２１と、撮像装置１１から距離測定装置１２まで間の距離Ｄ２２との合計Ｄ２１＋Ｄ２２である被写体距離Ｄ２を算出する。   The distance measuring device 12 generates information for calculating the subject distance D2 that is the distance from the imaging position in the imaging device 11 to the subject. The information for calculating the subject distance D2 is, for example, the distance D21 from the distance measuring device 12 to the subject, or the subject distance D2 itself. In the configuration in which the information for calculating the subject distance D2 is the distance D21, the distance measuring device 12 measures the distance D21 and generates the measured distance D21 as information for calculating the subject distance D2. In the configuration in which the information for calculating the subject distance D2 is the subject distance D2, the distance measuring device 12 measures the distance D21. The distance measuring device 12 is based on the measured distance D21 and a predetermined imaging position of the imaging device 11 and a distance D22 between the distance measuring devices 12, and a subject distance D2 from the imaging position to the subject in the imaging device 11. Is calculated. In the example illustrated in FIG. 1, the distance measuring device 12 is located between the imaging unit 13 and the subject. Therefore, the distance measuring device 12 calculates a subject distance D2 that is a total D21 + D22 of the distance D21 from the distance measuring device 12 to the subject and the distance D22 from the imaging device 11 to the distance measuring device 12.

距離測定装置１２は、例えば、ＲＡＤＡＲ（Radio detection And Ranging）、ＬＩＤＡＲ（Light Detection and Ranging）等であってよい。距離測定装置１２は、単眼カメラであってもよい。単眼カメラを適用した距離測定装置１２は、被写体を撮像した画像に基づいて公知の方法により、被写体距離Ｄ２を算出しうる。これらに限られず、距離測定装置１２は、任意の方法で撮像位置から被写体までの距離を測定してよい。   The distance measuring device 12 may be, for example, RADAR (Radio detection And Ranging), LIDAR (Light Detection and Ranging), or the like. The distance measuring device 12 may be a monocular camera. The distance measuring device 12 to which the monocular camera is applied can calculate the subject distance D2 by a known method based on an image obtained by capturing the subject. However, the distance measuring device 12 may measure the distance from the imaging position to the subject by any method.

ここで、コントローラ２０が実行する処理について、図面を参照して詳細に説明する。   Here, processing executed by the controller 20 will be described in detail with reference to the drawings.

コントローラ２０は、撮像部１３によって撮像された、図３に示すような遠赤外画像に対象被写体１６の像１６ｉｍが含まれるか否かを判定する。コントローラ２０は、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定した場合、対象被写体１６の像１６ｉｍを抽出する。対象被写体１６は、コントローラ２０によって後述するように温度を推定する対象となる被写体である。   The controller 20 determines whether or not the far-infrared image as shown in FIG. 3 captured by the imaging unit 13 includes the image 16im of the target subject 16. When it is determined that the far-infrared image includes the image 16im of the target subject 16, the controller 20 extracts the image 16im of the target subject 16. The target subject 16 is a subject whose temperature is to be estimated by the controller 20 as will be described later.

具体的には、コントローラ２０は、遠赤外画像におけるエッジを検出し、該エッジによって囲まれる領域を抽出する。そして、コントローラ２０は、該領域が所定の大きさ以上であるか否かを判定する。さらに、コントローラ２０は、該領域が所定の大きさ以上である場合に、該領域に含まれる各画素の信号レベルの最大値と最小値との差が閾値以下であるか否かを判定する。コントローラ２０は、差が閾値以下である領域がある場合、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定する。コントローラ２０は、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定すると、該領域に表される像を対象被写体１６の像１６ｉｍとして抽出する。コントローラ２０が、遠赤外画像において対象被写体１６の像１６ｉｍを抽出する方法は、これに限られず任意の方法であってよい。   Specifically, the controller 20 detects an edge in the far-infrared image and extracts a region surrounded by the edge. Then, the controller 20 determines whether or not the area is a predetermined size or more. Furthermore, when the area is equal to or larger than a predetermined size, the controller 20 determines whether or not the difference between the maximum value and the minimum value of the signal level of each pixel included in the area is equal to or less than a threshold value. The controller 20 determines that the image 16im of the target subject 16 is included in the far-infrared image when there is a region where the difference is equal to or less than the threshold. When the controller 20 determines that the far-infrared image includes the image 16im of the target subject 16, the controller 20 extracts the image represented in the region as the image 16im of the target subject 16. The method by which the controller 20 extracts the image 16im of the target subject 16 from the far-infrared image is not limited to this, and any method may be used.

コントローラ２０は、対象被写体１６までの距離を算出するための情報を距離測定装置１２から取得する。   The controller 20 acquires information for calculating the distance to the target subject 16 from the distance measuring device 12.

具体的には、コントローラ２０は、遠赤外画像における対象被写体１６の像１６ｉｍの位置を判定する。コントローラ２０は、出力部２１に、距離測定装置１２に該位置を出力させる。距離測定装置１２は、出力部２１によって出力された、遠赤外画像内での位置に基づいて、撮像位置から対象被写体１６までの被写体距離Ｄ２を測定する。距離測定装置１２は、測定された被写体距離Ｄ２を画像処理装置１０に出力する。距離測定装置１２によって被写体距離Ｄ２が出力されると、情報取得部１８は、被写体距離Ｄ２を取得する。   Specifically, the controller 20 determines the position of the image 16im of the target subject 16 in the far infrared image. The controller 20 causes the output unit 21 to output the position to the distance measuring device 12. The distance measuring device 12 measures the subject distance D2 from the imaging position to the target subject 16 based on the position in the far-infrared image output by the output unit 21. The distance measuring device 12 outputs the measured subject distance D2 to the image processing device 10. When the subject distance D2 is output by the distance measuring device 12, the information acquisition unit 18 acquires the subject distance D2.

コントローラ２０は、距離測定装置１２によって測定可能な範囲にある全ての物体までの距離を該距離測定装置１２から取得してもよい。この場合、コントローラ２０は、距離測定装置１２が測定した各物体までの距離のうち、遠赤外画像における対象被写体１６の像１６ｉｍの位置に相当する実空間での位置ある物体までの距離を被写体距離Ｄ２として抽出する。   The controller 20 may acquire distances from the distance measuring device 12 to all objects within a range measurable by the distance measuring device 12. In this case, the controller 20 determines the distance to the object located in the real space corresponding to the position of the image 16im of the target subject 16 in the far-infrared image among the distances to each object measured by the distance measuring device 12. Extracted as the distance D2.

コントローラ２０は、被写体距離Ｄ２と、基準距離Ｄ１と、基準物体１５の温度に関する情報と、対象被写体１６の像１６ｉｍにおける信号レベルと、基準物体１５の撮像領域として予め定められている領域１５ｉｍにおける信号レベルとに基づいて、対象被写体１６の温度を推定する。温度に関する情報は、温度であってよい。温度に関する情報は、温度を換算することのできる任意の情報であってよい。以降において、温度に関する情報は、温度であるとして説明する。   The controller 20 includes information on the subject distance D2, the reference distance D1, the temperature of the reference object 15, the signal level in the image 16im of the target subject 16, and the signal in the area 15im that is predetermined as the imaging area of the reference object 15. Based on the level, the temperature of the target subject 16 is estimated. The information regarding temperature may be temperature. The information regarding temperature may be arbitrary information that can convert the temperature. In the following description, it is assumed that the information related to temperature is temperature.

基準物体１５および対象被写体１６を含む被写体から放出された遠赤外光は、大気に吸収される。そのため、遠赤外光の強度は、該遠赤外光が伝播する距離が長くなるほど減衰する。具体的には、基準物体１５から放出された遠赤外光の強度ＩA0、基準物体１５から基準距離Ｄ１離れた撮像位置で撮像された遠赤外光の強度ＩA1、および大気による遠赤外光の吸収係数αには、式（１）に示す関係が成立する。上述したように、基準物体１５は所定の放射率を有し、予め定められた温度に制御されている。そのため、遠赤外光の強度ＩA0は、既知の値であり、上述したように予めメモリ１９に記憶されている。また、遠赤外光の強度ＩA1は、遠赤外画像内で基準物体１５の撮像領域として予め定められている領域１５ｉｍの信号レベルに対応する値である。また、基準距離Ｄ１は、上述したように撮像部１３の撮像位置から基準物体１５までの距離であり、上述したように予めメモリ１９に記憶されている。 Far-infrared light emitted from a subject including the reference object 15 and the target subject 16 is absorbed by the atmosphere. Therefore, the intensity of far-infrared light attenuates as the distance that the far-infrared light propagates increases. Specifically, the far-infrared light intensity I A0 emitted from the reference object 15, the far-infrared light intensity I A1 captured at the imaging position away from the reference object D 1 by the reference distance D 1 , and far-red by the atmosphere The relationship shown in Expression (1) is established for the external light absorption coefficient α. As described above, the reference object 15 has a predetermined emissivity and is controlled to a predetermined temperature. Therefore, the far-infrared light intensity I A0 is a known value and is stored in the memory 19 in advance as described above. The far-infrared light intensity I A1 is a value corresponding to the signal level of a region 15im that is predetermined as the imaging region of the reference object 15 in the far-infrared image. The reference distance D1 is a distance from the imaging position of the imaging unit 13 to the reference object 15 as described above, and is stored in the memory 19 in advance as described above.

α＝−（ｌｏｇ10（ＩA1／ＩA0））／Ｄ１ 式（１） α = − (log 10 (I A1 / I A0 )) / D1 Formula (1)

また、対象被写体１６から放出された遠赤外光の強度ＩB0、対象被写体１６から被写体距離Ｄ２離れた撮像位置で撮像された遠赤外光の強度ＩB1、及び大気による遠赤外光の吸収係数αには、式（２）に示す関係が成立する。遠赤外光の強度ＩB1は、遠赤外画像内で被写体の像における信号レベルに対応する値である。また、上述したように、被写体距離Ｄ２は、距離測定装置１２によって測定されている。 In addition, the far-infrared light intensity I B0 emitted from the target subject 16, the far-infrared light intensity I B1 imaged at the imaging position away from the target subject 16 by the subject distance D2, and far-infrared light from the atmosphere. The relationship shown in Expression (2) is established in the absorption coefficient α. The far-infrared light intensity I B1 is a value corresponding to the signal level in the subject image in the far-infrared image. Further, as described above, the subject distance D2 is measured by the distance measuring device 12.

α＝−（ｌｏｇ10（ＩB1／ＩB0））／Ｄ２ 式（２） α = − (log 10 (I B1 / I B0 )) / D2 Formula (2)

したがって、対象被写体１６から放出された遠赤外光の強度ＩB0は、式（３）によって導出される。 Accordingly, the intensity I B0 of the far-infrared light emitted from the target subject 16 is derived by the equation (3).

Figure 2019174299
Figure 2019174299

コントローラ２０は、対象被写体１６から放出された遠赤外光の強度ＩB0を算出すると、強度ＩB0を温度に換算し、換算された温度を対象被写体１６の温度と推定する。 When the controller 20 calculates the intensity I B0 of the far-infrared light emitted from the target subject 16, the controller 20 converts the intensity I B0 into a temperature, and estimates the converted temperature as the temperature of the target subject 16.

コントローラ２０は、対象被写体１６の温度を推定すると、該温度に基づいて対象被写体１６の種別を推定する。具体的には、コントローラ２０は、対象被写体１６の温度が所定範囲内であるか否かを判定する。所定範囲とは、人間の体温がとり得る範囲であり、例えば、３５度から３９度である。コントローラ２０は、対象被写体１６の温度が所定範囲にある場合、対象被写体１６の種別が人間であると推定する。コントローラ２０は、対象被写体１６の温度が所定範囲にない場合、対象被写体１６の種別が人間以外であると推定する。   When the temperature of the target subject 16 is estimated, the controller 20 estimates the type of the target subject 16 based on the temperature. Specifically, the controller 20 determines whether or not the temperature of the target subject 16 is within a predetermined range. The predetermined range is a range that a human body temperature can take, for example, 35 degrees to 39 degrees. When the temperature of the target subject 16 is within a predetermined range, the controller 20 estimates that the type of the target subject 16 is human. When the temperature of the target subject 16 is not within the predetermined range, the controller 20 estimates that the type of the target subject 16 is other than human.

コントローラ２０は、対象被写体１６の温度が所定範囲にある場合、対象被写体１６の種別ではなく、種別の候補が人間であると推定してもよい。この場合、コントローラ２０は、対象被写体１６の像１６ｉｍの形状または挙動に基づいて、対象被写体１６の種別が人間であるか否かを判定する。具体的には、コントローラ２０は、種別の候補が人間であると推定された対象被写体１６の像１６ｉｍの形状が予め記憶されている形状と類似している場合、対象被写体１６の種別が人間であると推定する。また、コントローラ２０は、種別の候補が人間であると推定された対象被写体１６の像１６ｉｍの挙動によって対象被写体１６の種別が人間であるか否かを推定してもよい。対象被写体１６の像１６ｉｍの挙動は、例えば、対象被写体１６の像１６ｉｍの形状が時間に伴って変化した履歴である。コントローラ２０は、対象被写体１６の像１６ｉｍの挙動が予め記憶されている挙動と類似している場合、該対象被写体１６の種別が人間であると判定してよい。なお、形状または挙動が類似しているか否かを判定する方法は、任意の方法であってよい。   If the temperature of the target subject 16 is within a predetermined range, the controller 20 may estimate that the type candidate is a person instead of the type of the target subject 16. In this case, the controller 20 determines whether or not the type of the target subject 16 is human based on the shape or behavior of the image 16im of the target subject 16. Specifically, the controller 20 determines that the type of the target subject 16 is human if the shape of the image 16im of the target subject 16 estimated that the type candidate is human is similar to the shape stored in advance. Presume that there is. Further, the controller 20 may estimate whether or not the type of the target subject 16 is human based on the behavior of the image 16im of the target subject 16 estimated that the type candidate is human. The behavior of the image 16im of the target subject 16 is, for example, a history in which the shape of the image 16im of the target subject 16 has changed with time. If the behavior of the image 16im of the target subject 16 is similar to the behavior stored in advance, the controller 20 may determine that the type of the target subject 16 is human. The method for determining whether the shapes or behaviors are similar may be any method.

コントローラ２０は、対象被写体１６の種別を判定すると、該種別を移動体１００に搭載されたディスプレイまたはＥＣＵに出力するよう出力部２１を制御してもよい。コントローラ２０は、該種別とともに被写体距離Ｄ２をディスプレイまたはＥＣＵに出力するよう出力部２１を制御してもよい。   When determining the type of the subject 16, the controller 20 may control the output unit 21 to output the type to a display or ECU mounted on the moving body 100. The controller 20 may control the output unit 21 to output the subject distance D2 together with the type to the display or the ECU.

続いて、本実施形態の画像処理装置１０の被写体種別推定処理について、図４を参照して説明する。画像処理装置１０は、撮像部１３から遠赤外画像を取得すると、被写体種別推定処理を開始する。   Next, the subject type estimation process of the image processing apparatus 10 according to the present embodiment will be described with reference to FIG. When the image processing apparatus 10 acquires a far-infrared image from the imaging unit 13, the image processing apparatus 10 starts subject type estimation processing.

ステップＳ１１では、コントローラ２０は、画像取得部１７によって取得された遠赤外画像に対象被写体１６の像１６ｉｍが含まれるか否かを判定する。コントローラ２０が、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定すると、プロセスは、ステップＳ１２に進む。コントローラ２０は、遠赤外画像に対象被写体１６の像１６ｉｍが含まれないと判定すると、被写体種別推定処理を終了する。   In step S <b> 11, the controller 20 determines whether or not the far-infrared image acquired by the image acquisition unit 17 includes the image 16 im of the target subject 16. If the controller 20 determines that the far-infrared image includes the image 16im of the target subject 16, the process proceeds to step S12. If the controller 20 determines that the far-infrared image does not include the image 16im of the target subject 16, the subject type estimation process ends.

ステップＳ１２では、コントローラ２０は、画像取得部１７によって取得された遠赤外画像において対象被写体１６の像１６ｉｍを抽出する。コントローラ２０が対象被写体１６の像を抽出すると、プロセスはステップＳ１３に進む。   In step S <b> 12, the controller 20 extracts an image 16 im of the target subject 16 from the far infrared image acquired by the image acquisition unit 17. When the controller 20 extracts the image of the target subject 16, the process proceeds to step S13.

ステップＳ１３では、コントローラ２０は、遠赤外画像における対象被写体１６の像１６ｉｍの位置を判定する。コントローラ２０が対象被写体１６の像１６ｉｍの位置を判定すると、プロセスはステップＳ１４に進む。   In step S13, the controller 20 determines the position of the image 16im of the target subject 16 in the far infrared image. When the controller 20 determines the position of the image 16im of the target subject 16, the process proceeds to step S14.

ステップＳ１４では、コントローラ２０は、距離測定装置１２が測定した被写体距離Ｄ２を対象被写体１６の像１６ｉｍの位置に基づいて取得する。コントローラ２０が被写体距離Ｄ２を取得すると、プロセスはステップＳ１５に進む。   In step S14, the controller 20 acquires the subject distance D2 measured by the distance measuring device 12 based on the position of the image 16im of the target subject 16. When the controller 20 acquires the subject distance D2, the process proceeds to step S15.

ステップＳ１５では、コントローラ２０は、被写体距離Ｄ２と、基準距離Ｄ１と、基準物体１５の温度と、対象被写体１６の像１６ｉｍにおける信号レベルと、基準物体１５の撮像領域として予め定められている領域１５ｉｍにおける信号レベルとに基づいて、対象被写体１６の温度を推定する。コントローラ２０が対象被写体１６の温度を推定すると、プロセスはステップＳ１６に進む。   In step S <b> 15, the controller 20 determines the subject distance D <b> 2, the reference distance D <b> 1, the temperature of the reference object 15, the signal level in the image 16 im of the target subject 16, and the region 15 im that is predetermined as the imaging region of the reference object 15. The temperature of the target subject 16 is estimated based on the signal level at. When the controller 20 estimates the temperature of the target subject 16, the process proceeds to step S16.

ステップＳ１６では、コントローラ２０は、推定された対象被写体１６の温度が所定範囲内にあるか否かを判定する。コントローラ２０が、推定された対象被写体１６の温度が所定範囲内であると判定すると、プロセスは、ステップＳ１７に進む。コントローラ２０が、推定された対象被写体１６の温度が所定範囲内でないと判定すると、プロセスは、ステップＳ１８に進む。   In step S16, the controller 20 determines whether or not the estimated temperature of the target subject 16 is within a predetermined range. If the controller 20 determines that the estimated temperature of the subject 16 is within the predetermined range, the process proceeds to step S17. If the controller 20 determines that the estimated temperature of the target subject 16 is not within the predetermined range, the process proceeds to step S18.

ステップＳ１７では、コントローラ２０は、対象被写体１６の種別が人間であると推定する。コントローラ２０は、対象被写体１６の種別が人間であると推定すると、被写体種別推定処理を終了する。   In step S17, the controller 20 estimates that the type of the subject 16 is human. When the controller 20 estimates that the type of the target subject 16 is human, the subject type estimation process ends.

ステップＳ１８では、コントローラ２０は、対象被写体１６の種別が人間でないと推定する。コントローラ２０は、対象被写体１６の種別が人間でないと推定すると、被写体種別推定処理を終了する。   In step S18, the controller 20 estimates that the type of the subject 16 is not human. When the controller 20 estimates that the type of the target subject 16 is not human, the subject type estimation process ends.

以上説明したように、本実施形態によれば、画像処理装置１０は、被写体距離Ｄ２と、基準距離Ｄ１と、基準物体１５の温度と、対象被写体１６の像１６ｉｍにおける信号レベルと、基準物体１５の撮像領域として予め定められている領域１５ｉｍにおける信号レベルとに基づいて、対象被写体１６の温度を推定する。このため、画像処理装置１０は、基準物体１５の温度と、遠赤外画像における撮像領域の信号レベルとから推定される遠赤外光の減衰の度合いを鑑みて対象被写体１６の温度を推定することになる。したがって、画像処理装置１０は、大気による遠赤外光の吸収率が変動しても、温度の推定における正確性を向上させうる。また、遠赤外光は、伝播する距離が長いほど多く吸収される。そのため、画像処理装置１０は、撮像位置から基準距離Ｄ１にある基準物体１５の温度に基づいて、被写体距離Ｄ２にある対象被写体１６の温度を推定することによって、該温度の推定の正確性をより向上させうる。   As described above, according to the present embodiment, the image processing apparatus 10 includes the subject distance D2, the reference distance D1, the temperature of the reference object 15, the signal level in the image 16im of the target subject 16, and the reference object 15. The temperature of the target subject 16 is estimated based on the signal level in the region 15im that is predetermined as the imaging region. Therefore, the image processing apparatus 10 estimates the temperature of the target subject 16 in view of the degree of attenuation of far-infrared light estimated from the temperature of the reference object 15 and the signal level of the imaging region in the far-infrared image. It will be. Therefore, the image processing apparatus 10 can improve the accuracy in temperature estimation even if the absorption rate of far-infrared light by the atmosphere varies. Further, far infrared light is absorbed more as the propagation distance is longer. Therefore, the image processing apparatus 10 estimates the temperature of the target subject 16 at the subject distance D2 based on the temperature of the reference object 15 at the reference distance D1 from the imaging position, thereby improving the accuracy of the temperature estimation. It can be improved.

また、本実施形態によれば、基準物体１５の温度は定められた温度である。これにより、画像処理装置１０は、基準物体１５の温度を計測するための機器を備えることなく、簡易な構成で対象被写体１６の温度の測定の正確性を向上させうる。   Further, according to the present embodiment, the temperature of the reference object 15 is a predetermined temperature. Thereby, the image processing apparatus 10 can improve the accuracy of the measurement of the temperature of the target subject 16 with a simple configuration without including a device for measuring the temperature of the reference object 15.

また、本実施形態によれば、画像処理装置１０は、被写体の温度と、遠赤外画像における被写体の像の形状または挙動とに基づいて被写体の種別を推定する。具体的には、画像処理装置１０は、遠赤外画像における被写体の像の形状または挙動に基づいて対象被写体１６を抽出し、対象被写体１６の温度に基づいて対象被写体１６の種別を推定する。仮に、対象被写体１６の像１６ｉｍの形状または挙動のみに基づいて該対象被写体１６の種別を推定する場合、形状または挙動が所定の種別のそれぞれ形状または挙動に類似しているが、温度が所定の種別について定められる範囲にない対象被写体１６が所定の種別であると誤って推定される場合がある。例えば、対象被写体１６の像１６ｉｍは人間の形状に類似しているが、人間の取り得る範囲の温度でないマネキン等が人間であると誤って推定される場合がある。したがって、画像処理装置１０は、対象被写体１６の温度と、遠赤外画像における対象被写体１６の像１６ｉｍの形状または挙動とに基づいて被写体の種別を推定することによって、該種別の推定の正確性を向上させうる。   According to the present embodiment, the image processing apparatus 10 estimates the type of the subject based on the temperature of the subject and the shape or behavior of the subject image in the far-infrared image. Specifically, the image processing apparatus 10 extracts the target subject 16 based on the shape or behavior of the subject image in the far-infrared image, and estimates the type of the target subject 16 based on the temperature of the target subject 16. If the type of the target subject 16 is estimated based only on the shape or behavior of the image 16im of the target subject 16, the shape or behavior is similar to the shape or behavior of the predetermined type, but the temperature is predetermined. In some cases, the target subject 16 that is not within the range defined for the type is erroneously estimated to be the predetermined type. For example, the image 16im of the target subject 16 is similar to a human shape, but a mannequin or the like that is not in a temperature range that a human can take may be erroneously estimated as a human. Therefore, the image processing apparatus 10 estimates the type of the subject based on the temperature of the target subject 16 and the shape or behavior of the image 16im of the target subject 16 in the far-infrared image. Can be improved.

また、本実施形態によれば、画像処理装置１０は、対象被写体１６の種別が人間であるか否かを推定し、基準物体１５の放射率は人間の放射率に等しい。仮に、基準物体１５の放射率が人間の放射率と異なる場合、放射率の差異に起因して、基準物体１５における温度と像の撮像領域の信号レベルとの関係は、対象被写体１６における温度と信号レベルとの関係とは同じでないことがある。この場合、基準物体１５における温度と像の撮像領域の信号レベルとの関係を鑑みても、対象被写体１６の像の信号レベルに基づいて対象被写体１６の温度は正確に推定されないことがある。これに対し、基準物体１５の放射率が人間の放射率と等しいことによって、基準物体１５における温度と像の撮像領域の信号レベルとの関係は、人間である対象被写体１６における温度と像の信号レベルとの関係に適用される。したがって、画像処理装置１０は、基準物体１５における温度と像の撮像領域の信号レベルとの関係に基づいて対象被写体１６の温度を推定することによって、温度の推定の正確性を向上させうる。   Further, according to the present embodiment, the image processing apparatus 10 estimates whether or not the type of the target subject 16 is a human, and the emissivity of the reference object 15 is equal to the emissivity of the human. If the emissivity of the reference object 15 is different from the emissivity of a human, the relationship between the temperature of the reference object 15 and the signal level of the image capturing area is the temperature of the target object 16 due to the difference in emissivity. The relationship with the signal level may not be the same. In this case, even in consideration of the relationship between the temperature of the reference object 15 and the signal level of the imaging region of the image, the temperature of the target subject 16 may not be accurately estimated based on the signal level of the image of the target subject 16. On the other hand, since the emissivity of the reference object 15 is equal to the emissivity of the human, the relationship between the temperature of the reference object 15 and the signal level of the imaging region of the image indicates that Applies to relationship to level. Therefore, the image processing apparatus 10 can improve the accuracy of temperature estimation by estimating the temperature of the target subject 16 based on the relationship between the temperature of the reference object 15 and the signal level of the image capturing area.

また、本実施形態によれば、基準物体１５の温度は、体温の取り得る範囲に含まれる。被写体から放出される赤外光の波長の分布範囲は、該被写体の温度によって異なる。また、被写体から放出される赤外光のうち、最も強度の高い光の波長は該被写体の温度によって異なる。したがって、波長の分布範囲、および最も強度の高い波長が類似している赤外光を放出する基準物体１５が適用されることによって、人間から放出される赤外光と基準物体１５から放出する赤外光の特性が類似する。そのため、画像処理装置１０は、被写体から放出される赤外光の強度を、人間と類似した特性を有する赤外光の強度と比較することによって、被写体が人間である場合の該被写体の温度の推定の正確性を向上させうる。したがって、画像処理装置１０は、温度の推定の正確性を向上することによって、被写体の種別の推定の正確性を向上させうる。   Further, according to the present embodiment, the temperature of the reference object 15 is included in the range that the body temperature can take. The distribution range of the wavelength of infrared light emitted from the subject differs depending on the temperature of the subject. Further, the wavelength of the light having the highest intensity among the infrared light emitted from the subject differs depending on the temperature of the subject. Therefore, the infrared light emitted from the human and the red light emitted from the reference object 15 are applied by applying the reference object 15 that emits the infrared light whose wavelength distribution range and the wavelength with the highest intensity are similar. The characteristics of outside light are similar. Therefore, the image processing apparatus 10 compares the intensity of the infrared light emitted from the subject with the intensity of the infrared light having characteristics similar to those of a human, thereby determining the temperature of the subject when the subject is a human. The accuracy of estimation can be improved. Therefore, the image processing apparatus 10 can improve the accuracy of estimating the type of subject by improving the accuracy of estimating the temperature.

本実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限されるものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。   While this embodiment has been described as a representative example, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications or changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments and examples can be combined into one, or one constituent block can be divided.

上述の実施形態において、撮像装置１１と距離測定装置１２とが別体である構成を説明したが、撮像装置１１と距離測定装置１２とが一体として構成されてよい。撮像装置１１は、内部に距離測定装置１２を備えてもよい。   In the above-described embodiment, the configuration in which the imaging device 11 and the distance measurement device 12 are separate has been described. However, the imaging device 11 and the distance measurement device 12 may be configured integrally. The imaging device 11 may include a distance measuring device 12 inside.

上述の実施形態において、撮像装置１１が撮像部１３と画像処理装置１０とを備える構成を説明し、図１において撮像部１３と画像処理装置１０とは別体に構成されている例を示したが、これに限らない。例えば、撮像部１３と画像処理装置１０とは一体に構成されてもよい。   In the above-described embodiment, a configuration in which the imaging device 11 includes the imaging unit 13 and the image processing device 10 will be described. In FIG. 1, an example in which the imaging unit 13 and the image processing device 10 are configured separately is illustrated. However, it is not limited to this. For example, the imaging unit 13 and the image processing apparatus 10 may be configured integrally.

上述の実施形態において、複数の基準物体１５が、移動体１００における、撮像部１３の撮像範囲に取り付けられてもよい。この場合、複数の基準物体１５は、人間が取り得る温度範囲における互いに異なる温度に定められてよい。例えば、複数の基準物体１５のうちの第１基準物体の温度は、例えば該温度範囲の最高温度に定められてよい。第２基準物体の温度は、例えば該温度範囲の最低温度に定められてよい。このような構成において、コントローラ２０は、第１基準物体および第２基準物体の両方に基づいて、対象被写体１６の温度を推定してもよい。   In the above-described embodiment, a plurality of reference objects 15 may be attached to the imaging range of the imaging unit 13 in the moving body 100. In this case, the plurality of reference objects 15 may be set to different temperatures in a temperature range that a human can take. For example, the temperature of the first reference object among the plurality of reference objects 15 may be set to the highest temperature in the temperature range, for example. The temperature of the second reference object may be set to the lowest temperature in the temperature range, for example. In such a configuration, the controller 20 may estimate the temperature of the target subject 16 based on both the first reference object and the second reference object.

例えば、コントローラ２０は、第１基準物体および第２基準物体それぞれの撮像領域として予め定められている領域の信号レベルの平均値を算出する。そして、コントローラ２０は、算出した信号レベルの平均値に対応する強度に基づいて、上述の式（１）および式（２）を用いて、対象被写体１６の温度を推定する。   For example, the controller 20 calculates an average value of the signal levels of areas that are predetermined as the imaging areas of the first reference object and the second reference object. Then, the controller 20 estimates the temperature of the target subject 16 using the above formulas (1) and (2) based on the intensity corresponding to the calculated average value of the signal levels.

また、例えば、コントローラ２０は、第１基準物体および第２基準物体に基づいて、上述の式（１）を用いてそれぞれ放射率αを算出してもよい。そして、コントローラ２０は、それぞれ算出された放射率αの平均値に基づいて、上述の式（２）を用いて対象被写体１６から放出された赤外光の強度ＩB1を算出し、強度ＩB1を換算することによって対象被写体１６の温度を推定してもよい。 Further, for example, the controller 20 may calculate the emissivity α based on the first reference object and the second reference object using the above-described equation (1). Then, the controller 20 calculates the intensity I B1 of the infrared light emitted from the target subject 16 using the above equation (2) based on the calculated average value of the emissivity α, and the intensity I B1. The temperature of the target subject 16 may be estimated by converting.

また、例えば、コントローラ２０は、第１基準物体の温度と、遠赤外画像内で第１基準物体の撮像領域として予め定められている領域における信号レベルと、撮像位置から第１基準物体までの距離に基づいて、上述と同様に対象被写体１６の温度を推定する。さらに、コントローラ２０は、第２基準物体の温度と、遠赤外画像内で第２基準物体の撮像領域として予め定められている領域における信号レベルと、撮像位置から第２基準物体までの距離に基づいて、上述と同様に対象被写体１６の温度を推定する。そして、コントローラ２０は、第１基準物体に基づいて推定された温度と第２基準物体に基づいて推定された温度とに基づいて対象被写体１６の温度を推定してもよい。例えば、コントローラ２０は、第１基準物体に基づいて推定された温度と第２基準物体に基づいて推定された温度との平均温度を対象被写体１６の温度としてもよい。   In addition, for example, the controller 20 detects the temperature of the first reference object, the signal level in the region predetermined as the imaging region of the first reference object in the far-infrared image, and the imaging position to the first reference object. Based on the distance, the temperature of the subject 16 is estimated in the same manner as described above. Further, the controller 20 sets the temperature of the second reference object, the signal level in the region predetermined as the imaging region of the second reference object in the far-infrared image, and the distance from the imaging position to the second reference object. Based on this, the temperature of the subject 16 is estimated in the same manner as described above. Then, the controller 20 may estimate the temperature of the target subject 16 based on the temperature estimated based on the first reference object and the temperature estimated based on the second reference object. For example, the controller 20 may use the average temperature of the temperature estimated based on the first reference object and the temperature estimated based on the second reference object as the temperature of the target subject 16.

上述の実施形態において、被写体種別推定システム１は距離測定装置１２を備えるが、これに限らない。例えば、被写体種別推定システム１は、距離測定装置１２を備えず、画像処理装置１０のコントローラ２０が、画像取得部１７によって取得された遠赤外画像に基づいて、公知の方法により被写体距離Ｄ２を算出してもよい。この場合、コントローラ２０は、遠赤外画像に基づいて算出された被写体距離Ｄ２を用いて、対象被写体１６の温度を推定してもよい。この場合、被写体種別推定システム１は、距離測定装置１２を備える必要がなく、簡易な構成により対象被写体１６の温度を推定しうる。   In the above-described embodiment, the subject type estimation system 1 includes the distance measuring device 12, but is not limited thereto. For example, the subject type estimation system 1 does not include the distance measurement device 12, and the controller 20 of the image processing device 10 calculates the subject distance D2 by a known method based on the far-infrared image acquired by the image acquisition unit 17. It may be calculated. In this case, the controller 20 may estimate the temperature of the target subject 16 using the subject distance D2 calculated based on the far-infrared image. In this case, the subject type estimation system 1 does not need to include the distance measuring device 12, and can estimate the temperature of the target subject 16 with a simple configuration.

上述の実施形態において、温度に関する情報は遠赤外光の強度ＩB0であってもよい。この場合、コントローラ２０は、対象被写体１６から放出された遠赤外光の強度ＩB0に基づいて対象被写体１６の種別を推定してもよい。具体的には、コントローラ２０は、強度ＩB0が所定範囲にあるか否かを判定する。所定範囲とは、人間から放出されうる遠赤外光の強度の範囲である。コントローラ２０は、強度ＩB0が所定範囲にある場合、対象被写体１６の種別が人間であると推定する。コントローラ２０は、強度ＩB0が所定範囲にない場合、対象被写体１６の種別が人間でないと推定する。 In the above-described embodiment, the temperature-related information may be the far-infrared light intensity I B0 . In this case, the controller 20 may estimate the type of the target subject 16 based on the intensity I B0 of the far infrared light emitted from the target subject 16. Specifically, the controller 20 determines whether or not the intensity I B0 is within a predetermined range. The predetermined range is a range of the intensity of far infrared light that can be emitted from a human. When the intensity I B0 is within the predetermined range, the controller 20 estimates that the type of the target subject 16 is human. When the intensity I B0 is not within the predetermined range, the controller 20 estimates that the type of the target subject 16 is not human.

上述の実施形態において、メモリ１９は、基準物体１５から放出された遠赤外光の強度ＩA0を記憶するが、これに限られない。例えば、メモリ１９は、基準物体１５の温度を記憶してもよい。この場合、コントローラ２０は、メモリ１９に記憶されている基準物体１５の温度を遠赤外光の強度ＩA0に換算する。そして、コントローラ２０は、換算された強度ＩA0に基づいて、対象被写体１６の温度を推定する。 In the above-described embodiment, the memory 19 stores the intensity I A0 of the far-infrared light emitted from the reference object 15, but is not limited thereto. For example, the memory 19 may store the temperature of the reference object 15. In this case, the controller 20 converts the temperature of the reference object 15 stored in the memory 19 into far-infrared light intensity I A0 . Then, the controller 20 estimates the temperature of the target subject 16 based on the converted intensity I A0 .

上述の実施形態において、コントローラ２０は、遠赤外画像のエッジ、ならびに該エッジに囲まれる領域の大きさおよび信号レベルに基づいて対象被写体１６の像１６ｉｍを抽出したが、この限りではない。コントローラ２０は、上述のように抽出された被写体の中から、さらにエッジに囲まれる領域の形状または挙動に基づいて、対象被写体１６の像１６ｉｍを抽出してもよい。   In the above-described embodiment, the controller 20 extracts the image 16im of the target subject 16 based on the edge of the far-infrared image and the size and signal level of the region surrounded by the edge, but this is not restrictive. The controller 20 may extract the image 16im of the target subject 16 from the subjects extracted as described above based on the shape or behavior of the region surrounded by the edge.

上述の実施形態において、コントローラ２０は、対象被写体１６の種別が人間であるか否かを判定したかを判定したがこの限りではない。例えば、コントローラ２０は、対象被写体１６の種別が人間ではない所定の物体であるか否かを判定してよい。この場合、コントローラ２０は、推定された対象被写体１６の温度が該物体の取り得る温度範囲内であるか否かを判定する。また、基準物体１５は、該物体の温度が取り得る範囲に制御されてよい。また、基準物体１５の放射率は該物体の放射率が取り得る範囲であってよい。   In the above-described embodiment, the controller 20 determines whether or not the type of the target subject 16 is human, but this is not restrictive. For example, the controller 20 may determine whether or not the type of the target subject 16 is a predetermined object that is not a human. In this case, the controller 20 determines whether or not the estimated temperature of the target subject 16 is within a temperature range that the object can take. Further, the reference object 15 may be controlled within a range that the temperature of the object can take. Further, the emissivity of the reference object 15 may be within a range that the emissivity of the object can take.

１ 被写体種別推定システム
１０ 画像処理装置
１１ 撮像装置
１２ 距離測定装置
１３ 撮像部
１５ 基準物体
１６ 対象被写体
１７ 画像取得部
１８ 情報取得部
１９ メモリ
２０ コントローラ
２１ 出力部
１００ 移動体 DESCRIPTION OF SYMBOLS 1 Subject classification estimation system 10 Image processing device 11 Imaging device 12 Distance measuring device 13 Imaging unit 15 Reference object 16 Target subject 17 Image acquisition unit 18 Information acquisition unit 19 Memory 20 Controller 21 Output unit 100 Moving object

Claims (9)

遠赤外画像を取得する画像取得部と、
前記遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの被写体距離と、予め定められている基準距離と、前記撮像位置から前記基準距離離れた位置に固定されている所定の放射率を有する基準物体の温度に関する情報と、前記遠赤外画像内の前記被写体の像における信号レベルと、前記遠赤外画像内で前記基準物体の撮像領域として予め定められている領域における信号レベルとに基づいて、前記被写体の温度に関する情報を推定するコントローラと、を備える
画像処理装置。 An image acquisition unit for acquiring a far-infrared image;
The subject distance from the imaging position of the far-infrared image to the subject included as an image in the far-infrared image, a predetermined reference distance, and a position away from the imaging position by the reference distance are fixed. Information relating to the temperature of a reference object having a predetermined emissivity, a signal level in the subject image in the far-infrared image, and a region predetermined as an imaging region of the reference object in the far-infrared image And a controller that estimates information related to the temperature of the subject based on the signal level in the image processing apparatus. 請求項１に記載の画像処理装置において、
前記被写体距離を算出するための情報を取得する情報取得部を更に備える
画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus, further comprising: an information acquisition unit that acquires information for calculating the subject distance. 請求項１に記載の画像処理装置において、
前記被写体の距離は前記遠赤外画像に基づいて算出される
画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus in which the distance of the subject is calculated based on the far-infrared image. 請求項１から３のいずれか一項に記載の画像処理装置において、
前記基準物体の温度は定められた温度である
画像処理装置。 The image processing apparatus according to any one of claims 1 to 3,
The image processing apparatus, wherein the temperature of the reference object is a predetermined temperature. 請求項４に記載の画像処理装置において、
前記コントローラは、前記被写体の種別が人間であるか否かを推定し、
前記定められた温度は、前記人間の体温が取り得る範囲内である
画像処理装置。 The image processing apparatus according to claim 4.
The controller estimates whether the type of the subject is human,
The defined temperature is within a range that the human body temperature can take. 請求項１から５のいずれか一項に記載の画像処理装置において、
前記コントローラは、前記被写体の温度に関する情報と、前記遠赤外画像における前記被写体の像の形状または挙動とに基づいて、前記被写体の種別を推定する
画像処理装置。 In the image processing device according to any one of claims 1 to 5,
The image processing apparatus, wherein the controller estimates the type of the subject based on information on the temperature of the subject and a shape or behavior of the image of the subject in the far-infrared image. 請求項６に記載の画像処理装置において、
前記コントローラは、前記被写体の前記種別が人間であるか否かを推定し、前記基準物体の放射率は前記人間が取り得る放射率の範囲内である
画像処理装置。 The image processing apparatus according to claim 6.
The controller estimates whether or not the type of the subject is a human, and the emissivity of the reference object is within a range of emissivity that the human can take. 遠赤外光を撮像した遠赤外画像を生成する撮像部と、
前記遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの被写体距離と、予め定められている基準距離と、前記撮像位置から前記基準距離離れた位置に固定されている所定の放射率を有する基準物体の温度に関する情報と、前記遠赤外画像における前記被写体の像における信号レベルと、前記遠赤外画像内で前記基準物体の撮像領域として予め定められている領域における信号レベルとに基づいて、前記被写体の温度に関する情報を推定するコントローラと、を含む
画像処理装置を備える
撮像装置。 An imaging unit that generates a far-infrared image obtained by imaging far-infrared light;
The subject distance from the imaging position of the far-infrared image to the subject included as an image in the far-infrared image, a predetermined reference distance, and a position away from the imaging position by the reference distance are fixed. Information regarding the temperature of a reference object having a predetermined emissivity, a signal level in the subject image in the far-infrared image, and an area predetermined as an imaging area of the reference object in the far-infrared image A controller that estimates information related to the temperature of the subject based on a signal level. 遠赤外光を撮像した遠赤外画像を生成する撮像部と、前記遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの被写体距離と、予め定められている基準距離と、前記撮像位置から前記基準距離離れた位置に固定されている所定の放射率を有する基準物体の温度に関する情報と、前記遠赤外画像における前記被写体の像における信号レベルと、前記遠赤外画像内で前記基準物体の撮像領域として予め定められている領域における信号レベルとに基づいて、前記被写体の温度に関する情報を推定するコントローラと、を含む画像処理装置を備える
移動体。 An imaging unit that generates a far-infrared image obtained by imaging far-infrared light, a subject distance from an imaging position of the far-infrared image to a subject included as an image in the far-infrared image, and a predetermined reference Information on the distance, the temperature of a reference object having a predetermined emissivity fixed at a position away from the imaging position by the reference distance, the signal level in the image of the subject in the far-infrared image, and the far-red And a controller that estimates information related to the temperature of the subject based on a signal level in a region predetermined as an imaging region of the reference object in an outside image.
JP2018063194A 2018-03-28 2018-03-28 Image processing equipment, imaging equipment, and moving objects Active JP6927914B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018063194A JP6927914B2 (en) 2018-03-28 2018-03-28 Image processing equipment, imaging equipment, and moving objects
JP2021129305A JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body
JP2023048952A JP2023095847A (en) 2018-03-28 2023-03-24 system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018063194A JP6927914B2 (en) 2018-03-28 2018-03-28 Image processing equipment, imaging equipment, and moving objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021129305A Division JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body

Publications (2)

Publication Number Publication Date
JP2019174299A true JP2019174299A (en) 2019-10-10
JP6927914B2 JP6927914B2 (en) 2021-09-01

Family

ID=68168720

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018063194A Active JP6927914B2 (en) 2018-03-28 2018-03-28 Image processing equipment, imaging equipment, and moving objects
JP2021129305A Pending JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body
JP2023048952A Pending JP2023095847A (en) 2018-03-28 2023-03-24 system

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021129305A Pending JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body
JP2023048952A Pending JP2023095847A (en) 2018-03-28 2023-03-24 system

Country Status (1)

Country Link
JP (3) JP6927914B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022115811A (en) * 2021-01-28 2022-08-09 国立研究開発法人農業・食品産業技術総合研究機構 Aerial marking, thermal image generation device, thermal image generation method and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349786A (en) * 2000-06-06 2001-12-21 Denso Corp Calibration method for non-contact temperature sensor
JP2009058365A (en) * 2007-08-31 2009-03-19 Toyota Central R&D Labs Inc Far-infrared imaging device, physical quantity detecting method, and obstruction estimating device and method
JP2009150842A (en) * 2007-12-21 2009-07-09 Sumitomo Electric Ind Ltd Temperature measuring device and vehicle
US20100051794A1 (en) * 2008-09-04 2010-03-04 The Boeing Company Infrared sensor calibration system and method
JP2010265535A (en) * 2009-05-18 2010-11-25 Nippon Steel Corp Heating furnace and heating method
JP2011107952A (en) * 2009-11-17 2011-06-02 Honda Motor Co Ltd Vehicle surroundings monitoring device
JP2013019822A (en) * 2011-07-13 2013-01-31 Tokyo Electric Power Co Inc:The System and method for measuring temperature of electrical equipment
US20130294480A1 (en) * 2010-12-13 2013-11-07 National Institute Of Advanced Industrial Science And Technology Method and system of measuring surface temperature

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06109549A (en) * 1992-09-24 1994-04-19 Mitsubishi Electric Corp Infrared imaging system
US7422365B2 (en) * 2003-04-25 2008-09-09 Land Instruments International Limited Thermal imaging system and method
JP2006113025A (en) * 2004-10-18 2006-04-27 Calsonic Kansei Corp Temperature measuring device of vehicle
CN103098110B (en) * 2010-03-17 2015-04-15 本田技研工业株式会社 Vehicle surroundings monitoring device
JP6777428B2 (en) * 2016-06-02 2020-10-28 アズビル株式会社 Temperature measuring device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349786A (en) * 2000-06-06 2001-12-21 Denso Corp Calibration method for non-contact temperature sensor
JP2009058365A (en) * 2007-08-31 2009-03-19 Toyota Central R&D Labs Inc Far-infrared imaging device, physical quantity detecting method, and obstruction estimating device and method
JP2009150842A (en) * 2007-12-21 2009-07-09 Sumitomo Electric Ind Ltd Temperature measuring device and vehicle
US20100051794A1 (en) * 2008-09-04 2010-03-04 The Boeing Company Infrared sensor calibration system and method
JP2010265535A (en) * 2009-05-18 2010-11-25 Nippon Steel Corp Heating furnace and heating method
JP2011107952A (en) * 2009-11-17 2011-06-02 Honda Motor Co Ltd Vehicle surroundings monitoring device
US20130294480A1 (en) * 2010-12-13 2013-11-07 National Institute Of Advanced Industrial Science And Technology Method and system of measuring surface temperature
JP2013019822A (en) * 2011-07-13 2013-01-31 Tokyo Electric Power Co Inc:The System and method for measuring temperature of electrical equipment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022115811A (en) * 2021-01-28 2022-08-09 国立研究開発法人農業・食品産業技術総合研究機構 Aerial marking, thermal image generation device, thermal image generation method and program
JP7260935B2 (en) 2021-01-28 2023-04-19 国立研究開発法人農業・食品産業技術総合研究機構 ANTI-AIR SIGN, THERMAL IMAGING DEVICE, THERMAL IMAGING METHOD, AND PROGRAM

Also Published As

Publication number Publication date
JP2023095847A (en) 2023-07-06
JP6927914B2 (en) 2021-09-01
JP2021183974A (en) 2021-12-02

Similar Documents

Publication Publication Date Title
US10861176B2 (en) Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
US10317522B2 (en) Detecting long objects by sensor fusion
JP6667596B2 (en) Object detection system, autonomous vehicle using the same, and object detection method thereof
EP3382336B1 (en) Stereo camera device
JP7351139B2 (en) sensing device
US10501088B2 (en) Road surface state determination apparatus, imaging apparatus, imaging system, and road surface state determination method
US9299153B2 (en) Calibration apparatus, a distance measurement system, a calibration method and a calibration program
CN108604405A (en) The object being locally blocked is detected using environment and depth order
US20230194719A1 (en) Method for Measuring a Distance Between an Object and an Optical Sensor, Control Device for Carrying Out Such a Method, Distance Measuring Apparatus Comprising Such a Control Device, and Motor Vehicle Comprising Such a Distance Measuring Apparatus
JP5809751B2 (en) Object recognition device
KR20170132860A (en) Generate three-dimensional map of a scene using manual and active measurements
JP2014215877A (en) Object detection device
JP2012228916A (en) Onboard camera system
WO2011158306A1 (en) System for classification of road surface reflectances
JP7448484B2 (en) Online evaluation of camera internal parameters
JP2023095847A (en) system
WO2021069503A1 (en) Multi-sensory measuring system and method for transportation vehicle operating systems
US10904409B2 (en) Detection apparatus, imaging apparatus, moveable body, and detection method
KR101484170B1 (en) Assessment system and method for image projected from head up display
WO2016079117A1 (en) Gradient detection based on perspective-transformed image
JP7312275B2 (en) Information processing device, sensing device, moving object, information processing method, and information processing system
JP2012098776A (en) Driving support device
JP2022088962A (en) Electronic apparatus, information processing apparatus, concentration degree calculation program, and concentration degree calculation method
JP2016151565A (en) Laser distance measuring device and method for laser distance measuring
JP7021798B1 (en) Trained model generation method, road surface slip friction coefficient estimation device, road surface slip friction coefficient estimation program and road surface slip friction coefficient estimation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210805

R150 Certificate of patent or registration of utility model

Ref document number: 6927914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150