JP2023095847A - system - Google Patents

system Download PDF

Info

Publication number
JP2023095847A
JP2023095847A JP2023048952A JP2023048952A JP2023095847A JP 2023095847 A JP2023095847 A JP 2023095847A JP 2023048952 A JP2023048952 A JP 2023048952A JP 2023048952 A JP2023048952 A JP 2023048952A JP 2023095847 A JP2023095847 A JP 2023095847A
Authority
JP
Japan
Prior art keywords
subject
temperature
image
distance
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023048952A
Other languages
Japanese (ja)
Inventor
耀恒 蘇
Yao Heng Su
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2023048952A priority Critical patent/JP2023095847A/en
Publication of JP2023095847A publication Critical patent/JP2023095847A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Radiation Pyrometers (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Analysis (AREA)

Abstract

To estimate information on the temperature of a subject with high accuracy.SOLUTION: A system picks up, by an imaging unit 13, a far-infrared image of a subject, acquires subject distance information that is the distance to the subject included within an imaging range of the imaging unit 13, and estimates information on the temperature of the subject based on the subject distance information.SELECTED DRAWING: Figure 1

Description

本開示は、システムに関する。 The present disclosure relates to systems.

従来、遠赤外線カメラが、被写体から放出される赤外線を撮像し、撮像した赤外線の強度に基づいて算出される被写体の温度により、歩行者である被写体を抽出することが知られている。遠赤外線カメラによって得られた熱画像から路面の領域を推定し、該路面の温度に基づいて歩行者の取り得る温度を算出することによって、高い精度で歩行者を抽出することが提案されている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, it is known that a far-infrared camera picks up an image of an infrared ray emitted from an object and extracts an object, which is a pedestrian, from the temperature of the object calculated based on the intensity of the imaged infrared ray. It has been proposed to extract pedestrians with high accuracy by estimating the area of the road surface from a thermal image obtained by a far-infrared camera and calculating the possible temperature of the pedestrian based on the temperature of the road surface. (See Patent Document 1, for example).

特開２０１２－５３７２４号公報JP 2012-53724 A

しかしながら、路面の温度と歩行者の取り得る温度との関係は一定でないことがある。このため、特許文献１に記載の方法では、遠赤外線カメラによって検出された遠赤外線の強度を用いて路面の温度と歩行者の取り得る温度との関係に基づいて、被写体の温度に関する情報を正確に推定することが困難となる。 However, the relationship between the temperature of the road surface and the possible temperature of the pedestrian may not be constant. Therefore, in the method described in Patent Document 1, the intensity of far-infrared rays detected by a far-infrared camera is used to accurately obtain information about the temperature of a subject based on the relationship between the temperature of the road surface and the temperature that can be taken by pedestrians. It becomes difficult to estimate

本開示は、被写体の温度に関する情報を高い精度で推定することを目的とする。 An object of the present disclosure is to estimate information about the temperature of a subject with high accuracy.

本開示の一実施形態に係るシステムは、被写体の遠赤外画像を撮像部が撮像する。前記システムは、前記撮像部の撮像範囲に含まれる前記被写体までの距離である被写体距離情報を取得する。前記システムは、前記被写体距離情報に基づき前記被写体の温度に関する情報を推定する。 In a system according to an embodiment of the present disclosure, an imaging unit captures a far-infrared image of a subject. The system acquires subject distance information, which is the distance to the subject included in the imaging range of the imaging unit. The system estimates information about the temperature of the subject based on the subject distance information.

本開示の一実施形態によれば、被写体の温度に関する情報を高い精度で推定することができる。 According to an embodiment of the present disclosure, it is possible to estimate information regarding the temperature of a subject with high accuracy.

本実施形態に係る画像処理装置を含む被写体種別推定システムを備える移動体を示す概略図である。1 is a schematic diagram showing a moving body provided with a subject type estimation system including an image processing device according to this embodiment; FIG. 図１に示す被写体種別推定システムの概略構成を示す機能ブロック図である。2 is a functional block diagram showing a schematic configuration of the subject type estimation system shown in FIG. 1; FIG. 図１に示す撮像部によって撮像された遠赤外画像の例を示す概略図である。2 is a schematic diagram showing an example of a far-infrared image captured by the imaging unit shown in FIG. 1; FIG. 図１に示す被写体種別推定システムの被写体種別推定処理のフローを示すフローチャートである。3 is a flow chart showing a flow of subject type estimation processing of the subject type estimation system shown in FIG. 1;

以下、本開示の一実施形態に係る画像処理装置１０について、図面を参照して説明する。 An image processing apparatus 10 according to an embodiment of the present disclosure will be described below with reference to the drawings.

図１に示すように、本開示の一実施形態に係る画像処理装置１０を含む被写体種別推定システム１は、移動体１００に取り付けられる。 As shown in FIG. 1 , a subject type estimation system 1 including an image processing device 10 according to an embodiment of the present disclosure is attached to a mobile object 100 .

移動体１００は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。 Mobile object 100 may include, for example, a vehicle, a ship, an aircraft, and the like. Vehicles may include, for example, automobiles, industrial vehicles, rail vehicles, utility vehicles, and fixed-wing aircraft that travel on runways, and the like. Motor vehicles may include, for example, cars, trucks, buses, motorcycles, trolleybuses, and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction, and the like. Industrial vehicles may include, for example, forklifts, golf carts, and the like. Industrial vehicles for agriculture may include, for example, tractors, tillers, transplanters, binders, combines, lawn mowers, and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, mobile cranes, tippers, road rollers, and the like. Vehicles may include those that are powered by humans. Vehicle classification is not limited to the above example. For example, automobiles may include road-drivable industrial vehicles. Multiple classifications may contain the same vehicle. Vessels may include, for example, marine jets, boats, tankers, and the like. Aircraft may include, for example, fixed-wing and rotary-wing aircraft.

図２に示すように、被写体種別推定システム１は、撮像装置１１と、距離測定装置１２とを備える。撮像装置１１は、撮像部１３と、画像処理装置１０とを備える。 As shown in FIG. 2 , the subject type estimation system 1 includes an imaging device 11 and a distance measuring device 12 . The imaging device 11 includes an imaging unit 13 and an image processing device 10 .

図１に示したように、撮像部１３は、例えば、移動体１００の前方から放出される遠赤外光を撮像可能なように移動体１００に取付けられている。撮像部１３は、移動体１００の前方に限らず、側方または後方を撮像可能なように移動体１００に取り付けられてもよい。撮像部１３は、撮像範囲内にある被写体から放出された遠赤外光を撮像した遠赤外画像を生成する。撮像部１３は、例えば、遠赤外カメラである。 As shown in FIG. 1, the imaging unit 13 is attached to the moving object 100 so as to be able to image far-infrared light emitted from the front of the moving object 100, for example. The imaging unit 13 may be attached to the moving object 100 so as to be able to image not only the front of the moving object 100 but also the sides or the rear. The imaging unit 13 generates a far-infrared image by imaging far-infrared light emitted from a subject within the imaging range. The imaging unit 13 is, for example, a far-infrared camera.

撮像装置１１の撮像範囲に基準物体１５が取り付けられている。具体的には、基準物体１５は、移動体１００の外表面における、撮像部１３の撮像位置から予め定められた基準距離Ｄ１に固定されている。基準物体１５は、所定の放射率を有する物体である。所定の放射率は、例えば、人間の放射率が取り得る範囲である。人間の放射率は、皮膚の状態、および衣服の素材等にもよるが、例えば０．９５～１である。基準物体１５は、例えば、放射率が１の物体である黒体であってよい。基準物体１５の温度は、体温が取り得る範囲に含まれる所定温度であってよい。体温が取り得る範囲は、例えば、３５度から４２度である。基準物体１５は、ヒーター等の任意の温度制御装置によって所定温度に保持されるよう制御されてよい。 A reference object 15 is attached to the imaging range of the imaging device 11 . Specifically, the reference object 15 is fixed at a predetermined reference distance D1 from the imaging position of the imaging unit 13 on the outer surface of the moving body 100 . Reference object 15 is an object having a predetermined emissivity. The predetermined emissivity is, for example, a range of human emissivity. The emissivity of a human being is, for example, 0.95 to 1, depending on the condition of the skin and the material of clothing. The reference object 15 may be, for example, a black body, an object with an emissivity of one. The temperature of the reference object 15 may be a predetermined temperature within the possible range of body temperature. The possible range of body temperature is, for example, 35 degrees to 42 degrees. The reference object 15 may be controlled to be maintained at a predetermined temperature by any temperature control device such as a heater.

画像処理装置１０は、画像取得部１７と、情報取得部１８と、メモリ１９と、コントローラ２０と、出力部２１とを備える。 The image processing apparatus 10 includes an image acquisition section 17 , an information acquisition section 18 , a memory 19 , a controller 20 and an output section 21 .

画像取得部１７は、撮像装置１１によって生成された遠赤外画像を取得するインターフェースである。 The image acquisition unit 17 is an interface that acquires the far-infrared image generated by the imaging device 11 .

情報取得部１８は、被写体距離Ｄ２を取得する。被写体距離Ｄ２は、距離測定装置１２によって測定された、遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの距離である。 The information acquisition unit 18 acquires the subject distance D2. The subject distance D2 is the distance from the imaging position of the far-infrared image to the subject included as an image in the far-infrared image, measured by the distance measuring device 12 .

メモリ１９は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。メモリ１９は、基準物体１５から放出された遠赤外光の強度ＩＡ０を記憶する。メモリ１９は、撮像部１３における撮像位置から基準物体１５までの基準距離Ｄ１を記憶する。メモリ１９は、撮像部１３における撮像位置から距離測定装置１２までの距離Ｄ２２を記憶する。遠赤外光の強度ＩＡ０、基準距離Ｄ１、および距離Ｄ２２は、予め設計された値である。遠赤外光の強度ＩＡ０、基準距離Ｄ１、および距離Ｄ２２は、被写体種別推定システム１の移動体１００への搭載後に校正された値、あるいは実測値であってもよい。 The memory 19 is composed of arbitrary storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory). A memory 19 stores the intensity I A0 of far-infrared light emitted from the reference object 15 . The memory 19 stores a reference distance D<b>1 from the imaging position in the imaging unit 13 to the reference object 15 . The memory 19 stores the distance D<b>22 from the imaging position in the imaging unit 13 to the distance measuring device 12 . The far-infrared light intensity I A0 , the reference distance D1, and the distance D22 are values designed in advance. The far-infrared light intensity I A0 , the reference distance D1, and the distance D22 may be values calibrated after the subject type estimation system 1 is mounted on the moving body 100, or may be actually measured values.

コントローラ２０は、１以上のプロセッサおよびメモリを含む。コントローラ２０は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ASIC; Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（PLD; Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ２０は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってもよい。 Controller 20 includes one or more processors and memory. The controller 20 may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor that specializes in specific processing. A dedicated processor may include an Application Specific Integrated Circuit (ASIC). The processor may include a programmable logic device (PLD). The PLD may include an FPGA (Field-Programmable Gate Array). Controller 20 may be either SoC (System-on-a-Chip) or SiP (System In a Package) with which one or more processors cooperate.

コントローラ２０は、画像取得部１７によって取得された遠赤外画像に対して処理を実行する。コントローラ２０が実行する処理の詳細は後述する。 The controller 20 processes the far-infrared image acquired by the image acquisition unit 17 . The details of the processing executed by the controller 20 will be described later.

出力部２１は、コントローラ２０によって実行された処理に基づく情報を、距離測定装置１２、ならびに移動体１００に搭載されたディスプレイおよびＥＣＵ（Engine Control UnitまたはElectric Control Unit）等に出力してよい。ＥＣＵは、出力部２１によって出力された情報に基づいて、例えば移動体１００に関連して使用される被制御装置を制御することにより、移動体１００の走行を制御しうる。被制御装置には、例えば、エンジン、モータ、トランスミッション、カーエアコンディショナ、パワーウィンドウ、カーナビゲーションシステム、カーオーディオ、ヘッドアップディスプレイ等を含んでよいが、これらに限られない。 The output unit 21 may output information based on the processing executed by the controller 20 to the distance measuring device 12, a display and an ECU (Engine Control Unit or Electric Control Unit), etc. mounted on the moving body 100. The ECU can control traveling of the mobile body 100 by controlling controlled devices used in association with the mobile body 100 based on the information output by the output unit 21 . Controlled devices may include, but are not limited to, engines, motors, transmissions, car air conditioners, power windows, car navigation systems, car audio systems, head-up displays, and the like.

距離測定装置１２は、撮像装置１１における撮像位置から被写体までの距離である被写体距離Ｄ２を算出するための情報を生成する。被写体距離Ｄ２を算出するための情報は、例えば、該距離測定装置１２から被写体までの距離Ｄ２１、または被写体距離Ｄ２そのものである。被写体距離Ｄ２を算出するための情報が距離Ｄ２１である構成では、距離測定装置１２は、距離Ｄ２１を測定し、測定した距離Ｄ２１を、被写体距離Ｄ２を算出するための情報として生成する。被写体距離Ｄ２を算出するための情報が被写体距離Ｄ２そのものである構成では、距離測定装置１２は、距離Ｄ２１を測定する。距離測定装置１２は、測定された距離Ｄ２１と、予め定められた撮像装置１１の撮像位置および距離測定装置１２の間の距離Ｄ２２とに基づいて撮像装置１１における撮像位置から被写体までの被写体距離Ｄ２を算出する。図１に示した例では、距離測定装置１２は、撮像部１３と被写体との間に位置する。このため、距離測定装置１２は、距離測定装置１２から被写体までの距離Ｄ２１と、撮像装置１１から距離測定装置１２まで間の距離Ｄ２２との合計Ｄ２１＋Ｄ２２である被写体距離Ｄ２を算出する。 The distance measuring device 12 generates information for calculating a subject distance D2, which is the distance from the imaging position in the imaging device 11 to the subject. Information for calculating the subject distance D2 is, for example, the distance D21 from the distance measuring device 12 to the subject, or the subject distance D2 itself. In a configuration in which the information for calculating the subject distance D2 is the distance D21, the distance measuring device 12 measures the distance D21 and generates the measured distance D21 as information for calculating the subject distance D2. In a configuration in which the information for calculating the subject distance D2 is the subject distance D2 itself, the distance measuring device 12 measures the distance D21. The distance measuring device 12 calculates a subject distance D2 from the imaging position of the imaging device 11 to the subject based on the measured distance D21 and the predetermined distance D22 between the imaging position of the imaging device 11 and the distance measuring device 12. Calculate In the example shown in FIG. 1, the distance measuring device 12 is positioned between the imaging unit 13 and the subject. Therefore, the distance measuring device 12 calculates the subject distance D2, which is the sum of the distance D21 from the distance measuring device 12 to the subject and the distance D22 from the imaging device 11 to the distance measuring device 12, which is D21+D22.

距離測定装置１２は、例えば、ＲＡＤＡＲ（Radio detection And Ranging）、ＬＩＤＡＲ（Light Detection and Ranging）等であってよい。距離測定装置１２は、単眼カメラであってもよい。単眼カメラを適用した距離測定装置１２は、被写体を撮像した画像に基づいて公知の方法により、被写体距離Ｄ２を算出しうる。これらに限られず、距離測定装置１２は、任意の方法で撮像位置から被写体までの距離を測定してよい。 The distance measuring device 12 may be, for example, RADAR (Radio Detection And Ranging), LIDAR (Light Detection And Ranging), or the like. Distance measuring device 12 may be a monocular camera. The distance measuring device 12 using a monocular camera can calculate the subject distance D2 by a known method based on the captured image of the subject. The distance measuring device 12 may measure the distance from the imaging position to the subject by any method without being limited to these methods.

ここで、コントローラ２０が実行する処理について、図面を参照して詳細に説明する。 Here, processing executed by the controller 20 will be described in detail with reference to the drawings.

コントローラ２０は、撮像部１３によって撮像された、図３に示すような遠赤外画像に対象被写体１６の像１６ｉｍが含まれるか否かを判定する。コントローラ２０は、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定した場合、対象被写体１６の像１６ｉｍを抽出する。対象被写体１６は、コントローラ２０によって後述するように温度を推定する対象となる被写体である。 The controller 20 determines whether or not the image 16im of the target subject 16 is included in the far-infrared image as shown in FIG. When the controller 20 determines that the image 16im of the target subject 16 is included in the far-infrared image, the controller 20 extracts the image 16im of the target subject 16 . The target subject 16 is a subject whose temperature is to be estimated by the controller 20 as will be described later.

具体的には、コントローラ２０は、遠赤外画像におけるエッジを検出し、該エッジによって囲まれる領域を抽出する。そして、コントローラ２０は、該領域が所定の大きさ以上であるか否かを判定する。さらに、コントローラ２０は、該領域が所定の大きさ以上である場合に、該領域に含まれる各画素の信号レベルの最大値と最小値との差が閾値以下であるか否かを判定する。コントローラ２０は、差が閾値以下である領域がある場合、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定する。コントローラ２０は、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定すると、該領域に表される像を対象被写体１６の像１６ｉｍとして抽出する。コントローラ２０が、遠赤外画像において対象被写体１６の像１６ｉｍを抽出する方法は、これに限られず任意の方法であってよい。 Specifically, the controller 20 detects edges in the far-infrared image and extracts areas surrounded by the edges. Then, the controller 20 determines whether or not the area is equal to or larger than a predetermined size. Further, when the area is equal to or larger than a predetermined size, the controller 20 determines whether the difference between the maximum signal level and the minimum signal level of each pixel included in the area is equal to or less than a threshold. The controller 20 determines that the image 16im of the target subject 16 is included in the far-infrared image when there is an area where the difference is equal to or less than the threshold. When the controller 20 determines that the image 16im of the target subject 16 is included in the far-infrared image, the controller 20 extracts the image represented in the region as the image 16im of the target subject 16 . The method by which the controller 20 extracts the image 16im of the target subject 16 from the far-infrared image is not limited to this and may be any method.

コントローラ２０は、対象被写体１６までの距離を算出するための情報を距離測定装置１２から取得する。 The controller 20 acquires information for calculating the distance to the target subject 16 from the distance measuring device 12 .

具体的には、コントローラ２０は、遠赤外画像における対象被写体１６の像１６ｉｍの位置を判定する。コントローラ２０は、出力部２１に、距離測定装置１２に該位置を出力させる。距離測定装置１２は、出力部２１によって出力された、遠赤外画像内での位置に基づいて、撮像位置から対象被写体１６までの被写体距離Ｄ２を測定する。距離測定装置１２は、測定された被写体距離Ｄ２を画像処理装置１０に出力する。距離測定装置１２によって被写体距離Ｄ２が出力されると、情報取得部１８は、被写体距離Ｄ２を取得する。 Specifically, the controller 20 determines the position of the image 16im of the target subject 16 in the far-infrared image. The controller 20 causes the output unit 21 to output the position to the distance measuring device 12 . The distance measuring device 12 measures the subject distance D2 from the imaging position to the target subject 16 based on the position within the far-infrared image output by the output unit 21 . The distance measuring device 12 outputs the measured object distance D2 to the image processing device 10 . When the distance measuring device 12 outputs the subject distance D2, the information obtaining section 18 obtains the subject distance D2.

コントローラ２０は、距離測定装置１２によって測定可能な範囲にある全ての物体までの距離を該距離測定装置１２から取得してもよい。この場合、コントローラ２０は、距離測定装置１２が測定した各物体までの距離のうち、遠赤外画像における対象被写体１６の像１６ｉｍの位置に相当する実空間での位置ある物体までの距離を被写体距離Ｄ２として抽出する。 The controller 20 may obtain from the distance measuring device 12 the distances to all objects within the measurable range of the distance measuring device 12 . In this case, the controller 20 determines the distance to an object at a position in real space corresponding to the position of the image 16im of the target subject 16 in the far-infrared image, among the distances to each object measured by the distance measuring device 12. Extract as the distance D2.

コントローラ２０は、被写体距離Ｄ２と、基準距離Ｄ１と、基準物体１５の温度に関する情報と、対象被写体１６の像１６ｉｍにおける信号レベルと、基準物体１５の撮像領域として予め定められている領域１５ｉｍにおける信号レベルとに基づいて、対象被写体１６の温度を推定する。温度に関する情報は、温度であってよい。温度に関する情報は、温度を換算することのできる任意の情報であってよい。以降において、温度に関する情報は、温度であるとして説明する。 The controller 20 controls the subject distance D2, the reference distance D1, information about the temperature of the reference object 15, the signal level in the image 16im of the target subject 16, and the signal in the area 15im predetermined as the imaging area of the reference object 15. The temperature of the target subject 16 is estimated based on the level. The information about temperature may be temperature. Information about temperature may be any information that can be converted to temperature. In the following description, it is assumed that the temperature information is the temperature.

基準物体１５および対象被写体１６を含む被写体から放出された遠赤外光は、大気に吸収される。そのため、遠赤外光の強度は、該遠赤外光が伝播する距離が長くなるほど減衰する。具体的には、基準物体１５から放出された遠赤外光の強度ＩＡ０、基準物体１５から基準距離Ｄ１離れた撮像位置で撮像された遠赤外光の強度ＩＡ１、および大気による遠赤外光の吸収係数αには、式（１）に示す関係が成立する。上述したように、基準物体１５は所定の放射率を有し、予め定められた温度に制御されている。そのため、遠赤外光の強度ＩＡ０は、既知の値であり、上述したように予めメモリ１９に記憶されている。また、遠赤外光の強度ＩＡ１は、遠赤外画像内で基準物体１５の撮像領域として予め定められている領域１５ｉｍの信号レベルに対応する値である。また、基準距離Ｄ１は、上述したように撮像部１３の撮像位置から基準物体１５までの距離であり、上述したように予めメモリ１９に記憶されている。 Far-infrared light emitted from subjects including the reference object 15 and the target subject 16 is absorbed by the atmosphere. Therefore, the intensity of far-infrared light attenuates as the distance over which the far-infrared light propagates increases. Specifically, the intensity I A0 of the far-infrared light emitted from the reference object 15, the intensity I A1 of the far-infrared light captured at the imaging position separated from the reference object 15 by the reference distance D1, and the far-infrared light due to the atmosphere The relationship shown in Equation (1) holds for the external light absorption coefficient α. As described above, the reference object 15 has a predetermined emissivity and is controlled to a predetermined temperature. Therefore, the far-infrared light intensity I A0 is a known value and is stored in advance in the memory 19 as described above. Further, the far-infrared light intensity I A1 is a value corresponding to the signal level of an area 15im predetermined as an imaging area of the reference object 15 in the far-infrared image. The reference distance D1 is the distance from the imaging position of the imaging unit 13 to the reference object 15 as described above, and is stored in advance in the memory 19 as described above.

α＝－（ｌｏｇ１０（ＩＡ１／ＩＡ０））／Ｄ１ 式（１） α=−(log 10 (I A1 /I A0 ))/D1 formula (1)

また、対象被写体１６から放出された遠赤外光の強度ＩＢ０、対象被写体１６から被写体距離Ｄ２離れた撮像位置で撮像された遠赤外光の強度ＩＢ１、及び大気による遠赤外光の吸収係数αには、式（２）に示す関係が成立する。遠赤外光の強度ＩＢ１は、遠赤外画像内で被写体の像における信号レベルに対応する値である。また、上述したように、被写体距離Ｄ２は、距離測定装置１２によって測定されている。 In addition, the intensity I B0 of far-infrared light emitted from the target subject 16, the intensity I B1 of far-infrared light captured at an imaging position distant from the target subject 16 by a subject distance D2, and the intensity of far-infrared light by the atmosphere The absorption coefficient α satisfies the relationship shown in Equation (2). The far-infrared light intensity I B1 is a value corresponding to the signal level in the image of the subject in the far-infrared image. In addition, the subject distance D2 is measured by the distance measuring device 12 as described above.

α＝－（ｌｏｇ１０（ＩＢ１／ＩＢ０））／Ｄ２ 式（２） α=−(log 10 (I B1 /I B0 ))/D2 Equation (2)

したがって、対象被写体１６から放出された遠赤外光の強度ＩＢ０は、式（３）によって導出される。 Therefore, the intensity I B0 of the far-infrared light emitted from the target subject 16 is derived by equation (3).

Figure 2023095847000002
Figure 2023095847000002

コントローラ２０は、対象被写体１６から放出された遠赤外光の強度ＩＢ０を算出すると、強度ＩＢ０を温度に換算し、換算された温度を対象被写体１６の温度と推定する。 After calculating the intensity I B0 of the far-infrared light emitted from the target subject 16 , the controller 20 converts the intensity I B0 into temperature and estimates the converted temperature as the temperature of the target subject 16 .

コントローラ２０は、対象被写体１６の温度を推定すると、該温度に基づいて対象被写体１６の種別を推定する。具体的には、コントローラ２０は、対象被写体１６の温度が所定範囲内であるか否かを判定する。所定範囲とは、人間の体温がとり得る範囲であり、例えば、３５度から３９度である。コントローラ２０は、対象被写体１６の温度が所定範囲にある場合、対象被写体１６の種別が人間であると推定する。コントローラ２０は、対象被写体１６の温度が所定範囲にない場合、対象被写体１６の種別が人間以外であると推定する。 After estimating the temperature of the target subject 16, the controller 20 estimates the type of the target subject 16 based on the temperature. Specifically, the controller 20 determines whether the temperature of the target subject 16 is within a predetermined range. The predetermined range is a range that a human body temperature can take, for example, 35 degrees to 39 degrees. The controller 20 estimates that the type of the target subject 16 is human when the temperature of the target subject 16 is within a predetermined range. If the temperature of the target subject 16 is not within the predetermined range, the controller 20 estimates that the type of the target subject 16 is other than human.

コントローラ２０は、対象被写体１６の温度が所定範囲にある場合、対象被写体１６の種別ではなく、種別の候補が人間であると推定してもよい。この場合、コントローラ２０は、対象被写体１６の像１６ｉｍの形状または挙動に基づいて、対象被写体１６の種別が人間であるか否かを判定する。具体的には、コントローラ２０は、種別の候補が人間であると推定された対象被写体１６の像１６ｉｍの形状が予め記憶されている形状と類似している場合、対象被写体１６の種別が人間であると推定する。また、コントローラ２０は、種別の候補が人間であると推定された対象被写体１６の像１６ｉｍの挙動によって対象被写体１６の種別が人間であるか否かを推定してもよい。対象被写体１６の像１６ｉｍの挙動は、例えば、対象被写体１６の像１６ｉｍの形状が時間に伴って変化した履歴である。コントローラ２０は、対象被写体１６の像１６ｉｍの挙動が予め記憶されている挙動と類似している場合、該対象被写体１６の種別が人間であると判定してよい。なお、形状または挙動が類似しているか否かを判定する方法は、任意の方法であってよい。 When the temperature of the target subject 16 is within a predetermined range, the controller 20 may estimate that the candidate for the type of the target subject 16 is human instead of the type. In this case, the controller 20 determines whether the type of the target subject 16 is human based on the shape or behavior of the image 16im of the target subject 16 . Specifically, if the shape of the image 16im of the target subject 16 whose type candidate is estimated to be human is similar to a pre-stored shape, the controller 20 determines that the type of the target subject 16 is human. Assume there is. Further, the controller 20 may estimate whether the type of the target subject 16 is human based on the behavior of the image 16im of the target subject 16 whose type candidate is estimated to be human. The behavior of the image 16im of the target subject 16 is, for example, a history of changes in the shape of the image 16im of the target subject 16 over time. When the behavior of the image 16im of the target subject 16 is similar to the pre-stored behavior, the controller 20 may determine that the type of the target subject 16 is human. Any method may be used to determine whether the shapes or behaviors are similar.

コントローラ２０は、対象被写体１６の種別を判定すると、該種別を移動体１００に搭載されたディスプレイまたはＥＣＵに出力するよう出力部２１を制御してもよい。コントローラ２０は、該種別とともに被写体距離Ｄ２をディスプレイまたはＥＣＵに出力するよう出力部２１を制御してもよい。 After determining the type of the target subject 16 , the controller 20 may control the output section 21 to output the type to a display or ECU mounted on the moving body 100 . The controller 20 may control the output section 21 to output the subject distance D2 together with the type to a display or ECU.

続いて、本実施形態の画像処理装置１０の被写体種別推定処理について、図４を参照して説明する。画像処理装置１０は、撮像部１３から遠赤外画像を取得すると、被写体種別推定処理を開始する。 Subsequently, subject type estimation processing of the image processing apparatus 10 of the present embodiment will be described with reference to FIG. When acquiring the far-infrared image from the imaging unit 13, the image processing apparatus 10 starts subject type estimation processing.

ステップＳ１１では、コントローラ２０は、画像取得部１７によって取得された遠赤外画像に対象被写体１６の像１６ｉｍが含まれるか否かを判定する。コントローラ２０が、遠赤外画像に対象被写体１６の像１６ｉｍが含まれると判定すると、プロセスは、ステップＳ１２に進む。コントローラ２０は、遠赤外画像に対象被写体１６の像１６ｉｍが含まれないと判定すると、被写体種別推定処理を終了する。 In step S<b>11 , the controller 20 determines whether or not the image 16 im of the target subject 16 is included in the far-infrared image acquired by the image acquisition unit 17 . When the controller 20 determines that the far-infrared image includes the image 16im of the target subject 16, the process proceeds to step S12. When the controller 20 determines that the image 16im of the target subject 16 is not included in the far-infrared image, it ends the subject type estimation processing.

ステップＳ１２では、コントローラ２０は、画像取得部１７によって取得された遠赤外画像において対象被写体１６の像１６ｉｍを抽出する。コントローラ２０が対象被写体１６の像を抽出すると、プロセスはステップＳ１３に進む。 In step S<b>12 , the controller 20 extracts the image 16 im of the target subject 16 from the far-infrared image acquired by the image acquisition section 17 . Once the controller 20 has extracted the image of the target subject 16, the process proceeds to step S13.

ステップＳ１３では、コントローラ２０は、遠赤外画像における対象被写体１６の像１６ｉｍの位置を判定する。コントローラ２０が対象被写体１６の像１６ｉｍの位置を判定すると、プロセスはステップＳ１４に進む。 In step S13, the controller 20 determines the position of the image 16im of the target subject 16 in the far-infrared image. Once the controller 20 has determined the position of the image 16im of the target-subject 16, the process proceeds to step S14.

ステップＳ１４では、コントローラ２０は、距離測定装置１２が測定した被写体距離Ｄ２を対象被写体１６の像１６ｉｍの位置に基づいて取得する。コントローラ２０が被写体距離Ｄ２を取得すると、プロセスはステップＳ１５に進む。 In step S14, the controller 20 acquires the subject distance D2 measured by the distance measuring device 12 based on the position of the image 16im of the target subject 16. FIG. Once the controller 20 has obtained the subject distance D2, the process proceeds to step S15.

ステップＳ１５では、コントローラ２０は、被写体距離Ｄ２と、基準距離Ｄ１と、基準物体１５の温度と、対象被写体１６の像１６ｉｍにおける信号レベルと、基準物体１５の撮像領域として予め定められている領域１５ｉｍにおける信号レベルとに基づいて、対象被写体１６の温度を推定する。コントローラ２０が対象被写体１６の温度を推定すると、プロセスはステップＳ１６に進む。 In step S15, the controller 20 controls the object distance D2, the reference distance D1, the temperature of the reference object 15, the signal level in the image 16im of the target object 16, and the area 15im predetermined as the imaging area of the reference object 15. , and the temperature of the target subject 16 is estimated. Once the controller 20 estimates the temperature of the target-subject 16, the process proceeds to step S16.

ステップＳ１６では、コントローラ２０は、推定された対象被写体１６の温度が所定範囲内にあるか否かを判定する。コントローラ２０が、推定された対象被写体１６の温度が所定範囲内であると判定すると、プロセスは、ステップＳ１７に進む。コントローラ２０が、推定された対象被写体１６の温度が所定範囲内でないと判定すると、プロセスは、ステップＳ１８に進む。 In step S16, the controller 20 determines whether the estimated temperature of the target subject 16 is within a predetermined range. If the controller 20 determines that the estimated temperature of the target subject 16 is within the predetermined range, the process proceeds to step S17. If the controller 20 determines that the estimated temperature of the target-subject 16 is not within the predetermined range, the process proceeds to step S18.

ステップＳ１７では、コントローラ２０は、対象被写体１６の種別が人間であると推定する。コントローラ２０は、対象被写体１６の種別が人間であると推定すると、被写体種別推定処理を終了する。 In step S17, the controller 20 estimates that the type of the target subject 16 is human. When the controller 20 estimates that the type of the target subject 16 is human, it ends the subject type estimation processing.

ステップＳ１８では、コントローラ２０は、対象被写体１６の種別が人間でないと推定する。コントローラ２０は、対象被写体１６の種別が人間でないと推定すると、被写体種別推定処理を終了する。 In step S18, the controller 20 estimates that the type of the target subject 16 is not human. When the controller 20 estimates that the type of the target subject 16 is not human, it terminates the subject type estimation processing.

以上説明したように、本実施形態によれば、画像処理装置１０は、被写体距離Ｄ２と、基準距離Ｄ１と、基準物体１５の温度と、対象被写体１６の像１６ｉｍにおける信号レベルと、基準物体１５の撮像領域として予め定められている領域１５ｉｍにおける信号レベルとに基づいて、対象被写体１６の温度を推定する。このため、画像処理装置１０は、基準物体１５の温度と、遠赤外画像における撮像領域の信号レベルとから推定される遠赤外光の減衰の度合いを鑑みて対象被写体１６の温度を推定することになる。したがって、画像処理装置１０は、大気による遠赤外光の吸収率が変動しても、温度の推定における正確性を向上させうる。また、遠赤外光は、伝播する距離が長いほど多く吸収される。そのため、画像処理装置１０は、撮像位置から基準距離Ｄ１にある基準物体１５の温度に基づいて、被写体距離Ｄ２にある対象被写体１６の温度を推定することによって、該温度の推定の正確性をより向上させうる。 As described above, according to the present embodiment, the image processing apparatus 10 provides the object distance D2, the reference distance D1, the temperature of the reference object 15, the signal level in the image 16im of the target object 16, the reference object 15 The temperature of the target subject 16 is estimated based on the signal level in the area 15im predetermined as the imaging area of . Therefore, the image processing apparatus 10 estimates the temperature of the target subject 16 in consideration of the degree of attenuation of far-infrared light estimated from the temperature of the reference object 15 and the signal level of the imaging region in the far-infrared image. It will be. Therefore, the image processing apparatus 10 can improve the accuracy in estimating the temperature even if the absorbance of far-infrared light by the atmosphere varies. In addition, far-infrared light is absorbed more as the propagation distance is longer. Therefore, the image processing apparatus 10 estimates the temperature of the target subject 16 at the subject distance D2 based on the temperature of the reference object 15 at the reference distance D1 from the imaging position, thereby improving the accuracy of the temperature estimation. can be improved.

また、本実施形態によれば、基準物体１５の温度は定められた温度である。これにより、画像処理装置１０は、基準物体１５の温度を計測するための機器を備えることなく、簡易な構成で対象被写体１６の温度の測定の正確性を向上させうる。 Also, according to this embodiment, the temperature of the reference object 15 is a predetermined temperature. As a result, the image processing apparatus 10 can improve the accuracy of temperature measurement of the target subject 16 with a simple configuration without having a device for measuring the temperature of the reference object 15 .

また、本実施形態によれば、画像処理装置１０は、被写体の温度と、遠赤外画像における被写体の像の形状または挙動とに基づいて被写体の種別を推定する。具体的には、画像処理装置１０は、遠赤外画像における被写体の像の形状または挙動に基づいて対象被写体１６を抽出し、対象被写体１６の温度に基づいて対象被写体１６の種別を推定する。仮に、対象被写体１６の像１６ｉｍの形状または挙動のみに基づいて該対象被写体１６の種別を推定する場合、形状または挙動が所定の種別のそれぞれ形状または挙動に類似しているが、温度が所定の種別について定められる範囲にない対象被写体１６が所定の種別であると誤って推定される場合がある。例えば、対象被写体１６の像１６ｉｍは人間の形状に類似しているが、人間の取り得る範囲の温度でないマネキン等が人間であると誤って推定される場合がある。したがって、画像処理装置１０は、対象被写体１６の温度と、遠赤外画像における対象被写体１６の像１６ｉｍの形状または挙動とに基づいて被写体の種別を推定することによって、該種別の推定の正確性を向上させうる。 Further, according to the present embodiment, the image processing apparatus 10 estimates the type of subject based on the temperature of the subject and the shape or behavior of the image of the subject in the far-infrared image. Specifically, the image processing device 10 extracts the target subject 16 based on the shape or behavior of the subject image in the far-infrared image, and estimates the type of the target subject 16 based on the temperature of the target subject 16 . If the type of the target subject 16 is estimated based only on the shape or behavior of the image 16im of the target subject 16, the shape or behavior is similar to the shape or behavior of the predetermined type, but the temperature is the predetermined type. A target subject 16 that is not within the range defined for the type may be erroneously estimated to be of the predetermined type. For example, an image 16im of the target subject 16 may be erroneously estimated to be a man, such as a mannequin whose temperature is not within the range that a human can take, even though the shape of the image 16im is similar to that of a human. Therefore, the image processing device 10 estimates the type of the subject based on the temperature of the target subject 16 and the shape or behavior of the image 16im of the target subject 16 in the far-infrared image, thereby improving the accuracy of the estimation of the type. can improve

また、本実施形態によれば、画像処理装置１０は、対象被写体１６の種別が人間であるか否かを推定し、基準物体１５の放射率は人間の放射率に等しい。仮に、基準物体１５の放射率が人間の放射率と異なる場合、放射率の差異に起因して、基準物体１５における温度と像の撮像領域の信号レベルとの関係は、対象被写体１６における温度と信号レベルとの関係とは同じでないことがある。この場合、基準物体１５における温度と像の撮像領域の信号レベルとの関係を鑑みても、対象被写体１６の像の信号レベルに基づいて対象被写体１６の温度は正確に推定されないことがある。これに対し、基準物体１５の放射率が人間の放射率と等しいことによって、基準物体１５における温度と像の撮像領域の信号レベルとの関係は、人間である対象被写体１６における温度と像の信号レベルとの関係に適用される。したがって、画像処理装置１０は、基準物体１５における温度と像の撮像領域の信号レベルとの関係に基づいて対象被写体１６の温度を推定することによって、温度の推定の正確性を向上させうる。 Further, according to the present embodiment, the image processing apparatus 10 estimates whether the type of the target subject 16 is human, and the emissivity of the reference object 15 is equal to the emissivity of human. If the emissivity of the reference object 15 is different from the human emissivity, the relationship between the temperature at the reference object 15 and the signal level in the imaging region of the image will differ from the temperature at the target object 16 due to the difference in emissivity. may not be the same as the relationship with signal level. In this case, the temperature of the target subject 16 may not be accurately estimated based on the signal level of the image of the target subject 16, even considering the relationship between the temperature of the reference object 15 and the signal level of the imaging region of the image. On the other hand, since the emissivity of the reference object 15 is equal to the emissivity of a human being, the relationship between the temperature of the reference object 15 and the signal level of the imaging area of the image can be expressed as Applied in relation to levels. Therefore, the image processing apparatus 10 can improve the accuracy of temperature estimation by estimating the temperature of the target subject 16 based on the relationship between the temperature of the reference object 15 and the signal level of the imaging region of the image.

また、本実施形態によれば、基準物体１５の温度は、体温の取り得る範囲に含まれる。被写体から放出される赤外光の波長の分布範囲は、該被写体の温度によって異なる。また、被写体から放出される赤外光のうち、最も強度の高い光の波長は該被写体の温度によって異なる。したがって、波長の分布範囲、および最も強度の高い波長が類似している赤外光を放出する基準物体１５が適用されることによって、人間から放出される赤外光と基準物体１５から放出する赤外光の特性が類似する。そのため、画像処理装置１０は、被写体から放出される赤外光の強度を、人間と類似した特性を有する赤外光の強度と比較することによって、被写体が人間である場合の該被写体の温度の推定の正確性を向上させうる。したがって、画像処理装置１０は、温度の推定の正確性を向上することによって、被写体の種別の推定の正確性を向上させうる。 Further, according to the present embodiment, the temperature of the reference object 15 is included in the possible range of body temperature. The distribution range of wavelengths of infrared light emitted from an object varies depending on the temperature of the object. Further, the wavelength of the light with the highest intensity among the infrared rays emitted from the subject varies depending on the temperature of the subject. Therefore, by applying the reference object 15 that emits infrared light that has a similar wavelength distribution range and the highest intensity wavelength, the infrared light emitted from humans and the red light emitted from the reference object 15 are applied. Characteristics of outside light are similar. Therefore, the image processing apparatus 10 compares the intensity of the infrared light emitted from the subject with the intensity of the infrared light having characteristics similar to those of a human being, and calculates the temperature of the subject when the subject is a human being. It can improve estimation accuracy. Therefore, the image processing apparatus 10 can improve the accuracy of subject type estimation by improving the accuracy of temperature estimation.

本実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限されるものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the present embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions may be made within the spirit and scope of the invention. Therefore, this invention should not be construed as limited by the above-described embodiments, and various modifications and changes are possible without departing from the scope of the claims. For example, it is possible to combine a plurality of configuration blocks described in the embodiments and examples into one, or divide one configuration block.

上述の実施形態において、撮像装置１１と距離測定装置１２とが別体である構成を説明したが、撮像装置１１と距離測定装置１２とが一体として構成されてよい。撮像装置１１は、内部に距離測定装置１２を備えてもよい。 In the above-described embodiment, the configuration in which the imaging device 11 and the distance measuring device 12 are separate units has been described, but the imaging device 11 and the distance measuring device 12 may be configured as an integrated unit. The imaging device 11 may include a distance measuring device 12 inside.

上述の実施形態において、撮像装置１１が撮像部１３と画像処理装置１０とを備える構成を説明し、図１において撮像部１３と画像処理装置１０とは別体に構成されている例を示したが、これに限らない。例えば、撮像部１３と画像処理装置１０とは一体に構成されてもよい。 In the above-described embodiment, the configuration in which the imaging device 11 includes the imaging unit 13 and the image processing device 10 was described, and FIG. 1 shows an example in which the imaging unit 13 and the image processing device 10 are configured separately. However, it is not limited to this. For example, the imaging unit 13 and the image processing device 10 may be integrated.

上述の実施形態において、複数の基準物体１５が、移動体１００における、撮像部１３の撮像範囲に取り付けられてもよい。この場合、複数の基準物体１５は、人間が取り得る温度範囲における互いに異なる温度に定められてよい。例えば、複数の基準物体１５のうちの第１基準物体の温度は、例えば該温度範囲の最高温度に定められてよい。第２基準物体の温度は、例えば該温度範囲の最低温度に定められてよい。このような構成において、コントローラ２０は、第１基準物体および第２基準物体の両方に基づいて、対象被写体１６の温度を推定してもよい。 In the above-described embodiments, a plurality of reference objects 15 may be attached to the imaging range of the imaging unit 13 on the mobile object 100 . In this case, the plurality of reference objects 15 may be set to different temperatures within the temperature range that humans can take. For example, the temperature of the first reference object among the plurality of reference objects 15 may be set to the maximum temperature of the temperature range, for example. The temperature of the second reference object may be set, for example, to the lowest temperature of the temperature range. In such a configuration, controller 20 may estimate the temperature of target-subject 16 based on both the first reference object and the second reference object.

例えば、コントローラ２０は、第１基準物体および第２基準物体それぞれの撮像領域として予め定められている領域の信号レベルの平均値を算出する。そして、コントローラ２０は、算出した信号レベルの平均値に対応する強度に基づいて、上述の式（１）および式（２）を用いて、対象被写体１６の温度を推定する。 For example, the controller 20 calculates the average value of the signal levels of areas predetermined as imaging areas of the first reference object and the second reference object. Then, the controller 20 estimates the temperature of the target subject 16 using the above equations (1) and (2) based on the intensity corresponding to the calculated average value of the signal levels.

また、例えば、コントローラ２０は、第１基準物体および第２基準物体に基づいて、上述の式（１）を用いてそれぞれ放射率αを算出してもよい。そして、コントローラ２０は、それぞれ算出された放射率αの平均値に基づいて、上述の式（２）を用いて対象被写体１６から放出された赤外光の強度ＩＢ１を算出し、強度ＩＢ１を換算することによって対象被写体１６の温度を推定してもよい。 Also, for example, the controller 20 may calculate the emissivity α based on the first reference object and the second reference object using the above equation (1). Then, the controller 20 calculates the intensity I B1 of the infrared light emitted from the target subject 16 using the above equation (2) based on the calculated average value of the emissivity α, and the intensity I B1 The temperature of the target subject 16 may be estimated by converting .

また、例えば、コントローラ２０は、第１基準物体の温度と、遠赤外画像内で第１基準物体の撮像領域として予め定められている領域における信号レベルと、撮像位置から第１基準物体までの距離に基づいて、上述と同様に対象被写体１６の温度を推定する。さらに、コントローラ２０は、第２基準物体の温度と、遠赤外画像内で第２基準物体の撮像領域として予め定められている領域における信号レベルと、撮像位置から第２基準物体までの距離に基づいて、上述と同様に対象被写体１６の温度を推定する。そして、コントローラ２０は、第１基準物体に基づいて推定された温度と第２基準物体に基づいて推定された温度とに基づいて対象被写体１６の温度を推定してもよい。例えば、コントローラ２０は、第１基準物体に基づいて推定された温度と第２基準物体に基づいて推定された温度との平均温度を対象被写体１６の温度としてもよい。 Further, for example, the controller 20 may control the temperature of the first reference object, the signal level in a region predetermined as the imaging region of the first reference object in the far-infrared image, and the distance from the imaging position to the first reference object. Based on the distance, the temperature of the target subject 16 is estimated in the same manner as described above. Furthermore, the controller 20 determines the temperature of the second reference object, the signal level in a region predetermined as the imaging region of the second reference object in the far-infrared image, and the distance from the imaging position to the second reference object. Based on this, the temperature of the target subject 16 is estimated in the same manner as described above. The controller 20 may then estimate the temperature of the target subject 16 based on the temperature estimated based on the first reference object and the temperature estimated based on the second reference object. For example, the controller 20 may set the average temperature of the temperature estimated based on the first reference object and the temperature estimated based on the second reference object as the temperature of the target subject 16 .

上述の実施形態において、被写体種別推定システム１は距離測定装置１２を備えるが、これに限らない。例えば、被写体種別推定システム１は、距離測定装置１２を備えず、画像処理装置１０のコントローラ２０が、画像取得部１７によって取得された遠赤外画像に基づいて、公知の方法により被写体距離Ｄ２を算出してもよい。この場合、コントローラ２０は、遠赤外画像に基づいて算出された被写体距離Ｄ２を用いて、対象被写体１６の温度を推定してもよい。この場合、被写体種別推定システム１は、距離測定装置１２を備える必要がなく、簡易な構成により対象被写体１６の温度を推定しうる。 In the above-described embodiment, the subject type estimation system 1 includes the distance measuring device 12, but the present invention is not limited to this. For example, the subject type estimation system 1 does not include the distance measurement device 12, and the controller 20 of the image processing device 10 determines the subject distance D2 by a known method based on the far-infrared image acquired by the image acquisition unit 17. can be calculated. In this case, the controller 20 may estimate the temperature of the target subject 16 using the subject distance D2 calculated based on the far-infrared image. In this case, the subject type estimation system 1 does not need to include the distance measuring device 12, and can estimate the temperature of the target subject 16 with a simple configuration.

上述の実施形態において、温度に関する情報は遠赤外光の強度ＩＢ０であってもよい。この場合、コントローラ２０は、対象被写体１６から放出された遠赤外光の強度ＩＢ０に基づいて対象被写体１６の種別を推定してもよい。具体的には、コントローラ２０は、強度ＩＢ０が所定範囲にあるか否かを判定する。所定範囲とは、人間から放出されうる遠赤外光の強度の範囲である。コントローラ２０は、強度ＩＢ０が所定範囲にある場合、対象被写体１６の種別が人間であると推定する。コントローラ２０は、強度ＩＢ０が所定範囲にない場合、対象被写体１６の種別が人間でないと推定する。 In the above-described embodiments, the information about the temperature may be the far-infrared light intensity I B0 . In this case, the controller 20 may estimate the type of the target subject 16 based on the intensity I B0 of the far-infrared light emitted from the target subject 16 . Specifically, the controller 20 determines whether the intensity I B0 is within a predetermined range. The predetermined range is the range of intensity of far-infrared light that can be emitted from humans. The controller 20 estimates that the type of the target subject 16 is human when the intensity I B0 is within a predetermined range. The controller 20 estimates that the type of the target subject 16 is not human when the intensity I B0 is not within the predetermined range.

上述の実施形態において、メモリ１９は、基準物体１５から放出された遠赤外光の強度ＩＡ０を記憶するが、これに限られない。例えば、メモリ１９は、基準物体１５の温度を記憶してもよい。この場合、コントローラ２０は、メモリ１９に記憶されている基準物体１５の温度を遠赤外光の強度ＩＡ０に換算する。そして、コントローラ２０は、換算された強度ＩＡ０に基づいて、対象被写体１６の温度を推定する。 In the above-described embodiment, the memory 19 stores the intensity I A0 of far-infrared light emitted from the reference object 15, but is not limited to this. For example, memory 19 may store the temperature of reference object 15 . In this case, the controller 20 converts the temperature of the reference object 15 stored in the memory 19 into the far-infrared light intensity I A0 . The controller 20 then estimates the temperature of the target subject 16 based on the converted intensity I A0 .

上述の実施形態において、コントローラ２０は、遠赤外画像のエッジ、ならびに該エッジに囲まれる領域の大きさおよび信号レベルに基づいて対象被写体１６の像１６ｉｍを抽出したが、この限りではない。コントローラ２０は、上述のように抽出された被写体の中から、さらにエッジに囲まれる領域の形状または挙動に基づいて、対象被写体１６の像１６ｉｍを抽出してもよい。 In the embodiment described above, the controller 20 extracts the image 16im of the target subject 16 based on the edge of the far-infrared image and the size and signal level of the area surrounded by the edge, but this is not the only option. The controller 20 may extract the image 16im of the target subject 16 from among the subjects extracted as described above based on the shape or behavior of the area surrounded by the edges.

上述の実施形態において、コントローラ２０は、対象被写体１６の種別が人間であるか否かを判定したかを判定したがこの限りではない。例えば、コントローラ２０は、対象被写体１６の種別が人間ではない所定の物体であるか否かを判定してよい。この場合、コントローラ２０は、推定された対象被写体１６の温度が該物体の取り得る温度範囲内であるか否かを判定する。また、基準物体１５は、該物体の温度が取り得る範囲に制御されてよい。また、基準物体１５の放射率は該物体の放射率が取り得る範囲であってよい。 In the above-described embodiment, the controller 20 determines whether or not the type of the target subject 16 is human, but this is not the only option. For example, the controller 20 may determine whether the type of the target subject 16 is a predetermined non-human object. In this case, the controller 20 determines whether the estimated temperature of the target subject 16 is within the possible temperature range of the object. Also, the reference object 15 may be controlled within a possible temperature range of the object. Also, the emissivity of the reference object 15 may be within the possible range of the emissivity of the object.

１ 被写体種別推定システム
１０ 画像処理装置
１１ 撮像装置
１２ 距離測定装置
１３ 撮像部
１５ 基準物体
１６ 対象被写体
１７ 画像取得部
１８ 情報取得部
１９ メモリ
２０ コントローラ
２１ 出力部
１００ 移動体 1 subject type estimation system 10 image processing device 11 imaging device 12 distance measuring device 13 imaging unit 15 reference object 16 target subject 17 image acquisition unit 18 information acquisition unit 19 memory 20 controller 21 output unit 100 moving object

Claims (4)

被写体の遠赤外画像を撮像部が撮像し、
前記撮像部の撮像範囲に含まれる前記被写体までの距離である被写体距離情報を取得し、
前記被写体距離情報に基づき前記被写体の温度に関する情報を推定する、
システム。 The imaging unit captures a far-infrared image of the subject,
obtaining subject distance information, which is the distance to the subject included in the imaging range of the imaging unit;
estimating information about the temperature of the subject based on the subject distance information;
system. 前記被写体の温度に関する情報に基づき前記被写体の種別を推定する請求項１に記載のシステム。 2. The system according to claim 1, wherein the type of the subject is estimated based on the information about the temperature of the subject. 前記被写体の温度が所定範囲にある場合、前記被写体の種別が人間であると推定する請求項２に記載のシステム。 3. The system according to claim 2, wherein the type of the subject is estimated to be human when the temperature of the subject is within a predetermined range. 前記遠赤外画像における被写体の像の形状または挙動に関する情報を取得し、前記形状または挙動に関する情報と、前記温度に関する情報とに基づき、前記被写体の種別の推定を行う請求項２又は３に記載のシステム。 4. The method according to claim 2 or 3, wherein information about the shape or behavior of the subject image in the far-infrared image is acquired, and the type of the subject is estimated based on the information about the shape or behavior and the information about the temperature. system.
JP2023048952A 2018-03-28 2023-03-24 system Pending JP2023095847A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023048952A JP2023095847A (en) 2018-03-28 2023-03-24 system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018063194A JP6927914B2 (en) 2018-03-28 2018-03-28 Image processing equipment, imaging equipment, and moving objects
JP2021129305A JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body
JP2023048952A JP2023095847A (en) 2018-03-28 2023-03-24 system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021129305A Division JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body

Publications (1)

Publication Number Publication Date
JP2023095847A true JP2023095847A (en) 2023-07-06

Family

ID=68168720

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018063194A Active JP6927914B2 (en) 2018-03-28 2018-03-28 Image processing equipment, imaging equipment, and moving objects
JP2021129305A Pending JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body
JP2023048952A Pending JP2023095847A (en) 2018-03-28 2023-03-24 system

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018063194A Active JP6927914B2 (en) 2018-03-28 2018-03-28 Image processing equipment, imaging equipment, and moving objects
JP2021129305A Pending JP2021183974A (en) 2018-03-28 2021-08-05 Subject type determination device and movable body

Country Status (1)

Country Link
JP (3) JP6927914B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7260935B2 (en) * 2021-01-28 2023-04-19 国立研究開発法人農業・食品産業技術総合研究機構 ANTI-AIR SIGN, THERMAL IMAGING DEVICE, THERMAL IMAGING METHOD, AND PROGRAM

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06109549A (en) * 1992-09-24 1994-04-19 Mitsubishi Electric Corp Infrared imaging system
JP2001349786A (en) * 2000-06-06 2001-12-21 Denso Corp Calibration method for non-contact temperature sensor
US7422365B2 (en) * 2003-04-25 2008-09-09 Land Instruments International Limited Thermal imaging system and method
JP2006113025A (en) * 2004-10-18 2006-04-27 Calsonic Kansei Corp Temperature measuring device of vehicle
JP5314260B2 (en) * 2007-08-31 2013-10-16 株式会社豊田中央研究所 Detection system, detected object estimation system, obstacle estimation system, safe driving system, and physical quantity detection method
JP2009150842A (en) * 2007-12-21 2009-07-09 Sumitomo Electric Ind Ltd Temperature measuring device and vehicle
US8101905B2 (en) * 2008-09-04 2012-01-24 The Boeing Company Infrared sensor calibration system and method
JP2010265535A (en) * 2009-05-18 2010-11-25 Nippon Steel Corp Heating furnace and heating method
JP2011107952A (en) * 2009-11-17 2011-06-02 Honda Motor Co Ltd Vehicle surroundings monitoring device
JP5503730B2 (en) * 2010-03-17 2014-05-28 本田技研工業株式会社 Vehicle periphery monitoring device
EP2653843A4 (en) * 2010-12-13 2017-09-06 National Institute of Advanced Industrial Science And Technology Method and system for measuring surface temperature
JP2013019822A (en) * 2011-07-13 2013-01-31 Tokyo Electric Power Co Inc:The System and method for measuring temperature of electrical equipment
JP6777428B2 (en) * 2016-06-02 2020-10-28 アズビル株式会社 Temperature measuring device

Also Published As

Publication number Publication date
JP6927914B2 (en) 2021-09-01
JP2019174299A (en) 2019-10-10
JP2021183974A (en) 2021-12-02

Similar Documents

Publication Publication Date Title
US10317522B2 (en) Detecting long objects by sensor fusion
EP3825907A1 (en) Thermal imaging for self-driving cars
US10861176B2 (en) Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
EP3327618B1 (en) Method and apparatus to control velocity of vehicle
JP6582055B2 (en) Road surface state determination device, imaging device, imaging system, and road surface state determination method
US11281230B2 (en) Vehicle control using vision-based flashing light signal detection
US8886387B1 (en) Estimating multi-vehicle motion characteristics by finding stable reference points
JP7351139B2 (en) sensing device
US20150344037A1 (en) Method and device for predictive determination of a parameter value of a surface on which a vehicle can drive
KR20170132860A (en) Generate three-dimensional map of a scene using manual and active measurements
JP2014215877A (en) Object detection device
JP2023095847A (en) system
WO2011158306A1 (en) System for classification of road surface reflectances
CN112639908B (en) Detection device, mobile body system, detection method, and storage medium
CN113343738A (en) Detection method, device and storage medium
US10904409B2 (en) Detection apparatus, imaging apparatus, moveable body, and detection method
CN116587978A (en) Collision early warning method and system based on vehicle-mounted display screen
JP7312275B2 (en) Information processing device, sensing device, moving object, information processing method, and information processing system
JP2016151565A (en) Laser distance measuring device and method for laser distance measuring
US12026952B2 (en) Multi-sensory measuring system and method for transportation vehicle operating systems
JP7021798B1 (en) Trained model generation method, road surface slip friction coefficient estimation device, road surface slip friction coefficient estimation program and road surface slip friction coefficient estimation method
US11867835B2 (en) System and method for classifying pulses generated by a sensor
US20230063683A1 (en) Atmospheric property estimation system and method in dynamic environments using lidar
US20230221410A1 (en) Object sensing device and object sensing method
US20210108966A1 (en) Multi-sensory measuring system and method for transportation vehicle operating systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240603