JP2022152204A - 赤外線画像出力装置 - Google Patents

赤外線画像出力装置 Download PDF

Info

Publication number
JP2022152204A
JP2022152204A JP2021054891A JP2021054891A JP2022152204A JP 2022152204 A JP2022152204 A JP 2022152204A JP 2021054891 A JP2021054891 A JP 2021054891A JP 2021054891 A JP2021054891 A JP 2021054891A JP 2022152204 A JP2022152204 A JP 2022152204A
Authority
JP
Japan
Prior art keywords
infrared image
infrared
image processing
information
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021054891A
Other languages
English (en)
Inventor
浩行 宮井
Hiroyuki Miyai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chino Corp
Original Assignee
Chino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chino Corp filed Critical Chino Corp
Priority to JP2021054891A priority Critical patent/JP2022152204A/ja
Publication of JP2022152204A publication Critical patent/JP2022152204A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Radiation Pyrometers (AREA)
  • Image Analysis (AREA)

Abstract

【課題】感染病対策として、赤外線を利用した非接触体表面温度計を用いて建物入場者のスクリーニングをおこなっている。得られる赤外線画像は布地を透過する性質があり、プライバシ侵害の可能性があった。【解決手段】顔部領域を特定し、顔部領域と顔部領域外で画像加工ルールを別個に適用できるように構成して画像処理を行うことにより、顔以外の領域の人体部と、背景部に対して画像処理することができ、人体部だけではなく所在地についてもプライバシ保護を図ることができる赤外線画像出力装置を提供する。【選択図】図1

Description

本発明は、人体の顔部などの体表面温度を検出するために取得する赤外線画像に対して講じるプライバシ保護技術に関する。
2019年12月に中国 武漢で発見された新型コロナウィルス(COVID-19)による感染症が世界中へ広がった。感染対策として、マスク着用や、手洗いなどが広く一般の人々へ推奨されるとともに、人々が多く集まる病院、役所、商店などには、薬用エタノールや次亜塩素酸水などの消毒薬が入り口に設置された。場所によっては非接触の体表面温度計も設置され、感染者が入場しないように発熱しているとみられる体温異常者のスクリーニングが今も行われている。
「医薬品、医療機器等の品質、有効性及び安全性の確保等に関する法律」では「体温計」が医療機器として指定されており、一般的な体表面温度計や放射温度計は、体温計として使用できない。しかし非接触の体表面温度計は、上記のような体温異常者の簡易的なスクリーニングに有用な装置である。体表面温度計は、衣服等に被覆されずに露出した人体表面(顔など)から放射される赤外線を感知して温度情報に換算する。人の体表面は、外気に触れていて外気温度の影響を強く受けているため、体表面温度は実体温そのものではない。しかし体表面温度と実体温は相関関係があり、体表面温度が高い方が実体温も高いと予想することができるため、温度の高低を比較することができる。発熱者と健常者の露出した顔の表面温度を比べると、発熱者の方が高くなると考えられる。
WO2016/063595A1
人体の体表面温度測定の為、人体の赤外線画像を取得し温度情報(サーモグラフィ画像)として使用する時に、衣服で被覆されている部分からも布地を透過する赤外線を検知してしまう場合がある。布地を透過した赤外線により得られた赤外線画像の利用によりプライバシの侵害などに至る可能性がある。
赤外線は可視光よりも波長が長いため、布や薄膜を透過してしまう。1998年春にソニー株式会社から発売された8mmビデオカメラには夜間に野生動物などの撮影用に赤外カットフィルターをOFFにするNIGHTSHOT機能を有していた。昼間に太陽光の下でNIGHTSHOT機能を使用すると、太陽光中の赤外線が衣服を透過し皮膚で反射した画像を取得出来てしまう場合があった。表側の衣服を透過し表からは直接見えない布地の輪郭等が見えプライバシの侵害に当たる課題があった。
特許文献1は、上記プライバシの侵害の対策として、取得した赤外線画像から透過を抑制すべき被写体が写っているか判定し、不鮮明化すべき領域を特定し、不鮮明化すべき領域に対し赤外線画像の表示または記録を少なくとも部分的に抑制する処理を行う技術を開示している。さらに、透過を抑制すべき被写体が写っているかどうかの判定として所定の認識対象(顔、又は手等の人体の一部)が写っているかどうかで判定し、不鮮明化すべき領域を不鮮明化する処理を行う技術も開示している。
特許文献1では、人体の特定の部位が赤外線画像内に写っているか判別する段階、不鮮明化処理をする領域を特定する処理を行う段階、特定した領域に対し不鮮明化処理を行う段階と、人体部位判別後に2段階の処理が実質的に行われており、計算負荷がかかっていた。人体部の不鮮明化処理のため背景は処理されず、背景を見ることで赤外線画像を取得した場所が特定され、何処で取得された画像かわかってしまうというプライバシ侵害となる可能性があった
本発明では、人体の顔部などの体表面温度を検出するために取得する赤外線画像において、人体着用している衣服を透過した赤外線も用いて赤外線画像を得ることによりプライバシの侵害となることを、赤外線画像から顔部領域を認識し特定後に、認識した顔部領域と顔部以外の2領域に対して別々の画像処理を行うことで防止する。顔部領域特定後に顔部以外の人体部の領域特定を行わずに、画像処理を行うことにより、人体部のみならず人物の所在場所を含めた赤外線画像のプライバシ保護のための処理を、工数削減し高速に行う赤外線画像出力装置を提供することを目的とする。
第一の発明として、
物体から放射される赤外線を検知する2次元赤外線検知部(A)と、
2次元赤外線検知部(A)が検知した赤外線の情報から赤外線画像である赤外線画像情報として保持する赤外線画像情報保持部(B)と、
赤外線画像情報から人体の顔部を認識し、前記赤外線画像情報中の顔部領域を特定する赤外線画像内顔部領域特定部(C)と、
赤外線画像情報内の顔部領域に対して加える画像処理のルールである顔部領域赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域赤外線画像加工ルール保持部(D)と、
赤外線画像情報内の顔部領域以外に対して加える画像処理のルールである顔部領域外赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域外赤外線画像加工ルール保持部(E)と、
赤外線画像情報内の顔部領域の部分に関し、保持されている顔部領域赤外線画像加工ルールに基づいて画像処理を行う顔部領域赤外線画像処理部(F)と、
赤外線画像情報内の顔部領域以外の部分に関し、保持されている顔部領域外赤外線画像加工ルールに基づいて画像処理を行う顔部領域外赤外線画像処理部(G)と、
画像処理後の顔部領域以外の赤外線画像情報と、画像処理後の顔部領域の赤外線画像情報を元の位置関係で合わせて保持する画像処理後赤外線画像情報保持部(H)と、
前記合わせた画像処理後の赤外線画像情報を出力する画像処理後赤外線画像情報出力部(J)と、
を有する赤外線画像出力装置を提供する。
第二の発明として、第一の発明を基礎として、
2次元赤外線検知部(A)が検知した赤外線画像情報を、2次元的な温度分布の情報である2次元温度情報として保持する2次元温度情報保持部(K)と、
後記異常状態情報出力部にて異常状態と判断するための異常状態判断ルールを保持する異常状態判断ルール保持部(M)と、
前記顔部領域に相当する2次元温度情報の領域に、所定の温度以上の部分が存在するかを保持されている異常状態判断ルールを用いて判断する異常状態判断部(N)と、
異常状態判断部(N)での判断結果が異常状態であるとの判断結果である場合に、異常状態情報を出力する異常状態情報出力部(P)と、さらに有する請求項1記載の赤外線画像出力装置を提供する。
本発明により、発熱者をスクリーニングする際の温度情報取得目的のために得た赤外線画像において、画像処理を顔部領域と顔部領域外の2領域に対して行うことにより、人体から放射される赤外線が着用している衣服を透過する際に、布地を透過する経路によって表から見えない布地の輪郭が判別可能となることを防止し、人物の所在場所を含めたプライバシ保護のための画像処理を、工数削減し高速に行うことができる。
実施形態1の赤外線画像出力装置の機能的構成一例を示すブロック図 実施形態1の赤外線画像出力装置の処理の流れを示すフロー図 実施形態1の赤外線画像出力装置のハードウェア構成図 実施形態2の赤外線画像出力装置の機能的構成一例を示すブロック図 実施形態2の赤外線画像出力装置の処理の流れを示すフロー図 実施形態2の赤外線画像出力装置のハードウェア構成図 本発明の赤外線画像出力装置の全体構成模式図 本発明の赤外線画像出力装置の画像処理の説明図1 本発明の赤外線画像出力装置の画像処理の説明図2 本発明の赤外線画像出力装置の画像処理の説明図3 本発明の赤外線画像出力装置の画像処理の説明図4 本発明の赤外線画像出力装置の諧調処理パターン例の説明図 本発明の赤外線画像出力装置をネットワーク接続した構成例
なお、以下に記載する各部は、ハードウェア及びソフトウェアの組み合わせによる動作として実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(フラッシュメモリやSSDなどの不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、赤外線カメラ、赤外線検知素子、印刷機器やモニタ等の表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらのハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザインターフェイス用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。
また、本明細書に記載の各実施形態は動作方法として実現できるのみでなく、その一部または全部を装置としても実現可能である。また、このような装置の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然に本明細書に記載の各実施形態の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
以下、本発明の実施の形態について、添付図面を用いて説明する。なお、本発明は、これら実施形態に何ら限定されるべきものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
<赤外線画像出力装置の概要>
図7は、本発明の赤外線画像出力装置の全体構成模式図である。
訪問者(0713)の顔部を含む領域を撮像範囲に収める、赤外線用レンズ(0714)を通った赤外線を赤外線検知器(0715)で検知し、画像処理装置で2次元画像化し、顔部領域認識処理を行い、顔部領域と顔部領域外に対して所定の画像処理を行って、サーモグラフィー画像を同軸ケーブルまたはビデオケーブルなどを介してモニタ(0718)へ出力し、顔部領域に所定の閾値を超える部分があると判断した場合は、警報機(0717)へ異常状態情報を出力する赤外線画像出力装置を、図7に示している。
<赤外線レンズ>
赤外線レンズには、赤外線検知器の検知する波長領域の赤外線を透過する材料を用いる。ガラスは可視光を主として、近赤外線までは透過するが波長2μm以上の中波長赤外線領域では透過率が落ちる。赤外線レンズ材料としてはジンクサルファイト(ZnS)や、カルコゲナイド(酸素,イオウ,セレン,テルル,ポロニウム 5元素の化合物から成る非晶質体)、ジンクセレン(ZnSe)などが使用される。
人体からの放射赤外線を検知する場合、測定範囲となる0から50℃付近に相当する赤外線の波長は、後述するウィーンの変位則の式から10.4μmから8.9μmくらいの範囲の波長となるため、ゲルマニウムやZnS、シリコンが使われる。レンズ材料の価格と性能によって適宜選択することができる。
<赤外線検知素子>
赤外線検知素子として、近赤外領域などは可視光を受光することが主目的であるCCD素子を用いたビデオカメラやデジタルカメラでも赤外線カットフィルターを外すことで検知できる。
放射温度などを図る目的で物体から放射される中波長赤外線や遠赤外線を検知するための熱画像検出器としては、熱型検出器(非冷却型)と量子型検出器(冷却型)の2種類がある。熱型検出器では、入ってきた赤外線によるセンサーの温度変化を、電気抵抗の変化や熱起電力や、焦電効果などの物理現象の変化として検出したものを電気信号に変えて出力し測定している。熱結合はお互いに温度を合わせようとする現象だが、センサー1つ1つはとても小さいため、自身の温度はほぼ影響しない。もう1種類の量子型検出素子は、入ってきた赤外線をそのまま量子に変えるセンサーである。赤外線の光量子を格子数に比例した電気信号に変えて測定する。熱型よりも応答が速く、高感度という特長があるが、測定回路自身が発する熱などの熱雑音の影響を受けやすく、温度の誤差が出てしまうため、基本的に液体窒素などで充分低い温度まで冷却しなければならない。
人体表面からの放射温度測定では、熱型検出器の特性(応答速度等)でも十分に使用可能であり、かつ冷却の必要がないため、安価な放射温度計用に使用されている。熱型検出器としては、ボロメータ、パイロメータ、熱電対などがあるが、MEMS技術を使用してボロメータを2次元的に配置したマイクロボロメータが使われることが多い。微細加工技術により、シリコン基板上にスタットと呼ばれる柱を立て、酸化バナジウムやアモルファスシリコンによる感熱素子の薄膜を空中に成型し、二次元格子状に形成して作られる。なお本発明の赤外線画像出力装置に用いる赤外線検知素子としては、ボロメータに限定しない。適宜設計の範囲として他の赤外線検知素子を使用しても、本発明の効果が得られる。
<画像処理>
赤外線がボロメータの感熱素子の酸化バナジウムやアモルファスシリコンによる薄膜にあたると上下に温度変化する。温度変化により抵抗値が変わり、電流を流しその抵抗値を測定することにより、赤外線のエネルギー量が計測できる。赤外線のエネルギー量と温度の相関関係から、マイクロボロメータからの信号を、赤外線エネルギー量として算出し、見かけの温度分布として輝度諧調やコントラスト又はカラーパターンに当てはめた温度画像とする。
温度を有するあらゆる物体は、表面から電磁波を放射している。表面の放射率が100%の物体を完全黒体といい、この完全黒体が放射す電磁波のスペクトルと表面温度の間には、プランクの放射則(法則)と呼ばれる関係がある。このプランクの法則とは、物理学における黒体から輻射(放射)される電磁波の分光放射輝度、もしくはエネルギー密度の波長分布に関する公式である。 あらゆる物体はその温度に応じた電磁波(すなわち光)を放射している。プランクの法則に基づいて分光放射輝度を温度ごとにグラフ化(横軸波長、縦軸分光放射輝度)した際には、上向きに凸の曲線になる。温度ごとのピークの位置の関係を示すものがウィーンの変異則である。言い換えるとウィーンの変位則では、温度と、各温度での分光放射輝度が最大となる波長との関係を示している。
人体の体温は36℃程度のため、ウィーンの変位則(λ(波長)=0.00289777/T(温度))によると、36℃(309K)では9.4μmの波長の赤外線エネルギーがピークとなる。 したがって、9.4μm近辺の波長の赤外線が検出できれば、人体からの赤外線を効率よく検知できることになる。ただし人体表面の温度は、脇の下や口腔内のような体内に近い部分で体温計を用いて測定する36.5℃の標準体温を示すことはほぼない。外気の影響を強く受けるためである。冬などでは、外気にさらされて放熱するために体表面温度が下がるし、夏場では外気温の影響で冬場よりも体表面温度が上昇する。体表面の放射赤外線エネルギーから別途求めた体表面温度と実体温の相関関係から、体表面温度から実体温の推定のために関数化し、体表面の温度から実体温を推定することができる。人体周辺の雰囲気と人体を合わせた広い領域を検知するためには、0~50℃程度の温度範囲が検知できることが必要である。この温度範囲を検知しようとするならば、前記ウィーンの変位則から8.9~10.4μmの波長範囲の赤外光を検知できる必要がある。
<実施形態1>主に請求項1
<実施形態1 概要>
物体から放射される赤外線を検知する2次元赤外線検知部によって得られた赤外線画像から、人体の顔部領域を認識し、顔部領域と顔部領域外で別々の画像加工を行ったうえで画像を合わせて出力する。
<実施形態1 機能的構成>
図1は、本実施形態の赤外線画像出力装置の機能的構成一例を示すブロック図である。図示するように、本発明の赤外線画像出力装置(0100)は、2次元赤外線検知部(A)(0101)と、赤外線画像情報保持部(B)(0102)と、赤外線画像内顔部領域特定部(C)(0103)と、顔部領域赤外線画像加工ルール保持部(D)(0104)と、顔部領域外赤外線画像加工ルール保持部(E)(0105)と、顔部領域赤外線画像処理部(F)(0106)と、顔部領域外赤外線画像処理部(G)(0107)と、画像処理後赤外線画像情報保持部(H)(0108)と、画像処理後赤外線画像情報出力部(J)(0109)と、を有する。
<実施形態1 2次元赤外線検知部(A)(0101)>
2次元赤外線検知部(A)(0101)は、物体から放射される赤外線を検知するように構成される。
2次元赤外線検知部(0101)は、上述のように赤外線カメラとして赤外線用レンズ光学系と、赤外線検出器などから構成される。赤外線検出器として体表面温度計などの比較的安価な機器用いられるのは、上述した熱型検出器であり、ボロメータ、パイロメータ、熱電対などがある。その中でもMEMS技術を使用してボロメータを2次元的に配置したマイクロボロメータが使われることが多い。
<実施形態1 赤外線画像情報保持部(B)(0102)>
赤外線画像情報保持部(B)(0102)は、2次元赤外線検知部(A)(0101)が検知した赤外線の情報から赤外線画像である赤外線画像情報として保持するように構成される。
保持しようとする赤外線画像情報に、Exif(Exchangeable Image File Format)情報が含まれる場合は、Exif情報を除いて保持するほうが好ましい。赤外線画像が取得された場所に、写りこんでいる人物が滞在していたことがプライバシ情報の一種に当たるからである。
<実施形態1 赤外線画像内顔部領域特定部(C)(0103)>
赤外線画像内顔部領域特定部(C)(0103)は、赤外線画像情報から人体の顔部を認識し、前記赤外線画像情報中の顔部領域を特定するように構成される。
図8に、本発明の赤外線画像出力装置にて体表面温度監視をしている例を示す。マスクをかけた3名(0820、0821、0822)が廊下を手前に向かって歩いてくる場面である。この場面を赤外線でとらえた画像の例が図9である。3人ともマスクをしているが、目元と鼻筋、マスクより上に表れている顔輪郭などを基準とすることにより、既知のAIの学習による顔認識技術などを用いて顔部領域を検出する。検出し特定した顔部領域は図9では点線の四角形(0923、0924)で表示されている。顔部領域は図9のような四角形ではなく、楕円形や、顔輪郭に沿った領域など適宜選択することができる。図9の左側の二人(0920、0921)は前後してならんで歩いてきており、顔部領域が重なっている。このように重なっている場合、または顔が重なってはいないが顔部領域として一人分の領域((0924)にしめす四角形のエリア)が重なるか接触している場合には、(0923)に示す四角形の枠部のように複数人分を一つのエリアで特定する。
<実施形態1 顔部領域赤外線画像加工ルール保持部(D)(0104)>
顔部領域赤外線画像加工ルール保持部(D)(0104)は、赤外線画像情報内の顔部領域に対して加える画像処理のルールである顔部領域赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持するように構成される。
取得した赤外線画像中の顔部領域に対し、どのような画像処理を行うかというルールを保持する。例えば、赤外線検知部(A)が取得した赤外線画像は、赤外線エネルギーの強度の応じた輝度諧調で表現した状態で保持することができる。別例としては赤外線エネルギーと温度との所定の相関関係から見かけの温度分布として保持することができる。保持されている赤外線画像情報内に特定された顔部領域に対する画像処理のルールとして、白黒の画像の処理のルールの例で説明する。例えば赤外線エネルギーの範囲に対しての輝度諧調数の設定を変えることや、赤外線エネルギーの特定の範囲だけ細かく分割するような非均一な諧調設定に変えるルールや、初期設定のまま変更しないルールなどである。例えば温度分布として赤外線画像情報を保持していた場合に、0℃から50℃までの範囲を、50℃が輝度100%の白諧調で、1℃温度が下がるごとに1諧調ずつ暗くなるような輝度諧調設定であったのを、0.1℃ごとに1諧調ずつ変わるように輝度諧調設定へ変更するルールなどである。非均一な例としては、例えば図12に示すように、0℃から20℃までは10℃上がるごとに1諧調上がる、20℃から30℃にかけては5℃上がるごとに1諧調変わる、30℃から34℃にかけては1℃上がるごとに1諧調変わる、34℃から40℃にかけては0.1℃上がるごとに1諧調上がる、40℃から50℃にかけては1℃上がるごとに1諧調上がるというように、0℃から50℃までの間を79諧調分に割り振る方法などである。
輝度諧調などグラフィックの処理にはグラフィックドライバなどの素子が使われる。そのため輝度諧調数は、64や128といった2の累乗である方が好ましい。上記のように79諧調分に関しては、白から黒まで128諧調に分割した輝度諧調設定を連続ではなく、1つ飛びなど、とびとびに使用してもよい。輝度諧調設定の割り当ては、適宜設定できる。
上記は、白黒画面を想定し輝度諧調の設定を変更する画像加工ルールを例としたが、一般的なサーモグラフィー画像のように、カラーパターンとして画像処理を行ってもよい。高温を赤、低温を青とし、赤から青までの可視光の色の並びを温度分布に割り振る。0℃を青、50℃を赤としたカラーパターンが初期値であった場合に、温度に対する色の割り振りを変える顔部領域赤外線画像加工ルールとすることができる。または、高温部分を強調するために、所定の温度未満の部分については白黒表示の輝度諧調で温度を表現し、所定の温度以上の部分のみ赤くするなど色を付けカラーパターンで表現するなど、輝度諧調とカラーパターンの複合させたルールでもよい。所定の温度は、例えば発熱者をスクリーニングできるように37℃などが一例となる。周囲の気温や、赤外線検知器の諸元性能などに応じて調整するとよい。2次元赤外線検知部で取得し赤外線画像情報保持部で保持された際のままで、顔部領域には画像加工を行わないというルールであってもよい。
なお、顔部領域赤外線画像加工ルールには、顔部領域の輪郭を示すように枠線をつけて、前記枠線の輝度諧調や色、線種(点線や実線といった種類)、線幅などを顔部領域内の最高温度に応じて変化させるルールも含まれることが好ましい。例えば、枠線の輝度諧調(又は色)を顔部領域内の最高温度と同じルールで設定する。そのうえで上記のように所定の温度(発熱者を想定した37℃など)以上の部分が含まれる場合には、枠線を所定の温度未満では点線とし、所定の温度以上では幅を太くした実線とするなどの処置を行うルールである。
画像加工するにあたり、外部気温を測定する気温計を別途備え、温度計で測定した外部気温を基準温度情報として、基準温度情報より低い温度部分は1諧調のみを割り振るなど諧調分割数を減らすように動的に画像加工ルールを微調整するように構成することもできる。基準温度情報として外部気温の値に所定の値を足し引きした温度を基準温度情報としてもよい。温度計を別途備えるのではなく、10秒程度の赤外線画像情報を取得する間に画面内でほぼ温度が変化しない領域の平均温度、または最低温度などを基準温度情報として上記のような処理を行ってもよい。本発明の赤外線画像出力装置の電源を入れた際の初期起動動作の一環として基準温度情報を取得してもよいし、別途時計部を備えて定期的に自動で基準温度情報を更新するように構成してもよい。
<実施形態1 顔部領域外赤外線画像加工ルール保持部(E)(0105)>
顔部領域外赤外線画像加工ルール保持部(E)(0105)は、赤外線画像情報内の顔部領域以外に対して加える画像処理のルールである顔部領域外赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持するように構成される。
赤外線画像内顔部領域特定部(C)で特定された顔部領域外の赤外線画像情報への画像処理ルールである。図9に示す3人の人物の顔部領域を囲む点線の四角形(0923、0924)の外側領域であって、3人の衣服をまとった身体部分や、露出した手の部分、および廊下の壁などをすべて含む。顔部領域外赤外線画像加工ルールの例として、白黒の赤外線画像に対する画像処理のルールを例として説明する。図12に、顔部領域外の輝度諧調処理パターンを2例示す。パターン1は人体が発する赤外線により衣服表面も若干温度が上がっていると考えられるため、外気温が15℃くらいと涼しい時期では、20℃を境として、輝度諧調を2種類(又は色を2種類)割り振るものである。パターン2は、測定範囲(図12の例では0℃から50℃)をすべて1諧調(又は1色)で表現するものである。図9の例では、衣服の襟、手などの輪郭も説明のために記載しているがパターン1では図10のように、ほぼ人体の輪郭に近い領域と建物の背景部分の2つに分かれるような画像となる。パターン2の場合は図11のように、顔部領域外はすべて1諧調(または1色)で塗りつぶされた画像となる。パターンの例としては図12に図示していないが、外気温の影響を考慮し衣服を着用した人体が放射する赤外線エネルギーの領域から考えられる温度範囲(例えば外気温相当から40℃くらいまで、もしくは外気温相当以上の範囲)は1諧調または粗い諧調(1色又はカラーパターンを減色する)とし、その他の温度範囲(領域背景部分に相当する外気温以下)は諧調設定(カラーパターン)を変更しないような画像加工を行うルールとすることもできる。
また、冬季などのように厚着している人が多く外気温も低い場合には、人体部の赤外線画像からプライバシ侵害となりうる可能性が低いと考えられるため、顔部領域外も赤外線画像情報保持部(B)で保持された際のままで、画像加工しないというルールでもよい。顔部領域赤外線画像加工ルールで述べたように、外部気温または変化しない背景部分の温度を基準温度情報として、所定の温度以下(冬季期間相当の気温、5℃以下など)の時には、顔部領域外の赤外線画像を加工しないというように、外部気温と関連付けた条件判断を伴うルールが好ましい。ただし、取得した赤外線画像に写る人物がどこにいるかという所在地情報はプライバシの一種である。プライバシ保護の観点からは、顔部領域外も画像処理を行い、場所が特定できないようにすることが望ましい。
顔部領域赤外線画像加工ルール、および顔部領域外赤外線画像加工ルールともに、赤外線画像出力装置外からUSB端子やLAN端子やRS-485端子等を介して読込み追加できるように構成することが好ましい。また赤外線画像出力装置上で、画像加工ルールの削除、書き出し(保存)ができることが好ましい。画像加工ルールの内容の閲覧をできるように構成することがより好ましい。
画像の領域を特定するのは顔部領域のみであり、顔部領域外については、顔部領域外赤外線画像加工ルールに基づいて画像加工を行うため、人体の一部を認識した後に人体部を特定し不鮮明化処理を行う特許文献1よりも処理の工数が少なくて済む。また、顔部領域外全域を均一に塗りつぶす処理やモザイク処理を行うルールもとりうるが、上述のように各点の赤外線エネルギー(又は相関関係から得た温度分布)に応じた処理を行うように構成できることが特徴である。
<実施形態1 顔部領域赤外線画像処理部(F)(0106)>
顔部領域赤外線画像処理部(F)(0106)は、赤外線画像情報内の顔部領域の部分に関し、保持されている顔部領域赤外線画像加工ルールに基づいて画像処理を行うように構成される。
顔部領域に対して画像処理を行う際、元となる赤外線画像情報から、特定された顔部領域を切り出し、切り出した顔部領域赤外線画像情報に対して画像加工を行ってもよい。または顔部領域を基となる画像から切りださず、特定された顔部領域内にだけ画像加工を行ってもよい。
上述した顔部領域赤外線画像加工ルールのうち、選択された画像加工ルールに準じて加工を行う。顔部領域赤外線画像加工ルールは、不揮発メモリに設定を記憶させるなどの方法で赤外線画像出力装置内に保持され、予め設定された顔部領域赤外線画像加工ルールが起動時に選択される、または装置稼働中に保持されている顔部領域赤外線画像加工ルールの中から手動で選択するなどの方法で選択設定される。稼働中に顔部領域赤外線画像加工ルールを変更した際には、電源を切るまで新たに選択した顔部領域赤外線画像加工ルールを使用し、電源OFF時に設定が消えて、変更前の設定に戻るように構成してもよいし、新たな設定を選択した際に不揮発メモリ等に記憶された設定が上書きされるように構成してもよい。顔部領域赤外線画像加工ルールと後記する画像領域外赤外線画像加工ルールを、赤外線画像出力装置にモニタなどを備えて、内容を表示しながら編集または新規作成できるように構成してもよい。外部気温などの条件に応じて、顔部領域赤外線画像加工ルールを自動選択し画像処理を行うように構成してもよい。
<実施形態1 顔部領域外赤外線画像処理部(G)(0107)>
顔部領域外赤外線画像処理部(G)(0107)は、赤外線画像情報内の顔部領域以外の部分に関し、保持されている顔部領域外赤外線画像加工ルールに基づいて画像処理を行うように構成される。
顔部領域外に対して画像処理を行う際、元となる赤外線画像情報から、特定された顔部領域を切り出し、残った顔部領域外赤外線画像情報に対して画像加工を行ってもよい。または顔部領域を切り出さずに、特定された顔部領域外にだけ画像加工を行ってもよい。
上述した顔部領域外赤外線画像加工ルールのうち選択された顔部領域外赤外線画像加工ルールに応じて加工を行う。顔部領域外赤外線画像加工ルールは、顔部領域赤外線画像加工ルールと同様不揮発メモリに設定を記憶させるなどの方法で赤外線画像出力装置内に保持し、予め設定された顔部領域外赤外線画像加工ルールが起動時に選択される[渡邉 亨1]。または装置稼働中に保持されている顔部領域外赤外線画像加工ルールの中から手動で選択するなどの方法で選択設定される。稼働中に顔部領域外赤外線画像加工ルールを変更した際には、電源を切るまで新たに選択した顔部領域外赤外線画像加工ルールを使用し、電源OFF時に設定が消えて、変更前の設定に戻るように構成してもよいし、新たな設定を選択した際に不揮発メモリ等に記憶された設定が上書きされるように構成してもよい。外部気温などの条件に応じて、顔部領域外赤外線画像加工ルールを自動選択し画像処理を行うように構成してもよい。
<実施形態1 画像処理後赤外線画像情報保持部(H)(0108)>
画像処理後赤外線画像情報保持部(H)(0108)は、画像処理後の顔部領域以外の赤外線画像情報と、画像処理後の顔部領域の赤外線画像情報を元の位置関係で合わせて保持するように構成される。
顔部領域と顔部領域外の2領域に対してそれぞれの画像加工ルールに応じて画像処理された後の赤外線画像情報を合わせて保持する。この「合わせて」とは、2つの画像(顔部領域赤外線画像と顔部領域外赤外線画像)を関連付けた別々の画像として保持することを。意味しない。「合わせて」とは、顔部領域の赤外線画像情報を切り出して画像処理を行った場合には、顔部領域外赤外線画像情報の所定の位置(画像処理前の元の位置関係の位置)に画像処理後の顔部領域赤外線画像情報をはめ込み、一つの赤外線画像情報として保持することを意味する。または、この「合わせて」は、顔部領域の赤外線画像情報を切り出さずに、赤外線画像情報中での座標を基に、元の位置関係のまま顔部領域と顔部領域外に対して一つの赤外線画像情報を画像処理した場合には、顔部領域と顔部領域外の2つの画像処理が一つの赤外線画像情報に合わせて行われたものとして、画像処理後の赤外線画像情報を保持することを意味する。
<実施形態1 画像処理後赤外線画像情報出力部(J)(0109)>
画像処理後赤外線画像情報出力部(J)(0109)は、前記合わせた画像処理後の赤外線画像情報を出力するように構成される。
画像処理後の赤外線画像情報を、モニタ(図7の(0718))などに表示する。あとで赤外線画像情報を見返す可能性があるため、記録し保存する赤外線画像情報記録保持部を設けておくとよい。記録保存する際の画像解像度や記録時間に依存する画像情報ファイルサイズにも依存するが、ハードディスクやSSDなどの大容量の記憶媒体が好ましい。記録時間が短くてもよいのであれば、メモリディスクやUSBメモリなどを使用してもよい。赤外線画像情報保持部(B)に保持された画像処理前の赤外線画像情報は、一定時間(一定データ量)経過後または画像処理完了後または赤外線画像出力装置の電源オフ時点など所定のタイミングで、赤外線画像情報保持部(B)から削除されるように構成することが好ましい。赤外線画像情報保持部(B)の赤外線画像情報は、プライバシ保護のための画像処理前の赤外線画像情報であるためである。画像処理前の赤外線画像情報を保持継続する場合は、取扱に注意するとともに取扱者を限定することや、第3者が容易に閲覧出来ないように管理することが好ましい。
<実施形態1 赤外線画像出力装置(0100)>
赤外線画像出力装置(0100)は、取得した赤外線画像情報中の人体の顔部領域を特定し、顔部領域と顔部領域外に対する画像処理のために、顔部領域と顔部領域外に対し別個に画像加工ルールを保持し(両者同じ画像加工ルールでもよいし、画像加工しないルールでもよい)、画像処理した顔部領域と顔部領域外の赤外線画像情報を合わせて保持し、出力するように構成される。
建物や部屋の入口に設置されている本発明の赤外線画像出力装置は、入場者中に含まれうる発熱が疑われる者のスクリーニングに使われる。監視者がモニタに出力された赤外線画像情報を目視確認し、異常が見られた人に声掛けすることができる。異常が見られた発熱が疑われる人に対し、実体温を測定できる体温計で別途体温測定をしてもらう又は入場をお断りするなどの対応をとることができる。
<実施形態1 処理の流れ>
図2に、実施形態1の赤外線画像出力装置の処理の流れを示す。処理の流れとしては、
2次元赤外線検知ステップ(a)(S0201)と、赤外線画像情報保持ステップ(b)(S0202)と、赤外線画像内顔部領域特定ステップ(c)(S0203)と、顔部領域赤外線画像加工ルール保持ステップ(d)(S0204)と、顔部領域外赤外線画像加工ルール保持ステップ(e)(S0205)と、顔部領域赤外線画像処理ステップ(f)(S0206)と、顔部領域外赤外線画像処理ステップ(g)(S0207)と、画像処理後赤外線画像情報保持ステップ(h)(S0208)と、画像処理後赤外線画像情報出力ステップ(j)(S0209)と、を有する。
赤外線画像出力装置は、
2次元赤外線検知ステップ(a)(S0201)は、物体から放射される赤外線を検知する処理を行い、
赤外線画像情報保持ステップ(b)(S0202)は、2次元赤外線検知ステップ(a)(S0201)で検知した赤外線の情報から赤外線画像である赤外線画像情報として保持する処理を行い、
赤外線画像内顔部領域特定ステップ(c)(S0203)は、赤外線画像情報から人体の顔部を認識し、前記赤外線画像情報中の顔部領域を特定する処理を行い、
顔部領域赤外線画像加工ルール保持ステップ(d)(S0204)は、赤外線画像情報内の顔部領域に対して加える画像処理のルールである顔部領域赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する処理を行い、
顔部領域外赤外線画像加工ルール保持ステップ(e)(S0205)は、赤外線画像情報内の顔部領域以外に対して加える画像処理のルールである顔部領域外赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する処理を行い、
顔部領域赤外線画像処理ステップ(f)(S0206)は、赤外線画像情報内の顔部領域の部分に関し、保持されている顔部領域赤外線画像加工ルールに基づいて画像処理を行う処理を行い、
顔部領域外赤外線画像処理ステップ(g)(S0207)は、赤外線画像情報内の顔部領域以外の部分に関し、保持されている顔部領域外赤外線画像加工ルールに基づいて画像処理を行う処理を行い、
画像処理後赤外線画像情報保持ステップ(h)(S0208)は、画像処理後の顔部領域以外の赤外線画像情報と、画像処理後の顔部領域の赤外線画像情報を合わせて保持処理を行い、
画像処理後赤外線画像情報出力ステップ(j)(S0209)は、前記顔部領域に相当する2次元温度情報の領域に、所定の温度情報以上の部分が存在する場合に、保持されている異常状態判断ルールに基づいて、異常状態情報を出力する処理を行う。
このような一連の処理を赤外線画像出力装置に実行させる動作方法である。
<実施形態1 ハードウェア>
図3は、本実施形態の赤外線画像出力装置のハードウェア構成の一例を示す概念図である。図示するように、PC等を類似する構成をとる場合が多いと考えられ、PCと類似の構成となっている。「CPU」、ノースブリッジとサウスブリッジからなる「チップセット」、「不揮発性メモリ」、「メインメモリ」、「I/Oコントローラ」、「USB、IEEE1394、LAN端子、etc」、「BIOS」、「PCIスロット」、「リアルタイムクロック」などから構成される。
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
すなわち図3に示すように赤外線出力装置では、不揮発性メモリにはOS(オペレーティングシステム)とデバイスドライバのほかに、2次元赤外線検知プログラムと、赤外線画像情報保持プログラムと、赤外線画像内顔部領域特定プログラムと、顔部領域赤外線画像加工ルール保持プログラムと、顔部領域外赤外線画像加工ルール保持プログラムと、顔部領域赤外線画像処理プログラムと、顔部赤外線画像処理プログラムと、画像処理後赤外線画像情報保持プログラムと、画像処理後赤外線画像情報出力プログラムと、を有し、データとして、赤外線画像情報と、顔部領域赤外線画像加工ルールと、顔部領域外赤外線画像加工ルールが保持されている。これらは、本システムがコンピュータ上で起動されることにより、メインメモリに展開されて、起動命令を受け付けることによって、CPUが順次プログラムとデータを利用した演算を行っていく。
<実施形態1 効果>
本実施形態の赤外線画像出力装置によれば、赤外線画像情報中の人体の顔を認識して顔部領域を特定し、顔部領域の画像処理と、顔部領域外画像処理を行う。画像処理の領域特定が顔部領域の特定の1回のみの為、工数を削減し高速化できる。また、人体部だけではなく背景部分にも画像処理を行うため、赤外線画像を取得した場所(人物がいる場所)の情報も秘匿することができる。人体部と所在地共にプライバシ保護の処理を同時に行うことができる。
<実施形態2 概要>主に請求項2
取得した赤外線画像から、赤外線のエネルギー量と温度の相関関係から、マイクロボロメータからの信号を、赤外線エネルギー量として算出し、見かけの温度分布としてコントラスト又はカラーパターン(カラー諧調)に当てはめた2次元温度情報として保持する。顔部領域に相当する2次元温度情報の領域に所定の温度以上の部分が存在する場合に異常状態情報を出力する。
<実施形態2 機能的構成>
図4は、実施形態1を基礎とした実施形態2の赤外線画像出力装置の機能的構成一例を示すブロック図である。図示するように、本発明の赤外線画像出力装置(0400)は、2次元赤外線検知部(A)(0401)と、赤外線画像情報保持部(B)(0402)と、赤外線画像内顔部領域特定部(C)(0403)と、顔部領域赤外線画像加工ルール保持部(D)(0404)と、顔部領域外赤外線画像加工ルール保持部(E)(0405)と、顔部領域赤外線画像処理部(F)(0406)と、顔部領域外赤外線画像処理部(G)(0407)と、画像処理後赤外線画像情報保持部(H)(0408)と、画像処理後赤外線画像情報出力部(J)(0409)と有し、さらに2次元温度情報保持部(K)(0410)と、異常状態判断ルール保持部(M)(0411)と、異常状態判断部(N)(0412)と、異常状態情報出力部(P)(0413)と、を有する。
<実施形態2 2次元温度情報保持部(K)(0410)>
2次元温度情報保持部(K)(0410)は、2次元赤外線検知部(A)(0401)が検知した赤外線画像情報を、2次元的な温度分布の情報である2次元温度情報として保持するように構成される。
2次元赤外線検知部で検知した赤外線画像内の各点に対応する赤外線エネルギーを、赤外線エネルギーと相関関係にある温度分布情報へ変換し、輝度諧調やコントラストまたはカラーパターンに当てはめた2次元温度情報として保持する。カラーパターンの例としては測定できる検知範囲の最低温度を青、最高温度を赤とした可視光の色順に準じた並びである。又は実施形態1で説明した白黒表示で、諧調やコントラストに変えた画像とする。
顔部領域を特定し、顔部領域と顔部領域外に対して画像処理を行う元となる赤外線画像情報は、温度分布の情報である2次元温度情報であってもよい。
<実施形態2 異常状態判断ルール保持部(M)(0411)>
異常状態判断ルール保持部(M)(0411)は、後記異常状態情報出力部にて異常状態と判断するための異常状態判断ルールを保持するように構成される。
例としては、保持した2次元温度情報の顔部領域に対し、所定の温度以上の部分が存在する場合に異常状態と判断するルール(発熱者のスクリーニング目的)である。他に、顔部領域外に所定の温度以上の部分が存在する場合に赤外線画像出力装置の設置に問題があると判断するルール(赤外線画像視野角内にストーブや照明器具等の高熱源体が存在)や、すべての領域が所定の温度以上を示すような装置故障と判断されるルール等を保持していてもよい。
<実施形態2 異常状態判断部(N)(0412)>
異常状態判断部(N)(0412)は、前記顔部領域に相当する2次元温度情報の領域に、所定の温度以上の部分が存在するかを保持されている異常状態判断ルールを用いて判断するように構成される。
異常状態判断ルールの例としては、例えば発熱の疑いがある人をスクリーニングするために、37℃を閾値として、37℃以上の部分が顔部領域にある場合に異常状態と判断するルールがある。外気温によって上げ下げの調整を行ってもよい。
また、発熱の疑いがある人のスクリーニングだけではなく、2次元赤外線検知部(A)の視野角内にストーブなどの暖房器具や蛍光灯など照明器具といった高熱源体が存在する場合や、装置故障の懸念がある場合にも、発熱者発見の異常状態情報とは異なる、測定環境異常や、装置故障などの異常状態であると情報を出すことが好ましい。高熱源体が視野内に存在する時に、万一顔部領域に写り込むと誤判定の可能性があるためである。
<実施形態2 異常状態情報出力部(P)(0413)>
異常状態情報出力部(P)(0413)は、異常状態判断部(N) (0412)での判断結果が異常状態であるとの判断結果である場合に、異常状態情報を出力するように構成される。
図10を用いて異常状態情報の出力例を説明する。図10の例では異常状態と判断する所定の温度の例を37℃とする。図10は、2次元温度情報の表示であり、顔部領域と顔部領域外に対して画像処理が行われた後の2次元温度情報である。顔部領域(1023)には前後に位置して顔が重なっている2名が写っている。顔が重なっているため一つの顔部領域(1023)となっている。図10の例では、顔部領域(1023)の近傍に顔部領域(1023)内の最高温度である35.4℃が表示されている。異常状態と判断する37℃未満の為、顔部領域を囲う点線の四角形が、暗い諧調(カラーパターンでは黄色や橙といった赤より下の温度を示す色)となっている。右側の顔部領域(1024)内の最高温度は38.1℃と所定の温度37℃を超えるため、顔部領域(1024)を囲う四角形は実線となり高温を示す白に近い諧調(カラーパターンでは高温を示す赤系統の色)で表示されている。顔部領域(1024)近傍にはNGと表示される(1028)。顔部領域(1024)内で額部分が高温を示す白に近い諧調となっている。左側の2名のように一つの顔部領域とした場合に、少なくともどちらか片方の人が37℃以上を示した場合は、二人まとめて異常状態として異常状態情報が出力される。疑わしき人をスクリーニングするためである。二人に対し詳細調査(別途体温計による実体温測定)を行ってもよいし、二人の間隔を少し開けて、再度赤外線画像出力装置の前に立ってもらい体表面温度を再確認してもよい。後者の場合は、詳細調査を依頼する人数を絞り込むことができる。
異常状態情報の出力としては、モニタの表示に出すだけではなく、図7に示す赤外線画像出力装置の警報機(0717)のように警報ランプやスピーカから警報音を出し注意を喚起するように構成できる。警報音を出すと差しさわりがある場所では、モニタの表示だけでは見過ごす可能性が高いため、少なくとも警報ランプを監視者が見えるように点灯するとよい。
また、発熱の疑いがある人のスクリーニングだけではなく、2次元赤外線検知部(A)の視野角内にストーブなどの暖房器具や蛍光灯など照明器具といった高熱源体が存在する場合や、装置故障懸念ある場合にも、発熱者発見の異常状態情報とは異なる異常状態情報を出すことが好ましい。高熱源体がある場合、万一顔部領域に写り込むと誤判定の可能性があるためである。
<インターネット接続されている場合>
本発明の赤外線画像出力装置が複数台、インターネット回線を通じて接続され、画像処理された赤外線画像情報を記録保存するサーバもインターネットに接続されている態様について、図13を用いて説明する。
図13はインターネット(1329)に赤外線画像出力装置(1330A)~(1330K)が接続され、サーバ(1331)も接続されている。赤外線画像出力装置とサーバは図13に示す台数には限定されない。サーバは複数台でもよく、赤外線画像出力装置は図示した10台以上でも、10台以下でもよい。また赤外線画像出力装置は図示するために、三脚に乗せたカメラ部(1330A1)とスピーカ部(1330A2)の形状としたが、本発明の赤外線画像出力装置の構成で機能を有するならば形状は限定しない。
インターネットを介して、複数の場所、例えば日本全国の主要駅改札口や主要道路の交差点などに本発明の赤外線画像出力装置を設置することができる。インターネットを介することで、監視者は赤外線画像出力装置から遠く離れた場所からでも監視することができ、複数台のモニタを並べることで、複数個所の監視も同時に行える。赤外線画像出力装置にて発熱が懸念される異常者に対して、各赤外線画像出力装置に併設されたスピーカ部から、「体温異常の懸念があるため、詳細検査(実体温を体温計で測定する、PCR検査等の検査を行う、病院で受診するなど)を行ってください。」などのメッセージを音声出力して警告することができる。または、異常状態情報が出力されたら、対象となる顔部領域の写る人へ自動的に上記のようなメッセージを音声出力するように構成してもよい。またはマイナンバーカードに記載された顔写真データと照合し、所定の連絡先(メールアドレス等)へ通知するように構成してもよい。
個別の赤外線画像出力装置(1330A)~(1330K)を識別するための識別情報(機器番号など)を設置場所の情報と関連付けて保持しておき、所定の期間(1日、または1時間ごとなど)の視野内に検出した人の数(複数人の顔が重なって認識され、分離して計数することが困難な場合は顔部領域数でもよい)と、発熱者の可能性がある異常状態情報が出力された人の数(上述理由から顔部領域数でも可)の統計を取得することができる。取得したデータを基に、例えばCOVID-19の感染状況の把握のために、2020年11月25日にプレスリリースされた鳥取大学の小谷岳生工学部教授らのグループで見いだされた簡易的な計算方法(ある日を中心にした前後3日間:すなわち1週間の平均発熱者数で、前記ある日の5日後の確認者数を割る)などにより,各地毎の実行再生産数を算出することもできる。得られた簡易的な実行再生産数を基に各地の地域ごとの差や、感染リスクの大小などを知ることができる。発熱者の検出された率によって該当するエリアを色分けすると、発熱者の多いエリアを視覚的に表現した発熱者マップを作製できる。地域ごとの感染リスクを知ることができる。COVID-19だけではなく発熱を伴うインフルエンザ等他の発熱を伴う感染症の把握にも使用できる。
発熱の可能性のある者(以下、発熱者)を検出した後、赤外線画像出力装置の視野を外れた後、別の場所の赤外線画像出力装置の視野にとらえられ顔認識した場合、以前通過した場所で検出された情報を引き継ぎ、移動状況を追跡できるように構成することができる。サーバ(1331)に発熱者として検出した顔認識情報を保持しておき、各地で認識した顔認識の情報と照合することにより追跡できる。サーバが広域(日本など)で1か所のみだと通信が輻輳するため、各県や各地方に1か所のサーバなどに分割し、近郊電車や車などでの移動範囲を担当させるとよい。顔認識情報照合する場合には、その地点を担当するサーバに照合するとともに隣接する地域を担当するサーバにも照合するとよい。
なお、画像処理後の赤外線画像(顔部領域のみ判別可)については、赤外線画像出力装置の管理者、またはサーバの管理者のみが閲覧、アクセスすることができるようにアクセス権限を付与する範囲を限定することが好ましい。または管理者が承認し許可した運用者のみとする。
<実施形態2 処理の流れ>
図5に、実施形態1を基礎とした実施形態2の赤外線画像出力装置の処理の流れを示す。処理の流れとしては、
2次元赤外線検知ステップ(a)(S0501)と、赤外線画像情報保持ステップ(b)(S0502)と、2次元温度情報保持ステップ(k)(S0503)と、赤外線画像内顔部領域特定ステップ(c)(S0504)と、顔部領域赤外線画像加工ルール保持ステップ(d)(S0505)と、顔部領域外赤外線画像加工ルール保持ステップ(e)(S0506)と、顔部領域赤外線画像処理ステップ(f)(S0507)と、顔部領域外赤外線画像処理ステップ(g)(S0508)と、画像処理後赤外線画像情報保持ステップ(h)(S0509)と、画像処理後赤外線画像情報出力ステップ(j)(S0510)と、異常状態判断ルール保持ステップ(m)(S0511)と、異常状態情報出力ステップ(p)(S0512)と、を有する。
赤外線画像出力装置は、
2次元赤外線検知ステップ(a)(S0501)は、物体から放射される赤外線を検知する処理を行い、
赤外線画像情報保持ステップ(b)(S0502)は、2次元赤外線検知ステップ(a)(S0501)で検知した赤外線の情報から赤外線画像である赤外線画像情報として保持する処理を行い、
2次元温度情報保持ステップ(k)(S0503)は、次元赤外線検知ステップ(a)(S0501)で検知した赤外線画像情報を、2次元的な温度分布の情報である2次元温度情報として保持する処理を行い。
赤外線画像内顔部領域特定ステップ(c)(S0503)は、赤外線画像情報から人体の顔部を認識し、前記赤外線画像情報中の顔部領域を特定する処理を行い、
顔部領域赤外線画像加工ルール保持ステップ(d)(S0504)は、赤外線画像情報内の顔部領域に対して加える画像処理のルールである顔部領域赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する処理を行い、
顔部領域外赤外線画像加工ルール保持ステップ(e)(S0505)は、赤外線画像情報内の顔部領域以外に対して加える画像処理のルールである顔部領域外赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する処理を行い、
顔部領域赤外線画像処理ステップ(f)(S0506)は、赤外線画像情報内の顔部領域の部分に関し、保持されている顔部領域赤外線画像加工ルールに基づいて画像処理を行う処理を行い、
顔部領域外赤外線画像処理ステップ(g)(S0507)は、赤外線画像情報内の顔部領域以外の部分に関し、保持されている顔部領域外赤外線画像加工ルールに基づいて画像処理を行う処理を行い、
画像処理後赤外線画像情報保持ステップ(h)(S0508)は、画像処理後の顔部領域以外の赤外線画像情報と、画像処理後の顔部領域の赤外線画像情報を合わせて保持処理を行い、
画像処理後赤外線画像情報出力ステップ(j)(S0509)は、前記顔部領域に相当する2次元温度情報の領域に、所定の温度情報以上の部分が存在する場合に、保持されている異常状態判断ルールに基づいて、異常状態情報を出力する処理を行い、
異常状態判断ルール保持ステップ(m)(S0511)は、後記異常状態情報出力ステップ(p)(S0512)にて異常状態と判断するための異常状態判断ルールを保持する処理を行い、
異常状態情報出力ステップ(p)(S0512)は、記顔部領域に相当する2次元温度情報の領域に、所定の温度情報以上の部分が存在する場合に、保持されている異常状態判断ルールに基づいて、異常状態情報を出力する処理を行う。
このような一連の処理を赤外線画像出力装置に実行させる動作方法である。
<実施形態2 ハードウェア>
図6は、実施形態1を基礎とした実施形態2の赤外線画像出力装置のハードウェア構成の一例を示す概念図である。図示するように、PC等を類似する構成をとる場合が多いと考えられ、PCと類似の構成となっている。「CPU」、ノースブリッジとサウスブリッジからなる「チップセット」、「不揮発性メモリ」、「メインメモリ」、「I/Oコントローラ」、「USB、IEEE1394、LAN端子、etc」、「BIOS」、「PCIスロット」、「リアルタイムクロック」などから構成される。
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
すなわち図6に示すように赤外線出力装置では、不揮発性メモリにはOS(オペレーティングシステム)とデバイスドライバのほかに、2次元赤外線検知プログラムと、赤外線画像情報保持プログラムと、赤外線画像内顔部領域特定プログラムと、顔部領域赤外線画像加工ルール保持プログラムと、顔部領域外赤外線画像加工ルール保持プログラムと、顔部領域赤外線画像処理プログラムと、顔部赤外線画像処理プログラムと、画像処理後赤外線画像情報保持プログラムと、画像処理後赤外線画像情報出力プログラムと、さらに2次元温度情報保持プログラムと、異常状態判断ルール保持プログラムと、異常状態情報出力プログラムと、を有し、データとして、赤外線画像情報と、顔部領域赤外線画像加工ルールと、顔部領域外赤外線画像加工ルールと、さらに2次元温度情報と、異常状態判断ルールと、異常状態情報と、が保持されている。これらは、本システムがコンピュータ上で起動されることにより、メインメモリに展開されて、起動命令を受け付けることによって、CPUが順次プログラムとデータを利用した演算を行っていく。
<実施形態2 効果>
本実施形態2の赤外線画像出力装置によれば、顔部領域の2次元温度情報に所定の温度を超える異常状態を示す人物が写っていた場合に異常を知らせることができる。実施形態1を基礎としプライバシ保護のための画像処理を高速に行ったうえで、顔部の領域は判別できるため、赤外線画像出力装置の2次元赤外線検知部前にいる人物の中から、対象となる人物を迅速に見つけることができる。背景部分も顔以外の人体部分と同様に同時に画像処理を行い、プライバシ保護処理を行うことができる。
0100 赤外線画像出力装置
0101 2次元赤外線検知部(A)
0102 赤外線画像情報保持部(B)
0103 赤外線画像内顔部領域特定部(C)
0104 顔部領域赤外線画像加工ルール保持部(D)
0105 顔部領域外赤外線画像加工ルール保持部(E)
0106 顔部領域赤外線画像処理部(F)
0107 顔部領域外赤外線画像処理部(G)
0108 画像処理後赤外線画像情報保持部(H)
0109 画像処理後赤外線画像情報出力部(J)

Claims (6)

  1. 物体から放射される赤外線を検知する2次元赤外線検知部(A)と、
    2次元赤外線検知部(A)が検知した赤外線の情報から赤外線画像である赤外線画像情報として保持する赤外線画像情報保持部(B)と、
    赤外線画像情報から人体の顔部を認識し、前記赤外線画像情報中の顔部領域を特定する赤外線画像内顔部領域特定部(C)と、
    赤外線画像情報内の顔部領域に対して加える画像処理のルールである顔部領域赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域赤外線画像加工ルール保持部(D)と、
    赤外線画像情報内の顔部領域以外に対して加える画像処理のルールである顔部領域外赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域外赤外線画像加工ルール保持部(E)と、
    赤外線画像情報内の顔部領域の部分に関し、保持されている顔部領域赤外線画像加工ルールに基づいて画像処理を行う顔部領域赤外線画像処理部(F)と、
    赤外線画像情報内の顔部領域以外の部分に関し、保持されている顔部領域外赤外線画像加工ルールに基づいて画像処理を行う顔部領域外赤外線画像処理部(G)と、
    画像処理後の顔部領域以外の赤外線画像情報と、画像処理後の顔部領域の赤外線画像情報を元の位置関係で合わせて保持する画像処理後赤外線画像情報保持部(H)と、
    前記合わせた画像処理後の赤外線画像情報を出力する画像処理後赤外線画像情報出力部(J)と、
    を有する赤外線画像出力装置。
  2. 2次元赤外線検知部(A)が検知した赤外線画像情報を、2次元的な温度分布の情報である2次元温度情報として保持する2次元温度情報保持部(K)と、
    後記異常状態情報出力部にて異常状態と判断するための異常状態判断ルールを保持する異常状態判断ルール保持部(M)と、
    前記顔部領域に相当する2次元温度情報の領域に、所定の温度以上の部分が存在するかを保持されている異常状態判断ルールを用いて判断する異常状態判断部(N)と、
    異常状態判断部(N)での判断結果が異常状態であるとの判断結果である場合に、異常状態情報を出力する異常状態情報出力部(P)と、をさらに有する請求項1記載の赤外線画像出力装置。
  3. 物体から放射される赤外線を検知する2次元赤外線検知ステップ(a)と、
    2次元赤外線検知ステップ(a)で検知した赤外線の情報から赤外線画像である赤外線画像情報として保持する赤外線画像情報保持ステップ(b)と、
    赤外線画像情報から人体の顔部を認識し、前記赤外線画像情報中の顔部領域を特定する赤外線画像内顔部領域特定ステップ(c)と、
    赤外線画像情報内の顔部領域に対して加える画像処理のルールである顔部領域赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域赤外線画像加工ルール保持ステップ(d)と、
    赤外線画像情報内の顔部領域以外に対して加える画像処理のルールである顔部領域外赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域外赤外線画像加工ルール保持ステップ(e)と、
    赤外線画像情報内の顔部領域の部分に関し、保持されている顔部領域赤外線画像加工ルールに基づいて画像処理を行う顔部領域赤外線画像処理ステップ(f)と、
    赤外線画像情報内の顔部領域以外の部分に関し、保持されている顔部領域外赤外線画像加工ルールに基づいて画像処理を行う顔部領域外赤外線画像処理ステップ(g)と、
    画像処理後の顔部領域以外の赤外線画像情報と、画像処理後の顔部領域の赤外線画像情報を元の位置関係で合わせて保持する画像処理後赤外線画像情報保持ステップ(h)と、
    前記統合した画像処理後の赤外線画像情報を出力する画像処理後赤外線画像情報出力ステップ(j)と、
    を有する計算機である赤外線画像出力装置の動作方法。
  4. 2次元赤外線検知ステップ(a)で検知した赤外線画像情報を、2次元的な温度分布の情報である2次元温度情報として保持する2次元温度情報保持ステップ(k)と、
    後記異常状態情報出力ステップ(p)にて異常状態と判断するための異常状態判断ルールを保持する異常状態判断ルール保持ステップ(m)と、
    前記顔部領域に相当する2次元温度情報の領域に、所定の温度以上の部分が存在するかを保持されている異常状態判断ルールを用いて判断する異常状態判断ステップ(n)と、
    異常状態判断ステップ(n)での判断結果が異常状態であるとの判断結果である場合に、異常状態情報を出力する異常状態情報出力ステップ(p)と、をさらに有する請求項3記載の計算機である赤外線画像出力装置の動作方法。
  5. 物体から放射される赤外線を検知する2次元赤外線検知ステップ(a)と、
    2次元赤外線検知ステップ(a)で検知した赤外線の情報から赤外線画像である赤外線画像情報として保持する赤外線画像情報保持ステップ(b)と、
    赤外線画像情報から人体の顔部を認識し、前記赤外線画像情報中の顔部領域を特定する赤外線画像内顔部領域特定ステップ(c)と、
    赤外線画像情報内の顔部領域に対して加える画像処理のルールである顔部領域赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域赤外線画像加工ルール保持ステップ(d)と、
    赤外線画像情報内の顔部領域以外に対して加える画像処理のルールである顔部領域外赤外線画像加工ルール(画像処理を行わないというルールも含む)を保持する顔部領域外赤外線画像加工ルール保持ステップ(e)と、
    赤外線画像情報内の顔部領域の部分に関し、保持されている顔部領域赤外線画像加工ルールに基づいて画像処理を行う顔部領域赤外線画像処理ステップ(f)と、
    赤外線画像情報内の顔部領域以外の部分に関し、保持されている顔部領域外赤外線画像加工ルールに基づいて画像処理を行う顔部領域外赤外線画像処理ステップ(g)と、
    画像処理後の顔部領域以外の赤外線画像情報と、画像処理後の顔部領域の赤外線画像情報を元の位置関係で合わせて保持する画像処理後赤外線画像情報保持ステップ(h)と、
    前記統合した画像処理後の赤外線画像情報を出力する画像処理後赤外線画像情報出力ステップ(j)と、
    を有する計算機である赤外線画像出力装置に読み取り実行可能な動作プログラム。
  6. 2次元赤外線検知ステップ(a)で検知した赤外線画像情報を、2次元的な温度分布の情報である2次元温度情報として保持する2次元温度情報保持ステップ(k)と、
    後記異常状態情報出力ステップにて異常状態と判断するための異常状態判断ルールを保持する異常状態判断ルール保持ステップ(m)と、
    前記顔部領域に相当する2次元温度情報の領域に、所定の温度以上の部分が存在するかを保持されている異常状態判断ルールを用いて判断する異常状態判断ステップ(n)と、
    異常状態判断ステップ(n)での判断結果が異常状態であるとの判断結果である場合に、異常状態情報を出力する異常状態情報出力ステップ(p)と、をさらに有する請求項5記載の計算機である赤外線画像出力装置に読み取り実行可能な動作プログラム。
JP2021054891A 2021-03-29 2021-03-29 赤外線画像出力装置 Pending JP2022152204A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021054891A JP2022152204A (ja) 2021-03-29 2021-03-29 赤外線画像出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021054891A JP2022152204A (ja) 2021-03-29 2021-03-29 赤外線画像出力装置

Publications (1)

Publication Number Publication Date
JP2022152204A true JP2022152204A (ja) 2022-10-12

Family

ID=83556028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021054891A Pending JP2022152204A (ja) 2021-03-29 2021-03-29 赤外線画像出力装置

Country Status (1)

Country Link
JP (1) JP2022152204A (ja)

Similar Documents

Publication Publication Date Title
ES2243699T3 (es) Procedimiento y dispositivo de deteccion de fuegos basados en el analisis de imagenes.
US9250135B2 (en) MWIR sensor for flame detection
US20150029320A1 (en) Image-capturing device, in particular person-counting mechanism, having a housing which is transparent in the infrared range and nontransparent in the optically visible range
KR20220163998A (ko) 열 이미징 시스템 및 방법에서의 비접촉 온도 측정
EP2194503A1 (en) Method and device for infrared and visible image fusion
KR20180123900A (ko) 인체 감시 발열 경보 방법 및 장치
US20060178582A1 (en) Method and system for performing fever triage
JP7266279B2 (ja) システムおよびプログラム等
US10080500B2 (en) Systems and methods for monitoring sun exposure
JP6995148B2 (ja) 視覚的深度を用いた煙検出方法
JP2006231065A (ja) 熱異常を検出する装置及び方法
KR102489929B1 (ko) 출입 요청자의 체온측정 기능을 갖는 출입문 개폐 제어 시스템
US10620042B2 (en) Real time ultraviolet light reflectance imaging
KR101476764B1 (ko) 카메라의 명암 영상신호를 이용한 화염 검출방법
CN111554366A (zh) 人体健康信息生成方法、装置、计算机设备及存储介质
Ring Beyond human vision: the development and applications of infrared thermal imaging
Mazur-Milecka et al. Smart city and fire detection using thermal imaging
KR102335158B1 (ko) 열화상 카메라를 이용한 사람 객체별 체온 감지 및 추적 방법
JP2022152204A (ja) 赤外線画像出力装置
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
Hsieh Development of a Low Cost and Raspberry-based Thermal Imaging System for Monitoring Human Body Temperature
US11457205B2 (en) Thermal health monitoring sensor
JP7224328B2 (ja) サーマルカメラ健全度モニタリング
TWM538038U (zh) 電梯乘客體溫偵測裝置
TW202226055A (zh) 智慧型熱像系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240319