JP2019126657A - 検出装置、及び検出プログラム - Google Patents
検出装置、及び検出プログラム Download PDFInfo
- Publication number
- JP2019126657A JP2019126657A JP2018011792A JP2018011792A JP2019126657A JP 2019126657 A JP2019126657 A JP 2019126657A JP 2018011792 A JP2018011792 A JP 2018011792A JP 2018011792 A JP2018011792 A JP 2018011792A JP 2019126657 A JP2019126657 A JP 2019126657A
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- subject
- temperature range
- detection
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 230000008451 emotion Effects 0.000 claims description 71
- 238000012937 correction Methods 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 15
- 210000001061 forehead Anatomy 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 229910000831 Steel Inorganic materials 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000012535 impurity Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 3
- 238000009529 body temperature measurement Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0859—Sighting arrangements, e.g. cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
- G01J5/485—Temperature profile
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
- G01J5/804—Calibration using atmospheric correction
Abstract
Description
図1は、第1実施形態に係る検出システム1の一例を示す構成図である。検出システム1は、人物の感情を検出するシステムである。ここで「感情」とは、喜怒哀楽といった基本的な感情の他、不安、緊張、ストレス、及び高揚といった人物の内面状態も含む。
上述した実施形態では、有効部位として設定された部位26の少なくとも1箇所の部位26を用いて被写体9の感情を推定する学習モデルを複数の学習モデルから選択する例について説明した。しかしながら、予め用意されている複数の学習モデルの中に、有効部位として設定された部位26の温度から被写体9の感情を推定する学習モデルが存在しない場合もあり得る。
被写体9の温度は、被写体9が存在する空間の気温によって変化する傾向がある。一方、部位26毎に設定された温度範囲は、予め定められた気温(以降、「基準温度」という)において設定された温度範囲である。したがって、基準温度と赤外線カメラ3で被写体9の温度を計測している期間の気温との差分が大きくなるにつれて、物体で覆われていない部位26であっても無効部位として検出されることがあり、反対に物体で覆われている部位26が有効部位として検出されることもある。
2・・・可視カメラ
3・・・赤外線カメラ
4(4A)・・・検出装置
5・・・報知ユニット
6・・・通信ユニット
7・・・温度計
9・・・被写体
10・・・コンピュータ
11・・・CPU
12・・・ROM
13・・・RAM
14・・・不揮発性メモリ
20・・・可視画像
22・・・顔領域
24・・・特徴点
26・・・部位
30・・・温度画像
Claims (11)
- 可視画像から特定された被写体の複数の部位に対応するそれぞれの温度を、前記被写体の部位の温度を可視化した温度画像から取得する取得手段と、
前記取得手段によってそれぞれ温度が取得された前記被写体の複数の部位のうち、部位毎に予め定められている温度範囲に含まれない部位を検出する検出手段と、
を備えた検出装置。 - 可視画像から特定された被写体の複数の部位に対応するそれぞれの温度を、前記被写体の部位の温度を可視化した温度画像から取得する取得手段と、
前記取得手段によってそれぞれ温度が取得された前記被写体の複数の部位のうち、部位毎に予め定められている温度範囲に含まれる部位を検出し、検出された部位以外の部位を前記温度範囲に含まれない部位として更に検出する検出手段と、
を備えた検出装置。 - 前記取得手段によって取得された前記被写体の少なくとも1箇所の部位の温度から推定された前記被写体の感情を報知する報知手段を備える
請求項1又は請求項2記載の検出装置。 - 前記報知手段は、前記取得手段によって取得された前記被写体の複数の部位のうち、前記検出手段によって検出された前記温度範囲に含まれない部位以外の部位の温度を用いて推定された前記被写体の感情を報知する
請求項3記載の検出装置。 - 前記報知手段は、前記検出手段によって検出された前記温度範囲に含まれない部位に隣接する部位の温度を用いて推定された前記被写体の感情を報知する
請求項4記載の検出装置。 - 前記報知手段は、前記検出手段によって検出された前記温度範囲に含まれない部位に隣接する部位の温度を用いて補間された補間後の前記温度範囲に含まれない部位の温度を用いて推定された前記被写体の感情を報知する
請求項3記載の検出装置。 - 前記報知手段は、温度が前記温度範囲に含まれる部位の温度より、温度が補間された部位の温度における前記被写体の感情の推定に関する重み付けが低くなるように推定された前記被写体の感情を報知する
請求項6記載の検出装置。 - 部位毎の前記温度範囲を気温に応じて補正する補正手段を備え、
前記検出手段は、前記補正手段によって補正された前記温度範囲を用いて、前記温度範囲に含まれない部位を検出する
請求項1〜請求項7の何れか1項に記載の検出装置。 - 前記補正手段は、気温が上昇するに従って前記温度範囲の下限値及び上限値を上昇させるように前記温度範囲を補正する
請求項8記載の検出装置。 - 前記補正手段は、気温が低下するに従って前記温度範囲の下限値及び上限値を低下させるように前記温度範囲を補正する
請求項8又は請求項9記載の検出装置。 - コンピュータを、請求項1〜請求項10の何れか1項に記載の検出装置の各手段として機能させるための検出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011792A JP6981277B2 (ja) | 2018-01-26 | 2018-01-26 | 検出装置、及び検出プログラム |
US16/166,183 US10803303B2 (en) | 2018-01-26 | 2018-10-22 | Detection apparatus and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011792A JP6981277B2 (ja) | 2018-01-26 | 2018-01-26 | 検出装置、及び検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019126657A true JP2019126657A (ja) | 2019-08-01 |
JP6981277B2 JP6981277B2 (ja) | 2021-12-15 |
Family
ID=67392221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018011792A Active JP6981277B2 (ja) | 2018-01-26 | 2018-01-26 | 検出装置、及び検出プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10803303B2 (ja) |
JP (1) | JP6981277B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6976498B1 (ja) * | 2021-03-15 | 2021-12-08 | 三菱電機株式会社 | 感情推定装置および感情推定方法 |
WO2022070301A1 (ja) * | 2020-09-30 | 2022-04-07 | 日本電気株式会社 | 生体判定システム、生体判定方法、及びコンピュータプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6872742B2 (ja) * | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
CN111595450B (zh) * | 2020-05-15 | 2022-03-25 | 北京百度网讯科技有限公司 | 测量温度的方法、装置、电子设备和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007068620A (ja) * | 2005-09-05 | 2007-03-22 | Konica Minolta Holdings Inc | 心理状態計測装置 |
WO2014054293A1 (ja) * | 2012-10-05 | 2014-04-10 | パナソニック株式会社 | 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体 |
JP2016057944A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社デンソー | ドライバ状態判定装置 |
JP2017144222A (ja) * | 2015-10-14 | 2017-08-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57126372A (en) | 1981-01-28 | 1982-08-06 | Mitsubishi Electric Corp | Emergency stop device for elevator |
JP2005237861A (ja) | 2004-02-27 | 2005-09-08 | Omron Corp | 自動検温装置および自動検温方法 |
-
2018
- 2018-01-26 JP JP2018011792A patent/JP6981277B2/ja active Active
- 2018-10-22 US US16/166,183 patent/US10803303B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007068620A (ja) * | 2005-09-05 | 2007-03-22 | Konica Minolta Holdings Inc | 心理状態計測装置 |
WO2014054293A1 (ja) * | 2012-10-05 | 2014-04-10 | パナソニック株式会社 | 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体 |
JP2016057944A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社デンソー | ドライバ状態判定装置 |
JP2017144222A (ja) * | 2015-10-14 | 2017-08-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022070301A1 (ja) * | 2020-09-30 | 2022-04-07 | 日本電気株式会社 | 生体判定システム、生体判定方法、及びコンピュータプログラム |
JP6976498B1 (ja) * | 2021-03-15 | 2021-12-08 | 三菱電機株式会社 | 感情推定装置および感情推定方法 |
WO2022195661A1 (ja) * | 2021-03-15 | 2022-09-22 | 三菱電機株式会社 | 感情推定装置および感情推定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190236339A1 (en) | 2019-08-01 |
US10803303B2 (en) | 2020-10-13 |
JP6981277B2 (ja) | 2021-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102362544B1 (ko) | 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 | |
JP2019126657A (ja) | 検出装置、及び検出プログラム | |
US9746918B2 (en) | Eye tracking | |
US10580160B2 (en) | Device and method for determining a position of a mobile device in relation to a subject | |
US9998654B2 (en) | Information processing device and method for controlling information processing device | |
EP3091737A2 (en) | Digital mirror apparatus | |
JP4739870B2 (ja) | サングラス検出装置及び顔中心位置検出装置 | |
CN113837145A (zh) | 用于产生针对所选择识别文档的符合的面部图像的系统 | |
US11232584B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
WO2007046477A1 (ja) | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム | |
JP2020526735A (ja) | 瞳孔距離測定方法、装着型眼用機器及び記憶媒体 | |
JP2017194301A (ja) | 顔形状測定装置及び方法 | |
JP2012226645A (ja) | 画像処理装置および方法、記録媒体並びにプログラム | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
WO2014061294A1 (ja) | 瞳孔位置測定方法及び両用レンズの作製方法 | |
JP5092093B2 (ja) | 画像処理装置 | |
JP2008250407A (ja) | 画像処理プログラムおよび画像処理装置 | |
JP6075983B2 (ja) | 不快度推定システム及び不快度推定方法 | |
JP6075982B2 (ja) | 顔しかめ検出システム及び顔しかめ検出方法 | |
JP7099809B2 (ja) | 画像監視システム | |
CA2931457C (en) | Measuring cervical spine posture using nostril tracking | |
JP2013210778A (ja) | 撮像装置 | |
JP2012227830A (ja) | 情報処理装置、その処理方法、プログラム及び撮像装置 | |
US9918662B2 (en) | Measuring cervical spine posture using nostril tracking | |
KR102458065B1 (ko) | 안면 인식 체온 측정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6981277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |