JP2017074217A - Skin state estimation device and operation method thereof - Google Patents

Skin state estimation device and operation method thereof Download PDF

Info

Publication number
JP2017074217A
JP2017074217A JP2015203360A JP2015203360A JP2017074217A JP 2017074217 A JP2017074217 A JP 2017074217A JP 2015203360 A JP2015203360 A JP 2015203360A JP 2015203360 A JP2015203360 A JP 2015203360A JP 2017074217 A JP2017074217 A JP 2017074217A
Authority
JP
Japan
Prior art keywords
skin
data
component
temperature
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015203360A
Other languages
Japanese (ja)
Other versions
JP6240134B2 (en
Inventor
潤一郎 新井
Junichiro Arai
潤一郎 新井
後藤 尚志
Hisashi Goto
尚志 後藤
誠 岩亀
Makoto Iwakame
誠 岩亀
健一 日野
Kenichi Hino
健一 日野
平野 智也
Tomoya Hirano
智也 平野
泰則 小谷
Yasunori Kotani
泰則 小谷
淑美 大上
Shigemi Ogami
淑美 大上
太郎 戸松
Taro Tomatsu
太郎 戸松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Tokyo Institute of Technology NUC
Original Assignee
Daikin Industries Ltd
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd, Tokyo Institute of Technology NUC filed Critical Daikin Industries Ltd
Priority to JP2015203360A priority Critical patent/JP6240134B2/en
Priority to PCT/JP2016/080756 priority patent/WO2017065317A1/en
Publication of JP2017074217A publication Critical patent/JP2017074217A/en
Application granted granted Critical
Publication of JP6240134B2 publication Critical patent/JP6240134B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a skin state estimation device capable of appropriately estimating a skin state.SOLUTION: A skin state estimation device 10 and 110 includes a skin temperature acquisition means 20 and/or image data acquisition means 120, skin state estimation means 30 and 130, and state visualization means 200. The skin temperature acquisition means 20 acquires skin temperature data in a time-series manner. The image data acquisition means 120 acquires captured skin image data on an examination object region in a time-series manner. The skin state estimation means 30 and 130 estimate a skin state of the examination object region based on a plurality of components acquired by breaking down the skin temperature data and/or skin blood circulation data by singular value decomposition, principal component analysis or independent component analysis. The state visualization means 200 determines whether or not the examination object region is abnormal based on a skin state activity estimated by the skin state estimation means 30.SELECTED DRAWING: Figure 5

Description

本発明は、皮膚状態推定装置に関する。   The present invention relates to a skin condition estimation apparatus.

近年、皮膚画像を解析して治療や診断に役立てる技術が検討されている。例えば、特許文献1(特開平7−124126号公報)には、被験者への電極固定等の接触、束縛なしで生体情報を動画像として抽出する技術が開示されている。特許文献2(特表2008−505684号公報)には、サーモグラフィの画像から乳がんを特定し得る技術が開示されている。特許文献3(特表2003−524490号公報)には、関節等の炎症を膨らみ・色・関節可動域等から総合的に判定しようとする技術が開示されている。   In recent years, techniques for analyzing skin images and using them for treatment and diagnosis have been studied. For example, Patent Document 1 (Japanese Patent Laid-Open No. 7-124126) discloses a technique for extracting biological information as a moving image without touching or constraining an electrode to a subject. Patent Document 2 (Japanese Translation of PCT International Publication No. 2008-505684) discloses a technique that can identify breast cancer from a thermographic image. Patent Document 3 (Japanese Translation of PCT International Publication No. 2003-524490) discloses a technique for comprehensively determining inflammation such as joints from swelling, color, joint range of motion, and the like.

しかしながら、皮膚画像は種々の条件によって影響を受けるので、画像変化の原因を特定することが困難である。結果として、皮膚状態を適切に把握できず、特定の疾患等に対して効果的な治療や診断をすることが困難な状況が生じている。   However, since the skin image is affected by various conditions, it is difficult to specify the cause of the image change. As a result, a situation in which the skin condition cannot be properly grasped and it is difficult to effectively treat or diagnose a specific disease or the like has occurred.

本発明の課題は、皮膚状態を適切に推定し得る皮膚状態推定装置を提供することにある。   The subject of this invention is providing the skin state estimation apparatus which can estimate a skin state appropriately.

本発明の第1観点に係る皮膚状態推定装置は、皮膚温度取得手段及び/又は皮膚状態取得手段と、皮膚状態推定手段と、異常判定手段と、を備える。皮膚温度取得手段は、皮膚温度データを時系列で取得する。皮膚温度データは、人体の検査対象部位の皮膚から検出した皮膚温度データであって検出部位の位置データを含むものである。皮膚状態取得手段は、皮膚血行量データを時系列で取得する。皮膚血行量データは、人体の検査対象部位の皮膚を時系列で撮影した撮影画像データに対してRGB処理を行い、RGB処理により得られた撮影画像データのRGBデータに基づき取得される。皮膚状態推定手段は、皮膚温度データ及び/又は皮膚血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、検査対象部位の皮膚状態を推定する。異常判定手段は、皮膚状態推定手段により推定された検査対象部位の皮膚状態に基づき、検査対象部位が異常であるか否かを判定する。   A skin condition estimation apparatus according to a first aspect of the present invention includes skin temperature acquisition means and / or skin condition acquisition means, skin condition estimation means, and abnormality determination means. The skin temperature acquisition means acquires skin temperature data in time series. The skin temperature data is skin temperature data detected from the skin of the inspection target part of the human body and includes position data of the detection part. The skin condition acquisition means acquires skin blood flow data in time series. The skin blood flow data is obtained based on RGB data of the captured image data obtained by the RGB processing by performing RGB processing on the captured image data obtained by photographing the skin of the examination target part of the human body in time series. The skin condition estimating means determines the skin condition of the site to be inspected based on a plurality of components obtained by decomposing the skin temperature data and / or skin blood flow data by singular value decomposition, principal component analysis or independent component analysis. presume. The abnormality determination unit determines whether or not the inspection target part is abnormal based on the skin state of the inspection target part estimated by the skin state estimation unit.

本発明の第1観点の係る皮膚状態推定装置では、皮膚温度データ及び/又は皮膚血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、検査対象部位の皮膚状態を推定するので、外部要因によらずに画像変化の原因を特定することができ、皮膚状態を適切に推定できる。   In the skin condition estimation apparatus according to the first aspect of the present invention, based on a plurality of components obtained by decomposing skin temperature data and / or skin blood flow data by singular value decomposition, principal component analysis, or independent component analysis. Since the skin state of the site to be inspected is estimated, the cause of the image change can be specified regardless of external factors, and the skin state can be estimated appropriately.

本発明の第2観点に係る皮膚状態推定装置は、第1観点の皮膚状態推定装置において、皮膚状態推定手段は、複数の成分のうち、その成分波形の振幅が皮膚の賦活時及び皮膚の非賦活時の変化と相関関係にある成分を判定用成分として抽出する。そして、皮膚状態推定手段は、判定用成分に基づき検査対象部位が異常であるか否かを判定する。   The skin state estimation device according to a second aspect of the present invention is the skin state estimation device according to the first aspect, wherein the skin state estimation means includes a plurality of components whose amplitude of the component waveform is not activated when the skin is activated. A component having a correlation with a change at the time of activation is extracted as a determination component. Then, the skin state estimation means determines whether or not the inspection target site is abnormal based on the determination component.

本発明の第2観点の係る皮膚状態推定装置では、複数の成分のうちの皮膚の賦活/非賦活と相関関係にある成分が対象者の皮膚状態を推定する判定用成分として抽出される。このため、対象者の皮膚状態と関連性が高いと推測される成分から皮膚状態を推定することができる。結果として、検査対象部位の異常判定の妥当性を高めることができる。   In the skin state estimation apparatus according to the second aspect of the present invention, a component having a correlation with skin activation / non-activation among a plurality of components is extracted as a determination component for estimating the skin state of the subject. For this reason, a skin state can be estimated from a component that is presumed to be highly related to the skin state of the subject. As a result, it is possible to increase the validity of the abnormality determination of the inspection target part.

本発明の第3観点に係る皮膚状態推定装置は、第1観点から第3観点のいずれかの皮膚状態推定装置であって、疾患情報記憶部をさらに備える。疾患情報記憶部は、皮膚状態と疾患情報とを関連付けて記憶する。また、異常判定手段は、皮膚状態基づいて検査対象部位が異常であると判定するとともに、疾患情報記憶部から抽出された疾患情報を提示する。   A skin condition estimation apparatus according to a third aspect of the present invention is the skin condition estimation apparatus according to any one of the first to third aspects, and further includes a disease information storage unit. The disease information storage unit stores the skin state and the disease information in association with each other. In addition, the abnormality determination unit determines that the examination target site is abnormal based on the skin state, and presents the disease information extracted from the disease information storage unit.

本発明の第3観点に係る皮膚状態推定装置では、疾患情報記憶部に記憶された皮膚状態と疾患情報との関連付けを最適化することで、異常判定の精度を高めていくことができる。   In the skin state estimation device according to the third aspect of the present invention, the accuracy of abnormality determination can be improved by optimizing the association between the skin state stored in the disease information storage unit and the disease information.

本発明の第4観点に係る皮膚状態推定装置は、第1観点から第3観点のいずれかの皮膚状態推定装置であって、皮膚温度取得手段及び/又は皮膚状態取得手段と、異常判定手段とがスマートデバイスに格納されているものである。   A skin condition estimation apparatus according to a fourth aspect of the present invention is the skin condition estimation apparatus according to any one of the first to third aspects, wherein the skin temperature acquisition means and / or the skin condition acquisition means, the abnormality determination means, Is stored in the smart device.

本発明の第4観点に係る皮膚状態推定装置では、スマートデバイスにより情報の入出力がなされるので、対象者は検査対象部位が異常であるか否かを簡便に判定できる。また、異常判定手段をサーバに設けることで、演算負荷を軽減することができる。   In the skin state estimation apparatus according to the fourth aspect of the present invention, information is input / output by the smart device, so that the subject can easily determine whether or not the region to be examined is abnormal. In addition, the calculation load can be reduced by providing the abnormality determination means in the server.

本発明の第5観点に係る皮膚状態推定装置は、第1観点から第4観点のいずれかの皮膚状態推定装置であって、皮膚温度取得手段及び/又は皮膚状態取得手段と、皮膚状態推定手段と、異常判定手段とがスマートデバイスに格納されているものである。   A skin condition estimation apparatus according to a fifth aspect of the present invention is the skin condition estimation apparatus according to any one of the first to fourth aspects, wherein the skin temperature acquisition means and / or the skin condition acquisition means, and the skin condition estimation means And the abnormality determination means are stored in the smart device.

本発明の第5観点に係る皮膚状態推定装置では、スマートデバイスにより情報の入出力及び演算がなされるので、対象者は検査対象部位が異常であるか否かを簡便に判定できる
本発明の第6観点に係る皮膚状態推定方法は、第1観点から第5観点のいずれかの皮膚状態推定装置を用いて実行される。この皮膚状態推定方法では、検査対象部位の皮膚を冷却して、その検査対象部位の皮膚を賦活化する。そして、賦活化の前後の皮膚温度データ及び/又は皮膚血行量データに基づいて、皮膚がん、ニキビ、乳がん、コリ及び未病の少なくとも一つの症状に検査対象部位が該当するか否かを判定する。なお、ここでは「未病」とは、健康状態の範囲であるが病気に近い状態のこという。
In the skin condition estimation apparatus according to the fifth aspect of the present invention, information is input / output and calculated by the smart device, so that the subject can easily determine whether or not the region to be examined is abnormal. The skin state estimation method according to the sixth aspect is executed using the skin state estimation device according to any one of the first to fifth aspects. In this skin state estimation method, the skin at the site to be examined is cooled and the skin at the site to be examined is activated. Then, based on the skin temperature data and / or the blood flow data before and after activation, it is determined whether or not the site to be examined corresponds to at least one symptom of skin cancer, acne, breast cancer, coli and non-disease To do. Here, “non-disease” means a range of health conditions but close to illness.

本発明の第6観点に係る皮膚状態推定方法では、検査対象部位の皮膚を冷却して、その検査対象部位の皮膚を賦活化するので、賦活化前後の皮膚温度データ及び/又は皮膚血行量データに基づいて、検査対象部位が異常であるか否かを(皮膚がん、ニキビ、乳がん、コリ及び未病の少なくとも一つの症状に該当するか否かを)簡便に判定できる。   In the skin condition estimation method according to the sixth aspect of the present invention, the skin at the site to be examined is cooled and the skin at the site to be examined is activated, so skin temperature data and / or skin blood flow data before and after activation. Based on the above, it can be easily determined whether or not the region to be examined is abnormal (whether or not it corresponds to at least one symptom of skin cancer, acne, breast cancer, stiffness, and non-disease).

本発明の第1観点に係る皮膚状態推定装置では、検査対象部位の皮膚状態を適切に推定できる。   In the skin state estimation apparatus according to the first aspect of the present invention, the skin state of the site to be examined can be appropriately estimated.

本発明の第2観点に係る皮膚状態推定装置では、検査対象部位の異常判定の妥当性を高めることができる。   In the skin condition estimation apparatus according to the second aspect of the present invention, the validity of the abnormality determination of the inspection target part can be increased.

本発明の第3観点に係る皮膚状態推定装置では、異常判定の精度を高めていくことができる。   In the skin state estimation device according to the third aspect of the present invention, the accuracy of abnormality determination can be increased.

本発明の第4,5観点に係る皮膚状態推定装置では、スマートデバイスを利用して検査対象部位の異常を簡便に判定できる。   In the skin condition estimation apparatus according to the fourth and fifth aspects of the present invention, it is possible to easily determine the abnormality of the inspection target site using a smart device.

本発明の第6観点に係る皮膚状態推定方法では、検査対象部位が異常であるか否かを簡便に判定できる。   In the skin state estimation method according to the sixth aspect of the present invention, it is possible to easily determine whether or not the region to be examined is abnormal.

本発明の一実施形態に係る皮膚状態推定装置の概略図。Schematic of the skin condition estimation apparatus which concerns on one Embodiment of this invention. 皮膚状態推定装置において特定の疾患等に関連する皮膚温度の変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。The flowchart which shows an example of the flow of a process at the time of identifying the component which shows the change of the skin temperature relevant to a specific disease etc. in a skin state estimation apparatus. 本発明の一実施形態に係る皮膚状態推定装置の概略図。Schematic of the skin condition estimation apparatus which concerns on one Embodiment of this invention. 皮膚状態推定装置において特定の疾患等に関連する皮膚のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。The flowchart which shows an example of the flow of a process at the time of identifying the component which shows the RGB change of the skin relevant to a specific disease etc. in a skin state estimation apparatus. 本発明の一実施形態に係る異常判定装置の概略図。1 is a schematic diagram of an abnormality determination device according to an embodiment of the present invention.

本発明の実施形態を説明する前に、まず、本発明者らが本発明を為すにあたって重要な基礎となった、本発明者らによる知見について説明する。   Before describing the embodiments of the present invention, first, the knowledge obtained by the present inventors, which is an important basis for the inventors of the present invention, will be described.

(1)本発明者らによる知見の要点
本発明者らは、鋭意検討した結果、人体の皮膚温度を検出し、検出部位の位置データ(座標データ)を含む時系列の皮膚温度データを、或いは、時系列の皮膚の撮影画像データから得られるRGBデータに基づき算出された時系列の皮膚血行量データを、特異値分解法、主成分分析法若しくは独立成分分析法を用いて複数の成分に分解し、分解した複数の成分について解析を行うことで、特定の疾患等を反映した皮膚温度の変化或いは血行量の変化を示す成分を同定することができることを見いだした。そして、本発明者らは、対象者の皮膚状態を推定し、これを解析することで、推定した皮膚状態に基づき対象者の生理状態を可視化することのできる本発明に到達した。
(1) The main points of knowledge by the present inventors As a result of intensive studies, the present inventors have detected the skin temperature of the human body, and time-series skin temperature data including the position data (coordinate data) of the detection site, or Decompose time-series skin blood flow data calculated based on RGB data obtained from time-series skin image data into multiple components using singular value decomposition, principal component analysis, or independent component analysis Then, it was found that by analyzing the plurality of decomposed components, it is possible to identify components that show changes in skin temperature or blood flow that reflect specific diseases and the like. And the present inventors arrived at this invention which can visualize a subject's physiological state based on the estimated skin state by estimating a subject's skin state and analyzing this.

(2)皮膚の各種データの取得方法、及び取得した各種データの解析方法
(2−1)皮膚温度データの取得方法、及び皮膚温度データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた皮膚温度データの取得方法、及び皮膚温度データの解析方法について説明する。
(2) Method for acquiring various skin data and method for analyzing various acquired data (2-1) Method for acquiring skin temperature data and method for analyzing skin temperature data Next, the present inventors have obtained the above knowledge. A method for acquiring skin temperature data used for obtaining and a method for analyzing skin temperature data will be described.

赤外線サーモグラフィ装置は、対象物から出ている赤外線放射エネルギーを赤外線カメラで検出し、検出した赤外線放射エネルギーを対象物表面の温度(ここでは、摂氏での温度)に変換して、その温度分布を皮膚温度データ(例えば、温度分布を表した画像データ)として表示、蓄積することが可能な装置である。なお、赤外線サーモグラフィ装置として、NEC Avio 赤外線テクノロジー株式会社製のR300を使用した。   The infrared thermography device detects the infrared radiation energy emitted from the object with an infrared camera, converts the detected infrared radiation energy into the temperature of the object surface (in this case, the temperature in degrees Celsius), and converts the temperature distribution. It is a device that can display and accumulate as skin temperature data (for example, image data representing temperature distribution). In addition, NEC Avio Infrared Technology Co., Ltd. R300 was used as an infrared thermography apparatus.

また、この試験では、皮膚温度データを取得している間に、被験者に対して皮膚を賦活化した。これにより、非賦活時の皮膚温度データ、及び賦活時の皮膚温度データを取得した。皮膚を賦活化させる方法としては、人体の検査対象部位の皮膚を冷却し、その後所定時間放置する方法を採用することができる。なお、皮膚温度データの取得開始から5分経過後から10分間継続して、被験者の皮膚を冷却した。   Also, in this test, the skin was activated for the subject while acquiring skin temperature data. Thereby, the skin temperature data at the time of non-activation and the skin temperature data at the time of activation were acquired. As a method of activating the skin, a method of cooling the skin at the site to be inspected in the human body and then leaving it for a predetermined time can be employed. Note that the skin of the subject was cooled for 10 minutes after 5 minutes from the start of skin temperature data acquisition.

皮膚温度データの解析としては、MATLAB(登録商標)のSVD(Singular Value Decomposition)を分析ツールとして用いて特異値分解を行った。特異値分解では、時系列で取得した全ての皮膚温度データ(30分間のデータ)を対象とし、要因を30秒毎の時間データ(30分間で60 time point)とし、測度をその期間(30秒間)における皮膚温度データ(240×320 pixels)とした。そして、特異値分解により、皮膚温度データXを、複数の成分に分解し、それぞれの成分の時間分布Vと、空間分布Uと、各成分の大きさを示す特異値Sとを算出した。なお、これらの関係は、以下の式で表される。また、V’は、Vの行と列とを入れ替えた行列である。   For analysis of skin temperature data, singular value decomposition was performed using a MATLAB® (registered trademark) SVD (Singular Value Decomposition) as an analysis tool. In singular value decomposition, all skin temperature data (data for 30 minutes) acquired in time series are targeted, the factor is time data every 30 seconds (60 time points in 30 minutes), and the measure is the period (30 seconds) ) Skin temperature data (240 × 320 pixels). Then, skin temperature data X was decomposed into a plurality of components by singular value decomposition, and a time distribution V, a spatial distribution U of each component, and a singular value S indicating the size of each component were calculated. These relationships are expressed by the following equations. V ′ is a matrix in which the rows and columns of V are exchanged.

Figure 2017074217
Figure 2017074217

ここで、この赤外線サーモグラフィ装置では、上述しているように、対象物から検出された赤外線放射エネルギーを温度に変換して、その温度分布を皮膚温度データとしている。ところで、人間を対象として赤外線サーモグラフィ装置を用いて皮膚温度を取得する場合、体の動き及び/又は自律神経の活動等の様々な特定の疾患等とは関連しない温度変化(いわゆるノイズ)についても皮膚温度データとして取得してしまう。そこで、このような特定の疾患等とは関連しない温度変化を検出するために、30秒毎の皮膚温度データの全平均値を「0」とした相対的な皮膚温度データを作成し、作成した皮膚温度データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と温度分布図とを作成し、特定の疾患等を反映した皮膚温度の変化を示す成分を同定するための解析を行う。   Here, in this infrared thermography apparatus, as described above, infrared radiation energy detected from an object is converted into temperature, and the temperature distribution is used as skin temperature data. By the way, when skin temperature is acquired using an infrared thermography apparatus for human subjects, the skin is also affected by temperature changes (so-called noise) that are not related to various specific diseases such as body movement and / or autonomic nerve activity. It is acquired as temperature data. Therefore, in order to detect a temperature change not related to such a specific disease or the like, relative skin temperature data was created by creating a total average value of “0” for every 30 seconds of skin temperature data. The skin temperature data is also analyzed by using singular value decomposition using MATLAB (registered trademark) SVD as an analysis tool, and component waveform diagrams and temperature distribution diagrams of each component corresponding to the singular value S are created. Analyzes are performed to identify components that show changes in skin temperature reflecting the above.

なお、以下より、説明の便宜上、赤外線サーモグラフィ装置で取得した皮膚温度データを「温度換算データに応じた皮膚温度データ」といい、所定時間毎(この試験では30秒毎)の温度換算データに応じた皮膚温度データに含まれる温度データの全平均値を「0」とした相対的な皮膚データを「相対温度換算データに応じた皮膚温度データ」という。   In the following, for convenience of explanation, the skin temperature data acquired by the infrared thermography device is referred to as “skin temperature data according to temperature converted data”, and is based on the temperature converted data every predetermined time (in this test, every 30 seconds). The relative skin data in which the total average value of the temperature data included in the skin temperature data is “0” is referred to as “skin temperature data corresponding to the relative temperature conversion data”.

(2−2)撮影画像データの取得方法、及び撮影画像データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた撮影画像データの取得方法、及び撮影画像データの解析方法について説明する。
(2-2) Captured Image Data Acquisition Method and Captured Image Data Analysis Method Next, the captured image data acquisition method and captured image data analysis method used by the present inventors for obtaining the above knowledge explain.

また、撮影装置として、Apple社製のiPad Air(登録商標)の備える液晶画面側の撮影装置を使用し、時系列の撮影画像データとしてカラーの動画データを取得した。   In addition, as a photographing device, a liquid crystal screen photographing device provided in iPad Air (registered trademark) manufactured by Apple Inc. was used, and color moving image data was obtained as time-series photographed image data.

さらに、この試験では、検査対象部位の皮膚の動画データを取得している間に、被験者に対して皮膚を賦活化した。これにより、非賦活時の皮膚の動画データ、及び賦活時の皮膚の動画データを取得した。上記同様に、皮膚を賦活化させる方法としては、人体の検査対象部位の皮膚を冷却し、その後所定時間放置する方法を採用することができる。なお、皮膚の動画データの取得開始から5分経過後から10分間継続して、被験者の皮膚を冷却した。   Furthermore, in this test, the skin was activated with respect to the test subject while acquiring moving image data of the skin at the site to be examined. Thereby, the moving image data of the skin at the time of non-activation and the moving image data of the skin at the time of activation were acquired. Similarly to the above, as a method for activating the skin, a method of cooling the skin of the human body to be inspected and then leaving it for a predetermined time can be employed. Note that the skin of the subject was cooled for 10 minutes after 5 minutes had elapsed since the start of the acquisition of skin moving image data.

皮膚の動画データの解析としては、撮影した皮膚の動画データより得られたRGBデータに基づき血行量データを算出し、算出した時系列の血行量データを対象として、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行った。ここでは、CIE−L***表色系に従って、画像のRGBデータより演算される肌の赤みやヘモグロビン量と相関のある紅斑指数「a*」を求め、これを血行量データとした。また、特異値分解では、時系列で取得した全ての動画データ(30分間のデータ)から得られたRGBデータに基づく血行量データ(ここでは、紅斑指数)を対象とし、要因を30秒毎の時間データ(30分間で60 time point)とし、測度をその期間(30秒毎)におけるRGBデータから演算した紅斑指数(30秒毎に1秒間のフレームデータを取り出し、該フレームデータから得られるRGB値の平均値から演算した紅斑指数;240×320 pixels)とした。そして、特異値分解により、顔面の動画データより得られたRGBデータに基づく時系列の血行量データを、複数の成分に分解し、それぞれの成分の時間分布Vと、空間分布Uと、各成分の大きさを示す特異値Sとを算出した。なお、これらの関係は、上記式(数1)と同様の式で表される。 For analysis of skin moving image data, blood flow data is calculated based on RGB data obtained from the captured skin moving image data, and MATLAB® SVD is used for the calculated time-series blood flow data. Singular value decomposition was performed as an analytical tool. Here, according to the CIE-L * a * b * color system, an erythema index “a * ” correlated with the redness and hemoglobin amount calculated from the RGB data of the image is obtained, and this is used as blood flow data. . In the singular value decomposition, blood flow volume data (here, erythema index) based on RGB data obtained from all moving image data (30-minute data) acquired in time series is targeted, and the factor is set every 30 seconds. Erythema index calculated from time data (60 time points in 30 minutes) and RGB data in that period (every 30 seconds) (taken out frame data for 1 second every 30 seconds, and RGB values obtained from the frame data) Erythema index calculated from the average value of 240 × 320 pixels). Then, by singular value decomposition, time-series blood flow data based on RGB data obtained from facial moving image data is decomposed into a plurality of components, and each component's time distribution V, spatial distribution U, and each component And a singular value S indicating the magnitude of. In addition, these relationships are represented by the same formula as the above formula (Formula 1).

そして、特異値分解によって求められた各成分の時間分布V及び空間分布Uに基づいて、特定の疾患等を反映した皮膚の血行量の変化すなわち皮膚のRGB変化を示す成分の同定を行う。   Then, based on the time distribution V and the spatial distribution U of each component obtained by singular value decomposition, a component indicating a change in the blood circulation volume of the skin reflecting a specific disease or the like, that is, a component indicating an RGB change in the skin is identified.

各成分の成分波形図については、その成分波形の振幅と、皮膚の非賦活時及び皮膚の賦活時との相関関係の有無について解析する。具体的には、各成分の成分波形図に示された振幅と、皮膚の非賦活期間/皮膚の賦活期間との間に相関関係があるか否かを評価する。   About the component waveform figure of each component, it analyzes about the presence or absence of the correlation of the amplitude of the component waveform, and the time of skin non-activation and the time of skin activation. Specifically, it is evaluated whether or not there is a correlation between the amplitude shown in the component waveform diagram of each component and the skin non-activation period / skin activation period.

各成分の血行量分布図については、顔面の所定部位における血行量変化の有無について解析した。血行量分布図は、ピクセル毎に算出された空間分布Uを各ピクセルの位置に並べることで作成される。このように作成された各成分の血行量分布図において、検査対象部位における血行量の変化があるか否かを評価する。なお、血行量分布図における検査対象部位の血行量変化の有無については、目視(visual inspection)による血行量変化の有無、もしくは検査対象部位の血行量の値が「0.000」でないことを血行量変化の有無の基準とする。   Regarding the blood flow distribution chart of each component, the presence or absence of a change in blood flow at a predetermined part of the face was analyzed. The blood circulation distribution map is created by arranging the spatial distribution U calculated for each pixel at the position of each pixel. It is evaluated whether or not there is a change in the blood flow volume at the examination site in the blood flow volume distribution chart of each component created in this way. In addition, regarding the presence or absence of changes in blood flow volume at the site to be examined in the blood flow distribution map, the blood flow volume change is determined by visual inspection or if the blood flow volume value at the site to be examined is not “0.000”. The standard for the presence or absence of

なお、空間分布U、特異値S及び時間分布Vの値の関係で、血行量データXの極性(プラスマイナス)が決定するため、各成分の成分波形図及び血行量分布図において極性が反転して現れることがある。このため、成分波形図及び血行量分布図の評価に関して、極性については評価対象としない。   Note that the polarity (plus or minus) of the blood flow data X is determined by the relationship between the spatial distribution U, the singular value S, and the time distribution V. Therefore, the polarity is reversed in the component waveform diagram and the blood flow distribution diagram of each component. May appear. For this reason, regarding the evaluation of the component waveform diagram and the blood flow distribution diagram, the polarity is not an evaluation target.

ところで、撮影装置を用いて皮膚の撮影画像データを取得する場合、撮影中に光が皮膚で反射し、この反射光が撮影装置のレンズに入り込んでしまうことがある。そうすると、撮影された皮膚の撮影画像データにはこの反射光が記録されてしまうことになる。ここで、撮影画像データから得られるRGBデータにおいて、皮膚の血行量に基づく明度の変化は反射光に基づく明度の変化よりも小さいことがあり、反射光の記録された撮影画像データから得られるRGBデータに基づいて算出された血行量が解析されると、特定の疾患等とは関連しない皮膚のRGB変化(いわゆるノイズ)が混入してしまう可能性があると考えられた。そこで、このような特定の疾患等とは関連しない皮膚のRGB変化の混入を防ぐために、30秒毎のRGBデータの全平均値を「0」とした相対的なRGBデータから相対的な血行量データを作成し、作成した血行量データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と血行量分布図とを作成し、特定の疾患等を反映した皮膚のRGB変化を示す成分を同定する。   By the way, when skin image data is acquired using an imaging device, light may be reflected by the skin during imaging, and this reflected light may enter the lens of the imaging device. Then, this reflected light is recorded in the photographed image data of the photographed skin. Here, in the RGB data obtained from the photographed image data, the change in brightness based on the blood circulation amount of the skin may be smaller than the change in brightness based on the reflected light, and the RGB obtained from the photographed image data in which the reflected light is recorded. When the blood flow calculated based on the data is analyzed, it is considered that there is a possibility that RGB changes (so-called noise) of the skin not related to a specific disease or the like may be mixed. Therefore, in order to prevent the mixture of RGB changes in the skin that are not related to such specific diseases, the relative blood flow from the relative RGB data in which the total average value of the RGB data every 30 seconds is set to “0”. Data is created, and the created blood flow data is also subjected to singular value decomposition using the MATLAB (registered trademark) SVD as an analysis tool, and a component waveform diagram and blood flow distribution diagram of each component according to the singular value S To identify the component showing the RGB change of the skin reflecting a specific disease or the like.

なお、以下より、説明の便宜上、所定時間毎(この試験では30秒毎)のRGBデータの全平均値を「0」とした相対的なRGBデータに基づく相対的な血行量データを「相対換算血行量データ」といい、相対的なRGBデータに換算する前のRGBデータに基づく血行量データを単に「血行量データ」という。   In the following, for convenience of explanation, relative blood flow data based on relative RGB data with a total average value of RGB data every predetermined time (every 30 seconds in this test) being “0” is referred to as “relative conversion. The blood flow data is referred to as “blood flow data”, and the blood flow data based on the RGB data before conversion into relative RGB data is simply referred to as “blood flow data”.

(3)皮膚状態推定装置
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る皮膚状態推定装置10,110について説明する。なお、本発明に係る皮膚状態推定装置は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。
(3) Skin condition estimation apparatus Next, based on the knowledge demonstrated above, the skin condition estimation apparatuses 10 and 110 which concern on one Embodiment of this invention which the present inventors came to complete are demonstrated. In addition, the skin state estimation apparatus which concerns on this invention is not limited to the following embodiment, In the range which does not deviate from a summary, it can change suitably.

本発明の一実施形態に係る皮膚状態推定装置10,110は、皮膚温度データに基づき皮膚状態を推定する皮膚状態推定手段30、及び/又は皮膚の撮影画像データに基づき皮膚状態を推定する皮膚状態推定手段130を備えている。以下では、本発明の一実施形態に係る皮膚状態推定装置10,110を説明する前に、各皮膚状態推定手段30,130について説明する。   Skin condition estimation apparatuses 10 and 110 according to an embodiment of the present invention include a skin condition estimation unit 30 that estimates a skin condition based on skin temperature data, and / or a skin condition that estimates a skin condition based on captured image data of the skin. Estimating means 130 is provided. Below, before demonstrating the skin state estimation apparatuses 10 and 110 which concern on one Embodiment of this invention, each skin state estimation means 30 and 130 are demonstrated.

(3−1)皮膚温度データに基づき皮膚状態を推定する皮膚状態推定手段30
図1は、本発明の一実施形態に係る皮膚状態推定装置10の概略図である。図2は、皮膚状態推定装置10において特定の疾患等に関連する皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャートである。
(3-1) Skin condition estimating means 30 for estimating the skin condition based on the skin temperature data
FIG. 1 is a schematic diagram of a skin condition estimation apparatus 10 according to an embodiment of the present invention. FIG. 2 is a flowchart showing the flow of processing when the skin state estimation apparatus 10 identifies a component indicating a change in skin temperature related to a specific disease or the like.

皮膚状態推定装置10の備える皮膚状態推定手段30は、人体の検査対象部位の皮膚温度から、検査対象部位の皮膚状態を推定する。皮膚状態推定装置10は、図1に示すように、皮膚温度取得手段20と、皮膚状態推定手段30と、状態可視化手段200と、を備える。   The skin condition estimation means 30 provided in the skin condition estimation apparatus 10 estimates the skin condition of the inspection target part from the skin temperature of the inspection target part of the human body. As shown in FIG. 1, the skin state estimation device 10 includes a skin temperature acquisition unit 20, a skin state estimation unit 30, and a state visualization unit 200.

皮膚温度取得手段20は、人体の検査対象部位の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む皮膚温度データを時系列で取得する(ステップS1)。なお、ここでは、皮膚温度取得手段20は、赤外線サーモグラフィ装置であり、図1に示すように、赤外線カメラ21と、処理部22と、を有する。赤外線カメラ21は、検査対象部位の皮膚から出ている赤外線放射エネルギーを検出するためのものである。そして、ここでは、赤外線カメラ21は、検査対象部位の皮膚から赤外線放射エネルギーを検出しているものとする。処理部22は、赤外線カメラ21によって検出した赤外線放射エネルギーを温度に変換して温度データとし、赤外線放射エネルギーの検出された部位を位置データ(座標データ)とした検査対象部位における皮膚温度の温度分布図を作成し、作成した温度分布図を温度換算データに応じた皮膚温度データとして処理する。温度換算データに応じた皮膚温度データは、処理部22の有する記憶部(図示せず)に蓄積される。   The skin temperature acquisition means 20 detects the skin temperature of the inspection target part of the human body, and acquires skin temperature data including the detected temperature data and the position data of the detected part in time series (step S1). Here, the skin temperature acquisition means 20 is an infrared thermography apparatus, and includes an infrared camera 21 and a processing unit 22 as shown in FIG. The infrared camera 21 is for detecting infrared radiant energy emitted from the skin at the site to be examined. In this case, it is assumed that the infrared camera 21 detects infrared radiation energy from the skin at the site to be examined. The processing unit 22 converts the infrared radiant energy detected by the infrared camera 21 into temperature to obtain temperature data, and the temperature distribution of the skin temperature at the examination target site with the location where the infrared radiant energy is detected as position data (coordinate data). A diagram is created, and the created temperature distribution diagram is processed as skin temperature data corresponding to the temperature conversion data. Skin temperature data corresponding to the temperature conversion data is accumulated in a storage unit (not shown) of the processing unit 22.

また、ここでは、皮膚温度取得手段20により温度換算データに応じた皮膚温度データが取得されている間に、皮膚の賦活化が行なわれる。すなわち、皮膚温度取得手段20により取得される温度換算データに応じた皮膚温度データには、個人に対して皮膚の賦活化が行なわれている期間のデータが含まれていることになる。なお、検査対象部位の皮膚の賦活化は、皮膚が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、皮膚状態推定装置10の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。   Here, the skin is activated while the skin temperature acquisition means 20 acquires the skin temperature data corresponding to the temperature-converted data. That is, the skin temperature data corresponding to the temperature conversion data acquired by the skin temperature acquisition means 20 includes data of a period during which skin is activated for an individual. The skin activation at the site to be inspected is not particularly limited as long as it is estimated that the skin is in an activated state. For example, the content is appropriately determined according to the purpose of use of the skin state estimating device 10. It may be configured to be determined.

皮膚状態推定手段30は、皮膚温度取得手段20により取得された温度換算データに応じた皮膚温度データに基づき、検査対象部位の皮膚状態を推定する。具体的には、皮膚状態推定手段30は、図1に示すように、換算部31と、解析部32と、推定部33と、を有する。   The skin condition estimation means 30 estimates the skin condition of the site to be examined based on the skin temperature data corresponding to the temperature conversion data acquired by the skin temperature acquisition means 20. Specifically, as shown in FIG. 1, the skin state estimation unit 30 includes a conversion unit 31, an analysis unit 32, and an estimation unit 33.

換算部31は、温度換算データに応じた皮膚温度データに含まれる温度データを相対的な温度データに換算し、換算した相対的な温度データに基づく皮膚温度データすなわち相対温度換算データに応じた皮膚温度データを作成する(ステップS2)。具体的には、換算部31は、所定時間毎(例えば、30秒)の温度換算データに応じた皮膚温度データに含まれる温度データの平均値を基準値として、該温度データを相対的な温度データに換算する。そして、換算部31は、換算した相対的な温度データ及び位置データを利用して、相対温度換算データに応じた皮膚温度データを作成する。   The conversion unit 31 converts temperature data included in the skin temperature data corresponding to the temperature conversion data into relative temperature data, and skin temperature data based on the converted relative temperature data, that is, skin corresponding to the relative temperature conversion data. Temperature data is created (step S2). Specifically, the conversion unit 31 uses the average value of the temperature data included in the skin temperature data corresponding to the temperature conversion data every predetermined time (for example, 30 seconds) as a reference value, and converts the temperature data into a relative temperature. Convert to data. And the conversion part 31 produces the skin temperature data according to relative temperature conversion data using the converted relative temperature data and position data.

解析部32は、時系列の温度換算データに応じた皮膚温度データ及び相対温度換算データに応じた皮膚温度データのそれぞれを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する(ステップS3)。ここでは、解析部32は、取得した温度換算データに応じた皮膚温度データ及び換算した相対温度換算データに応じた皮膚温度データのそれぞれを対象として、MATLAB(登録商標)のSVDを分析ツールとして用いて、特異値分解を行う。特異値分解は、時系列で取得した温度換算データに応じた皮膚温度データ及び相対温度換算データに応じた皮膚温度データについて、要因を所定期間(例えば、30秒)毎の時間データとし、測度をその期間における温度換算データに応じた皮膚温度データ及び相対温度換算データに応じた皮膚温度データとして行われる。そして、特異値分解により、温度換算データに応じた皮膚温度データ及び相対温度換算データに応じた皮膚温度データのそれぞれを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。   The analysis unit 32 decomposes each of the skin temperature data corresponding to the time-series temperature conversion data and the skin temperature data corresponding to the relative temperature conversion data into a plurality of components by singular value decomposition, principal component analysis, or independent component analysis. (Step S3). Here, the analysis unit 32 uses the SVLAB of MATLAB (registered trademark) as an analysis tool for each of the skin temperature data according to the acquired temperature conversion data and the skin temperature data according to the converted relative temperature conversion data. And singular value decomposition. In singular value decomposition, the skin temperature data corresponding to the temperature conversion data acquired in time series and the skin temperature data corresponding to the relative temperature conversion data are converted into time data for each predetermined period (for example, 30 seconds), and the measure is It is performed as skin temperature data corresponding to the temperature converted data and relative temperature converted data corresponding to the temperature converted data in that period. Then, by singular value decomposition, each of the skin temperature data according to the temperature conversion data and the skin temperature data according to the relative temperature conversion data is decomposed into a plurality of components, and the time distribution, the spatial distribution, and the size of each component And a singular value indicating.

また、解析部32は、特異値分解によって分解した複数の成分から特定の疾患等に関連する皮膚温度の変化を示す成分を同定するために、各成分が第1条件及び第2条件を満たすか否かを判定する(ステップS4a、ステップS4b、ステップS5a、及びステップS5b)。なお、ここでは、解析部32において、まず、温度換算データに応じた皮膚温度データに基づく各成分について第1条件が満たされているか否かが判定され(ステップS4a)、ステップS4aにおいて第1条件が満たされていると判定された温度換算データに応じた皮膚温度データに基づく成分について第2条件が満たされているか否かが判定される(ステップS4b)。そして、相対温度換算データに応じた皮膚温度データに基づく各成分のうちステップS4a及びステップS4bにおいて第1条件及び第2条件を満たすと判定された成分と一致する成分についてのみ第1条件が満たされているか否かが判定され(ステップS5a)、その後、ステップS5aにおいて第1条件が満たされていると判定された相対温度換算データに応じた皮膚温度データに基づく成分について第2条件が満たされているか否かが判定される(ステップS5b)。しかしながら、解析部32における該判定の順序はこれに限定されるものではなく、例えば、温度換算データに応じた皮膚温度データに基づく各成分と、相対温度換算データに応じた皮膚温度データに基づく各成分とが、第1条件及び第2条件を満たすか否かがそれぞれ判定され、判定結果の一致する成分が最終的に抽出されてもよい。   In addition, the analysis unit 32 determines whether each component satisfies the first condition and the second condition in order to identify a component indicating a change in skin temperature related to a specific disease from a plurality of components decomposed by singular value decomposition. It is determined whether or not (step S4a, step S4b, step S5a, and step S5b). Here, the analysis unit 32 first determines whether or not the first condition is satisfied for each component based on the skin temperature data corresponding to the temperature conversion data (step S4a), and the first condition is determined in step S4a. It is determined whether or not the second condition is satisfied for the component based on the skin temperature data corresponding to the temperature conversion data determined to be satisfied (step S4b). Of the components based on the skin temperature data corresponding to the relative temperature conversion data, the first condition is satisfied only for the components that match the components determined to satisfy the first condition and the second condition in step S4a and step S4b. (Step S5a), and then the second condition is satisfied for the component based on the skin temperature data corresponding to the relative temperature conversion data determined that the first condition is satisfied in Step S5a. It is determined whether or not there is (step S5b). However, the order of the determination in the analysis unit 32 is not limited to this. For example, each component based on the skin temperature data corresponding to the temperature conversion data and each of the components based on the skin temperature data corresponding to the relative temperature conversion data It may be determined whether or not the component satisfies the first condition and the second condition, and the component having the matching determination result may be finally extracted.

第1条件とは、特異値分解によって分解した成分の成分波形の振幅が、皮膚の非賦活時及び皮膚の賦活時の変化と相関関係にある、という条件である。解析部32は、複数の成分のうち、第1条件を満たす成分を、判定用成分として抽出する。なお、ここでは、温度換算データに応じた皮膚温度データを取得している間に、検査対象部位の皮膚を賦活化する期間が一定期間ある。解析部32は、検査対象部位の皮膚を賦活化しない期間を皮膚の非賦活時とし、検査対象部位の皮膚を賦活化する期間を皮膚の賦活時として、検査対象部位の皮膚を賦活化する期間及び賦活化しない期間と、各成分の成分波形とを比較解析する。解析部32は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と皮膚の非賦活時及び皮膚の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、第1条件を満たす判定用成分として抽出する。一方、解析部32は、複数の成分のうち相関関係にないと評価した成分を、第1条件を満たさず特定の疾患等に関連する温度変化を示す成分ではないと判定する(ステップS6)。   The first condition is a condition that the amplitude of the component waveform of the component decomposed by the singular value decomposition has a correlation with a change when the skin is not activated and when the skin is activated. The analysis unit 32 extracts a component that satisfies the first condition from the plurality of components as a determination component. Here, there is a certain period of time for activating the skin of the site to be inspected while acquiring skin temperature data corresponding to the temperature conversion data. The analysis unit 32 sets a period during which the skin of the examination target site is not activated, a period when the skin of the examination target site is activated, and a period when the skin of the examination target site is activated. And the period which is not activated, and the component waveform of each component are compared and analyzed. The analysis unit 32 uses the comparison analysis result based on the component waveform data to evaluate whether or not the component waveform of each component and the skin non-activation time and the skin activation time are correlated, and a plurality of components Among these, the component evaluated as having a correlation is extracted as a determination component that satisfies the first condition. On the other hand, the analysis unit 32 determines that a component evaluated as having no correlation among the plurality of components is not a component that does not satisfy the first condition and shows a temperature change related to a specific disease or the like (step S6).

ここでは、温度換算データに応じた皮膚温度データの取得時に検査対象部位の皮膚を賦活化する期間が一定期間与えられており、これに基づき解析部32は判定用成分を抽出しているが、第1条件の内容、すなわち解析部32における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち皮膚の非賦活時及び皮膚の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部32は、複数の成分から特定されている該成分を判定用成分として抽出する。なお、解析部32による第1条件を満たすか否かの判定の基準は、皮膚状態推定装置10の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。   Here, a period for activating the skin of the site to be inspected is given for a certain period when acquiring skin temperature data according to the temperature conversion data, and based on this, the analysis unit 32 extracts the determination component, The content of the first condition, that is, the means for extracting the determination component in the analysis unit 32 is not limited to this. For example, when a component showing a component waveform that is correlated with the non-activation time and the activation time of the skin among the plurality of components by performing an experiment or the like in advance, the analysis unit 32 The component specified from the plurality of components is extracted as a determination component. Note that the criterion for determining whether or not the first condition is satisfied by the analysis unit 32 is appropriately determined by simulation, experiment, desktop calculation, or the like according to the purpose of use of the skin state estimation device 10 or the like.

第2条件は、抽出した判定用成分において、人体の所定部位の皮膚に温度変化がある、という条件である。解析部32は、判定用成分のうち、第2条件を満たす成分を、特定の疾患等に関連している可能性の高い成分と判定し、候補成分として抽出する。すなわち、解析部32は、人体の所定部位の皮膚の温度変化の有無に基づき、判定用成分が特定の疾患等に関連しているか否かを判定する。一方で、解析部32は、所定部の皮膚に温度変化が生じていない場合には、該判定用成分は第2条件を満たさず特定の疾患等に関連する皮膚温度の変化を示す成分ではない、と判定する(ステップS6)。なお、解析部32による第2条件を満たすか否かの判定の基準は、皮膚状態推定装置10の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。   The second condition is a condition that, in the extracted determination component, there is a temperature change in the skin of a predetermined part of the human body. The analysis unit 32 determines a component that satisfies the second condition among the determination components as a component that has a high possibility of being related to a specific disease or the like, and extracts it as a candidate component. That is, the analysis unit 32 determines whether or not the determination component is related to a specific disease or the like based on the presence or absence of a temperature change in the skin of a predetermined part of the human body. On the other hand, the analysis unit 32 does not satisfy the second condition and does not indicate a change in skin temperature related to a specific disease or the like when no temperature change occurs in the predetermined part of the skin. (Step S6). Note that the criterion for determining whether or not the second condition is satisfied by the analysis unit 32 is appropriately determined by simulation, experiment, desktop calculation, or the like according to the purpose of use of the skin state estimation device 10 or the like.

そして、解析部32は、ステップS5bにおいて第2条件を満たすと判定した成分を、特定の疾患等を反映した皮膚温度の変化を示す成分として同定する(ステップS7)。すなわち、ステップS7において特定の疾患等を反映した皮膚温度の変化を示す成分として同定される成分は、温度換算データに応じた皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、相対温度換算データに応じた皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、の間で一致している成分ということになる。なお、両解析で一致していない候補成分については、ステップS6において特定の疾患等に関連する皮膚温度の変化を示す成分ではない、と判定される。   And the analysis part 32 identifies the component determined to satisfy | fill 2nd conditions in step S5b as a component which shows the change of skin temperature reflecting a specific disease etc. (step S7). That is, the component identified as the component indicating the change in skin temperature reflecting the specific disease or the like in step S7 is a candidate extracted by analyzing and analyzing the skin temperature data corresponding to the temperature conversion data by singular value decomposition. This is a component that matches between the component and the candidate component extracted by decomposing and analyzing the skin temperature data corresponding to the relative temperature conversion data by singular value decomposition. Note that candidate components that do not match in both analyzes are determined not to be components that show changes in skin temperature related to a specific disease or the like in step S6.

推定部33は、解析部32において特定の疾患等に関連する皮膚温度の変化を示す成分として同定された成分に基づいて、検査対象部位の皮膚状態を推定する。   The estimation unit 33 estimates the skin state of the site to be examined based on the component identified by the analysis unit 32 as a component indicating a change in skin temperature related to a specific disease or the like.

(3−1−1)変形例1A
上記皮膚状態推定手段30は換算部31を有しており、換算部31によって相対温度換算データに応じた皮膚温度データが作成されている。そして、解析部32が、皮膚温度取得手段20により取得された温度換算データに応じた皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた皮膚温度データについても、特異値分解により複数の成分に分解し、各成分についての解析を行っている。
(3-1-1) Modification 1A
The skin condition estimation means 30 has a conversion unit 31, and skin temperature data corresponding to the relative temperature conversion data is created by the conversion unit 31. And the analysis part 32 not only skin temperature data according to the temperature conversion data acquired by the skin temperature acquisition means 20, but the skin temperature according to the relative temperature data based on the temperature data converted into relative temperature data. The data is also decomposed into a plurality of components by singular value decomposition, and each component is analyzed.

これに代えて、皮膚状態推定手段30が換算部31を有していなくてもよい。この場合、相対温度換算データに応じた皮膚温度データを作成したり、相対温度換算データに応じた皮膚温度データに基づくデータの解析を行ったりする処理を省くことができる。   It replaces with this and the skin state estimation means 30 does not need to have the conversion part 31. FIG. In this case, it is possible to omit the process of creating skin temperature data corresponding to the relative temperature conversion data or analyzing data based on the skin temperature data corresponding to the relative temperature conversion data.

ただし、特定の疾患等に関連する成分を精度よく同定するためには、上記実施形態のように皮膚状態推定手段30が換算部31を有しており、解析部32によって、皮膚温度取得手段20により取得された温度換算データに応じた皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた皮膚温度データについても、特異値分解により複数の成分に分解され、各成分についての解析が行われるほうが望ましい。   However, in order to accurately identify a component related to a specific disease or the like, the skin state estimation unit 30 includes the conversion unit 31 as in the above-described embodiment, and the skin temperature acquisition unit 20 is analyzed by the analysis unit 32. In addition to the skin temperature data corresponding to the temperature conversion data acquired by the above, the skin temperature data corresponding to the relative temperature data based on the temperature data converted to the relative temperature data is also converted into a plurality of components by singular value decomposition. It is desirable to decompose and analyze each component.

(3−1−2)変形例1B
また、上記皮膚温度取得手段20は、対象物と非接触の状態で温度データを取得することができる赤外線サーモグラフィ装置である。
(3-1-2) Modification 1B
The skin temperature acquisition means 20 is an infrared thermography device that can acquire temperature data in a non-contact state with an object.

しかしながら、人体の検査対象部位の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む皮膚温度データを時系列で取得することができれば、皮膚温度取得手段は赤外線サーモグラフィ装置に限定されない。   However, the skin temperature acquisition means is limited to the infrared thermography apparatus as long as the skin temperature of the inspection target part of the human body is detected and the skin temperature data including the detected temperature data and the position data of the detection part can be acquired in time series. Not.

例えば、皮膚温度取得手段が温度センサを含む装置であってもよい。具体的には、人体の検査対象部位に温度センサを装着し、温度センサによって検出される温度データと、温度センサを装着した部位の位置データとに基づいて、時系列の皮膚温度データが取得されてもよい。このように、温度センサにより対象となる個人に接触した状態で皮膚温度データが取得される場合であっても、温度センサは脳波計測法、磁気共鳴画像法、及び近赤外線分光法等の従来の検出方法と比較して、簡便にデータを取得することができる。これにより、簡便に検査対象部位の皮膚状態を推定することができる。   For example, the skin temperature acquisition means may be a device including a temperature sensor. Specifically, a temperature sensor is attached to a part to be inspected in the human body, and time-series skin temperature data is acquired based on temperature data detected by the temperature sensor and position data of the part to which the temperature sensor is attached. May be. As described above, even when skin temperature data is acquired in a state in which the temperature sensor is in contact with a target individual, the temperature sensor is a conventional sensor such as an electroencephalogram measurement method, magnetic resonance imaging method, and near infrared spectroscopy. Compared with the detection method, data can be easily acquired. Thereby, the skin state of the region to be examined can be easily estimated.

(3−2)撮影画像データに基づき皮膚状態を推定する皮膚状態推定手段130
図3は、本発明の実施形態に係る皮膚状態推定装置110の概略図である。図4は、皮膚状態推定装置110において特定の疾患等に関連する皮膚のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。
(3-2) Skin condition estimating means 130 for estimating the skin condition based on the photographed image data
FIG. 3 is a schematic diagram of the skin condition estimation apparatus 110 according to the embodiment of the present invention. FIG. 4 is a flowchart showing an example of the flow of processing when the skin state estimation apparatus 110 identifies a component indicating RGB changes in skin related to a specific disease or the like.

皮膚状態推定装置110の備える皮膚状態推定手段130は、人体の検査対象部位の皮膚の撮影画像データから、皮膚状態の異常及び特定の疾患等を推定するための装置である。皮膚状態推定装置110は、図3に示すように、画像データ取得手段120と、皮膚状態推定手段130と、状態可視化手段200と、を備える。   The skin condition estimating means 130 provided in the skin condition estimating apparatus 110 is an apparatus for estimating abnormal skin conditions, specific diseases, and the like from the photographed image data of the skin of the inspection target part of the human body. As shown in FIG. 3, the skin state estimation device 110 includes an image data acquisition unit 120, a skin state estimation unit 130, and a state visualization unit 200.

画像データ取得手段120は、人体の検査対象部位の皮膚の少なくとも一部の撮影画像データを時系列で取得する(ステップS101)。なお、画像データ取得手段120は、少なくとも撮影装置を有するものであれば特に限定されるものではなく、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等が挙げられる。ここでは、画像データ取得手段120は、図3に示すように、撮影装置としてのカメラ121と、記憶部122とを有する。カメラ121は、検査対象部位の皮膚の撮影画像データを時系列で取得するためのものである。ここでは、カメラ121は、検査対象部位の動画を撮影し、撮影した動画データを取得する。記憶部122は、撮影装置により撮影された時系列の撮影画像データを蓄積する。ここでは、記憶部122は、カメラ121によって取得された動画データを蓄積する。   The image data acquisition unit 120 acquires captured image data of at least a part of the skin of the examination target part of the human body in time series (step S101). The image data acquisition unit 120 is not particularly limited as long as it has at least a photographing device, and examples thereof include a portable terminal with a photographing device such as a smartphone or a tablet (for example, iPad: registered trademark). It is done. Here, as shown in FIG. 3, the image data acquisition unit 120 includes a camera 121 as a photographing apparatus and a storage unit 122. The camera 121 is for acquiring captured image data of the skin of the examination target part in time series. Here, the camera 121 captures a moving image of the region to be examined and acquires the captured moving image data. The storage unit 122 accumulates time-series photographed image data photographed by the photographing apparatus. Here, the storage unit 122 accumulates moving image data acquired by the camera 121.

また、ここでは、画像データ取得手段120により検査対象部位の皮膚の時系列の撮影画像データが取得されている間に、検査対象部位の皮膚を賦活化する期間与えられる。すなわち、画像データ取得手段120により取得される撮影画像データには、検査対象部位の皮膚を賦活化する期間のデータが含まれていることになる。なお、検査対象部位の皮膚の賦活化は皮膚が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、皮膚状態推定装置110の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。   Further, here, while the time-series captured image data of the skin of the examination target site is acquired by the image data acquisition unit 120, the period for activating the skin of the test target site is given. That is, the captured image data acquired by the image data acquisition unit 120 includes data for a period for activating the skin of the examination target site. The skin activation at the site to be inspected is not particularly limited as long as the skin is estimated to be in an activated state. For example, the content is appropriately determined according to the purpose of use of the skin state estimating device 110. It may be configured to be.

皮膚状態推定手段130は、画像データ取得手段120により取得された皮膚の時系列の撮影画像データに基づき、検査対象部位の皮膚状態を推定する。具体的には、皮膚状態推定手段130は、図3に示すように、RGB処理部131と、換算部132と、血行量算出部133と、解析部134と、推定部135と、を有する。なお、図3では、皮膚状態推定手段130が、RGB処理部131、換算部132、血行量算出部133、解析部134及び推定部135を有する1つの装置として存在している態様が示されているが、本発明はこれに限定されるものではなく、RGB処理部131、換算部132、血行量算出部133、解析部134及び推定部135の一部或いはそれぞれが独立した装置として存在していてもよい。また、ここでは、画像データ取得手段120、RGB処理部131、換算部132、及び血行量算出部133により血行量取得手段が構成されている。   The skin state estimation unit 130 estimates the skin state of the site to be inspected based on the time-series captured image data of the skin acquired by the image data acquisition unit 120. Specifically, as shown in FIG. 3, the skin state estimation unit 130 includes an RGB processing unit 131, a conversion unit 132, a blood flow amount calculation unit 133, an analysis unit 134, and an estimation unit 135. Note that FIG. 3 shows an aspect in which the skin condition estimation unit 130 exists as one apparatus having the RGB processing unit 131, the conversion unit 132, the blood flow amount calculation unit 133, the analysis unit 134, and the estimation unit 135. However, the present invention is not limited to this, and part or each of the RGB processing unit 131, the conversion unit 132, the blood flow volume calculation unit 133, the analysis unit 134, and the estimation unit 135 exists as an independent device. May be. Further, here, the blood flow volume acquisition means is constituted by the image data acquisition means 120, the RGB processing section 131, the conversion section 132, and the blood flow volume calculation section 133.

RGB処理部131は、画像データ取得手段120により取得された撮影画像データに対して、R成分、G成分及びB成分の3つの色成分に分解するRGB処理を行う(ステップS102)。   The RGB processing unit 131 performs RGB processing that decomposes the captured image data acquired by the image data acquisition unit 120 into three color components, an R component, a G component, and a B component (step S102).

換算部132は、RGB処理により得られた撮影画像データのRGBデータを相対的なRGBデータに換算する(ステップS103)。具体的には、換算部132は、取得された所定時間毎(例えば、30秒)の撮影画像データから得られるRGBデータの平均値を基準値として、該RGBデータを相対的なRGBデータに換算する。   The conversion unit 132 converts the RGB data of the captured image data obtained by the RGB processing into relative RGB data (step S103). Specifically, the conversion unit 132 converts the RGB data into relative RGB data using the average value of the RGB data obtained from the acquired captured image data every predetermined time (for example, 30 seconds) as a reference value. To do.

血行量算出部133は、RGB処理により得られた撮影画像データのRGBデータに基づき、皮膚の時系列の血行量データを算出する(ステップS104)。   The blood flow volume calculation unit 133 calculates time-series blood flow volume data of the skin based on the RGB data of the captured image data obtained by the RGB processing (step S104).

解析部134は、時系列の相対換算血行量データを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する(ステップS105)。ここでは、解析部134は、相対換算血行量データに対して、MATLAB(登録商標)のSVDを分析ツールとして用いて、特異値分解を行う。具体的には、特異値分解は、時系列の相対換算血行量データを対象として、要因を所定期間(例えば、30秒)毎の時間データとし、測度をその期間毎における相対的なRGBデータから演算したピクセル毎の相対換算血行量データとして行われる。そして、特異値分解により、時系列の相対換算血行量データを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。   The analysis unit 134 decomposes the time-series relative converted blood flow data into a plurality of components by singular value decomposition, principal component analysis, or independent component analysis (step S105). Here, the analysis unit 134 performs singular value decomposition on the relative converted blood flow data using the SVLAB of MATLAB (registered trademark) as an analysis tool. Specifically, the singular value decomposition is performed on time-series relative converted blood flow data, with the factor being time data for each predetermined period (for example, 30 seconds), and the measure is calculated from relative RGB data for each period. This is performed as the calculated relative blood flow volume data for each pixel. Then, by singular value decomposition, the time-series relative converted blood flow data is decomposed into a plurality of components, and a time distribution, a spatial distribution, and a singular value indicating the size of each component are calculated.

また、解析部134は、特異値分解によって分解した複数の成分から特定の疾患等に関連する皮膚のRGB変化を示す成分を同定するために、各成分が所定条件を満たすか否かを判定する(ステップS106)。ここで、所定条件としては、例えば、特異値分解によって分解した成分の成分波形の振幅が、皮膚の非賦活時及び皮膚の賦活時の変化と相関関係にあるという条件(以下、第1条件という)や、特異値分解によって分解した成分において検査対象部位に血行量変化があるという条件(以下、第2条件という)等が含まれる。解析部134において判定される所定条件としては、1又は複数の条件が設定されていればよく、ここでは、所定条件として第1条件が設定されているものとする。   In addition, the analysis unit 134 determines whether each component satisfies a predetermined condition in order to identify a component indicating RGB change of skin related to a specific disease or the like from a plurality of components decomposed by singular value decomposition. (Step S106). Here, as the predetermined condition, for example, the condition that the amplitude of the component waveform of the component decomposed by the singular value decomposition is correlated with the change at the time of non-activation of the skin and the activation of the skin (hereinafter referred to as the first condition). ), A condition that the blood flow rate changes in the examination target region in the component decomposed by singular value decomposition (hereinafter referred to as a second condition), and the like. As the predetermined condition determined by the analysis unit 134, one or a plurality of conditions may be set. Here, it is assumed that the first condition is set as the predetermined condition.

そして、解析部134は、複数の成分のうち所定条件を満たす成分を、判定用成分として抽出する。さらに、解析部134は、抽出した判定用成分のうち所定条件に含まれる全ての条件を満たす成分を、特定の疾患等に関連する皮膚のRGB変化を示す成分として同定する(ステップS107)。一方、解析部134は、複数の成分のうち所定条件に含まれる少なくとも1つの条件を満たさないと判定した成分を、特定の疾患等に関連する皮膚のRGB変化を示す成分ではないと判定する(ステップS108)。   And the analysis part 134 extracts the component which satisfy | fills predetermined conditions among several components as a component for determination. Further, the analysis unit 134 identifies a component satisfying all the conditions included in the predetermined condition among the extracted determination components as a component indicating the RGB change of the skin related to a specific disease or the like (step S107). On the other hand, the analysis unit 134 determines that the component determined not to satisfy at least one condition included in the predetermined condition among the plurality of components is not a component indicating the RGB change of the skin related to the specific disease or the like ( Step S108).

ここでは、上述のように所定条件として1つの条件(第1条件)のみが設定されており、皮膚の時系列の撮影画像データを取得している間に、検査対象部位の皮膚を賦活化する期間が一定期間ある。このため、解析部134は、検査対象部位の皮膚を賦活化しない期間を皮膚の非賦活時とし、検査対象部位の皮膚を賦活化する期間を皮膚の賦活時として、検査対象部位の皮膚を賦活化する期間及び賦活化しない期間と、各成分の成分波形とを比較解析する。そして、解析部134は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と皮膚の非賦活時及び皮膚の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、所定条件を満たす判定用成分として抽出すると共に、特定の疾患等に関連した皮膚のRGB変化を示す成分として同定する。一方、解析部134は、複数の成分のうち相関関係にないと評価した成分を、所定条件を満たさず特定の疾患等に関連した皮膚のRGB変化を示す成分ではないと判定する。   Here, as described above, only one condition (first condition) is set as the predetermined condition, and the skin of the examination site is activated while acquiring time-series captured image data of the skin. There is a certain period. For this reason, the analysis unit 134 activates the skin of the region to be inspected with the period when the skin of the region to be inspected is not activated as the time of non-activation of the skin, and the period of activation of the skin with the region of inspection as the time of skin activation The period to be activated and the period not to be activated and the component waveform of each component are comparatively analyzed. And the analysis part 134 evaluates whether the component waveform of each component, the time of non-activation of skin, and the time of skin activation have a correlation using the comparative analysis result based on component waveform data, Among these components, a component evaluated to be correlated is extracted as a determination component that satisfies a predetermined condition, and is identified as a component that indicates a change in skin RGB related to a specific disease or the like. On the other hand, the analysis unit 134 determines that a component evaluated as having no correlation among the plurality of components is not a component that does not satisfy the predetermined condition and indicates a change in RGB of the skin related to a specific disease or the like.

ここでは、皮膚の時系列の撮影画像データが取得される際に検査対象部位の皮膚を賦活化する期間与えられており、これに基づき解析部134が判定用成分を抽出しているが、第1条件の内容、すなわち解析部134における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち皮膚の非賦活時及び皮膚の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部134は、複数の成分から特定されている該成分を判定用成分として抽出する。なお、解析部134による第1条件を満たすか否かの判定の基準は、皮膚状態推定装置110の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。   Here, a period for activating the skin of the region to be inspected is obtained when time-series captured image data of the skin is acquired, and based on this, the analysis unit 134 extracts the determination component. The contents of one condition, that is, the determination component extraction means in the analysis unit 134 is not limited to this. For example, when a component showing a component waveform that is correlated with the non-activation time of the skin and the activation time of the skin among the plurality of components by performing an experiment or the like in advance, the analysis unit 134 The component specified from the plurality of components is extracted as a determination component. Note that the criterion for determining whether or not the first condition is satisfied by the analysis unit 134 is appropriately determined by simulation, experiment, desktop calculation, or the like according to the purpose of use of the skin state estimation device 110 or the like.

また、所定条件として第2条件が設定されている場合には、解析部134は、検査対象部位における皮膚の血行量変化の有無に基づき、判定用成分を抽出する。具体的には、解析部134は、特異値分解によって分解された複数の成分に応じた血行量分布図に基づき、検査対象部位において血行量の変化が生じているか否かを判定し、血行量の変化が生じている場合には該成分が第2条件を満たしていると判定する。一方で、検査対象部位において血行量の変化が生じていない場合には、解析部134は、該成分が第2条件を満たしていないと判定する。なお、解析部134による第2条件を満たすか否かの判定の基準は、皮膚状態推定装置110の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定されるものとする。   When the second condition is set as the predetermined condition, the analysis unit 134 extracts a determination component based on whether or not there is a change in the blood flow rate of the skin at the examination target site. Specifically, the analysis unit 134 determines whether there is a change in the blood flow volume in the examination target site based on the blood flow volume distribution map corresponding to the plurality of components decomposed by the singular value decomposition, and the blood flow volume If the change occurs, it is determined that the component satisfies the second condition. On the other hand, when there is no change in blood flow volume at the examination site, the analysis unit 134 determines that the component does not satisfy the second condition. Note that the criterion for determining whether or not the second condition is satisfied by the analysis unit 134 is appropriately determined by simulation, experiment, desktop calculation, or the like according to the purpose of use of the skin state estimation device 110 or the like.

さらに、血行量算出部133によって相対的なRGBデータに換算される前のRGBデータに基づく時系列の血行量データが算出される場合には、解析部134によって、該血行量データを特異値分解等することで得られた複数の成分についても、上記第1条件及び/又は第2条件が満たされるか否かが判定され、判定用成分が抽出されてもよい。   Further, when time-series blood flow data based on RGB data before being converted into relative RGB data is calculated by the blood flow calculation unit 133, the blood flow data is subjected to singular value decomposition by the analysis unit 134. With respect to a plurality of components obtained by performing the same, it may be determined whether or not the first condition and / or the second condition is satisfied, and a determination component may be extracted.

推定部135は、解析部134において特定の疾患等に関連する皮膚のRGB変化を示す成分として同定された成分に基づいて、検査対象部位の皮膚状態を推定する。   The estimation unit 135 estimates the skin state of the site to be examined based on the component identified by the analysis unit 134 as a component indicating the RGB change of the skin related to a specific disease or the like.

(3−2−1)変形例2A
なお、上記血行量算出部133において、RGBデータに含まれる各画素のうちの主にR成分を用いて検査対象部位の皮膚の血行量データが算出されてもよい。また、RGBデータに基づき血行量データを算出できるのであれば、血行量データは必ずしも紅斑指数に限定されるものではない。
(3-2-1) Modification 2A
Note that the blood flow rate calculation unit 133 may calculate blood flow rate data of the skin at the site to be inspected mainly using the R component of each pixel included in the RGB data. In addition, blood flow volume data is not necessarily limited to the erythema index as long as blood flow volume data can be calculated based on RGB data.

(3−2−2)変形例2B
上記血行量算出部133は、換算部132によって換算された相対的なRGBデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なRGBデータに換算される前のRGBデータに基づき血行量データが算出されてもよい。ここで、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データには、特定の疾患等と相関する成分が出やすい(検定力が高い)ため、例えば、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データを、相対的なRGBデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。
(3-2-2) Modification 2B
The blood flow volume calculation unit 133 calculates relative converted blood flow volume data based on the relative RGB data converted by the conversion unit 132, but instead of or in addition to this, the blood flow volume calculation unit 133 converts the blood flow volume data into relative RGB data. The blood flow volume data may be calculated based on the RGB data before the check. Here, since the blood flow data calculated based on the RGB data before being converted into the relative RGB data is likely to have a component that correlates with a specific disease or the like (the test power is high), for example, relative The blood flow volume data calculated based on the RGB data before being converted into such RGB data may be analyzed prior to the relative converted blood flow volume data calculated based on the relative RGB data. In addition, for example, first, the blood flow data is analyzed to extract a component having a significant correlation, and the relative conversion blood flow data is calculated by analyzing only the component corresponding to the extracted component. Can be reduced.

(3−3)状態可視化手段200
状態可視化手段200は、皮膚状態推定手段30及び/又は皮膚状態推定手段130により推定された検査対象部位の皮膚状態に基づき、対象者の生理状態を表示することにより可視化する。例えば、状態可視化手段200が、対象者の血行状態の変化を解析することで、対象者の生理状態を解析する解析部201を有していてもよい。具体的には、解析部201が、検出対象部位の皮膚に与えられた刺激に対する血行状態の変化を解析することで、対象者の生理状態を判定する。なお、生理状態の種類やレベルについては、血行状態の上昇度合い及び/又は持続時間に基づき、皮膚状態推定装置10,110の用途に応じて適宜設置可能になっていてもよい。そして、解析部201により解析された対象者の生理状態を状態可視化手段200の表示部202から管理者へと出力されることで、管理者は対象者の生理状態を知ることができる。表示部202としては、画像やメッセージを表示する表示デバイス等、解析した対象者の生理状態に関する情報を管理者に対して可視化できるものであればどのようなものであっても採用することができる。
(3-3) State visualization means 200
The state visualization unit 200 visualizes the subject by displaying the physiological state of the subject based on the skin state of the examination target site estimated by the skin state estimation unit 30 and / or the skin state estimation unit 130. For example, the state visualization unit 200 may include an analysis unit 201 that analyzes the physiological state of the subject by analyzing changes in the blood circulation state of the subject. Specifically, the analysis unit 201 determines the physiological state of the subject by analyzing changes in the blood circulation state in response to a stimulus applied to the skin of the detection target site. In addition, about the kind and level of a physiological state, based on the raise degree and / or duration of a blood circulation state, according to the use of the skin state estimation apparatuses 10 and 110, you may be able to install suitably. Then, the physiological state of the subject analyzed by the analysis unit 201 is output from the display unit 202 of the state visualization means 200 to the administrator, so that the administrator can know the physiological state of the subject. As the display unit 202, any display device that displays an image or a message can be adopted as long as it can visualize information on the analyzed physiological state of the subject person to the administrator. .

また、解析部32,134において特定の疾患等に関連する成分が同定された後に、さらに皮膚温度取得手段20及び/又は画像データ取得手段120により時系列の各種データが取得される場合には、皮膚状態推定装置10,110において、さらに取得された各種データが特異値分解により複数の成分に分解され、同定された成分のみが解析されることで、対象者の生理状態をリアルタイムで知ることができる。   In addition, after various components related to a specific disease or the like are identified in the analysis units 32 and 134, when various types of time series data are acquired by the skin temperature acquisition unit 20 and / or the image data acquisition unit 120, In the skin state estimation devices 10 and 110, the acquired various data are further decomposed into a plurality of components by singular value decomposition, and only the identified components are analyzed, so that the physiological state of the subject can be known in real time. it can.

さらに、検出対象部位の皮膚温度や撮影した画像から被験者の心拍情報や生体情報等を取得する技術が既に存在するが、皮膚温度取得手段20及び/又は画像データ取得手段120から得られた各種データが特異値分解等されることで得られる成分に対して従来の技術を採用することで、心拍情報や生体情報を精度良く取得することができる。したがって、特異値分解した複数の成分を解析して心拍情報や生体情報を取得する機能を、解析部32及び/又は解析部134に持たせ、取得した心拍情報や生体情報に基づき交換神経/副交感神経の働きを推定する機能を上記実施形態の推定部33,135に持たせてもよい。   Furthermore, there is already a technique for acquiring heart rate information, biological information, etc. of a subject from the skin temperature of a detection target site or a photographed image, but various data obtained from the skin temperature acquisition means 20 and / or the image data acquisition means 120. By adopting a conventional technique for a component obtained by performing singular value decomposition or the like, heartbeat information and biological information can be obtained with high accuracy. Therefore, the analysis unit 32 and / or the analysis unit 134 have a function of analyzing a plurality of components subjected to singular value decomposition to acquire heart rate information and biological information, and based on the acquired heart rate information and biological information, the exchange nerve / parasympathy You may give the estimation part 33,135 of the said embodiment the function which estimates the function of a nerve.

(4)特徴
(4−1)
本実施形態では、皮膚温度取得手段20及び/又は画像データ取得手段120によって取得された時系列の皮膚温度データ及び/又は皮膚状態データに基づき検査対象部位の皮膚状態が推定される。したがって、センサ等を装着しなくても、検査対象部位の皮膚状態を簡便に推定し、推定した皮膚状態に基づき対象者の生理状態を可視化することができる。
(4) Features (4-1)
In the present embodiment, the skin state of the site to be examined is estimated based on the time-series skin temperature data and / or skin state data acquired by the skin temperature acquisition unit 20 and / or the image data acquisition unit 120. Therefore, it is possible to simply estimate the skin state of the site to be inspected and visualize the physiological state of the subject based on the estimated skin state without wearing a sensor or the like.

(4−2)
ここで、時系列の皮膚温度データ及び/又は画像データが取得される際に、検査対象部位の皮膚が賦活化されたりされなかったりすることにより、皮膚温度及び/又は血行量の変化を示す成分から特定の疾患等を推定することができる。
(4-2)
Here, when time-series skin temperature data and / or image data is acquired, the skin temperature and / or the blood flow rate change due to whether the skin of the site to be examined is not activated or not From this, a specific disease or the like can be estimated.

本実施形態では、皮膚温度取得手段20及び/又は画像データ取得手段120により時系列の皮膚温度データ及び/又は画像データが取得されている間に、検査対象部位の皮膚が一定期間賦活化されている。すなわち、本実施形態では、検査対象部位の皮膚を冷却したりしなかったりすることにより、皮膚が賦活化したり賦活化しなかったりする状況が作られている。そして、このように取得された時系列の各種データが特異値分解により複数の成分に分解され、各成分についてその成分波形と皮膚の賦活時及び非賦活時との相関関係が評価され、相関関係にある成分が判定用成分として複数の成分から抽出される。このため、例えば、予め実験等により特定された所定の成分が抽出用成分として複数の成分から抽出される場合と比較して、特定の疾患等と関連性の低い成分が抽出用成分として複数の成分から抽出されるおそれを低減することができている。   In the present embodiment, while the time-series skin temperature data and / or image data is acquired by the skin temperature acquisition unit 20 and / or the image data acquisition unit 120, the skin of the examination target site is activated for a certain period. Yes. That is, in the present embodiment, a situation is created in which the skin is activated or not activated by not cooling the skin at the site to be examined. Then, the various time-series data acquired in this way are decomposed into a plurality of components by singular value decomposition, and the correlation between the component waveform and the skin activation time and non-activation time is evaluated for each component. Are extracted from a plurality of components as determination components. For this reason, for example, compared with a case where a predetermined component specified in advance by experiments or the like is extracted from a plurality of components as an extraction component, a plurality of components that are less relevant to a specific disease or the like are extracted as a plurality of extraction components. The possibility of being extracted from the components can be reduced.

なお本実施形態において「疾患」という用語は、特定の病気の原因だけではなく、人体において何かしらの異常を生じさせる原因を含む概念である。   In the present embodiment, the term “disease” is a concept that includes not only a cause of a specific disease but also a cause that causes some abnormality in the human body.

(5)皮膚状態推定装置の用途例
次に、本発明に係る皮膚状態推定装置の用途例について説明する。
(5) Application example of skin condition estimation apparatus Next, an application example of the skin condition estimation apparatus according to the present invention will be described.

上記実施形態又は上記変形例の皮膚状態推定装置10,110を、検査対象部位の皮膚の異常を判定する異常判定装置310に適用する例を説明する。   An example will be described in which the skin state estimation devices 10 and 110 of the embodiment or the modification are applied to an abnormality determination device 310 that determines an abnormality of the skin at the site to be examined.

詳しくは、図5に示すように、上記状態可視化手段200に疾患情報記憶部210を設ける。この疾患情報記憶部210は、皮膚状態の推定結果と「疾患情報」とを関連付けて記憶するメモリである。ここでは、例えば、特定の疾患等を罹患している状態の対象者及び健康状態の対象者に同一の皮膚機能賦活課題を一定期間与えたときの皮膚温度データ及び/又は皮膚血行量データを収集する。そして、各対象者の症状に応じて皮膚温度データ及び/又は皮膚血行量データに基づいて皮膚状態の推定結果を分類し、分類した皮膚状態の推定結果と疾患情報とを関連付けて疾患情報記憶部210に格納する。疾患情報は、例えば皮膚がん・乳がん・ニキビ・コリ・未病等を示すデータである。このような皮膚状態の推定結果と疾患情報との相関関係は適宜最適化される。   Specifically, as shown in FIG. 5, a disease information storage unit 210 is provided in the state visualization means 200. The disease information storage unit 210 is a memory that stores the estimation result of the skin condition and “disease information” in association with each other. Here, for example, skin temperature data and / or skin blood flow data are collected when the same skin function activation task is given to a subject suffering from a specific disease and a healthy subject for a certain period of time. To do. Then, the skin condition estimation result is classified based on the skin temperature data and / or skin blood flow data according to the symptoms of each subject, and the classified skin condition estimation result and the disease information are associated with each other to obtain a disease information storage unit 210. The disease information is data indicating, for example, skin cancer, breast cancer, acne, coli, non-disease and the like. The correlation between the skin condition estimation result and the disease information is optimized as appropriate.

そして、状態可視化手段200が、皮膚状態推定手段30,130により算出された皮膚状態の推定結果に基づいて、疾患情報記憶部210から疾患情報を抽出する。状態可視化手段200は、疾患情報記憶部210から疾患情報を抽出できた場合、検査対象部位が異常であると判定し、その異常の原因として抽出した疾患情報を提示する。一方、状態可視化手段200は、疾患情報記憶部210から疾患情報を抽出できなかった場合、検査対象部位が正常であると判定する。   Then, the state visualization unit 200 extracts disease information from the disease information storage unit 210 based on the skin state estimation results calculated by the skin state estimation units 30 and 130. When the disease visualization unit 200 can extract the disease information from the disease information storage unit 210, the state visualization unit 200 determines that the examination target site is abnormal and presents the extracted disease information as the cause of the abnormality. On the other hand, when the disease visualization unit 200 cannot extract disease information from the disease information storage unit 210, the state visualization unit 200 determines that the examination target region is normal.

要するに、異常判定装置310は、皮膚温度取得手段20及び/又は画像データ取得手段120と、皮膚状態推定手段30,130と、状態可視化手段(異常判定手段)200とを備える。皮膚温度取得手段20は、皮膚温度データを時系列で取得する。画像データ取得手段120は、検査対象部位の皮膚の撮像画像データを時系列で取得する。皮膚状態推定手段30,130は、皮膚温度データ及び/又は皮膚血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、検査対象部位の皮膚状態を推定する。状態可視化手段200は、皮膚状態推定手段30により推定された検査対象部位の皮膚状態に基づき、対象者に対して、検査対象部位が異常であるか否かを提示する。このようにして、異常判定装置310によれば、皮膚状態を簡便に推定できる。   In short, the abnormality determination device 310 includes skin temperature acquisition means 20 and / or image data acquisition means 120, skin state estimation means 30, 130, and state visualization means (abnormality determination means) 200. The skin temperature acquisition means 20 acquires skin temperature data in time series. The image data acquisition unit 120 acquires captured image data of the skin of the examination target part in time series. The skin condition estimation means 30, 130 is based on a plurality of components obtained by decomposing skin temperature data and / or skin blood flow data by singular value decomposition, principal component analysis, or independent component analysis. Estimate skin condition. The state visualization unit 200 presents to the subject whether or not the inspection target part is abnormal based on the skin state of the inspection target part estimated by the skin state estimation unit 30. Thus, according to the abnormality determination device 310, the skin state can be estimated easily.

なお、特許文献1に記載の技術では、T1時点とT0時点との差分をとったデータを用いている。差分をとると、時間変化がなかった部分のデータはキャンセルされ、「形態」を示す空間情報が少なくなる。要するに、時間変化が起こるデータしか捉えられない。これに対し、本実施形態に示した特異値分解等を用いた技術では、変化を示す成分の他に、変化を示さない成分も同定することができる。したがって、多くの情報を活用して画像変化をより正確に捉えることができる。   In the technique described in Patent Document 1, data obtained by taking the difference between the time T1 and the time T0 is used. If the difference is taken, the data of the portion that has not changed with time is canceled, and the spatial information indicating the “form” decreases. In short, only data that changes over time can be captured. On the other hand, in the technique using singular value decomposition or the like shown in the present embodiment, in addition to the component showing change, a component showing no change can be identified. Therefore, it is possible to capture the image change more accurately by using a lot of information.

また、特許文献1に記載の技術では、差分をとるために、被検体が「動いた場合」に、映像のフレームレートを再度変えてから分析する必要がある(段落[0014]等)。フレームレートを変えることは「分析を最初からやり直す」ことを意味するので、計算量が飛躍的に増えてしまい、リアルタイム処理が不可能になる。これに対し、本実施形態に示した特異値分解等を用いた技術では、動きは一つの成分として抽出できるので、「所定のフレームレートで画像を更新記録する」必要がないという利点がある。   In addition, in the technique described in Patent Document 1, in order to take a difference, it is necessary to analyze after changing the frame rate of the video again when the subject “moves” (paragraph [0014] or the like). Changing the frame rate means "restarting the analysis from the beginning", so the amount of calculation increases dramatically and real-time processing becomes impossible. On the other hand, the technique using singular value decomposition or the like shown in the present embodiment has an advantage that it is not necessary to “update and record an image at a predetermined frame rate” because the motion can be extracted as one component.

(5−1)皮膚がん及び乳がんの異常判定
上記異常判定装置310を、皮膚がん・乳がん・ニキビの異常判定に対して用いる場合の一例を説明する。
(5-1) Abnormality determination of skin cancer and breast cancer An example in which the abnormality determination device 310 is used for abnormality determination of skin cancer, breast cancer, and acne will be described.

皮膚がん又は乳がんの異常判定をする場合は、対象者の検査対象部位の皮膚にエタノールを塗布する、もしくはエアコンの冷風を当てることにより、当該部位の皮膚を所定時間冷却する。皮膚は冷却されることで温度が低下し、冷却が終了すると徐々に元の温度に戻る。このようにして皮膚を賦活化及び非賦活化する。   When judging abnormality of skin cancer or breast cancer, ethanol is applied to the skin of the examination target site of the subject or the cold air of the air conditioner is applied to cool the skin of the site for a predetermined time. As the skin cools, the temperature drops, and when cooling is completed, the skin gradually returns to the original temperature. In this way, the skin is activated and deactivated.

ここで、検査対象部位に皮膚がん又は乳がんが生じている場合、代謝が昂進し局所的に発熱が生じるので、皮膚を冷却しても、温度の低下速度及び低下量が少ない。そこで、皮膚状態推定手段により得られた複数の成分のうち、冷却中の温度低下が少ない成分で、かつ空間成分マップにおいて、皮膚がん等の形状と似た空間成分(具体的には顔にできた「斑点」を示すような空間成分)を抽出する。すなわち、皮膚がん等の平均的な直径に基づいて皮膚がん等の大きさを予め設定しておき、その大きさを有する領域に局所的に発熱が生じているか否かを抽出する。なお、平均的な皮膚がん等の大きさ以外の変化は空間的ノイズとみなす。また、単なるノイズであるか否かは、冷却中に温度が低下する、もしくは空間成分マップにおいて斑点のような画像が抽出されない、ということで判定される。   Here, when skin cancer or breast cancer occurs in the region to be examined, metabolism is accelerated and heat is locally generated. Therefore, even when the skin is cooled, the rate and amount of temperature decrease are small. Therefore, among the plurality of components obtained by the skin condition estimation means, the component that has a low temperature drop during cooling and the spatial component similar to the shape of skin cancer etc. in the spatial component map (specifically, on the face) A spatial component indicating a “spot” is extracted. That is, the size of the skin cancer or the like is set in advance based on the average diameter of the skin cancer or the like, and whether or not heat is locally generated in the region having the size is extracted. Note that changes other than the average size such as skin cancer are considered as spatial noise. Whether the noise is mere noise is determined by the fact that the temperature drops during cooling or that an image such as a spot is not extracted in the spatial component map.

このようにして、賦活化前後の皮膚状態の変化が解析され、対象者が皮膚がん又は乳がんに疾患している可能性があることが提示される。   In this way, changes in the skin state before and after activation are analyzed, and it is suggested that the subject may have skin cancer or breast cancer.

なお、特許文献2に記載の技術は、サーモグラフィの画像を三次元化するための技術であるが、皮膚の温度は種々の要因により変化する。そのため、乳がんとそれ以外の熱源の区別が難しい。例えば、特許文献2に示されているような衣服を着た状態の場合、熱が皮膚全体に伝搬し、皮膚がんの部位の特定が難しくなる。これに対し、本実施形態に示したような特異値分解等を用いた技術であれば、熱に関するデータを空間成分と時間成分に分けることが可能であり、多量の情報を用いて解析することから、乳がんを高確率で発見できる。   The technique described in Patent Document 2 is a technique for making a thermographic image three-dimensional, but the temperature of the skin varies depending on various factors. Therefore, it is difficult to distinguish between breast cancer and other heat sources. For example, in the state of wearing a garment such as that shown in Patent Document 2, heat is transmitted to the entire skin, making it difficult to specify the skin cancer site. On the other hand, if the technique using the singular value decomposition as shown in the present embodiment, it is possible to divide heat-related data into a spatial component and a time component, and analyze using a large amount of information. Can detect breast cancer with high probability.

(5−2)ニキビの異常判定
ニキビの場合も炎症を伴っているので、皮膚を冷却しても温度が低下しにくくなる。したがって、上述した皮膚がん及び乳がんの異常判定と同様の原理を用いることで、ニキビが生じているか否かを判定することもできる。ただし、この場合は、皮膚がん等ではなく、ニキビに大きさを予め設定しておくことになる。
(5-2) Acne Abnormal Judgment Acne is also accompanied by inflammation, so that the temperature is unlikely to decrease even if the skin is cooled. Therefore, it is also possible to determine whether acne has occurred by using the same principle as the above-described skin cancer and breast cancer abnormality determination. However, in this case, the size is set in advance for acne, not skin cancer.

また、皮膚がん等とニキビとを同時に判定することもできる。皮膚がん等とニキビとの区別は、大きさ、温度変化の違い、検査対象部位に基づいて判定される。   Moreover, skin cancer etc. and acne can also be determined simultaneously. The distinction between skin cancer or the like and acne is determined based on the size, the difference in temperature change, and the site to be examined.

なお、特許文献3に記載の技術は、膨らみ・色・関節可動域等から関節等の炎症を判定するものである。しかしながら、特許文献3に記載されているサーモグラフィを用いた技術では、軽い炎症等を検知できないことがある。炎症以外の種々の要因に温度が影響されてしまうからである。これに対し、本実施形態に示した特異値分解等を用いた技術では、熱に関する情報を時間成分及び空間成分に分けることにより、炎症と関連する熱成分のみを取り出すことが可能であるので、複数の測度(膨らみ・可動域など)を測定しなくても炎症を同定できる。   The technique described in Patent Document 3 determines the inflammation of a joint or the like from the swelling, color, range of motion of the joint, or the like. However, the technique using the thermography described in Patent Document 3 may not detect mild inflammation or the like. This is because temperature is influenced by various factors other than inflammation. On the other hand, in the technique using the singular value decomposition or the like shown in the present embodiment, it is possible to extract only the heat component related to inflammation by dividing the information about heat into the time component and the spatial component. Inflammation can be identified without measuring multiple measures (bulge, range of motion, etc.).

(5−3)コリの異常判定
上記異常判定装置310を用いてコリを客観的に定量化することもできる。この場合も、対象者の検査対象部位の皮膚にエタノールを塗布する、もしくはエアコンの冷風を当てることにより、当該部位の皮膚を所定時間冷却する。
(5-3) Abnormality determination of stiffness Using the abnormality determination device 310, the stiffness can be objectively quantified. In this case as well, the skin of the subject is cooled for a predetermined time by applying ethanol to the skin of the subject to be examined or by applying cold air from an air conditioner.

ここで、検査対象部位の筋肉がコリの状態である場合、血流が低下することから局所的に低温部分が出現する。そこで、皮膚状態推定手段により得られた複数の成分のうち、冷却中の温度低下が大きい成分で、かつ空間成分マップにおいて筋肉の配置や血管の配置と同じような配置を示す成分を抽出することで、コリ状態であるか否かを判定できる。なお、冷却との相関が低かったり、空間成分マップの形が筋肉や血管の配置と異なったりする場合にはノイズであるとみなされる。   Here, when the muscle of the region to be inspected is in a state of stiffness, a low-temperature portion appears locally because the blood flow decreases. Therefore, from among the plurality of components obtained by the skin condition estimation means, extract a component that has a large temperature drop during cooling and that shows the same arrangement as the arrangement of muscles and blood vessels in the spatial component map Thus, it can be determined whether or not the state is a stiffness. If the correlation with cooling is low or the shape of the spatial component map is different from the arrangement of muscles or blood vessels, it is regarded as noise.

このようにして、賦活化前後の皮膚状態の変化が解析され、検査対象部位にコリがあるか否が判定される。   In this way, the change in the skin state before and after activation is analyzed, and it is determined whether or not there is stiffness in the examination target site.

(5−4)未病の異常判定
未病の場合も血流が低下するので、皮膚を冷却しても温度が低下し易くなる。したがって、上述したコリの異常判定と同様の原理を用いることで、未病が生じているか否かを判定することもできる。なお、ここで「未病」とは、健康状態の範囲であるが病気に近い状態のこという。
(5-4) Non-disease abnormality determination Since blood flow also decreases in the absence of disease, the temperature tends to decrease even when the skin is cooled. Therefore, it is possible to determine whether or not an illness has occurred by using the same principle as the above-described abnormality determination of stiffness. Here, “non-disease” means a state that is within the range of health conditions but is close to illness.

また、コリと未病とを同時に判定することもできる。この際、未病は身体全体の血流に影響するので、コリに比して対象部位が広い。したがって、コリは、温度画像の全平均値を「0」とした相対的なデータから検出することができる。これに対し、未病は、温度画像の全平均値を「0」とした相対的なデータを用いると、その成分の信号が消えるか低下することになる。このような性質の違いから、コリと未病の同時判定が可能となる。   It is also possible to determine whether the disease is unaffected or not. At this time, since the non-disease affects the blood flow of the entire body, the target site is wider than the stiffness. Accordingly, the stiffness can be detected from relative data in which the total average value of the temperature images is “0”. On the other hand, when the relative data in which the entire average value of the temperature image is “0” is used for the non-disease, the signal of the component disappears or decreases. Due to such a difference in properties, it is possible to simultaneously determine the stiffness and non-disease.

(6)スマートデバイスの利用
本実施形態に係る皮膚状態推定装置10,110は、スマートデバイスに格納されるものであってもよい。具体的には、皮膚温度取得手段20及び/又は画像データ取得手段120と、皮膚状態推定手段30,130と、状態可視化手段200とが多機能機能携帯電話等のスマートデバイスに格納されていてもよい。この構成により、ユーザは携帯しているスマートデバイスにより情報の入出力及び演算が可能となるので、ユーザは検査対象部位が異常であるか否かを簡便に判定できる。
(6) Use of Smart Device Skin condition estimation apparatuses 10 and 110 according to the present embodiment may be stored in a smart device. Specifically, even if the skin temperature acquisition means 20 and / or the image data acquisition means 120, the skin state estimation means 30, 130, and the state visualization means 200 are stored in a smart device such as a multi-function mobile phone. Good. With this configuration, the user can input and output information and perform calculations using the smart device that is carried, so that the user can easily determine whether or not the examination target site is abnormal.

なお、上述の形態に代えて、皮膚温度取得手段20及び/又は画像データ取得手段120と状態可視化手段200とを多機能機能携帯電話等のスマートデバイスに格納し、皮膚状態推定手段30,130をサーバ装置に格納する構成を採用してもよい。この場合、スマートデバイス本体の演算負荷を軽減することができる。また、サーバ装置上でデータ管理することで、多数のデータを収集し最適化していくことで、出力結果の精度を高めていくことができる。例えば皮膚状態の推定結果と疾患情報との関連を適時最適化していくことで、疾患情報の精度を高めることができる。   In place of the above-described embodiment, the skin temperature acquisition unit 20 and / or the image data acquisition unit 120 and the state visualization unit 200 are stored in a smart device such as a multi-function mobile phone, and the skin state estimation units 30 and 130 are stored. You may employ | adopt the structure stored in a server apparatus. In this case, the calculation load on the smart device body can be reduced. Further, by managing data on the server device, it is possible to improve the accuracy of the output result by collecting and optimizing a large number of data. For example, the accuracy of the disease information can be improved by optimizing the relationship between the estimation result of the skin state and the disease information in a timely manner.

<付記>
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
<Appendix>
In addition, this invention is not limited to the said embodiment as it is. The present invention can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. In addition, the present invention can form various inventions by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements may be appropriately combined in different embodiments.

本発明によれば、皮膚状態を簡便に推定することができるため、皮膚状態に基づき対象者の生理状態を可視化する皮膚状態推定装置への適用が有効である。   According to the present invention, since the skin state can be estimated easily, application to a skin state estimation device that visualizes the physiological state of the subject based on the skin state is effective.

20 皮膚温度取得手段
200 状態可視化手段
201 解析部
210 疾患情報記憶部
312 異常判定装置
10,110 評価装置
30,130 皮膚状態推定手段
DESCRIPTION OF SYMBOLS 20 Skin temperature acquisition means 200 State visualization means 201 Analysis part 210 Disease information storage part 312 Abnormality determination apparatus 10,110 Evaluation apparatus 30,130 Skin state estimation means

特開平7−124126号公報JP-A-7-124126 特表2008−505684号公報Special table 2008-505684 gazette 特表2003−524490号公報Special table 2003-524490 gazette

Claims (6)

人体の検査対象部位の皮膚から検出した皮膚温度データであって検出部位の位置データを含む前記皮膚温度データを時系列で取得する皮膚温度取得手段(20)及び/又は人体の検査対象部位の皮膚を時系列で撮影した撮影画像データに対して行われるRGB処理により得られた前記撮影画像データのRGBデータに基づき皮膚血行量データを時系列で取得する皮膚状態取得手段と、
前記皮膚温度取得手段により取得された前記皮膚温度データ及び/又は前記皮膚状態取得手段により取得された前記皮膚血行量データを、特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、前記検査対象部位の皮膚状態を推定する皮膚状態推定手段(30,130)と、
前記皮膚状態推定手段により推定された前記検査対象部位の皮膚状態に基づき、前記検査対象部位が異常であるか否かを判定する異常判定手段(200)と、
を備える皮膚状態推定装置(10,110)。
Skin temperature acquisition means (20) for acquiring the skin temperature data detected from the skin of the body part to be examined and including the position data of the detected part in time series and / or the skin of the body part to be examined. Skin condition acquisition means for acquiring skin blood flow volume data in time series based on RGB data of the captured image data obtained by RGB processing performed on the captured image data taken in time series;
Obtained by decomposing the skin temperature data acquired by the skin temperature acquisition means and / or the skin blood flow data acquired by the skin condition acquisition means by singular value decomposition, principal component analysis, or independent component analysis. A skin condition estimating means (30, 130) for estimating the skin condition of the examination site based on a plurality of components;
An abnormality determining means (200) for determining whether or not the inspection target part is abnormal based on the skin state of the inspection target part estimated by the skin state estimation means;
A skin condition estimation apparatus (10, 110) comprising:
前記皮膚状態推定手段は、
前記複数の成分のうち、その成分波形の振幅が皮膚の賦活化と相関関係にある成分を判定用成分として抽出し、
前記判定用成分に基づき、前記検査対象部位の皮膚状態を推定する、
請求項1に記載の皮膚状態推定装置。
The skin condition estimating means includes
Among the plurality of components, extract the component whose amplitude of the component waveform is correlated with the activation of the skin as a determination component,
Based on the determination component, estimate the skin state of the examination site,
The skin condition estimation apparatus according to claim 1.
皮膚状態と疾患情報とを関連付けて記憶する疾患情報記憶部(210)をさらに備え、
前記異常判定手段は、前記皮膚状態推定手段により推定された皮膚状態に基づいて前記疾患情報記憶部から前記疾患情報が抽出された場合に、前記検査対象部位が異常であると判定するとともに、抽出された前記疾患情報を提示する、
請求項1又は2に記載の皮膚状態推定装置。
A disease information storage unit (210) for storing the skin state and the disease information in association with each other;
The abnormality determination unit determines that the examination target site is abnormal when the disease information is extracted from the disease information storage unit based on the skin state estimated by the skin state estimation unit, and is extracted. Presenting said disease information,
The skin state estimation apparatus according to claim 1 or 2.
前記皮膚温度取得手段及び/又は前記皮膚状態取得手段と、前記異常判定手段とがスマートデバイスに格納されている、
請求項1から3のいずれか1項に記載の皮膚状態推定装置。
The skin temperature acquisition means and / or the skin condition acquisition means and the abnormality determination means are stored in a smart device.
The skin state estimation apparatus of any one of Claim 1 to 3.
前記皮膚温度取得手段及び/又は前記皮膚状態取得手段と、前記皮膚状態推定手段と、前記異常判定手段とがスマートデバイスに格納されている、
請求項1から4のいずれか1項に記載の皮膚状態推定装置。
The skin temperature acquisition means and / or the skin condition acquisition means, the skin condition estimation means, and the abnormality determination means are stored in a smart device.
The skin state estimation apparatus of any one of Claim 1 to 4.
請求項1から5のいずれか1項に記載の皮膚状態推定装置を用いて実行される皮膚状態推定方法であって、
前記検査対象部位の皮膚を冷却して、その検査対象部位の皮膚を賦活化する皮膚賦活化工程と、
前記賦活化工程の前後の前記皮膚温度データ及び/又は前記皮膚血行量データに基づいて、皮膚がん、ニキビ、乳がん、コリ及び未病の少なくとも一つの症状に前記検査対象部位が該当するか否かを判定する症状判定工程と、
を具備する皮膚状態推定方法。
A skin condition estimation method executed using the skin condition estimation apparatus according to any one of claims 1 to 5,
A skin activation step of cooling the skin of the inspection target part and activating the skin of the inspection target part;
Based on the skin temperature data and / or the blood circulation data before and after the activation step, whether or not the examination target site corresponds to at least one symptom of skin cancer, acne, breast cancer, coli and non-disease A symptom determination step for determining whether or not
A skin condition estimation method comprising:
JP2015203360A 2015-10-15 2015-10-15 Skin condition estimating device and method of operating the same Active JP6240134B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015203360A JP6240134B2 (en) 2015-10-15 2015-10-15 Skin condition estimating device and method of operating the same
PCT/JP2016/080756 WO2017065317A1 (en) 2015-10-15 2016-10-17 Skin state estimation device and skin state estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015203360A JP6240134B2 (en) 2015-10-15 2015-10-15 Skin condition estimating device and method of operating the same

Publications (2)

Publication Number Publication Date
JP2017074217A true JP2017074217A (en) 2017-04-20
JP6240134B2 JP6240134B2 (en) 2017-11-29

Family

ID=58517339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015203360A Active JP6240134B2 (en) 2015-10-15 2015-10-15 Skin condition estimating device and method of operating the same

Country Status (2)

Country Link
JP (1) JP6240134B2 (en)
WO (1) WO2017065317A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021041142A (en) * 2019-09-03 2021-03-18 株式会社東書エステート Blood pressure estimation system, blood pressure estimation method, learning device, learning method, and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271963A (en) * 2018-10-10 2019-01-25 杭州德肤修生物科技有限公司 The cosmetic industry method for quantitatively evaluating compared based on time-series image
CN116863528B (en) * 2023-07-27 2024-05-10 北京鹰之眼智能健康科技有限公司 Submandibular lymph node state parameter acquisition method, electronic equipment and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021724A1 (en) * 2007-07-20 2009-01-22 Vanderbilt University Combined raman spectroscopy-optical coherence tomography (rs-oct) system and applications of the same
JP2011036704A (en) * 2010-10-18 2011-02-24 Kao Corp Method and system for measuring oxygen saturation degree in skin
JP2013198576A (en) * 2012-03-23 2013-10-03 Kao Corp Method for measuring skin pigment concentration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021724A1 (en) * 2007-07-20 2009-01-22 Vanderbilt University Combined raman spectroscopy-optical coherence tomography (rs-oct) system and applications of the same
JP2011036704A (en) * 2010-10-18 2011-02-24 Kao Corp Method and system for measuring oxygen saturation degree in skin
JP2013198576A (en) * 2012-03-23 2013-10-03 Kao Corp Method for measuring skin pigment concentration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
村上 知子 外2名: ""マイクロスコープを用いた皮膚画像からの状態推定"", 2013年度 人工知能学会全国大会(第27回)論文集[CD−ROM], JPN6016048649, June 2013 (2013-06-01), pages 1 - 4, ISSN: 0003653687 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021041142A (en) * 2019-09-03 2021-03-18 株式会社東書エステート Blood pressure estimation system, blood pressure estimation method, learning device, learning method, and program
JP2022008806A (en) * 2019-09-03 2022-01-14 昭雄 野澤 Blood pressure estimation system, blood pressure estimation method, learning device, learning method, and program

Also Published As

Publication number Publication date
JP6240134B2 (en) 2017-11-29
WO2017065317A1 (en) 2017-04-20

Similar Documents

Publication Publication Date Title
US10667738B2 (en) Brain activity estimation device
WO2018190403A1 (en) Physiological state assessment apparatus
JP6196361B2 (en) Driver state determination device and driver state determination method
WO2017065318A1 (en) Physiological state determination device and physiological state determination method
JP2016523112A (en) System and method for detecting neurological diseases
EP3363352B1 (en) Useful information presentation device
JP6240134B2 (en) Skin condition estimating device and method of operating the same
EP3308700B1 (en) Brain-activity estimation device
JP6463392B2 (en) Fatigue state determination device and fatigue state determination method
WO2009061008A1 (en) Method and system for correlating image and tissue characteristic data
JP6886140B2 (en) Discomfort judgment device
JP6829363B2 (en) Evaluation device, market research device, and learning evaluation device
JP6093422B1 (en) Brain age presentation device
JP6158887B2 (en) Useful information presentation device
KR20150117614A (en) A Method for Emotional classification using vibraimage technology
Hong et al. Facial thermal image analysis for stress detection
JP2016182504A (en) Brain activity estimation device
US20230284962A1 (en) Systems and methods for diagnosing, assessing, and quantifying brain trauma
Roopaei et al. Thermal conditions of breast cancer progress-treatment
WO2014168354A1 (en) Moving-image-based physiological signal detection method, and device using same
CN117915047A (en) Intelligent ward monitoring method and device based on computer vision
Xu et al. Evaluating and improving the robustness of a video-based PR/RR monitoring system for a clinical environment
JP2017086992A (en) Feeling determination device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171102

R150 Certificate of patent or registration of utility model

Ref document number: 6240134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250