JP2017000743A - 生体情報検出装置 - Google Patents

生体情報検出装置 Download PDF

Info

Publication number
JP2017000743A
JP2017000743A JP2016106377A JP2016106377A JP2017000743A JP 2017000743 A JP2017000743 A JP 2017000743A JP 2016106377 A JP2016106377 A JP 2016106377A JP 2016106377 A JP2016106377 A JP 2016106377A JP 2017000743 A JP2017000743 A JP 2017000743A
Authority
JP
Japan
Prior art keywords
light
image
living body
biological information
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016106377A
Other languages
English (en)
Inventor
尚志 渡邉
Hisashi Watanabe
尚志 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2017000743A publication Critical patent/JP2017000743A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • A61B5/02433Details of sensor for infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • A61B5/02108Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A61B5/02116Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave amplitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14678Contact-type imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Hematology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

【課題】被験者の生体を拘束することなく、高い精度で生体情報を検出する。【解決手段】生体情報検出装置は、第1の光による少なくとも1つの第1のドットを生体に投影する第1の光源と、第2の光による少なくとも1つの第2のドットを生体に投影する第2の光源と、第1の光を検出する複数の第1の光検出セル、および第2の光を検出する複数の第2の光検出セルを含み、少なくとも1つの第1のドットが投影された生体の第1の画像を示す第1の画像信号、および少なくとも1つの第2のドットが投影された生体の第2の画像を示す第2の画像信号を生成して出力する撮像システムと、撮像システムから出力された第1の画像信号および第2の画像信号を用いて、生体に関する情報を生成して出力する演算回路と、を備え、第1の光の波長および第2の光の波長は、いずれも650nm以上950nm以下であり、第2の光の波長は、第1の光の波長よりも50nm以上長い。【選択図】図1A

Description

本開示は、生体情報検出装置に関する。特に、非接触で心拍等の生体情報を検出する生体情報検出装置、生体情報検出方法、および心理的変化検出方法に関する。
人間の健康状態を判断するための基礎的なパラメータとして、心拍、血流量、血圧、血中酸素飽和度などが広く用いられている。血液に関するこれらの生体情報は、通常、接触型の測定器によって測定される。接触型の測定器は、被験者の生体を拘束するため、特に長時間にわたって連続して測定する場合に被験者の不快感を招いていた。
人間の健康状態を判断するための基礎的な生体情報を簡単に測定する様々な試みがなされている。例えば、特許文献1は、カメラで撮影した顔などの画像情報から非接触で心拍数を検出する方法を開示している。特許文献2は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光のレーザドップラー効果を利用して血中酸素飽和度を測定する方法を開示している。特許文献3は、通常のカラーカメラを用いて周辺光の影響を除外して血中酸素飽和度を測定する方法を開示している。
一方、人の心理的変化を推定する方法も数多く提案されている。例えば、特許文献4および特許文献5は、人がストレス(緊張)を感じたり集中したりすることによって発生する鼻の周辺部分の温度の低下をサーモグラフィによって検知する方法を開示している。
特開2005−218507号公報 特表2003−517342号公報 特表2014−527863号公報 特開平6−54836号公報 特開2008−237244号公報 特開2002−200050号公報
黒田他、「情動変動に伴う顔色と顔面皮膚温の分析とその顔色合成」、ヒューマンインタフェース学会研究報告集 1(1)、15−20、1999
上記従来の技術では、取得される生体情報の精度もしくは安定性、または生体情報の取得の簡便性に課題があった。
本開示は、被験者の生体を拘束することなく、高い精度で生体情報を検出することができる生体情報検出装置を提供する。
本開示の一態様に係る生体情報検出装置は、第1の光による少なくとも1つの第1のドットを生体に投影する第1の光源と、第2の光による少なくとも1つの第2のドットを前記生体に投影する第2の光源と、前記第1の光を検出する複数の第1の光検出セル、および前記第2の光を検出する複数の第2の光検出セルを含み、前記少なくとも1つの第1のドットが投影された前記生体の第1の画像を示す第1の画像信号、および前記少なくとも1つの第2のドットが投影された前記生体の第2の画像を示す第2の画像信号を生成して出力する撮像システムと、前記撮像システムから出力された前記第1の画像信号および前記第2の画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、を備え、前記第1の光の波長および前記第2の光の波長は、いずれも650nm以上950nm以下であり、前記第2の光の前記波長は、前記第1の光の前記波長よりも50nm以上長い。
上記の包括的または具体的な態様は、素子、装置、システム、方法、またはこれらの任意の組み合わせで実現されてもよい。
本開示の一態様によれば、被験者の生体を拘束することなく、安定して生体の心拍・血流量・血中酸素飽和度等の生体情報を検出することが可能になる。さらに、本開示の他の態様によれば、生体情報検出装置から得られた生体情報から被験者の体調・感情等の状態を判定することができる。
本開示のある実施形態における生体情報の取得の基本的な考え方を説明するための図 カメラによって取得される生体表面の画像の特性を説明するための図 生体の主要な成分であるヘモグロビン、メラニン、水の可視光〜近赤外光での吸光係数と散乱係数を示す図 実施形態1の生体情報検出装置の構成を示す図 実施形態1におけるカメラの構成および出力される画像の例を示す図 実施形態1におけるコンピュータ20の構成を示すブロック図 実施形態1の生体検知方法を実施した例を示す第1の図 実施形態1の生体検知方法を実施した例を示す第2の図 実施形態1におけるコントラストの計算方法を示す図 実施形態2における構成および生成される生体情報(心拍数)の例を示す図 実施形態2における画像処理の流れを示すフローチャート 実施形態3における生体情報検出装置の構成を示す図 実施形態3における2台のカメラを用いた生体情報センシングの概要を示す図 実施形態3における2つのバンドパスフィルタの透過特性を示す図 実施形態3の方法で測定した脈波の例を示す図 実施形態3の方法および従来の方法で血中酸素飽和度を測定した結果を示す図 実施形態4におけるステレオカメラ方式の生体情報検出装置の構成を示す図 実施形態5におけるステレオレンズ方式の生体情報検出装置の構成を示す図 実施形態5の生体情報検出装置を用いてストレスセンシングを行った結果を示す図 実施形態5における画像中の鼻部と頬部とを示す図 実施形態5の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図 実施形態6における生体情報検出装置の構成を模式的に示す断面図 実施形態6における画像中の鼻部と額部とを示す図 実施形態6における笑いの感情を誘起した場合の総血流量(酸化ヘモグロビンおよび脱酸素化ヘモグロビン)の時間変化と、酸化ヘモグロビンの血流量の割合(酸素飽和度)の時間変化とを示す図 実施形態7における生体情報検出装置の構成を模式的に示す図 実施形態7における複数のカラーフィルタを示す図 実施形態7において生成される画像の例を示す図 実施形態8における生体情報検出装置の構成を示す図 実施形態8における複数のカラーフィルタを示す図 実施形態8において生成される画像の例を示す図 R、G、B、IRの4種類のカラーフィルタを有するマルチスペクトルセンサーの構成例を示す図
(本開示の基礎となった知見)
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
前述のように、人間の健康状態を判断するための基礎的な生体情報を測定する様々な試みがなされている。例えば、特許文献1は、カメラで撮影した顔などの画像の情報から非接触で心拍数を検出する方法を提案している。特許文献1の方法は、取得したカラー画像の空間周波数成分を分析することによって心拍数を求める。しかし、この方法では、室内の照明光等の外乱光の影響によって精度が低下するため、安定な検出ができない。
血中酸素飽和度の測定にはパルスオキシメータが一般に用いられる。パルスオキシメータは、指を挟みこむようにして赤色〜近赤外の波長域に含まれる2つの波長の光を指に照射し、その透過率を測定する。これにより、血液中の酸化ヘモグロビンの濃度と還元ヘモグロビンの濃度との比を求めることができる。パルスオキシメータは、簡便な構成で血中酸素飽和度を測定できる。しかし、接触型の装置であるため、拘束感があるという課題がある。
非接触型の血中酸素飽和度測定装置の一例が特許文献2に開示されている。この装置は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光によるレーザドップラー効果を利用して血中酸素飽和度を測定する。しかし、この方法では装置の構成が複雑になり、得られる信号も微弱であるという問題点がある。
特許文献3は、通常のカラーカメラを用いて周辺光の影響を除外して血中酸素飽和度を測定する方法を提案している。この方法でも皮膚の表面での反射光の影響が大きいため、高い精度で安定して血中酸素飽和度を測定することは困難である。
このように、従来の非接触式の血中酸素飽和度の測定方法は、精度および安定性に課題がある。現時点で実用に供されている非接触式の血中酸素飽和度測定装置は存在しない。
一方、人間の心理的変化を、サーモグラフィを用いて推定する方法が数多く提案されている(例えば、特許文献4および特許文献5)。これらの方法は、鼻部の体温度の低下をサーモグラフィによって検知する。人間の鼻部には動静脈吻合血管が多く、自律神経系の影響を受けて血液循環が阻害され易い。ストレスおよび緊張等の心理的変化によって自律神経の影響を受けて鼻部の血流が低下し、それに伴って鼻部の温度低下が生じる。特許文献4、5に開示された装置は、その温度変化をサーモグラフィによって検知することにより、被験者の心理的変化を推定する。
サーモグラフィを用いる方法は、温度の低下までに時間を要するため応答性が低く、さらに、環境温度の影響を受けるなどの欠点がある。顔の表面の血流を正確に測定できれば、より応答性が高く環境温度の影響を受けない心理変化の推定方法を確立できると考えられる。しかしながら、現状では非接触で高精度に皮膚下の血流量を測定する方法が確立していない。よって、上記のような課題があり、かつ装置も高価なサーモグラフィを用いた方法が主流となっている。
本発明者は、上記の課題に着目し、上記課題を解決するための構成を検討した。その結果、ドットパターンを生体表面に投影する光源を用いて画像を取得し、その画像における直接反射光による成分と生体内部での拡散光による成分とを信号処理によって分離することによって上記課題を解決することができることを見出した。本開示の一態様に係る生体情報検出装置は、光によるドットパターンを生体を含む対象物に投影する少なくとも1つの光源と、複数の光検出セルを有し、前記ドットパターンが投影された前記対象物の画像を示す画像信号を生成して出力する撮像システムと、前記撮像システムに接続され、前記撮像システムから出力された前記画像信号を処理する演算回路とを備える。前記演算回路は、前記画像信号を用いて、前記生体に関する情報を生成して出力する。このような構成により、生体情報を高い精度で取得することができる。
(原理)
以下、生体情報の高精度な取得を可能とする生体情報検出装置の原理を説明する。
図1Aは、本開示の例示的な実施形態における生体情報検出装置の概略的な構成を示す図である。この装置は、離散的に配列された複数の点像(本明細書において、「配列点像」または「ドットパターン」と称することがある。)を、生体を含む対象物に投影する配列点像光源である光源1と、撮像システムであるカメラ2とを備える。光源1は、複数の点像を生体3に投影するように配置される。カメラ2は、イメージセンサを有し、生体表面4を撮像し、画像信号を生成して出力する。
図1Bは、カメラ2によって取得される生体表面の画像の特性を説明するための図である。光源1から出射された光L0は生体表面4で反射される。生体表面4で反射された表面反射光L1は、光源1による配列点像のイメージを保っている。これに対し、生体3の内部に侵入し生体内部で散乱されて生体表面4から出ていく体内散乱光L2は、生体内での強い散乱によって光源1の配列点像のイメージを失っている。光源1を用いることにより、表面反射光L1と体内散乱光L2とを空間的に容易に分離できる。
図1Aに示す生体3は人間の皮膚であり、表皮33、真皮34、および皮下組織35を含む。表皮33には血管がないが、真皮34には毛細血管31および細動静脈32が存在する。表皮33には血管がないため、表面反射光L1は血液に関する情報を含まない。表皮33は光を強く吸収するメラニン色素を含むため、表皮33からの表面反射光L1は血液の情報を取得する上ではノイズとなる。よって、表面反射光L1は、血液情報の取得に役立たないだけでなく、正確な血液情報の取得を妨げる。高い精度で生体情報を検知するためには、表面反射光の影響を抑制し、体内散乱光の情報を効率よく取得することが極めて重要である。
本開示の実施形態は、上記の課題を解決するために、配列点像光源と撮像システムとを用いて、直接反射光と体内散乱光とを空間的に分離するという新規な構成を有する。これにより、生体内の情報を非接触で高い精度で測定することが可能である。
従来、このような生体表面の直接反射光を分離するために、例えば特許文献6に開示されているような偏光照明を用いた方法が用いられてきた。偏光照明を用いた方法では、撮影対象から反射された照明光の偏光方向と直交する偏光透過軸をもつ偏光子が用いられる。そのような偏光子を通してカメラで撮像することにより、表面反射光の影響を抑制することができる。しかしながら、肌のような凹凸を有する表面からの反射に関しては、表面反射光の偏光度が位置によって異なり、十分に直接反射光を分離できないという課題があった。本開示の方法によれば、直接反射光と散乱光とを空間的に分離できるため、表面反射光の影響をより効果的に抑制することができる。
本開示の実施形態における生体情報検出装置では、配列点像光源からの光の波長も重要である。配列点像光源の波長は、例えば略650nm以上略950nm以下に設定され得る。この波長範囲は、赤色〜近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれ、体内での吸収率が低いことで知られている。
図2は、酸化ヘモグロビン、還元ヘモグロビン、メラニン、および水のそれぞれの光の吸収係数、ならびに体内での光の散乱係数の波長依存性を示す図である。650nm以下の可視光領域では血液(即ちヘモグロビン)による吸収が大きく、950nmよりも長い波長域では水による吸収が大きい。よって、これらの波長域の光は生体内の情報の取得には適していない。一方、略650nm以上略950nm以下の波長範囲内では、ヘモグロビンおよび水の吸収係数が比較的低く、散乱係数は比較的大きい。よって、この波長範囲内の光は、体内に侵入した後、強い散乱を受けて体表面に戻ってくる。このため、効率的に体内の情報を取得することができる。
本開示の実施形態における生体情報検出装置は、主にこの「生体の窓」に該当する波長域の光を利用する。これにより、生体表面で直接反射された光と体内で散乱して戻ってきた光とを高い精度で分離して検出できるため、体内の情報を効率的に取得することができる。
本開示は、例えば以下の項目に記載の態様を含む。
[項目1]
第1の光による少なくとも1つの第1のドットを生体に投影する第1の光源と、
第2の光による少なくとも1つの第2のドット第2のドットパターンを前記生体に投影する第2の光源と、
前記第1の光を検出する複数の第1の光検出セル、および前記第2の光を検出する複数の第2の光検出セルを含み、前記少なくとも1つの第1のドットが投影された前記生体の第1の画像を示す第1の画像信号、および前記少なくとも1つの第2のドットが投影された前記生体の第2の画像を示す第2の画像信号を生成して出力する撮像システムと、
前記撮像システムから出力された前記第1の画像信号および前記第2の画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、
を備え、
前記第1の光の波長および前記第2の光の波長は、いずれも650nm以上950nm以下であり、
前記第2の光の前記波長は、前記第1の光の前記波長よりも50nm以上長い、生体情報検出装置。
項目1に記載の生体情報検出装置において、少なくとも1つの第1のドットは、第1の光による複数の第1のドットを備えていてもよい。
項目1に記載の生体情報検出装置において、少なくとも1つの第2のドットは、第2の光による複数の第2のドットを備えていてもよい。
項目1に記載の生体情報検出装置において、少なくとも1つの第1のドットは、第1の光による複数の第1のドットを備えており、複数の第1のドットは、線状に配置されていてもよい。
項目1に記載の生体情報検出装置において、少なくとも1つの第2のドットは、第2の光による複数の第2のドットを備えており、複数の第2のドットは、線状に配置されていてもよい。
項目1に記載の生体情報検出装置において、少なくとも1つの第1のドットは、第1の光による複数の第1のドットを備えており、複数の第1のドットは、アレイ状に配置されていてもよい。
項目1に記載の生体情報検出装置において、少なくとも1つの第2のドットは、第2の光による複数の第2のドットを備えており、複数の第2のドットは、アレイ状に配置されていてもよい。
[項目2]
前記撮像システムは、
前記複数の第1の光検出セルが配置された第1の領域と、前記複数の第2の光検出セルが配置された第2の領域とに分割された撮像面を有する撮像素子と、
前記第1の領域に前記第1の画像を形成する第1の光学系と、
前記第2の領域に前記第2の画像を形成する第2の光学系と、
をさらに含む、項目1に記載の生体情報検出装置。
[項目3]
前記撮像システムは、
前記第1の領域に入射する前記第1の光の経路上に配置され、前記第1の光を透過させる第1のバンドパスフィルタと、
前記第2の領域に入射する前記第2の光の経路上に配置され、前記第2の光を透過させる第2のバンドパスフィルタと、
をさらに含む、項目2に記載の生体情報検出装置。
[項目4]
前記複数の第1の光検出セルおよび前記複数の第2の光検出セルが配置された撮像面と、前記複数の第1の光検出セルに対向し前記第1の光を透過させる複数の第1のバンドパスフィルタと、前記複数の第2の光検出セルに対向し前記第2の光を透過させる複数の第2のバンドパスフィルタとを有する撮像素子と、
前記撮像面に前記第1の画像および前記第2の画像を形成する光学系と、
をさらに含む、項目1に記載の生体情報検出装置。
[項目5]
前記撮像システムは、
前記複数の第1の光検出セル、前記複数の第2の光検出セル、および複数の第3の光検出セルが配置された撮像面と、前記複数の第1の光検出セルに対向し前記第1の光を透過させる複数の第1のバンドパスフィルタと、前記複数の第2の光検出セルに対向し前記第2の光を透過させる複数の第2のバンドパスフィルタと、前記複数の第3の光検出セルに対向し可視光を透過させる複数の第3のバンドパスフィルタとを有する撮像素子と、
前記撮像面に前記第1の画像および前記第2の画像を形成する光学系と、
を有し、
前記複数の第3のバンドパスフィルタは、互いに透過波長域の異なる複数の色フィルタを含み、
前記撮像素子は、前記複数の第3の光検出セルを用いてカラー画像信号を生成して出力する、項目1に記載の生体情報検出装置。
[項目6]
前記演算回路は、前記第1の画像信号および前記第2の画像信号を用いて、前記生体の血中酸素飽和度を示す情報を生成して出力する、項目1から5のいずれかに記載の生体情報検出装置。
[項目7]
前記演算回路は、前記第1の画像信号および前記第2の画像信号に基づいて、前記生体の血流量および血中酸素飽和度を計算し、前記血流量および前記血中酸素飽和度に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも1つを示す情報を生成して出力する、項目1から5のいずれかに記載の生体情報検出装置。
[項目8]
前記第1の画像および前記第2の画像に前記生体の額部および鼻部からなる群から選択される少なくとも1つが含まれるとき、
前記演算回路は、前記第1の画像信号および前記第2の画像信号に基づいて、前記額部および前記鼻部からなる群から選択される前前記少なくとも1つにおける血流量および血中酸素飽和度を計算し、前記血流量の時間変化および前記血中酸素飽和度の時間変化に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも1つを示す情報を生成して出力する、項目1から5のいずれかに記載の生体情報検出装置。
[項目9]
前記第1の画像および前記第2の画像に前記生体の額部および鼻部が含まれるとき、
前記演算回路は、前記第1の画像信号および前記第2の画像信号に基づいて、前記額部および前記鼻部それぞれの血流量および血中酸素飽和度を計算し、前記額部における前記血流量の時間変化および前記血中酸素飽和度の時間変化と、前記鼻部における前記血流量の時間変化および前記血中酸素飽和度の時間変化との比較に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも1つを示す情報を生成して出力する、項目1から5のいずれかに記載の生体情報検出装置。
[項目10]
前記第1の光源および前記第2の光源は、レーザー光源である、項目1から9のいずれかに記載の生体情報検出装置。
項目10に記載の生体情報検出装置において、レーザー光源は、ランダムなドットパターンを投影してもよい。
[項目11]
前記撮像システムは、
前記複数の第1の光検出セルおよび前記複数の第2の光検出セルが配置された撮像面を有する撮像素子と、
前記撮像面に前記第1の画像および前記第2の画像を形成する光学系と、
前記光学系の焦点を調整する調整機構と、
をさらに含み、
前記調整機構は前記焦点を調整することにより、前記第1の画像および前記第2の画像のコントラストを最大にする、項目1に記載の生体情報検出装置。
[項目12]
前記演算回路は、前記第1の画像信号および前記第2の画像信号を用いた顔認識処理を行い、前記第1の画像および前記第2の画像に前記生体の額、鼻、口、眉毛、および毛髪からなる群から選択される少なくとも1つが含まれている場合に、前記生体に関する情報を生成して出力する、項目1から11のいずれかに記載の生体情報検出装置。
[項目13]
前記生体に関する情報が、メラニン色素の濃度、しみの有無、およびあざの有無からなる群から選択される少なくとも1つである、項目1から5のいずれかに記載の生体情報検出装置。
[項目14]
光によるドットパターンを生体を含む対象物に投影する少なくとも1つの光源と、
複数の光検出セルを有し、前記ドットパターンが投影された前記対象物の画像を示す画像信号を生成して出力する撮像システムと、
前記撮像システムに接続され、前記撮像システムから出力された前記画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、
を備える、生体情報検出装置。
[項目15]
前記光は、650nm以上950nm以下の波長の光を含む、項目14に記載の生体情報検出装置。
[項目16]
前記生体に関する前記情報は、前記画像中の前記生体の位置、前記生体の心拍数、前記生体の血流量、および前記生体の血中酸素飽和度の少なくとも1つの情報を含む、項目14または15に記載の生体情報検出装置。
[項目17]
前記撮像システムは、
前記光源が発する前記光の波長域の少なくとも一部を含む波長域の光を透過させるバンドパスフィルタと、
前記複数の光検出セルが配列された撮像面を有し、前記バンドパスフィルタを透過した光が前記撮像面に入射するように配置された撮像素子と、
を有する、項目14から16のいずれかに記載の生体情報検出装置。
[項目18]
前記演算回路は、前記画像に含まれる特定の画素、および前記特定の画素の周辺に配置された複数の画素における画素値の標準偏差と平均値との比に基づいて、前記特定の画素に対応する位置に生体が存在するか否かを判定し、前記生体の存否を示す情報を出力する、項目14から17のいずれかに記載の生体情報検出装置。
[項目19]
前記演算回路は、前記画像信号の少なくとも一部にローパスフィルタリング処理を施して得られる信号の時間変化に基づいて、前記生体の心拍数、血圧、および血流量の少なくとも1つの情報を生成して出力する、項目14から18のいずれかに記載の生体情報検出装置。
以下、本開示の実施形態をより詳細に説明する。以下の実施形態は主に人の顔面を生体表面として、非接触で生体情報を測定する生体情報検出装置に関する。ただし、本開示の技術は人間の顔面に限らず、顔面以外の部位または人間以外の動物の皮膚部にも適用可能である。
(実施形態1)
第1の実施形態として、本開示の技術を生体検知に応用したシステムを説明する。生体検知は、例えば災害現場で瓦礫等に埋まった被災者を探知する目的で開発が進んでいる。災害後72時間以内に被災者を発見することが被災者の生存率を決定づける。このため、簡単で安定した生体検知システムが必要とされている。生体検知技術は、セキュリティ分野および交通分野でも利用される。セキュリティ分野では侵入者を発見するために、交通分野では歩行者を検知するために、生体検知技術は重要な役割を果たす。様々な構造物または物体が含まれる画像の中から生体(特に人間)を選択的に検知可能なシステムの必要性も高まっている。
図3Aは、本実施形態の生体検知システムの概略的な構成を示す図である。本実施形態の生体検知システムは、図3Aに示すように、生体3から離れた位置に配置された近赤外の波長域の光線を射出する光源1と、照射された生体表面4の画像を記録可能な撮像システム(即ち、撮像装置またはカメラ)2と、撮像された画像から生体表面での直接反射光の成分と体内での散乱光の成分とを分離して測定し、直接反射光の強度と散乱光の強度とから生体情報を算出して出力するコンピュータ20とを備えている。
光源1は、ドットパターンを生体表面4に投影するように設計されている。ドットパターンは、典型的には2次元に配列された微小な輝点の集合である。用途によっては1次元に配列されたドットパターンを用いてもよい。本実施形態では、例えば米国Osela社のランダムドットパターンレーザープロジェクターRPP017ESを光源1として使用できる。このレーザー光源は830nmの近赤外レーザー光を発する光源であり、45°×45°の視野角内に57446点のレーザードットパターンを投影する。
図3Bは、撮像システムの構成および生成される画像の一例を示す図である。カメラ2は、レンズ5とカメラ筐体6とを有する。レンズ5は複数のレンズの集合体であり得る。カメラ筐体6の内部にはイメージセンサ7と光源1の波長である830nm±10nmの波長の光のみを透過するバンドパスフィルタ8とが搭載されている。
人を被写体とする場合、図3Bの中央の図に示すように、イメージセンサ7は、位置ごとの赤外線反射率に応じた輝度をもつ複数の点像を含む画像を取得する。この画像からコンピュータ20内の演算回路は、図3Bの右側の図のように、画像信号処理によって生体のみを検知することができる。既に述べたように、生体は赤色〜近赤外線の波長に対して「生体の窓」と呼ばれる特異な光学特性を持つ。人体の肌はこの波長範囲では吸収係数が小さく、散乱係数が大きいため、生体表面4である皮膚の表面を透過した光は体内で多重散乱を繰り返して拡散して広範囲にわたって生体表面4から射出される。上記波長範囲では、直接反射光に対して散乱光の割合が高いことが生体の特徴である。これに対し、生体以外の物体では、散乱光よりも表面反射光の割合の方が高い。よって、直接光と散乱光との割合に基づいて生体を検知することが可能である。
図3Cは、コンピュータ20の構成を示すブロック図である。コンピュータ20は、カメラ2に電気的に接続された入力インタフェース(IF)21と、上記の信号処理を行う演算回路22と、各種のデータを記録するメモリ24と、装置全体の動作を制御する制御回路25と、データを出力する出力インタフェース(IF)23と、処理結果を表示するディスプレイ26とを備えている。演算回路22は、例えばデジタルシグナルプロセッサ(DSP)等の画像処理回路であり得る。制御回路25は、例えば中央演算処理装置(CPU)またはマイクロコンピュータ(マイコン)等の集積回路であり得る。制御回路25は、例えばメモリ24に記録された制御プログラムを実行することにより、光源1への点灯指示、カメラ2への撮像指示、および演算回路22への演算指示等の制御を行う。制御回路25と演算回路22は、統合された1つの回路によって実現されていてもよい。この例ではコンピュータ20がディスプレイ26を備えているが、ディスプレイ26は有線または無線で電気的に接続された外部の装置であってもよい。コンピュータ20は、不図示の通信回路によって遠隔地のカメラ2から画像情報を取得してもよい。
以下、実際のデータを用いて行った生体検知方法の一例を説明する。
図4Aは、可視光を検出する通常のカメラによって取得された画像の一例を示している。中央部に人の顔Fが見えている。図4Bの左側の図は、本実施形態のカメラ2によって取得された830nmの波長の光源1で照明された図4Aと同一のシーンを示している。この画像では手前に配置されている箱Bによる強い反射により、顔Fを認識することが困難である。そこで、人体を検知するために、演算回路22は、近赤外の画像から直接反射光と散乱光のコントラストを計算する。
図5は、コントラストの計算に用いる画素領域の一例を示す図である。画像データは2次元の強度データとしてメモリ24に記録されている。横(x)方向にi番目、縦(y)方向にj番目の画素のデータをPijとする。この(i,j)画素のコントラストCijを以下のように定義する。
Cij = Sij / Aij
ここで、SijおよびAijは、それぞれ、(i,j)画素を中心とする7×7画素の領域内の画素データの標準偏差値および平均値であり、図5に示す式で表される。直接反射光に対する散乱光の比率が高まるほど標準偏差値Sijが小さくなるため、Cijの値は小さくなる。この処理を全画素について繰り返した上で、演算回路22は、Cijの値が所定の範囲内である画素のみを抽出する。一例として、0.2 < Cij < 0.47となる領域の一部を表示したのが、図4Bの右側の図である。この図では、Cijの値が上記の範囲内にある画素を白く表示し、それ以外の画素を黒く表示している。生体(即ち顔F)の部分が正しく抽出されていることがわかる。
このように、本実施形態における演算回路22は、画像に含まれる特定の画素、およびその画素の周辺に配置された複数の画素における画素値の標準偏差と平均値との比であるコントラストCijを計算する。その値に基づいて、上記特定の画素に対応する位置に生体が存在するか否かを判定し、その存否を示す情報を出力することができる。
本実施形態によれば、生体の特異な光学特性を利用して、多くの物体の中に隠れた生体を効率的に検出することが可能である。ここでは画像のコントラスト(即ち直接反射光と散乱光とのコントラスト)を求めるために7×7画素の領域内の平均値と標準偏差値を求めたが、これは一例である。コントラストの演算に用いられる画素領域のサイズ(即ち画素数)は、光源1によって形成される複数の点像の密度とカメラ2の解像度に応じて適切に設定される必要がある。計算結果のばらつきを抑えるために、演算対象の画素領域内に複数(例えば3個以上)の点像が含まれていてもよい。演算対象の領域の画素数を増加させることによってコントラストの計算値の精度は向上するが、得られる生体のイメージの解像度は低下する。このため、演算対象の領域の画素数は、システムの構成と使用目的とに応じて適切に設定する必要がある。同様に、コントラストの所定の範囲も、0.2 <
Cij < 0.47に限らず、システムの構成と使用目的とに応じて適切に設定される。
本実施形態のように、撮影した画像からリアルタイムで生体を検知できるシステムは、多様な用途に適用できる。以下に代表的な適用例について述べる。
(1)災害時の被災者の発見
地震、津波、土石流などの自然災害の発生時に、瓦礫に埋もれた被災者を早期に発見することは、人命救助の観点から特に重要である。3日を越えると生存率が大幅に低下するといわれる「72時間の壁」があり、混乱した状況下で速やかに被災者を発見することが必要とされている。本実施形態のシステムを用いることにより、瓦礫が散乱するような状況の中でも撮像してリアルタイムで瓦礫に隠れた被災者を検知することが可能になる。システムが小型であるため、例えばドローンに搭載することもできる。これにより、2次災害の危険がありアクセスが困難な災害現場であっても、遠隔地からリモートコントロールで画像を取得し生存者を探査することが可能である。
(2)監視用途
監視カメラが広く普及し、市民生活の安全および安心に貢献している。監視カメラの台数が増えるほど、その監視カメラの映像を誰がどのように確認するかが重要になる。現状では、人が画像を常時確認することは困難であるため、画像を蓄積しておき、問題(事件)が発生した後でその画像を確認することで状況を把握するような使われ方が多い。リアルタイムの画像から問題発生の瞬間を捉え、即時に問題に対応できるような利用方法であってもよい。本開示の技術を用いることで、監視カメラの画面に人が入ってきたときにそれを認識して、担当者に警告を発してその画像をリアルタイムに確認させるようなシステムを構築できる。担当者は必ずしも監視カメラのモニタ前に待機する必要は無く、人を検知した場合に担当者のもつ携帯端末に警告が現れ、画像が表示されるようなシステムを構築することが可能である。通常人の立ち入らないような、倉庫もしくは建物の裏口または立ち入りが制限されているような場所の監視にはこのようなシステムが適している。また、ビル等の、多数のカメラを集中的に監視しているような場所では、人を検知したカメラ映像をハイライト表示することで、異常の見逃し防止、異常の早期発見および対策に役立てることができる。
監視用途においては従来の監視画像を人間が判断する方式から、画像認識技術の進展によりコンピュータによる物体認識を行う方式の開発が進められている。このような用途では、画像をホストコンピュータに送りホストコンピュータ側で認識を行う方式が一般的である。しかし、画像データをコンピュータに送る必要があり、通信量の増大・通信速度の低下、ホストコンピュータの負荷増大といった問題が発生していた。監視カメラで一次的な画像の認識と判定が可能であれば、通信・記録・演算の負荷を大幅に軽減できる。ただし、この認識に十分な信頼性がないと事象の見逃しにつながるという課題があった。本実施形態の人検知方式では、高い信頼性で人間を検知できるため、人を検知した場合に人を含む部分画像のみを選択的にホストコンピュータに送ることが可能になる。その結果、監視システムの効率的な運用が可能になる。
また、画像認識技術の進化により、画像によって個人を高精度に特定することが可能になってきている。画像からの個人特定についても現状では、画像をホストコンピュータに送りホストコンピュータ側で認識を行う方式が一般的であるが、前述のように通信・記録・演算の負荷が課題になっている。演算時に、顔認識のために顔部を抽出する作業に大きな負荷がかかっている。本実施形態の検知方式を用いれば、画像内から容易に顔部分を抽出できる。このため、顔部分のみをホストコンピュータに送り個人特定を行うことが可能になり、個人特定の負荷を大幅に低減できる。さらに、限定された人数であれば特徴をあらかじめ監視カメラ側に登録しておくことでホストコンピュータを介さずに、即時にカメラ側で個人の特定が可能になる。
(3)車
本実施形態のシステムを自動車に搭載することで、路上の歩行者を常に認識し、より安全な運転を実現することができる。人が物陰に隠れていて、視認性の悪い場合でも人を検知してドライバーに警告することが可能である。自動運転においては、ブレーキで停止ができず、左右どちらに方向転換しても事故が避けられないような局面でどちらに避けるかという問題が発生することが想定される。そのような場合、本システムで人体を検知し人を避ける方向に進路を変更することが有効になる。このような用途の場合、高い精度で高速に人体を検知することが求められるため、本実施形態のシステムは特に適している。
(4)人体検知スイッチ
人体を検知して電源のオンおよびオフを切り替えるというような用途は幅広く存在する。例えば、室内の人間を検知してエアコンまたは電灯等の機器のスイッチを制御したり、自動ドアを高い精度で制御したり、横断歩道で歩行者を検知して歩行者信号を制御したり、自動販売機の照明の照度を変更したりするなどの用途が存在する。本実施形態は、それらの用途に適用可能である。本実施形態のシステムを用いて、物およびペットには反応せず人だけに感応する高機能なスイッチを実現することができる。このような用途では、本システムにおける光源、カメラ(撮像システム)、および信号処理装置(演算回路)を一体化した小型の人体検知センサーユニットを構成してもよい。
(5)生体認証
指紋認証、虹彩認証、および静脈認証などの生体認証が個人認証の方法として広く用いられている。利用が拡大するにつれ、生体認証の成りすましの事例およびリスクが増加している。画像を用いた認証においては、これまでコピー等の画像複製技術が用いられてきた。近年、虹彩認証および3Dプリンターの利用の拡大とともに、さらに高精度な複製を用いた成りすましのリスクが拡大している。このようなリスクの対策として、2段階の認証システムが有効である。例えば、本実施形態の生体検知システムで対象が生体であることを確認したうえで、通常の生体認証を行うという方式が有効である。本システムの生体検知システムを用いて生体であることの確認を行うことで、生体認証の信頼性を高めることが可能になる。
(実施形態2)
第2の実施形態として、本開示の技術を生体情報センシングに応用したシステムを説明する。ヘルスケア意識の高まりにより、定常的な生体情報センシングの重要性が増している。非接触で常時生体情報が測定可能なシステムは、病院だけでなく日常生活における健康管理にも重要である。
本実施形態のシステムは、非接触で心拍数および心拍変動をモニタリングすることができる。本システムの物理構成は、図1に示す実施形態1における構成と同じである。実施形態1と異なる点は、演算回路22による信号処理の方法である。以下、図6Aおよび図6Bを参照しながら、本実施形態における信号処理を説明する。
図6Aは、本実施形態における信号処理の概要を示す図である。図6Bは、この信号処理の流れを示すフローチャートである。演算回路22は、イメージセンサ7によって取得された動画像から、公知の顔認識処理を行い、顔の特定部位(例えば額の部分)の領域を抽出する(ステップS101)。図6Aの右端の図は、抽出された領域の各画素の値(画素値)の一例を示している。演算回路22は、その領域内の画素値のデータ(即ち画像信号)の少なくとも一部に2次元のローパスフィルタリング処理を行い直接反射光成分(即ち高周波成分)を除去する(ステップS102)。その上で、測定領域内の画素値(即ち反射光強度)の平均値を計算する(ステップS103)。この反射光強度の平均値は、図6Aの下の図に示すように、時間的に変動する。心臓から拍出された動脈血が脈波と呼ばれる波動を持って血管内を移動するため、近赤外線の吸収量が脈動に連動して変化する。この変動の周期から心拍数を求めることができる。さらに、脈動の振幅から血圧または血流量を推定することができる(ステップS104)。このように、演算回路22は、画像信号の少なくとも一部にローパスフィルタリング処理を施して得られる信号の時間変化に基づいて、生体の心拍数、血圧、および血流量の少なくとも1つの情報を生成することができる。
心拍数の時間的なゆらぎから心理的ストレスが推定できることが知られている。自律神経が正常に機能している場合、心拍の間隔は揺らぐが、ストレスにより心拍の間隔の揺らぎが減少することが知られている。本実施形態における演算回路22は、この心拍の間隔の揺らぎの変化に基づいて心理的ストレスの有無または程度を検出することもできる。ストレスセンシングを生活の中で定常的に行うためには、本実施形態のような非拘束で非接触な心拍センシング技術は重要である。
通常の可視カメラまたは近赤外カメラを用いて、心拍を非接触でモニタする方法については数多くの方法が提案されている。これらの従来の方法では、表面反射光の成分と散乱光の成分との分離が不十分なため、非接触では外乱光の影響を受けやすく、安定で高精度な測定は困難であった。本実施形態のように表面反射光成分と散乱光成分とを空間的に分離することにより、安定で高精度な心拍測定が可能になった。
本実施形態のシステムを用いることで、拘束されることなく、就寝時を含め、常時心拍数または血圧をモニタすることが可能になった。これにより、例えば病院で患者の状態を常時モニタリングし、異常発生時に医療スタッフに警告を発するようなシステムを構築できる。一般家庭においても、例えば無呼吸症候群を罹患した患者の夜間の心拍数のモニタリングが可能である。さらに、日常生活においても、上述のように簡便にストレスセンシングを行うことができるため、より充実した日常生活をおくることが可能になる。
(実施形態3)
第3の実施形態として、非接触で血中酸素飽和度を測定するシステムを説明する。血液の大きな役割は、酸素を肺から受け取って組織へと運び、組織からは二酸化炭素を受け取ってこれを肺に循環させることである。血液100mlの中には約15gのヘモグロビンが存在している。酸素と結合したヘモグロビンを酸化ヘモグロビン(HbO2)と呼び、酸素と結合していないヘモグロビンを還元ヘモグロビン(Hb)と呼ぶ。図2に示したように、酸化ヘモグロビンおよび還元ヘモグロビンの光吸収特性は異なる。酸化ヘモグロビンは約830nmを超える波長の赤外線を比較的よく吸収し、還元ヘモグロビンは赤色光(例えば660nmの波長)を比較的強く吸収する。830nmの波長の近赤外線については、両者の吸収率に差異はない。そこで、本実施形態では、660nmおよび830nmの2つの波長における透過光を測定する。これらの赤外光と赤色光の透過光の比率から2種類のヘモグロビンの比率(酸素飽和度)を求めることができる。酸素飽和度とは、血液中のヘモグロビンのうちどれだけが酸素と結びついているかを示す値である。酸素飽和度は、下記の数式で定義される。
酸素飽和度=C(HbO2)/[C(HbO2)+C(Hb)]×100(%)
ここで、C(Hb)は還元ヘモグロビンの濃度を、C(HbO2)は酸化ヘモグロビンの
濃度を表している。
生体内には、血液以外にも赤〜近赤外の波長の光を吸収する成分が含まれているが、光の吸収率が時間的に変動するのは、主に動脈血中のヘモグロビンに起因する。よって、吸収率の変動に基づいて、高い精度で血中酸素飽和度を測定することができる。心臓から拍出された動脈血は脈波となって血管内を移動する。一方、静脈血は脈波を持たない。生体に照射した光は、動静脈および血液以外の組織など生体の各層で吸収を受けて生体を透過するが、動脈以外の組織は時間的に厚さが変動しない。このため、生体内からの散乱光は、脈動による動脈血層の厚さの変化に応じて時間的な強度変化を示す。この変化は動脈血層の厚さの変化を反映しており、静脈血および組織の影響を含まない。よって、散乱光の変動成分だけに着目することで動脈血の情報を得ることができる。時間に応じて変化する成分の周期を測定することにより、脈拍も求めることができる。
図7は、本実施形態のシステムの構成を示す図である。本システムは、生体3から離れた位置に配置された近赤外の波長の光線(例えば波長830nm)および赤色の波長の光線(例えば波長660nm)をそれぞれ射出する2つの配列点像光源である光源101,102と、照射された生体表面を記録可能な2つの撮像システムであるカメラ201,202と、取得された画像から生体表面での直接反射光強度と体内での散乱光の強度とを分離して測定し、直接反射光の強度と散乱光の強度とから生体情報を算出するコンピュータ20とを備えている。ここでは、血中酸素飽和度を測定するために、波長の異なる2個の配列点像光源である光源101,102と、それぞれの光源に対応したカメラ201,202を装備している。
図8は、撮像システムの構成を示す図である。撮像システムであるカメラ201、202の各々は、レンズ5とカメラ筐体6とを有する。カメラ201のカメラ筐体6には、イメージセンサ7と、近赤外光(波長830nm)を選択的に透過させるバンドパスフィルタ801とが搭載されている。カメラ202のカメラ筐体6には、イメージセンサ7と、赤色の光(波長660nm)を選択的に透過させるバンドパスフィルタ802とが搭載されている。
光源101には、例えば米国Osela社のランダムドットパターンレーザープロジェクターRPP017ESを使用できる。このレーザー光源は、830nmの近赤外レーザー光源であり、45×45°の視野角内に57446点のレーザードットパターンを投影する。光源102には、例えば米国Osela社のランダムドットパターンレーザープロジェクターRPP016ESを使用できる。このレーザー光源は、660nmの赤色レーザー光源であり、35×35°の視野角内に23880点のレーザードットパターンを投影する。
コンピュータ20は、2台のカメラ201、202が連動して同時に撮像するようにこれらのカメラおよび光源101、102を制御する。これにより、例えば図8の右側に示すようにカメラ201、202から2つの波長の異なる光の画像が生成される。
図9は、バンドパスフィルタ801、802の透過率特性を示す図である。バンドパスフィルタ801は、透過中心波長が830nmでバンド幅が10nmの透過特性を有する。バンドパスフィルタ802は、透過中心波長が660nmでバンド幅が10nmの特性を有する。バンドパスフィルタ801、802の透過中心波長は、光源101、102の波長の中心値とそれぞれ一致している。このため、撮像システムであるカメラ201では830nmの波長の光による画像が取得され、撮像システムであるカメラ202では660nmの波長の光による画像が取得される。
コンピュータ20内の演算回路22は、実施形態2と同様に、まず動画像から公知の顔認識処理を行い、顔面の特定の部分(例えば額の部分)を抽出する。その領域内の画素のデータに2次元のローパスフィルタリング処理を行い、直接反射光成分を除去する。その上で、測定領域内の画素値の平均値を計算する。以上の処理を、830nm,660nmのそれぞれのカメラについて実行する。このようにして計算された平均値は生体からの拡散反射光の強度を示す。
図10は、得られた拡散反射光強度の時間変化の一例を示す図である。近赤外光(波長830nm)、赤色光(波長660nm)の双方について、反射光強度は時間的に変動している。ここで、光源101、102からの光の生体表面での強度をそれぞれIi(830)、Ii(660)とし、生体からの拡散反射光の変動成分の時間平均値をそれぞれΔI(830)、ΔI(660)とする。血中酸素飽和度SpO2は、以下の式で計算される。
SpO2 = a+b*(log(ΔI(660)/Ii(660))/ (log(ΔI(830)/Ii(830)))
上式のa,bは、既存のパルスオキシメータの測定値との関係から決定することができる。
測定装置の精度を確認するために、本システムを用いて額ではなく指先の酸素飽和度を測定した。血圧測定に用いられるベルト(カフ)を用いて上腕部を一定圧力(200mmHg)で加圧して、血流を止めて指先で酸素飽和度を測定した。
人差し指に市販の指を挟みこむ方式のパルスオキシメータを装着し、本システムで中指の酸素飽和度を非接触で測定した。最初の測定で上述のa,bを決定し、2回目以降の測定で血中酸素飽和度SpO2を測定した。
図11は、パルスオキシメータを用いた場合の測定値と本実施形態における測定値の比較結果を示している。両者の結果が概ね一致していることから、精度よく測定できていることがわかる。本実施形態の方式では、血中酸素飽和度だけでなく、図10に示す脈波から脈拍数も同時に測定することができる。
脈波の揺らぎまたは周波数特性からストレスおよび疲れが測定できることが知られている。本実施形態のシステムを用いることで、脈波から非接触に被験者のストレス等の心理状態および体調を推定することが可能である。
(実施形態4)
第4の実施形態として、1台のカメラを用いて血中酸素飽和度を測定する方式について説明する。第3の実施形態では2台のカメラを用いてそれぞれのカメラで異なる光源波長の信号を取得していた。この方式は既存のカメラを流用できるというメリットがあるが、2台のカメラを連動して撮像する必要があるためシステム構成が複雑になる。取得されるデータも2台分の独立した動画データとなるため、時間を合わせたデータ処理が複雑になるという課題もある。これを避けるために、本実施形態では、一台のカメラで同時に2波長分の画像のデータを取得可能なカメラを実現した。
図12は、本実施形態の生体情報検出装置の構成を示す図である。この装置は、2つの撮像光学系201,202を有する2眼ステレオカメラの構造を備える。そこで、本明細書では、このような方式を「ステレオカメラ方式」と称する。生体情報検出装置(「カメラ」とも称する。)は、第1のレーザー点像光源である光源101(波長830nm)と第2のレーザー点像光源である光源102(760nm)とを有している。光源101、102で照明された生体からの反射光は、それぞれ、バンドパスフィルタ801,802を通過し、進行方向がミラー901,902で90度折り曲げられ、レンズ501,502によって、イメージセンサ701,702の撮像面に結像する。バンドパスフィルタ801,802は、それぞれ、2つの光源の波長に対応する830±15nm、760±15nmの波長の光のみを透過させる狭帯域バンドパスフィルタである。
シャッターボタン11が押されると、2つの光源101、102が点灯し、同時にイメージセンサ701,702が生体の画像を取得する。取得された画像は画像処理プロセッサ(図3Cにおける演算回路22に相当)によってステレオ画像のフォーマットに変換され、画像信号処理が行われた上で記憶装置(図3Cにおけるメモリ24に相当)に蓄積される。その後の処理は、実施形態2または3と同様である。
本実施形態によれば、撮像系を一台のステレオカメラの構成とすることで、システム全体がコンパクトになり、後段の画像信号処理から酸素飽和度計算までの信号処理系の構成をシンプルにできる。これにより、操作の簡便性と高速性を両立できる。
2つの光源の波長として、例えば近赤外領域の760nmおよび830nmが用いられ得る。酸化ヘモグロビンと還元ヘモグロビンとの吸収差は、実施形態2および3で用いた660nmの方が760nmよりも大きいため、酸素飽和度をより高精度に測定可能である。しかし、660nmの波長は可視領域であるため、この波長を用いると被験者に負担を与える可能性がある。さらに、蛍光灯およびLED照明には660nmの波長の成分が含まれているため、環境光の影響を受けやすいという問題がある。本実施形態では、このことを考慮して760nmの波長を選択した。還元ヘモグロビンの局所的な吸収ピークが760nmにあるため、短波長側の光源を近赤外領域に設定する場合、760−780nmの波長を用いることが有効である。使用される波長は、上記のものに限定されず、用途と使用環境に応じて適切に選択すればよい。
(実施形態5)
第5の実施形態として、1台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。第4の実施形態では1台のカメラが2つの光学系と2つのイメージセンサとを含むステレオカメラ方式の構成であった。本実施形態では、複数のレンズを用いて画像を分割することで、2波長に対応する異なる2つの画像を1つのイメージセンサで取得するシステムを採用した。本実施形態の方式を、「ステレオレンズ方式」と称する。ステレオレンズ方式のシステムについて、図13を参照しながら説明する。
図13は、本実施形態の生体情報検出装置の一部を模式的に示す断面図である。本実施形態におけるイメージセンサ7の撮像面は、第1の光検出セル群が配置された第1の領域7aと、第2の光検出セル群が配置された第2の領域7bとを含む。図13では省略されているが、生体情報検出装置は、830nmおよび760nmの2波長の光によるドットパターンを投影する2つの光源を、例えばカメラ筐体6内に備えている。図13に示すように、光学系であるレンズ5は、内部に2組のレンズ501、502を有する。光学系であるレンズ501,502は、イメージセンサ7の撮像面の異なる領域7a,7bにそれぞれ結像するように設計されている。レンズ501,502の前方には、2つの光源の波長に対応する830nmおよび760nmの光をそれぞれ透過させる2つの狭帯域バンドパスフィルタ801,802がそれぞれ配置されている。すなわち、バンドパスフィルタ801は、第1の領域7aに入射する光の経路上に配置され、バンドパスフィルタ802は、第2の領域7bに入射する光の経路上に配置されている。
このような構成により、1つのイメージセンサ7を用いて同時刻の2波長の光による2つの画像を取得できる。演算回路22は、実施形態2〜4と同様の方法で、この2つの画像から血中酸素飽和度を計算する。本実施形態によれば、1つの画像信号に、異なる2つの波長に対応する同時刻の2つの画像の情報が含まれるため、演算処理が容易になる。
このステレオレンズ方式のシステムを用いて、ストレスセンシングを行った結果について以下に説明する。既に述べたように、ストレス(緊張)または集中による鼻部の温度低下をサーモグラフィによって検知する方法が提案されている。心理的変化により鼻部の血流が低下し、それに伴って鼻部の温度低下が起こる。これをサーモグラフィにより検知する方法は一般に行われている。顔面の温度の変化は血流の変化によって生じる。血流の変化を高い精度で測定できれば、血流の変化の結果として起こる表面温度の変化を測定するよりも高い精度で応答性良くストレスセンシングが可能になる。
図14Aは、本実施形態の生体情報検出装置を用いてストレスセンシングを行った結果を示す図である。ストレスとして、右手を冷水(氷水)に入れる冷水負荷を行った。比較のために、図14Bに点線で囲んだ鼻部と頬部の温度変化をサーモグラフィを用いて測定した。図14Aは、この測定結果を示している。鼻部の温度は冷水負荷開始後、3分ほどかけて徐々に低下し、約1.2℃低下して安定した。負荷終了後、やはり3分ほどかけて温度は元に戻っていることが分かる。一方、頬部の温度は冷水負荷の影響をほとんど受けず、安定していることが分かる。
図14Cは、ステレオレンズ方式を採用した本実施形態の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図である。顔部における血流量と酸素飽和度(SpO2)のデータから、図14Bに点線で示す鼻部と頬部の領域のデータを抽出した。実線は血流量の時間変化を示し、点線は酸素飽和度(ΔSpO2)の時間変化を示している。図14Cに示すように、鼻部の血流量は冷温刺激直後から低下傾向を示しており、時間応答性が高いことを示している。一方、頬部の血流量はほとんど変化していない。酸素飽和度については、鼻部では血流量の低下とともに酸素飽和度の低下も観測されたが、頬部ではほとんど変化がなかった。
本結果から分かるように、顔の異なる部位で、血流量および酸素飽和度を測定することによって多くのデータが得られる。これらのデータに基づいて、高い精度で情動(即ち感情)、体調、または集中度の検知が可能である。自律神経系の影響による血流量の変化は顔の部位により異なるため、カメラを用いて特定の部位の血流量の変化を測定することは特に重要である。その際、血流量の変化の少ない部位を同時に測定してリファレンスとすることで測定の精度を高めることができる。
(実施形態6)
第6の実施形態として、1台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。
図15は、本実施形態における生体情報検出装置の構成を模式的に示す断面図である。この装置は、通常のレンズ5に取り付け可能なステレオアダプター10を備えている。ステレオアダプター10は、4枚のミラー151、152、153、154と、2つのバンドパスフィルタ801、802とを備えるアタッチメントである。ステレオアダプター10を用いることにより、2つの波長に対応する2つの画像をイメージセンサ7の撮像面の異なる2つの領域にそれぞれ形成することができる。この方式を、「ステレオアダプター方式」と称する。
ステレオアダプター方式では、2組の対向するミラーを用いて、2つの波長に対応する異なる2つの画像を1つのイメージセンサ7で取得することができる。図15では省略されているが、実際には830nmおよび760nmの2波長の光をそれぞれ発する2つの光源がカメラ筐体6に内蔵されている。ステレオアダプター10はカメラのレンズ5の先端に装着される。2組のミラー(ミラー151,152の対と、ミラー153,154の対)は、光路を2回曲げてレンズ5に導入する。レンズ5とミラー151、152、153、154との間には光源の波長に対応する830nmおよび760nmの波長の光を透過させる狭帯域バンドパスフィルタ801,802が搭載されている。
この生体情報検出装置は、1つのイメージセンサ7で同時刻の2波長の画像を取得できる。基本的な考え方は、実施形態5と同様である。ステレオレンズ方式は、レンズを小型にできるため、システム全体を小型化できるというメリットがある。一方、ステレオアダプター方式では、システム全体は大型化するが、高性能なカメラレンズを使用することができ解像度を向上できること、並びに、倍率の異なるレンズおよびズームレンズを使用することができるという利点がある。システムの自由度をあげることができる点がステレオアダプター方式の利点である。
本実施形態の生体情報検出装置(即ちカメラ)を用いて人間の情動を検知するための検討を行った。実施形態5で説明したように、血流量に基づいて人間のストレス等の感情または情動を安定して検出することが可能である。人間の感情または情動の変化により、自律神経が活性化して皮膚表面の血流量が変化する。この血流量の変化によって顔色が変化する。この顔色の微妙な変化から対象人物の情動および体調を検知することを、人間は普通に行っている。名医と呼ばれる医師が患者の顔を見ただけで体調および病因を診断できるのは、患者の微妙な顔色の変化から身体の変化を見分けることができるためであると考えられている。また、感覚の鋭い人が、相手の感情を読み取る際にも微妙な表情の変化とともに、微妙な顔色の変化が重要な役割を果たしていると言われている。さらに、近年進歩の著しいゲーム、アニメーション、およびコンピュータグラフィックスの分野では、自然な印象およびリアリティを場面に与えるために、人物の顔色を微妙に変化させることについての研究が広く行われている。これらの例から分かるように、顔色は人の情動および体調を表しており、顔色を計測することで感情を読み取ろうとする検討が進められている(例えば、非特許文献1)。しかしながら、顔色から直接的に情動を計測する試みは、安定した測定が難しく実用には適さない。これは、顔色の変化に個人差があり、顔色の変化が微妙で外乱光およびカメラの影響を強く受けることから、安定した測定が困難であるためである。顔色の変化を測色以外の方法で、より安定にかつ高精度に測定する方法が求められている。
人の顔色は主として、皮膚表面(真皮)に含まれるメラニン色素の量と、血液中のヘモグロビン(酸化ヘモグロビンおよび脱酸素化(還元)ヘモグロビン)の濃度で決まることが知られている。メラニン色素は短時間では変動しないため(経年変化、日焼け等によっては変化する)、情動の変化は血流量を測定することによって安定に測定できる。本実施形態は、情動の変化を検知するために、顔色を計測するのではなく、顔色を変化させている酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの血流量を直接測定する。実施形態5において説明したように、顔面の血流量の変化は部位によって異なる。これは、顔面の部位によって、自律神経系の影響の受け易さが異なるからである。例えば、鼻部には動静脈吻合血管が多く自律神経系の影響を受けやすいのに対し、前額部は皮膚血管収縮神経の影響を受けにくいといった特徴がある。本実施形態における演算回路22は、異なる複数の部位の血流量を演算によって求め、それらを比較することにより、高い精度で情動の変化を検知することが可能である。
以下、情動の変化に伴う血流量の変化の計測について説明する。図15に示すステレオアダプター方式のカメラを血流量の測定に用いた。被験者はカメラの正面に座り、顔面をカメラによって撮像した。安定した状態から、被験者は恐怖、笑い、驚き、嫌悪感等を与えるようなビデオを視聴し、被験者の顔のカラー画像を取得した。ビデオのシーンとカラー画像における表情の変化から情動の変動を読み取り、そのときの血流量の変化を測定した。血流量は、図16Aに点線で示すように、鼻部および額部について測定した。
図16Bは、笑いの感情を誘起した場合の総血流量(酸化ヘモグロビンおよび脱酸素化ヘモグロビン)の時間変化と、酸化ヘモグロビンの血流量の割合(酸素飽和度)の時間変化とを示す図である。笑いの情動変化により、血液総血流量とともに血中酸素飽和度の値も大きく変化していることがわかる。同様の検討を他の情動についても行った。悲しみ、驚き、憂鬱、恐れ、嫌悪、怒り、集中、幸福といった他の情動を誘起した場合の総血流量および血中酸素飽和度の変化量を上記と同様に計算によって求めた。12人の被験者について、同じ測定を行った。個人差はあるが、ほぼ全員の被験者で総血流量および血中酸素飽和度の変化は同様の傾向を示した。この結果から、情動の変化を血流量および酸素飽和度の少なくとも一方により検知することが可能であることが示された。
図16Bに示すように顔の部位によって酸素飽和度と血流量の関係は異なる。このため、顔の複数の部位の血流量と酸素飽和度とを求めることにより、より高精度に情動のセンシングを行うことができる。本実施形態について行った情動センシングの試験では、額と頬と鼻の3点の測定を行った。情動変化による酸素飽和度および血流量の変化は、額と頬と鼻とで異なっていた。このため、それぞれの部位の酸素飽和度および血流量の変化量の関係を示すテーブルをあらかじめ作成しておき、酸素飽和度と血流量の実測値と相関を計算することにより、高精度に情動の変化を検知することが可能である。
(実施形態7)
第7の実施形態として、光学系で画像分割することなく1台のカメラを用いて血中酸素飽和度を測定する方式について説明する。実施形態2〜6では、2つの波長に対応する2つの光源からの光を分割してセンシングし、酸素飽和度等の生体情報を演算によって求める方法を説明した。本実施形態の生体情報検出装置は、画像の分割を行わず、イメージセンサによって異なる波長の2つの画像信号を取得する。
図17Aは、本実施形態における生体情報検出装置の構成を模式的に示す図である。この装置は、2波長に対応する2つの画像を光学系ではなくイメージセンサ703で分離する。図17Aでは点像光源は省略されているが、実際には830nmと760nmの2波長の光をそれぞれ発する2つの光源がカメラ筐体6内に内蔵されている。カメラのレンズ5の前面には、730nm以上850nm以下の波長の光を透過させるバンドパスフィルタ8が配置されている。バンドパスフィルタ8は、可視光および長波長の赤外線をカットする。バンドパスフィルタ8を透過した光はレンズ5でイメージセンサ703の撮像面上に結像する。ここで用いられているイメージセンサ703は、通常のイメージセンサとは異なり、近赤外線を透過させる2種類のバンドパスフィルタ(以下、カラーフィルタとも称する。)を有している。
図17Bは、イメージセンサ703の撮像面上に配列された複数の光検出セルに対向する複数のカラーフィルタを示す図である。イメージセンサ703は、680−800nmの光を選択的に透過させる複数のカラーフィルタIR1(第1のバンドパスフィルタ群とも称する。)と、800nm以上の波長の光を選択的に透過させる複数のカラーフィルタIR2(第2のバンドパスフィルタ群とも称する。)とを有している。カラーフィルタIR1、IR2は、市松状に配列されている。図17Bの下の図は、フィルタIR1、IR2の透過率の波長依存性の一例を示す図である。イメージセンサ703は、2つの光源の波長である760nmおよび830nmの光による2つの画像を、複数の光検出セル(画素とも称する。)によって検出する。
演算回路22(図3C)は、イメージセンサ703から760nmの波長に対応する複数の光検出セルのデータと、830nmの波長に対応する複数の光検出セルのデータとを個別に読み出す。図17Cに示すように、それぞれのデータにおける不足する画素のデータを補間して760nmの波長の画像と830nmの波長の画像とを生成する。この2枚の画像は完全に重なっているため、分割した2枚の画像から血流量と酸素飽和度を計算するのに比べて演算は簡単になる。この方法の課題は、それぞれの光源に対応したバンドパスフィルタを用いるのに比べてフィルタの遮蔽能力が低いために、光源間の混色が起こる懸念がある点である。
(実施形態8)
第8の実施形態として、画像を分割せずに2波長の光源に対応する2つの画像だけでなく、カラー画像も併せて取得可能な生体情報検出装置を説明する。
図18Aは、本実施形態における生体情報検出装置の構成を示す図である。図18Aでも点像光源は省略されているが、830nmと760nmの2波長の光をそれぞれ発する2つの光源がカメラ筐体6に内蔵されている。本実施形態ではカラー画像を取得するためにレンズ5の前面にバンドパスフィルタは設けられていない。可視光およびレーザー光源の照明光は、レンズ5によってイメージセンサ704の撮像面上に結像する。ここで用いられているイメージセンサ704は、通常のイメージセンサとは異なり、カラー画像を取得するための光検出セルと、近赤外画像を取得するための2種類の光検出セルとを含む。
図18Bは、イメージセンサ704の撮像面に配列された複数のバンドパスフィルタ(またはカラーフィルタ)を示す図である。図18Bの下の図は、各フィルタに対向する画素の相対感度の波長依存性を示している。図18Bに示されるように、青色、緑色、赤色の光をそれぞれ透過する3種類のカラーフィルタ(R,G,Bフィルタ)と、650nm以上の光を透過させるフィルタIR−1と、800nm以上の光を透過させるカラーフィルタIR−2とが撮像面上に配列されている。フィルタIR−1の群を第1のバンドパスフィルタ群と称し、フィルタIR−2の群を第2のバンドパスフィルタ群と称し、R,G,Bフィルタの群を第3のバンドパスフィルタ群と称する。斜め方向に隣接して2つの緑フィルタが配置され、その対角側に赤および青のフィルタが配置される配列は通常のイメージセンサのベイヤー配列と同じである。ベイヤー配列の4つのフィルタの基本単位の横に、2つのフィルタIR−1,IR−2が配置されている点が従来のイメージセンサと異なる。
実施形態7のフィルタIR1と、本実施形態のフィルタIR−1とでは、透過波長域が異なっている。実施形態7におけるフィルタIR1は、650−800nmの波長域の光を透過させる比較的狭帯域のフィルタであったのに対し、本実施形態では、650nm以上の波長域の光を透過させるフィルタを用いた。これはイメージセンサ703の製造工程を簡素化するためである。ただしこれに限られず、実施形態7に示すカラーフィルタを用いることも可能である。本実施形態のフィルタIR−1は760nmおよび830nmの両方に感度を持つ。このため、演算回路22は、フィルタIR−1に対向する光検出セルの信号からフィルタIR−2に対向する光検出セルの信号を引いて760nmに相当する信号を計算した上で血中酸素飽和度を求める。これにより、図18Cに示すように、イメージセンサ704から、赤・青・緑の画像(カラー画像)と、760nm、830nmの各波長の画像とが求められる。
この方式では、第7の実施形態に比べてもさらに混色が発生し易い。しかし、簡単な1台のカメラを用いたシステムでカラー画像と血流量および血中酸素飽和度を同時に得ることができる。
ここでは、赤外域の2波長および可視域の3波長(赤、青、緑)の5波長に対応するマルチスペクトルセンサーを用いた生体情報センシングカメラの構成例について述べた。実施形態1で説明した人体検知方式のカメラであれば、赤外域1波長および可視域3波長(赤、青、緑)の4波長の計測でカラー撮像と人体検知が可能となる。このような用途には、例えば図18Dに示した、4波長に対応した4種類のカラーフィルタを有するマルチスペクトルセンサーを利用できる。カラーフィルタはイメージセンサで通常用いられるベイヤー配列の二つの緑画素のうち一つの画素に近赤外(IR)画素を割り付けている。ここでは850nmの近赤外照明を点灯するシステムに対応するカメラを想定し、近赤外フィルタとしては、850nmを選択的に透過するようなフィルタを選択した。このようなカメラを用いることにより、一台のカメラシステムで通常のカラーカメラと生体検知カメラを兼用することが可能となる。監視カメラが一台で済み、人体を検知した部分のカラー画像を切り出すことも2台のカメラを用いるよりも容易になる。ここでは850nmに対応したカラーフィルタを用いたが、用いる近赤外光源に応じて近赤外フィルタを変更することが可能である。
(他の実施形態)
以上、本開示の実施形態を例示したが、本開示は上記の実施形態に限定されず、多様な変形が可能である。上述した各実施形態について説明した処理は、他の実施形態においても適用できる場合がある。以下、他の実施形態の例を説明する。
以上の実施形態では、配列点像光源にレーザー光源を用いているが、他の種類の光源を用いてもよい。例えば、より安価なLED光源を用いることも可能である。ただし、レーザー光源に比べてLED光源は直進性が低く広がりやすい。このため、専用の集光光学系を用いるか、撮像対象物とカメラとの距離を制約するなどの注意を使用の際に払う必要がある。配列点像光源の数についても、1個または2個に限らず、3個以上の光源を用いてもよい。
生体情報検出装置は、光学系の焦点を調整する調整機構を備えていてもよい。そのような調整機構は、例えば不図示のモータおよび図3Cに示す制御回路25によって実現され得る。そのような調整機構は、光源によって対象物に投影されるドットパターンの像のコントラストを最大にするように光学系の焦点を調整する。これにより、実施形態1において説明したコントラストの計算の精度が向上する。
演算回路22は、撮像素子から出力された画像信号を用いた顔認識処理を行い、画像に生体の額、鼻、口、眉毛、および毛髪の少なくとも1つが含まれている場合にのみ、生体に関する情報を生成して出力してもよい。生体の額、鼻、口、眉毛、および毛髪のいずれもが画像に含まれていない場合には、エラー表示を行うようなシステムを実現してもよい。
演算回路22は、画像信号に基づいて、メラニン色素の濃度、しみの有無、あざの有無の少なくとも1つを含む表皮内の情報を生成してもよい。前述のように、表皮は光を強く吸収するメラニン色素を含む。しみおよびあざは、メラニン色素の増加によって生じる。したがって、生体の表面からの光の強度分布に基づいてメラニン色素の濃度、しみ、あざを検出することができる。
本開示では、2台のカメラを用いるダブルカメラ方式(図7)、二組の光学系と二組のイメージセンサが一台のカメラに搭載されたステレオカメラ方式(図12)、二組のレンズと一つのイメージセンサを用いるステレオレンズ方式(図13)、レンズアダプタを用いて一つのレンズと一つのイメージセンサを用いるステレオアダプター方式(図15)、イメージセンサを用いて画像を分割する方式(図17A、図18A)を説明した。既に述べたようにそれぞれの方式には利点と欠点があるため、用途に応じて最適な方式を選択することができる。
以上説明したように、本開示の実施形態によれば、被験者を拘束せず、かつセンサ等の検出装置を被験者に接触させることなく、心拍数および血流量だけでなく血中酸素飽和度も測定することができる。被験者の異なる部位の血流量および酸素飽和度の測定値から、被験者の情動または体調を推定することもできる。
本開示の生体情報検出装置は、被験者の心拍数、血流量、血圧、血中酸素飽和度、情動、および体調等の生体情報を検出する用途に有用である。
1、101、102 光源
2、201、202 カメラ
3 生体
4 生体表面
5、501、502 レンズ
6 カメラ筐体
7、701、702、703、704 イメージセンサ
8、801、802 バンドパスフィルタ
901、902、151、152、153、154 ミラー
11 シャッターボタン
20 コンピュ−タ
21 入力インタフェース
22 演算回路
23 出力インタフェース
24 メモリ
25 制御回路
31 毛細血管
32 細動静脈
33 表皮
34 真皮
35 皮下組織
L0 光
L1 表面反射光
L2 体内散乱光

Claims (13)

  1. 第1の光による少なくとも1つの第1のドットを生体に投影する第1の光源と、
    第2の光による少なくとも1つの第2のドットを前記生体に投影する第2の光源と、
    前記第1の光を検出する複数の第1の光検出セル、および前記第2の光を検出する複数の第2の光検出セルを含み、前記少なくとも1つの第1のドットが投影された前記生体の第1の画像を示す第1の画像信号、および前記少なくとも1つの第2のドットが投影された前記生体の第2の画像を示す第2の画像信号を生成して出力する撮像システムと、
    前記撮像システムから出力された前記第1の画像信号および前記第2の画像信号を用いて、前記生体に関する情報を生成して出力する演算回路と、
    を備え、
    前記第1の光の波長および前記第2の光の波長は、いずれも650nm以上950nm以下であり、
    前記第2の光の前記波長は、前記第1の光の前記波長よりも50nm以上長い、生体情報検出装置。
  2. 前記撮像システムは、
    前記複数の第1の光検出セルが配置された第1の領域と、前記複数の第2の光検出セルが配置された第2の領域とに分割された撮像面を有する撮像素子と、
    前記第1の領域に前記第1の画像を形成する第1の光学系と、
    前記第2の領域に前記第2の画像を形成する第2の光学系と、
    をさらに含む、請求項1に記載の生体情報検出装置。
  3. 前記撮像システムは、
    前記第1の領域に入射する前記第1の光の経路上に配置され、前記第1の光を透過させる第1のバンドパスフィルタと、
    前記第2の領域に入射する前記第2の光の経路上に配置され、前記第2の光を透過させる第2のバンドパスフィルタと、
    をさらに含む、請求項2に記載の生体情報検出装置。
  4. 前記撮像システムは、
    前記複数の第1の光検出セルおよび前記複数の第2の光検出セルが配置された撮像面と、前記複数の第1の光検出セルに対向し前記第1の光を透過させる複数の第1のバンドパスフィルタと、前記複数の第2の光検出セルに対向し前記第2の光を透過させる複数の第2のバンドパスフィルタとを有する撮像素子と、
    前記撮像面に前記第1の画像および前記第2の画像を形成する光学系と、
    をさらに含む、請求項1に記載の生体情報検出装置。
  5. 前記撮像システムは、
    前記複数の第1の光検出セル、前記複数の第2の光検出セル、および複数の第3の光検出セルが配置された撮像面と、前記複数の第1の光検出セルに対向し前記第1の光を透過させる複数の第1のバンドパスフィルタと、前記複数の第2の光検出セルに対向し前記第2の光を透過させる複数の第2のバンドパスフィルタと、前記複数の第3の光検出セルに対向し可視光を透過させる複数の第3のバンドパスフィルタとを有する撮像素子と、
    前記撮像面に前記第1の画像および前記第2の画像を形成する光学系と、
    を有し、
    前記複数の第3のバンドパスフィルタは、互いに透過波長域の異なる複数の色フィルタを含み、
    前記撮像素子は、前記複数の第3の光検出セルを用いてカラー画像信号を生成して出力する、請求項1に記載の生体情報検出装置。
  6. 前記演算回路は、前記第1の画像信号および前記第2の画像信号を用いて、前記生体の血中酸素飽和度を示す情報を生成して出力する、請求項1から5のいずれかに記載の生体情報検出装置。
  7. 前記演算回路は、前記第1の画像信号および前記第2の画像信号に基づいて、前記生体の血流量および血中酸素飽和度を計算し、前記血流量および前記血中酸素飽和度に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも1つを示す情報を生成して出力する、請求項1から5のいずれかに記載の生体情報検出装置。
  8. 前記第1の画像および前記第2の画像に前記生体の額部および鼻部からなる群から選択される少なくとも1つが含まれるとき、
    前記演算回路は、前記第1の画像信号および前記第2の画像信号に基づいて、前記額部および前記鼻部からなる群から選択される前記少なくとも1つにおける血流量および血中酸素飽和度を計算し、前記血流量の時間変化および前記血中酸素飽和度の時間変化に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも1つを示す情報を生成して出力する、請求項1から5のいずれかに記載の生体情報検出装置。
  9. 前記第1の画像および前記第2の画像に前記生体の額部および鼻部が含まれるとき、
    前記演算回路は、前記第1の画像信号および前記第2の画像信号に基づいて、前記額部および前記鼻部それぞれの血流量および血中酸素飽和度を計算し、前記額部における前記血流量の時間変化および前記血中酸素飽和度の時間変化と、前記鼻部における前記血流量の時間変化および前記血中酸素飽和度の時間変化との比較に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも1つを示す情報を生成して出力する、請求項1から5のいずれかに記載の生体情報検出装置。
  10. 前記第1の光源および前記第2の光源は、レーザー光源である、請求項1から9のいずれかに記載の生体情報検出装置。
  11. 前記撮像システムは、
    前記複数の第1の光検出セルおよび前記複数の第2の光検出セルが配置された撮像面を有する撮像素子と、
    前記撮像面に前記第1の画像および前記第2の画像を形成する光学系と、
    前記光学系の焦点を調整する調整機構と、
    をさらに含み、
    前記調整機構は前記焦点を調整することにより、前記第1の画像および前記第2の画像のコントラストを最大にする、請求項1に記載の生体情報検出装置。
  12. 前記演算回路は、前記第1の画像信号および前記第2の画像信号を用いた顔認識処理を行い、前記第1の画像および前記第2の画像に前記生体の額、鼻、口、眉毛、および毛髪からなる群から選択される少なくとも1つが含まれている場合に、前記生体に関する情報を生成して出力する、請求項1から11のいずれかに記載の生体情報検出装置。
  13. 前記生体に関する情報が、メラニン色素の濃度、しみの有無、およびあざの有無からなる群から選択される少なくとも1つである、請求項1から5のいずれかに記載の生体情報検出装置。
JP2016106377A 2015-06-04 2016-05-27 生体情報検出装置 Pending JP2017000743A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015113898 2015-06-04
JP2015113898 2015-06-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020202903A Division JP2021045600A (ja) 2015-06-04 2020-12-07 生体情報検出装置

Publications (1)

Publication Number Publication Date
JP2017000743A true JP2017000743A (ja) 2017-01-05

Family

ID=57450977

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016106377A Pending JP2017000743A (ja) 2015-06-04 2016-05-27 生体情報検出装置
JP2016106376A Active JP6899537B2 (ja) 2015-06-04 2016-05-27 人体検出装置
JP2020202903A Pending JP2021045600A (ja) 2015-06-04 2020-12-07 生体情報検出装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016106376A Active JP6899537B2 (ja) 2015-06-04 2016-05-27 人体検出装置
JP2020202903A Pending JP2021045600A (ja) 2015-06-04 2020-12-07 生体情報検出装置

Country Status (3)

Country Link
US (3) US9940710B2 (ja)
JP (3) JP2017000743A (ja)
CN (3) CN106236060B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019115561A (ja) * 2017-12-27 2019-07-18 国立大学法人滋賀医科大学 心理状態判定方法、判定装置、判定システムおよび判定プログラム
JP2019198531A (ja) * 2018-05-17 2019-11-21 Cyberdyne株式会社 生体情報計測装置及び生体情報計測方法
JP2020137541A (ja) * 2019-02-26 2020-09-03 国立大学法人大阪大学 データ作成装置
JP2022048301A (ja) * 2017-09-25 2022-03-25 日本電気株式会社 システム、方法およびプログラム
US11445920B2 (en) 2017-06-23 2022-09-20 Panasonic Intellectual Property Management Co., Ltd. Information processing method, information processing device, and information processing system
US12029530B2 (en) 2017-06-23 2024-07-09 Panasonic Intellectual Property Management Co., Ltd. Information processing method, information processing device, and information processing system

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494967B2 (en) * 2011-03-11 2013-07-23 Bytemark, Inc. Method and system for distributing electronic tickets with visual display
EP3188652A4 (en) * 2014-10-14 2018-05-23 East Carolina University Methods, systems and computer program products for determining hemodynamic status parameters using signals derived from multispectral blood flow and perfusion imaging
EP3188651A4 (en) 2014-10-14 2018-07-04 East Carolina University Methods, systems and computer program products for visualizing anatomical structures and blood flow and perfusion physiology using imaging techniques
US11553844B2 (en) * 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
TWI601514B (zh) * 2015-01-29 2017-10-11 明泰科技股份有限公司 智能監測系統與方法及使用其之攝影裝置
US10390718B2 (en) 2015-03-20 2019-08-27 East Carolina University Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
US10638938B1 (en) 2015-06-14 2020-05-05 Facense Ltd. Eyeglasses to detect abnormal medical events including stroke and migraine
US10349887B1 (en) 2015-06-14 2019-07-16 Facense Ltd. Blood pressure measuring smartglasses
US11154203B2 (en) 2015-06-14 2021-10-26 Facense Ltd. Detecting fever from images and temperatures
US11064892B2 (en) 2015-06-14 2021-07-20 Facense Ltd. Detecting a transient ischemic attack using photoplethysmogram signals
US10667697B2 (en) 2015-06-14 2020-06-02 Facense Ltd. Identification of posture-related syncope using head-mounted sensors
US11103140B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Monitoring blood sugar level with a comfortable head-mounted device
US10376163B1 (en) 2015-06-14 2019-08-13 Facense Ltd. Blood pressure from inward-facing head-mounted cameras
US11103139B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Detecting fever from video images and a baseline
US10791938B2 (en) 2015-06-14 2020-10-06 Facense Ltd. Smartglasses for detecting congestive heart failure
US10799122B2 (en) 2015-06-14 2020-10-13 Facense Ltd. Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses
US11382545B2 (en) * 2015-10-09 2022-07-12 Senseye, Inc. Cognitive and emotional intelligence engine via the eye
CA3004167C (en) * 2015-11-03 2019-02-05 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
CN107550474A (zh) * 2016-06-30 2018-01-09 松下知识产权经营株式会社 生物体信息检测装置
US10210320B2 (en) * 2016-09-21 2019-02-19 Lextron Systems, Inc. System and method for secure 5-D user identification
EP3312762B1 (en) * 2016-10-18 2023-03-01 Axis AB Method and system for tracking an object in a defined area
CN108363939B (zh) * 2017-01-26 2022-03-04 阿里巴巴集团控股有限公司 特征图像的获取方法及获取装置、用户认证方法
CN107280657A (zh) * 2017-06-20 2017-10-24 淮阴师范学院 一种便于观察频率的非接触式红外心跳测速装置
WO2019039104A1 (ja) * 2017-08-24 2019-02-28 パナソニックIpマネジメント株式会社 生体計測装置およびヘッドマウントディスプレイ装置
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
CN108875508B (zh) * 2017-11-23 2021-06-29 北京旷视科技有限公司 活体检测算法更新方法、装置、客户端、服务器及系统
JP2019097771A (ja) * 2017-11-30 2019-06-24 フクダ電子株式会社 パルスオキシメータ及び生体情報測定用プローブ
WO2019127194A1 (zh) * 2017-12-28 2019-07-04 中国科学院自动化研究所 非接触式脑血氧检测系统
CN109991227B (zh) * 2018-01-02 2021-05-25 宇瞻科技股份有限公司 胶原蛋白的检测方法
JP2019139433A (ja) * 2018-02-08 2019-08-22 株式会社アサヒ電子研究所 顔認証装置、顔認証方法および顔認証プログラム
TW201938107A (zh) * 2018-03-19 2019-10-01 秀育企業股份有限公司 利用不可見光辨識與判定生理特徵的方法
TWI712909B (zh) * 2018-04-17 2020-12-11 和碩聯合科技股份有限公司 輔助臉部辨識的防僞方法及系統
CN108710843B (zh) * 2018-05-14 2021-12-07 广州市真地信息技术有限公司 用于考勤的面部检测方法和装置
CN111970971B (zh) * 2018-05-30 2024-08-27 松下知识产权经营株式会社 识别装置及识别方法
CN109119163A (zh) * 2018-07-16 2019-01-01 安徽昱康智能科技有限公司 基于面部识别的健康检测方法及其系统
WO2020021886A1 (ja) * 2018-07-23 2020-01-30 パナソニックIpマネジメント株式会社 生体状態検出装置および生体状態検出方法
CN109002817A (zh) * 2018-08-31 2018-12-14 武汉理工大学 基于自动驾驶车辆驾驶疲劳时变规律的接管绩效监测预警系统
CN116952940A (zh) * 2018-10-30 2023-10-27 夏普株式会社 脉波检测装置、脉波检测方法以及计算机可读取存储介质
US11914692B2 (en) 2018-11-06 2024-02-27 Sony Corporation Information processing apparatus and information processing method
JP7191373B2 (ja) * 2018-11-16 2022-12-19 マイクロモジュールテクノロジー株式会社 光学装置、分光センサモジュール、撮像モジュール、及び光学装置の製造方法
JP2020086004A (ja) * 2018-11-19 2020-06-04 株式会社日立製作所 生体情報検出装置及び生体情報検出方法
CN109363650A (zh) * 2018-12-18 2019-02-22 浙江工业大学 一种基于载波调制方法的血氧饱和度及脉搏测量系统
CN109771052B (zh) * 2018-12-28 2021-07-27 合刃科技(深圳)有限公司 基于多目成像和多偏振态成像的三维图像建立方法及系统
CN109740522B (zh) * 2018-12-29 2023-05-02 广东工业大学 一种人员检测方法、装置、设备及介质
US11908157B2 (en) * 2019-03-22 2024-02-20 Nec Corporation Image processing device, image processing method, and recording medium in which program is stored
US10997396B2 (en) 2019-04-05 2021-05-04 Realnetworks, Inc. Face liveness detection systems and methods
JP2020177037A (ja) * 2019-04-15 2020-10-29 キヤノン株式会社 撮像装置、撮像システム、コンピュータプログラム及び記憶媒体
US10997721B2 (en) * 2019-05-06 2021-05-04 Beth Allison Lopez Microbe scanning device and methods thereof
WO2021124395A1 (ja) * 2019-12-16 2021-06-24 日本電気株式会社 判定システム、判定方法、コンピュータプログラム、及び認証システム
EP3838128A1 (en) * 2019-12-16 2021-06-23 Koninklijke Philips N.V. Device and method for determining a vital sign of a subject
US11468712B2 (en) 2020-01-09 2022-10-11 AuthenX Inc. Liveness detection apparatus, system and method
US11423639B2 (en) * 2020-07-31 2022-08-23 Ford Global Technologies, Llc Hidden camera detection systems and methods
US20230218184A1 (en) * 2020-09-21 2023-07-13 Maxim Integrated Products, Inc. Narrow beam optical sensor system
EP4159119A4 (en) * 2020-11-04 2023-11-22 Leimac Ltd. CONTACTLESS BLOOD VESSEL ANALYZER
DE102020214713A1 (de) 2020-11-24 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Unterscheiden einer realen Person von einem Surrogat
US11894939B2 (en) * 2021-05-11 2024-02-06 Cisco Technology, Inc. Validation of currency and authenticity of a conference participant's video image
US12010466B2 (en) 2021-06-22 2024-06-11 Industrial Technology Research Institute Visual recognition based method and system for projecting patterned light, method and system applied to oral inspection, and machining system
SE2130254A1 (en) * 2021-09-23 2023-03-24 Rths Ab A sensing arrangement for obtaining data from a body part using accurate reference values

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10127585A (ja) * 1996-10-25 1998-05-19 Kao Corp 皮膚の表面状態の光学的特性の測定方法及び装置
JP2007050144A (ja) * 2005-08-19 2007-03-01 Muroran Institute Of Technology 自律神経活動評価装置
JP2007125151A (ja) * 2005-11-02 2007-05-24 Konica Minolta Holdings Inc 診断システム及び診断装置
JP2009153609A (ja) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd 健康管理システム
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2868192B2 (ja) 1991-07-30 1999-03-10 学校法人帝京平成大学 人の心理的変化の推定方法及び装置
US7039446B2 (en) * 2001-01-26 2006-05-02 Sensys Medical, Inc. Indirect measurement of tissue analytes through tissue properties
JP4490587B2 (ja) 1998-11-18 2010-06-30 エルエーアー メディツィンテクニック ゲーエムベーハー 酸素代謝を組織中で非侵襲的に検出するための装置
JP3877959B2 (ja) 2000-12-28 2007-02-07 花王株式会社 肌色測定装置および肌画像処理装置
US7545963B2 (en) 2003-04-04 2009-06-09 Lumidigm, Inc. Texture-biometrics sensor
JP4385677B2 (ja) 2003-08-05 2009-12-16 セイコーエプソン株式会社 生体情報計測装置
CN1223842C (zh) * 2003-10-31 2005-10-19 清华大学 漫射光的生物组织血氧代谢的无损监测方法及其系统
JP2005218507A (ja) 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
EP1566142A1 (en) * 2004-02-19 2005-08-24 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Imaging of buried structures
JP2006047067A (ja) * 2004-08-03 2006-02-16 Funai Electric Co Ltd 人体検出装置及び人体検出方法
JP2009511094A (ja) * 2005-09-01 2009-03-19 ルミダイム インコーポレイテッド バイオメトリックセンサ
JP2007111357A (ja) * 2005-10-21 2007-05-10 Olympus Medical Systems Corp 生体撮像装置及び生体観測システム
JP2007125144A (ja) * 2005-11-02 2007-05-24 Omega Wave Kk レーザー血流画像装置
WO2007060873A1 (ja) * 2005-11-24 2007-05-31 Kirin Techno-System Corporation 表面検査装置
CN101506826A (zh) 2006-07-19 2009-08-12 光谱辨识公司 多重生物测定多谱成像器
JP4963921B2 (ja) * 2006-09-29 2012-06-27 シスメックス株式会社 非侵襲生体計測装置
CN100576231C (zh) * 2007-01-15 2009-12-30 中国科学院自动化研究所 图像采集装置及应用该装置的人脸识别系统和方法
US8224045B2 (en) * 2007-01-17 2012-07-17 Carestream Health, Inc. System for early detection of dental caries
JP5077929B2 (ja) 2007-03-23 2012-11-21 独立行政法人海上技術安全研究所 緊張度計測用熱源支持装置
JP4393568B2 (ja) 2008-09-26 2010-01-06 日本電信電話株式会社 脈波測定器
JP2010124935A (ja) 2008-11-26 2010-06-10 Mitsumi Electric Co Ltd 生体情報検出装置、生体情報検出方法、生体情報検出プログラム
JP5681915B2 (ja) * 2010-03-27 2015-03-11 旭光電機株式会社 血液採取装置
JP2012014668A (ja) 2010-06-04 2012-01-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および電子装置
US8649838B2 (en) * 2010-09-22 2014-02-11 Covidien Lp Wavelength switching for pulse oximetry
CN102028477B (zh) * 2010-12-22 2012-08-08 中国科学院光电技术研究所 一种测量眼底视网膜血氧饱和度的装置及方法
US20130329031A1 (en) * 2011-04-22 2013-12-12 Hitachi, Ltd. Blood vessel image pickup device, and organism authentication device
GB201114406D0 (en) 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
CA2847540C (en) 2011-09-22 2016-05-17 Pfizer Inc. Pyrrolopyrimidine and purine derivatives
JP2013103094A (ja) * 2011-11-16 2013-05-30 Sony Corp 測定装置、測定方法、プログラム及び記録媒体
KR20130056082A (ko) * 2011-11-21 2013-05-29 삼성전기주식회사 지문 인식 센서 및 그 동작 방법
US9001326B2 (en) * 2011-12-13 2015-04-07 Welch Allyn, Inc. Method and apparatus for observing subsurfaces of a target material
JP5915664B2 (ja) * 2011-12-15 2016-05-11 富士通株式会社 静脈認証方法及び静脈認証装置
JPWO2013114806A1 (ja) * 2012-01-30 2015-05-11 Necソリューションイノベータ株式会社 生体認証装置及び生体認証方法
JP5930531B2 (ja) * 2012-05-24 2016-06-08 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
EP2879569A1 (en) * 2012-07-30 2015-06-10 Koninklijke Philips N.V. Device and method for extracting physiological information
TWI561216B (en) * 2012-08-25 2016-12-11 Univ Nat Chiao Tung Stimuli generating methods, devices and control systemsto induce visual evoked potentials using imperceptible flickering multi-color lights
JP2014067193A (ja) * 2012-09-25 2014-04-17 Canon Inc 画像処理装置および画像処理方法
CN103271744A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于成像设备的非接触式血氧饱和度测量方法
EP2762066A1 (en) 2013-02-05 2014-08-06 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
KR20140108417A (ko) * 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
JP6052027B2 (ja) * 2013-03-29 2016-12-27 富士通株式会社 脈波検出装置、脈波検出プログラムおよび脈波検出方法
EP2837333A3 (en) * 2013-06-12 2015-05-13 Kabushiki Kaisha Toshiba Biological optical measurement apparatus and ultrasound diagnostic apparatus
US10506960B2 (en) * 2013-07-10 2019-12-17 Koninklijke Philips N.V. System for screening of the state of oxygenation of a subject
JP6273640B2 (ja) * 2013-10-23 2018-02-07 パナソニックIpマネジメント株式会社 撮影画像表示装置
JP6189716B2 (ja) * 2013-10-31 2017-08-30 シャープ株式会社 測定装置
JP6205556B2 (ja) * 2014-06-03 2017-10-04 株式会社イデアクエスト 呼吸運動測定装置
CN104545864B (zh) * 2014-12-25 2017-08-11 中国科学院深圳先进技术研究院 心理调节方法和装置
US20160195718A1 (en) * 2015-01-06 2016-07-07 Avegant Corporation System, method, and apparatus for displaying an image using multiple diffusers
CN107408298B (zh) * 2015-03-13 2021-05-28 日本电气株式会社 生命体检测设备、生命体检测方法和记录介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10127585A (ja) * 1996-10-25 1998-05-19 Kao Corp 皮膚の表面状態の光学的特性の測定方法及び装置
JP2007050144A (ja) * 2005-08-19 2007-03-01 Muroran Institute Of Technology 自律神経活動評価装置
JP2007125151A (ja) * 2005-11-02 2007-05-24 Konica Minolta Holdings Inc 診断システム及び診断装置
JP2009153609A (ja) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd 健康管理システム
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
上田 智章: "Kinectが変えるセンシングの世界", インターネット, JPN6020014798, 25 January 2013 (2013-01-25), ISSN: 0004255954 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11445920B2 (en) 2017-06-23 2022-09-20 Panasonic Intellectual Property Management Co., Ltd. Information processing method, information processing device, and information processing system
US12029530B2 (en) 2017-06-23 2024-07-09 Panasonic Intellectual Property Management Co., Ltd. Information processing method, information processing device, and information processing system
JP2022048301A (ja) * 2017-09-25 2022-03-25 日本電気株式会社 システム、方法およびプログラム
JP7298728B2 (ja) 2017-09-25 2023-06-27 日本電気株式会社 システム、方法およびプログラム
JP2019115561A (ja) * 2017-12-27 2019-07-18 国立大学法人滋賀医科大学 心理状態判定方法、判定装置、判定システムおよび判定プログラム
JP7051083B2 (ja) 2017-12-27 2022-04-11 国立大学法人滋賀医科大学 心理状態判定方法、判定装置、判定システムおよび判定プログラム
JP2019198531A (ja) * 2018-05-17 2019-11-21 Cyberdyne株式会社 生体情報計測装置及び生体情報計測方法
JP7132568B2 (ja) 2018-05-17 2022-09-07 Cyberdyne株式会社 生体情報計測装置及び生体情報計測方法
JP2020137541A (ja) * 2019-02-26 2020-09-03 国立大学法人大阪大学 データ作成装置
JP7162884B2 (ja) 2019-02-26 2022-10-31 国立大学法人大阪大学 データ作成装置

Also Published As

Publication number Publication date
CN106236060B (zh) 2021-04-09
CN106236060A (zh) 2016-12-21
JP2017000742A (ja) 2017-01-05
JP2021045600A (ja) 2021-03-25
US20160358011A1 (en) 2016-12-08
CN106236061B (zh) 2021-09-21
US20160358332A1 (en) 2016-12-08
US9940710B2 (en) 2018-04-10
CN112932416A (zh) 2021-06-11
US20210264598A1 (en) 2021-08-26
US11030739B2 (en) 2021-06-08
JP6899537B2 (ja) 2021-07-07
CN106236061A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
JP6899537B2 (ja) 人体検出装置
JP7450167B2 (ja) 生体情報検出装置
JP7336696B2 (ja) 生体情報検出装置
EP3809950B1 (en) Device, system and method for image segmentation of an image of a scene including a subject
US20230240591A1 (en) Health analysis using a spectral sensor system
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
JP7051083B2 (ja) 心理状態判定方法、判定装置、判定システムおよび判定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200908