JP2023145468A - 運転の適正度を判定するシステム - Google Patents

運転の適正度を判定するシステム Download PDF

Info

Publication number
JP2023145468A
JP2023145468A JP2023111010A JP2023111010A JP2023145468A JP 2023145468 A JP2023145468 A JP 2023145468A JP 2023111010 A JP2023111010 A JP 2023111010A JP 2023111010 A JP2023111010 A JP 2023111010A JP 2023145468 A JP2023145468 A JP 2023145468A
Authority
JP
Japan
Prior art keywords
driving
information
work
driver
biological information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023111010A
Other languages
English (en)
Inventor
尚志 渡邉
Hisashi Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018016972A external-priority patent/JP7045639B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2023145468A publication Critical patent/JP2023145468A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/12Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identity check
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Toxicology (AREA)

Abstract

Figure 2023145468000001
【課題】個人差の影響を抑え、安定して作業の適正度の判定を行う。
【解決手段】本開示の一態様に係る方法は、コンピュータによって実行される処理方法であって、車両を運転する運転者の生体情報を取得することと、前記運転者による運転操作に関する運転情報を取得することと、前記運転者が前記運転を行っている間の、前記生体情報と、前記運転情報とを、関連付けて記憶装置に蓄積させることと、(1)前記記憶装置に蓄積された、過去における前記運転情報と前記生体情報との相関関係、(2)現在における前記運転者の前記生体情報、および(3)現在における運転情報に基づいて、現在における前記運転者の前記運転の適正度を判定することと、を含む。
【選択図】図1A

Description

本開示は、運転の適正度を判定するシステムに関する。
日常の作業において精神の集中度は極めて重要である。注意力を欠いた散漫な作業は、効率の低下だけでなく、事故に繋がる危険がある。例えば、業務中に集中度を欠くと、作業効率の低下と生産性の低下を招く。さらに、車両の運転時に集中力を欠いたり、眠気に襲われたりすることは、交通事故の直接の原因となり得る。集中度を常時モニタし、その時々の集中度または緊張度に応じて適切な助言または補助ができれば、作業効率の向上または安全性の向上に貢献できる。実際、このような取り組みは数多く提案されている。例えば、精神の集中度を様々な生体情報から判定して、集中度に応じて助言または補助を行う技術が提案されている。特許文献1から3は、そのような技術の例を開示している。
特開2002-65650号公報 特許第6003782号公報 特許第5119375号公報
作業の適正度に関わる精神状態を判定する従来のシステムには、生体情報の個人差が大きく、同一人物でも計測ごとにばらつきが大きいという課題があった。
本開示は、生体情報の個人差の影響を抑え、安定して作業者の作業の適正度を判定することができる方法およびシステムを提供する。
本開示の一態様に係る方法は、コンピュータによって実行される処理方法であって、車両を運転する運転者の生体情報を取得することと、前記運転者による運転操作に関する運転情報を取得することと、前記運転者が前記運転を行っている間の、前記生体情報と、前記運転情報とを、関連付けて記憶装置に蓄積させることと、(1)前記記憶装置に蓄積された、過去における前記運転情報と前記生体情報との相関関係、(2)現在における前記運転者の前記生体情報、および(3)現在における前記運転情報に基づいて、現在における前記運転者の前記運転の適正度を判定することと、を含む。
本開示の包括的または具体的な態様は、素子、装置、システム、方法、またはこれらの任意の組み合わせによって実現されてもよい。
本開示の一態様によれば、個人差の影響を抑え、安定して運転の適正度の判定を行うことが可能になる。
本開示の例示的な実施形態における作業適正度判定システムの構成を示す図 本開示の例示的な実施形態における作業適正度判定システムの動作の例を示す図 ストレスによる生体反応の個人差を示す説明図 均一な分布を持つ光を出射する光源を用いた撮像装置を示す図 時間変調された光を出射する光源を用いた撮像装置の概念を示す図 空間変調された光を出射する光源を用いた撮像装置の概念を示す図 本開示の実施形態1に係る作業適正度判定システムの配置例を示す図 本開示の実施形態1に係る脳血流計測装置の概略を表す図 本開示の実施形態1に係る作業適正度判定システムの構成を表す図 運転の作業負荷の計算例を示す図 運転タスク時の脳血流変化の実測値を表す図 脳血流の推定方法を説明するための第1の図 脳血流の推定方法を説明するための第2の図 脳血流の推定方法を説明するための第3の図 正常運転時における推定された脳血流変化と実測された脳血流変化を示す図 運転適正を欠いた状態における推定された脳血流変化と実測された脳血流変化を示す図 本開示の実施形態2に係る作業ストレスを測定するシステムの配置例を示す図 実施形態2における脳血流計測装置の構成例を示す図 実施形態2における生体情報取得の信号処理を説明するための第1の図 実施形態2における生体情報取得の信号処理を説明するための第2の図 実施形態2における生体情報取得の信号処理を説明するための第3の図 作業時の作業状況と生体情報との関係の例を示す図 長期間のデータに基づいて推定された生体情報および作業情報の分布を示す図 実測された生体情報分布の一例を示す図 実測された生体情報分布の他の例を示す図 実施形態3における生体情報取得の信号処理を説明するための第1の図 実施形態3における生体情報取得の信号処理を説明するための第2の図 実施形態3における生体情報取得の信号処理を説明するための第3の図
本開示は、以下の各項目に記載の作業適正度判定システム、方法、及びコンピュータプログラムを含む。
[項目1]
本開示の項目1に係る作業適正度判定システムは、
作業者の特徴に基づき作業者を特定し、前記作業者を特定する情報を出力する認証装置と、
前記作業者の生体情報を取得し、前記生体情報を出力する生体センシング装置と、
前記作業者が行っている作業の負荷を検出し、検出された前記作業の前記負荷を示す作業情報を出力する作業センシング装置と、
記憶装置と、
信号処理装置と、
を備える。
前記信号処理装置は、
前記作業者が前記作業を行っている間、前記作業者を特定する前記情報と、前記生体情報と、前記作業情報と、時刻情報とを、関連付けて前記記憶装置に蓄積させ、
前記記憶装置に蓄積された、過去における前記作業情報の時間推移と前記生体情報の時
間推移との相関関係に基づいて、現在における前記作業者の前記生体情報を推定し、
推定された現在における前記作業者の前記生体情報と、前記生体センシング装置によって取得された現在における前記作業者の前記生体情報と、を比較することにより、現在における前記作業者の前記作業の適正度を判定する。
[項目2]
項目1に記載の作業適正度判定システムにおいて、
前記認証装置は、前記作業を行う前に個人認証コードを前記作業者が入力することを可能にする入力装置を含み、
前記認証装置は、入力された前記個人認証コードに基づいて前記作業者を特定してもよい。
[項目3]
項目1に記載の作業適正度判定システムにおいて、
前記認証装置は、指紋、掌紋、虹彩、および静脈パターンからなる群から選択される少なくとも1つを用いて前記作業者を特定する生体認証装置を含んでいてもよい。
[項目4]
項目1に記載の作業適正度判定は、
前記作業者の画像を撮像して前記画像のデータを取得する撮像装置をさらに備え、
前記認証装置は、取得された前記画像の前記データに基づいて、前記作業者を特定してもよい。
[項目5]
項目1から4のいずれかに記載の作業適正度判定システムにおいて、
前記生体センシング装置は、
前記作業者から離れた地点に配置され、
前記作業者の頭部を含む画像を撮像して前記画像のデータを取得する撮像素子を含み、
取得した前記画像の前記データに基づいて、前記作業者の前記生体情報を取得してもよい。
[項目6]
項目1から4のいずれかに記載の作業適正度判定システムにおいて、
前記生体センシング装置は、
空間的または時間的に変調された近赤外光を出射する光源と、
前記光源によって照射された前記作業者の顔部を含む画像を撮像する撮像素子と、
を含んでいてもよい。
[項目7]
項目6に記載の作業適正度判定システムにおいて、
前記近赤外光は、ドットアレーパターン、ラインアンドスペースパターン、または市松パターンで空間的に変調されていてもよい。
[項目8]
項目6に記載の作業適正度判定システムにおいて、
前記近赤外光は、パルス光であり、
前記撮像素子は、前記パルス光を受けて信号電荷を蓄積する少なくとも1つの電荷蓄積部を含んでいてもよい。
[項目9]
項目1から8のいずれかに記載の作業適正度判定システムにおいて、
前記信号処理装置は、前記記憶装置に蓄積された前記相関関係を、多変量解析によって解析することにより、現在における前記作業者の前記生体情報を推定してもよい。
[項目10]
項目1から8のいずれかに記載の作業適正度判定システムにおいて、
前記信号処理装置は、前記記憶装置に蓄積された前記相関関係を、機械学習によって学習し、学習結果に基づいて、現在の前記作業者の前記生体情報を推定してもよい。
[項目11]
項目1から10のいずれかに記載の作業適正度判定システムにおいて、
前記作業者は、車両を運転する運転者であり、
前記作業は、前記車両の運転であり、
前記作業情報は、前記車両の運転操作に関する情報であってもよい。
[項目12]
項目11に記載の作業適正度判定システムにおいて、
前記運転操作は、アクセル操作、ブレーキ操作、およびハンドル操作からなる群から選択される少なくとも1つを含んでいてもよい。
[項目13]
項目11または12に記載の作業適正度判定システムにおいて、
前記作業センシング装置は、加速度センサを含み、
前記信号処理装置は、前記加速度センサから出力される情報に基づいて、前記運転操作に関する情報を推定してもよい。
[項目14]
項目11から13のいずれかに記載の作業適正度判定システムにおいて、
前記車両は、運転補助を含む自動運転機能を有し、
前記信号処理装置は、判定された前記運転者の前記適正度に応じて、前記運転補助の内容を決定し、前記車両に前記運転補助を実行させてもよい。
[項目15]
項目1から10のいずれかに記載の作業適正度判定システムにおいて、
前記作業は、コンピュータを用いた入力作業であり、
前記作業情報は、前記コンピュータに入力される操作に関する情報であってもよい。
[項目16]
項目15に記載の作業適正度判定システムにおいて、
前記操作は、キーボード入力およびマウス操作からなる群から選択される少なくとも1つを含んでいてもよい。
[項目17]
項目15または16に記載の作業適正度判定システムにおいて、
前記信号処理装置は、判定された前記作業者の前記適正度に応じて、前記入力作業に対する助言を示す画像または音声を、前記コンピュータに出力させてもよい。
[項目18]
項目1から10のいずれかに記載の作業適正度判定システムにおいて、
前記作業は、コンピュータを用いた学習であり、
前記作業情報は、前記学習の内容と、前記コンピュータの操作と、に関する情報であってもよい。
[項目19]
項目18に記載の作業適正度判定システムにおいて、
前記信号処理装置は、判定された前記作業者の前記適正度に応じた学習コンテンツを、前記コンピュータに提供させてもよい。
[項目20]
本開示の項目20に係る作業者の作業の適正度を判定する方法は、
前記作業者を特定する情報、前記作業を行っている前記作業者の生体情報、および前記作業の負荷を示す作業情報を取得し、
前記作業者を特定する前記情報と、前記生体情報と、前記作業情報と、時刻情報とを、関連付けて記憶装置に蓄積させ、
前記記憶装置に蓄積された、過去における前記作業情報の時間推移と前記生体情報の時間推移との相関関係に基づいて、現在における前記作業者の前記生体情報を推定し、
推定された現在における前記作業者の前記生体情報と、取得された現在における前記作業者の前記生体情報と、を比較することにより、現在における前記作業者の前記作業の前記適正度を判定する。
[項目21]
本開示の項目21に係るコンピュータプログラムは、
コンピュータによって読み取り可能な記録媒体に格納されるコンピュータプログラムであって、
前記コンピュータに、
作業者を特定する情報、作業を行っている前記作業者の生体情報、および前記作業の負荷を示す作業情報を取得し、
前記作業者を特定する前記情報と、前記生体情報と、前記作業情報と、時刻情報とを、関連付けて記憶装置に蓄積させ、
前記記憶装置に蓄積された、過去における前記作業情報の時間推移と前記生体情報の時間推移との相関関係に基づいて、現在における前記作業者の前記生体情報を推定し、
推定された現在における前記作業者の前記生体情報と、取得された現在における前記作業者の前記生体情報と、を比較することにより、現在における前記作業者の前記作業の適正度を判定する、
ことを実行させる。
以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示の技術を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図における機能ブロックの全部又は一部は、例えば、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む1つ又は複数の電子回路によって実行され得る。LSI又はICは、1つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、1つのチップに集積されてもよい。ここでは、LSI又はICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large
scale integration)、若しくはULSI(ultra large
scale integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは1つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置(processor)によって実行されたときに、そのソフトウェアで特定された機能が処理装置(processor)および周辺装置によって実行される。システム又は装置は、ソフトウェアが記録されている1つ又は複数の非一時的記録媒体、処理装置(processor)、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
(本開示の基礎となった知見)
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
前述のように、人間の作業時の精神状態が当該作業に対して適切であるかどうかは、作業の効率だけでなく、作業の安全性に関わる極めて重要なファクターである。このため、
これまでも精神状態を推定するための様々な取り組みがなされてきた。緊張度、覚醒度、または集中度といった精神状態を推定するために、様々な生体情報の検出がなされてきた。例えば、心拍数、心拍数の揺らぎ、呼吸数、呼吸数の揺らぎ、呼吸の深さ、血圧、脳波、脳血流、瞳孔径、鼻部温度、瞬目、または視線移動などの生体情報が用いられてきた。しかし、これらの生体情報から直接精神状態を読み取る方法には、3つの大きな課題があった。
第1の課題は、生体反応の個人差である。作業の正確性が同程度である場合、または本人へのインタビューに基づいて計測された覚醒度もしくは集中度が同程度である場合であっても、人によって生体反応の現れ方は大きく異なる。単純に生体情報を計測しただけでは、正しくその個人の精神状態を推定することができない。
第2の課題は、安定性である。同一の対象者であっても、計測時の環境、または計測までの行動もしくは作業の履歴に依存して、生体反応が異なることがある。対象者を特定の個人に限定しても、計測時の生体反応のみに基づいてその個人の精神状態を高い精度で推定することは困難であった。
第3の課題は、検査方法である。何らかの刺激を対象者に与えて、その生体反応から精神状態を推定する方法が一般に利用される。実験室では、環境を一定にして特定のタスク(例えば、計算問題、クイズ、または身体への直接刺激等)を行って、その生体反応を計測することができる。しかしながら、実際の作業時には、作業環境および作業内容が様々に変化し得る。そのような状況でリアルタイムに作業者の精神状態を推定することは容易ではない。
図2は、タスクが実行されたときの生体情報の変化の個人差と計測ごとのばらつきを示す図である。ここでは、被験者に計算タスクが与えられ、リラックス時とタスク実行時の心拍変動の揺らぎに基づいて、タスクに伴うストレスの程度が計測された。このときのストレスは、覚醒度と呼ばれることがある。心拍は常に揺らいでいる。その心拍変動の揺らぎの高周波数成分は、呼吸によって生ずる副交感神経の活動の影響を受けるといわれている。一方、低周波成分は、交感神経および副交感神経の両方の活動の影響を受けるといわれている。この例では、高周波数成分の範囲は0.20Hz以上0.35Hz未満であり、低周波成分の範囲は0.05以上0.20Hz未満である。心拍数の揺らぎの高周波成分の大きさを示す値を「HF」と表記し、低周波成分の大きさを示す値を「LF」と表記する。ストレス時または緊張状態にある時にはLF/HFが増加する。このため、この数値をストレスまたは緊張状態の指標として用いることができる。
図2の縦軸におけるΔLF/HFは、タスクの実行前後のLF/HFの変化量を表している。図2の結果から、ΔLF/HFは、一部の例外を除いて、ゼロ(0)を上回る。このことから、ストレスまたは緊張とともにLF/HFが増加する傾向があることがわかる。しかし、この増加量は、被験者の年齢が増すほど減少する傾向がある。
図中の黒丸は、同一人物の複数回の試験の結果を示している。同一の被験者であっても検査ごとの変動が大きいことがわかる。
図2の結果は、特定のタスクが各被検者に与えられるという限定された条件下で得られた。しかし、実際の作業時には作業の内容すなわちタスクが一定ではない。作業内容が変動すると、それに伴う生体情報の変動が生じる。このため、生体情報の計測値のみに基づいて作業者の実作業時における作業適正度の判定を行うことは困難であった。ここで、「作業適正度」とは、ミス無く効率的に作業を遂行できる精神状態の程度を意味する。作業適正度は、例えば、覚醒度、緊張度、注意力、または集中度といった精神状態の程度を指
す。
作業中に作業を中断して一定の判定タスクを行い、その結果から作業適正度を判定するようなシステムも考えられる。しかし、実際には作業中にそのようなタスクを組み込むことは現実的ではない。このため、そのようなシステムは広く活用されてはいない。
本開示は、安定して作業者の作業時の精神状態を推定すること可能にする新規な技術を提供する。本開示の実施形態によれば、作業者ごとに、作業負荷がモニタリングされ、作業負荷と生体情報との関係が学習される。複数回の学習によって蓄積されたデータを活用することにより、作業に伴う生体情報の変化を推定することが可能になる。
図1Aは、本開示の例示的な実施形態による作業適正度判定システムの構成を示す図である。作業適正度判定システム100は、認証装置101、作業センシング装置102、生体センシング装置106、信号処理装置108、記憶装置104、および表示装置107を備える。信号処理装置108は、生体情報推定部103と、作業適正度判定部105とを含む。
本実施形態では、作業開始時に個人が認識され、個人ごとにデータベースが構築される。当該データベースには、作業ごとに、作業の負荷を示す情報(本明細書において、「作業情報」と称する。)と、その作業中に取得された生体情報とが関連付けられて記録される。作業情報は、作業の内容を含んでいてもよい。記録されたデータを活用することにより、生体情報の個人差の影響を低減し、作業者によらず安定して作業適正度を判定することができる。
個人認証は、例えば、作業開始時に作業者が作業者IDを入力したり、認証装置101が生体認証を行ったりすることによって行われる。生体認証は、例えば、顔認証、指紋認証、虹彩認証、または静脈認証などの方法によって行われ得る。作業者が作業者IDなどの個人認証コードを作業前に入力する形態では、認証装置101は、例えば携帯情報端末またはパーソナルコンピュータ(PC)などの、入力装置を備える機器であり得る。入力装置は、例えばキーボードおよびマウスの少なくとも一方を含み得る。認証装置101が生体認証を行う形態では、認証装置101は、顔認証、指紋認証、虹彩認証、または静脈認証などの生体認証の機能を備えた装置である。後者の形態では、認証装置101は、例えばカメラまたは指紋センサなどの、個人認証に必要な1つ以上の生体認証装置を備える。
作業センシング装置102は、作業者の現在の作業状況をモニタし、作業の負荷を示す作業情報を出力する。作業センシング装置102の構成は、作業の内容によって異なる。例えば作業が車両の運転である場合には、作業センシング装置102は、加速度センサまたは角速度センサなどのセンサを含み得る。作業がコンピュータを用いた事務作業または学習である場合には、作業センシング装置102は、当該コンピュータまたはその入力装置を含み得る。
生体センシング装置106は、作業時に連続的または断続的に、作業者の生体情報を計測する。生体センシング装置106によって取得される生体情報は、実測される生体情報である。このため、当該生体情報を「実測生体情報」と称することがある。生体センシング装置106は、非接触で作業者の生体情報を取得してもよい。生体センシング装置106が非接触で作業者の生体情報を取得する場合、作業内容によって接触型の機器を装着することが困難な場合であっても、生体情報を取得することができる。非接触型の生体センシング装置106を用いることにより、生体センサの装着による拘束感または不快感をなくすこともできる。
記憶装置104は、取得された個人別の実測生体情報および作業情報のデータベースを記憶する。当該データベースには、個人ごとおよび作業ごとにデータが蓄積される。記憶装置104は、例えばフラッシュメモリ、磁気ディスク、または光ディスクなどの、任意の記憶媒体を含み得る。
信号処理装置108は、例えばデジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)等のプログラマブルロジックデバイス(PLD)、または中央演算処理装置(CPU)とコンピュータプログラムとの組み合わせによって実現され得る。信号処理装置108は、例えば遠隔地に設けられたサーバーなどの外部の装置の構成要素であってもよい。この場合、サーバーなどの外部の装置は通信手段を備え、認証装置101、作業センシング装置102、生体センシング装置106、記憶装置104、および表示装置107と相互にデータの送受信を行う。
信号処理装置108は、生体情報推定部103および作業適正度判定部105を含む。これらの部の各々は、信号処理装置108が、記憶装置104に格納されたコンピュータプログラムを実行することによって実現され得る。あるいは、これらの部の各々は、後述する動作を実行するように構成された個別の回路であってもよい。
生体情報推定部103は、記憶装置104に蓄積されたデータに基づいて、作業者の現在の生体情報を推定する。推定された生体情報は、過去に取得された作業者の作業負荷と生体情報とに基づいて推定される現在の生体情報の値である。このため、これを「推定生体情報」と称することがある。作業適正度判定部105は、作業者の推定生体情報と実測生体情報とを比較し、比較結果に基づいて作業の適正度を判定する。生体情報推定部103および作業適正度判定部105による処理の具体例については後述する。
作業者に異常などがなければ、過去のデータに基づく推定生体情報は、現在の実測生体情報とほぼ一致する。一方で、作業者に何らかの異常などがあれば、推定生体情報と実測生体情報との間に、過去のデータから計算されたばらつき値よりも大きい変化が生じる。その場合には、作業適正度判定部105は、作業の適正が十分でないと判断する。その場合、作業適正度判定部105は、表示装置107に、作業者に対する助言または警告などの表示を実行させる。あるいは、作業適正度判定部105は、作業の強制停止を行ってもよい。作業の強制停止は、例えば、装置またはシステムを停止させる処理である。なお、表示装置107に代えて、または表示装置107に加えて、スピーカを設け、スピーカに注意喚起または助言のための音声を出力させてもよい。
次に、図1Bを参照しながら、作業適正度判定システムの全体の動作の例を説明する。
図1Bは、作業適正度判定システムの動作の例を示すフローチャートである。本システムは、作業ごとに、図1Bに示す動作を実行する。
まず、ステップS101において、認証装置101は、作業者を特定する。この特定は、前述のように、作業者による入力操作、または生体認証などの方法によって行われる。
ステップS102において、生体センシング装置106は、作業者の生体情報を取得する。生体情報の取得は、例えば後述する非接触式の脳血流計測装置を用いて行われ得る。取得される生体情報は、例えば作業者の脳血流の時間変化を示す情報または作業者の心拍数の時間変化を示す情報であり得る。
ステップS103において、作業センシング装置102は、作業者の現在の作業内容を
検出し、作業内容を示す情報を出力する。作業センシング装置102は、さらに、作業の負荷の程度を示す値を計算してもよい。この作業の負荷の計算は、作業センシング装置102とは異なる装置、例えば信号処理装置108のプロセッサによって行われてもよい。
ステップS104において、信号処理装置108は、実測された生体情報と、作業の負荷を示す情報とを、時刻情報と関連付けて、作業者ごとに記憶装置104に記録する。
ステップS106において、信号処理装置108は、作業者の推定生体情報と実測生体情報とを比較する。続いて、ステップS107において、信号処理装置108は、比較結果に基づいて、作業者の作業適正度を判定する。例えば、推定生体情報の値と、実測生体情報の値との差が所定の閾値を上回っている場合には、作業が適正ではないと判定することができる。あるいは、推定生体情報の値と、実測生体情報の値との差の大きさに応じて、段階的に作業の適正度を決定してもよい。
作業が適正ではないと判断すると、信号処理装置108は、ステップS108に進む。ステップS108において、信号処理装置108は、前述のように、表示装置107などの他の装置を介して、作業者に対する助言、警告、作業の強制停止などを行う。
ステップS102からS108の動作は、作業者が作業を行っている間、例えば所定の時間間隔で、繰り返し実行され得る。また、一回の作業が終了して、次回、同様の作業を行う際には、ステップS105において、過去に記録されたデータが利用される。比較的長期間の間に蓄積されたデータを利用することにより、より精度の高い推定が可能になる。
本開示の実施形態において特に重要な点は、以下の点にある。
(1)作業の負荷を示す作業情報と生体情報とを個人ごとに比較的長期間にわたってデータベースに蓄積する。例えば、作業ごとに、数日、1週間、1ヶ月、数ヶ月、半年、1年、数年といった期間にわたって繰り返しデータが蓄積され得る。
(2)蓄積されたデータに基づいて現在の生体情報を推定する。
(3)推定された現在の推定生体情報と実際に計測された実測生体情報とを比較して、現在時点の作業適正度を判定する。
本実施形態では、作業負荷の変化と生体情報の変化とを学習して、現在時点の生体情報をリアルタイムに推定できるような仕組みが構築されている。これにより、より正確に作業者の負荷を推定することができる。
従来、個人差を補正するために個人別の生体情報のデータベースを構築し、個人差を補正して作業者の作業適正度を判定するようなシステムは存在した。このようなシステムは、試験環境下で一定の作業、すなわち試験用タスクを行い、その反応を観測するような試験では有効性が示されている。例えば、計算問題または関連する言葉を想起するような試験タスクを作業者に与えて、脳血流変化を計測するような方法が知られている。しかし、実際の作業環境では業務時、学習時、または運転時にこのような作業タスクを与えることは困難である。様々な負荷の異なる作業時の生体情報の変化から作業者の精神状態を判定することが求められる。しかし、過去のデータの単純な平均化または類似の状況のデータを抜き出して平均化するなどの単純な方法では、個人差または作業負荷の影響を補正することはできなかった。
本開示の実施形態では、実作業の作業負荷と生体情報の計測値の過去のデータから、個人別の作業負荷と生体反応との関係が導出される。その作業負荷と生体反応との関係から、現在の作業者の精神状態または作業適正が推定される。個人別の作業負荷と生体情報と
の相関性を、過去の計測データから導出し、その相関に基づき現在の生体情報を推定するという点が従来のシステムとの最大の相違点である。
続いて、生体情報の計測方法の例を説明する。
本実施形態では、精神状態を安定して判定するために、安定で高精度な生体計測装置が使用される。作業時に常時生体情報を計測しようとすると、身体に接触するセンサは作業に支障をきたす場合がある。また、接触式のセンサでは、作業に伴う体動により、センサの接触状態が変化し、計測精度が低下する可能性がある。このような課題を勘案し、図1Aに示す実施形態では、撮像装置をベースとした非接触の生体センシング装置106が用いられている。撮像装置を用いることで、拘束感のない非接触の生体センシングが実現できる。また、撮像装置は、2次元に配列された多数の画素を有しており、同時に多数の生体情報を取得できる。このため、複数の画素の信号を平均化するなどの処理による高精度化が実現できる。さらに、撮像装置では2次元画像信号が得られる。この2次元画像信号から、身体の異なる部分の生体反応の違いの情報が取得できる点も大きな利点である。例えば、精神的ストレスにより、鼻部血流が低下し、鼻部温度が低下することが知られている。撮像装置を用いた場合、鼻部血流と、比較対象となる額部血流とを同時に計測することができる。このため、安定に生体情報の変化を計測可能となる。
上述のように、撮像装置を用いた生体情報取得方法には利点が多いが、課題もある。それは、脳活動の状態を判断する上で必要な、体の内部の情報の取得が困難になることである。これは、生体のような不透明な被写体を撮影した場合、体表面で反射された光の情報が大半を占め、生体内部からの光の情報が埋もれてしまうからである。近赤外光は、人体への透過性が可視光に比べて高く、生体のより深部の情報を取得する用途に適している。しかし、近赤外光を用いた場合であっても、生体内部からの反射光に比べて生体表面または表皮からの反射光の比率の方が高い。そのため、信号対ノイズ比が低下し、安定して高精度な計測ができないという課題があった。
生体情報を含む生体内部からの反射光の割合を高め、生体情報を安定して取得するために、光源から出射される光に時間的または空間的な変調を与えることが考えられる。そのような構成により、より生体深部からの光信号を選択的に取得することが可能になる。
図3Aは、均一な分布を持つ光を出射する光源を用いた撮像方法を模式的に示す図である。図3Bは、時間変調が施された光を出射する光源を用いた撮像方法を模式的に示す図である。図3Cは、空間変調が施された光を出射する光源を用いた撮像方法を模式的に示す図である。
図3Aに示す例では、光源601aは、均一な分布を持つ光を出射する。光源601aで生体602を照明して撮像した場合、撮像装置603によって取得される信号の殆どは、表面で反射された光による成分である。生体内部からの光の成分の比率が極めて小さいため、十分な精度が得られない。
これに対し、図3Bに示す例では、光源601bは、時間変調が加えられた光を出射する。光源601bを用いて、生体602を照明し、光源601bからの光の変調に同期して撮像装置603の撮像のタイミングが制御される。この場合、発光時間と撮像のタイミングを制御することで、発光から検出までの時間を変化させることができる。ここで、発光から検出までの時間は、光源601bから生体602を経て撮像装置603に到達するまでの光の伝搬距離に依存する。発光と検出のタイミングを適切に制御することで、任意の深さの情報を有する反射光を検出することが可能になる。この方式を用いれば、生体の任意の深さの情報を有する反射光を選択的に検出することが可能になる。このため、高い
信号対ノイズ比で生体情報を検出することが可能になる。
図3Cに示す例では、光源601cは、空間的に変調された光を出射する。光源601cから出射された光で生体602が照射され、撮像装置603が照射部位外の領域からの信号を取得する。光源601cの位置と検出位置とが離れている場合、光はバナナシェープと呼ばれる円弧状の光路を経由して検出位置に到達する。図3Aに示す均一な光を出射する光源601aを用いた場合に比べて、検出される信号は、生体のより深部を透過した光の情報を含む。このため、光源601cを用いた方式は、生体の深部情報を取得する用途に適している。
このように、時間的に変調された光または空間的に変調された光を出射する光源を用い、光源に対応した撮像方法を用いることで、生体のより深部の情報を取得することが可能になる。
本開示のある実施形態では、以下の新たな知見に基づき、システムの設計が行われている。
・生体反応の個人差の影響を低減して実用的な作業適正度判定システムを構築するために、生体情報と作業負荷との関係を記録したデータベースから推定される生体情報を用いることが有効であること
・生体情報取得の精度向上のために、時間的または空間的に変調された近赤外光を出射する光源を含む撮像装置を用いることが有効であること
ここで、近赤外光すなわち近赤外線は、真空中の波長が、およそ700nm以上2500nm以下の電磁波を意味する。本開示の実施形態は近赤外光を利用する形態に限定されない。しかし、近赤外光を利用することにより、より高い精度で生体信号を取得することができる。
以下、本開示の実施形態をより具体的に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
第1の実施形態として、非接触式の脳血流計測装置を用いた作業適正度判定システムを説明する。本実施形態では、作業者の脳血流の変化の情報から作業適正度が判定される。本実施形態は、作業適正度判定システムをドライバモニタリングに適用した例である。対象作業は車両の運転であり、作業者はドライバ(「運転者」とも称する)である。
近赤外光を用いて脳血流量の変化を計測する脳血流計測装置は、これまでにも提案されてきた。従来の方法では、作業者は、あらかじめ定められた一定のタスクと休憩とを複数回繰り返し行う。一定のタスクは、例えば、計算、記憶、連想、またはクイズ等である。脳血流計測装置は、それぞれの期間の脳血流量の変化を計測する。計測によって得られたデータから、脳活動の度合いを推定することができる。しかしながら、このような定型タスクを車両運転時に繰り返し行うことは現実的ではない。
本実施形態では、定型タスクの代わりに、運転操作という不定形の作業がタスクとして用いられる。そして、運転操作中に脳血流の変化が計測される。運転操作中は周辺環境が絶えず変化する。このため、運転操作は常に異なる作業となり得る。本実施形態では、加
速度センサによって取得された情報に基づいて作業負荷が推定される。。本実施形態によれば、定型のタスクを用いることなく、日常の作業である運転作業によってタスクを代替することができる。言い換えれば、本実施形態によれば、「タスクレス脳血流計測」が可能になる。
図4Aは、本開示の実施形態1に係る作業適正度判定システムの構成例を示す図である。図4Aに示すように、作業適正度判定システムは、脳血流計測装置401と、加速度センサ403とを備える。脳血流計測装置401は、前述の生体センシング装置の一例である。加速度センサ403は、前述の作業センシング装置の一例である。脳血流計測装置401は、ドライバ402の脳血流量を計測する。脳血流計測装置401は、ドライバ402の正面の運転席側フロントガラスの前方の視界を妨げないように、車両上部の位置に配置される。脳血流計測装置401に隣接して、加速度センサ403が設置されている。加速度センサ403は運転作業の状況をモニタする。
図4Bを参照して、脳血流計測装置401の構成を説明する。図4Bは、本開示の実施形態1に係る脳血流計測装置401の概略構成を表す図である。脳血流計測装置401は、光源601と、撮像装置603と、制御回路604とを備える。制御回路604は、光源601および撮像装置603に接続されている。制御回路604は、光源601および撮像装置603を制御する。
脳血流計測装置401は、TOF(Time Of Flight)方式の撮像装置603を用いて、非接触でドライバ402の脳血流を計測する。光源601は、制御回路604からの指示に従い、時間変調された光を出射する。撮像装置603は、制御回路604からの指示に従い、光源601からの光の出射に同期して撮像する。撮像装置603は、ドライバ402の計測箇所である額部を撮像する。撮像装置603は、光を受けて信号電荷を蓄積する少なくとも1つの電荷蓄積部を含む。典型的には、撮像装置603は、2次元に配列された複数の電荷蓄積部を含む。これにより、2次元の画像信号を取得できる。
本実施形態における光源601は、波長750nmと850nmの近赤外パルス光を出射する光源である。光源601は、これらの2種類の近赤外光でドライバ402の額部を照射する。光源601は、例えばレーザ光源であり得る。
本実施形態における撮像装置603は、2次元的に配列された複数の受光素子を備えるイメージセンサを備えている。各受光素子は、上記2つの波長の赤外光に感度を有する。このため、撮像装置603は、ドライバ402の額部に照射された上記2種類の赤外光による2次元画像を取得する。
制御回路604は、光源601がパルス光を出射してから、その反射光が撮像装置603に到達するまでの時間に基づいて、被検部までの距離を計測できる。制御回路604は、額部から戻って来る光の信号を時間的に分解して、額部の表面から反射する光の成分404aの強度と、脳まで到達して戻ってきた光の成分404bの強度とを計測する。例えば、制御回路604は、撮像装置603の電子シャッターのタイミングを制御して、上記の2つの光の成分404aおよび404bのそれぞれの強度を計測する。これらの2種類の光の強度に基づいて、脳血液中の酸素化ヘモグロビン(HbO)の濃度と脱酸素化ヘモグロビン(Hb)の濃度のそれぞれの変化を計測することができる。このように、脳血流計測装置401は、2波長の光を出射する光源601を用いて脳内の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度変化を計測する。これにより、運転時のドライバ402の作業適正度を判定することができる。
血液の大きな役割は、酸素を肺から受け取って組織に運び、組織から二酸化炭素を受け取ってこれを肺に循環させることである。血液100mlの中には約15gのヘモグロビンが存在している。酸素と結合したヘモグロビンを酸素化ヘモグロビンと呼び、酸素と結合していないヘモグロビンを脱酸素化ヘモグロビンと呼ぶ。酸素化ヘモグロビンと脱酸素化ヘモグロビンとで光の吸収特性が異なる。酸素化ヘモグロビンは約830nmを超える波長の近赤外線を比較的よく吸収する。他方、脱酸素化ヘモグロビンは、830nmよりも短い波長の赤色光から近赤外線を比較的よく吸収する。830nmの波長の近赤外線については、両者の吸収率に差異はない。これらの赤外光と赤色光の強度比から2種類のヘモグロビンの比率または酸素飽和度を求めることができる。酸素飽和度とは、血液中のヘモグロビンのうちどれだけが酸素と結びついているかを示す値である。酸素飽和度は、下記の数式で定義される。
酸素飽和度=C(HbO)/[C(HbO)+C(Hb)]×100(%)
ここで、C(Hb)は脱酸素化ヘモグロビンの濃度を、C(HbO)は酸素化ヘモグロビンの濃度を表している。
生体内には、血液以外にも赤色から近赤外の波長の光を吸収する成分が含まれている。しかし、光の吸収率の時間的変動は、主に動脈血中のヘモグロビンに起因する。よって、吸収率の変動に基づいて、高い精度で2種類のヘモグロビンの濃度変化および/または血中酸素飽和度を測定することができる。心臓から拍出された動脈血は脈波となって血管内を移動する。一方、静脈血は脈波を持たない。生体に入射した光は、動静脈および血液以外の組織などの生体の各層で吸収を受けて生体を透過する。この際、動脈以外の組織は時間的に厚さが変動しない。このため、生体内からの散乱光は、脈動による動脈血層の厚さの変化に応じて時間的な強度変化を示す。この変化は動脈血層の厚さの変化を反映しており、静脈血および組織の影響を含まない。よって、散乱光の変動成分だけに着目することで動脈血の情報を得ることができる。時間に応じて変化する成分の周期を測定することにより、脈拍も求めることができる。
なお、2波長の光を出射する光源601を用いることは必須の要件ではない。例えば、酸素化ヘモグロビンの濃度のみを計測する場合には、830nmを超える単一波長の近赤外線を出射する光源を用いてもよい。
図5は、本開示の実施形態1に係る作業適正度判定システム200の構成を示す図である。作業適正度判定システム200は、前述の加速度センサ403および脳血流計測装置401に加えて、認証装置201、信号処理装置208、記憶装置204、および表示装置206を備える。信号処理装置208は、生体情報推定部203と、運転適正度判定部207とを含む。前述のように、加速度センサ403は、作業センシング装置として機能し、脳血流計測装置401は、生体センシング装置として機能する。
認証装置201は、作業者であるドライバの認証を行う。認証装置201は撮像装置を備える。運転開始時に、撮像装置は、ドライバの顔の画像を取得する。この顔画像を、予め記憶装置204に記録されている顔画像と照合することにより、ドライバが特定される。
認証装置201における撮像装置は、脳血流計測装置401における撮像装置603と同一の装置であってもよい。その場合には、脳血流計測装置401が、脳血流計測に用いる画像を用いて顔認証によるドライバの特定も行う。脳血流計測装置205は、カメラの機能も有している。ドライバの顔の表面から反射される光の成分404aによる画像は、通常のカメラによって取得される画像に類似する。このため、脳血流計測装置401から出力される画像を用いて容易に個人認証が可能である。このように、1つの装置が、認証装置の機能と生体センシング装置の機能とを兼ねていてもよい。
加速度センサ403は、現在の運転状況をモニタし、ドライバ402の作業負荷を計測する。加速度センサ403は、運転時の加速および減速の度合いだけでなく、運転速度を示す加速度の積分値、カーブでのコーナリング速度を示す横方向加速度、および車両のふらつきを示す周期的な横加速度の変動もモニタリングできる。このため、加速度センサ403は、ドライバ402の運転操作状況を把握する上で有効である。
運転状況の把握のために、車両から車の運転情報を取得することも可能である。ここで、「運転情報」とは、アクセル、ブレーキ、ハンドル操作などの、運転操作の経時的な変化に関する情報を意味する。運転情報は、前述の作業情報の一例である。作業適正度判定システム200は、車両との間でデータの送受信を可能にするために通信回路を備えていてもよい。そのようなシステムでは、加速度センサ403ではなく、車両内のコンピュータが作業センシング装置として機能する。本実施形態のように加速度センサ403を利用すれば、低いコストでシステムを構築することができる。また、車種ごとに異なる情報を統合することなく、シンプルにシステムを構成することができる。今後、自動車の情報通信が進化し、車両情報の取得が容易になれば、加速度センサ403を作業適正度判定システム200内に設けることなく、車両から運転情報を受信することが容易になり得る。
以下、加速度センサ403の出力に基づいて運転状況を把握し、さらに運転負荷、すなわち作業負荷を求める方法を説明する。
既に述べたように、加速度センサ403は、運転時の加速、減速、運転速度、コーナリング速度、および車両のふらつきなどの様々な運転状況をモニタリングできる。これらの情報の少なくとも一部に基づいて、運転作業の負荷を計算することができる。運転作業の負荷は、加速または減速が大きいほど、車両の速度が高いほど、コーナリング速度が高いほど大きくなる。また、車両を車線内に安定に保つことも運転負荷を増大させる。車両のふらつきは車両が安定に車線内に維持されていないことを表している。よって車両のふらつき自体が運転適正に関する重要な指標となる。車両のふらつきは、横方向の加速度の小さい周期的な変化から検出することができる。運転負荷の計算においては、ふらつきは運転負荷を低減させる方向に働く。車両を安定して制御するためには大きな運転負荷が求められるためである。ここで、車両の加速度をα、横加速度をβ、横加速度の緩やかな周期変動成分をγとする。すると、運転負荷L(t)は、式(1)で表される。
L(t)=k1|α(t)|+k2∫α(t)dt+k3|β(t)|+k4|γ(t)| (1)
ここで、kからkは定数であり、∫α(t)dtは車両の速度を表している。定数kからkには、例えば実験に基づいて予め適切な値が設定される。
図6は、加速と減速という運転操作を行った場合の、加速度α(t)、速度v(t)および運転負荷L(t)の計算結果の例を示している。加速度センサ403のデータから、式(1)に基づいて、運転負荷L(t)を簡単に計算することができる。なお、運転負荷L(t)の計算は、加速度センサ403に内蔵または接続されたプロセッサによって実行され得る。信号処理装置208が運転負荷L(t)を計算してもよい。
脳血流計測装置401は、前述の方法により、ドライバ402の脳血流を、連続的あるいは断続的に非接触で計測する。
図7は、テストコースで車両の運転試験を行った際の、ドライバの脳血流の変化の計測値の例を示している。ドライバは、加速、減速、および停止のサイクルを40秒ごとに繰り返す運転タスクを実行した。網掛けで示される区間が加速または減速を行っている期間を示し、白色の部分が車両が停止している期間を示している。加速または減速の運転操作によって、運転者の脳血流中の酸素化ヘモグロビン(HbO)濃度が増加し、脱酸素化
ヘモグロビン(Hb)濃度が低下していることがわかる。また、運転操作に対して血流変化が時間遅れを生じていることがわかる。この脳血流変化の挙動は、以下のメカニズムによって発生すると考えられている。
まず、運転作業に起因して前頭葉で局所的な神経活動が起こり、脳細胞による酸素消費量が増大する。活動した脳細胞に酸素を供給するために、周囲の毛細血管の局所血流量が増大する。この時、実際の酸素消費量の増加(約5%)よりも、酸素供給のための血流量の増加(約30%から約50%)の方が大きい。毛細血管および細静脈での血流量および流速が増加する。酸素化ヘモグロビンが急速に流れるため、酸素化ヘモグロビン濃度が増加し、脱酸素化ヘモグロビン濃度が減少する。これが、脳活動によって酸素化ヘモグロビン濃度が増加し、脱酸素化ヘモグロビン濃度が減少するメカニズムである。ここで注意が必要なのは、脳が活動し酸素を消費した後で血流増加が起こるため、脳活動に遅れて脳血流変化が発生することである。図7からわかるように、運転操作による脳活動から数秒の時間遅れで脳血流変化が発生する。この時間遅れは、現在時点の脳血流を推定する上で重要である。
信号処理装置208は、取得された個人別の生体情報および運転負荷を記憶装置204に蓄積し、データベースを構築する。信号処理装置208における生体情報推定部203は、蓄積されたデータから、現在の生体情報を推定する。この推定された生体情報は、作業者であるドライバ402の過去の運転負荷と生体情報とから推定される現在の生体情報の値である。この生体情報推定部203の動作をより詳細に説明する。
血流動態反応関数(Hemodynamic Response Function:HRF)と、加速度センサ403によって取得されたデータから得られた作業負荷とを畳み込み積分することにより、脳血流変化の推定値を計算することができる。血流動態反応関数は、脳活動によって発生する脳血流変化の時間変化を表す関数である。脳血流量の変化量の計算式は、例えば、式(2)で表される。
HRF(t)*L(t)=ΔHbO(t) (2)
ここで、HRF(t)はドライバiの血流動態反応関数、L(t)はドライバiの作業負荷、ΔHbO(t)はドライバiの推定される酸素化ヘモグロビン濃度の変化量である。記号「*」は畳み込み積分を表す。本実施形態における脳血流計測装置401は、酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度の両方を計測可能である。しかし、この例では、酸素化ヘモグロビンの濃度変化のみを、脳活動に伴う脳血流の変化量として利用している。これは、図7に示すように、多くの場合、酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度は反転して変化し、変化量は酸素化ヘモグロビン濃度の方が大きいためである。ただし、脱酸素化ヘモグロビン濃度も、例えば計測データの異常検知のために活用され得る。正しく計測が行われていれば、既に述べたように両者は反転する関係になる。しかし、何らかの外乱、例えば照射光の変動または体動などが発生した場合には、両者が連動して同じ方向に変化することがある。脱酸素化ヘモグロビンの濃度をモニタリングすることにより、容易に計測異常を検出でき、そのような異常データを除去することが可能となる。ここで重要な点は、血流動態反応関数HRF(t)と作業負荷L(t)が時間の経過に伴って変化することである。
血流動態反応関数HRF(t)は、式(3)に示す関数で近似され得る。
HRF(t)=A((t-δ)/τ)exp(-((t-δ)/τ)) (3)
この式の変数であるA、δ、およびτと、作業負荷L(t)を表す式(1)におけるkからkは、計測結果から常時再計算される。
図8Aは、血流動態反応関数HRF(t)の例を示す図である。図8Bは、作業負荷L(t)の例を示す図である。図8Cは、酸素化ヘモグロビン濃度の変化量ΔHbO(t)の例を示す図である。
図8Cに示す酸素化ヘモグロビン濃度の変化量ΔHbO(t)は、図8Aおよび図8Bに示す関数を用いて式(2)で示される方法で計算される。計算されたΔHbOと、実測された酸素化ヘモグロビン濃度の変化量であるΔHbOとが一致するように、A、δ、τ、およびkからkが最適化されていく。計算には、現在時点のデータだけでなく時間方向に重み付けされた経時データが用いられる。このパラメータ決定には、多変量解析が用いられている。この例に限らず、機械学習を用いてより高精度にパラメータを決定することも可能である。信号処理装置208は、記憶装置204に蓄積された個人別の生体情報および運転負荷のデータベースからリアルタイムに生体情報の推定式を学習して最適化する。これにより、高精度に運転者の運転適正度を判定することが可能となる。個人別のデータベースを作成することで個人差の影響を除去し、個人データを蓄積することで個人の生体情報の変化を高精度に推定することが可能になった。また、運転に伴う負荷を加速度センサ403からのデータに基づいて計算することにより、時間とともに変化する作業または運転状況に対する生体情報の変化を推定することが可能になった。
図9Aは、正常運転時における脳血流変化の推定値(点線)と実測値(実線)とを示す図である。図9Bは、運転適正を欠いた状態での脳血流変化の推定値(点線)と実測値(実線)とを示す図である。ここでの脳血流変化は、酸素化ヘモグロビン濃度の変化である。図9Aの左側の縦軸は酸素化ヘモグロビン濃度の変化(ΔHbO)を示し、右側の縦軸は加速度を示している。図9Bの左側の縦軸は酸素化ヘモグロビン濃度の変化(ΔHbO)を示し、右側の縦軸は速度を示している。加速および減速の運転操作に遅れて脳血流の変化が見られる。
運転適正度判定部207は、推定された生体情報と実際に計測された生体情報とを比較する。運転者の運転適正に問題がない場合には、図9Aに示すように、データベースから推定される現在の脳血流変化と実測された脳血流変化とはほぼ一致する。一方、運転者に何らかの異常があれば、図9Bに示すように、生体情報の推定値と実測値との間に過去データから計算されたばらつき値よりも大きい差が生じる。図9Bに示す例では、実測された脳血流変化量は、推定された脳血流変化量に比べて優位に小さい。このような状況が継続した場合、運転適正度判定部207は、運転適正が十分でないと判断する。その場合、運転適正度判定部207は、表示装置206または不図示のスピーカなどの装置を介して、ドライバ402に注意喚起、警告、または運転モードの切り替えを行う。例えば、スピーカを介して、運転者に、「少し疲れているようです。深呼吸してください」等の音声による助言を行ってもよい。あるいは、自動で換気を強めたり外気を導入したり、「危険ですので車両を安全な場所に停止してください」等の警告を発してもよい。運転補助システムを搭載した車両であれば、車両を安全な場所に停止する、あるいは自動運転への切り替えを行うなどの処置を運転者の運転適正度に応じて行ってもよい。
本実施形態におけるシステムは、既存の車両に後から追加して搭載可能なスタンドアローンのドライバモニタリングシステムである。図1に示す全ての構成要素が、図4Aに示すような一体型のシステムに搭載されている。近年、車両のインテリジェント化が進んでいる。車両が高性能な演算装置またはコンピュータを搭載し、車両の様々なセンサの情報を統合して車両状況を把握することが可能になっている。また、インターネット等の通信機能を有し、車両の外部のコンピュータとの情報のやり取りを行うことが可能になっている。このような車両においては、図1に示す機能の一部を車両のコンピュータ側にソフトウェアとして組み込むことも可能である。例えば、生体センシング装置106のみをハー
ドウェアとし、それ以外の機能は車両の機能を利用することが可能である。ドライバの個人認証機能をもつ車種は既に存在している。車両のコンピュータが把握した車両の操作情報(例えば、アクセル、ブレーキ、またはハンドルの操作)を、作業センシング装置102の出力情報として利用できる。車両のコンピュータは記憶装置も有している。このため、生体センシング装置106のみを固有のハードウェアとし、それ以外の機能は車両のハードウェアにソフトウェアとして搭載することも可能である。このように、搭載する車両の種類と状況に応じて、図1のシステムのどの部分を専用のハードウェアとし、どの部分を車両のコンピュータにソフトウェアとして搭載するかを選択することも可能である。
本実施形態のドライバモニタリングシステムを用いることで、個人差および運転状況の差による誤検出を減らして、安定にドライバの運転適正を常時モニタリングすることが可能になる。この方式では、非接触脳血流モニタリングにより、運転者は、拘束感および圧迫感を感じることなく、常時ドライバモニタリングが可能となる。このため、より安全で快適な運転が可能になる。
(実施形態2)
本実施形態における作業適正度判定システムは、作業者の作業ストレスの計測を行う。本実施形態は、例えば、PCなどのコンピュータを用いた事務的な業務に関わる作業者の作業負荷の状況を把握し、作業の効率化と作業者のメンタルヘルス不調の未然防止を目的としている。この作業適正度判定システムは、職場での作業による精神的な負荷の評価を行う。実施形態1においては、時間的に変調された近赤外パルス光を出射する光源を含む撮像システムが生体情報の取得に用いられた。これに対し、本実施形態では、空間的に変調された近赤外光を出射する光源を含む撮像システムが生体情報の取得に用いられる。
近年、仕事または職業生活に関して強い不安、悩み、またはストレスを感じている労働者が増加している。このため、事業場において積極的に心の健康の保持増進を図ることが求められている。現状行われている「ストレスチェック」では、例えば以下のような方法が用いられている。まず、ストレスに関する質問票に労働者が記入する。それを集計して分析することで、自分のストレスがどのような状態にあるのかを把握することができる。この方法は、本人の主観的な回答に基づいており、個人差が大きい。より客観的な判定のベースになる作業負荷の指標が求められていた。例えば、ストレス状態を数値評価できるような簡単な計測方法が求められていた。
ストレスに関連する多くの生体信号が知られている。すでに述べた心拍変動、鼻部温度、瞬目頻度、呼吸の頻度、または呼吸の深さ等の生体信号がストレス状態と関連していることが知られている。これらの生体信号をストレスチェックに用いる際の問題点は、生体反応の個人差である。図2に示したように、生体反応は個人差が大きく、そのままでは客観的なストレスの評価指標として用いることはできない。図2はストレスによる心拍揺らぎの結果を示している。ストレスとの相関が認められている他の生理指標についても同様に、計測された数値のみに基づいて直接ストレス度合いを判定することはできない。ここでも問題になるのは、実施形態1と同じく、生体反応の個人差、再現性、および作業タスクの安定性である。
これらの解決策として、本実施形態の作業適正度判定システムが提供される。すでに述べたように、個人別の作業負荷と生体情報のデータベースから、作業から予測される現在の生体情報が推定される。この推定された現在の生体情報と実際に計測された生体情報とを比較して、現在時点の作業適正度が判定される。本実施形態のシステムによれば、作業負荷の変化と生体情報の変化とを常時学習して、常に現在時点の作業に伴うストレスをリアルタイムに推定できる。
PCなどのコンピュータを用いた業務に関わる作業適正度判定システムも、図1Aの構成を備える。作業適正度の判定は、図1Bに示すフローチャートに従って行われる。本実施形態ではコンピュータを用いた作業に伴う作業適正度の判定を目的としているため、作業にPCなどのコンピュータが用いられる。この作業用のコンピュータの演算能力を用いて、作業適正度判定システムを稼動できる。
本実施形態では、図1Aに示す各構成要素のうち、生体センシング装置106のみが固有のハードウェアである。それ以外の構成要素は、全てコンピュータにハードウェアまたはソフトウェアとして格納されている。作業者のコンピュータ作業の開始に伴って、目的とする作業のバックグラウンドで作業適正度判定が行われる。コンピュータとは別のハードウェアである生体センシング装置106は、当該コンピュータに接続されている。生体センシング装置106によって取得された情報はコンピュータで処理される。
以下、図1Aを参照しながら、ストレス判定に至る手順を具体的に説明する。本実施形態において、認証装置101は、作業者が入力したIDに基づいて、個人認証を行う。例えば、PCなどのコンピュータに接続されたキーボードを用いて作業者がIDおよびパスワードを入力することにより、個人認証が行われる。業務用のコンピュータに関しては、通常、作業開始前のログインの段階で、個人別のID入力とパスワード入力、あるいは生体認証により、個人が特定される。このコンピュータの個人認証データを用いて、システムの個人認証を行ってもよい。
本実施形態の作業適正度判定システムは、作業ストレス計測システムと称することもできる。
図10Aは、本実施形態の作業適正度判定システムの全体構成を模式的に示す図である。本システムも、実施形態1のシステムと同様、生体センシング装置102として、脳血流計測装置401を備える。脳血流計測装置401は、例えば、作業者402の正面のコンピュータ410の画面上に配置される。本実施形態における脳血流計測装置401は、近赤外ドットアレー光源と、近赤外撮像装置とを備える。脳血流計測装置401は、作業者402の顔血流を計測する。本実施形態のシステムは、非接触で顔の表面の血流量、心拍数、および心拍変動をモニタリングすることができる。
図10Bは、本実施形態における脳血流計測装置401の概略的な構成を示す図である。本実施形態の脳血流計測装置401は、近赤外光によるドットパターンを投影するレーザなどの光源601cと、近赤外画像を取得する撮像装置603と、制御回路604とを備える。光源601cは、生体(ここでは作業者402の頭部)を照射する。撮像装置603は、近赤外光で照射された作業者402の顔の画像を撮影する。撮影された画像は制御回路604によって解析される。制御回路604は、PCなどのコンピュータに内蔵されたプロセッサであってもよい。その場合、脳血流計測装置401は、当該プロセッサと、コンピュータの外部の光源601cおよび撮像装置603との組み合わせによって実現される。
図11Aから図11Cを参照して、近赤外画像を取得する撮像装置603で撮影された画像から生体情報を取得するための信号処理のフローを説明する。
図11Aは、撮影された近赤外画像の例を示している。ドットアレー光源が用いられているため、ドットアレーの照射位置に対応する強い輝点と、その周辺の比較的弱い信号とが得られる。周辺部の比較的弱い信号は、照射光が体内に侵入して体内で散乱して表面に戻ってくる比較的弱い光による信号である。人の肌は、近赤外光に対しては、吸収係数が小さく、散乱係数が大きい。このため、皮膚の表面を透過した光は体内で多重散乱を繰り
返して拡散して広範囲にわたって体表面から射出される。なお、ドットアレーパターンに限らず、例えばラインアンドスペースパターンまたは市松パターンの近赤外光を投影する光源を用いてもよい。そのような光源を用いた場合でも、同様の生体信号を得ることができる。
図11Bは、生体の情報検出領域の画像の拡大図である。この例における情報検出領域は、図11Aに点線枠で示す作業者の額領域である。投影された赤外光のドットパターンの周辺に、肌の内部から散乱して戻ってきた体内散乱光501が検出される。表面反射光502は肌表面の情報を含んでおり、体内散乱光501は体内の毛細血管の血液情報を含んでいる。従って、画像データから体内散乱光501に相当するデータのみを抽出して計算することで体内の血流情報を取得することができる。
図11Cは、このようにして取得した心拍信号の例を示している。この心拍信号から、心拍変動または心拍揺らぎを求めることができる。さらに、体内散乱光の反射強度の絶対値は、表面の血液量に対応しているため、その信号から血液量を算出することができる。
従来のカメラを用いた生体情報センシングシステムでは、画像中の生体部分の領域全体の画素データを平均化して生体情報を検出するという方法が一般的であった。これに対し、本実施形態の生体情報センシングシステムは、ドットアレー光源を用いているため、2次元画像から不必要な肌表面での表面反射光成分を除去し、生体情報を含む体内散乱光を選択的に抽出することができる。体内散乱光を効率的に抽出することにより、高精度に生体情報を取得することができる。
心拍数の時間的なゆらぎから心理的ストレスを推定できることが知られている。自律神経が正常に機能している場合、心拍の間隔は揺らぐが、ストレスにより心拍の間隔の揺らぎが減少することが知られている。この心拍の間隔の揺らぎの変化に基づいて心理的ストレスの有無または程度を検出することが可能である。
続いて、作業センシング装置102による作業情報の取得方式を説明する。本実施形態では、作業者の作業状況は、コンピュータへの入力を解析することによって行われる。PC作業の場合は、行っている作業がPCに入力される。このため、用いられているアプリケーションの種類と、キーボード入力またはマウス入力をモニタリングすることで、作業情報の取得が可能となる。例えば、「作業内容はワードプロセッサ作業で、単位時間当たりの入力文字数は50文字/分」、または「作業内容は表計算ソフト作業で、単位時間当たりの入力項目数は30項目/分」というように、容易に作業情報の履歴を取得することができる。本実施形態における作業センシング装置102は、コンピュータ内のプロセッサと、キーボードおよびマウスなどの入力装置との組み合わせによって実現される。
次に、本実施形態における信号処理装置108の動作を説明する。
図12は、本実施形態のシステムで取得された一人の作業者に関する1週間の作業負荷と生体情報の変化を示すデータである。作業内容はワードプロセッサでの入力作業であり、作業負荷は入力ワード数である。生体情報として、交感神経の活性度の指標またはストレス指標であるとされるLF/HFを用いた。前述のように、LFは心拍変動の低周波成分、HFは高周波成分である。この例では、高周波数成分の範囲は0.20Hz以上0.35Hz未満であり、低周波成分の範囲は0.05以上0.20Hz未満である。
入力ワード数の増加による作業の負荷の高まりに伴って、矢印302に示すようにストレス指標であるLF/HFが増加する。さらに作業を継続すると、作業者の疲労が増加し、作業効率が低下するとともに、矢印301に示すようにストレス指標のLF/HFはさ
らに増加する。ただし、既に述べたように、このような反応は個人差が大きく、ばらつきも大きい。このため、単純に入力ワード数とLF/HFの数値のみに基づいてストレスまたは疲労度を判定することはできない。
本実施形態では、個人別の作業履歴と生体情報のデータベースから、作業者ごとに、図12に示すような比較的長期間のデータから時間軸で重み付けした平均的な分布が作成される。この分布が、推定される現在の生体情報として利用される。長期間の平均的な分布は、その作業者固有の作業負荷と生体情報との関係を表す。作業者が正常な状態であれば、実際の生体情報が、この分布に近い生体情報を示すと考えられるためである。これに対し、現在までの比較的短時間(例えば1時間程度)の作業によって得られる作業負荷と生体反応とのデータ(例えば、図12に示すグラフのプロット)が現在の計測された生体情報として用いられる。以上の処理が、信号処理装置108における生体情報推定部103によって実行される。このように、本実施形態のシステムは、作業負荷と生体反応とを頻度マップとして捉らえ、作業者の作業適正の判定を行う。
信号処理装置108における作業適正度判定部105は、推定された現在の生体情報のマップ、すなわち長期間の平均分布と、現在の生体情報のマップ、すなわち短時間の平均分布とを比較する。これにより、作業者の作業適正を判断することが可能になる。例えば、現在のマップにおいて、過去のデータのマップと比較して、図12に示すB領域に属するデータの比率が高ければ、高い作業効率で業務が遂行できていることになる。一方、A領域に属するデータの割合が高い場合、作業に集中できていない状態、つまり覚醒度が低い、あるいは作業に飽きている状態であることが推定される。このような場合、作業適正度判定システムは、例えば「少し集中力が低下しています。ストレッチングを行ってリフレッシュしてください。」等のアドバイスを、表示装置107(例えばコンピュータディスプレイ)に表示する。逆に、現在のデータの分布がC領域に偏っている場合、疲労が蓄積し作業効率が低下していると推定される。この場合には、本システムは、「少し疲れているようです、コーヒーブレイクを取って下さい。」というようなアドバイスを表示装置107に表示することができる。このように、本実施形態のシステムを用いることで、作業効率の低下を検知し、適切なタイミングでアドバイスを行うことができる。これにより、高い作業効率を実現することが可能である。
さらに、本システムを用いることで、うつ病などの悪いメンタルヘルスの兆候を検知することが可能になる。既に述べたように、作業者ごとに比較的長期間にわたる作業負荷と生体反応との関係が常に更新されてデータベースに記録される。この分布の長期間の変動をトレースすることで、うつ病の兆候を把握することが可能になる。徐々にうつ傾向が進行している場合、分布は徐々に図12の矢印301に示す方向にシフトしていく。このような分布の変化を検知することにより、うつ傾向を把握することができる。このような傾向が見られる場合、作業者に産業医の診断を受けさせる等の対策を施すことができる。うつ病の場合、副交感神経の活性度を示す心拍変動の低周波成分LFが減少することが知られている。よって、図12に示すようなLF/HFと作業負荷との関係だけでなく、LFと作業負荷との関係をモニタリングしてもよい。そのようにすることにより、より高い精度でうつ傾向の検知が可能になる。
実際に、ワードプロセッサでの入力を業務とする一名の作業者のコンピュータ端末に本システムを構築し、比較的長期間にわたってデータの取得を行った。データを取得した期間は3ヶ月である。作業者の主な作業はワードプロセッサでの入力作業である。
図13Aは、3ヶ月間の入力作業から得られた作業時の単位時間当たりの入力語数と入力時のLF/HFとの関係を示している。暗い領域ほど出現頻度が高いことを表している。入力速度の平均は、約75文字/分であった。作業を行なっていない平常時に比べてL
F/HFの値は1.3倍程度に上昇しており、作業に伴い軽い緊張状態にあることがわかる。この分布が、対象作業者の長期間にわたる作業負荷の変動と生体情報の変動との関係を表している。作業者の体調および精神状態に特に異常がなければ、この分布から大きく外れることはない。このような分布が、推定される生体情報として扱われる。この分布と現在の生体情報とを比較して、作業者の作業適正の判断を行った。現在の生体情報として、短時間(この例では1時間毎)での入力語数と生体情報の変化の分布を求めた。3ヶ月間の計測中に、2種類の特異な分布が多く計測された。その分布の例を、図13Bおよび図13Cに示す。
図13Bの分布では、図13Aの分布と比べると、入力文字数が減少している。このため、作業効率が低下していることがわかる。この場合、集中度またはストレスを表すLF/HFも低下している。この時、作業者は集中力を欠いていたと推定できる。
一方、図13Cの分布では、図13Aの分布と比べると、入力文字数が減少しており、この場合も作業効率が低下している。しかしながら、ストレスを表すLF/HFは、効率の高い作業を行っている場合と比べて高くなっている。このことから、この時、作業者は、作業に伴う疲労により作業効率が低下していたと推定できる。
以上のように、作業効率だけを計測しても、作業効率の低下は確認できるが、その原因まではわからず、作業効率の向上のためにどのような対策が有効であるかはわからない。本実施形態のシステムを用いることで、作業者の作業適正度を判定し、その結果に応じて適切な助言を行うことができる。これにより、労働生産性の向上を図ることが可能になる。
前述のように、図13Aに示す長期間の作業負荷と生体情報との関係を示すデータは、常に最新のデータで更新されていく。この分布の変化を解析することで、作業者の長期的なメンタルヘルスの状況をチェックすることができる。例えば、図13Aに示す高頻度の部分の分布が図12に示す矢印301の方向に徐々に変化している場合、何らかのメンタルヘルス上の問題が進行している可能性があることがわかる。メンタルヘルス上の問題を早期に把握し、適切な対応を行うことは、労働安全上特に重要である。
上述のように、比較的長期間にわたる作業負荷および生体情報の分布と、現在の比較的短時間にわたる作業負荷および生体情報の分布とを比較することにより、現在の作業効率または作業適正度を判定することができる。また、比較的長期間の作業負荷および生体情報の分布の時間変化をモニタリングすることにより、メンタルヘルスの問題への対策を効率的に行うことができる。
(実施形態3)
本実施形態は、PCなどのコンピュータを用いた学習において、学習の効率化を目的とした作業適正度判定システムである。本実施形態における作業適正度判定システムは、学習適正度判定システムと称することもできる。本システムは、例えば、学校、塾、またはオンライン学習において用いられ得る。本実施形態における作業者は学習者であり、作業内容は、コンピュータを用いた学習である。
近年、コンピュータを用いた様々な学習システムおよび学習機材の市場が拡大している。学習者の都合に合わせて自由な時間に学ぶことができることが利点である。しかし、教師がいないために集中度を欠いて成果が上がりにくいという課題があった。本実施形態は、このような課題を解決するために、学習中に学習者の集中度または学習適正度を判定し、学習にフィードバックを行うシステムを提供する。本実施形態でも、実施形態2と同様、コンピュータが用いられる。このため、本実施形態でも、実施形態2におけるハードウ
ェア構成と同様のハードウェア構成を用いることができる。図10Aに示すように、生体センシング装置401のみが固有のハードウェアとなっており、PCなどのコンピュータ410に接続されて使用される。図1Aに示す構成要素のうち、生体センシング装置401以外の構成要素は、全てコンピュータ410にハードウェアまたはソフトウェアとして格納されている。コンピュータ410は、作業者のコンピュータ作業の開始に伴って、目的とする作業のバックグラウンドで作業適正度判定を行う。学習ソフトウェアが本システムと連携することにより、本人の理解度および集中度に応じて学習内容を変化させることができ、効率的な学習が可能になる。
本実施形態でも、個人認証は、例えばPCなどのコンピュータでのID入力によって行われる。
脳血流計測装置401のハードウェア構成は、実施形態2における構成と同じである。図10Bに示すように、脳血流計測装置401は、近赤外ドットアレー光源である光源601cと、撮像装置603とを備える。実施形態2のシステムは、顔の血流変化から心拍数を計測し、心拍数の揺らぎを生体情報として利用する。これに対し、本実施形態のシステムは、鼻部の血流変化から集中度を判定する。
図14Aから図14Cを参照して、撮像装置603で撮影された画像から生体情報を取得する信号処理のフローを説明する。
図14Aは、撮像された近赤外画像の例を示している。図14Bは、生体の情報検出領域の画像の拡大図である。この例では、生体の情報検出領域は、図14Aに点線枠で示す鼻の領域である。投影されたドットパターンの周辺に肌の内部で散乱された体内散乱光501が検出される。画像データから体内散乱光501に相当するデータのみを抽出して計算することで、体内の血流情報を取得することができる。図14Cは、このようにして取得した血流情報の例を示している。血流量が増加すると、血液による光の吸収により、反射率が低下する。よって反射光の信号から血流量の変化を検出することができる。図14Cに示す信号と図11Cに示す信号との違いは、縦軸の幅であり、血流量変化に比べて、心拍変動による反射率の変化は小さい。図14Cは、時間移動平均を行うことによって心拍変動の影響を除去した結果を示している。図14Cには、鼻部の計測結果に加えて、比較用データとして、額部の血流変化の計測結果も示されている。
ストレスによって鼻部の温度が変化することが知られている。鼻部の周辺には、交感神経の支配下にある動静脈吻合血管と呼ばれる動脈と静脈との吻合部が集中している。よって、自律神経の活性または抑制に起因する血流量の変化が、鼻部の皮膚温度の変化に直接的に反映される。人が緊張またはストレスを感じているときには、交感神経が活性化し、血流量が減少する。これにより、鼻部の皮膚温度が下降する。鼻部周辺の皮膚温度をサーモグラフィによってモニタすることにより、精神的なストレスまたは集中度を評価することが旧来から行われてきた。本実施形態のシステムは、温度を測定する代わりに、温度変化を生じさせる血流変化を近赤外撮像装置によって直接的に評価する。既に述べたように、鼻部は体の他の部位に比べて動静脈吻合血管が集中しており、鼻部の血流は自律神経の変化の影響を強く受ける。これに対して額部の血流は、自律神経の変化の影響を受けにくく安定しており、体の深部の体温との関係が深い。そこで、本実施形態のシステムは、額部と鼻部の血流変化の両方を計測し、額部の計測結果をリファレンスとして利用する。これにより、照明光の照度変化および体動などの外乱の影響を除去し、安定して鼻部の血流変化に基づいて心理的ストレスの有無または程度を検出することが可能になる。
続いて、本実施形態における作業センシング装置102による作業情報の取得方式を説明する。学習者は、例えばPCまたはタブレットコンピュータなどにインストールされた
ソフトウェア(以下、「学習ソフト」と称する。)での指示に従って学習を進める。このため、学習内容は常にコンピュータで把握される。本実施形態における脳血流計測装置401は、学習ソフトが問題を提示し学習者が回答を行う際の血流変化を計測する。脳血流計測装置401は、図14Cに示すようなデータを取得する。回答に集中すると、鼻部の血流が低下し、近赤外光の反射率が上昇する。
次に、信号処理装置108における生体情報推定部103の動作を説明する。本実施形態でも、生体情報推定部103は、学習者の作業負荷と、生体反応との長期的なデータを解析し、個人別のデータベースを記憶装置104に構築する。本実施形態における作業負荷は、問題への回答状況であり、生体反応は鼻部血流の変化である。問題提示から回答までの時間、問題の難易度、および学習者の回答が正解か不正解かに関するデータは、コンピュータ410から入手可能である。生体情報推定部103は、そのデータに基づき、その条件での学習者の平均的な鼻部血流の変化量を算出する。本実施形態では、この変化量が、生体情報の推定値として利用される。
信号処理装置108における作業適正度判定部105は、推定された現在の鼻部血流の変化量と現在の実際に計測された鼻部血流の変化量とを比較する。これにより、学習者の学習状況が把握可能となる。回答時間が想定される時間よりも短く、鼻部血流の変化量が推定値よりも小さい場合、学習者の現在の学力レベルに対し問題が易しすぎると判断できる。その場合、さらに高度な問題を提示する、あるいは次の学習ステップに進むというような判断が可能になる。回答時間が想定される時間よりも長く鼻部血流の変化量が推定値よりも小さい場合には、学習に対する集中度が不足していると推定される。このため、コンピュータのディスプレイを通じて注意喚起を行ったり、気分転換するようにアドバイスしたりすることができる。鼻部血流の変化量が大きく、集中しているにも関わらず、回答が不正解であった場合には、学習範囲に理解が不足している部分があると推定される。この場合には、理解の不十分な部分を検出できるような問題を提示するか、重要部分を再学習するような学習内容に変更することができる。鼻部血流の変化量が大きく、集中しており、かつ回答が正解であった場合には、学習が順調に進んでいると推定される。その場合には、さらに難度の高い問題を提示するか、難度の高い学習内容に移行するというような判断が可能になる。このように、作業適正度判定部105は、学習者の判定結果に応じて、学習者に作業適正度に応じた学習コンテンツを提供する。
以上のように、本実施形態のシステムを用いることで、学習の理解度または集中度を作業適正度として判定することができる。学習者の作業適正度の判定結果に応じた学習コンテンツまたは注意喚起などの表示を、コンピュータに提供させることができる。それにより、集中度を維持したまま効率的な学習が可能となる。
本開示は、図1Aに示す信号処理装置108が実行する動作を規定するコンピュータプログラムも含む。そのようなコンピュータプログラムは、作業適正度判定システム内のメモリなどの記録媒体に格納され、信号処理装置108に上述の各動作を実行させる。
本開示は、推定された作業者の生体情報と、実測された作業者の生体情報とに基づいて、作業者の作業適正を判定する作業適正度判定システムに利用可能である。
100、200 作業適正度判定システム
101、201 認証装置
102 作業センシング装置
103 生体センシング装置
104、204 記憶装置
105 作業適正度判定部
106、205 生体情報取得部
107、206 表示装置


Claims (8)

  1. コンピュータによって実行される処理方法であって、
    車両を運転する運転者の生体情報を取得することと、
    前記運転者による運転操作に関する運転情報を取得することと、
    前記運転者が前記運転を行っている間の、前記生体情報と、前記運転情報とを、関連付けて記憶装置に蓄積させることと、
    (1)前記記憶装置に蓄積された、過去における前記運転情報と前記生体情報との相関関係、(2)現在における前記運転者の前記生体情報、および(3)現在における前記運転情報に基づいて、現在における前記運転者の前記運転の適正度を判定することと、を含む、
    方法。
  2. 前記運転操作はアクセル操作、ブレーキ操作、およびハンドル操作からなる群から選択される少なくとも1つを含む、
    請求項1に記載の方法。
  3. 前記運転情報は、加速度センサから出力される情報に基づいて推定される、
    請求項2に記載の方法。
  4. 前記車両は、運転補助を含む自動運転機能を有し、
    判定された前記運転者の前記適正度に応じて、前記運転補助の内容を決定し、前記車両に前記運転補助を実行させること、をさらに含む、
    請求項1に記載の方法。
  5. 個人認証コード、前記運転者の画像、および生体認証装置によって取得される情報からなる群から選択される少なくとも1つを用いて前記運転者を特定すること、をさらに含み、
    前記生体情報と、前記運転情報とを、関連付けて前記記憶装置に蓄積させることは、前記生体情報と、前記運転情報、および特定された前記運転者とを関連付けて蓄積させることを含む、
    請求項1に記載の方法。
  6. 前記適正度は、前記運転者の集中度、疲労度、およびストレスからなる群から選択される少なくとも1つの精神状態の程度を示す、
    請求項1に記載の方法。
  7. 車両を運転する運転者の生体情報を取得する生体センシング装置と、
    前記運転者による運転操作に関する運転情報を取得する運転センシング装置と、
    記憶装置と、
    信号処理装置と、
    を備え、
    前記信号処理装置は、
    前記運転者が前記運転を行っている間の、前記生体情報と、前記運転情報とを、関連付けて前記記憶装置に蓄積させ、
    (1)前記記憶装置に蓄積された、過去における前記運転情報と前記生体情報との相関関係、(2)現在における前記運転者の前記生体情報、および(3)現在における前記運転情報に基づいて、現在における前記運転者の前記運転の適正度を判定する、
    システム。
  8. 請求項1に記載の方法をコンピュータに実行させるためのプログラム。
JP2023111010A 2017-02-28 2023-07-05 運転の適正度を判定するシステム Pending JP2023145468A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017035796 2017-02-28
JP2017035796 2017-02-28
JP2018016972A JP7045639B2 (ja) 2017-02-28 2018-02-02 作業適正度判定システム
JP2022031423A JP7316574B2 (ja) 2017-02-28 2022-03-02 作業適正度判定システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022031423A Division JP7316574B2 (ja) 2017-02-28 2022-03-02 作業適正度判定システム

Publications (1)

Publication Number Publication Date
JP2023145468A true JP2023145468A (ja) 2023-10-11

Family

ID=63370016

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022031423A Active JP7316574B2 (ja) 2017-02-28 2022-03-02 作業適正度判定システム
JP2023111010A Pending JP2023145468A (ja) 2017-02-28 2023-07-05 運転の適正度を判定するシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022031423A Active JP7316574B2 (ja) 2017-02-28 2022-03-02 作業適正度判定システム

Country Status (4)

Country Link
US (1) US20220315010A1 (ja)
JP (2) JP7316574B2 (ja)
CN (2) CN115137336A (ja)
WO (1) WO2018159276A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357580A1 (en) * 2017-06-09 2018-12-13 Ford Global Technologies, Llc Vehicle driver workload management
WO2023119763A1 (ja) * 2021-12-21 2023-06-29 パナソニックIpマネジメント株式会社 運転者状態推定装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5119375B2 (ja) 1972-05-24 1976-06-17
JPS603782B2 (ja) 1977-09-21 1985-01-30 株式会社日立製作所 回路素子取付用基板
JPH1165422A (ja) * 1997-08-22 1999-03-05 Omron Corp 作業者の心身状態評価方法,機器を用いた作業の作業内容制御方法及び作業内容制御システム
JPH11203006A (ja) * 1998-01-20 1999-07-30 Fujitsu Ltd ユーザ状況推定装置
JP2001344352A (ja) 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2002065650A (ja) 2000-09-04 2002-03-05 Nissan Motor Co Ltd 疲労度判定装置
JP4803490B2 (ja) * 2006-08-30 2011-10-26 株式会社エクォス・リサーチ 運転者状態推定装置及び運転支援装置
JP2008062852A (ja) * 2006-09-08 2008-03-21 Fujitsu Ten Ltd 車両制御装置
CN102884544B (zh) 2010-04-30 2017-02-08 亿码技术股份有限公司 以人为传感器的风险评价系统
JP2015033457A (ja) * 2013-08-08 2015-02-19 日産自動車株式会社 運転状態推定装置及び運転状態推定方法
RU2581785C2 (ru) * 2013-12-30 2016-04-20 ХЕРЕ Глобал Б.В. Способ и устройство для различения связанных со здоровьем состояний пользователя на основании информации о взаимодействии с пользователем
EP3245093B1 (en) * 2015-01-12 2021-09-01 Harman International Industries, Incorporated Cognitive load driving assistant
US9727055B2 (en) * 2015-03-31 2017-08-08 Alcatel-Lucent Usa Inc. System and method for video processing and presentation
US10328852B2 (en) * 2015-05-12 2019-06-25 University Of North Dakota Systems and methods to provide feedback to pilot/operator by utilizing integration of navigation and physiological monitoring
US9988055B1 (en) * 2015-09-02 2018-06-05 State Farm Mutual Automobile Insurance Company Vehicle occupant monitoring using infrared imaging

Also Published As

Publication number Publication date
WO2018159276A1 (ja) 2018-09-07
CN115137336A (zh) 2022-10-04
JP7316574B2 (ja) 2023-07-28
JP2022082547A (ja) 2022-06-02
CN115137335A (zh) 2022-10-04
US20220315010A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
JP7045639B2 (ja) 作業適正度判定システム
Sibi et al. Monitoring driver cognitive load using functional near infrared spectroscopy in partially autonomous cars
US20200297270A1 (en) Biometric apparatus, biometric method, and determination apparatus
JP2023145468A (ja) 運転の適正度を判定するシステム
Dawson et al. Look before you (s) leep: evaluating the use of fatigue detection technologies within a fatigue risk management system for the road transport industry
US8706206B2 (en) Human fatigue assessment device and human fatigue assessment method
Aghaei et al. Smart driver monitoring: When signal processing meets human factors: In the driver's seat
KR102143343B1 (ko) 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템
US9721476B2 (en) System and method for dynamic cognitive training
Le et al. A novel method for classifying driver mental workload under naturalistic conditions with information from near-infrared spectroscopy
Rahimpour et al. Classification of fNIRS based brain hemodynamic response to mental arithmetic tasks
Giusti et al. A noninvasive system for evaluating driver vigilance level examining both physiological and mechanical data
US10835169B2 (en) Brain function index computing device and brain function index computing method
Le et al. Effect of sliding window time on the classification of driver mental workload performance using near-infrared spectroscopy (NIRS)
Schneider et al. Electrodermal responses to driving maneuvers in a motion sickness inducing real-world driving scenario
Hsu et al. Heart rate variability signal processing for safety driving using Hilbert-Huang transform
Garcia et al. Evaluating mental state of drivers in automated driving using heart rate variability towards feasible request-to-intervene
Weller et al. A robust method to detect driver distraction
Hiroyasu et al. Classification subject effects using changes in cerebral blood flow on the Stroop test
Gerus et al. The Physical Principles of the Construction of Systems for Safe Monitoring of the State of a Human Operator
Shi Correlation between NASA-TLX, Task Performance and Physiological Measurements in MATB-II
Radhakrishnan A psychophysiological insight into driver state during highly automated driving
Sevcenko et al. Neural correlates of cognitive load while playing an emergency simulation game: a functional near-infrared spectroscopy (fNIRS) study
Li et al. A Human-Machine Trust Evaluation Method for High-Speed Train Drivers Based on Multi-Modal Physiological Information
Ruff Driver Cognitive Workload: A Comprehensive Multi-measure Approach

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618