JP2022048219A - 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 - Google Patents

感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 Download PDF

Info

Publication number
JP2022048219A
JP2022048219A JP2022006809A JP2022006809A JP2022048219A JP 2022048219 A JP2022048219 A JP 2022048219A JP 2022006809 A JP2022006809 A JP 2022006809A JP 2022006809 A JP2022006809 A JP 2022006809A JP 2022048219 A JP2022048219 A JP 2022048219A
Authority
JP
Japan
Prior art keywords
information
state
pen
emotional state
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022006809A
Other languages
English (en)
Other versions
JP7189382B2 (ja
Inventor
晃幸 掛
Akiyuki Kake
ハイジ ワン
Hei-Di Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of JP2022048219A publication Critical patent/JP2022048219A/ja
Application granted granted Critical
Publication of JP7189382B2 publication Critical patent/JP7189382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures
    • G06V40/37Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)

Abstract

【課題】電子ペンによる入力作業者のリアルタイムの感情状態を推定することができる。【解決手段】電子ペンを把持している人の感情状態と、その感情状態のときに人が把持している電子ペンの状態に関するペン状態情報とが対応付けられて格納されている感情推定用情報格納部と、ペン状態情報を含む感情状態推定要求を受信したときに、受信したペン状態情報により感情推定用情報格納部を参照することで、感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、推定手段で推定した感情状態を感情状態推定要求をしてきた相手に通知する手段とを備える。感情状態には、注意力散漫状態を含み、ペン状態情報を含む感情状態推定要求の信号フォーマットは、推定された感情状態を示す情報を挿入するための部分を有し、推定された感情状態を示す情報は、前記部分に挿入されて、感情状態推定要求の要求側に返信される。【選択図】図14

Description

この発明は、感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置に関する。
従来から人の脳波などの生体情報を測定して、当該人の感情の状態を推定する試みが種々なされている。例えば、特許文献1(特開2010-131328号公報参照)には、簡易脳波計を用いて脳波を測定して、脳波情報から対象者の嗜好や生理的状態を判別する方法や装置が開示されている。
また、特許文献2(特開2015-109964号公報参照)には、対象者の脳波以外の生体情報、例えば脈拍や血流などを測定し、当該測定した生体情報と脳波との相関関係に基づき、測定した生体情報から対象者の脳波を推定し、推定された脳波の特徴パターンにより、対象者の感情を推定する方法が提供されている。
特開2010-131328号公報 特開2015-109964号公報
近年、電子機器の入力装置として、電子ペンが賞用されるようになってきている。この電子ペンの使用者の当該電子ペンによる入力作業中における感情が判別(推定)できれば、その判別(推定)された感情に応じた対応を使用者に対して提供することが可能になり、便利である。
例えば、電子ペンによる入力の執務中の作業者の感情状態が、注意力散漫の状態にあることが判明したら(推定されたら)、注意喚起するとか、イライラしている感情状態であることが判明したら(推定されたら)、気持ちをリラックスさせる音楽を提供するなどの対応をすることが可能となる。
以上のことを実現しようとする場合には、電子ペンによる入力作業をしている使用者の当該時点のリアルタイムの感情状態を判別(推定)する必要があり、上述した特許文献1や特許文献2の技術を用いることが考えられる。しかし、電子ペンによる入力をしている使用者が簡易脳波計や生体情報のセンサを装着しながら作業をすることは、現実的ではなく、また、各作業者毎に、簡易脳波計や生体情報のセンサが必要になり、コスト的にも、現実的ではない。
この発明は、以上の問題点に鑑み、電子ペンによる入力作業者は、簡易脳波計や生体情報のセンサなどを電子ペンによる入力作業者が装着しなくても、当該電子ペンによる入力作業者の当該作業時点のリアルタイムの感情状態を判別(推定)することができるようにすることを目的とする。
上記の課題を解決するために、
電子ペンを把持している人の感情状態と、前記感情状態のときに前記人が把持している電子ペンの状態に関するペン状態情報とが対応付けられて格納されている感情推定用情報格納部と、
前記ペン状態情報を含む感情状態推定要求を受信したときに、前記受信した前記ペン状態情報により前記感情推定用情報格納部を参照することで、前記要求情報を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、
前記推定手段で推定した前記感情状態を前記感情状態推定要求をしてきた相手に通知する手段と、
を備え、
前記感情状態には、注意力散漫状態を含むと共に、
前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットには、推定された感情状態を示す情報を挿入するための空きスペースが設けられており、前記推定された感情状態を示す情報は、前記空きスペースに挿入されて、前記感情状態推定要求の要求側に返信される
ことを特徴とする感情推定装置を提供する。
一般的に、電子ペンを把持している作業者の手や指先は、当該作業者の当該時点における感情状態に応じた動きをする。したがって、作業者により把持されている電子ペンは、当該作業者のその時の感情状態に応じた手や指先の動きに応じた高さ位置に在ったり、センサ入力面に対する傾きを有していたり、所定の筆圧の状態であったりする。つまり、電子ペンを把持している作業者の感情状態と、当該作業者により把持されている電子ペンについての、高さ位置やその変動、傾きやその変動、筆圧やその変動などの電子ペンの状態に関するペン状態情報とは、相関を有している。
そこで、この発明においては、電子ペンを把持する人の注意力散漫状態を含む感情状態と、前記感情状態のときに、電子ペンを把持している人が把持している電子ペンの状態に関するペン状態情報とが対応付けられて格納されている感情推定用情報格納部が事前に構築されている
ここで、感情状態としては、注意力散漫状態を含み、その他、例えばリラックスしている、集中している、イライラしている、などの感情の状態とされる。また、ペン状態情報としては、例えば電子ペンの芯体に印加される筆圧及びその変動と、電子ペンのセンサ上の高さ位置とその高さ方向の変動、電子ペンのセンサ面に対する傾き及びその変動、電子ペンがセンサ上に接触していない状態でのセンサのX軸方向及びY軸方向の動き、などが用いられる。そして、感情推定用情報格納部に記憶されるのは、各感情状態と、当該感情状態のときに人が把持している電子ペンの状態に関するペン状態情報とが対応付けられた情報である。
請求項1の感情推定装置においては、電子ペンの状態に関するペン状態情報を含む感情状態推定要求を受信したときに、受信したペン状態情報により感情推定用情報格納部を参照することで、感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定する。そして、その推定結果の感情状態に応じた情報を、感情状態推定要求をしてきた側に返信するようにする。
以上のようにして、感情推定装置に対して、取得したペン状態情報を含めた感情状態推定要求を送るだけで、当該時点における電子ペンの使用者の推定された感情状態を知ることができ、その感情状態に応じた情報による処理をすることできる。
この発明による感情推定装置の実施形態における感情推定用情報格納部の構築装置の実施形態を説明するための図である。 図1の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 図1の実施形態を構成する感情サーバ装置の構成例を示すブロック図である。 図1の実施形態の感情推定用情報格納部の構築装置の例を説明するための図である。 図1の実施形態の感情推定用情報格納部の構築装置の例を説明するための図である。 図1の実施形態の感情推定用情報格納部の構築装置で構築される感情推定用情報格納部の例を説明するための図である。 図1の実施形態の感情推定用情報格納部の構築装置の動作処理の流れの例を説明するためのフローチャートを示す図である。 感情推定用情報格納部の構築装置の他の実施形態の概要を説明するための図である。 感情推定用情報格納部の構築装置の他の実施形態を説明するための図である。 図8の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 感情推定用情報格納部の構築装置の他の実施形態の概要を説明するための図である。 図11の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 この発明による感情推定装置の実施形態を含むシステムの構成例の概要を説明すための図である。 図13の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 図13の実施形態を構成する感情サーバ装置の構成例を示すブロック図である。 図13の実施形態を構成するタブレット端末の処理動作の流れの例のフローチャートを示す図である。 図13の実施形態を構成する感情サーバ装置の処理動作の流れの例のフローチャートを示す図である。 図13の実施形態を説明すための図である。 この発明による感情推定装置の実施形態における感情推定用情報格納部の構築装置の実施形態及び感情推定装置の実施形態並びに感情推定システムの実施形態において使用する信号フォーマットの例を説明するための図である。 この発明による感情推定システムの他の実施形態の要部を説明するための図である。
以下、この発明の実施形態を、図を参照しながら説明する。まず、感情推定用情報格納部の構築装置の実施形態について説明する。
[感情推定用情報格納部の構築システムの第1の例]
図1は、感情推定用情報格納部の構築装置の実施形態を含む感情推定用情報格納部の構築システムの第1の構成例の概要を示す図である。この例は、人の感情状態を判断するために、脳波計を用いる場合である。なお、以下の説明においては、感情推定用情報格納部は、感情推定用データベースと称することとする。
図1に示すように、この第1の構成例では、電子ペンの使用者3は、電子ペン1を把持して、当該電子ペン1による指示入力を検出する位置検出装置部を備えるタブレット端末2に対して指示入力をする。この例では、電子ペン1及びタブレット端末2の位置検出装置部は、電磁誘導結合方式のものを用いている。
そして、この例では、電子ペン1は、その芯体の先端に印加される筆圧を検出する機能を備えていると共に、自身を識別するための識別情報(ペンID)を記憶しており、位置検出用信号と共に、その検出した筆圧の情報とペンIDとを、タブレット端末2の位置検出装置部に送信するようにする。電子ペン1は、使用者3が所有している電子ペンであり、ペンIDは、使用者3の識別情報としての役割を担う。なお、電子ペン1に印加される筆圧は、公知の手法を用いることで検出可能であるので、その検出手法の説明は、ここでは省略する。
タブレット端末2の位置検出装置部は、電子ペン1による指示された位置を、電子ペン1から送出される位置検出用信号に基づいて、電磁誘導結合方式により検出する。なお、この例では、電子ペン1は、コイルとキャパシタとからなる共振回路を備えており、タブレット端末2の位置検出装置部から送られてくる交流信号を共振回路で受信し、その受信した交流信号を帰還させることで、電子ペン1からの位置検出用信号としてタブレット端末2の位置検出装置部に送信する。
そして、電子ペン1は、共振回路からタブレット端末2の位置検出装置部に帰還する交流信号の周波数(共振周波数)を変えることで、筆圧情報をタブレット端末2の位置検出装置部に伝送したり、共振回路からタブレット端末2の位置検出装置部に帰還する交流信号を、ASK(Amplitude Shift Keying)変調や、OOK(On-Off Keying)変調などして、デジタル信号としてタブレット端末2の位置検出装置部に伝送したりする。タブレット端末2の位置検出装置部は、上記のようにして電子ペン1から伝送されてくる筆圧情報やペンIDをも取得する。
また、この例では、タブレット端末2の位置検出装置部は、電子ペン1の傾きと、電子ペン1の高さ位置とを検出する機能を備えている。ここで、電子ペン1の傾きとは、位置検出装置部のセンサ面(位置指示入力面)に対する電子ペン1の傾きである。また、電子ペン1の高さ位置とは、位置検出装置部のセンサ面(位置指示入力面)からの高さ位置である。電子ペン1の傾きや高さ位置は、公知の手法を用いることで検出可能であるので、その検出手法の説明については、ここでは省略する。
タブレット端末2は、以上説明した、検出した電子ペン1の指示位置の情報と、電子ペン1の筆圧情報と、電子ペン1の傾きの情報と、電子ペン1の高さ位置の情報とを、ペン状態情報として、対応付け処理部4に供給する。なお、この例においては、電子ペンの状態に関するペン状態情報には、電子ペンによる指示位置の情報と、筆圧情報と、傾きの情報と、電子ペンの高さ位置の情報などを含むものである。
そして、この例では、電子ペンの使用者3の頭部には、その感情状態を判断するために、脳波計5に接続されている複数の電極6が装着されている。脳波計5は、電極6から得られた脳波データを、内蔵する時計部の時間情報(年月日時分秒の時刻情報)を付加して、対応付け処理部4に供給する。
対応付け処理部4は、例えばパーソナルコンピュータで構成される。対応付け処理部4は、タブレット端末2から、電子ペンによる指示位置の情報とペンIDとペン状態情報とを取得すると共に、脳波計5から、同じ時点における脳波データを取得して、両者を対応付けると共に、その対応付けた情報に、タイムスタンプ(当該時点の年月日時分秒の時刻情報)を付加する。そして、対応付け処理部4は、その対応付けた情報にタイムスタンプを付加してものを、通信ネットワーク7を通じて、感情サーバ装置8に送信する。
通信ネットワーク7は、インターネットや携帯電話網を含む公衆網を含むもので構成することができる。また、通信ネットワーク7は、Wi-Fi(登録商標)(Wireless Fidelity)を用いる無線LANであってもよい。また、通信ネットワーク7は、感情サーバ装置8と対応付け処理部4との間を有線で接続するLANの構成であってもよい。
感情サーバ装置8は、対応付け処理部4からの情報を受信し、その受信した情報から電子ペンのペンIDと、脳波データと、電子ペン1のペン状態情報とを分けて取得する。そして、そのうちの脳波計5からの脳波データから、電子ペン1の使用者の、当該時点における感情状態を判断(確認)する。この例においては、感情状態としては、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、などが判断(確認)される。脳波データからのこれらの感情状態の判断手法は、脳波に占めるα波、β波、θ波などの各周波数成分比率(分布)に応じて判断される手法など、良く知られている。
感情サーバ装置8は、後述するように、受信したタブレット端末2からの情報から、電子ペン1の使用者について判断した各感情状態において、ペン状態情報が取り得る値の範囲情報を算出する。
そして、感情サーバ装置8では、内蔵する感情推定用データベースに、判断した感情状態と、その感情状態のときにペン状態情報が取り得る値の範囲情報と、電子ペンのペンIDとを対応付けて格納する。
[電子ペン1とタブレット端末2の位置検出装置部の電子回路構成例]
図2は、第1の例の電子ペン1の等価回路と、この電子ペン1と電磁誘導授受方式により位置検出及び筆圧検出を行うタブレット端末2の位置検出装置部20の回路構成例を示す図である。
この図2の例のタブレット端末2の位置検出装置部20は、センサ部21と座標データ形成部22とコントローラ23とを備えている。センサ部21においては、X軸方向ループコイル群211と、Y軸方向ループコイル群212とが積層されて形成されていると共に、2つのループコイル群211,212のうちの一のループコイルを順次選択する選択回路213が設けられている。
電子ペン1は、IC100で構成される信号制御回路を備えていると共に、このIC100を駆動するための駆動電圧を、タブレット端末2の位置検出装置部20のセンサ部21に備えられた励磁コイル214から送信された励磁信号から取得するように構成されている。なお、図2では、一例として、センサ部21のループコイル群211,212は電子ペン1からの電磁結合信号の受信にのみ用いられるものとして説明するが、電子ペン1との間で電磁結合することで、励磁コイル214に代えて電子ペン1に備えられた信号制御回路を駆動することを排除するものではない。また、電子ペン1に備えられた信号制御回路に対して所定の制御データなどの信号を送信することを排除するものでもない。
この図2の例のタブレット端末2の位置検出装置部20のセンサ部21においては、X軸方向ループコイル群211と、Y軸方向ループコイル群212とを取り囲むようにして、励磁コイル214が配設されている。図2においては、励磁コイル214は、2ターンとなっているが、実際的には、より多くのターン数、例えば8~10ターンとされている。図2に示すように、励磁コイル214は、ドライブ回路222に接続され、ドライブ回路222は、周波数foで発振する発振回路221に接続されている。
ドライブ回路222は、マイクロコンピュータで構成される処理制御部220により制御される。処理制御部220は、ドライブ回路222を制御して、発振回路221からの周波数foの発振信号の、励磁コイル214への供給を制御して、励磁コイル214からの電子ペン1への信号送信を制御する。
選択回路213は、処理制御部220により選択制御されて一つのループコイルを選択する。この選択回路213により選択されたループコイルに発生する誘導電圧は、受信アンプ223にて増幅され、バンドパスフィルタ224に供給され、周波数foの成分のみが抽出される。バンドパスフィルタ224は、その抽出した成分を検波回路225に供給する。
検波回路225は、周波数foの成分を検出し、その検出した周波数foの成分に応じた直流信号をサンプルホールド回路226に供給する。サンプルホールド回路226は、検波回路225の出力信号の所定のタイミング、具体的には受信期間中の所定のタイミングにおける電圧値を保持し、AD変換回路227へ送出する。AD変換回路227は、サンプルホールド回路226のアナログ出力をデジタル信号に変換し、処理制御部220に出力する。処理制御部220は、前記所定のタイミングの信号をサンプルホールド回路226に供給する。
そして、処理制御部220は、AD変換回路227からのデジタル信号が所定のスレッショールド値を超えた値であるか否かを判定して、選択回路213で選択されているループコイルが電子ペン1で位置指示された位置のループコイルであるか否かを判定し、その判定に基づいて電子ペン1による指示位置を検出する。
処理制御部220は、また、後述するように、電子ペン1による指示位置の検出とは別に、電子ペン1からの信号の断続を、数ビットのデジタル信号として検出して、筆圧を検出すると共に、ペンIDを検出するようにする。そして、処理制御部220は、検出した電子ペンによる指示位置の情報と、検出した筆圧の情報と、検出したペンIDとを、対応付けてコントローラ23に供給する。
コントローラ23は、受け取った電子ペンによる指示位置の情報と、筆圧の情報と、ペンIDとを、図示を省略したバッファに記憶する。なお、コントローラ23は、カレンダー機能付の時計部231を備え、バッファには、指示位置の情報と、筆圧の情報と、ペンIDとに対応付けて、それらの受信時点の年月日時分秒の時間情報も記憶する。
そして、コントローラ23は、バッファに記憶した指示位置の情報と、筆圧の情報と、ペンIDと、時間情報とを無線通信部232を通じて対応付け処理部4に送信するようにする。
電子ペン1の回路構成は、図2において点線で囲んで示すようなものとなっている。すなわち、インダクタンス素子としてのコイル101に並列にキャパシタ102が接続されて、共振回路103が構成される。そして、この共振回路103に並列に、スイッチ回路104が接続されている。このスイッチ回路104は、IC100によりオン・オフ制御されるように構成されている。このスイッチ回路104がオフのときには、共振回路103によるセンサ部21からの信号に対する共振動作がなされる。しかし、スイッチ回路104がオンのときには、コイル101に並列に接続されているキャパシタ102が短絡されて、共振回路103によるセンサ部21からの信号に対する共振動作がオフとなる。
そして、IC100は、共振回路103にてタブレット端末2の位置検出装置部20のセンサ部21から電磁誘導により受信した交流信号を、ダイオード105及びキャパシタ106からなる整流回路(電源供給回路)107にて整流して得られる電源電圧Vccにより動作するように構成されている。IC100は、共振回路103とはキャパシタ108を介して接続されており、共振回路103の動作状況をモニターしている。IC100は、共振回路103の動作状況をモニターすることで、センサ部21の励磁コイル214との電磁結合状況、あるいは、この例では説明を省略するが、2つのループコイル群211,212を使用して位置検出装置部20のセンサ部21から送信された制御データなどの信号を検出し、所望の動作制御を行うことができるようになっている。
この実施形態の電子ペン1は、芯体に印加される筆圧を、例えば、容量可変キャパシタCvの静電容量として検出する感圧素子からなる筆圧検出手段を備えている。IC100には、図2に示すように、この容量可変キャパシタCvが接続されており、IC100は筆圧に応じたこの容量可変キャパシタCvの静電容量を検出することができるように構成されている。IC100は、容量可変キャパシタCvの静電容量の値から電子ペン1における筆圧を検出する。そして、IC100は、検出した筆圧を、複数ビットのデジタル信号に変換し、その筆圧に対応するデジタル信号により、スイッチ回路104を制御することにより、筆圧情報を、位置検出用信号の付加情報としてタブレット端末2の位置検出装置部20に送信する。
また、IC100には、電子ペン1の識別情報であるペンIDを記憶するIDメモリ110が接続されている。IC100は、このIDメモリ110に記憶されているデジタル信号のデジタル信号により、スイッチ回路104を制御することにより、このペンIDをも、位置検出用信号の付加情報として、筆圧情報と共に、タブレット端末2の位置検出装置部20に送信する。
以上のように構成された電子ペン1及びタブレット端末2の位置検出装置部20の位置検出動作及び筆圧情報やペンIDの検出動作について説明する。
処理制御部220は、先ず、ドライブ回路222を駆動して励磁コイル214から、所定時間、信号を電子ペン1に送信する。次に、処理制御部220は、ドライブ回路222を駆動して励磁コイル214からバースト状信号を送出し、その後、選択回路213をX軸方向ループコイル群211のうちの一つのループコイルを選択する処理を、X軸方向ループコイル群211の全てのループコイルに対して順次に行う。電子ペン1は、バースト状信号を共振回路103で受信し、タブレット端末2の位置検出装置部20のセンサ部21に帰還するようにする。処理制御部220は、その帰還されたバースト状信号を位置検出用信号として検出することで、電子ペン1により指示された位置のX座標値を求める。
次に、処理制御部220は、ドライブ回路222を駆動して励磁コイル214から、所定時間、信号を電子ペン1に送信する。次に、処理制御部220は、ドライブ回路222を駆動して励磁コイル214からバースト状信号を送出し、その後、選択回路213をY軸方向ループコイル群212のうちの一つのループコイルを選択する処理を、Y軸方向ループコイル群212の全てのループコイルに対して順次に行う。電子ペン1は、バースト状信号を共振回路103で受信し、タブレット端末2の位置検出装置部20のセンサ部21に帰還するようにする。処理制御部220は、その帰還されたバースト状信号を位置検出用信号として検出することで、電子ペン1により指示された位置のY座標値を求める。
以上のようにして、電子ペン1の指示位置を検出したら、処理制御部220は、電子ペン1からの付加情報としての筆圧情報及びペンIDを検出するため、励磁コイル214から所定時間以上継続した送信を行った後、座標検出の際と同様なタイミングで送受信を付加情報のデジタル信号のビット数に応じた回数継続して行う。このとき、選択回路213では、検出した座標値に従い、電子ペン1から最も近いループコイル(X軸方向ループコイル,Y軸方向ループコイルのどちらでもよい)を選択して信号を受信する。
一方、電子ペン1のIC100は、筆圧検出手段を構成する容量可変キャパシタCvの静電容量に対応して得られた筆圧情報とペンIDとからなる付加情報のデジタル信号により、タブレット端末2の位置検出装置部20からの信号の送受信に同期してスイッチ回路104をオン・オフ制御する。スイッチ回路104がオフであるときには、共振回路103は、位置検出装置部20から送信された信号を位置検出装置部20に返送することができるので、位置検出装置部20のループコイルはこの信号を受信する。これに対して、スイッチ回路104がオンであるときには共振回路103は共振動作が禁止された状態にあり、このために、共振回路103から位置検出装置部20に信号は返送されず、位置検出装置部20のループコイルは信号を受信しない。
位置検出装置部20の座標データ形成部22の処理制御部220は、受信信号の有無の判別を付加情報のデジタル信号のビット数回行うことにより、筆圧情報及びペンIDに応じた複数ビットのデジタル信号を受信し、電子ペン1からの筆圧情報及びペンIDを検出することができる。したがって、電子ペン1は、筆圧情報とペンIDとを、ASK(Amplitude Shift Keying)変調した信号として、タブレット端末2の位置検出装置部20に送信する。
位置検出装置部20の処理制御部220は、電子ペン1による指示位置の情報を検出すると共に、この電子ペン1からの筆圧情報及びペンIDを検出する。そして、検出した電子ペン1による指示位置と、筆圧情報及びペンIDとをコントローラ23に供給する。コントローラ23は、処理制御部220から受け取った電子ペン1による指示位置と、筆圧情報及びペンIDとに、時間情報を付加したものを、無線通信部232から、対応付け処理部4に送信する。
対応付け処理部4は、タブレット端末2から受信した電子ペン1による指示位置と、筆圧情報及びペンIDと、脳波計5からの脳波データとを、それぞれに付加されている時間情報に基づけて対応付ける。そして、対応付け処理部4は、対応付けた情報に、対応する時間情報を付加したものを、通信ネットワーク7を通じて感情サーバ装置8に送信する。
<感情サーバ装置8の構成例>
図3は、この実施形態の感情サーバ装置8のハードウェア構成例を示す図である。すなわち、感情サーバ装置8は、コンピュータからなる制御部81に対して、システムバス80を通じて、無線通信部82と、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86と、感情推定用データベース87とが接続されて構成されている。
制御部81は、感情サーバ装置8の全体を制御するためのものである。無線通信部82は、通信ネットワーク7を通じて無線通信をするためのもので、この例では、この無線通信部82を通じて対応付け処理部4からの情報を受信する。情報取得部83は、無線通信部82の受信情報から、タブレット端末2からの電子ペン1による指示位置、筆圧情報及びペンIDと、脳波計5からの脳波データとの対応情報を、タイムスタンプと共に抽出して取得する。
そして、情報取得部83は、取得した情報のうち、脳波計5からの脳波データ及びペンIDは、感情状態判断部84に供給し、タブレット端末2からの電子ペン1による指示位置、筆圧情報及びペンIDは、ペン状態情報範囲算出部85に供給する。
感情状態判断部84は、所定の時間に亘る脳波データから、そのときの電子ペン1の使用者の感情状態を判断し、ペン状態情報範囲算出部85は、判断した感情状態のときの電子ペンの座標位置ブレの範囲や、筆圧の範囲、傾きの範囲、高さ位置の範囲を算出する。そして、感情状態判断部84は、判断した感情状態を、ペンIDと共に対応付け格納処理部86に供給し、また、ペン状態情報範囲算出部85は、判断した感情状態のときに算出した電子ペン1の座標位置ブレの範囲や、筆圧の範囲、傾きの範囲、高さ位置の範囲を、ペンIDと共に対応付け格納処理部86に供給する。
対応付け格納処理部86は、受け取った感情状態と、ペン状態情報のそれぞれの範囲の情報を、ペンIDと対応付けて、感情推定用データベース87に格納する。
ここで、前述したように、感情状態としては、前述したように、この例では、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態が判断される。感情状態の判断は、生体情報、この例では脳波データを解析することで算出するようにする。そのため、この実施形態では、感情状態の判断の対象となる電子ペン1の使用者3には、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態が、それぞれ所定の時間以上の時間幅に亘って継続するように、それぞれの感情状態を現出させるような状況刺激を加えるなどして、それぞれの感情状態になっていることを脳波計5で測定して確認する。
例えば、電子ペン1の使用者3を「リラックス状態」にするには、使用者3が心地良くなる音楽を使用者に所定時間に亘って提供する、「集中状態」にするには、所定時間に亘って使用者3が集中できる好きな書や絵を丁寧に書かせる、「イライラ状態」にするには、使用者3に電子ペン1による入力操作をわざと急がせる、などの状況刺激を加えるようにする。これにより、使用者を、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態にすることができ、その時の脳波データを脳波計5より測定することで、使用者が前記の各感情状態になっていることを確認することができる。
この場合に、脳波データについては、例えば、α波、β波、θ波を測定して記録し、それらの分布形状などから使用者が前記の各感情状態になっていることを判断あるいは確認する。すなわち、脳波のα波、β波、θ波の分布形状と、感情状態とに間には、相関関係があり、図示は省略したが、その相関関係のデータベースを、感情サーバ装置8の感情状態判断部84は備えている。そして、感情サーバ装置8の感情状態判断部84は、測定した脳波のα波、β波、θ波の分布形状により、前記相関関係のデータベースを参照することで、使用者3の感情状況を推測して判断、あるいは確認する。
なお、以下の例は、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態を人為的に作り出して、その感情状態になっていることを脳波データにより判断して確認し、それぞれの感情状態におけるペン状態を測定してデータとして蓄積する方法の一例である。
この例では、脳波計5からは、図4(A)に示すように、電子ペン1の使用者が、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態にあるときの所定期間T1,T2,T3,T4,T5が生成され、それぞれの所定期間T1,T2,T3,T4,T5において、それぞれの感情状態に対応する脳波データD1,D2,D3,D4,D5が発生するようになる。所定期間T1,T2,T3,T4,T5は、感情サーバ装置8で、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態を判断(確認)することができるような十分な時間長分とされている。
そして、図4(B)及び(C)に示すように、所定期間T1,T2,T3,T4,T5では、タブレット端末2では、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態になっている使用者による電子ペン1の指示位置の情報Crd1,Crd2,Crd3,Crd4,Crd5及び筆圧情報Pr1,Pr2,Pr3,Pr4,Pr5が検出される。そして、タブレット端末2は、図4(D)に示すように、所定期間T1,T2,T3,T4,T5の全てに亘って同じペンID(=ID1)を取得する。そして、タブレット端末2は、各所定期間T1,T2,T3,T4,T5のそれぞれにおいて、電子ペン1の指示位置の情報のほか、電子ペンの傾き、高さ位置などのペン状態情報も検出する。そして、前述したように、タブレット端末2からの電子ペン1による指示位置の情報と、筆圧情報、傾き、高さ位置などのペン状態情報は、前述したように、ペンIDと対応付けられて、対応付け処理部4を介して、感情サーバ装置8に送信されている。
したがって、感情状態判断部84では、所定期間T1,T2,T3,T4,T5のそれぞれにおける脳波データから、使用者3が、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態になっていることを確認する。
そして、ペン状態情報範囲算出部85は、各所定期間T1,T2,T3,T4,T5で、使用者がなっているそれぞれの感情状態である「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの対応する、複数種のペン状態情報の存在範囲を算出する。すなわち、各感情状態にある使用者の電子ペン1のペン状態のそれぞれは、それぞれの感情状態に応じた存在範囲となるので、その存在範囲を算出する。例えば、「リラックス状態」にあるときの電子ペン1に印加される筆圧は、比較的低い平均値となると共に、当該平均値からの偏差が比較的小さい値となるような存在範囲となる。また、「イライラ状態」にあるときの電子ペン1に印加される筆圧は、比較的高い平均値となると共に、当該平均値からの偏差が比較的大きい値となるような存在範囲となる。
そして、この例においては、電子ペン1の指示位置(高さ位置も含む)の情報(図4(B)参照)から、「傾きの範囲」、「高さ位置の範囲」、「ホバー状態でのペン先位置のブレ範囲」などが算出される。また、電子ペン1の筆圧情報(図4(C)参照)から、「(筆記時の)筆圧の範囲」が算出される。なお、ペン状態情報の範囲情報は、感情状態の判断に要した所定の時間幅以上の時間におけるペン状態情報のそれぞれの値の殆ど、例えば90パーセントが、その中に入る、すなわち、存在することとなる範囲を判定することで算出される。ここで、ペン状態情報の範囲情報を算出する際の、ペン状態情報がその範囲の中に入るパーセントの値は、ペン状態情報から感情状態を推定する際の精度に関係するものであり、高いほど推定精度が高くなることは言うまでもない。このペン状態情報の範囲情報(存在範囲の情報)は、上述した平均値と偏差からなる範囲情報とすることができる。
なお、この実施形態では、各感情状態に対応するペン状態情報の範囲情報は、リアルタイムで検出するようにしたが、前述した所定期間T1,T2,T3,T4,T5において取得したペン状態情報を蓄積しておき、事後的に、その蓄積したペン状態情報を用いて、それぞれの範囲情報を算出するようにしてもよい。
そして、この実施形態では、ペン状態情報範囲算出部85は、電子ペン1の使用者3の各感情状態における「文字筆記時の特徴パターン」をも記憶するようにしている。このため、この例においては、脳波データを取得する対象者である使用者3には、各感情状態のときに、所定の矩形領域内、所定の文字を筆記させるようにする。
すなわち、図5に示すように、使用者3に対しては、タブレット端末2の表示画面に、文字の入力四角枠FLを表示して、その入力四角枠FL内に文字を入力するように促す。図5に示すように、使用者3は、各感情状態において、当該入力四角枠FL内に、入力が求められた文字、この例では「あ」を電子ペン1により筆記入力する。
図5に示すように、リラックス状態や、集中状態では、使用者3は、求められた文字を当該入力四角枠FL内にきちんと収めるように筆記入力する。すなわち、文字の中心位置が、入力四角枠FLの中心位置の近傍になり、文字の大きさが、入力四角枠FLを超えない大きさとなる。
しかし、イライラ状態、注意力散漫状態、怒り状態では、それらの感情状態に応じて、文字の中心位置が、入力四角枠FLの中心位置からずれた状態になると共に、文字が入力四角枠FLから食み出してしまったり、入力四角枠FLよりも大きな文字となってしまったりする。そこで、ペン状態情報範囲算出部85は、ペン状態情報の例としての文字筆記時の特徴パターンとしては、文字の中心位置からのずれの範囲と、文字の大きさの変移範囲、などを各感情状態に応じて算出する。
なお、「文字筆記時の特徴パターン」としては、一文字についての特徴パターンだけではなく、複数の文字を連続的に筆記するときの当該複数の文字間についての特徴パターンを算出してもよい。この場合、例えば、複数の文字の中心位置のずれ変化や、大きさ変化などが特徴パターンとして算出することができる。
ペン状態情報範囲算出部85は、以上のようにして算出したペン状態情報の範囲情報を、それぞれの感情状態の検出期間である所定期間T1,T2,T3,T4,T5のそれぞれにおいて、対応付け格納処理部86に供給する。
対応付け格納処理部86は、所定期間T1,T2,T3,T4,T5のそれぞれにおいて、感情状態判断部84からの判断された感情状態の情報と、ペン状態情報範囲算出部85からの複数種のペン状態情報のそれぞれについての範囲情報とを対応付けると共に、ペンIDに対応付けて、感情推定用データベース87に格納する。
図6に、このときの感情推定用データベース87の記憶内容の例を示す。この図6に示すように、電子ペンの使用者を識別するためのペンIDに対応付けられて、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態が記憶されると共に、各感情状態のそれぞれに対応付けられて、それぞれの感情状態におけるペン状態情報のそれぞれが取り得る範囲の情報が記憶されている。
図6の例では、ペン状態情報としては、筆記入力時の「座標指示ブレ」、「筆圧」、「傾き」、「高さ位置」、「ホバー位置での位置ブレ」、などが記憶される。座標指示ブレとしては、前述の図5を用いて説明した文字の中心位置からのずれ範囲や文字の大きさの変移範囲が記憶される。なお、図6では、ずれ範囲や変移範囲が模式的に示してあり、四角枠は、前述した図5の四角枠FLに対応するものである。
なお、「座標指示ブレ」の場合、そのブレの速度または加速度が、感情状態に応じて、マイルドに変化したり、激しく変化したりするので、それらの情報も併せて感情推定用データベース87に格納するようにしてもよい。
「筆圧」は、使用者がそれぞれの感情状態において電子ペン1によりセンサ上で入力するとき値が異なることが予想されるので、その筆圧範囲(例えばPra1~Prb1など)が記憶される。例えばリラックス状態の筆圧よりも、集中状態での筆圧の方が大きく、かつ、その筆圧範囲も狭いものとなる。また、イライラ状態では、筆圧がまちまちとなるので、筆圧範囲が広くなる。怒り状態では、筆圧が大きくなる。なお、筆圧の範囲のみではなく、平均値も併せて記憶させるようにしてもよい。また、筆圧の時間変化も併せて感情推定用データベース87に格納するようにしてもよい。例えば、「リラックス状態」や「集中状態」では、筆圧の時間変化の度合いは小さく、「イライラ状態」や「注意力散漫状態」では、筆圧の時間変化の度合は大きくなる。
「傾き」は、使用者の感情状態に応じて電子ペン1がセンサ面(入力面)とのなす角が変わることから、感情推定用データベース87には、その各感情状態に応じて、傾きの範囲が記憶される。なお、この場合も、傾きの時間変化も併せて感情推定用データベース87に格納するようにしてもよい。例えば、「リラックス状態」や「集中状態」では、傾きの時間変化の度合いは小さく、「イライラ状態」や「注意力散漫状態」では、傾きの時間変化の度合は大きくなる。なお、傾きは、筆圧が零で、ホバー状態にあるときと、筆圧が0よりも大きいセンサに接触しているときとで、分けて感情推定用データベース87に格納するようにしてもよい。
「高さ位置」は、使用者3が電子ペン1を持って、指示入力(筆記入力)をする前の待機状態において電子ペン1がホバー状態にあるときのセンサ面に直交する方向の高さ位置の、各感情状態におけるときに取り得る高さ位置であって、その高さ位置の範囲情報が、感情推定用データベース87に格納される。
「ホバー位置での位置ブレ」は、使用者3が電子ペン1を持って、指示入力(筆記入力)をする前の待機状態のときのセンサ面上の座標位置の変化を示す範囲情報である。すなわち、例えば、使用者が「集中状態」にあるときには、「ホバー位置での位置ブレ」は、小さくなり、「イライラ状態」や「注意力散漫状態」にあるときには、大きくなる。なお、この場合も、「ホバー位置での位置ブレ」の時間変化も併せて感情推定用データベース87に格納するようにしてもよい。
以上のようにして、この実施形態では、感情推定用データベース87には、ペンIDにより識別される使用者毎の感情状態のそれぞれに対応して、ペン状態情報の範囲情報のそれぞれが格納される。
そして、この実施形態では、感情推定用データベース87に格納されたペンIDで識別される使用者のみではなく、電子ペンの使用者の全てについて、感情状態を推定することができるようにするために、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態に対応して、汎用の使用者を想定した汎用のペン状態情報の範囲情報が感情推定用データベース87に格納される。ペン状態情報範囲算出部85は、この汎用のペン状態情報の範囲情報を、感情推定用データベース87にペンIDに対応して格納されている多数の使用者の感情状態のそれぞれに対応するペン状態情報のそれぞれの範囲情報を、平均化処理するなどして算出する。
なお、以上の感情サーバ装置8の構成において、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86とは、制御部81が、内蔵する記憶部に記憶されているプログラムを実行することで、それらの処理を行うようにするソフトウェア機能処理部として構成することもできる。
[感情サーバ装置8における感情推定用データベースの構築処理]
図7は、この感情サーバ装置8における感情推定用データベースの構築処理の流れの一例を説明するためのフローチャートである。なお、この図7の例は、感情サーバ装置8の制御部81が、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86とを、ソフトウェア機能処理部として実現した場合として説明する。なお、この図7は、一人の使用者3についての感情推定用データベースの情報を生成する処理の流れを示している。したがって、使用者が変われば、図7の処理が、その使用者についてなされるものである。
そして、この例においては、使用者についての感情状態の判断期間として、図4に示すように、所定期間T1,T2,T3,T4,T5のそれぞれ期間が順次に実行されるものである。
制御部81は、先ず、通信ネットワーク7を通じて脳波データと電子ペンの状態情報(電子ペン1の指示位置の情報を含む)との対応情報を受信する(ステップS101)。そして、制御部81は、取得した脳波データからペンIDに対応する使用者3の感情状態を判断する(ステップS102)。このステップS102では、前述した所定期間T1,T2,T3,T4,T5の内の一つの期間で、その期間における感情状態の判断処理がなされることになる。
次に、制御部81は、電子ペンの状態情報のそれぞれについて、ステップS102で判断した感情状態に対応する範囲値を検出する(ステップS103)。そして、電子ペンの状態情報のそれぞれについての範囲値が検出できたか否か判別し(ステップS104)、検出できていないと判別したときには、通信ネットワーク7を通じて対応付け処理部4からの情報を更に受信する(ステップS105)。その後、制御部81は、処理をステップS103に戻し、このステップS103以降の処理を繰り返す。
ステップS104で、電子ペンの状態情報のそれぞれについての範囲値を検出できたと判別したときには、取得したペンIDに対応つけて、ステップS102で判断した感情状態と、ステップS103で算出されたペン状態情報の範囲値とを対応させて、感情推定用データベース87に格納する(ステップS106)。
次に、制御部81は、推定をしようとしている感情状態の全てについての所定期間T1,T2,T3,T4,T5が終了したか否か判別する(ステップS107)。このステップS107で、終了していないと判別したときには、次の所定期間に、使用者が他の感情状態になった時の脳波データ及びペン状態情報が送られてくるので、制御部81は、処理をステップS101に戻して、このステップS101以降の処理を繰り返す。
そして、ステップS107で、推定をしようとしている感情状態の全てについての所定期間T1,T2,T3,T4,T5が終了したと判別したときには、制御部81は、感情推定用データベース87にペンIDに対応して格納されている多数の使用者の感情状態のそれぞれに対応するペン状態情報のそれぞれの範囲情報を平均化処理などして、汎用のペン状態情報の範囲情報を生成あるいは更新し、その生成したあるいは更新した汎用のペン状態情報の範囲情報を、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態に対応して、感情推定用データベース87に格納する。そして、制御部81は、処理を終了する。
以上のようにして、感情サーバ装置8の感情推定用データベース87には、ペンIDにより識別される使用者毎の感情状態とペン状態情報の範囲情報との対応情報が格納されると共に、ペンIDにより識別されない汎用の使用者については、当該汎用の使用者の感情状態に対応する汎用のペン状態情報の範囲情報が格納される。
そのため、使用者が電子ペンによりタブレット端末で指示入力したときには、当該使用者が把持している電子ペンのペン状態情報を参照情報として、感情サーバ装置8の感情推定用データベース87を検索することにより、ペン状態情報に対応する感情状態を推定することが可能となる。
この場合に、使用者が把持している電子ペンが、感情推定用データベースに登録されているペンIDと一致するペンIDを有するものであれば、当該ペンIDに対応して感情推定用データベース87に格納されている情報を検索することができるので、ペンIDで識別される使用者の癖などの電子ペン操作の特性に応じて、当該使用者の感情状態を的確に推定することができるようになる。また、この実施形態では、感情推定用データベース87には、各感情状態に対応する汎用のペン状態情報の範囲情報が格納されているので、ペンIDに対応して感情状態とペン状態情報との対応情報を感情推定用データベース87に格納していない使用者についても、ペン状態情報から、感情状態の推定が可能であるという効果がある。
[データベースの構築システムの第2の例]
上述したデータベースの構築システムの第1の例では、感情状態を判断するための生体情報の例としての脳波データとペン状態情報とを対応付ける対応付け処理部4が必要であった。以下に説明するデータベースの構築システムの第2の例は、対応付け処理部4を省略することができるようにした例である。
図8は、このデータベースの構築システムの第2の例の概要を説明するための図である。この例においては、使用者3は、例えば特許文献1に開示されているような簡易脳波計5Aを、頭部に装着するようにする。この簡易脳波計5Aは、使用者から取得した脳波データ(簡易脳波データと称する)を、無線で送信することができるように、近距離無線通信規格、例えばブルートゥース(登録商標)規格の無線通信部5TAを備えている。
そして、この例では、電子ペン1Aは、簡易脳波計5Aから無線で送られてくる簡易脳波データを受信することができるように、図8では図示を省略するブルートゥース(登録商標)規格の無線通信手段を備えている。そして、電子ペン1Aは、簡易脳波計5Aから受信した簡易脳波データを、位置検出用信号の付加情報として、タブレット端末2Aの位置検出装置部に送出するようにする。
すなわち、電子ペン1Aは、図9(A)に示すように、タブレット端末2Aの位置検出装置部に対して、位置検出用信号と、付加情報とを繰り返し送出するようにする。この例の電子ペン1Aにおいては、付加情報は、図9(B)に示すように、筆圧情報と、ペンIDと、簡易脳波データとからなる。電子ペン1Aは、上述した第1の例と同様にして、デジタル信号としての付加情報をタブレット端末2Aの位置検出装置部に送出するようにする。
タブレット端末2Aは、上述した第1の例と同様の構成を有する。ただし、この第2の例では、タブレット端末2Aは、付加情報として、筆圧情報及びペンIDに加えて、簡易脳波データを取得するので、後述するように、ペン状態情報と、簡易脳波データとを、ペンIDに対応付けたものを、通信ネットワーク7を通じて、感情サーバ装置8に送信する機能を備える。
[電子ペン1Aとタブレット端末2Aの位置検出装置部20Aの電子回路構成例]
図10は、この第2の例における電子ペン1Aの等価回路と、タブレット端末2Aの位置検出装置部20Aの回路構成例を示す図である。この図10において、図2に示した第1の例の電子ペン1及びタブレット端末2の位置検出装置部20と同一部分には、同一参照符号を付してある。
この第2の例においては、図10に示すように、電子ペン1Aは、ブルートゥース(登録商標)規格の無線通信部109を備える。この無線通信部109には、整流回路107からの電源電圧Vccが供給される。そして、この無線通信部109は、受信した簡易脳波データを、IC100Aに供給する。
この例の電子ペン1AのIC100Aは、容量可変キャパシタCvの静電容量から検出された筆圧情報と、IDメモリ110に記憶されているペンIDとに加えて、無線通信部109で受信した簡易脳波データにより付加情報(デジタル信号)を生成する。そして、第1の例の電子ペン1と同様に、付加情報のデジタル信号により、スイッチ回路104をオン、オフ制御して、付加情報をASK変調信号として、タブレット端末2Aの位置検出装置部20Aのセンサ部21に送出する。電子ペン1Aのその他の構成及び動作は、第1の例の電子ペン1と同様である。
タブレット端末2Aの位置検出装置部20Aは、第1の例のタブレット端末2Aの位置検出装置部20と全く同様にして、電子ペン1Aからの位置検出用信号に基づいて、電子ペン1Aによる指示位置を検出すると共に、電子ペン1Aの高さ位置、傾きを検出する。そして、タブレット端末2Aの位置検出装置部20Aは、電子ペン1Aからの付加情報により、筆圧情報と、ペンIDと、簡易脳波データとを検出する。
そして、タブレット端末2Aの位置検出装置部20Aの処理制御部220Aは、電子ペン1Aによる指示位置の情報と、筆圧情報と、傾きの情報と、高さ位置とからなるペン状態情報を生成すると共に、このペン状態情報と簡易脳波データを対応付けると共に、ペンIDを対応付けて、コントローラ23に送信する。コントローラ23は、処理制御部220Aから受信したペン状態情報と、簡易脳波データと、ペンIDとを対応付けた情報に、時計部231からの時間情報をタイムスタンプ情報として更に付加して、無線通信部232を通じて感情サーバ装置8に、通信ネットワーク7を通じて送信するようにする。
なお、タブレット端末2Aの位置検出装置部20Aでの電子ペン1Aによる指示位置の検出動作や、付加情報の検出動作、さらに、傾きや高さ位置などのペン状態情報の検出動作は、第1の実施形態のタブレット端末2の位置検出装置部20と全く同様である。
そして、この第2の例においては、感情サーバ装置8は、タブレット端末2Aから受信した情報を、第1の例における対応付け処理部4から受信した情報と同様に処理することにより、前述したような感情推定用データベース87を構築する。
以上のようにして、この第2の例によれば、対応付け処理部4が不要となるので、データベース構築システムの構成が簡単になるという効果がある。
なお、簡易脳波計5Aから無線で送られてくる簡易脳波データを、電子ペン1Aではなく、タブレット端末2Aで受信しても良い。
[データベースの構築システムの第3の例]
以下に説明するデータベースの構築システムの第3の例も、第2の例と同様に、第1の例の対応付け処理部4を省略することができるようにした例である。そして、この例においては、電子ペンの使用者の感情状態は、脳波データではなく、特許文献2の技術を用いて、使用者の脳波以外の生体情報、例えば脈拍や血流などを測定することで推定するようにしている。
図11は、このデータベースの構築システムの第3の例の概要を説明するための図である。この第3の例においては、使用者3は第1の例と同様の電子ペン1を把持する。そして、この第3の例においては、使用者3は、例えば特許文献2に開示されているような脈拍や血流などを検出する生体情報検出装置5Bを、腕部3Bなどに装着するようにする。この生体情報検出装置5Bは、使用者3から検出した脈拍や血流などの生体情報の検出データを、無線で送信することができるように、近距離無線通信規格、例えばブルートゥース(登録商標)規格の無線通信部5TBを備えている。
そして、この第3の例のタブレット端末2Bは、生体情報検出装置5Bから無線で送られてくる生体情報の検出データを受信することができるように、ブルートゥース(登録商標)規格の無線通信部233を備えている。そして、タブレット端末2Bは、生体情報検出装置5Bから受信した生体情報の検出データと、電子ペン1からの信号に基づいて、前述したようにして取得したペン状態情報とを、電子ペン1から取得したペンIDに対応付けて、通信ネットワーク7を通じて感情サーバ装置8に送信するようにする。
[電子ペン1Bとタブレット端末2Bの位置検出装置部20Bの電子回路構成例]
図12は、この第3の例における電子ペン1の等価回路と、タブレット端末2Bの位置検出装置部20Bの回路構成例を示す図である。この図12において、図2に示した第1の例と同一部分には、同一参照符号を付してある。
図12に示すように、電子ペン1は、図2に示したものと同様の回路構成を有し、同様の動作をする。タブレット端末2Bも、電子ペン1と連携する部分の構成及び動作は同様であり、コントローラ23Bの構成が、図2の例のコントローラ23とは異なる。
すなわち、タブレット端末2Bの位置検出装置部20Bのコントローラ23Bは、生体情報検出装置5Bが備える無線通信部5TBと通信を行う無線通信部233を備える。そして、タブレット端末2Bは、コントローラ23において、処理制御部220BからのペンIDに対応付けられたペン状態情報と、無線通信部233で受信した生体情報の検出データとを対応付けると共に、時計部231からの時間情報を付加して、無線通信部232から、通信ネットワーク7を通じて感情サーバ装置8に送信する。
この第3の例においては、タブレット端末2Bの位置検出装置部20Bでの電子ペン1による指示位置の検出動作や、付加情報の検出動作、さらに、傾きや高さ位置などのペン状態情報の検出動作は、第1の実施形態のタブレット端末2の位置検出装置部20と全く同様である。
この第3の例によれば、対応付け処理部4が不要となるので、データベース構築システムの構成が簡単になるという効果があると共に、生体情報検出装置5Bとの無線通信部はタブレット端末2Bに設けるので、電子ペン1の構成が簡単になるという効果がある。
なお、上述の例では、人の感情状態を判断するための生体情報としては、脳波データ、簡易脳波データ、脈拍、血流などを用いたが、これに限られるものではない。例えば、まばたきや、視線の動き、マイクロバイブレーションなどを、単独で、あるいは、上述の生体情報などの他の生体情報と併用して、人の感情状態を判断するようにしてもよい。
また、上述の第1の例においては、脳波データをそのまま対応付け処理部4から感情サーバ装置8に送り、第2の例においては、簡易脳波データを、タブレット端末2Aを通じてそのままサーバ装置8に送り、更に、第3の例においては、脈拍や血流の生体情報をタブレット端末2Aを通じてそのままサーバ装置8に送り、感情サーバ装置8の感情状態判断部84で使用者の感情状態の解析を行っていた。この場合、感情サーバ装置8に伝送するデータ量が大きくなり、送信速度が遅くなる場合がある。
この状況を回避するために、脳波データの感情状態の解析である感情状態判断部84の機能処理を、対応付け処理部4、またはタブレット端末2A、あるいはタブレット端末2Bで行うようにしても良い。更に、簡易脳波計5A、あるいは生体情報検出装置5Bの内部で行うようにしても良い。この場合、対応付け処理部4、ブレット端末2A、タブレット端末2B、簡易脳波計5A、あるいは生体情報検出装置5Bでは、判断された各感情状態に対して感情状態識別情報を付与することができる。例えば「リラックス状態」には感情状態識別情報S1、「集中状態」には感情状態識別情報S2、「イライラ状態」には感情状態識別情報S3、「注意力散漫状態」には感情状態識別情報S4、「怒り状態」には感情状態識別情報S5を付与する。そして、感情サーバ装置8に送る時の情報としては、感情状態識別情報と、ペン状態情報とを対応付けたものとすることできる。
例えば、図4に示すように、感情状態が「リラックス状態」のリラックス期間には、ペン状態情報としての、指示位置の情報Crd1、筆圧情報Pr1、ペンID=ID1、傾き情報SL1(図示は省略)、高さ情報H1(図示は省略)と、感情状態「リラックス状態」の感情状態識別情報S1とが一纏まりの情報として、サーバ装置8に送信される。これにより、送信時間を短縮することができる。感情サーバ装置8では、それぞれの感情状態の感情状態識別情報S1、S2、S3、S4又はS5を、ペン状態情報に対応付けて感情推定用データベース87に蓄積することができる。
[感情推定システムの実施形態]
図13は、以上説明したデータベースの構築システムにより構築された感情推定用データベース87を用いて、電子ペンの使用者の感情状態を推定するシステムの概要を説明するための図である。
この例の感情推定システムにおいて、使用者31、・・・、3n(nは1以上の整数)のそれぞれは、自分用の電子ペン11、・・・、1nを所持していて、それを用いて、タブレット端末2D1、・・・、2Dnのそれぞれにおいて、文字入力やその他の入力をするようにする。
この例では、電子ペン11、・・・、1nのそれぞれは、上述した電子ペン1と同様の構成を有するものを使用し、位置検出用信号の付加情報として、ペンIDと筆圧情報とをタブレット端末2D1、・・・、2Dnのそれぞれに送信する構成を備える。この例においては、電子ペン11、・・・、1nのそれぞれと、タブレット端末2D1、・・・、2Dnのそれぞれとのペアにより、座標入力処理装置のそれぞれが構成されている。
タブレット端末2D1、・・・、2Dnのそれぞれは、上述したタブレット端末2と同様に位置検出装置部を備える構成を有するが、コントローラの構成が異なると共に、例えばLCD(Liquid Crystal Display;液晶ディスプレイ)からなる表示部241、・・・、24nを備えている点が異なる。表示部241、・・・、24nの表示画面は、タブレット端末2D1、・・・、2Dnのそれぞれの位置検出装置部のセンサ部に重畳して配置されており、使用者31、・・・、3nは、表示画面上で、電子ペン11、・・・、1nによる指示入力ができるように構成されている。すなわち、この例では、タブレット端末2D1、・・・、2Dnのそれぞれは、位置検出装置部を備えると共に、情報処理装置部を備える電子機器の構成を備える。
なお、タブレット端末2D1、・・・、2Dnのそれぞれは、データベースの構築システムにおけるタブレット端末と同様の構成の位置検出装置部を備える部分と、情報処理装置部を備える部分とが、別体あるいは別の装置となっていて、有線接続あるいは無線接続されているものでもよい。
そして、タブレット端末2D1、・・・、2Dnのそれぞれのコントローラは、パーソナルコンピュータと同様に、表示部241、・・・、24nの表示画面に表示する表示画像を生成する表示制御部の機能を備える。すなわち、使用者31、・・・、3nのそれぞれが、電子ペン11、・・・、1nにより、指示入力をすると、タブレット端末2D1、・・・、2Dnのそれぞれのコントローラは、表示部241、・・・、24nの表示画面に、その指示入力に応じた表示画像を表示する。
そして、この例においては、タブレット端末2D1、・・・、2Dnのそれぞれのコントローラは、電子ペン11、・・・、1nによる指示入力を受けると、それぞれから取得したペンIDとペン状態情報とを含む感情状態推定要求を生成して、通信ネットワーク7Dを通じて、感情サーバ装置8Dに送信するようにする。感情サーバ装置8Dは、感情推定装置を構成する。
感情サーバ装置8Dは、前述したようにして構築された感情推定用データベース87を備えていると共に、後述する図15に示すように、感情状態推定部89及び提供情報生成部90を備えている。感情状態推定部89は、通信ネットワーク7Dを通じて、感情状態推定要求を受信したときには、当該感情状態推定要求に含まれるペンID及びペン状態情報を参照情報として、感情推定用データベース87を検索し、対応する感情状態を推定する。そして、提供情報生成部90は、感情状態推定要求を送信してきた相手方に対して、必要に応じて推定した感情状態を通知すると共に、推定した感情状態に応じた提供情報を生成して返信するようにする。
通信ネットワーク7Dは、前述した通信ネットワーク7と同様に、インターネットや携帯電話網を含む公衆網を含むもので構成することができる。また、通信ネットワーク7Dは、Wi-Fi(登録商標)(Wireless Fidelity)を用いる無線LANであってもよい。また、通信ネットワーク7Dは、感情サーバ装置8と対応付け処理部4との間を有線で接続するLANの構成であってもよい。
[座標入力処理装置の構成例]
図14は、この実施形態の座標入力処理装置の電子回路例を示すものであり、電子ペン11、・・・、1nのそれぞれと、タブレット端末2D1、・・・、2Dnのそれぞれとのペアの内の一つのペアに相当する部分である。電子ペン11、・・・、1nのそれぞれは同一の構成を有し、また、タブレット端末2D1、・・・、2Dnのそれぞれは、同一の構成を有するので、図14においては、電子ペン11と、タブレット端末2D1とを代表して示した。
電子ペン11は、図14に示したように、上述した電子ペン1と同様の構成を備える。そして、タブレット端末2D1の位置検出装置部20D1は、表示部241と、コントローラ23D1との部分を除けば、上述したタブレット端末2の位置検出装置部20と同様の構成を備える。
コントローラ23D1は、感情状態推定要求生成部234と、無線通信部235と、表示制御部236とを備える。感情状態推定要求生成部234は、使用者31が電子ペン11を用いてタブレット端末2D1に指示入力したことを検知したときには、処理制御部220から受け取ったペンIDとペン状態情報とを含む感情状態推定要求を生成し、無線通信部235を通じて、感情サーバ装置8Dに、通信ネットワーク7Dを通じて送信するようにする。
表示制御部236は、処理制御部220からの電子ペン11の指示位置の情報に基づいて表示部241の表示画面に表示する表示画像についての表示制御処理をすると共に、無線通信部235を通じて感情サーバ装置8Dから、感情状態推定要求に対応して返信されてきた提供情報を受信したときには、その提供情報に応じて、表示部241の表示画面に表示する表示画像についての表示制御処理をするようにする。
[感情サーバ装置8Dの構成例]
図15は、感情サーバ装置8Dのハードウエア構成例を示すブロック図である。この図15の例の感情サーバ装置8Dは、上述したデータベースの構築システムにおいて構築された感情推定用データベース87を備える感情サーバ装置8を、そのまま感情推定装置としても使用した場合である。すなわち、制御部81Dに対して、システムバス80を通じて、無線通信部82と、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86と、感情推定用データベース87とが接続されると共に、感情状態推定要求受信部88と、感情状態推定部89と、提供情報生成部90とが接続されて構成されている。
すなわち、制御部81Dに対して、システムバス80を通じて、無線通信部82と、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86と、感情推定用データベース87とが接続される部分が、前述したように、データベースの構築システムに対応する構成部分であり、制御部81Dに対して、システムバス80を通じて、無線通信部82と、感情推定用データベース87と、感情状態推定要求受信部88と、感情状態推定部89と、提供情報生成部90とが接続される部分が、感情推定システムに対応する感情推定装置の構成部分である。
なお、データベースの構築システムに対応する構成部分については上述したので、以下の説明では、感情推定システムに対応する感情推定装置の構成部分について説明する。
感情サーバ装置8Dでは、無線通信部82は、受信した感情状態推定要求を、感情状態推定要求受信部88に転送する。感情状態推定要求受信部88は、受け取った感情状態推定要求に含まれているペンID及びペン状態情報を抽出して、感情状態推定部89に渡す。感情状態推定部89は、受け取ったペンID及びペン状態情報により、感情推定用データベース87を検索して、対応する感情状態を推定し、その推定結果の感情状態を提供情報生成部90に渡す。
提供情報生成部90は、受け取った推定結果の感情状態に応じた提供情報を生成して、無線通信部82を通じて、感情状態推定要求をしてきた相手方に送信する。提供情報には、推定した感情状態を通知する情報を含めたり、又は、推定した感情状態に対応した表示情報を含めたりする。
なお、感情状態推定要求受信部88と、感情状態推定部89及び提供情報生成部90の処理は、制御部81Dが、内蔵するメモリに記憶するプログラムにしたがって処理するソフトウェア機能として構成してもよい。
[タブレット端末2D1、・・・、2Dnのそれぞれの感情状態推定要求処理の流れ]
図16のフローチャートを参照しながら、タブレット端末2D1、・・・、2Dnのそれぞれの感情状態推定要求処理の流れの例を説明する。なお、ここでは、タブレット端末2D1のコントローラ23D1が感情状態推定要求を行う場合として、説明する。
すなわち、コントローラ23D1は、処理制御部220からの情報を監視して、電子ペン11による指示入力を検出したか否か判別する(ステップS201)。このステップS201で、電子ペン11による指示入力を検出してはいないと判別したときには、コントローラ23D1は、その他の処理を行い(ステップS202)、その処理の終了後、ステップS201に処理を戻す。
ステップS201で、電子ペン11による指示入力を検出したと判別したときには、コントローラ23D1は、電子ペン11による指示位置の情報と、筆圧と、ペンIDと、傾きと、高さ位置と、ホバー状態の位置とを含むペン状態情報を処理制御部220から取得する(ステップS203)。
そして、コントローラ23D1は、取得したペン状態情報と、ペンIDとを含む感情状態推定要求を生成して、感情サーバ装置8Dに送る(ステップS204)。この感情状態推定要求に対しては、感情サーバ装置8Dからは、提供情報が送られてくるので、コントローラ23D1は、この提供情報の受信を待つ(ステップS205)。
そして、ステップS205で、感情サーバ装置8Dからの提供情報の受信を確認したときには、コントローラ23D1は、受信した提供情報に基づいた処理、この例では、表示処理を行う(ステップS206)。
[感情サーバ装置8Dにおける感情状態推定処理の流れ]
図17のフローチャートを参照しながら、感情サーバ装置8Dにおける感情状態推定処理の流れの例を説明する。なお、ここでは、感情サーバ装置8Dの制御部81Dが、感情状態推定要求受信部88と、感情状態推定部89及び提供情報生成部90の処理を、ソフトウェア処理機能として構成した場合として、説明する。
先ず、制御部81Dは、感情状態推定要求を受信したか否か判別し(ステップS301)、受信してはいないと判別したときには、その他の処理を行い(ステップS302)、当該その他の処理を終了後、処理をステップS301に戻す。
そして、ステップS301で、感情状態推定要求を受信したと判別したときには、制御部81Dは、当該感情状態推定要求に含まれるペンIDとペン状態情報とを参照情報として、感情推定用データベース87を検索する(ステップS303)。
次に、制御部81Dは、感情推定用データベース87に、感情状態推定要求に含まれるペンIDに対応する情報が格納されているか否か判別する(ステップS304)。このステップS304で、感情推定用データベース87に、感情状態推定要求に含まれるペンIDに対応する情報が格納されていると判別したときには、制御部81Dは、当該ペンIDと対応する情報についてペン状態情報が合致する感情状態を探索して、合致する感情状態を、感情状態推定要求をしてきた使用者の感情状態として推定する(ステップS305)。そして、推定した感情状態に対応した提供情報を生成して、感情状態推定要求してきた相手に送信する(ステップS307)。
また、ステップS304で、感情推定用データベース87に、感情状態推定要求に含まれるペンIDに対応する情報は格納されていないと判別したときには、制御部81Dは、感情推定用データベース87に格納されている汎用の対応情報について、ペン状態情報が合致する感情状態を探索して、合致する感情状態を、感情状態推定要求をしてきた使用者の感情状態として推定する(ステップS306)。そして、推定した感情状態に対応した提供情報を生成して、感情状態推定要求してきた相手に送信する(ステップS307)。
以上で、感情サーバ装置8Dにおける感情推定処理は終了となる。
[タブレット端末における推定された感情状態に対応した表示処理]
例えば、使用者31、・・・、3nが、タブレット端末2D1、・・・、2Dnのそれぞれの表示画面に表示されている学習教材を用いて、電子ペン11、・・・、1nにより学習のための入力をしている生徒である場合を想定する。
この場合に、感情サーバ装置8Dで推定された感情状態が、例えば「集中状態」である場合には、感情サーバ装置8Dは、提供情報として、図18(A)に示すように、「良い集中です。このまま頑張って」などの文字情報を提供する。また、感情サーバ装置8Dで推定された感情状態が、例えば「注意力散漫状態」あるいは「イライラ状態」である場合には、感情サーバ装置8Dは、提供情報として、図18(B)に示すように、「集中してね!ガンバッテ」などの文字情報を提供する。これにより、生徒の感情状態に対応した叱咤激励が可能になり、生徒の学習効果の向上が期待できる。
別な例としては、電子ペンの使用者に対して、リアルタイムで感情状態を表示するだけではなく、電子ペンから得られるペン状態情報を記録しておくことで、後から電子ペンを使用していた時の使用者の感情状態を知ることができる。例えば、親族に対する手書きメッセージを送付した時、ペン状態情報も一緒に添付されていれば、メッセージを開封した親族は、手書きメッセージと共にメッセージを書いた時の送り主の感情(感謝等)をも受け取ることができる。すなわち、手書きの文字の他に感情も送ることができることになる。手書きメッセージには、感謝のカード、遺言書等が含まれる。
更に、ペン状態情報から使用者の感情状態を推定することができるので、契約書等の真偽を、例えば契約書の署名欄への記入時の記入者のペン状態情報から推定された感情状態を用いて判定することができる。
なお、上述の実施形態の説明では、データベースの構築システムと、感情推定システムとを別々に説明した。しかし、前述したように、感情サーバ装置8Dは、図15に示したように、両システムに対応することができる構成を備えている。したがって、感情サーバ装置8Dは、上述したデータベースの構築システムと感情推定システムとを含む一つのシステム用とすることができ、感情サーバ装置8Dは、当該一つのシステムにおいては、データベースの構築システム用の動作と、感情推定システム用の動作との両方の動作を切り替えて実行するようにする。
具体的には、感情サーバ装置8Dは、対応付け処理部4、タブレット端末2Aまたはタブレット端末2Bから送られてくる情報に、脳波データ、簡易脳波データ、脈拍や血流などの生体情報あるいは感情状態識別情報S1~S5が含まれると判断した場合は、データベース構築システムとして動作する。
一方、対応付け処理部4、タブレット端末2Aまたはタブレット端末2Bから感情サーバ装置8Dに送られてくる信号に、脳波データ、簡易脳波データ、脈拍や血流などの生体情報あるいは感情状態識別情報S1~S5が含まれていないと判断した場合、感情サーバ装置8Dは、感情推定システムとして動作し、ペン状態情報に基づき感情推定を行い、使用者に感情状態を情報を提供する等の処理をする。
なお、対応付け処理部4、タブレット端末2Aまたはタブレット端末2Bから感情サーバ装置8Dに送られる信号に、データベース構築システム用か、感情推定システム用かを区別するフラグ情報などを含めるようにしてもよい。その場合には、感情サーバ装置8Dは、タブレット端末2Aまたはタブレット端末2Bから感情サーバ装置8Dに送られてくる信号に、脳波データ、簡易脳波データ、脈拍や血流などの生体情報あるいは感情状態識別情報S1~S5が含まれているかどうかを検出する必要はなく、フラグ情報を検出して判断するだけで良い。
[上述の実施形態の変形例]
なお、ペン状態情報は、上記の例に限られるものではない。例えば、電子ペンを握る部分にセンサを設けて、使用者がペンを握る位置やペンを握る強さを検出して、その検出結果のペンを握る位置やペンを握る強さを用いても良い。また、ペンを握る部分に発汗を検出するセンサ(発汗計)を設け、そのセンサにより検出される心理状態に応じた発汗度合いをペン状態情報として用いてもよい。
なお、上記の例においては、対応付け処理部4またはタブレット端末2Aや2Bより、通信ネットワーク7を通じて、感情サーバ装置8に脳波データ、簡易脳波データあるいは脈拍や血流などの生体情報とペン状態情報を送信し、関連付けてデータベースを構築していたが、対応付け処理部4またはタブレット端末2の中に感情サーバ8が含まれていても良い。すなわち、対応付け処理部4またはタブレット端末2Aや2Bにデータベースが構築されていても良い。これによって、通信ネットワークを通さない分、軽快に感情推定を行うことが可能となる。
なお、上述の実施形態の説明では、感情推定用データベースに記憶する使用者を識別するための識別情報としては、使用者が自身用として使用する電子ペンのペンIDを用いたが、使用者が自身用としてタブレット端末を専用するのであれば、使用者を識別するための識別情報としては、ペンIDの代わりに、タブレット端末を識別するための識別情報(端末ID)を用いてもよい。このタブレット端末の端末IDは、タブレット端末が座標入力処理装置を構成する場合には、座標入力処理装置を識別するための識別情報である装置IDでもある。
そのようにした場合には、タブレット端末や座標入力処理装置は、記憶部に自身の端末IDや装置IDを記憶しておく。そして、データベース構築システムにおいては、その記憶されている端末IDや装置IDを、感情状態を判断するための生体情報やペン状態情報に対応付けて、感情サーバ装置に送って、感情推定用データベースに、判断結果の感情状態やペン状態情報の範囲情報と対応して格納させるようにする。
また、感情推定システムの場合には、座標入力処理装置は、タブレット端末の記憶部に記憶されている端末IDや、自身の装置IDを感情状態推定要求に含めて感情サーバ装置に送るようにする。
なお、座標入力処理装置は、位置検出装置部を備えるタブレット端末と、表示部を備えるコンピュータなどからなる情報処理装置とからなる構成とすることもできる。その場合には、装置IDは、情報処理装置の識別情報とすることができる。
なお、上述の実施形態では、電子ペンとタブレット端末とは、電磁誘導結合方式のものを使用したが、これに限られるものではなく、静電容量結合方式のものであっても勿論適用可能である。筆圧は、容量可変キャパシタの静電容量により検出するように構成したが、インダクタンスの変化により検出する構成のものであってもよい。
[その他の実施形態または変形例]
<対応付け処理部4、タブレット端末2Aまたはタブレット端末2Bから感情サーバ装置8または感情サーバ装置8Dに送られる信号の信号フォーマットについて>
対応付け処理部4、タブレット端末2Aまたはタブレット端末2Bから感情サーバ装置8または感情サーバ装置8Dに送られる信号の信号フォーマットの幾つかの例について、図19を参照しながら以下に説明する。なお、図19の説明においては、対応付け処理部の機能をタブレット端末TEが備えている場合としている。
図19の例では、タブレット端末TEは、電子ペンからの位置検出用信号や付加情報から、電子ペンに関する情報として、指示位置の座標データ(X,Y)と、筆圧データPと、傾きデータSと、高さ位置データHとからなるペン状態情報と、ペンIDとを検出するものとする。そして、脳波計等からは、脳波データなどの人の感情状態を判断するための生体情報Eが、タブレット端末TEに入力されるものとしている。なお、ペンIDは、この例では、電子ペンの使用者毎にペン状態情報をデータベース化して、電子ペンの使用者毎の感情状態との関係を求めるようにする場合しているために付加されている。電子ペンの使用者毎のペン状態情報と感情状態との関係ではなく、汎用的に全ての使用者のペン状態情報と感情状態との関係を求める例の場合には、このペンIDは信号フォーマットに含めなくてもよい。
図19(A)の例では、タブレット端末TEは、電子ペンに関する情報と、感情状態を判断するための生体情報Eとは、別々の信号として、通信ネットワーク7を通じて感情サーバ装置8に送信される。ただし、感情サーバ装置8では、時間的に同時に送られてくる電子ペンに関する情報と、感情状態を判断するための生体情報Eとは、関連する情報として、互いに関連付けてメモリに保持する。この場合に、電子ペンに関する情報は、図19(A)に示すように、例えば指示位置の座標データ(X,Y)、筆圧データP、傾きデータS、高さ位置データH、時間(座標入力された時刻)T、ペンID、の順に並べられた信号フォーマットの状態で、繰り返し、感情サーバ装置8に送信される。
次に、図19(B)の例では、タブレット端末TEは、電子ペンに関する情報と、感情状態を判断するための生体情報Eとを、一つの信号フォーマットに含めて、繰り返し、感情サーバ装置8に送信する。この場合の信号フォーマットは、図19(B)に示すように、例えば指示位置の座標データ(X,Y)、筆圧データP、傾きデータS、高さ位置データH、時間T、ペンID、生体情報Eの順に並べられたものとされて、繰り返し、感情サーバ装置8に送信される。
次に、図19(C)の例は、前述の感情推定システムの実施形態の場合において、タブレット端末TEからペン状態情報を感情サーバ装置8Dに送り、当該感情サーバ装置8Dから、タブレット端末TEからのペン状態情報に対応して推定された感情状態を示す情報(リラックス、集中、イライラ、注意力散漫、怒りなどを示す情報)EDを返信してくる場合の信号フォーマットの例を示す。
この場合には、タブレット端末TEからは、信号フォーマットとしては、図19(C)に示すように、電子ペンに関する情報が、例えば指示位置の座標データ(X,Y)、筆圧データP、傾きデータS、高さ位置データH、時間T、ペンID、の順に並べられた後に、感情状態を示す情報EDのための空きスペース(空きエリアあるいは空フィールド)が設けられたものとされる。そして、この図19(C)の例では、この信号フォーマットの信号が、繰り返し、通信ネットワーク7を通じて感情サーバ装置8Dに送信される。
なお、感情状態を示す情報EDのための空きスペースを設ける代わりに、当該空きスペースに、オール零などの感情状態を示す情報EDとしては無意味なデータを含めてもよいし、あるいは、感情状態を示す情報EDのための空きスペースに、感情状態の推定要求を意味する情報を含めてもよい。なお、感情サーバ装置8Dは、空きスペースに明示の感情状態の推定要求が含まれていなくても、感情状態を示す情報EDのための空きスペースが存在する信号フォーマットの信号を受けたとき、また、当該空きスペースに、オール零などの感情状態を示す情報EDとしては無意味なデータが含まれている信号フォーマットの信号を受けたときに、それらを、感情状態の推定要求を伴う信号であると判別するようにしてもよい。
そして、感情サーバ装置8Dからの、タブレット端末TEへの返信情報には、図19(C)に示すように、ペン状態情報から推定された感情状態を示す情報EDが、信号フォーマットの空きスペースであったところに挿入される。これにより、この返信情報は、ペン状態情報と、そのペン状態情報から推定された感情状態を示す情報EDとが一つの信号フォーマットに含む情報となる。つまり、その信号フォーマットに含まれるペン状態情報が、感情状態を示す情報EDで示される感情状態で筆記されたことが分かることになる。したがって、図19(C)に示すような信号フォーマットを採用することにより、ペン状態情報が、どのような感情状態で筆記されたかを示す情報EDと共に、伝送されたり、保持されたりすることが可能になり、多種多様な用途に用いることができるという効果がある。
<感情推定システムの他の実施形態;人工知能を用いた例>
近年、人工知能(AI(Artificial Intelligence))と言われるニューラルネットワークを用いた大量のデータの処理(機械学習)が普及しはじめ、大量のデータの規則性を導き出す手法が取られるようになってきた。
ニューラルネットワークの仕組みの一つとして機械学習がある。機械学習には、教師あり学習と教師無し学習があるが、教師あり学習は、「問題→答え」を当てる形式であり、「入力と出力の関係を学習する」、「入力から出力を予測する」ことを特徴とする。
機械学習の教師あり学習は、入力データ及びそれに対応した出力データが大量にあり、入力データから出力が導かれるまでの経路に複数の層(レイヤー、特徴抽出層、隠れ層)を有し、各層(レイヤー)毎に入力データを特徴に応じて分割及び統合し、更に重み付けを行い、フィードバックを行いながら重み付けを少しずつ変え、出力データに近づけてゆく方法である。重み付けを少しづつ変化させて再計算を行うことは、近年の計算処理の高速化によって実現されるようになり、機械学習が行われるようになってきている。
この実施形態の感情推定システムの感情サーバ装置においては、感情推定用データベースに蓄積した情報について、上述の機械学習を行うことで、電子ペンを用いて筆記する者のペン状態情報から、その者の感情状態を推定に用いる学習済みデータを生成する。そして、感情サーバ装置は、その学習済みデータを用いることで、電子ペンを用いて筆記する者のペン状態情報から、その時の感情状態を推定することができるようにする。
すなわち、この実施形態の感情サーバ装置においては、先ず、電子ペンによって筆記をした者の筆跡に関する情報であるペン状態情報(以下、筆跡データという)の各種特徴量(座標、圧力、傾き、高さ等)を入手する際に、感情状態を推定するための生体情報、例えば脳波データ検出装置からの脳波データの波形により感情を推定し、筆跡データの各種特徴量(座標、圧力、傾き、高さ等)と推定された感情との関係情報を大量に蓄積して、データベース化する。この場合に、各感情における、各筆跡データの各種特徴量(座標、圧力、傾き、高さ等)は、所定の分布を示している。したがって、データベースからは、所定の感情における筆跡データの各種特徴量(座標、圧力、傾き、高さ等)毎の分布が得られる。そこで、電子ペンにより筆記した時の筆跡データの各種特徴量が、どの感情のときの筆跡データの対応する特徴量の分布の中に含まれるのかを判別することで、電子ペンにより筆記をした者の筆記時の感情を推定することができる。
この実施形態では、新しい手法の機械学習により大量のデータを分析し、図20に示すように、入力データ(筆跡データの各種特徴量)と出力データ(感情)との間の関係を行列化(テンソル、学習済みデータ;図20の行列参照)することで、入力データ(筆跡データの各種特徴量)から瞬時に出力データ(感情)を導き出すことが可能となり、処理の高速化に大きく貢献するように構成する。そして、この実施形態では、学習済みデータを確立することで、小規模の演算によって、筆跡データから感情を導き出すことが可能であるようにしている。
なお、筆跡データには数々の特徴量がある。具体的には、上述したように、電子ペンにより指示された位置の座標(X,Y)、筆圧、高さ、傾き、速さ、それらの変化量(微分値)等があり、効率よく機械学習をさせる為、どのような特徴量を入力することで最適な感情を引き出すことが可能かが重要である。
特定の感情が結びついた筆跡データからは複数の特徴量が導き出される。そのため、特定の一つの特徴量で導き出された学習済みデータから感情を導き出すことも可能であるが、複数の特徴量の各々に基づき学習された学習済みデータの掛け合わせによって、更に精度の高い推定が可能となる。
学習済みデータを得るための演算子は、ニューラルネットワークで構成され、入力部としての入力層と出力部としての出力層を有し、その間に複数の階層(特徴抽出層)から成り、複数に分割された入力データを各階層(特徴抽出層)の要素に適合する為、各階層の要素毎に重み付けがなされており、各階層、各要素ごとの重み付けを行列化した重み付け行列(テンソル、学習済みモデル)を構成する。重み付け行列は、更新可能とする。
機械学習の方法について説明する。
<前段階>
(データベースの構築)
タブレット端末からは、筆跡データの特徴量として、例えば、指示位置座標(X,Y)、圧力、高さ、傾き、時間のデータを受信し、脳波計などからは、脳波データ等に基づいて分類された感情状態のデータを受信し、それらの筆記データと感情状態のデータを関連付けてデータベースに蓄積する。この場合の感情状態のデータは、脳波計などからの計測データの他、計測データから導き出される、分類分けされた感情の種類(例えば“怒り”、“喜び”等)でもあっても良い。
<第一段階>
(学習用データセットの作成)
データベースに蓄積した筆跡データに基づいて、筆跡データ毎の学習用データセットを作成する。学習用データセットとしては、ペン状態情報の指示位置座標(X,Y)、圧力、高さ、傾き、及びこれらの値から算出された変化量(微分値)、時間Tと指示位置座標(X,Y)とから算出された筆記速度、及びその変化量等がある。
<第二段階>
(学習済みモデルの作成1)
作成された学習用データセットの中から、所定の筆跡データを選択し、更に所定の特徴量を選択して、所定の分割をして、演算子の入力層にセットする。演算子の出力層には上記所定の筆跡データに基づいた感情状態の種類をセットする。
例えば、所定の筆跡データ(“あ”)のうち、所定の特徴量(“座標X,Y”)を入力データと定め、上記に従い、所定の分割をして入力層にセットする。上記所定の筆跡データに紐づけられた感情状態と同じ出力層にセットされている感情状態を“真”“当たり”としてセットする。
<第三段階>
(学習済モデルの作成2)
演算子は、入力データである筆跡データに、関連付けられた出力データである感情状態に近づける為、各要素毎の重み付けを変化させてゆく。重み付けを重み付け行列(テンソル)として、重み付けを変化させる毎に更新させてゆく。
<第四段階>
(学習済みモデルの作成3)
大量の筆跡データと感情状態の生体情報データを入力して、全てのデータが満たす最も適切な重み付け行列(テンソル)を作りだす。これにより、感情状態のそれぞれ毎の、筆跡データの特徴量毎の学習済みデータが完成する。
<第五段階>
(学習済みモデルの活用)
タブレット端末から、新たに発生した筆跡データの特徴量が、感情推定要求と共に、感情サーバ装置に送られてきたときには、感情サーバ装置では、以上のようにして生成された筆跡データの特徴量毎の学習済みデータに基づき、当該新たに発生した筆跡データの特徴量が存在する分布が重なる筆跡データの特徴量に対応する感情状態を推定する。
すなわち、例えば、図19(C)に示すような信号フォーマットの電子ペンに関する筆跡データが感情サーバ装置に供給されたときには、感情サーバ装置では、上述のようにして生成されている筆跡データの特徴量毎の学習済みデータを用いることで、当該到来した筆跡データの特徴量から、対応する感情状態を推定し、図19(C)の返信情報の感情状態を示す信号EDを生成して、タブレット端末に返信することができる。
この場合に、感情サーバ装置では、タブレット端末TEから到来した、感情推定要求に係る筆跡データの分布を探査する必要はなく、筆跡データの各特徴量毎に、学習済みデータを用いて、出力データとしての感情状態を得るようにすることができ、小規模の演算によって、筆跡データから感情状態を導き出すことが可能である。
この実施形態の感情サーバ装置で生成された筆跡データの特徴量毎の学習済みデータが一旦生成されると、その生成された学習済みデータを、例えばタブレット端末や、タブレット端末からの筆跡データを処理するパーソナルコンピュータに、記憶しておくことにより、それらタブレット端末やパーソナルコンピュータにおいても、記憶されている学習済みデータを用いて、筆跡データから感情状態を推定することができる。
なお、上述のAIの例の場合にも、ペン状態情報をペンIDに対応させることで、電子ペンの使用者毎の学習済みデータを生成することもできるし、使用者毎ではない汎用的に使用できる学習済みデータを生成することもできることは勿論である。
1,1A,1B…電子ペン、2,2A,2B,2D…タブレット端末、4…対応付け処理部、5…脳波計、5A…簡易脳波計、5B…生体情報検出装置、7,7D…通信ネットワーク、8,8D…感情サーバ装置、87…感情推定用データベース、88…感情状態推定要求受信部、89…感情状態推定部、90…提供情報生成部、234…感情状態推定要求生成部

Claims (15)

  1. 電子ペンを把持している人の感情状態と、前記感情状態のときに前記人が把持している電子ペンの状態に関するペン状態情報とが対応付けられて格納されている感情推定用情報格納部と、
    前記ペン状態情報を含む感情状態推定要求を受信したときに、前記受信した前記ペン状態情報により前記感情推定用情報格納部を参照することで、前記要求情報を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、
    前記推定手段で推定した前記感情状態を前記感情状態推定要求をしてきた相手に通知する手段と、
    を備え、
    前記感情状態には、注意力散漫状態を含むと共に、
    前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットには、推定された感情状態を示す情報を挿入するための空きスペースが設けられており、前記推定された感情状態を示す情報は、前記空きスペースに挿入されて、前記感情状態推定要求の要求側に返信される
    ことを特徴とする感情推定装置。
  2. 前記感情推定用情報格納部には、前記感情状態を示している人を識別するための識別情報に、前記感情状態と、当該感情状態のときに指示入力を行う人が把持している電子ペンの状態に関するペン状態情報が取り得る値の範囲情報とが対応付けられて格納されており、
    前記推定手段は、電子ペンの状態に関するペン状態情報と前記識別情報とを含む前記感情状態推定要求を受信したときには、前記感情推定用情報格納部において前記識別情報に対応付けられて格納されている情報を参照するようにする
    ことを特徴とする請求項1に記載の感情推定装置。
  3. 前記識別情報は、前記人が把持している電子ペンの識別情報である
    ことを特徴とする請求項2に記載の感情推定装置。
  4. 前記識別情報は、前記人が把持している電子ペンによる指示入力を検出する位置検出装置を備える電子機器の識別情報である
    ことを特徴とする請求項2に記載の感情推定装置。
  5. 電子ペンと、前記電子ペンにより指示された位置を検出するセンサと、使用者が把持している前記電子ペンの状態に関するペン状態情報を取得する手段とを備える位置検出装置部とを備える座標入力処理装置と、前記座標入力処理装置と通信ネットワークを通じて接続される感情推定装置とからなる感情推定システムであって、
    前記座標入力処理装置は、
    前記位置検出装置で取得した前記ペン状態情報を含めた感情状態推定要求を前記感情推定装置に送信する送信手段と、
    前記送信手段により送信した前記感情状態推定要求に含まれる前記ペン状態情報に対応して前記感情推定装置から送られてくる感情状態に応じた情報を受信して、前記受信した感情状態に応じた情報を用いた処理を実行する処理手段と、
    を備え、
    前記感情推定装置は、
    電子ペンを把持している人の感情状態と、前記感情状態のときに、前記人が把持している電子ペンの状態に関するペン状態情報とが対応付けられて格納されている感情推定用情報格納部と、
    前記ペン状態情報を含む感情状態推定要求を受信したときに、前記受信した前記ペン状態情報により前記感情推定用情報格納部を参照することで、前記感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、
    前記推定手段で推定した前記感情状態に応じた情報を生成して、前記感情状態推定要求をしてきた前記座標入力処理装置に返信する返信手段と、
    を備え、
    前記感情状態には、注意力散漫状態を含むと共に、
    前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットには、推定された感情状態を示す情報を挿入するための空きスペースが設けられており、前記推定された感情状態を示す情報は、前記空きスペースに挿入されて、前記感情状態推定要求の要求側に返信される
    ことを特徴とする感情推定システム。
  6. 電子ペンにより指示入力を行う人の視線の動きを取得する視線の動き取得手段と、
    前記視線の動き取得手段で取得された前記視線の動きに対応付けられた前記指示入力を行う人が把持している電子ペンの状態に関するペン状態情報を取得するペン状態情報取得手段と、
    前記視線の動き取得手段で取得した前記視線の動きから前記電子ペンを把持している人の感情状態を判断する判断手段と、
    前記判断した感情状態のときに前記ペン状態情報が取り得る値の範囲情報を、前記ペン状態情報取得手段で取得した前記ペン状態情報から求める手段と、
    前記判断した感情状態と、前記ペン状態情報が取り得る値の範囲情報とを対応付けて感情推定用情報格納部に格納する格納手段と、
    を備えることを特徴とする感情推定用情報格納部の構築装置。
  7. 前記ペン状態情報取得手段は、前記感情状態を示している人を識別するための識別情報を、前記ペン状態情報に対応付けて取得し、
    前記格納手段は、前記判断した感情状態と、当該感情状態に対応する前記ペン状態情報の存在範囲情報と、前記電子ペンの識別情報とを対応付けて、前記感情推定用情報格納部に格納する
    ことを特徴とする請求項6に記載の感情推定用情報格納部の構築装置。
  8. 前記識別情報は、前記人が把持している電子ペンの識別情報である
    ことを特徴とする請求項7に記載の感情推定用情報格納部の構築装置。
  9. 前記識別情報は、前記人が把持している電子ペンによる指示入力を検出する位置検出装置を備える電子機器の識別情報である
    ことを特徴とする請求項7に記載の感情推定用情報格納部の構築装置。
  10. 前記電子ペンは、前記視線の動きを無線通信により受信する通信手段を備え、前記通信手段で受信した前記視線の動きを、位置検出用信号の付加情報に含めて位置検出装置に供給し、
    前記位置検出装置から、前記視線の動きと前記ペン状態情報とを取得する
    ことを特徴とする請求項6に記載の感情推定用情報格納部の構築装置。
  11. 前記位置検出装置は、前記視線の動きを無線通信により受信する通信手段を備え、
    前記位置検出装置から、前記視線の動きと前記ペン状態情報とを取得する
    ことを特徴とする請求項6に記載の感情推定用情報格納部の構築装置。
  12. 電子ペンと、前記電子ペンにより指示された位置を検出するセンサと、使用者が把持している前記電子ペンの状態に関するペン状態情報を取得する手段とを備える座標入力処理装置と、
    電子ペンにより指示入力を行う人の視線の動きを取得する視線の動き取得装置と、前記座標入力処理装置と通信ネットワークを通じて接続され、電子ペンを把持している人の感情状態と、前記感情状態のときに、前記人が把持している電子ペンの状態に関するペン状態情報が取り得る値の範囲情報とが対応付けられて格納されている感情推定用情報格納部を有する感情推定装置と
    からなる感情推定システムであって、
    前記座標入力処理装置は、
    前記視線の動き取得装置で取得された視線の動きまたは視線の動きから判断された感情状態を識別するための情報を受信すると共に、
    前記座標入力処理装置で取得された前記ペン状態情報を含めた感情状態推定要求を、または、前記ペン状態情報と前記視線の動きまたは視線の動きから判断された感情状態を識別するための情報を含めたデータ構築要求を、前記感情推定装置に送信する送信手段と、
    を備え、
    前記感情推定装置は、
    前記座標入力処理装置から前記データ構築要求を受けた場合は、電子ペンを把持している人の感情状態と、前記感情状態のときに、前記人が把持している電子ペンの状態に関するペン状態情報とを対応付けて前記感情推定用情報格納部に格納し、
    前記座標入力処理装置から前記感情推定要求を受けた場合は、前記受信した前記ペン状態情報により前記感情推定用情報格納部を参照することで、前記感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定し、推定した前記感情状態に応じた情報を生成して、前記感情状態推定要求をしてきた前記座標入力処理装置に返信する
    ことを特徴とする感情推定システム。
  13. 前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットには、推定された感情状態を示す情報を挿入するための空きスペースが設けられており、前記推定された感情状態を示す情報は、前記空きスペースに挿入されて、前記感情状態推定要求の要求側に返信される
    ことを特徴とする請求項12に記載の感情推定システム。
  14. 電子ペンを把持している人の感情状態と、前記感情状態のときに、前記人が把持している電子ペンの状態に関するペン状態情報とを対応付けて格納する感情推定用情報格納部と、
    前記感情推定用情報格納部に格納されている前記ペン状態情報を入力とすると共に、前記感情状態を出力として機械学習をすることで、学習済みデータを生成する学習済みデータ生成部と、
    電子ペンの状態に関するペン状態情報を含む感情状態推定要求を受信したときに、前記学習済みデータを用いて、前記受信した前記ペン状態情報から、前記要求情報を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、
    を備え、
    前記感情状態には、注意力散漫状態を含むと共に、
    前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットには、推定された感情状態を示す情報を挿入するための空きスペースが設けられており、前記推定された感情状態を示す情報は、前記空きスペースに挿入されて、前記感情状態推定要求の要求側に返信される
    ことを特徴とする感情推定装置。
  15. 前記ペン状態情報は、複数個の特徴量からなり、
    前記学習済みデータは、前記ペン状態情報の前記複数個の特徴量のそれぞれについて生成されている
    ことを特徴とする請求項14に記載の感情推定装置。
JP2022006809A 2016-09-01 2022-01-20 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 Active JP7189382B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2016170574 2016-09-01
JP2016170574 2016-09-01
JP2016249336 2016-12-22
JP2016249336 2016-12-22
JP2019046885A JP6908648B2 (ja) 2016-09-01 2019-03-14 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置
JP2021109792A JP7108752B2 (ja) 2016-09-01 2021-07-01 感情状態推定要求と返信情報とのやり取り方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021109792A Division JP7108752B2 (ja) 2016-09-01 2021-07-01 感情状態推定要求と返信情報とのやり取り方法

Publications (2)

Publication Number Publication Date
JP2022048219A true JP2022048219A (ja) 2022-03-25
JP7189382B2 JP7189382B2 (ja) 2022-12-13

Family

ID=61300612

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2018537081A Active JP6499811B2 (ja) 2016-09-01 2017-08-08 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置
JP2019046885A Active JP6908648B2 (ja) 2016-09-01 2019-03-14 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置
JP2021109792A Active JP7108752B2 (ja) 2016-09-01 2021-07-01 感情状態推定要求と返信情報とのやり取り方法
JP2022006809A Active JP7189382B2 (ja) 2016-09-01 2022-01-20 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2018537081A Active JP6499811B2 (ja) 2016-09-01 2017-08-08 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置
JP2019046885A Active JP6908648B2 (ja) 2016-09-01 2019-03-14 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置
JP2021109792A Active JP7108752B2 (ja) 2016-09-01 2021-07-01 感情状態推定要求と返信情報とのやり取り方法

Country Status (6)

Country Link
US (2) US11237647B2 (ja)
EP (1) EP3508948B1 (ja)
JP (4) JP6499811B2 (ja)
CN (1) CN109643160B (ja)
TW (1) TWI764906B (ja)
WO (1) WO2018043061A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764906B (zh) * 2016-09-01 2022-05-21 日商和冠股份有限公司 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置
JP2019162207A (ja) * 2018-03-19 2019-09-26 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP7308188B2 (ja) * 2018-05-14 2023-07-13 株式会社ワコム 学習支援システム
JP6627059B1 (ja) * 2019-03-08 2020-01-08 株式会社ファーストアセント コンテンツ提供システム
WO2020196636A1 (ja) * 2019-03-26 2020-10-01 株式会社ワコム 家の記憶装置
JP7168768B2 (ja) * 2019-04-08 2022-11-09 株式会社ワコム デジタルインクを管理するホームuiシステム
JP7014757B2 (ja) 2019-09-03 2022-02-01 株式会社ワコム ペンの位置を導出し、導出したペンの位置を示すレポートをホストコンピュータに対して送信するデバイスにより実行される方法及びタッチコントローラ。
WO2022149443A1 (ja) * 2021-01-05 2022-07-14 株式会社ワコム ペンデータ蓄積装置
US20240032835A1 (en) * 2021-03-15 2024-02-01 Mitsubishi Electric Corporation Emotion estimation apparatus and emotion estimation method
CN113610186A (zh) * 2021-08-20 2021-11-05 湖州师范学院 一种数字化书写识别情绪状态的方法
WO2023238641A1 (ja) * 2022-06-10 2023-12-14 株式会社ワコム 位置検出装置、電磁誘導ペン、及び、位置検出システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350904A (ja) * 2000-06-07 2001-12-21 Canon Inc 電子機器及び営業用電子機器システム
JP2003216294A (ja) * 2002-01-25 2003-07-31 Victor Co Of Japan Ltd ユーザインタフェース装置
JP2005065252A (ja) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
GB2413425A (en) * 2004-04-23 2005-10-26 Hewlett Packard Development Co Biometric analysis method
JP4937341B2 (ja) * 2006-04-04 2012-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表現ペン
US20140136450A1 (en) * 2012-11-09 2014-05-15 Samsung Electronics Co., Ltd. Apparatus and method for determining user's mental state
JP2014139759A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 情報機器及び情報処理方法
JP2014158600A (ja) * 2013-02-20 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6855112B2 (en) * 2000-07-14 2005-02-15 The University Of Hong Kong Method of and system for health treatment
JP3914421B2 (ja) 2000-12-13 2007-05-16 株式会社ワコム ペン型座標指示器
JP2002230485A (ja) * 2001-02-01 2002-08-16 Canon Inc 文字認識装置、携帯端末装置、および関連する方法、記録媒体、並びにプログラム
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
JP4876718B2 (ja) * 2006-05-31 2012-02-15 カシオ計算機株式会社 電子ペーパー記録装置
US8790280B2 (en) * 2007-06-27 2014-07-29 Panasonic Corporation Human state estimating device and method
JP2010131328A (ja) 2008-12-08 2010-06-17 Tokyo Univ Of Agriculture & Technology 嗜好判別装置、嗜好判別方法、嗜好判別プログラム、及び脳波解析方法
JP5534419B2 (ja) 2010-03-09 2014-07-02 株式会社ワコム 位置指示器、可変容量コンデンサ及び入力装置
JP5486977B2 (ja) * 2010-03-24 2014-05-07 株式会社日立ソリューションズ 座標入力装置及びプログラム
TWI470564B (zh) * 2012-02-21 2015-01-21 Wistron Corp 使用者情緒偵測方法與應用其之手寫輸入電子裝置
CN103926997A (zh) * 2013-01-11 2014-07-16 北京三星通信技术研究有限公司 一种基于用户的输入确定情绪信息的方法和终端
WO2014116262A1 (en) * 2013-01-28 2014-07-31 Empire Technology Development Llc Communication using handwritten input
JP2015109964A (ja) 2013-11-11 2015-06-18 株式会社電通サイエンスジャム 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
JP6255935B2 (ja) * 2013-11-21 2018-01-10 大日本印刷株式会社 筆跡再生装置及びプログラム
KR102346206B1 (ko) * 2014-01-22 2022-01-03 가부시키가이샤 와코무 위치 지시기, 위치 검출 장치, 위치 검출 회로 및 위치 검출 방법
US10324547B2 (en) * 2015-12-31 2019-06-18 Lg Display Co., Ltd. Active stylus pen, touch sensing system and driving method thereof
TWI764906B (zh) * 2016-09-01 2022-05-21 日商和冠股份有限公司 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350904A (ja) * 2000-06-07 2001-12-21 Canon Inc 電子機器及び営業用電子機器システム
JP2003216294A (ja) * 2002-01-25 2003-07-31 Victor Co Of Japan Ltd ユーザインタフェース装置
JP2005065252A (ja) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
GB2413425A (en) * 2004-04-23 2005-10-26 Hewlett Packard Development Co Biometric analysis method
JP4937341B2 (ja) * 2006-04-04 2012-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表現ペン
US20140136450A1 (en) * 2012-11-09 2014-05-15 Samsung Electronics Co., Ltd. Apparatus and method for determining user's mental state
JP2014094291A (ja) * 2012-11-09 2014-05-22 Samsung Electronics Co Ltd ユーザの心理状態判断装置及び方法
JP2014139759A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 情報機器及び情報処理方法
JP2014158600A (ja) * 2013-02-20 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム

Also Published As

Publication number Publication date
JP2019136513A (ja) 2019-08-22
JP6908648B2 (ja) 2021-07-28
US11625110B2 (en) 2023-04-11
TWI764906B (zh) 2022-05-21
JP7108752B2 (ja) 2022-07-28
EP3508948B1 (en) 2022-11-16
CN109643160A (zh) 2019-04-16
CN109643160B (zh) 2023-03-17
TW201812537A (zh) 2018-04-01
JP7189382B2 (ja) 2022-12-13
US11237647B2 (en) 2022-02-01
JPWO2018043061A1 (ja) 2019-06-24
US20190187823A1 (en) 2019-06-20
EP3508948A4 (en) 2019-08-21
WO2018043061A1 (ja) 2018-03-08
EP3508948A1 (en) 2019-07-10
JP6499811B2 (ja) 2019-04-10
US20220113816A1 (en) 2022-04-14
JP2021166751A (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
JP6908648B2 (ja) 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置
EP3234731B1 (en) Methods and systems for monitoring and influencing gesture-based behaviors
CN104216762B (zh) 跟踪用户以支持在复杂系统组件上执行的任务
US20170031449A1 (en) Wearable device
Cernea et al. A survey of technologies on the rise for emotion-enhanced interaction
US20180032126A1 (en) Method and system for measuring emotional state
US20130346168A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP2016146173A (ja) 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
CN107004373A (zh) 信息处理装置、信息处理方法以及计算机程序
US10843299B2 (en) Object recognition and presentation for the visually impaired
JP2019030557A (ja) 提示装置、提示方法、感情推定サーバ、感情推定方法及び感情推定システム
JP2021183015A (ja) コンテンツ提供システム及びコンテンツ提供方法
CN110366388A (zh) 信息处理方法、信息处理装置以及程序
EP3602343B1 (en) Media content tracking
JP2018109893A (ja) 情報処理方法、装置、及びプログラム
EP3308705A1 (en) Body composition measuring device
WO2020246198A1 (ja) 操作者状態判断システム
CN105068673B (zh) 一种信息处理方法及电子设备
JP6722505B2 (ja) 画像制御方法、装置、及びプログラム
WO2023228931A1 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
KR20190076722A (ko) 모바일 기기를 이용한 vr/ar 기반 다중지능 검사방법 및 다중지능 검사시스템
JP7418711B1 (ja) 注意抽出システム、及び注意抽出方法
Basmaji et al. Enhancing Spinal Health: A Real-time IoT-based Posture Detection System
JP2022178474A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2021093042A (ja) ヘルスケア支援プログラム、ヘルスケア支援装置及びヘルスケア支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7189382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150