JP2021129891A - 端末装置、感情解析装置、感情解析システム、及び感情解析方法 - Google Patents
端末装置、感情解析装置、感情解析システム、及び感情解析方法 Download PDFInfo
- Publication number
- JP2021129891A JP2021129891A JP2020027808A JP2020027808A JP2021129891A JP 2021129891 A JP2021129891 A JP 2021129891A JP 2020027808 A JP2020027808 A JP 2020027808A JP 2020027808 A JP2020027808 A JP 2020027808A JP 2021129891 A JP2021129891 A JP 2021129891A
- Authority
- JP
- Japan
- Prior art keywords
- physical quantity
- terminal device
- unit
- emotion analysis
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 142
- 238000004458 analytical method Methods 0.000 title claims description 83
- 238000004891 communication Methods 0.000 claims abstract description 79
- 230000008859 change Effects 0.000 claims abstract description 33
- 239000000853 adhesive Substances 0.000 claims abstract description 27
- 230000001070 adhesive effect Effects 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 35
- 239000010410 layer Substances 0.000 claims description 32
- 239000012790 adhesive layer Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 239000002551 biofuel Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 210000004243 sweat Anatomy 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- JVTAAEKCZFNVCJ-UHFFFAOYSA-N lactic acid Chemical compound CC(O)C(O)=O JVTAAEKCZFNVCJ-UHFFFAOYSA-N 0.000 description 2
- 230000003183 myoelectrical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 239000004820 Pressure-sensitive adhesive Substances 0.000 description 1
- 230000005678 Seebeck effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 235000014655 lactic acid Nutrition 0.000 description 1
- 239000004310 lactic acid Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Selective Calling Equipment (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】ユーザに違和感及び抵抗感を与えることなく、感情を解析することのできる端末装置を提供する。
【解決手段】端末装置は、接着面を有し、かつシート状をなす端末装置であって、前記接着面が接触する面の形状の変化の度合いを示す物理量を計測するセンサ部と、前記センサ部により計測された前記物理量を無線により送信する無線通信部と、前記センサ部及び前記無線通信部を駆動するための電力を供給する電源部とを備える。
【選択図】図２
【解決手段】端末装置は、接着面を有し、かつシート状をなす端末装置であって、前記接着面が接触する面の形状の変化の度合いを示す物理量を計測するセンサ部と、前記センサ部により計測された前記物理量を無線により送信する無線通信部と、前記センサ部及び前記無線通信部を駆動するための電力を供給する電源部とを備える。
【選択図】図２
Description
本開示は、端末装置、感情解析装置、感情解析システム、及び感情解析方法に関する。
従来、ユーザが装着するウェアラブル端末などを用いて、ユーザの感情を解析する情報処理システムが提案されている（例えば、特許文献１参照）。
"薄型フレキシブル電池（Ａｉｒ Ｐａｔｃｈ Ｂａｔｔｅｒｙ）（開発中）"、［ｏｎｌｉｎｅ］、マクセルホールディングス株式会社、［２０１９年１２月９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｂｉｚ．ｍａｘｅｌｌ．ｃｏｍ／ｊａ／ｐｒｉｍａｒｙ＿ｂａｔｔｅｒｉｅｓ／ａｉｒ＿ｐａｔｃｈ＿ｂａｔｔｅｒｙ．ｈｔｍｌ＞
しかしながら、従来の情報処理システムにおいて、ユーザは、スマートウォッチ、スマートバンド、スマートアイグラスなどのウェアラブル端末を装着しなければならない。このようなウェアラブル端末を装着することは、ユーザにとって違和感があり、自身の感情を読み取られるという拒否感又は恐怖感などの抵抗感を引き起こす可能性がある。また、イベントの開催者（以下、「イベンター」という）にとっては、イベントの開始時及び終了時にウェアラブル端末を配布及び回収する負担が生じる。また画像解析により感情を解析する場合、一度に数百人規模の解析を行うことは困難である。また、イベンターがこのようなウェアラブル端末を多数のユーザに利用目的も告げずに配布することは困難である。このため、複数のユーザのデータを効率的に収集し、感情を正確に解析することは困難である。
本開示は、このような課題に鑑みてなされたものであり、ユーザに違和感及び抵抗感を与えることなく、感情を解析することのできる端末装置、感情解析装置、感情解析システム、及び感情解析方法を提供することを目的とする。
本開示の一実施態様に係る端末装置は、接着面を有し、かつシート状をなす端末装置であって、前記接着面が接触する面の形状の変化の度合いを示す物理量を計測するセンサ部と、前記センサ部により計測された前記物理量を無線により送信する無線通信部と、前記センサ部及び前記無線通信部を駆動するための電力を供給する電源部とを備える。
本開示の他の実施態様に係る感情解析装置は、上述の端末装置と中継器を介して接続され、前記端末装置から、前記中継器を介して、当該端末装置を顔に接着させたユーザの前記顔の形状の変化の度合いを示す物理量を受信する通信部と、前記中継器ごとに、当該中継器により中継された前記物理量に基づいて、前記ユーザの感情を解析する処理部とを備える。
本開示の他の実施態様に係る感情解析システムは、電源及びユーザの顔への接着面を有するシート状の複数の端末装置と、前記複数の端末装置とネットワークを介して接続される感情解析装置とを備え、前記複数の端末装置の各々は、前記顔の変化度合いを示す物理量を計測し、計測した前記物理量を前記感情解析装置に送信し、前記感情解析装置は、前記複数の端末装置から前記物理量を受信し、受信した前記物理量に基づいて、前記複数の端末装置に対応するユーザの感情を解析する。
本開示の他の実施態様に係る感情解析方法は、電源及びユーザの顔への接着面を有するシート状の複数の端末装置と、前記複数の端末装置とネットワークを介して接続される感情解析装置とを備える感情解析システムによる感情解析方法であって、前記複数の端末装置の各々が、前記顔の変化度合いを示す物理量を計測するステップと、前記複数の端末装置の各々が、計測した前記物理量を前記感情解析装置に送信するステップと、前記感情解析装置が、前記複数の端末装置から前記物理量を受信するステップと、前記感情解析装置が、受信した前記物理量に基づいて、前記複数の端末装置に対応するユーザの感情を解析するステップとを含む。
本開示によると、ユーザに違和感及び抵抗感を与えることなく、感情を解析することができる。
［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る端末装置は、接着面を有し、かつシート状をなす端末装置であって、前記接着面が接触する面の形状の変化の度合いを示す物理量を計測するセンサ部と、前記センサ部により計測された前記物理量を無線により送信する無線通信部と、前記センサ部及び前記無線通信部を駆動するための電力を供給する電源部とを備える。
この構成によると、例えば、端末装置の接着面をユーザの顔に接触させることにより、顔の形状の変化の度合いが物理量として計測及び送信され、物理量に基づいて感情を解析することができる。このため、ユーザは、顔にシールを貼る感覚で端末装置を装着することができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザは、顔にシールを貼ることへの抵抗感が少ない。よって、ユーザに違和感及び抵抗感を与えることなく、感情を解析することができる。
（２）好ましくは、前記センサ部は、ひずみゲージを含む。
この構成によると、ユーザが笑ったり、驚いたりしたときの顔の動きを電圧として計測することができる。これにより、計測された電圧に基づいてユーザの喜怒哀楽等の感情を解析することができる。
（３）さらに好ましくは、前記電源部は、生体のエネルギーを利用して発電を行う。
この構成によると、ユーザの生体エネルギーを用いて発電された電力により、センサ部及び無線通信部を駆動することができる。このため、端末装置に電池を設けなくても、物理量を送信することができる。
（４）また、前記無線通信部は、外部より送信される電磁波により発電する前記電源部として機能してもよい。
この構成によると、外部により送信される電磁波により発電された電力により、センサ部及び無線通信部を駆動することができる。このため、端末装置に電池を設けなくても、物理量を送信することができる。
（５）また、前記接着面の反対側に文字及び画像の少なくとも一方を印刷可能な印刷面を有してもよい。
この構成によると、端末装置を顔に装着した際に、顔の表面に印刷面が来る。このため、端末装置を、顔面を装飾するフェイスシールとして利用することが可能となり、ユーザへの端末装置の装着の抵抗感を少なくすることができる。
（６）また、前記端末装置は、前記接着面を有するシート状の接着層と、前記印刷面を有するシート状の印刷層と、前記接着層と前記印刷層とに挟まれるシート状の回路層とを備え、前記回路層に、前記センサ部、前記無線通信部及び前記電源部が配置されてもよい。
この構成によると、接着層と印刷層との間に回路層を設けることにより、回路層が顔に接触したり、外部に露呈したりすることを防止することができる。これにより、ユーザに、フェイスシールと同様に違和感なく端末装置を装着させることができる。
（７）また、上述の端末装置は、前記電源部による電力の供給経路上に設けられる取り外し可能な絶縁部材をさらに備えてもよい。
この構成によると、絶縁部材を取り外すことで、絶縁状態であった電源部とセンサ部及び無線通信部とを導通させることができる。これにより、ユーザの顔に端末装置を装着するときまで絶縁状態を維持することができる。例えば、電源部がシート型電池の場合には、不要な電力消費を避けることができる。
（８）また、前記絶縁部材は、接着面を覆う剥離シートを含んでもよい。
この構成によると、剥離シートが絶縁部材を兼ねることができる。このため、端末装置の顔への装着時に確実に絶縁状態から導通状態に変化させることができ、絶縁状態の解除忘れを防止することができる。
（９）また、前記無線通信部は、前記端末装置の識別子とともに前記物理量を送信してもよい。
この構成によると、端末装置の識別子と対応付けて物理量を送信することができる。このため、端末装置ごと、つまりユーザごとに感情を解析することができる。
（１０）また、前記無線通信部は、前記物理量の送信周期、送信時刻及び送信場所の少なくとも１つを定義した条件に従って、前記物理量を送信してもよい。
この構成によると、物理量の送信タイミング又は送信場所を限定することができる。これにより、不必要に物理量が送信され通信トラフィックが増大するのを防ぐことができ、必要な送信タイミング又は送信場所において、物理量を送信することができる。よって、所定時刻又は所定場所におけるユーザの感情を正確に解析することができる。
（１１）また、上述の端末装置は、前記センサ部により計測された前記物理量を記憶する記憶部をさらに備え、前記無線通信部は、複数の時刻において計測された前記物理量を前記記憶部から読み出し、読み出した前記物理量を送信してもよい。
この構成によると、複数の時刻において計測された物理量をまとめて送信することができる。このため、毎時刻に物理量を送信する場合に比べ、送信に要する電力を削減することができる。また、ネットワーク障害により物理量を送信することができない場合であっても、タイミングをずらして物理量を送信することができる。
（１２）また、上述の端末装置は、時刻を計時する計時部をさらに備え、前記記憶部は、前記センサ部により計測された前記物理量を計測時刻とともに記憶し、前記無線通信部は、前記記憶部に記憶されている複数の前記物理量を前記計測時刻とともに送信してもよい。
この構成によると、計測時刻とともに物理量をまとめて送信することができる。このため、計測時刻ごとに物理量を送信しなくても、計測時刻ごとの感情を解析することができる。
（１３）本開示の他の実施形態に係る感情解析装置は、上述の端末装置と中継器を介して接続され、前記端末装置から、前記中継器を介して、当該端末装置を顔に接着させたユーザの前記顔の形状の変化の度合いを示す物理量を受信する通信部と、前記中継器ごとに、当該中継器により中継された前記物理量に基づいて、前記ユーザの感情を解析する処理部とを備える。
この構成によると、中継器ごとに中継された物理量に基づいて、ユーザの感情を解析することができる。このため、中継器の設置場所が事前にわかっている場合には、ユーザの感情を場所ごとに解析することができる。例えば、アトラクションが複数設置されているアミューズメントパークなどにおいては、アトラクションごとにユーザの感情を解析することができる。
（１４）本開示の他の実施形態に係る感情解析システムは、電源及びユーザの顔への接着面を有するシート状の複数の端末装置と、前記複数の端末装置とネットワークを介して接続される感情解析装置とを備え、前記複数の端末装置の各々は、前記顔の変化度合いを示す物理量を計測し、計測した前記物理量を前記感情解析装置に送信し、前記感情解析装置は、前記複数の端末装置から前記物理量を受信し、受信した前記物理量に基づいて、前記複数の端末装置に対応するユーザの感情を解析する。
この構成によると、端末装置は、ユーザの顔への接着面を有し、かつシート状をなしており、顔の形状の変化の度合いが物理量として感情解析装置に送信される。感情解析装置は、物理量に基づいて感情を解析することができる。このため、ユーザは、顔にシールを貼る感覚で端末装置を装着することができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザは、顔にシールを貼ることへの抵抗感が少ない。よって、ユーザに違和感及び抵抗感を与えることなく、感情を解析することができる。
（１５）好ましくは、前記感情解析装置は、解析した感情を、前記物理量の計測時刻、前記ユーザの存在場所、及び前記感情の解析時刻の少なくとも１つに対応付けて表示する。
この構成によると、感情解析装置は、感情の解析結果を時間又は場所と対応付けて表示することができる。これにより、例えば、所定の感情が多く出現する時間帯や場所を知ることができる。
（１６）本開示の他の実施形態に係る感情解析方法は、電源及びユーザの顔への接着面を有するシート状の複数の端末装置と、前記複数の端末装置とネットワークを介して接続される感情解析装置とを備える感情解析システムによる感情解析方法であって、前記複数の端末装置の各々が、前記顔の変化度合いを示す物理量を計測するステップと、前記複数の端末装置の各々が、計測した前記物理量を前記感情解析装置に送信するステップと、前記感情解析装置が、前記複数の端末装置から前記物理量を受信するステップと、前記感情解析装置が、受信した前記物理量に基づいて、前記複数の端末装置に対応するユーザの感情を解析するステップとを含む。
この構成は、上述の感情解析システムが備える構成に対応するステップを含む。このため、この構成によると、上述の感情解析システムと同様の作用及び効果を奏することができる。
［本開示の実施形態の詳細］
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
また、同一の構成要素には同一の符号を付す。それらの機能及び名称も同様であるため、それらの説明は適宜省略する。
＜実施形態１＞
〔感情解析システムの全体構成〕
図１は、実施形態１に係る感情解析システムの全体構成を示す図である。
〔感情解析システムの全体構成〕
図１は、実施形態１に係る感情解析システムの全体構成を示す図である。
感情解析システム１は、シール型センサ３と、サーバ４とを備える。
シール型センサ３は、端末装置として機能し、接着面を有し、かつシート状をなす。シール型センサ３は、例えば、接着面によりユーザ２の顔に貼り付けられ、表情の変化に応じた顔の形状の変化の度合いを示す物理量を計測する。
なお、図１では、一人のユーザ２に貼り付けられたシール型センサ３のみを示しているが、複数のユーザ２の各々に、シール型センサ３が貼り付けられるものとする。
シール型センサ３は無線通信が可能であり、アクセスポイント７（中継器）を介してインターネット又はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク６に接続される。
サーバ４は、感情解析装置として機能し、ネットワーク６に有線又は無線により接続され、ネットワーク６を介して複数のシール型センサ３の各々から計測された物理量を受信する。サーバ４は、受信した物理量に基づいて、シール型センサ３を顔に接着させたユーザ２の感情を解析する。サーバ４は、感情の解析結果をサーバ４に接続された表示装置５に表示したり、ネットワーク６を介して他の装置に送信したりする。
例えば、スポーツ観戦会場又はアトラクション会場などのイベント会場への入場時に、イベンターが参加者であるユーザ２にシール型センサ３を配布する。シール型センサ３を受け取ったユーザ２は、自身の顔（例えば、頬の部分）にシール型センサ３を貼る。ユーザ２が抵抗なくシール型センサ３を貼れるように、シール型センサ３の他者から視認可能な面には文字や画像（例えば、応援するチームのマーク）などが印刷されているのが望ましい。これにより、ユーザ２は、フェイスシールを貼る感覚でシール型センサ３を顔に貼ることができる。
アクセスポイント７は、イベント会場の複数の個所に設置されていることが望ましい。これにより、サーバ４は、会場内をユーザ２が移動しても、シール型センサ３から物理量を満遍なく収集することができる。また、サーバ４は、アクセスポイント７の位置と、アクセスポイント７が受信した物理量とを対応付けることができる。このため、アクセスポイント７の位置ごとにユーザ２の感情を解析することができる。なお、アクセスポイント７は、特に、イベンターが感情の解析が必要だと思う場所に配置されるのが望ましい。例えば、アトラクション会場などのアトラクション（例えば、ジェットコースター、メリーゴーランド）毎にアクセスポイント７が設置される。これにより、サーバ４は、アトラクションごとにユーザの感情を分析することができ、例えば、人気のあるアトラクションを分析することができる。
〔シール型センサ３及びサーバ４の構成〕
図２は、実施形態１に係る感情解析システム１を構成するシール型センサ３及びサーバ４のそれぞれの機能構成を示すブロック図である。
図２は、実施形態１に係る感情解析システム１を構成するシール型センサ３及びサーバ４のそれぞれの機能構成を示すブロック図である。
シール型センサ３は、電源部３１と、センサ部３２と、計時部３３と、無線通信部３４と、記憶部３９とを備える。
電源部３１は、センサ部３２、計時部３３及び無線通信部３４に、各処理部を駆動するための電力を供給する。電源部３１は、例えば、シート型電池又はパッチ型電池である（例えば、非特許文献１参照）。図２では、電力の供給線を破線で示している。
また、電源部３１は、生体のエネルギーを利用して発電を行い、発電電力を供給してもよい。電源部３１は、例えば、シール型センサ３が貼り付けられるユーザ２の熱エネルギーを利用した温度差発電を行う。より詳細には、電源部３１は、ユーザ２の皮膚に接触されるシート状のゼーベック素子（熱電素子）を備え、ゼーベック素子内部の温度差により起電力を生じるゼーベック効果を利用して発電を行う。
また、電源部３１は、生体の汗を利用して発電を行ってもよい。より詳細には、電源部３１は、ユーザ２の皮膚に接触されるシート状のバイオ燃料電池を備え、バイオ燃料電池が、人間の汗に含まれている乳酸を酸化させる酵素により汗を電流に変換することで発電を行う。
計時部３３は、時刻を計時するクロック又はタイマである。
センサ部３２は、センサ部３２の接着面が接触する面（ユーザ２の顔面）の形状の変化の度合いを示す物理量を計測する。センサ部３２は、例えば、ひずみゲージを備える。ひずみゲージはユーザ２の顔の皮膚が動くことによりひずみゲージに加わった力を電圧（以下、「ひずみ量」という。）として計測する。センサ部３２は、ひずみゲージが計測したひずみ量を無線通信部３４に出力する。
無線通信部３４は、小型かつ省電力の無線通信を行う通信インタフェースを備える。無線通信部３４は、例えば、Ｗｉ−ＳＵＮ（Ｗｉｒｅｌｅｓｓ Ｓｍａｒｔ Ｕｔｉｌｉｔｙ Ｎｅｔｗｏｒｋ）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）又はＺｉｇＢｅｅ（登録商標）などの通信規格に従ってデータ通信を行う。無線通信部３４は、センサ部３２からひずみ量を受け、計時部３３からひずみ量の計測時刻を受け、ひずみ量及び計測時刻にシール型センサ３のＩＤ（識別子）（以下、「センサＩＤ」という。）を付加して、アクセスポイント７及びネットワーク６を経由してこれらのデータをサーバ４に送信する。なお、センサＩＤは、例えば、記憶部３９にあらかじめ記憶されており、無線通信部３４は、記憶部３９からセンサＩＤを読み出して、ひずみ量に付加するものとする。
記憶部３９は、センサ部３２により計測された物理量を記憶するための記憶装置である。
センサ部３２は、計測したひずみ量を計時部３３から取得したひずみ量の計測時刻と対応付けて、記憶部３９に書き込む。
無線通信部３４は、記憶部３９から、複数の時刻において計測されたひずみ量を読み出し、読み出したひずみ量及び計測時刻にセンサＩＤを付加してサーバ４に送信する。
サーバ４は、通信部４１、処理部４２、記憶部４３及び表示制御部４４を備える。
サーバ４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信インタフェース等を備えるコンピュータにより実現することができる。処理部４２及び表示制御部４４は、ＲＯＭ又はＨＤＤ等の不揮発性メモリに記憶されたコンピュータプログラムをＲＡＭに展開して、ＣＰＵ上で実行することにより機能的に実現される。
通信部４１は、ネットワーク６を介して、シール型センサ３から、ひずみ量、計測時刻及びセンサＩＤを受信する。
処理部４２は、通信部４１が受信したひずみ量、計測時刻及びセンサＩＤを記憶部４３に記憶する。また、処理部４２は、記憶部４３からひずみ量、計測時刻及びセンサＩＤを読み出し、読み出したデータに基づいて、センサＩＤごとに感情を解析する。解析の対象とする感情は、例えば、ユーザ２の喜びである。例えば、処理部４２は、時系列のひずみ量と喜びの度合いを数値化した喜び度との関係をあらかじめ学習した学習モデルを用いて、学習モデルに計測時刻及びひずみ量を入力することにより喜び度を決定する。学習モデルは、例えば多層のニューラルネットワークであり、計測時刻とひずみ量とを入力とし、喜びの度合いを出力とする学習セットを用いてディープラーニングによりニューラルネットワークのパラメータが機械学習される。なお、学習モデルはニューラルネットワークに限定されるものではなく、例えば、線形回帰モデル、ロジスティック回帰モデル、サポートベクターマシン、ランダムフォレスト、Ａｄａ Ｂｏｏｓｔ、ナイーブベイズ、ｋ近傍法等の他の識別器を用いることができる。
処理部４２は、さらに、ユーザ２ごとの喜び度の解析結果を表示装置５の画面に表示するための表示データを作成する。表示データは、例えば、複数のユーザ２の喜び度の分布を表形式又はグラフ形式で示すものであってもよいし、喜び度をユーザ２の位置と関連付けてマップ形式で示すものであってもよい。
表示制御部４４は、処理部４２が作成した表示データを表示装置５の画面に表示する制御を行う。
図３は、表示装置５の画面に表示される表示データの一例を示す図である。
処理部４２は、ある期間（例えば、１０分間）における複数のユーザ２の喜び度から、喜び度の分布を計算する。処理部４２は、当該計算結果に基づいて図３に示すような表示用データを作成し、表示装置５の画面に表示する。表示データはある期間における複数のユーザ２の喜び度の分布を示す。画面の左側には、５段階で数値化された喜び度の割合が表形式で示されている。例えば、喜び度の数値が大きい程、ユーザ２が喜んでいることを示す。喜び度「５」のユーザ２の割合は１０％であり、喜び度「４」のユーザ２の割合では２２％であり、喜び度「３」のユーザ２の割合は３２％であり、喜び度「２」のユーザ２の割合は２３％であり、喜び度「１」のユーザ２の割合は１３％である。画面の右側には、左側に表形式で示した喜びの分布が棒グラフ形式で示されている。
処理部４２は、ある期間（例えば、１０分間）における複数のユーザ２の喜び度から、喜び度の分布を計算する。処理部４２は、当該計算結果に基づいて図３に示すような表示用データを作成し、表示装置５の画面に表示する。表示データはある期間における複数のユーザ２の喜び度の分布を示す。画面の左側には、５段階で数値化された喜び度の割合が表形式で示されている。例えば、喜び度の数値が大きい程、ユーザ２が喜んでいることを示す。喜び度「５」のユーザ２の割合は１０％であり、喜び度「４」のユーザ２の割合では２２％であり、喜び度「３」のユーザ２の割合は３２％であり、喜び度「２」のユーザ２の割合は２３％であり、喜び度「１」のユーザ２の割合は１３％である。画面の右側には、左側に表形式で示した喜びの分布が棒グラフ形式で示されている。
図４は、表示装置５の画面に表示される表示データの他の一例を示す図である。
処理部４２は、ある期間（例えば、３時０分から３時１５分までの１５分間）において解析された複数のユーザ２の喜び度から、所定時間（例えば、１分間）ごとの喜び度の平均（以下、「平均喜び度」という。）を計算する。処理部４２は、当該計算結果に基づいて図４に示すような表示データを作成し、表示装置５の画面に表示する。表示データはある期間における平均喜び度の時間的な推移を示す。表示データの横軸は時間を示し、縦軸は平均喜び度を示す。このグラフによると、３時５分から３時１０分の間に平均喜び度が最大になっていることが分かる。例えば、お笑いライブショーの観客の顔にシール型センサ３を貼り付けてもらい、観客の平均喜び度の時間的推移を解析することにより、イベンターは、ライブショーが観客から好評を受けた時間を知ることができる。なお、図４では、横軸を喜び度の解析時刻としたが、ひずみ量の計測時刻とすることも可能である。
処理部４２は、ある期間（例えば、３時０分から３時１５分までの１５分間）において解析された複数のユーザ２の喜び度から、所定時間（例えば、１分間）ごとの喜び度の平均（以下、「平均喜び度」という。）を計算する。処理部４２は、当該計算結果に基づいて図４に示すような表示データを作成し、表示装置５の画面に表示する。表示データはある期間における平均喜び度の時間的な推移を示す。表示データの横軸は時間を示し、縦軸は平均喜び度を示す。このグラフによると、３時５分から３時１０分の間に平均喜び度が最大になっていることが分かる。例えば、お笑いライブショーの観客の顔にシール型センサ３を貼り付けてもらい、観客の平均喜び度の時間的推移を解析することにより、イベンターは、ライブショーが観客から好評を受けた時間を知ることができる。なお、図４では、横軸を喜び度の解析時刻としたが、ひずみ量の計測時刻とすることも可能である。
図５は、表示装置５の画面に表示される表示データの他の一例を示す図である。
処理部４２は、ある期間（例えば、１０分間）における複数のユーザ２の喜び度から、ユーザ２の存在場所ごとの喜び度の分布を計算する。処理部４２は、当該計算結果に基づいて、図５に示すような表示データを作成し、表示装置５の画面に表示する。表示データはある期間における複数のユーザ２の場所ごとの喜び度の分布を示す。図５には、例えば、４×１１個の矩形が示されている。各矩形はユーザ２のいる場所に対応付けられており、各場所にいるユーザ２の喜び度の平均値を示している。例えば、左上の矩形５０に対応した場所にいるユーザ２の喜び度の平均値は３であることが示されている。なお、矩形で示される場所とアクセスポイント７とが対応付けられている場合には、各アクセスポイント７で受信されたひずみ量等のデータが、そのアクセスポイント７に対応付けられた場所に存在するユーザ２のデータとして、喜び度が解析される。
処理部４２は、ある期間（例えば、１０分間）における複数のユーザ２の喜び度から、ユーザ２の存在場所ごとの喜び度の分布を計算する。処理部４２は、当該計算結果に基づいて、図５に示すような表示データを作成し、表示装置５の画面に表示する。表示データはある期間における複数のユーザ２の場所ごとの喜び度の分布を示す。図５には、例えば、４×１１個の矩形が示されている。各矩形はユーザ２のいる場所に対応付けられており、各場所にいるユーザ２の喜び度の平均値を示している。例えば、左上の矩形５０に対応した場所にいるユーザ２の喜び度の平均値は３であることが示されている。なお、矩形で示される場所とアクセスポイント７とが対応付けられている場合には、各アクセスポイント７で受信されたひずみ量等のデータが、そのアクセスポイント７に対応付けられた場所に存在するユーザ２のデータとして、喜び度が解析される。
また、矩形５１〜５５に示すように、喜び度が大きいであろうとイベンターが期待する場所を他の場所と区別して、異なる態様で表示してもよい。例えば、矩形５１〜５５を太枠で示してもよい。これにより、イベンターは、矩形５１〜５３及び５５に対応する場所では、期待通りに喜び度が大きくなったものの、矩形５４に対応する場所では、期待が外れ、喜び度が小さかったことを知ることができる。これにより、イベンターは、矩形５４に対応する場所で開催されるイベントの改善等の措置をとることができる。
再び図２を参照して、記憶部４３は、ひずみ量、計測時刻及びセンサＩＤ等の感情解析処理に必要なデータを記憶する記憶装置であり、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリ、又はフラッシュメモリ、ハードディスク等の不揮発性メモリにより構成される。
図６は、シール型センサ３の構成を示す図である。図６では、シール型センサ３を通常の使用方法で皮膚に貼り付ける場合に、皮膚に近い側を「下方」、皮膚から遠い側を「上方」とする。シール型センサ３は、例えば、シート状の接着層３Ａと、シート状の回路層３Ｂと、シート状の印刷層３Ｃとの３層により構成される。接着層３Ａには、下方に皮膚への刺激が少ない肌用の粘着剤が塗布されている。また、粘着剤の下方には、剥離シート３Ｄが設けられている。ユーザ２は、剥離シート３Ｄを剥がした後に、接着層３Ａの下方を肌に接触させることによりシール型センサ３を皮膚に貼り付ける。
接着層３Ａの上方には、回路層３Ｂが配置されている。回路層３Ｂには、上述した電源部３１、センサ部３２、計時部３３及び無線通信部３４を実現する回路が構成される。回路層３Ｂは、例えばフレキシブル基板上にＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップを配置することにより構成される。なお、電源部３１が温度差発電又は汗を利用した発電を行う場合には、ゼーベック素子又はバイオ燃料電池を皮膚に接触させることが望ましい。このため、ゼーベック素子又はバイオ燃料電池の下方には、接着層３Ａは配置されておらず、ゼーベック素子又はバイオ燃料電池が皮膚に接触する構成とする。
印刷層３Ｃは、回路層３Ｂの上方に配置され、印刷面を有する。印刷面は、印刷層３Ｃの上方に位置し、印刷面には、文字及び画像の少なくとも一方が印刷可能である。なお、ユーザ２が印刷面にペン等で文字又は画像を書き込むことができるように、印刷面の一部又は全部が白色等の無地であってもよいし、透明もしくは半透明であってもよい。
図７は、回路層３Ｂへのひずみゲージ３８の配置位置の一例を示す図である。ひずみゲージ３８は、センサ部３２の一部を構成する。回路層３Ｂには、例えば、四隅と中央部とにひずみゲージ３８が配置されている。このように、複数の個所にひずみゲージ３８を配置することにより、ひずみゲージ３８を１つ配置する場合に比べて、高精度に顔の形状の変化の度合いを計測することができる。
〔感情解析システム１によるひずみ量の収集処理〕
図８は、実施形態１に係る感情解析システム１によるひずみ量の収集処理の手順の一例を示すシーケンス図である。
図８は、実施形態１に係る感情解析システム１によるひずみ量の収集処理の手順の一例を示すシーケンス図である。
センサ部３２は、計時部３３から出力される時刻に基づいて、現在時刻が計測タイミングであるか否かを判断する（Ｓ１）。例えば、１秒毎に計測する場合には、センサ部３２は、時刻が正秒（小数点以下が０である秒）であれば、現在時刻が計測タイミングであると判断し、それ以外の時刻であれば計測タイミングでないと判断する。
センサ部３２は、計測タイミングでなければ（Ｓ１でＮＯ）、計測タイミングになるまで待機する（Ｓ１）。
センサ部３２は、計測タイミングであれば（Ｓ１でＹＥＳ）、ひずみ量を計測する（Ｓ２）。なお、センサ部３２は、回路層３Ｂに複数のひずみゲージ３８が配置されている場合には、複数のひずみゲージ３８が計測したひずみ量を計測値としてもよいし、複数のひずみ量から１以上のひずみ量を算出し、ひずみ量の計測値としてもよい。例えば、センサ部３２は、複数のひずみ量の平均値を計測値としてもよいし、複数のひずみ量の最大値及び最小値を計測値としてもよい。
センサ部３２は、計時部３３からひずみ量の計測時刻を取得し、計測したひずみ量と計測時刻とを記憶部３９に書き込む（Ｓ３）。
無線通信部３４は、計時部３３から出力される時刻と、送信周期を定義した条件（例えば、１分ごと）又は送信時刻を定義した条件（例えば、１２時００分、イベント開始から３０分後等）とに基づいて、現在時刻がひずみ量の送信タイミングであるか否かを判断する（Ｓ４）。
現在時刻が送信タイミングでなければ（Ｓ４においてＮＯ）、ステップＳ１に戻る。送信タイミングであれば（Ｓ４においてＹＥＳ）、無線通信部３４は、センサ部３２により計測された未送信のひずみ量と、計時部３３により計時されたひずみ量の計測時刻と、センサＩＤとをサーバ４に送信し、サーバ４の通信部４１は、これらのデータを受信する（Ｓ５）。具体的には、無線通信部３４は、１つのセンサＩＤと、計測数分の計測時刻及びひずみ量の組とをサーバ４に送信する。
サーバ４の処理部４２は、通信部４１が受信したデータを受け、当該データを記憶部４３に書き込む（Ｓ６）。
感情解析システム１は、図８のシーケンス図に示す処理を繰り返し実行することにより、サーバ４の記憶部４３にひずみ量を含むデータを蓄積していく。
〔サーバ４による感情解析処理〕
図９は、サーバ４による感情解析処理の手順の一例を示すフローチャートである。
図９は、サーバ４による感情解析処理の手順の一例を示すフローチャートである。
感情解析処理は、所定の周期（例えば、１０分毎）に実行されてもよいし、リアルタイムで実行されてもよい。また、作業者の指示するタイミングに実行されてもよい。
処理部４２は、ひずみ量、計測時刻及びセンサＩＤの組み合わせからなるデータを、記憶部４３から読み出す（Ｓ１０１）。
処理部４２は、センサＩＤごとに、読み出したひずみ量及び計測時刻を学習モデルに入力し、学習モデルから数値化された喜び度を取得することにより、感情を解析する（Ｓ１０２）。
なお、感情の解析方法はこれに限定されるものではない。例えば、ユーザ２が普通の顔から、喜んで笑った顔に変化する場合には、ユーザ２の表情筋が変化し、これに伴い、ひずみ量の変化量（例えば、ひずみ量の時間的な微分値の絶対値、又はひずみ量の時間的な差分値の絶対値）は大きくなると考えられる。また、ユーザ２が笑い続けている場合には、表情筋が変化し続けているため、同様に、ひずみ量の変化量は大きくなると考えられる。このため、処理部４２は、ひずみ量の変化量の時系列データに基づいて、感情及び感情の大きさを解析することもできる。
例えば、ひずみ量の変化量の時系列データと、感情及び感情の大きさとの関係性をあらかじめ定めたテーブルデータが定義されているものとする。処理部４２は、記憶部４３から読み出したひずみ量の時系列データから、ひずみ量の変化量の時系列データを算出する。処理部４２は、テーブルデータに基づいて、算出したひずみ量の変化量の時系列データに対応する感情及び感情の大きさを決定する。これにより、処理部４２は、ひずみ量の変化量が大きい程、感情の大きさが大きいと判断することができる。
図１０は、時間と喜び度との関係を示す図である。図１０の横軸は時間を示し、縦軸は喜び度を示す。処理部４２は、所定時間のひずみ量の変化量の時系列データと、テーブルデータに示されるひずみ量の変化量の時系列データとを比較することにより、最も類似する時系列データに対応する感情及び感情の大きさをテーブルデータから導く。図１０では、導かれた感情が喜びであり、感情の大きさである喜び度の時間的な変化が示されている。図１０に示すように、ユーザ２を笑わせるパフォーマンスなどの所定のイベント発生タイミングから喜び度が大きくなっていることが分かる。
処理部４２は、センサＩＤごとに解析された感情（喜び度）に基づいて、表示装置５の画面に表示するための表示データを作成する（Ｓ１０３）。表示データの一例は、図３から図５に示した通りである。
表示制御部４４は、処理部４２が作成した表示データを表示装置５の画面に表示する制御を行う。
〔実施形態１の効果等〕
以上説明したように、本開示の実施形態１によると、例えば、シール型センサ３の接着面をユーザ２の顔に接触させることにより、顔の形状の変化の度合いが物理量（例えば、ひずみ量）として計測及びサーバ４に送信され、サーバ４は、当該物理量に基づいて感情を解析することができる。このため、ユーザ２は、顔にフェイスシールを貼る感覚でシール型センサ３を装着することができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザ２は、顔にシールを貼ることへの抵抗感が少ない。よって、ユーザ２に違和感及び抵抗感を与えることなく、感情を解析することができる。
以上説明したように、本開示の実施形態１によると、例えば、シール型センサ３の接着面をユーザ２の顔に接触させることにより、顔の形状の変化の度合いが物理量（例えば、ひずみ量）として計測及びサーバ４に送信され、サーバ４は、当該物理量に基づいて感情を解析することができる。このため、ユーザ２は、顔にフェイスシールを貼る感覚でシール型センサ３を装着することができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザ２は、顔にシールを貼ることへの抵抗感が少ない。よって、ユーザ２に違和感及び抵抗感を与えることなく、感情を解析することができる。
なお、シール型センサ３が使い捨て可能なタイプの場合には回収が不要である。このため、イベンターによる回収の負担を削減することができる。
また、シール型センサ３のセンサ部３２は、ひずみゲージ３８を備えているため、シール型センサ３は、ユーザ２が笑ったり、驚いたりしたときの顔の動きを電圧として計測することができる。これにより、サーバ４は、計測された電圧に基づいてユーザ２の喜怒哀楽等の感情を解析することができる。
また、シール型センサ３は、ユーザ２の生体エネルギーを用いて発電された電力により、センサ部３２及び無線通信部３４を駆動することができる。このため、シール型センサ３に電池を設けなくても、物理量を送信することができる。
また、シール型センサ３を顔に装着した際に、顔の表面に印刷面が来る。このため、シール型センサ３を、顔面を装飾するフェイスシールとして利用することが可能となり、ユーザ２へのシール型センサ３の装着の抵抗感を少なくすることができる。
また、シール型センサ３では、接着層３Ａと印刷層３Ｃとの間に回路層３Ｂを設けることにより、回路層３Ｂが顔に接触したり、外部に露呈したりすることを防止することができる。これにより、ユーザ２に、フェイスシールと同様に違和感なくシール型センサ３を装着させることができる。
また、シール型センサ３の識別子と対応付けて物理量を送信することができる。このため、サーバ４は、シール型センサ３ごと、つまりユーザ２ごとに感情を解析することができる。
また、シール型センサ３の無線通信部３４は、現在時刻が物理量の所定送信タイミングである場合に、物理量を送信している。このため、物理量の送信タイミングを限定することができる。これにより、不必要に物理量が送信され通信トラフィックが増大するのを防ぐことができ、必要な送信タイミングにおいて、物理量を送信することができる。よって、サーバ４は、所定時刻におけるユーザ２の感情を正確に解析することができる。
なお、無線通信部３４は、ユーザ２（シール型センサ３）の場所を特定することができる場合には、ユーザ２の場所が所定送信場所である場合に、物理量を送信してもよい。例えば、会場内にアクセスポイント７とは別にＢＬＥビーコンが設置されているか、アクセスポイント７にＢＬＥビーコンンの機能が備えられている場合には、ＢＬＥビーコンから送信されるデータの電波強度を利用して、無線通信部３４がユーザ２の位置（場所）を特定してもよい。
なお、無線通信部３４は、物理量の送信周期、送信時刻及び送信場所の条件を組み合わせて用いて送信の可否を判断してもよい。例えば、無線通信部３４は、送信時刻の条件を満たし、かつ送信場所の条件を満たす場合に物理量を送信するようにしてもよい。
また、シール型センサ３は、複数の時刻において計測された物理量をまとめて送信することができる。このため、毎時刻に物理量を送信する場合に比べ、送信に要する電力を削減することができる。また、ネットワーク障害により物理量を送信することができない場合であっても、タイミングをずらして物理量を送信することができる。
また、シール型センサ３は、計測時刻とともに物理量をまとめて送信することができる。このため、シール型センサ３が計測時刻ごとに物理量を送信しなくても、サーバ４は計測時刻ごとの感情を解析することができる。
また、サーバ４は、アクセスポイント７ごとに中継された物理量に基づいて、ユーザ２の感情を解析することができる。このため、アクセスポイント７の設置場所が事前にわかっている場合には、ユーザ２の感情を場所ごとに解析することができる。例えば、アトラクションが複数設置されているアミューズメントパークなどにおいては、アトラクションごとにユーザ２の感情を解析することができる。
また、サーバ４は、感情の解析結果を時間又は場所と対応付けて表示することができる。これにより、例えば、所定の感情が多く出現する時間帯や場所を知ることができる。
＜実施形態２＞
実施形態１では、シール型センサ３は、電源部３１を備えることとしたが、外部から供給されるエネルギーにより電力を発生可能な場合には、電源部３１を備えていなくてもよい。
実施形態１では、シール型センサ３は、電源部３１を備えることとしたが、外部から供給されるエネルギーにより電力を発生可能な場合には、電源部３１を備えていなくてもよい。
図１１は、実施形態２に係る感情解析システム１を構成するシール型センサ３及びサーバ４のそれぞれの機能構成を示すブロック図である。
サーバ４の構成は、図２に示したものと同様である。
ただし、サーバ４は、ＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒ）リーダ／ライタ１７（中継器）を介して、シール型センサ３と通信を行う。ＲＦＩＤリーダ／ライタ１７は、電磁波を用いて近距離の無線通信を行う装置の一例である。なお、電磁波を用いて近距離の無線通信を行うことのできる装置であれば、ＲＦＩＤリーダ／ライタ１７以外の装置を用いることも可能である。
ＲＦＩＤリーダ／ライタ１７は、ネットワーク６に直接接続されていてもよいし、アクセスポイント７などの他の機器を介して接続されていてもよい。
シール型センサ３は、センサ部３２と、計時部３３と、無線通信部３４と、記憶部３９とを備える。
無線通信部３４は、ＲＦＩＤリーダ／ライタ１７との間で電磁波を用いた通信を行うアンテナ（例えば、コイル状アンテナ）を備える。また、無線通信部３４は、無線通信部３４から受信した電磁波をアンテナで受けて電力を発生させる電源部の役割を有する。無線通信部３４が発生した電力はセンサ部３２、計時部３３及び記憶部３９に供給される。図１１では、電力の供給線を破線で示している。
シール型センサ３は、電力を常時供給可能な電源部３１を備えていない。このため、計時部３３は、絶対時刻を計時することが困難である。よって、計時部３３は、電力が供給されてからの相対的な時刻を計時する。
センサ部３２は、計測したひずみ量を記憶部３９に書き込む。
無線通信部３４は、記憶部３９から、複数の時刻において計測されたひずみ量を読み出し、読み出したひずみ量にセンサＩＤを付加してサーバ４に送信する。
図１２は、実施形態２に係る感情解析システム１によるひずみ量の収集処理の手順の一例を示すシーケンス図である。
ＲＦＩＤリーダ／ライタ１７は、電磁波を常時発信する（Ｓ１０１）。
発信した電磁波はシール型センサ３に送信され（Ｓ１０２）、シール型センサ３の無線通信部３４は、ＲＦＩＤリーダ／ライタ１７から電磁波を受信する（Ｓ１０３）。
無線通信部３４は、受信した電磁波を、コイル状のアンテナで受けて電力を発生し、センサ部３２及び記憶部３９に供給する（Ｓ１０４）。
センサ部３２は、計時部３３から出力される時刻に基づいて、現在時刻が計測タイミングであるか否かを判断する（Ｓ１０５）。ステップＳ１０５の処理は、図８のステップＳ１と同様である。このため、詳細な説明はここでは繰り返さない。
ＲＦＩＤリーダ／ライタ１７は、電磁波を常時発信する（Ｓ１０１）。
発信した電磁波はシール型センサ３に送信され（Ｓ１０２）、シール型センサ３の無線通信部３４は、ＲＦＩＤリーダ／ライタ１７から電磁波を受信する（Ｓ１０３）。
無線通信部３４は、受信した電磁波を、コイル状のアンテナで受けて電力を発生し、センサ部３２及び記憶部３９に供給する（Ｓ１０４）。
センサ部３２は、計時部３３から出力される時刻に基づいて、現在時刻が計測タイミングであるか否かを判断する（Ｓ１０５）。ステップＳ１０５の処理は、図８のステップＳ１と同様である。このため、詳細な説明はここでは繰り返さない。
センサ部３２は、計測タイミングでなければ（Ｓ１０５でＮＯ）、計測タイミングになるまで待機する（Ｓ１０５）。
センサ部３２は、計測タイミングであれば（Ｓ１０５でＹＥＳ）、ひずみ量を計測する（Ｓ１０６）。
センサ部３２は、計測したひずみ量を記憶部３９に書き込む（Ｓ１０７）。
無線通信部３４は、現在時刻がひずみ量の送信タイミングであるか否かを判断する（Ｓ１０８）。ステップＳ１０８の処理は、図８のステップＳ４と同様である。このため、詳細な説明はここでは繰り返さない。なお、ここでいう現在時刻は、絶対時刻ではなく、計時部３３が示す時刻である。例えば、無線通信部３４は、ひずみ量の前回の送信時刻から現在時刻までの時間が所定時間間隔（例えば、３分）を経過した場合に、送信タイミングであると判断してもよい。
現在時刻が送信タイミングでなければ（Ｓ１０８においてＮＯ）、ステップＳ１０５に戻る。現在時刻が送信タイミングであれば（Ｓ１０８においてＹＥＳ）、無線通信部３４は、センサ部３２により計測されたひずみ量と、センサＩＤとをサーバ４に送信し、サーバ４の通信部４１は、これらのデータを受信する（Ｓ１０９）。具体的には、無線通信部３４は、１つのセンサＩＤと、計測数分のひずみ量とをサーバ４に送信する。送信されるひずみ量には、計測順を示す番号が付される。
サーバ４の処理部４２は、無線通信部３４から受信したひずみ量の計測時刻を推定する（Ｓ１１０）。例えば、処理部４２は、シール型センサ３におけるひずみ量の計測周期を知っているものとする。処理部４２は、受信したひずみ量の内、計測順が最新のひずみ量の計測時刻をステップＳ１０９におけるデータの受信時刻であると推定する。また、それ以外のひずみ量の計測時刻については、ひずみ量の計測順及び計測周期に基づいて推定する。
具体的には、１番目からＮ番目までのＮ個のひずみ量（１番目が最も古く、Ｎ番目が最も新しいひずみ量）が受信されたものとする。ひずみ量の計測周期をＴｃとし、データの受信時刻をＴｒとした場合、ｉ番目のひずみ量の計測時刻Ｔｍ（ｉ）は、以下の式１により推定することができる。
Ｔｍ（ｉ）＝Ｔｒ−（Ｎ−ｉ）×Ｔｃ …（式１）
処理部４２は、通信部４１が受信したデータに、ステップＳ１１０で推定したひずみ量毎の計測時刻Ｔｍ（ｉ）を対応付けて、記憶部４３に書き込む（Ｓ１１１）。
具体的には、１番目からＮ番目までのＮ個のひずみ量（１番目が最も古く、Ｎ番目が最も新しいひずみ量）が受信されたものとする。ひずみ量の計測周期をＴｃとし、データの受信時刻をＴｒとした場合、ｉ番目のひずみ量の計測時刻Ｔｍ（ｉ）は、以下の式１により推定することができる。
Ｔｍ（ｉ）＝Ｔｒ−（Ｎ−ｉ）×Ｔｃ …（式１）
処理部４２は、通信部４１が受信したデータに、ステップＳ１１０で推定したひずみ量毎の計測時刻Ｔｍ（ｉ）を対応付けて、記憶部４３に書き込む（Ｓ１１１）。
以上説明したように、本開示の実施形態２によると、シール型センサ３は、ＲＦＩＤリーダ／ライタ１７により送信される電磁波により発電された電力により、センサ部３２、計時部３３及び無線通信部３４を駆動することができる。このため、シール型センサ３に電池を設けなくても、サーバ４にひずみ量を送信することができる。
＜実施形態の変形例１＞
上述の実施形態１及び実施形態２では、電源部３１としてシート型電池又はパッチ型電池を利用可能であることを記載した。電源部３１が通電状態のままでは、シール型センサ３の利用時に電池の寿命が到来しており、物理量の計測及び送信ができない場合がある。そこで、シール型センサ３の利用開始時まで電源部３１を絶縁状態にしておくのが望ましい。
上述の実施形態１及び実施形態２では、電源部３１としてシート型電池又はパッチ型電池を利用可能であることを記載した。電源部３１が通電状態のままでは、シール型センサ３の利用時に電池の寿命が到来しており、物理量の計測及び送信ができない場合がある。そこで、シール型センサ３の利用開始時まで電源部３１を絶縁状態にしておくのが望ましい。
図１３Ａは、シール型センサ３の保管時におけるシール型センサ３の一部の断面を模式的に示した図である。図１３Ｂは、シール型センサ３の利用時におけるシール型センサ３の一部の断面を模式的に示した図である。
図１３Ａは、シール型センサ３の利用開始前の状態を示しており、例えば、回路層３Ｂには、シート型電池３７、正極端子３５Ａ、負極端子３５Ｂ及び弾性部材３６が設置される。シート型電池３７は正極端子３５Ａに接触し、シート型電池３７は、剥離シート３Ｄを介して負極端子３５Ｂに接触しているものとする。つまり、接着層３Ａに貼り付けられる剥離シート３Ｄの一部が、シート型電池３７と負極端子３５Ｂとを絶縁し、電源部３１としてのシート型電池３７による電力の供給経路上に設けられる取り外し可能な絶縁部材の役割を果たす。また、負極端子３５Ｂには、印刷層３Ｃの下端に固定された弾性部材３６が設けられている。弾性部材３６は、バネ又は可撓性を有する樹脂部材などである。
図１３Ｂを参照して、ユーザ２は、イベンターからシール型センサ３を受け取り、自身の顔に貼り付けるために、剥離シート３Ｄをシール型センサ３から剥がす。この時、シート型電池３７と負極端子３５Ｂとの絶縁が解除され、シート型電池３７と負極端子３５Ｂとが接触し、電源部３１としてのシート型電池３７が通電を開始する。また、弾性部材３６により、負極端子３５Ｂがシート型電池３７の方向に付勢される。
本変形例によると、剥離シート３Ｄを取り外すことで、絶縁状態であった電源部３１と他の構成部（例えば、センサ部３２及び無線通信部３４）とを導通させることができる。これにより、ユーザ２の顔にシール型センサ３を装着するときまで絶縁状態を維持することができる。例えば、電源部３１がシート型電池３７、パッチ型電池又はボタン型電池の場合には、不要な電力消費を避けることができる。
また、剥離シート３Ｄが絶縁部材を兼ねることができる。このため、シール型センサ３の顔への装着時に確実に絶縁状態から導通状態に変化させることができ、絶縁状態の解除忘れを防止することができる。
＜実施形態の変形例２＞
上述の実施形態では、複数のひずみ量を記憶部３９に蓄積し、送信タイミングにまとめて送信することとした。しかしながら、ひずみ量の計測タイミングと送信タイミングとが等しい場合、又はひずみ量の計測周期と送信周期とが等しい場合には、シール型センサ３は、ひずみ量の計測のたびに、ひずみ量を記憶部３９に蓄積することなくサーバ４に送信してもよい。
上述の実施形態では、複数のひずみ量を記憶部３９に蓄積し、送信タイミングにまとめて送信することとした。しかしながら、ひずみ量の計測タイミングと送信タイミングとが等しい場合、又はひずみ量の計測周期と送信周期とが等しい場合には、シール型センサ３は、ひずみ量の計測のたびに、ひずみ量を記憶部３９に蓄積することなくサーバ４に送信してもよい。
これにより、ひずみ量を記憶するための記憶部３９の記憶領域を削減したり、シール型センサ３に記憶部３９を設ける必要がなくなる。
［付記］
以上、本開示の実施形態に係る感情解析システム１について説明したが、本開示は、この実施形態に限定されるものではない。
以上、本開示の実施形態に係る感情解析システム１について説明したが、本開示は、この実施形態に限定されるものではない。
たとえば、上記の各装置を構成する構成要素の一部又は全部は、１又は複数のシステムＬＳＩなどの半導体装置から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
また、サーバ４は、複数のプロセッサ又は複数のコンピュータにより実現されてもよい。
また、サーバ４の一部又は全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、サーバ４の一部又は全部の機能がクラウドサーバにより実現されていてもよい。
また、センサ部３２は、筋電センサでもよい。筋電センサとは、筋肉で発生する微弱な電場の変化を検出するセンサである。
さらに、上記実施形態及び上記変形例の少なくとも一部を任意に組み合わせてもよい。
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
１ 感情解析システム
２ ユーザ
３ シール型センサ（端末装置）
３Ａ 接着層
３Ｂ 回路層
３Ｃ 印刷層
３Ｄ 剥離シート
４ サーバ（感情解析装置）
５ 表示装置
６ ネットワーク
７ アクセスポイント
３１ 電源部
３２ センサ部
３３ 計時部
３４ 無線通信部
３５Ａ 正極端子
３５Ｂ 負極端子
３６ 弾性部材
３７ シート型電池
３８ ゲージ
３９ 記憶部
４１ 通信部
４２ 処理部
４３ 記憶部
４４ 表示制御部
５０ 矩形
５１ 矩形
５２ 矩形
５３ 矩形
５４ 矩形
５５ 矩形
２ ユーザ
３ シール型センサ（端末装置）
３Ａ 接着層
３Ｂ 回路層
３Ｃ 印刷層
３Ｄ 剥離シート
４ サーバ（感情解析装置）
５ 表示装置
６ ネットワーク
７ アクセスポイント
３１ 電源部
３２ センサ部
３３ 計時部
３４ 無線通信部
３５Ａ 正極端子
３５Ｂ 負極端子
３６ 弾性部材
３７ シート型電池
３８ ゲージ
３９ 記憶部
４１ 通信部
４２ 処理部
４３ 記憶部
４４ 表示制御部
５０ 矩形
５１ 矩形
５２ 矩形
５３ 矩形
５４ 矩形
５５ 矩形
Claims (16)
- 接着面を有し、かつシート状をなす端末装置であって、
前記接着面が接触する面の形状の変化の度合いを示す物理量を計測するセンサ部と、
前記センサ部により計測された前記物理量を無線により送信する無線通信部と、
前記センサ部及び前記無線通信部を駆動するための電力を供給する電源部とを備える、端末装置。 - 前記センサ部は、ひずみゲージを含む、請求項１に記載の端末装置。
- 前記電源部は、生体のエネルギーを利用して発電を行う、請求項１又は請求項２に記載の端末装置。
- 前記無線通信部は、外部より送信される電磁波により発電する前記電源部として機能する、請求項１又は請求項２に記載の端末装置。
- 前記接着面の反対側に文字及び画像の少なくとも一方を印刷可能な印刷面を有する、請求項１から請求項４のいずれか１項に記載の端末装置。
- 前記端末装置は、
前記接着面を有するシート状の接着層と、
前記印刷面を有するシート状の印刷層と、
前記接着層と前記印刷層とに挟まれるシート状の回路層とを備え、
前記回路層に、前記センサ部、前記無線通信部及び前記電源部が配置される、請求項５に記載の端末装置。 - 前記電源部による電力の供給経路上に設けられる取り外し可能な絶縁部材をさらに備える、請求項１から請求項６のいずれか１項に記載の端末装置。
- 前記絶縁部材は、接着面を覆う剥離シートを含む、請求項７に記載の端末装置。
- 前記無線通信部は、前記端末装置の識別子とともに前記物理量を送信する、請求項１から請求項８のいずれか１項に記載の端末装置。
- 前記無線通信部は、前記物理量の送信周期、送信時刻及び送信場所の少なくとも１つを定義した条件に従って、前記物理量を送信する、請求項１から請求項９のいずれか１項に記載の端末装置。
- 前記端末装置は、前記センサ部により計測された前記物理量を記憶する記憶部をさらに備え、
前記無線通信部は、複数の時刻において計測された前記物理量を前記記憶部から読み出し、読み出した前記物理量を送信する、請求項１から請求項１０のいずれか１項に記載の端末装置。 - 前記端末装置は、時刻を計時する計時部をさらに備え、
前記記憶部は、前記センサ部により計測された前記物理量を当該物理量の計測時刻とともに記憶し、
前記無線通信部は、前記記憶部に記憶されている複数の前記物理量を前記計測時刻とともに送信する、請求項１１に記載の端末装置。 - 請求項１から請求項１２のいずれか１項に記載の端末装置と中継器を介して接続され、
前記端末装置から、前記中継器を介して、当該端末装置を顔に接着させたユーザの前記顔の形状の変化の度合いを示す物理量を受信する通信部と、
前記中継器ごとに、当該中継器により中継された前記物理量に基づいて、前記ユーザの感情を解析する処理部とを備える、感情解析装置。 - 電源及びユーザの顔への接着面を有するシート状の複数の端末装置と、
前記複数の端末装置とネットワークを介して接続される感情解析装置とを備え、
前記複数の端末装置の各々は、前記顔の変化度合いを示す物理量を計測し、計測した前記物理量を前記感情解析装置に送信し、
前記感情解析装置は、前記複数の端末装置から前記物理量を受信し、受信した前記物理量に基づいて、前記複数の端末装置に対応するユーザの感情を解析する、感情解析システム。 - 前記感情解析装置は、解析した感情を、前記物理量の計測時刻、前記ユーザの存在場所、及び前記感情の解析時刻の少なくとも１つに対応付けて表示する、請求項１４に記載の感情解析システム。
- 電源及びユーザの顔への接着面を有するシート状の複数の端末装置と、
前記複数の端末装置とネットワークを介して接続される感情解析装置とを備える感情解析システムによる感情解析方法であって、
前記複数の端末装置の各々が、前記顔の変化度合いを示す物理量を計測するステップと、
前記複数の端末装置の各々が、計測した前記物理量を前記感情解析装置に送信するステップと、
前記感情解析装置が、前記複数の端末装置から前記物理量を受信するステップと、
前記感情解析装置が、受信した前記物理量に基づいて、前記複数の端末装置に対応するユーザの感情を解析するステップとを含む、感情解析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020027808A JP2021129891A (ja) | 2020-02-21 | 2020-02-21 | 端末装置、感情解析装置、感情解析システム、及び感情解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020027808A JP2021129891A (ja) | 2020-02-21 | 2020-02-21 | 端末装置、感情解析装置、感情解析システム、及び感情解析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021129891A true JP2021129891A (ja) | 2021-09-09 |
Family
ID=77551629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020027808A Pending JP2021129891A (ja) | 2020-02-21 | 2020-02-21 | 端末装置、感情解析装置、感情解析システム、及び感情解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021129891A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023053278A1 (ja) * | 2021-09-29 | 2023-04-06 | 住友電気工業株式会社 | 提供システム、提供方法、及びコンピュータプログラム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007105316A (ja) * | 2005-10-14 | 2007-04-26 | Konica Minolta Sensing Inc | 生体情報測定器 |
| JP2008183082A (ja) * | 2007-01-29 | 2008-08-14 | Seiko Epson Corp | 生体情報管理システム、中継装置、生体情報計測装置、中継装置の制御方法、生体情報計測装置の制御方法、中継装置の制御プログラム、及び、生体情報計測装置の制御プログラム |
| JP2017073104A (ja) * | 2015-10-09 | 2017-04-13 | 富士ゼロックス株式会社 | 推薦情報を提示する情報処理装置、システム及びプログラム |
| WO2018098417A1 (en) * | 2016-11-28 | 2018-05-31 | Elwha Llc | Monitoring and treating pain with epidermal electronics |
| JP2019175108A (ja) * | 2018-03-28 | 2019-10-10 | 沖電気工業株式会社 | 感情情報管理サーバ装置、感情情報管理方法、プログラム、端末装置及び情報通信システム |
| US20190313949A1 (en) * | 2016-12-08 | 2019-10-17 | Boehringer Ingelheim International Gmbh | System and method for facilitating detection of a respiratory status |
| US20190343397A1 (en) * | 2017-04-04 | 2019-11-14 | ONiO AS | Sensor system and method for continuous and wireless monitoring and analysis of temperature in organisms |
| JP2019202199A (ja) * | 2010-04-22 | 2019-11-28 | リーフ ヘルスケア インコーポレイテッド | 自動向き変更管理のシステム |
-
2020
- 2020-02-21 JP JP2020027808A patent/JP2021129891A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007105316A (ja) * | 2005-10-14 | 2007-04-26 | Konica Minolta Sensing Inc | 生体情報測定器 |
| JP2008183082A (ja) * | 2007-01-29 | 2008-08-14 | Seiko Epson Corp | 生体情報管理システム、中継装置、生体情報計測装置、中継装置の制御方法、生体情報計測装置の制御方法、中継装置の制御プログラム、及び、生体情報計測装置の制御プログラム |
| JP2019202199A (ja) * | 2010-04-22 | 2019-11-28 | リーフ ヘルスケア インコーポレイテッド | 自動向き変更管理のシステム |
| JP2017073104A (ja) * | 2015-10-09 | 2017-04-13 | 富士ゼロックス株式会社 | 推薦情報を提示する情報処理装置、システム及びプログラム |
| WO2018098417A1 (en) * | 2016-11-28 | 2018-05-31 | Elwha Llc | Monitoring and treating pain with epidermal electronics |
| US20190313949A1 (en) * | 2016-12-08 | 2019-10-17 | Boehringer Ingelheim International Gmbh | System and method for facilitating detection of a respiratory status |
| US20190343397A1 (en) * | 2017-04-04 | 2019-11-14 | ONiO AS | Sensor system and method for continuous and wireless monitoring and analysis of temperature in organisms |
| JP2019175108A (ja) * | 2018-03-28 | 2019-10-10 | 沖電気工業株式会社 | 感情情報管理サーバ装置、感情情報管理方法、プログラム、端末装置及び情報通信システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023053278A1 (ja) * | 2021-09-29 | 2023-04-06 | 住友電気工業株式会社 | 提供システム、提供方法、及びコンピュータプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7783344B2 (en) | Hydration monitoring | |
| CN204044660U (zh) | 用于感应输入的可佩戴的装置和平台 | |
| CN104434315A (zh) | 便携式监视装置及其操作方法 | |
| CN204520692U (zh) | 用于感应输入的可佩戴的装置和平台 | |
| US20100268056A1 (en) | Washable wearable biosensor | |
| WO2010048310A1 (en) | Data-driven sleep coaching system | |
| US20140169400A1 (en) | System and method of approximating caloric energy intake and/or macronutrient composition | |
| CA3179808A1 (en) | Population malady identification with a wearable glucose monitoring device | |
| JP2019141358A (ja) | 枕装置、枕調整システム、及び枕調整方法 | |
| Mercier et al. | Powered by sweat: Throw out the batteries: Biofuels will change the future of wearable devices | |
| CN110114836A (zh) | 显示控制装置、显示控制方法和计算机程序 | |
| JP2021129891A (ja) | 端末装置、感情解析装置、感情解析システム、及び感情解析方法 | |
| JP7250647B2 (ja) | 仮眠補助システム、および、仮眠補助用プログラム | |
| Beniwal et al. | Walk‐to‐Charge Technology: Exploring Efficient Energy Harvesting Solutions for Smart Electronics | |
| US20230414171A1 (en) | Device for providing information for improving sleep quality and method thereof | |
| EP4011281A1 (en) | Detecting sleep intention | |
| CN204072067U (zh) | 使用传感器数据的空间和时间矢量分析的装置 | |
| US20220095726A1 (en) | Wig, information processing device, head measurement method, information processing method, and program | |
| CN209547177U (zh) | 一种多功能智能手环 | |
| JP6206742B1 (ja) | 情報処理装置 | |
| WO2023053278A1 (ja) | 提供システム、提供方法、及びコンピュータプログラム | |
| JP7395429B2 (ja) | 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム | |
| CN110672226A (zh) | 一种宠物用智能连续温度监测装备 | |
| Alattar et al. | Critical Assessment of Current State of the Art in Wearable Sensor Nodes with Energy Harvesting Systems for Healthcare Applications | |
| JP3230350U (ja) | ウェアラブル電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230713 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231003 |