JP2021049349A - 提示装置、提示方法、プログラム及び感情推定システム - Google Patents

提示装置、提示方法、プログラム及び感情推定システム Download PDF

Info

Publication number
JP2021049349A
JP2021049349A JP2020191099A JP2020191099A JP2021049349A JP 2021049349 A JP2021049349 A JP 2021049349A JP 2020191099 A JP2020191099 A JP 2020191099A JP 2020191099 A JP2020191099 A JP 2020191099A JP 2021049349 A JP2021049349 A JP 2021049349A
Authority
JP
Japan
Prior art keywords
team
information
information indicating
emotion
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020191099A
Other languages
English (en)
Other versions
JP7205528B2 (ja
Inventor
伸一 深澤
Shinichi Fukazawa
伸一 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2020191099A priority Critical patent/JP7205528B2/ja
Publication of JP2021049349A publication Critical patent/JP2021049349A/ja
Application granted granted Critical
Publication of JP7205528B2 publication Critical patent/JP7205528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】より精度の高いチーム感情を算出することが可能な技術が提供されることが求められている。【解決手段】複数のユーザーの社会関係性を示す情報と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を提示する提示部、を備える、提示装置が提供される。【選択図】図1

Description

本発明は、提示装置、提示方法、プログラム及び感情推定システムに関する。
従来、ある人物の行動や生理反応を、各種センサを用いて外的に計測し、得られたデータから当該人物の内的な心理状態(たとえば感情)を推定する技術が存在する。そのような感情推定技術は、たとえばサービスロボットのように対人的なサービスを提供する機械のヒューマン・マシン・インタラクションに関する性能を向上させることに用いられたり、テレワークのように物理的に離れた環境下にある相手の状況を理解することの支援に用いられたりする。
一例として、特許文献1には、カメラ、マイクロフォン、生体信号等の複数の計測指標データを用いてある人物の感情を推定する感情推定装置が提案されている。
特許文献1に記載された技術のように、「ひとりの」人物の感情(以下「個人感情」)の推定を行う技術は既存に数多く存在する。一方で、「複数の」人物の協働活動により醸成される場の感情的な雰囲気(以下「チーム感情」)を推定し、その推定情報のユーザー共有を支援するような技術は少ない。
一例として、特許文献2には、複数の個人の生体センサから受信した生体情報が特徴抽出済みの生体情報であるか否かを判断し、前記特徴抽出済みと判断された生体情報の特徴情報に基づき集団の感情情報を推定する集団感情推定装置が提案されている。
特開2012−59107号公報 特開2016−7363号公報
あらゆる仕組みが高度に複雑化する現代社会においては、ひとりの人物の作業のみで生み出せる成果には限界があり、自ずと複数名のチームによる協働型の仕事が多くなる。前述の感情推定技術においても、個人感情だけでなく、複数の人物の協働活動により醸成されるチーム感情を推定する方法の必要性が今後高まるだろう。
そこで、より精度の高いチーム感情を推定することが可能な技術が提供されることが求められている。
上記問題を解決するために、本発明のある観点によれば、複数のユーザーの社会関係性を示す情報と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を提示する提示部、を備える、提示装置が提供される。
前記提示部は、複数のチームそれぞれのチーム感情を示す情報を、チーム同士のつながりが強いほど近い領域に提示してもよい。
前記提示部は、前記チーム感情を示す情報と前記複数のユーザーそれぞれの個人感情とを感情のカテゴリごとに提示してもよい。
前記社会関係性を示す情報は、前記複数のユーザーの職制データに基づいて生成された情報であってもよい。
前記チーム感情は、前記社会関係性を示す情報に基づいて算出された重み付け係数と、前記センサデータまたは前記センサデータに基づく情報とに基づいて推定されてもよい。
前記チーム感情は、前記センサデータまたは前記センサデータに基づく情報に対して、前記重み付け係数によって重み付けがされたデータの平均値、中央値または最頻値であってもよい。
また、本発明の他の観点によれば、複数のユーザーの社会関係性を示す情報と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を提示することを含む、提示方法が提供される。
また、本発明の他の観点によれば、コンピュータを、複数のユーザーの社会関係性を示す情報と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を、提示部を介して提示する制御部として機能させる、プログラムが提供される。
また、本発明の他の観点によれば、複数のユーザーの社会関係性を示す情報を生成する社会関係性情報管理部と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定するチーム感情推定部と、を備える、感情推定サーバと、前記チーム感情を示す情報を提示する提示部、を備える提示装置と、を有する、感情推定システムが提供される。
前記社会関係性情報管理部は、前記複数のユーザーの職制データに基づいて、前記社会関係性を示す情報を生成してもよい。
以上説明したように本発明によれば、より精度の高いチーム感情を推定することが可能な技術が提供されることが可能となる。
本実施形態に係る感情推定システムの概略的な構成の一例を示す説明図である。 同実施形態に係る感情推定サーバ、職制DBサーバ、センサ端末、情報提示端末のハードウェア構成の一例を示すブロック図である。 同実施形態に係る職制DBサーバの機能構成の一例を示すブロック図である。 同実施形態に係る感情推定サーバの機能構成の一例を示すブロック図である。 同実施形態に係る情報提示端末の機能構成の一例を示すブロック図である。 ある組織における職制の適用事例の一例を示す説明図である。 ある組織における職制データベースの一例を示す説明図である。 ある組織における職制に基づく社会関係性情報の一例を示す説明図である。 ある組織における個人感情を示す情報とチーム感情を示す情報の一例を示す説明図である。 情報提示端末のアプリケーション画面の一例を示す説明図である。 同実施形態に係る感情推定システムの情報処理の概略的な流れの一例を示すフロー図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
まず、前述の特許文献2の課題について説明する。前述の特許文献2は、個人感情から集団の感情情報を推定する方法について説明しているが、下記に述べる二点の大きな課題を有している。
一点目の課題は、特許文献2が、感情を推定する対象となる集団の構成人物をどのように規定・選定するかについての説明をまったく行っていない点である。たとえば、所属人員が数千名や数万名にも上るような巨大組織においては、同じ組織に所属しているとはいっても日常においては接点がなく名前も顔も知らない人物の数の方が顔見知りである数よりもはるかに多いであろう。そのような交流のない人物同士について集団の感情を合わせて算出したとしても、そのチーム感情を示す情報は(当該人物同士はチームではないため)ほとんど意味を持たないであろう。
二点目の課題は、特許文献2が、集団の感情を算出する際に当該集団の構成人員間の「社会関係性」を影響要素に入れた推定処理を行う旨の説明を行っていない点である。たとえば、数十から数百名にも上る関係者が同時に関わるような大きな業務プロジェクトにおいては、協働関係といっても、同じチーム内の同僚で毎日共同作業を行うような強い社会関係性もあれば、所属部署が異なり月に数える程の接点しか持たないような弱い社会関係性もあるだろう。当然、前者の強い社会関係性を持った人物同士の方が、後者の弱い社会関係性である場合よりもチーム感情において人物同士がお互いに及ぼす影響は大きくなり、チーム感情の推定においてもその影響度を大きく設定されることが推定精度の向上に寄与すると考えられる。特許文献2には、センサデータの特徴情報が抽出された時間や場所の情報を集団の感情算出の重み付けに用いる方法に関する説明はあるが、上述の社会関係性への言及やそれを推定処理に用いる旨の記載はない。
チーム感情の推定技術に関して、特許文献2が有する上記二点の課題を解決するためには、集団のチーム感情の要素となる構成人物が互いに社会関係性を有するか否か、さらに、当該社会関係性の強さ、の情報を推定システムがチーム感情の推定処理に用いる仕組みが必要である。
そこで、本発明は、個人感情に基づく「チーム感情」の推定処理に係る技術に関するものであり、チームの要素となる集団の構成人物の選定及びチーム感情算出の際の重み付けを当該構成人物間の「社会関係性」の有無及びその強さに基づいて処理することで精度の高いチーム感情を算出できる感情推定システムを実現させるものであって、さらに、当該社会関係性は、当該構成人物たちが所属する組織が有する組織内情報基盤上にある当該組織所属人員の「職制」情報のデータベースから当該システムの「社会関係性情報管理部」が取得するデータに基づき、推定演算用のパラメータデータに変換されて当該チーム感情が推定されることを特徴とするチーム感情推定システムを提供することを目的とする。
特に、本発明は、職制データという「フォーマル」(formal)な社会関係性を示す情報を利用する点が特徴となる。
続いて、図1を参照して、本発明の実施形態に係るチーム感情推定システム(以下「感情推定システム」)の概略的な構成を説明する。
図1は、本実施形態に係る感情推定システムの概略的な構成の一例を示す説明図である。図1を参照すると、当感情推定システムは、感情推定サーバ100、職制DBサーバ300、複数のユーザー900、複数のセンサ端末200、提示装置(以下「情報提示端末」とも言う。)400、LAN(Local Area Network)50を含む。
職制DBサーバ300は、当感情推定システムのために新たに用意されなくてよい。職制DBサーバ300としては、たとえば社内イントラネットワーク上(もしくはクラウドネットワーク上)に存在する既存の社内情報基盤上にある、所属所員の職制に係るデータベース(DB)を記憶する記憶部と通信部とを備える既存のサーバ設備が利用されてもよい。
複数のユーザー900は、ともにある組織に所属し、互いに職制による社会関係性を有する(詳細は後述)。
図2は、本実施形態に係る感情推定サーバ100、職制DBサーバ300、センサ端末200、情報提示端末400(以下、感情推定サーバ100、職制DBサーバ300、センサ端末200及び情報提示端末400それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。)のハードウェア構成の一例を示すブロック図である。なお、上記の各装置のすべてに下記のハードウェア構成のすべてが備えられている必要はなく(たとえば感情推定サーバ100に直接的にセンサが備えられている必要はない)、後述する各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。
図2を参照すると、本実施形態に係る装置は、バス801、CPU(Central Processing Unit)803、ROM(Read Only Memory)805、RAM(Random Access Memory)807、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817、スピーカ819を備える。
CPU803は、本実施形態に係る装置における様々な処理を実行する。また、ROM805は、本実施形態に係る装置における処理をCPU803に実行させるためのプログラム及びデータを記憶する。また、RAM807は、CPU803の処理の実行時に、プログラム及びデータを一時的に記憶する。
バス801は、CPU803、ROM805及びRAM807を相互に接続する。バス801には、さらに、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817及びスピーカ819が接続される。バス801は、例えば、複数の種類のバスを含む。
一例として、バス801は、CPU803、ROM805及びRAM807を接続する高速バスと、当該高速バスよりも低速の1つ以上の別のバスを含む。
記憶装置809は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置809は、例えば、ハードディスク(Hard Disk)等の磁気記憶装置であってもよく、または、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)及びPRAM(Phase change Random Access Memory)等の不揮発性メモリ(nonvolatile memory)であってもよい。
通信インタフェース811は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して(あるいは直接的に)外部装置と通信する。通信インタフェース811は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、RF回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース811は、有線通信用のインタフェースであってもよく、この場合に、例えば、LAN端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
センサ813は、たとえばカメラ、マイクロフォン、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、当該音を電気信号へ変換し当該電気信号をデジタルデータに変換する。
入力装置815は、タッチパネル、マウス、視線検出装置等である。表示装置817は、本実施形態に係る装置からの出力画像(すなわち表示画面)を表示するもので、例えば液晶、有機EL(Organic Light-Emitting Diode)、CRT(Cathode Ray Tube)等を用いて実現され得る。スピーカ819は、音声を出力するもので、デジタルデータを電気信号に変換し当該電気信号を音声に変換する。
次に、本実施形態に係る「センサ端末200」の機能構成の一例を説明する。
センサ端末200は、ユーザー900の行動や生理反応を外的に計測し、該計測により取得したデータを、後述する感情推定サーバ100へ送信する。センサ端末200が有するセンサ813と計測する行動や生理反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データ、加速度センサにより計測される身体動作の加速度データ、キーボード・マウス・タッチパネル等の入力装置により計測される機器操作データ、各種生体センサにより計測される自律神経系活動(心拍活動、皮膚電気活動、血圧、発汗、呼吸、皮膚・深部体温等)のデータ、中枢神経系活動(脳波、脳血流等)のデータ、視線計測装置により計測される視線運動・瞳孔径・瞬目数等のデータを含む。
センサ端末200のセンサはユーザーへの非接触式でも接触式でもよい。センサ端末200のセンサが接触式の場合、たとえばセンサ端末200は腕時計等の形状をしたウェアラブル端末であっても構わない。また、センサ端末200は、カメラ、マイクロフォン、加速度センサ、通信部等を備えたスマートフォン端末であっても構わない。なお、センサ端末200は1名のユーザー900に対応して1台存在するように図1では図示されている。しかし、1台のセンサ端末200が複数のユーザー900のセンサデータを取得しても構わない。その場合、センサ端末200は複数のユーザー900それぞれについてセンサデータと計測対象人物の識別データとの1対1対応の紐づけ処理を行って、センサデータと計測対象人物の識別データとの各組み合わせを記憶または送信する。計測対象人物の識別データは、どのようにして得られてもよく、一例として、カメラによる撮像画像から顔認識によって特定される人物の識別データであってもよい。
また、センサ端末200は、計測したデータを一時的に保存するための記憶部を備えていてもよい。また、センサ端末200は、計測だけでなく簡易な解析までを実施してもよいため、解析演算用の制御部を備えていてもよい。また、センサ端末200は、計測または簡易解析済みのデータを感情推定サーバ100へ送信するための通信部を備えていてもよい。なお、前記記憶部は記憶装置809により、前記制御部はCPU803、ROM805及びRAM807により、前記通信部は通信インタフェース811により実装され得る。
次に、図3を参照して、本実施形態に係る「職制DBサーバ300」の機能構成の一例を説明する。
図3は、本実施形態に係る職制DBサーバ300の機能構成の一例を示すブロック図である。図3を参照すると、職制DBサーバ300は、通信部310、記憶部320及び制御部330を備える。
通信部310は、他の装置と通信する。たとえば、通信部310は、LAN50に直接的に接続され、後述する感情推定サーバ100と通信する。なお、通信部310は、通信インタフェース811により実装され得る。
記憶部320は、当感情推定システムを利用する組織の所属人員の職制に関するデータベースを記憶する。なお、記憶部320は、記憶装置809により実装され得る。
ここで、職制とは、たとえば「職務の分担に関する制度」(広辞苑第六版、新村出編、2008)であり、本実施形態においては、職制は職務内容だけでなく本実施形態に係る感情推定システムを利用する組織の所属員の「職位」や「職種」等に関する情報も含むものとする。
以下、職制のデータに関する説明を、図6と図7を用いて例示しながら行う。図6は、ある組織における職制の適用事例の一例を示す説明図である。図6には、当感情推定システムを利用する組織に所属する複数のユーザー900が図示されている。ここで、ユーザー900A、900B、900C、900Fは職制としてチーム(もしくは課)Zに所属しており、かつユーザー900Fの職位はチームマネージャー(もしくは課長)であり、一般社員である900A、900B、900Cの直属の上司にあたり、職制によって部下900A、900B、900Cに対する業務における指揮命令権を有する。また、チームマネージャー900Fの上司として部長の職位にある900Hが存在し、部長900Hは職制によってチームマネージャー900Fに対する業務における指揮命令権を有する。さらに、部長900Hの下には、チームZと同様に、チームYとしてチームマネージャー900Gと一般社員900D、900Eが存在している。そして、上述のユーザー900A、900B、900C、900D、900E、900F、900G、900Hはともに部Xに所属している。なお、図6に示すように、部Xの隣には部Wやその他の部が存在していてもよく、該部Wやその他の部は、各職位の人数構成は異なるものの基本的には部Xと同様の職制構造や機能を有していてよい。さらに、図6には示していないが、部Xや部Wのさらに上位として部門や、ユーザー900の職位として代表取締役やその他役員が存在していてもよい。
各ユーザー900は、上述の職制に基づき、直属の上司/部下の関係にあるか、同じチーム内の同僚関係にあるか、それとも別の部であるか等の業務上のフォーマルな社会関係性を規定されている。本実施形態においては、同階層または一階層内でかつ所属部署が同一または隣接しているような職制の階層構造内で近い距離にあるほど強い社会関係性を持つという法則性を提案する。もちろん、階層の超越、たとえば上述の部長900Hは一般社員900A、900B、900Cなどに対しても業務における指揮命令権を有しており、直接的に指揮命令を行うことは可能ではあるが、そのような行為は本来の階層型職制構造が規定する基本的な働きからみると例外的な行動となるため、本実施形態では基本に沿って階層構造の近さと社会関係性の強さを紐づけた。ただし、上述の階層構造を超越する関係性も例外的事項として後述する職制データベースに情報が記録されていれば、本実施形態に係る処理データとして用いることは可能である。
図7は、ある組織における職制データベースの一例を示す説明図である。図7には、図6で説明した組織の職制の一例に対応する職制データベースのテーブル321が図示されている。職制データベースのテーブル321は、たとえば、職制が適用される組織の構成員を一意に特定する社員ID(たとえば900A、900B、…)、該構成員の所属部署、該構成員の職位を示す情報に対応するデータを含む。職制データベースのテーブル321には、図6で説明したユーザー900A、900B、900C、900D、900E、900F、900G、900Hの職制に関する記憶データが図示されており、当該データを基に図6に示したような職制の社会関係性を示す情報を求めることができる。
なお、職制データベースのテーブル321の10行目のユーザー900Hのデータに例示したように、ユーザー900は複数の職種や職位を有していてもよく、職制データベースはそれに対応するようにデータを記録してもよい。このようにユーザーと複数の所属や職位との紐づけを認める仕組みを有することにより、たとえば部門間横断プロジェクトのような、階層型職制構造にとっては例外的な職務に携わるユーザー900にも本実施形態に係る感情推定システムは対応することができる。
なお、前述のように、職制DBサーバ300は、当感情推定システムのために新たに用意される必要はなく、当感情推定システムを利用する組織が既に有している社内情報基盤上の職制に係る既存データを流用して構わない。
制御部330は、職制DBサーバ300の様々な機能を提供する。また、制御部330は、通信部310を介して、他の通信装置、たとえば感情推定サーバ100からの要求に応じて、上述の記憶部320に記憶された職制データベースの部分情報を含むデータを該通信装置へ送信する機能を有する。なお、制御部330は、CPU803、ROM805及びRAM807により実装され得る。
次に、図4を参照して、本実施形態に係る「感情推定サーバ100」の機能構成の一例を説明する。図4は、本実施形態に係る感情推定サーバ100の機能構成の一例を示すブロック図である。図4を参照すると、感情推定サーバ100は、通信部110、記憶部120及び制御部130を備える。
通信部110は、他の装置と通信する。たとえば、通信部110は、LAN50に直接的に接続され、センサ端末200や職制DBサーバ300と通信する。なお、通信部110は、通信インタフェース811により実装され得る。
記憶部120は、感情推定サーバ100の動作のためのプログラム及びデータを記憶する。なお、記憶部120は、記憶装置809により実装され得る。
制御部130は、感情推定サーバ100の様々な機能を提供する。制御部130は、個人感情推定部131、社会関係性情報管理部133及びチーム感情推定部135を含む。なお、制御部130は、CPU803、ROM805及びRAM807により実装され得る。個人感情推定部131、社会関係性情報管理部133及びチーム感情推定部135それぞれの機能については、後に説明する。
次に、図5を参照して、本実施形態に係る「情報提示端末400」の機能構成の一例を説明する。図5は、本実施形態に係る情報提示端末400の機能構成の一例を示すブロック図である。図5を参照すると、情報提示端末400は、通信部410、記憶部420、制御部430、操作部440及び提示部450を備える。
通信部410は、他の装置と通信する。たとえば、通信部410は、LAN50に直接的に接続され、感情推定サーバ100と通信する。たとえば、通信部410は、感情推定サーバ100からチーム感情を示す情報を取得する。なお、通信部410は、通信インタフェース811により実装され得る。
記憶部420は、情報提示端末400の動作のためのプログラム及びデータを記憶する。たとえば、記憶部420は、通信部410によって感情推定サーバ100から取得されたチーム感情を示す情報を一時的に保存する。なお、記憶部420は、記憶装置809により実装され得る。
制御部430は、情報提示端末400の様々な機能を提供する。たとえば、制御部430は、チーム感情を示す情報を可視化し、チーム感情を示す情報が提示部450によって提示されるように提示部450を制御する。なお、制御部430は、CPU803、ROM805及びRAM807により実装され得る。
操作部440は、ユーザーから入力される操作を受け付ける。操作部440は、受け付けた操作を制御部430に出力すると、操作は、制御部430による各種動作に利用される。なお、操作部440は、入力装置815により実装され得る。
提示部450は、制御部430による制御に従って、ユーザーに情報を提示する。たとえば、提示部450は、制御部430によって可視化されたチーム感情を示す情報をユーザーに提示する。なお、提示部450は、表示装置817により実装され得る。
個人感情推定部131、社会関係性情報管理部133及びチーム感情推定部135それぞれの機能について説明する。個人感情推定部131は、ユーザー900からセンサ端末200及び通信部110を介して取得した行動や生理反応の計測データに基づいて、ユーザー900毎の個人感情を推定することによって個人感情の推定データ(個人感情を示す情報)を生成する。また、個人感情推定部131は、該生成したデータを記憶部120に記憶させる機能を有する。特に、個人感情推定部131は、あるユーザー900から推定した個人感情を示す情報を、該ユーザー900のIDと紐づけて記憶部120に記憶させてもよい(たとえば、後述する図9参照のこと)。
ここで、個人感情とその推定方法について説明を補足する。個人感情は、一例として「人が心的過程の中で行うさまざまな情報処理のうちで、人、物、出来事、環境についてする評価的な反応」(Ortony et al.,1988;大平,2010)と定義される。感情の具体的な種類としては、心理学者Paul Ekmanによる表情に対応する基本感情ベースの離散型モデル上での幸福、驚き、恐れ、怒り、嫌悪、悲しみや、心理学者James A. Russellによる快度及び覚醒度の感情次元ベースの連続型モデルにおける喜怒哀楽の象限などが知られている。他の連続型モデルとしては、Watsonによるポジティブまたはネガティブ感情、Wundtによる3軸モデル(快度、興奮度、緊張度)、Plutchikによる4軸のモデルなどもある。その他、応用的・複合的な感情としては、困惑度、関心度、メンタルストレス、集中度、疲労感、多忙度、創造性、リラックス/緊張度、モチベーション、共感度、信頼度などが挙げられる。さらに、業務活動において集団の雰囲気として体感されるイキイキ感なども高次な感情の一種といえる。
ある人物がどのような感情とその程度にあるかは、たとえば質問紙法を用いることで、当該人物の文字、文章、記号による言語的報告によって求めることができる。当該質問紙としては“Affect Grid”などがよく知られている。
しかしながら、質問紙を用いた計測方法では回答作業が必要になるため、業務など何か別の作業を行っている日常生活においては計測それ自体が本来の目的作業に支障を及ぼしてしまう可能性がある。
そこで、当感情推定システムにおいて、個人感情推定部131は、前述のセンサ端末200により計測される行動や生理反応のデータに基づいて(質問紙法等で求めた)感情を機械的に推定処理する。当該推定処理を行うためには、予め学習処理によって生成された感情推定モデルのデータが必要となる。感情推定モデルは、たとえば、ある時点・状況における前記行動や生理反応のデータと前記質問紙の回答データからなる学習データとを対応づけたデータの群から生成される。たとえば、オフィスに埋め込まれた無数のカメラやマイクロフォン、ウェアラブル活動量計から計測されたユーザーの顔表情、音声、心拍活動、皮膚電気活動等の行動・生理データと、当該ユーザーの主観的感情を質問紙回答した正解データとが対応づけられて学習用データとされる。前記行動・生理データは、センサからの計測値が変換された学習処理用の特徴量データであってもよい。
特徴量データは、顔の代表的特徴点の位置や各2点間を結ぶ直線の距離や成す角度であってもよい。あるいは、特徴量データは、音声の基本周波数、パワー、平均発話速度、一次ケプストラム係数の最高値と標準偏差であってもよい。あるいは、特徴量データは、心拍数や拍動間隔の平均値や標準偏差、心拍変動性であってもよい。あるいは、特徴量データは、皮膚コンダクタンス水準の平均値や標準偏差や増減率などであってもよい。これらの特徴量データはどのように使用されてもよく、ある時点における絶対値として使用されてもよいし、2時点間の相対的な変化率として使用されてもよい。
前記学習用データを用いた感情推定モデルの生成には、学習の手法として、たとえば既知のSVM(Support Vector Machine)や深層学習(Deep Learning)法が用いられてもよいし、単純に回帰分析法が利用されてもよい。また、学習モデルはユーザー個人毎に生成されてもよいし、複数のユーザーの学習データを用いて人間に共通的なモデルが生成されてもよい。個人感情推定部131は、得られた感情推定モデルのデータを用いることで、ある人物の行動・生理データから個人感情を推定できるようになる。
感情推定サーバ100や個人感情推定部131は、上述の個人感情推定処理のための学習用データや感情推定モデル自体を生成する機能を有していてもよい。さらに、学習用データのための前述の特徴量データの生成は、感情推定サーバ100ではなくセンサ端末200の方で行い、センサ端末200が、当該特徴量データを感情推定サーバ100へ送信するようにしてもよい。
社会関係性情報管理部133は、後述するチーム感情推定部135がチーム感情を推定処理するために必要な、前述の職制に基づく社会関係性を示す情報(以下「社会関係性情報」とも言う)を生成する。そのために、社会関係性情報管理部133は、通信部110を介して、職制DBサーバ300から前述の職制データベースの情報を含むデータを取得し、職制に基づく社会関係性を示す情報を生成し、該生成した情報を記憶部120に記憶する機能を有する。
図8は、ある組織における職制に基づく社会関係性情報の一例を示す説明図である。図8には、図6や図7で説明した組織の職制の一例に対応する職制に基づく社会関係性情報のテーブル121が図示されている。職制に基づく社会関係性情報のテーブル121は、たとえば、職制が適用される組織の構成員を一意に特定する社員ID1、該構成員とは別の構成員の社員ID2、両者の社会関係性の強さを示すデータを含む。なお、社会関係性の強さとは、前述のように職制の階層構造内で近い距離にあるほど強い社会関係性を持つという法則性により導かれる。図8の例では、ユーザー900Aについて、同じチームZに所属し、直属の上司であるチームマネージャー900Fや同階層の同僚900B、900Cとは社会関係性「強」、二階層離れた上司である部長900Hとは社会関係性「中」、別のチームの一般社員900Eとは社会関係性「弱」、日常でまったく接点がない別の部Wの社員900Iとは社会関係性「−」(なし)というデータがテーブル121に記録されている。
なお、図8の例では社会関係性の強さは「強」「中」「弱」「なし」の4段階となっているが、強度の分類の数は当然これより多くても少なくても構わず、連続的な量的データであっても構わない。また、たとえば三階層以上離れた場合を社会関係性「中」に分類するなど、その分類の閾値は当感情推定システムの管理者が予め任意に設定して構わず、その設定パラメータは予め記憶部120に記憶されても構わない。
チーム感情推定部135は、個人感情推定部131が生成した前述の個人感情を示す情報と、社会関係性情報管理部133が生成した前述の職制に基づく社会関係性を示す情報と、に基づいてチーム感情を示す情報を生成する。また、チーム感情推定部135は、算出したチーム感情を示す情報を記憶部120に記憶する機能を有する。
ここで、チーム感情は、たとえば、予め設定されたユーザーの集団における、構成員毎の個人感情を示す情報が該集団への社会関係性の強さで重み付けされた代表値、たとえば「平均値」「中央値」「最頻値」、として算出される。一例として、チーム感情推定部135は、個人感情を示す情報が量的データであり代表値として平均値が採用される場合、チーム感情を示す情報の例として、チーム感情値を以下の(数式1)で求めることができる。
Figure 2021049349
・・・(数式1)
ただし、TE:チーム感情値、m:集団において対象とされる二人のユーザーの組み合わせ数、QR:当該二人のユーザーの社会関係性の強さに対応する重み付け係数、RE:当該二人のユーザーの各個人感情値から求められる代表値(たとえば「平均値」「中央値」「最頻値」)とする。この際、チーム感情値算出の対象とするユーザーの集団は、図6の例でいえばチームZでもよいし、チームYでもよいし、部X全体でもよいし、ユーザー900F、900G、900Hだけというように幹部社員に限定されてもよいし、ユーザー900A、900B、900C、900D、900Eだけというように部X内の一般社員に限定されてもよい。前述の算出方式により、基になる個人感情値と職制のデータがあれば、任意に設定された集団についてチーム感情値を求めることができる。また、前述のユーザーの組み合わせ数は必ずしも二人である必要はなく、三人以上の組み合わせであってもよい。
ここで、各社会関係性の強さに対応する重み付け係数の値は限定されない。たとえば、社会関係性の強さが強くなるほど、重み付け係数の値は大きくてよい。より詳細には、社会関係性の強さ「強」に対応する重み付け係数は、社会関係性の強さ「中」に対応する重み付け係数よりも大きくてよい。また、社会関係性の強さ「中」に対応する重み付け係数は、社会関係性の強さ「弱」に対応する重み付け係数よりも大きくてよい。また、社会関係性の強さ「弱」に対応する重み付け係数は、社会関係性の強さ「なし」に対応する重み付け係数よりも大きくてよい。
なお、本実施形態では、まず、個人感情推定部131が個人感情を推定してから、チーム感情推定部135がそれらの集合的データとしてチーム感情を推定する場合を主に想定する。しかし、チーム感情推定部135がチームの対象となる複数名のセンサデータから直接的にチーム感情を推定しても構わない。その場合、チーム感情推定部135は、センサデータの値自体もしくはその特徴量データ(変換値)に対して、前述の社会関係性の強さに対応する重み付けの演算処理を行っても構わない。
このとき、センサデータの値自体もしくはその特徴量データは、特に限定されない。一例として、センサデータの特徴量データは、脈拍センサによって検出された脈拍から変換された後の心拍数の変化率などであってもよい。たとえば、心拍数の変化率は、心拍数の変化の割合であってよく、たとえば、直前の心拍数に対する現在の心拍数の割合(たとえば、「心拍数が20%上昇した」、「心拍数が10%減少した」など)によって表されてもよい。かかるセンサデータの値自体もしくはその特徴量データが、チーム感情の推定に際して、個人感情を示す情報の代わりに利用されてもよい。
図9は、ある組織における個人感情を示す情報とチーム感情を示す情報の一例を示す説明図である。図9には、図7で説明した組織の職制の一例に対応する個人感情を示す情報とチーム感情を示す情報のテーブル122が図示されている。ここでは、個人感情を示す情報及びチーム感情を示す情報の一例として量的データのポジティブ度を例示している。
次に、本実施形態に係る「情報提示端末400」の機能構成の一例を説明する。情報提示端末400において、制御部430は、感情推定サーバ100が推定したチーム感情を示す情報や個人感情を示す情報を、通信部410を介して取得し、それらを可視化して提示部450を介してユーザーに提示する。前記ユーザーは、前記チーム感情や個人感情を推定されたユーザー900でも構わないし、前記チーム感情や個人感情を推定されたユーザー900とは異なる人物(たとえば、ある組織のメンタルヘルス管理を担当する産業医等)でも構わない。
また、制御部430は、前記チーム感情を示す情報や個人感情を示す情報を可視化して提示するにあたり、前述の職制に基づく社会関係性を示す情報を用いてユーザーが情報を理解しやすいように前記チーム感情を示す情報や個人感情を示す情報を「カテゴリ化」して提示してもよい。たとえば、制御部430は、あるチームのチーム感情を示す情報を画面に表示する際、そのチームの構成者の個人感情を示す情報を、前記チーム感情を示す情報の近傍領域に併せて提示部450を介して提示してもよい。これにより、情報提示端末400のユーザーは、チーム感情を示す情報とその算出要素となった個人感情を示す情報とを併せて直観的に把握することができる。
また、たとえば、制御部430は、複数のチームによる複数のチーム感情を示す情報を画面に表示する際、前記社会関係性を示す情報に基づき、職務上関係性が強いチーム同士ほどより近い領域に互いのチーム感情を示す情報を、提示部450を介して提示してもよい。これにより、情報提示端末400のユーザーは、複数のチームのチーム感情を示す情報を確認する際に、チーム間の職務の関係性の強さに基づきそれらの表示を効率的に観ることができる。
図10は、情報提示端末400のアプリケーション画面の一例を示す説明図である。図10を参照すると、あるチームのあるチーム感情を示す情報(チームT1のポジティブ度)とその算出要素となった個人感情を示す情報(チームT1に属するユーザーU11〜U14のポジティブ度)とが近傍の領域に表示され、同チームの別のチーム感情を示す情報(チームT1の疲労度)とその算出要素となった個人感情を示す情報(チームT1に属するユーザーU11〜U14の疲労度)とが近傍の領域に表示されている。このように、提示部450が、感情のカテゴリごとにチーム感情を示す情報と個人感情を示す情報とを提示することによって、チーム感情と個人感情とをカテゴリごとに把握しやすくなる。
なお、図10に示したように、制御部430は、チーム感情及び個人感情の過去の推定情報を履歴として提示させ、時系列グラフ状に情報提示しても構わない(図10には、グラフの右側線分端がチーム感情及び個人感情の現在の推定情報として示されており、右端から左へ向かうにつれて過去に遡った推定情報が示されている)。
続いて、図11を参照して、本実施形態に係る情報処理の例を説明する。図11は、本実施形態に係る感情推定システムの情報処理の概略的な流れの一例を示すフロー図である。ステップS101で、感情推定サーバ100は、当感情推定システムの管理者により設定される、チーム感情を推定される対象となるチームとその構成者のパラメータ、推定するチーム感情の種類(たとえばポジティブ度、ネガティブ度、困惑度等)のパラメータ、チーム感情の算出法(たとえば代表値として平均値/中央値/最頻値の選択、社会関係性の強さの分類数、社会関係性の強さに対応する重み付けの係数値等)のパラメータ、などを記憶部120に記憶させる。
なお、上記パラメータ類は当情報処理の前に予め管理者により設定されていてもよく、また、前回の情報処理時の設定パラメータが流用されてもよいし、初期設定パラメータがそのまま利用されてもよい。その場合は、当ステップS101の実行は省略しても構わない。
ステップS103で、感情推定サーバ100において、通信部110は、センサ端末200を介して前記チーム感情を推定される対象となるチームの構成者となるユーザー900の行動や生理反応のセンサデータを取得する。
ステップS105で、感情推定サーバ100において、個人感情推定部131は、前記ユーザー900のセンサデータから個人感情の推定処理を行う。なお、本実施形態では、まず個人感情推定部131が個人感情を推定してから、チーム感情推定部135がそれらの集合的データとしてチーム感情を推定するという処理を例に説明を行った。しかし、前述の通り、チーム感情推定部135がチームの対象となる複数名のセンサデータから直接的にチーム感情を推定しても構わない。その場合、チーム感情推定部135は、センサデータの値自体もしくはその特徴量データに対して、前述の社会関係性の強さに対応する重み付けの演算処理を行っても構わない。その場合は、当ステップS105の実行は省略されても構わない。
ステップS107で、感情推定サーバ100において、通信部110は、職制DBサーバ300から、前記チーム感情を推定される対象となるチームの構成者となるユーザー900の職制データを取得し、社会関係性情報管理部133は、通信部110によって取得された職制データに基づいて、前述の社会NW情報を生成して、生成した社会NW情報に基づき社会関係性情報を算出する。
ステップS109で、チーム感情推定部135は、前記個人感情を示す情報と前記社会関係性情報からステップS101で設定されたチームのチーム感情を推定する。ステップS111で、情報提示端末400において、制御部430は、感情推定サーバ100から取得したチーム感情を示す情報やその算出要素となった個人感情を示す情報を提示部450に提示させる。なお、推定したチーム感情を示す情報を情報提示端末400によって提示しない場合は、当ステップS111の実行は省略しても構わない。
以上のように、本発明の実施形態によれば、職制データという「フォーマル」な社会関係性を示す情報を利用して、個人感情に基づくチーム感情を自動で高精度に推定することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
たとえば、上記においては、情報提示端末400の制御部430が、提示部450によって提示される各種情報のレイアウトを決める例を主に説明した。しかし、提示部450によって提示される各種情報のレイアウトは、他の装置(たとえば、感情推定サーバ100など)によって決められてもよい。このとき、感情推定サーバ100は、情報提示端末400を視認するユーザーの種類(たとえば、ユーザーの役職など)ごとに、提示部450によって提示される各種情報のレイアウトを決めてもよい。
100 感情推定サーバ
110 通信部
120 記憶部
130 制御部
131 個人感情推定部
133 社会関係性情報管理部
135 チーム感情推定部
200 センサ端末
300 職制DBサーバ
310 通信部
320 記憶部
330 制御部
400 情報提示端末
410 通信部
420 記憶部
430 制御部
440 操作部
450 提示部

Claims (10)

  1. 複数のユーザーの社会関係性を示す情報と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を提示する提示部、
    を備える、提示装置。
  2. 前記提示部は、複数のチームそれぞれのチーム感情を示す情報を、チーム同士のつながりが強いほど近い領域に提示する、
    請求項1に記載の提示装置。
  3. 前記提示部は、前記チーム感情を示す情報と前記複数のユーザーそれぞれの個人感情とを感情のカテゴリごとに提示する、
    請求項1または2に記載の提示装置。
  4. 前記社会関係性を示す情報は、前記複数のユーザーの職制データに基づいて生成された情報である、
    請求項1〜3のいずれか一項に記載の提示装置。
  5. 前記チーム感情は、前記社会関係性を示す情報に基づいて算出された重み付け係数と、前記センサデータまたは前記センサデータに基づく情報とに基づいて推定される、
    請求項1〜4のいずれか一項に記載の提示装置。
  6. 前記チーム感情は、前記センサデータまたは前記センサデータに基づく情報に対して、前記重み付け係数によって重み付けがされたデータの平均値、中央値または最頻値である、
    請求項5に記載の提示装置。
  7. 複数のユーザーの社会関係性を示す情報と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を提示することを含む、
    提示方法。
  8. コンピュータを、
    複数のユーザーの社会関係性を示す情報と、前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報とに基づいて、推定されたチーム感情を示す情報を、提示部を介して提示する制御部として機能させる、
    プログラム。
  9. 複数のユーザーの社会関係性を示す情報を生成する社会関係性情報管理部と、
    前記複数のユーザーそれぞれのセンサデータまたは前記センサデータに基づく情報と前記社会関係性を示す情報とに基づいて、チーム感情を推定するチーム感情推定部と、
    を備える、感情推定サーバと、
    前記チーム感情を示す情報を提示する提示部、
    を備える提示装置と、
    を有する、感情推定システム。
  10. 前記社会関係性情報管理部は、前記複数のユーザーの職制データに基づいて、前記社会関係性を示す情報を生成する、
    請求項9に記載の感情推定システム。
JP2020191099A 2020-11-17 2020-11-17 感情推定システム Active JP7205528B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020191099A JP7205528B2 (ja) 2020-11-17 2020-11-17 感情推定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020191099A JP7205528B2 (ja) 2020-11-17 2020-11-17 感情推定システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017034038A Division JP6798353B2 (ja) 2017-02-24 2017-02-24 感情推定サーバ及び感情推定方法

Publications (2)

Publication Number Publication Date
JP2021049349A true JP2021049349A (ja) 2021-04-01
JP7205528B2 JP7205528B2 (ja) 2023-01-17

Family

ID=75156597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020191099A Active JP7205528B2 (ja) 2020-11-17 2020-11-17 感情推定システム

Country Status (1)

Country Link
JP (1) JP7205528B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113448A1 (ko) * 2021-12-16 2023-06-22 금오공과대학교 산학협력단 엣지 컴퓨터 환경에서의 감정 인식 장치 및 그 방법
JP2023177594A (ja) * 2022-06-02 2023-12-14 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332376A (ja) * 2004-04-22 2005-12-02 Fuji Xerox Co Ltd 情報処理装置、システム、情報処理方法およびプログラム
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ,インコーポレイテッド ウェブサービスを用いた心理状態分析
JP2014174987A (ja) * 2013-03-12 2014-09-22 Palo Alto Research Center Inc 企業環境の異常の検出における複数の分解度による可視化
JP2015502624A (ja) * 2012-11-06 2015-01-22 インテル コーポレイション 生理データを利用した社会的感情の判定
JP2016007363A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 集団感情推定装置、集団感情推定方法及び集団感情推定プログラム
JP2016009342A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 エリアバースト推定提示装置、エリアバースト推定提示方法及びエリアバースト推定提示プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332376A (ja) * 2004-04-22 2005-12-02 Fuji Xerox Co Ltd 情報処理装置、システム、情報処理方法およびプログラム
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ,インコーポレイテッド ウェブサービスを用いた心理状態分析
JP2015502624A (ja) * 2012-11-06 2015-01-22 インテル コーポレイション 生理データを利用した社会的感情の判定
JP2014174987A (ja) * 2013-03-12 2014-09-22 Palo Alto Research Center Inc 企業環境の異常の検出における複数の分解度による可視化
JP2016007363A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 集団感情推定装置、集団感情推定方法及び集団感情推定プログラム
JP2016009342A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 エリアバースト推定提示装置、エリアバースト推定提示方法及びエリアバースト推定提示プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113448A1 (ko) * 2021-12-16 2023-06-22 금오공과대학교 산학협력단 엣지 컴퓨터 환경에서의 감정 인식 장치 및 그 방법
JP2023177594A (ja) * 2022-06-02 2023-12-14 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7445933B2 (ja) 2022-06-02 2024-03-08 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP7205528B2 (ja) 2023-01-17

Similar Documents

Publication Publication Date Title
JP6965525B2 (ja) 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
Rego et al. Authentizotic climates and employee happiness: Pathways to individual performance?
JP6930277B2 (ja) 提示装置、提示方法、通信制御装置、通信制御方法及び通信制御システム
US20110201899A1 (en) Systems for inducing change in a human physiological characteristic
US20170039523A1 (en) Interviewing system and method
JP6798353B2 (ja) 感情推定サーバ及び感情推定方法
JP7205528B2 (ja) 感情推定システム
JP2016200955A (ja) 情報処理装置、プログラム、推定方法
Sanchez et al. A predictive model for stress recognition in desk jobs
US20240008785A1 (en) Information processing system, information processing device, information processing method, and information processing program
Xue et al. Understanding how group workers reflect on organizational stress with a shared, anonymous heart rate variability data visualization
Boswell et al. A review and preview of developments in the measurement of sociability
Cook et al. Assessing leadership behavior with observational and sensor-based methods: A brief overview
Gimpel et al. Design Knowledge on Mobile Stress Assessment.
Mandolfo et al. Ambient UX research: user experience investigation through multimodal quadrangulation
WO2023286105A1 (ja) 情報処理装置、情報処理システム、情報処理プログラム、及び情報処理方法
JP2019012431A (ja) 労務管理システム
JP2023065808A (ja) 情報提供装置、情報提供方法及びコンピュータプログラム
Sarti et al. ICT use and job satisfaction. The moderating role of task characteristics
Favela et al. Estimating hospital work activities in context-aware healthcare applications
Yang et al. A review of quantitative methods to measure workplace affect
WO2024219300A1 (ja) エンゲージメント推定方法、プログラム及びエンゲージメント推定システム
JP2019101873A (ja) 情報処理装置、及びプログラム
Esaki et al. An Exploratory Study of Employee Engagement in Human Service Agencies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220323

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221004

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221017

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7205528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150