JP2019076596A - Information processing device, information processing system and program - Google Patents
Information processing device, information processing system and program Download PDFInfo
- Publication number
- JP2019076596A JP2019076596A JP2017207299A JP2017207299A JP2019076596A JP 2019076596 A JP2019076596 A JP 2019076596A JP 2017207299 A JP2017207299 A JP 2017207299A JP 2017207299 A JP2017207299 A JP 2017207299A JP 2019076596 A JP2019076596 A JP 2019076596A
- Authority
- JP
- Japan
- Prior art keywords
- tendency
- character
- information processing
- processing apparatus
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 57
- 230000006996 mental state Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 230000036760 body temperature Effects 0.000 description 9
- 206010041349 Somnolence Diseases 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 208000019901 Anxiety disease Diseases 0.000 description 5
- 208000032140 Sleepiness Diseases 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 5
- 230000036506 anxiety Effects 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000037321 sleepiness Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 208000001871 Tachycardia Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 206010003119 arrhythmia Diseases 0.000 description 2
- 230000006793 arrhythmia Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 208000006218 bradycardia Diseases 0.000 description 2
- 230000036471 bradycardia Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005281 excited state Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000006794 tachycardia Effects 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 206010050013 Abulia Diseases 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, and a program.
各個人の性格上の傾向を知ることができれば、各個人の反応や行動の予測も容易になる。 Knowing the individual's personality traits makes it easier to predict each individual's responses and behavior.
予測の精度を高めるには、利用の機会があるたびに、推定に必要な情報を取得することが望ましい。一方で、推定に必要な情報を頻繁に取得することは対象者に負担を掛ける。また、情報の取得や診断に必要な時間を確保できない可能性もある。 In order to improve the accuracy of prediction, it is desirable to obtain information necessary for estimation whenever there is an opportunity for use. On the other hand, frequent acquisition of information necessary for estimation places a burden on the subject. In addition, it may not be possible to secure the time required to acquire and diagnose information.
本発明は、各時点における性格上の傾向を容易に利用できるようにすることを目的とする。 An object of the present invention is to make it easy to utilize the tendency of the character at each time point.
請求項1に記載の発明は、対象者について事前に推定された性格上の傾向を、当該対象者の現在の生体情報に基づいて補正する補正手段を有する情報処理装置である。
請求項2に記載の発明は、前記現在の生体情報は、前記性格上の傾向を利用する時点の情報である、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記生体情報は逐次取得される、請求項2に記載の情報処理装置である。
請求項4に記載の発明は、前記補正手段は、前記生体情報から推定される前記対象者の体調及び心理の状態の両方又は一方に基づいて前記性格上の傾向を補正する、請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記補正手段は、前記体調に応じて、前記性格上の傾向を強める又は弱めるように補正する、請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記補正手段は、前記心理の状態に応じて、前記性格上の傾向を強めるように若しくは弱めるように補正する又は補正しない、請求項4に記載の情報処理装置である。
請求項7に記載の発明は、前記補正手段は、前記心理の状態が興奮した状態の場合、前記性格上における一部の傾向については強め、他の一部の傾向については弱める、請求項6に記載の情報処理装置である。
請求項8に記載の発明は、前記性格上の傾向は、前記対象者の筆跡に現れる特徴に基づいて推定される、請求項1に記載の情報処理装置である。
請求項9に記載の発明は、前記筆跡に現れる特徴に基づく推定は、人工知能を用いて実行される、請求項8に記載の情報処理装置である。
請求項10に記載の発明は、前記補正手段は、人工知能を用いて構成される、請求項1に記載の情報処理装置である。
請求項11に記載の発明は、補正後の前記性格上の傾向と、前記対象者の体調又は心理の状態とに基づいて話者を選択する、請求項1に記載の情報処理装置である。
請求項12に記載の発明は、対象者について事前に推定された性格上の傾向を、当該対象者の現在の生体情報に基づいて補正する補正手段を有する情報処理システムである。
請求項13に記載の発明は、コンピュータを、対象者について事前に推定された性格上の傾向を、当該対象者の現在の生体情報に基づいて補正する補正手段として機能させるプログラムである。
The invention described in
The invention according to
The invention according to
In the invention according to
The invention according to
The invention according to
The invention according to claim 7 is that, when the state of mind is an excited state, the correction means strengthens some tendency in the character and weakens other some tendency. It is an information processor given in a.
The invention described in claim 8 is the information processing apparatus according to
The invention according to claim 9 is the information processing apparatus according to claim 8, wherein the estimation based on the features appearing in the handwriting is performed using artificial intelligence.
The invention according to
The invention according to
The invention according to
The invention according to
請求項1記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項2記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項3記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項4記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項5記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項6記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項7記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項8記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項9記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項10記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項11記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項12記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
請求項13記載の発明によれば、各時点における性格上の傾向を容易に利用することができる。
According to the first aspect of the present invention, it is possible to easily utilize the tendency in personality at each time point.
According to the second aspect of the present invention, it is possible to easily utilize the tendency in character at each time point.
According to the third aspect of the present invention, it is possible to easily utilize the tendency in character at each time point.
According to the fourth aspect of the present invention, it is possible to easily utilize the tendency in character at each time point.
According to the fifth aspect of the present invention, it is possible to easily utilize the tendency in character at each time point.
According to the sixth aspect of the present invention, it is possible to easily utilize the tendency in character at each time point.
According to the seventh aspect of the present invention, it is possible to easily utilize the tendency in character at each time point.
According to the eighth aspect of the present invention, it is possible to easily utilize the tendency in character at each time point.
According to the invention as set forth in claim 9, it is possible to easily utilize the tendency in character at each time point.
According to the invention as set forth in
According to the invention of
According to the invention as set forth in
According to the invention as set forth in
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
<システム全体の構成>
図1は、実施の形態に係る会話支援システム1の構成例を示す図である。
図1に示す会話支援システム1は、複数人の自然人(以下「対象者」という)の個々人について性格上の傾向を推定する性格推定装置2と、性格上の傾向に関する情報を用いて対象者の会話を支援する会話支援装置3と、性格推定装置2と会話支援装置3とを接続するクラウドネットワーク4とを有している。
会話支援システム1は、情報処理システムの一例である。
図1の例では、性格推定装置2と会話支援装置3を別の装置として表しているが、1つの装置として構成されてもよい。
本実施の形態における性格推定装置2と会話支援装置3の全体または一部はコンピュータとして構成され、プログラムの実行を通じて各種の機能を実現する。
<System-wide configuration>
FIG. 1 is a diagram showing a configuration example of a
The
The
In the example of FIG. 1, although the
The whole or a part of the
<性格推定装置の構成>
性格推定装置2は、個々人の性格上の傾向を診断する性格傾向診断部10と、診断の結果を個々人に対応付けて格納する性格傾向データベース20とを有している。
ここでの性格推定装置2は、会話支援システム1のサーバとして機能する。
性格傾向診断部10は、例えば診断プログラムの実行を通じ、対象者である個々人の性格上の傾向を診断又は推定する。本実施の形態における性格傾向診断部10は、個々人の筆跡に基づいて、個々人の性格上の傾向を診断する。性格傾向診断部10による診断の結果は、性格傾向データベース20に格納される。
性格傾向データベース20は、例えばハードディスク装置で構成され、クラウドネットワーク4に接続されている。性格傾向データベース20に格納されている個々人の性格上の傾向は、会話支援装置3により参照される。
<Configuration of Character Estimator>
The
The
The personality tendency
The
図2は、性格傾向診断部10の構成例を示す図である。
本実施の形態における性格傾向診断部10は、対象者が手書きで文字を書き込んだ書面Dの画像を取り込む画像取込部11と、画像から文字に現れる筆跡のタイプを分類する筆跡タイプ分類部12と、筆跡のタイプの分類と各分類に対応する性格上の傾向との関係を対応付けた筆跡特徴データベース13と、分類された結果から対象者の性格上の傾向を推定して出力する性格傾向出力部14とを有している。
書面Dには、漢字、平仮名、カタカナ、アルファベッド等によって文字が記載されている。
FIG. 2 is a diagram showing a configuration example of the personality
The personality tendency
In the document D, characters are described by kanji, hiragana, katakana, alpha bed and the like.
画像取込部11は、例えば撮像カメラ、スキャナ、筆圧検知機能付きのタッチセンサで構成される。画像取込部11は、例えば文字の形状、筆順、筆勢、筆圧などの情報を取得する。取得される情報は、使用するデバイスによる。本実施の形態では、専ら文字の形状を利用する。
筆跡タイプ分類部12は、コンピュータによって構成され、文字に現れる特徴を予め定めた幾つかの筆跡タイプのうちのいずれかに分類する。この機能は、プログラムの実行を通じて実現される。プログラムの一例には、人工知能プログラムがある。なお、ディープラーニングプログラムや機械学習プログラムを用いてもよい。
筆跡タイプの特徴は、筆跡特徴データベース13に格納されている。
The
The handwriting
The handwriting type features are stored in the
筆跡特徴データベース13に格納される筆跡タイプの分類の例を図3−1〜図3−3に示す。
図3−1は、1字1字の特徴に着目した分類の一部を示す図である。図3−2は、1字1字の特徴に着目した分類の残りを示す図である。図3−3は、章法上の特徴に着目した分類を示す図である。
章法とは、集合体としての文字の書き方をいい、例えば指定された位置に集合としての文字をどの位置にどのように書くかによって分類される。
An example of classification of handwriting types stored in the
FIGS. 3-1 is a figure which shows a part of classification | category which paid its attention to the 1
The chapter method is the writing of characters as a set, and is classified, for example, according to how and where a character as a set is written at a specified position.
本実施の形態の場合、筆跡特徴データベース13には、筆跡タイプとして70通りの分類が用意されている。
この筆跡タイプは、日本筆跡診断士会より2001年3月27日に発行された「筆跡特徴マニュアル72項目の図解」のうちの1〜70項に対応する。
図3−1〜図3−3の例では、1字1字の特徴(図3−1及び図3−2)として50通り、章法上の特徴(図3−3)として20通りの分類が示されている。
例えば1字1字の特徴のうち接筆部の特徴は、画と画がきちんとくっついている「接筆閉型」と、画と画の間をくっつけずに開いて書くところがある「接筆開型」と、画と画の間がくっついているとも離れているともとれる「接筆あいまい型」と、画と画の間が上開きで下も閉じている「上開下閉型」と、画と画の間が上開きで下も開く「上開下開型」と、他の画線を切るように交差する「刃物運型」と、通常伸びない画線が伸びて他の線を切る「異常接筆型」に分類される。
図の例では、70通りの分類の欄13B、各分類に対応する特徴を説明する欄13C、各分類に対応づける性格上の傾向の特徴を説明する欄13Dを設けている。
In the case of the present embodiment, 70 handwriting classifications are prepared in the
This handwriting type corresponds to
In the example of FIGS. 3-1 to 3-3, there are 50 classifications as one-character / one-character features (FIGS. 3-1 and 3-2) and 20 classifications as chapter-wise features (FIG. 3-3). It is shown.
For example, among the features of each character, the features of the touch-sensitive part are "touch-and-close type" in which the picture and the picture are properly attached and there is a place where writing is done without sticking between the picture and the picture. “Type”, “contact-type ambiguity type” where drawing and drawing are attached and separated, and “top opening and closing type” where drawing and drawing are open at the top and closed at the bottom, Between the drawing and the drawing, the upper opening and the lower opening also open, the upper cutting and the lower cutting open, and the blade cutting type that intersects to cut other drawing lines. It is classified into "abnormal touch-on type" to cut.
In the example of the figure, a
欄13Dに示すように、1つの分類には複数の傾向が割り当てられているが、本実施の形態では、処理の観点からそれらの中から代表的な傾向を1つ選び、性格傾向の大分類の欄13Eとして使用する。
例えば「接筆閉型」と認められた人の性格上の傾向には、真面目だけでなく、潔癖、物事を決めてかかり融通が利きにくいという多面性も含まれるが、本実施の形態では、「真面目」を代表的な傾向として使用する。
本実施の形態では、70通りの分類に対して、「真面目」、「妥協性あり」、「優柔不断」、「積極的」、「混乱招く」、「創造的」のうちのいずれかの傾向を割り当てる。
なお、欄13Eに記載された傾向は初期値であり、人工知能(AI)、ディープラーニング、機械学習などの学習によって異なる評価が下された場合には異なる傾向に変化し得る。
As shown in the
For example, the character tendency of a person who is recognized as "touch-and-close type" includes not only seriousness but also multi-facetedness such as determination and difficulty in deciding things, but in the present embodiment, "Science" is used as a representative trend.
In this embodiment, any of 70 categories of “seriousness”, “compromise”, “indecisive”, “aggressive”, “confused”, “creative” tendencies. Assign
The tendency described in the
ここで、筆跡タイプ分類部12は、前処理として、画像取込部11から取り込まれた書面Dを対象とした画像処理によって書面D上に記載された各文字を認識する。
文字の認識後、筆跡タイプ分類部12は、認識された各文字と対応する標準的な(基本となる)文字の形状との差が大きい(すなわち、筆跡上の特徴が大きい)一部の文字に対して分類上の特徴との照合を実行することにより分類を決定する。
筆跡タイプ分類部12は、決定された全ての分類を性格傾向出力部14に与えてもよいし、予め定めた閾値以上の頻度で出現する分類や決定された複数の分類の中で出現の頻度が他の分類に比して多い分類を選択的に性格傾向出力部14に与えてもよい。
Here, the handwriting
After recognition of the character, the handwriting
The handwriting
性格傾向出力部14は、決定された分類に対応する性格上の傾向を筆跡特徴データベース13から読み出して出力する。
この例では、例えば「接筆開型」に分類される人には、真面目、潔癖、融通がききにくい等の傾向があるとみなす。なお、筆跡特徴データベース13に記憶されている個々の分類と性格上の傾向についての関係は、人工知能プログラムの学習によって変化する。
本実施の形態における性格傾向出力部14は、同一人の筆跡について複数の分類が検出された場合、これらの分類に対応する性格上の各傾向を対象者が備える傾向として出力する。
もっとも、予め定めた規則に従い、1人の対象者に対して1つの性格を出力してもよい。例えば代表的な6通りの傾向(「真面目」、「妥協性あり」、「優柔不断」、「積極的」、「混乱招く」、「創造的」)のうち予め定めた閾値以上の頻度で出現する傾向や決定された複数の傾向の中で出現の頻度が他の分類に比して多い傾向を性格上の傾向として出力してもよい。
The personality
In this example, it is assumed that, for example, those who are classified as "touch-open type" have a tendency of being serious, innocent, hard to accept, etc. The relationship between the individual classifications stored in the
When a plurality of classifications are detected for the handwriting of the same person, the personality
However, one character may be output for one subject in accordance with a predetermined rule. For example, among the six typical trends ("serious", "with compromise", "indecisive", "aggressive", "confused", "creative") appear with a frequency greater than a predetermined threshold Among the plurality of tendencies and the plurality of tendencies determined, the frequency of appearance may be output as the tendency on the character as compared with other classifications.
なお、本実施の形態の場合には、プログラム(人工知能プログラムなどを含む)の実行を通じて各個人の性格上の傾向(性格傾向データ)を決定し、性格傾向データベース20に記録しているが、性格上の傾向の診断そのものは、自然人である専門家が行ってもよい。この場合、専門家による診断の結果が性格傾向データベース20に記録される。
In the case of the present embodiment, the personality tendency (characteristic tendency data) of each individual is determined through the execution of a program (including an artificial intelligence program etc.) and recorded in the
<会話支援装置の構成>
図1の説明に戻る。
会話支援装置3は、対象者の身体から発せられる様々な生理学的又は解剖学的な情報(以下「生体情報」という)を実時間で計測する生体情報センサ30と、生体情報を用いて対象者の性格上の傾向(性格傾向データ)を補正する性格傾向補正部40と、補正後の性格上の傾向と生体情報から推定された心身の状態とに基づいて会話を支援する会話支援部50とを有している。
<Configuration of Conversation Support Device>
It returns to the explanation of FIG.
The
ここでの会話支援装置3は情報処理装置の一例である。
会話支援装置3は、会話支援システム1上の端末装置として機能する。会話支援装置3は、例えばコンピュータ、スマートフォン、会話ロボット、サーバ等の形態を採用する。
本実施の形態の場合、生体情報センサ30は、参加者に装着されるデバイスに内蔵された複数種類のセンサで構成される。なお、生体情報センサ30は、非接触方式で生体情報を測定するセンサ又はセンサ群でもよい。
The
The
In the case of the present embodiment, the
具体的には、体温を測定する体温センサ31、脈拍を測定する脈拍センサ32、脳波を測定する脳波センサ33で構成される。
なお、これらのセンサは一例であり、全てのセンサを用いなくてもよい。また、不図示のセンサとして、視線を検知する視線センサ、声に現れる特性を検知する音声センサ、姿勢を検知する姿勢センサ、動作を検知する動作センサ、血圧を測定する血圧センサのうちの一部又は全部を用いてもよい。
各センサは、少なくとも会話が始まるまでに生体情報を測定し、会話の開始後も予め定めたタイミングや周期で生体情報を逐次測定する。会話の間にも心身の状態に影響を与えるほど生体情報が変化する可能性もあるためである。
Specifically, it comprises a
In addition, these sensors are an example and it is not necessary to use all the sensors. Further, as sensors (not shown), a part of the line-of-sight sensor for detecting the line of sight, the voice sensor for detecting characteristics appearing in the voice, the posture sensor for detecting posture, the motion sensor for detecting motion, and the blood pressure sensor for measuring blood pressure Or you may use all.
Each sensor measures biological information at least before the start of conversation, and sequentially measures biological information at a predetermined timing or cycle even after the start of conversation. This is because biological information may change to such an extent that it affects the state of mind and body also during conversation.
性格傾向補正部40は、例えば補正プログラムの実行を通じ、会議の参加者について事前に推定された性格上の傾向を現在の心身の状態に応じて補正する情報処理装置として機能する。
本実施の形態では、「事前」との用語を、性格上の傾向を利用する時点よりも前の時点の意味で使用する。もっとも、性格傾向補正部40による補正は、性格推定装置2によって性格上の傾向を推定した時点の心身の状態と、性格上の傾向の情報を利用する時点の心身の状態との間に変化が予見される場合に利用することで、本実施の形態における補正の効果が期待される。
The personality
In the present embodiment, the term "prior" is used in the sense of a point in time before the point of utilizing the tendency in personality. However, the correction by the character
性格傾向補正部40は、特許請求の範囲における補正手段の一例であり、情報処理装置の一例でもある。
図4は、性格傾向補正部40の構成例を示す図である。
性格傾向補正部40は、生体情報(体温、脈拍、脳波)に基づいて心身の状態を推定する心身の状態推定部41と、推定された心身の状態に基づいて事前に推定された対象者の性格上の傾向を補正する補正部42とを有している。
The personality
FIG. 4 is a view showing a configuration example of the personality
The personality
心身の状態推定部41は、例えば体温について、測定値と平均値との差分値を算出し、算出された差分値が閾値(例えば±1℃)より大きいか否かに基づいて、異常の有無を判定する。差分値が閾値を超える場合、体調は異常である(健康ではない)と判定される。
体温の平均値は、人種、年齢、性別、測定部位などによって異なるので、対象者や測定部位に応じた平均値を採用する。望ましくは、対象者個人についての体温の平均値を事前に取得して使用する。
日本人の場合、10歳から50歳前後の健康な男女3000人以上の体温の平均値は36.89℃±0.34℃(脇下での測定)である。
The physical and mental
Since the average value of the body temperature differs depending on the race, age, gender, measurement site, etc., an average value according to the subject or the measurement site is adopted. Desirably, the average temperature of the subject individual is obtained in advance and used.
In the case of Japanese, the average value of the body temperature of more than 3,000 healthy men and women around 10 to 50 is 36.89 ° C. ± 0.34 ° C. (measured under armpit).
心身の状態推定部41は、例えば脈拍について、測定値が正常範囲内か否かに基づいて、異常の有無を判定する。測定値が正常範囲を超える場合は頻脈と呼ばれ、測定値が正常範囲より低い場合は徐脈と呼ばれる。頻脈や徐脈を合わせて不整脈という。不整脈と判断された場合、体調は異常である(健康ではない)と判定される。
脈拍の正常範囲は、人種、年齢などによって異なるので、対象者に応じた正常範囲を採用する。
脈拍も個人差が表れやすい生体情報である。従って、必ずしも一般的な範囲を使用する必要はない。望ましくは、対象者個人について取得された安静状態での脈拍の範囲を使用する。
日本人の場合、子供や小学生の正常範囲は70〜110回/分であり、中学生、高校生、大学生、成人の正常範囲は60〜100回/分であり、高齢者の正常範囲は60〜80回/分である。
本実施の形態では、正常範囲内でも脈拍が予め定めた閾値より速い状態や正常範囲より脈拍が速い状態を緊張時やストレスがある状態と判定し、正常範囲内でも脈拍が予め定めた閾値より遅い状態を落ち着いた(リラックスした)状態と判定する。正常範囲内における判定用の閾値は事前に与えるものとする。
For example, with regard to the pulse, the physical and mental
Since the normal range of the pulse differs depending on the race, age, etc., the normal range according to the subject is adopted.
The pulse is also biological information in which individual differences tend to appear. Therefore, it is not necessary to use the general range. Preferably, the resting pulse range obtained for the subject individual is used.
In the case of Japanese, the normal range of children and elementary school students is 70 to 110 times / minute, the normal range of junior high school students, high school students, college students and adults is 60 to 100 times / minute, and the normal range of elderly people is 60 to 80 Times per minute.
In this embodiment, a state in which the pulse is faster than a predetermined threshold within the normal range or a state in which the pulse is faster than the normal range is determined as tension or stressed state, and the pulse is greater than the predetermined threshold even in the normal range. Determines the slow state as the calm (relaxed) state. The threshold value for determination within the normal range shall be given in advance.
心身の状態推定部41は、例えば脳波について、測定波形がγ波か、β波か、α波か、θ波か、δ波かを判定する。
γ波は30ヘルツ以上の周波数を有する波形であり、強い不安や興奮した状態で現れるといわれている。
β波は30〜14ヘルツの周波数を有する波形であり、緊張時やストレスがある状態で現れるといわれている。
α波は13〜8ヘルツの周波数を有する波形であり、落ち着いた(リラックスした)状態や目を閉じている状態で現れるといわれている。
θ波は7〜4ヘルツの周波数を有する波形であり、深いリラックスの状態や睡眠時に現れるといわれている。
δ波は3.5ヘルツ以下の周波数を有する波形であり、熟睡時や昏睡時に現れるといわれている。
心身の状態推定部41は、図5に示す判定テーブル41Aを使用して、参加者の現在の心身の状態を推定する。
なお、心身の状態推定部41の機能は、プログラムの実行を通じて実現される。プログラムの一例には、人工知能プログラム、ディープラーニングプログラム、機械学習プログラムがある。
For example, with regard to an electroencephalogram, the mind / body
The γ wave is a waveform having a frequency of 30 Hz or more, and is said to appear in a strong anxiety or excited state.
The beta wave is a waveform having a frequency of 30 to 14 hertz, and is said to appear under tension or under stress.
The alpha wave is a waveform having a frequency of 13 to 8 Hz, and is said to appear in a calm (relaxed) state or in a state in which the eyes are closed.
The θ wave is a waveform having a frequency of 7 to 4 Hz, and is said to appear during deep relaxation or sleep.
The δ wave is a waveform having a frequency of 3.5 Hz or less, and is said to appear at the time of deep sleep and coma.
The mind-body
The function of the mind-body
図5は、生体情報と心身の状態との対応関係の例を示す図である。
判定テーブル41Aには、生体情報410(体温、脈拍、脳波)と心身の状態(体調異常411、集中412、リラックス・安静413、眠気414、不安415、興奮416、緊張・ストレス417)との関係の例が記録されている。
このうち、体調異常411は体調の状態の一形態であり、集中412、リラックス・安静413、眠気414、不安415、興奮416、緊張・ストレス417は心理の状態の一形態である。
FIG. 5 is a diagram showing an example of the correspondence between the biological information and the state of mind and body.
In the determination table 41A, the relationship between the biological information 410 (body temperature, pulse, brain waves) and the state of mind and body (
Among them, the
判定テーブル41Aは、例えば体温や脈拍のいずれかが異常であると、体調異常411と判定されることを示している。
判定テーブル41Aは、脈拍が正常範囲で遅い場合、又は、脳波にα波が出ている場合、リラックス・安静413と判定されることを示している。
判定テーブル41Aは、脈拍が正常範囲で速い場合、又は、脳波にβ波が出ている場合、緊張・ストレス417と判定されることを示している。なお、脈拍が正常範囲を超える場合も緊張・ストレス417と判定される。
判定テーブル41Aは、脳波にα波が出ている場合、例えば集中412と判定されることを示している。
判定テーブル41Aは、脳波にδ波やθ波が出ている場合、眠気414を感じている状態と判定されることを示している。
判定テーブル41Aは、脳波にγ波が出ている場合、不安415や興奮416を感じている状態と判定されることを示している。
The determination table 41A indicates that, for example, it is determined that the
The determination table 41A indicates that it is determined to be relaxation /
The determination table 41A indicates that it is determined as tension /
The determination table 41A indicates that, for example,
The determination table 41A indicates that it is determined that the
The determination table 41A indicates that it is determined that
図4の説明に戻る。
補正部42は、推定された心身の状態に基づいて補正テーブル42A(図6参照)を参照し、事前に推定された性格上の傾向(性格傾向データ)を補正する。
図6は、補正テーブル42Aの構成例を示す図である。補正テーブル42Aは、6つの代表的な(大分類の)性格上の傾向が心身の状態によりどのような変化(ここでは補正)されるかの関係を示している。
図6では、傾向を弱めることをマイナスの記号(−)で表記し、傾向を強めることをプラスの記号(+)で表記し、何らの作用がないことを空欄で表記している。
It returns to the explanation of FIG.
The
FIG. 6 is a diagram showing a configuration example of the correction table 42A. The correction table 42A shows the relationship among the six representative (large class) personality tendency changes (here, correction) depending on the state of mind and body.
In FIG. 6, the weakening of the tendency is indicated by a minus sign (-), the strengthening of the tendency is indicated by a plus sign (+), and the absence of any action is indicated by a blank.
ここで、補正の対象となる性格上の傾向の大分類420は、「真面目」、「妥協性あり」、「優柔不断」、「積極的」、「混乱招く」、「創造的」である。
例えば生体情報から体調の異常(体調異常421)が推定される場合、眠気424、不安425、興奮426、緊張・ストレス427の状態が推定される場合には、「真面目」との傾向が弱められる方向に補正される。
例えば生体情報から集中422の状態やリラックス・安静423の状態が推定される場合には、「真面目」との傾向が強められる方向に補正される。
Here, the
For example, when physical condition abnormality (physical condition abnormality 421) is estimated from biological information, when the state of
For example, when the state of
なお、心身の状態は、全ての傾向に一様に作用するのではない。すなわち、全ての傾向を一様に強めたり弱めたりするのではない。
例えば集中422とリラックス・安静423の場合は、「妥協性あり」や「積極的」や「創造的」といった傾向を強める方向に作用するが、「優柔不断」や「混乱招く」との傾向への作用はない。
同様に、不安425の場合は、「創造的」を除く5つの傾向を弱める方向に作用するが、「創造的」へは影響しない。
また、緊張・ストレス427の場合は、「真面目」、「優柔不断」、「創造的」といった傾向を弱める方向に作用するが、「妥協性あり」、「積極的」、「混乱招く」への影響はない。
なお、興奮426の場合は、他の状態とは異なる作用をする。すなわち、興奮426の場合は、「真面目」、「妥協性あり」、「混乱招く」といった傾向を弱める方向で作用する一方で、「積極的」や「創造的」といった傾向を強める方向に作用する。ただし、興奮426の場合は、「優柔不断」との傾向には作用しない。
In addition, the state of mind and body does not act uniformly on all trends. That is, it does not uniformly strengthen or weaken all trends.
For example, in the case of
Similarly, in the case of
In the case of tension and
In the case of the
ここで、補正の情報である「強める」及び「弱める」の用い方は、データ処理の構造によって様々である。
例えば性格上の傾向が多段階で表現可能な場合には、事前に推定された傾向(性格傾向データ)の段階の変更に用いられる。
また、後段(例えば会話支援部50(図1参照))で実行される処理の内容によっては、補正の情報が事前に推定された性格上の傾向の付属情報として出力される。
本実施の形態では、付属情報が付された性格上の傾向の情報を補正後の性格傾向データという。
いずれにしても、利用時とは異なる時点で推定された性格上の傾向を利用時の心身の状態に応じて補正することで、利用の時点における性格上の傾向を正確に反映した会話の支援が可能になる。
Here, how to use “strong” and “weak” which are correction information varies depending on the structure of data processing.
For example, when the tendency on the character can be expressed in multiple stages, it is used to change the stage of the tendency (character tendency data) estimated in advance.
Further, depending on the contents of the process executed in the subsequent stage (for example, the conversation support unit 50 (see FIG. 1)), the correction information is output as attached information of the tendency of the character estimated in advance.
In the present embodiment, information on the tendency of personality on which attached information is added is referred to as personality trend data after correction.
In any case, by correcting the tendency on the character that was estimated at a time different from the time of use according to the physical and mental state at the time of use, it is possible to support conversations that accurately reflect the tendency on the character at the time of use Becomes possible.
なお、図6では、心身の状態の間に優先度を設けている。この優先度は、心身の状態として複数の状態が推定された場合に、どのように補正を行うかを決めるために用いられる。
本実施の形態の場合、優先順位は高い方から順番に、体調異常421、眠気424、興奮426、集中422、リラックス・安静423、緊張・ストレス427である。
このため、性格上の傾向が「積極的」な人について体調異常と興奮の2つの心身の状態が推定される場合には、体調異常421が優先された補正が実行される。すなわち、「積極的」との傾向を弱める補正を実行し、強める補正は行わない。「創造的」についても同様である。
また、性格上の傾向が「積極的」な人についてリラックスと眠気の2つの心身の状態が推定される場合には、眠気が優先された補正が実行される。すなわち、「積極的」との傾向を弱める補正を実行し、強める補正は行わない。
ここでの補正部42の機能はプログラムの実行を通じて実現される。プログラムの一例には、人工知能プログラム、ディープラーニングプログラム、機械学習プログラムがある。
In FIG. 6, priorities are set between the physical and mental states. This priority is used to determine how to make corrections when multiple states are estimated as physical and mental states.
In the case of the present embodiment, in order from the highest priority, the physical condition is 421,
For this reason, in the case where two physical and physical states, physical condition and excitement, are estimated for a person with "positive" tendency in personality, correction with priority given to
In addition, when two mental and physical states of relaxation and drowsiness are estimated for a person whose personality tendency is "active", a drowsiness-first correction is performed. That is, correction that weakens the tendency of "positive" is performed, and correction that does not strengthen is performed.
The function of the
図1の説明に戻る。
会話支援部50は、補正後の性格上の傾向と心身の状態との情報に基づいて、会話を支援する処理を実行する。
図7は、本実施の形態で用いる会話支援部50の構成例を示す図である。
図7に示す会話支援部50は、会話で主に発言を促す話者を選択する話者選択部51を有している。
ここでの話者選択部51は、補正後の性格の傾向だけでなく、心身の状態、会話の目的、現在の話題などの情報を用いて発言を促す話者を選択する機能を実行する。
会話の目的や現在の話題には、例えば結論の導出(解決案の導出を含む)、情報の共有、アイデア出し、問題の発見、局面の打開、話題の収束化、会話の活性化などがある。これらの目的は、人(例えば司会者、対象者のうちの一人)によって事前に又は会話の途中で与えられる。
会話の目的や現在の話題の情報が与えられることで、会話の目的や現在の話題に対して望ましい対象者を選択することができる。
It returns to the explanation of FIG.
The
FIG. 7 is a diagram showing a configuration example of the
The
Here, the
The purpose of the conversation and current topics include, for example, derivation of conclusions (including solution derivation), sharing of information, idea creation, problem finding, situationalization, topic convergence, conversational activation, etc. . These goals are given in advance by a person (e.g. a presenter, one of the subjects) or in the middle of a conversation.
Given information on the purpose of the conversation and the current topic, it is possible to select a desirable target person for the purpose of the conversation and the current topic.
図8は、話者選択部51が話者の選択のために参照するテーブル51Aの例を示す図である。
テーブル51Aには、会話の目的や現在の話題の一例である局面打開511、結論導出512、アイデア出し513、収束化514、活性化515の実現のために発言が望まれる話者の心理の状態510の例が記載されている。
図8に示すテーブル51Aの場合、局面打開511、アイデア出し513、活性化515については、心理の状態が「集中」である人の発言が促される。また、結論導出512、収束化514については、心理の状態が「リラックス」である人の発言が促される。
FIG. 8 is a diagram showing an example of a table 51A which the
In the table 51A, the state of the speaker's mental state where a speech is desired for realization of the
In the case of the table 51A shown in FIG. 8, with regard to the
話者選択部51(図7参照)は、このテーブル51Aと、補正テーブル42A(図6参照)と、補正後の性格の傾向と、心身の状態とに基づいて話者を選択する。
具体的には、話者選択部51は、まず与えられた話題に応じてテーブル51Aを参照して発言を促す心理の状態の情報を求め、次に選択の対象である複数人の話者の中で発言を促す心理の状態にある人を選択する。
さらに、この実施の形態の場合、話者選択部51は、補正テーブル42Aを参照し、特定の心理の状態によって強められる性格上の傾向を有する人を優先し、発話を促すべき話者として選択する。
The speaker selection unit 51 (see FIG. 7) selects a speaker based on the table 51A, the correction table 42A (see FIG. 6), the tendency of the character after correction, and the state of mind and body.
More specifically, the
Furthermore, in the case of this embodiment, the
例えば話者を選択する基準が結論導出512である場合、話者選択部51は、テーブル51Aよりリラックスの状態にある人に着目し、更にリラックスの状態によって性格上の傾向が強められる性格上の傾向(「真面目」、「妥協性あり」、「積極的」、「創造的」)を有する人を話者として選択する。
該当する人が複数存在する場合には、予め定めた条件に従って話者を選択する。ここでの選択は、例えば該当者の全員でもよいし、一部の人の選択でもよい。また、性格上の傾向まで満たす人がいない場合には、リラックスの状態にある人を優先してもよい。
選択された話者の情報は、スピーカなどを通じて出力されてもよいし、司会者や会話の進行を管理している人に支援のための情報として提供されてもよい。
話者選択部51の機能はプログラムの実行を通じて実現される。プログラムの一例には、人工知能プログラム、ディープラーニングプログラム、機械学習プログラムがある。
For example, when the criterion for selecting a speaker is the
When there are a plurality of corresponding persons, a speaker is selected in accordance with predetermined conditions. The selection here may be, for example, all of the corresponding persons or a selection of some persons. In addition, when there is no person who satisfies the tendency of personality, the person in the state of relaxation may be given priority.
Information of the selected speaker may be output through a speaker or the like, or may be provided as information for support to the presenter or a person who controls the progress of the conversation.
The function of the
<実施の形態の効果>
本実施の形態に係る会話支援システム1を用いれば、会話に参加している対象者について事前に推定された性格上の傾向を現在の心身の状態に応じて補正できる。例えば真面目な人であっても、体調が悪い状態では本来の真面目さや積極性が弱まっている可能性がある。また、集中した状態であれば、より積極的な反応や行動を期待することが期待される。
<Effect of the embodiment>
By using the
このように、補正後の性格上の傾向を利用すれば、事前の推定の時点ではなく、利用の時点における性格上の傾向を正確に反映した情報を各種の処理に用いることができる。
本実施の形態では、各種の処理動作の一例として話者の選択に使用している。
会話の実行時における心身の状態に応じて補正された性格上の傾向に基づいて話者を選択することで、会話の参加者の間で交わされる会話を充実させることができる。
また、会話支援部50による選択の情報を対象者に提供することにより、会話の質を高めるための気づきを与えることができる。
会話の目的や現在の話題に応じた対象者の発話が促されることで、会話の質の向上が期待される。
As described above, by utilizing the character tendency after correction, information that accurately reflects the character tendency at the time of use can be used for various processes, not at the time of prior estimation.
In the present embodiment, it is used for speaker selection as an example of various processing operations.
By selecting the speaker based on the personality tendency corrected according to the physical and mental state at the time of execution of the conversation, the conversation performed between the participants of the conversation can be enhanced.
Further, by providing the information of the selection by the
By prompting the target person's speech according to the purpose of the conversation and the current topic, it is expected to improve the quality of the conversation.
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲には限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
<Other Embodiments>
As mentioned above, although embodiment of this invention was described, the technical scope of this invention is not limited to the range as described in embodiment mentioned above. It is also apparent from the scope of the claims that the embodiments described above with various changes or improvements are included in the technical scope of the present invention.
例えば前述の実施の形態では、補正後の性格上の傾向を複数人による会話の支援に用いているが、補正後の性格上の傾向の利用する用途はこれに限らない。例えば対象者の反応や行動の予測に用いてもよい。また、対象者に応じた語り掛け方の選択や話題の選択に用いてもよい。
前述の実施の形態の説明では、性格上の傾向が体調異常によって弱められる場合について説明したが、体調が良好であると判定された場合(例えば事前に定めた体温や脈拍の条件を満たす場合)には性格上の傾向が強められてもよい。
For example, in the above-mentioned embodiment, although the character tendency after correction is used for supporting conversations with a plurality of people, the application using the character tendency after correction is not limited to this. For example, it may be used to predict the reaction or behavior of the subject. Moreover, you may use for the selection of how to talk according to an object person, and the selection of a topic.
Although the case where the tendency in personality is weakened by the physical condition was explained in the explanation of the above-mentioned embodiment, when it is judged that the physical condition is good (for example, in the case of satisfying the predetermined temperature and pulse conditions) The personality tendency may be strengthened.
1…会話支援システム、2…性格推定装置、3…会話支援装置、4…クラウドネットワーク、10…性格傾向診断部、11…画像取込部、12…筆跡タイプ分類部、13…筆跡特徴データベース、14…性格傾向出力部、20…性格傾向データベース、30…生体情報センサ、31…体温センサ、32…脈拍センサ、33…脳波センサ、40…性格傾向補正部、41…心身の状態推定部、42…補正部、50…会話支援部、51…話者選択部
DESCRIPTION OF
Claims (13)
を有する情報処理装置。 An information processing apparatus, comprising: a correction unit configured to correct a tendency of a character estimated in advance for a subject based on current biometric information of the subject.
を有する情報処理システム。 An information processing system, comprising: a correction unit configured to correct a tendency of a character estimated in advance for a subject based on current biometric information of the subject.
対象者について事前に推定された性格上の傾向を、当該対象者の現在の生体情報に基づいて補正する補正手段
として機能させるプログラム。 Computer,
A program that functions as a correction unit that corrects a tendency in personality estimated in advance for a subject based on the current biological information of the subject.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017207299A JP7033776B2 (en) | 2017-10-26 | 2017-10-26 | Information processing equipment, information processing systems and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017207299A JP7033776B2 (en) | 2017-10-26 | 2017-10-26 | Information processing equipment, information processing systems and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019076596A true JP2019076596A (en) | 2019-05-23 |
JP7033776B2 JP7033776B2 (en) | 2022-03-11 |
Family
ID=66628496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017207299A Active JP7033776B2 (en) | 2017-10-26 | 2017-10-26 | Information processing equipment, information processing systems and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7033776B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310034A (en) * | 2003-03-24 | 2004-11-04 | Matsushita Electric Works Ltd | Interactive agent system |
JP2005242499A (en) * | 2004-02-25 | 2005-09-08 | Sanyo Electric Co Ltd | Communication system and information processing method |
JP2006061632A (en) * | 2004-08-30 | 2006-03-09 | Ishisaki:Kk | Emotion data supplying apparatus, psychology analyzer, and method for psychological analysis of telephone user |
JP2008217274A (en) * | 2007-03-01 | 2008-09-18 | Equos Research Co Ltd | Driver status determination device and operation support device |
JP2010089346A (en) * | 2008-10-07 | 2010-04-22 | Mitsubishi Pencil Co Ltd | Ballpoint pen with diagnostic function and pen system |
JP2017054095A (en) * | 2015-09-08 | 2017-03-16 | 株式会社Compass | Learning support system, electronic apparatus, server device, information processing device, and program |
US20170071524A1 (en) * | 2015-09-14 | 2017-03-16 | Grit Research Institute | Method of correcting distortion of psychological test using user's biometric data |
-
2017
- 2017-10-26 JP JP2017207299A patent/JP7033776B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310034A (en) * | 2003-03-24 | 2004-11-04 | Matsushita Electric Works Ltd | Interactive agent system |
JP2005242499A (en) * | 2004-02-25 | 2005-09-08 | Sanyo Electric Co Ltd | Communication system and information processing method |
JP2006061632A (en) * | 2004-08-30 | 2006-03-09 | Ishisaki:Kk | Emotion data supplying apparatus, psychology analyzer, and method for psychological analysis of telephone user |
JP2008217274A (en) * | 2007-03-01 | 2008-09-18 | Equos Research Co Ltd | Driver status determination device and operation support device |
JP2010089346A (en) * | 2008-10-07 | 2010-04-22 | Mitsubishi Pencil Co Ltd | Ballpoint pen with diagnostic function and pen system |
JP2017054095A (en) * | 2015-09-08 | 2017-03-16 | 株式会社Compass | Learning support system, electronic apparatus, server device, information processing device, and program |
US20170071524A1 (en) * | 2015-09-14 | 2017-03-16 | Grit Research Institute | Method of correcting distortion of psychological test using user's biometric data |
Also Published As
Publication number | Publication date |
---|---|
JP7033776B2 (en) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Can et al. | Personal stress-level clustering and decision-level smoothing to enhance the performance of ambulatory stress detection with smartwatches | |
US10523614B2 (en) | Conversation agent | |
King et al. | Micro-stress EMA: A passive sensing framework for detecting in-the-wild stress in pregnant mothers | |
Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
JP5958825B2 (en) | KANSEI evaluation system, KANSEI evaluation method, and program | |
Schmalzl et al. | Training of familiar face recognition and visual scan paths for faces in a child with congenital prosopagnosia | |
Wang et al. | Multi-modal emotion recognition using EEG and speech signals | |
KR102277820B1 (en) | The psychological counseling system and the method thereof using the feeling information and response information | |
CN108888277B (en) | Psychological test method, psychological test system and terminal equipment | |
Roets et al. | Why some hate to dilly-dally and others do not: The arousal-invoking capacity of decision-making for low-and high-scoring need for closure individuals | |
Seo et al. | Deep learning approach for detecting work-related stress using multimodal signals | |
JP2004310034A (en) | Interactive agent system | |
de Santos Sierra et al. | Two stress detection schemes based on physiological signals for real-time applications | |
Francis et al. | Listener characteristics differentially affect self-reported and physiological measures of effort associated with two challenging listening conditions | |
Bee et al. | Autoselect: What you want is what you get: Real-time processing of visual attention and affect | |
Dang et al. | Stress game: The role of motivational robotic assistance in reducing user’s task stress | |
van den Broek et al. | Unobtrusive sensing of emotions (USE) | |
JP2022045493A (en) | Signal processing apparatus, signal processing method, and signal processing program | |
Hansen et al. | Fixating, attending, and observing: A behavior analytic eye-movement analysis | |
JP7033776B2 (en) | Information processing equipment, information processing systems and programs | |
Ekiz et al. | Long short-term memory network based unobtrusive workload monitoring with consumer grade smartwatches | |
Mantri et al. | Cumulative video analysis based smart framework for detection of depression disorders | |
Dumitriu et al. | Experimental analysis of emotion classification techniques | |
Akash et al. | Sleep Apnea Detection from Single-Lead ECG A Comprehensive Analysis of Machine Learning and Deep Learning Algorithms | |
JP7300929B2 (en) | Cognitive function promotion support system, learning system, estimation system, and cognitive function promotion support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210318 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210416 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7033776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |