JP2020527741A - 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム - Google Patents
学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム Download PDFInfo
- Publication number
- JP2020527741A JP2020527741A JP2019568674A JP2019568674A JP2020527741A JP 2020527741 A JP2020527741 A JP 2020527741A JP 2019568674 A JP2019568674 A JP 2019568674A JP 2019568674 A JP2019568674 A JP 2019568674A JP 2020527741 A JP2020527741 A JP 2020527741A
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- display element
- segments
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 66
- 230000015654 memory Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims description 78
- 238000012552 review Methods 0.000 title claims description 55
- 230000001360 synchronised effect Effects 0.000 claims description 67
- 230000002996 emotional effect Effects 0.000 claims description 51
- 230000033001 locomotion Effects 0.000 claims description 47
- 230000000007 visual effect Effects 0.000 claims description 30
- 230000008451 emotion Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 11
- 239000013074 reference sample Substances 0.000 claims description 6
- 230000006855 networking Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims 1
- 230000006998 cognitive state Effects 0.000 description 88
- 238000010586 diagram Methods 0.000 description 42
- 230000001953 sensory effect Effects 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 32
- 239000000463 material Substances 0.000 description 28
- 230000008569 process Effects 0.000 description 28
- 210000003128 head Anatomy 0.000 description 11
- 230000002596 correlated effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000019771 cognition Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003931 cognitive performance Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010021703 Indifference Diseases 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/02—Counting; Calculating
- G09B19/025—Counting; Calculating with electrically operated apparatus or devices
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Psychology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Educational Administration (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Entrepreneurship & Innovation (AREA)
- Electrically Operated Instructional Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Description
本願は、参照によりその内容の全体を本明細書に組み込む、米国仮出願第62/518824号の優先権を主張する。
//www.youtube.com/watch?v=skyvzMxtLu8&feature=youtu.be、最終アクセス日時2017年12月11日を参照されたい。
10 電子ボード
11 カメラ
13 認知状態センサ
21 黒板
24 サーバ
30 レビュー装置
31 プロセッサ
32 ディスプレイ
33 ネットワークカード
34 メモリ
35 ユーザインタフェース
60 レビュー装置
61 プロセッサ
61a 同期装置
61b 認知状態決定装置
61c タイムライン生成器
61d スピーチ/テキスト変換器
62 メモリ
63 出力装置
Claims (19)
- 個人用の感情に基づく認知支援システムであって、
ユーザが観察する同期した視覚情報およびオーディオ情報を含むデータを環境から取り込むように構成される少なくとも1つの装置と、
前記装置によって取り込まれた前記データと同期した、前記ユーザの感情状態を取り込むように構成される少なくとも1つのセンサと、
メモリおよびプロセッサを含むレビュー装置であって、前記プロセッサが、
前記装置によって取り込まれた前記データを、所定の基準に従って複数のセグメントに分割し、
前記複数のセグメントのそれぞれについて、前記複数のセグメントのうちのそれぞれのセグメントに対応する前記センサによって取り込まれた前記ユーザの前記感情状態の所定の構成要素と、前記メモリに格納された特有の直感参照サンプルを表す特有の参照信号との間の比較から生成される、相関のタイプおよび相関のレベルを含む前記ユーザの直感状態を決定し、
少なくとも1つのタイムラインを生成し、
前記複数のセグメントのそれぞれについて、前記ユーザの前記決定した直感状態を示す感情インジケータを含めて、前記生成したタイムラインを表示するように制御する
ように構成される、レビュー装置と
を備える、個人用の感情に基づく認知支援システム。 - 前記データが、互いに同期した前記視覚情報および前記オーディオ情報を含み、
前記レビュー装置が、
前記タイムラインを表示し、前記ビデオ情報を順番に表示するように構成されるディスプレイと、
前記複数のセグメントの前記オーディオ情報を同期したテキストおよびシンボルに変換するように構成されるスピーチ/テキスト変換器であり、前記オーディオ情報が、一時停止点に基づいて、または所定の長さに到達したかどうかに基づいて、前記複数のセグメントに分割される、スピーチ/テキスト変換器と
をさらに含み、
前記プロセッサが、複数の表示要素を生成し、前記複数の表示要素がそれぞれ、前記複数のセグメントのうちのそれぞれのセグメント、および前記スピーチ/テキスト変換器によって変換された対応するテキストを含み、
前記ディスプレイが、前記生成された複数の表示要素のうちの少なくとも一部を表示するようにさらに構成される、
請求項1に記載の個人用の感情に基づく認知支援システム。 - 前記ディスプレイが、
前記キャプチャしたビデオ情報を再生する第1の領域と、
前記生成された複数の表示領域のうちの前記少なくとも一部を表示する第2の領域であって、前記生成された複数の表示要素のうちの前記少なくとも一部が、前記第1の領域で現在再生されているビデオの一部分に対応する現在表示要素、前記現在表示要素より先行する前記複数の表示要素のうちの少なくとも1つの表示要素、および前記現在表示要素に後続する前記複数の表示要素のうちの少なくとも1つの表示要素を含む、第2の領域と
を含む少なくとも2つの表示領域を表示し、
前記複数の表示要素がそれぞれ、前記複数の表示要素のうちのそれぞれの表示要素についての前記ユーザの前記決定した直感状態を示すマークおよび濃淡のうちの少なくとも1つを含む、
請求項2に記載の個人用の感情に基づく認知支援システム。 - 前記表示装置が、ユーザ入力を受け取るように構成されるユーザ入力インタフェースをさらに含み、
前記複数の表示要素からの表示要素の選択を示す前記ユーザ入力インタフェースを介して受け取ったユーザ入力に応答して、前記プロセッサが、前記選択された表示要素を前記現在表示要素として設定し、前記現在表示要素より先行する前記少なくとも1つの表示要素および前記現在表示要素に後続する前記少なくとも1つの表示要素を決定し、前記ディスプレイが、前記現在表示要素、前記決定した少なくとも1つの先行する表示要素、および前記少なくとも1つの将来の表示要素を表示する、
請求項3に記載の個人用の感情に基づく認知支援システム。 - 前記プロセッサが、前記ユーザ入力インタフェースを介して受け取ったユーザ入力に基づいて、前記複数の表示要素についてスクロール機能およびズーム機能のうちの少なくとも1つを実行するようにディスプレイを制御するようにさらに構成される、請求項4に記載の個人用の感情に基づく認知支援システム。
- 前記レビュー装置が、前記ディスプレイ上の中央ウィンドウである前記第2の領域内に表示される表示要素と同期した、前記ユーザによる相関付けおよびリハーサルのスケッチ、挿入、およびメモ作成を実現するように構成される入力装置とさらに統合される、請求項4に記載の個人用の感情に基づく認知支援システム。
- 前記プロセッサが、画像、グラフ、テキスト、およびスケッチのうちの少なくとも1つを検索し、取り出し、前記ディスプレイの第3の領域に挿入するようにさらに構成され、画像、グラフ、テキスト、およびスケッチのうちの前記少なくとも1つが、前記現在表示要素に関係する、請求項4に記載の個人用の感情に基づく認知支援システム。
- 前記装置が、前記ユーザの頭部に装着されたビデオカメラであり、
前記レビュー装置の前記プロセッサが、
前記ビデオカメラによって取り込まれた前記視覚情報の複数の画像中で静止オブジェクトを検出し、
前記複数の画像に基づいて、参照フレームの境界縁部において前記検出した静止オブジェクトの動きを検出し、
前記検出した動きに基づいて前記ユーザの認知状態または感情状態を検出する
ようにさらに構成され、
前記生成したタイムラインが、前記ユーザの前記検出した認知状態または感情状態を含み、前記静止オブジェクトの前記検出した動きが、前記ユーザがタスクを実行していることを示す、
請求項1に記載の個人用の感情に基づく認知支援システム。 - 前記データが、互いに同期した前記視覚情報および前記オーディオ情報を含み、
前記レビュー装置が、
前記タイムラインを表示し、前記ビデオ情報を順番に表示するように構成されるディスプレイと、
前記複数のセグメントの感情動き情報を同期したスケッチおよびシンボルに変換するように構成される動き/スケッチ変換器であって、前記感情動き情報が、一時停止点に基づいて、または所定の長さに到達したかどうかに基づいて、前記複数のセグメントに分割される、動き/スケッチ変換器と
をさらに含み、
前記プロセッサが、複数の表示要素を生成し、前記複数の表示要素がそれぞれ、前記複数のセグメントのうちのそれぞれのセグメントと、前記動き/スケッチ変換器によって変換された対応するスケッチおよびシンボルとを含み、
前記ディスプレイが、前記生成された複数の表示要素のうちの少なくとも一部を表示するようにさらに構成される、
請求項1に記載の個人用の感情に基づく認知支援システム。 - 前記プロセッサが、前記ユーザが加入しているソーシャルネットワーキングサービスの複数の友達を表示するようにディスプレイを制御するようにさらに構成される、請求項1に記載の個人用の感情に基づく認知支援システム。
- 前記プロセッサが、前記複数のセグメントのうちの1つについての前記複数の友達のうちの少なくとも1人による少なくとも1つのコメントを表示するように前記ディスプレイを制御するようにさらに構成される、請求項10に記載の個人用の感情に基づく認知支援システム。
- 個人用の感情に基づく認知支援方法であって、
コンピュータが、ユーザが観察している環境から取り込まれた視覚情報およびオーディオ情報のうちの少なくとも1つを含むデータを受け取るステップと、
前記コンピュータが、少なくとも1つのセンサによって取り込まれた、前記データに対応する前記ユーザの感情状態を受け取るステップと、
前記コンピュータが、所定の基準に従って前記データを複数のセグメントに分割するステップと、
前記複数のセグメントのそれぞれについて、前記コンピュータが、前記複数のセグメントのうちのそれぞれのセグメントに対応する前記ユーザの前記受け取った感情状態の所定の構成要素と、メモリに格納された複数の特有の参照信号との間の比較から生成される、相関のタイプおよび相関のレベルを含む前記ユーザの直感状態を決定するステップであって、前記特有の参照信号が、特有の直感参照サンプルを表す、ステップと、
前記コンピュータが、前記データについて少なくとも1つのタイムラインを生成するステップであって、前記少なくとも1つのタイムラインが、前記ユーザの前記決定した直感状態を示す、前記複数のセグメントのそれぞれについての感情インジケータを含む、ステップと、
前記コンピュータが、前記生成したタイムライン、および前記受け取ったデータの少なくとも一部分を出力するステップと
を含む、個人用の感情に基づく認知支援方法。 - 前記データが、互いに同期した前記視覚情報および前記オーディオ情報を含む、請求項12に記載の個人用の感情に基づく認知支援方法。
- 前記出力するステップが、前記生成したタイムラインを表示し、前記ビデオ情報を順番に表示するステップを含み、
前記方法が、
前記複数のセグメントの前記同期した視覚情報およびオーディオ情報を同期したテキスト、スケッチ、およびシンボルのうちの少なくとも1つに変換するステップであって、前記同期した視覚情報およびオーディオ情報が、一時停止点に基づいて、または所定の長さに到達したかどうかに基づいて、前記複数のセグメントに分割される、ステップと、
複数の表示要素を生成するステップであり、前記複数の表示要素がそれぞれ、前記複数のセグメントのうちのそれぞれのセグメントと、対応する変換されたテキスト、スケッチ、およびシンボルのうちの少なくとも1つとを含む、ステップと、
前記生成した複数の表示要素のうちの少なくとも一部を表示するステップと
をさらに含む、請求項13に記載の個人用の感情に基づく認知支援方法。 - 前記表示するステップが、
前記キャプチャしたビデオ情報を再生する第1の領域と、
前記生成された複数の表示領域のうちの前記少なくとも一部を表示する第2の領域を含む、
少なくとも2つの表示領域を表示するステップを含み、
前記生成された複数の表示要素のうちの前記少なくとも一部が、前記第1の領域で現在再生されているビデオの一部分に対応する現在表示要素、前記現在表示要素より先行する前記複数の表示要素のうちの少なくとも1つの表示要素、および前記現在表示要素に後続する前記複数の表示要素のうちの少なくとも1つの表示要素を含み、
前記複数の表示要素がそれぞれ、前記複数の表示要素のうちのそれぞれの表示要素についての前記ユーザの前記決定した直感状態を示すマークおよび濃淡のうちの少なくとも1つを含む、
請求項14に記載の個人用の感情に基づく認知支援方法。 - ユーザ入力インタフェースを介してユーザ入力を受け取るステップをさらに含み、
前記複数の表示要素からの表示要素の選択を示す前記受け取ったユーザ入力に応答して、前記選択された表示要素を前記現在表示要素として設定し、前記現在表示要素より先行する前記少なくとも1つの表示要素および前記現在表示要素に後続する前記少なくとも1つの表示要素を決定し、前記現在表示要素、前記決定した少なくとも1つの先行する表示要素、および前記少なくとも1つの将来の表示要素を表示する、
請求項15に記載の個人用の感情に基づく認知支援方法。 - 前記受け取ったユーザ入力に基づいて、前記複数の表示要素についてスクロール機能およびズーム機能のうちの少なくとも1つを実行するステップをさらに含む、請求項16に記載の個人用の感情に基づく認知支援方法。
- 画面上の中央ウィンドウである前記第2の領域内に表示される表示要素と同期した、前記ユーザから入力された相関付けおよびリハーサルのスケッチおよびメモのうちの少なくとも1つを受け取るステップをさらに含む、請求項17に記載の個人用の感情に基づく認知支援方法。
- コンピュータによって実行されたときに、前記コンピュータに、
ユーザが観察している環境から取り込まれた視覚情報およびオーディオ情報のうちの少なくとも1つを含むデータを受け取ることと、
少なくとも1つのセンサによって取り込まれた、前記データに対応する前記ユーザの感情状態を受け取ることと、
所定の基準に従って前記データを複数のセグメントに分割することと、
前記複数のセグメントのそれぞれについて、前記複数のセグメントのうちのそれぞれのセグメントに対応する前記ユーザの前記受け取った感情状態の所定の構成要素と、メモリに格納された複数の特有の参照信号との間の比較から生成される、相関のタイプおよび相関のレベルを含む前記ユーザの直感状態を決定することであって、前記特有の参照信号が、特有の直感参照サンプルを表す、決定することと、
前記データについて少なくとも1つのタイムラインを生成することであって、前記少なくとも1つのタイムラインが、前記ユーザの前記決定した直感状態を示す、前記複数のセグメントのそれぞれについての感情インジケータを含む、生成することと、
前記生成したタイムライン、および前記受け取ったデータの少なくとも一部分を出力することと
を行わせる個人用の感情に基づく認知支援方法を格納した、非一時的コンピュータ可読記録媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762518824P | 2017-06-13 | 2017-06-13 | |
US62/518,824 | 2017-06-13 | ||
US15/870,210 | 2018-01-12 | ||
US15/870,210 US10127825B1 (en) | 2017-06-13 | 2018-01-12 | Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization |
PCT/US2018/032516 WO2018231403A1 (en) | 2017-06-13 | 2018-05-14 | Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6742545B1 JP6742545B1 (ja) | 2020-08-19 |
JP2020527741A true JP2020527741A (ja) | 2020-09-10 |
Family
ID=64050939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568674A Expired - Fee Related JP6742545B1 (ja) | 2017-06-13 | 2018-05-14 | 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム |
Country Status (10)
Country | Link |
---|---|
US (2) | US10127825B1 (ja) |
EP (1) | EP3639255A4 (ja) |
JP (1) | JP6742545B1 (ja) |
KR (1) | KR102140075B1 (ja) |
CN (1) | CN111213197B (ja) |
AU (2) | AU2018283906A1 (ja) |
CA (1) | CA3067017C (ja) |
MY (1) | MY202173A (ja) |
SG (1) | SG11201911766WA (ja) |
WO (1) | WO2018231403A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7473917B2 (ja) | 2020-10-21 | 2024-04-24 | 株式会社デジタル・ナレッジ | 教材オーサリングシステム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10661145B2 (en) * | 2018-06-20 | 2020-05-26 | BTE Enterprises, LLC | Sports swing training device |
US11133099B2 (en) * | 2018-07-13 | 2021-09-28 | International Business Machines Corporation | Memory recall assistance for memory loss |
USD881044S1 (en) * | 2018-10-05 | 2020-04-14 | Fuvi Cognitive Network Corp. | Wearable apparatus for intuition based cognitive assistant |
US10664489B1 (en) * | 2018-11-16 | 2020-05-26 | Fuvi Cognitive Network Corp. | Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user |
JPWO2020116193A1 (ja) * | 2018-12-07 | 2020-06-11 | ||
US11514805B2 (en) * | 2019-03-12 | 2022-11-29 | International Business Machines Corporation | Education and training sessions |
CN110495854B (zh) * | 2019-07-30 | 2022-08-05 | 科大讯飞股份有限公司 | 特征提取方法、装置、电子设备及存储介质 |
WO2021028501A1 (fr) * | 2019-08-12 | 2021-02-18 | 100 Brevets Pour La French Tech | Procédé et système d'enrichissement d'un contenu numérique représentatif d'une conversation |
US20220084543A1 (en) * | 2020-01-21 | 2022-03-17 | Rishi Amit Sinha | Cognitive Assistant for Real-Time Emotion Detection from Human Speech |
US11120705B2 (en) * | 2020-02-13 | 2021-09-14 | Fuvi Cognitive Network Corp. | Apparatus, method, and system of cognitive assistance for transforming multimedia content into a cognitive formation |
US11210962B2 (en) | 2020-04-14 | 2021-12-28 | A.R. Head Ventures Ltd | Electronic display and method for memorizing themes |
CN112220479A (zh) * | 2020-09-04 | 2021-01-15 | 陈婉婷 | 基于遗传算法的被审讯单体情绪判断方法、装置和设备 |
CN112185191B (zh) * | 2020-09-21 | 2022-08-16 | 信阳职业技术学院 | 一种智能数字化教学模型 |
CN112259083B (zh) * | 2020-10-16 | 2024-02-13 | 北京猿力未来科技有限公司 | 音频处理方法及装置 |
WO2022160842A1 (zh) * | 2021-01-26 | 2022-08-04 | 华中师范大学 | 一种基于脑电数据的学生协作状态评估方法及系统 |
KR102303074B1 (ko) * | 2021-02-25 | 2021-09-17 | 주식회사 한국이러닝개발원 | 타임 마그넷 이러닝 시스템 |
US20220335848A1 (en) * | 2021-04-14 | 2022-10-20 | Western Governors University | Curriculum Architecture Tool |
TWI833570B (zh) * | 2023-02-06 | 2024-02-21 | 亞東學校財團法人亞東科技大學 | 輕度認知障礙語音檢測系統 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010013892A1 (en) * | 1997-09-26 | 2001-08-16 | Ultrak, Inc. | Furnace video camera apparatus |
JP2011007963A (ja) * | 2009-06-24 | 2011-01-13 | Tokyo Denki Univ | 遠隔学習システム及び遠隔学習方法 |
US20140032817A1 (en) * | 2012-07-27 | 2014-01-30 | International Business Machines Corporation | Valid page threshold based garbage collection for solid state drive |
US9164590B2 (en) * | 2010-12-24 | 2015-10-20 | Kevadiya, Inc. | System and method for automated capture and compaction of instructional performances |
WO2015179522A1 (en) * | 2014-05-21 | 2015-11-26 | Akili Interactive Labs, Inc. | Processor-implemented systems and methods for enhancing cognitive abilities by personalizing cognitive training regimens |
US9721614B2 (en) * | 2014-02-17 | 2017-08-01 | Lg Electronics Inc. | Display device and control method thereof |
US9761277B2 (en) * | 2012-11-01 | 2017-09-12 | Sony Corporation | Playback state control by position change detection |
US20170351330A1 (en) * | 2016-06-06 | 2017-12-07 | John C. Gordon | Communicating Information Via A Computer-Implemented Agent |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6190314B1 (en) * | 1998-07-15 | 2001-02-20 | International Business Machines Corporation | Computer input device with biosensors for sensing user emotions |
US6513046B1 (en) * | 1999-12-15 | 2003-01-28 | Tangis Corporation | Storing and recalling information to augment human memories |
US20130211238A1 (en) * | 2001-01-30 | 2013-08-15 | R. Christopher deCharms | Methods for physiological monitoring, training, exercise and regulation |
US6595781B2 (en) * | 2001-06-20 | 2003-07-22 | Aspen Research | Method and apparatus for the production and integrated delivery of educational content in digital form |
US6904263B2 (en) * | 2001-08-01 | 2005-06-07 | Paul Grudnitski | Method and system for interactive case and video-based teacher training |
US9300790B2 (en) * | 2005-06-24 | 2016-03-29 | Securus Technologies, Inc. | Multi-party conversation analyzer and logger |
US9101279B2 (en) * | 2006-02-15 | 2015-08-11 | Virtual Video Reality By Ritchey, Llc | Mobile user borne brain activity data and surrounding environment data correlation system |
US10198958B2 (en) * | 2007-05-04 | 2019-02-05 | Freer Logic | Method and apparatus for training a team by employing brainwave monitoring and synchronized attention levels of team trainees |
US20140033025A1 (en) * | 2007-12-06 | 2014-01-30 | Adobe Systems Incorporated | Displaying a text-based description of digital content in a sub-frame |
JP5133678B2 (ja) * | 2007-12-28 | 2013-01-30 | 株式会社ベネッセコーポレーション | 動画再生システム及びその制御方法 |
US20100100546A1 (en) * | 2008-02-08 | 2010-04-22 | Steven Forrest Kohler | Context-aware semantic virtual community for communication, information and knowledge management |
US8334793B2 (en) * | 2009-10-14 | 2012-12-18 | Fujitsu Limited | Systems and methods for indexing media files using brainwave signals |
KR20110107454A (ko) * | 2010-03-25 | 2011-10-04 | 최영민 | 학습 몰입 강화를 위한 온라인 학습 시스템 및 방법 |
US10111611B2 (en) * | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
US10869626B2 (en) * | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
US20120047437A1 (en) * | 2010-08-23 | 2012-02-23 | Jeffrey Chan | Method for Creating and Navigating Link Based Multimedia |
US20120236201A1 (en) * | 2011-01-27 | 2012-09-20 | In The Telling, Inc. | Digital asset management, authoring, and presentation techniques |
US9355110B1 (en) * | 2011-07-14 | 2016-05-31 | Google Inc. | Dynamic presentation of data items based on prioritized associations |
IN2014CN04748A (ja) * | 2011-12-16 | 2015-09-18 | Koninkl Philips Nv | |
US9560094B2 (en) * | 2012-02-02 | 2017-01-31 | Tata Consultancy Services Limited | System and method for identifying and analyzing personal context of a user |
JP6044553B2 (ja) * | 2012-02-10 | 2016-12-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10646166B2 (en) * | 2012-03-23 | 2020-05-12 | National Institute Of Japan Science And Technology Agency | Personal genome information environment providing device, personal genome information environment providing method, and computer program product |
US9224309B2 (en) * | 2012-04-02 | 2015-12-29 | Wisconsin Alumni Research Foundation | Teaching system for improving information retention based on brain-state monitoring |
US8864310B2 (en) * | 2012-05-01 | 2014-10-21 | RightEye, LLC | Systems and methods for evaluating human eye tracking |
US20130308922A1 (en) * | 2012-05-15 | 2013-11-21 | Microsoft Corporation | Enhanced video discovery and productivity through accessibility |
US8924327B2 (en) * | 2012-06-28 | 2014-12-30 | Nokia Corporation | Method and apparatus for providing rapport management |
US9349100B2 (en) * | 2012-08-30 | 2016-05-24 | International Business Machines Corporation | Method for providing a prompt for real-time cognitive assistance |
US10009644B2 (en) * | 2012-12-04 | 2018-06-26 | Interaxon Inc | System and method for enhancing content using brain-state data |
US20150012442A1 (en) * | 2013-03-14 | 2015-01-08 | Bill.Com, Inc. | Enhanced system and method for scanning and processing of payment documentation |
CA3187490A1 (en) * | 2013-03-15 | 2014-09-18 | Interaxon Inc. | Wearable computing apparatus and method |
US9681186B2 (en) * | 2013-06-11 | 2017-06-13 | Nokia Technologies Oy | Method, apparatus and computer program product for gathering and presenting emotional response to an event |
US20150079560A1 (en) * | 2013-07-03 | 2015-03-19 | Jonathan Daniel Cowan | Wearable Monitoring and Training System for Focus and/or Mood |
CN109871259A (zh) * | 2013-08-16 | 2019-06-11 | 运软网络科技(上海)有限公司 | 一种仿脑计算虚拟化的方法和系统 |
JP6154075B2 (ja) * | 2013-08-19 | 2017-06-28 | ノキア テクノロジーズ オーユー | オブジェクト検出及び分割の方法,装置,コンピュータプログラム製品 |
KR102111521B1 (ko) * | 2013-09-12 | 2020-05-15 | 대우조선해양 주식회사 | 압축공기 분사 전류고정날개 및 그 압축공기 분사 전류고정날개를 이용한 프로펠러의 캐비테이션 손상방지 시스템 |
KR20150030491A (ko) * | 2013-09-12 | 2015-03-20 | 주식회사 펀에듀 | 오감을 이용하는 교육 서비스 시스템 및 이를 위한 방법 |
US10013892B2 (en) * | 2013-10-07 | 2018-07-03 | Intel Corporation | Adaptive learning environment driven by real-time identification of engagement level |
US20150213002A1 (en) * | 2014-01-24 | 2015-07-30 | International Business Machines Corporation | Personal emotion state monitoring from social media |
US10321842B2 (en) * | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
US9943698B2 (en) * | 2014-04-22 | 2018-04-17 | Lockheed Martin Corporation | Cognitive enhancement using feedback |
US20160042648A1 (en) * | 2014-08-07 | 2016-02-11 | Ravikanth V. Kothuri | Emotion feedback based training and personalization system for aiding user performance in interactive presentations |
US10120413B2 (en) * | 2014-09-11 | 2018-11-06 | Interaxon Inc. | System and method for enhanced training using a virtual reality environment and bio-signal data |
WO2016064314A1 (en) * | 2014-10-24 | 2016-04-28 | Telefonaktiebolaget L M Ericsson (Publ) | Customization of help information based on eeg data |
CN104680859B (zh) * | 2015-02-13 | 2017-02-15 | 绵阳点悟教育科技有限公司 | 一种自主学习系统及使用方法 |
CN105094315B (zh) * | 2015-06-25 | 2018-03-06 | 百度在线网络技术(北京)有限公司 | 基于人工智能的人机智能聊天的方法和装置 |
US9894266B2 (en) * | 2015-06-30 | 2018-02-13 | International Business Machines Corporation | Cognitive recording and sharing |
US10285634B2 (en) * | 2015-07-08 | 2019-05-14 | Samsung Electronics Company, Ltd. | Emotion evaluation |
TWI691929B (zh) * | 2016-02-17 | 2020-04-21 | 原相科技股份有限公司 | 互動式服務平台及其運作方法 |
US9711056B1 (en) | 2016-03-14 | 2017-07-18 | Fuvi Cognitive Network Corp. | Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills |
US20170315825A1 (en) * | 2016-05-02 | 2017-11-02 | John C. Gordon | Presenting Contextual Content Based On Detected User Confusion |
US20170330482A1 (en) * | 2016-05-12 | 2017-11-16 | Matthew J. Vendryes | User-controlled video language learning tool |
US10762429B2 (en) * | 2016-05-18 | 2020-09-01 | Microsoft Technology Licensing, Llc | Emotional/cognitive state presentation |
CN105825732A (zh) * | 2016-05-23 | 2016-08-03 | 河南科技学院 | 汉语言文学教学用辅助系统 |
CN109803572A (zh) * | 2016-07-27 | 2019-05-24 | 生物说股份有限公司 | 用于测量和管理生理情绪状态的系统和方法 |
US20180032126A1 (en) * | 2016-08-01 | 2018-02-01 | Yadong Liu | Method and system for measuring emotional state |
-
2018
- 2018-01-12 US US15/870,210 patent/US10127825B1/en active Active
- 2018-05-14 SG SG11201911766WA patent/SG11201911766WA/en unknown
- 2018-05-14 AU AU2018283906A patent/AU2018283906A1/en not_active Abandoned
- 2018-05-14 WO PCT/US2018/032516 patent/WO2018231403A1/en unknown
- 2018-05-14 KR KR1020207000908A patent/KR102140075B1/ko active IP Right Grant
- 2018-05-14 CN CN201880052218.8A patent/CN111213197B/zh not_active Expired - Fee Related
- 2018-05-14 MY MYPI2019007350A patent/MY202173A/en unknown
- 2018-05-14 CA CA3067017A patent/CA3067017C/en not_active Expired - Fee Related
- 2018-05-14 JP JP2019568674A patent/JP6742545B1/ja not_active Expired - Fee Related
- 2018-05-14 EP EP18816922.1A patent/EP3639255A4/en not_active Withdrawn
- 2018-08-24 US US16/111,675 patent/US10373510B2/en not_active Expired - Fee Related
-
2021
- 2021-01-20 AU AU2021200339A patent/AU2021200339A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010013892A1 (en) * | 1997-09-26 | 2001-08-16 | Ultrak, Inc. | Furnace video camera apparatus |
JP2011007963A (ja) * | 2009-06-24 | 2011-01-13 | Tokyo Denki Univ | 遠隔学習システム及び遠隔学習方法 |
US9164590B2 (en) * | 2010-12-24 | 2015-10-20 | Kevadiya, Inc. | System and method for automated capture and compaction of instructional performances |
US20140032817A1 (en) * | 2012-07-27 | 2014-01-30 | International Business Machines Corporation | Valid page threshold based garbage collection for solid state drive |
US9761277B2 (en) * | 2012-11-01 | 2017-09-12 | Sony Corporation | Playback state control by position change detection |
US9721614B2 (en) * | 2014-02-17 | 2017-08-01 | Lg Electronics Inc. | Display device and control method thereof |
WO2015179522A1 (en) * | 2014-05-21 | 2015-11-26 | Akili Interactive Labs, Inc. | Processor-implemented systems and methods for enhancing cognitive abilities by personalizing cognitive training regimens |
US20170351330A1 (en) * | 2016-06-06 | 2017-12-07 | John C. Gordon | Communicating Information Via A Computer-Implemented Agent |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7473917B2 (ja) | 2020-10-21 | 2024-04-24 | 株式会社デジタル・ナレッジ | 教材オーサリングシステム |
Also Published As
Publication number | Publication date |
---|---|
AU2018283906A1 (en) | 2020-01-02 |
MY202173A (en) | 2024-04-13 |
KR20200010564A (ko) | 2020-01-30 |
CN111213197A (zh) | 2020-05-29 |
EP3639255A1 (en) | 2020-04-22 |
CA3067017A1 (en) | 2018-12-20 |
JP6742545B1 (ja) | 2020-08-19 |
WO2018231403A1 (en) | 2018-12-20 |
CA3067017C (en) | 2021-01-19 |
US10373510B2 (en) | 2019-08-06 |
AU2021200339A1 (en) | 2021-03-18 |
US10127825B1 (en) | 2018-11-13 |
KR102140075B1 (ko) | 2020-07-31 |
EP3639255A4 (en) | 2021-04-07 |
SG11201911766WA (en) | 2020-01-30 |
US20180366014A1 (en) | 2018-12-20 |
CN111213197B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6742545B1 (ja) | 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム | |
Cukurova et al. | The promise and challenges of multimodal learning analytics | |
US10580317B2 (en) | Conditional provisioning of auxiliary information with a media presentation | |
US10614298B2 (en) | Generating auxiliary information for a media presentation | |
CN112652200A (zh) | 人机交互系统、方法、服务器、交互控制设备及存储介质 | |
Pham et al. | Predicting learners’ emotions in mobile MOOC learning via a multimodal intelligent tutor | |
US10872091B2 (en) | Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user | |
Baecher | Video in teacher learning: Through their own eyes | |
US10325509B2 (en) | Contemporaneous capture and tagging of media evidence for education evaluation | |
Ochoa | Multimodal systems for automated oral presentation feedback: A comparative analysis | |
Benta et al. | A multimodal affective monitoring tool for mobile learning | |
Peng et al. | Reading Students' Multiple Mental States in Conversation from Facial and Heart Rate Cues. | |
CN114830208A (zh) | 信息处理装置、信息处理方法和程序 | |
Van Helvert et al. | Observing, coaching and reflecting: A multi-modal natural language-based dialogue system in a learning context | |
Holt et al. | Building a multimodal corpus to study the development of techno-semio-pedagogical competence across different videoconferencing settings and languages | |
Peng et al. | Recognition of Students’ Multiple Mental States in Conversation Based on Multimodal Cues | |
Xue et al. | Inside out: Addressing the “how” of data collection in experience design research applying introspective methods | |
Pospiech et al. | Personalized Indexing of Attention in Lectures--Requirements and Concept | |
Needham | SSI: an open source platform for social signal interpretation | |
Aleven | Leveraging Multimodal Classroom Data for Teacher Reflection: Teachers’ Preferences, Practices, and Privacy Considerations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200128 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200128 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6742545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |