JP2022057959A - アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム - Google Patents
アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム Download PDFInfo
- Publication number
- JP2022057959A JP2022057959A JP2020166486A JP2020166486A JP2022057959A JP 2022057959 A JP2022057959 A JP 2022057959A JP 2020166486 A JP2020166486 A JP 2020166486A JP 2020166486 A JP2020166486 A JP 2020166486A JP 2022057959 A JP2022057959 A JP 2022057959A
- Authority
- JP
- Japan
- Prior art keywords
- user
- content
- unit
- area
- guidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Position Input By Displaying (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
に関する。
実施形態に係るアシストシステムは、コンテンツを視認するユーザをアシストするコンピュータシステムである。コンテンツとは、コンピュータまたはコンピュータシステムによって提供され、人が認識可能な情報のことをいう。コンテンツを示す電子データのことをコンテンツデータという。コンテンツの表現形式は限定されず、例えば、コンテンツは文書、画像(例えば、写真、映像など)、またはこれらの組合せによって表現されてもよい。コンテンツの目的および利用場面は限定されず、例えば、コンテンツは教育、ニュース、講演、商取引、エンターテインメント、医療、ゲーム、チャットなどの様々な目的で利用され得る。
図1は、実施形態に係るアシストシステム1の適用の一例を示す図である。本実施形態では、アシストシステム1はサーバ10を備える。サーバ10は、通信ネットワークNを介してユーザ端末20およびデータベース30と通信可能に接続される。通信ネットワークNの構成は限定されない。例えば、通信ネットワークNは、インターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。
図4は、アシストシステム1の動作を処理フローS1として示すフローチャートである。図4を参照して、アシストシステム1による処理の全体像を説明する。
以上説明したように、本開示の一側面に係るアイトラッキングシステムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、画面上に表示された第1コンテンツの部分領域をユーザに注視させるために、該部分領域を誘導領域として動的に設定し、誘導領域を注視するユーザの眼の動きに基づいて、画面における該ユーザの第1視点座標を特定し、特定された第1視点座標と、画面における誘導領域の領域座標との差分を算出し、画面上に表示された第2コンテンツを見るユーザの第2視点座標を、差分を用いて較正する。
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。
Claims (8)
- 少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
画面上に表示された第1コンテンツの部分領域をユーザに注視させるために、該部分領域を誘導領域として動的に設定し、
前記誘導領域を注視する前記ユーザの眼の動きに基づいて、前記画面における該ユーザの第1視点座標を特定し、
特定された前記第1視点座標と、前記画面における前記誘導領域の領域座標との差分を算出し、
前記画面上に表示された第2コンテンツを見る前記ユーザの第2視点座標を、前記差分を用いて較正する、
アイトラッキングシステム。 - 前記少なくとも一つのプロセッサが、前記部分領域の解像度が該部分領域以外の領域の解像度よりも高くなるように前記画面の解像度を調整することにより前記部分領域を前記誘導領域として設定する、
請求項1に記載のアイトラッキングシステム。 - 前記少なくとも一つのプロセッサが、前記部分領域以外の領域に対してぼかし処理を行うことにより前記部分領域を前記誘導領域として設定する、
請求項1または2に記載のアイトラッキングシステム。 - 前記少なくとも一つのプロセッサが、前記部分領域の外縁を枠線で囲むことによって前記部分領域を前記誘導領域として設定する、
請求項1~3のいずれか一項に記載のアイトラッキングシステム。 - 前記少なくとも一つのプロセッサが、前記ユーザによって選択可能な選択オブジェクトが表示されている領域を前記誘導領域として設定する、
請求項1~4のいずれか一項に記載のアイトラッキングシステム。 - 前記少なくとも一つのプロセッサが、前記第1コンテンツにおける前記誘導領域の設定箇所を変更し前記差分の算出を複数回行う、
請求項1~5のいずれか一項に記載のアイトラッキングシステム。 - 少なくとも一つのプロセッサを備えるアイトラッキングシステムによって実行されるアイトラッキング方法であって、
画面上に表示された第1コンテンツの部分領域をユーザに注視させるために、該部分領域を誘導領域として動的に設定するステップと、
前記誘導領域を注視する前記ユーザの眼の動きに基づいて、前記画面における該ユーザの第1視点座標を特定するステップと、
特定された前記第1視点座標と、前記画面における前記誘導領域の領域座標との差分を算出するステップと、
前記画面上に表示された第2コンテンツを見る前記ユーザの第2視点座標を、前記差分を用いて較正するステップと
を含むアイトラッキング方法。 - 画面上に表示された第1コンテンツの部分領域をユーザに注視させるために、該部分領域を誘導領域として動的に設定するステップと、
前記誘導領域を注視する前記ユーザの眼の動きに基づいて、前記画面における該ユーザの第1視点座標を特定するステップと、
特定された前記第1視点座標と、前記画面における前記誘導領域の領域座標との差分を算出するステップと、
前記画面上に表示された第2コンテンツを見る前記ユーザの第2視点座標を、前記差分を用いて較正するステップと
をコンピュータに実行させるアイトラッキングプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166486A JP7034228B1 (ja) | 2020-09-30 | 2020-09-30 | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
JP2021097530A JP2022058150A (ja) | 2020-09-30 | 2021-06-10 | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
US17/997,976 US20230210364A1 (en) | 2020-09-30 | 2021-09-01 | Eye tracking system, eye tracking method, and eye tracking program |
CN202180035662.0A CN115916032A (zh) | 2020-09-30 | 2021-09-01 | 眼动追踪系统、眼动追踪方法以及眼动追踪程序 |
PCT/JP2021/032163 WO2022070746A1 (ja) | 2020-09-30 | 2021-09-01 | アイトラッキングシステム、アイトラッキング方法、およびアイトラッキングプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166486A JP7034228B1 (ja) | 2020-09-30 | 2020-09-30 | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021097530A Division JP2022058150A (ja) | 2020-09-30 | 2021-06-10 | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7034228B1 JP7034228B1 (ja) | 2022-03-11 |
JP2022057959A true JP2022057959A (ja) | 2022-04-11 |
Family
ID=80950024
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020166486A Active JP7034228B1 (ja) | 2020-09-30 | 2020-09-30 | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
JP2021097530A Pending JP2022058150A (ja) | 2020-09-30 | 2021-06-10 | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021097530A Pending JP2022058150A (ja) | 2020-09-30 | 2021-06-10 | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230210364A1 (ja) |
JP (2) | JP7034228B1 (ja) |
CN (1) | CN115916032A (ja) |
WO (1) | WO2022070746A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087003A (ja) * | 2005-09-21 | 2007-04-05 | Fuji Xerox Co Ltd | 画像処理プログラム、装置および方法 |
JP2012065781A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 視線検出装置および補正係数算出プログラム |
WO2013179427A1 (ja) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
JP2017176414A (ja) * | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 制御装置および方法並びに手術システム |
JP2017215928A (ja) * | 2016-05-31 | 2017-12-07 | フォーブ インコーポレーテッド | 視線検出システム |
JP2020525251A (ja) * | 2017-06-23 | 2020-08-27 | アダプティブ センサリー テクノロジー,インク. | 視力とその変化を試験および分析するためのシステムおよび方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140247210A1 (en) * | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Zonal gaze driven interaction |
US20140375541A1 (en) * | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
US9851791B2 (en) * | 2014-11-14 | 2017-12-26 | Facebook, Inc. | Dynamic eye tracking calibration |
JP2017176411A (ja) | 2016-03-30 | 2017-10-05 | 株式会社平和 | 遊技機 |
US20170344112A1 (en) * | 2016-05-31 | 2017-11-30 | Fove, Inc. | Gaze detection device |
US10268268B1 (en) * | 2016-09-02 | 2019-04-23 | Facebook Technologies, Llc | Waveguide integrated eye tracking |
US10152822B2 (en) * | 2017-04-01 | 2018-12-11 | Intel Corporation | Motion biased foveated renderer |
US10304209B2 (en) * | 2017-04-19 | 2019-05-28 | The Nielsen Company (Us), Llc | Methods and systems to increase accuracy of eye tracking |
JP2019091253A (ja) * | 2017-11-15 | 2019-06-13 | 株式会社ソニー・インタラクティブエンタテインメント | 視線検出装置 |
JP2022550253A (ja) * | 2019-09-27 | 2022-12-01 | アルコン インコーポレイティド | 即時視線校正システム及び方法 |
US11740695B2 (en) * | 2020-08-11 | 2023-08-29 | Inseye Inc. | Eye tracking system for use in head-mounted display units |
-
2020
- 2020-09-30 JP JP2020166486A patent/JP7034228B1/ja active Active
-
2021
- 2021-06-10 JP JP2021097530A patent/JP2022058150A/ja active Pending
- 2021-09-01 WO PCT/JP2021/032163 patent/WO2022070746A1/ja active Application Filing
- 2021-09-01 CN CN202180035662.0A patent/CN115916032A/zh active Pending
- 2021-09-01 US US17/997,976 patent/US20230210364A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087003A (ja) * | 2005-09-21 | 2007-04-05 | Fuji Xerox Co Ltd | 画像処理プログラム、装置および方法 |
JP2012065781A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 視線検出装置および補正係数算出プログラム |
WO2013179427A1 (ja) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
JP2017176414A (ja) * | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 制御装置および方法並びに手術システム |
JP2017215928A (ja) * | 2016-05-31 | 2017-12-07 | フォーブ インコーポレーテッド | 視線検出システム |
JP2020525251A (ja) * | 2017-06-23 | 2020-08-27 | アダプティブ センサリー テクノロジー,インク. | 視力とその変化を試験および分析するためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7034228B1 (ja) | 2022-03-11 |
CN115916032A (zh) | 2023-04-04 |
US20230210364A1 (en) | 2023-07-06 |
WO2022070746A1 (ja) | 2022-04-07 |
JP2022058150A (ja) | 2022-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643487B2 (en) | Communication and skills training using interactive virtual humans | |
RU2693329C2 (ru) | Способ и устройство отображения с оптимизацией перераспределения пикселей | |
KR101563312B1 (ko) | 시선 기반 교육 콘텐츠 실행 시스템 | |
CN109219955A (zh) | 视频按入 | |
Rozado et al. | Controlling a smartphone using gaze gestures as the input mechanism | |
US20110262887A1 (en) | Systems and methods for gaze based attention training | |
Bai et al. | Bringing full-featured mobile phone interaction into virtual reality | |
US20080313108A1 (en) | System and Method for Obtaining Subtextual Information Regarding an Interaction Between an Individual and a Programmable Device | |
KR20190048144A (ko) | 발표 및 면접 훈련을 위한 증강현실 시스템 | |
CN112166602B (zh) | 信息处理装置、信息处理方法以及程序 | |
WO2022070747A1 (ja) | アシストシステム、アシスト方法、およびアシストプログラム | |
Shvarts et al. | Automatic detection of gaze convergence in multimodal collaboration: A dual eye-tracking technology | |
JP7034228B1 (ja) | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム | |
Rojas-Murillo et al. | Visual learning curves for American sign language (ASL) alphabet | |
Adiani et al. | Evaluation of webcam-based eye tracking for a job interview training platform: Preliminary results | |
JP6824105B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
Bosman | Using binaural audio for inducing intersensory illusions to create illusory tactile feedback in virtual reality | |
Li et al. | Trends in virtual and augmented reality research: a review of latest eye tracking research papers and beyond | |
Makhataeva et al. | Augmented Reality for Cognitive Impairments | |
Bisogni et al. | Gaze analysis: A survey on its applications | |
JP7440889B2 (ja) | 学習支援システム、プログラム | |
Witzani et al. | Text Entry Performance and Situation Awareness of a Joint Optical See-Through Head-Mounted Display and Smartphone System | |
Arasu et al. | A Review on Augmented Reality Technology | |
US20220343783A1 (en) | Content control system, content control method, and content control program | |
US20230237922A1 (en) | Artificial intelligence-driven avatar-based personalized learning techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200930 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210118 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210610 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210610 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210621 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210622 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210820 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210824 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210928 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220125 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20220207 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220222 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7034228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |