JP2019042221A - 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム - Google Patents
画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム Download PDFInfo
- Publication number
- JP2019042221A JP2019042221A JP2017169667A JP2017169667A JP2019042221A JP 2019042221 A JP2019042221 A JP 2019042221A JP 2017169667 A JP2017169667 A JP 2017169667A JP 2017169667 A JP2017169667 A JP 2017169667A JP 2019042221 A JP2019042221 A JP 2019042221A
- Authority
- JP
- Japan
- Prior art keywords
- output
- image
- voice
- display screen
- specific area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 210000005252 bulbus oculi Anatomy 0.000 description 28
- 238000012545 processing Methods 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 210000001508 eye Anatomy 0.000 description 13
- 210000001747 pupil Anatomy 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001028 reflection method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】視線検出装置100は、画像を表示する表示装置101と、音声を出力する音声出力装置70と、表示画面を観察する観察者の注視点の位置を検出する注視点検出部214と、表示画面又は画像の一部に特定領域を設定する領域設定部216と、特定領域が表示画面又は画像に設定される場合に、注視点の位置の検出結果に基づいて注視点が特定領域に存在するか否かを判定する判定部218と、表示画面に画像を表示させ、音声出力装置70に音声を出力させると共に、注視点が特定領域に存在すると判定された場合、少なくとも音声の出力状態を調整する出力制御部226とを備える。
【選択図】図3
Description
図1は、本実施形態に係る画像音声出力装置である視線検出装置100の一例を模式的に示す斜視図である。視線検出装置100は、被験者を評価する評価装置としても用いられる。図1に示すように、視線検出装置100は、表示装置101と、音声出力装置70と、ステレオカメラ装置102と、照明装置103とを備える。
次に、本実施形態に係る画像音声出力方法について説明する。図8は、記憶部222に記憶されるデータの一例を示す図である。図8では、画像データの例を示している。図8に示すように、記憶部222には、表示装置101の表示画面101Sに表示させる複数の画像の画像データについて、表示させる順番と、画像データを識別するための画像番号と、画像の再生時間とが対応付けられた状態で記憶されている。出力制御部226は、記憶部222に記憶されたデータに基づいて、画像1から画像6までを、対応する再生時間で表示画面101Sに順番に表示させる。
図27は、本実施形態に係る画像音声出力装置の他の例である電子端末500を示す図である。図27に示すように、電子端末500は、例えばタブレット型コンピュータ、スマートフォン等の携帯型の電子機器を含む。電子端末500は、筐体501と、表示画面502と、撮影装置503と、音声出力装置504と、制御装置505とを有する。
制御装置505は、撮影装置503で撮影された観察者の眼球の画像データに基づいて観察者の注視点の位置を検出する注視点検出部と、表示画面502に表示される画像の一部に特定領域502a、502bを設定する領域設定部と、特定領域502a、502bが設定された画像が表示画面502に表示される場合に、注視点の位置の検出結果に基づいて注視点Pが特定領域502a、502bに存在するか否かを判定する判定部と、表示画面502に画像を表示させ音声出力装置504に音声を出力させると共に、注視点Pが特定領域502a、502bに存在すると判定された場合、少なくとも音声の出力状態を調整する出力制御部とを有する。
Claims (6)
- 画像を表示する表示画面と、
音声を出力する音声出力装置と、
前記表示画面を観察する観察者の注視点の位置を検出する注視点検出部と、
前記表示画面または前記画像の一部に特定領域を設定する領域設定部と、
前記特定領域が前記表示画面または前記画像に設定される場合に、前記注視点の位置の検出結果に基づいて前記注視点が前記特定領域に存在するか否かを判定する判定部と、
前記表示画面に前記画像を表示させ前記音声出力装置に前記音声を出力させると共に、前記注視点が前記特定領域に存在すると判定された場合、少なくとも前記音声の出力状態を調整する出力制御部と
を備える画像音声出力装置。 - 前記音声の出力状態の調整は、前記音声の出力を停止又は終了させること、出力停止状態から前記音声の出力を再開させること、前記音声の音量を調整することのいずれかを含む
請求項1に記載の画像音声出力装置。 - 前記出力制御部は、複数の前記音声の中から選択して前記音声出力装置に出力させ、
前記音声の出力状態の調整は、選択する前記音声を切り替えることを含む
請求項1又は請求項2に記載の画像音声出力装置。 - 前記出力制御部は、前記注視点が前記特定領域に存在すると判定された場合、前記画像の表示終了のタイミングを制御する
請求項1から請求項3のいずれか一項に記載の画像音声出力装置。 - 表示画面に画像を表示させることと、
音声出力装置に音声を出力させることと、
前記表示画面を観察する観察者の注視点の位置を検出することと、
前記表示画面または前記画像の一部に特定領域を設定することと、
前記特定領域が前記表示画面または前記画像に設定される場合に、前記注視点の位置の検出結果に基づいて前記注視点が前記特定領域に存在するか否かを判定することと、
前記注視点が前記特定領域に存在すると判定された場合、少なくとも前記音声の出力状態を調整することと
を含む画像音声出力方法。 - 表示画面に画像を表示させる処理と、
音声出力装置に音声を出力させる処理と、
前記表示画面を観察する観察者の注視点の位置を検出する処理と、
前記表示画面または前記画像の一部に特定領域を設定する処理と、
前記特定領域が前記表示画面または前記画像に設定される場合に、前記注視点の位置の検出結果に基づいて前記注視点が前記特定領域に存在するか否かを判定する処理と、
前記注視点が前記特定領域に存在すると判定された場合、少なくとも前記音声の出力状態を調整する処理と
をコンピュータに実行させる画像音声出力プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169667A JP6962079B2 (ja) | 2017-09-04 | 2017-09-04 | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム |
US15/955,941 US10691203B2 (en) | 2017-09-04 | 2018-04-18 | Image sound output device, image sound output method and image sound output program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169667A JP6962079B2 (ja) | 2017-09-04 | 2017-09-04 | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019042221A true JP2019042221A (ja) | 2019-03-22 |
JP6962079B2 JP6962079B2 (ja) | 2021-11-05 |
Family
ID=65518037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017169667A Active JP6962079B2 (ja) | 2017-09-04 | 2017-09-04 | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10691203B2 (ja) |
JP (1) | JP6962079B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10401954B2 (en) * | 2017-04-17 | 2019-09-03 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
JP7215246B2 (ja) * | 2019-03-08 | 2023-01-31 | 株式会社Jvcケンウッド | 表示装置、表示方法、及び表示プログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000250699A (ja) * | 1999-03-04 | 2000-09-14 | Shimadzu Corp | 視線入力装置 |
JP2000278626A (ja) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | マルチ画面音声出力制御装置 |
JP2004301869A (ja) * | 2003-03-28 | 2004-10-28 | Takuya Shinkawa | 音声出力装置およびポインティングデバイス |
US20140176813A1 (en) * | 2012-12-21 | 2014-06-26 | United Video Properties, Inc. | Systems and methods for automatically adjusting audio based on gaze point |
JP2015151059A (ja) * | 2014-02-18 | 2015-08-24 | 本田技研工業株式会社 | 車載機器操作装置 |
JP2015153302A (ja) * | 2014-02-18 | 2015-08-24 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
JP2017103801A (ja) * | 2017-01-19 | 2017-06-08 | 株式会社Jvcケンウッド | 通信端末、通信端末の制御方法、通信端末の制御プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05113864A (ja) * | 1991-10-22 | 1993-05-07 | Canon Inc | マルチウインドウ動画表示方法及び装置 |
US20040001101A1 (en) * | 2002-06-27 | 2004-01-01 | Koninklijke Philips Electronics N.V. | Active window switcher |
US7757174B2 (en) * | 2004-11-30 | 2010-07-13 | Panasonic Corporation | Program list reproduction method and display method |
US7429108B2 (en) * | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
US9507418B2 (en) * | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
JP2014077814A (ja) * | 2011-02-14 | 2014-05-01 | Panasonic Corp | 表示制御装置および表示制御方法 |
US9047472B2 (en) * | 2013-01-14 | 2015-06-02 | International Business Machines Corporation | Managing sensitive content |
US9563283B2 (en) * | 2013-08-06 | 2017-02-07 | Inuitive Ltd. | Device having gaze detection capabilities and a method for using same |
US9836192B2 (en) * | 2014-02-25 | 2017-12-05 | Evan Glenn Katsuranis | Identifying and displaying overlay markers for voice command user interface |
US9325938B2 (en) * | 2014-03-13 | 2016-04-26 | Google Inc. | Video chat picture-in-picture |
US10303341B2 (en) * | 2016-05-25 | 2019-05-28 | International Business Machines Corporation | Modifying screen content based on gaze tracking and user distance from the screen |
JP6237836B2 (ja) | 2016-07-04 | 2017-11-29 | 株式会社Jvcケンウッド | 注視点検出装置および注視点検出方法 |
-
2017
- 2017-09-04 JP JP2017169667A patent/JP6962079B2/ja active Active
-
2018
- 2018-04-18 US US15/955,941 patent/US10691203B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000250699A (ja) * | 1999-03-04 | 2000-09-14 | Shimadzu Corp | 視線入力装置 |
JP2000278626A (ja) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | マルチ画面音声出力制御装置 |
JP2004301869A (ja) * | 2003-03-28 | 2004-10-28 | Takuya Shinkawa | 音声出力装置およびポインティングデバイス |
US20140176813A1 (en) * | 2012-12-21 | 2014-06-26 | United Video Properties, Inc. | Systems and methods for automatically adjusting audio based on gaze point |
JP2015151059A (ja) * | 2014-02-18 | 2015-08-24 | 本田技研工業株式会社 | 車載機器操作装置 |
JP2015153302A (ja) * | 2014-02-18 | 2015-08-24 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
JP2017103801A (ja) * | 2017-01-19 | 2017-06-08 | 株式会社Jvcケンウッド | 通信端末、通信端末の制御方法、通信端末の制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6962079B2 (ja) | 2021-11-05 |
US20190073024A1 (en) | 2019-03-07 |
US10691203B2 (en) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6737234B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
CN108027977B (zh) | 视线检测装置以及视线检测方法 | |
CN109425994A (zh) | 深度相机组件、头戴式显示器和用于深度感测的方法 | |
JP6971686B2 (ja) | 視線検出装置及び視線検出方法 | |
EP3011894B1 (en) | Eye gaze detection apparatus and eye gaze detection method | |
JP6848526B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
WO2017094344A1 (ja) | 視線検出装置及び視線検出方法 | |
JP6324119B2 (ja) | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム | |
JP6962079B2 (ja) | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム | |
JP6747172B2 (ja) | 診断支援装置、診断支援方法、及びコンピュータプログラム | |
JP2020038734A (ja) | 視線検出装置及び視線検出方法 | |
JP2019046438A (ja) | 評価装置、及び評価方法 | |
US11266307B2 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
JP2015144635A (ja) | 検出装置および検出方法 | |
JP6370168B2 (ja) | 照明撮像装置及びそれを備えた視線検出装置 | |
JP7063045B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
WO2020026574A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP6327171B2 (ja) | 注視点検出装置および注視点検出方法 | |
JP2018011681A (ja) | 視線検出装置、視線検出プログラムおよび視線検出方法 | |
WO2018173359A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP6883242B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
WO2020044691A1 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP7074221B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP2019024571A (ja) | 視線検出装置及び視線検出方法 | |
WO2023008023A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |