JP2017507400A - 注視によるメディア選択及び編集のためのシステム並びに方法 - Google Patents
注視によるメディア選択及び編集のためのシステム並びに方法 Download PDFInfo
- Publication number
- JP2017507400A JP2017507400A JP2016544612A JP2016544612A JP2017507400A JP 2017507400 A JP2017507400 A JP 2017507400A JP 2016544612 A JP2016544612 A JP 2016544612A JP 2016544612 A JP2016544612 A JP 2016544612A JP 2017507400 A JP2017507400 A JP 2017507400A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- eye
- media image
- sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000011093 media selection Methods 0.000 title 1
- 210000001747 pupil Anatomy 0.000 claims description 57
- 230000033001 locomotion Effects 0.000 claims description 33
- 238000012544 monitoring process Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 18
- 230000004424 eye movement Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 9
- 208000003443 Unconsciousness Diseases 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004091 panning Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000010348 incorporation Methods 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 37
- 239000000835 fiber Substances 0.000 description 33
- 210000000744 eyelid Anatomy 0.000 description 23
- 238000012545 processing Methods 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 18
- 210000003128 head Anatomy 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 125000001475 halogen functional group Chemical group 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000004397 blinking Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 239000013307 optical fiber Substances 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 208000032140 Sleepiness Diseases 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000035484 reaction time Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000010344 pupil dilation Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000036626 alertness Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- IWEDIXLBFLAXBO-UHFFFAOYSA-N dicamba Chemical compound COC1=C(Cl)C=CC(Cl)=C1C(O)=O IWEDIXLBFLAXBO-UHFFFAOYSA-N 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 235000014214 soft drink Nutrition 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 239000013585 weight reducing agent Substances 0.000 description 2
- 208000007204 Brain death Diseases 0.000 description 1
- 206010012335 Dependence Diseases 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 208000013016 Hypoglycemia Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 241000112598 Pseudoblennius percoides Species 0.000 description 1
- 241001362551 Samba Species 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 241000385223 Villosa iris Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036765 blood level Effects 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 229910052793 cadmium Inorganic materials 0.000 description 1
- BDOSMKKIYDKNTQ-UHFFFAOYSA-N cadmium atom Chemical compound [Cd] BDOSMKKIYDKNTQ-UHFFFAOYSA-N 0.000 description 1
- 235000021443 coca cola Nutrition 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000013305 flexible fiber Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 230000002218 hypoglycaemic effect Effects 0.000 description 1
- 208000018875 hypoxemia Diseases 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 235000015205 orange juice Nutrition 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 230000004478 pupil constriction Effects 0.000 description 1
- 230000004439 pupillary reactions Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 108700012359 toxins Proteins 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
誕生日パーティ:ハッピーバースデーを歌いながらロウソクを吹き消す;
トラック/クロスカントリーレース:娘/息子が親(HMDを装着)の近くを走る、又はゴールラインを切る
フットボールの試合:クォーターバックがボールを投げ、レシーバーがそれをキャッチしてタッチダウンへと走る;
野球の試合:ピッチャーが投球し、バッターがホームランを打つ−及びその他のイベント、それによって、ユーザーは、試合全体を記録してよく、ユーザーの物理的観点から顕著性を持つイベントが抽出されてよい。さらに、本明細書の他所で述べるように、クリップは、適切に制御されたカメラ設備による自動ズーム、焦点合わせ、被写界深度、及びパンによって向上されてよい;
ディナーパーティでのディナーテーブルで人々をスキャニング:装着者は、招待客を見回す。ビデオは、ユーザーのスキャン終了時点から開始時点まで戻る方向で、又はその逆で眼によってクリップされる(eye-clipped)。乾杯の間を例として、さらに細かく選択されてもよい;
眺望を前にして休暇中のファミリー/グループビデオ:最も興味深いグループの集まりを抽出したビデオ又はイメージ;
休日;
具体的作業機能;
授与イベント;
祝典、
が挙げられ得る。
タグ付けは、クリップが記録される前又は後に、非リアルタイムで行われてよい;
タグ付けは、ディスプレイを用いることなく、その他の入力又は制御によって行われてよい;
タグ付けは、視線追跡及び/又はディスプレイ機能が組み込まれてよいコンタクトレンズのユーザーがシステムに組み込まれた場合に行われてよい。
Claims (39)
- ウェアラブルデバイス;
ユーザーの周囲のメディアイメージを取り込むように前記デバイス上に搭載されたシーンカメラ;
眼にレファレンスフレームを投射し、ユーザーの少なくとも片方の眼の視線追跡データを取り込むために、前記投射されたレファレンスフレームをディスプレイの第二レファレンスフレームと関連付ける視線追跡サブシステム;及び
前記視線追跡データに少なくとも部分的に基づいて前記シーカメラによって取り込まれたメディアイメージにタグ付けするための、前記シーンカメラ及び視線追跡サブシステムと通信する1つ以上のプロセッサー
を含む、メディアイメージを編集するためのシステム。 - 前記1つ以上のプロセッサーが、前記シーンカメラからの1つ以上のメディアイメージにタグ付けするために、前記視線追跡データで識別された前記ユーザーの意図的な、又は無意識の眼の動きを利用するように構成される、請求項1に記載のシステム。
- 前記1つ以上のプロセッサーが、前記メディアイメージ内のビデオクリップの開始点及び終点のうちの少なくとも1つを定めるために、前記シーンカメラからのメディアイメージとタグを関連付けるように構成される、請求項2に記載のシステム。
- 前記1つ以上のプロセッサーが、前記視線追跡イメージで識別された前記ユーザーの眼の動きに少なくとも部分的に基づいて、前記シーンカメラからのメディアイメージの顕著性値(saliency value)を特定するように構成される、請求項2に記載のシステム。
- 前記ウェアラブルデバイス上に1つ以上のセンサーをさらに含み、前記1つ以上のプロセッサーが、前記1つ以上のセンサーからのセンサーシグナルに少なくとも部分的に基づいて、前記シーンカメラによって取り込まれたメディアイメージにタグ付けするために、前記1つ以上のセンサーと通信する、請求項1に記載のシステム。
- 前記1つ以上のセンサーが、慣性センサー、イメージセンサー、音響センサー、位置センサー、方向センサー、光センサー、バイオメトリックセンサー、ジェスチャセンサー、EEGセンサーのうちの少なくとも1つを含み、ここで、そのようなセンサーは、ローカルで又はリモートで連結されていてよい、請求項5に記載のシステム。
- 前記1つ以上のプロセッサーが、前記センサーシグナル及び前記視線追跡データの両方に少なくとも部分的に基づいて、前記シーンカメラによって取り込まれたメディアイメージのタグ付け又は顕著性を知らせるように構成される、請求項5に記載のシステム。
- 前記1つ以上のプロセッサーが、前記1つ以上のセンサーからのデータを、前記メディアイメージ及び前記視線追跡データのうちの一方又は両方と同期させて、前記データと前記イメージとを相関させるように構成される、請求項5に記載のシステム。
- 前記ユーザーに視認可能であるように前記ウェアラブルデバイス上に搭載されるディスプレイをさらに含む、請求項1に記載のシステム。
- 前記1つ以上のプロセッサーが、前記ディスプレイを作動させることなく、前記視線追跡データに少なくとも部分的に基づいて、前記シーンカメラによって取り込まれたメディアイメージにタグ付けするように構成される、請求項9に記載のシステム。
- 前記ディスプレイの上又は近傍に1つ以上の領域又はインジケーターをさらに含み、前記1つ以上のプロセッサーが、タグを前記メディアイメージと関連付けるために、前記視線追跡データを分析して、前記ユーザーが前記1つ以上の領域又はインジケーターに向かって注視する時点を識別するように構成される、請求項9に記載のシステム。
- 前記1つ以上のプロセッサーが、前記ユーザーにとって妥当である前記メディアイメージのセクションを選択し、並びにトリミング、クロッピング、回転、パン、ズーム、及び前記セクションの所望される順序での配列のうちの少なくとも1つによって前記メディアイメージのセクションを編集するように構成される、請求項1に記載のシステム。
- 前記1つ以上のプロセッサーが、前記視線追跡サブシステムに連結されて、複数の操作モードに対応させるために前記視線追跡サブシステムの操作頻度を調節する、請求項1に記載のシステム。
- 前記システムが、ユーザー又は処理されたデータからの入力の一方又は両方を受けて、メディアイメージのタグ付けを行うか、又は顕著性を決定するように設計される、請求項1に記載のシステム。
- オリジナルメディアイメージを保存するためのメモリをさらに含み、ここで、前記1つ以上のプロセッサーは、前記オリジナルメディアイメージが、1つ以上のプロセッサーによって後に前記メモリから回復可能であるように、前記メディアイメージを非破壊的に編集するように構成される、請求項1に記載のシステム。
- 前記1つ以上のプロセッサーが、前記視線追跡データの視線追跡精度の優雅な劣化(graceful degradation)を利用するように構成される、請求項1に記載のシステム。
- 前記1つ以上のプロセッサーと通信して前記メディアイメージをリモート位置へ送信するトランシーバー又はその他の無線通信インターフェイスをさらに含む、請求項1に記載のシステム。
- 前記1つ以上のプロセッサーと通信して前記ウェアラブルデバイスからリモートにある1つ以上のセンサーからデータを受信するトランシーバー又はその他の無線通信インターフェイスをさらに含む、請求項1に記載のシステム。
- 異なる観点から妥当なイベントを記録する目的で、近位に位置するウェアラブルデバイスによって決定されるビデオイメージ中の相対的顕著性を定量的に評価するためのシステムであって:
個々のユーザーによって装着されるように構成され、各々が、前記個々のユーザーの周囲のメディアイメージを取り込むように前記デバイス上に搭載されたシーンカメラ、1つ以上のセンサー、通信インターフェイス、及び前記ユーザーの眼にレファレンスフレームを投射し、前記ユーザーの眼の視線追跡データを取り込むために、前記投射されたレファレンスフレームをディスプレイの第二レファレンスフレームと関連付ける視線追跡サブシステムを含んでいる複数のウェアラブルデバイス;並びに
各ウェアラブルデバイスの通信インターフェイスを介して前記ウェアラブルデバイスと通信するためのサーバー
を含む、システム。 - 前記1つ以上のセンサーをモニタリングして閾値イベントを識別するために、各ウェアラブルデバイス上に1つ以上のプロセッサーをさらに含み、ここで、前記1つ以上のプロセッサーが:
前記閾値イベントが発生したことを確認するため、及び
前記閾値イベントに関連するメディアイメージをシェアするため
のうちの少なくとも1つのために、他のウェアラブルデバイスと前記通信インターフェイスを介して通信する、請求項19に記載のシステム。 - 前記1つ以上のセンサーをモニタリングして閾値イベントを識別するために、各ウェアラブルデバイス上に1つ以上のプロセッサーをさらに含み、ここで、前記1つ以上のプロセッサーが:a)前記閾値イベントが発生したことを確認するため、及びb)前記閾値イベントに関連するメディアイメージをシェアするためのうちの少なくとも1つのために、前記サーバーと前記通信インターフェイスを介して通信する、請求項19に記載のシステム。
- 前記1つ以上のセンサーをモニタリングして閾値イベントを識別するために、各ウェアラブルデバイス上に1つ以上のプロセッサーをさらに含み、ここで、前記1つ以上のプロセッサーが:
前記閾値イベントが発生したことを確認するため、及び
前記閾値イベントに関連するメディアイメージをシェアするため
のうちの少なくとも1つのために、他のウェアラブルデバイス及び前記サーバーと前記通信インターフェイスを介して通信する、請求項19に記載のシステム。 - 各視線追跡サブシステムが、前記ユーザーの眼の視線追跡データを取り込み;各ウェアラブルデバイスが、前記通信インターフェイスを用いて他のウェアラブルデバイスと、及び前記サーバーと通信して、視線追跡データを前記顕著性評価及びイメージ選択に組み込むために、前記シーンカメラ及び視線追跡サブシステムと通信する1つ以上のプロセッサーを含む、請求項19に記載のシステム。
- ユーザーが装着しているウェアラブルデバイスからのメディアイメージを選択又は編集するためであり:
前記ウェアラブルデバイス上のシーンカメラを用いて、前記ユーザーの周囲のメディアイメージを取り込むこと;
眼にレファレンスフレームを投射し、ユーザーの少なくとも片方の眼の視線追跡データを取り込むために、前記投射されたレファレンスフレームをディスプレイの第二レファレンスフレームと関連付ける視線追跡サブシステムを用いて視線追跡データを取り込むこと;及び
前記視線追跡データから識別される少なくとも1つの眼の事象の動作に少なくとも部分的に基づいて、前記メディアイメージの選択及び編集のうちの少なくとも一方を行うこと
を含む方法。 - 前記ウェアラブルデバイス上の加速度計に基づいて、事故を含む閾値イベントを検出すること;
をさらに含み、及び
ここで、前記メディアイメージの選択及び編集のうちの少なくとも一方が、前記閾値イベントの決定の直前の所定の時間にわたって、前記メディアイメージにタグ付けを自動的に行うことを含む、請求項23に記載の方法。 - 前記閾値イベント機能(threshold event functionality)の前記決定が、ユーザーの凝視が前記システムにメディアイメージのクロッピングを行わせた可能性のある場合であっても、完全視野のメディアイメージを保存するための事故再構成作業を補助するために、他の顕著性決定に優先することができる、請求項25に記載の方法。
- 前記ウェアラブルデバイスが、メディアイメージ内の所定の顔を認識する、請求項23に記載の方法。
- 前記ウェアラブルデバイスが、慣性、イメージ、音響、位置、方向、光、バイオメトリック、又はジェスチャセンサーのうちの1つ以上からのユーザー又はシステムが特定した閾値読み取りを認識する、請求項23に記載の方法。
- 前記ウェアラブルデバイス上の通信インターフェイスを用いて、リモート位置からのメトリックス又はヒューリスティクスを受けること
をさらに含み、
ここで、前記メディアイメージの選択及び編集のうちの少なくとも1つが、前記メトリックス又はヒューリスティクスに基づいて、前記メディアイメージの1つ以上のセグメントに顕著性を割り当てることを含む、請求項23に記載の方法。 - ユーザーのメディアイメージ中の顕著性の部分的決定の際の入力として、ソーシャルメディアアプリケーションからのデータを用いることをさらに含む、請求項23に記載の方法。
- ピクチャフレームを作り出すためのユーザーの手の動きによって示唆される境界にメディアイメージをクロッピングすることをさらに含む、請求項23に記載の方法。
- 笑い声と組み合わされた細目、笑顔、又は笑いなどの複数のセンサーからの入力に少なくとも部分的に基づいて、メディアイメージに顕著性を割り当てることをさらに含む、請求項23に記載の方法。
- 前記ユーザーが、メディアイメージにタグ付けすることを、前記ウェアラブルデバイス上での再生中及び別のデバイス上での前記メディアイメージの編集の前に選択することができる、請求項23に記載の方法。
- ユーザーが凝視している領域に、又は前記ユーザーが凝視している領域外のイメージにメディアイメージを自動的にクロッピングすることをさらに含む、請求項23に記載の方法。
- ユーザーの衝動性運動によって境界が定められた領域にメディアイメージを自動的にクロッピングすることをさらに含む、請求項23に記載の方法。
- ユーザーの瞳孔径に少なくとも部分的に基づいて、ビデオイメージの再生速度を自動的に調節することをさらに含む、請求項23に記載の方法。
- 前記ユーザーの感情状態を推定することができる追加のセンサーからのデータに少なくとも部分的に基づいて、ビデオイメージの再生速度を自動的に調節することをさらに含む、請求項23に記載の方法。
- 前記ウェアラブルデバイスが、音声による合図の認識を通して個別指導用又は説明用コンテンツの作成を簡単にするように構成される、請求項23に記載の方法。
- 前記ウェアラブルデバイスが、ユーザーの注視データを保存すること及びメディアイメージデータに重ねることのうちの少なくとも1つを行うように構成される、請求項23に記載の方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361922724P | 2013-12-31 | 2013-12-31 | |
US61/922,724 | 2013-12-31 | ||
US201461991435P | 2014-05-09 | 2014-05-09 | |
US61/991,435 | 2014-05-09 | ||
US201462074920P | 2014-11-04 | 2014-11-04 | |
US201462074927P | 2014-11-04 | 2014-11-04 | |
US62/074,927 | 2014-11-04 | ||
US62/074,920 | 2014-11-04 | ||
PCT/US2014/073094 WO2015103444A1 (en) | 2013-12-31 | 2014-12-31 | Systems and methods for gaze-based media selection and editing |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017507400A true JP2017507400A (ja) | 2017-03-16 |
JP2017507400A5 JP2017507400A5 (ja) | 2018-02-15 |
JP6929644B2 JP6929644B2 (ja) | 2021-09-01 |
Family
ID=53494037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016544612A Active JP6929644B2 (ja) | 2013-12-31 | 2014-12-31 | 注視によるメディア選択及び編集のためのシステム並びに方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US9870060B2 (ja) |
EP (1) | EP3090322A4 (ja) |
JP (1) | JP6929644B2 (ja) |
KR (2) | KR102246310B1 (ja) |
CN (1) | CN106030458B (ja) |
WO (1) | WO2015103444A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018522258A (ja) * | 2015-06-25 | 2018-08-09 | インテル・コーポレーション | ウェアラブルコンピューティングデバイスの視力矯正を制御するための技術 |
WO2019069812A1 (ja) * | 2017-10-05 | 2019-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの視線検出システム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイの視線検出方法 |
KR20190072762A (ko) * | 2017-12-18 | 2019-06-26 | 광주과학기술원 | 도슨트 서비스를 제공하는 증강 현실 글래스의 동작 방법 |
JP2020512120A (ja) * | 2017-03-29 | 2020-04-23 | ビビオール アクチェンゲゼルシャフト | ユーザーの健康状態を評価するシステム |
Families Citing this family (97)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10025379B2 (en) | 2012-12-06 | 2018-07-17 | Google Llc | Eye tracking wearable devices and methods for use |
EP3041400A1 (en) * | 2013-09-03 | 2016-07-13 | Tobii AB | Portable eye tracking device |
CN104681048A (zh) * | 2013-11-28 | 2015-06-03 | 索尼公司 | 多媒体读取控制装置、曲线获取装置、电子设备、曲线提供装置及方法 |
WO2015103444A1 (en) * | 2013-12-31 | 2015-07-09 | Eyefluence, Inc. | Systems and methods for gaze-based media selection and editing |
KR102404559B1 (ko) * | 2014-03-19 | 2022-06-02 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법 |
JP6326901B2 (ja) * | 2014-03-26 | 2018-05-23 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
KR102240632B1 (ko) * | 2014-06-10 | 2021-04-16 | 삼성디스플레이 주식회사 | 생체 효과 영상을 제공하는 전자 기기의 구동 방법 |
US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
KR102253444B1 (ko) | 2014-07-08 | 2021-05-20 | 삼성디스플레이 주식회사 | 사용자의 눈 깜빡임을 유도하는 유도 영상 표시 방법, 장치, 및 컴퓨터 판독 가능한 기록매체 |
US10282057B1 (en) * | 2014-07-29 | 2019-05-07 | Google Llc | Image editing on a wearable device |
US9720259B2 (en) * | 2014-10-13 | 2017-08-01 | William Hart | Eyewear pupilometer |
US10567641B1 (en) | 2015-01-19 | 2020-02-18 | Devon Rueckner | Gaze-directed photography |
US10921896B2 (en) * | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
CN104834446B (zh) * | 2015-05-04 | 2018-10-26 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪技术的显示屏多屏控制方法及系统 |
US10222619B2 (en) * | 2015-07-12 | 2019-03-05 | Steven Sounyoung Yu | Head-worn image display apparatus for stereoscopic microsurgery |
US9852329B2 (en) * | 2015-07-24 | 2017-12-26 | International Business Machines Corporation | Calculation of a characteristic of a hotspot in an event |
CN105635561A (zh) * | 2015-07-31 | 2016-06-01 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取系统及方法 |
US20170102697A1 (en) * | 2015-10-08 | 2017-04-13 | General Motors Llc | Selecting a vehicle function to control using a wearable electronic device |
US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US10137777B2 (en) | 2015-11-03 | 2018-11-27 | GM Global Technology Operations LLC | Systems and methods for vehicle system control based on physiological traits |
CN105245660A (zh) * | 2015-11-05 | 2016-01-13 | 天津大学 | 一种基于手环的手机防盗追踪方法 |
US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
JP6705206B2 (ja) * | 2016-02-25 | 2020-06-03 | セイコーエプソン株式会社 | 電子機器の制御装置および電子機器の制御プログラム |
US9864431B2 (en) * | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
US10395428B2 (en) * | 2016-06-13 | 2019-08-27 | Sony Interactive Entertainment Inc. | HMD transitions for focusing on specific content in virtual-reality environments |
CN106200901B (zh) * | 2016-06-24 | 2019-03-29 | 联想(北京)有限公司 | 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置 |
US10223067B2 (en) | 2016-07-15 | 2019-03-05 | Microsoft Technology Licensing, Llc | Leveraging environmental context for enhanced communication throughput |
US20190235624A1 (en) * | 2016-07-19 | 2019-08-01 | Supereye, Inc. | Systems and methods for predictive visual rendering |
WO2018020334A1 (en) * | 2016-07-28 | 2018-02-01 | Tata Consultancy Services Limited | System and method for aiding communication |
KR102548199B1 (ko) | 2016-08-03 | 2023-06-28 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 시선 추적 방법 |
CN106339668A (zh) * | 2016-08-16 | 2017-01-18 | 信利光电股份有限公司 | 一种虹膜识别方法及虹膜识别系统 |
CN107957774B (zh) * | 2016-10-18 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
US10540491B1 (en) | 2016-10-25 | 2020-01-21 | Wells Fargo Bank, N.A. | Virtual and augmented reality signatures |
CN113206959B (zh) * | 2016-11-01 | 2024-01-09 | 斯纳普公司 | 用于确定自动包围配置的方法和服务器 |
US10517520B2 (en) * | 2016-11-10 | 2019-12-31 | Neurotrack Technologies, Inc. | Method and system for correlating an image capturing device to a human user for analysis of cognitive performance |
US10591731B2 (en) * | 2016-12-06 | 2020-03-17 | Google Llc | Ocular video stabilization |
US10484623B2 (en) * | 2016-12-20 | 2019-11-19 | Microsoft Technology Licensing, Llc | Sensor with alternating visible and infrared sensitive pixels |
US10088911B2 (en) | 2016-12-30 | 2018-10-02 | Manuel Saez | Programmable electronic helmet |
FR3061583B1 (fr) * | 2017-01-04 | 2020-12-04 | Oreal | Dispositif d'acquisition d'une video d'alterations cutanees, systeme de caracterisation et procede de caracterisation associes |
US10609025B2 (en) * | 2017-04-06 | 2020-03-31 | Htc Corporation | System and method for providing simulated environment |
US10401954B2 (en) * | 2017-04-17 | 2019-09-03 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
DE102017108371B4 (de) * | 2017-04-20 | 2020-08-27 | Carl Zeiss Meditec Ag | Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben |
KR102670987B1 (ko) * | 2017-05-31 | 2024-05-30 | 매직 립, 인코포레이티드 | 눈 추적 교정 기술들 |
US20180357670A1 (en) * | 2017-06-07 | 2018-12-13 | International Business Machines Corporation | Dynamically capturing, transmitting and displaying images based on real-time visual identification of object |
US10460527B2 (en) * | 2017-06-30 | 2019-10-29 | Tobii Ab | Systems and methods for displaying images in a virtual world environment |
CN107169338A (zh) * | 2017-07-25 | 2017-09-15 | 上海闻泰电子科技有限公司 | 解锁方法及装置 |
KR102481884B1 (ko) | 2017-09-22 | 2022-12-28 | 삼성전자주식회사 | 가상 영상을 표시하는 방법 및 장치 |
US10254832B1 (en) | 2017-09-28 | 2019-04-09 | Microsoft Technology Licensing, Llc | Multi-item selection using eye gaze |
US10586360B2 (en) * | 2017-11-21 | 2020-03-10 | International Business Machines Corporation | Changing view order of augmented reality objects based on user gaze |
US11282133B2 (en) | 2017-11-21 | 2022-03-22 | International Business Machines Corporation | Augmented reality product comparison |
US20190235246A1 (en) * | 2018-01-26 | 2019-08-01 | Snail Innovation Institute | Method and apparatus for showing emoji on display glasses |
US20190235621A1 (en) * | 2018-01-26 | 2019-08-01 | Snail Innovation Institute | Method and apparatus for showing an expression of how an object has been stared at in a displayed video |
CN110095866B (zh) * | 2018-01-29 | 2020-07-28 | 京东方科技集团股份有限公司 | 增强现实装置、增强现实系统及其信息提示方法 |
CN110115842B (zh) * | 2018-02-06 | 2023-01-13 | 日本聚逸株式会社 | 应用处理系统、应用处理方法以及应用处理程序 |
US10481403B2 (en) * | 2018-02-15 | 2019-11-19 | Tectus Corporation | Contact lens with retinal camera |
KR102495796B1 (ko) | 2018-02-23 | 2023-02-06 | 삼성전자주식회사 | 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치 |
US10521013B2 (en) * | 2018-03-01 | 2019-12-31 | Samsung Electronics Co., Ltd. | High-speed staggered binocular eye tracking systems |
US10949969B1 (en) * | 2018-03-20 | 2021-03-16 | Welch Allyn, Inc. | Pupil edge region removal in digital imaging |
US10747500B2 (en) * | 2018-04-03 | 2020-08-18 | International Business Machines Corporation | Aural delivery of environmental visual information |
US10853014B2 (en) * | 2018-04-17 | 2020-12-01 | Rockwell Collins, Inc. | Head wearable device, system, and method |
US11568166B1 (en) * | 2018-07-27 | 2023-01-31 | Verily Life Sciences Llc | Suggesting behavioral adjustments based on physiological responses to stimuli on electronic devices |
CN109189222B (zh) * | 2018-08-28 | 2022-01-11 | 广东工业大学 | 一种基于检测瞳孔直径变化的人机交互方法及装置 |
US20200082176A1 (en) * | 2018-09-12 | 2020-03-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for extending detachable automobile sensor capabilities for identification of selected object types |
US10833945B2 (en) * | 2018-11-13 | 2020-11-10 | International Business Machines Corporation | Managing downloading of content |
CN109451236A (zh) * | 2018-11-13 | 2019-03-08 | 深圳龙图腾创新设计有限公司 | 一种基于瞳位跟踪的相机聚焦方法 |
US11282259B2 (en) | 2018-11-26 | 2022-03-22 | International Business Machines Corporation | Non-visual environment mapping |
CN109711286B (zh) * | 2018-12-11 | 2022-11-11 | 中国科学院深圳先进技术研究院 | 一种基于人工视网膜空间感知的控制方法及装置 |
US10786729B1 (en) * | 2019-03-08 | 2020-09-29 | Sony Interactive Entertainment Inc. | Thermopile array fusion tracking |
CN113519154A (zh) * | 2019-03-13 | 2021-10-19 | 惠普发展公司,有限责任合伙企业 | 检测眼睛跟踪校准误差 |
US10928647B2 (en) * | 2019-04-01 | 2021-02-23 | Heidi Kershaw | Therapeutic training device for autism |
US10832733B1 (en) | 2019-05-15 | 2020-11-10 | International Business Machines Corporation | Verbal command video editing |
US10812771B1 (en) * | 2019-06-12 | 2020-10-20 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for adjusting image content for streaming panoramic video content |
US12042240B2 (en) * | 2019-07-16 | 2024-07-23 | Asensus Surgical Us, Inc. | Augmented reality using eye tracking in a robot assisted surgical system |
JP7375373B2 (ja) * | 2019-08-28 | 2023-11-08 | セイコーエプソン株式会社 | 光学装置及び装着型表示装置 |
US11297224B2 (en) * | 2019-09-30 | 2022-04-05 | Snap Inc. | Automated eyewear device sharing system |
CN114830637A (zh) * | 2019-12-18 | 2022-07-29 | 科鲁斯股份有限公司 | 基于凝视的显示器照明系统和方法 |
CN111158492B (zh) * | 2019-12-31 | 2021-08-06 | 维沃移动通信有限公司 | 视频剪辑方法及头戴式设备 |
CN113079311B (zh) * | 2020-01-06 | 2023-06-27 | 北京小米移动软件有限公司 | 图像获取方法及装置、电子设备、存储介质 |
CA3170057A1 (en) | 2020-02-06 | 2021-09-10 | Austin Star Detonator Company | Integrated detonator sensors |
RU2744548C1 (ru) * | 2020-04-29 | 2021-03-11 | федеральное государственное бюджетное образовательное учреждение высшего образования "Алтайский государственный университет" | Устройство определения зрачковых реакций на визуальный стимул |
CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
KR20210111860A (ko) * | 2020-05-22 | 2021-09-13 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체 |
EP4158648A1 (en) | 2020-05-29 | 2023-04-05 | Medtronic, Inc. | Intelligent assistance (ia) ecosystem |
WO2022055588A1 (en) | 2020-09-08 | 2022-03-17 | Medtronic, Inc. | Imaging discovery utility for augmenting clinical image management |
WO2022075983A1 (en) * | 2020-10-07 | 2022-04-14 | Hewlett-Packard Development Company, L.P. | Operation of a configurable end-point device based on accessibility settings |
US11908208B2 (en) * | 2020-10-20 | 2024-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interface sharpness distraction mitigation method and system |
JP2023552931A (ja) * | 2020-12-14 | 2023-12-20 | 船井電機株式会社 | 複数ユーザのリアルタイムイマ-ジョン |
US20220344057A1 (en) * | 2021-04-27 | 2022-10-27 | Oura Health Oy | Method and system for supplemental sleep detection |
CN113509141A (zh) * | 2021-06-29 | 2021-10-19 | 昆明依利科特科技有限公司 | 一种眼镜式涉毒行为瞳孔检测仪及检测方法 |
US20230119935A1 (en) * | 2021-10-18 | 2023-04-20 | Meta Platforms Technologies, Llc | Gaze-guided image capture |
US11592899B1 (en) | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
WO2023081297A1 (en) * | 2021-11-05 | 2023-05-11 | Zinn Labs, Inc. | Eye tracking system for determining user activity |
US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
WO2023244247A1 (en) * | 2022-06-17 | 2023-12-21 | Hewlett-Packard Development Company, L.P. | Image portion combination signals |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004180298A (ja) * | 2002-11-25 | 2004-06-24 | Eastman Kodak Co | アイモニタリング機能を備えるカメラシステム |
JP2007531579A (ja) * | 2004-04-01 | 2007-11-08 | ウィリアム・シー・トーチ | 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法 |
JP2010061285A (ja) * | 2008-09-02 | 2010-03-18 | Yahoo Japan Corp | 画像検索装置 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6542081B2 (en) * | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
USRE39539E1 (en) * | 1996-08-19 | 2007-04-03 | Torch William C | System and method for monitoring eye movement |
AU2003269772A1 (en) | 2002-10-15 | 2004-05-04 | Volvo Technology Corporation | Method and arrangement for interpreting a subjects head and eye activity |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
JP2005252734A (ja) | 2004-03-04 | 2005-09-15 | Olympus Corp | 頭部装着型カメラ |
US9269322B2 (en) * | 2006-01-09 | 2016-02-23 | Ignis Innovation Inc. | Method and system for driving an active matrix display circuit |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
CN104299566B (zh) * | 2008-04-18 | 2017-11-10 | 伊格尼斯创新公司 | 用于发光器件显示器的系统和驱动方法 |
JP5456791B2 (ja) * | 2009-01-26 | 2014-04-02 | トビー・テクノロジー・アーベー | 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法 |
EP2237237B1 (en) * | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
US20110052012A1 (en) * | 2009-03-31 | 2011-03-03 | Myspace Inc. | Security and Monetization Through Facial Recognition in Social Networking Websites |
JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
US9373123B2 (en) * | 2009-12-30 | 2016-06-21 | Iheartmedia Management Services, Inc. | Wearable advertising ratings methods and systems |
US20130012603A1 (en) | 2010-03-15 | 2013-01-10 | Farrell David H | Methods for assessing the risk of cardiovascular disease |
WO2012021967A1 (en) * | 2010-08-16 | 2012-02-23 | Tandemlaunch Technologies Inc. | System and method for analyzing three-dimensional (3d) media content |
US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
EP2499963A1 (en) * | 2011-03-18 | 2012-09-19 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Method and apparatus for gaze point mapping |
US8510166B2 (en) * | 2011-05-11 | 2013-08-13 | Google Inc. | Gaze tracking system |
US20130021374A1 (en) * | 2011-07-20 | 2013-01-24 | Google Inc. | Manipulating And Displaying An Image On A Wearable Computing System |
US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US9128520B2 (en) * | 2011-09-30 | 2015-09-08 | Microsoft Technology Licensing, Llc | Service provision using personal audio/visual system |
US20130258089A1 (en) * | 2011-11-03 | 2013-10-03 | Intel Corporation | Eye Gaze Based Image Capture |
US9189876B2 (en) * | 2012-03-06 | 2015-11-17 | Apple Inc. | Fanning user interface controls for a media editing application |
US9096920B1 (en) * | 2012-03-22 | 2015-08-04 | Google Inc. | User interface method |
US9201512B1 (en) * | 2012-04-02 | 2015-12-01 | Google Inc. | Proximity sensing for input detection |
US20140328570A1 (en) * | 2013-01-09 | 2014-11-06 | Sri International | Identifying, describing, and sharing salient events in images and videos |
US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
US20140176591A1 (en) * | 2012-12-26 | 2014-06-26 | Georg Klein | Low-latency fusing of color image data |
WO2014138925A1 (en) * | 2013-03-15 | 2014-09-18 | Interaxon Inc. | Wearable computing apparatus and method |
US9213403B1 (en) * | 2013-03-27 | 2015-12-15 | Google Inc. | Methods to pan, zoom, crop, and proportionally move on a head mountable display |
US20140354533A1 (en) * | 2013-06-03 | 2014-12-04 | Shivkumar Swaminathan | Tagging using eye gaze detection |
US10089786B2 (en) * | 2013-08-19 | 2018-10-02 | Qualcomm Incorporated | Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking |
US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
WO2015103444A1 (en) * | 2013-12-31 | 2015-07-09 | Eyefluence, Inc. | Systems and methods for gaze-based media selection and editing |
EP3140780B1 (en) * | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
-
2014
- 2014-12-31 WO PCT/US2014/073094 patent/WO2015103444A1/en active Application Filing
- 2014-12-31 US US14/588,371 patent/US9870060B2/en active Active
- 2014-12-31 CN CN201480075406.4A patent/CN106030458B/zh active Active
- 2014-12-31 KR KR1020207033096A patent/KR102246310B1/ko active IP Right Grant
- 2014-12-31 JP JP2016544612A patent/JP6929644B2/ja active Active
- 2014-12-31 EP EP14876031.7A patent/EP3090322A4/en not_active Ceased
- 2014-12-31 KR KR1020167020195A patent/KR102182605B1/ko active IP Right Grant
-
2017
- 2017-12-08 US US15/835,891 patent/US20180173319A1/en not_active Abandoned
-
2018
- 2018-07-06 US US16/028,505 patent/US10915180B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004180298A (ja) * | 2002-11-25 | 2004-06-24 | Eastman Kodak Co | アイモニタリング機能を備えるカメラシステム |
JP2007531579A (ja) * | 2004-04-01 | 2007-11-08 | ウィリアム・シー・トーチ | 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法 |
JP2010061285A (ja) * | 2008-09-02 | 2010-03-18 | Yahoo Japan Corp | 画像検索装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018522258A (ja) * | 2015-06-25 | 2018-08-09 | インテル・コーポレーション | ウェアラブルコンピューティングデバイスの視力矯正を制御するための技術 |
JP2020512120A (ja) * | 2017-03-29 | 2020-04-23 | ビビオール アクチェンゲゼルシャフト | ユーザーの健康状態を評価するシステム |
JP7106569B2 (ja) | 2017-03-29 | 2022-07-26 | ビビオール アクチェンゲゼルシャフト | ユーザーの健康状態を評価するシステム |
WO2019069812A1 (ja) * | 2017-10-05 | 2019-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの視線検出システム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイの視線検出方法 |
KR20190072762A (ko) * | 2017-12-18 | 2019-06-26 | 광주과학기술원 | 도슨트 서비스를 제공하는 증강 현실 글래스의 동작 방법 |
KR102483781B1 (ko) * | 2017-12-18 | 2023-01-03 | 광주과학기술원 | 도슨트 서비스를 제공하는 증강 현실 글래스의 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20190179418A1 (en) | 2019-06-13 |
EP3090322A1 (en) | 2016-11-09 |
WO2015103444A1 (en) | 2015-07-09 |
KR102246310B1 (ko) | 2021-04-29 |
US10915180B2 (en) | 2021-02-09 |
US20200387226A9 (en) | 2020-12-10 |
KR20160105439A (ko) | 2016-09-06 |
US20150220157A1 (en) | 2015-08-06 |
CN106030458A (zh) | 2016-10-12 |
US20180173319A1 (en) | 2018-06-21 |
EP3090322A4 (en) | 2017-07-19 |
US9870060B2 (en) | 2018-01-16 |
CN106030458B (zh) | 2020-05-08 |
KR102182605B1 (ko) | 2020-11-24 |
KR20200133392A (ko) | 2020-11-27 |
JP6929644B2 (ja) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10915180B2 (en) | Systems and methods for monitoring a user's eye | |
CN112507799B (zh) | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 | |
CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
US10831268B1 (en) | Systems and methods for using eye tracking to improve user interactions with objects in artificial reality | |
CN106471419B (zh) | 管理信息显示 | |
EP3392739B1 (en) | Eye-brain interface (ebi) system and method for controlling same | |
US20180314339A1 (en) | Wearable glasses and method of providing content using the same | |
US20170115742A1 (en) | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command | |
CN112181152A (zh) | 基于mr眼镜的广告推送管理方法、设备及应用 | |
US20150331240A1 (en) | Assisted Viewing Of Web-Based Resources | |
WO2018127782A1 (en) | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command | |
US20240094882A1 (en) | Gestures for selection refinement in a three-dimensional environment | |
US20230282080A1 (en) | Sound-based attentive state assessment | |
KR20240091224A (ko) | 사용자의 표현을 생성 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
EP4314997A1 (en) | Attention detection | |
US20230351676A1 (en) | Transitioning content in views of three-dimensional environments using alternative positional constraints | |
US20240103678A1 (en) | Devices, methods, and graphical user interfaces for interacting with extended reality experiences | |
US20240153205A1 (en) | Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences | |
US20240103608A1 (en) | Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences | |
US20240257486A1 (en) | Techniques for interacting with virtual avatars and/or user representations | |
US20240265796A1 (en) | Devices, methods, and graphical user interfaces for device position adjustment | |
US20240289007A1 (en) | Devices, methods, and graphical user interfaces for adjusting device settings | |
US20240104819A1 (en) | Representations of participants in real-time communication sessions | |
WO2024006107A1 (en) | Gaze behavior detection | |
WO2023114079A1 (en) | User interactions and eye tracking with text embedded elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190912 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190918 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20190924 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20191011 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20191023 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200707 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200915 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210127 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210608 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210713 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210811 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6929644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |