JP2017517045A - アイトラッキング対応型のスマートなクローズドキャプショニング - Google Patents

アイトラッキング対応型のスマートなクローズドキャプショニング Download PDF

Info

Publication number
JP2017517045A
JP2017517045A JP2016554848A JP2016554848A JP2017517045A JP 2017517045 A JP2017517045 A JP 2017517045A JP 2016554848 A JP2016554848 A JP 2016554848A JP 2016554848 A JP2016554848 A JP 2016554848A JP 2017517045 A JP2017517045 A JP 2017517045A
Authority
JP
Japan
Prior art keywords
closed captioning
user
sight
line
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016554848A
Other languages
English (en)
Other versions
JP6461989B2 (ja
JP2017517045A5 (ja
Inventor
ウィライラット,ウィーラパン
トゥクラール,バイブハブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017517045A publication Critical patent/JP2017517045A/ja
Publication of JP2017517045A5 publication Critical patent/JP2017517045A5/ja
Application granted granted Critical
Publication of JP6461989B2 publication Critical patent/JP6461989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

アイトラッキングデバイスを使用してクローズドキャプショニングをコントロールするためのシステムおよび方法が提供される。クローズドキャプショニングをコントロールするためのシステムは、ディスプレイデバイスと、メディアアイテムに関するクローズドキャプショニングテキストを、再生中にディスプレイデバイス上に表示するように構成されているクローズドキャプショニングコントローラと、ディスプレイデバイスに対するユーザの視線のロケーションを検知して、そのロケーションをクローズドキャプショニングコントローラへ送信するように構成されているアイトラッキングデバイスとを含むことができる。クローズドキャプショニングコントローラは、ユーザの視線の所定の視線パターンを認識し、その所定の視線パターンを検知すると、クローズドキャプショニングテキストの表示を部分的にまたは完全に強調解除するように構成することが可能である。

Description

[0001] 長年にわたって、クローズドキャプショニングテクノロジーは、映画およびテレビジョン番組などのメディア内で生じている対話のテキストサマリーまたはトランススクリプションを、そのメディアが表示されているスクリーンの最下部に表示することによって、聴覚障害者がメディアの話された対話をよりよく理解することを可能にしてきた。クローズドキャプショニングは、聴覚障害者のユーザを補助することに加えて、ある言語の非ネイティブスピーカーによって、その言語で映画およびテレビジョン番組をよりよく理解するためにも利用されている。
[0002] 従来のクローズドキャプショニングに伴う1つの欠点は、そのクローズドキャプショニングが表示される箇所の下にある映画またはテレビジョン番組の部分が塞がれることであり、これは、審美的に魅力がないということに加えて、メディアの視覚的なコンテンツを視聴者が理解することおよび楽しむことを潜在的に妨げる可能性もある。話された対話のほとんどを理解するのに十分な言語スキルを有していて、したがって自分が理解できない一節にはたまに出くわすだけである非ネイティブスピーカーにとっては、この問題は特に煩わしい。これらの高度に熟達した非ネイティブスピーカーにとっては、クローズドキャプショニングは、番組のうちでよく理解されている部分の最中には迷惑になることがある。
[0003] 従来のクローズドキャプショニングテクノロジーに伴って、そのようなユーザは、たとえば、リモコンを用いて再生デバイスのオンスクリーンメニューとやり取りしてクローズドキャプショニングをオフに設定することによって、クローズドキャプショニングをオフにするオプションを有する。しかしながら、クローズドキャプショニングがオフにされた後に、ユーザは、番組のうちで、そのユーザによって理解されることが不可能である対話を伴う部分に出くわす可能性がある。ユーザは、その対話の理解し損ねた部分を再生するためには、リモコンを手に取り、番組を停止し、オンスクリーンメニューを介してクローズドキャプショニングをオンにし、番組を巻き戻し、再生ボタンを再び押すことを強いられる。デジタルビデオレコーダを持たずに生放送のテレビジョンを視聴しているユーザにとっては、番組を巻き戻すことができないので、この手間のかかる指示手順でさえ不可能である。理解することができるように、単一の視聴セッション中にクローズドキャプショニングをこの様式で多くの回数アクティブ化および非アクティブ化することは、ユーザにとって厄介で面倒である。
[0004] アイトラッキングデバイスを使用してクローズドキャプショニングをコントロールするためのシステムおよび方法が提供される。クローズドキャプショニングをコントロールするためのシステムは、ディスプレイデバイスと、メディアアイテムに関するクローズドキャプショニングテキストを、再生中にディスプレイデバイス上に表示するように構成されているクローズドキャプショニングコントローラと、ディスプレイデバイスに対するユーザの視線のロケーションを検知して、そのロケーションをクローズドキャプショニングコントローラへ送信するように構成されているアイトラッキングデバイスとを含むことができる。クローズドキャプショニングコントローラは、ユーザの視線の所定の視線パターンを認識し、その所定の視線パターンを検知すると、クローズドキャプショニングテキストの表示を部分的にまたは完全に強調解除するように構成することが可能である。
[0005] この「課題を解決するための手段」は、コンセプトのうちの選択されたものを、簡略化された形式で紹介するために提供されており、それらのコンセプトは、以降の「発明を実施するための形態」においてさらに説明されている。この「課題を解決するための手段」は、特許請求される主題の鍵となる特徴または必要不可欠な特徴を識別することを意図されているものではなく、特許請求される主題の範囲を限定するために使用されることを意図されているものでもない。さらに、特許請求される主題は、本開示の任意の部分において記載されているあらゆるまたはすべての不利な点を解決する実施態様に限定されるものではない。
[0006]本開示の一実施形態による、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステムを示す図である。 本開示の一実施形態による、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステムを示す図である。 本開示の一実施形態による、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステムを示す図である。 本開示の一実施形態による、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステムを示す図である。 本開示の一実施形態による、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステムを示す図である。 本開示の一実施形態による、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステムを示す図である。 本開示の一実施形態による、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステムを示す図である。 [0007]本開示の一実施形態による、キャプションワード上に滞留しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 [0008]本開示の一実施形態による、所定のクローズドキャプショニング表示領域のさまざまなサブ領域に位置しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 本開示の一実施形態による、所定のクローズドキャプショニング表示領域のさまざまなサブ領域に位置しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 本開示の一実施形態による、所定のクローズドキャプショニング表示領域のさまざまなサブ領域に位置しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 [0009]本開示の一実施形態による、ディスプレイデバイス上に表示されているキャラクター上に位置しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 本開示の一実施形態による、ディスプレイデバイス上に表示されているキャラクター上に位置しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 本開示の一実施形態による、ディスプレイデバイス上に表示されているキャラクター上に位置しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 本開示の一実施形態による、ディスプレイデバイス上に表示されているキャラクター上に位置しているユーザの視線に応答してクローズドキャプショニングをコントロールするようにさらに構成されている図1A〜図1Gのシステムを示す図である。 [0010]本開示の一実施形態による、クローズドキャプショニングをコントロールするための方法のフローチャートである。 本開示の一実施形態による、クローズドキャプショニングをコントロールするための方法のフローチャートである。 本開示の一実施形態による、クローズドキャプショニングをコントロールするための方法のフローチャートである。 [0011]図1A〜図1Gのシステムの方法およびプロセスのうちの1つまたは複数を実施することができるコンピューティングシステムを概略的に示す図である。
[0012] 上述の課題に対処するために、アイトラッキングデバイスを使用してクローズドキャプショニングをコントロールするためのシステムおよび方法が、本明細書において開示されている。図1A〜図1Gは、ユーザからのさまざまな視線パターンに応答してクローズドキャプショニングをコントロールするためのシステム10を示している。図1Aにおいて示されているように、システム10は、ディスプレイデバイス12と、メディアアイテム23に関するクローズドキャプショニングテキスト16を、再生中にディスプレイデバイス12上に表示するように構成することが可能であるクローズドキャプショニングコントローラ14と、ディスプレイデバイス12に対するユーザの視線20のロケーション21を検知して、そのロケーションをクローズドキャプショニングコントローラ14へ送信するように構成されているアイトラッキングデバイス18とを含むことができる。あるタイムインターバルにわたってユーザの視線が追跡される場合には、クローズドキャプショニングコントローラ14は、そのタイムインターバル内でユーザの視線が検知される一連のロケーション21に基づいてユーザの視線20の所定の視線パターン25(図1Bを参照されたい)を認識するように構成することが可能である。所定の視線パターンを検知すると、クローズドキャプショニングコントローラ14は、クローズドキャプショニングテキスト16の表示を部分的にまたは完全に強調解除するように構成することが可能である。
[0013] クローズドキャプショニングテキスト16の表示を強調解除することは、クローズドキャプショニングテキスト16をユーザ40にとって見えにくくさせるために使用される適切なプロセスによって達成することが可能である。たとえば、クローズドキャプショニングテキスト16は、完全に非アクティブ化すること、または不透明さを低減すること、すなわち、部分的に半透明もしくは透明にすることが可能である。非アクティブ化される場合には、その非アクティブ化は典型的には、後述されているように、ユーザがクローズドキャプショニングを再び要求するまでの一時的なものにすぎない。あるいは、クローズドキャプショニングテキストは、より小さくすることによって強調解除することも可能であり、デフォルトのフォントと比較して文字あたりさらに少ないピクセルを占めるさらに細いフォントで再作成することも可能である、といった具合である。
[0014] 図1A〜図1Gにおいては、クローズドキャプショニングコントローラ14およびアイトラッキングデバイス18は、互いに、および関連付けられているディスプレイデバイス12とは別個のコンポーネントとして示されている。しかしながら、システム10はそのような構成に限定されるものではないということに留意されたい。たとえば、ディスプレイデバイス12およびクローズドキャプショニングコントローラ14は、いわゆるスマートテレビジョン、タブレットコンピュータ、またはヘッドマウントディスプレイなど、単一のハウジング内に統合することが可能である。
[0015] さらに、図1A〜図1Gにおいて示されているシステム10の実施形態は、単一のユーザ40および単一のユーザの視線20を示している。しかしながら、実際には、システム10は、複数のユーザに関して同時にゲイズトラッキングを実行するように構成することが可能であり、顔認識ならびにその他のさまざまなヒューリスティックスを利用してシステム10の複数のユーザを識別するようにさらに構成することが可能である。システム10は、複数のユーザのそれぞれに関してプロフィールを作成して格納するように構成することも可能である。そのようなプロフィールは、複数のユーザのそれぞれに関してクローズドキャプショニングテキスト16の平均の読み取りスピード、好みの言語、または好みのフォントサイズを含むさまざまな形態の情報を含むことができる。システム10は、プロフィール情報がユーザによって入力されるように、または時間に伴うそれぞれのユーザの追跡された行動に基づいてシステム10によって特定されるように構成することが可能である。
[0016] 図1Aおよび図1Bはそれぞれ、クローズドキャプショニングコントローラ14がユーザの視線20の所定の視線パターンに応答してクローズドキャプショニングテキスト16を表示しているところおよび強調解除しているところを示している。所定の視線パターンを認識するために、クローズドキャプショニングコントローラ14は、ユーザの視線20のロケーション21が、クローズドキャプショニングテキスト16が表示されているディスプレイデバイス12上の所定のクローズドキャプショニング表示領域24内にあるか否かを特定するようにさらに構成することが可能である。典型的には、ユーザの視線が第1の所定の期間にわたって領域24内にあるかどうかが特定され、この第1の所定の期間は、強調期間と呼ばれ、たとえば2秒と5秒の間、またはその他の時間長であることが可能である。図1Bにおいて示されているように、ユーザの視線20の検知されたロケーション21が、所定の期間よりも長い間にわたって所定のクローズドキャプショニング表示領域24内にない場合には、コントローラ14は、所定のクローズドキャプショニング表示領域24内のクローズドキャプショニングテキスト16の表示を強調解除するように構成されている。この強調解除は、図1Bにおいては、ピクセル化されたテキストとして示されており、これは、図1Aにおけるクローズドキャプショニングテキストの実線とは対照的である。上述のものなど、その他の形態の強調解除を適用することも可能であるということがわかるであろう。
[0017] 図1A〜図1Gは、所定のクローズドキャプショニング表示領域24を、ディスプレイデバイス12の最下部に配置されているものとして示している。あるいは、所定のクローズドキャプショニング表示領域24は、ディスプレイデバイス12上の任意の適切なロケーションに配置することも可能である。所定のクローズドキャプショニング表示領域24は、典型的にはメディアアイテム23と重なるが、レターボックスなど、いくつかのフォーマットにおいては、メディアアイテム23は、フルスクリーンサイズ未満で表示される場合があり、クローズドキャプショニング表示領域24は、メディアアイテム23の外のマット領域に配置される場合があるということがわかるであろう。ユーザの視線20が所定のクローズドキャプショニング表示領域24内に位置していないときにクローズドキャプショニングテキスト16を強調解除することによって、システム10は、クローズドキャプショニングテキスト16が使用されていないときには、そのクローズドキャプショニングテキスト16を表示することを回避することができる。そのような機能は、ディスプレイデバイス12のスクリーン上でメディアアイテム23を視聴することに対して潜在的に妨げとなるまたは気を散らすものの可視性を除去または低減することによって、クローズドキャプショニングユーザ40ならびにその他の任意の視聴者の視聴経験を高める。
[0018] マルチユーザ環境においては、システム10は、すべてのユーザの視線が所定の期間にわたって所定のクローズドキャプショニング表示領域24の外にあることが検知されるまで待ってからクローズドキャプショニングテキストの強調解除を引き起こすように構成される。これは、1人のユーザが依然としてテキストを読み取っているときに別のユーザのそらした視線に応答してクローズドキャプショニングテキストが強調解除されることが絶対にないようにする上で役立つ。
[0019] 図1Cにおいて示されているように、クローズドキャプショニングテキスト16の強調解除に続いて、クローズドキャプショニングコントローラ14は、ユーザの視線のロケーション21が所定のクローズドキャプショニング表示領域24内にあることが検知された場合には所定のクローズドキャプショニング表示領域24におけるクローズドキャプショニングテキスト16の表示を再強調するようにさらに構成することが可能である。典型的には、ユーザの視線が第2の所定の期間よりも長い間にわたって領域24内にあることが検知された場合には、クローズドキャプショニングテキストが再強調され、この第2の所定の期間は、再強調期間と呼ばれ、たとえば500ミリ秒〜2秒、またはその他の時間長であることが可能である。これは、ユーザの目線がスクリーン上できょろきょろ動いた際に意図せず切り替わって、所定のクローズドキャプショニング表示領域24内に現れる可能性がある視覚的なコンテンツを浪費してしまうことを回避する上で役立つ。代替として、再強調期間を待つ代わりに、このシステムは、ユーザの視線が領域24において検知されるとすぐにフェードインを開始してクローズドキャプショニングテキストの強調(たとえば、不透明度、サイズ、厚さなど)を徐々に増すことができる。この再強調は、クローズドキャプショニングテキストのフェードインから完全な強調までなど、即時のもの、または段階的なものであることが可能である。この機能によって、ユーザ40は、「背景技術」において上述されているように、リモコンを手に取ってオンスクリーンメニューを介してクローズドキャプションを再びオンにすることなくクローズドキャプショニングテキスト16を見ることができる。
[0020] ここで図1D〜図1Gを参照すると、視線が領域24の外または中にあるという上述の所定の視線パターンに加えて、クローズドキャプショニングコントローラ14は、ユーザの視線20が所定のクローズドキャプショニング表示領域24内にある場合のその他の所定の視線パターンを検知するように構成することが可能である。たとえば、クローズドキャプショニングコントローラ14は、ユーザの視線20の変化の方向および速度を含む情報に基づいて、ユーザの視線20が、所定のクローズドキャプショニング表示領域24内で、読み取り方向において、読み取りスピード範囲内であるフィルタリングされたスピードで動いているということを検知するようにさらに構成することが可能である。
[0021] 図1Dは、ディスプレイデバイス12上でクローズドキャプショニングテキスト16を読み取っているユーザの視線20を示している。ユーザの視線20がロケーション21からロケーション30および32へ移動するにつれて、クローズドキャプショニングコントローラ14は、時間に伴ってユーザの視線20が移動した方向を特定するように構成することが可能である。クローズドキャプショニングコントローラ14は、その方向がクローズドキャプショニングテキスト16の言語に関する読み取り方向(たとえば、英語に関しては左から右へ、またはヘブライ語もしくはアラビア語に関しては右から左へ)と一致しているかどうかを特定するようにさらに構成することが可能である。さらに、クローズドキャプショニングコントローラ14は、時間に伴うユーザの視線20の位置に基づいてユーザ40の平均の読み取りスピードを計算するように構成することが可能である。クローズドキャプショニングコントローラ14は、ユーザの視線20が1つの方向に継続的に移動している間に生じる可能性があるユーザの視線20におけるあらゆる突然の急速な変化(たとえば、サッカード)を除外するようにさらに構成することが可能である。したがって、クローズドキャプショニングコントローラ14は、ユーザの視線20に関する変化の平滑化された平均の速度を得るように構成することが可能である。ある言語に流ちょうな大人の平均の読み取りスピードは、その言語に関して1分あたり250語と300語の間であることがよく知られており、その一方で言語学習者は、はるかに遅く読み取る場合がある。したがって上述の読み取りスピード範囲は、1分あたり約20語と300語の間であることが可能である。
[0022] クローズドキャプショニングコントローラ14は、時間に伴うユーザの視線20の変化の速度が、ユーザ40がクローズドキャプショニングテキスト16を読み取るのと一致しているかどうかを特定するために、これらなどの統計を使用するように構成することが可能である。たとえば、システム10のそれぞれのユーザに関して、そのユーザにとってのクローズドキャプショニングテキストを読み取る平均の速度用に統計を編集することができ、領域24内での目の移動の実際の速度がユーザ自身の平均の読み取り速度から、あるパーセンテージ、たとえば50%変動していると特定された場合には、読み取りスピードは、上述の読み取りスピード範囲から外れていると特定される。
[0023] クローズドキャプショニングコントローラ14は、ユーザの視線20が所定のクローズドキャプショニング表示領域24内にあるが、ユーザの視線のフィルタリングされたスピードが読み取りスピード範囲から外れていることが検知された場合には、所定のクローズドキャプショニング表示領域24におけるクローズドキャプショニングテキスト16の不透明度を低減させることによってクローズドキャプショニングテキスト16を強調解除するようにさらに構成することが可能である。図1Eは、ユーザの視線20が所定のクローズドキャプショニング表示領域24内に位置しているが、ユーザはキャラクター28に焦点を合わせていてクローズドキャプショニングテキスト16を読み取っていない場合を示しており、それは、読み取りスピードがクローズドキャプショニングの言語の読み取り方向における読み取りスピード範囲から外れていることが検知されたからである。たとえば、テレビジョン番組においては、番組のアクションが、ディスプレイデバイス12のうちで所定のクローズドキャプショニング表示領域24と同じエリアにおいて生じているさまざまなポイントが存在する場合がある。ユーザの視線20は、当然ながら番組のアクションを辿ることになり、したがって、所定のクローズドキャプショニング表示領域24内に位置するようになる場合がある。上述のように、クローズドキャプショニングコントローラ14は、ユーザが読み取りを行っているか否かを特定するために、時間に伴うユーザの視線20の変化の方向および速度を検知するように構成することが可能である。ユーザの視線20が所定のクローズドキャプショニング表示領域24内にあるが、ユーザ40が読み取りを行っていないということをクローズドキャプショニングコントローラ14が特定した場合には、クローズドキャプショニングテキスト16が完全に不透明なテキストとして表示されないならば、その方がディスプレイデバイス12のユーザ40およびその他の任意の視聴者にとって有益であろう。したがって、クローズドキャプショニングコントローラ14は、ユーザの視線20が所定のクローズドキャプショニング表示領域24内にあるが、ユーザ40が読み取りを行っていない場合には、クローズドキャプショニングテキスト16の不透明度を減らすように構成することが可能である。
[0024] 次に図2を参照すると、クローズドキャプショニングコントローラ14は、ユーザ40が読み取りを行っているか否かをモニタすることに加えて、その他の視線パターンを特定するように構成することが可能である。クローズドキャプショニングコントローラ14は、所定のクローズドキャプショニング表示領域24内のユーザの視線20のスピードをモニタして、ユーザの視線20のスピードが所定の遅い読み取りスピードしきい値よりも遅くなっていること、またはクローズドキャプショニングテキスト16における単語またはフレーズ内の単語上で少なくとも所定の滞留時間にわたって一時停止していることをクローズドキャプショニングコントローラ14が検知した場合には、クローズドキャプショニングテキスト16のその単語またはフレーズに関する補助情報38を表示するように構成することが可能である。
[0025] 図2は、クローズドキャプショニングテキスト16内のキャプションワード46上に滞留しているユーザの視線を示している。人が読み取りを行っているときには、その人の目は、テキストに沿って継続的には移動しない。むしろ、ユーザの視線20は、単一のスポット上で短時間にわたって凝視したままとなり、次いでテキスト内の次なるスポットへスキップする。読み取りを行っているときの平均の凝視持続時間は200ミリ秒と250ミリ秒の間であることが知られている。その人の年齢および平均の読み取りスピードなどのその他の特徴に応じて、凝視持続時間は、100ミリ秒から500ミリ秒超までのどこへでも変動する可能性がある。クローズドキャプショニングコントローラ14は、ユーザの視線20の凝視持続時間を計算して、それを、上述のような一般の読み手の平均の凝視持続時間と、または時間に伴うクローズドキャプショニングコントローラ14によって計算されたユーザ40の平均の凝視持続時間と比較することによって、いつユーザの視線20が単語上に滞留しているかを特定するように構成することが可能である。いくつかの具体的な例として、上述の所定の滞留時間は、いくつかの例として、100〜500ミリ秒、200〜400ミリ秒、または約300ミリ秒であることが可能である。滞留時間は、ユーザから受け取られたユーザ入力に従って所望の滞留時間に設定することも可能である。ユーザが読み取りを行っているときには、ユーザの視線20の位置は、それぞれの凝視の後に複数の文字だけジャンプすることになる。ジャンプあたりの文字の平均の数は、言語に流ちょうな者にとっては7と9の間であるが、1〜20程度にわたる場合もある。ユーザの視線20が、以前に読み取り中に検知された文字よりも少ない文字をジャンプし始めた場合、または凝視持続時間が、ユーザ40にとっての平均よりも長くなった場合には、クローズドキャプショニングコントロール14は、ユーザの視線20がクローズドキャプショニングテキスト16内の単語またはフレーズ上で所定の遅い読み取りスピードしきい値よりも遅くなっているということを特定するように構成することが可能である。図2は、ユーザの視線20が位置34および36へ移動しているが、キャプションワード46(すなわち、図2における「NEPTUNE」という単語)上で滞留している例を示している。そのようなケースにおいては、クローズドキャプショニングコントローラ14は、キャプションワード46に関する補助情報38をユーザに表示するように構成することが可能である。キャプションワード46がユーザに知られていない場合には、補助情報38は、クローズドキャプショニングテキスト16をよりよく理解する上で特に興味深いまたは役立つ場合がある。図2は、補助情報38を、キャプションワード46の定義を説明するサイドバーとして示している。あるいは、補助情報38は、ディスプレイデバイス12上の任意の場所に表示することが可能であり、外部ウェブサイトへのリンク、または最近の関連したニュース記事など、さまざまな形態の情報を含むことができる。
[0026] 補助情報38を表示する前に、クローズドキャプショニングコントローラは、ユーザの視線20のスピードが所定の遅い読み取りスピードしきい値よりも遅くなっていること、またはクローズドキャプショニングテキスト16における単語またはフレーズ内の単語上で少なくとも所定の滞留時間にわたって一時停止していることをコントローラ14が検知した場合には、クローズドキャプショニングテキスト16におけるその単語またはフレーズのサイズまたはフォントのうちの少なくとも1つを変更するようにさらに構成することが可能である。図2は、ユーザの視線20がキャプションワード46上で滞留していて、結果として、その単語がサイズを増してイタリックフォントへ変化している一実施形態を示している。あるいは、クローズドキャプショニングコントローラ14は、クローズドキャプショニングテキスト16における単語またはフレーズをさまざまなその他の手段(たとえばアンダーライン、太字など)によって際立たせるように構成することが可能であり、図2において示されている特定のタイプの様式化に限定されるものではない。
[0027] 図2について続けると、クローズドキャプショニングコントローラ14は、ユーザ40とディスプレイデバイス12との間における距離Dをモニタして、距離Dが増大した場合にはクローズドキャプショニングテキスト16のサイズを増大させ、その距離が減少した場合にはクローズドキャプショニングテキスト16のサイズを減少させるようにさらに構成することが可能である。クローズドキャプショニングコントローラ14は、ユーザの目の位置を追跡することに加えて、ディスプレイデバイス12に対するユーザ40の位置をモニタして、ユーザ40とディスプレイデバイス12との間における距離Dを特定するように構成することも可能である。距離Dに変化がある場合には、クローズドキャプショニングコントローラ14は、クローズドキャプショニングテキスト16のサイズを調整するように構成することが可能である。たとえば、図1Fにおいて示されているように、ユーザ40がディスプレイデバイス12のさらに近くへ移動した場合には、クローズドキャプショニングコントローラ14は、クローズドキャプショニングテキスト16のサイズを縮小するように構成することが可能である。同様に、図1Gにおいて示されているように、ユーザがディスプレイデバイス12からさらに遠くへ移動した場合には、クローズドキャプショニングコントローラ14は、クローズドキャプショニングテキスト16のサイズを拡大するように構成することが可能である。
[0028] ここで図3Aを参照すると、クローズドキャプショニングコントローラ14は、所定のクローズドキャプショニング表示領域24内で以前のキャプションサブ領域42および現在のキャプションサブ領域44を含む複数の隣接したサブ領域を画定するようにさらに構成されている。クローズドキャプショニングコントローラ14は、現在のキャプションサブ領域44においてクローズドキャプショニングテキスト16の現在のキャプションを表示するように構成されている。以前のキャプションサブ領域42内でユーザの視線を検知すると、コントローラ14は、以前のキャプションサブ領域42においてクローズドキャプショニングテキストの前のキャプションを表示して、現在のキャプション領域44において現在のキャプションを強調解除するように構成されている。現在のキャプションサブ領域44内でユーザの視線20を検知すると、クローズドキャプショニングコントローラ14は、以前のキャプションサブ領域において以前のキャプションを強調解除して、現在のキャプションサブ領域において現在のキャプションを再強調するように構成されている。上述の強調解除および再強調のための技術は、このコンテキストにおいても使用することが可能である。
[0029] 図3Aは、所定のクローズドキャプショニング表示領域24が、現在のキャプションサブ領域44の左手側に横に隣接して配置されている以前のキャプションサブ領域42を含んでいて、現在のキャプションサブ領域44は、スクリーンの中央に配置されているということを示している。以前のキャプションサブ領域は、左から右へ読み取る言語に関しては現在のキャプションサブ領域の左手側に、および右から左へ読み取る言語に関しては現在のキャプションサブ領域の右手側にあることが可能である。サブ領域どうしが互いに縦に隣接しているなどのその他の構成も可能である。図3Aは、キャラクター28が対話のラインを話しているところをさらに示している。クローズドキャプショニングコントローラ14は、ユーザの視線20が現在のキャプションサブ領域44に向けられているときには現在のキャプションサブ領域44において現在のキャプションとして対話の現在のラインを表示するように構成することが可能である。図3Bは、キャラクター28が対話の後続のラインを話しているところを示している。クローズドキャプショニングコントローラ14は、図3Bにおいて示されているように、ユーザの視線20が以前のキャプションサブ領域42内に位置しているときには前のキャプションとして対話の前のラインを表示するように構成することが可能である。クローズドキャプショニングコントローラ14は、図3Cにおいて示されているように、ユーザの視線20が現在のキャプションサブ領域44内に位置しているときには現在のキャプションとして対話の現在のラインを表示するようにさらに構成することが可能である。そのような機能は、聞き逃した対話に迅速に追いつくユーザの能力を高める。たとえば、ユーザ40は、以前のキャプションサブ領域42を見ることによって聞き逃した対話のライン全体を見て、次いで現在のキャプションサブ領域44を見ることによって現在のキャプションを見ることができる。図3A〜図3Cは、前のキャプションおよび現在のキャプションを、それぞれ以前のキャプションサブ領域42および現在のキャプションサブ領域44内に表示されるものとして示している。しかしながら、実際には、それらのキャプションは、ディスプレイデバイス12上の任意の適切なロケーションにおいて表示することが可能である。
ここで図4Aを参照すると、クローズドキャプショニングコントローラ14は、ディスプレイデバイス12上でキャラクターが表示されている領域上でユーザの視線20を検知して、それに応じて、キャラクター28によって話された言葉に対応するクローズドキャプショニングテキスト16を表示するようにさらに構成することが可能である。図4Aは、クローズドキャプショニングコントローラ14が、ディスプレイデバイス12上に表示されているそれぞれのキャラクターの周囲のエリアをモニタするように構成されている、システム10の一実施形態を示している。図4Bにおいて示されているように、クローズドキャプショニングコントローラ14は、ユーザの視線20がキャラクター28上に位置しているときには、そのキャラクターの対話に対応するクローズドキャプショニングテキスト16が所定のクローズドキャプショニング表示領域24において表示されるようにさらに構成することが可能である。そのような機能は、母国語ではない言語でメディアアイテムを視聴しているユーザの視聴経験を高めることができる。たとえば、キャラクター28のアクセント、方言、または話し方が、そのキャラクターの対話を、非ネイティブスピーカーにとって特に理解しづらくする場合がある。そのようなケースにおいては、キャラクターの対話が所定のクローズドキャプショニング表示領域24において表示されるならば、ユーザ40にとって有益であろう。クローズドキャプショニングコントローラ14は、ユーザの視線20がキャラクター28から所定のクローズドキャプショニング表示領域24へ移動したときにはキャラクター28の対話を表示するようにさらに構成することが可能である。したがって、たとえば、ユーザ40がテレビジョン番組を視聴していてキャラクター28からの対話を聞き逃した場合には、ユーザ40は、キャラクター28から所定のクローズドキャプショニング表示領域24へ視線を移して、聞き逃した対話を見ることができる。
[0030] 図4Cにおいて示されているように、クローズドキャプショニングコントローラ14は、ユーザ40がキャラクター28から別の所定のエリア、たとえば、ディスプレイデバイス12の下のロケーション48へ視線を移したときにはクローズドキャプショニングテキスト16を表示するようにさらに構成することが可能である。代替として、図4Dにおいて示されているように、クローズドキャプショニングコントローラ14は、ディスプレイデバイス上に表示されているキャラクターの下の領域上でユーザの視線を検知し、ユーザの視線20が、所定の期間未満で、ディスプレイデバイス上でキャラクター28が表示されている領域からキャラクター28の下の領域50へ移動した場合には、キャラクター28によって話された言葉に対応するクローズドキャプショニングテキスト16を表示するようにさらに構成することが可能である。クローズドキャプションコントローラ14は、所定の期間が、すばやい「スワイプダウン」タイプのジェスチャーをユーザ40は実行しているのであり、ディスプレイデバイス12上の別のオブジェクトまたはキャラクターを単に見ているのではないということを確実にするのに十分な短さであるように構成することが可能である。次に図5を参照すると、クローズドキャプショニングをコントロールするための方法500のフローチャートが示されている。以降で説明されている方法は、図1〜図4を参照して上述されているシステム10のハードウェア上で、またはその他の適切なハードウェア上で実施することが可能である。本明細書において説明されている方法を実行することができる適切なハードウェアは、ビデオゲームコンソール、スマートテレビジョン、ラップトップパーソナルコンピュータおよびデスクトップパーソナルコンピュータ、スマートフォン、タブレットコンピューティングデバイス、ヘッドマウントディスプレイなどを含むということがわかるであろう。
[0031] 図5Aを参照すると、502において、方法500は、メディアアイテムに関するクローズドキャプショニングテキストを、再生中にディスプレイデバイス上の所定のクローズドキャプショニング表示領域において表示するステップを含むことができる。504において、方法500は、ディスプレイデバイスに対するユーザの視線のロケーションを検知するステップを含むことができる。506において、方法500は、ユーザの視線の所定の視線パターンを認識するステップを含むことができる。
[0032] 508において、方法500は、所定の視線パターンを検知すると、クローズドキャプショニングテキストの表示を部分的にまたは完全に強調解除するステップを含むことができる。
[0033] 510において示されているように、506において所定の視線パターンを認識するステップは、ユーザの視線のロケーションが、クローズドキャプショニングテキストが表示されているディスプレイデバイス上の所定のクローズドキャプショニング表示領域内にあるか否かを特定するステップを含むことができる。さらに、512において示されているように、508においてクローズドキャプショニングテキストの表示を部分的にまたは完全に強調解除するステップは、ユーザの視線が、所定の期間よりも長い間にわたって所定のクローズドキャプショニング表示領域内にない場合には、所定のクローズドキャプショニング表示領域におけるクローズドキャプショニングテキストの表示を強調解除するステップを含むことができる。
[0034] 514において、方法500は、ユーザの視線が、所定の期間よりも長い間にわたって所定のクローズドキャプショニング表示領域内にある場合には、所定のクローズドキャプショニング表示領域におけるクローズドキャプショニングテキストの表示を再強調するステップを含むことができる。
[0035] 次に図5Bを参照すると、方法500は、516において、ユーザの視線の変化の方向および速度を含む情報に基づいて、ユーザの視線が、所定のクローズドキャプショニング表示領域内で、読み取り方向において、読み取りスピード範囲内であるフィルタリングされたスピードで動いているということを検知するステップを含むことができる。
[0036] 518において、方法500は、ユーザの視線が所定のクローズドキャプショニング表示領域内にあるが、ユーザの視線のフィルタリングされたスピードが読み取りスピード範囲から外れていることが検知された場合には、所定のクローズドキャプショニング表示領域におけるクローズドキャプショニングテキストの不透明度を低減させることによってクローズドキャプショニングテキストを強調解除するステップを含むことができる。
[0037] 520において、方法500は、所定のクローズドキャプショニング表示領域内のユーザの視線のスピードをモニタして、ユーザの視線のスピードが所定の遅い読み取りスピードしきい値よりも遅くなっていること、またはクローズドキャプショニングテキストにおける単語またはフレーズ内の単語上で少なくとも所定の滞留時間にわたって一時停止していることをコントローラが検知した場合には、クローズドキャプショニングテキストのその単語またはフレーズに関する補助情報を表示するステップを含むことができる。
[0038] 522において、方法500は、補助情報を表示する前に、ユーザの視線のスピードが所定の遅い読み取りスピードしきい値よりも遅くなっていること、またはクローズドキャプショニングテキストにおける単語またはフレーズ内の単語上で少なくとも所定の滞留時間にわたって一時停止していることをコントローラが検知した場合には、クローズドキャプショニングテキストにおけるその単語またはフレーズのサイズまたはフォントのうちの少なくとも1つを変更するステップを含むことができる。
[0039] 524において、方法500は、ユーザとディスプレイデバイスとの間における距離をモニタするステップと、その距離が増大した場合にはクローズドキャプショニングテキストのサイズを増大させ、その距離が減少した場合にはクローズドキャプショニングテキストのサイズを減少させるステップとを含むことができる。
[0040] 図5Cを参照すると、方法500は、526において、所定のクローズドキャプショニング表示領域内で以前のキャプションサブ領域および現在のキャプションサブ領域を含む複数の隣接したサブ領域を画定するステップをさらに含むことができる。528において、方法500は、現在のキャプションサブ領域においてクローズドキャプショニングテキストの現在のキャプションを表示するステップを含むことができる。530において、方法500は、以前のキャプションサブ領域内でユーザの視線を検知すると、前のキャプション領域においてクローズドキャプショニングテキストの前のキャプションを表示して、現在のキャプション領域において現在のキャプションを強調解除するステップを含むことができる。532において、この方法は、現在のキャプションサブ領域内でユーザの視線を検知すると、以前のキャプション領域において以前のキャプションを強調解除して、現在のキャプション領域において現在のキャプションを再強調するステップを含むことができる。強調解除および再強調のためのこれらの技術は、上述の技術と同様であると言える。上述のように、以前のキャプションサブ領域は、左から右へ読み取る言語に関しては現在のキャプションサブ領域の左手側に、および右から左へ読み取る言語に関しては現在のキャプションサブ領域の右手側にあることが可能である。いくつかの実施形態においては、サブ領域どうしが横に隣接していることが可能である。互いの上および下に隣接して配置されているなど、その他の構成も可能である。
[0041] 534において、方法500は、ディスプレイ上でキャラクターが表示されている領域上でユーザの視線を検知するステップを含むことができる。536において、方法500は、それに応じて、キャラクターによって話された言葉に対応するクローズドキャプショニングテキストを表示するステップを含むことができる。
[0042] 方法500は、例として提供されており、限定することを意図されているものではないということがわかるであろう。したがって、方法500は、図5A、図5B、および図5Cにおいて示されているステップ以外にさらなるステップおよび/または代替のステップを含むことができるということを理解されたい。さらに、方法500は任意の適切な順序で実行することが可能であるということを理解されたい。さらにまた、本開示の範囲から逸脱することなく方法500から1つまたは複数のステップを省略することができるということを理解されたい。
[0043] いくつかの実施形態においては、本明細書において説明されている方法およびプロセスは、1つまたは複数のコンピューティングデバイスのコンピューティングシステムに結び付けることが可能である。とりわけ、そのような方法およびプロセスは、コンピュータアプリケーションプログラムもしくはサービス、アプリケーションプログラミングインターフェース(API)、ライブラリ、および/またはその他のコンピュータプログラム製品として実装することが可能である。
[0044] 図6は、上述の方法およびプロセスのうちの1つまたは複数を実施して、ひいては上述のシステム10として機能する役割を果たすことができるコンピューティングシステム600の非限定的な一実施形態を概略的に示している。コンピューティングシステム600は、簡略化された形態で示されている。コンピューティングシステム600は、1つまたは複数のハードウェアコンポーネント、たとえば、スマートテレビジョン、デジタルビデオレコーダ(DVR)、デジタルビデオディスク(DVD)もしくはブルーレイ(登録商標)プレーヤ、ストリーミングメディアデバイス、ケーブルテレビジョンコンバータユニット、ゲーミングデバイス、パーソナルコンピュータ、サーバ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワーク化されたコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス(たとえば、スマートフォン)、および/またはその他のコンピューティングデバイスの形態を取ることができる。
[0045] コンピューティングシステム600は、論理マシン602と、論理マシン602によって実行される命令を格納するように構成されているストレージマシン604とを含む。コンピューティングシステム600は、ディスプレイサブシステム606、入力サブシステム608、および通信サブシステム610を含むこともできる。
[0046] 論理マシン602は、命令を実行するように構成されている1つまたは複数の物理デバイスを含む。たとえば、この論理マシンは、1つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、またはその他の論理構造の一部である命令を実行するように構成することが可能である。そのような命令を実施して、タスクを実行すること、データタイプを実施すること、1つもしくは複数のコンポーネントの状態を変容させること、技術的な効果を達成すること、またはその他の形で所望の結果に至ることが可能である。
[0047] この論理マシンは、ソフトウェア命令を実行するように構成されている1つまたは複数のプロセッサを含むことができる。追加として、または代替として、この論理マシンは、ハードウェア命令またはファームウェア命令を実行するように構成されている1つまたは複数のハードウェア論理マシンまたはファームウェア論理マシンを含むことができる。この論理マシンのプロセッサは、シングルコアまたはマルチコアであることが可能であり、その上で実行される命令は、順次処理、並列処理、および/または分散処理用に構成することが可能である。この論理マシンの個々のコンポーネントは、任意選択により、複数の別々のデバイスの間において分散することが可能であり、それらの別々のデバイスは、リモートに配置すること、および/または協調処理用に構成することが可能である。この論理マシンの諸側面を仮想化して、クラウドコンピューティング構成で構成されているリモートでアクセス可能なネットワーク化されたコンピューティングデバイスによって実行することができる。
[0048] ストレージマシン604は、本明細書において説明されている方法およびプロセスを実施するために論理マシンによって実行可能な命令を保持するように構成されている1つまたは複数の物理デバイスを含む。そのような方法およびプロセスが実施されたときに、ストレージマシン604の状態は、たとえば、別のデータを保持するように変容することが可能である。
[0049] ストレージマシン604は、取り外し可能なデバイスおよび/または内蔵デバイスを含むことができる。ストレージマシン604は、数ある中でも、光メモリ(たとえば、CD、DVD、HD-DVD、ブルーレイディスクなど)、半導体メモリ(たとえば、RAM、EPROM、EEPROMなど)、および/または磁気メモリ(たとえば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAMなど)を含むことができる。ストレージマシン604は、揮発性デバイス、不揮発性デバイス、動的デバイス、静的デバイス、読み取り/書き込みデバイス、読み取り専用デバイス、ランダムアクセスデバイス、シーケンシャルアクセスデバイス、ロケーションアドレス指定可能デバイス、ファイルアドレス指定可能デバイス、および/またはコンテンツアドレス指定可能デバイスを含むことができる。
[0050] 有限な持続時間にわたって命令を保持する1つまたは複数の物理デバイスを含むストレージマシン604とは対照的に、代替として、有限な持続時間にわたって物理デバイスによって保持されない通信メディア(たとえば、電磁信号、光信号など)によって、本明細書において説明されている命令の諸側面を伝搬することができる。
[0051] 論理マシン602およびストレージマシン604の諸側面は、1つまたは複数のハードウェアロジックコンポーネントへと共に統合することが可能である。そのようなハードウェアロジックコンポーネントは、たとえば、フィールドプログラマブルゲートアレイ(FPGA)、プログラム固有集積回路および特定用途向け集積回路(PASIC/ASIC)、プログラム固有標準製品およびアプリケーション固有標準製品(PSSP/ASSP)、システムオンアチップ(SOC)、およびコンプレックスプログラマブルロジックデバイス(CPLD)を含むことができる。
[0052] 「モジュール」および「プログラム」という用語は、特定の機能を実行するために実施されるコンピューティングシステム600の一側面を記述するために使用することが可能である。いくつかのケースにおいては、モジュールまたはプログラムは、ストレージマシン604によって保持されている命令を実行する論理マシン602を介してインスタンス化することが可能である。同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、機能などから、別々のモジュール、プログラム、および/またはエンジンをインスタンス化することが可能であるということがわかるであろう。同様に、別々のアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、機能などによって、同じモジュール、プログラム、および/またはエンジンをインスタンス化することが可能である。「モジュール」、「プログラム」、および「エンジン」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどの個々のまたはグループを包含することができる。
[0053] ディスプレイサブシステム606は、ストレージマシン604によって保持されているデータの視覚的な表示を提示するために使用することが可能である。この視覚的な表示は、グラフィカルユーザインターフェース(GUI)の形態を取ることができる。本明細書において説明されている方法およびプロセスは、ストレージマシンによって保持されているデータを変化させ、ひいてはストレージマシンの状態を変容させるので、ディスプレイサブシステム606の状態も同様に、基礎をなすデータにおける変化を視覚的に表すように変容することが可能である。ディスプレイサブシステム606は、実質的に任意のタイプのテクノロジーを利用する1つまたは複数のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、論理マシン602および/またはストレージマシン604と、共有されている筐体内で結合することが可能であり、またはそのようなディスプレイデバイスは、周辺ディスプレイデバイスであることも可能である。
[0054] 入力サブシステム608は、アイトラッキングデバイス612および深度カメラ614、ならびにキーボード、マウス、タッチスクリーン、またはゲームコントローラなど、1つまたは複数のユーザ入力デバイスを含むこと、またはそれらのユーザ入力デバイスとのインターフェースを取ることが可能である。アイトラッキングデバイス612は、赤外線の(またはその他の)光をユーザに照射して、角膜反射を測定するように、そしてまた、それぞれの目の瞳の像を取得して、その相対的な位置を確認し、角膜反射および瞳の像に基づいてユーザの推定視線を計算するように構成することが可能である。それぞれのユーザの視線を検知するために、その他の適切なアイトラッキングテクノロジーを使用することもできる。深度カメラ614は、赤外線の(またはその他の)光をユーザに投射し、構造化光または飛行時間感知テクノロジーを使用して、ユーザ、ならびに深度カメラの視野内にあるその他のオブジェクトまでの距離を特定することもできる。アイトラッキングデバイス612および深度カメラ614は、上述のアイトラッキングデバイス18などの別個のデバイスのハウジング内へ統合することが可能であり、またはコンピューティングシステム600の残りのコンポーネントと一体に形成することが可能である。入力サブシステムは、選択されたナチュラルユーザ入力(NUI)構成部分を含むこと、またはそのNUI構成部分とのインターフェースを取ることが可能であり、そのNUI構成部分の2つの例が、アイトラッキングデバイス612および深度カメラ614である。そのような構成部分は、統合すること、または周辺機器であることが可能であり、入力アクションの変換および/または処理は、オンボードまたはオフボードで取り扱うことが可能である。例示的なNUI構成部分は、話声および/または音声認識のためのマイクロフォン、マシンビジョンおよび/またはジェスチャー認識のための赤外線、カラー、立体、および/または深度カメラ614、動き検知および/または意図認識のためのヘッドトラッカー、アイトラッカー、加速度計、および/またはジャイロスコープ、ならびに脳の活動を評価するための電界感知構成部分を含むことができる。アイトラッキングデバイス612および深度カメラ614は、コンピューティングシステム600の残りのコンポーネントと共に単一のハウジング内に収容することが可能であり、または、たとえば図1A〜図1Gにおいて示されているように別々に形成することも可能である。さらに、いくつかの実施形態においては、ユーザが着用するためのヘッドマウントディスプレイユニットを入力サブシステム608の一部として提供することが可能である。ヘッドマウントディスプレイユニットは、ディスプレイサブシステム606の像を取得するために装備されているカメラと、頭の向きを特定するための内蔵の加速度計およびジャイロスコープと、ディスプレイサブシステム606からの放出された音の方向を特定するためのマイクロフォンアレイとを有することができ、追加として、または代替として、ヘッドマウントディスプレイユニットを着用しているそれぞれのユーザのディスプレイサブシステム606上での視線を特定するために、これらの入力に依存することができる。
[0055] 示されている実施形態においては、クローズドキャプショニングプログラムコントローラ614およびメディアプレーヤ618が、ストレージマシン604内に格納されているところが示されている。これらのソフトウェアプログラムは、論理マシン602によって実行することが可能である。実行された場合には、メディアプレーヤは、ディスプレイサブシステム606上にメディアアイテム23を表示するように構成されており、クローズドキャプショニングコントローラプログラム616は、アイトラッキングデバイス612からのアイトラッキングデータ、および深度カメラ614からの深度カメラデータを受け取り、コントローラ14として機能し、上述のさまざまな様式でクローズドキャプショニングテキストをディスプレイサブシステム606上に表示するように構成されている。
[0056] 含まれる場合には、通信サブシステム610は、コンピューティングシステム600をその他の1つまたは複数のコンピューティングデバイスと通信可能に結合するように構成することが可能である。通信サブシステム610は、1つまたは複数の異なる通信プロトコルに対応している有線通信デバイスおよび/またはワイヤレス通信デバイスを含むことができる。非限定的な例として、通信サブシステムは、ワイヤレス電話ネットワーク、または有線もしくはワイヤレスのローカルエリアネットワークもしくはワイドエリアネットワークを介した通信用に構成することが可能である。いくつかの実施形態においては、通信サブシステムは、コンピューティングシステム600が、インターネットなどのネットワークを介してその他のデバイスへ、および/またはその他のデバイスからメッセージを送信および/または受信することを可能にすることができる。
[0057] 示されている実施形態においては、クローズドキャプショニングプログラム612およびメディアプレーヤ614が、ストレージマシン604内に格納されているところが示されている。これらのソフトウェアプログラムは、論理マシン602によって実行することが可能である。実行された場合には、メディアプレーヤは、ディスプレイサブシステム606上にメディアアイテム23を表示するように構成されている。クローズドキャプショニングプログラム616は、ように構成されている
[0058] 本明細書において説明されている構成および/またはアプローチは、例示的な性質のものであるということ、および多くの変形形態が可能であるので、これらの特定の実施形態または例は限定的な意味で考えられるべきではないということがわかるであろう。本明細書において説明されている特定のルーチンまたは方法は、任意の数の処理戦略のうちの1つまたは複数を表すことができる。したがって、示されているおよび/または説明されているさまざまな行為は、示されているおよび/または説明されているシーケンスで実行すること、その他のシーケンスで実行すること、並行して実行すること、または省略することが可能である。同様に、上述のプロセスの順序は、変更することが可能である。
[0059] 本開示の主題は、本明細書において開示されているさまざまなプロセス、システムおよび構成、およびその他の特徴、機能、行為、および/または特性、ならびにそれらのありとあらゆる均等物のすべての自明ではない新規な組合せおよび下位組合せを含む。

Claims (10)

  1. クローズドキャプショニングをコントロールするためのシステムであって、
    ディスプレイデバイスと、
    メディアアイテムに関するクローズドキャプショニングテキストを、再生中に前記ディスプレイデバイス上に表示するように構成されているクローズドキャプショニングコントローラと、
    前記ディスプレイデバイスに対するユーザの視線のロケーションを検知して、前記ロケーションを前記クローズドキャプショニングコントローラへ送信するように構成されているアイトラッキングデバイスとを含み、
    前記クローズドキャプショニングコントローラが、前記ユーザの視線の所定の視線パターンを認識し、前記所定の視線パターンを検知すると、前記クローズドキャプショニングテキストの前記表示を部分的にまたは完全に強調解除するように構成されている、システム。
  2. クローズドキャプショニングをコントロールするための方法であって、
    メディアアイテムに関するクローズドキャプショニングテキストを、再生中にディスプレイデバイス上の所定のクローズドキャプショニング表示領域において表示するステップと、
    前記ディスプレイデバイスに対するユーザの視線のロケーションを検知するステップと、
    前記ユーザの視線の所定の視線パターンを認識するステップと、
    前記所定の視線パターンを検知すると、前記クローズドキャプショニングテキストの前記表示を部分的にまたは完全に強調解除するステップとを含む方法。
  3. 前記所定の視線パターンを認識するステップは、前記ユーザの視線の前記ロケーションが、前記クローズドキャプショニングテキストが表示されている前記ディスプレイデバイス上の所定のクローズドキャプショニング表示領域内にあるか否かを特定するステップを含み、
    前記クローズドキャプショニングテキストの前記表示を部分的にまたは完全に強調解除するステップは、前記ユーザの視線が、所定の期間よりも長い間にわたって前記所定のクローズドキャプショニング表示領域内にない場合には、前記所定のクローズドキャプショニング表示領域における前記クローズドキャプショニングテキストの前記表示を強調解除するステップを含む、
    さらに含む、請求項2に記載の方法。
  4. 前記ユーザの視線が、所定の期間よりも長い間にわたって前記所定のクローズドキャプショニング表示領域内にある場合には、前記所定のクローズドキャプショニング表示領域における前記クローズドキャプショニングテキストの前記表示を再強調するステップ
    をさらに含む、請求項3に記載の方法。
  5. 前記ユーザの視線の変化の方向および速度を含む情報に基づいて、前記ユーザの視線が、前記所定のクローズドキャプショニング表示領域内で、読み取り方向において、読み取りスピード範囲内であるフィルタリングされたスピードで動いているということを検知するステップ
    をさらに含む、請求項3に記載の方法。
  6. 前記ユーザの視線が前記所定のクローズドキャプショニング表示領域内にあるが、前記ユーザの視線の前記フィルタリングされたスピードが前記読み取りスピード範囲から外れていることが検知された場合には、前記所定のクローズドキャプショニング表示領域における前記クローズドキャプショニングテキストの不透明度を低減させることによって前記クローズドキャプショニングテキストを強調解除するステップ
    をさらに含む、請求項5に記載の方法。
  7. 前記所定のクローズドキャプショニング表示領域内の前記ユーザの視線の前記スピードをモニタして、前記ユーザの視線の前記スピードが所定の遅い読み取りスピードしきい値よりも遅くなっていること、または前記クローズドキャプショニングテキストにおける単語またはフレーズ内の単語上で少なくとも所定の滞留時間にわたって一時停止していることを前記コントローラが検知した場合には、前記クローズドキャプショニングテキストの前記単語またはフレーズに関する補助情報を表示するステップと、前記補助情報を表示する前に、前記ユーザの視線の前記スピードが前記所定の遅い読み取りスピードしきい値よりも遅くなっていること、または前記クローズドキャプショニングテキストにおける前記単語または前記フレーズ内の単語上で少なくとも所定の滞留時間にわたって一時停止していることを前記コントローラが検知した場合には、前記クローズドキャプショニングテキストにおける前記単語またはフレーズのサイズまたはフォントのうちの少なくとも1つを変更するステップと
    をさらに含む、請求項5に記載の方法。
  8. 前記ユーザと前記ディスプレイデバイスとの間における距離をモニタするステップと、
    前記距離が増大した場合には前記クローズドキャプショニングテキストのサイズを増大させ、前記距離が減少した場合にはクローズドキャプショニングテキストの前記サイズを減少させるステップと
    をさらに含む、請求項3に記載の方法。
  9. 前記所定のクローズドキャプショニング表示領域内で以前のキャプションサブ領域および現在のキャプションサブ領域を含む複数の隣接したサブ領域を画定するステップと、
    前記現在のキャプション領域において前記クローズドキャプショニングテキストの現在のキャプションを表示するステップと、
    前記以前のキャプションサブ領域内で前記ユーザの視線を検知すると、前記以前のキャプションサブ領域において前記クローズドキャプショニングテキストの前のキャプションを表示して、前記現在のキャプション領域において前記現在のキャプションを強調解除するステップと、
    前記現在のキャプションサブ領域内で前記ユーザの視線を検知すると、前記以前のキャプション領域において前記以前のキャプションを強調解除して、前記現在のキャプション領域において前記現在のキャプションを再強調するステップと
    をさらに含む、請求項3に記載の方法。
  10. 前記ディスプレイ上でキャラクターが表示されている領域上で前記ユーザの視線を検知するステップと、
    それに応じて、前記キャラクターによって話された言葉に対応するクローズドキャプショニングテキストを表示するステップと
    をさらに含む、請求項3に記載の方法。
JP2016554848A 2014-03-25 2015-03-20 アイトラッキング対応型のスマートなクローズドキャプショニング Active JP6461989B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/225,181 2014-03-25
US14/225,181 US9568997B2 (en) 2014-03-25 2014-03-25 Eye tracking enabled smart closed captioning
PCT/US2015/021619 WO2015148276A1 (en) 2014-03-25 2015-03-20 Eye tracking enabled smart closed captioning

Publications (3)

Publication Number Publication Date
JP2017517045A true JP2017517045A (ja) 2017-06-22
JP2017517045A5 JP2017517045A5 (ja) 2018-03-29
JP6461989B2 JP6461989B2 (ja) 2019-01-30

Family

ID=52814232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016554848A Active JP6461989B2 (ja) 2014-03-25 2015-03-20 アイトラッキング対応型のスマートなクローズドキャプショニング

Country Status (11)

Country Link
US (2) US9568997B2 (ja)
EP (1) EP3123280B1 (ja)
JP (1) JP6461989B2 (ja)
KR (2) KR102513711B1 (ja)
CN (1) CN106164819B (ja)
AU (1) AU2015236456B2 (ja)
CA (1) CA2939955C (ja)
MX (1) MX2016012200A (ja)
RU (1) RU2676045C2 (ja)
TW (1) TW201539255A (ja)
WO (1) WO2015148276A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061670A (ja) * 2018-10-11 2020-04-16 日本放送協会 字幕表示装置及びそのプログラム
WO2023058451A1 (ja) * 2021-10-04 2023-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875218B2 (en) * 2014-01-28 2018-01-23 International Business Machines Corporation Document summarization
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
WO2016021034A1 (ja) * 2014-08-07 2016-02-11 株式会社Fove 3次元上の注視点の位置特定アルゴリズム
CN107736032A (zh) * 2015-06-30 2018-02-23 索尼公司 接收装置、接收方法、传输装置和传输方法
JP6404196B2 (ja) 2015-09-16 2018-10-10 グリー株式会社 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
CN106993227B (zh) * 2016-01-20 2020-01-21 腾讯科技(北京)有限公司 一种进行信息展示的方法和装置
US20170293363A1 (en) * 2016-04-07 2017-10-12 Jeffrey Shawn McLaughlin System And Methods For Eye Gaze Triggered Control Of Appliance By Hand Gesture
US11551441B2 (en) * 2016-12-06 2023-01-10 Enviropedia, Inc. Systems and methods for a chronological-based search engine
JP6831228B2 (ja) * 2016-12-15 2021-02-17 株式会社Z会 情報処理装置、情報処理システム及び情報処理方法
US20180302686A1 (en) * 2017-04-14 2018-10-18 International Business Machines Corporation Personalizing closed captions for video content
US10425696B2 (en) 2017-07-11 2019-09-24 Sony Corporation User placement of closed captioning
CN109271027B (zh) * 2018-09-17 2022-10-14 北京旷视科技有限公司 页面控制方法、装置及电子设备
KR102659863B1 (ko) 2018-11-28 2024-04-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US10880515B2 (en) * 2018-12-14 2020-12-29 Sony Corporation Audio-video reproduction for closed caption display control based on multi-media content
US11069368B2 (en) * 2018-12-18 2021-07-20 Colquitt Partners, Ltd. Glasses with closed captioning, voice recognition, volume of speech detection, and translation capabilities
US11087778B2 (en) * 2019-02-15 2021-08-10 Qualcomm Incorporated Speech-to-text conversion based on quality metric
CN110248241B (zh) * 2019-06-11 2021-06-04 Oppo广东移动通信有限公司 视频处理方法及相关装置
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术(北京)有限公司 智能设备的控制方法、装置、设备和介质
US11070891B1 (en) * 2019-12-10 2021-07-20 Amazon Technologies, Inc. Optimization of subtitles for video content
CN113672132A (zh) * 2020-05-13 2021-11-19 聚好看科技股份有限公司 一种文本框控件显示位置的调整方法及显示设备
TWI755037B (zh) * 2020-08-21 2022-02-11 陳筱涵 影音錄製裝置與影音編輯播放系統
US20220414132A1 (en) * 2021-06-28 2022-12-29 Rovi Guides, Inc. Subtitle rendering based on the reading pace
US11934438B2 (en) 2021-06-28 2024-03-19 Rovi Guides, Inc. Subtitle rendering based on the reading pace
US20240257812A1 (en) * 2023-01-26 2024-08-01 Meta Platforms Technologies, Llc Personalized and curated transcription of auditory experiences to improve user engagement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243784A (ja) * 2005-02-28 2006-09-14 Kobe Univ ポインティングシステム及びポインティング方法
JP2012059121A (ja) * 2010-09-10 2012-03-22 Softbank Mobile Corp 眼鏡型表示装置
JP2012108793A (ja) * 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム
JP2013254358A (ja) * 2012-06-07 2013-12-19 Sony Corp 画像処理装置、画像処理方法およびプログラム
US20150088500A1 (en) * 2013-09-24 2015-03-26 Nuance Communications, Inc. Wearable communication enhancement device

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283560A (en) 1991-06-25 1994-02-01 Digital Equipment Corporation Computer system and method for displaying images with superimposed partially transparent menus
US5648789A (en) 1991-10-02 1997-07-15 National Captioning Institute, Inc. Method and apparatus for closed captioning at a performance
US5898423A (en) 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US6882354B1 (en) 1997-09-17 2005-04-19 Sun Microsystems, Inc. Scroll bars with user feedback
US7120880B1 (en) 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7284201B2 (en) 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
JP2007215097A (ja) * 2006-02-13 2007-08-23 Matsushita Electric Ind Co Ltd 表示データ生成装置
JP5239469B2 (ja) * 2008-04-07 2013-07-17 ソニー株式会社 情報提示装置及び情報提示方法
GB2467898A (en) 2008-12-04 2010-08-18 Sharp Kk Display with automatic screen parameter adjustment based on the position of a detected viewer
RU2494566C2 (ru) * 2009-04-30 2013-09-27 Сони Корпорейшн Устройство и способ управления отображением
US20110084897A1 (en) * 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Electronic device
KR20120053803A (ko) 2010-11-18 2012-05-29 삼성전자주식회사 시선 궤적을 이용한 컨텐츠 표시 장치 및 방법
GB2490868A (en) 2011-05-09 2012-11-21 Nds Ltd A method of playing an audio track associated with a document in response to tracking the gaze of a user
CN102447863A (zh) * 2011-12-20 2012-05-09 四川长虹电器股份有限公司 一种多视点立体视频字幕处理方法
WO2013118387A1 (ja) 2012-02-10 2013-08-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
WO2013168173A1 (en) 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
CN103475831A (zh) * 2012-06-06 2013-12-25 晨星软件研发(深圳)有限公司 应用于显示装置的字幕控制方法与元件
GB2504492A (en) 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US9256784B1 (en) * 2013-03-11 2016-02-09 Amazon Technologies, Inc. Eye event detection
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243784A (ja) * 2005-02-28 2006-09-14 Kobe Univ ポインティングシステム及びポインティング方法
JP2012059121A (ja) * 2010-09-10 2012-03-22 Softbank Mobile Corp 眼鏡型表示装置
JP2012108793A (ja) * 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム
JP2013254358A (ja) * 2012-06-07 2013-12-19 Sony Corp 画像処理装置、画像処理方法およびプログラム
US20150088500A1 (en) * 2013-09-24 2015-03-26 Nuance Communications, Inc. Wearable communication enhancement device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061670A (ja) * 2018-10-11 2020-04-16 日本放送協会 字幕表示装置及びそのプログラム
JP7153522B2 (ja) 2018-10-11 2022-10-14 日本放送協会 字幕表示装置及びそのプログラム
WO2023058451A1 (ja) * 2021-10-04 2023-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
TW201539255A (zh) 2015-10-16
EP3123280B1 (en) 2019-01-02
US9568997B2 (en) 2017-02-14
KR102513711B1 (ko) 2023-03-23
JP6461989B2 (ja) 2019-01-30
CN106164819B (zh) 2019-03-26
AU2015236456A1 (en) 2016-09-08
EP3123280A1 (en) 2017-02-01
KR20160138218A (ko) 2016-12-02
CA2939955C (en) 2022-05-17
RU2016137950A (ru) 2018-03-27
US20150277552A1 (en) 2015-10-01
US10447960B2 (en) 2019-10-15
WO2015148276A1 (en) 2015-10-01
CA2939955A1 (en) 2015-10-01
RU2016137950A3 (ja) 2018-10-22
KR102411014B1 (ko) 2022-06-17
CN106164819A (zh) 2016-11-23
AU2015236456B2 (en) 2019-12-19
KR20220084441A (ko) 2022-06-21
RU2676045C2 (ru) 2018-12-25
US20170155868A1 (en) 2017-06-01
MX2016012200A (es) 2017-01-05

Similar Documents

Publication Publication Date Title
JP6461989B2 (ja) アイトラッキング対応型のスマートなクローズドキャプショニング
US10705602B2 (en) Context-aware augmented reality object commands
KR102223696B1 (ko) 위치 신호를 통한 사용자 인터페이스 요소들의 선택
JP6612250B2 (ja) 会話検出
EP3129863B1 (en) Non-visual feedback of visual change in a gaze tracking method and device
US20220187907A1 (en) Determining user intent based on attention values
KR102333976B1 (ko) 사용자 인식 기반의 영상 제어 장치 및 그 동작방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181226

R150 Certificate of patent or registration of utility model

Ref document number: 6461989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250