JP2022096634A - 触覚コンテンツの提示及び実施 - Google Patents

触覚コンテンツの提示及び実施 Download PDF

Info

Publication number
JP2022096634A
JP2022096634A JP2021203931A JP2021203931A JP2022096634A JP 2022096634 A JP2022096634 A JP 2022096634A JP 2021203931 A JP2021203931 A JP 2021203931A JP 2021203931 A JP2021203931 A JP 2021203931A JP 2022096634 A JP2022096634 A JP 2022096634A
Authority
JP
Japan
Prior art keywords
interest
touch screen
computing device
video
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021203931A
Other languages
English (en)
Other versions
JP7350831B2 (ja
Inventor
エム ゴールドバーグ エヴァン
M Goldberg Evan
エル ベーカー ダニエル
L Baker Daniel
エー ロゴー ジャクソン
A Rogow Jackson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of JP2022096634A publication Critical patent/JP2022096634A/ja
Application granted granted Critical
Publication of JP7350831B2 publication Critical patent/JP7350831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】説明のためのオーディオトラックを使用せずに、ビデオ内で起こっていることを理解できる方法、装置及びシステムを提供する。【解決手段】方法は、ビデオフレームを含むビデオをタッチスクリーン上に表示する工程２０２と、ビデオフレームの顕著性マップに基づいて、ビデオフレーム内の関心領域を決定する工程２０４と、ビデオフレームが表示されている間にタッチスクリーンの領域上のタッチを検出する工程２０６と、タッチスクリーンの領域が関心領域とオーバーラップする決定したことに応答して触覚応答を生成する工程２１０と、を含む。【選択図】図２

Description

背景
ビデオコンテンツは毎日（例えば、コンピュータ、スマートフォン、テレビ等で）何億人もの人々によって視聴され、楽しまれている。しかし、盲目又は視覚障害者は、ビデオを見るときに課題に直面する。ビデオを完全に見ることができないため、ビデオで発生していることを伝えるために他の技術が使用される。例えば、ビデオ内に表示されているイベントを説明するために、ビデオの異なる部分の間に説明のためのオーディオトラックを再生することができる。しかし、これらの技術は、コンテンツの提示を妨げる。例えば、説明のためのオーディオはメインオーディオトラックの上で再生されるため、ビデオの通常のオーディオトラックと競合することがある。
一実施形態によれば、方法は、ビデオフレームを含むビデオをタッチスクリーン上に表示する工程と、ビデオフレームの顕著性マップに基づいて、ビデオフレーム内の関心領域を決定する工程とを含む。また、方法は、ビデオフレームが表示されている間に、タッチスクリーンの領域上のタッチを検出する工程と、タッチスクリーンの領域が関心領域とオーバーラップしていると決定したことに応答して、触覚応答を生成する工程とを含む。他の実施形態は、この方法を実行する装置及びシステムを含む。
上記で列挙された態様が達成され、詳細に理解され得るように、上記で簡単に要約された、本明細書で説明された実施形態のより具体的な説明は、添付図面を参照することによってなされ得る。
しかし、添付図面は典型的な実施形態を示し、従って、限定的であると解釈されるべきではなく、他の等しく有効な実施形態が企図されることに留意すべきである。
例示的なシステムを示す。 図１のシステムにおける例示的な方法のフローチャートである。 図１のシステムにおける例示的な方法のフローチャートである。 図１のシステムにおける例示的なビデオフレームを示す。 図１のシステムにおける例示的な顕著性マップを示す。 図１のシステムにおける例示的なタッチ検出を示す。 図１のシステムにおける例示的な触覚応答を示す。
詳細な説明
本開示は、盲目及び視覚的障害の経験を援助し、ビデオコンテンツを楽しむシステムを説明する。一般に、システムは、顕著性マップを使用して、ビデオフレーム内の関心領域を識別し、これはビデオの主題に関連するビデオフレーム内のオブジェクトに対応することができる。ユーザは（例えば、タッチスクリーンを使用して）ビデオフレームの異なる領域にタッチすることができ、ユーザがこれらの関連するオブジェクトの１つにタッチすると、ユーザのデバイスは触覚応答（例えば、振動）を生成して、ユーザが関連するオブジェクトにタッチしているというフィードバックをユーザに提供することができる。特定の実施形態では、このような方法で、盲目又は視覚障害のあるユーザは、説明のためのオーディオトラックを使用せずに、ビデオ内で起こっていることを理解することができる。
図１は例示的なシステム１００を示す。図１に示されるように、システム１００は、コンピューティングデバイス１０４、ネットワーク１０６、及びビデオサーバ１０８を含む。一般に、コンピューティングデバイス１０４は、ビデオ内の関心領域上のタッチに対する触覚応答を生成する。特定の実施形態では、触覚応答が盲目又は視覚障害のあるユーザ１０２がビデオ内のコンテンツ又はイベントの空間的関係を理解するのを支援する。
ユーザ１０２は、コンピューティングデバイス１０４を使用して、システム１００の他のコンポーネントと対話する。例えば、コンピューティングデバイス１０４はビデオサーバ１０８からビデオを受信し、提示することができる。代替的に又は追加的に、ビデオをコンピューティングデバイス１０４のメモリに記憶することができ、又はコンピューティングデバイス１０４に直接ロードすることができる（例えば、光ディスク又はストレージドライブのようなポータブル記憶媒体を介して）。ビデオをユーザ１０２に提示するとき、コンピューティングデバイス１０４は、ビデオ内の関心領域上のタッチを検出することができる。次いで、コンピューティングデバイス１０４は、タッチが関心領域上で生じたことをユーザ１０２に警告する触覚応答を生成することができる。図１に示されるように、コンピューティングデバイス１０４はプロセッサ１１４、メモリ１１６、及びタッチスクリーン１１８を含み、これらは本明細書で説明されるコンピューティングデバイス１０４のアクション及び機能を実行するように構成することができる。コンピューティングデバイス１０４は、（ｉ）例えばタッチスクリーン１１８の表面上に設けられた伝導層又は絶縁層等の１つ以上の層１１９、（ｉｉ）アクチュエータ１２０、又は（ｉｉｉ）スピーカ１２２の少なくとも１つを更に含む。コンピューティングデバイス１０４の幾つかの実施形態は、これらのコンポーネントの全てを含む必要はない。例えば、コンピューティングデバイス１０４は、（ｉ）１つ以上の層１１９、（ｉｉ）アクチュエータ１２０、又は（ｉｉｉ）スピーカ１２２の１つのみを含むことができる。他の例では、コンピューティングデバイス１０４は、（ｉ）１つ以上の層１１９、（ｉｉ）アクチュエータ１２０、又は（ｉｉｉ）スピーカ１２２の２つのみを含むことができる。更に他の例では、コンピューティングデバイス１０４は、（ｉ）１つ以上の層１１９、（ｉｉ）アクチュエータ１２０、及び（ｉｉｉ）スピーカ１２２の各々を含むことができる。他の例として、タッチスクリーン１１８の異なる実施形態は、異なるタイプの層１１９を含むことができる。
コンピューティングデバイス１０４は、ネットワーク１０６上でシステム１００のコンポーネントと通信するための任意の適切なデバイスを含む。限定ではなく、一例として、コンピューティングデバイス１０４は、コンピュータ、ラップトップ、無線又はセルラー電話、電子ノートブック、携帯情報端末、タブレット、又はシステム１００の他のコンポーネントと情報を受信、処理、記憶、又は通信することができる他の任意の装置であってもよい。コンピューティングデバイス１０４は、バーチャルリアリティ又は拡張リアリティヘッドセット、スマートウォッチ、又はスマートメガネ等のウェアラブルデバイスであってもよい。コンピューティングデバイス１０４は、ビデオゲームシステム又はコンソールであってもよい。タッチスクリーン１１８に関して、タッチスクリーン１１８はコンピューティングデバイス１０４と物理的に統合されてもよく、又はコンピューティングデバイス１０４と通信可能に結合されているが物理的に分離されてもよい。例えば、コンピューティングデバイス１０４がスマートフォン、ラップトップコンピュータ、又はタブレットコンピュータとして実施される場合、タッチスクリーン１１８は、通常、コンピューティングデバイス１０４と一体化される。対照的に、コンピューティングデバイス１０４がデスクトップコンピュータとして実施される場合、タッチスクリーン１１８は、コンピュータタワーの形態のコンピューティングデバイス１０４とは別個のモニタの形態をとることができる。コンピューティングデバイス１０４は、マイクロフォン、キーパッド、又はユーザ１０２によって使用可能な他の適切な端末機器等のユーザインターフェースも含むことができる。コンピューティングデバイス１０４は、本明細書で説明するコンピューティングデバイス１０４の機能又はアクションのいずれかを実行するように構成されたハードウェアプロセッサ、メモリ、又は回路を含むことができる。例えば、ソフトウェアコードを使用して設計されたソフトウェアアプリケーションをメモリに記憶し、プロセッサによって実行し、コンピューティングデバイス１０４の機能を実行することができる。
プロセッサ１１４はマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、及び／又はステートマシンを含むがこれらに限定されない任意の電子回路であり、メモリ１１６に通信可能に結合し、コンピューティングデバイス１０４の動作を制御する。プロセッサ１１４は、８ビット、１６ビット、３２ビット、６４ビット、又は他の任意の適切なアーキテクチャであってもよい。プロセッサ１１４は演算及び論理演算を実行するための演算論理ユニット、ＡＬＵにオペランドを供給し、ＡＬＵ演算の結果を記憶するプロセッサレジスタ、及びメモリから命令をフェッチし、ＡＬＵ、レジスタ、及び他のコンポーネントの協調演算を指示することによってそれらを実行する制御ユニットを含むことができる。プロセッサ１１４は、情報を制御及び処理するためにソフトウェアを動作させる他のハードウェアを含んでいてもよい。プロセッサ１１４は、メモリに記憶されたソフトウェアを実行し、本明細書に記載する機能のいずれかを実行する。プロセッサ１１４は情報（例えば、ビデオサーバ１０８、ネットワーク１０６、及びメモリ１１６から受信した情報）を処理することによって、コンピューティングデバイス１０４の動作及び管理を制御する。プロセッサ１１４は、プログラマブル論理デバイス、マイクロコントローラ、マイクロプロセッサ、任意の適切な処理デバイス、又はこれらの任意の適切な組み合わせであってもよい。プロセッサ１１４は、単一の処理装置に限定されず、複数の処理装置を包含してもよい。
メモリ１１６は、データ、動作ソフトウェア、又はプロセッサ１１４のための他の情報を永久的又は一時的に記憶することができる。メモリ１１６は、情報を記憶するのに適した揮発性又は不揮発性のローカル又はリモートデバイスのいずれか１つ又はそれらの組合せを含むことができる。例えば、メモリ１１６は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、磁気記憶装置、光記憶装置、又は他の適切な情報記憶装置、あるいはこれらの装置の組み合わせを含むことができる。ソフトウェアは、コンピュータ読み取り可能な記憶媒体に具現化された任意の適切な命令セット、論理、又はコードを表す。例えば、ソフトウェアは、メモリ１１６、ディスク、ＣＤ、又はフラッシュドライブ内に具現化されてもよい。特定の実施形態では、ソフトウェアはプロセッサ１１４により実行可能なアプリケーションを含み、本明細書に記載された１以上の機能を実行することができる。
タッチスクリーン１１８は、ディスプレイ及びタッチ検出回路を含んでいてもよい。一般に、タッチ検出回路はディスプレイの一部上にオーバーレイされ、これによって、タッチスクリーン１１８はディスプレイを通して視覚情報（例えばビデオ）を提示し、タッチ検出回路を通してタッチを検出することができる。タッチスクリーン１１８は、ユーザ１０２にビデオ１２４を提示することができる。ビデオ１２４はビデオサーバ１０８から（例えば、ストリームを介して）受信することができる。特定の実施形態では、ビデオ１２４はビデオサーバ１０８から受信されるのではなく、コンピューティングデバイス１０４内に格納されていてもよい。ユーザ１０２がビデオ１２４を再生するようにコンピューティングデバイス１０４に命令すると、コンピューティングデバイス１０４は、タッチスクリーン１１８上にビデオを提示することができる。ビデオ１２４は、連続して再生される個々の画像フレーム１２６を含む。各々のフレーム１２６は静止画像であってもよい。ビデオ１２４を再生することにより、コンピューティングデバイス１０４はタッチスクリーン１１８上でこれらのフレーム１２６を順次再生する。
コンピューティングデバイス１０４は顕著性マップ１２８を使用して、ビデオ１２４の１つ以上のフレーム１２６内の１つ以上の関心領域１３０を識別することができる。特定の実施形態では、ビデオサーバ１０８が顕著性マップ１２８を生成し、コンピューティングデバイス１０４に通信する。例えば、ビデオサーバ１０８は、ビデオ１２４のストリームとは他のストリームで顕著性マップ１２８を通信することができる。他の例として、ビデオサーバ１０８はビデオ１２４のためのストリームと同じストリーム内で顕著性マップ１２８を通信することができ、これにはより信頼性の高い同期を提供することができる。幾つかの実施形態では、コンピューティングデバイス１０４がビデオ１２４及びフレーム１２６を処理して、顕著性マップ１２８を生成することができ、これにより、ビデオサーバ１０８によって記憶され、処理され、送信されるデータの量を低減することができる。一般に、顕著性マップ１２８は、フレーム１２６内の１つ以上の関心領域１３０を識別する。顕著性マップ１２８は、参照により本明細書に組み込まれる米国特許出願第１６／８４０，２０１号に記載されているプロセスの１つ又は複数等、任意の適切なプロセスを使用して生成することができる。幾つかの実施形態では、人間のオペレータがビデオ１２４のフレーム１２６内の関心領域又はオブジェクトにタグを付けることによって、顕著性マップ１２８を手動で生成することができる。
コンピューティングデバイス１０４がビデオ１２４を再生している間、ユーザ１０２はタッチスクリーン１１８にタッチすることができる。ユーザ１０２がタッチスクリーン１１８にタッチすると、タッチスクリーン１１８はタッチ１３２を検出又は登録することができる。例えば、タッチスクリーン１１８はタッチ１３２が発生したことを検出し、タッチ１３２の座標を登録することができる。座標は、タッチ１３２が発生しているタッチスクリーン１１８の領域を示すことができる。次いで、コンピューティングデバイス１０４は、タッチ１３２が発生しているタッチスクリーン１１８の領域の一部が顕著性マップ１２８によって示されるフレーム１２６内の関心領域１３０の一部とオーバーラップしているか否かを判断することができる。タッチ１３２が生じているタッチスクリーン１１８の領域の一部が関心領域１３０の一部とオーバーラップする場合、コンピューティングデバイス１０４は、ユーザ１０２が関心領域１３０にタッチしていることをユーザ１０２に警告する応答を生成することができる。コンピューティングデバイス１０４はタッチ１３２が発生しているタッチスクリーン１１８の領域が関心領域１３０とオーバーラップしていると判定することができ、その場合、コンピューティングデバイス１０４はこれらの領域が部分的にオーバーラップしているか、又はこれらの領域の一方が他方と完全にオーバーラップしていると判定する。換言すれば、本開示では、領域が部分的にオーバーラップするか、又は完全にオーバーラップする場合に、領域がオーバーラップすると意図する。
コンピューティングデバイス１０４は、アクチュエータ１２０、タッチスクリーン１１８、又はスピーカ１２２を使用して、ユーザ１０２に対する応答を生成してもよい。例えば、コンピューティングデバイス１０４は、アクチュエータ１２０、スピーカ１２２、又はタッチスクリーン１１８を使用して、コンピューティングデバイス１０４にタッチしたときにユーザ１０２が感じることができる触覚応答１３４を生成することができる。アクチュエータ１２０は圧電アクチュエータ又は電磁アクチュエータ（例えば、モータ）等の任意の適切なアクチュエータであってもよい。コンピューティングデバイス１０４はアクチュエータ１２０を起動して触覚応答１３４を生成することができ、これはコンピューティングデバイス１０４内の機械的振動又はパルスであってもよい。代替的に、又はアクチュエータ１２０の使用に加えて、コンピューティングデバイス１０４はスピーカ１２２を起動して、触覚応答１３４を生成することができる。スピーカ１２２は、コンピューティングデバイス１０４に機械的振動又はパルス発生を引き起こす低周波音声信号を生成することができる。ユーザ１０２は、コンピューティングデバイス１０４に触れたときに、アクチュエータ１２０によって生成される機械的なパルス又は振動、又はスピーカ１２２からの低周波オーディオ信号（例えば、振動）を感じることができる。
代替的に、又はアクチュエータ１２０又はスピーカ１２２を起動することに加えて、コンピューティングデバイス１０４は、タッチスクリーン１１８を使用して触覚応答１３４を生成することができる。例えば、タッチスクリーン１１８は、導電層及び薄い絶縁層等の１つ以上の層１１９を含むことができる。層１１９はタッチスクリーン１１８の表面を形成することができ、コンピューティングデバイス１０４は１つ以上の層１１９を介して（例えば、導電層を介して）電気信号を通信することができ、これによって、タッチスクリーン１１８に触れたときに、電気信号がユーザ１０２に感覚を体験させることができる。例えば、ユーザ１０２がタッチスクリーン１１８にタッチしているとき、電気信号はユーザ１０２に、タッチスクリーン１１８に似た感覚を、スムーズからラフ（電気振動とも呼ばれる）に変化させることができる。タッチスクリーン１１８の物理的なテクスチャは変化していないが、電気信号により、ユーザ１０２はタッチスクリーン１１８のテクスチャが変化しているように感じる。他の例として、コンピューティングデバイス１０４はタッチスクリーン１１８の物理的テクスチャを実際に変化させる電気信号を通信することができる（タッチスクリーン１１８の物理的テクスチャは変化しないが、ユーザ１０２はテクスチャが変化しているように感じる先の例とは対照的である）。タッチスクリーン１１８は、電気信号に基づいて物理的なテクスチャを変化させる材料の１つ又は層１１９を含むことができる。例えば、タッチスクリーン１１８は、電気信号によって制御される電磁石に基づいて、形状（例えば、丸いものから鋭いものへ）、テクスチャ（例えば、滑らかなものから凹凸のあるものへ、又は波状のものへ）、又は硬度（例えば、軟らかいものから硬いものへ）を変化させる磁気レオロジー流体（例えば、層１１９に含まれる）を含むことができる。ユーザ１０２は、タッチスクリーン１１８にタッチすると、これらのテクスチャの変化を感じることができる。
特定の実施形態では、コンピューティングデバイス１０４は、ユーザ１０２がタッチしている関心領域１３０に基づいて、触覚応答１３４の特定の態様を変更することができる。例えば、コンピューティングデバイス１０４は関心領域１３０内のオブジェクトのサイズ、オブジェクトの曲率、又はビデオフレーム１２６内のオブジェクトの深さ（例えば、オブジェクトがフレーム１２６の前景領域、中景領域、又は背景領域内にあるかどうか）の１つ又は複数に基づいて、触覚応答１３４の強度又は周波数を変更することができる。コンピューティングデバイス１０４はこれらの要因の１つ又は複数に重みを適用し、これらの要因の重み付けされた合計に基づいて触覚応答１３４の強度又は周波数を変更することができる。他の例として、コンピューティングデバイス１０４は顕著性マップ１２８に示されるように、関心領域１３０の顕著性のグラデーションに基づいて、触覚応答１３４の強度又は周波数を変化させることができる（例えば、関心領域１３０がより顕著で重要で又は関連するほど、触覚応答１３４の強度又は周波数は高くなる）。特定の実施形態では、触覚応答１３４を変化させることにより、コンピューティング装置１０４は関心領域１３０の異なる特性をユーザ１０２に通知する。例えば、コンピューティングデバイス１０４は、関心領域内のオブジェクトのサイズ、曲率、又は深さをユーザ１０２に通知することができる。他の例として、コンピューティングデバイス１０４は、関心領域１３０の顕著性、重要性、又は関連性をユーザ１０２に通知することができる。
特定の実施形態では、コンピューティング装置１０４がスピーカ１２２を用いて、関心領域１３０の一部とオーバーラップするタッチスクリーン１１８の一部にタッチ１３２が生じているときにユーザ１０２が聞くオーディオ応答１３６を生成する。例えば、スピーカ１２２はオーディオ応答１３６を生成するために、音声信号（触覚応答１３４のために生成された低周波数信号とは異なる）を再生することができる。オーディオ応答１３６は、タッチ１３２が関心領域１３０上で生じていることをユーザ１０２に警告する追加の可聴信号を提供する。特定の実施形態では、コンピューティングデバイス１０４が触覚応答１３４とオーディオ応答１３６の両方を生成する。
触覚応答１３４と同様に、コンピューティングデバイス１０４は、ユーザ１０２がタッチしている関心領域１３０に基づいて、オーディオ応答１３６の特定の態様を変更することができる。例えば、コンピューティングデバイス１０４は、関心領域１３０内のオブジェクトのサイズ、オブジェクトの曲率、又はビデオフレーム１２６内のオブジェクトの深さの１つ又は複数に基づいて、オーディオ応答１３６のボリューム又は周波数を変更することができる。追加的に又は代替的に、コンピューティングデバイス１０４は顕著性マップ１２８に示されるように、関心領域１３０の顕著性のグラデーションに基づいて、オーディオ応答１３６のボリューム又は周波数を変化させることができる（例えば、関心領域１３０がより顕著で重要で又は関連するほど、オーディオ応答１３６のボリューム又は周波数は高くなる）。特定の実施形態では、オーディオ応答１３６を変更することにより、コンピューティング装置１０４は関心領域１３０の異なる特性をユーザ１０２に通知する。
ネットワーク１０６は、システム１００のコンポーネント間の通信を容易にするように動作可能な任意の適切なネットワークである。ネットワーク１０６は、オーディオ、ビデオ、信号、データ、メッセージ、又はこれらの任意の組合せを送信することができる任意の相互接続システムを含むことができる。ネットワーク１０６は公衆交換電話網（ＰＳＴＮ）、公衆又は私設データ網、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、広域ネットワーク、ローカル（ＷＡＮ）、地域又はグローバル通信又はコンピュータネットワーク（例えば、インターネット等）、有線又は無線網、企業イントラネット、又はこれらの組み合わせを含む他の適切な通信リンクの全て又は一部を含むことができ、これらはコンポーネント間の通信を容易にするように動作可能である。
特定の実施形態において、ビデオサーバ１０８はビデオ１２４を記憶し、コンピューティングデバイス１０４に通信する。図１に示されるように、ビデオサーバ１０８はプロセッサ１１０とメモリ１１２とを含み、これは、本明細書に記載するビデオサーバ１０８の動作又は機能のいずれかを実行するように構成することができる。特定の実施形態では、ビデオサーバ１０８はストリームでビデオ１２４をコンピューティングデバイス１０４に通信することができる。プロセッサ１１０は、マイクロプロセッサ、ＡＳＩＣ、ＡＳＩＰ、及び／又はステートマシンを含むがこれらに限定されない任意の電子回路であり、これはメモリ１１２に通信可能に結合され、ビデオサーバ１０８の動作を制御する。
プロセッサ１１０は、８ビット、１６ビット、３２ビット、６４ビット、又は他の任意の適切なアーキテクチャであってもよい。プロセッサ１１０は算術演算及び論理演算を実行するＡＬＵと、ＡＬＵにオペランドを供給し、ＡＬＵ演算の結果を記憶するプロセッサレジスタと、メモリから命令をフェッチし、ＡＬＵ、レジスタ、及び他のコンポーネントの協調演算を指示することによってそれらを実行する制御ユニットとを含むことができる。プロセッサ１１０は、情報を制御及び処理するためにソフトウェアを動作させる他のハードウェアを含んでいてもよい。プロセッサ１１０は、メモリに記憶されたソフトウェアを実行して、本明細書に記載する機能のいずれかを実行する。プロセッサ１１０は、情報（例えば、コンピューティングデバイス１０４、ネットワーク１０６、及びメモリ１１２から受信された情報）の処理によって、ビデオサーバ１０８のオペレーション及び管理を制御する。プロセッサ１１０は、プログラマブル論理デバイス、マイクロコントローラ、マイクロプロセッサ、任意の適切な処理デバイス、又はこれらの任意の適切な組み合わせであってもよい。プロセッサ１１０は単一の処理装置に限定されず、複数の処理装置を包含していてもよい。
メモリ１１２は、データ、動作ソフトウェア、又はプロセッサ１１０のための他の情報を永久的又は一時的に記憶することができる。メモリ１１２は、情報を記憶するのに適した揮発性又は不揮発性のローカル又はリモートデバイスのいずれか１つ又はそれらの組合せを含むことができる。例えば、メモリ１１２は、ＲＡＭ、ＲＯＭ、磁気記憶装置、光記憶装置、又は他の任意の適切な情報記憶装置又はこれらの装置の組み合わせを含むことができる。ソフトウェアは、コンピュータ読み取り可能な記憶媒体に具現化された任意の適切な命令セット、論理、又はコードを表す。例えば、ソフトウェアは、メモリ１１２、ディスク、ＣＤ、又はフラッシュドライブ内に具現化されてもよい。特定の実施形態では、ソフトウェアは本明細書に記載された１以上の機能を実行するためにプロセッサ１１０により実行可能なアプリケーションを含む。
特定の実施形態では、ビデオサーバ１０８が顕著性マップ１２８を生成し、ストリームでコンピューティングデバイス１０４に通信する。ビデオサーバ１０８は、ビデオ１２４のフレーム１２６を処理して、任意の適切なプロセスを使用して顕著性マップ１２８を生成する。例えば、ビデオサーバ１０８は、参照により本明細書に組み込まれる米国特許出願第１６／８４０，２０１号に記載されているプロセスの１つ又は複数を使用することができる。
図２は図１のシステム１００における例示的な方法２００のフローチャートである。一般に、コンピューティングデバイス１０４は方法２００を実行する。特定の実施形態では、方法２００を実行することにより、コンピューティング装置１０４は盲目又は視覚障害のあるユーザ１０２がビデオ１２４内のコンテンツ又はイベントを理解するのを支援する応答を生成する。方法２００のブロックは図２において特定の順序で提示されているが、方法２００のブロックは任意の適切な順序で実行されてもよい。例えば、ブロックのいくつかは異なる順序で実行されてもよい（例えば、ブロック２０４はブロック２０２の前に実行されてもよい）。他の例として、ブロックのいくつかは同時に実行されてもよい（例えば、ブロック２０２とブロック２０６は同時に実行されてもよい）。
ブロック２０２において、コンピューティングデバイス１０４は、ビデオフレーム１２６を含むビデオ１２４を表示する。例えば、コンピューティングデバイス１０４は、タッチスクリーン１１８上にビデオ１２４及びビデオフレーム１２６を表示することができる。コンピューティングデバイス１０４は、ビデオサーバ１０８からストリームでビデオ１２４を受信していてもよい。
ブロック２０４において、コンピューティングデバイス１０４は、ビデオフレーム１２６内の関心領域１３０を決定する。コンピューティングデバイス１０４は、関心領域１３０を識別するために顕著性マップ１２８を使用することができる。特定の実施形態では、コンピューティングデバイス１０４はビデオサーバ１０８から顕著性マップ１２８を受信することができる。例えば、ビデオサーバ１０８は、ビデオ１２４のためのストリームとは他のストリームで、顕著性マップ１２８をコンピューティングデバイス１０４に通信することができる。幾つかの実施形態では、コンピューティングデバイス１０４はビデオ１２４又はビデオフレーム１２６を処理し、顕著性マップ１２８を生成することができる。一般に、顕著性マップ１２８は、ビデオフレーム１２６内の１つ以上の関心領域１３０を示す。これらの関心領域１３０は、顕著性又は関連性があると判定されたビデオフレーム１２６内の１つ以上のオブジェクトを含むことができる。コンピューティングデバイス１０４又はビデオサーバ１０８は、参照により本明細書に組み込まれる米国特許出願第１６／８４０，２０１号に記載されている１つ以上のプロセスを使用し、ビデオフレーム１２６又はビデオ１２４を分析し、これらの顕著な又は関連するオブジェクトを識別し、関心領域１３０を決定することができる。
ブロック２０６において、コンピューティングデバイス１０４は、フレーム１２６が表示されている間に、タッチスクリーン１１８の領域上のタッチ１３２を検出する。タッチスクリーン１１８は、タッチ１３２を検出することができるタッチ検出回路を含むことができる。コンピューティングデバイス１０４はタッチ１３２を検出し、タッチ１３２の座標を決定することができる。座標は、タッチ１３２が行われているタッチスクリーン１１８の領域を示すことができる。
ブロック２０８において、コンピューティングデバイス１０４は、タッチ１３２が行われているタッチスクリーン１１８の領域が顕著性マップ１２８によって示される関心領域１３０とオーバーラップするかどうかを判定する。換言すると、コンピューティングデバイス１０４は、ユーザ１０２がフレーム１２６内の関心領域１３０にタッチしているかどうかを判定する。ユーザ１０２が関心領域１３０にタッチしていない場合、コンピューティングデバイス１０４は、応答を生成せずに方法２００を終了することができる。ユーザ１０２が関心領域１３０にタッチしている場合、コンピューティングデバイス１０４はブロック２１０で応答を生成する。例えば、コンピューティングデバイス１０４は、ユーザ１０２が感じることができる触覚応答１３４を生成することができる。コンピューティングデバイス１０４は、アクチュエータ１２０を起動して、ユーザ１０２がコンピューティングデバイス１０４に触れたときに感じることができる機械的振動又はパルスを生成することができる。他の例として、コンピューティングデバイス１０４は、スピーカ１２２を起動して、コンピューティングデバイス１０４に触れたときにユーザ１０２が感じることができる機械的振動又はパルスを生成する低周波オーディオ信号を生成することができる。他の例として、コンピューティングデバイス１０４はタッチスクリーン１１８の層１１９を通して電気信号を通信し、ユーザ１０２が層１１９にタッチしているときに、電気信号によってユーザ１０２に感覚を知覚させることができる。この触覚応答１３４はユーザ１０２が関心領域１３０に触れていることをユーザ１０２に警告し、これは、ユーザ１０２がビデオ１２４内のコンテンツ又はイベントを理解するのを支援する。代替的に又は追加的に、コンピューティングデバイス１０４はユーザ１０２が聞くことができるオーディオ応答１３６を生成することができる。コンピューティングデバイス１０４はスピーカ１２２を起動して、ユーザ１０２が聞くことができるオーディオ信号を生成し、ユーザ１０２が関心領域１３０にタッチしていることをユーザ１０２に警告することができる。オーディオ応答１３６は、ユーザ１０２がビデオ１２４内のコンテンツ又はイベントを理解するのを支援する。
特定の実施形態では、コンピューティングデバイス１０４は、ユーザ１０２がタッチしている関心領域１３０に基づいて、触覚応答１３４の特定の態様を変更することができる。例えば、コンピューティングデバイス１０４は、関心領域内のオブジェクトのサイズ、オブジェクトの曲率、又はビデオフレーム１２６内のオブジェクトの深さに基づいて、触覚応答の強度又は周波数を変更することができる。追加的に又は代替的に、コンピューティングデバイス１０４は顕著性マップ１２８に示されるような関心領域１３０の顕著性のレベルに基づいて、触覚応答１３４の強度又は周波数を変化させてもよい（例えば、関心領域１３０がより顕著で重要で又は関連するほど、触覚応答１３４の強度又は周波数がより高くなる）。特定の実施形態では、触覚応答１３４を変化させることにより、コンピューティング装置１０４は関心領域１３０の異なる特性をユーザ１０２に通知する。
図３は図１のシステム１００における例示的な方法３００のフローチャートである。コンピューティングデバイス１０４又はビデオサーバ１０８は方法３００を実行することができる。特定の実施形態では、方法３００を実行することによって、コンピューティングデバイス１０４又はビデオサーバ１０８は盲目又は視覚障害者のユーザ１０２がビデオ１２４内のコンテンツ又はイベントを理解するのを支援するために使用できる顕著性マップ１２８を生成する。例えば、顕著性マップ１２８を方法２００のブロック２０４においてコンピューティングデバイス１０４によって使用し、ビデオフレーム１２６内の関心領域１３０を識別することができる。次いで、コンピューティングデバイス１０４は、ユーザ１０２が関心領域１３０にタッチすると、方法３００のブロック２１０において触覚応答１３４を生成することができる。
ブロック３０２において、コンピューティングデバイス１０４又はビデオサーバ１０８は、ビデオフレーム１２６内の関心オブジェクトを検出する。関心のあるオブジェクト（例えば、人物、重要なオブジェクト等）は、ビデオフレーム１２６内で発生するイベントに関連する又は重要なビデオフレーム１２６内のオブジェクトであってもよい。コンピューティングデバイス１０４又はビデオサーバ１０８は、参照により本明細書に組み込まれる米国特許出願第１６／８４０，２０１号に記載されているプロセスの１つ又は複数等、任意の適切なプロセスを使用して、関心オブジェクトを検出することができる。
ブロック３０４において、コンピューティングデバイス１０４又はビデオサーバ１０８は、関心オブジェクトの座標及び特性を決定する。座標は、フレーム１２６内の関心オブジェクトの位置又はロケーションを示す。関心オブジェクトの特性は、関心オブジェクトのサイズ、関心オブジェクトの曲率、又はビデオフレーム１２６内の関心オブジェクトの深さを含むことができる。これらの特性の１つ以上はコンピューティングデバイス１０４によって使用され、適切な触覚応答１３４及び／又はオーディオ応答１３６を生成することができる。
ブロック３０６において、コンピューティングデバイス１０４又はビデオサーバ１０８は、関心オブジェクトを含む関心領域１３０を示す顕著性マップ１２８を生成する。例えば、コンピューティングデバイス１０４又はビデオサーバ１０８は、関心オブジェクトの座標を使用して、顕著性マップ１２８内の関心領域１３０を定義することができる。更に、コンピューティングデバイス１０４又はビデオサーバ１０８は、関心オブジェクトの特性を使用して、関心オブジェクトの関連性又は重要性を決定してもよい。顕著性マップ１２８は、関心オブジェクトの関連性又は重要性に対応する関心領域１３０の重要性又は関連性を示す顕著性のグラデーションを含むことができる。このようにして、コンピューティングデバイス１０４又はビデオサーバ１０８は、後にユーザ１０２が関心領域１３０に触れた時を決定するために使用することができる顕著性マップ１２８を生成する。幾つかの実施形態では、顕著性マップ１２８は関心領域１３０内の顕著性のグラデーションを示すことができる。例えば、関心領域１３０の領域の特定の部分は、関心領域１３０の他の部分よりも顕著又は重要であってもよい。顕著性マップ１２８は、関心領域１３０全体に亘って顕著性がどのように増加又は減少するかを示すことができる。ユーザが関心領域１３０の異なる部分にタッチすると、コンピューティングデバイス１０４は顕著性マップ１２８に示されるように、その部分の重要度に応じて応答を変更することができる。
図４～図７は図１のシステム１００における例示的なオペレーションを示す。一般に、図４～図７は、ユーザ１０２が関心領域１３０にタッチしたときのコンピューティングデバイス１０４のオペレーションを示す。
図４は図１のシステム１００における例示的なビデオフレーム１２６を示す。図４に示されるように、コンピューティングデバイス１０４は、ビデオフレーム１２６を表示するタッチスクリーン１１８を含む。ビデオフレーム１２６は、自然環境内に２人の人を含む。コンピューティングデバイス１０４は、ビデオ１２４の再生の一部としてビデオフレーム１２６を表示することができる。
図５は図１のシステム１００における例示的な顕著性マップ１２８を示し、これは図３の方法３００を使用して生成することができる。図５に示されるように、顕著性マップ１２８はビデオフレーム１２６における３つの関心領域１３０を識別する。関心領域１３０は、ビデオフレーム１２６内の２人の人と、ビデオフレーム１２６内のツリーと整列する。換言すると、２人の人々とツリーはビデオフレーム１２６内の関心オブジェクトである。前述したように、コンピューティングデバイス１０４はビデオサーバ１０８から顕著性マップ１２８を受信することができ、又は、コンピューティングデバイス１０４はビデオフレーム１２６を処理し、顕著性マップ１３０を生成することができる。コンピューティングデバイス１０４は、顕著性マップ１２８を使用して、ユーザ１０２がビデオフレーム１２６内の関心領域１３０にタッチした時を判定することができる。
図６は図１のシステム１００における例示的なタッチ検出を示す。図６に示されるように、コンピューティングデバイス１０４は、タッチスクリーン１１８の領域上のタッチ１３２を検出する。タッチ１３２はビデオフレーム１２６内の人又はツリーの１つには生じない（即ち、タッチ１３２は、関心領域１３０のいずれかの外側にある／オーバーラップしない）。その結果、コンピューティングデバイス１０４は、タッチ１３２に対する触覚応答１３４又はオーディオ応答１３６等の応答を生成しない。
図７は図１のシステム１００における例示的な触覚応答１３４を示す。図７に示されるように、コンピューティングデバイス１０４は、タッチスクリーン１１８上のタッチ１３２を検出する。タッチ１３２はビデオフレーム１２６内の人の１人の上にあるので、コンピューティングデバイス１０４は顕著性マップ１２８から、タッチ１３２が顕著性マップ１２８内の関心領域１３０とオーバーラップするタッチスクリーン１１８の領域上にあることを判定する。この関心領域１３０は、ビデオフレーム１２６内の人の１人に対応する。これに応答して、コンピューティングデバイス１０４は触覚応答１３４を生成する。例えば、コンピューティングデバイス１０４は、モータ１２０又はスピーカ１２２を起動して、コンピューティングデバイス１０４にタッチするときにユーザ１０２が感じることができる機械的振動又はパルスを生じさせることができる。このようにして、コンピューティングデバイス１０４は、ユーザ１０２がビデオフレーム１２６内の関心領域１３０にタッチしていることをユーザ１０２に警告する。特定の実施形態では、触覚応答１３４が盲目又は視覚障害のあるユーザ１０２がビデオフレーム１２６における顕著な要素（即ち、人々の１人）の位置を理解するのを支援する。
特定の実施形態では、コンピューティング装置１０４は、タッチされた関心領域１３０の特性に基づいて触覚応答１３４の特定の態様を変更する。例えば、コンピューティングデバイス１０４は、タッチされた関心領域１３０内のオブジェクトのサイズ、タッチされた関心領域１３０内のオブジェクトの曲率、ビデオフレーム１２６内の関心領域１３０内のオブジェクトの深さ、タッチされた関心領域１３０の顕著性のグラデーション、又はそれらの組合せに基づいて、触覚応答１３４の強度又は周波数を変化させることができる。また、触覚応答１３４の強度又は周波数は、タッチされたオブジェクトの相対的な重要性に基づいて変化させることができる。例えば、図４～図７では、前景内の人が背景内の人物よりも顕著、重要、又は関連性がある場合、前景内の人物に対するタッチが背景内の人物に対するタッチよりも高い強度又は周波数の触覚応答１３４に関連付けることができる。同じ例では、両方の人がツリーよりも重要である場合、前景の人物へのタッチが背景の人物へのタッチよりも触覚応答１３４のより高い強度又は周波数に関連付け、背景の人物へのタッチがツリーへのタッチよりも触覚応答１３４のより高い強度又は周波数に関連付けることができる。触覚応答１３４のこれらの態様を変更することによって、コンピューティングデバイス１０４は、関心領域１３０のこれらの特性の１つ又は複数を盲目又は視覚障害のあるユーザ１０２に通信することができる。
本開示では、様々な実施形態を参照されている。しかし、本開示は、特定の記載された実施形態に限定されないと理解されるべきである。むしろ、異なる実施形態に関連するか否かにかかわらず、以下の構成及び要素の任意の組み合わせが本明細書で提供される教示を実施及び実現するために企図される。更に、実施形態の要素が「Ａ及びＢの少なくとも１つ」の形態で説明される場合、要素Ａを排他的に含み、要素Ｂを排他的に含み、要素Ａ及びＢを含む実施形態が各々企図されると理解される。更に、幾つかの実施形態は他の可能な解決策を上回る又は先行技術を上回る利点を達成することができるが、特定の利点が所与の実施形態によって達成されるか否かは本開示を限定するものではない。従って、本明細書で開示される態様、構成、実施形態及び利点は単に例示的なものであり、特許請求の範囲において明示的に列挙されている場合を除いて、添付の特許請求の範囲の要素又は限定と解釈されない。同様に、「発明」への言及は本明細書に開示されたいかなる発明主題の一般化としても解釈されるべきではなく、特許請求の範囲に明示的に記載されている場合を除き、添付の特許請求の範囲の要素又は限定であると解釈されるべきではない。
当業者によって理解されるように、本明細書で説明される実施形態は、システム、方法、又はコンピュータプログラム製品として具現化することができる。従って、実施形態は完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は本明細書において一般に「回路」、「モジュール」又は「システム」と称することができるソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態を取ることができる。更に、本明細書において説明される実施形態はその上に具現化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を取ることができる。
コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ等又はこれらの任意の適切な組合せを含むがこれらに限定されない、任意の適切な媒体を使用して送信することができる。
本開示の実施形態のための動作を実行するためのコンピュータプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで記述することができ、これはＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、Ｓｗｉｆｔ、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｃ＃等のオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語等の従来の手続き型プログラミング言語を含む。プログラムコードは、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にはユーザのコンピュータ上で部分的にはリモートコンピュータ上で、又は全体的にリモートコンピュータ又はサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータがローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されていてもよく、又は（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに接続されてもよい。
本開示の態様は、本開示の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図又はブロック図を参照して本明細書で説明される。フローチャート又はブロック図の各ブロック、及びフローチャート又はブロック図のブロックの組合せは、コンピュータプログラム命令によって実施できると理解すべきである。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のマシンを生成するプログラマブルデータ処理装置のプロセッサに提供され、これによって、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート又はブロック図の（１つ以上の）ブロックで指定された作用／動作を実施するための手段を作成する。
また、これらのコンピュータプログラム命令はコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、これによって、コンピュータ可読媒体に格納された命令は、フローチャート又はブロック図の（１つ以上の）ブロックで指定された作用／動作を実行する命令を含む製品を生成する。
また、コンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、一連のオペレーションステップをコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行させて、コンピュータ実行プロセスを生成し、これによって、コンピュータ、他のプログラマブル装置、又は他のデバイス上で実行される命令がフローチャート又はブロック図の（１つ以上の）ブロックで指定された作用／動作を実行するプロセスを提供することができる。
図面中のフローチャート及びブロック図は、本開示の様々な実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実行のアーキテクチャ、機能、及びオペレーションを示す。この点に関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実行するための１つ以上の実行可能命令を備える、モジュール、セグメント、又はコードの一部を表すことができる。また、幾つかの代替的実施形態では、ブロック内に示された機能が図に示された順序とは異なる順序で行われてもよいことに留意すべきである。例えば、連続して示される２つのブロックは実際には実質的に同時に実行されてもよく、又はブロックが含まれる機能に応じて、時には逆の順序で、又は順不同に実行されてもよい。また、ブロック図又はフローチャートの各ブロック、及びブロック図又はフローチャートのブロックの組合せは、指定された機能又は動作を実行する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータ命令との組合せによって実行することができることに留意すべきである。
上記は本開示の実施形態を対象としているが、本開示の他の及び更なる実施形態は本開示の基本的な範囲から逸脱することなく創作することができ、本開示の範囲は以下の特許請求の範囲に基づいて定められる。

Claims (20)

  1. ビデオフレームを含むビデオをタッチスクリーン上に表示する工程と、
    ビデオフレームの顕著性マップに基づいて、ビデオフレーム内の関心領域を決定する工程と、
    ビデオフレームが表示されている間に、タッチスクリーンの領域上のタッチを検出する工程と、
    タッチスクリーンの領域が関心領域とオーバーラップしていることを決定したことに応答して、触覚応答を生成する工程とを含む方法。
  2. 触覚応答はアクチュエータ又はスピーカを使用して生成される、請求項１に記載の方法。
  3. ビデオフレーム内の関心オブジェクトを検出する工程と、
    関心領域が関心オブジェクトを含むように顕著性マップを生成する工程を含む、請求項１記載の方法。
  4. 関心領域内のオブジェクトのサイズ、オブジェクトの曲率、又はビデオフレーム内のオブジェクトの深さの１つ又は複数に基づいて、触覚応答の強度又は周波数を変化させることを含む、請求項１に記載の方法。
  5. 顕著性マップにおける顕著性のグラデーションに基づいて、触覚応答の強度又は周波数を変化させることを含む、請求項１に記載の方法。
  6. タッチスクリーンの領域が関心領域とオーバーラップすると決定したことに応答して、オーディオ応答を生成することを含む、請求項１に記載の方法。
  7. 触覚応答は、タッチスクリーンの層を介して電気信号を通信することによって生成される、請求項１に記載の方法。
  8. ビデオフレームを含むビデオを表示するように構成されたタッチスクリーンと、
    タッチスクリーンに通信可能に結合されたハードウェアプロセッサであって、
    ビデオフレームの顕著性マップに基づいて、ビデオフレーム内の関心領域を決定し、
    ビデオフレームが表示されている間に、タッチスクリーンの領域上のタッチを検出し、
    タッチスクリーンの領域が関心領域とオーバーラップしていると決定したことに応答して、触覚応答を生成するように構成されたハードウェアプロセッサとを含む装置。
  9. アクチュエータ又はスピーカの少なくとも１つ備え、触覚応答はアクチュエータ又はスピーカの少なくとも１つを使用して生成される、請求項８に記載の装置。
  10. ハードウェアプロセッサは、ビデオフレーム内の関心オブジェクトを検出し、
    関心領域が関心オブジェクトを含むように顕著性マップを生成するように構成される、請求項８に記載の装置。
  11. ハードウェアプロセッサは、関心領域内のオブジェクトのサイズ、オブジェクトの曲率、又はビデオフレーム内のオブジェクトの深さの１つ又は複数に基づいて、触覚応答の強度又は周波数を変更するように構成される、請求項８に記載の装置。
  12. ハードウェアプロセッサは、顕著性マップにおける顕著性のグラデーションに基づいて、触覚応答の強度又は周波数を変化させるように構成される、請求項８に記載の装置。
  13. スピーカを備え、ハードウェアプロセッサは、タッチスクリーンの領域が関心領域とオーバーラップすると決定したことに応答して、スピーカを使用して、オーディオ応答を生成するように構成される、請求項８に記載の装置。
  14. 触覚応答は、タッチスクリーンを通じて電気信号を通信することによって生成される、請求項８に記載の装置。
  15. ビデオフレームを含むビデオを通信するように構成されたサーバと、
    コンピューティングデバイスであって、
    サーバからのビデオを表示するように構成されたタッチスクリーンと、
    タッチスクリーンに通信可能に結合されたハードウェアプロセッサであって、
    ビデオフレームの顕著性マップに基づいて、ビデオフレーム内の関心領域を決定し、
    ビデオフレームが表示されている間に、タッチスクリーンの領域上のタッチを検出し、
    タッチスクリーンの領域が関心領域とオーバーラップすると決定したことに応答して、触覚応答を生成するハードウェアプロセッサを含むコンピューティングデバイスを含むシステム。
  16. コンピューティングデバイスはアクチュエータ又はスピーカの少なくとも１つを含み、触覚応答は、アクチュエータ又はスピーカの少なくとも１つを使用して生成される、請求項１５に記載のシステム。
  17. ハードウェアプロセッサは、関心領域内のオブジェクトのサイズ、オブジェクトの曲率、又はビデオフレーム内のオブジェクトの深さの１つ又は複数に基づいて、触覚応答の強度又は周波数を変更するように構成される、請求項１５に記載のシステム。
  18. ハードウェアプロセッサは、顕著性マップにおける顕著性のグラデーションに基づいて、触覚応答の強度又は周波数を変化させるように構成される、請求項１５に記載のシステム。
  19. コンピューティングデバイスはスピーカを備え、タッチスクリーンの領域が関心領域とオーバーラップすると決定したことに応答して、ハードウェアプロセッサは、スピーカを使用して、オーディオ応答を生成するように構成される、請求項１５に記載のシステム。
  20. 触覚応答は、タッチスクリーンを通じて電気信号を通信することによって生成される、請求項１５に記載のシステム。
JP2021203931A 2020-12-17 2021-12-16 触覚コンテンツの提示及び実施 Active JP7350831B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/125,353 US11604516B2 (en) 2020-12-17 2020-12-17 Haptic content presentation and implementation
US17/125,353 2020-12-17

Publications (2)

Publication Number Publication Date
JP2022096634A true JP2022096634A (ja) 2022-06-29
JP7350831B2 JP7350831B2 (ja) 2023-09-26

Family

ID=81991932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021203931A Active JP7350831B2 (ja) 2020-12-17 2021-12-16 触覚コンテンツの提示及び実施

Country Status (3)

Country Link
US (2) US11604516B2 (ja)
JP (1) JP7350831B2 (ja)
CN (1) CN114647306A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011077687A1 (ja) * 2009-12-21 2011-06-30 京セラ株式会社 触感呈示装置および触感呈示装置の制御方法
US20140071117A1 (en) * 2012-09-11 2014-03-13 Dell Products Lp. Method for Using the GPU to Create Haptic Friction Maps
US20150280836A1 (en) * 2014-03-31 2015-10-01 Samsung Electronics Co., Ltd. Method of sharing and receiving information based on sound signal and apparatus using the same
US20170090571A1 (en) * 2015-09-29 2017-03-30 General Electric Company System and method for displaying and interacting with ultrasound images via a touchscreen
US20180322908A1 (en) * 2017-05-02 2018-11-08 Samsung Electronics Co., Ltd. Method for giving dynamic effect to video and electronic device thereof
JP2019133679A (ja) * 2012-11-20 2019-08-08 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ガイド及び静電的摩擦との協力のための触覚的な手がかり（Ｈａｐｔｉｃ Ｃｕｅｓ）を提供する方法及び装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8573979B2 (en) 2007-11-21 2013-11-05 Intel-Ge Care Innovations Llc Tactile display to allow sight impaired to feel visual information including color
WO2009097866A1 (en) 2008-02-04 2009-08-13 Nokia Corporation Device and method for providing tactile information
EP2856282A4 (en) * 2012-05-31 2015-12-02 Nokia Technologies Oy DISPLAY APPARATUS
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
US9372095B1 (en) 2014-05-08 2016-06-21 Google Inc. Mobile robots moving on a visual display
KR101554256B1 (ko) 2015-02-16 2015-09-18 박동현 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법, 이 방법이 적용된 터치스크린 및 이를 이용한 디스플레이 장치
US10795446B2 (en) 2018-04-25 2020-10-06 Seventh Sense OÜ Portable electronic haptic vision device
WO2020139091A1 (es) 2018-12-28 2020-07-02 Bustamante Solis Cesar Jose Dispositvo háptico en arreglo matricial
US11216149B2 (en) * 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
US20210216126A1 (en) * 2020-01-13 2021-07-15 Comcast Cable Communications, Llc Methods and systems for battery management

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011077687A1 (ja) * 2009-12-21 2011-06-30 京セラ株式会社 触感呈示装置および触感呈示装置の制御方法
US20140071117A1 (en) * 2012-09-11 2014-03-13 Dell Products Lp. Method for Using the GPU to Create Haptic Friction Maps
JP2019133679A (ja) * 2012-11-20 2019-08-08 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ガイド及び静電的摩擦との協力のための触覚的な手がかり（Ｈａｐｔｉｃ Ｃｕｅｓ）を提供する方法及び装置
US20150280836A1 (en) * 2014-03-31 2015-10-01 Samsung Electronics Co., Ltd. Method of sharing and receiving information based on sound signal and apparatus using the same
US20170090571A1 (en) * 2015-09-29 2017-03-30 General Electric Company System and method for displaying and interacting with ultrasound images via a touchscreen
US20180322908A1 (en) * 2017-05-02 2018-11-08 Samsung Electronics Co., Ltd. Method for giving dynamic effect to video and electronic device thereof

Also Published As

Publication number Publication date
US20220197384A1 (en) 2022-06-23
US11604516B2 (en) 2023-03-14
US20230221804A1 (en) 2023-07-13
JP7350831B2 (ja) 2023-09-26
CN114647306A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US8992232B2 (en) Interactive and educational vision interfaces
JP7033218B2 (ja) 仮想オブジェクトとしての物理入力デバイスの表示
JP6670361B2 (ja) レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および／またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法
CN106796452A (zh) 通过敲击控制的头戴式显示装置及其控制方法、用于控制该装置的计算机程序
JP2011198249A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10748003B2 (en) Mitigation of augmented reality markup blindness
US20200082627A1 (en) Loading indicator in augmented reality environment
JP7048784B2 (ja) 表示制御システム、表示制御方法及びプログラム
US20210326094A1 (en) Multi-device continuity for use with extended reality systems
US20230102820A1 (en) Parallel renderers for electronic devices
JP7087367B2 (ja) 情報処理装置、プログラム及び制御方法
US10592048B2 (en) Auto-aligner for virtual reality display
US20230221830A1 (en) User interface modes for three-dimensional display
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
JP2022096634A (ja) 触覚コンテンツの提示及び実施
US9921651B2 (en) Video display for visually impaired people
CN115087957A (zh) 虚拟场景
CN106775245B (zh) 基于虚拟现实的用户属性设置方法及装置
CN109847343B (zh) 虚拟现实交互方法及装置、存储介质、电子设备
JP2020080122A (ja) 情報処理装置、情報処理方法、および記憶媒体
US11972088B2 (en) Scene information access for electronic device applications
US11946744B2 (en) Synchronization of a gyroscope in a virtual-reality environment
US20240220069A1 (en) Scene information access for electronic device applications
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
Kapralos et al. Serious games: Customizing the audio-visual interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230913

R150 Certificate of patent or registration of utility model

Ref document number: 7350831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150