EP3719613B1 - Darstellung von untertiteln für medieninhalt - Google Patents

Darstellung von untertiteln für medieninhalt

Info

Publication number
EP3719613B1
EP3719613B1 EP19166620.5A EP19166620A EP3719613B1 EP 3719613 B1 EP3719613 B1 EP 3719613B1 EP 19166620 A EP19166620 A EP 19166620A EP 3719613 B1 EP3719613 B1 EP 3719613B1
Authority
EP
European Patent Office
Prior art keywords
virtual reality
user
caption
reality object
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP19166620.5A
Other languages
English (en)
French (fr)
Other versions
EP3719613A1 (de
Inventor
Jussi LEPPÄNEN
Sujeet Mate
Arto Lehtiniemi
Antti Eronen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Priority to EP19166620.5A priority Critical patent/EP3719613B1/de
Priority to US16/832,640 priority patent/US11069137B2/en
Publication of EP3719613A1 publication Critical patent/EP3719613A1/de
Application granted granted Critical
Publication of EP3719613B1 publication Critical patent/EP3719613B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Claims (15)

  1. Vorrichtung (600), umfassend Mittel zum
    Rendern von visuellem und/oder auditivem Virtual-Reality-Inhalt, wobei der Virtual-Reality-Inhalt ein Virtual-Reality-Objekt (330, 350) umfasst, das einer Beschriftung (340) zugeordnet ist, und wobei die Beschriftung (340) innerhalb eines Sichtfeldes eines Benutzers (340) gerendert wird;
    Bestimmen einer Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) auf der Grundlage eines Zeitbetrags, den der Benutzer (310) damit verbracht hat, auf das Virtual-Reality-Objekt (330, 350) zu schauen und/oder es anzuhören;
    Bestimmen einer Änderung einer Ausrichtung des Benutzers und einer wahrgenommenen Position des Benutzers innerhalb des Virtual-Reality-Inhalts;
    Rendern des Virtual-Reality-Objekts (330, 350), das der Beschriftung (340) zugeordnet ist, derart, dass es nicht mehr vollständig visuell innerhalb des Sichtfeldes des Benutzers gerendert wird; und
    Bestimmen, ob die Beschriftung (340) gerendert werden soll, zumindest teilweise auf der Grundlage der bestimmten Interessensstufe, die dem Virtual-Reality-Objekt (330, 350) zugeordnet ist, und wenn die bestimmte Interessensstufe höher als ein Schwellenwert ist, Fortsetzen des Renderns der Beschriftung (340), wobei, wenn sich das Virtual-Reality-Objekt (330, 350) außerhalb des Sichtfeldes des Benutzers (340) befindet, das Rendern der Beschriftung (340) das Anzeigen einer Entfernung oder einer Richtung zu dem Virtual-Reality-Objekt (330, 350) umfasst.
  2. Vorrichtung (600) nach Anspruch 1, wobei der textliche Inhalt unter Verwendung von Spracherkennung und automatischer Übersetzung bestimmt wird.
  3. Vorrichtung (600) nach einem vorhergehenden Anspruch, wobei das Bestimmen der Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) mindestens eines von Folgendem umfasst: Erfassen des Blicks des Benutzers (310), Erfassen der Ausrichtung des Kopfes des Benutzers (310) oder Zoomen des Benutzers (310) auf den Virtual-Reality-Inhalt.
  4. Vorrichtung (600) nach einem vorhergehenden Anspruch, wobei das Bestimmen der Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) darauf basiert, dass der Benutzer (310) auf das Virtual-Reality-Objekt (330, 350) zoomt, was bewirkt, dass auditiver Virtual-Reality-Inhalt, der dem Virtual-Reality-Objekt (330, 350) zugeordnet ist, dem Benutzer (310) gerendert wird und die Interessensstufe als höher als der Schwellenwert bestimmt wird.
  5. Vorrichtung (600) nach Anspruch 4, ferner umfassend Mittel zum Dämpfen des auditiven Virtual-Reality-Inhalts, der dem Virtual-Reality-Objekt (330, 350) zugeordnet ist, und Fortsetzen des Renderns der Beschriftung (340).
  6. Vorrichtung (600) nach einem vorhergehenden Anspruch, ferner umfassend Mittel zum Erfassen einer Änderung im Sichtfeld, die mindestens eines von Folgendem umfasst: Erfassen der Bewegung des Benutzers (310) oder eines Teils des Benutzers (310).
  7. Vorrichtung (600) nach Anspruch 6, wobei das Bestimmen, ob die Beschriftung (340) nach der erfassten Änderung im Sichtfeld angezeigt werden soll, ferner auf einer virtuellen Entfernung zwischen dem Virtual-Reality-Objekt und dem Benutzer nach der Bewegung basiert.
  8. Verfahren, umfassend
    Rendern von visuellem und/oder auditivem Virtual-Reality-Inhalt, wobei der Virtual-Reality-Inhalt ein Virtual-Reality-Objekt (330, 350) umfasst, das einer Beschriftung (340) zugeordnet ist, die textlichen Inhalt umfasst, der sich auf das Virtual-Reality-Objekt (330, 350) bezieht, dem die Beschriftung (340) zugeordnet ist, und wobei die Beschriftung (340) innerhalb eines Sichtfeldes eines Benutzers (310) gerendert wird;
    Bestimmen einer Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) auf der Grundlage eines Zeitbetrags, den der Benutzer (310) damit verbracht hat, auf das Virtual-Reality-Objekt (330, 350) zu schauen und/oder es anzuhören;
    Bestimmen einer Änderung einer Ausrichtung des Benutzers (310) und einer wahrgenommenen Position des Benutzers innerhalb des Virtual-Reality-Inhalts;
    Rendern des Virtual-Reality-Objekts (330, 350), das der Beschriftung (340) zugeordnet ist, derart, dass es nicht mehr vollständig visuell innerhalb des Sichtfeldes des Benutzers gerendert wird; und
    Bestimmen, ob die Beschriftung (340) gerendert werden soll, zumindest teilweise auf der Grundlage der bestimmten Interessensstufe, die dem Virtual-Reality-Objekt (330, 350) zugeordnet ist, und wenn die bestimmte Interessensstufe höher als ein Schwellenwert ist, Fortsetzen des Renderns der Beschriftung (340), wobei, wenn sich das Virtual-Reality-Objekt (330, 350) außerhalb des Sichtfeldes des Benutzers (340) befindet, das Rendern der Beschriftung (340) das Anzeigen einer Entfernung oder einer Richtung zu dem Virtual-Reality-Objekt (330, 350) umfasst.
  9. Verfahren nach Anspruch 8, wobei das Bestimmen der Interessensstufe in Bezug auf das Virtual-Reality-Objekt mindestens eines von Folgendem umfasst: Erfassen des Blicks des Benutzers (310), Erfassen der Ausrichtung des Kopfes des Benutzers (310) oder Zoomen des Benutzers (310) auf den Virtual-Reality-Inhalt.
  10. Verfahren nach einem der Ansprüche 8 oder 9, wobei das Bestimmen der Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) darauf basiert, dass der Benutzer (310) auf das Virtual-Reality-Objekt (330, 350) zoomt, was bewirkt, dass auditiver Virtual-Reality-Inhalt, der dem Virtual-Reality-Objekt (330, 350) zugeordnet ist, dem Benutzer (310) gerendert wird und die Interessensstufe als höher als der Schwellenwert bestimmt wird.
  11. Verfahren nach einem der Ansprüche 8 bis 10, ferner umfassend Erfassen einer Änderung im Sichtfeld, die mindestens eines von Folgendem umfasst: Erfassen der Bewegung eines Benutzers (310) oder eines Teils des Benutzers (310) oder Zoomen des Benutzers (310) auf den Virtual-Reality-Inhalt.
  12. Computerprogrammprodukt, das, wenn es von einer Vorrichtung (600) nach Anspruch 1 ausgeführt wird, die Vorrichtung veranlasst, Folgendes auszuführen:
    Rendern von visuellem und/oder auditivem Virtual-Reality-Inhalt, wobei der Virtual-Reality-Inhalt ein Virtual-Reality-Objekt (330, 350) umfasst, das einer Beschriftung (340) zugeordnet ist, die textlichen Inhalt umfasst, der sich auf das Virtual-Reality-Objekt (330, 350) bezieht, dem die Beschriftung (340) zugeordnet ist, und wobei die Beschriftung (340) innerhalb eines Sichtfeldes eines Benutzers (310) gerendert wird;
    Bestimmen einer Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) auf der Grundlage eines Zeitbetrags, den der Benutzer (310) damit verbracht hat, auf das Virtual-Reality-Objekt (330, 350) zu schauen und/oder es anzuhören;
    Bestimmen einer Änderung einer Ausrichtung des Benutzers (310) und einer wahrgenommenen Position des Benutzers innerhalb des Virtual-Reality-Inhalts;
    Rendern des Virtual-Reality-Objekts (330, 350), das der Beschriftung (340) zugeordnet ist, derart, dass es nicht mehr vollständig visuell innerhalb des Sichtfeldes des Benutzers gerendert wird; und Bestimmen, ob die Beschriftung (340) danach gerendert werden soll, zumindest teilweise auf der Grundlage der bestimmten Interessensstufe, die dem Virtual-Reality-Objekt (330, 350) zugeordnet ist, und wenn die bestimmte Interessensstufe höher als ein Schwellenwert ist, Fortsetzen des Renderns der Beschriftung (340), wobei, wenn sich das Virtual-Reality-Objekt (330, 350) außerhalb des Sichtfeldes des Benutzers (340) befindet, das Rendern der Beschriftung (340) das Anzeigen einer Entfernung oder einer Richtung zu dem Virtual-Reality-Objekt (330, 350) umfasst.
  13. Computerprogrammprodukt nach Anspruch 12, wobei das Bestimmen der Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) mindestens eines von Folgendem umfasst: Erfassen des Blicks des Benutzers (310), Erfassen der Ausrichtung des Kopfes des Benutzers oder Zoomen des Benutzers (310) auf den Virtual-Reality-Inhalt.
  14. Computerprogrammprodukt nach Anspruch 12 oder 13, wobei das Bestimmen der Interessensstufe in Bezug auf das Virtual-Reality-Objekt (330, 350) darauf basiert, dass der Benutzer (310) auf das Virtual-Reality-Objekt (330, 350) zoomt, was bewirkt, dass auditiver Virtual-Reality-Inhalt, der dem Virtual-Reality-Objekt (330, 350) zugeordnet ist, dem Benutzer (310) gerendert wird und die Interessensstufe als höher als der Schwellenwert bestimmt wird.
  15. Computerprogrammprodukt nach einem der Ansprüche 12 bis 14, ferner umfassend Anweisungen zum Erfassen einer Änderung im Sichtfeld, die mindestens eines von Folgendem umfasst: Erfassen der Bewegung eines Benutzers oder eines Teils des Benutzers oder Empfangen einer Eingabe, die als Darstellung der Bewegung des Benutzers bestimmt wird.
EP19166620.5A 2019-04-01 2019-04-01 Darstellung von untertiteln für medieninhalt Active EP3719613B1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19166620.5A EP3719613B1 (de) 2019-04-01 2019-04-01 Darstellung von untertiteln für medieninhalt
US16/832,640 US11069137B2 (en) 2019-04-01 2020-03-27 Rendering captions for media content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP19166620.5A EP3719613B1 (de) 2019-04-01 2019-04-01 Darstellung von untertiteln für medieninhalt

Publications (2)

Publication Number Publication Date
EP3719613A1 EP3719613A1 (de) 2020-10-07
EP3719613B1 true EP3719613B1 (de) 2026-05-06

Family

ID=66049111

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19166620.5A Active EP3719613B1 (de) 2019-04-01 2019-04-01 Darstellung von untertiteln für medieninhalt

Country Status (2)

Country Link
US (1) US11069137B2 (de)
EP (1) EP3719613B1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256317B (zh) * 2020-10-21 2022-07-29 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式大屏追踪系统的快速构建方法、介质及设备
CN113784105B (zh) * 2021-09-10 2024-07-26 上海曼恒数字技术股份有限公司 一种沉浸式vr终端的信息处理方法及系统
US11857877B2 (en) * 2021-12-23 2024-01-02 Ati Technologies Ulc Automatic in-game subtitles and closed captions
CN114900625A (zh) * 2022-05-20 2022-08-12 北京字跳网络技术有限公司 虚拟现实空间的字幕渲染方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2014038055A1 (ja) * 2012-09-07 2014-03-13 日立コンシューマエレクトロニクス株式会社 受信装置
US20140111542A1 (en) * 2012-10-20 2014-04-24 James Yoong-Siang Wan Platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text
US9959674B2 (en) * 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US10725533B2 (en) * 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
US10958890B2 (en) 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video

Also Published As

Publication number Publication date
US11069137B2 (en) 2021-07-20
US20200312025A1 (en) 2020-10-01
EP3719613A1 (de) 2020-10-07

Similar Documents

Publication Publication Date Title
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和系统
US11212636B2 (en) Dual listener positions for mixed reality
JP2023101560A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US9934614B2 (en) Fixed size augmented reality objects
JP6764490B2 (ja) 媒介現実
US11069137B2 (en) Rendering captions for media content
JP2021508426A (ja) 双方向性拡張または仮想現実装置
EP3422149B1 (de) Verfahren, vorrichtungen, systeme, computerprogramme zur ermöglichung des konsums virtueller inhalte von übermittelter realität
US11367280B2 (en) Audio processing for objects within a virtual space
US10831443B2 (en) Content discovery
US11443487B2 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US12148090B2 (en) Method and device for visualizing sensory perception
EP3264228A1 (de) Vermittelte realität
EP3534241B1 (de) Verfahren, vorrichtung, systeme, computerprogramme zur ermöglichung von vermittelter realität
EP3623908A1 (de) System zur steuerung von audiofähigen verbundenen vorrichtungen in umgebungen für gemischte realität
WO2016001908A1 (en) 3 dimensional anchored augmented reality
CN109313823A (zh) 信息处理装置、信息处理方法和程序
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
WO2022202700A1 (ja) 画像を３次元的に表示するための方法、プログラムおよびシステム
JP2022146839A (ja) 画像を３次元的に表示するための方法、プログラムおよびシステム
EP3422150A1 (de) Verfahren, vorrichtungen, systeme, computerprogramme zur ermöglichung des konsums virtueller inhalte von übermittelter realität
KR20200112706A (ko) 표시자 모드

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210401

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20221125

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G06F 3/01 20060101AFI20250703BHEP

Ipc: G06F 3/04817 20220101ALI20250703BHEP

INTG Intention to grant announced

Effective date: 20250718

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTC Intention to grant announced (deleted)
INTG Intention to grant announced

Effective date: 20251110

INTC Intention to grant announced (deleted)
INTG Intention to grant announced

Effective date: 20251128

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED