CN112740713A - 用于提供多媒体内容中的关键时刻的方法及其电子设备 - Google Patents

用于提供多媒体内容中的关键时刻的方法及其电子设备 Download PDF

Info

Publication number
CN112740713A
CN112740713A CN201980061740.7A CN201980061740A CN112740713A CN 112740713 A CN112740713 A CN 112740713A CN 201980061740 A CN201980061740 A CN 201980061740A CN 112740713 A CN112740713 A CN 112740713A
Authority
CN
China
Prior art keywords
multimedia content
moment
truth
user
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980061740.7A
Other languages
English (en)
Other versions
CN112740713B (zh
Inventor
Y.古普塔
A.戈吉亚
A.巴巴尔
D.考沙尔
G.辛格
K.古普塔
S.C.巴蒂亚
S.考希克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112740713A publication Critical patent/CN112740713A/zh
Application granted granted Critical
Publication of CN112740713B publication Critical patent/CN112740713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于在电子设备上自动提供多媒体内容中的关键时刻的方法及其电子设备。该方法包括：确定重放期间多媒体内容的每个用户的导航行为；基于导航行为确定多媒体内容中的多个关键时刻，其中，所述多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻；存储多个关键时刻；检测候选用户对多媒体内容的播放事件；基于候选用户从多媒体内容中的多个关键时刻检索至少一个关键时刻；以及显示包括所述至少一个关键时刻的可动作用户界面。

Description

用于提供多媒体内容中的关键时刻的方法及其电子设备
技术领域
本公开涉及多媒体内容管理。更具体地，本公开涉及一种用于自动提供多媒体内容中的关键时刻的方法及其电子设备。
背景技术
通常，随着技术的进步，电子设备能够提供各种多媒体内容，诸如视频、音频等。如图1A所示，多媒体内容包括各种部分，如介绍、多媒体演职员表、结尾和用户感兴趣的一些部分。用户可能只想观看多媒体内容的特定部分，而可能对观看介绍和多媒体演职员表不感兴趣。然而，如果用户想跳过观看多媒体内容的介绍和多媒体演职员表，则用户将不得不知道介绍或多媒体演职员表的确切起点和终点。
当在电子设备上播放多媒体内容(例如，在102、104、106和108处示出)的同时，如果用户想要重新观看多媒体内容的特定部分，则用户会不得不对多媒体内容执行多次交互(如图1B中的106和108所示)。确定用户的特定感兴趣部分的过程可能非常麻烦。此外，当出现多媒体内容的不期望部分时，用户将不得不手动跳过该部分。然而，在用户不知道不期望部分结束的确切定时的情况下，用户将不得不执行多次导航以到达不期望部分的确切结束位置。多次导航会导致用户错过用户不想跳过的某个期望部分。
上述信息仅作为背景信息呈现，以帮助理解本公开。关于上述内容中的任何内容是否可以作为关于本公开的现有技术适用，没有做出任何确定，也没有做出任何断言。
发明内容
解决方案
本公开的各方面是为了至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一方面在于提供一种用于自动提供多媒体内容中的关键时刻的电子设备和方法。
本公开的另一方面在于当多个用户正一起观看相同多媒体内容时确定共同关键时刻。
本公开的另一方面在于提供自动模式，以在没有任何用户交互的情况下自动跳过多媒体内容内的否定关键时刻或聚焦于多媒体内容内的肯定关键时刻。
本公开的另一方面在于基于用户的导航行为来确定多媒体内容中的包括肯定关键时刻、否定关键时刻和中性关键时刻的多个关键时刻。
本公开的另一方面在于促使显示包括至少一个关键时刻的可动作用户界面。
本公开的另一方面在于从多媒体内容的多个时间戳中确定每个时间戳的导航分数。
本公开的另一方面在于自动执行与至少一个关键时刻相对应的至少一个动作。
另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中变得清楚，或者可以通过实践所呈现的实施例来了解。
根据本公开的一个方面，提供了一种用于在电子设备上自动提供多媒体内容中的关键时刻的方法。该方法包括：确定重放期间多媒体内容的每个用户的导航行为，并基于导航行为确定多媒体内容中的多个关键时刻，其中，所述多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻；存储所述多个关键时刻；检测候选用户对多媒体内容的重放事件；基于候选用户从多媒体内容中的多个关键时刻检索至少一个关键时刻；以及显示包括所述至少一个关键时刻的可动作用户界面。
根据本公开的另一方面，提供了一种用于自动提供多媒体内容中的关键时刻的电子设备。所述电子设备包括存储器、耦合到所述存储器的至少一个处理器、以及关键时刻管理引擎和所述至少一个处理器。所述至少一个处理器被配置为：确定重放期间所述多媒体内容的每个用户的导航行为，基于所述导航行为确定所述多媒体内容中的多个关键时刻(其中，所述多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻)，存储所述多个关键时刻，检测候选用户对所述多媒体内容的重放事件并基于所述候选用户从所述多媒体内容中的所述多个关键时刻中检索至少一个关键时刻，并在显示器上显示包括所述至少一个关键时刻的可动作用户界面。
通过以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得清楚。
附图说明
图1A是示出根据现有技术的多媒体内容的时间线的示例；
图1B是示出根据现有技术的重放期间多媒体内容的用户的导航行为的示例；
图2A是根据本公开的实施例的用于自动提供多媒体内容中的关键时刻的电子设备的框图；
图2B是根据本公开的实施例的关键时刻管理引擎的框图；
图2C示出根据本公开的实施例的若干方式下的关键时刻产生的示例；
图3A是示出根据本公开的实施例的用于在电子设备上自动提供多媒体内容中的关键时刻的方法的流程图；
图3B是示出根据本公开的实施例的用于基于用户的导航行为来确定多媒体内容中的多个关键时刻的方法的流程图；
图4是示出根据本公开的实施例的基于用户的导航行为的多媒体内容中的多个关键时刻的示图；
图5A和图5B示出根据本公开的各种实施例的基于用户的导航行为的多媒体内容中的多个关键时刻的表示的示例；
图6A和图6B示出根据本公开的各种实施例的提供关于多媒体内容的至少一个否定关键时刻并自动执行与至少一个否定关键时刻相对应的至少一个动作的示例；
图7示出根据本公开的实施例的提供关于多媒体内容的至少一个肯定关键时刻并自动执行与至少一个肯定关键时刻相对应的至少一个动作的示例；
图8A和图8B是示出根据本公开的各种实施例的在自动模式下自动执行与至少一个关键时刻相对应的至少一个动作的示例；
图9是示出根据本公开的实施例的确定当多个用户正在观看多媒体内容时的关键时刻的示例；
图10是示出根据本公开的实施例的基于用户的导航行为自动切换多媒体内容中的字幕的示例；
图11是示出根据本公开的实施例的基于用户的导航行为的多媒体内容中的策略性广告投放的示例；
图12是根据本发明的实施例的用于确定多媒体内容的至少一个关键时刻的缓冲质量的示例图示；
图13是根据本公开的实施例的用于当电子设备处于离线模式时自动提供多媒体内容中的至少一个关键时刻的示例图示；
图14A是根据本公开的实施例的用于在可穿戴电子设备上自动提供多媒体内容中的关键时刻的示例图示；
图14B是根据本公开的实施例的用于在虚拟现实(VR)中自动提供多媒体内容中的关键时刻的示例图示；
图15A和图15B是根据本公开的各种实施例的用于在各种类型的电子设备中自动提供多媒体内容中的关键时刻的示例图示；
图16是示出根据本公开的实施例的用于基于用户的偏好来定制分数的方法的流程图；
图17是根据本公开的实施例的用于对关键时刻进行分类的示例图示；以及
图18是根据本公开的实施例的用于确定用户的偏好的示例图示。
在整个附图中，相同的附图标记将被理解为指代相同的部分、组件和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。以下描述包括各种具体细节以帮助理解，但是这些细节仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明，可以省略对公知功能和结构的描述。
在以下描述和权利要求书中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员应清楚的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
将理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指示。因此，例如，对“组件表面”的引用包括对一个或多个这样的表面的引用。
此外，本文描述的各种实施例不一定是相互排斥的，因为一些实施例可以与一个或多个其他实施例组合以形成新的实施例。
在本文中，除非另有说明，否则如本文所用的术语“或”是指非排他性的或者。本文使用的示例仅旨在便于理解可以实践本文的实施例的方式，并且进一步使本领域技术人员能够实践本文的实施例。因此，示例不应被解释为限制本文的实施例的范围。
如本领域中惯常的，可以按照执行所描述的一个或多个功能的块来描述和示出实施例。这些块(在本文中可以被称为单元、引擎、管理器、模块等)由模拟和/或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现，并且可以可选地由固件和/或软件驱动。例如，电路可以体现在一个或更多个半导体芯片中，或者体现在诸如印刷电路板等的基板支撑件上。构成块的电路可以由专用硬件实现，或者由处理器(例如，一个或更多个编程的微处理器和相关联的电路)实现，或者由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合实现。在不脱离本公开的范围的情况下，实施例的每个块可以物理地分成两个或更多个相互作用和离散的块。同样地，在不脱离本公开的范围的情况下，实施例的块可以物理地组合成更复杂的框。
因此，本文的实施例提供一种用于在电子设备上自动提供多媒体内容中的关键时刻的方法。该方法包括确定重放期间多媒体内容的每个用户的导航行为，并基于导航行为确定多媒体内容中的多个关键时刻，其中，所述多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻。该方法还包括存储多个关键时刻。此外，该方法包括检测候选用户对多媒体内容的重放事件，并基于候选用户从多媒体内容中的多个关键时刻中检索至少一个关键时刻。此外，该方法包括促使显示包括至少一个关键时刻的可动作用户界面。
在一个实施例中，基于导航行为确定多媒体内容中的多个关键时刻包括：确定来自多媒体内容的多个时间戳中的每个时间戳的导航分数，并且对于多媒体内容的每个时间戳，确定导航分数是高于导航阈值、低于导航阈值还是等于导航阈值。此外，该方法包括：当来自多个时间戳的至少一个时间戳的导航分数高于导航阈值时，将多个关键时刻中的关键时刻确定为肯定关键时刻，当来自多个时间戳的至少一个时间戳的导航分数低于导航阈值时，将多个关键时刻中的关键时刻确定为否定关键时刻，并且当来自多个时间戳的至少一个时间戳的导航分数等于导航阈值时，将多个关键时刻中的关键时刻确定为中性关键时刻。
在实施例中，确定多媒体内容的多个时间戳中的每个时间戳的导航分数包括：基于重放多媒体内容的至少一部分的次数来检测与多媒体内容相关联的事件。此外，该方法包括基于所述事件向多媒体内容的每个时间戳分配权重，并且基于所分配权重确定每个时间戳的导航分数。
在实施例中，当至少一个时间戳的导航分数高于导航阈值时，识别肯定关键时刻的开始点和结束点，其中，当至少一个时间戳的导航分数低于导航阈值时，识别否定关键时刻的开始点和结束点，其中，当至少一个时间戳的导航分数等于导航阈值时，识别中性关键时刻的开始点和结束点。
在实施例中，确定多媒体内容的每个用户的导航行为包括：基于与用户相关联的多个参数创建每个用户的用户简档，并检测重放期间每个用户对多媒体内容的至少一个时间戳的交互。此外，该方法包括基于每个用户对至少一个时间戳的交互来确定多媒体内容的每个用户的导航行为。
在实施例中，该方法还包括由电子设备自动执行与至少一个关键时刻相对应的至少一个动作。
在实施例中，基于候选用户从多媒体内容中的多个关键时刻检索至少一个关键时刻包括：确定与候选用户匹配的至少一个用户简档，并基于至少一个匹配用户简档的导航行为从多媒体内容中的多个关键时刻检索至少一个关键时刻。
在实施例中，包括至少一个关键时刻的可动作用户界面被显示在多媒体内容的时间线、电子设备的屏幕的至少一部分和多媒体内容的至少一部分中的至少一个上。
在实施例中，肯定关键时刻、否定关键时刻或中性关键时刻在可动作用户界面中通过使用唯一标识符来区分。
在实施例中，所述至少一个动作包括快进多媒体内容中的所述至少一个关键时刻、聚焦于多媒体内容中的所述至少一个关键时刻、控制多媒体内容中的所述至少一个关键时刻的重放速度、从所述至少一个关键时刻提取音频，从多媒体内容中仅共享所述至少一个关键时刻、从多媒体内容中仅预览所述至少一个关键时刻、以及从多媒体内容中仅下载所述至少一个关键时刻。
在现有技术的方法和系统中，要求用户手动导航以确定要播放/避免的多媒体内容的部分。与现有技术的方法和系统不同，所提出的方法基于候选用户的导航行为、多个用户相对于相同/相似类型的多媒体内容的导航行为来自动显示多媒体内容中的关键时刻。
与现有技术的方法和系统不同，所提出的方法包括对于候选用户将多媒体内容的关键时刻分类为肯定(例如，感兴趣)和否定(例如，不感兴趣)。
与现有技术的方法和系统不同，在所提出的方法中，电子设备允许用户对关键时刻执行各种动作，诸如快进否定关键时刻、导航到肯定关键时刻的开始、播放/暂停/静音关键时刻、提取音频、社交共享等。
在现有技术的方法和系统中，当用户试图跳过多媒体内容的片段时，他们可能意外地跳过更少/更多或在短持续时间内来回导航多次，或者跳过更少并观看不期望的部分。与现有技术的方法和系统不同，在所提出的方法中，针对播放相同多媒体内容的多个用户跟踪导航期间的多个跳跃之间的时间差，并且向用户推荐否定/肯定关键时刻。
现在参考附图，并且更具体地参考图2A至图15B(其中，类似的标记符号在整个附图中一致地表示对应的特征)，示出了优选实施例。
图2A是根据本公开的实施例的用于自动提供多媒体内容中的关键时刻的电子设备100的框图。
参考图2A，电子设备100可以是例如膝上型计算机、个人计算机、移动电话、智能电话、个人数字助理(PDA)、平板电脑、可穿戴设备等。在实施例中，电子设备100可以包括关键时刻管理引擎120、处理器140、存储器160和显示器180。
在实施例中，关键时刻管理引擎120被配置为当多媒体内容被播放时确定多媒体内容的每个用户的导航行为。此外，关键时刻管理引擎120还被配置为基于当多媒体内容被播放时用户的导航行为来确定多媒体内容中的多个关键时刻。多个关键时刻可以是肯定关键时刻、否定关键时刻和中性键时刻之一。为了确定多媒体内容中的多个关键时刻，关键时刻管理引擎120基于多媒体内容的至少一部分被重放的次数来检测与多媒体内容相关联的事件。此外，关键时刻管理引擎120基于所述事件向多媒体内容的每个时间戳分配权重，并基于所分配权重确定每个时间戳的导航分数。
肯定关键时刻是用户期望的多媒体内容的一部分，即，用户已经重复播放并观看多于一次的多媒体内容的一部分。否定关键时刻是用户不期望的多媒体内容的一部分，即，用户在播放多媒体内容的同时已经跳过观看的多媒体内容的一分部。中性时刻是指既不是用户期望的也不是用户不期望的多媒体内容的一部分。当至少一个时间戳的导航分数高于导航阈值时，识别肯定关键时刻的开始点和结束点。当至少一个时间戳的导航分数低于导航阈值时，识别否定关键时刻的开始点和结束点。当至少一个时间戳的导航分数等于导航阈值时，识别中性关键时刻的开始点和结束点。
此外，关键时刻管理引擎120还被配置为将多个关键时刻存储在数据存储124中。此外，当关键时刻管理引擎120检测到候选用户对多媒体内容的重放事件时，关键时刻管理引擎120基于候选用户从多媒体内容中的多个关键时刻检索至少一个关键时刻。关键时刻管理引擎120促使显示包括至少一个关键时刻的预览的可动作用户界面。可动作用户界面被显示在多媒体内容的时间线、电子设备100的屏幕的至少一部分和多媒体内容的至少一部分中的至少一个上。所述至少一个关键时刻可以被堆叠在一起并被显示为可动作用户界面上的集合，或者可以被单独地提供。可以以缩略图、图形交换格式(GIF)、短剪辑中的至少一个连同唯一标识符的形式来显示至少一个关键时刻的预览，其中，唯一标识符用于区分肯定关键时刻、否定关键时刻和中性关键时刻。唯一标识符的形状将基于唯一标识符中的箭头方向将关键时刻指示为“前一个”或“下一个”。关键时刻的预览包括指示关键时刻将/已经出现在正在电子设备100上播放的多媒体内容中之后/之前的持续时间的信息。此外，关键时刻的预览还包括由电子设备100基于其用户简档与候选用户的用户简档匹配的多个用户的导航行为、用户评论部分中的其他流行标签、由发布者添加的标签等推断出的相关标签(例如，介绍、恐怖场景、视频演职员表等)。否定关键时刻的预览还指示关键时刻的持续时间。
此外，关键时刻管理引擎120还被配置为执行与至少一个关键时刻相对应的至少一个动作。所述至少一个动作可以是以下动作之一：快进多媒体内容中的所述至少一个关键时刻、聚焦于多媒体内容中的所述至少一个关键时刻、控制多媒体内容中的所述至少一个关键时刻的重放速度、从所述至少一个关键时刻提取音频、从多媒体内容中仅共享所述至少一个关键时刻、从多媒体内容中仅预览所述至少一个关键时刻以及从多媒体内容中仅下载所述至少一个关键时刻。
在实施例中，处理器140被配置为与诸如关键时刻管理引擎120、存储器160和显示器180的硬件元件交互，用于自动提供多媒体内容中的关键时刻。
在实施例中，存储器160可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。另外，在一些示例中，存储器160可以被认为是非暂时性存储介质。术语“非暂时性”可以指示存储介质不以载波或传播信号来体现。然而，术语“非暂时性”不应被解释为存储器160是不可移动的。在一些示例中，存储器160被配置为存储比存储器更大量的信息。在某些实例中，非暂时性存储媒体可存储可随时间改变的数据(例如，在随机存取存储器(RAM)或高速缓冲存储器中)。
在实施例中，显示器180可以是用于向用户显示/播放多媒体内容的电子设备100的屏幕的一部分。显示器180被配置为以缩略图、GIF、短剪辑中的至少一个连同唯一标识符的形式来显示至少一个关键时刻的预览，其中，唯一标识符用于区分肯定关键时刻、否定关键时刻和中性关键时刻。
尽管图2A示出电子设备100的硬件元件，但是应当理解，其他实施例不限于此。在其他实施例中，电子设备100可以包括更多或更少数量的元件。此外，元件的标签或名称仅用于说明性目的，并不限制本公开的范围。可以将一个或更多个组件组合在一起以执行相同或基本相似的功能，用于自动提供多媒体内容中的关键时刻。
图2B是根据本公开的实施例的关键时刻管理引擎120的框图。
参考图2B，关键时刻管理引擎120可以包括面部识别引擎121、用户识别引擎122、简档引擎123、数据存储124、学习引擎125、字幕切换产生器126、字幕切换推荐引擎127、关键时刻产生器128和关键时刻推荐引擎129。
在实施例中，面部识别引擎121被配置为通过使用电子设备100的相机来捕获用户面部数据并识别用户。此外，面部识别引擎121还被配置为匹配所保存的用户面部数据以及基于用户面部数据来标识用户的年龄组/性别。此外，面部识别引擎121还被配置为将用户面部数据作为用户信息的一部分馈送到简档引擎123以用于创建用户简档。
在实施例中，用户识别引擎122被配置为识别正在电子设备100上播放多媒体内容/与多媒体内容交互的候选用户。通过跟踪电子设备100中的应用内的任何浏览器相关内容中的用户登录会话cookie等来识别候选用户。
在实施例中，简档引擎123被配置为基于由用户识别引擎122基于年龄、性别、位置、过去历史、兴趣、语言偏好、IP地址信息等识别的用户信息来创建用户简档。此外，简档引擎123被配置为确定字幕切换数据并将字幕切换数据添加到用户简档。此外，简档引擎123被配置为执行以下操作：
简档获取：简档引擎123基于从数据存储124提供的用户信息来获取匹配的简档。简档的这种用户的所有相关数据。
简档产生：当没有找到匹配的简档数据时，简档引擎123创建新的用户简档。
多用户简档提取：简档引擎123确定多个用户何时正与多媒体内容交互，并基于在数据存储124、面部识别引擎121和用户识别引擎122处可提供的用户信息来提取所有匹配的简档。此外，简档引擎123确定用户简档的交集，以在与多媒体内容交互的多个用户之间找到共同的感兴趣区域。
简档数据提取：简档引擎123被配置为从数据存储124提取相关会话数据和针对为其创建简档的用户跟踪的数据。
简档分数产生：简档引擎123被配置为基于候选用户的兴趣(诸如社交交互、浏览历史、下载的多媒体内容等)为每个用户简档产生唯一分数。此外，该分数用于为用户的会话赋予权重年龄，并且还用于处理错误/重复的用户数据。
在实施例中，数据存储124被配置为存储用户信息以及由简档引擎123创建的用户简档。
在实施例中，学习引擎125被配置为学习用户关于属于特定流派的多媒体内容的导航行为。此外，学习引擎125还被配置为考虑用户的简档信息和先前学习到的具有匹配的简档的其他用户在访问相同/相似的多媒体内容时的导航行为。此外，学习引擎125还被配置为确定用户与先前推断的关键时刻的交互。此外，学习引擎125被配置为重新计算关键时刻的导航分数。此外，如果重新计算的关键时刻的导航分数并确定重新计算的导航分数是否高于/低于导航阈值，则学习引擎125被配置为将当前关键时刻重新定义为肯定/否定关键时刻。因此，通过连续地学习用户的导航行为连同预定数据，学习引擎125逐渐推断准确的关键时刻。
学习是基于以下各项完成的：
用户的观看/收听行为，即，观看/收听的多媒体内容的部分、多媒体内容中的播放/暂停点以及关于多媒体内容的观看/暂停的持续时间。
用户关于多媒体内容的导航行为：学习引擎125被配置为监测用户在关于多媒体内容的搜索条/时间线或前进/后退控制按钮上的交互。用户的导航行为还包括用户对多媒体内容的速度变化偏好、由用户执行的字幕切换等。
在实施例中，字幕切换产生器126被配置为从简档引擎123获取匹配用户简档以及由用户识别引擎122识别的候选用户的字幕切换数据。此外，字幕切换产生器126被配置为基于从简档引擎123提取的用户信息来提取字幕切换点。
在实施例中，字幕切换推荐引擎127被配置为与字幕切换产生器126交互，并推荐打开/关闭或切换在电子设备100上播放的多媒体内容内的字幕。
在实施例中，关键时刻产生器128被配置为从简档引擎123提取与候选用户匹配的所有用户简档、与匹配的简档相关联的用户信息和会话数据。此外，基于所提取的信息，关键时刻产生器128被配置为通过遍历所有可用会话数据来产生关键时刻。
关键时刻如下产生：
考虑多媒体内容的每个单位帧并如下确定单位帧的加权分数：
根据关于每个会话中的所述多媒体内容的每个用户交互来确定单位帧分数。
确定每个用户的平均会话分数。
使用每个用户的所述平均会话分数和用户简档分数来确定单位帧的加权分数。
使用所产生的单位帧的加权分数提供用于多媒体内容的图形搜索条，并将关键时刻识别/分类为肯定关键时刻和否定关键时刻(如图4A所示)。
每个单位帧的分数:Suf＝(∑(∑(会话的分数)/总会话)×简档分数)/总用户。
单位帧(uf)是多媒体内容的最小可追踪持续时间(～1秒)。偏离点包括向内偏离点，该向内偏离点是用户从某个其他点导航到的时间线上的点。向外偏离点是时间线上的点，用户从该点导航到某个其他点。焦点是多媒体内容的时间线上存在显著偏差的点。兴趣索引是基于多媒体内容的搜索条上的用户导航行为来描绘整个视频有多感兴趣的因子。
任何单位帧中的用户活动如在表1中所提供的。
表1
Figure BDA0002984528240000121
在实施例中，关键时刻推荐引擎129确定电子设备100正在播放多媒体内容，并被配置为与关键时刻产生器128交互以识别正在播放的多媒体内容的当前时刻的关键时刻。此外，关键时刻的推荐仅在多媒体内容的特定时刻显示或仅以特定次数(因子f)显示。关键时刻被推荐为基于用户简档和用户关于多媒体内容的导航行为确定的肯定关键时刻和否定关键时刻。
图2C示出根据本公开的实施例的若干方式下的关键时刻产生的示例。
参考图2C，关键时刻产生器128包括肯定关键时刻产生器128a和否定关键时刻产生器128b。关键时刻产生器128可以被配置为以若干方式产生关键时刻。使用简档和会话数据的关键时刻产生过程被进一步分为两个主要部分，即，可以以若干方式执行的肯定关键时刻产生和否定关键时刻产生。
在实施例中，如202所示，可以串行地产生肯定关键时刻和否定关键时刻，即，肯定关键时刻产生器128a确定肯定关键时刻，接下来由否定关键时刻产生器128b产生否定关键时刻。
在另一个实施例中，如204所示，肯定关键时刻和否定关键时刻可以并行产生，即，肯定关键时刻产生器128a确定肯定关键时刻，同时由否定关键时刻产生器128b产生否定关键时刻。
在另一实施例中，如206所示，可以在若干块(chunk)中处理关键时刻，或者可以将多媒体内容的时间线划分为块。此外，可以并行地对关键时刻产生的数据块进行单独处理。
图3A是示出根据本公开的实施例的用于在电子设备100上自动提供多媒体内容中的关键时刻的方法的流程图300a。
参考图3A，在操作310，电子设备100确定重放期间多媒体内容的每个用户的导航行为。例如，在如图2A所示的电子设备100中，关键时刻管理引擎120可以被配置为确定重放期间多媒体内容的每个用户的导航行为。
在操作320，电子设备100基于导航行为确定多媒体内容中的多个关键时刻。所述多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻。例如，在如图2A所示的电子设备100中，关键时刻管理引擎120可以被配置为基于导航行为来确定多媒体内容中的多个关键时刻，其中，多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻。
在操作330，电子设备100存储多个关键时刻。例如，在如图2A所示的电子设备100中，关键时刻管理引擎120可以被配置为存储多个关键时刻。
在操作340，电子设备100检测候选用户对多媒体内容的重放事件。例如，在如图2A所示的电子设备100中，关键时刻管理引擎120可以被配置为检测候选用户对多媒体内容的重放事件。
在操作350，电子设备100基于候选用户从多媒体内容中的多个关键时刻中检索至少一个关键时刻。例如，在如图2A所示的电子设备100中，关键时刻管理引擎120可以被配置为基于候选用户从多媒体内容中的多个关键时刻中检索至少一个关键时刻。
在操作360，电子设备100促使显示包括至少一个关键时刻的可动作用户界面。例如，在如图2A所示的电子设备100中，关键时刻管理引擎120可以被配置为促使显示包括至少一个关键时刻的可动作用户界面。
所述方法中的各种动作、行动、块、步骤等可以以所呈现的顺序、以不同的顺序或同时执行。此外，在一些实施例中，在不脱离本公开的范围的情况下，可以对动作、行动、块、步骤等之中的一些进行省略、添加、修改、跳过等。
图3B是示出根据本公开的实施例的用于基于用户的导航行为来确定多媒体内容中的多个关键时刻的方法的流程图300b。
参考图3B，在操作321，电子设备100基于多媒体内容的至少一部分被重放的次数来检测与多媒体内容相关联的事件。例如，在如图2B所示的电子设备100中，学习引擎125(即，关键学习引擎)可以被配置为基于多媒体内容的至少一部分被播放的次数来检测与多媒体内容相关联的事件。
在操作322，电子设备100基于所述事件将权重分配给多媒体内容的每个时间戳。例如，在如图2B所示的电子设备100中，关键时刻产生器128可以被配置为基于所述事件将权重分配给多媒体内容的每个时间戳。
在操作323，电子设备100基于所分配的权重来确定每个时间戳的导航分数。例如，在如图2B所示的电子设备100中，关键时刻产生器128可以被配置为基于分配的权重来确定每个时间戳的导航分数。
在操作324，电子设备100针对多媒体内容的每个时间戳确定导航分数是高于导航阈值、低于导航阈值还是等于导航阈值。例如，在如图2B所示的电子设备100中，关键时刻产生器128可以被配置为针对多媒体内容的每个时间戳确定导航分数是高于导航阈值、低于导航阈值还是等于导航阈值。
在操作325，电子设备100将多个关键时刻中的关键时刻确定为以下之一：当来自多个时间戳的至少一个时间戳的导航分数高于导航阈值时，确定为肯定关键时刻；当来自多个时间戳的至少一个时间戳的导航分数低于导航阈值时，确定为否定关键时刻；以及当来自多个时间戳的至少一个时间戳的导航分数等于导航阈值时，确定为中性关键时刻。例如，在如图2B所示的电子设备100中，关键时刻产生器128可以被配置为将多个关键时刻中的关键时刻确定为以下之一：当来自多个时间戳的至少一个时间戳的导航分数高于导航阈值时，确定为肯定关键时刻；当来自多个时间戳的至少一个时间戳的导航分数低于导航阈值时，确定为否定关键时刻；以及当来自多个时间戳的至少一个时间戳的导航分数等于导航阈值时，确定为中性关键时刻。
所述方法中的各种动作、行动、块、步骤等可以以所呈现的顺序、以不同的顺序或同时执行。此外，在一些实施例中，在不脱离本公开的范围的情况下，可以对动作、行动、块、步骤等之中的一些进行省略、添加、修改、跳过等。
图4是示出根据本公开的实施例的基于用户的导航行为的多媒体内容中的多个关键时刻的示图。
参考图4，考虑十个用户以不同的时间间隔在电子设备100上观看多媒体内容(例如，视频)的示例场景。多媒体内容的持续时间为20秒，以1秒作为单位时间帧。此外，考虑所有十个用户具有相似的用户简档。关键时刻管理引擎120确定重放期间多媒体内容的十个用户中的每一个用户的导航行为。通过学习多个用户对相同多媒体内容的导航行为，计算感兴趣帧。与用户关于多媒体内容的导航行为相关联的事件为已观看、未观看、已跳过和再次观看。事件具有如表2中所示的权重。
表2
事件 权重 假设
已观看 0 C1＝0,wF＝0
未观看 0 C2＝0,nwF＝0
已跳过 -1 C3＝-1,sF＝0
再次观看 1 C4＝1,rwF＝0
此外，如表3所示，对于多媒体内容的每个单位帧，基于用户简档为所有十个用户执行的不同事件计算平均加权分数。
表3
Figure BDA0002984528240000151
Suf＝(∑(∑(会话的分数)/总会话)x简档分数)/总数
参考图4，基于针对多媒体内容的整个时间线绘制的平均加权分数来识别多媒体内容的关键时刻。
多媒体内容的具有肯定单位帧分数的帧构成肯定关键时刻。肯定关键时刻表示作为多媒体内容的期望部分或可重新观看部分的关键时刻。多媒体内容的具有否定单位帧分数的帧构成否定关键时刻。否定关键时刻表示作为多媒体内容的不期望部分或可跳过部分的关键时刻。
图5A和图5B示出根据本公开的各种实施例的基于用户的导航行为的多媒体内容中的多个关键时刻的表示的示例。
参考图5A和图5B，在502，包括肯定关键时刻、否定关键时刻和中性关键时刻的至少一个关键时刻沿着多媒体内容的时间线被显示为多色条。多色条使用不同的颜色来表示肯定关键时刻和否定关键时刻。此外，可以沿多色条改变颜色强度以示出至少一个关键时刻的幅度。基于平均加权分数来确定至少一个关键时刻的幅度。具有较大幅度的关键时刻用较高的颜色强度表示，并且具有较低幅度的关键时刻用较低的颜色强度表示。此外，缓冲和非缓冲内容也可以用不同的颜色梯度示出。因此，在沿多媒体内容的时间线提供的多色条的帮助下，用户可以直接导航到期望的关键时刻或跳过否定关键时刻。
在504，包括肯定关键时刻、否定关键时刻和中性关键时刻的至少一个关键时刻被显示为图形搜索条。图形搜索条是线图的形式，其可以包括用于肯定关键时刻和关键时刻的两种不同颜色。向上曲线表示肯定关键时刻，向下曲线表示否定关键时刻。基于关键时刻的平均加权分数来确定沿Y轴的曲线的高度。因此，具有最大高度的向上曲线表示视频中最重要的场景。因此，用户可以直接点击图形搜索条以导航到多媒体内容中的特定关键时刻。
在506，包括肯定关键时刻、否定关键时刻和中性关键时刻的至少一个关键时刻被显示为饼图。多媒体内容的时间线被映射到具有多种颜色的饼图。饼图的各区段中的不同颜色表示肯定关键时刻、否定关键时刻和中性关键时刻。(例如，绿色可以表示肯定关键时刻，红色可以表示否定关键时刻，白色可表示中性关键时刻)。饼图中的区段(例如，圆周)的宽度示出多媒体内容中的关键时刻的持续时间(例如，肯定/否定)。饼图中的区段的长度示出多媒体内容中关键时刻的重要性(例如，肯定/否定)。因此，具有最大长度的绿色区段示出视频中最重要的场景。线指针描绘多媒体内容中的当前位置，并且线指针随着多媒体内容的进展而沿着圆周移动。因此，用户可以点击任何特定区段以直接导航到所述关键时刻。
在508，包括肯定关键时刻、否定关键时刻和中性关键时刻的至少一个关键时刻被显示为2D条形图。条形图的X轴描绘了多媒体内容的时间线，Y轴描绘了特定关键时刻的幅度，其中，正幅度表示肯定关键时刻，负幅度表示否定关键时刻。此外，在X轴上示出了小点指示符，其表示多媒体内容中的当前位置，所述当前位置随着多媒体内容的进展而沿着X轴移动。条的长度越长(例如，正/负)，关键时刻(例如，肯定/否定)的重要性越大。因此，用户可以点击任何特定条以直接导航到所述关键时刻。
在510，包括肯定关键时刻和否定关键时刻的至少一个关键时刻被沿着多媒体内容的时间线显示。此外，在关键时刻出现的时间线上方的位置处提供唯一标识符。
在512，包括肯定关键时刻和否定关键时刻的至少一个关键时刻被显示为关于多媒体内容的缩略图。此外，肯定关键时刻的缩略图可以显示在电子设备100的屏幕的右侧，并且，否定关键时刻的缩略图可以显示在电子设备100的屏幕的左侧。
图6A和图6B示出根据本公开的各种实施例的提供多媒体内容上的至少一个否定关键时刻并自动执行与至少一个否定关键时刻相对应的至少一个动作的示例。
参考图6A和图6B，考虑用户正在电子设备100上观看多媒体内容(例如，视频)的场景。电子设备100针对候选用户确定视频中被推断为不期望的片段，即，否定关键时刻。此外，电子设备100确定否定关键时刻将在距正在播放的视频的当前点5秒之后出现。在602，电子设备100将在电子设备100的屏幕的该部分中的可动作用户界面上连同唯一标识符一起显示否定关键时刻的预览。此外，电子设备100还提供跳过否定关键时刻并导航到将在否定关键时刻的时间戳之后出现的多媒体内容的下一场景的选项。
在另一场景中，在播放多媒体内容时已经过去了否定关键时刻，并且用户已经跳过了否定关键时刻。在604，电子设备100在用户跳过否定关键时刻之后的特定持续时间内显示最后一个否定关键时刻的预览。当否定关键时刻出现时，最后一个否定关键时刻的预览连同相对于多媒体内容的当前位置的时刻一起显示。由于显示已经过去的最后一个否定关键时刻的预览，电子设备100向用户提供用于查看跳过的否定关键时刻的选项。此外，如果用户再次跳过否定关键时刻，则电子设备100重新计算平均权重分数并将该关键时刻强化为否定关键时刻。
在另一场景中，正在播放的多媒体内容的当前场景与否定关键时刻重叠，如606中所示。然后，电子设备100仍然提供缩略图预览连同用于跳过否定关键时刻的选项。因此，即使否定关键时刻已经开始播放，用户也可以跳过否定关键时刻。在用户没有跳过先前已被推断为否定关键时刻的多媒体内容的特定片段的情况下，则学习引擎125重新计算否定关键时刻的导航分数。此外，如果否定关键时刻的重新计算的导航分数落在导航阈值之上，则当前关键时刻被重新定义为不是否定关键时刻。此外，根据当前用户简档的其他类似的预先识别的否定关键时刻也被相应地更新。此外，下一次播放多媒体内容时不显示否定关键时刻的预览。
图7示出根据本公开的实施例的提供多媒体内容上的至少一个肯定关键时刻并执行与至少一个肯定关键时刻相对应的至少一个动作的示例。
参考图7，考虑用户正在电子设备100上观看多媒体内容(例如，视频)的场景。电子设备100确定候选用户的两个肯定关键时刻。此外，电子设备100确定从正在播放的视频的当前点起4分钟前已经过去了一个肯定关键时刻，并且下一个肯定关键时刻将在从正在播放的视频的当前点起5秒后出现。在702，电子设备100将在电子设备100的屏幕的一部分中的可动作用户界面上连同唯一标识符一起显示肯定关键时刻的预览。此外，电子设备100还提供用于重新播放多媒体内容的肯定关键时刻的选项。
此外，肯定关键时刻与时间因子“f”一起显示，即，在每个“f”时间单位之后，即将到来的肯定关键时刻和/或最后肯定关键时刻的推荐以缩略图或GIF或短视频剪辑中的预览的形式显示在电子设备100的屏幕上。此外，每当重新观看肯定关键时刻时，电子设备100重新计算平均权重分数并将关键时刻强化为肯定关键时刻。在用户跳过观看肯定关键时刻的情况下，则电子设备100相应地更新平均权重分数。
此外，电子设备100允许用户对关键时刻(肯定关键时刻和否定关键时刻)执行动作。关键时刻的预览还包括诸如共享特定肯定关键时刻的选项。用户可以选择关于肯定关键时刻的共享选项(如702所示)，并且，电子设备100将从多媒体内容中裁剪特定的肯定关键时刻，以使其可用于共享，这将节省用户的时间和数据。此外，用户还可以在共享关键时刻之前向裁剪的关键时刻添加反馈、评论。
在704，电子设备100还提供用于提取特定肯定关键时刻的音频的选项。此外，电子设备100还允许用户与其他用户共享所提取的音频内容。
在另一示例中，当用户正在观看多媒体内容时，在电子设备100上提供一些通知弹出窗口，连同中断视频的通知声音。此外，通知弹出窗口可以与多媒体内容的一些部分重叠。在所提出的方法中，当用户正在观看肯定关键时刻时，通知弹出窗口可以被延迟，并且在播放肯定关键时刻之后显示通知弹出窗口。
在又一示例中，当用户正在观看多媒体内容时，用户可以改变多媒体内容的不同部分的音量水平。在所提出的方法中，电子设备100学习针对关键时刻改变音量水平的用户行为，并提供用于增大/减小前方关键时刻的音量水平的建议。此外，可以使用自动模式使音量级别建议特征自动化。
图8A和图8B是示出根据本公开的各种实施例的在自动模式下自动执行与至少一个关键时刻相对应的至少一个动作的示例。
考虑当在电子设备100上播放多媒体内容时启用自动模式。
参考图8A，当启用自动模式时，电子设备100自动快进与被分类为否定关键时刻的多媒体内容相关联的时间戳。此外，在自动模式下，向用户提供用于快进否定关键时刻的各种速度选项(例如，将否定关键时刻的快进速度增加2、3或4倍)。此外，用户还可以撤消快进并移动到当前否定关键时刻的开始位置。视频片段将继续播放，并且电子设备100将被同时更新。在自动模式下，用户还可以直接自动导航到特定否定关键时刻的结束，并且多媒体内容的后续片段将被自动播放。此外，当用户想要停止否定关键时刻的自动快进时，用户将不得不点击电子设备100的屏幕上的任何地方，并且，多媒体内容将从当前时刻开始继续播放。
参考图8B，考虑启用自动模式，并且，出现与被分类为肯定关键时刻的多媒体内容相关联的时间戳。电子设备100在需要更多关注或聚焦的肯定关键时刻期间减慢多媒体内容的播放速度。
例如，当播放教育教程时，根据用户的兴趣和导航行为来识别需要更多聚焦的肯定关键时刻。然而，电子设备100还提供用于改变多媒体内容的肯定关键时刻的聚焦速度的选项。
图9是示出根据本公开的实施例的确定多个用户正在观看多媒体内容时的关键时刻的示例。
参考图9，考虑三个用户(即，用户1、用户2和用户3)正在观看相同多媒体内容的场景。用户1、用户2和用户3具有不同的兴趣以及与多媒体内容的不同交互。因此，可能出现用户1想要跳过多媒体内容的某个部分或重新观看多媒体内容的某个部分内容的情况。在常规方法和系统中，不得不手动执行动作，因为没有在先的提示或导航媒介。
在所提出的方法中，电子设备100基于面部识别来识别当前正在与多媒体内容交互的用户1、用户2和用户3。此外，在操作902，电子设备100确定用户1的兴趣和导航行为，在操作904，电子设备100确定用户2的兴趣和导航行为，并且，在操作906，电子设备100确定用户3的兴趣和导航行为。
通过每个用户的兴趣的交集来识别多媒体内容的感兴趣和非兴趣类别。此外，可以使用内容类型和关键时刻标签行为来识别兴趣类别，如表4所示。
表4
喜剧 恐怖 浪漫 成人
用户1 是 是 是
用户2 是 否 是 否
用户3 是 是
因此，基于表4，对于用户1和用户2，喜剧场景成为肯定关键时刻，而恐怖和成人成为否定关键时刻。此外，对于用户1和用户3，喜剧、恐怖和成人场景成为肯定关键时刻。在操作908，电子设备100确定针对所有用户的肯定关键时刻和否定关键时刻。此外，在操作910，电子设备100基于观看多媒体内容的所有用户的兴趣来提供针对肯定关键时刻和否定关键时刻的自动建议。
在另一实施例中，当多个用户正一起观看相同的多媒体内容时，将出现不同用户由于语言或歧义而不理解多媒体内容的某部分的场景，因此感觉需要打开字幕。在所提出的方法中，电子设备100基于用户简档智能地识别三个用户知晓的公共语言集，如表5所示。此外，基于公共语言，将为多媒体内容提供特定语言的字幕切换建议。
表5
用户 英语 印地语 西班牙语
用户1 是 是 是
用户2 是 否 是
用户3 是 是 否
因此，基于表5，英语字幕将显示在多媒体内容中，因为它是观看多媒体内容的所有三个用户知晓的公共语言。
图10是示出根据本公开的实施例的基于用户的导航行为自动切换多媒体内容中的字幕的示例。
参考图10，在操作1002，考虑已经由多个用户播放的特定流派的视频。所述视频包括“意大利”语言在视频内的持续时间在8:30-13:08分和39:48-41:30分之间的片段。由于视频中存在“意大利”语言，观看视频的多个用户在视频的8:30-13:08分和39:48-41:30分之间打开了英语字幕。此外，对于不包括“意大利”语言的视频部分，多个用户已经关闭了英语字幕。此外，基于事件类型保存多媒体内容内的多个用户的字幕交互行为。
在操作1004，候选用户观看与1002中的多媒体内容相同流派的多媒体内容。在8:30分的时刻，电子设备100确定多媒体内容包括“意大利”语言内容。因此，基于学习多个用户的字幕交互行为以打开/关闭字幕并切换语言，电子设备100向候选用户提供字幕推荐，如1006所示。此外，一旦具有“意大利”语言内容的视频部分过去，字幕就自动关闭，如1008所示。
图11是示出根据本公开的实施例的基于用户的导航行为的多媒体内容中的策略性广告投放的示例。
在传统的方法和系统中，广告被随机地放置在多媒体内容的各个片段之间。
参考图11，电子设备100使用分类的关键时刻和偏差点来确定多媒体内容中策略性广告投放的位置。策略性广告投放是为了最大化收入产生而进行的。策略性广告投放将是动态过程，这是因为用户导航行为在播放多媒体内容的同时被监测。
例如，广告可以刚好投放在肯定关键时刻的起始点之前、肯定关键时刻之间和否定关键时刻结束时，以确保广告的最大观看人数。
图12是根据本发明的实施例的用于确定多媒体内容的至少一个关键时刻的缓冲质量的示例图示。
参考图12，电子设备100在确定多媒体内容的各个片段的缓冲质量时使用被确定并分类为肯定关键时刻和否定关键时刻的关键时刻。对于中性关键时刻和肯定关键时刻，缓冲质量可以被设置为高。然而，对于否定关键时刻，可以以各种方式进行缓冲，诸如以下之一：为整个否定关键时刻提供低质量缓冲、为否定关键时刻的一些间隔提供低质量缓冲，仅为否定关键时刻的一部分提供低质量缓冲、以及为整个否定关键时刻跳过缓冲。
为否定关键时刻提供的变化的缓冲与肯定关键时刻和中性关键时刻相比，有助于节省移动数据以及电子设备100的处理时间。因此，基于不同类型的关键时刻提供的变化的缓冲提高了电子设备100的效率。
此外，如果用户开始观看多媒体内容的任何否定关键时刻，则假使否定关键时刻尚未被缓冲，那么缓冲将在否定关键时刻立即开始。此外，如果否定关键时刻的分辨率低，则电子设备100将提供高内容缓冲。
图13是根据本公开的实施例的用于当电子设备100处于离线模式时自动提供多媒体内容中的至少一个关键时刻的示例图示。
参考图13，考虑在电子设备100中针对多媒体内容启用离线模式。因此，在操作1302，电子设备100从中央服务器/云下载多媒体内容连同候选用户简档的关键时刻的指纹(fingerprint)。关键时刻的指纹包括针对多媒体内容与候选用户简档相比所有匹配的其他用户的简档的预处理会话数据的压缩形式，以及多媒体内容的各个时间戳的预处理标签数据。
在操作1304，在电子设备100上本地播放多媒体内容连同基于在操作1302获得的关键时刻的指纹提供的关键时刻推荐。此外，电子设备100还确定在本地保存的用户导航行为和候选用户对多媒体内容的交互。此外，当电子设备100从离线模式切换到在线模式时，保存的导航数据和候选用户对多媒体内容的交互被上传到中央服务器/云。此外，更新相关的关键时刻数据和简档数据提取器以根据新数据重新计算平均加权分数。
图14A是根据本公开的实施例的用于在可穿戴电子设备100上自动提供多媒体内容中的关键时刻的示例图示。
参考图14A，考虑用于自动提供多媒体内容中的关键时刻的电子设备100是可穿戴电子设备100。因此，包括肯定关键时刻、否定关键时刻和中性关键时刻的多媒体内容中的关键时刻被提供为沿着可穿戴电子设备100的屏幕的圆周的圆形多色条。使用不同的颜色来表示肯定关键时刻、否定关键时刻和中性关键时刻。此外，可以提供变化的颜色强度以指示关键时刻的幅度。具有较大幅度的关键时刻(即，导航分数远高于导航阈值的关键时刻)以较高的颜色强度表示。类似地，具有较低幅度的关键时刻(即，具有接近导航阈值的导航分数的关键时刻)以较低的颜色强度表示。用户可以通过使用可穿戴电子设备100的边框/冠部或显示器来直接导航到期望的关键时刻或跳过否定关键时刻。
图14B是根据本公开的实施例的用于在虚拟现实(VR)中自动提供多媒体内容中的关键时刻的示例图示。
参考图14B，考虑用于自动提供多媒体内容中的关键时刻的电子设备100是VR设备。因此，在VR设备的不同区域中提供包括肯定关键时刻、否定关键时刻和中性关键时刻的多媒体内容中的关键时刻。VR设备包括三个区域，即前区、右区和左区。
前区是VR设备的提供主视图或前视图的部分，并且由广角表示。在VR设备的前区中提供虚拟现实中的多媒体内容重放。左区是VR设备的当用户沿逆时针方向旋转他们的头部以查看正在播放的多媒体内容的左部分处的内容时呈现视图的部分。在VR设备的左区中，可以提供在多媒体内容中的当前位置之前出现的关键时刻。在另一实施例中，VR设备的左区可以仅显示特定类型的关键时刻，例如肯定关键时刻。
右区是VR设备的当用户沿顺时针方向旋转他们的头部以观看正在播放的多媒体内容的右部分处的内容时呈现视图的部分。在VR设备的右区中，可以提供在多媒体内容中的当前位置之后出现的关键时刻。在另一实施例中，VR设备的右侧区域可以仅显示特定类型的关键时刻，例如否定关键时刻。
此外，基于多媒体内容中针对当前位置的关键时刻的数量，当用户沿顺时针或逆时针方向上旋转他们的头部时，在VR设备中提供关键时刻的预览。
图15A和图15B是根据本公开的实施例的用于在各种类型的电子设备中自动提供多媒体内容中的关键时刻的示例图示。
通常，可动作用户界面可以不总是显示在电子设备100的屏幕上。在所提出的方法中，可动作用户界面包括至少一个关键时刻，并且可动作用户界面显示在以下中的至少之一上：多媒体内容的时间线、电子设备100的屏幕的至少一部分和多媒体内容的至少一部分。
参考图15A，可动作用户界面的左区显示视频中的当前位置之前的关键时刻，并且，可动作用户界面的右区显示视频中的当前位置之后的关键时刻。
在另一实施方案中，可动作用户界面的左区仅显示否定关键时刻。可动作用户界面的右区仅显示肯定关键时刻。
在可动作用户界面中，向用户显示关键时刻的预览，其中，用户可以垂直滚动这些预览以查看更多预览。取决于视频中相对于当前位置的关键时刻的数量，可以存在单个或多个预览。
参考图15B，具有单独边缘面板(另一种形式的可操作用户界面)的设备可用于显示视频中的所有关键时刻。通过手动打开边缘面板或当特定的关键时刻即将出现时访问边缘面板。时间戳与用于肯定关键时刻和否定关键时刻的箭头图标一起示出。在该表示的帮助下，用户可以直接导航到期望的关键时刻或跳过否定关键时刻。
图16是示出根据本公开的实施例的用于基于用户的偏好来定制分数的方法的流程图。
参考图16，在操作1610，电子设备100基于用户活动确定每个单位帧的分数，并根据分数提供关键时刻推荐。
在操作1620，电子设备100基于由用户选择的至少一个关键时刻来确定用户的偏好。电子设备100监测用户选择哪个关键时刻，并确定用户的偏好。可以基于关于用户的信息和/或与用户的活动相关的事件来确定用户的偏好。
在操作1630，电子设备100分析多媒体内容并基于用户的偏好搜索与所选择的关键时刻类似的关键时刻。
在操作1640，电子设备100调整分数，即，基于分析和搜索的结果为用户定制分数。例如，电子设备100可以增加或减少搜索到的关键时刻的分数。
图17是根据本公开的实施例的用于对关键时刻进行分类的示例图示。
参考图17，可以通过使用机器学习对关键时刻进行分类。电子设备可以执行内容分析以确定关于包括诸如多媒体内容、内容评论、用户评论和/或内容元数据的各种特征的数据集的场景类型。
具体地，多媒体内容分析单元1711使用图像处理和音频处理来分析多媒体的内容。多媒体内容分析单元1711通过分析内容的运动或音频来识别场景并确定场景的类型。例如，如果任何多媒体内容具有战斗场景或赛车场景，则多媒体内容分析单元1711将其识别为动作关键时刻。
内容评论分析单元1712对用户对多媒体内容共享的评论执行内容分析。内容评论分析单元1712使用机器学习来分析用户评论的情绪，由此基于这些评论来给多媒体打标签。
用户评论分析单元1713分析用户对特定关键时刻的评论，以提取关键时刻中的场景类型。例如，如果用户对特定关键时刻评论“有史以来最佳战斗场景”，则我们的解决方案将其检测为动作关键时刻。
内容元数据分析单元1714使用关于多媒体内容的可用标签。例如，内容元数据分析单元1714识别由上传或共享内容的人定义的电影的流派或标签。
学习引擎1720通过使用来自分析单元(例如，多媒体内容分析单元1711、内容评论分析单元1712、用户评论分析单元1713和/或内容元数据分析单元1714)的数据来执行机器学习。学习引擎1720产生训练数据1730。训练数据1730可以用于将场景分类为场景类别1740。
图18是根据本公开的实施例的用于确定用户的偏好的示例图示。
参考图18，用户的偏好可以由用户偏好分数1830来表示。用户偏好分数1830可以由学习引擎1820通过使用用户信息1811、用户过去会话1812和场景类型分数1813来确定。例如，根据所提供的用户信息，基于用户信息1811来确定用户简档。用户信息1811包括年龄、性别、位置、过去历史、兴趣、语言偏好、IP地址信息等中的至少一个。用户过去会话1812包括用户活动中的至少一个(例如，表1中所示的至少一个事件)。将基于用户的兴趣、社交交互和先前历史为每个用户产生唯一简档分数。提取简档和会话数据并将其用于识别用户的场景偏好。基于具有匹配简档的用户的会话数据来确定场景类型分数1813。
在实施例中，对于每个场景类型，电子设备根据每个会话中的活动来计算场景类型分数。例如，每个场景类型的分数可以通过以下来确定：
(∑(∑(会话的分数)/总会话)x简档分数)/总用户。
然后，电子设备找到每个用户的平均会话分数。电子设备基于平均会话分数和用户简档分数来确定平均分数。这里，场景类型分数的加权分数被用于制作图形搜索条并基于场景类型分数来识别用户偏好。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种用于操作电子设备的方法，所述方法包括：
确定重放期间多媒体内容的每个用户的导航行为；
基于导航行为确定所述多媒体内容中的多个关键时刻，所述多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻；
存储所述多个关键时刻；
检测由候选用户对所述多媒体内容的重放事件；
基于候选用户从所述多媒体内容中的多个关键时刻检索至少一个关键时刻；以及
显示包括所述至少一个关键时刻的可动作用户界面。
2.根据权利要求1所述的方法，其中，所述基于导航行为确定所述多媒体内容中的多个关键时刻包括：
确定来自所述多媒体内容的多个时间戳中的每个时间戳的导航分数；
对于所述多媒体内容的每个时间戳，确定导航分数是高于导航阈值、低于导航阈值还是等于导航阈值；以及
将所述多个关键时刻中的关键时刻确定为：
基于来自所述多个时间戳中的至少一个时间戳的导航分数高于导航阈值，肯定关键时刻，
基于来自所述多个时间戳中的至少一个时间戳的导航分数低于导航阈值，否定关键时刻，以及
基于来自所述多个时间戳中的至少一个时间戳的导航分数等于导航阈值，中性关键时刻。
3.根据权利要求2所述的方法，其中，确定来自所述多媒体内容的多个时间戳中的每个时间戳的导航分数包括：
基于所述多媒体内容的至少一部分被重放的次数来检测与所述多媒体内容相关联的事件；
基于所述事件向所述多媒体内容的每个时间戳分配权重；以及
基于所分配的权重来确定每个时间戳的导航分数。
4.根据权利要求2所述的方法，
其中，所述肯定关键时刻的开始点和结束点基于所述至少一个时间戳的导航分数高于导航阈值来识别，
其中，所述否定关键时刻的开始点和结束点基于所述至少一个时间戳的导航分数低于导航阈值来识别，并且
其中，所述中性关键时刻的开始点和结束点基于所述至少一个时间戳的导航分数等于导航阈值来识别。
5.根据权利要求1所述的方法，其中，所述确定所述多媒体内容的每个用户的导航行为包括：
基于与所述用户相关联的多个参数来创建每个用户的用户简档；
检测重放期间每个用户对所述多媒体内容的至少一个时间戳的交互；以及
基于所述多媒体内容的每个用户对至少一个时间戳的所述交互来确定所述每个用户的导航行为。
6.根据权利要求1所述的方法，还包括：
自动执行与所述关键时刻中的至少一个关键时刻相对应的至少一个动作。
7.根据权利要求6所述的方法，其中，基于所述候选用户从所述多媒体内容中的多个关键时刻中检索至少一个关键时刻包括：
确定与所述候选用户匹配的至少一个用户简档；以及
基于至少一个匹配用户简档的导航行为，从所述多媒体内容中的多个关键时刻检索至少一个关键时刻。
8.根据权利要求6所述的方法，其中，包括所述至少一个关键时刻的可动作用户界面被显示在以下中的至少一个上：多媒体内容的时间线、电子设备的屏幕的至少一部分、或多媒体内容的至少一部分。
9.根据权利要求6所述的方法，其中，所述肯定关键时刻、所述否定关键时刻或所述中性关键时刻在所述可动作用户界面中通过使用唯一标识符来区分。
10.根据权利要求6所述的方法，其中，所述至少一个动作包括以下中的至少一个：
快进所述多媒体内容中的至少一个关键时刻；
聚焦于所述多媒体内容中的至少一个关键时刻；
控制所述多媒体内容中的至少一个关键时刻的重放速度；
从至少一个关键时刻提取音频，从所述多媒体内容仅共享至少一个关键时刻；
从所述多媒体内容仅预览至少一个关键时刻；或
从所述多媒体内容仅下载至少一个关键时刻。
11.一种用于自动提供多媒体内容中的关键时刻的电子设备，所述电子设备包括：
存储器；
至少一个处理器，耦接到所述存储器；以及
其中，所述至少一个处理器被配置为：
确定重放期间多媒体内容的每个用户的导航行为，
基于所述导航行为确定所述多媒体内容中的多个关键时刻，所述多个关键时刻包括肯定关键时刻、否定关键时刻和中性关键时刻，
存储所述多个关键时刻，
检测由候选用户对所述多媒体内容的重放事件，
基于所述候选用户从所述多媒体内容中的多个关键时刻检索至少一个关键时刻，以及
在显示器上显示包括所述至少一个关键时刻的可动作用户界面。
12.根据权利要求11所述的电子设备，其中，所述至少一个处理器还被配置为：
确定来自所述多媒体内容的多个时间戳中的每个时间戳的导航分数；
对于所述多媒体内容的每个时间戳，确定所述导航分数是高于导航阈值、低于导航阈值还是等于导航阈值；以及
将多个关键时刻中的关键时刻确定为：
基于来自多个时间戳中的至少一个时间戳的导航分数高于导航阈值，肯定关键时刻，
基于来自多个时间戳中的至少一个时间戳的导航分数低于导航阈值，否定关键时刻，以及
基于来自多个时间戳中的至少一个时间戳的导航分数等于导航阈值，中性关键时刻。
13.根据权利要求12所述的电子设备，其中，所述至少一个处理器还被配置为：
基于所述多媒体内容的至少一部分被重放的次数来检测与所述多媒体内容相关联的事件；
基于所述事件向所述多媒体内容的每个时间戳分配权重；以及
基于所分配的权重来确定每个时间戳的导航分数。
14.根据权利要求12所述的电子设备，其中，基于以下来识别所述肯定关键时刻的开始点和结束点：
所述至少一个时间戳的导航分数高于导航阈值，
所述至少一个时间戳的导航分数低于导航阈值，以及
所述至少一个时间戳的导航分数等于导航阈值。
15.根据权利要求11所述的电子设备，其中，所述至少一个处理器还被配置为：
基于与所述用户相关联的多个参数来创建每个用户的用户简档；
检测重放期间每个用户对所述多媒体内容的至少一个时间戳的交互；以及
基于所述多媒体内容的每个用户对至少一个时间戳的所述交互来确定所述每个用户的导航行为。
CN201980061740.7A 2018-09-21 2019-09-16 用于提供多媒体内容中的关键时刻的方法及其电子设备 Active CN112740713B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201841035651 2018-09-21
IN201841035651 2018-09-21
PCT/KR2019/011899 WO2020060113A1 (en) 2018-09-21 2019-09-16 Method for providing key moments in multimedia content and electronic device thereof

Publications (2)

Publication Number Publication Date
CN112740713A true CN112740713A (zh) 2021-04-30
CN112740713B CN112740713B (zh) 2023-08-22

Family

ID=69883178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061740.7A Active CN112740713B (zh) 2018-09-21 2019-09-16 用于提供多媒体内容中的关键时刻的方法及其电子设备

Country Status (4)

Country Link
US (1) US11200425B2 (zh)
EP (1) EP3837852A4 (zh)
CN (1) CN112740713B (zh)
WO (1) WO2020060113A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314755A (zh) * 2022-07-12 2022-11-08 天翼云科技有限公司 一种视频播放方法、装置、电子设备和存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457251B2 (en) * 2017-03-16 2022-09-27 Comcast Cable Communications, Llc Methods and systems for fault tolerant video packaging
US10785058B2 (en) 2019-02-01 2020-09-22 Comcast Cable Communications, Llc Managing network packet flows based on device information
US11184675B1 (en) * 2020-06-10 2021-11-23 Rovi Guides, Inc. Systems and methods to improve skip forward functionality
US11276433B2 (en) 2020-06-10 2022-03-15 Rovi Guides, Inc. Systems and methods to improve skip forward functionality
US11277666B2 (en) 2020-06-10 2022-03-15 Rovi Guides, Inc. Systems and methods to improve skip forward functionality
CN111680078B (zh) * 2020-06-19 2023-11-14 中国人民解放军国防科技大学 飞行器飞行仿真演示过程中多屏数据控制方法和系统
US11617014B2 (en) * 2020-10-27 2023-03-28 At&T Intellectual Property I, L.P. Content-aware progress bar
US11778271B2 (en) * 2021-03-29 2023-10-03 Rovi Guides, Inc. Classifying parental rating for better viewing experience
US11546670B1 (en) * 2021-07-15 2023-01-03 Rovi Guides, Inc. Rewind and fast forward of content
US11457288B1 (en) * 2021-07-15 2022-09-27 Rovi Guides, Inc. Rewind and fast forward of content
US11546666B1 (en) * 2021-12-21 2023-01-03 Rovi Guides, Inc. Key event trick-play operation
CN116546264A (zh) * 2023-04-10 2023-08-04 北京度友信息技术有限公司 视频处理方法及装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US20120159329A1 (en) * 2010-12-16 2012-06-21 Yahoo! Inc. System for creating anchors for media content
CN102522102A (zh) * 2010-10-15 2012-06-27 微软公司 基于事件标识的重播的智能确定
CN103765910A (zh) * 2011-09-12 2014-04-30 英特尔公司 用于视频流和其他内容的基于关键字的非线性导航的方法和设备
US20160300135A1 (en) * 2015-04-08 2016-10-13 Pearson Education, Inc. Relativistic sentiment analyzer
CN106804000A (zh) * 2017-02-28 2017-06-06 北京小米移动软件有限公司 直播回放方法及装置
US20170332120A1 (en) * 2016-05-12 2017-11-16 Time Warner Cable Enterprises Llc Content management and control based on tracking of prior content playback behavior
US20180041820A1 (en) * 2015-02-13 2018-02-08 Shanghai Jiao Tong University Implemental method and application of personalized presentation of associated multimedia content
US20180146253A1 (en) * 2016-11-21 2018-05-24 Roku, Inc. Recommending content based on user behavior tracking and analysis

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374040B1 (ko) 2001-03-09 2003-03-03 엘지전자 주식회사 비디오 텍스트 합성 키 프레임 추출방법
US20030025720A1 (en) 2001-08-03 2003-02-06 Clement Lau System and method for common interest analysis among multiple users
US7035435B2 (en) 2002-05-07 2006-04-25 Hewlett-Packard Development Company, L.P. Scalable video summarization and navigation system and method
US7027513B2 (en) 2003-01-15 2006-04-11 Microsoft Corporation Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy
KR100708337B1 (ko) 2003-06-27 2007-04-17 주식회사 케이티 퍼지 기반 ｏｃ―ｓｖｍ을 이용한 동영상 자동 요약 장치및 방법
US20050228849A1 (en) 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
JP2006308729A (ja) 2005-04-27 2006-11-09 Daiichikosho Co Ltd カラオケ演奏装置
US8364540B2 (en) * 2005-09-14 2013-01-29 Jumptap, Inc. Contextual targeting of content using a monetization platform
US7889794B2 (en) 2006-02-03 2011-02-15 Eastman Kodak Company Extracting key frame candidates from video clip
JP4247638B2 (ja) * 2006-04-06 2009-04-02 ソニー株式会社 記録再生装置および記録再生方法
US7921116B2 (en) 2006-06-16 2011-04-05 Microsoft Corporation Highly meaningful multimedia metadata creation and associations
JP4760841B2 (ja) 2008-02-28 2011-08-31 オムロン株式会社 ゲート装置
KR20100000336A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치
US20100011295A1 (en) 2008-07-08 2010-01-14 Nortel Networks Limited Method of Delivering Customer Contact Service to IPTV Viewer
JP5765927B2 (ja) 2010-12-14 2015-08-19 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法
JP5574952B2 (ja) 2010-12-28 2014-08-20 Ｋｄｄｉ株式会社 レコメンドシステム、レコメンド方法、およびレコメンドプログラム
AU2012256402A1 (en) 2011-02-27 2013-07-11 Affectiva, Inc, Video recommendation based on affect
US20130006881A1 (en) 2011-06-30 2013-01-03 Avaya Inc. Method of identifying relevant user feedback
US20130205311A1 (en) 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to control a state of data collection devices
US20140255004A1 (en) 2013-03-07 2014-09-11 International Business Machines Corporation Automatically determining and tagging intent of skipped streaming and media content for collaborative reuse
US9465435B1 (en) 2013-08-26 2016-10-11 Google Inc. Segmentation of a video based on user engagement in respective segments of the video
US20150350369A1 (en) * 2014-05-30 2015-12-03 Qualcomm Incorporated Method For Reducing Pre-Fetching Of Multimedia Streaming Data With Minimal Impact On Playback User Experience
US9953086B2 (en) * 2014-07-15 2018-04-24 Microsoft Technology Licensing, Llc Prioritizing media based on social data and user behavior
WO2016059710A1 (ja) 2014-10-16 2016-04-21 株式会社日立システムズ 認証システムおよび認証装置および認証方法ならびに認証プログラム
US10834436B2 (en) * 2015-05-27 2020-11-10 Arris Enterprises Llc Video classification using user behavior from a network digital video recorder
KR20170049116A (ko) 2015-10-28 2017-05-10 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170257658A1 (en) 2016-03-02 2017-09-07 Le Holdings (Beijing) Co., Ltd. Method for automatically pushing video based on analysis of user behavior and electronic device
KR101821602B1 (ko) 2016-06-13 2018-01-25 주식회사 인더핸즈 동영상 콘텐츠 맞춤형 정보 삽입시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
CN102522102A (zh) * 2010-10-15 2012-06-27 微软公司 基于事件标识的重播的智能确定
US20120159329A1 (en) * 2010-12-16 2012-06-21 Yahoo! Inc. System for creating anchors for media content
CN103765910A (zh) * 2011-09-12 2014-04-30 英特尔公司 用于视频流和其他内容的基于关键字的非线性导航的方法和设备
US20180041820A1 (en) * 2015-02-13 2018-02-08 Shanghai Jiao Tong University Implemental method and application of personalized presentation of associated multimedia content
US20160300135A1 (en) * 2015-04-08 2016-10-13 Pearson Education, Inc. Relativistic sentiment analyzer
US20170332120A1 (en) * 2016-05-12 2017-11-16 Time Warner Cable Enterprises Llc Content management and control based on tracking of prior content playback behavior
US20180146253A1 (en) * 2016-11-21 2018-05-24 Roku, Inc. Recommending content based on user behavior tracking and analysis
CN106804000A (zh) * 2017-02-28 2017-06-06 北京小米移动软件有限公司 直播回放方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314755A (zh) * 2022-07-12 2022-11-08 天翼云科技有限公司 一种视频播放方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112740713B (zh) 2023-08-22
EP3837852A4 (en) 2021-09-22
EP3837852A1 (en) 2021-06-23
US20200097731A1 (en) 2020-03-26
WO2020060113A1 (en) 2020-03-26
US11200425B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
CN112740713B (zh) 用于提供多媒体内容中的关键时刻的方法及其电子设备
US20190289359A1 (en) Intelligent video interaction method
US9253511B2 (en) Systems and methods for performing multi-modal video datastream segmentation
WO2021082668A1 (zh) 一种弹幕编辑方法、智能终端及存储介质
US9813779B2 (en) Method and apparatus for increasing user engagement with video advertisements and content by summarization
US11972099B2 (en) Machine learning in video classification with playback highlighting
US9888279B2 (en) Content based video content segmentation
KR102028198B1 (ko) 동영상 장면과 메타데이터 저작 방법
US9244923B2 (en) Hypervideo browsing using links generated based on user-specified content features
US20160014482A1 (en) Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
US20110243529A1 (en) Electronic apparatus, content recommendation method, and program therefor
US20150037009A1 (en) Enhanced video systems and methods
JP5225037B2 (ja) 番組情報表示装置および方法
Carlier et al. Combining content-based analysis and crowdsourcing to improve user interaction with zoomable video
CN101444092A (zh) 视频播放装置，视频播放方法，以及视频播放程序
CN111031349B (zh) 用于控制视频播放的方法及装置
US11355158B2 (en) Asynchronous video collaboration
US20160142773A1 (en) Information processing apparatus, information processing method, and information processing program
CN112291609A (zh) 视频展示和推送的方法、设备、存储介质及其系统
KR102592904B1 (ko) 영상 요약 장치 및 방법
US11166084B2 (en) Display overlays for prioritization of video subjects
CN112579935A (zh) 页面显示方法、装置及设备
US20100281046A1 (en) Method and web server of processing a dynamic picture for searching purpose
CN111897466A (zh) 一种数据处理方法、装置、电子设备及存储介质
Coimbra et al. The shape of the game

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant