CN110275984A - 可视化媒体内容的方法、计算机可读介质和计算设备 - Google Patents

可视化媒体内容的方法、计算机可读介质和计算设备 Download PDF

Info

Publication number
CN110275984A
CN110275984A CN201910171375.7A CN201910171375A CN110275984A CN 110275984 A CN110275984 A CN 110275984A CN 201910171375 A CN201910171375 A CN 201910171375A CN 110275984 A CN110275984 A CN 110275984A
Authority
CN
China
Prior art keywords
content
media content
media
checked
ordinal relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910171375.7A
Other languages
English (en)
Inventor
赵健
C·A·巴特
M·L·库珀
D·A·沙马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN110275984A publication Critical patent/CN110275984A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

可视化媒体内容的方法、计算机可读介质和计算设备。所述方法包括以下步骤：识别与所接收的内容特征相关联的至少一个媒体内容，所接收的内容特征与所查看的媒体内容相关联；按顺序关系选择链接到所查看的媒体内容的至少一个附加媒体内容；基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化；以及显示所生成的二维可视化。

Description

可视化媒体内容的方法、计算机可读介质和计算设备
技术领域
本公开涉及内容媒体查看系统，并且更具体地，涉及基于顺序上下文可视化媒体内容并推荐媒体内容的系统和方法。
背景技术
在一些相关技术中，由于信息过载导致数据推荐是越来越关键的研究问题。在某些情况下，使可能因对用户而言可用的大量数据而不知所措的用户从容的关键是使用推荐中的上下文。在相关技术中，诸如训练或教育的领域中的一个上下文源在用户旨在理解的概念间使用顺序关系。
例如，在一些相关技术中，现代在线教育平台可以通过将教育资料呈现为大规模开放在线课程(MOOC)来使得能够进行远程教学。MOOC通常由许多短视频组成，每个视频都针对特定的概念。为了实现某些学习目标，指导者通常可以根据教学大纲对视频进行排序，该教学大纲也可以将视频分层次地分组成章节(section)。然而，相关技术研究表明，在MOOC学习者中占越来越大比例的专业人士旨在促进他们的职业成长(而不是获得认证)，并且不太可能遵循教学大纲。在该相关技术中，为这些学习者提供对更广泛的内容和观点(例如，来自多个课程)的更灵活的访问可能是重要的。
一些相关技术平台可以提供允许更个性化的学习行为的交互式知识(概念)图或可视化。然而，这些概念图可能不太适合于顺序流，并且概念相关性的创建可能需要指导者手动创建，这既不是可扩展的也不是自适应的。本申请的示例实现可以解决相关技术中的一个或更多个问题。
发明内容
本申请的各方面可以涉及一种将推荐的媒体内容可视化的方法。所述方法可以包括以下步骤：识别与所接收的内容特征相关联的至少一个媒体内容，所接收的内容特征与所查看的媒体内容相关联；按顺序关系选择链接到所查看的媒体内容的至少一个附加媒体内容；基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化；以及显示所生成的二维可视化。
本申请的其它方面可以涉及一种非瞬态计算机可读介质，所述非瞬态计算机可读介质存储有用于使计算机执行可视化推荐的媒体内容的方法的程序。所述方法可以包括以下步骤：识别与所接收的内容特征相关联的至少一个媒体内容，所接收的内容特征与所查看的媒体内容相关联；按顺序关系选择链接到所查看的媒体内容的至少一个附加媒体内容；基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化；以及显示所生成的二维可视化。
本申请的另外方面涉及一种被配置成分析包括多个内容媒体的语料库(corpus)的计算机设备。所述计算机设备可以包括存储器和处理器。所述存储器可以存储多个内容媒体；并且所述处理器执行过程。所述过程可以包括以下步骤：识别与所接收的内容特征相关联的至少一个媒体内容，所接收的内容特征与所查看的媒体内容相关联；按顺序关系选择链接到所查看的媒体内容的至少一个附加媒体内容；基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化；以及显示所生成的二维可视化。
本申请的又一些方面涉及被配置成分析包括多个内容媒体的语料库的计算机设备。所述计算机设备可以包括用于存储多个内容媒体的装置，以及执行过程的处理器、用于识别与所接收的内容特征(所接收的内容特征与所查看的媒体内容相关联)相关联的至少一个媒体内容的装置、用于按顺序关系选择链接到所查看的媒体内容的至少一个附加媒体内容的装置、用于基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化的装置以及用于显示所生成的二维可视化的装置。
附图说明
本专利或申请文件包含至少一幅附图。具有附图的本专利或专利申请公开的副本将在请求并支付必要费用后由主管局提供。
图1例示了根据本申请示例实现的用于生成可视化的系统的示意图。
图2例示了根据本申请示例实现的用于生成可视化的过程的流程图。
图3例示了根据本申请示例实现的作为生成可视化的一部分的、用于生成/应用二维布局的过程的流程图。
图4例示了根据本申请示例实现的内容媒体文件推荐系统的用户界面(UI)。
图5A-图5C例示了另选配置中的在图4的UI中示出的布局区域的示例实现。
图6例示了用于比较目的的基线可视化。
图7例示了用于比较示例实现和基线的研究后调查问卷的结果的图形表示。
图8例示了具有在本发明的一些示例实现中使用的示例计算机装置的示例计算环境。
具体实施方式
下列详细说明提供了附图和本申请示例实现的进一步细节。为清楚起见，省略了附图之间的冗余元件的附图标记和描述。整个说明书中使用的术语是作为示例提供的，并非旨在进行限制。例如，取决于实践本申请实现的本领域普通技术人员的期望实现，术语“自动”的使用可以包括全自动实现或者包括用户或操作者对实现的某些方面进行控制的半自动实现。
在本申请中，可以提供基于交互式可视化和动态视频推荐来促进有效浏览相关内容的方法。例如，示例实施方式可以提供推荐，以使学习者能够访问具有来自在不同平台上可获得的相关课程的多个观点的内容。学习者可以交互式地可视化和浏览推荐视频而不迷失。
在一些示例实现中，可以使用在相关技术中详述的视频推荐技术，并且可以使用任何推荐后端。在示例实现中，所提出的系统可以可视化视频的主题以及视频之间的顺序关系。示例实现还可以推荐其它课程中的视频的短子序列(而不是仅可以推荐整个视频)，以提供关于特定概念的其它上下文并简化学习。与传统视频推荐结果、排名列表或一组排名列表不同，示例实现还可以支持推荐视频的语义可视化。这可以为学习者提供附加的维度(dimension)，以便更有把握地探究(explore)相关内容并选择接下来要观看的内容。
一些示例实现可以使用语义和顺序上下文的组合来可视化推荐，以使用户能够更有效地在结果中进行选择。这样的示例实现可以允许用户的当前上下文中的推荐的语义空间的交互式视觉探究。当与相关技术方法(例如，基于内容的推荐和排名列表表示)相比时，对所提出的使用MOOC视频的语料库的方法做出的初始评估可以表明该方法帮助用户做出更好的视频回放决策。
图1例示了根据本申请示例实现的用于生成可视化的系统100的示意图。如系统100所示，首先在媒体内容文件(例如，诸如视频文件、音频文件、图像文件、字文件或对于本领域普通技术人员来说可能是显而易见的任何其它类型的内容媒体文件的内容媒体)的存储在数据库中的语料库上执行查询105。在一些示例实现中，查询可以是对要查看的媒体内容或者要播放的媒体内容(例如，“已查看的媒体内容”)的选择。“已查看的媒体内容”可以包括当前正被查看的内容媒体文件或先前查看的内容媒体文件。当执行查询时，可以从数据库返回一个或更多个推荐110(例如，诸如推荐的视频文件、推荐的音频文件、推荐的图像文件、推荐的字文件或者可能对本领域普通技术人员显而易见的任何其它类型的推荐内容媒体的推荐内容媒体)。在一些示例实现中，查询可以是对内容媒体文件的选择或查看，并且可以基于所选择的或所查看的内容媒体文件的内容特征来识别推荐110。另外，在一些实现中，还可以从媒体内容文件的语料库中识别相邻内容媒体115(例如，在一个或更多个推荐110之前或之后出现的内容媒体)。
此外，在一些示例实现中，如果用户想要根据预定顺序结构(例如，教学大纲或其它组织结构)对内容媒体文件进行分组，则可以可选地重新排序推荐110。例如，可以基于查询105确定120序列中出现的多个媒体内容文件是否应该被指示为推荐110。如果确定120为是，则可以将媒体子序列125识别为推荐110。相反地，如果确定120为否，则不识别媒体子序列125。
基于结果(例如，推荐110、相邻内容媒体115以及可选地分组的媒体子序列125)，可以应用基于2D投影的布局方法130来将推荐110和相邻内容媒体文件115放置在画布(canvas)上，以揭示信息空间的语义。下文参考图2所示的过程200来详细讨论布局方法130。在一些示例实现中，布局方法130可以包括三个步骤：(1)投影(例如，使用多维缩放)，(2)交叠移除(例如，使用排斥力(repulsive force)来使推荐110与相邻内容媒体文件115间隔开)，以及(3)推荐110和相邻内容媒体文件115的旋转。
一旦放置了推荐110和相邻内容媒体文件115，就可以基于它们的相似度以及在画布上的位置来将其它内容媒体文件135群集在推荐110和相邻内容媒体文件115周围。此外，群集结果可以进一步用于通过区域几何计算140生成语义区域(例如，通过聚集相同群集内的内容媒体文件的Voronoi单元)。在此之后，系统100可以从媒体文件内容中提取关键字145、对关键字进行过滤和排序并将它们放置在对应的内容媒体文件周围，以生成可视化150。下文参考图4至图6更详细地讨论可视化的示例实现。
在一些示例条件中，系统100可以将对推荐110、相邻内容媒体文件115或其它内容媒体文件135中的一者的选择识别为新的查询105，并且系统100再次生成新的可视化。因此，用户可以在当前内容媒体文件的上下文中探究推荐并且可以选择要观看的新的内容媒体文件。选择内容媒体文件将是对系统100的又一次查询并使可视化更新。
图2例示了根据本申请示例实现的用于生成可视化的过程200的流程图。过程200可以由计算装置(诸如下文讨论的图8所示的计算环境800中的计算装置805)来执行。此外，在一些示例实现中，计算装置805可以是MOOC系统的一部分。正如所例示的，在205处，计算装置接收查询。在一些实现中，可以通过文本输入域或者对本领域技术人员显而易见的其它用户界面来接收查询。在其它示例实现中，可以通过用户从内容媒体文件的存储在数据库中的语料库中选择内容媒体文件来接收查询。
在210处，基于所接收的查询，可以从内容媒体文件的语料库中选择和识别一个或更多个推荐(例如，推荐的内容媒体文件)。在一些示例实现中，可以通过MOOC系统的推荐引擎选择和识别一个或更多个推荐。MOOC系统的推荐引擎可以提供两种功能。首先，它可以通过从每个内容媒体文件中提取内容特征来预处理语料库以构建知识库。例如，可以使用内容识别技术(诸如对象识别、字识别、文本识别、音频识别、字符识别、面部识别或对本领域普通技术人员显而易见的任何其它识别技术)来提取与每个内容媒体文件相关联的内容特征。知识库不仅包含从每个内容媒体文件提取的内容特征的内容特征表示，还包含对内容媒体文件进行链接的顺序关系(例如，以教学大纲表示)。
知识库一旦生成便可用于在运行时提供推荐。推荐引擎可以基于内容特征与查询的相似度生成与查询相关的排序列表，该排序列表表示对接下来可能要查看的文档的估计。
除了用于在210处提供推荐之外，知识库还可以用于在245处对相对于当前正被查看的媒体文件的相邻媒体文件进行检测。例如，可以从存储在数据库中的语料库中检索在当前正在大纲或其它组织结构上查看的内容媒体文件之前或之后出现的内容媒体文件。
另外地，在一些示例实现中，在215处，可以可选地聚集推荐引擎输出以确定最突出的媒体文件子序列。这可以通过以下步骤来执行：扫描推荐列表中的靠前排名推荐并且在推荐的内容媒体文件在原始组织结构(例如，原始课程大纲等)中彼此相邻时按顺序将推荐的内容媒体文件分组。在一些示例实现中，子序列可以受到用户确定的最大长度的约束，并且可以对推荐列表执行贪婪(greedily)向下搜索过程并且告知收集了期望数量的子序列。应注意，子序列中可以仅提供单个内容媒体文件。一旦生成了一个或更多个内容媒体文件子序列，就可以对子序列的每个成员的平均排名得分进行取平均并与用于排序目的的各个推荐得分进行比较。在一些示例平台(plantation)中，与仅基于内容特征相似度得分的推荐相比，子序列的生成可以为学习者提供更多的上下文信息，以理解课程概念。
在220处，基于推荐、相邻媒体文件以及可选生成的内容媒体文件子序列将二维布局应用到或生成到画布上，以揭示信息空间的语义。下文参考图3更详细地讨论用于生成二维布局的子过程300的示例实现。
在应用或生成二维布局之后，在225处，可以应用群集以在二维布局上放置内容媒体文件。例如，为了帮助学习者更好地理解布局的多维缩放，可以使用内容媒体文件的主题特征来执行内容媒体文件的群集(例如凝聚群集)，以将内容媒体文件分布在布局上。
此外，在220处生成的二维布局可以在230处被划分为多个语义区域。例如，每个区域可以展示从根据上文210选择的内容媒体文件中提取的相对一致的主题和概念集合。在一些示例实现中，区域的边界可以被示为细微的白色折线，该边界通过对来自225的相同群集中的内容媒体文件的Voronoi单元进行聚集来确定。
此外，在过程200的235处，频繁的主题关键字可以可选地从内容媒体文件(例如，每个视频群集的文本副本、从任何图像或书面内容媒体文件检测到的字符识别文本或者与对本领域普通技术人员来说可能是显而易见的内容媒体文件相关联的任何其它的检测到的特征)的群集中提取并在区域上层状分布，以揭示投影的不同区域的上下文信息(下文更详细地讨论示例实现)。在一些示例实现中，可以应用标准TF-IDF方法来获得判别(discriminative)关键字，然后可以基于内容媒体文件标题中的术语来重新加权关键字。可以使用强制定向布局来放置这些关键字，并且可选地，如果用户感到不知所措，则可以隐藏这些关键字。在一些示例实现中，可以执行更高级的放置方法(例如基于能量的优化)，以定位关键字。在一些示例实现中，关键字的放置可以在二维布局的信息空间中提供有用的语义结构。
在240处，一旦在230处生成语义区域并且可选地在235处提取并放置关键字，就可以生成可视化。一旦生成可视化，就可以在显示装置(例如与移动装置相关联的计算机监视器、电视、显示面板、保护屏或触摸屏)上向用户显示该可视化。在一些示例实现中，在生成可视化之后，可以结束过程200。在其它示例实现中，可以接收对所显示的推荐或相邻内容媒体文件中的一个进行选择的用户输入，并且过程200可以返回到205并从那里继续前进。
图3例示了根据本申请示例实现的作为生成可视化的一部分的用于生成/应用二维布局的过程300的流程图。过程300可以作为用于生成可视化的过程(例如上文讨论的过程200)的一部分、由计算装置(诸如下文讨论的图8所示的计算环境800中的计算装置805)来执行。
在过程300中，在305处，可以对例如在过程200的220中提供的推荐结果执行多维缩放(MDS)，以将内容媒体文件投影到探究画布上并使用指示相似度的接近度来传达(convey)内容媒体文件在推荐空间中的距离。此外，当执行MDS时，推荐子序列可以被视为一个单位(即，通过对推荐子序列到其它视频的推荐距离取平均)，然后沿大致水平线从左到右渲染子序列的视频并将它们连接在一起(参见在下文讨论的图5A所示的示例实现中所示的元素502A和502B)。
在MDS投影中，只有项目(item)之间的相对距离有意义，而轴没有意义，可以在310处旋转布局，以使当前课程中的内容媒体文件沿与任一侧的内容媒体文件的自然顺序一致的顺序从左向右排列。这种旋转可以简化对可视化的理解。在一些示例实现中，为了获得旋转角度，可以计算MDS布局中的当前视频之前的视频的中心，然后使用该中心以形成从一个内容媒体文件的先前中心到下一中心的向量，使用该向量与x轴正方向之间的角度(参见下文讨论的图5A和图5B中的示例实现)。然而，在一些示例实现中，在较长视频序列中可能出现锯齿形，该锯齿形可能未被完全旋转校正。这对用户而言可能是可接受的，因为学习者通常可能更关注局部空间中的语义，而不是在探究画布中包括大量的相邻视频。
此外，为了使圆圈的交叠最小，可以在315处提供内容媒体文件之间的排斥力，以获得最终布局。学习者还可以禁用该基于序列的布局并基于MDS投影单独定位每个视频，以便获得推荐的不同视角(参见下文讨论的图5C中的示例实现)。
图4例示了根据本申请示例实现的内容媒体文件推荐系统的用户界面(UI)400。在一些示例实现中，UI 400可以是MOOC系统的可视界面。如图所示，图4包括三个部分：视频面板405、推荐面板410和配置面板415。在一些示例实现中，视频面板405是用户可以观看所选内容媒体文件的正常媒体播放器。如图所示，视频面板405可以包括用户可以用来查看所选内容媒体文件的显示区域420以及用户可以用来控制所选内容媒体文件的回放的媒体控制条422。
推荐面板410是主界面，在该主界面中，用户可以探究推荐的内容媒体文件475(或子序列502C)并理解内容媒体文件475之间的关系，以告知对接下来要观看的适当内容媒体文件的选择。如图所示，推荐面板410包括布局区域424，该布局区域424例示了当前正被查看的当前内容媒体文件465以及立即继续且立即接替当前内容媒体文件465的相邻内容媒体文件470。布局区域424基于与从多个正在显示的内容媒体文件(例如，推荐475、相邻内容媒体文件470和当前内容媒体文件465)提取的内容特征相关联的语义被划分为多个区域426。布局区域424还包括从与多个内容媒体文件相关联的内容特征中提取的并被放置到相应的多个区域426中的关键字428。
在推荐面板410中，将与当前内容媒体文件465和相邻媒体文件470在相同序列中的其它内容媒体文件显示在布局区域424外部的在前区域432和在后区域434中。换句话说，推荐面板在中部的二维布局区域424(例如，探究画布)中显示当前内容媒体文件465、相邻内容媒体文件470和推荐475，并且直线地在两侧在在前区域432和在后区域434中显示当前课程中的其它内容媒体文件。原始课程中的具有当前视频的内容媒体文件用灰色箭头444连接，以指示该内容媒体文件在结构组织(例如，其它课程结构组织的教学大纲)中的顺序。每个内容媒体文件可以表示为具有指示该内容媒体文件在相关课程教学大纲中的位置的数字的圆圈。在一些示例模仿中，与内容媒体文件(例如，当前内容媒体文件465、相邻媒体文件470和推荐475)相关联的圆圈的色调编码不同的课程。在布局区域424中，颜色不透明度可以指示该内容媒体文件在推荐列表中的排名(例如，颜色越浅，排名越低)。在一些示例实现中，可以使用下文讨论的配置面板415来调整在布局区域424中显示的视频的数量。
在一些示例模仿中，在布局区域424的多个区域426中的一个的上方悬停可以将与区域426相关联的关键字的词云425显示为弹出窗口407。在所显示的词云中，显示的字的大小可以表示与每个关键字相关联的相似度的强度或出现频度。
另外地，在一些示例实现中，推荐面板410可以包括区域436，在该区域436中，基于推荐475与当前内容媒体文件465的内容相似度对推荐475进行排名。推荐面板410还可以包括显示用户的探究历史的区域438以及列出当前在布局区域424中显示的当前内容媒体文件465和相邻内容媒体文件470(例如，焦点内容媒体)的区域442。当在区域436、438、442上方或者在布局区域424上方悬停时，区域436、438和442可以提供相同内容媒体文件的交互式链接。此外，点击任何内容媒体文件可以选择该内容媒体文件作为对UI 400进行更新的当前内容媒体文件465。上述界面特征允许学习者快速地获得内容媒体文件的基本含义并浏览信息。
通过使用配置面板415，用户可以操纵关于如何显示推荐的基本参数，以及选择要查看的特定课程和讲座内容媒体文件。如图所示，在一些示例实现中，配置面板415可以包括用于选择特定课程(从该特定课程中选择要显示的内容媒体文件)的下拉框430。此外，配置面板415还可以包括可以用于跳转到课程中的特定讲座的数字输入框435。配置面板415还可以包括另一个数字输入区域440，该数字输入区域440可以用于指定要在布局区域424中显示的相邻内容媒体文件470的数量。此外，在一些示例实现中，配置面板415可以包括数字输入区域445，该数字输入区域445可以用于指定要在布局区域424中显示的推荐475的最小数量。另外，配置面板415还可以包括下拉菜单450，该下拉菜单450可以用于选择对当前内容媒体文件465与推荐475之间的相似度得分进行计算的方法。配置面板415还可以包括触发按钮455和460，触发按钮455用于显示和/或隐藏在区域432和434中示出的内容媒体文件的序列，触发按钮460用于显示和/或隐藏与内容媒体文件相关联的标签。
图5A-图5C例示了另选配置中的在图4的UI 400中示出的布局区域424的示例实现。具体地，图5A例示了用户已经选择在当前内容媒体文件465附近显示两个相邻内容媒体文件470的实现示例。同样地，图5B例示了用户已经选择在当前内容媒体文件465附近显示四个相邻内容媒体文件470的实现示例。此外，图5C例示了子序列502A和502B中的内容媒体文件已被分离成各自的内容媒体文件475A的示例实现。如图所示，随着相邻内容媒体文件470的数量改变或者子序列内容媒体文件502A和502B被链接/解链接，动态地调整区域426的放置(placement)和大小。另外地，通过如上文参考图2和图3所讨论的旋转和交叠移除来改变内容媒体文件(例如，当前内容媒体文件465、相邻内容媒体文件470和推荐475)的放置。此外，可以基于用户做出的改变来更新推荐区域436和焦点内容媒体区域442。
评估
申请人已经完成了至少两个实验，以评估本申请示例实现的有效性和实用性。实验的目的是理解如何可以从MOOC指导者和学习者的角度以更加定性的方式在MOOC平台上使用示例实现。下面简要讨论这些实验。
与MOOC指导者的访谈
作为第一个实验，申请人与两位MOOC指导者进行了半结构化访谈，以收集关于本申请示例实现的定性反馈。两位MOOC指导者受聘于不同的大学。他们都拥有多年的传统教室教学经验并且近年来教过若干MOOC。一个指导者(El)来自计算机科学背景，另一个指导者(E2)专门研究社会科学中的定量方法。在访谈期间，申请人首先介绍了一些背景知识并展示了本申请示例实现的特征，然后要求指导者尝试该示例实现，在此期间收集了指导者的意见。采用了“自言自语协议”，并且指导者需要从指导者和学生的角度给出反馈。申请人记录了整个访谈环节并在必要时做了笔记。每次访谈持续约一个小时。
通常，指导者对示例实现提供的工具表示赞赏并且喜欢该工具可以增强学习灵活性的方面。指导者都认同具有固定教学大纲的相关技术系统对某些学习者群体来说是很大的限制。此外，指导者渴望在自己的MOOC产品中应用该工具，并且对该工具如何影响学生的表现和学习行为表示好奇。
指导者也对该工具的潜在地改进他们的教学的能力感到兴奋。指导者说示例实现可能对备课有用。更具体地，“我通常不会看别人教的东西，但是这个工具提供了对相关讲座的认知，因此我可以借用一些材料来提高我的讲座并且避免不必要的重复”，El评论道。指导者还表示，本申请示例实现可以用于动态地导向课程论坛上提供的支持，例如，指出在推荐视频中涵盖的但并未在当前课程中涵盖的细节和问题。E2评论说，可视化可以提供关于课程设计的客观反馈。例如，E2说：“如果你在此处(探究画布上)看到一个讲座，之后你在距离此处很远处看到第二个讲座，并再次回到此处看到第三个讲座，那么你确实应该考虑重新排序在该视频中呈现的内容”。
对MOOC学习者的实验室研究
申请人还完成了实验室研究，以更好地理解如何使用示例实现。例如，申请人从IT公司招募了12名参与者(9名男性，3名女性；年龄20-50岁)；所有这些人之前都曾参加过MOOC并拥有计算机科学或相关领域的硕士和/或博士学位，因此代表了专业人士学习者小组。所有参与者都具有一定程度的机器学习知识(但不是专家)，以匹配内容媒体文件的实验语料库。此外，所有参与者都体验过其它内容媒体网站(例如YOUTUBE，NETFLIX等)上的视频推荐并且过去都曾采用过MOOC(但可能尚未完成)。
申请人在比较示例中将示例实现与基线可视化进行了比较。图6例示了用于比较目的的基线可视化600。如图所示，在没有图4所示的布局424(例如，探究画布)的情况下，基线可视化600仅在区域636的列表中提供推荐675。基线可视化600还包括显示探究历史的区域638以及以与邻近的相邻内容媒体文件670呈直线的顺序示出的当前内容媒体文件665。
对于参与者而言，实验任务是：在呈现存在于两种条件中的一种中的情况下，从特定内容媒体文件的推荐中选择接下来要观看的最有意义的内容媒体文件。参与者被要求说出他们为什么选择每个内容媒体文件，然后观看/浏览该内容媒体文件以表明他们是否认为这是一个不错的选择。参与者的选择可能会受到许多主观事项的影响。然而，因为不存在关于选择内容媒体文件的正确答案，所以申请人对参与者在该两种条件下的行为变化更感兴趣。申请人假设参与者在示例实现条件下采取行动时有更多的慎重推理。
图7例示了用于比较示例实现和基线的研究后调查问卷的结果的图形表示。根据该研究后调查问卷，相比于利用基线在36个任务中对25个任务(69.4％)做出了良好且合理的选择，参与者认为他们利用示例实现在36个任务中对32个任务(88.9％)做出了良好且合理的选择。虽然主观，但这些结果表明示例实现有助于参与者做出更好且更自信的选择。研究后调查问卷进一步表明，参与者认为示例实现与基线一样大致易于使用(结果问题1-705)并且易于理解(结果问题2-710)。
虽然示例实现中的视觉元素多于基线，但参与者并未觉得使用起来更困难(示例实现：M＝6，IQR＝1；基线：M＝6，IQR＝2：25)。同样地，因为该示例实现是新的界面，所以该示例实现被认为不太容易理解似乎是貌似可信的。然而，影响很小(示例实现：M＝5：5，IQR＝1；基线：M＝6，IQR＝1)，这表明参与者很快就接受了示例实现。
在图7中，申请人观察到参与者认为示例实现更有助于从推荐中选择视频(示例实现：M＝6，IQR＝0：5；基线：M＝4，IQR＝1：5)，(结果问题3-715)并帮助他们做出更多合理的选择(示例实现：M＝6，IQR＝1；基线：M＝4，IQR＝1：25)(结果问题4-720)。申请人将这解释为表示示例实现对于用户理解信息空间并从推荐中选择合理的内容媒体文件更有效。
示例计算环境
图8例示了具有在一些示例实现中使用的示例计算装置805的示例计算环境800。计算环境800中的计算装置805可以包括一个或更多个处理单元或内核或处理器810、存储器815(例如，RAM、ROM等)、内部存储部820(例如，磁、光、固态存储部和/或有机存储部)和/或I/O接口825，上述部件中的任何一种可以连接在用于传递信息的通信机制或总线830上，或者嵌入在计算装置805中。
计算装置805可以在通信时连接到输入/用户接口835和输出装置/接口840。输入/用户接口835和输出装置/接口840中的任一者或两者可以是有线接口或无线接口并且可以是可拆卸的。输入/用户接口835可以包括物理的或虚拟的任何装置、组件、传感器或接口，该输入/用户接口835(例如，按钮、触摸屏界面、键盘、指向/光标控制、麦克风、照相机、盲文、运动传感器、光学读取器等)可以用于提供输入。输出装置/接口840可以包括显示器、电视、监视器、打印机、扬声器、盲文等。在一些示例实现中，输入/用户接口835和输出装置/接口840可以嵌入或物理连接到计算装置805。在其它示例实现中，其它计算装置可以用作用于计算装置805的输入/用户接口835和输出装置/接口840，或者提供用于计算装置805的输入/用户接口835和输出装置/接口840的功能。
计算装置805的示例可以包括但不限于高移动性装置(例如，智能电话、车辆和其它机器中的装置，人和动物携带的装置等)、移动装置(例如，平板电脑、笔记本电脑、膝上型电脑、个人电脑、便携式电视、收音机等)以及被设计成不具有移动性的装置(例如，台式计算机、服务器装置、其它计算机、信息亭、嵌入有和/或连接有一个或更多个处理器的电视、收音机等)。
计算装置805可以在通信时连接(例如，经由I/O接口825)到外部存储部845和网络850，以与包括一个或更多个相同或不同配置的计算装置的任何数量的联网组件、装置和系统进行通信。计算装置805或任何已连接的计算装置可以用作服务器、客户端、弱功能服务器、通用机器、专用机器或另一标签，或者提供服务器、客户端、弱功能服务器、通用机器、专用机器或另一标签的服务，或者称为服务器、客户端、弱功能服务器、通用机器、专用机器或另一标签。
I/O接口825可以包括但不限于使用任何通信或I/O协议或标准(例如，以太网、802.11x、通用系统总线、WiMAX、调制解调器、蜂窝网络协议等)的有线接口和/或无线接口，以向和/或从计算环境800中的至少所有已连接的组件、装置和网络传递信息。网络850可以是任何网络或网络(例如，因特网、局域网、广域网、电话网络、蜂窝网络、卫星网络等)的组合。
计算装置805可以使用计算机可用介质或计算机可读介质和/或使用计算机可用介质或计算机可读介质进行通信，该计算机可用介质或计算机可读介质包括瞬态介质和非瞬态介质。瞬态介质包括传输介质(例如，金属电缆、光纤)、信号、载波等。非瞬态介质包括磁介质(例如，磁盘和磁带)、光学介质(例如，CD ROM、数字视频盘、蓝光盘)、固态介质(例如，RAM、ROM、闪存、固态存储部)和其它非易失性存储部或存储器。
计算装置805可以用于在一些示例计算环境中实现技术、方法、应用、过程或计算机可执行指令。计算机可执行指令可以从瞬态介质中检索并存储在非瞬态介质上并从该非瞬态介质中检索。可执行指令可以源自任何编程、脚本和机器语言(例如，C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript等)中的一者或更多者。
处理器810可以在本机或虚拟环境中的任何操作系统(OS)(未示出)下执行。可以部署一个或更多个如下应用，该应用包括逻辑单元855、应用编程接口(API)单元860、输入单元865、输出单元870、内容识别符875、内容选择器880、可视化生成单元885、关键字提取器890以及用于不同单元互相、与OS和与其它应用(未示出)进行通信的单元间通信机制895。例如，内容识别符875、内容选择器880、可视化生成器885和关键字提取器890可以实现图2和图3所示的一个或更多个过程。所描述的单元和元件可以在设计、功能、配置或实现上变化，并且不限于所提供的描述。
在一些示例实现中，当API单元860接收到信息或指令时，可以将该信息或指令传递到一个或更多个其它单元(例如，逻辑单元855、输入单元865、内容识别符875、内容选择器880、可视化生成器885以及关键字提取器890)。例如，内容识别符875可以识别内容媒体文件或媒体内容，并且内容选择器880可以选择与所识别的内容媒体文件或媒体内容具有顺序关系的内容媒体文件或媒体内容。类似地，关键字提取单元890可以从内容媒体文件中提取内容特征并根据提取的内容特征分配关键字。另外地，关键字提取单元880可以将关键字提供给可视化生成单元890，该可视化生成单元890基于所识别的内容媒体文件、所选择的内容媒体文件和所提取的关键字来生成可视化。
在一些实例中，逻辑单元855可以被配置成控制单元间的信息流并且引导由上述一些示例实现中的API单元860、输入单元865、内容识别符875、内容选择器880、可视化生成器885和关键字提取器890提供的服务。例如，一个或更多个过程或实现的流程可以由逻辑单元855单独控制或者由逻辑单元855与API单元860结合控制。
尽管并未示出和描述太多的示例实现，但是提供这些示例实现以将本文描述的主题传达给熟悉该领域的技术人员。应当理解，本文描述的主题可以以各种形式实现，而不限于所描述的示例实现。本文描述的主题可以在没有那些具体限定或描述的事项或者具有未描述的其它或不同元件或事项的情况下实践。熟悉本领域的技术人员将理解，在不脱离本文所述的在所附权利要求及其等同物中限定的主题的情况下，可以在这些示例实现中进行改变。

Claims (20)

1.一种基于所查看的媒体内容来可视化推荐的媒体内容的方法，所述方法包括以下步骤：
识别与所接收的内容特征相关联的至少一个媒体内容，所接收的内容特征与所查看的媒体内容相关联；
按顺序关系选择链接到所查看的媒体内容的至少一个附加媒体内容；
基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化；以及
显示所生成的二维可视化。
2.根据权利要求1所述的方法，其中，选择所述至少一个附加媒体内容的步骤包括：
选择按照所述顺序关系在所查看的媒体内容之前出现的至少一个在先附加媒体内容；以及
选择按照所述顺序关系在所查看的媒体内容之后出现的至少一个在后附加媒体内容；并且
其中，生成所述二维可视化的步骤包括：基于所述顺序关系和内容相似度布置所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
3.根据权利要求2所述的方法，其中，生成所述二维可视化的步骤包括：
应用基于二维投影的布局，以将所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容放置在数字画布上；以及
基于与以下项中的每一方的内容特征相关联的语义信息将所述数字画布划分成多个区域：所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
4.根据权利要求3所述的方法，其中，生成所述二维可视化的步骤还包括：
从以下项中的每一方的内容特征中提取关键字：所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容；以及
基于所述顺序关系和内容相似度将所提取的关键字放置到与所述语义信息相关联的区域中。
5.根据权利要求2所述的方法，所述方法还包括以下步骤：基于关于以下项的内容相似度和顺序关系中的至少一方将多个另外的内容媒体放置在所生成的二维可视化上：所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
6.根据权利要求5所述的方法，所述方法还包括以下步骤：在从以下项中选择的两个或更多个内容媒体之间生成子序列群集：所述多个另外的内容媒体、所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容，
其中，基于所述两个或更多个内容媒体之间的顺序关系以及所述两个或更多个内容媒体的超过阈值的内容相似度值二者来生成所述子序列群集。
7.根据权利要求6所述的方法，所述方法还包括以下步骤：接收从以下项中选择内容媒体的用户输入：所述多个另外的内容媒体、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容；以及
基于与用户输入的所选内容媒体相关联的顺序关系和内容特征生成新的可视化。
8.根据权利要求7所述的方法，其中，生成所述新的可视化的步骤包括：
选择按照与所述用户输入的所选内容媒体相关联的顺序关系中的一个顺序关系在所述用户输入的所选内容媒体之前出现的至少一个新的在先附加媒体内容；以及
选择按照与所述用户输入的所选内容媒体相关联的顺序关系中的一个顺序关系在所述用户输入的所选内容媒体之后出现的至少一个新的在后附加媒体内容；并且
其中，生成所述新的二维可视化的步骤包括：基于与所述用户输入的所选内容媒体相关联的顺序关系中的所述一个顺序关系和内容相似度，布置用户输入的所选内容媒体、所选择的至少一个新的在先附加媒体内容和所选择的至少一个新的在后附加媒体内容。
9.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质存储有用于使计算机执行基于所查看的媒体内容可视化推荐的媒体内容的方法的程序，所述方法包括以下步骤：
识别与所接收的内容特征相关联的至少一个媒体内容，所接收的内容特征与所查看的媒体内容相关联；
按顺序关系选择链接到所查看的至少一个媒体内容的至少一个附加媒体内容；
基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化；以及
显示所生成的二维可视化。
10.根据权利要求9所述的非瞬态计算机可读介质，其中，选择所述至少一个附加媒体内容的步骤包括：
选择按照所述顺序关系在所查看的媒体内容之前出现的至少一个在先附加媒体内容；以及
选择按照所述顺序关系在所查看的媒体内容之后出现的至少一个在后附加媒体内容；并且
其中，生成所述二维可视化的步骤包括：基于所述顺序关系和内容相似度布置所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
11.根据权利要求10所述的非瞬态计算机可读介质，其中，生成所述二维可视化的步骤包括：
应用基于二维投影的布局，以将所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容放置在数字画布上；以及
基于与以下项中的每一方的内容特征相关联的语义信息将所述数字画布划分成多个区域：所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
12.根据权利要求11所述的非瞬态计算机可读介质，其中，生成所述二维可视化的步骤还包括：
从以下项中的每一方的内容特征中提取关键字：所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容；以及
基于所述顺序关系和内容相似度将所提取的关键字放置到与所述语义信息相关联的区域中。
13.根据权利要求11所述的非瞬态计算机可读介质，所述方法还包括以下步骤：基于关于以下项的内容相似度和顺序关系中的至少一方将多个另外的内容媒体放置在所生成的二维可视化上：所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
14.根据权利要求13所述的非瞬态计算机可读介质，所述方法还包括以下步骤：在从以下项中选择的两个或更多个内容媒体之间生成子序列群集：所述多个另外的内容媒体、所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容，
其中，基于所述两个或更多个内容媒体之间的顺序关系以及所述两个或更多个内容媒体的超过阈值的内容相似度值二者来生成所述子序列群集。
15.根据权利要求14所述的非瞬态计算机可读介质，所述方法还包括以下步骤：接收从以下项中选择内容媒体的用户输入：所述多个另外的内容媒体、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容；以及
基于与用户输入的所选内容媒体相关联的顺序关系和内容特征生成新的可视化。
16.根据权利要求15所述的非瞬态计算机可读介质，其中，生成所述新的可视化的步骤包括：
选择按照与所述用户输入的所选内容媒体相关联的顺序关系中的一个顺序关系在所述用户输入所选内容媒体之前出现的至少一个新的在先附加媒体内容；以及
选择按照与所述用户输入的所选内容媒体相关联的顺序关系中的一个顺序关系在所述用户输入所选内容媒体之后出现的至少一个新的在后附加媒体内容；并且
其中，生成新的二维可视化的步骤包括：基于与所述用户输入的所选内容媒体相关联的顺序关系中的所述一个顺序关系和内容相似度布置用户输入的所选内容媒体、所选择的至少一个新的在先附加媒体内容和所选择的至少一个新的在后附加媒体内容。
17.一种计算机设备，所述计算机设备被配置成对包括多个内容媒体的语料库进行分析，所述计算机设备包括：
存储器，所述存储器存储所述多个内容媒体；以及
处理器，所述处理器执行基于所查看的媒体内容来可视化推荐的媒体内容的过程，所述过程包括以下步骤：
识别与所接收的内容特征相关联的至少一个媒体内容，所接收的内容特征与所查看的媒体内容相关联；
按顺序关系选择链接到所查看的至少一个媒体内容的至少一个附加媒体内容；
基于所识别的至少一个媒体内容、所查看的媒体内容与所选择的至少一个附加媒体内容之间的内容相似度以及所述顺序关系来生成二维可视化；以及
显示所生成的二维可视化。
18.根据权利要求17所述的计算设备，其中，选择所述至少一个附加媒体内容的步骤包括：
选择按照所述顺序关系在所查看的媒体内容之前出现的至少一个在先附加媒体内容；以及
选择按照所述顺序关系在所查看的媒体内容之后出现的至少一个在后附加媒体内容；并且
其中，生成所述二维可视化的步骤包括：基于所述顺序关系和内容相似度布置所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
19.根据权利要求18所述的计算设备，其中，生成所述二维可视化的步骤包括：
应用基于二维投影的布局，以将所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容放置在数字画布上；以及
基于与以下项中的每一方的内容特征相关联的语义信息将所述数字画布划分成多个区域：所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容。
20.根据权利要求19所述的计算设备，所述过程还包括以下步骤：在从以下项中选择的两个或更多个内容媒体之间生成子序列群集：所述多个另外的内容媒体、所识别的至少一个媒体内容、所查看的媒体内容、所选择的至少一个在先附加媒体内容和所选择的至少一个在后附加媒体内容，
其中，基于所述两个或更多个内容媒体之间的顺序关系以及所述两个或更多个内容媒体的超过阈值的内容相似度值二者来生成所述子序列群集。
CN201910171375.7A 2018-03-14 2019-03-07 可视化媒体内容的方法、计算机可读介质和计算设备 Withdrawn CN110275984A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/920,758 US10776415B2 (en) 2018-03-14 2018-03-14 System and method for visualizing and recommending media content based on sequential context
US15/920,758 2018-03-14

Publications (1)

Publication Number Publication Date
CN110275984A true CN110275984A (zh) 2019-09-24

Family

ID=67905654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910171375.7A Withdrawn CN110275984A (zh) 2018-03-14 2019-03-07 可视化媒体内容的方法、计算机可读介质和计算设备

Country Status (3)

Country Link
US (1) US10776415B2 (zh)
JP (1) JP2019160300A (zh)
CN (1) CN110275984A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157908A (zh) * 2021-03-22 2021-07-23 北京邮电大学 一种展示社交媒体热点子话题的文本可视化方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030257B2 (en) * 2019-05-20 2021-06-08 Adobe Inc. Automatically generating theme-based folders by clustering media items in a semantic space
US11880415B2 (en) * 2019-07-23 2024-01-23 Rovi Guides, Inc. Systems and methods for providing contextual information
US11200715B1 (en) * 2021-04-14 2021-12-14 International Business Machines Corporation Automated creation and design of presentation charts

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647989A (zh) * 2013-11-15 2014-03-19 乐视致新电子科技（天津）有限公司 一种智能电视的节目推荐方法及装置
CN105589852A (zh) * 2014-10-20 2016-05-18 阿里巴巴集团控股有限公司 一种信息推荐的方法和装置
US9639634B1 (en) * 2014-01-28 2017-05-02 Google Inc. Identifying related videos based on relatedness of elements tagged in the videos
US20170302979A1 (en) * 2016-04-15 2017-10-19 Hulu, LLC Generation, Ranking, and Delivery of Actions for Entities in a Video Delivery System

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US7068723B2 (en) * 2002-02-28 2006-06-27 Fuji Xerox Co., Ltd. Method for automatically producing optimal summaries of linear media
US7284004B2 (en) * 2002-10-15 2007-10-16 Fuji Xerox Co., Ltd. Summarization of digital files
US20050071736A1 (en) * 2003-09-26 2005-03-31 Fuji Xerox Co., Ltd. Comprehensive and intuitive media collection and management tool
US20050069225A1 (en) * 2003-09-26 2005-03-31 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system and authoring tool
US7079142B2 (en) * 2004-01-14 2006-07-18 Fuji Xerox Co., Ltd. Systems and methods for creating and updating an interactive 3D visualization of media indices
US20050249080A1 (en) * 2004-05-07 2005-11-10 Fuji Xerox Co., Ltd. Method and system for harvesting a media stream
US8001561B2 (en) * 2007-11-20 2011-08-16 Samsung Electronics Co., Ltd. System and method for automatically rating video content
US8832119B2 (en) * 2008-06-12 2014-09-09 Fuji Xerox Co., Ltd. Systems and methods for organizing files in a graph-based layout
US9311309B2 (en) * 2009-08-05 2016-04-12 Robert Bosch Gmbh Entertainment media visualization and interaction method
US8762890B2 (en) * 2010-07-27 2014-06-24 Telcordia Technologies, Inc. System and method for interactive projection and playback of relevant media segments onto the facets of three-dimensional shapes
US8543454B2 (en) * 2011-02-18 2013-09-24 Bluefin Labs, Inc. Generating audience response metrics and ratings from social interest in time-based media
US8423881B2 (en) * 2011-08-05 2013-04-16 Fuji Xerox Co., Ltd. Systems and methods for placing visual links to digital media on physical media
US9679338B2 (en) * 2012-11-13 2017-06-13 Quantum Capital Fund, Llc Social media recommendation engine
US20140306987A1 (en) * 2013-04-11 2014-10-16 Snibbe Interactive, Inc. Methods and Systems for Visualizing and Ranking Connected Media Content
WO2015061788A1 (en) * 2013-10-25 2015-04-30 Kadenze, Inc. Self organizing maps (soms) for organizing, categorizing, browsing and/or grading large collections of assignments for massive online education systems
US11095869B2 (en) * 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10789284B2 (en) * 2018-04-13 2020-09-29 Fuji Xerox Co., Ltd. System and method for associating textual summaries with content media

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647989A (zh) * 2013-11-15 2014-03-19 乐视致新电子科技（天津）有限公司 一种智能电视的节目推荐方法及装置
US9639634B1 (en) * 2014-01-28 2017-05-02 Google Inc. Identifying related videos based on relatedness of elements tagged in the videos
CN105589852A (zh) * 2014-10-20 2016-05-18 阿里巴巴集团控股有限公司 一种信息推荐的方法和装置
US20170302979A1 (en) * 2016-04-15 2017-10-19 Hulu, LLC Generation, Ranking, and Delivery of Actions for Entities in a Video Delivery System

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157908A (zh) * 2021-03-22 2021-07-23 北京邮电大学 一种展示社交媒体热点子话题的文本可视化方法

Also Published As

Publication number Publication date
US20190286715A1 (en) 2019-09-19
US10776415B2 (en) 2020-09-15
JP2019160300A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
Kim et al. Data-driven interaction techniques for improving navigation of educational videos
Kim Learnersourcing: improving learning with collective learner activity
CN110275984A (zh) 可视化媒体内容的方法、计算机可读介质和计算设备
US10671267B2 (en) Systems and methods for presentation of content items relating to a topic
Chatti et al. Video annotation and analytics in CourseMapper
Munnerley et al. Confronting an augmented reality
US20160364115A1 (en) Method, system, and media for collaborative learning
CN111279404B (zh) 语言流利系统
US20220208016A1 (en) Live lecture augmentation with an augmented reality overlay
US20240153395A1 (en) Tracking concepts and presenting content in a learning system
US12073741B2 (en) Plugin system and pathway architecture
Aryal et al. MoocRec: Learning styles-oriented MOOC recommender and search engine
US10832584B2 (en) Personalized tutoring with automatic matching of content-modality and learner-preferences
Almeida et al. Mixed methods not mixed messages: Improving LibGuides with student usability data
US20160132476A1 (en) Guidance content development and presentation
Navarrete et al. A review on recent advances in video-based learning research: Video features, interaction, tools, and technologies
King et al. Advanced technology empowering MOOCs
Kuriakose et al. Beyond Pleasure, Desire for Meaningful Consumption and Peacefulness from Digital Entertainment Platforms; Extending UTAUT2 Model with Eudemonic Motivation and Tranquility
CN113411618A (zh) 基于社交应用的数据处理方法、设备以及计算机存储介质
Chierici Scalable, Human-Like Asynchronous Communication
del Molino et al. Keys for successful 360 hypervideo design: A user study based on an xAPI analytics dashboard
KR102642267B1 (ko) 강의 콘텐츠의 세분화 및 세분화된 강의 콘텐츠의 구매 플랫폼 서비스 제공 방법, 장치 및 시스템
US20240289546A1 (en) Synthesized responses to predictive livestream questions
Zeng et al. A New Practice Method Based on KNN Model to Improve User Experience for an AR Piano Learning System
US20230196937A1 (en) Systems and methods for accessible computer-user scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190924