CN108141645A - 具有成对深度排序的视频重点检测 - Google Patents

具有成对深度排序的视频重点检测 Download PDF

Info

Publication number
CN108141645A
CN108141645A CN201680061201.XA CN201680061201A CN108141645A CN 108141645 A CN108141645 A CN 108141645A CN 201680061201 A CN201680061201 A CN 201680061201A CN 108141645 A CN108141645 A CN 108141645A
Authority
CN
China
Prior art keywords
emphasis
video clip
score
video
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680061201.XA
Other languages
English (en)
Inventor
姚霆
梅涛
芮勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108141645A publication Critical patent/CN108141645A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

描述了使用成对深度排序神经网络训练的视频重点检测。在一些示例中，视频中的重点被发现，然后用于生成视频(例如第一人称视频)的总结。采用成对深度排序模型来学习在先前识别的重点和非重点视频片段之间的关系。这种关系被封装在神经网络中。示例性的双流过程为用户视频的每个片段生成重点分数。将获得的重点分数用于总结用户视频的重点。

Description

具有成对深度排序的视频重点检测
背景技术
诸如便携式照相机和智能眼镜的可穿戴设备的出现使得对生活进行记录成为可能，生活记录了第一人称视频。例如，诸如Go-Pro照相机和Google Glass的可穿戴摄录像机现在能够捕捉高质量的第一人称视频，以记录我们的日常经历。这些第一人称视频通常非常非结构化且长期运行。浏览和编辑这样的视频是一项非常繁琐的工作。视频总结应用可以产生封装大多数信息性部分的全长视频的简短总结，从而缓解与第一人称视频浏览、编辑和索引相关联的许多问题。
对视频总结的研究主要沿着两个维度进行，即，基于关键帧或镜头的方法以及结构驱动的方法。基于关键帧或镜头的方法通过优化总结的多样性或代表性来选择关键帧或镜头的集合，而结构驱动的方法利用特定领域中的一组定义良好的结构(例如，运动视频中的观众欢呼、目标或得分事件)进行总结。一般而言，现有方法提供了复杂的方式来从原始视频中采样精简概要，从而减少用户查看所有内容所需的时间。
然而，在常规方法中将视频总结定义为采样问题是非常有限的，因为用户对视频的兴趣被忽视。因此，由于在总结中排除冗余部分的视觉多样性准则而常常忽略特殊时刻。当直接将这些方法应用于第一人称视频时，这种限制尤其严重，因为这些视频被记录在无约束的环境中，从而使它们变得漫长、冗余和非结构化。
发明内容
本文档描述了使用成对深度排序神经网络训练的视频重点检测的设施。
在一些示例中，发现视频中的主要或特殊兴趣(即，重点)以生成诸如第一人称视频的视频的总结。可以采用成对深度排序模型来学习先前标识的重点和非重点视频片段之间的关系。神经网络封装该关系。示例性系统通过使用神经网络开发了双流网络结构视频重点检测。双流网络结构可以包括关于视频帧的出现和在视频片段的帧之间的运动的补充信息。这两个流可以为用户视频的每个片段生成重点分数。系统使用获得的重点分数通过将每个片段的重点分数组合为单个片段分数来总结用户视频的重点。示例性总结可以包括视频延时和视频略读。前者以低速率播放具有高分的重点片段，并以高速率播放具有低分的非重点片段；而后者则组合具有最高分数(或高于门限的分数)的片段序列。
提供本“发明内容”是为了以简化的形式介绍将在以下“具体实施方式”中进一步描述的概念的精华。本发明内容并非旨在标识所要求保护的技术方案的关键特征或必要特征，也不旨在用作帮助确定所要求保护的技术方案的范围。术语“技术”例如可以是指方法和/或计算机可执行指令、模块、算法、硬件逻辑(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))，和/或“设施”例如可以指代硬件逻辑和/或上文和贯穿本文档允许的其他系统。
附图说明
参照附图描述具体实施方式。在图中，参考标记的最左边的数字标识参考标记首次出现的图。在整个附图中使用相同的数字来指代相似的特征和部件。
图1是用于执行视频重点检测的环境的示例的示意图。
图2是来自图1的环境的示例性消费者设备的一部分的示意图。
图3是来自图1的环境的示例性服务器的示意图。
图4是示出示例性神经网络训练过程的框图。
图5-1和5-2示出了示例性重点检测过程。
图6示出了用于实现重点检测的示例性过程的流程图。
图7示出了图6中所示的过程的一部分的流程图。
图8示出了用于实现重点检测的示例性过程的流程图。
图9是示出了与其他重点检测技术的性能进行比较的图表。
具体实施方式
这里描述了用于提供视频重点检测系统的概念和技术，所述系统用于产生输出给用户以访问大型视频流的重点内容。
概述
提供视频内容的重点的当前系统不具有有效标识视频流中的空间时刻的能力。诸如便携式照相机和智能眼镜的可穿戴设备的出现使得记录生活成为可能，生活记录了第一人称视频。浏览这种长的、非结构化的视频是耗时且乏味的。
在一些示例中，本文所描述的技术描述了的视频(例如，第一人称视频)中的主要兴趣或特殊兴趣时刻(例如，重点)以用于生成视频的总结。
在一个示例中，系统使用成对深度排序模型，其采用深度学习技术来学习在重点和非重点视频片段之间的关系。深度学习的结果可以是经训练的神经网络。双流网络结构可以基于经训练的神经网络为用户标识的视频中的每个视频片段确定重点分数。系统使用重点分数来生成输出总结。示例性输出总结可以至少包括视频延时或视频略读。前者以低速播放高分的片段且以高速播放低分的片段；而后者聚集分数最高的片段序列。
以下详细描述参考附图。只要可能，在附图和以下描述中使用相同的附图标记来指代相同或相似的元件。虽然可以描述示例，但是修改、改编和其他示例是可能的。例如，可以对附图中示出的元件进行替换、添加或修改，并且可以通过对所公开的方法进行替代、重新排序或添加阶段来修改本文描述的方法。因此，以下详细描述不提供限制性公开，而是由所附权利要求限定适当的范围。
示例
现在参考附图，其中类似的标号表示类似的元件，将描述各种示例。
下面描述的架构仅仅构成一个示例，并不旨在将权利要求限制于任何一个特定的架构或操作环境。在不背离所要求保护的技术方案的精神和范围的情况下可以使用其他架构。图1是用于基于视频重点检测来实现视频重点检测和输出的示例性环境的图。
在一些示例中，环境100的各种设备和/或部件包括一个或多个网络102，消费者设备104可以通过网络102连接到至少一个服务器106。环境100可以包括多个网络102、各种消费者设备104和/或一个或多个服务器106。
在各种示例中，服务器106可以托管基于云的服务或特定于诸如公司的实体的集中式服务。在示例性支持场景中，服务器106可以包括以群集或其他分组配置操作以共享资源、平衡负载、提高性能的一个或多个计算设备，所述场景提供故障转移支持或冗余或出于网络102上的其它目的。服务器106可以属于多种类别或种类的设备，例如传统服务器类型设备、台式计算机类型设备、移动设备、专用类型设备、嵌入类型设备和/或可穿戴类型设备。服务器106可以包括各种设备类型，并且不限于特定类型的设备。服务器106可以代表但不限于台式计算机、服务器计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、可穿戴计算机、植入式计算设备、电信设备、汽车计算机、支持网络的电视机、瘦客户端、终端、个人数据助理(PDA)、游戏控制台、游戏设备、工作站、媒体播放器、个人录像机(PVR)、机顶盒、照相机、包含于计算设备中的集成部件、电器或任何其他类型的计算设备。
例如，网络102可以包括诸如互联网的公共网络，诸如机构和/或个人内部网的专用网络，或者专用网络和公共网络的某种组合。网络102还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(LAN)、广域网(WAN)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)或其任何组合。网络102可以利用通信协议，包括基于分组和/或基于数据报的协议，例如互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)或其他类型的协议。此外，网络102还可以包括便于网络通信和/或形成网络的硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备，等等。
在一些示例中，网络102还可以包括支持连接到无线网络的设备，例如无线接入点(WAP)。示例支持通过WAP的连接，WAP通过各种电磁频率(例如无线电频率)发送和接收数据，包括支持电气和电子工程师协会(IEEE)802.11标准(例如，802.11g、802.11n等)和其他标准的WAP。
在各种示例中，消费者设备104包括诸如设备104A-104G的设备。在示例性支持场景中，设备104可以包括以集群或其他分组配置操作以共享资源或用于其他目的的一个或多个计算设备。消费者设备104可以属于各种类别或种类的设备，例如传统的客户端类型设备、台式计算机类型设备、移动设备、专用类型设备、嵌入类型设备和/或可穿戴类型设备。虽然被图示为多种设备类型，但设备104可以是其他设备类型并且不限于所示出的设备类型。消费者设备104可以包括具有可操作地连接到输入/输出(I/O)接口110和计算机可读介质112的一个或多个处理器108的任何类型的计算设备。消费者设备104可以包括计算设备，例如智能电话104A、膝上型计算机104B、平板计算机104C、电信设备104D、个人数字助理(PDA)104E、诸如车辆控制系统的汽车计算机、车辆安全系统、或用于车辆的电子钥匙(例如104F，以图形方式被表示为汽车)、低资源电子设备(例如，IoT设备)104G和/或其组合。消费者设备104还可以包括电子书阅读器、可穿戴计算机、游戏设备、瘦客户端、终端和/或工作站。在一些示例中，消费者设备104可以是台式计算机和/或用于集成到计算设备的部件、家电或另一类设备。消费者设备104可以包括
在一些示例中，如关于消费者设备104A所示的，计算机可读介质112可以存储可由处理器108执行的指令，包括操作系统114、视频重点引擎116以及其他模块、程序或应用，例如神经网络118，其可由诸如中央处理单元(CPU)或图形处理单元(GPU)的处理器108加载和执行。替代地或另外，本文描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如但不限于，可以使用的示例性类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
消费者设备104还可以包括一个或多个I/O接口110以允许消费者设备104与其他设备通信。消费者设备104的I/O接口110还可以包括一个或多个网络接口，以允许在计算消费者设备104和其他联网设备(例如，其他设备104和/或服务器106)之间通过网络102进行通信。消费者设备104的I/O接口110可以允许消费者设备104与其他设备通信，所述其他设备例如是用户输入外围设备(例如，键盘、鼠标、笔、游戏控制器、音频输入设备、视觉输入设备、触摸输入设备、姿势输入设备等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等)。网络接口可以包括一个或多个网络接口控制器(NIC)或其他类型的收发器设备以通过网络发送和接收通信。
服务器106可以包括具有可操作地连接到输入/输出接口122和计算机可读介质124的一个或多个处理器120的任何类型的计算设备。多个服务器106可以将功能分布在例如基于云的服务中。在一些示例中，如关于服务器106所示的，计算机可读介质124可以存储可由处理器120执行的指令，包括操作系统126、视频重点引擎128、神经网络130和可由处理器120(例如CPU和/或GPU)加载和执行的其他模块、程序或应用。替代地或另外，本文描述的功能可以至少部分地由一个或多个硬件逻辑部件执行。例如但不限于，可以使用的示例性类型的硬件逻辑部件包括FPGA、ASIC、ASSP、SOC、CPLD等。
服务器106还可以包括一个或多个I/O接口122，以允许服务器106与其他设备通信，所述其他设备例如是用户输入外围设备(例如，键盘、鼠标、笔、游戏控制器、音频输入设备、视频输入设备、触摸输入设备、手势输入设备等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等)。服务器106的I/O接口110还可以包括一个或多个网络接口，以实现在计算服务器106和其他联网设备(例如其他服务器106或设备104)之间通过网络102进行通信。
计算机可读介质112、124至少可以包括两种类型的计算机可读介质，即计算机存储介质和通信介质。
计算机存储介质112、124可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质可以包括作为设备的一部分或设备外部的设备和/或硬件部件中包含的有形和/或物理形式的介质，包括但不限于随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、相变存储器(PRAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、光卡或其他光存储介质、磁带盒、磁带、磁盘存储设备、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附加存储设备、存储区域网络、托管计算机存储设备或任何其他存储存储器、存储设备、和/或存储介质或存储器技术或可用于存储并维持由计算设备访问的信息的任何其它非传输介质。
相反，通信介质可以在调制数据信号(例如载波)或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。
如本文所定义的，计算机存储介质不包括排除执行传输所必需的任何硬件部件的通信介质。也就是说，计算机存储介质本身不包括仅由调制数据信号、载波或传播信号组成的通信介质。
服务器106可以包括编程以将用户界面发送到一个或多个设备104。服务器106可以存储或访问用户简档，所述用户简档可以包括用户已经同意实体收集的信息，例如用户账号、名称、位置和/或用户可以用于不可信环境中的敏感事务的关于一个或多个消费者设备104的信息。
图2示出了被配置为检测重点视频并呈现重点视频的示例性消费者设备104的选择部件。示例性消费者设备104可以包括电源200、一个或多个处理器108和I/O接口110。I/O接口110可以包括网络接口110-1、一个或多个照相机110-2、一个或多个麦克风110-3以及在一些情况下的附加输入接口110-4。附加输入接口可以包括基于触摸的接口和/或基于手势的接口。示例性消费者设备104还可以包括显示器110-5，并且在一些情况下可以包括诸如扬声器、打印机等的附加输出接口110-6。网络接口110-1使消费者设备104能够通过网络120发送和/或接收数据。网络接口110-1还可以表示其他通信接口的任何组合，以使消费者设备104能够发送和/或接收各种类型的通信，包括但不限于基于网络的数据和基于蜂窝电话网络的数据。另外，示例性消费者设备104可以包括计算机可读介质112。计算机可读介质112可以存储操作系统(OS)114、浏览器204、神经网络118、视频重点引擎116以及任何数目的其他应用或模块，它们被存储为计算机可读指令，并且至少部分地在处理器108上执行。
视频重点引擎116可以包括训练模块208、重点检测模块210、视频输出模块212和用户接口模块214。训练模块208可以使用具有先前标识的重点和非重点视频片段的其它视频内容来训练和存储神经网络。神经网络训练由图4中所示的例子来描述。
重点检测模块210可以使用经训练的神经网络从客户标识的视频流中检测多个片段的重点分数。重点检测通过图5-1和图5-2的示例来描述。
视频输出模块212可以通过组织视频流的片段并基于片段重点分数和/或所述组织来输出片段，进而对客户/消费者标识的视频流进行总结。
用户接口模块214可以与I/O接口110交互。用户接口模块214可以在I/O接口110处呈现图形用户界面(GUI)。GUI可以包括用于允许用户与训练模块208、重点检测模块210、视频输出模块212或视频重点引擎128的部件交互的特征。GUI的特征可以允许用户训练神经网络，选择视频用于分析并在消费者设备104处查看经分析的视频的总结。
图3是示出示例性服务器设备106的选择部件的框图，服务器设备106被配置为提供重点检测和输出，如本文中所描述的。示例性服务器106可以包括电源300，一个或多个处理器120以及与包括网络接口122-1的I/O接口122对应的I/O接口，并且在一些情况下可以包括一个或多个附加输入接口122-2，例如键盘、软键、麦克风、照相机等。另外，I/O接口122还可以包括一个或多个附加输出接口122-3，其包括诸如显示器、扬声器、打印机等的输出接口。网络接口122-1可以使服务器106能够通过网络102发送和/或接收数据。网络接口122-1还可以表示其他通信接口的任何组合，以使服务器106能够发送和/或接收各种类型的通信，包括但不限于基于网络的数据和基于蜂窝电话网络的数据。另外，示例性服务器106可以包括计算机可读介质124。计算机可读介质124可以存储操作系统(OS)126、视频重点引擎128、神经网络130和任何数目的其他应用或模块，其被存储为计算机可执行指令，并且至少部分地在处理器120上执行。
视频重点引擎128可以包括训练模块304、重点检测模块306、视频输出模块308和用户接口模块310。训练模块304可以使用具有先前标识的重点和非重点片段的先前标识的视频来训练和存储神经网络。神经网络训练由图4所示的例子进行描述。训练模块304可以类似于消费者设备104处的训练模块208，可以包括补充训练模块208的部件或可以是唯一版本。
重点检测模块306可以使用经训练的神经网络检测来自客户标识的视频流的多个片段的重点分数。重点检测模块306可以类似于位于消费者设备104处的重点检测模块210，可以包括补充重点检测模块210的部件或可以是唯一版本。
视频输出模块308可以通过组织视频流的片段并基于片段重点度分数输出片段来总结客户/消费者标识的视频流。用户接口模块310可以与I/O接口122和消费者设备104的I/O接口110交互。用户接口模块310可以在I/O接口122上呈现GUI。GUI可以包括用于允许用户与训练模块304、重点检测模块306、视频输出模块308或视频重点引擎128的其他部件交互的特征。GUI可以呈现在网站中用于呈现给消费者设备104处的用户。
示例性操作
图4-6示出了用于实现如本文所述的用于输出的重点视频片段的各方面的示例性过程。这些过程被图示为逻辑流程图中的框的集合，其表示可以用硬件、软件或其组合来实现的操作序列。在软件的上下文中，这些框表示一个或多个计算机可读介质上的计算机可执行指令，这些计算机可执行指令在由一个或多个处理器执行时使处理器执行所记载的操作。
本申请承认软件是有价值的、可单独交易的商品。它旨在涵盖运行于或控制“哑”或标准硬件的软件，以执行所需的功能。它还旨在涵盖“描述”或定义硬件配置的软件，例如HDL(硬件描述语言)软件，如用于设计硅芯片或用于配置通用可编程芯片，以执行所需功能。
注意，描述过程的次序不旨在被解释为限制，并且任何数目的所描述的过程框可以以任何次序组合以实现过程或替代过程。另外，在不背离本文所述技术方案的精神和范围的情况下，可以从过程中删除个体框。此外，虽然过程是参考上面参考图1-3描述的消费者设备104和服务器106来描述的，但在一些示例中，包括如上所述的其他基于云的架构的其他计算机架构可全部或部分地实现这些过程的一个或多个部分。
训练
图4示出了用于定义由执行训练模块208和/或304的处理器108和/或120执行的空间和时间深度卷积神经网络(DCNN)架构的示例性过程400。过程400示出了用于训练空间和时间DCNN架构的成对深度排序模型，用于预测其他客户端选定视频流的视频重点。处理器108和/或120可以使用一对先前标识的重点和非重点空间视频片段作为用于优化空间DCNN架构的输入。每一对可以包括来自相同视频的重点视频片段hT 402和非重点片段ni 404。处理器108和/或120可以将两个片段402、404分别馈送到具有共享架构和参数的两个相同的空间DCNN 406中。空间DCNN 406可以包括分类器410，其标识输入片段的每个帧的预定数目的类别。在该例子中，分类器410可以为视频片段的每个帧样本标识1000类别或1000点维度特征向量。分类器410可以标识输入的更少或更多的类别。类别的数目可以取决于包含于DCNN中的神经网络的输入节点的数目。分类器410可以被认为是特征提取器。输入是视频帧，输出是1000维特征向量。特征向量的每个元素表示帧属于每个类别的概率。1000维向量可以表示每个帧。可以使用其他数目的类别或大小的维度向量。示例性分类器是AlexKrizhevsky等人创建的AlexNet。
在框412处，处理器108和/或120可对片段的所有帧的类别进行平均以产生平均池化值。处理器108和/或120将平均池化值馈送到两个相同神经网络414中的相应一个神经网络中。神经网络414可以产生重点分数—一个用于重点片段，一个用于非重点片段。
处理器108和/或120可以将重点分数馈送到排序层408。输出的重点分数展现了视频片段的相对排序次序。排序层408可以评估每对片段的边限排序损失。在一个例子中，排序损失可以是：
在学习期间，排序层408可以评估对排序次序的违反。当重点片段的分数具有比非重点片段低的重点分数时，处理器108和/或120调整神经网络414的参数以最小化排序损失。例如，将梯度反向传播到较低层，从而较低层可以调整它们的参数以最小化排序损失。排序层408可以通过从上到下逐层遍历来计算每层的梯度。
时间DCNN训练的过程可以以与上述空间DCNN训练类似的方式执行。用于时间DCNN训练的输入402、404可以包括视频片段的光流。光流的示例性定义包括由在照相机和场景之间的相对运动引起的、视觉场景中的物体、表面和/或边缘的视运动模式。
重点检测
图5-1和图5-2示出了过程500，该过程500示出了具有后期融合的双流DCNN，用于输出输入视频的视频片段的重点分数，并使用重点分数来生成输入视频的总结。首先，处理器108和/或120可以将输入视频分解成空间和时间分量。空间和时间分量分别涉及人类感知的腹侧流和背侧流。腹侧流在识别物体方面发挥主要作用，而背侧流则介入感觉运动变换，用于视觉引导场景中物体的动作。空间分量通过帧外观描绘视频中的场景和物体，而时间部分以帧之间的运动形式传达运动。
给定输入视频502，处理器108和/或120可以通过在时间、镜头边界检测或变化点检测算法中执行均匀分区来划定一组视频片段。示例性分区可以是5秒。一组片段可以包括以3帧/秒的速率采样的帧。这导致15帧被用于确定片段的重点分数。可以使用其他分区和采样速率，这取决于多种因素，所述因素包括但不限于处理能力或时间。对于每个视频片段，空间流504和时间流506对在该片段中提取出的多个帧进行操作，以生成片段的重点分数。对于每个视频片段，空间DCNN在多个帧上操作。第一阶段是通过分类器410提取每个帧的表示。然后，平均池化412可以获得所有帧的每个视频片段的表示。视频片段的结果表示形成空间神经网络414的输入，并且空间神经网络414的输出是空间DCNN的重点分数。时间DCNN的重点分数的生成类似于空间DCNN。唯一的区别是空间DCNN的输入是视频帧，而时间DCNN的输入是光流。最后，空间和时间DCNN的两个重点分数的加权平均形成视频片段的重点分数。流504、506重复输入视频的其他片段的重点分数生成。空间流504和时间流506可以对与片段相关联的分数进行加权。过程500可以融合片段的加权重点分数以形成视频片段的分数。过程500可以重复对输入视频的其他视频片段进行融合。在图5-2中更详细地描述了流504、506。
图表508是输入视频的片段的重点分数的示例。过程500可以使用图表508或用于创建图表508的数据来生成总结，例如延时总结或略读总结。
如图5-2所示，空间流504可以包括空间DCNN 510，其在架构上可以类似于图4中所示的DCNN 406。此外，时间流506包括时间DCNN 512，其在架构上可以类似于图4中所示的DCNN 406。DCNN 510可以包括空间神经网络414-1，该空间神经网络414-1由图4中描述的过程400进行空间训练。DCNN 512包括时间神经网络414-2，该时间神经网络414-2由图4中描述的过程400进行时间训练。神经网络414的示例性架构可以是F1000-F512-F256-F128-F64-F1，其包含六个完全连接的层(由F表示具有神经元的数目)。最后一层的输出是正在分析的片段的重点分数。
与空间DCNN 510不同，时间DCNN 512的输入可以包括在若干连续帧之间的多个光流“图像”。这种输入可以明确地描述片段的视频帧之间的运动。在一个示例中，时间分量可以通过使水平(x)和垂直(y)流值集中在128附近来计算光流并将其转换为流“图像”，并且可以将流值乘以标量值，使得流值例如落入0到255之间。变换的x和y流是流图像的前两个通道，第三通道可以通过计算流幅度来创建。此外，为了抑制在第一人称视频中非常常见的由照相机运动引起的光流位移，每个流的平均向量估计全局运动分量。时间分量从流中减去全局运动分量。空间DCNN 510可以将分类514和平均516的输出融合，然后导入经训练的神经网络414-1，以用于生成空间重点分数。时间DCNN 512可以对分类518和平均520的输出进行融合，随后导入经训练的神经网络414-2，以用于生成时间重点分数。
过程500可以后期融合来自DCNN 510、512的空间重点分数和时间重点分数，由此产生视频片段的最终重点分数。融合可以包括对每个重点分数应用权重值，然后添加加权值以产生最终重点分数。过程500可以组合输入视频的片段的最终重点分数以形成整个输入视频的重点曲线508。具有高分(例如，高于门限的分数)的视频片段因此被选择为视频重点。其他流(例如，音频流)可以与先前描述的空间和时间流一起使用或不与空间和时间流一起使用。
在一个示例中，重点检测模块210、306仅使用流504、506中的一个，可用于生成重点分数。
输出
在一些示例中，视频输出模块212、308可以使用输入视频的片段的重点分数来生成各种输出。各种输出提供了输入视频的重点的各种总结。示例性视频总结技术可以包括延时总结。延时总结可以通过选择每r帧并以慢动作显示重点片段来提高非重点视频片段的速度。
假设Lv、Lh和Ln分别是原始视频、重点片段和非重点片段的长度。Lh＜＜Ln，Lv。r是减速的速率。给定最大长度L，速率r如下：
由于Lh+Ln＝Lv,所以
其中
在该示例中，视频输出模块212、308可以通过压缩非重点视频片段同时扩展重点视频片段来生成视频摘要。
另一重点总结可以包括视频略读总结。视频略读提供了原始视频的简短摘要，其包括所有重要/重点的视频片段。首先，视频略读执行时间分割，然后挑选出几个片段以根据特定标准(例如，兴趣度和重要性)形成最佳总结。时间分割将整个视频分割成片段集合。
以下描述示例性视频略读技术。假设视频由一系列帧xi∈X(i＝0，...，m-1)组成，其中xi是第i帧的视觉特征。让K:X×X→R为视觉特征之间的核函数。将φ:X→H表示为特征映射，其中H和|·|H分别是映射的特征空间和该特征空间中的范数。时间分割可以找到一组最优变化点/帧作为片段的边界，并且优化由下式给出：
其中c是变化点的数目。Gm,c测量总体的片段内核方差dti,ti+1并按照以下计算：
其中
并且
q(m,c)是惩罚项，其惩罚具有太多片段的分割。在一个例子中，具有参数化形式q(m,c)＝c(log(m/c)+1)的贝叶斯信息准则(BIC)型惩罚。参数λ加权每个项的重要性。等式(3)的目标是产生在分割不足和过渡分割之间的折衷。在一个例子中，动态编程可以最小化等式(4)中的目标，并迭代地计算变化点的最佳数目。回溯技术可以标识最终的分割。
在分割之后，可以将重点检测应用于每个视频片段，产生重点分数。给定一组视频片段S＝{s1，...，sc}并且每个片段可以与重点分数f(si)相关联，可以最大化长度低于最大值L的子集以及重点分数的总和。具体来说，问题可以被定义为
其中bi∈{0,1}和bi＝1指示第i个片段被选择。|si|是第i片段的长度。
图6示出了用于从输入视频流中标识重点片段的示例性过程600。在框602处，训练两个DCNN。这两个DCNN接收先前被标识为具有重点和非重点视频内容的视频片段对作为输入。过程600可以根据输入的视频片段的类型(例如，空间和时间)来训练不同的DCNN。在一个示例中，结果包括经训练的空间DCNN和经训练的时间DCNN。训练可以与执行过程600的其他部分分离地离线进行。图7示出了DCNN训练的例子。
在框604处，重点检测模块210和/或306可以使用经训练的DCNN为输入的视频流的每个视频片段生成重点分数。在一个示例中，重点检测模块210和/或306可以使用先前训练的空间和时间DCNN单独生成空间和时间重点分数。
在框606处，重点检测模块210和/或306可以确定每个片段的两个重点分数。重点检测模块210和/或306可以在组合分数以创建片段的重点分数之前将权重添加到分数中的至少一个。输入视频的所有片段的分数确定的完成可以产生视频重点分数表(例如，508)。
在框608处，视频输出模块212和/或308可以使用至少一部分重点分数来生成视频总结输出。基本策略基于重点分数生成总结。在获得每个视频片段的重点分数之后，跳过非重点片段(具有低重点分数的片段)和/或以低(高)速率播放重点(非重点)片段。
示例性视频总结输出可以包括如前所述的视频延时和视频略读。
图7示出了框602的示例性执行。在框700处，对为每个DCNN输入的每对视频片段的边界排序损失进行评估。边界排序损失是确定DCNN产生的结果是否相对于非重点部分正确地对重点部分进行排序。例如，如果重点片段的排序低于非重点片段，则发生排序错误。
然后，在框702处，调整每个DCNN的参数以最小化排序损失。框700和702可以重复预定次数，以便迭代地改进由DCNN产生的排序结果。替代地，框700和702可以重复，直到排序结果满足预先定义的排序误差门限。
图8示出了用于从输入视频流标识重点片段的示例性过程800。在框802处，计算设备至少部分地基于第一神经网络和与输入视频的多个视频片段中的视频片段相关联的第一组信息，来生成视频片段的第一重点分数。在框804处，计算设备至少部分地基于第二神经网络和与视频片段相关联的第二组信息，来生成视频片段的第二重点分数。在框806处，计算设备通过合并视频片段的第一重点分数和第二重点分数来生成视频片段的第三重点分数。在框808处，计算设备至少基于多个视频片段的第三重点分数来生成输出。
图9示出了重点检测的不同方法的性能比较。在此描述的示例与其他方法的比较显示出显著的改进。用于性能评估的其他方法包括：
-基于规则的模型：首先基于颜色信息将测试视频分割为一系列镜头。然后通过基于运动门限的方法将每个镜头分解成一个或多个子镜头。每个子镜头的重点分数与子镜头的长度直接成比例；
-基于重要性的模型(Imp)：对每个类别的线性支持向量机(SVM)分类器进行训练，以求出每个视频片段的重要性的分数。对于每个类别，该模型将该类别的所有视频片段用作正例，并将来自其他类别的视频片段用作反例。该模型采用改进的密集轨迹运动特征(IDT)和用于表示每个视频片段的DCNN帧特征(DCNN)的平均。基于IDT和DCNN的两次运行分别命名为Imp+IDT和Imp+DCNN。
-潜在排序模型(LR)：对每个类别的潜在线性排序SVM模型进行训练以求出每个视频片段的重点的分数。对于每个类别，该类别的每个视频中的所有重点和非重点视频片段对都被用于训练。类似地，提取IDT和DCNN帧特征的平均作为每个片段的表示。这两次运行分别命名为LR+IDT和LR+DCNN。
-最后三次运行是本公开中给出的示例。两次运行(S-DCNN和T-DCNN)分别通过单独使用空间DCNN和时间DCNN来预测视频片段的重点分数。TS-DCNN的结果是通过后期融合的S-DCNN和T-DCNN的加权和。
评估度量包括计算测试集中每个视频的重点检测的平均精度，并报告平均所有测试视频的性能的平均精度(mAP)。在另一评估中，标准化贴现累积收益(NDCG)考虑了多级重点分数的测量作为性能度量。
给定视频的片段排序列表，在排序列表中深度d处的NDCG分数由以下定义：
其中rj＝{5:as≥8；4:as＝7；3:as＝6；2:as＝5；1:as≤4}代表基本事实中的片段的评级，并且as表示每个分段的总分。Zd是归一化常数并被选择，从而NDCG@d＝1用于完美排序。最终度量是测试集中所有视频的NDCG@D平均。
总之，跨不同评估度量的结果一致地指示本示例相对于其他技术带来了性能提升。特别地，TS-DCNN可以达到0.3574，这对使用潜在线性排序模型(LR+IDT)的改进密集轨迹改进了10.5％。更重要的是，在至少一个例子中，TS-DCNN的运行时间比LR+IDT小几十倍。
表1列出了每种方法在预测五分钟的视频方面的详细运行时间。注意，LR+IDT和Imp+IDT、LR+DCNN和Imp+DCNN、TDCNN和TS-DCNN的运行时间分别相同，表中仅列出了其中的一个。我们看到我们的方法在性能和效率之间具有最佳平衡。我们的TS-DCNN在277秒内完成，少于视频的持续时间。因此，我们的方法能够在捕捉视频的同时预测分数，这可能在移动设备上被部署。
App. 规则 LR+IDT LR+DCNN S-DCNN TS-DCNN
时间 25s 5h 65s 72s 277s
表1
示例性条款
一种方法，包括：在计算设备处基于第一神经网络和与输入视频的多个视频片段中的视频片段相关联的第一组信息，来生成视频片段的第一重点分数；基于第二神经网络和与所述视频片段相关联的第二组信息，来生成所述视频片段的第二重点分数；通过合并所述视频片段的第一重点分数和第二重点分数，来为所述视频片段生成第三重点分数；以及至少基于多个视频片段的第三重点分数来生成输出，其中第一组信息和第二组信息不同，并且其中第一神经网络和第二神经网络包括一个或多个不同的参数。
前述任一条款的方法，还包括训练第一神经网络，包括：通过将与来自另一视频的先前标识的重点视频片段相关联的第一信息插入到第一神经网络的第一版本中，来生成重点片段分数；通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第二信息插入到第一神经网络的第二版本中，来生成非重点片段分数，其中第一信息和第二信息具有与第一组信息类似的格式；将所述重点片段分数与所述非重点片段分数进行比较；以及基于比较来调整第一神经网络的一个或多个参数。
前述任一条款的方法，还包括训练第二神经网络，包括：通过将与来自另一视频的先前标识的重点视频片段相关联的第一信息插入到第二神经网络的第一版本中以生成重点片段分数，来生成重点片段分数；通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第二信息插入到第二神经网络的第二版本中，来生成非重点片段分数，其中所述第一信息和第二信息具有与第二组信息类似的格式；将所述重点片段分数与所述非重点片段分数进行比较；以及基于比较，来调整所述第二神经网络的一个或多个参数。
前述任一条款的方法，还包括：通过选择所述视频片段的空间信息样本来标识第一组信息；确定所述空间信息样本的多个分类值；确定所述多个分类值的平均；将所述多个分类值的平均插入到第一神经网络中。
前述任一条款的方法，还包括：通过选择所述视频片段的时间信息样本来标识第二组信息；确定所述时间信息样本的多个分类值；确定多个分类值的平均；以及将多个分类值的平均插入到第二神经网络中。
前述任一条款的方法，还包括：通过选择所述视频片段的空间信息样本来标识第一组信息；确定所述空间信息样本的多个分类值；确定所述多个分类值的平均；将所述多个分类值的平均插入到第一神经网络中；以及通过选择所述视频片段的时间信息样本来标识第二组信息；确定所述时间信息样本的多个分类值；确定所述时间信息样本的多个分类值的平均；以及将所述时间信息样本的多个分类值的平均插入到第二神经网络中。
前述任一条款的方法，还包括：响应于所述视频片段之一的第三重点分数大于门限值，确定所述视频片段之一的帧的第一回放速度；以及响应于所述视频片段之一的第三重点分数小于所述门限值，确定所述视频片段之一的帧的第二回放速度。
前述任一条款的方法还，包括：至少部分地基于视频片段之一的第三重点分数，确定视频片段之一的帧的回放速度。
前述任一条款的方法，还包括：标识具有大于门限值的第三重点分数的视频片段；以及将被标识为具有大于门限值的第三重点分数的视频片段的帧的至少一部分进行组合。
前述任一条款的方法，还包括：至少部分地基于视频片段的至少一部分的第三重点分数，对视频片段的所述部分的帧的至少一部分进行排序。
一种装置，包括：处理器；以及存储指令模块的计算机可读介质，所述指令模块在由所述处理器执行时将所述装置配置为执行视频重点检测，所述模块包括：训练模块，用于将所述处理器配置为至少基于先前标识的重点片段和先前标识的非重点片段来训练神经网络，所述重点片段和非重点片段来自相同的视频；重点检测模块，用于将所述处理器配置为基于神经网络和与来自输入视频的多个视频片段中的视频片段相关联的一组信息，来生成所述视频片段的重点分数；以及输出模块，用于将所述处理器配置为至少部分地基于多个视频片段的重点分数来生成输出。
前述任一条款的装置，其中所述存储器存储指令，所述指令在由处理器执行时还将装置配置为：通过将与先前标识的重点视频片段相关联的第一信息插入到第一神经网络中来生成重点片段分数，所插入的第一信息具有类似于与所述视频片段相关联的一组信息的格式；通过将与先前标识的非重点视频片段相关联的第二信息插入到第二神经网络中来生成非重点片段分数，所插入的第二信息具有类似于与所述视频片段相关联的一组信息的格式，其中所述第一神经网络和第二神经网络相同；将所述重点片段分数与所述非重点片段分数进行比较；以及基于所述比较来调整至少一个神经网络的一个或多个参数。
前述任一条款的装置，其中所述存储器存储指令，所述指令在由处理器执行时还将装置配置为：通过选择视频片段的空间信息样本来标识所述一组信息；确定所述空间信息样本的多个分类值；确定所述多个分类值的平均；以及将所述多个分类值的平均插入到所述神经网络中。
前述任一条款的装置，其中所述存储器存储指令，所述指令在由处理器执行时还将装置配置为：通过选择所述视频片段的时间信息样本来标识所述一组信息；确定所述时间信息样本的多个分类值；确定所述多个分类值的平均；以及将所述多个分类值的平均插入到所述神经网络中。
前述任一条款的装置，其中所述存储器存储指令，所述指令在由处理器执行时还将装置配置为：响应于视频片段之一的重点分数大于门限值，确定所述视频片段之一的帧的第一回放速度；以及响应于所述视频片段之一的重点分数小于所述门限值，确定所述视频片段之一的帧的第二回放速度。
前述任一条款的装置，其中所述存储器存储指令，所述指令在由处理器执行时还将装置配置为：标识具有高于门限的重点分数的视频片段；以及将被标识为具有大于门限值的重点分数的视频片段的帧的至少一部分进行组合。
一种系统，包括：处理器；以及包括指令的计算机可读介质，所述指令在由所述处理器执行时将所述处理器配置为：基于第一神经网络和与输入视频的多个视频片段中的视频片段相关联的第一组信息，来生成所述视频片段的第一重点分数；基于第二神经网络和与所述视频片段相关联的第二组信息，来生成所述视频片段的第二重点分数；通过合并所述视频片段的第一重点分数和第二重点分数，来为所述视频片段生成第三重点分数；以及至少基于所述多个视频片段的第三重点分数来生成输出，其中第一组信息和第二组信息不同，并且其中第一神经网络和第二神经网络包括一个或多个不同的参数。
前述任一条款的系统，其中所述计算机可读介质包括指令，所述指令在由处理器执行时还将处理器配置为训练第一神经网络，包括：通过将与来自另一视频的先前标识的重点视频片段相关联的第一信息插入到所述第一神经网络中，来生成第一重点片段分数；通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第二信息插入到所述第一神经网络中，来生成第一非重点片段分数，其中所述第一信息和第二信息具有与所述第一组信息类似的格式；将所述第一重点片段分数与所述第一非重点片段分数进行比较；以及基于所述比较，来调整所述第一神经网络的一个或多个参数；以及训练第二神经网络，包括：通过将与来自所述另一视频的先前标识的重点视频片段相关联的第三信息插入到第二神经网络中，来生成第二重点片段分数；通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第四信息插入到所述第二神经网络中，来生成第二非重点片段分数，其中所述第三信息和第四信息具有与所述第二组信息类似的格式；将所述第二重点片段分数与所述第二非重点片段分数进行比较；以及基于比较来调整所述第二神经网络的一个或多个参数。
前述任一条款的系统，其中所述计算机可读介质包括指令，所述指令在由所述处理器执行时进一步将所述处理器配置为：通过选择视频片段的空间信息样本来标识第一组信息；确定所述空间信息样本的多个分类值；确定所述多个分类值的平均；将所述多个分类值的平均插入到第一神经网络中；通过选择所述视频片段的时间信息样本，来标识第二组信息；确定所述时间信息样本的多个分类值；确定所述时间信息样本的多个分类值的平均；以及将所述时间信息样本的多个分类值的平均插入到第二神经网络中。
前述任一条款的系统，其中所述计算机可读介质包括指令，所述指令在由所述处理器执行时进一步将所述处理器配置为：响应于所述视频片段之一的第三重点分数大于第一门限值，确定所述视频片段之一的帧的第一回放速度；以及响应于所述视频片段之一的第三重点分数小于所述第一门限值，确定所述视频片段之一的帧的第二回放速度；或者标识具有大于第二门限值的第三重点分数的视频分段；以及将被标识为具有大于第二门限值的第三重点分数的视频片段的帧的至少一部分进行组合。
一种系统，包括：用于基于第一神经网络和与输入视频的多个视频片段中的视频片段相关联的第一组信息来生成所述视频片段的第一重点分数的部件；用于基于第二神经网络和与所述视频片段相关联的第二组信息来生成所述视频片段的第二重点分数的部件；用于通过合并所述视频片段的第一重点分数和第二重点分数来为所述视频片段生成第三重点分数的部件；以及用于至少基于多个视频片段的第三重点分数来生成输出的部件，其中第一组信息和第二组信息不同，并且其中第一神经网络和第二神经网络包括一个或多个不同的参数。
前述任一条款的系统，还包括：用于通过将与来自另一视频的先前标识的重点视频片段相关联的第一信息插入到第一神经网络中来生成第一重点片段分数的部件；用于通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第二信息插入到第一神经网络中来生成第一非重点片段分数的部件，其中第一信息和第二信息具有与第一组信息类似的格式；用于将所述第一重点片段分数与所述第一非重点片段分数进行比较的部件；以及用于基于比较来调整第一神经网络的一个或多个参数的部件；以及训练第二神经网络包括：通过将与来自另一视频的先前标识的重点视频片段相关联的第三信息插入到第二神经网络中来生成第二重点片段分数；通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第四信息插入到第二神经网络中来生成第二非重点片段分数，其中所述第三信息和第四信息具有与第二组信息类似的格式；将所述第二重点片段分数与所述第二非重点片段分数进行比较；以及基于比较来调整所述第二神经网络的一个或多个参数。
前述任一条款的系统，还包括：用于通过选择所述视频片段的空间信息样本来标识第一组信息的部件；用于确定所述空间信息样本的多个分类值的部件；用于确定所述多个分类值的平均的单元；用于将所述多个分类值的平均插入到第一神经网络的部件；以及用于通过选择所述视频片段的时间信息样本来标识第二组信息的部件；用于确定所述时间信息样本的多个分类值的部件；用于确定所述时间信息样本的多个分类值的平均的部件；以及将所述时间信息样本的多个分类值的平均插入到第二神经网络中的部件。
前述任一条款的系统，还包括：用于响应于所述视频片段之一的第三重点分数大于第一门限值，确定所述视频片段之一的帧的第一回放速度的部件；以及用于响应于所述视频片段之一的第三重点分数小于所述第一门限值，确定所述视频片段之一的帧的第二回放速度的部件；或者用于标识具有大于第二门限值的第三重点分数的视频片段的部件；以及用于将被标识为具有大于第二门限值的第三重点分数的视频片段的帧的至少一部分进行组合的部件。
结论
本文描述的各种概念扩展技术可以允许对视频进行更健壮的分析。
虽然已经用专用于结构特征或方法动作的语言描述了技术，但是应该理解，所附权利要求不一定限于所描述的特征或动作。相反，这些特征和动作被描述为这种技术的示例性实现方式。
示例性过程的操作在个体框中被示出并且参考这些框进行总结。所述过程被图示为框的逻辑流，其中的每个框可以表示可以用硬件、软件或其组合来实现的一个或多个操作。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时使一个或多个处理器能够执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、部件、数据结构等。描述操作的次序不旨在被解释为限制，并且任何数目的所描述的操作可以以任何次序执行，以任何次序组合，细分为多个子操作，和/或并行执行以实现所描述的过程。所描述的过程可以通过与一个或多个计算设备104或106(例如，一个或多个内部或外部CPU或GPU)相关联的资源和/或诸如FPGA、DSP的一个或多个硬件逻辑或上述其它类型来执行。
以上描述的所有方法和过程可以体现在由一个或多个计算机或处理器执行的软件代码模块中并且经由其进行完全自动化。代码模块可以存储在任何类型的计算机可读介质、存储器或其他计算机存储设备中。一些或所有方法可以体现在专门的计算机硬件中。
除非另有特别说明，否则诸如“能够”、“可能”、“可以”、“可”的条件语言在上下文中被理解为表示特定示例包括(而其他示例不包括)某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示某些特征、元件和/或步骤以任何方式需要用于一个或多个示例，或者一个或多个示例必须包括用于在具有或不具有用户输入或提示的情况下决定在任何特定示例中是否包括或将要执行某些特征、元件和/或步骤的逻辑。除非另有特别说明，否则诸如短语“X、Y或Z中的至少一个”的连接语言应理解为表示项目、术语等可以是X、Y或Z中任一个或者是它们的组合。
这里描述和/或附图中描绘的流程图中的任何例程描述、元件或框应该被理解为可能代表包括用于实现例程中的特定逻辑功能或元件的一个或多个可执行指令的模块、分段或代码的一部分。替代实施方式包含于本文所描述的示例的范围内，其中可以删除元件或功能，或者以与所示或所讨论的次序不同的次序执行元件或功能，包括基本同步或相反的次序，这取决于所涉及的功能，如本领域技术人员可以理解的。应该强调的是，可以对上述示例做出许多变化和修改，其要素被理解为是其他可接受的示例。所有这些修改和变化都旨在包含于本公开的范围内并且由以下权利要求保护。

Claims (15)

1.一种装置，包括：
处理器；以及
存储指令模块的计算机可读介质，所述指令模块在由所述处理器执行时，将所述装置配置为执行视频重点检测，所述模块包括：
训练模块，用于将所述处理器配置为至少基于先前标识的重点片段和先前标识的非重点片段来训练神经网络，其中所述重点片段和所述非重点片段来自相同的视频；
重点检测模块，用于将所述处理器配置为至少部分地基于所述神经网络和与来自输入视频的多个视频片段中的视频片段相关联的一组信息，来生成所述视频片段的重点分数；以及
输出模块，用于将所述处理器配置为至少部分地基于所述多个视频片段的所述重点分数来生成输出。
2.根据权利要求1所述的装置，其中所述训练模块还用于将所述处理器配置为：
通过将与所述先前标识的重点视频片段相关联的第一信息插入到第一神经网络中来生成重点片段分数，所插入的所述第一信息具有类似于与所述视频片段相关联的所述一组信息的格式；
通过将与所述先前标识的非重点视频片段相关联的第二信息插入到第二神经网络中来生成非重点片段分数，所插入的所述第二信息具有类似于与所述视频片段相关联的所述一组信息的格式；
将所述重点片段分数与所述非重点片段分数比较；以及
至少部分地基于所述比较来调整所述神经网络中的至少一个神经网络的一个或多个参数。
3.根据权利要求1或2所述的装置，其中所述重点检测模块还用于将所述处理器配置为：
通过选择所述视频片段的空间信息样本来标识所述一组信息；
确定所述空间信息样本的多个分类值；
确定所述多个分类值的平均；以及
将所述多个分类值的所述平均插入到所述神经网络中。
4.根据前述权利要求中任一项所述的装置，其中所述重点检测模块还用于将所述处理器配置为：
通过选择所述视频片段的时间信息样本来标识所述一组信息；
确定所述时间信息样本的多个分类值；
确定所述多个分类值的平均；以及
将所述多个分类值的所述平均插入到所述神经网络中。
5.根据前述权利要求中任一项所述的装置，其中所述输出模块还用于将所述处理器配置为：
响应于所述视频片段中的一个视频片段的所述重点分数大于门限值，确定所述视频片段中的所述一个视频片段的帧的第一回放速度；以及
响应于所述视频片段中的所述一个视频片段的所述重点分数小于所述门限值，确定所述视频片段中的所述一个视频片段的帧的第二回放速度。
6.根据前述权利要求中任一项所述的装置，其中所述输出模块还用于将所述处理器配置为：
标识具有大于门限的重点分数的视频片段；以及
将被标识为具有大于门限值的所述重点分数的所述视频片段的帧的至少一部分组合。
7.一种系统，包括：
处理器；以及
包括指令的计算机可读介质，所述指令在由所述处理器执行时，将所述处理器配置为：
至少部分地基于第一神经网络和与输入视频的多个视频片段中的视频片段相关联的第一组信息，来生成所述视频片段的第一重点分数；
至少部分地基于第二神经网络和与所述视频片段相关联的第二组信息，来生成所述视频片段的第二重点分数；
通过合并所述视频片段的所述第一重点分数和所述第二重点分数，来生成所述视频片段的第三重点分数；以及
至少基于所述多个视频片段的所述第三重点分数来生成输出。
8.根据权利要求7所述的系统，其中所述计算机可读介质还包括指令，所述指令在由所述处理器执行时，还将所述处理器配置为：
通过将与来自另一视频的先前标识的重点视频片段相关联的第一信息插入到所述第一神经网络中，来生成第一重点片段分数；
通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第二信息插入到所述第一神经网络中，来生成第一非重点片段分数，其中所述第一信息和所述第二信息具有类似于所述第一组信息的格式；
将所述第一重点片段分数与所述第一非重点片段分数比较；
至少部分地基于所述比较，来调整所述第一神经网络的一个或多个参数；
通过将与来自所述另一视频的先前标识的重点视频片段相关联的第三信息插入到所述第二神经网络中，来生成第二重点片段分数；
通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第四信息插入到所述第二神经网络中，来生成第二非重点片段分数，其中所述第三信息和所述第四信息具有类似于所述第二组信息的格式；
将所述第二重点片段分数与所述第二非重点片段分数比较；以及
至少部分地基于所述比较，来调整所述第二神经网络的一个或多个参数。
9.根据权利要求7或8所述的系统，其中所述计算机可读介质还包括指令，所述指令在由所述处理器执行时，还将所述处理器配置为：
通过选择所述视频片段的空间信息样本来标识所述第一组信息；
确定所述空间信息样本的多个分类值；
确定所述多个分类值的平均；
将所述多个分类值的所述平均插入到所述第一神经网络中；
通过选择所述视频片段的时间信息样本来标识所述第二组信息；
确定所述时间信息样本的多个分类值；
确定所述时间信息样本的所述多个分类值的平均；以及
将所述时间信息样本的所述多个分类值的所述平均插入到所述第二神经网络中。
10.根据前述权利要求中任一项所述的系统，其中所述计算机可读介质还包括指令，所述指令在由所述处理器执行时，还将所述处理器配置为：
响应于所述视频片段中的一个视频片段的所述第三重点分数大于第一门限值，确定所述视频片段中的所述一个视频片段的帧的第一回放速度；以及
响应于所述视频片段中的所述一个视频片段的所述第三重点分数小于所述第一门限值，确定所述视频片段中的所述一个视频片段的帧的第二回放速度；或者
标识具有大于第二门限值的第三重点分数的视频片段；以及
将被标识为具有大于所述第二门限值的所述第三重点分数的所述视频片段的所述帧的至少一部分组合。
11.一种方法，包括：
在计算设备处至少部分地基于第一神经网络和与输入视频的多个视频片段中的视频片段相关联的第一组信息，来生成所述视频片段的第一重点分数；
至少部分地基于第二神经网络和与所述视频片段相关联的第二组信息，来生成所述视频片段的第二重点分数；
通过合并所述视频片段的所述第一重点分数和所述第二重点分数，来生成所述视频片段的第三重点分数；以及
至少基于所述多个视频片段的所述第三重点分数来生成输出。
12.根据权利要求11所述的方法，还包括：
训练所述第一神经网络，包括：
通过将与来自另一视频的先前标识的重点视频片段相关联的第一信息插入到所述第一神经网络的第一版本中，来生成重点片段分数；
通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第二信息插入到所述第一神经网络的第二版本中，来生成非重点片段分数，其中所述第一信息和所述第二信息具有类似于所述第一组信息的格式；
将所述重点片段分数与所述非重点片段分数比较；以及
至少部分地基于所述比较，来调整所述第一神经网络的一个或多个参数；以及
训练所述第二神经网络，包括：
通过将与来自另一视频的先前标识的重点视频片段相关联的第一信息插入到所述第二神经网络的第一版本中以生成重点片段分数，来生成重点片段分数；
通过将与来自所述另一视频的先前标识的非重点视频片段相关联的第二信息插入到所述第二神经网络的第二版本中，来生成非重点片段分数，其中所述第一信息和所述第二信息具有类似于所述第二组信息的格式；
将所述重点片段分数与所述非重点片段分数比较；以及
至少部分地基于所述比较，来调整所述第二神经网络的一个或多个参数。
13.根据权利要求11或12所述的方法，还包括：
通过选择所述视频片段的空间信息样本来标识所述第一组信息；
确定所述空间信息样本的多个分类值；
确定所述多个分类值的平均；
将所述多个分类值的所述平均插入到所述第一神经网络中；
通过选择所述视频片段的时间信息样本来标识所述第二组信息；
确定所述时间信息样本的多个分类值；
确定所述时间信息样本的所述多个分类值的平均；以及
将所述时间信息样本的所述多个分类值的所述平均插入到所述第二神经网络中。
14.根据前述权利要求中任一项所述的方法，还包括：
响应于所述视频片段中的一个视频片段的所述第三重点分数大于门限值，确定所述视频片段中的所述一个视频片段的帧的第一回放速度；以及
响应于所述视频片段中的所述一个视频片段的所述第三重点分数小于所述门限值，确定所述视频片段中的所述一个视频片段的帧的第二回放速度。
15.根据前述权利要求中任一项所述的方法，还包括：
标识具有大于门限值的第三重点分数的视频片段；以及
将被标识为具有大于所述门限值的所述第三重点分数的所述视频片段的所述帧的至少一部分组合。
CN201680061201.XA 2015-10-20 2016-10-13 具有成对深度排序的视频重点检测 Withdrawn CN108141645A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/887,629 US20170109584A1 (en) 2015-10-20 2015-10-20 Video Highlight Detection with Pairwise Deep Ranking
US14/887,629 2015-10-20
PCT/US2016/056696 WO2017069982A1 (en) 2015-10-20 2016-10-13 Video highlight detection with pairwise deep ranking

Publications (1)

Publication Number Publication Date
CN108141645A true CN108141645A (zh) 2018-06-08

Family

ID=57208376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061201.XA Withdrawn CN108141645A (zh) 2015-10-20 2016-10-13 具有成对深度排序的视频重点检测

Country Status (4)

Country Link
US (1) US20170109584A1 (zh)
EP (1) EP3366043A1 (zh)
CN (1) CN108141645A (zh)
WO (1) WO2017069982A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505519A (zh) * 2019-08-14 2019-11-26 咪咕文化科技有限公司 一种视频剪辑方法、电子设备及存储介质
CN111225236A (zh) * 2020-01-20 2020-06-02 北京百度网讯科技有限公司 生成视频封面的方法、装置、电子设备以及计算机可读存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984363B2 (en) * 2015-09-04 2021-04-20 International Business Machines Corporation Summarization of a recording for quality control
US10397355B2 (en) * 2015-10-30 2019-08-27 American University Of Beirut System and method for multi-device continuum and seamless sensing platform for context aware analytics
US10229324B2 (en) * 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US10235758B2 (en) * 2016-02-04 2019-03-19 Nec Corporation Semantic segmentation based on global optimization
US10390082B2 (en) * 2016-04-01 2019-08-20 Oath Inc. Computerized system and method for automatically detecting and rendering highlights from streaming videos
US10303984B2 (en) 2016-05-17 2019-05-28 Intel Corporation Visual search and retrieval using semantic information
US10681391B2 (en) * 2016-07-13 2020-06-09 Oath Inc. Computerized system and method for automatic highlight detection from live streaming media and rendering within a specialized media player
US10289900B2 (en) * 2016-09-16 2019-05-14 Interactive Intelligence Group, Inc. System and method for body language analysis
US10440431B1 (en) * 2016-11-28 2019-10-08 Amazon Technologies, Inc. Adaptive and automatic video scripting
US10834406B2 (en) 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
US10671852B1 (en) * 2017-03-01 2020-06-02 Matroid, Inc. Machine learning in video classification
JP7036610B2 (ja) * 2017-03-16 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 学習方法およびプログラム
CN107358195B (zh) * 2017-07-11 2020-10-09 成都考拉悠然科技有限公司 基于重建误差的非特定异常事件检测及定位方法、计算机
CN107295362B (zh) * 2017-08-10 2020-02-21 上海六界信息技术有限公司 基于图像的直播内容筛选方法、装置、设备及存储介质
US10715883B2 (en) 2017-09-06 2020-07-14 Rovi Guides, Inc. Systems and methods for generating summaries of missed portions of media assets
US10740620B2 (en) * 2017-10-12 2020-08-11 Google Llc Generating a video segment of an action from a video
US10445586B2 (en) 2017-12-12 2019-10-15 Microsoft Technology Licensing, Llc Deep learning on image frames to generate a summary
US10638135B1 (en) * 2018-01-29 2020-04-28 Amazon Technologies, Inc. Confidence-based encoding
US10945033B2 (en) * 2018-03-14 2021-03-09 Idomoo Ltd. System and method to generate a customized, parameter-based video
CN108665769B (zh) * 2018-05-11 2021-04-06 深圳市鹰硕技术有限公司 基于卷积神经网络的网络教学方法以及装置
US10650245B2 (en) * 2018-06-08 2020-05-12 Adobe Inc. Generating digital video summaries utilizing aesthetics, relevancy, and generative neural networks
US10887640B2 (en) * 2018-07-11 2021-01-05 Adobe Inc. Utilizing artificial intelligence to generate enhanced digital content and improve digital content campaign design
US11182877B2 (en) * 2018-08-07 2021-11-23 BlinkAI Technologies, Inc. Techniques for controlled generation of training data for machine learning enabled image enhancement
US11252483B2 (en) 2018-11-29 2022-02-15 Rovi Guides, Inc. Systems and methods for summarizing missed portions of storylines
US10904637B2 (en) * 2018-12-17 2021-01-26 Qualcomm Incorporated Embedded rendering engine for media data
CN109871828B (zh) * 2019-03-15 2022-12-02 京东方科技集团股份有限公司 视频识别方法和识别装置、存储介质
KR20240065323A (ko) 2019-12-31 2024-05-14 구글 엘엘씨 머신 학습을 사용하는 예측된 시각 품질에 기초하는 비디오 플레이어들에 대한 최적의 포맷 선택
JP2023513095A (ja) * 2020-02-05 2023-03-30 ループ ナウ テクノロジーズ インコーポレイテッド 選択および表示のための機械学習によるビデオのキュレーション
US11423305B2 (en) * 2020-02-26 2022-08-23 Deere & Company Network-based work machine software optimization
CN115462183A (zh) * 2020-05-21 2022-12-09 索尼集团公司 图像显示装置、生成训练神经网络模型的方法和计算机程序
US20230199194A1 (en) 2020-05-27 2023-06-22 Nec Corporaiton Video processing device, video processing method, and recording medium
US20230205816A1 (en) * 2020-05-28 2023-06-29 Nec Corporation Information processing device, control method, and recording medium
CN111669656B (zh) * 2020-06-19 2022-12-02 北京奇艺世纪科技有限公司 一种视频片段的精彩程度确定方法及装置
CN112069951A (zh) * 2020-08-25 2020-12-11 北京小米松果电子有限公司 视频片段提取方法、视频片段提取装置及存储介质
WO2022060598A1 (en) * 2020-09-15 2022-03-24 Arris Enterprises Llc Method and system for log based issue prediction using svm+rnn artificial intelligence model on customer-premises equipment
CN112287175B (zh) * 2020-10-29 2024-02-13 中国科学技术大学 一种视频高亮片段预测方法和系统
CN113542801B (zh) * 2021-06-29 2023-06-06 北京百度网讯科技有限公司 主播标识的生成方法、装置、设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431689A (zh) * 2007-11-05 2009-05-13 华为技术有限公司 生成视频摘要的方法及装置
US20110182469A1 (en) * 2010-01-28 2011-07-28 Nec Laboratories America, Inc. 3d convolutional neural networks for automatic human action recognition
US20110217019A1 (en) * 2008-11-14 2011-09-08 Panasonic Corporation Imaging device and digest playback method
US20140321831A1 (en) * 2013-04-26 2014-10-30 Microsoft Corporation Video service with automated video timeline curation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8591332B1 (en) * 2008-05-05 2013-11-26 Activision Publishing, Inc. Video game video editor
US8923607B1 (en) * 2010-12-08 2014-12-30 Google Inc. Learning sports highlights using event detection
US10104394B2 (en) * 2014-01-31 2018-10-16 Here Global B.V. Detection of motion activity saliency in a video sequence
US10129608B2 (en) * 2015-02-24 2018-11-13 Zepp Labs, Inc. Detect sports video highlights based on voice recognition
US10572735B2 (en) * 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
KR101777242B1 (ko) * 2015-09-08 2017-09-11 네이버 주식회사 동영상 컨텐츠의 하이라이트 영상을 추출하여 제공하는 방법과 시스템 및 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431689A (zh) * 2007-11-05 2009-05-13 华为技术有限公司 生成视频摘要的方法及装置
US20110217019A1 (en) * 2008-11-14 2011-09-08 Panasonic Corporation Imaging device and digest playback method
US20110182469A1 (en) * 2010-01-28 2011-07-28 Nec Laboratories America, Inc. 3d convolutional neural networks for automatic human action recognition
US20140321831A1 (en) * 2013-04-26 2014-10-30 Microsoft Corporation Video service with automated video timeline curation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAREN等: ""Two-Stream Convolutional Networks for Action Recognition in Videos"", 《ARXIV：COMPUTER VISION AND PATTERN RECOGNITION》 *
WILLIAM SPEARMAN: ""Using Deep Learning to Find Basketball highlights"", 《HTTPS://MEDIUM.COM/IN-THE-HUDL/USING-DEEP- LEARNING-TO-FIND-BASKETBALL-HIGHLIGHTS -EDD5E7FA1278#.40YHIZQD5》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505519A (zh) * 2019-08-14 2019-11-26 咪咕文化科技有限公司 一种视频剪辑方法、电子设备及存储介质
CN110505519B (zh) * 2019-08-14 2021-12-03 咪咕文化科技有限公司 一种视频剪辑方法、电子设备及存储介质
CN111225236A (zh) * 2020-01-20 2020-06-02 北京百度网讯科技有限公司 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
CN111225236B (zh) * 2020-01-20 2022-03-25 北京百度网讯科技有限公司 生成视频封面的方法、装置、电子设备以及计算机可读存储介质

Also Published As

Publication number Publication date
US20170109584A1 (en) 2017-04-20
WO2017069982A1 (en) 2017-04-27
EP3366043A1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
CN108141645A (zh) 具有成对深度排序的视频重点检测
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN111797321A (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN107480642A (zh) 一种基于时域分段网络的视频动作识别方法
CN105446988B (zh) 预测类别的方法和装置
Shetty et al. Supervised machine learning: algorithms and applications
CN104077723B (zh) 一种社交网络推荐系统及方法
CN112035549B (zh) 数据挖掘方法、装置、计算机设备及存储介质
CN104850489B (zh) 移动应用测试系统
CN103957116B (zh) 一种云故障数据的决策方法及系统
CN113190670A (zh) 一种基于大数据平台的信息展示方法及系统
CN110516569B (zh) 一种基于身份和非身份属性交互学习的行人属性识别方法
Bohra et al. Group level social media popularity prediction by MRGB and Adam optimization
CN117371511A (zh) 图像分类模型的训练方法、装置、设备及存储介质
KR101910424B1 (ko) 태그의 감성 분석을 이용한 영화 평점 예측 방법, 이를 수행하기 위한 기록 매체 및 장치
CN116958873A (zh) 行人跟踪方法、装置、电子设备及可读存储介质
CN117058534A (zh) 基于元知识适应迁移网络的少样本遥感图像目标检测方法
CN106055665A (zh) 基于异常值剔除的情境感知Web服务推荐方法和系统
CN116361643A (zh) 实现对象推荐的模型训练方法及对象推荐方法及相关装置
CN107766881B (zh) 一种基于基础分类器的寻路方法、设备及存储设备
CN116204709A (zh) 一种数据处理方法及相关装置
CN105956113B (zh) 基于粒子群优化的视频数据挖掘高维聚类方法
Maheswari et al. Kernelized Spectral Clustering based Conditional MapReduce function with big data
CN104965853B (zh) 聚合类应用的推荐、多方推荐源聚合的方法、系统和装置
CN111931035B (zh) 业务推荐方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180608

WW01 Invention patent application withdrawn after publication