CN108388570A - 对视频进行分类匹配的方法、装置和挑选引擎 - Google Patents

对视频进行分类匹配的方法、装置和挑选引擎 Download PDF

Info

Publication number
CN108388570A
CN108388570A CN201810019243.8A CN201810019243A CN108388570A CN 108388570 A CN108388570 A CN 108388570A CN 201810019243 A CN201810019243 A CN 201810019243A CN 108388570 A CN108388570 A CN 108388570A
Authority
CN
China
Prior art keywords
video
user
information
humanistic
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810019243.8A
Other languages
English (en)
Other versions
CN108388570B (zh
Inventor
罗江春
陈锡岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Survey Technology Co Ltd
Original Assignee
Beijing Survey Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Survey Technology Co Ltd filed Critical Beijing Survey Technology Co Ltd
Priority to CN201810019243.8A priority Critical patent/CN108388570B/zh
Publication of CN108388570A publication Critical patent/CN108388570A/zh
Priority to EP19738075.1A priority patent/EP3739470A4/en
Priority to KR1020207022229A priority patent/KR20200102500A/ko
Priority to JP2020535014A priority patent/JP2021510216A/ja
Priority to US16/960,837 priority patent/US12008039B2/en
Priority to PCT/CN2019/070968 priority patent/WO2019137391A1/zh
Application granted granted Critical
Publication of CN108388570B publication Critical patent/CN108388570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的目的是提供一种对视频进行分类匹配的方法、装置和挑选引擎。根据本发明的方法，包括：对至少一个视频的内容进行多维度识别，以确定所述至少一个视频的摘要信息；基于所述至少一个视频各自的摘要信息，来生成所述至少一个视频各自的分类属性信息，其中，所述分类标签信息包括所述视频的人文属性信息；其中，所述人文属性信息用于指示所述视频所对应的价值判断。本发明具有以下优点：通过对视频的多维度识别，充分挖掘出视频内容的各项分类属性，并进而获得视频的人文属性。从而能够基于视频的人文属性来进行筛选，将其推荐给更加匹配的用户。

Description

对视频进行分类匹配的方法、装置和挑选引擎
技术领域
本发明涉及计算机技术领域，尤其涉及一种对视频进行分类匹配的方法、装置和挑选引擎。
背景技术
现有技术的搜索引擎中，搜索视频信息时，仅能基于其一些外部标签进行分类，例如，采用视频的标题，剧照等来获得外部标签分类后进行搜索。但是，这种方式无法真实的反映视频本身内容对应的信息，因而仅基于外部标签分类进行搜索获得的结果，其匹配度通常较低。
并且，用户本身的背景、经历、以及价值判断方面的差异，会使得用户偏向于选择不同的视频。因此，如何能将最匹配的视频结果给与其内容价值观真正相近的用户，真正实现精确匹配，是亟待解决的问题。
发明内容
本发明的目的是提供一种对视频进行分类匹配的方法、装置和挑选引擎。
根据本发明的一个方面，提供了一种对视频进行分类匹配的方法，其中，所述方法包括以下步骤：
a对至少一个视频的内容进行多维度识别，以确定所述至少一个视频的摘要信息；
b基于所述至少一个视频各自的摘要信息，来生成所述至少一个视频各自的分类属性信息，其中，所述分类标签信息包括所述视频的人文属性信息；其中，所述人文属性信息用于指示所述视频所对应的价值判断。
根据本发明的一个方面，还提供了一种对视频进行分类匹配的视频分类装置，其中，所述视频分类装置包括：
识别装置，用于对至少一个视频的内容进行多维度识别，以确定所述至少一个视频的摘要信息；
生成装置，用于基于所述至少一个视频各自的摘要信息，来生成所述至少一个视频各自的分类属性信息，其中，所述分类标签信息包括所述视频的人文属性信息；其中，所述人文属性信息用于指示所述视频所对应的价值判断。
根据本发明的另一个方面，还提供一种挑选引擎，其中，所述挑选引擎包括所述的视频分类装置。
与现有技术相比，本发明具有以下优点：与现有的搜索引擎不同，根据本发明的挑选引擎通过对视频的多维度识别，充分挖掘出视频内容的各项分类属性，并进而获得视频的人文属性。从而能够基于视频的人文属性来进行筛选，将其推荐给更加匹配的用户。使得视频推荐更加精准。并且，通过分析用户的使用场景，可进一步为期推荐与各个场景对应的视频，进一步提升用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示意出了根据本发明的一个实施例的对视频进行分类匹配的方法流程示意图；
图2示意出了根据本发明的一个实施例的对视频进行分类匹配的视频分类装置的结构示意图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
其中，执行本发明方法的视频分类装置通过计算机设备来实现。所述计算机具有存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行程序相应的计算机程序时实现如存取装置所执行的方法。此外，通过在计算机可读存储介质上存储相应的计算机程序，以使得处理器执行该程序时可实现如控制装置对应的方法。
其中，所述计算机设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述计算机设备可包括网络设备和/或用户设备。
优选地，所述计算机设备包括用户设备和/或网络设备。
其中，所述用户设备包括但不限于任何一种可内嵌于所述车辆中并可与用户触控方式进行人机交互的电子产品，例如，内嵌智能导航设备、平板电脑等。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
其中，所述网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。需要说明的是，所述用户设备、网络设备以及网络仅为举例，其他现有的或今后可能出现网络设备以及网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
优选地，根据本发明的视频分类装置包括于一挑选引擎中。
该挑选引擎用于从海量的数据中，挑选出与用户最为匹配的结果。
优选地，该挑选引擎应用于视频挑选过程中，实现向用户推荐最为符合其价值判断的视频。
参照图1，图1示意出了根据本发明的一种优选实施例的对视频进行分类匹配的方法流程示意图。
根据本发明的方法包括步骤S1和步骤S2。
在步骤S1中，视频分类装置对至少一个视频的内容进行多维度识别，以确定所述至少一个视频的摘要信息。
其中，所述多维度识别包括对视频内容从声音、文字、图像等多方面进行的识别操作。
优选地，所述多维度识别包括但不限于以下至少任一种识别方式：
1)声音识别；其中，所述声音识别包括对于所述视频中的声音内容的识别。优选地，所述声音识别操作可包括以下任一项：
a)语音类识别；例如，对于视频中的对话、旁白等语音信息进行识别的操作。
b)非语音类识别。例如，对于视频中的背景音乐、主题曲、音效等等其他非语音类的声音元素的识别操作。
2)文字识别；对于视频图像中的文字的识别操作。具体地，包括对于视频中的字幕信息的识别，或者，对于视频图像中所包含的文字的识别，例如，视频中呈现某一个产品时，对该产品包装上的文字的识别等。
3)图像识别，指对于视频帧的图像中的对象、场景等图像信息的识别，例如，对于其中的人物、物品、动物等对象的识别；或者，识别图像中对应的场景的地点名称信息或场景的类型信息，例如，旅游景点名称等；或者如工作场景类型、咖啡厅场景类型、客厅场景类型等。
具体地，视频分类装置对视频的内容进行多维度识别，以获得与识别结果对应的结果文本信息，并基于该结果文本信息来确定所述视频的摘要信息。
优选地，视频分类装置在获得结果文本信息后，通过对结果文本信息进行诸如去冗余、整合、提炼等所需的文本处理操作后，来确定视频的摘要信息。
接着，在步骤S2中，视频分类装置基于所述至少一个视频各自的摘要信息，来生成所述至少一个视频各自的分类属性信息。
其中，所述分类标签信息包括所述视频的人文属性信息；其中，所述人文属性信息用于指示所述视频所对应的价值判断。例如，动物保护、时尚追求、人生奋斗目的等具有价值判断的内容。
例如，包含奢侈品牌、偶像类人物、场景奢华的视频，往往与新潮、时尚、高级消费等人文属性理念相关联；包含游戏、动画、漫画等内容信息的视频，往往与二次元爱好相关联。
优选地，所述分类属性信息除了所述人文属性信息，还可包括其他基于视频内容识别所确定的多种分类信息，例如，基于对视频展现的场景识别确定的场景分类信息，基于对视频主题识别确定的主题分类信息，基于对于视频内出现的人物的识别确定的人物分类信息等等。
其中一个视频的每种分类下可包含多个同类型的分类信息标签。例如，视频的场景分类信息可以包括多个旅游地标签，演员分类信息下可包括多个演员标签等等。
具体地，视频分类装置可直接基于对所述各个视频的摘要信息进行单独处理来确定其对应的分类属性信息，或者，视频分类装置可基于多个视频的摘要信息，通过对大量视频的摘要信息进行诸如聚合、数据挖掘等综合处理，来确定各个视频各自的分类属性信息；或者，通过单独处理来确定视频的部分分类属性信息，并通过综合处理来视频的另外部分分类属性信息。
更优选地，视频分类装置基于至少一个视频的摘要信息，并结合至少一个学科领域的相关信息来确定至少一个视频各自的人文属性信息。
具体地，视频分类装置基于摘要信息以及各个学科领域的学科特性，建立分别与各个学科领域建立用于确定人文属性信息的机器学习模型。
根据本发明的一个优选方案，分类属性信息还可包括与视频相关其他分类标签信息，例如，视频热度信息等。其中，视频热度信息可基于诸如视频点击量、推荐数、好评数、搜索次数等来确定。
接着，在根据本发明的优选方案的步骤S2中，视频分类装置获取视频的历史用户的用户人文属性，以确定与该视频对应的至少一项人文属性信息。
其中，所述用户人文属性信息包括体现该用户的人文价值观的相关信息。例如，该用户为一动物爱好者，则其对应的人文属性信息可包括：动物保护、抵制皮草、爱护自然等内容。
其中，视频分类装置可根据用户的历史操作和/或用户属性信息，来确定所述用户对应的用户人文属性。
优选地，可根据用户历史观看、搜索、点赞的视频对应的人文属性信息，来更新该用户对应的用户人文属性；或者，根据用户自身上传的用户相关信息，诸如性别，消费能力，职业，收入，爱好，地理位置，生活习惯，家庭背景等等，来确定该用户的用户人文属性信息。
具体地，视频分类装置获取与一视频对应的多个历史用户的用户人文属性，通过对该多个历史用户的用户人文属性的聚合处理，来确定与该视频对应的至少一项人文属性信息。
优选地，根据本发明的方法，还包括步骤S3(图未示)。
在步骤S3中，视频分类装置根据用户的用户人文属性与多个视频的分类属性信息进行筛选，确定与所述用户对应的至少一个视频。
具体地，通过将用户人文属性信息与各个视频的分类属性信息中的人文属性信息进行匹配，从而确定相匹配的至少一个视频，并将该至少一个视频作为与所述用户对应的推荐视频。
根据本发明的一个优选方案，所述方法还包括步骤S4(图未示)、步骤S5(图未示)，所述步骤S3进一步包括步骤S301(图未示)。
在步骤S4中，视频分类装置获取用户的使用需求。
其中，所述使用需求包括但不限于以下至少任一种：
1)使用场景需求，例如，上班公交，午休吃饭，旅行途中，旅行计划中，刚到旅行达目的地等；
2)情感需求，例如，希望观看主题比较温情的视频，又例如，希望观看轻松消遣的视频，又例如，希望观看比较恐怖刺激的视频等。
具体地，视频分类装置通过获取用户的场景相关信息/情感相关信息来确定其使用需求。
其中，所述场景相关信息包括但不限于以下任一种：
1)用户的位置信息，例如，当用户开启定位后，基于用户的定位信息，确定其当前所处的位置。并将该位置信息作为其场景信息。
2)基于用户的网络相关信息。例如，当用户接入其备注为“家庭网络”的网络中时，确定该用户位于自己家中；当用户接入其备注为“旅行wifi”的网络中时，确定该用户当前处于旅途当中。
3)用户自身提交的场景描述信息。
其中，所述情感相关信息包括但不限于以下至少任一种：
1)用户提供的情感需求信息；例如，用户提供的搜索词，又例如，用户发布的弹幕信息等；
2)环境影响信息，例如，情人节时，可能更多用户希望观看温暖的爱情片，又例如，万圣节时，可能会有用户希望观看恐怖视频等。
接着，在步骤S5中，视频分类装置确定与所述使用场景对应的一个或多个视频。
具体地，视频分类装置将使用场景信息与各个视频的分类属性信息和/或摘要信息进行比对，并将分类属性信息和/或摘要信息与场景信息对应的视频作为与用户对应的候选视频。
优选地，所述分类属性信息还包括视频的场景分类信息，视频分类装置将用户的使用场景，与各个视频的场景分类信息进行比对，以获得与所述使用场景匹配的场景分类信息对应的至少一个视频作为推荐视频。
接着，在步骤S301中，视频分类装置基于所述一个或多个视频各自的分类属性信息，以及所述用户的用户人文属性，来确定与所述用户对应的至少一个推荐视频。
具体地，视频分类装置通过步骤S6确定的一个或多个候选视频，并将该一个或多个候选视频各自的人文属性信息与该用户的用户人文属性进行匹配，并将匹配上的候选视频作为与该用户对应的推荐视频。
优选地，视频分类装置还可根据各个候选视频的人文属性信息与用户的用户人文属性的匹配度高低，来确定推荐视频的优先级。
根据本发明的方法，通过对视频的多维度识别，充分挖掘出视频内容的各项分类属性，并进而获得视频的人文属性。从而能够基于视频的人文属性来进行筛选，将其推荐给更加匹配的用户。使得视频推荐更加精准。并且，通过分析用户的使用场景，可进一步为期推荐与各个场景对应的视频，进一步提升用户体验。
参照图2，图2示意出了根据本发明的一种优选实施例的对视频进行分类匹配的视频分类装置的结构示意图。
根据本发明的视频分类装置包括识别装置1和生成装置2。
识别装置1对至少一个视频的内容进行多维度识别，以确定所述至少一个视频的摘要信息。
其中，所述多维度识别包括对视频内容从声音、文字、图像等多方面进行的识别操作。
优选地，所述多维度识别包括但不限于以下至少任一种识别方式：
1)声音识别；其中，所述声音识别包括对于所述视频中的声音内容的识别。优选地，所述声音识别操作可包括以下任一项：
a)语音类识别；例如，对于视频中的对话、旁白等语音信息进行识别的操作。
b)非语音类识别。例如，对于视频中的背景音乐、主题曲、音效等等其他非语音类的声音元素的识别操作。
2)文字识别；对于视频图像中的文字的识别操作。具体地，包括对于视频中的字幕信息的识别，或者，对于视频图像中所包含的文字的识别，例如，视频中呈现某一个产品时，对该产品包装上的文字的识别等。
3)图像识别，指对于视频帧的图像中的对象、场景等图像信息的识别，例如，对于其中的人物、物品、动物等对象的识别；或者，识别图像中对应的场景的地点名称信息或场景的类型信息，例如，旅游景点名称等；或者如工作场景类型、咖啡厅场景类型、客厅场景类型等。
具体地，识别装置1对视频的内容进行多维度识别，以获得与识别结果对应的结果文本信息，并基于该结果文本信息来确定所述视频的摘要信息。
优选地，识别装置1在获得结果文本信息后，通过对结果文本信息进行诸如去冗余、整合、提炼等所需的文本处理操作后，来确定视频的摘要信息。
接着，生成装置2基于所述至少一个视频各自的摘要信息，来生成所述至少一个视频各自的分类属性信息。
其中，所述分类标签信息包括所述视频的人文属性信息；其中，所述人文属性信息用于指示所述视频所对应的价值判断。例如，动物保护、时尚追求、人生奋斗目的等具有价值判断的内容。
例如，包含奢侈品牌、偶像类人物、场景奢华的视频，往往与新潮、时尚、高级消费等人文属性理念相关联；包含游戏、动画、漫画等内容信息的视频，往往与二次元爱好相关联。
优选地，所述分类属性信息除了所述人文属性信息，还可包括其他基于视频内容识别所确定的多种分类信息，例如，基于对视频展现的场景识别确定的场景分类信息，基于对视频主题识别确定的主题分类信息，基于对于视频内出现的人物的识别确定的人物分类信息等等。
其中一个视频的每种分类下可包含多个同类型的分类信息标签。例如，视频的场景分类信息可以包括多个旅游地标签，演员分类信息下可包括多个演员标签等等。
具体地，生成装置2可直接基于对所述各个视频的摘要信息进行单独处理来确定其对应的分类属性信息，或者，生成装置2可基于多个视频的摘要信息，通过对大量视频的摘要信息进行诸如聚合、数据挖掘等综合处理，来确定各个视频各自的分类属性信息；或者，通过单独处理来确定视频的部分分类属性信息，并通过综合处理来视频的另外部分分类属性信息。
更优选地，生成装置2基于至少一个视频的摘要信息，并结合至少一个学科领域的相关信息来确定至少一个视频各自的人文属性信息。
具体地，生成装置2基于摘要信息以及各个学科领域的学科特性，建立分别与各个学科领域建立用于确定人文属性信息的机器学习模型。其中，机器学习模型可以采用诸如神经网络学习等学习算法。
根据本发明的一个优选方案，分类属性信息还可包括与视频相关其他分类标签信息，例如，视频热度信息等。其中，视频热度信息可基于诸如视频点击量、推荐数、好评数、搜索次数等来确定。
接着，根据本发明的视频分类装置，其中的生成装置2还能够获取视频的历史用户的用户人文属性，以确定与该视频对应的至少一项人文属性信息。
其中，所述用户人文属性信息包括体现该用户的人文价值观的相关信息。例如，该用户为一动物爱好者，则其对应的人文属性信息可包括：动物保护、抵制皮草、爱护自然等内容。
其中，视频分类装置包括第一确定装置(图未示)。
该第一确定装置可根据用户的历史操作和/或用户属性信息，来确定所述用户对应的用户人文属性。
优选地，可根据用户历史观看、搜索、点赞的视频对应的人文属性信息，来更新该用户对应的用户人文属性；或者，根据用户自身上传的用户相关信息，诸如性别，消费能力，职业，收入，爱好，地理位置，生活习惯，家庭背景等等，来确定该用户的用户人文属性信息。
具体地，第一确定装置获取与一视频对应的多个历史用户的用户人文属性，通过对该多个历史用户的用户人文属性的聚合处理，来确定与该视频对应的至少一项人文属性信息。
优选地，根据本发明的视频分类装置还包括第二确定装置(图未示)。
第二确定装置根据用户的用户人文属性与多个视频的分类属性信息进行筛选，确定与所述用户对应的至少一个视频。
具体地，通过将用户人文属性信息与各个视频的分类属性信息中的人文属性信息进行匹配，从而确定相匹配的至少一个视频，并将该至少一个视频作为与所述用户对应的推荐视频。
根据本发明的一个优选方案，所述视频分类装置还包括获取装置(图未示)和第三确定装置(图未示)。
获取装置获取用户的使用需求。
其中，所述使用需求包括但不限于以下至少任一种：
1)使用场景需求，例如，上班公交，午休吃饭，旅行途中，旅行计划中，刚到旅行达目的地等；
2)情感需求，例如，希望观看主题比较温情的视频，又例如，希望观看轻松消遣的视频，又例如，希望观看比较恐怖刺激的视频等。
具体地，获取装置通过获取用户的场景相关信息/情感相关信息来确定其使用需求。
其中，所述场景相关信息包括但不限于以下任一种：
1)用户的位置信息，例如，当用户开启定位后，基于用户的定位信息，确定其当前所处的位置。并将该位置信息作为其场景信息。
2)基于用户的网络相关信息。例如，当用户接入其备注为“家庭网络”的网络中时，确定该用户位于自己家中；当用户接入其备注为“旅行wifi”的网络中时，确定该用户当前处于旅途当中。
3)用户自身提交的场景描述信息。
其中，所述情感相关信息包括但不限于以下至少任一种：
1)用户提供的情感需求信息；例如，用户提供的搜索词，又例如，用户发布的弹幕信息等；
2)环境影响信息，例如，情人节时，可能更多用户希望观看温暖的爱情片，又例如，万圣节时，可能会有用户希望观看恐怖视频等。
接着，第三确定装置确定与所述使用场景对应的一个或多个视频。
具体地，第三确定装置将使用场景信息与各个视频的分类属性信息和/或摘要信息进行比对，并将分类属性信息和/或摘要信息与场景信息对应的视频作为与用户对应的候选视频。
优选地，所述分类属性信息还包括视频的场景分类信息，第三确定装置将用户的使用场景，与各个视频的场景分类信息进行比对，以获得与所述使用场景匹配的场景分类信息对应的至少一个视频作为推荐视频。
接着，根据本优选方案的第二确定装置基于所述一个或多个视频各自的分类属性信息，以及所述用户的用户人文属性，来确定与所述用户对应的至少一个推荐视频。
具体地，第三确定装置确定一个或多个候选视频，第二确定装置将该一个或多个候选视频各自的人文属性信息与该用户的用户人文属性进行匹配，并将匹配上的候选视频作为与该用户对应的推荐视频。
优选地，第二确定装置还可根据各个候选视频的人文属性信息与用户的用户人文属性的匹配度高低，来确定推荐视频的优先级。
根据本发明的方案，通过对视频的多维度识别，充分挖掘出视频内容的各项分类属性，并进而获得视频的人文属性。从而能够基于视频的人文属性来进行筛选，将其推荐给更加匹配的用户。使得视频推荐更加精准。并且，通过分析用户的使用场景，可进一步为期推荐与各个场景对应的视频，进一步提升用户体验。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (17)

1.一种对视频进行分类匹配的方法，其中，所述方法包括以下步骤：
a对至少一个视频的内容进行多维度识别，以确定所述至少一个视频的摘要信息；
b基于所述至少一个视频各自的摘要信息，来生成所述至少一个视频各自的分类属性信息，其中，所述分类标签信息包括所述视频的人文属性信息；其中，所述人文属性信息用于指示所述视频所对应的价值判断。
2.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：
-基于至少一个视频的摘要信息，并结合至少一个学科领域的相关信息来确定至少一个视频各自的人文属性信息。
3.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：
-获取视频的历史用户的用户人文属性，以确定与该视频对应的至少一项人文属性信息。
4.根据权利要求3所述的方法，其中，所述方法还包括以下步骤：
-根据用户的历史操作和/或用户属性信息，来确定所述用户对应的人文属性信息。
5.根据权利要求1至4中任一项所述的方法，其中，所述方法包括以下步骤：
-根据用户的用户人文属性与多个视频的分类属性信息进行筛选，确定与所述用户对应的至少一个视频。
6.根据权利要求1至5中任一项所述的方法，其中，所述方法还包括以下步骤：
x获取用户的使用需求；
y确定与所述使用需求对应的一个或多个视频；
其中，所述步骤c进一步包括：
-基于所述一个或多个视频各自的分类属性信息，以及所述用户的用户人文属性，来确定与所述用户对应的至少一个推荐视频。
7.根据权利要求1至6中任一项所述的方法，其中，所述分类属性信息还包括场景分类信息，所述步骤y进一步包括：
-基于所述使用场景，与各个视频的场景分类信息进行比对，以获得与所述使用场景匹配的场景分类信息对应的至少一个视频作为推荐视频。
8.根据权利要求1至7中任一项所述的方法，其中，所述多维度识别包括以下至少任一项识别操作：
-语音识别；
-文字识别；
-图像识别。
9.一种对视频进行分类匹配的视频分类装置，其中，所述视频分类装置包括：
识别装置，用于对至少一个视频的内容进行多维度识别，以确定所述至少一个视频的摘要信息；
生成装置，用于基于所述至少一个视频各自的摘要信息，来生成所述至少一个视频各自的分类属性信息，其中，所述分类标签信息包括所述视频的人文属性信息；其中，所述人文属性信息用于指示所述视频所对应的价值判断。
10.根据权利要求9所述的视频分类装置，其中，所述生成装置还用于：
-基于至少一个视频的摘要信息，并结合至少一个学科领域的相关信息来确定至少一个视频各自的人文属性信息。
11.根据权利要求9所述的视频分类装置，其中，所述生成装置还用于：
-获取视频的历史用户的用户人文属性，以确定与该视频对应的至少一项人文属性信息。
12.根据权利要求11所述的视频分类装置，其中，所述视频分类装置还包括：
第一确定装置，用于根据用户的历史操作和/或用户属性信息，来确定所述用户对应的人文属性信息。
13.根据权利要求9至12中任一项所述的视频分类装置，其中，所述视频分类装置包括：
第二确定装置，用于根据用户的用户人文属性与多个视频的分类属性信息进行筛选，确定与所述用户对应的至少一个视频。
14.根据权利要求9至13中任一项所述的视频分类装置，其中，所述视频分类装置还包括：
获取装置，用于获取用户的使用需求；
第三确定装置，用于确定与所述使用需求对应的一个或多个视频；
其中，所述第二确定装置进一步用于：
-基于所述一个或多个视频各自的分类属性信息，以及所述用户的用户人文属性，来确定与所述用户对应的至少一个推荐视频。
15.根据权利要求9至14中任一项所述的视频分类装置，其中，所述分类属性信息还包括场景分类信息，所述第三确定装置进一步用于：
-基于所述使用场景，与各个视频的场景分类信息进行比对，以获得与所述使用场景匹配的场景分类信息对应的至少一个视频作为推荐视频。
16.根据权利要求9至15中任一项所述的视频分类装置，其中，所述多维度识别包括以下至少任一项识别操作：
-语音识别；
-文字识别；
-图像识别。
17.一种挑选引擎，其中，所述挑选引擎包括权利要求8至16中任一项所述的视频分类装置。
CN201810019243.8A 2018-01-09 2018-01-09 对视频进行分类匹配的方法、装置和挑选引擎 Active CN108388570B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810019243.8A CN108388570B (zh) 2018-01-09 2018-01-09 对视频进行分类匹配的方法、装置和挑选引擎
EP19738075.1A EP3739470A4 (en) 2018-01-09 2019-01-09 PROCESS AND APPARATUS FOR ACHIEVING A CATEGORIZED VIDEO MATCHING, AND SELECTION ENGINE
KR1020207022229A KR20200102500A (ko) 2018-01-09 2019-01-09 비디오들의 분류 매칭을 위한 방법, 장치 및 선택 엔진
JP2020535014A JP2021510216A (ja) 2018-01-09 2019-01-09 ビデオを分類・マッチングする方法、装置及び選択エンジン
US16/960,837 US12008039B2 (en) 2018-01-09 2019-01-09 Method and apparatus for performing categorised matching of videos, and selection engine
PCT/CN2019/070968 WO2019137391A1 (zh) 2018-01-09 2019-01-09 对视频进行分类匹配的方法、装置和挑选引擎

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810019243.8A CN108388570B (zh) 2018-01-09 2018-01-09 对视频进行分类匹配的方法、装置和挑选引擎

Publications (2)

Publication Number Publication Date
CN108388570A true CN108388570A (zh) 2018-08-10
CN108388570B CN108388570B (zh) 2021-09-28

Family

ID=63077067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810019243.8A Active CN108388570B (zh) 2018-01-09 2018-01-09 对视频进行分类匹配的方法、装置和挑选引擎

Country Status (5)

Country Link
EP (1) EP3739470A4 (zh)
JP (1) JP2021510216A (zh)
KR (1) KR20200102500A (zh)
CN (1) CN108388570B (zh)
WO (1) WO2019137391A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019137391A1 (zh) * 2018-01-09 2019-07-18 北京一览科技有限公司 对视频进行分类匹配的方法、装置和挑选引擎
CN110688526A (zh) * 2019-11-07 2020-01-14 山东舜网传媒股份有限公司 基于关键帧识别和音频文本化的短视频推荐方法及系统
CN111782877A (zh) * 2020-07-06 2020-10-16 聚好看科技股份有限公司 服务器、显示设备及其视频搜索排序方法
CN112199582A (zh) * 2020-09-21 2021-01-08 聚好看科技股份有限公司 一种内容推荐方法、装置、设备及介质
CN114928764A (zh) * 2022-04-12 2022-08-19 广州阿凡提电子科技有限公司 一种原创短视频ai智能化检测方法、系统和装置
CN115967818A (zh) * 2022-12-21 2023-04-14 启朔(深圳)科技有限公司 云端设备直播方法、系统和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236669A (zh) * 2010-04-30 2011-11-09 腾讯科技（深圳）有限公司 推荐列表的生成方法和装置、媒体服务器、客户端及方法
US8145679B1 (en) * 2007-11-01 2012-03-27 Google Inc. Video-related recommendations using link structure
CN102654860A (zh) * 2011-03-01 2012-09-05 北京彩云在线技术开发有限公司 一种个性化音乐推荐方法及系统
CN103473273A (zh) * 2013-08-22 2013-12-25 百度在线网络技术（北京）有限公司 信息搜索方法、装置和服务器
CN106599165A (zh) * 2016-12-08 2017-04-26 腾讯科技（深圳）有限公司 一种基于播放行为的内容推荐方法及服务器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165454A (ja) * 2003-11-28 2005-06-23 Nippon Telegr & Teleph Corp <Ntt> コンテンツ推薦装置、コンテンツ推薦方法、およびコンテンツ推薦プログラム
US20070245379A1 (en) * 2004-06-17 2007-10-18 Koninklijke Phillips Electronics, N.V. Personalized summaries using personality attributes
US20130332462A1 (en) * 2012-06-12 2013-12-12 David Paul Billmaier Generating content recommendations
JP2014056426A (ja) * 2012-09-12 2014-03-27 Sharp Corp コンテンツ推薦システム、コンテンツ推薦方法、及びプログラム、並びに端末装置及びプログラム
US20150082330A1 (en) * 2013-09-18 2015-03-19 Qualcomm Incorporated Real-time channel program recommendation on a display device
US9253511B2 (en) * 2014-04-14 2016-02-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for performing multi-modal video datastream segmentation
US9451307B2 (en) * 2014-12-08 2016-09-20 Microsoft Technology Licensing, Llc Generating recommendations based on processing content item metadata tags
JP2016059028A (ja) * 2015-03-31 2016-04-21 株式会社電通 テレビ番組関連コンテンツ提供方法
CN106802913A (zh) * 2016-12-06 2017-06-06 乐视控股（北京）有限公司 一种播放内容推荐方法及其装置
CN106776999A (zh) * 2016-12-07 2017-05-31 北京小米移动软件有限公司 多媒体数据推荐方法及装置
CN108388570B (zh) * 2018-01-09 2021-09-28 北京一览科技有限公司 对视频进行分类匹配的方法、装置和挑选引擎

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145679B1 (en) * 2007-11-01 2012-03-27 Google Inc. Video-related recommendations using link structure
CN102236669A (zh) * 2010-04-30 2011-11-09 腾讯科技（深圳）有限公司 推荐列表的生成方法和装置、媒体服务器、客户端及方法
CN102654860A (zh) * 2011-03-01 2012-09-05 北京彩云在线技术开发有限公司 一种个性化音乐推荐方法及系统
CN103473273A (zh) * 2013-08-22 2013-12-25 百度在线网络技术（北京）有限公司 信息搜索方法、装置和服务器
CN106599165A (zh) * 2016-12-08 2017-04-26 腾讯科技（深圳）有限公司 一种基于播放行为的内容推荐方法及服务器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019137391A1 (zh) * 2018-01-09 2019-07-18 北京一览科技有限公司 对视频进行分类匹配的方法、装置和挑选引擎
CN110688526A (zh) * 2019-11-07 2020-01-14 山东舜网传媒股份有限公司 基于关键帧识别和音频文本化的短视频推荐方法及系统
CN111782877A (zh) * 2020-07-06 2020-10-16 聚好看科技股份有限公司 服务器、显示设备及其视频搜索排序方法
CN111782877B (zh) * 2020-07-06 2023-11-03 聚好看科技股份有限公司 服务器、显示设备及其视频搜索排序方法
CN112199582A (zh) * 2020-09-21 2021-01-08 聚好看科技股份有限公司 一种内容推荐方法、装置、设备及介质
CN112199582B (zh) * 2020-09-21 2023-07-18 聚好看科技股份有限公司 一种内容推荐方法、装置、设备及介质
CN114928764A (zh) * 2022-04-12 2022-08-19 广州阿凡提电子科技有限公司 一种原创短视频ai智能化检测方法、系统和装置
CN115967818A (zh) * 2022-12-21 2023-04-14 启朔(深圳)科技有限公司 云端设备直播方法、系统和计算机可读存储介质

Also Published As

Publication number Publication date
CN108388570B (zh) 2021-09-28
JP2021510216A (ja) 2021-04-15
WO2019137391A1 (zh) 2019-07-18
US20200356781A1 (en) 2020-11-12
EP3739470A4 (en) 2021-08-25
KR20200102500A (ko) 2020-08-31
EP3739470A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
CN108388570A (zh) 对视频进行分类匹配的方法、装置和挑选引擎
JP6757375B2 (ja) ソーシャルネットワーキングエンジンのユーザにコンテンツを方向付けるためのシステム及び方法
CN108108821A (zh) 模型训练方法及装置
CN111061946B (zh) 场景化内容推荐方法、装置、电子设备及存储介质
CN104281699B (zh) 搜索推荐方法及装置
Ap et al. Residents' strategies for responding to tourism impacts
CN110110203A (zh) 资源信息推送方法及服务器、资源信息展示方法及终端
CN111212303B (zh) 视频推荐方法、服务器和计算机可读存储介质
JP6381775B2 (ja) 情報処理システム及び情報処理方法
CN108416028A (zh) 一种搜索内容资源的方法、装置及服务器
CN108648058B (zh) 产品排序方法及装置，电子设备、存储介质
CN108536786A (zh) 一种信息推荐方法、装置、服务器及存储介质
US10474919B2 (en) Method for determining and displaying products on an electronic display device
US20220295150A1 (en) Image recommendation for content publishing
CN112699311A (zh) 信息推送方法、存储介质及电子设备
US11373057B2 (en) Artificial intelligence driven image retrieval
KR20150043239A (ko) 소셜 태깅 및 메타데이터 어플리케이션들에 기초하여 문화적 아이템의 관람을 제시하는 시스템 및 방법
US10733253B2 (en) Methods and systems for providing residence recommendations based on personal interests
JP2016177690A (ja) サービス推薦装置およびサービス推薦方法並びにサービス推薦プログラム
JP6794740B2 (ja) プレゼンテーション資料生成装置、プレゼンテーション資料生成システム、コンピュータプログラム及びプレゼンテーション資料生成方法
CN111339423A (zh) 基于用户的旅游城市推送方法、系统、设备及存储介质
Chen et al. A Systematic Literature Review of Virtual Technology in Hospitality and Tourism (2013–2022)
US12008039B2 (en) Method and apparatus for performing categorised matching of videos, and selection engine
WO2020021813A1 (ja) 情報処理装置及び情報処理方法
US20190197056A1 (en) Cascaded multi-tier visual search system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant