CN112714349B - 数据处理方法、商品展示方法和视频播放方法 - Google Patents

数据处理方法、商品展示方法和视频播放方法 Download PDF

Info

Publication number
CN112714349B
CN112714349B CN201911015647.0A CN201911015647A CN112714349B CN 112714349 B CN112714349 B CN 112714349B CN 201911015647 A CN201911015647 A CN 201911015647A CN 112714349 B CN112714349 B CN 112714349B
Authority
CN
China
Prior art keywords
target object
similar
slice information
video
time slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911015647.0A
Other languages
English (en)
Other versions
CN112714349A (zh
Inventor
张严浩
谢晨伟
申远
林杰
郑赟
潘攀
徐盈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Academy Beijing Technology Co ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201911015647.0A priority Critical patent/CN112714349B/zh
Priority to TW109128230A priority patent/TW202117639A/zh
Priority to PCT/US2020/056647 priority patent/WO2021081086A1/en
Priority to US17/076,345 priority patent/US11284168B2/en
Publication of CN112714349A publication Critical patent/CN112714349A/zh
Application granted granted Critical
Publication of CN112714349B publication Critical patent/CN112714349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815Electronic shopping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4826End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请公开了一种数据处理方法,包括:获得视频文件的视频帧;从所述视频帧中确定出目标对象;获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。以解决现有同款商品不能得到有效推荐的问题。

Description

数据处理方法、商品展示方法和视频播放方法
技术领域
本申请涉及图像处理技术领域,具体涉及两种数据处理方法、装置和电子设备、存储设备,本申请同时涉及一种商品展示方法,本申请同时涉及六种视频播放方法。
背景技术
随着互联网的不断发展,用户在观看视频时,经常会出现与视频内容相关的广告推荐。
目前在用户观看视频过程中向用户推荐视频内容相关的商品,使用户可以即时获得与视频内容相关的商品信息。例如,当正在播放一个电视剧时,当某帧中出现腿软的画面时,向观众推荐某款运动饮料。现有的产品均是在用户观看视频内容时,由视频运营人员根据预先的配置将与视频内容相关的商品和商品链接进行手动标注和匹配。
现有技术下,在用户观看视频过程中向用户推荐视频内容相关的商品的方法,存在如下缺点:当视频内容过大时,采用人工的方式将与视频内容相关的商品和商品链接进行标注和匹配,十分耗时耗力;由于视频数量众多,仅靠人工的方式,很多时候会漏掉同款商品,使得很多商品得不到推荐。
发明内容
本申请提供一种数据处理方法,以解决现有同款商品不能得到有效推荐的问题。
本申请提供一种数据处理方法,包括:获得视频文件的视频帧;从所述视频帧中确定出目标对象;
获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
可选的,所述获得所述目标对象对应的时间切片信息,包括:获得所述目标对象在所述视频帧中的空间定位信息;
根据所述空间定位信息,获得所述目标对象对应的时间切片信息。
可选的,还包括:根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象。
可选的,所述根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象,包括:根据所述目标对象对应的时间切片信息,确定包含所述目标对象的视频段的视频帧;根据所述包含目标对象的视频段的视频帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,还包括:根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧;所述根据所述目标对象对应的时间切片信息,在相似目标对象库中搜索所述目标对象的相似目标对象,包括:根据从关键帧中检测出的目标对象,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧,包括:根据所述时间切片信息,从包含目标对象的视频段中的视频帧中选出检测框面积最大的目标对象所在的视频帧;将所述检测框面积最大的目标对象所在的视频帧作为所述包含目标对象的视频段的关键帧。
可选的,还包括:存储关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息。
可选的,还包括:将所述相似目标对象与所述关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息对应存储至数据库中。
本申请还提供一种数据处理方法,包括:在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象;
将所述目标对象的相似目标对象展示在显示屏幕上。
可选的,所述获得视频文件中目标对象的相似目标对象,包括:根据所述时间切片信息,得到所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息,得到所述目标对象的相似目标对象,包括:根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象,包括:根据所述时间切片信息的时间范围内的关键帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象,包括:根据预先存储的关键帧与相似目标对象的对应关系,在数据库中查询所述目标对象的相似目标对象。
可选的,所述将所述相似目标对象展示在显示屏幕上,包括:根据用户的历史行为信息和兴趣信息,判断所述相似目标对象是否与用户的历史行为信息和兴趣信息匹配;若匹配,将所述相似目标对象展示在显示屏幕上。
可选的,还包括:对所述相似目标对象中按照相似度进行排序,得到排序后的相似目标对象;所述将所述相似目标对象展示在显示屏幕上,包括:根据预设的显示数量,将次序在排序后的相似目标对象中显示数量之前的相似目标对象展示在显示屏幕上。
可选的,将所述相似目标对象展示在显示屏幕上包括:将所述相似目标对象作为弹幕展示在显示屏幕上。
可选的,所述将相似目标对象作为弹幕展示在显示屏幕上,包括:接收针对相似目标对象展示的触发操作;根据所述触发操作,将相似目标对象作为弹幕展示在显示屏幕上。
可选的,所述将相似目标对象作为弹幕展示在显示屏幕上,包括:将相似目标对象作为弹幕实时展示在显示屏幕上。
可选的,还包括:将所述相似目标对象的描述信息作为弹幕展示在显示屏幕上。
本申请还提供一种商品展示方法,包括:在视频文件播放到目标商品对应的时间切片信息的时间范围内时,获得时与目标商品的相似度大于预设相似度阈值的相似商品;将所述相似商品的图像作为弹幕展示在显示屏幕上。
本申请还提供一种数据处理装置,包括:视频帧获得单元,用于获得视频文件的视频帧;目标对象确定单元,用于从所述视频帧中确定出目标对象;时间切片信息获得单元,用于获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
本申请还提供一种电子设备,包括:处理器;以及存储器,用于存储数据处理方法的程序,该设备通电并通过所述处理器运行该数据处理方法的程序后,执行下述步骤:获得视频文件的视频帧;从所述视频帧中确定出目标对象;获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
本申请还提供一种存储设备,存储有数据处理方法的程序,该程序被处理器运行,执行下述步骤:获得视频文件的视频帧;从所述视频帧中确定出目标对象;获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
本申请还提供一种数据处理装置,包括:
相似目标对象获得单元,用于在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象;
相似目标对象展示单元,用于将所述目标对象的相似目标对象展示在显示屏幕上。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储数据处理方法的程序,该设备通电并通过所述处理器运行该数据处理方法的程序后,执行下述步骤:在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象;将所述目标对象的相似目标对象展示在显示屏幕上。
本申请还提供一种存储设备,存储有数据处理方法的程序,该程序被处理器运行,执行下述步骤:在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象;将所述目标对象的相似目标对象展示在显示屏幕上。
与现有技术相比,本申请具有以下优点:
本申请提供一种数据处理方法,从视频帧中确定出目标对象;获得目标对象对应的时间切片信息,时间切片信息用于得到目标对象的相似目标对象。本申请提供的数据处理方法可以对视频进行商品级别的内容分析,能够获得视频中的绝大多数目标对象,并且时间切片信息可以用来得到目标对象的相似目标对象(同款商品),能够很好地以解决现有同款商品不能得到有效推荐的问题。
附图说明
图1是本申请第一实施例提供的一种数据处理方法的流程图。
图2是本申请第二实施例提供的一种数据处理方法的流程图。
图3是本申请第二实施例提供的一种只有一个目标对象展示在显示屏幕上的情况的示意图。
图4是本申请第二实施例提供的一种同时有多个目标对象展示在显示屏幕上的情况的示意图。
图5是本申请第二实施例提供的一种将相似目标对象作为弹幕实时显示在显示屏幕上的示意图。
图6是本申请第四实施例提供的一种数据处理装置的示意图。
图7是本申请第五实施例和第八实施例提供的一种电子设备的示意图。
图8是本申请第七实施例提供的一种数据处理装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施的限制。
本申请第一实施例提供一种数据处理方法,下面结合图1进行说明。
如图1所示,在步骤S101中,获得视频文件的视频帧。
所述视频文件,可以指包含目标对象的视频文件,例如,在视频文件中包含衣服、包等目标对象。本申请的视频文件可以用于在播放视频文件时向用户推荐商品的场景。
如图1所示,在步骤S102中,通过多目标检测和跟踪识别算法从所述视频帧中确定出目标对象。
所述目标对象,可以指视频帧中出现的人物、物品等。例如,如果视频文件为某个电视剧的一集,视频帧中出现的某个明星穿的大衣、鞋都可以作为目标对象。
在确定出目标对象后,可以设置目标对象的标识信息。目标对象的标识信息可以是一个编号。具体实施时,可以根据检测出的目标对象的次序,进行目标对象的标识信息的设置。例如,如果从视频文件中第一检测出的目标对象为一件毛衣,则可以设置目标对象的标识信息为1。
如图1所示,在步骤S103中,获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
所述时间切片,指包含目标对象的视频帧构成的视频段的起始时间至结束时间。例如,如果目标对象为一件衣服,如果包含这件衣服的视频帧从第15帧到第100帧,则时间切片为从第15帧的时间戳至第100帧的时间戳之间的时间段。所述时间戳指视频帧的播放时间。
所述相似目标对象,指目标对象的相似对象。例如,如果目标对象为一个包,则相似目标对象可以是同款包。
在具体实施时,可以通过下述步骤获得目标对象对应的时间切片信息:
对所述视频帧进行多目标跟踪识别,确定目标对象在视频文件中的空间定位信息;
根据所述空间定位信息,确定所述目标对象对应的时间切片信息。
所述空间定位信息,可以指目标对象在视频文件中出现的空间轨迹,具体可以指目标对象出现的起始视频帧到终止视频帧。
当获得了目标对象在视频帧中的空间定位信息后,就可以得确定包含目标对象的起始视频帧到终止视频帧的时间戳信息,进一步可以确定目标对象对应的时间切片信息。例如,如果目标对象为一件毛衣,如果这件毛衣在从第15帧到第100帧出现,则确定这件毛衣在视频文件中的空间定位信息为从第15帧到第100帧,则可以根据空间定位信息,确定时间切片信息为从第15帧的时间戳至第100帧的时间戳之间的时间段。
作为一种实施方时,本申请第一实施例还可以包括:
根据所述目标对象对应的时间切片信息,在相似目标对象库中搜索所述目标对象的相似目标对象。
所述根据所述目标对象对应的时间切片信息,在相似目标对象库中搜索所述目标对象的相似目标对象,包括:
根据所述目标对象对应的时间切片信息,确定所述包含目标对象的视频段的视频帧;
根据所述包含目标对象的视频段的视频帧,搜索所述目标对象的相似目标对象。
作为一种实施方时,本申请第一实施例还可以包括:
根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧;
所述根据所述目标对象对应的时间切片信息,在相似目标对象库中搜索所述目标对象的相似目标对象,包括:
根据所述关键帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
所述根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧,包括:
根据所述时间切片信息,从包含目标对象的视频段中的视频帧中选出检测框面积最大的目标对象所在的视频帧;
将所述检测框面积最大的目标对象所在的视频帧作为所述包含目标对象的视频段的关键帧。
相似目标对象库,可以是商品库,包括商品图像、商品价格以及商品描述信息等。
在具体实施时,根据所述关键帧,在相似目标对象库中搜索目标对象的相似目标对象,可以指将关键帧的画面数据传入在相似目标对象库中搜索目标对象的相似目标对象的接口,搜索系统根据关键帧的画面数据通过深度学习获得关键帧的特征数据,根据特征数据在相似目标对象库中搜索相似目标对象。
需要说明的是,关键帧可以是检测框面积最大、画面最清晰的一帧,也可以包括检测框面积较大、画面相对清晰的多帧。
由于关键帧中的目标对象的画面质量比其他包含目标对象的帧要好,并且关键帧包含的目标对象的面积较大,因此,根据关键帧,在相似目标对象库中搜索目标对象的相似目标对象时,得到的相似目标对象的效率高,搜索出的相似目标对象的相似度也高。
作为一种实施方式,本申请第一实施例还可以包括:
存储关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息。
作为一种实施方式,本申请第一实施例还可以包括:
将所述相似目标对象与所述关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息进行对应存储至数据库中。
需要说明的是,本申请第一实施例的操作为离线操作,本申请可以离线对视频文件进行分析,通过检测和分析,可以获得目标对象以及目标对象的时间切片信息,实现了对视频进行商品级别的内容分析;同时在视频在线播放时,可以根据分析得到的目标对象的时间切片信息进行相似目标对象的搜索和展示。
本申请的优选实施例中,根据目标对象时间切片信息,搜索出目标对象的相似目标对象,离线搜索的好处是播放视频文件时,能够快速获得目标对象的相似目标对象,提升用户的体验。
本申请第二实施例提供一种数据处理方法,下面结合图2进行说明。
如图2所示,在步骤S201中,在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象。
所述时间切片,指包含目标对象的视频帧构成的视频段的起始时间至结束时间。例如,如果目标对象为一件衣服,如果包含这件衣服的视频帧从第15帧到第100帧,则时间切片为从第15帧的时间戳至第100帧的时间戳之间的时间段。
所述相似目标对象,指目标对象的相似对象。例如,如果目标对象为一个包,则相似目标对象可以是同款包。
所述获得视频文件中目标对象的相似目标对象,包括:根据所述时间切片信息,得到所述目标对象的相似目标对象。
所述根据所述时间切片信息,得到所述目标对象的相似目标对象,包括:根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象。
根据时间切片信息的时间范围内的关键帧,得到目标对象的相似目标对象,包括两种方式,一种方式是:在线搜索方式,根据所述时间切片信息的时间范围内的关键帧,在相似目标对象库中搜索目标对象的相似目标对象;另一种方式是:离线搜索方式,根据预先存储的关键帧与相似目标对象的对应关系,在数据库中查询所述目标对象的相似目标对象。
需要说明得是,由于在一个视频帧中可能同时存在多个目标对象,则在同一时间切片信息的时间范围内,可以获得多个目标对象的相似目标对象。例如,一个视频帧中可能存在毛衣、裤子和帽子3个目标对象,则可以分别获得3个目标对象的相似目标对象。
如图2所示,在步骤S202中,将所述目标对象的相似目标对象展示在显示屏幕上。
所述将所述相似目标对象展示在显示屏幕上,包括:
根据用户的历史行为信息和兴趣信息,判断所述相似目标对象是否与用户的历史行为信息和兴趣信息匹配;
若匹配,将所述相似目标对象展示在显示屏幕上;
若不匹配,则不需要将相似目标对象展示在显示屏幕上,避免影响用户观看视频。
如果搜索出的相似目标对象的数量较多,则可以对相似目标对象按照相似度进行排序,得到排序后的相似目标对象。
所述将所述相似目标对象展示在显示屏幕上,包括:
根据预设的显示数量,将次序在排序后的相似目标对象中显示数量之前的相似目标对象展示在显示屏幕上。
例如,如果搜索出了10个同款商品(即相似目标对象),而设定只显示3个同款商品,则可以根据相似度对相似目标对象进行排序,将排序前3的同款商品展示在显示屏幕上。
在具体实施时,在展示相似商品对象时,可以将相似目标对象作为弹幕展示在显示屏幕上。
在将相似目标对象作为弹幕展示在显示屏幕上时,存在两种方式,一种方式是:由用户主动触发展示,视频播放app接收针对将相似目标对象作为弹幕展示的触发操作,根据触发操作,将相似目标对象作为弹幕展示在显示屏幕上。
如图3所示,为只有一个目标对象显示在显示屏幕上的情况的示意图。在图3-1显示屏幕上显示“弹”按钮,供用户触发弹幕展示。如图3-2所示,在用户触发“弹”按钮后,将相似目标对象(例如,同款商品图像)以弹幕形式进行展示。
如图4所示,为有多个目标对象显示在显示屏幕上的情况的示意图。在图4-1显示屏幕上显示“弹”按钮,供用户触发弹幕展示。如图4-2所示,在用户触发“弹”按钮后,将多个目标对象的相似目标对象(例如,同款商品图像)以弹幕形式进行展示。
另一种方式是:将相似目标对象作为弹幕实时展示在显示屏幕上。
当在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象之后;直接将目标对象的相似目标对象展示在显示屏幕上。
如图5所示,将同款商品(相似目标对象1、相似目标对象2、相似目标对象3)作为弹幕实时展示在显示屏幕上。
作为一种实施方式,本申请第二实施例还可以包括:将所述相似目标对象的描述信息作为弹幕展示在显示屏幕上。
本申请第三实施例提供一种商品展示方法,包括:
在视频文件播放到目标商品对应的时间切片信息的时间范围内时,获得时与目标商品的相似度大于预设相似度阈值的相似商品;
将所述相似商品的图像作为弹幕展示在显示屏幕上。
与本申请第一实施例提供的一种数据处理方法相对应的,本申请第四实施例提供一种数据处理装置。
如图6所示,所述图像处理装置包括:
视频帧获得单元601,用于获得视频文件的视频帧;
目标对象确定单元602,用于从所述视频帧中确定出目标对象;
时间切片信息获得单元603,用于获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
可选的,所述时间切片信息获得单元具体用于:
获得所述目标对象在所述视频帧中的空间定位信息;
根据所述空间定位信息,获得所述目标对象对应的时间切片信息。
可选的,所述装置还包括:
搜索相似目标对象单元,用于根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象。
可选的,所述搜索相似目标对象单元具体用于:
根据所述目标对象对应的时间切片信息,确定包含所述目标对象的视频段的视频帧;
根据所述包含目标对象的视频段的视频帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述装置还包括:
关键帧确定单元,用于根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧;
所述搜索相似目标对象单元,具体用于:
根据从关键帧中检测出的目标对象,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述关键帧确定单元,具体用于:
根据所述时间切片信息,从包含目标对象的视频段中的视频帧中选出检测框面积最大的目标对象所在的视频帧;
将所述检测框面积最大的目标对象所在的视频帧作为所述包含目标对象的视频段的关键帧。
可选的,所述装置还包括:
信息存储单元,用于存储关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息。
可选的,所述装置还包括:
信息存储单元,用于将所述相似目标对象与所述关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息对应存储至数据库中。
需要说明的是,对于本申请第四实施例提供的装置的详细描述可以参考对本申请第一实施例的相关描述,这里不再赘述。
与本申请第一实施例提供的一种数据处理方法相对应的,本申请第五实施例提供一种电子设备。
如图7所示,所述电子设备,包括:
处理器701;以及
存储器702,用于存储数据处理方法的程序,该设备通电并通过所述处理器运行该数据处理方法的程序后,执行下述步骤:
获得视频文件的视频帧;
从所述视频帧中确定出目标对象;
获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
可选的,所述获得所述目标对象对应的时间切片信息,包括:
获得所述目标对象在所述视频帧中的空间定位信息;
根据所述空间定位信息,获得所述目标对象对应的时间切片信息。
可选的,所述电子设备还执行下述步骤:
根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象。
可选的,所述根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象,包括:
根据所述目标对象对应的时间切片信息,确定包含所述目标对象的视频段的视频帧;
根据所述包含目标对象的视频段的视频帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述电子设备还执行下述步骤:
根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧;
所述根据所述目标对象对应的时间切片信息,在相似目标对象库中搜索所述目标对象的相似目标对象,包括:
根据从关键帧中检测出的目标对象,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧,包括:
根据所述时间切片信息,从包含目标对象的视频段中的视频帧中选出检测框面积最大的目标对象所在的视频帧;
将所述检测框面积最大的目标对象所在的视频帧作为所述包含目标对象的视频段的关键帧。
可选的,所述电子设备还执行下述步骤:
存储关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息。
可选的,所述电子设备还执行下述步骤:
将所述相似目标对象与所述关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息对应存储至数据库中。
需要说明的是,对于本申请第五实施例提供的电子设备的详细描述可以参考对本申请第一实施例的相关描述,这里不再赘述。
与本申请第一实施例提供的一种数据处理方法相对应的,本申请第六实施例提供一种存储设备,存储有数据处理方法的程序,该程序被处理器运行,执行下述步骤:
获得视频文件的视频帧;
从所述视频帧中确定出目标对象;
获得所述目标对象对应的时间切片信息;所述时间切片信息用于得到目标对象的相似目标对象。
需要说明的是,对于本申请第六实施例提供的存储设备的详细描述可以参考对本申请第一实施例的相关描述,这里不再赘述。
与本申请第二实施例提供的一种数据处理方法相对应的,本申请第七实施例提供一种数据处理装置。
相似目标对象获得单元801,用于在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象;
相似目标对象展示单元802,用于将所述目标对象的相似目标对象展示在显示屏幕上。
可选的,所述相似目标对象获得单元具体用于:根据所述时间切片信息,得到所述目标对象的相似目标对象。
可选的,所述相似目标对象获得单元具体用于:根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象。
可选的,所述相似目标对象获得单元具体用于:
根据所述时间切片信息的时间范围内的关键帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述相似目标对象获得单元具体用于:
根据预先存储的关键帧与相似目标对象的对应关系,在数据库中查询所述目标对象的相似目标对象。
可选的,所述相似目标对象展示单元具体用于:
根据用户的历史行为信息和兴趣信息,判断所述相似目标对象是否与用户的历史行为信息和兴趣信息匹配;
若匹配,将所述相似目标对象展示在显示屏幕上。
可选的,所述装置还包括:
排序单元,用于对所述相似目标对象中按照相似度进行排序,得到排序后的相似目标对象;
所述相似目标对象展示单元具体用于:
根据预设的显示数量,将次序在排序后的相似目标对象中显示数量之前的相似目标对象展示在显示屏幕上。
可选的,所述相似目标对象展示单元具体用于:
将所述相似目标对象作为弹幕展示在显示屏幕上。
可选的,所述相似目标对象展示单元具体用于:
接收针对将相似目标对象作为弹幕展示的触发操作;
根据所述触发操作,将相似目标对象作为弹幕展示在显示屏幕上。
可选的,所述相似目标对象展示单元具体用于:
将相似目标对象作为弹幕实时展示在显示屏幕上。
可选的,所述装置还包括:描述信息展示单元,用于将所述相似目标对象的描述信息作为弹幕展示在显示屏幕上。
需要说明的是,对于本申请第七实施例提供的数据处理装置的详细描述可以参考对本申请第二实施例的相关描述,这里不再赘述。
与本申请第二实施例提供的一种数据处理方法相对应的,本申请第八实施例提供一种电子设备。
如图7所示,所述电子设备,包括:
处理器701;以及
存储器702,用于存储数据处理方法的程序,该设备通电并通过所述处理器运行该数据处理方法的程序后,执行下述步骤:
在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象;
将所述目标对象的相似目标对象展示在显示屏幕上。
可选的,所述获得视频文件中目标对象的相似目标对象,包括:根据所述时间切片信息,得到所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息,得到所述目标对象的相似目标对象,包括:根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象,包括:
根据所述时间切片信息的时间范围内的关键帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
可选的,所述根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象,包括:
根据预先存储的关键帧与相似目标对象的对应关系,在数据库中查询所述目标对象的相似目标对象。
可选的,所述将所述相似目标对象展示在显示屏幕上,包括:
根据用户的历史行为信息和兴趣信息,判断所述相似目标对象是否与用户的历史行为信息和兴趣信息匹配;
若匹配,将所述相似目标对象展示在显示屏幕上。
可选的,所述电子设备还执行下述步骤:
对所述相似目标对象中按照相似度进行排序,得到排序后的相似目标对象;
所述将所述相似目标对象展示在显示屏幕上,包括:
根据预设的显示数量,将次序在排序后的相似目标对象中显示数量之前的相似目标对象展示在显示屏幕上。
可选的,将所述相似目标对象展示在显示屏幕上包括:
将所述相似目标对象作为弹幕展示在显示屏幕上。
可选的,所述将相似目标对象作为弹幕展示在显示屏幕上,包括:
接收针对将相似目标对象作为弹幕展示的触发操作;
根据所述触发操作,将相似目标对象作为弹幕展示在显示屏幕上。
可选的,所述将相似目标对象作为弹幕展示在显示屏幕上,包括:
将相似目标对象作为弹幕实时展示在显示屏幕上。
可选的,所述电子设备还执行下述步骤:将所述相似目标对象的描述信息作为弹幕展示在显示屏幕上。
需要说明的是,对于本申请第八实施例提供的电子设备的详细描述可以参考对本申请第二实施例的相关描述,这里不再赘述。
与本申请第二实施例提供的一种数据处理方法相对应的,本申请第九实施例提供一种存储设备,存储有数据处理方法的程序,该程序被处理器运行,执行下述步骤:
在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象;
将所述目标对象的相似目标对象展示在显示屏幕上。
需要说明的是,对于本申请第九实施例提供的存储设备的详细描述可以参考对本申请第二实施例的相关描述,这里不再赘述。
本申请第十实施例提供一种视频播放方法,包括:
获得直播的视频帧;
从所述视频帧中确定出目标对象;
将所述目标对象的相似目标对象作为弹幕展示在显示屏幕上。
例如,当主持人在进行视频直播时,当某个视频帧中主持人在对某个电饭锅作广告时,从视频帧中确定中目标对象为电饭锅的图像,在显示屏幕的上方飘出一些电饭锅的图像,用户可以点击电饭锅的图像进行购买。
本申请第十一实施例提供一种视频播放方法,包括:
获得预先录制的视频文件;
获得所述视频文件的视频帧;
从所述视频帧中确定出目标对象;
将所述目标对象的相似目标对象作为弹幕展示在显示屏幕上。
例如,某播放视频的网站正在播放一个电视剧,从当前视频帧中确定出目标对象为演员的背包,将背包的同款背包作为弹幕展示在显示屏幕上。
本申请第十二实施例提供一种晚会视频播放场景,在晚会视频播放过程中,从视频帧中获得演员的服装的图像;将演员的服装的相似服装的图像作为弹幕展示在显示屏幕上,用户点击相似服装的图像可以下单购买。
本申请第十三实施例提供一种视频播放方法,包括:
当进行旅游视频直播时,获得播放的视频帧;
从所述视频帧中确定出与旅游场景相关的目标对象;
将所述目标对象的相似目标对象作为弹幕展示在显示屏幕上。
例如,当进行旅游视频直播时,获得播放的视频帧;旅游场景为在当地的著名小吃店吃饭,则可以将当地的一些特色小吃店的图像或文字介绍作为弹幕展示在显示屏幕上。
本申请第十四实施例提供一种视频播放方法,包括:
获得视频帧;
确定视频帧中的场景的地理位置;
根据所述地理位置确定与地理位置相关的待推荐对象;
将待推荐对象作为弹幕展示在显示屏幕上。
例如,当进行旅游视频播放时,获得播放的视频帧;确定旅游地为韩国,则可以韩国的一些品牌化妆品作为弹幕展示在显示屏幕上。
本申请第十五实施例提供一种视频播放方法,包括
获得店铺展示商品的视频文件;
确定所述视频文件中视频帧展示的商品;
将所述展示的商品的相似促销商品作为弹幕展示在显示屏幕上。
例如,当某个品牌旗舰店在展示一件新款毛衣时,可以将一些促销毛衣的图像作为弹幕展示在显示屏幕上。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (24)

1.一种数据处理方法,其特征在于,包括:
获得视频文件的视频帧;
从所述视频帧中确定出目标对象;
获得所述目标对象对应的时间切片信息,其中,所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象。
2.根据权利要求1所述的方法,其特征在于,所述获得所述目标对象对应的时间切片信息,包括:
获得所述目标对象在所述视频帧中的空间定位信息;
根据所述空间定位信息,获得所述目标对象对应的时间切片信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象,包括:
根据所述目标对象对应的时间切片信息,确定包含所述目标对象的视频段的视频帧;
根据所述包含目标对象的视频段的视频帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
4.根据权利要求3所述的方法,其特征在于,还包括:
根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧;
所述根据所述目标对象对应的时间切片信息,在相似目标对象库中搜索所述目标对象的相似目标对象,包括:
根据从关键帧中检测出的目标对象,在相似目标对象库中搜索所述目标对象的相似目标对象。
5.根据权利要求4所述的方法,其特征在于,所述根据所述时间切片信息,确定所述包含目标对象的视频段的关键帧,包括:
根据所述时间切片信息,从包含目标对象的视频段中的视频帧中选出检测框面积最大的目标对象所在的视频帧;
将所述检测框面积最大的目标对象所在的视频帧作为所述包含目标对象的视频段的关键帧。
6.根据权利要求4所述的方法,其特征在于,还包括:
存储关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息。
7.根据权利要求6所述的方法,其特征在于,还包括:
将所述相似目标对象与所述关键帧的时间戳信息或所述关键帧包含的目标对象的标识信息对应存储至数据库中。
8.一种数据处理方法,其特征在于,包括:
在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象,其中,所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
将所述目标对象的相似目标对象展示在显示屏幕上;
其中,所述获得视频文件中目标对象的相似目标对象,包括:根据所述时间切片信息,得到所述目标对象的相似目标对象。
9.根据权利要求8所述的方法,其特征在于,所述根据所述时间切片信息,得到所述目标对象的相似目标对象,包括:根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象。
10.根据权利要求9所述的方法,其特征在于,所述根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象,包括:
根据所述时间切片信息的时间范围内的关键帧,在相似目标对象库中搜索所述目标对象的相似目标对象。
11.根据权利要求9所述的方法,其特征在于,所述根据所述时间切片信息的时间范围内的关键帧,得到所述目标对象的相似目标对象,包括:
根据预先存储的关键帧与相似目标对象的对应关系,在数据库中查询所述目标对象的相似目标对象。
12.根据权利要求8所述的方法,其特征在于,将所述相似目标对象展示在显示屏幕上,包括:
根据用户的历史行为信息和兴趣信息,判断所述相似目标对象是否与用户的历史行为信息和兴趣信息匹配;
若匹配,将所述相似目标对象展示在显示屏幕上。
13.根据权利要求8所述的方法,其特征在于,还包括:
对所述相似目标对象中按照相似度进行排序,得到排序后的相似目标对象;
将所述相似目标对象展示在显示屏幕上,包括:
根据预设的显示数量,将次序在排序后的相似目标对象中显示数量之前的相似目标对象展示在显示屏幕上。
14.根据权利要求8所述的方法,其特征在于,将所述相似目标对象展示在显示屏幕上包括:
将所述相似目标对象作为弹幕展示在显示屏幕上。
15.根据权利要求14所述的方法,其特征在于,所述将相似目标对象作为弹幕展示在显示屏幕上,包括:
接收针对将相似目标对象作为弹幕展示的触发操作;
根据所述触发操作,将相似目标对象作为弹幕展示在显示屏幕上。
16.根据权利要求14所述的方法,其特征在于,所述将相似目标对象作为弹幕展示在显示屏幕上,包括:
将相似目标对象作为弹幕实时展示在显示屏幕上。
17.根据权利要求16所述的方法,其特征在于,还包括:将所述相似目标对象的描述信息作为弹幕展示在显示屏幕上。
18.一种商品展示方法,其特征在于,包括:
在视频文件播放到目标商品对应的时间切片信息的时间范围内时,获得与目标商品的相似度大于预设相似度阈值的相似商品,其中,所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;将所述相似商品的图像作为弹幕展示在显示屏幕上;
其中,所述获得与目标商品的相似度大于预设相似度阈值的相似商品,包括:根据所述时间切片信息,得到所述与目标商品的相似度大于预设相似度阈值的相似商品。
19.一种数据处理装置,其特征在于,包括:
视频帧获得单元,用于获得视频文件的视频帧;
目标对象确定单元,用于从所述视频帧中确定出目标对象;
时间切片信息获得单元,其中,所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
相似目标对象获得单元,根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象。
20.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储数据处理方法的程序,该设备通电并通过所述处理器运行该数据处理方法的程序后,执行下述步骤:
获得视频文件的视频帧;
从所述视频帧中确定出目标对象;
获得所述目标对象对应的时间切片信息;所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象。
21.一种存储设备,存储有数据处理方法的程序,该程序被处理器运行,执行下述步骤:
获得视频文件的视频帧;
从所述视频帧中确定出目标对象;
获得所述目标对象对应的时间切片信息;所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
根据所述目标对象对应的时间切片信息,搜索所述目标对象的相似目标对象。
22.一种数据处理装置,其特征在于,包括:
相似目标对象获得单元,用于在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象,其中,所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
相似目标对象展示单元,用于将所述目标对象的相似目标对象展示在显示屏幕上;
其中,所述获得视频文件中目标对象的相似目标对象,包括:根据所述时间切片信息,得到所述目标对象的相似目标对象。
23.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储数据处理方法的程序,该设备通电并通过所述处理器运行该数据处理方法的程序后,执行下述步骤:
在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象,其中,所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
将所述目标对象的相似目标对象展示在显示屏幕上;
其中,所述获得视频文件中目标对象的相似目标对象,包括:根据所述时间切片信息,得到所述目标对象的相似目标对象。
24.一种存储设备,存储有数据处理方法的程序,该程序被处理器运行,执行下述步骤:
在视频文件播放到目标对象对应的时间切片信息的时间范围内时,获得视频文件中目标对象的相似目标对象,其中,所述时间切片信息为包含目标对象的视频帧构成的视频段的起始时间至结束时间;
将所述目标对象的相似目标对象展示在显示屏幕上;
其中,所述获得视频文件中目标对象的相似目标对象,包括:根据所述时间切片信息,得到所述目标对象的相似目标对象。
CN201911015647.0A 2019-10-24 2019-10-24 数据处理方法、商品展示方法和视频播放方法 Active CN112714349B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911015647.0A CN112714349B (zh) 2019-10-24 2019-10-24 数据处理方法、商品展示方法和视频播放方法
TW109128230A TW202117639A (zh) 2019-10-24 2020-08-19 資料處理方法、商品展示方法和視頻播放方法
PCT/US2020/056647 WO2021081086A1 (en) 2019-10-24 2020-10-21 Presenting information on similar objects relative to a target object from a plurality of video frames
US17/076,345 US11284168B2 (en) 2019-10-24 2020-10-21 Presenting information on similar objects relative to a target object from a plurality of video frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911015647.0A CN112714349B (zh) 2019-10-24 2019-10-24 数据处理方法、商品展示方法和视频播放方法

Publications (2)

Publication Number Publication Date
CN112714349A CN112714349A (zh) 2021-04-27
CN112714349B true CN112714349B (zh) 2023-06-27

Family

ID=75541303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911015647.0A Active CN112714349B (zh) 2019-10-24 2019-10-24 数据处理方法、商品展示方法和视频播放方法

Country Status (4)

Country Link
US (1) US11284168B2 (zh)
CN (1) CN112714349B (zh)
TW (1) TW202117639A (zh)
WO (1) WO2021081086A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188225B (zh) * 2020-09-29 2022-12-06 上海哔哩哔哩科技有限公司 用于直播回放的弹幕下发方法和直播视频弹幕回放方法
CN113312516B (zh) * 2021-05-21 2023-11-21 北京达佳互联信息技术有限公司 一种视频处理方法及相关装置
KR20230022588A (ko) * 2021-08-09 2023-02-16 라인플러스 주식회사 영상 콘텐츠 시청을 지원하는 방법 및 장치
CN113949887A (zh) * 2021-09-24 2022-01-18 支付宝(杭州)信息技术有限公司 对于网络直播数据的处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US20100106732A1 (en) * 2008-10-29 2010-04-29 Microsoft Corporation Identifying Visually Similar Objects
US9122931B2 (en) * 2013-10-25 2015-09-01 TCL Research America Inc. Object identification system and method
CN110235138B (zh) * 2016-12-05 2023-09-05 摩托罗拉解决方案公司 用于外观搜索的系统和方法
CN109391834B (zh) * 2017-08-03 2021-08-31 阿里巴巴集团控股有限公司 一种播放处理方法、装置、设备和存储介质
CN110210370A (zh) * 2019-05-28 2019-09-06 无线生活(杭州)信息科技有限公司 商品导购方法及装置

Also Published As

Publication number Publication date
US20210127178A1 (en) 2021-04-29
TW202117639A (zh) 2021-05-01
CN112714349A (zh) 2021-04-27
US11284168B2 (en) 2022-03-22
WO2021081086A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN112714349B (zh) 数据处理方法、商品展示方法和视频播放方法
US10672052B2 (en) Method, apparatus, system, and computer program for offering and displaying product information
CN109688469B (zh) 一种广告展示方法及展示装置
US10643264B2 (en) Method and computer readable medium for presentation of content items synchronized with media display
US10779037B2 (en) Method and system for identifying relevant media content
RU2729956C2 (ru) Обнаружение объектов из запросов визуального поиска
US10395120B2 (en) Method, apparatus, and system for identifying objects in video images and displaying information of same
WO2018036456A1 (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
US9407975B2 (en) Systems and methods for providing user interactions with media
US8595773B1 (en) Intelligent TV shopping system and method
CN104991906B (zh) 信息获取方法、服务器、终端及数据库构建方法、装置
CN107517393B (zh) 一种信息推送方法、装置及系统
CN110866133A (zh) 信息搜索方法、页面显示方法、系统及设备
KR20180024200A (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
CN110378215B (zh) 基于第一人称视角购物视频的购物分析方法
JP4995770B2 (ja) 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム
Choi et al. A framework for automatic static and dynamic video thumbnail extraction
JP6496388B2 (ja) 関連するメディアコンテントを識別するための方法及びシステム
KR20160091488A (ko) 모델 생성을 이용한 객체 자동 검출 방법 및 시스템
KR20180048537A (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
US20210326375A1 (en) Method, device, and computer program for providing image search information
CN116033203A (zh) 一种视频处理方法、装置、设备及存储介质
CN115408596A (zh) 一种对象实例的搜索方法、计算设备及存储介质
GB2562814B (en) Method and system for identifying relevant media content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231113

Address after: Room 2801, 28th Floor, Building 9, Zone 4, Wangjing Dongyuan, Chaoyang District, Beijing

Patentee after: Alibaba Damo Academy (Beijing) Technology Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.