CN110225387A - 一种信息搜索方法、装置及电子设备 - Google Patents

一种信息搜索方法、装置及电子设备 Download PDF

Info

Publication number
CN110225387A
CN110225387A CN201910417954.5A CN201910417954A CN110225387A CN 110225387 A CN110225387 A CN 110225387A CN 201910417954 A CN201910417954 A CN 201910417954A CN 110225387 A CN110225387 A CN 110225387A
Authority
CN
China
Prior art keywords
search
searched
video
information
triggered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910417954.5A
Other languages
English (en)
Inventor
张继东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910417954.5A priority Critical patent/CN110225387A/zh
Publication of CN110225387A publication Critical patent/CN110225387A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种信息搜索方法、装置及电子设备,在视频文件的播放过程中,若检测到信息搜索功能被触发,从视频文件中,获得信息搜索功能被触发时所对应的视频内容;识别视频内容,得到视频内容中的待搜索对象;若获得对待搜索对象中的目标搜索对象的搜索指令,针对目标搜索对象执行搜索操作;获得并展示针对目标搜索对象的搜索结果,以实现在用户观看视频的过程中,简化对所观看视频中的视频内容的相关信息的手动搜索操作,提高用户的观影体验。

Description

一种信息搜索方法、装置及电子设备
技术领域
本发明涉及信息处理技术领域,特别是涉及一种信息搜索方法、装置及电子设备。
背景技术
用户在观看视频的过程中,往往存在对视频中的视频内容做进一步了解的需求,即存在对视频中的演员、商品或演员提及的某个名词等做进一步了解的需求。
相关技术中,由于终端的操作系统的多任务策略的局限性,终端同一时间往往只能显示一个应用程序的界面,导致在观看视频的过程中,用户只能通过使用其他终端对视频内容中感兴趣的信息进行搜索,或退出视频播放界面,并启动其他搜索程序,进行视频内容的相关信息的搜索。
然而,发明人在实现本发明的过程中发现,相关技术至少存在如下问题:用户对所观看视频中的视频内容的相关信息进行搜索时,需退出当前界面,影响用户正常观影。
发明内容
本发明实施例的目的在于提供一种信息搜索方法、装置及电子设备,以实现在用户观看视频的过程中,简化对所观看视频中的视频内容的相关信息的手动搜索操作,提高用户的观影体验。具体技术方案如下:
在本发明实施的一方面,提供了一种信息搜索方法,所述方法包括:
在视频文件的播放过程中,若检测到信息搜索功能被触发,从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容;
识别所述视频内容,得到所述视频内容中的待搜索对象;
若获得对所述待搜索对象中的目标搜索对象的搜索指令,针对所述目标搜索对象执行搜索操作;
获得针对所述目标搜索对象的搜索结果,并在所述视频文件的播放界面上进行展示。
可选地,所述信息搜索功能为图像搜索功能时,所述从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容的步骤,包括:
从所述视频文件的视频帧中,获得所述图像搜索功能被触发时所对应的当前视频帧;
所述识别所述视频内容,得到所述视频内容中的待搜索对象的步骤,包括:
基于预先建立的目标识别模型,识别所述当前视频帧,得到所述当前视频帧中的待搜索对象及其位置信息,其中,所述目标识别模型为:基于样本图像训练所得的、用于识别图像中所包含的对象的模型;
在所述识别所述视频内容,得到所述视频内容中的待搜索对象之后,所述方法还包括:
基于每一待搜索对象的位置信息,在所述视频文件的播放界面上展示所述待搜索对象。
可选地,所述基于每一待搜索对象的位置信息,在所述视频文件的播放界面上展示所述待搜索对象的步骤,包括:
基于每一待搜索对象的位置信息,从所述当前视频帧中确定出每一待搜索对象的区域图像;
在所述视频文件的播放界面上,展示每一待搜索对象的区域图像,以展示所述待搜索对象。
可选地,所述信息搜索功能为语音搜索功能时,所述从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容的步骤,包括:
从所述视频文件的音频中,获得所述语音搜索功能被触发时所对应的音频文件;
所述识别所述视频内容,得到所述视频内容中的待搜索对象的步骤,包括:
对所述音频文件进行语音识别,得到所述音频文件对应的翻译文字;
根据所述翻译文字得到所述音频文件中的待搜索对象;
在所述得到所述视频内容中的待搜索对象的步骤之后,所述方法还包括:
在所述视频文件的播放界面上展示所述待搜索对象。
在本发明实施的又一方面,还提供了一种信息搜索装置,所述装置包括:
第一获得模块,用于在视频文件的播放过程中,若检测到信息搜索功能被触发,从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容;
识别模块,用于识别所述视频内容,得到所述视频内容中的待搜索对象;
执行模块,用于若获得对所述待搜索对象中的目标搜索对象的搜索指令,针对所述目标搜索对象执行搜索操作;
第二获得模块,用于获得针对所述目标搜索对象的搜索结果;
第一展示模块,用于在所述视频文件的播放界面上进行展示所述搜索结果。
可选地,所述信息搜索功能为图像搜索功能时,所述第一获得模块,具体用于从所述视频文件的视频帧中,获得所述图像搜索功能被触发时所对应的当前视频帧;
所述识别模块,具体用于基于预先建立的目标识别模型,识别所述当前视频帧,得到所述当前视频帧中的待搜索对象及其位置信息,其中,所述目标识别模型为:基于样本图像训练所得的、用于识别图像中所包含的对象的模型;
所述装置还包括:
所述第二展示模块,具体用于在所述识别所述视频内容,得到所述视频内容中的待搜索对象之后,基于每一待搜索对象的位置信息,在所述视频文件的播放界面上展示所述待搜索对象。
可选地,所述第二展示模块,具体用于基于每一待搜索对象的位置信息,从所述当前视频帧中确定出每一待搜索对象的区域图像;在所述视频文件的播放界面上,展示每一待搜索对象的区域图像,以展示所述待搜索对象。
可选地,所述信息搜索功能为语音搜索功能时,所述第一获得模块,具体用于从所述视频文件的音频中,获得所述语音搜索功能被触发时所对应的音频文件;
所述识别模块,具体用于对所述音频文件进行语音识别,得到所述音频文件对应的翻译文字;根据所述翻译文字得到所述音频文件中的待搜索对象;
所述装置还包括:
第三展示模块,具体用于在所述视频文件的播放界面上展示所述待搜索对象。
在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供的任一所述的信息搜索方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的信息搜索方法步骤。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的信息搜索方法步骤。
本发明实施例提供的技术方案中,在视频文件的播放过程中,若检测到信息搜索功能被触发,从视频文件中,获得信息搜索功能被触发时所对应的视频内容;识别视频内容,得到视频内容中的待搜索对象;若获得对待搜索对象中的目标搜索对象的搜索指令,针对目标搜索对象执行搜索操作;获得并展示针对目标搜索对象的搜索结果。
可见,应用本发明实施例,在视频文件的播放过程中,若检测到信息搜索功能被触发,可以自动对视频文件中的视频内容进行识别,得到待搜索对象,若获得对待搜索对象中的目标搜索对象的搜索指令,自动对待搜索对象执行搜索操作,得到搜索结果,并在视频文件的播放界面上进行展示,可以实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索。并且,本发明实施例中,用户可以通过进行信息搜索功能的触发操作,和对待搜索对象中的目标搜索对象的搜索指令的触发操作,即可实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索,简化了在用户观看视频的过程中,对所观看视频中的视频内容的相关信息的手动搜索操作,提高用户的观影体验。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所提供的一种信息搜索方法的流程示意图;
图2为本发明实施例所提供的一种信息搜索方法的另一流程示意图;
图3为本发明实施例所提供的一种信息搜索方法的另一流程示意图;
图4为本发明实施例所提供的一种信息搜索流程的场景示意图;
图5为本发明实施例所提供的一种信息搜索流程的场景示意图;
图6为本发明实施例所提供的一种信息搜索装置的结构示意图;
图7为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
本发明实施例提供了一种信息搜索方法、装置及电子设备,以实现在用户观看视频的过程中,简化对所观看视频中的视频内容的相关信息的手动搜索操作,提高用户的观影体验。
如图1所示,本发明实施例提供了一种信息搜索方法,可以包括如下步骤:
S101:在视频文件的播放过程中,若检测到信息搜索功能被触发,从视频文件中,获得信息搜索功能被触发时所对应的视频内容。
可以理解的是,本发明实施例所提供的信息搜索方法,可以应用于任一类型的电子设备中,该电子设备可以为电脑、手机以及一体机等设备。一种情况,实现本发明实施例所提供的信息搜索方法的功能软件,可以以专门的客户端软件的形式存在,也可以以具有视频播放功能的客户端软件的插件的形式存在,这都是可以的。
一种实现方式,在视频文件的播放过程中,电子设备可以实时检测信息搜索功能是否被触发,若检测到信息搜索功能被触发,从该视频文件,即正在播放的视频文件中,获得该信息搜索功能被触发时所对应的视频内容。其中,该信息搜索功能为:针对该视频文件的视频内容的相关信息进行搜索的功能。本发明实施例中,该视频文件可以为任一格式的视频文件,例如:该视频文件的格式可以为:MP4、AVI(Audio Video Interleaved,音频视频交错格式)、DAT、MKV以及FLV(FlashVideo,流媒体格式)等格式,本发明实施例并不对所播放的视频文件的格式进行限定。
其中,该视频文件可以包括视频帧以及音频,该视频内容可以包括:信息搜索功能被触发时所对应的视频帧,和/或信息搜索功能被触发时所对应的音频文件。该视频内容所包括的具体内容可以与被触发的信息搜索功能相关,一种情况,可以是:若被触发的信息搜索功能为图像搜索功能时,该视频内容可以包括信息搜索功能被触发时所对应的视频帧。另一种情况,可以是:若被触发的信息搜索功能为语音搜索功能时,该视频内容可以包括信息搜索功能被触发时所对应的音频文件,音频文件可以包括片段音频或者完整音频。
上述信息搜索功能的触发方式存在多种多样,其中,一种实现,可以是:通过语音控制方式,触发该信息搜索功能;例如:在视频文件的播放过程中,若获得包含“搜索”、“XX”等信息的语音数据之后,则确定检测到信息搜索功能被触发,其中,该“XX”可以为图像、图片、视频帧、台词、音频以及语音等。另一种实现,可以是:通过手势控制方式,触发该信息搜索功能,例如:在视频文件的播放过程中,电子设备通过所设置传感器检测到预定手势后,则确定检测到信息搜索功能被触发。第三种实现,可以是:通过预设功能按键控制方式,触发该信息搜索功能,例如:在视频文件的播放过程中,在视频文件的播放界面,显示预设信息搜索功能按键,电子设备可以实时检测该预设信息搜索功能按键是否被触发,若检测到该预设信息搜索功能按键被触发,则确定检测到所述信息搜索功能被触发等。以上所列举实现方式均为信息搜索功能的触发方式的一些示例,并不构成对本发明实施例中信息搜索功能的触发方式的限定。
其中,若通过预设功能按键控制方式,触发该信息搜索功能,在视频文件的播放界面,可以至少显示有预设图像搜索功能按键和预设语音搜索功能按键,其中,用户可以通过对预设图像搜索功能按键执行第一预定操作,可以触发图像搜索功能;用户可以通过对预设语音搜索功能按键执行第一预定操作,可以触发语音搜索功能。
在一种实现方式中,上述从该视频文件中,获得该信息搜索功能被触发时所对应的视频内容的过程,可以是:获得信息搜索功能被触发时的时间信息,基于该所获得的时间信息,从视频文件中,获得信息搜索功能被触发时所对应的视频内容。其中,基于该所获得的时间信息,从视频文件中,获得信息搜索功能被触发时所对应的视频内容的过程,与该被触发的信息搜索功能相关,具体的获得信息搜索功能被触发时所对应的视频内容的过程后续进行介绍。
S102:识别视频内容,得到视频内容中的待搜索对象。
本步骤中,电子设备获得该视频内容之后,可以通过预设的识别算法,识别该视频内容,以得到该视频内容中的待搜索对象。其中,所识别到的视频内容中的待搜索对象可以为一个或多个。
一种实现方式中,当该视频内容包括视频帧时,可以通过预设的目标识别算法,对该视频帧进行目标识别,将所识别到的目标,作为该视频帧中的待搜索对象。其中,该预设的目标识别算法可以包括:基于Harr角点+Adaboost(Adaptive Boosting,自适应增强)的目标识别算法、基于HOG(Histogram of Oriented Gradient,有向梯度直方图)+SVM(Support Vector Machine,支持向量机)的目标识别算法以及DPM(Deformable PartsModel,可变形部件模型)目标识别算法以及OCR(Optical Character Recognition,光学字符识别)等等。本发明实施例并不对预设的目标识别算法的具体类型进行限定。
另一种实现方式中,当该视频内容包括音频文件时,可以通过预设的语音识别算法,对该音频文件进行语音识别,将所识别到的文字类的作为该视频帧中的待搜索对象,其中,该语音识别算法可以包括但不限于:基于HMM(Hidden Markov Models,隐马尔科夫模型)的语音识别算法以及DTW(Dynamic Time Warping,动态时间归整)语音识别算法等,本发明实施例并不对预设的目标识别算法的具体类型进行限定。
S103:若获得对待搜索对象中的目标搜索对象的搜索指令,针对目标搜索对象执行搜索操作。
一种实现方式中,电子设备可以检测是否获得针对待搜索对象的搜索指令,若获得对待搜索对象中的目标搜索对象的搜索指令,可以针对目标搜索对象执行搜索操作,其中,该搜索指令携带有所需搜索的目标搜索对象的标识,电子设备可以基于该搜索指令携带的所需搜索的目标搜索对象的标识,针对目标搜索对象执行搜索操作。其中,该针对目标搜索对象执行搜索操作可以在后台执行。
其中,一种情况,电子设备检测到用户通过手指或输入设备对所展示的待搜索对象中的目标搜索对象的第一预定操作之后,可以确定获得对待搜索对象中的目标搜索对象的搜索指令。其中,该第一预定操作可以为点击操作、长按操作或滑动操作等操作,该输入设备可以包括鼠标以及触控笔等设备。
一种情况,获得对待搜索对象中的目标搜索对象的搜索指令之后,还可以停止对待搜索对象的展示,以避免对该待搜索对象的展示影响用户的观影体验。
S104:获得针对目标搜索对象的搜索结果,并在视频文件的播放界面上进行展示。
本步骤中,该搜索结果可以包括图片类的搜索结果,可以包括文字类的搜索结果,也可以包括音频类的搜索结果,以及网页类的搜索结果,这都是可以的。该搜索结果可以包括对目标搜索对象的相关信息,该相关信息可以包括目标搜索对象的名称以及描述信息等。电子设备获得针对目标搜索对象的搜索结果之后,将该搜索结果在视频文件的播放界面上进行展示,以供用户查看,用户可以通过该搜索结果实现对该目标搜索对象的相关进行做进一步了解。
其中,为了保证用户的观影体验,可以将该搜索结果在视频文件的播放界面的预设位置处进行展示,其中,该预设位置可以为视频文件的播放界面的左侧或右侧或边角位置等不影响用户观影的位置。
一种情况中,当用户需要结束对该搜索结果的展示时,用户可以点击该视频文件的播放界面中,除展示该搜索结果的区域外的其他区域,后续的,当电子设备检测到用户对该视频文件的播放界面中,除展示该搜索结果的区域外的其他区域的点击操作后,可停止展示搜索结果。
应用本发明实施例,在视频文件的播放过程中,若检测到信息搜索功能被触发,可以自动对视频文件中的视频内容进行识别,得到待搜索对象,若获得对待搜索对象中的目标搜索对象的搜索指令,自动对待搜索对象执行搜索操作,得到搜索结果,并在视频文件的播放界面上进行展示,可以实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索。并且,本发明实施例中,用户可以通过进行信息搜索功能的触发操作,和对待搜索对象中的目标搜索对象的搜索指令的触发操作,无需再执行退出视频文件的播放界面,并启动其他具有搜索功能的应用程序,并手动输入所需搜索的对象等操作,即可实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索,简化了在用户观看视频的过程中,对所观看视频中的视频内容的相关信息的手动搜索操作,提高用户的观影体验。
一种可选的实施例中,在步骤S102之后,该方法该还可以包括:
步骤A1:在视频文件的播放界面上展示待搜索对象。
本步骤中,在确定出待搜索对象之后,电子设备可以将所确定的待搜索对象在视频文件的播放界面上展示给用户,以供用户选择所需进行搜索的待搜索对象。一种情况中,电子设备可以在视频文件的播放界面,即所包括的视频帧的画面上,标识出待搜索对象,以展示待搜索对象;也可以是在视频文件的播放界面,即所包括的视频帧的画面上,以浮层的形式展示待搜索对象,这都是可以,本发明实施例并不对展示待搜索对象的具体展示方式进行限定,任意一种可以提高用户对所展示待搜索对象的关注度的展示方式均可以应用于本发明实施例。
在一种实现方式中,用户在观看视频过程中,可能会对所观看视频中视频帧所展示的对象的相关信息存在兴趣,此时,用户可以触发图像搜索功能,进而,电子设备检测到图像搜索功能被触发,可以执行图像搜索功能相关搜索流程。如图2所示,所述方法可以包括如下步骤:
S201:在视频文件的播放过程中,若检测到图像搜索功能被触发,从视频文件的视频帧中,获得图像搜索功能被触发时所对应的当前视频帧。
S202:基于预先建立的目标识别模型,识别当前视频帧,得到当前视频帧中的待搜索对象及其位置信息。
其中,该目标识别模型为:基于样本图像训练所得的、用于识别图像中所包含的对象的模型。
S203:基于每一待搜索对象的位置信息,在视频文件的播放界面上展示待搜索对象。
S204:若获得对待搜索对象中的目标搜索对象的搜索指令,针对目标搜索对象执行搜索操作。
S205:获得针对目标搜索对象的搜索结果,并在视频文件的播放界面上进行展示。
其中,该S203与上述实施例中步骤A1相同,该S204与上述实施例中S103相同,该S205与上述实施例中S104相同。
本实现方式中,在视频文件的播放过程中,若检测到图像搜索功能被触发,则可以确定需要针对视频文件的视频帧中包含的目标进行搜索,电子设备可以从视频文件的视频帧中,获得图像搜索功能被触发时所对应的当前视频帧;并基于预先建立的目标识别模型,识别当前视频帧,得到当前视频帧中的对象,将所识别到的对象作为待搜索对象;并得到每一待搜索对象的位置信息,该位置信息表征待搜索对象在当前视频帧中的位置;进而基于每一待搜索对象的位置信息,在视频文件的播放界面上展示待搜索对象。其中,当前视频帧中的对象可以包括人和物等对象。
一种情况,该从视频文件中,获得图像搜索功能被触发时所对应的当前视频帧的过程,可以是:电子设备获得该图像搜索功能被触发时的时间信息,作为第一触发时间信息,基于该第一触发时间信息以及该视频文件中每一视频帧对应的时间戳信息,从视频文件的视频帧中,确定出所对应时间信息戳信息与该第一触发时间信息最接近的视频帧,作为信息搜索功能被触发时所对应的当前视频帧。其中,该第一触发时间信息包括:图像搜索功能被触发时的时间。
上述预先建立的目标识别模型可以为机器学习模型,为基于样本图像训练所得的、用于识别图像所包含对象的模型。上述预先建立的目标识别模型可以是以图像为输入,至少以图像中对象的位置信息为输出的模型。在一种情况中,上述预先建立的目标识别模型可以为CNN(Convolutional Neural Network,卷积神经网络)模型或LBP(Local BinaryPattern,基于局部二进制模式)-adaboost算法的模型,等等。
一种实现方式中,在基于预先建立的目标识别模型,识别当前视频帧,得到当前视频帧中的待搜索对象及其位置信息之前,还可以包括建立目标识别模型的过程,其中,建立目标识别模型的过程,可以包括:
获得训练所需的多个样本图像,其中,每一样本图像包含一个或多个对象,其中,该多个样本图像可以包括多个种类的对象,例如,对象可以包括人和物,物可以包括各子种类的物,如:车、动物、树木以及建筑物等等,一种情况中,各子种类的物,还可以更进一步的细分,例如:车的具体种类可以包括:轿车、救护车以及公交车等等。
针对每一样本图像进行标定,获得标定结果,其中,该标定结果可以包括:样本图像中所包含对象的标定位置信息,其中,该标定结果可以由工作人员进行标定,或者由电子设备基于预设的标定算法进行标定。
进而,电子设备可以基于样本图像以及标定结果,训练初始的目标识别模型,得到预先建立的目标识别模型。其中,上述标定位置信息可以为:所标定的外接矩形框的四个顶点,在所对应样本图像中的位置信息。
其中,上述基于样本图像以及标定结果,训练初始的目标识别模型,得到预先建立的目标识别模型的过程,可以是:
将样本图像输入初始的目标识别模型的特征提取层,提取出样本图像的样本图像特征;将所提取的样本图像特征,输入初始的目标识别模型的特征分类层,获得样本图像对应的当前位置信息;将所获得的当前位置信息与该样本图像对应的标定位置信息进行匹配;当匹配成功时,得到包含特征提取层和特征分类层的预先建立的目标识别模型;当匹配不成功时,则分别调整特征提取层和特征分类层的神经网络参数;重新返回将样本图像输入特征提取层,提取出样本图像特征的步骤;直至匹配成功,得到包含特征提取层和特征分类层的预先建立的目标识别模型。
可以理解的是,上述将所获得的当前位置信息与该样本图像对应的标定位置信息进行匹配的过程,可以为:利用预设的损失函数计算所获得的当前位置信息与该样本图像对应的标定位置信息的差值;当所计算差值在预设允许损失范围内,则确定匹配成功,当所计算差值不在预设允许损失范围内,则确定匹配不成功,此时,可以基于将所获得的当前位置信息与该样本图像对应的标定位置信息的差值变小的原则,调整上述特征提取层和特征分类层的神经网络参数;再重新返回执行将样本图像输入特征提取层,提取出该样本图像的样本图像特征的步骤。在一种实现方式中,可以利用梯度下降法调整上述特征提取层和特征分类层的神经网络参数。
后续的,电子设备可以基于该预先建立的目标识别模型从当前视频帧中,识别出该当前视频帧所包含的目标及其位置信息,并将所识别出的目标作为待搜索对象,所识别出的目标的位置信息作为待搜索对象的位置信息。
其中,在训练上述初始的目标识别模型时,进行训练的样本图像的数量越多,所获得的预先建立的目标识别模型越稳定;利用上述预先建立的目标识别模型,所确定出的当前视频帧中的待搜索对象及其位置信息越准确。
电子设备从当前视频帧中确定出待搜索对象及其位置信息之后,可以通过多种展示方式,对待搜索对象进行展示,在一种实现方式中,所述S203,可以包括:
基于所识别出的每一待搜索对象的位置信息,从当前视频帧中标示出每一待搜索对象,以在视频文件的播放界面上展示待搜索对象。
本实现方式中,电子设备可以基于每一待搜索对象的位置信息,从当前视频帧中标示出每一待搜索对象,例如:可以利用标定框从当前视频帧中标示出每一待搜索对象,以向用户展示出所识别出的待搜索对象,使得用户可以更直观的关注到当前视频帧中的待搜索对象。后续的,一种情况,当电子设备检测到用户通过手指或输入设备,对所标示出的待搜索对象中的目标待搜索对象的第一预定操作后,电子设备可以确定获得对待搜索对象中的目标搜索对象的搜索指令,进而,电子设备可以执行后续的信息搜索流程。
一种情况下,若触发搜索指令的搜索操作与暂停视频的操作相同时,会导致误操作,如暂停视频和针对目标搜索对象的搜索操作均是点击操作,有可能会导致实际是想暂停视频而触发搜索指令,而实际是想触发搜索指令而暂停视频的误操作。为了避免误操作,本发明实施例中,触发暂停视频的操作和触发搜索指令的操作可以采用不同的方式,如暂停视频使用点击播放画面,而触发搜索指令则通过在待搜索对象上方悬停,等等。或者,可以采用透明浮层的展示待搜索对象,通过透明浮层接收用户对待搜索对象中目标搜索对象进行操作,以获取用户触发的搜索指令。
一种情况中,用户在观看视频的过程中,可能在观看到视频中所展示的某一对象时,即对该对象的相关信息产生更进一步的了解的需求,为了提高用户观影体验,避免视频文件中剧情的发展,导致用户所关注的对象的相关视频帧被播放完毕的情况发生。电子设备若检测到图像搜索功能被触发,可以同时暂时停止播放该视频文件,使得该视频文件的播放界面暂停于展示该当前视频帧的状态,进而,在识别出当前视频帧中的待搜索对象及其位置信息之后,基于所识别出的每一待搜索对象的位置信息,利用标定框从当前视频帧中标示出每一待搜索对象。相应的,电子设备若获得对待搜索对象中的目标搜索对象的搜索指令,针对目标搜索对象执行搜索操作的同时,可以继续播放该视频文件。
另一种情况中,电子设备从检测到图像搜索功能被触发,到识别出当前视频帧中的待搜索对象及其位置信息之间所消耗的时间,可能非常短,而视频文件中包含相同对象的视频帧的数据相对较多,例如超过预设帧数。为了保证用户的观影兴趣不被打扰,电子设备若检测到图像搜索功能被触发,可以继续播放该视频文件,并从该视频文件的视频中,确定出图像搜索功能被触发是所对应的当前视频帧及其之后的视频帧,作为备用视频帧,依次从所确定出的每一备用视频帧中,识别出所包含的待搜索对象及其位置信息,并实时基于所别出的待搜索对象的位置信息,从所播放的备用视频帧中标识出待搜索对象;直到电子设备获得对待搜索对象中的目标搜索对象的搜索指令,执行后续的信息搜索流程,并停止本次信息搜索流程中所执行的对备用视频帧中待搜索对象及其位置信息的识别操作。
另一种实现方式中,步骤S203,可以包括:
基于每一待搜索对象的位置信息,从当前视频帧中确定出每一待搜索对象的区域图像;在视频文件的播放界面上,展示每一待搜索对象的区域图像,以展示待搜索对象。
本实现方式中,电子设备可以在视频文件的播放界面上,以浮层的形式展示待搜索对象。鉴于此,为了保证用户的观影兴趣不被打扰,电子设备在检测到图像搜索功能被触发时,无需暂停该视频文件的播放,其可以继续播放该视频文件,并在得到当前视频帧中的待搜索对象及其位置信息之后,基于所得到的当前视频帧中的待搜索对象及其位置信息,从当前视频帧中确定出每一待搜索对象所在的区域图像,并进行截取;将所截取出的每一待搜索对象所在的区域图像,在视频文件的播放界面上以浮层的形式进行展示,以实现对待搜索对象的展示。
为了避免影响用户观看视频,一种可实现方式中,可以以透明浮层的方式在播放界面上不影响用户观看的位置,显示待搜索对象所在的区域图像。
或者,可以将显示界面中一部分位置用于显示视频的播放,另一部分位置显示待搜索对象所在的区域图像,如非全屏播放视频的方式中,在除视频播放的位置显示待搜索对象所在的区域图像。
后续的,电子设备获得对待搜索对象中的目标搜索对象的搜索指令,针对目标搜索对象执行搜索操作,并获得针对目标搜索对象的搜索结果,并视频文件的播放界面上进行展示,其中,也可以以浮层的形式展示该搜索结果。该实现方式中,当电子设备检测到用户对所展示区域图像中的目标区域图像的第一预定操作后,可以确定获得对待搜索对象中的目标搜索对象的搜索指令,其中,该目标搜索对象为用户所操作的目标区域图像所包含的待搜索对象。
在一种实现方式中,用户在观看视频过程中,可能会对所观看视频中台词中的某个或某些词的相关信息存在兴趣,此时,用户可以触发语音搜索功能,进而,电子设备检测到语音搜索功能被触发,可以执行语音搜索功能相关搜索流程。如图3所示,所述方法可以包括如下步骤:
S301:在视频文件的播放过程中,若检测到语音搜索功能被触发,从视频文件中,获得语音搜索功能被触发时所对应的音频文件。
S302:对音频文件进行语音识别,得到音频文件对应的翻译文字。
S303,根据翻译文字得到音频文件中的待搜索对象。
一种可选的实现方式中,可以对所识别出的翻译文字进行分词处理,得到所识别出的翻译文字对应的各分词;所得到的分词中确定出关键词,作为音频文件中的待搜索对象。
S304:在视频文件的播放界面上展示待搜索对象。
S305:若获得对待搜索对象中的目标搜索对象的搜索指令,针对目标搜索对象执行搜索操作。
S306:获得针对目标搜索对象的搜索结果,并在视频文件的播放界面上进行展示。
其中,该S304与上述实施例中步骤A1相同,该S305与上述实施例中的S103相同,该S306与上述实施例中的S104相同。
本实现方式中,在视频文件的播放过程中,若检测到语音搜索功能被触发,则可以确定需要针对视频文件的音频中包含的信息进行搜索,电子设备可以从视频文件的音频中,获得图像搜索功能被触发时所对应的音频文件;并基于预设的语音识别算法,对该音频文件进行语音识别,得到该音频文件对应的翻译文字;并利用预设的分词方法,对所识别出的翻译文字进行分词处理,得到所识别出的翻译文字对应的分词;进而从所得到的分词中,确定出关键词,作为音频文件中的待搜索对象。其中,该翻译文字为该音频文件所表征的文字含义。
另一种实施例中,可以将视频文件中的音频以字幕的形式显示在播放界面,如此,可以通过上述图像搜索功能被触发时所采用的方式,识别出包括字幕的图像,进而针对包括字幕的图像进行搜索。
一种情况,上述从所得到的分词中,确定出关键词,作为音频文件中的待搜索对象的过程,可以是:电子设备本地或所连接的外接存储设备中,可以预先存储有一个分词数据库,该数据库中可以存储有需要滤除的词,例如可以包括语气助词、人称代词等等。电子设备得到分词之后,可以基于该分词数据库,从所得到的分词中滤除一部分词,例如语气助词和人称代词;将所得到的分词中剩余的分词作为关键词,即作为音频文件中的待搜索对象。
本实现方式中,该预设的语音识别算法可以为相关技术中任一种语音识别算法,本发明实施例并不对预设的语音识别算法进行限定。并且,本发明实施例并不对该预设的分词方法进行限定,凡是可以对汉字串进行分词处理的方法均可以应用于本发明实施例中。举例而言,该预设的分词方法可以为:基于字符串匹配的分词方法,这种方法又叫做机械分词方法,其是按照预定的策略将待分析的汉字串与预设的机器词典中的词条进行匹配,若在机器词典中,找到待分析的汉字串中的某个字串,则确定匹配成功,即从待分析的汉字串识别出一个词。其中,该预设的机器词典种包含多个词条。本实现方式中,该翻译文字即为该待分析的汉字串。
在一种实现方式中,从所述视频文件的音频中,获得语音搜索功能被触发时所对应的音频文件的步骤,可以包括:
获得语音搜索功能被触发时的时间信息,作为触发时间信息;为了描述清楚,后续可以称该语音搜索功能被触发时的触发时间信息为第二触发时间信息;
基于触发时间信息以及预设时长,从视频文件的音频中,确定出语音搜索功能被触发时所对应的音频文件。
其中,上述基于触发时间信息以及预设时长,从视频文件的音频中,确定出语音搜索功能被触发时所对应的音频文件的过程,可以是:从视频文件的音频中,确定出所对应时间信息为该第二触发时间信息的音频,作为第一音频;计算得到第二触发时间信息减去预设时长所得到的时间信息,作为第一时间信息;从视频文件的音频中,确定所对应时间信息为第一时间信息的音频,作为第二音频,将视频文件的音频中该第二音频和第一音频之间的音频,作为语音搜索功能被触发时所对应的音频文件。或者,可以是:从视频文件的音频中,确定出所对应时间信息为该第二触发时间信息的音频,作为第一音频;计算得到第二触发时间信息加上预设时长所得到的时间信息,作为第二时间信息;从视频文件的音频中,确定所对应时间信息为第二时间信息的音频,作为第三音频,将视频文件的音频中该第一音频和第三音频之间的音频,作为语音搜索功能被触发时所对应的音频文件。该第二触发时间信息包括:图像搜索功能被触发时的时间。
一种实现方式中,对音频文件进行语音识别时,难免出现识别错误的情况,后续的,对该识别错误的翻译文字进行分词处理后,所得到的分词中难免存在错误的分词,且难免存在错误的待搜索对象,当用户确定出待搜索对象中存在识别错误的对象时,用户可以对该识别错误的对象进行修改,用户可以触发针对待搜索对象中的第一待搜索对象的修改操作,电子设备接收针对待搜索对象中的第一待搜索对象的修改操作,进而,基于该修改操作对第一待搜索对象进行修改,并展示。
其中,该修改操作可以包括对第一待搜索对象的第二预定操作,以及输入修改后的第一待搜索对象的输入操作,该修改操作可以携带有所需修改的第一待搜索对象的标识以及所需修改的最终结果,即电子设备可以基于该修改操作确定出所需修改的第一待搜索对象,并可以确定出所需修改的最终结果。
其中,该第二预定操作可以包括点击操作、长按操作以及滑动操作。一种情况,为了区分对待搜索对象的搜索指令对应的操作和对待搜索对象的修改操作,该第一预定操作和第二操作不同。
一种实现方式中,所述针对目标搜索对象执行搜索操作的步骤,可以包括:
调用相关联的搜索引擎针对目标搜索对象进行搜索。
本实现方式中,为了能够实现在用户观看视频的同时,响应用户需求,对视频文件中的视频内容的相关信息进行实时搜索的目的,可以预先绑定搜索引擎,预先建立与搜索引擎的关联关系;若电子设备获得对待搜索对象中的目标搜索对象的搜索指令,可以直接调用相关联的搜索引擎针对目标搜索对象进行搜索。一种情况,若实现本发明实施例所提供的信息搜索方法的功能软件,以专门的客户端软件的形式存在时,可以是预先建立该客户端软件与搜索引擎的关联关系。一种实现,可以通过授权的方式,建立该客户端软件与搜索引擎的关联关系,即设置成该客户端软件可以访问该搜索引擎。其中,该搜索引擎与该客户端软件可以安装于同一电子设备中,也可以安装于不同电子设备中。
另一种情况,若实现本发明实施例所提供的信息搜索方法的功能软件,以具有视频播放功能的客户端软件的插件的形式存在时,可以是预先建立该包含该插件的客户端软件与搜索引擎的关联关系。一种实现,可以通过授权的方式,建立该包含该插件的客户端软件与搜索引擎的关联关系,即设置成该包含该插件的客户端软件可以访问该搜索引擎。其中,该搜索引擎与该包含该插件的客户端软件可以安装于同一电子设备中,也可以安装于不同电子设备中。
一种实现,电子设备可以通过调用信息搜索接口的方式,调用相关联的搜索引擎针对目标搜索对象进行搜索。一种情况,电子设备检测到图像搜索功能被触发时和检测到语音搜索功能被触发时,所调用的信息搜索接口可以相同,也可以不同,这都是可以的。例如:电子设备在检测到图像搜索功能被触发时,可以调用图像搜索接口,以调用相关联的搜索引擎针对目标搜索对象进行搜索。电子设备在检测到语音搜索功能被触发时,可以调用语音搜索接口,以调用相关联的搜索引擎针对目标搜索对象进行搜索。
下面以具体实施例对本发明实施例所提供的信息搜索方法进行说明。
示例一:
如图4所示,图4中的“1”为视频文件的播放界面,该视频文件的播放界面的右侧,显示有预设图像搜索功能按键,用户触发该预设图像搜索功能按键之后,可以触发图像搜索功能;电子设备在视频文件的播放过程中,可以实时检测该预设图像搜索功能按键是否被触发;用户点击预设图像搜索功能按键,电子设备则可以检测到图像搜索功能被触发。其中,预设图像搜索功能按键在点击前和点击后可以展示不同的形态。
后续的,电子设备检测到图像搜索功能被触发,获得图像搜索功能被触发时的时间信息,作为第一触发时间信息;从视频文件的视频帧中,获得所对应时间戳信息与该第一触发时间信息最接近的视频帧,作为图像搜索功能被触发时对应的当前视频帧;基于预先建立的目标识别模型,识别该当前视频帧,得到当前视频帧中的待搜索对象及其位置信息;并基于每一待搜索对象对应的位置信息,从当前视频帧中标示出每一待搜索对象,以在视频文件的播放界面上展示待搜索对象。如图4中“2”所示,为从当前视频帧中标示出每一待搜索对象的一种示意图,其中,电子设备从当前视频帧中识别出两个待搜索对象,分别通过矩形框1和矩形框2标示出。
用户点击矩形框1所在区域,则可以触发获得对待搜索对象中的目标搜索对象的搜索指令,电子设备可以获得对待搜索对象中的目标搜索对象的搜索指令,其中,该目标搜索对象为矩形框1所标示的待搜索对象;电子设备针对矩形框1所标示的待搜索对象执行搜索操作;获得针对矩形框1所标示的待搜索对象的搜索结果,并在视频文件的播放界面上,以浮层的形式进行展示。如图4中的“3”所示,在视频文件的播放界面的右侧,展示了针对矩形框1所标示的待搜索对象的搜索结果。其中,该展示搜索结果的展示区域,即浮层区域可以展示有:该针对矩形框1所标示的待搜索对象的标识以及搜索结果。如图4中的“3”所示,该搜索对象的标识为“标识1”,可以包括该待搜索对象所在区域图像以及图像序号等;该待搜索对象的搜索结果可以包括该待搜索对象的相关信息,相关信息可以包括有待搜索对象的名字、相关图片以及相关网页链接等。
用户点击矩形框2所在区域,也可以触发获得对待搜索对象中的目标搜索对象的搜索指令,电子设备可以获得对待搜索对象中的目标搜索对象的搜索指令,其中,该目标搜索对象为矩形框2所标示的待搜索对象;电子设备针对矩形框2所标示的待搜索对象执行搜索操作;获得针对矩形框2所标示的待搜索对象的搜索结果,并在视频文件的播放界面上,以浮层的形式进行展示。如图4中的“4”所示,在视频文件的播放界面的右侧,展示了针对矩形框2所标示的待搜索对象的搜索结果。其中,该展示搜索结果的展示区域可以展示有:该针对矩形框2所标示的待搜索对象的标识以及搜索结果。如图4中的“4”所示,该搜索对象的标识为“标识2”,可以包括该待搜索对象所在区域图像以及图像序号等;该待搜索对象的搜索结果可以包括该待搜索对象的相关信息,相关信息可以包括有待搜索对象的名称、相关图片以及相关网页链接等。
后续的,用户需要结束对该搜索结果的展示时,用户可以点击该视频文件的播放界面中,除展示该搜索结果的区域外的其他区域,以结束对搜索结果的展示。
示例二:
如图5所示,图5中的“1”为视频文件的播放界面,该视频文件的播放界面的右侧,显示有预设语音搜索功能按键,用户触发该预设语音搜索功能按键之后,可以触发语音搜索功能;电子设备在视频文件的播放过程中,可以实时检测该预设语音搜索功能按键是否被触发;用户点击该预设语音搜索功能按键,电子设备则可以检测到语音搜索功能被触发。
后续的,电子设备检测到语音搜索功能被触发,获得语音搜索功能被触发时的时间信息,作为第二触发时间信息;从视频文件的音频中,确定出所对应时间信息为该第二触发时间信息的音频,作为第一音频;计算得到第二触发时间信息减去预设时长所得到的时间信息,作为第一时间信息;从视频文件的音频中,确定所对应时间信息为第一时间信息的音频,作为第二音频,将视频文件的音频中该第二音频和第一音频之间的音频,作为语音搜索功能被触发时所对应的音频文件;基于预设的语音识别算法,对该音频文件进行语音识别,得到音频文件对应的翻译文字;并利用预设的分词方法,对所识别出的翻译文字进行分词处理,得到所识别出的翻译文字对应的分词;进而从所得到的分词中,确定出关键词,作为音频文件中的待搜索对象;在视频文件的播放界面的右侧,以浮层的形式展示待搜索对象。如图5中“2”所示,为在视频文件的播放界面,以浮层的形式,展示待搜索对象的一种示意图,其中,电子设备从音频文件中识别出三个待搜索对象,即图5中“2”所示的“识别到的关键词”,分别为:皇室战争、皇室和战争。
用户点击某一待搜索对象所在区域,如点击“皇室战争”,则可以触发获得对待搜索对象中的目标搜索对象的搜索指令,电子设备可以获得对待搜索对象中的目标搜索对象的搜索指令,其中,该目标搜索对象为“皇室战争”;电子设备针对目标搜索对象“皇室战争”执行搜索操作;获得针对目标搜索对象“皇室战争”的搜索结果,并在视频文件的播放界面上,以浮层的形式进行展示。如图5中的“3”所示,在视频文件的播放界面的右侧,展示了针对目标搜索对象“皇室战争”的搜索结果,其中,其中,该展示搜索结果的展示区域,即浮层区域可以展示有:目标搜索对象“皇室战争”字样及其搜索结果,该展示搜索结果的展示区域即浮层区域,覆盖了展示待搜索对象的浮层区域;该针对目标搜索对象“皇室战争”的搜索结果可以包括目标搜索对象“皇室战争”的相关信息,该相关信息可以包括:该“皇室战争”的相关网页链接。
后续的,用户需要结束对该搜索结果的展示时,用户可以点击该视频文件的播放界面中,除展示该搜索结果的区域外的其他区域,以结束对搜索结果的展示。
其中,该展示搜索结果的展示区域所能展示出的相关信息的条数与实际场景相关,本发明实施例并不作限定。
相应于上述方法实施例,本发明实施例提供了一种信息搜索装置,如图6所示,所述装置可以包括:
第一获得模块610,用于在视频文件的播放过程中,若检测到信息搜索功能被触发,从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容;
识别模块620,用于识别所述视频内容,得到所述视频内容中的待搜索对象;
执行模块630,用于若获得对所述待搜索对象中的目标搜索对象的搜索指令,针对所述目标搜索对象执行搜索操作;
第二获得模块640,用于获得针对所述目标搜索对象的搜索结果;
第一展示模块650,用于在所述视频文件的播放界面上进行展示所述搜索结果。
应用本发明实施例,在视频文件的播放过程中,若检测到信息搜索功能被触发,可以自动对视频文件中的视频内容进行识别,得到待搜索对象,若获得对待搜索对象中的目标搜索对象的搜索指令,自动对待搜索对象执行搜索操作,得到搜索结果,并在视频文件的播放界面上进行展示,可以实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索。并且,本发明实施例中,用户可以通过进行信息搜索功能的触发操作,和对待搜索对象中的目标搜索对象的搜索指令的触发操作,无需再执行退出视频文件的播放界面,并启动其他具有搜索功能的应用程序,并手动输入所需搜索的对象等操作,即可实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索,简化了在用户观看视频的过程中,对所观看视频中的视频内容的相关信息的手动搜索操作,提高用户的观影体验。
在一种实现方式中,所述信息搜索功能为图像搜索功能时,所述第一获得模块610,具体用于从所述视频文件的视频帧中,获得所述图像搜索功能被触发时所对应的当前视频帧;
所述识别模块620,具体用于基于预先建立的目标识别模型,识别所述当前视频帧,得到所述当前视频帧中的待搜索对象及其位置信息,其中,所述目标识别模型为:基于样本图像训练所得的、用于识别图像中所包含的对象的模型;
该装置还包括:
所述第二展示模块,具体用于在所述识别所述视频内容,得到所述视频内容中的待搜索对象之后,基于每一待搜索对象的位置信息,在所述视频文件的播放界面上展示所述待搜索对象。
在一种实现方式中,所述第二展示模块,具体用于基于每一待搜索对象的位置信息,从所述当前视频帧中确定出每一待搜索对象的区域图像;在所述视频文件的播放界面上,展示每一待搜索对象的区域图像,以展示所述待搜索对象。
在一种实现方式中,所述信息搜索功能为语音搜索功能时,所述第一获得模块610,具体用于从所述视频文件的音频中,获得所述语音搜索功能被触发时所对应的音频文件;
所述识别模块620,具体用于对所述音频文件进行语音识别,得到所述音频文件对应的翻译文字;根据所述翻译文字得到所述音频文件中的待搜索对象;
所述装置还包括:
第三展示模块,具体用于在所述识别所述视频内容,得到所述视频内容中的待搜索对象的步骤之后,在所述视频文件的播放界面上展示所述待搜索对象。
本发明实施例还提供了一种电子设备,如图7所示,包括处理器710、通信接口720、存储器730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信,
存储器730,用于存放计算机程序;
处理器710,用于执行存储器730上所存放的程序时,实现本发明实施例所提供的上述任一所述的信息搜索方法步骤。
应用本发明实施例,在视频文件的播放过程中,若检测到信息搜索功能被触发,可以自动对视频文件中的视频内容进行识别,得到待搜索对象,若获得对待搜索对象中的目标搜索对象的搜索指令,自动对待搜索对象执行搜索操作,得到搜索结果,并在视频文件的播放界面上进行展示,可以实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索。并且,本发明实施例中,用户可以通过进行信息搜索功能的触发操作,和对待搜索对象中的目标搜索对象的搜索指令的触发操作,无需再执行退出视频文件的播放界面,并启动其他具有搜索功能的应用程序,并手动输入所需搜索的对象等操作,即可实现在视频文件的播放过程中,对视频文件中视频内容的待搜索对象的搜索,简化了在用户观看视频的过程中,对所观看视频中的视频内容的相关信息的手动搜索操作,提高用户的观影体验。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的信息搜索方法步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的信息搜索方法步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种信息搜索方法,其特征在于,所述方法包括:
在视频文件的播放过程中,若检测到信息搜索功能被触发,从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容;
识别所述视频内容,得到所述视频内容中的待搜索对象;
若获得对所述待搜索对象中的目标搜索对象的搜索指令,针对所述目标搜索对象执行搜索操作;
获得针对所述目标搜索对象的搜索结果,并在所述视频文件的播放界面上进行展示。
2.根据权利要求1所述的方法,其特征在于,所述信息搜索功能为图像搜索功能时,所述从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容的步骤,包括:
从所述视频文件的视频帧中,获得所述图像搜索功能被触发时所对应的当前视频帧;
所述识别所述视频内容,得到所述视频内容中的待搜索对象的步骤,包括:
基于预先建立的目标识别模型,识别所述当前视频帧,得到所述当前视频帧中的待搜索对象及其位置信息,其中,所述目标识别模型为:基于样本图像训练所得的、用于识别图像中所包含的对象的模型;
在所述识别所述视频内容,得到所述视频内容中的待搜索对象之后,所述方法还包括:
基于每一待搜索对象的位置信息,在所述视频文件的播放界面上展示所述待搜索对象。
3.根据权利要求2所述的方法,其特征在于,所述基于每一待搜索对象的位置信息,在所述视频文件的播放界面上展示所述待搜索对象的步骤,包括:
基于每一待搜索对象的位置信息,从所述当前视频帧中确定出每一待搜索对象的区域图像;
在所述视频文件的播放界面上,展示每一待搜索对象的区域图像,以展示所述待搜索对象。
4.根据权利要求1所述的方法,其特征在于,所述信息搜索功能为语音搜索功能时,所述从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容的步骤,包括:
从所述视频文件的音频中,获得所述语音搜索功能被触发时所对应的音频文件;
所述识别所述视频内容,得到所述视频内容中的待搜索对象的步骤,包括:
对所述音频文件进行语音识别,得到所述音频文件对应的翻译文字;
根据所述翻译文字得到所述音频文件中的待搜索对象;
在所述得到所述视频内容中的待搜索对象的步骤之后,所述方法还包括:
在所述视频文件的播放界面上展示所述待搜索对象。
5.一种信息搜索装置,其特征在于,所述装置包括:
第一获得模块,用于在视频文件的播放过程中,若检测到信息搜索功能被触发,从所述视频文件中,获得所述信息搜索功能被触发时所对应的视频内容;
识别模块,用于识别所述视频内容,得到所述视频内容中的待搜索对象;
执行模块,用于若获得对所述待搜索对象中的目标搜索对象的搜索指令,针对所述目标搜索对象执行搜索操作;
第二获得模块,用于获得针对所述目标搜索对象的搜索结果;
第一展示模块,用于在所述视频文件的播放界面上进行展示所述搜索结果。
6.根据权利要求5所述的装置,其特征在于,所述信息搜索功能为图像搜索功能时,所述第一获得模块,具体用于从所述视频文件的视频帧中,获得所述图像搜索功能被触发时所对应的当前视频帧;
所述识别模块,具体用于基于预先建立的目标识别模型,识别所述当前视频帧,得到所述当前视频帧中的待搜索对象及其位置信息,其中,所述目标识别模型为:基于样本图像训练所得的、用于识别图像中所包含的对象的模型;
所述装置还包括:
第二展示模块,具体用于在所述识别所述视频内容,得到所述视频内容中的待搜索对象之后,基于每一待搜索对象的位置信息,在所述视频文件的播放界面上展示所述待搜索对象。
7.根据权利要求6所述的装置,其特征在于,所述第二展示模块,具体用于基于每一待搜索对象的位置信息,从所述当前视频帧中确定出每一待搜索对象的区域图像;在所述视频文件的播放界面上,展示每一待搜索对象的区域图像,以展示所述待搜索对象。
8.根据权利要求5所述的装置,其特征在于,所述信息搜索功能为语音搜索功能时,所述第一获得模块,具体用于从所述视频文件的音频中,获得所述语音搜索功能被触发时所对应的音频文件;
所述识别模块,具体用于对所述音频文件进行语音识别,得到所述音频文件对应的翻译文字;根据所述翻译文字得到所述音频文件中的待搜索对象;
所述装置还包括:
第三展示模块,具体用于在所述视频文件的播放界面上展示所述待搜索对象。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一所述的信息搜索方法步骤。
10.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行一种信息搜索方法,实现如权利要求1-4任一所述的方法步骤。
CN201910417954.5A 2019-05-20 2019-05-20 一种信息搜索方法、装置及电子设备 Pending CN110225387A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910417954.5A CN110225387A (zh) 2019-05-20 2019-05-20 一种信息搜索方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910417954.5A CN110225387A (zh) 2019-05-20 2019-05-20 一种信息搜索方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN110225387A true CN110225387A (zh) 2019-09-10

Family

ID=67821331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910417954.5A Pending CN110225387A (zh) 2019-05-20 2019-05-20 一种信息搜索方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110225387A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688527A (zh) * 2019-09-27 2020-01-14 北京达佳互联信息技术有限公司 视频推荐方法、装置、存储介质及电子设备
CN110717066A (zh) * 2019-10-11 2020-01-21 掌阅科技股份有限公司 基于有声电子书的智能搜索方法及电子设备
CN110909616A (zh) * 2019-10-28 2020-03-24 北京奇艺世纪科技有限公司 一种视频中商品购买信息获取方法、装置及电子设备
CN111147891A (zh) * 2019-12-31 2020-05-12 杭州威佩网络科技有限公司 视频画面中对象的信息的获取方法、装置及设备
CN111314759A (zh) * 2020-03-02 2020-06-19 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及存储介质
CN111475677A (zh) * 2020-04-30 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111726675A (zh) * 2020-07-03 2020-09-29 北京字节跳动网络技术有限公司 对象的信息显示方法、装置、电子设备及计算机存储介质
CN111770380A (zh) * 2020-01-16 2020-10-13 北京沃东天骏信息技术有限公司 一种视频处理方法和装置
CN112015277A (zh) * 2020-09-10 2020-12-01 北京达佳互联信息技术有限公司 信息显示方法、装置及电子设备
CN112163103A (zh) * 2020-09-29 2021-01-01 北京字跳网络技术有限公司 搜索目标内容的方法、装置、电子设备及存储介质
CN112423062A (zh) * 2020-10-30 2021-02-26 深圳Tcl新技术有限公司 视频人物信息显示方法、装置、终端设备及存储介质
CN112699274A (zh) * 2020-12-25 2021-04-23 北京达佳互联信息技术有限公司 一种对象搜索方法、装置及计算机存储介质
CN112738556A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN112752134A (zh) * 2020-07-17 2021-05-04 腾讯科技(深圳)有限公司 视频处理方法和装置、存储介质及电子装置
CN113065018A (zh) * 2021-04-13 2021-07-02 杭州海康威视数字技术股份有限公司 一种音视频的索引库创建和检索方法、装置及电子设备
CN113177139A (zh) * 2021-04-26 2021-07-27 维沃移动通信有限公司 交互方法、装置和电子设备
CN113552977A (zh) * 2020-04-23 2021-10-26 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN113761360A (zh) * 2021-05-27 2021-12-07 腾讯科技(深圳)有限公司 基于视频的物品搜索方法、装置、设备及存储介质
CN115334346A (zh) * 2022-08-08 2022-11-11 北京达佳互联信息技术有限公司 界面显示方法、视频发布方法、视频编辑方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120311639A1 (en) * 2011-06-03 2012-12-06 Sony Corporation Video searching using tv and user interfaces therefor
CN106708905A (zh) * 2015-11-18 2017-05-24 百度在线网络技术(北京)有限公司 视频内容搜索方法和装置
CN106776872A (zh) * 2016-11-29 2017-05-31 暴风集团股份有限公司 根据语音定义语意进行语音搜索的方法及系统
CN107193922A (zh) * 2017-05-16 2017-09-22 腾讯科技(深圳)有限公司 一种信息处理的方法及装置
CN107430620A (zh) * 2015-04-14 2017-12-01 谷歌公司 用于处理与呈现的媒体内容有关的查询的方法、系统和介质
CN108255922A (zh) * 2017-11-06 2018-07-06 优视科技有限公司 视频识别方法、设备、客户端装置、电子设备及服务器
CN108268666A (zh) * 2018-02-26 2018-07-10 北京奇艺世纪科技有限公司 一种搜索方法和装置
CN109218750A (zh) * 2018-10-30 2019-01-15 百度在线网络技术(北京)有限公司 视频内容检索的方法、装置、存储介质和终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120311639A1 (en) * 2011-06-03 2012-12-06 Sony Corporation Video searching using tv and user interfaces therefor
CN107430620A (zh) * 2015-04-14 2017-12-01 谷歌公司 用于处理与呈现的媒体内容有关的查询的方法、系统和介质
CN106708905A (zh) * 2015-11-18 2017-05-24 百度在线网络技术(北京)有限公司 视频内容搜索方法和装置
CN106776872A (zh) * 2016-11-29 2017-05-31 暴风集团股份有限公司 根据语音定义语意进行语音搜索的方法及系统
CN107193922A (zh) * 2017-05-16 2017-09-22 腾讯科技(深圳)有限公司 一种信息处理的方法及装置
CN108255922A (zh) * 2017-11-06 2018-07-06 优视科技有限公司 视频识别方法、设备、客户端装置、电子设备及服务器
CN108268666A (zh) * 2018-02-26 2018-07-10 北京奇艺世纪科技有限公司 一种搜索方法和装置
CN109218750A (zh) * 2018-10-30 2019-01-15 百度在线网络技术(北京)有限公司 视频内容检索的方法、装置、存储介质和终端设备

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688527A (zh) * 2019-09-27 2020-01-14 北京达佳互联信息技术有限公司 视频推荐方法、装置、存储介质及电子设备
US11523170B2 (en) 2019-09-27 2022-12-06 Beijing Dajia Internet Information Technology Co., Ltd. Method for displaying videos, and storage medium and electronic device thereof
CN110717066A (zh) * 2019-10-11 2020-01-21 掌阅科技股份有限公司 基于有声电子书的智能搜索方法及电子设备
CN110909616A (zh) * 2019-10-28 2020-03-24 北京奇艺世纪科技有限公司 一种视频中商品购买信息获取方法、装置及电子设备
CN111147891A (zh) * 2019-12-31 2020-05-12 杭州威佩网络科技有限公司 视频画面中对象的信息的获取方法、装置及设备
CN111770380A (zh) * 2020-01-16 2020-10-13 北京沃东天骏信息技术有限公司 一种视频处理方法和装置
CN111314759A (zh) * 2020-03-02 2020-06-19 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及存储介质
CN113552977A (zh) * 2020-04-23 2021-10-26 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN111475677A (zh) * 2020-04-30 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111726675A (zh) * 2020-07-03 2020-09-29 北京字节跳动网络技术有限公司 对象的信息显示方法、装置、电子设备及计算机存储介质
CN112752134B (zh) * 2020-07-17 2023-09-22 腾讯科技(深圳)有限公司 视频处理方法和装置、存储介质及电子装置
CN112752134A (zh) * 2020-07-17 2021-05-04 腾讯科技(深圳)有限公司 视频处理方法和装置、存储介质及电子装置
CN112015277B (zh) * 2020-09-10 2023-10-17 北京达佳互联信息技术有限公司 信息显示方法、装置及电子设备
CN112015277A (zh) * 2020-09-10 2020-12-01 北京达佳互联信息技术有限公司 信息显示方法、装置及电子设备
CN112163103A (zh) * 2020-09-29 2021-01-01 北京字跳网络技术有限公司 搜索目标内容的方法、装置、电子设备及存储介质
CN112423062A (zh) * 2020-10-30 2021-02-26 深圳Tcl新技术有限公司 视频人物信息显示方法、装置、终端设备及存储介质
CN112423062B (zh) * 2020-10-30 2023-11-10 深圳Tcl新技术有限公司 视频人物信息显示方法、装置、终端设备及存储介质
CN112738556A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN112699274A (zh) * 2020-12-25 2021-04-23 北京达佳互联信息技术有限公司 一种对象搜索方法、装置及计算机存储介质
CN113065018A (zh) * 2021-04-13 2021-07-02 杭州海康威视数字技术股份有限公司 一种音视频的索引库创建和检索方法、装置及电子设备
CN113177139A (zh) * 2021-04-26 2021-07-27 维沃移动通信有限公司 交互方法、装置和电子设备
CN113761360A (zh) * 2021-05-27 2021-12-07 腾讯科技(深圳)有限公司 基于视频的物品搜索方法、装置、设备及存储介质
CN115334346A (zh) * 2022-08-08 2022-11-11 北京达佳互联信息技术有限公司 界面显示方法、视频发布方法、视频编辑方法及装置

Similar Documents

Publication Publication Date Title
CN110225387A (zh) 一种信息搜索方法、装置及电子设备
US10642892B2 (en) Video search method and apparatus
CN103488764B (zh) 个性化视频内容推荐方法和系统
CN106933465B (zh) 一种基于智能桌面的内容显示方法和智能桌面终端
CN103686344B (zh) 增强视频系统及方法
CN106020448B (zh) 基于智能终端的人机交互方法和系统
CN110446063B (zh) 视频封面的生成方法、装置及电子设备
CN109189987A (zh) 视频搜索方法和装置
CN106708905B (zh) 视频内容搜索方法和装置
CN106028160A (zh) 一种图像数据处理方法及其设备
CA2902510C (en) Telestration system for command processing
WO2015054627A1 (en) Methods and systems for aggregation and organization of multimedia data acquired from a plurality of sources
US10360455B2 (en) Grouping captured images based on features of the images
CN113824972B (zh) 直播视频的处理方法、装置、设备及计算机可读存储介质
US20150154718A1 (en) Information processing apparatus, information processing method, and computer-readable medium
CN109471919B (zh) 零代词消解方法及装置
CN106445144A (zh) 一种笔记方法、装置及终端
US20140348400A1 (en) Computer-readable recording medium storing program for character input
CN108256071B (zh) 录屏文件的生成方法、装置、终端及存储介质
CN110309324A (zh) 一种搜索方法及相关装置
CN107291797B (zh) 一种基于页面内容的信息搜索方法
CN113992972A (zh) 一种字幕显示方法、装置、电子设备和可读存储介质
CN114067797A (zh) 一种语音控制方法、装置、设备以及计算机存储介质
CN113869063A (zh) 数据推荐方法、装置、电子设备及存储介质
CN103984415B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910

RJ01 Rejection of invention patent application after publication