CN110825891A - 多媒体信息的识别方法及装置、存储介质 - Google Patents
多媒体信息的识别方法及装置、存储介质 Download PDFInfo
- Publication number
- CN110825891A CN110825891A CN201911051649.5A CN201911051649A CN110825891A CN 110825891 A CN110825891 A CN 110825891A CN 201911051649 A CN201911051649 A CN 201911051649A CN 110825891 A CN110825891 A CN 110825891A
- Authority
- CN
- China
- Prior art keywords
- multimedia information
- information
- terminal
- multimedia
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000011022 operating instruction Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/44—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Abstract
本公开是关于一种多媒体信息的识别方法及装置、存储介质。该方法应用于终端,所述方法包括:检测针对系统级识别组件的第一操作指令;基于所述第一操作指令,通过所述系统级识别组件对获取的多媒体信息进行识别。通过本申请实施例的技术方案,能够通过终端的系统级识别组件,来实现对多媒体信息的识别,实现跨应用的识别功能,扩大了多媒体信息的识别功能的应用范围。
Description
技术领域
本公开涉及信息处理技术,尤其涉及一种多媒体信息的识别方法及装置、存储介质。
背景技术
随着智能设备的普及,人们对于智能设备的功能需求越来越丰富。在很多场景下,用户想要了解对当前听到的歌曲等多媒体信息的名称、来源等信息,因此,一些应用程序提供了多媒体信息的识别的功能,即“听歌识曲”功能。但是,由于该功能往往是音乐播放等应用程序的附加功能,在使用时需要打开具有该功能的应用程序并进行多重操作才能够启动,实时性不足且操作较为复杂。
发明内容
本公开提供一种多媒体信息的识别方法及装置、存储介质。
根据本公开实施例的第一方面,提供一种多媒体信息的识别方法,该方法应用于终端,所述方法包括:
检测针对系统级识别组件的第一操作指令;
基于所述第一操作指令,通过所述系统级识别组件对获取的多媒体信息进行识别。
在一些实施例中,所述检测第一操作指令,包括:
检测作用于显示在系统工具栏中所述系统级识别组件的组件标识的所述第一操作指令。
在一些实施例中,所述方法还包括:
根据检测到的第二操作指令,显示所述系统工具栏;其中,所述系统工具栏独立于当前终端显示的画面单独显示。
在一些实施例中,所述基于所述第一操作指令,通过所述系统级识别组件,对获取的多媒体信息进行识别,包括:
基于所述第一操作指令,通过所述系统级识别组件,提取所述多媒体信息中的特征信息;
根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识。
在一些实施例中,所述多媒体信息包括歌曲信息,所述通过所述系统级识别组件,提取所述多媒体信息中的特征信息,包括:
通过所述系统级识别组件,提取所述歌曲信息中的至少一个音频特征;
所述根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识,包括:
根据所述至少一个音频特征,在指定的多媒体信息库中查找与所述至少一个音频特征相似度大于预设阈值的相似歌曲信息;
根据所述相似歌曲信息,确定所述多媒体信息标识,其中,所述多媒体信息标识包括:歌曲名称。
在一些实施例中,所述方法还包括:
根据终端播放的多媒体文件,从所述多媒体文件的数据中读取所述多媒体信息;或,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息。
在一些实施例中,所述通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息,包括:
在所述终端播放多媒体文件时,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体文件对应的多媒体信息。
根据本公开实施例的第二方面,提供一种多媒体信息的识别装置,该装置应用于终端,所述装置包括:
检测模块,用于检测针对系统级识别组件的第一操作指令;
第一获取模块,用于基于所述第一操作指令,通过系统级识别组件对获取的多媒体信息进行识别。
在一些实施例中,所述检测模块,具体用于:
检测作用于显示在系统工具栏中所述系统级识别组件的组件标识的所述第一操作指令。
在一些实施例中,所述装置还包括:
显示模块,用于根据检测到的第二操作指令,显示所述系统工具栏;其中,所述系统工具栏独立于当前终端显示的画面单独显示。
在一些实施例中,所述第一获取模块,包括:
提取子模块,用于基于所述第一操作指令,通过所述系统级识别组件,提取所述多媒体信息中的特征信息;
查找子模块,用于根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识。
在一些实施例中,所述多媒体信息包括歌曲信息,所述提取子模块,具体用于:
通过所述系统级识别组件,提取所述歌曲信息中的至少一个音频特征;
所述查找子模块,具体用于:
根据所述至少一个音频特征,在指定的多媒体信息库中查找与所述至少一个音频特征相似度大于预设阈值的相似歌曲信息;
根据所述相似歌曲信息,确定所述多媒体信息标识,其中,所述多媒体信息标识包括:歌曲名称。
在一些实施例中,所述装置还包括:
读取模块,用于根据终端播放的多媒体文件,从所述多媒体文件的数据中读取所述多媒体信息;或,
第二获取模块,用于通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息。
在一些实施例中,所述第二获取模块,具体用于:
在所述终端播放多媒体文件时,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体文件对应的多媒体信息。
根据本公开实施例的第三方面,提供一种多媒体信息的识别装置,所述装置至少包括:处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述任一项多媒体信息的识别方法中的步骤。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任一项多媒体信息的识别方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:基于检测到的第一操作指令直接触发系统级识别组件的识别功能,无需通过应用程序来触发识别功能,一方面,在终端的使用过程中,无需打开特定的应用程序,而是通过第一操作指令直接出发系统级识别组件,从而使用户操作更加便捷,方便随时使用;并且,由于上述系统级识别组件基于终端的操作系统来实现识别功能,因此可以实现跨应用的多媒体信息识别,应用范围更广泛;另一方面,由于系统级识别组件不依赖于应用程序,开发和更新的过程都是建立在终端操作系统来实现的,功能更加稳定,无需考虑不同应用程序的设计。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种多媒体信息的识别方法的流程图;
图2是根据一示例性实施例示出的另一种多媒体信息的识别方法的流程图;
图3是根据一示例性实施例示出的一种应用程序的主页面示意图;
图4是根据一示例性实施例示出的一种应用程序的识别功能的页面示意图;
图5是根据一示例性实施例示出的系统工具栏的显示画面示意图;
图6是根据一示例性实施例示出的多媒体信息识别功能的页面示意图;
图7是根据一示例性实施例示出的多媒体信息识别功能的使用效果示意图;
图8是根据一示例性实施例示出的多媒体信息识别功能的另一使用效果示意图;
图9是根据一示例性实施例示出的一种多媒体信息的识别装置的结构框图;
图10是根据一示例性实施例示出的一种多媒体信息的识别装置的实体结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种多媒体信息的识别方法的流程图,如图1所示,该方法应用于终端,包括以下步骤:
步骤S101、检测针对系统级识别组件的第一操作指令;
步骤S102、基于所述第一操作指令,通过所述系统级识别组件对获取的多媒体信息进行识别。
上述系统级识别组件是一种建立在终端系统的功能组件,是属于操作系统的组成部分,不依赖于应用程序。系统级的功能组件可以用来实现终端的参数设置,例如:音量调节、显示屏亮度调节等;也可以用来开启或关闭终端的一些特定功能,例如:摄像功能、蓝牙功能、手电筒功能、Wi-Fi功能等。这里,系统级识别组件则是用于开启或关闭多媒体信息的识别功能的系统级的功能组件。
上述第一操作指令是控制终端触发上述系统级识别组件的功能,对多媒体信息进行识别的指令。该第一操作指令可以是针对系统级识别组件对应的显示标识的触控操作指令,也可以是语音输入、滑动手势输入以及文字输入等输入指令,还可以是对终端上的物理按键的按压操作或触摸操作,例如,长按音量键、连续两次按压home键等操作。
通过上述方法,基于检测到的第一操作指令直接触发系统级识别组件的识别功能,无需通过应用程序来触发识别功能,一方面,使用户操作更加便捷,方便随时使用,且应用范围更广,实现了跨应用的识别功能;另一方面,由于系统级识别组件不依赖于应用程序,开发和更新的过程都是建立在终端操作系统来实现的,功能更加稳定,无需考虑不同应用程序的设计、更新以及兼容等问题。
在一些实施例中,所述检测第一操作指令,包括:
检测作用于显示在系统工具栏中所述系统级识别组件的组件标识的所述第一操作指令。
这里,系统级识别组件具有显示在系统工具栏中的组件标识。系统工具栏显示在终端的显示屏上,其中,系统工具栏中可以包含不同功能的系统级功能组件的组件标识。当检测到作用于系统工具栏中的组件标识的操作指令时,终端对应的系统级功能组件被调用及对应的功能被实现。这里,当检测到上述系统级识别组件的组件标识时,则实现上述多媒体信息的识别功能。
第一操作指令可以是对上述组件标识的触控操作,或者通过操作符号,如鼠标指针的点击操作等。
通过上述方法,将具有多媒体信息识别功能的系统级识别组件对应的组件标识显示在终端的系统工具栏中,更加便于操作。
在一些实施例中,所述方法还包括:
根据检测到的第二操作指令,显示所述系统工具栏;其中,所述系统工具栏独立于当前终端显示的画面单独显示。
上述系统工具栏可以仅在第二操作指令的触发下进行显示。在终端的使用过程中,可以隐藏或关闭上述系统工具栏。在终端已经显示上述系统工具栏的过程中,也可以通过第二操作指令或其他操作指令,如作用于上述系统工具栏中的组件标识的操作指令,来控制上述系统工具栏隐藏或关闭。例如,上述第二操作指令可以是在终端显示屏的一侧的滑动操作,示例性的,可以是由显示屏边缘向内部的滑动操作;而上述将系统工具栏隐藏或关闭的操作可以是由显示屏内部向显示屏边缘的滑动操作;或者,当接收到上述第一操作指令,启动上述识别组件的功能后,自动隐藏或关闭上述系统工具栏。
上述系统工具栏是终端系统级的控制组件对应的工具栏,因此,系统工具栏的显示可以独立于终端当前显示的画面来单独显示。也就是说,无论当前终端显示的画面为桌面还是应用程序画面,或者正在播放视频、图片等的画面,系统工具栏都可以进行单独显示,并且可以以同一种显示模式来进行单独显示。例如,系统工具栏以浮窗的形式悬浮显示在当前终端显示画面上层,或者切换至另一显示画面,如双屏显示的方式来进行显示。
上述系统工具栏在显示时,可以不影响终端显示内容的播放或其他动态效果,也可以暂停当前终端显示内容的播放。例如,当前终端正在播放视频,当系统工具栏启动时,可以继续视频的播放,播放的画面可能被系统工具栏部分或全部遮挡,但不影响视频的播放进度,也不影响对应的音频播放;也可以暂停视频的播放,在系统工具栏重新被隐藏或关闭后,再继续播放当前的视频。
通过上述方法,能够方便地开启系统工具栏,并直观地展示出系统工具栏中的具有各种功能的组件标识,便于根据作用于组件标识的操作指令直接开启相应的系统功能,并且不需要对当前终端的显示内容或应用程序进行操作,不影响应用程序的后续使用。
在一些实施例中,上述步骤S102中,如图2所示,所述基于所述第一操作指令,通过所述系统级识别组件,对获取的多媒体信息进行识别,包括:
步骤S201、基于所述第一操作指令,通过所述系统级识别组件,提取所述多媒体信息中的特征信息;
步骤S202、根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识。
上述多媒体信息库可以为保存在终端的本地的数据库,也可以是服务器中预设的多媒体信息库,还可以是云端各种类型的音乐曲库、视频库等多媒体信息库的总和。多媒体信息库中可以保存各种类型的多媒体信息的完整内容,也可以保存多媒体信息中的特征信息。在通过系统级识别组件进行识别时,可以将待识别的多媒体信息进行处理,提取出其中的特征信息,例如,提取音频信息中的一段音频数据,其中,音频数据可以包括声音频率的变化信息等等。通过上述特征信息,系统级识别组件可以与多媒体信息库中的不同的特征信息进行对比查找,当查找到相似度大于预设阈值的特征信息时,就可以确定出相应的多媒体信息,也就找到了对应的多媒体信息标识,实现了多媒体信息的识别。
上述多媒体信息标识可以是多媒体信息的名称、编号等信息,也可以是多媒体信息的来源,作者等信息。
本公开实施例中基于系统级识别组件实现多媒体信息的识别,这里,示例性地提供了一种通过提取特征信息并在多媒体信息库中进行查找的多媒体信息的识别方法。当然,通过本公开实施例中提供的系统级识别组件,也可以利用其他方法来实现多媒体信息的识别,本公开实施例不做限定。
在一些实施例中,所述多媒体信息包括歌曲信息,所述通过所述系统级识别组件,提取所述多媒体信息中的特征信息,包括:
通过所述系统级识别组件,提取所述歌曲信息中的至少一个音频特征;
所述根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识,包括:
根据所述至少一个音频特征,在指定的多媒体信息库中查找与所述至少一个音频特征相似度大于预设阈值的相似歌曲信息;
根据所述相似歌曲信息,确定所述多媒体信息标识,其中,所述多媒体信息标识包括:歌曲名称。
这里,示例性地提出,上述多媒体信息包括歌曲信息,歌曲信息是音频形式的信息,包括带有旋律、节奏以及歌声等的各种音频信息。上述音频特征可以是一段旋律、一段节奏也可以是声音频率信息、节奏信息、频率变化信息和/或节奏变化信息等等。本实施例通过提取上述至少一个音频特征,并在指定的多媒体信息库中查找带有相似音频特征的歌曲信息,来实现歌曲信息的识别。上述多媒体信息库可以是云端的曲库,也可以是任何带有音频信息的信息库。
通过上述系统识别组件,对歌曲信息进行识别,确定出上述歌曲信息的标识,例如,确定出歌曲名称、歌曲作者、演唱者或歌曲来源等信息,从而实现了“听歌识曲”的功能,使终端更加智能化,提升用户的使用感受。
除了上述歌曲信息的识别方案,本公开实施例中的系统级识别组件还可以用于视频或图片的识别。
例如,上述多媒体信息包括视频信息,带有动态的图像,还可以携带有与图像相对应的音频信息。系统级识别组件通过提取视频信息中的画面,或部分区域的画面,又或者提取视频信息中带有的音频信息中的音频特征作为用于识别的特征信息。然后在多媒体信息库中查找带有这些画面或音频特征的特征信息的多媒体文件,从而识别出当前的多媒体信息属于哪一部影视作品,或者包含有哪些音乐作品的内容。
又如,上述多媒体信息包括图片信息,系统级识别组件可以提取图片中的特征信息,也可以直接将图片信息作为搜索的对象,在多媒体信息库中查找该图片信息,从而确定该图片信息的来源、作者、名称等信息。
在一些实施例中,所述方法还包括:
根据终端播放的多媒体文件,从所述多媒体文件的数据中读取所述多媒体信息;或,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息。
上述待识别的多媒体文件,可以是终端当前播放的多媒体文件,也可以是终端所处的环境中其他设备播放的多媒体文件,还可以是环境中演奏者或歌唱者直接演奏或歌唱的声音信息,以及表演者直接表演的图像信息所形成的多媒体文件。
对于终端自身播放的多媒体文件,可以直接对多媒体文件的数据进行读取,来获得上述多媒体信息,也可以在终端播放的同时,通过终端自身的输入组件来进行多媒体信息的采集。对于环境中的多媒体信息,也可以通过终端自身的输入组件来进行采集。
对于其他设备播放的多媒体文件,可以通过终端的输入组件来采集上述多媒体信息。例如,通过终端的音频输入组件来采集其他设备播放的音频信息,或者,通过终端的图像采集组件来采集其他设备播放的视频信息或图像信息等。然后通过上述系统级识别组件来对采集到的多媒体信息进行识别。
通过上述方法,可以利用终端的系统级识别组件,对终端播放的多媒体文件进行识别,也可以对环境中的多媒体信息进行采集和识别,从而提升了用户的使用感受。
在一些实施例中,所述通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息,包括:
在所述终端播放多媒体文件时,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体文件对应的多媒体信息。
上述是实施例提供了针对终端播放的多媒体文件进行识别的方法,终端播放多媒体文件通常是基于应用程序进行的视频或音频等进行的播放,在播放的过程中,会通过终端的输出组件,如显示屏、扬声器等输出视频或音频信息。
由于终端播放的多媒体文件的数据可能是基于应用程序通过网络获取得到,或者保存在应用程序对应的文件存储位置下。因此,系统级识别组件要获取当前播放的多媒体文件则可能需要一定的权限或者需要终端的系统与应用程序之间存在设定的协议以获知文件存储的路径。这种方式可能不适用于系统级的工具在各种不同的应用程序中的应用,因此,这里采用终端的输入组件,直接通过环境来获取终端的输出组件输出的多媒体信息。
也就是说,终端通过应用程序播放多媒体文件,由终端的输出组件向环境中输出多媒体信息,如声音信息或图像信息等;系统级识别组件再通过终端自身的输入组件来采集这些声音信息或图像信息,而不需要通过应用程序内部的数据来实现多媒体信息的获取。
这样,就能够在终端播放多媒体文件时,通过系统级识别组件直接获取正在播放的多媒体信息,然后进行识别,确定多媒体信息对应的标识等。例如,终端正在播放一个视频片段,用户不知道该片段来源于哪部影视作品,因此通过第一操作指令触发了系统级识别组件。系统级识别组件通过音频输入组件来采集当前播放视频片段中的声音信息,然后在多媒体信息库中进行查找,确定该片段来源的影视作品的名称等信息。又如,当终端正在播放一个视频片段时,触发上述系统级识别组件,通过截屏来获取该视频片段的至少一个或一部分画面,然后在多媒体信息库中查找该画面对应的影视作品,从而确定影视作品的名称等信息。此时,可以通过显示图像、文字或输出语音等方式来告知用户查找到的电影名称。这样,就通过便捷的操作,快速实现了多媒体信息的识别,带来了良好的用户体验,提升了终端的智能性。
在一些实施例中,在启动系统级识别组件后,可以显示另一显示窗口,来展示识别过程,提示信息以及控制按钮等。例如,可以通过控制按钮来控制识别开始和暂停等,在开始识别后,可以进行实时的多媒体信息采集,并同时根据采集到的信息进行识别;在暂停时则暂停多媒体信息的采集,并暂停识别。如果识别到多个符合条件的多媒体文件,则可以列表等形式分别展示在该显示窗口中;如果在预设的时间段内未查找到符合条件的多媒体文件,或者在暂停识别时还未查找到符合条件的多媒体文件,则在该显示窗口中显示提示信息,例如,提示当前多媒体信息无法识别或未找到对应歌曲等。
本公开实施例还提供以下示例:
一些应用程序带有歌曲识别功能,如图3所示,在打开应用程序后,首先展示应用程序的首页,通过点击首页的听歌识曲按钮10进入应用程序的二级页面后可以显示歌曲识别的功能,如图4所示。此外,该功能一般仅用于识别环境外部的声音,而并不针对应用内播放的声音本身。
基于此,本公开实施例提供的技术方案,通过系统级识别组件,在终端播放多媒体文件时直接识别多媒体文件。例如,在手机播放视频、音频或进行网络直播时,直接启动“听歌识曲”功能,对手机播放的内容进行识别,确定播放内容的名称等信息。
由于系统级识别组件建立在终端的操作系统之上,不依赖于应用程序,因此,上述“听歌识曲”功能可以覆盖于各种应用程序的使用场景,包括:视频播放、游戏、购物、直播等场景。
可以将该系统级识别组件的组件标识显示在系统工具栏中,通过浮窗、双屏等方式进行显示,而不受终端当前显示内容或终端当前使用的应用程序的限制。如图5所示,“听歌识曲”功能的组件标识11显示在浮窗12的系统工具栏13内,当接收到作用于该组件标识11的操作指令时,启动该识别功能。如图6所示,启动该识别功能后,在第一小窗口14中显示相应的控制按钮等标识。当接收到控制按钮15的点击指令时,开始识别当前的音频或视频信息。如图7所示,识别出当前播放的多媒体信息后,可以将相应的多媒体文件,例如,识别的歌曲来源的影视作品对应的名称、海报、等相关信息显示在第二小窗口16中。如图8所示,也可以将识别出的多媒体文件,例如歌曲信息17显示在第一小窗口14中,并同时获取歌曲的完整文件或路径,基于响应的播放指令,可以进一步播放完整的歌曲。
因此,上述系统级识别组件可以实现跨应用的使用功能,并且操作便捷,应用范围广泛,并且能够直接对终端正在播放的多媒体信息进行识别,灵活性强,有效提高了用户的使用感受。
图9是根据一示例性实施例示出的一种多媒体信息的识别装置900的结构框图。参照图9,该装置900应用于终端,该装置900包括检测模块901和第一获取模块902。其中,检测模块901,用于检测第一操作指令;
第一获取模块902,用于基于所述第一操作指令,通过系统级识别组件对获取的多媒体信息进行识别。
在一些实施例中,所述检测模块,具体用于:
检测作用于显示在系统工具栏中所述系统级识别组件的组件标识的所述第一操作指令。
在一些实施例中,所述装置还包括:
显示模块,用于根据检测到的第二操作指令,显示所述系统工具栏;其中,所述系统工具栏独立于当前终端显示的画面单独显示。
在一些实施例中,所述第一获取模块,包括:
提取子模块,用于基于所述第一操作指令,通过所述系统级识别组件,提取所述多媒体信息中的特征信息;
查找子模块,用于根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识。
在一些实施例中,所述多媒体信息包括歌曲信息,所述提取子模块,具体用于:
通过所述系统级识别组件,提取所述歌曲信息中的至少一个音频特征;
所述查找子模块,具体用于:
根据所述至少一个音频特征,在指定的多媒体信息库中查找与所述至少一个音频特征相似度大于预设阈值的相似歌曲信息;
根据所述相似歌曲信息,确定所述多媒体信息标识,其中,所述多媒体信息标识包括:歌曲名称。
在一些实施例中,所述装置还包括:
读取模块,用于根据终端播放的多媒体文件,从所述多媒体文件的数据中读取所述多媒体信息;或,
第二获取模块,用于通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息。
在一些实施例中,所述第二获取模块,具体用于:
在所述终端播放多媒体文件时,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体文件对应的多媒体信息。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
图10是根据一示例性实施例示出的一种多媒体信息的识别装置1000的框图。该装置应用于门禁设备中,参照图10,装置1000可以包括以下一个或多个组件:处理组件1001,存储器1002,电源组件1003,多媒体组件1004,音频组件1005,输入/输出(I/O)接口1006,传感器组件1007,以及通信组件1008。
处理组件1001通常控制装置1000的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1001可以包括一个或多个处理器1010来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1001还可以包括一个或多个模块,便于处理组件1001和其他组件之间的交互。例如,处理组件1001可以包括多媒体模块,以方便多媒体组件1004和处理组件1001之间的交互。
存储器1010被配置为存储各种类型的数据以支持在装置1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件1003为装置1000的各种组件提供电力。电源组件1003可以包括:电源管理系统,一个或多个电源,及其他与为装置1000生成、管理和分配电力相关联的组件。
多媒体组件1004包括在所述装置1000和用户之间提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1004包括一个前置图像采集组件和/或后置图像采集组件。当装置1000处于操作模式,如拍摄模式或视频模式时,前置图像采集组件和/或后置图像采集组件可以接收外部的多媒体数据。每个前置图像采集组件和/或后置图像采集组件可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1005被配置为输出和/或输入音频信号。如,音频组件1005包括一个音频采集组件(MIC),当装置1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,音频采集组件被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1010或经由通信组件1008发送。在一些实施例中,音频组件1005还包括一个扬声器,用于输出音频信号。
I/O接口1006为处理组件1001和外围接口模块之间提供接口,上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1007包括一个或多个传感器,用于为装置1000提供各个方面的状态评估。例如,传感器组件1007可以检测到装置1000的打开/关闭状态、组件的相对定位,例如所述组件为装置1000的显示器和小键盘,传感器组件1007还可以检测装置1000或装置1000的一个组件的位置改变,用户与装置1000接触的存在或不存在,装置1000方位或加速/减速和装置1000的温度变化。传感器组件1007可以包括接近传感器,被配置为在没有任何的物理接触时检测附近物体的存在。传感器组件1007还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1007还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件1008被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络,如WiFi、2G或3G,或它们的组合。在一个示例性实施例中,通信组件1008经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1008还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。
在示例性实施例中,装置1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1002,上述指令可由装置1000的处理器1010执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由上述装置的处理器执行时,使得终端能够执行上述实施例中所提供的任一多媒体信息的识别方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (16)
1.一种多媒体信息的识别方法,其特征在于,该方法应用于终端,所述方法包括:
检测针对系统级识别组件的第一操作指令;
基于所述第一操作指令,通过所述系统级识别组件对获取的多媒体信息进行识别。
2.根据权利要求1所述的方法,其特征在于,所述检测第一操作指令,包括:
检测作用于显示在系统工具栏中所述系统级识别组件的组件标识的所述第一操作指令。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据检测到的第二操作指令,显示所述系统工具栏;其中,所述系统工具栏独立于当前终端显示的画面单独显示。
4.根据权利要求1至3任一所述的方法,其特征在于,所述基于所述第一操作指令,通过所述系统级识别组件,对获取的多媒体信息进行识别,包括:
基于所述第一操作指令,通过所述系统级识别组件,提取所述多媒体信息中的特征信息;
根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识。
5.根据权利要求4所述的方法,其特征在于,所述多媒体信息包括歌曲信息,所述通过所述系统级识别组件,提取所述多媒体信息中的特征信息,包括:
通过所述系统级识别组件,提取所述歌曲信息中的至少一个音频特征;
所述根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识,包括:
根据所述至少一个音频特征,在指定的多媒体信息库中查找与所述至少一个音频特征相似度大于预设阈值的相似歌曲信息;
根据所述相似歌曲信息,确定所述多媒体信息标识,其中,所述多媒体信息标识包括:歌曲名称。
6.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
根据所述终端播放的多媒体文件,从所述多媒体文件的数据中读取所述多媒体信息;或,
通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息。
7.根据权利要求6所述的方法,其特征在于,所述通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息,包括:
在所述终端播放多媒体文件时,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体文件对应的多媒体信息。
8.一种多媒体信息的识别装置,其特征在于,该装置应用于终端,所述装置包括:
检测模块,用于检测第一操作指令;
第一获取模块,用于基于所述第一操作指令,通过系统级识别组件对获取的多媒体信息进行识别。
9.根据权利要求8所述的装置,其特征在于,所述检测模块,具体用于:
检测作用于显示在系统工具栏中所述系统级识别组件的组件标识的所述第一操作指令。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
显示模块,用于根据检测到的第二操作指令,显示所述系统工具栏;其中,所述系统工具栏独立于当前终端显示的画面单独显示。
11.根据权利要求8至10任一所述的装置,其特征在于,所述第一获取模块,包括:
提取子模块,用于基于所述第一操作指令,通过所述系统级识别组件,提取所述多媒体信息中的特征信息;
查找子模块,用于根据所述特征信息,在指定的多媒体信息库中查找对应的多媒体信息标识。
12.根据权利要求11所述的装置,其特征在于,所述多媒体信息包括歌曲信息,所述提取子模块,具体用于:
通过所述系统级识别组件,提取所述歌曲信息中的至少一个音频特征;
所述查找子模块,具体用于:
根据所述至少一个音频特征,在指定的多媒体信息库中查找与所述至少一个音频特征相似度大于预设阈值的相似歌曲信息;
根据所述相似歌曲信息,确定所述多媒体信息标识,其中,所述多媒体信息标识包括:歌曲名称。
13.根据权利要求8至10任一所述的装置,其特征在于,所述装置还包括:
读取模块,用于根据终端播放的多媒体文件,从所述多媒体文件的数据中读取所述多媒体信息;或,
第二获取模块,用于通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体信息。
14.根据权利要求13所述的装置,其特征在于,所述第二获取模块,具体用于:
在所述终端播放多媒体文件时,通过所述终端的输入组件,从所述终端所在环境中获取所述多媒体文件对应的多媒体信息。
15.一种多媒体信息的识别装置,其特征在于,所述装置至少包括:处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述权利要求1至7任一项提供的多媒体信息的识别方法中的步骤。
16.一种非临时性计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述权利要求1至7任一项提供的多媒体信息的识别方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911051649.5A CN110825891B (zh) | 2019-10-31 | 2019-10-31 | 多媒体信息的识别方法及装置、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911051649.5A CN110825891B (zh) | 2019-10-31 | 2019-10-31 | 多媒体信息的识别方法及装置、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110825891A true CN110825891A (zh) | 2020-02-21 |
CN110825891B CN110825891B (zh) | 2023-11-14 |
Family
ID=69551633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911051649.5A Active CN110825891B (zh) | 2019-10-31 | 2019-10-31 | 多媒体信息的识别方法及装置、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110825891B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1066595A1 (en) * | 1999-01-29 | 2001-01-10 | Lg Electronics Inc. | Method of searching or browsing multimedia data and data structure |
US6243713B1 (en) * | 1998-08-24 | 2001-06-05 | Excalibur Technologies Corp. | Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types |
US20020069218A1 (en) * | 2000-07-24 | 2002-06-06 | Sanghoon Sull | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
CN1851710A (zh) * | 2006-05-25 | 2006-10-25 | 浙江大学 | 嵌入式多媒体基于关键帧的视频检索的实现方法 |
CN1851709A (zh) * | 2006-05-25 | 2006-10-25 | 浙江大学 | 嵌入式多媒体基于内容的查询和检索的实现方法 |
CN101894170A (zh) * | 2010-08-13 | 2010-11-24 | 武汉大学 | 基于语义关联网络的跨模信息检索方法 |
US20100306193A1 (en) * | 2009-05-28 | 2010-12-02 | Zeitera, Llc | Multi-media content identification using multi-level content signature correlation and fast similarity search |
CN103593356A (zh) * | 2012-08-16 | 2014-02-19 | 丁瑞彭 | 基于多媒体信息指纹技术的信息搜索方法、系统和应用 |
CN104484651A (zh) * | 2014-12-12 | 2015-04-01 | 苏州金脑袋智能系统工程有限公司 | 人像动态对比方法及系统 |
CN105900094A (zh) * | 2014-01-15 | 2016-08-24 | 微软技术许可有限责任公司 | 自动化多媒体内容识别 |
US20170178681A1 (en) * | 2015-12-21 | 2017-06-22 | Invensense, Inc. | Music detection and identification |
US20180089203A1 (en) * | 2016-09-23 | 2018-03-29 | Adobe Systems Incorporated | Providing relevant video scenes in response to a video search query |
CN108334272A (zh) * | 2018-01-23 | 2018-07-27 | 维沃移动通信有限公司 | 一种控制方法及移动终端 |
CN108509620A (zh) * | 2018-04-04 | 2018-09-07 | 广州酷狗计算机科技有限公司 | 歌曲识别方法及装置、存储介质 |
CN109165302A (zh) * | 2018-07-27 | 2019-01-08 | 腾讯科技(深圳)有限公司 | 多媒体文件推荐方法及装置 |
CN109829061A (zh) * | 2019-01-14 | 2019-05-31 | 北京雷石天地电子技术有限公司 | 一种多媒体信息查找方法及系统 |
CN110222224A (zh) * | 2019-06-06 | 2019-09-10 | 广州酷狗计算机科技有限公司 | 识别歌曲信息的方法、装置和系统 |
-
2019
- 2019-10-31 CN CN201911051649.5A patent/CN110825891B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243713B1 (en) * | 1998-08-24 | 2001-06-05 | Excalibur Technologies Corp. | Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types |
EP1066595A1 (en) * | 1999-01-29 | 2001-01-10 | Lg Electronics Inc. | Method of searching or browsing multimedia data and data structure |
US20020069218A1 (en) * | 2000-07-24 | 2002-06-06 | Sanghoon Sull | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
CN1851710A (zh) * | 2006-05-25 | 2006-10-25 | 浙江大学 | 嵌入式多媒体基于关键帧的视频检索的实现方法 |
CN1851709A (zh) * | 2006-05-25 | 2006-10-25 | 浙江大学 | 嵌入式多媒体基于内容的查询和检索的实现方法 |
US20100306193A1 (en) * | 2009-05-28 | 2010-12-02 | Zeitera, Llc | Multi-media content identification using multi-level content signature correlation and fast similarity search |
CN101894170A (zh) * | 2010-08-13 | 2010-11-24 | 武汉大学 | 基于语义关联网络的跨模信息检索方法 |
CN103593356A (zh) * | 2012-08-16 | 2014-02-19 | 丁瑞彭 | 基于多媒体信息指纹技术的信息搜索方法、系统和应用 |
CN105900094A (zh) * | 2014-01-15 | 2016-08-24 | 微软技术许可有限责任公司 | 自动化多媒体内容识别 |
CN104484651A (zh) * | 2014-12-12 | 2015-04-01 | 苏州金脑袋智能系统工程有限公司 | 人像动态对比方法及系统 |
US20170178681A1 (en) * | 2015-12-21 | 2017-06-22 | Invensense, Inc. | Music detection and identification |
US20180089203A1 (en) * | 2016-09-23 | 2018-03-29 | Adobe Systems Incorporated | Providing relevant video scenes in response to a video search query |
CN108334272A (zh) * | 2018-01-23 | 2018-07-27 | 维沃移动通信有限公司 | 一种控制方法及移动终端 |
CN108509620A (zh) * | 2018-04-04 | 2018-09-07 | 广州酷狗计算机科技有限公司 | 歌曲识别方法及装置、存储介质 |
CN109165302A (zh) * | 2018-07-27 | 2019-01-08 | 腾讯科技(深圳)有限公司 | 多媒体文件推荐方法及装置 |
CN109829061A (zh) * | 2019-01-14 | 2019-05-31 | 北京雷石天地电子技术有限公司 | 一种多媒体信息查找方法及系统 |
CN110222224A (zh) * | 2019-06-06 | 2019-09-10 | 广州酷狗计算机科技有限公司 | 识别歌曲信息的方法、装置和系统 |
Non-Patent Citations (4)
Title |
---|
ITUMBLEDSEA: "iOS 比你想象更强大:使用 iOS 8 的 Siri 听音辨曲 - 少数派", 《HTTPS://SSPAI.COM/POST/27036》, 10 October 2014 (2014-10-10), pages 1 - 3 * |
ITUMBLEDSEA: "iOS 比你想象更强大:使用 iOS 8 的 Siri 听音辨曲 - 少数派", pages 1 - 3 * |
吕紫东;: "基于内容的视频检索", 现代计算机(专业版), no. 01, pages 53 - 56 * |
薛向阳;: "基于内容的多媒体和跨媒体信息检索技术", 世界科学, no. 12, pages 23 - 24 * |
Also Published As
Publication number | Publication date |
---|---|
CN110825891B (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11206448B2 (en) | Method and apparatus for selecting background music for video shooting, terminal device and medium | |
CN105845124B (zh) | 音频处理方法及装置 | |
CN106024009B (zh) | 音频处理方法及装置 | |
RU2666966C2 (ru) | Способ и прибор управления для воспроизведения аудио | |
CN112752047A (zh) | 视频录制方法、装置、设备及可读存储介质 | |
CN110929054B (zh) | 多媒体信息应用界面显示方法及装置、终端、介质 | |
WO2016165325A1 (zh) | 音频信息识别方法及装置 | |
CN110602394A (zh) | 一种视频拍摄方法、装置及电子设备 | |
CN109413478B (zh) | 视频编辑方法、装置、电子设备及存储介质 | |
CN110110315B (zh) | 待办项管理方法和装置 | |
CN113411516B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN108962220A (zh) | 多媒体文件播放场景下的文本显示方法及装置 | |
CN107229403B (zh) | 一种信息内容选择方法及装置 | |
CN105447109A (zh) | 关键字词搜索方法及装置 | |
CN108334623B (zh) | 歌曲的显示方法、装置和系统 | |
CN107870712A (zh) | 一种截图处理方法及装置 | |
CN104461348A (zh) | 信息选取方法及装置 | |
CN112068711A (zh) | 一种输入法的信息推荐方法、装置和电子设备 | |
CN107147957A (zh) | 视频播放方法和装置 | |
CN108803892B (zh) | 一种在输入法中调用第三方应用程序的方法和装置 | |
CN111061452A (zh) | 用户界面的语音控制方法和装置 | |
CN111629270A (zh) | 一种候选项确定方法、装置及机器可读介质 | |
CN105740356B (zh) | 一种对目标音频进行标记的方法和装置 | |
CN108491535B (zh) | 信息的分类存储方法及装置 | |
CN106060253B (zh) | 信息呈现的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |