CN106777066B - 一种图像识别匹配媒体文件的方法和装置 - Google Patents

一种图像识别匹配媒体文件的方法和装置 Download PDF

Info

Publication number
CN106777066B
CN106777066B CN201611140023.8A CN201611140023A CN106777066B CN 106777066 B CN106777066 B CN 106777066B CN 201611140023 A CN201611140023 A CN 201611140023A CN 106777066 B CN106777066 B CN 106777066B
Authority
CN
China
Prior art keywords
media file
item
matching
articles
media files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611140023.8A
Other languages
English (en)
Other versions
CN106777066A (zh
Inventor
何坚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201611140023.8A priority Critical patent/CN106777066B/zh
Publication of CN106777066A publication Critical patent/CN106777066A/zh
Application granted granted Critical
Publication of CN106777066B publication Critical patent/CN106777066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/436Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像识别匹配媒体文件的方法和设备,其特征在于包括以下步骤:驱动摄像设备获取待识别图像;识别所述图像中包含的至少一个物品;确定与所述物品相匹配的媒体文件;播放已确定的所述媒体文件。应用本发明所述的方法和设备,用户只需对想要了解的物品进行简单拍照操作,设备便可以为用户提供与该物品相关的媒体文件,具有极强的趣味性和学习性。

Description

一种图像识别匹配媒体文件的方法和装置
技术领域
本发明涉及一种图像识别的方法和使用此方法的装置,更具体地,涉及一种图像识别匹配媒体文件的方法和装置。
背景技术
智能可穿戴设备是将人“物联网化”的重要一环,也是大数据时代,除了手机外收集用户各项数据的重要终端。智能设备发展速度日新月异,当智能手机已经基本普及之后,可穿戴智能设备则成为电子产品消费中的一个新热点。随着智能家居等一系列借助网络连接的智能生态系统逐渐成型,智能可穿戴设备作为离人最近的智能设备,在担负起用户数据收集的任务同时,更多的将会扮演一个控制终端的角色。尽管如此,就目前来看智能可穿戴设备功能技术层面还处于较初级的阶段,以智能手表为例,常见的智能手表除了传统的通话定位等功能外没有更多的新兴技术融入。
智能可穿戴设备作为一种便携的设备,当用户在一个场景中接触到新鲜事物,需要对所述事物进一步探索,扩展或学习,怎样及时的通过可穿戴设备获取该物品的信息以获得更多资源,尤其是在所述可穿戴设备小型化需要低功耗的要求的前提下,如何实现上述需求是目前可穿戴领域的难题。
以智能可穿戴设备中最为常见也是发展最为迅速的智能手表为例,儿童是智能手表的主要用户群体之一,从用户体验的角度,考虑到儿童的语言表述能力以及技术搜索手段有限,如何通过简单的指令与智能手表实现人机交互,使儿童获取更多的乐趣,并且在体验乐趣中得到智力的开发与想象力的培养,是所有此领域研发人员探索的方向。因此,有必要为相关技术难题的解决提供可供业内延伸发展的基础方案。
发明内容
鉴于上述问题,本发明提出了一种用于图像识别匹配媒体文件的方法和相应的装置,其在图像采集完成后通过调用匹配媒体文件,供用户参考和学习。
根据本发明的第一方面,本发明提供一种图像识别匹配媒体文件的方法,包括以下步骤:驱动摄像设备获取待识别图像;识别所述图像中包含的至少一个物品;确定与所述物品相匹配的媒体文件;播放已确定的所述媒体文件。
优选的,所述摄像设备被驱动按顺序获取多张所述的待识别图像,多张所述的待识别图像被分别识别出相应的物品,按照所述多个物品对应的多张待识别图像的获取顺序确定所述媒体文件,且所确定出的媒体文件包含按所述获取顺序出场的所述多个物品相关情节。
进一步,每个所述媒体文件配备有与其情节相关的物品及其出场顺序的描述信息,通过将所述获取顺序与该描述信息进行比较,确定与所述描述信息相对应的媒体文件为与所述物品相匹配的媒体文件。
优选的,所述确定与所述物品相匹配的媒体文件步骤中:根据用户设定选择包含所述图像中最多物品的媒体文件为所需的媒体文件或选择先识别的物品对应的媒体文件为所需的媒体文件。
优选的,在预设数据库中查找相匹配的媒体文件,包括如下步骤:在按照物品分类构建的目录结构中定位该物品相对应的目录标签;在该目录标签对应的目录下,获取相对应的媒体文件。
优选的,当所述物品为一个且末级分类的目录标签中未检索到与所述物品相匹配的媒体文件时,确定与所述物品相同上一级目录中其他末级分类的目录标签下的媒体文件。
优选的,所述识别所述图像中包含的至少一个物品的步骤包括:提取所述图像的至少一个物品的特征;将所述物品特征与模型数据库内的物品模型匹配,识别所述物品。
根据本发明的第二方面,本发明提供一种图像识别匹配媒体文件的装置,其特征在于,包括:采集模块,用于获取待识别图像;识别模块,用于识别所述图像中包含的至少一个物品;匹配模块,用于确定与所述物品相匹配的媒体文件;播放模块,用于播放已确定的所述媒体文件。
根据本发明的第三方面,本发明提供一种用于图像识别匹配媒体文件的智能手表,其特征在于,包括:摄像装置,用于拍摄图像;微控制单元,用于识别图像中包含的物品,并将识别到的物品与云端存储器内的媒体文件中包含的物品进行匹配;输出单元,用于播放匹配成功的媒体文件。
优选的,所述智能手表包括心率脉搏传感器,所述心率脉搏传感器用以检测用户心跳频率,所述微控制单元通过分析采集到的心跳频率判断用户的情绪,控制对所述媒体文件的播放或终止播放。
相对于现有技术,基于本发明提供的一种图像识别匹配媒体文件的方法和设备,当用户在一个场景中接触到新鲜事物,需要对物品进一步探索,扩展或学习时,用户只需要驱动摄像设备获取所述物品的图像,设备就可以识别所述图像中包含的物品并确定与所述物品相匹配的媒体文件,供用户学习和参考,整个流程操作简单;所述终端设备与服务器配合完成图像识别匹配媒体文件的工作,有利于将所述终端设备涉及到小型可穿戴设备,不仅可以小型化所述终端设备同时实现低功耗的需求。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种实施例的图像识别匹配媒体文件的方法的流程图;
图2为本发明另一种实施例的图像识别匹配媒体文件的方法的流程图;
图3为本发明一种实施例的用于图像识别匹配媒体文件的装置的构成示意图;
图4为本发明另一种实施例的用于图像识别匹配媒体文件的装置的构成示意图;
图5为本发明一种实施例的用于图像识别匹配媒体文件的智能手表的构成示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S101、S102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
在介绍本发明具体实施方式前,有必要对本发明相关的服务器系统做简要说明。
互联网中,一般包括用户端(用户终端设备)、网络和服务器(如网站的Web服务器等)。其中用户端可以是用户的互联网终端设备,如台式机(PC)、膝上型计算机(Laptop),带有网页浏览功能的智能型设备,如个人数字助理(PersonalDigitalAssisstant,PDA),以及移动互联网设备(Mobile Internet Device,MID)和智能手机(Phone)等。这些终端设备都可以在互联网环境中,典型的如英特网环境中,请求由另一进程(如服务器提供的进程)提供某项服务。服务器通常是可通过互联网等通信媒介,典型的如英特网访问的远程计算机系统。而且,服务器通常可以为来自互联网的多个用户端提供服务。提供服务过程包括接收用户端发来的请求,收集用户端情报和反馈信息等。实质上,服务器充当计算机网络的信息提供者这一角色。
服务器通常位于提供服务的一方,或由服务提供方配置以服务内容,这样的服务提供方可以如互联网服务公司的网站等。云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种图像识别匹配媒体文件的方法,如图1和图2所述,其特征在于包括以下步骤:
S101:驱动摄像设备获取待识别图像。
用户通过驱动摄像设备,拍摄周边物品,可以包括照片或者视频,待识别图像指所拍摄的照片或视频中的一帧或多帧图像。例如当用户在动物园拍摄一张天鹅的照片或者一段天鹅在池塘嬉戏的视频,所述待识别图像即包含天鹅的照片或视频中包含天鹅的一帧图像。
S102:识别所述图像中包含的至少一个物品。将上步获取的待识别图像进行处理识别,识别出图像中包含的物品。具体可以采取以下步骤:
S1021:提取所述图像的至少一个物品的特征。
对在所述S101步骤中获取的图像中的物品进行特征提取,提取的方式可以是提取所述图像的中物品的点、线、面特征,纹理特征,形状特征,颜色特征,统计特征中的一种或多种。以上述包含天鹅的图像为例,所述天鹅即为所述图像中的一个物品,此处针对所述天鹅进行特征提取,以上述提取方式为颜色特征和形状特征提取为例,即提取天鹅外部形状以及灰度值。所述图像可以是一张照片,此处提取一张照片中的多个物品特征;也可以是多张照片,此处提取多张照片中的多个物品特征。
S1022:将所述物品特征与数据库内的物品模型匹配。
所述数据库可以包括终端设备的存储单元或者服务器的云存储器。当数据模型存储于终端设备,上述提取的物品特征指通过内部程序直接在所述存储单元进行查找匹配;当数据存储于云存储器,需要将提取的物品特征上传服务器并通过服务器系统执行终端设备发出的匹配指令。此处匹配过程可以采用模糊匹配和精确匹配相结合的匹配方式,即先进行模糊匹配找出与所述物品特征所匹配的一类物品,再进行精确匹配确定所述物品特征对应的一个物品,以便加快匹配速度。以上述提取到天鹅的物品特征为例,首先进行模糊匹配,可以确定该物品特征对应的为一部分鸟类或禽类,再通过精确匹配确定所述物品特征对应的物品为天鹅。
S1023:通过识别匹配成功的物品模型识别出所述物品。
在上述模型匹配中,将匹配成功的模型进行提取以得到具体物品名称,例如在S1022中对天鹅的形状特征和颜色特征分别进行匹配,在匹配到天鹅的模型后,通过调取模型的名称确认出物品为天鹅。
S103:确定与所述物品相匹配的媒体文件。
所述媒体文件包括文本,音频,视频。由于媒体文件数据较大,此处存储器优选为云存储器。
作为一种实施例,所述媒体文件根据包含关键物品的不同分别存于不同的目录结构中,所述目录结构依据所述媒体文件所包含的物品构建有两级以上的分类,每级分类赋予一个相应的目录标签,例如在存储器中以人物、动物、植物、自然风景等作为大标签建立不同的主目录。在相同主目录下,以物品名称作为小标签建立不同的子目录,根据媒体文件包含的物品名称存储于对应的主目录和子目录中,例如在动物为大标签的主目录中,有设有以哺乳类,鸟类,鱼类等小标签建立的子目录。(所述分类存储工作可以是通过人工分类进行的存储,而且是不断积累更新的结果)媒体文件依其包含的物品所属的一个或多个末级分类对应存储于一个或多个相应的目录标签的相应路径处,即当一个媒体文件包含多个物品具有不同的大标签或小标签,此媒体文件可重复存储于不同主目录和子目录中。例如上述天鹅相关的媒体文件同时存储在动物主目录下的鸟类子目录中。此时按照识别出的所述物品名称在相应的目录中查找相应的媒体文件。
作为一种实施例,所述摄像设备被驱动按顺序获取多张所述的待识别图像,多张所述的待识别图像被分别识别出相应的物品,按照所述多个物品对应的多张待识别图像的获取顺序确定所述媒体文件,且所确定出的媒体文件包含按所述获取顺序出场的所述多个物品相关情节。每个所述媒体文件配备有与其情节相关的物品及其出场顺序的描述信息,通过将所述获取顺序与该描述信息进行比较,确定与所述描述信息相对应的媒体文件为与所述物品相匹配的媒体文件。例如,拍摄了多张照片,第一张照片里的物品为猫,第二张照片中的物品为蝴蝶,第三张照片中的物品为蜻蜓;确定所述媒体文件为“小猫钓鱼”的故事:“小猫去钓鱼,一会儿捉蝴蝶,一会儿捉蜻蜓”。
确定与所述物品相匹配的媒体文件S103,具体可以采取以下步骤:
S1031:在媒体文件数据库搜索与所述物品相关的媒体文件。
在按照物品分类构建的目录结构中定位该物品相对应的目录标签,进行搜索。按照预定模式在上述目录标签对应的目录下查找并确定所述物品相匹配的媒体文件,获取相对应的媒体文件。同样以上述天鹅的图像为例,通过查找匹配到童话故事《丑小鸭》或诗歌《鹅鹅鹅》等,预定模式为优先播放诗歌,则选择诗歌《鹅鹅鹅》作为确定匹配的媒体文件。
作为优选的,若在媒体文件数据库搜索到一个以上的与所述物品相关的媒体文件,选择包含所述图像中最多物品的媒体文件为所需的媒体文件,例如上述图片中除了天鹅还有鸭等物品,则选择包含物品最多的媒体文件,即选择《丑小鸭》作为确定匹配的媒体文件。
作为优选的,若在媒体文件数据库搜索到一个以上的与所述物品相关的媒体文件,选择先识别的物品对应的媒体文件为所需的媒体文件。例如拍摄的多张照片识别出不同的物品,多个物品匹配到多个媒体文件,按照照片拍摄的先后顺序,选择先拍的照片包含的物品对应的媒体文件为所需的媒体文件。
可以理解的,所述选择包含所述图像中最多物品的媒体文件、所述选择先识别的物品对应的媒体文件以及所述按照预定模式选择媒体文件可以通过系统设置三种方式的优先级。
作为一种实施例,当在所述数据库中未检索到与所述物品相匹配的媒体文件时,根据用户的预先设置,选择是否确定与所述物品相同目录下的媒体文件。例如所述数据库里不包括天鹅的媒体文件,根据用户预先的设置,可以选取包括大雁的媒体文件。
作为一种实施例,当所述物品为多个且所述数据库中没有匹配成功的媒体文件,在网络中抓取单一物品对应的媒体文件,将多个媒体文件按照预定的逻辑关系整合作为确定的媒体文件。例如,在网络中抓取的多个媒体文件中具有同一物品在不同时期的两种状态,可根据此物品时间上的变化排列所述多个媒体文件,将其整合在一起。
作为一种实施例,当所述物品为多个且所述数据库中没有匹配成功的媒体文件,将所述多个物品按照预定的逻辑关系整合,在网络中抓取具有相同逻辑关系的媒体文件作为确定的媒体文件。例如,识别的物品包括动物和植物,可以根据他们之间的食物链关系或竞争关系将其组合,在网络资源中抓取具有相同关系的媒体文件。
S1032整理与所述物品相匹配的媒体文件。
按照预定格式对所述媒体文件进行整理,通过服务器向终端设备发送包含经整理的媒体文件的内容展示请求,以在所述终端设备播放所述经整理的媒体文件。例如所述终端设备音频播放器可以播放mp3格式的音频文件或者视频播放器可以播放avi格式的视频文件,则按上述格式进行优先选择,若不符合预定格式还可以进行格式转换。
S104:播放已确定的所述媒体文件。
将上一步确定并整理后的媒体文件,在终端设备进行播放。例如上述确定的媒体文件为通话故事《丑小鸭》,可以根据用户的选择,播放以该童话故事为题材的动漫视频文件或者播放该童话故事的音频文件。
其本发明实施例还提供了与上述方法相结合的装置20,20’,如图3和图4所述,其特征在于,包括:采集模块21,用于采集图像;提取模块22,用于提取图像中至少一物品特征;识别模块23,用于将物品特征与存储器内的模型匹配,识别出图像中的物品;匹配模块24,用于在存储器检索所述物品匹配的媒体文件;播放模块25,用于播放检索到的媒体文件。
请参照图3,所述装置20包括终端设备201和服务器202。所述终端设备201包含所述采集模块21,提取模块22以及所述播放模块25;所述服务器202包括所述识别模块23和所述匹配模块24。所述终端设备201通过所述采集模块21采集待识别图像,通过所述提取模块22提取所述图像中包含的至少一个物品的特征,并将提取的物品特征上传至服务器202;所述服务器202通过所述识别模块23识别所述物品,通过所述匹配模块24在云储存中检索并确定与所述物品相匹配的媒体文件,并将确定的媒体文件发送到所述终端设备201;所述终端设备201接收到所述媒体文件通过所述播放模块25播放所述媒体文件。
请参照图4,所述装置20’包括终端设备201’和服务器202’。所述终端设备201’包含所述采集模块21和所述播放模块25;所述服务器202’包括所述提取模块22,所述识别模块23和所述匹配模块24。所述终端设备201’通过所述采集模块21采集待识别图像,并将采集的待识别图像上传至服务器202’;所述服务器202’通过所述提取模块22提取所述图像中包含的至少一个物品的特征,通过所述识别模块23识别所述物品,通过匹配模块24在云储存中检索并确定与所述物品相匹配的媒体文件,并将确定的媒体文件发送到所述终端设备201’;所述终端设备201’接收到所述媒体文件通过所述播放模块25播放所述媒体文件。
作为一种实施例,所述装置20,20’还包括逻辑整合模块(未图示),所述逻辑整合模块用以将多个物品按照对应的多张待识别图像的获取顺序进行逻辑整合,确定媒体文件中与其情节相关的物品及其出场顺序的描述信息符合所述整合逻辑的媒体文件为与所述物品相匹配的媒体文件。
作为一种实施例,所述装置20,20’还包括选择模块(未图示),所述选择模块用以根据用户设定选择包含所述图像中最多物品的媒体文件为所需的媒体文件或选择先识别的物品对应的媒体文件为所需的媒体文件。
作为一种实施例,所述装置20,20’还包括第一搜索模块(未图示)和第一整合模块(未图示),当所述物品为多个且所述数据库中没有匹配成功的媒体文件,所述第一搜索模块用以在网络中抓取单一物品对应的媒体文件,所述第一整合模块用以将多个媒体文件按照预定的逻辑关系整合作为确定的媒体文件。
作为一种实施例,所述装置20,20’还包括第二搜索模块(未图示)和第二整合模块(未图示),当所述物品为多个且所述数据库中没有匹配成功的媒体文件,所述第二整合模块将所述多个物品按照预定的逻辑关系整合,所述第二搜索模块用以在网络中抓取具有相同逻辑关系的媒体文件作为确定的媒体文件。
为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端设备201、201’可以为包括智能手表,智能手环,智能眼镜等任意终端设备,以终端为智能手表30为例:
图5示出的是与本发明实施例提供的智能终端设备相关的智能手表30的部分结构的框图。下面结合图5对智能手表30的各个构成部件进行具体的介绍:
本发明提供一种用于图像识别匹配媒体文件的智能手表30,其特征在于,包括:微控制单元31、存储器32、摄像装置33、WiFi模块34、通讯模块35、输入单元36、输出单元37、心率脉搏传感器38、定位模块39以及电源40。
微控制单元31(MCU)是智能手表30的控制中心,利用各种接口和线路连接整个智能手表30的各个部分,通过运行或执行存储在存储器32内的软件程序和/或模块,以及调用存储在存储器32内的数据,执行智能手表30的各种功能和处理数据,从而对智能手表30进行整体监控。可选的,微控制单元31可包括一个或多个处理单元;优选的,微控制单元31可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到微控制单元31中。
摄像装置33,用于拍摄图像。所述摄像装置33指摄像头和相关电路模块,所述输出单元37通过所述为控制单元31控制,实时显示所述摄像头采集到的照片或视频的预览图像。
WiFi模块34,智能手表30主要通过所述WiFi模块34与服务器形成数据交换,同时为用户提供了无线的宽带互联网访问。虽然图5针对无线传输功能的模块只示出了WiFi模块34,但是可以理解的是,此处其他具有连接无线网络功能的模块同样适用。
通讯模块35,所述通讯模块35为GMS通讯模块,除了常用的拨打电话和收发信息基本功能外,主要用来配合上述WiFi模块34实现网络连接,在没有WiFi信号的情况下,连接GPRS网络,同样可以实现智能手表30与服务器之间的数据交换。
输入单元36可用于接收输入的数字或字符信息,以及产生与智能手表30的用户设置以及功能控制有关的键信号输入。具体地,输入单元36可包括触控面板361以及其他按键362。触控面板361,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板361上或在触控面板361附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板361可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给微控制单元31,并能接收微控制单元31发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板361。除了触控面板361,输入单元36还可以包括按键362。具体地,按键362可以包括但不限于音量控制按键、开关按键、拍照按键等中的一种或多种。
输出单元37包括音频播放模块371和视频播放模块372。所述音频播放模块371包括音频电路3711、扬声器3712和传声器3713。音频电路3711可将接收到的音频数据转换后的电信号,传输到扬声器3712,由扬声器3712转换为声音信号输出;另一方面,传声器3713将收集的声音信号转换为电信号,由音频电路3711接收后转换为音频数据,再将音频数据输出微控制单元31进一步处理。所述视频播放模块372包括显示屏3721或投影模块3722。可选的,所述显示屏3721可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式,所述显示屏3721可以用来显示文字或显示较小分辨率的图像;当所述视频文件较大时,所述投影模块3722播放所述媒体文件的视频文件。进一步的,触控面板361可覆盖显示屏3721,当触控面板361检测到在其上或附近的触摸操作后,传送给微控制单元31以确定触摸事件的类型,随后微控制单元31根据触摸事件的类型在显示屏3721上提供相应的视觉输出。虽然在图5中,触控面板361与显示屏3721是作为两个独立的部件来实现智能手表30的输入和输入功能,但是在某些实施例中,可以将触控面板361与显示屏3721集成而实现智能手表30的输入和输出功能。
所述心率脉搏传感器38通过检测用户脉搏得到用户心跳频率,所述微控制单元31通过分析采集到的心跳频率判断用户的情绪,控制对所述媒体文件进行播放或终止播放。智能手表30还可包括其他类型传感器,比如光传感器、运动传感器、重力传感器等。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏3721的亮度。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于振动识别相关功能(比如计步器、敲击)等。
定位模块39用于将所述智能手表30定位。所述定位模块39优选的是GPS模块,是集成了RF射频芯片、基带芯片和核心CPU,并加上相关外围电路而组成的一个集成电路。智能手表30通过GPS模块可以对用户所在位置进行定位。作为定位模块,虽然只介绍了GPS模块,但由于考虑GPS信号在室内,隧道,建筑物遮挡等条件下信号较弱定位不准确,可以将基站定位、WiFi定位和重力感应定位等多种定位技术相互结合,以弥补GPS定位的不足。
智能手表30还应包括给各个部件供电的电源40(比如电池),优选的,电源40可以通过电源管理系统与微控制单元31逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,智能手表30还可以配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
通常智能手表30由于电池40容量的限制,不可能完成大量的计算,也不可能去进行这些大规模的搜索和比较。所以,更多的模型匹配运算,和查找媒体文件的工作,是由云端服务器完成的。智能手表30在这种情况底下,通常是采集照片提取物品特征后上传所述物品特征,或者采集照片直接上传采集图像,以及接收云端服务器下行的最终匹配结果的媒体文件,然后交由智能手表30进行播放。
具体的,通过所述微控制单元31控制智能手表30内部模块进行直接操作,以及向云端服务器发送指令请求服务器配合操作。所述智能手表30直接操作的步骤包括驱动摄像装置35获取待识别图像S101,提取所述图像的至少一个物品的特征S1021,播放已确定的所述媒体文件S104;所述云端服务器配合智能手表30完成的操作包括将所述物品特征与数据库内的物品模型匹配S1022,通过识别匹配成功的物品模型识别出所述物品S1023,在媒体文件数据库搜索与所述物品相关的媒体文件S1031以及整理与所述物品相匹配的媒体文件S1032。或者,所述智能手表30直接操作的步骤包括驱动摄像装置35获取待识别图像S101,播放已确定的所述媒体文件S104;所述云端服务器配合智能手表30完成的操作包括提取所述图像的至少一个物品的特征S1021,将所述物品特征与数据库内的物品模型匹配S1022,通过识别匹配成功的物品模型识别出所述物品S1023,在媒体文件存储器搜索与所述物品相关的媒体文件S1031以及整理与所述物品相匹配的媒体文件S1032。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的模块,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random AccessMemory)或磁盘等。
以上对本发明所提供的一种用于图像识别匹配媒体文件的智能手表进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (21)

1.一种图像识别匹配媒体文件的方法,其特征在于,应用于小型可穿戴设备,包括以下步骤:
驱动摄像设备按顺序获取多张待识别图像;
识别所述待识别图像中包含的至少一个物品;
按照多个物品对应的多张待识别图像的获取顺序确定与所述物品相匹配的媒体文件,所确定出的媒体文件包含按所述获取顺序出场的所述多个物品相关情节;
播放已确定的所述媒体文件。
2.根据权利要求1所述的方法,其特征在于,每个所述媒体文件配备有与其情节相关的物品及其出场顺序的描述信息,通过将所述获取顺序与该描述信息进行比较,确定与所述描述信息相对应的媒体文件为与所述物品相匹配的媒体文件。
3.根据权利要求1所述的方法,其特征在于,所述确定与所述物品相匹配的媒体文件步骤中:根据用户设定选择包含所述图像中最多物品的媒体文件为所需的媒体文件或选择先识别的物品对应的媒体文件为所需的媒体文件。
4.根据权利要求1所述的方法,其特征在于,所述确定与所述物品相匹配的媒体文件的步骤中:在预设的数据库中查找相匹配的媒体文件。
5.根据权利要求4所述的方法,其特征在于:当所述物品为多个且所述数据库中没有匹配成功的媒体文件,在网络中抓取单一物品对应的媒体文件,并将多个媒体文件按照预定的逻辑关系整合作为所需的媒体文件。
6.根据权利要求4所述的方法,其特征在于:当所述物品为多个且所述数据库中没有匹配成功的媒体文件,将所述多个物品按照预定的逻辑关系整合,在网络中抓取具有相同逻辑关系的媒体文件作为所需的媒体文件。
7.根据权利要求4所述的方法,其特征在于,所述在预设数据库中查找相匹配的媒体文件,包括以下步骤:
在按照物品分类构建的目录结构中定位该物品相对应的目录标签;
在该目录标签对应的目录下,获取相对应的媒体文件。
8.根据权利要求7所述的方法,其特征在于:所述目录结构依据所述媒体文件所包含的物品构建有两级以上的分类,每级分类赋予一个相应的目录标签,同一媒体文件依其包含的物品所属的一个或多个末级分类对应存储于一个或多个相应的目录标签的相应路径处。
9.根据权利要求8所述的方法,其特征在于:当所述物品为一个且末级分类的目录标签中未检索到与所述物品相匹配的媒体文件时,确定与所述物品相同上一级目录中其他末级分类的目录标签下的媒体文件。
10.根据权利要求1所述的方法,其特征在于,所述识别所述图像中包含的至少一个物品的步骤包括:
提取所述图像的至少一个物品的特征;
将所述物品特征与模型数据库内的物品模型匹配,识别所述物品。
11.根据权利要求1所述的方法,其特征在于:所述媒体文件包括文本,音频,视频中的一种或多种。
12.一种图像识别匹配媒体文件的装置,其特征在于,包括:
采集模块,用于驱动摄像设备按顺序获取多张待识别图像;
识别模块,用于识别所述待识别图像中包含的至少一个物品;
匹配模块,用于按照多个物品对应的多张待识别图像的获取顺序确定与所述物品相匹配的媒体文件,所确定出的媒体文件包含按所述获取顺序出场的所述多个物品相关情节;
播放模块,用于播放已确定的所述媒体文件。
13.根据权利要求12所述的装置,其特征在于,包括:选择模块,用以根据用户设定选择包含所述图像中最多物品的媒体文件为所需的媒体文件或选择先识别的物品对应的媒体文件为所需的媒体文件。
14.根据权利要求12所述的装置,其特征在于:所述匹配模块在预设的数据库中查找相匹配的媒体文件。
15.根据权利要求14所述的装置,其特征在于,包括:第一搜索模块和第一整合模块,当所述物品为多个且所述数据库中没有匹配成功的媒体文件,所述第一搜索模块用以在网络中抓取单一物品对应的媒体文件,所述第一整合模块用以将多个媒体文件按照预定的逻辑关系整合作为确定的媒体文件。
16.根据权利要求14所述的装置,其特征在于,包括:第二搜索模块和第二整合模块,当所述物品为多个且所述数据库中没有匹配成功的媒体文件,所述第二整合模块将所述多个物品按照预定的逻辑关系整合,所述第二搜索模块用以在网络中抓取具有相同逻辑关系的媒体文件作为确定的媒体文件。
17.根据权利要求14所述的装置,其特征在于:所述匹配模块还用以在按照物品分类构建的目录结构中定位该物品相对应的目录标签,并在该目录标签对应的目录下,获取相对应的媒体文件。
18.根据权利要求17所述的装置,其特征在于:当末级分类的目录标签中未检索到与所述物品相匹配的媒体文件时,所述匹配模块确定与所述物品相同上一级目录中其他目录标签下的媒体文件。
19.根据权利要求12所述的装置,其特征在于,包括:提取模块,用于提取所述图像的至少一个物品的特征。
20.一种用于图像识别匹配媒体文件的智能手表,其特征在于,包括:
摄像装置,用于拍摄图像;
微控制单元,用于识别图像中包含的物品,并按照多个物品对应的多张待识别图像的获取顺序将识别到的物品与云端存储器内的媒体文件中包含的物品进行匹配,确定与所述物品相匹配的媒体文件,所确定出的媒体文件包含按所述获取顺序出场的所述多个物品相关情节;
输出单元,用于播放匹配成功的媒体文件。
21.根据权利要求20所述的智能手表,其特征在于:包括心率脉搏传感器,所述心率脉搏传感器用以检测用户心跳频率,所述微控制单元通过分析采集到的心跳频率判断用户的情绪,控制对所述媒体文件的播放或终止播放。
CN201611140023.8A 2016-12-12 2016-12-12 一种图像识别匹配媒体文件的方法和装置 Active CN106777066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611140023.8A CN106777066B (zh) 2016-12-12 2016-12-12 一种图像识别匹配媒体文件的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611140023.8A CN106777066B (zh) 2016-12-12 2016-12-12 一种图像识别匹配媒体文件的方法和装置

Publications (2)

Publication Number Publication Date
CN106777066A CN106777066A (zh) 2017-05-31
CN106777066B true CN106777066B (zh) 2021-03-19

Family

ID=58880182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611140023.8A Active CN106777066B (zh) 2016-12-12 2016-12-12 一种图像识别匹配媒体文件的方法和装置

Country Status (1)

Country Link
CN (1) CN106777066B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688623A (zh) * 2017-08-17 2018-02-13 广州视源电子科技股份有限公司 一种实物检索方法、装置、设备及存储介质
WO2021016842A1 (zh) * 2019-07-30 2021-02-04 深圳光大同创新材料有限公司 一种标签化文件系统的设计方法
CN110647844A (zh) * 2019-09-23 2020-01-03 深圳一块互动网络技术有限公司 一种儿童用物品拍摄识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999153A (zh) * 2011-09-08 2013-03-27 北京林业大学 基于自然人机交互的二维数据对象控制系统及其方法
CN104424257A (zh) * 2013-08-28 2015-03-18 北大方正集团有限公司 信息检索装置和信息检索方法
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置
CN106056109A (zh) * 2016-07-30 2016-10-26 深圳市寒武纪智能科技有限公司 一种基于计算机视觉的讲故事机器人
WO2016179166A1 (en) * 2015-05-05 2016-11-10 Snapchat, Inc. Automated local story generation and curation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201200803Y (zh) * 2008-05-30 2009-03-04 北京华旗资讯数码科技有限公司 可播放媒体文件的互动玩具
US9218365B2 (en) * 2011-12-15 2015-12-22 Yeda Research And Development Co. Ltd. Device, system, and method of visual inference by collaborative composition
CN104143104A (zh) * 2013-07-10 2014-11-12 腾讯科技(深圳)有限公司 一种图像识别方法、装置、终端设备及服务器
WO2015114554A1 (en) * 2014-01-31 2015-08-06 Visa International Service Association Method and system for authorizing a transaction
CN105159958B (zh) * 2015-08-20 2019-07-09 惠州Tcl移动通信有限公司 一种基于移动终端的图片信息处理的方法及系统
CN105536118A (zh) * 2016-02-19 2016-05-04 京东方光科技有限公司 一种情绪调节装置、可穿戴设备和缓解情绪的帽子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999153A (zh) * 2011-09-08 2013-03-27 北京林业大学 基于自然人机交互的二维数据对象控制系统及其方法
CN104424257A (zh) * 2013-08-28 2015-03-18 北大方正集团有限公司 信息检索装置和信息检索方法
WO2016179166A1 (en) * 2015-05-05 2016-11-10 Snapchat, Inc. Automated local story generation and curation
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置
CN106056109A (zh) * 2016-07-30 2016-10-26 深圳市寒武纪智能科技有限公司 一种基于计算机视觉的讲故事机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
颠覆"只会打电话"智能儿童手表 拍照、快充+语音一个都不能少;搜狐;《https://www.sohu.com/a/84050573_116131》;20160617;1 *

Also Published As

Publication number Publication date
CN106777066A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
US11822600B2 (en) Content tagging
US11393205B2 (en) Method of pushing video editing materials and intelligent mobile terminal
US20200089661A1 (en) System and method for providing augmented reality challenges
US9449107B2 (en) Method and system for gesture based searching
CN104239408B (zh) 基于由移动设备记录的图像的内容的数据访问
CN110458360B (zh) 热门资源的预测方法、装置、设备及存储介质
CN109074358A (zh) 提供与用户兴趣有关的地理位置
US11334768B1 (en) Ephemeral content management
US10380256B2 (en) Technologies for automated context-aware media curation
WO2014197216A1 (en) Photo and video search
EP3493130A1 (en) Image processing method, image processing device, computer device, and computer readable storage medium
CN110166828A (zh) 一种视频处理方法和装置
WO2018152822A1 (zh) 一种生成相册的方法、装置和移动终端
CN107729946B (zh) 图片分类方法、装置、终端及存储介质
CN108289057B (zh) 视频编辑方法、装置及智能移动终端
CN107832784A (zh) 一种图像美化的方法和一种移动终端
CN106777066B (zh) 一种图像识别匹配媒体文件的方法和装置
CN109947650A (zh) 脚本步骤处理方法、装置和系统
CN109993234A (zh) 一种无人驾驶训练数据分类方法、装置及电子设备
CN106777071B (zh) 一种图像识别获取参考信息的方法和装置
CN109165320A (zh) 一种信息收藏方法及移动终端
CN108460817A (zh) 一种拼图方法及移动终端
CN107704514A (zh) 一种照片管理方法、装置及计算机可读存储介质
CN110347781A (zh) 文章倒排方法、文章推荐方法、装置、设备及存储介质
CN112685578A (zh) 一种多媒体信息内容提供方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant