CN104883609B - 一种多媒体文件的识别处理、播放方法和系统 - Google Patents

Abstract

本发明提供一种多媒体文件的识别处理、播放方法和系统，其中，多媒体文件包括照片和音视频文件。识别处理的方法包括：上传多媒体文件，并对上传的多媒体文件进行信息说明；对上传的多媒体文件和其信息说明进行加工处理，提取关键字，获取背景音乐，并将加工处理的多媒体文件作为背景画面；将关键字在文段中进行匹配，获取与关键字相匹配的文章；配合背景画面和所述背景音乐，将文章以语音广播的形式播出，生成场景。在播放多媒体文件时，在不同时间采集反应植物病人状态的全身图片，并对全身图片进行比对，根据比对的结果对多媒体文件播放进行控制。本发明实现了多媒体文件输入和播放的多样化，增加了对播放的控制，能够得到更好的唤醒效果。

Description

一种多媒体文件的识别处理、播放方法和系统

技术领域

本发明涉及一种多媒体文件的处理方法，特别是涉及一种多媒体文件的识别处理、播放方法和系统。

背景技术

时下，随着网络技术和多媒体技术的普及和迅速发展，越来越多的人喜欢将一些人生中比较重要的场合、自己认为较有纪念意义的场景、或较有意思的事件拍成照片，录制或拍摄成音频视频文件予以保存。并在保存这些照片、音频文件和视频文件时人为地予以简单的说明或分类，以便于以后的观看都是用于人们自己进行回忆消遣用。但是，只是简单地对其进行分类和说明，大大限制了人们保存这些照片、音频文件和视频文件的用途。

人们保存具有纪念意义的照片、音频文件和视频文件，除了可以为以后进行回忆消遣使用外，还可以将其作为唤醒植物人和治疗老年痴呆病人的治疗手段。人们随着年龄的增长，往往希望对以前的一些有意义的场景或事件进行回顾；随着人口老龄化越来越严重，老年痴呆的发病率也越来越高，那么，对患有老年痴呆的病人播放这些具有一定意义的照片、音频文件和视频文件也成为了一个较为有效的治疗方式；植物人虽然认知能力已经完全丧失，无任何的主动获得，但是其对外界的刺激还是会产生一些本能的反射，因此，对植物人播放一些其熟悉的语音文件往往会对其苏醒起到一定的促进作用。但是，人们保存的具有纪念意义的照片、音频文件和视频文件往往数量巨大，全部对其进行播放或翻看，并不现实；仅仅依靠人为对其编辑、整理和处理，也会造成人力的大量浪费。

目前，对于语音的输入、识别和输出，Google，百度，微信，淘宝等各大公司均已提出了较为完整和成熟的技术方案。但是这些技术方案多数是基于麦克风直接输入，然后经过相关设备的处理后输出，输出的信息也都是通过麦克风输入的信息，即所得信息即所输入信息，其无法实现对输入信息的进一步整理和处理。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多媒体文件的识别处理、播放方法和系统，用于解决现有技术中无法对保存的多媒体文件(照片、音频文件和视频文件)进行自动识别、整理、分类和处理的问题。

为实现上述目的及其他相关目的，本发明提供一种多媒体文件的识别处理方法，其中，多媒体文件包括照片和音视频文件；所述多媒体文件的识别处理方法包括：步骤S11，上传所述多媒体文件，并对上传的所述多媒体文件进行信息说明；步骤S12，对上传的所述多媒体文件和其信息说明进行加工处理，提取关键字，获取背景音乐，并将加工处理的所述多媒体文件作为背景画面；步骤S13，将所述关键字在文段中进行匹配，获取与所述关键字相匹配的文章；步骤S14，配合所述背景画面和所述背景音乐，将所述文章以语音广播的形式播出，生成场景。

可选地，所述步骤S11中，所述信息说明包括所述多媒体文件中的人物、人物关系、内容、地点、时间和场景信息。

可选地，上传的所述多媒体文件为照片时，所述步骤S12具体包括：对所述照片以幻灯片的模式进行处理，并将幻灯片模式的照片作为所述背景画面；对所述照片的所述信息说明进行加工，提取所述关键字；根据所述关键字，挑选背景音乐。

可选地，上传的所述多媒体文件为音视频文件时，所述步骤S12包括：采用声音识别，获取所述音视频文件本身所提供的有效信息；根据所述信息说明和所述有效信息，提取所述关键字；根据所述关键字，挑选所述背景音乐或直接将所述音视频文件的音频信息作为所述背景音乐；将所述音视频文件的视频信息作为所述背景画面。

可选地，所述背景音乐和所述文段是预先保存在系统中，或者通过访问给定的地址而获得。

可选地，所述步骤S12中提取的所述关键字为一个或多个。

本发明还公开了一种多媒体文件的播放方法，应用于唤醒植物病人；其中，所述多媒体文件经过上述的多媒体文件识别处理方法进行处理，所述多媒体文件以幻灯片的形式播放图片或直接将视频信息作为背景画面，将所述文章以语音的形式播放给所述植物病人，从而生成多个场景；所述多媒体文件的播放方法包括：当开始播放所述多媒体文件的时候，采集和保存所述植物病人的第一全身图片；在播放所述多媒体文件的过程中，每隔相应的间隔采集一张所述植物病人的全身图片，并将采集的所述全身图片与所述第一全身图片进行比较：如果一致，则删除所述全身图片；如果不一致，则保存所述全身图片，并对此时的场景进行标记；在所述多媒体文件播放结束时，判断所述多媒体文件的各个场景中是否存在标记：如果存在，那么继续播放带有标记的场景；如果不存在，则仍旧按照原来的顺序进行播放。

可选地，所述第一全身图片和所述全身图片的采集位置和视角是一样的。

可选地，所述全身图片和所述第一全身图片是利用对比图片差异的算法进行比较的。

本发明提供了一种多媒体文件的识别处理和播放系统，其中，多媒体文件包括照片和音视频文件，所述多媒体文件的识别处理和播放系统包括：上传模块、处理模块、匹配模块、播放模块和存储模块；所述上传模块用于上传所述多媒体文件及其信息说明；所述处理模块用于对上传的所述多媒体文件和其信息说明进行加工处理，提取关键字，获取背景音乐和背景画面；所述匹配模块用于根据所述关键字在文段中进行匹配，获取相应的文章；所述存储模块用于预存所述背景音乐和所述文段；所述播放模块用于配合所述背景画面和所述背景音乐，将所述文章以语音广播的形式播出；所述播放模块包括采集子模块、比较标记子模块和判断子模块；所述采集子模块用于采集植物病人的第一全身图片和全身图片；所述比较标记子模块用于将所述采集子模块采集的所述第一全身图片与所述全身图片进行比较，如果不一致，对所述全身图片对应的场景予以标记；所述判断子模块用于在播放结束时，判断所述多媒体文件的各个场景中是否存在标记：如果存在，继续播放带有标记的场景；如果不存在，则仍旧按照原来的顺序进行播放。

如上所述，本发明的一种多媒体文件的识别处理、播放方法和系统，针对照片和音视频文件两种素材提供了不同的输入、加工处理和播放方式，实现了输入和播放的多样化；在对多媒体文件进行播放时，根据病人的反应，增加了对播放的控制，能够得到更好的唤醒效果；并且，对于一些家里有痴呆病人或植物病人的特殊家庭，家人不可随时陪护的情况，在设备上可以进行24小时的广播播放，对这类病人起到辅助治疗的作用。

附图说明

图1显示为本发明的实施例公开的一种多媒体文件的识别处理方法的流程示意图。

图2显示为本发明的实施例公开的一种多媒体文件的播放方法的流程示意图。

图3显示为本发明的实施例公开的一种多媒体文件的识别处理和播放系统的结构示意图。

元件标号说明

S11～S14 步骤

300 多媒体文件的识别处理和播放系统

310 上传模块

320 处理模块

330 匹配模块

340 存储模块

350 播放模块

351 采集子模块

352 比较标记子模块

353 判断子模块

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅附图。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例1

本实施例公开了一种多媒体文件的识别处理方法，对图片及其信息说明、以及音视频文件及其信息说明，分别进行处理，并针对这两种素材分别提供不同的输入界面，区别处理；并将处理后的信息，经过筛选、处理，以关键字检索的方式，找出与用户经历类似的文段，最终以广播的形式呈现出来。

本实施例的多媒体文件的识别出来方法，具体如图1所示，包括：

步骤S11，上传所述多媒体文件，并对上传的所述多媒体文件进行信息说明：

由于本实施例的多媒体文件包括照片和音视频文件，因此，上传的多媒体文件也分为上传照片和上传音视频文件。

当上传照片时，对照片进行信息说明，具体包括：照片中的人物、人物关系、内容、地点、时间时令季节和场景说明。

当上传音视频文件时，对音视频文件进行信息说明，具体包括：视频中的人物、人物关系、内容、地点、时间时令季节和场景说明。

步骤S12，对上传的所述多媒体文件和其信息说明进行加工处理，提取关键字，获取背景音乐，并将加工处理的所述多媒体文件作为背景画面：

同样地，针对不同的多媒体文件，其加工处理、提取关键字、获取背景音乐和背景画面的过程是不一样的。

当上传的多媒体文件是照片时，首先，获取上传的照片及其信息说明，对照片以幻灯片的模式进行处理，并将幻灯片模式的照片作为背景画面；其次，对信息说明进行加工，提取出关键字；然后，根据提取出的关键字，挑选适当的背景音乐。

当上传的多媒体文件是音视频文件时，其加工处理的过程稍微有些复杂：

获取上传的音视频文件及其信息说明，并对音视频文件本身，采用声音的识别技术，获取音视频文件本身所提供的有效信息；

根据信息说明和有效信息，提取关键字；

根据关键字，挑选适当的背景音乐，或者直接将音视频文件的音频信息作为背景音乐；

将音视频文件的视频信息作为背景画面。

其中，不管上传何种多媒体文件，背景音乐都可以通过关键字进行挑选。也就是说，背景音乐可以是预先保存在系统中，也可以是通过访问给定的地址而获得。并且，如果背景音乐是预先保存在系统中的，其也是按照一定的特征信息保存的。在挑选背景音乐时，将关键字与特征信息进行匹配，从而获得适当的背景音乐。

步骤S13，将所述关键字在文段中进行匹配，获取与所述关键字相匹配的文章：

在本实施例的多媒体文件的识别处理方法中，还增加了一个根据关键字匹配与多媒体文件的内容相匹配的文章的过程。

在获得关键字后，利用这些关键字从系统中给定的文段中进行检索，从而获取与关键字相匹配的文章。因为模板未必做得到逻辑合理，内容通顺，所以匹配出的文章并不拘泥于一定的模板。其中，文段是各种描述生活场景的文章、电台的广播稿、美文欣赏等各种素材文段的集锦；并且，文段可以是预先保存在系统中，也可以是通过访问给定的地址而获得。

进一步地，当关键字为多个时，文章是按照如下方式进行获取的：记录与输入关键字匹配的数目；在给定的文段中挑选出匹配数目最多文章作为与多个关键字相匹配的文章。

步骤S14，配合所述背景画面和所述背景音乐，将所述文章以语音广播的形式播出，生成场景：

将经过匹配获取的文章以语音广播的形式播出，并配以背景画面和背景音乐，即以幻灯片播放的照片或以视频信息作为背景画面，播放挑选出的背景音乐，经过匹配获取的文章以语音播放的形式呈现出来，生成场景n(n＝1，2，…)，以便后续可以循环播放每个场景。

实施例2

本实施例公开了一种多媒体文件的播放方法，应用于唤醒植物病人。由于植物病人虽然无意识，存在认知功能障碍，但是植物病人往往对听觉刺激有反应。因此，采用听觉刺激也是最有希望唤醒植物病人的一种手段。

如图2所示，本实施例的一种多媒体文件的播放方法具体包括：

当开始播放所述多媒体文件的时候，采集和保存所述植物病人的第一全身图片：

当多媒体文件开始播放的时候，同时打开拍照功能，采集植物病人的第一全身图片，并保存第一全身图片。第一全身图片在多媒体文件播放过程中不会被删除，只有在整个多媒体文件播放结束时，才会被删除。

在播放所述多媒体文件的过程中，每隔相应的间隔采集一张所述植物病人的全身图片，并将采集的所述全身图片与所述第一全身图片进行比较：如果一致，则删除所述全身图片；如果不一致，则保存所述全身图片，并对此时的场景进行标记：

在播放的过程中，保持与第一全身图片的采集位置和采集视角，每隔相应的间隔进行一次拍照，采集一张植物病人的全身图片，并将采集的全身图片予以保存。在本实施例中，每间隔2S进行一次拍照。

将采集的植物病人的全身图片与第一全身图片进行比较，判断全身图片和第一全身图片是否一致：如果一致，则删除全身图片；如果不一致，则保存全身图片，并对此时的场景进行标记。

进一步地，将两张图片是否一致的比较是比较复杂的，并且，植物病人如果对播放的多媒体文件有反应，一般表现在脸部、手部和脚部，因此，为了提高全身图片和第一全身图片的比较速度，在本实施例中，仅仅针对全身图片/第一全身图片的脸部、手部和脚部的细节进行算法比较。

在所述多媒体文件播放结束时，判断所述多媒体文件的各个场景中是否存在标记：如果存在，那么继续播放带有标记的场景；如果不存在，则仍旧按照原来的顺序进行播放。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

实施例3

本实施例公开了一种多媒体文件的识别处理和播放系统，其主要应用于对具有某些特殊意义的多媒体文件进行上传识别处理和播放。其中，多媒体文件包括照片和音视频文件。

如图3所示，本实施例的多媒体文件的识别处理和播放系统300包括上传模块310、处理模块320、匹配模块330、播放模块350和存储模块340。

其中，上传模块310用于上传多媒体文件及其信息说明。上传模块310根据不同的多媒体文件提供不同的上传输入界面，即，上传照片，选择照片的上传输入界面；上传音视频文件，选择音视频文件的上传输入界面。

处理模块320用于对上传的所述多媒体文件和其信息说明进行加工处理，提取关键字，获取背景音乐和背景画面。同样地，针对不同类型的多媒体文件，其加工处理的方式也是不同的。对于照片，将其按照幻灯片的模式进行处理，并将幻灯片模式的照片作为背景画面；对照片的信息说明进行加工，提取关键字；并根据关键字挑选背景音乐。对于音视频文件，采用声音识别，获取音视频文件本身所提供的有效信息，并从有效信息和信息说明中提取关键字；根据关键字挑选背景音乐或直接将音视频文件的音频信息作为背景音乐，并将音视频文件的视频信息作为背景画面。

匹配模块330用于根据所述关键字在文段中进行匹配，获取相应的文章；其中，文段是各种描述生活场景的文章、电台的广播稿、美文欣赏等各种素材文段的集锦；并且，文段可以是预先保存在系统中，也可以是通过访问给定的地址而获得。

存储模块340用于预存背景音乐和文段。

播放模块350用于配合背景画面和背景音乐，将文章以语音广播的形式播出，并生成场景。在本实施例中，播放模块350还包括采集子模块351、比较标记子模块352和判断子模块353。

其中，采集子模块351用于在采集植物病人的第一全身图片和全身图片。在播放多媒体文件开始时，采集植物病人的第一全身图片；在播放过程中，每隔相应的间隔采集植物病人的全身图片。并且，采集子模块351对植物病人的第一全身图片和全身图片的采集位置和视角是一样的。在本实施例中，采集子模块351采用具有拍照功能的模块，例如摄像头或照相机等等。

比较标记子模块352用于将采集子模块351采集的第一全身图片与所述全身图片进行比较，如果不一致，对全身图片对应的场景予以标记。在本实施例中，对全身图片和第一全身图片采用对比图片差异的算法进行比较。

判断子模块353用于在播放结束时，判断多媒体文件的各个场景中是否存在标记：如果存在，继续播放带有标记的场景；如果不存在，则仍旧按照原来的顺序进行播放。

需要说明的是，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，但这并不表明本实施例中不存在其它的模块。

此外，不难发现，本实施例为与第一实施例和第二实施例相对应的方法实施例，本实施例可与第一实施例和第二实施例互相配合实施。第一实施例和第二实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例和第二实施例中。

综上所述，本发明的一种多媒体文件的识别处理、播放方法和系统，针对照片和音视频文件两种素材提供了不同的输入、加工处理和播放方式，实现了输入和播放的多样化；在对多媒体文件进行播放时，根据病人的反应，增加了对播放的控制，能够得到更好的唤醒效果；并且，对于一些家里有痴呆病人或植物病人的特殊家庭，家人不可随时陪护的情况，在设备上可以进行24小时的广播播放，对这类病人起到辅助治疗的作用。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种多媒体文件的识别处理方法，其中，多媒体文件包括照片和音视频文件；其特征在于，所述多媒体文件的识别处理方法包括：

步骤S11，上传所述多媒体文件，并对上传的所述多媒体文件进行信息说明；

步骤S12，对上传的所述多媒体文件和其信息说明进行加工处理，提取关键字，获取背景音乐，并将加工处理的所述多媒体文件作为背景画面；

步骤S13，将所述关键字在文段中进行匹配，获取与所述关键字相匹配的文章；

步骤S14，配合所述背景画面和所述背景音乐，将所述文章以语音广播的形式播出，生成场景；

上传的所述多媒体文件为音视频文件时，所述步骤S12包括：

采用声音识别，获取所述音视频文件本身所提供的有效信息；

根据所述信息说明和所述有效信息，提取所述关键字；

根据所述关键字，挑选所述背景音乐或直接将所述音视频文件的音频信息作为所述背景音乐；将所述音视频文件的视频信息作为所述背景画面。

2.根据权利要求1所述的多媒体文件的识别处理方法，其特征在于：所述步骤S11中，

所述信息说明包括所述多媒体文件中的人物、人物关系、内容、地点、时间和场景信息。

3.根据权利要求1所述的多媒体文件的识别处理方法，其特征在于：上传的所述多媒体文件为照片时，所述步骤S12具体包括：

对所述照片以幻灯片的模式进行处理，并将幻灯片模式的照片作为所述背景画面；

对所述照片的所述信息说明进行加工，提取所述关键字；

根据所述关键字，挑选背景音乐。

4.根据权利要求1所述的多媒体文件的识别处理方法，其特征在于：所述背景音乐和所述文段是预先保存在系统中，或者通过访问给定的地址而获得。

5.根据权利要求1所述的多媒体文件的识别处理方法，其特征在于：所述步骤S12中提取的所述关键字为一个或多个。

6.一种多媒体文件的识别处理和播放系统，其中，多媒体文件包括照片和音视频文件，其特征在于：所述多媒体文件的识别处理和播放系统包括：上传模块、处理模块、匹配模块、播放模块和存储模块；

所述上传模块用于上传所述多媒体文件及其信息说明；

所述处理模块用于对上传的所述多媒体文件和其信息说明进行加工处理，提取关键字，获取背景音乐和背景画面；

所述匹配模块用于根据所述关键字在文段中进行匹配，获取相应的文章；

所述存储模块用于预存所述背景音乐和所述文段；

所述播放模块用于配合所述背景画面和所述背景音乐，将所述文章以语音广播的形式播出；

所述播放模块包括采集子模块、比较标记子模块和判断子模块；

所述采集子模块用于采集植物病人的第一全身图片和全身图片；

所述比较标记子模块用于将所述采集子模块采集的所述第一全身图片与所述全身图片进行比较，如果不一致，对所述全身图片对应的场景予以标记；

所述判断子模块用于在播放结束时，判断所述多媒体文件的各个场景中是否存在标记：如果存在，继续播放带有标记的场景；如果不存在，则仍旧按照原来的顺序进行播放。