CN104883591B - 基于网络通信的视频文件检索系统 - Google Patents

基于网络通信的视频文件检索系统 Download PDF

Info

Publication number
CN104883591B
CN104883591B CN201510306589.2A CN201510306589A CN104883591B CN 104883591 B CN104883591 B CN 104883591B CN 201510306589 A CN201510306589 A CN 201510306589A CN 104883591 B CN104883591 B CN 104883591B
Authority
CN
China
Prior art keywords
face
image
video file
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510306589.2A
Other languages
English (en)
Other versions
CN104883591A (zh
Inventor
王中友
张大荣
王浙平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fandi Intelligent Science and Technology Co., Ltd
Original Assignee
Hangzhou Fandi Intelligent Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fandi Intelligent Science And Technology Co Ltd filed Critical Hangzhou Fandi Intelligent Science And Technology Co Ltd
Priority to CN201510306589.2A priority Critical patent/CN104883591B/zh
Priority to CN201610166375.4A priority patent/CN105681852B/zh
Publication of CN104883591A publication Critical patent/CN104883591A/zh
Application granted granted Critical
Publication of CN104883591B publication Critical patent/CN104883591B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于网络通信的视频文件检索方法，该方法包括下列步骤：1)提供一种基于网络通信的视频文件检索系统，设置在机动车内，所述检索系统包括AT89C51单片机、语音识别设备、图像检测设备和网络检索设备，所述语音识别设备用于识别机动车驾驶员的当前语音以获得当前语音中的视频演奏者姓名，所述图像检测设备用于检测机动车驾驶员的当前情绪，所述AT89C51单片机与所述语音识别设备、所述图像检测设备和所述网络检索设备分别连接，基于所述视频演奏者姓名和所述当前情绪控制所述网络检索设备在互联网中的视频文件检索操作；以及2)使用所述检索系统来进行检索。

Description

基于网络通信的视频文件检索系统
技术领域
本发明涉及通信领域，尤其涉及一种基于网络通信的视频文件检索系统。
背景技术
在机动车驾驶过程中，为了增加旅行中的乐趣，娱乐车内人员，一般车内设置了视频播放设备，然而，现有技术中，机动车驾驶员通常忙于驾驶，而无暇为了自身的视觉享受进行视频文件的繁琐的选择操作，驾驶员的不同情绪下喜好的视频类型不同，而且，现有技术中缺少根据驾驶员语音自动下载视频文件的操作模式。
为此，本发明提出了一种新的视频文件的搜索方案，应用于机动车上，一方面，能够按照驾驶员的语音实现对预定视频演奏者的视频作品的自动下载、播放，另一方面，能够基于驾驶员的情绪选择下载、播放不同类型的视频文件。
发明内容
为了解决现有技术存在的技术问题，本发明提供了一种基于网络通信的视频文件检索方法，首先通过语音识别技术按照预定的文字格式解析出驾驶员语音中的视频演奏者名称，随后通过图像识别技术识别出驾驶员的当前情绪，最后，基于视频演奏者名称的当前情绪，从互联网上下载、播放合适的视频文件，随时满足机动车驾驶员的视觉需求。
根据本发明的一方面，提供了一种基于网络通信的视频文件检索方法，该方法包括下列步骤：1)提供一种基于网络通信的视频文件检索系统，设置在机动车内，所述检索系统包括AT89C51单片机、语音识别设备、图像检测设备和网络检索设备，所述语音识别设备用于识别机动车驾驶员的当前语音以获得当前语音中的视频演奏者姓名，所述图像检测设备用于检测机动车驾驶员的当前情绪，所述AT89C51单片机与所述语音识别设备、所述图像检测设备和所述网络检索设备分别连接，基于所述视频演奏者姓名和所述当前情绪控制所述网络检索设备在互联网中的视频文件检索操作；以及2)使用所述检索系统来进行检索。
更具体地，在所述基于网络通信的视频文件检索系统中，还包括：视频播放设备，包括显示器和用户输入设备，用于接收并播放视频文件，所述显示器为液晶显示屏，所述用户输入设备为与所述显示器集成在一起的触摸屏；供电设备，包括太阳能供电器件、机动车蓄电池、切换开关和电压转换器，所述切换开关与所述太阳能供电器件和所述机动车蓄电池分别连接，根据机动车蓄电池的剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电，所述电压转换器与所述切换开关连接，以将通过切换开关输入的5V电压转换为3.3V电压；移动硬盘，设置在机动车的仪表盘内，用于存储面部上限灰度阈值、面部下限灰度阈值和各个面部情绪基准图案，所述面部上限灰度阈值和所述面部下限灰度阈值用于从图像中将面部和背景分离，各个面部情绪基准图案分别对应人们的各种情绪，每一个面部情绪基准图案为预先对具有对应情绪的人脸进行拍摄所获得的图案，人们的各种情绪包括悲伤、欢乐、平静和愤怒；CCD摄像头，设置在机动车驾驶员座位的前方，用于对机动车驾驶员的面部进行图像采集，以获得面部图像；所述图像检测设备，设置在机动车的仪表盘内，与所述CCD摄像头连接，接收所述面部图像，对所述面部图像进行识别以获得驾驶员的当前情绪；所述图像检测设备包括对比度增强单元、小波滤波单元、灰度化处理单元、面部图案提取单元和情绪分析单元，所述对比度增强单元与所述CCD摄像头连接以对所述面部图像进行对比度增强处理，获得增强面部图像，所述小波滤波单元与所述对比度增强单元连接以对所述增强面部图像进行基于哈尔小波滤波器的滤波处理，获得滤波面部图像，所述灰度化处理单元与所述小波滤波单元连接，用于对所述滤波面部图像执行灰度化处理，以获得灰度化面部图像，所述面部图案提取单元与所述灰度化处理单元和所述移动硬盘分别连接，将所述灰度化图像中灰度值在所述面部上限灰度阈值和所述面部下限灰度阈值之间的像素识别并组成驾驶员面部图案，所述情绪分析单元与所述面部图案提取单元和所述移动硬盘分别连接，将所述驾驶员面部图案与各个面部情绪基准图案进行匹配，将匹配成功的面部情绪基准图案对应的面部情绪作为当前情绪输出；所述语音识别设备包括语音识别芯片、文字转换器、FLASH存储器和RS232串口，所述语音设备芯片接收机动车驾驶员的当前语音并将机动车驾驶员的当前语音转换为数字音频文件，所述FLASH存储器预先存储字符串识别格式，所述文字转换器与所述语音识别芯片和所述FLASH存储器分别连接，将所述数字音频文件转换为字符串，并基于所述字符串识别格式识别出所述字符串中的视频演奏者姓名，所述RS232串口与所述文字转换器连接，用于接收并输出所述视频演奏者姓名；所述AT89C51单片机，与所述图像检测设备、所述移动硬盘、所述语音识别设备和所述网络检索设备分别连接，设置所述网络检索设备的搜索规则如下：当接收到的当前情绪为悲伤时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为安宁的视频文件并下载到所述视频播放设备的播放缓冲区中，当接收到的当前情绪为欢乐时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为劲爆的视频文件并下载到所述视频播放设备的播放缓冲区中，当接收到的当前情绪为平静时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为抒情的视频文件并下载到所述视频播放设备的播放缓冲区中，当接收到的当前情绪为愤怒时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为说理的视频文件并下载到所述视频播放设备的播放缓冲区中；所述网络检索设备，包括网络通信接口和搜索规则设置器件，所述网络通信接口为4G移动通信接口，所述搜索规则设置器件与所述网络通信接口和所述AT89C51单片机分别连接，用于接收所述AT89C51单片机设置的搜索规则以控制所述网络通信接口按照所述搜索规则在互联网上搜索并下载对应的视频文件，当对应的视频文件为多个时，选择互联网上人气最旺的视频文件下载，所述网络通信接口还与所述视频播放设备连接，用于将下载的视频文件转发到所述视频播放设备的播放缓冲区中；其中，所述对比度增强单元、所述小波滤波单元、所述灰度化处理单元、所述面部图案提取单元和所述情绪分析单元分别采用不同的FPGA芯片来实现，并集成在一块集成电路板上；所述字符串识别格式为在字符串中，最后两个字符为视频，最后两个字符前的所有字符为视频演奏者姓名。
更具体地，在所述基于网络通信的视频文件检索系统中，还包括：供电设备，为所述检索系统中的各个用电部件提供电力供应。
更具体地，在所述基于网络通信的视频文件检索系统中，还包括：串行通信接口，与所述移动硬盘连接，用于将外部串口设备中存储的面部上限灰度阈值、面部下限灰度阈值和各个面部情绪基准图案存入所述移动硬盘。
更具体地，在所述基于网络通信的视频文件检索系统中：所述用户输入设备用于在机动车驾驶员的操作下确定是否开启检索系统的搜索功能。
更具体地，在所述基于网络通信的视频文件检索系统中，还包括：替换地，将所述对比度增强单元、所述小波滤波单元、所述灰度化处理单元、所述面部图案提取单元和所述情绪分析单元集成在一块FPGA芯片中。
附图说明
以下将结合附图对本发明的实施方案进行描述，其中：
图1为根据本发明实施方案示出的基于网络通信的视频文件检索系统的结构方框图。
具体实施方式
下面将参照附图对本发明的基于网络通信的视频文件检索系统的实施方案进行详细说明。
视频图像能够减少旅行中的不适，提高旅行的娱乐性，然而在现有技术中，缺少替换机动车驾驶员手工操作的视频选择方案，也缺少满足不同驾驶员情绪的视频文件的选择、下载、播放模式。
为了克服上述不足，本发明搭建了一种基于网络通信的视频文件检索系统，基于语音识别、图像识别和互联网通信技术的结合，有效解决上述技术问题。
图1为根据本发明实施方案示出的基于网络通信的视频文件检索系统的结构方框图，所述检索系统设置在机动车内，包括AT89C51单片机1、语音识别设备2、图像检测设备3和网络检索设备4，所述语音识别设备2用于识别机动车驾驶员的当前语音以获得当前语音中的视频演奏者姓名，所述图像检测设备3用于检测机动车驾驶员的当前情绪，所述AT89C51单片机1与所述语音识别设备2、所述图像检测设备3和所述网络检索设备4分别连接，基于所述视频演奏者姓名和所述当前情绪控制所述网络检索设备4在互联网中的视频文件检索操作。
接着，继续对本发明的基于网络通信的视频文件检索系统的具体结构进行进一步的说明。
所述检索系统还包括：视频播放设备，包括显示器和用户输入设备，用于接收并播放视频文件，所述显示器为液晶显示屏，所述用户输入设备为与所述显示器集成在一起的触摸屏。
所述检索系统还包括：供电设备，包括太阳能供电器件、机动车蓄电池、切换开关和电压转换器，所述切换开关与所述太阳能供电器件和所述机动车蓄电池分别连接，根据机动车蓄电池的剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电，所述电压转换器与所述切换开关连接，以将通过切换开关输入的5V电压转换为3.3V电压。
所述检索系统还包括：移动硬盘，设置在机动车的仪表盘内，用于存储面部上限灰度阈值、面部下限灰度阈值和各个面部情绪基准图案，所述面部上限灰度阈值和所述面部下限灰度阈值用于从图像中将面部和背景分离，各个面部情绪基准图案分别对应人们的各种情绪，每一个面部情绪基准图案为预先对具有对应情绪的人脸进行拍摄所获得的图案，人们的各种情绪包括悲伤、欢乐、平静和愤怒。
所述检索系统还包括：CCD摄像头，设置在机动车驾驶员座位的前方，用于对机动车驾驶员的面部进行图像采集，以获得面部图像。
所述图像检测设备3设置在机动车的仪表盘内，与所述CCD摄像头连接，接收所述面部图像，对所述面部图像进行识别以获得驾驶员的当前情绪；
所述图像检测设备3包括对比度增强单元、小波滤波单元、灰度化处理单元、面部图案提取单元和情绪分析单元，所述对比度增强单元与所述CCD摄像头连接以对所述面部图像进行对比度增强处理，获得增强面部图像，所述小波滤波单元与所述对比度增强单元连接以对所述增强面部图像进行基于哈尔小波滤波器的滤波处理，获得滤波面部图像，所述灰度化处理单元与所述小波滤波单元连接，用于对所述滤波面部图像执行灰度化处理，以获得灰度化面部图像，所述面部图案提取单元与所述灰度化处理单元和所述移动硬盘分别连接，将所述灰度化图像中灰度值在所述面部上限灰度阈值和所述面部下限灰度阈值之间的像素识别并组成驾驶员面部图案，所述情绪分析单元与所述面部图案提取单元和所述移动硬盘分别连接，将所述驾驶员面部图案与各个面部情绪基准图案进行匹配，将匹配成功的面部情绪基准图案对应的面部情绪作为当前情绪输出。
所述语音识别设备2包括语音识别芯片、文字转换器、FLASH存储器和RS232串口，所述语音设备芯片接收机动车驾驶员的当前语音并将机动车驾驶员的当前语音转换为数字音频文件，所述FLASH存储器预先存储字符串识别格式，所述文字转换器与所述语音识别芯片和所述FLASH存储器分别连接，将所述数字音频文件转换为字符串，并基于所述字符串识别格式识别出所述字符串中的视频演奏者姓名，所述RS232串口与所述文字转换器连接，用于接收并输出所述视频演奏者姓名。
所述AT89C51单片机1与所述图像检测设备3、所述移动硬盘、所述语音识别设备2和所述网络检索设备4分别连接，设置所述网络检索设备4的搜索规则如下：
当接收到的当前情绪为悲伤时，控制所述网络检索设备4在互联网上搜索从所述语音识别设备2处接收到视频演奏者姓名的所有作品中演奏风格为安宁的视频文件并下载到所述视频播放设备的播放缓冲区中；
当接收到的当前情绪为欢乐时，控制所述网络检索设备4在互联网上搜索从所述语音识别设备2处接收到视频演奏者姓名的所有作品中演奏风格为劲爆的视频文件并下载到所述视频播放设备的播放缓冲区中；
当接收到的当前情绪为平静时，控制所述网络检索设备4在互联网上搜索从所述语音识别设备2处接收到视频演奏者姓名的所有作品中演奏风格为抒情的视频文件并下载到所述视频播放设备的播放缓冲区中；
当接收到的当前情绪为愤怒时，控制所述网络检索设备4在互联网上搜索从所述语音识别设备2处接收到视频演奏者姓名的所有作品中演奏风格为说理的视频文件并下载到所述视频播放设备的播放缓冲区中。
所述网络检索设备4包括网络通信接口和搜索规则设置器件，所述网络通信接口为4G移动通信接口，所述搜索规则设置器件与所述网络通信接口和所述AT89C51单片机分别连接，用于接收所述AT89C51单片机设置的搜索规则以控制所述网络通信接口按照所述搜索规则在互联网上搜索并下载对应的视频文件，当对应的视频文件为多个时，选择互联网上人气最旺的视频文件下载，所述网络通信接口还与所述视频播放设备连接，用于将下载的视频文件转发到所述视频播放设备的播放缓冲区中。
其中，所述对比度增强单元、所述小波滤波单元、所述灰度化处理单元、所述面部图案提取单元和所述情绪分析单元分别采用不同的FPGA芯片来实现，并集成在一块集成电路板上；所述字符串识别格式为在字符串中，最后两个字符为视频，最后两个字符前的所有字符为视频演奏者姓名。
可选地，所述检索系统还包括：供电设备，为所述检索系统中的各个用电部件提供电力供应；所述检索系统还包括：串行通信接口，与所述移动硬盘连接，用于将外部串口设备中存储的面部上限灰度阈值、面部下限灰度阈值和各个面部情绪基准图案存入所述移动硬盘；所述用户输入设备用于在机动车驾驶员的操作下确定是否开启检索系统的搜索功能；以及替换地，将所述对比度增强单元、所述小波滤波单元、所述灰度化处理单元、所述面部图案提取单元和所述情绪分析单元集成在一块FPGA芯片中。
另外，FPGA(Field－ProgrammableGateArray)，即现场可编程门阵列，他是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。他是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
以硬件描述语言(Verilog或VHDL)所完成的电路设计，可以经过简单的综合与布局，快速的烧录至FPGA上进行测试，是现代IC设计验证的技术主流。这些可编辑元件可以被用来实现一些基本的逻辑门电路(比如AND、OR、XOR、NOT)或者更复杂一些的组合功能比如解码器或数学方程式。在大多数的FPGA里面，这些可编辑的元件里也包含记忆元件例如触发器(Flip－flop)或者其他更加完整的记忆块。系统设计师可以根据需要通过可编辑的连接把FPGA内部的逻辑块连接起来，就好像一个电路试验板被放在了一个芯片里。一个出厂后的成品FPGA的逻辑块和连接可以按照设计者而改变，所以FPGA可以完成所需要的逻辑功能。
FPGA一般来说比ASIC(专用集成电路)的速度要慢，实现同样的功能比ASIC电路面积要大。但是他们也有很多的优点比如可以快速成品，可以被修改来改正程序中的错误和更便宜的造价。厂商也可能会提供便宜的但是编辑能力差的FPGA。因为这些芯片有比较差的可编辑能力，所以这些设计的开发是在普通的FPGA上完成的，然后将设计转移到一个类似于ASIC的芯片上。另外一种方法是用CPLD(ComplexProgrammableLogicDevice，复杂可编程逻辑器件)。FPGA的开发相对于传统PC、单片机的开发有很大不同。FPGA以并行运算为主，以硬件描述语言来实现；相比于PC或单片机(无论是冯诺依曼结构还是哈佛结构)的顺序操作有很大区别。
早在1980年代中期，FPGA已经在PLD设备中扎根。CPLD和FPGA包括了一些相对大数量的可编辑逻辑单元。CPLD逻辑门的密度在几千到几万个逻辑单元之间，而FPGA通常是在几万到几百万。CPLD和FPGA的主要区别是他们的系统结构。CPLD是一个有点限制性的结构。这个结构由一个或者多个可编辑的结果之和的逻辑组列和一些相对少量的锁定的寄存器组成。这样的结果是缺乏编辑灵活性，但是却有可以预计的延迟时间和逻辑单元对连接单元高比率的优点。而FPGA却是有很多的连接单元，这样虽然让他可以更加灵活的编辑，但是结构却复杂的多。
采用本发明的基于网络通信的视频文件检索系统，针对现有技术中无法根据机动车驾驶员当前情绪和语音自动下载播放视频文件的技术问题，采用语音识别、图像识别和互联网通信技术分别实现对驾驶员语音解析、情绪检测和视频文件下载功能，并能够自动播放下载的视频文件，为机动车驾驶员提供方便、丰富的视觉享受。
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (1)

1.一种基于网络通信的视频文件检索系统，设置在机动车内，所述检索系统包括AT89C51单片机、语音识别设备、图像检测设备和网络检索设备，所述语音识别设备用于识别机动车驾驶员的当前语音以获得当前语音中的视频演奏者姓名，所述图像检测设备用于检测机动车驾驶员的当前情绪，所述AT89C51单片机分别与所述语音识别设备、所述图像检测设备和所述网络检索设备连接，基于所述视频演奏者姓名和所述当前情绪控制所述网络检索设备在互联网中的视频文件检索操作；
所述检索系统还包括：
视频播放设备，包括显示器和用户输入设备，用于接收并播放视频文件，所述显示器为液晶显示屏，所述用户输入设备为与所述显示器集成在一起的触摸屏；
供电设备，包括太阳能供电器件、机动车蓄电池、切换开关和电压转换器，所述切换开关分别与所述太阳能供电器件和所述机动车蓄电池连接，根据机动车蓄电池的剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电，所述电压转换器与所述切换开关连接，以将通过切换开关输入的5V电压转换为3.3V电压；
移动硬盘，设置在机动车的仪表盘内，用于存储面部上限灰度阈值、面部下限灰度阈值和各个面部情绪基准图案，所述面部上限灰度阈值和所述面部下限灰度阈值用于从图像中将面部和背景分离，各个面部情绪基准图案分别对应人们的各种情绪，每一个面部情绪基准图案为预先对具有对应情绪的人脸进行拍摄所获得的图案，人们的各种情绪包括悲伤、欢乐、平静和愤怒；
CCD摄像头，设置在机动车驾驶员座位的前方，用于对机动车驾驶员的面部进行图像采集，以获得面部图像；
所述图像检测设备，设置在机动车的仪表盘内，与所述CCD摄像头连接，接收所述面部图像，对所述面部图像进行识别以获得驾驶员的当前情绪；所述图像检测设备包括对比度增强单元、小波滤波单元、灰度化处理单元、面部图案提取单元和情绪分析单元，所述对比度增强单元与所述CCD摄像头连接以对所述面部图像进行对比度增强处理，获得增强面部图像，所述小波滤波单元与所述对比度增强单元连接以对所述增强面部图像进行基于哈尔小波滤波器的滤波处理，获得滤波面部图像，所述灰度化处理单元与所述小波滤波单元连接，用于对所述滤波面部图像执行灰度化处理，以获得灰度化面部图像，所述面部图案提取单元分别与所述灰度化处理单元和所述移动硬盘连接，将所述灰度化面部图像中灰度值在所述面部上限灰度阈值和所述面部下限灰度阈值之间的像素识别并组成驾驶员面部图案，所述情绪分析单元分别与所述面部图案提取单元和所述移动硬盘连接，将所述驾驶员面部图案与各个面部情绪基准图案进行匹配，将匹配成功的面部情绪基准图案对应的面部情绪作为当前情绪输出；
所述语音识别设备包括语音识别芯片、文字转换器、FLASH存储器和RS232串口，所述语音识别芯片接收机动车驾驶员的当前语音并将机动车驾驶员的当前语音转换为数字音频文件，所述FLASH存储器预先存储字符串识别格式，所述文字转换器分别与所述语音识别芯片和所述FLASH存储器连接，将所述数字音频文件转换为字符串，并基于所述字符串识别格式识别出所述字符串中的视频演奏者姓名，所述RS232串口与所述文字转换器连接，用于接收并输出所述视频演奏者姓名；
所述AT89C51单片机，分别与所述图像检测设备、所述移动硬盘、所述语音识别设备和所述网络检索设备连接，设置所述网络检索设备的搜索规则如下：当接收到的当前情绪为悲伤时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为安宁的视频文件并下载到所述视频播放设备的播放缓冲区中，当接收到的当前情绪为欢乐时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为劲爆的视频文件并下载到所述视频播放设备的播放缓冲区中，当接收到的当前情绪为平静时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为抒情的视频文件并下载到所述视频播放设备的播放缓冲区中，当接收到的当前情绪为愤怒时，控制所述网络检索设备在互联网上搜索从所述语音识别设备处接收到视频演奏者姓名的所有作品中演奏风格为说理的视频文件并下载到所述视频播放设备的播放缓冲区中；
所述网络检索设备，包括网络通信接口和搜索规则设置器件，所述网络通信接口为4G移动通信接口，所述搜索规则设置器件分别与所述网络通信接口和所述AT89C51单片机连接，用于接收所述AT89C51单片机设置的搜索规则以控制所述网络通信接口按照所述搜索规则在互联网上搜索并下载对应的视频文件，当对应的视频文件为多个时，选择互联网上人气最旺的视频文件下载，所述网络通信接口还与所述视频播放设备连接，用于将下载的视频文件转发到所述视频播放设备的播放缓冲区中；
其中，所述对比度增强单元、所述小波滤波单元、所述灰度化处理单元、所述面部图案提取单元和所述情绪分析单元分别采用不同的FPGA芯片来实现，并集成在一块集成电路板上；
其中，所述字符串识别格式为在字符串中，最后两个字符为视频，最后两个字符前的所有字符为视频演奏者姓名；
供电设备，为所述检索系统中的各个用电部件提供电力供应；
串行通信接口，与所述移动硬盘连接，用于将外部串口设备中存储的面部上限灰度阈值、面部下限灰度阈值和各个面部情绪基准图案存入所述移动硬盘；
所述用户输入设备用于在机动车驾驶员的操作下确定是否开启检索系统的搜索功能。
CN201510306589.2A 2015-06-06 2015-06-06 基于网络通信的视频文件检索系统 Expired - Fee Related CN104883591B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510306589.2A CN104883591B (zh) 2015-06-06 2015-06-06 基于网络通信的视频文件检索系统
CN201610166375.4A CN105681852B (zh) 2015-06-06 2015-06-06 一种基于网络通信的视频文件检索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510306589.2A CN104883591B (zh) 2015-06-06 2015-06-06 基于网络通信的视频文件检索系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610166375.4A Division CN105681852B (zh) 2015-06-06 2015-06-06 一种基于网络通信的视频文件检索系统

Publications (2)

Publication Number Publication Date
CN104883591A CN104883591A (zh) 2015-09-02
CN104883591B true CN104883591B (zh) 2016-06-15

Family

ID=53950900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510306589.2A Expired - Fee Related CN104883591B (zh) 2015-06-06 2015-06-06 基于网络通信的视频文件检索系统

Country Status (1)

Country Link
CN (1) CN104883591B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681852B (zh) * 2015-06-06 2016-11-30 深圳亿维锐创科技股份有限公司 一种基于网络通信的视频文件检索系统
CN105279259A (zh) * 2015-10-21 2016-01-27 无锡天脉聚源传媒科技有限公司 一种搜索结果的确定方法及装置
CN108668154A (zh) * 2017-03-30 2018-10-16 宏碁股份有限公司 用于移动载具的多媒体播放方法与系统
CN107122498A (zh) * 2017-06-01 2017-09-01 黑龙江省科学技术情报研究院 基于云计算的信息检索分类系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1716413A (zh) * 2004-07-02 2006-01-04 深圳市朗科科技有限公司 车载语音识别视听播放设备及方法
JP4844193B2 (ja) * 2006-03-27 2011-12-28 株式会社デンソー 表示装置及びプログラム
CN103273882A (zh) * 2013-06-08 2013-09-04 无锡北斗星通信息科技有限公司 汽车驾驶员疲劳状态预判系统
CN203661267U (zh) * 2013-11-19 2014-06-18 浙江吉利汽车研究院有限公司 一种汽车音响系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1716413A (zh) * 2004-07-02 2006-01-04 深圳市朗科科技有限公司 车载语音识别视听播放设备及方法
JP4844193B2 (ja) * 2006-03-27 2011-12-28 株式会社デンソー 表示装置及びプログラム
CN103273882A (zh) * 2013-06-08 2013-09-04 无锡北斗星通信息科技有限公司 汽车驾驶员疲劳状态预判系统
CN203661267U (zh) * 2013-11-19 2014-06-18 浙江吉利汽车研究院有限公司 一种汽车音响系统

Also Published As

Publication number Publication date
CN104883591A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
CN104883591B (zh) 基于网络通信的视频文件检索系统
CN104951520A (zh) 从互联网处获取音乐文件的搜索平台
CN104851435A (zh) 一种基于网络通信的音乐智能化播放方法
DE29824934U1 (de) Digitales Buch mit wenigstens einer Schnittstelle im Drehgelenk
CN105117013B (zh) 一种智能手表的解锁方法及智能手表
CN104866612B (zh) 一种从互联网处获取音乐文件的搜索方法
CN110600000A (zh) 语音播报方法、装置、电子设备及存储介质
CN106095748A (zh) 一种生成事件关系图谱的方法及装置
CN104883589B (zh) 基于电子检测的视频文件播放平台
CN104835518B (zh) 基于网络通信的音乐智能化播放系统
CN104883590B (zh) 基于网络通信的视频文件检索系统
CN105160670A (zh) 一种玻璃缺陷类型识别方法
CN104156430A (zh) 一种快速提取安卓手机数据的装置和方法
CN114161929A (zh) 车机主题自动获取方法、装置及车辆
CN105681852B (zh) 一种基于网络通信的视频文件检索系统
CN104883592B (zh) 一种基于电子检测的视频文件播放平台
EP0836739A1 (de) Verfahren zum aktualisieren des speicherinhaltes eines elektronischen speichers eines elektronischen gerätes
CN105679351A (zh) 基于网络通信的音乐智能化播放系统
CN106843767A (zh) 一种终端的存储空间清理方法和移动终端
CN113176893B (zh) 汽车控制的仿真模拟方法、装置、存储介质及终端设备
CN105812871A (zh) 一种基于电子检测的视频文件播放方法
CN208141480U (zh) 一种共享单车智能解锁系统
CN106412285A (zh) 一种进入表情模式的方法及移动终端
CN108519815A (zh) 基于增强现实的车辆控制方法、装置、存储介质和电子设备
CN201917926U (zh) 一种具有扫描功能的长术语自动抽取装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
CB03 Change of inventor or designer information

Inventor after: Wang Zhongyou

Inventor after: Zhang Darong

Inventor after: Wang Zheping

Inventor before: Kong Hua

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20160512

Address after: Hangzhou City, Zhejiang province 310000 city water Dongyuan 3 room 105

Applicant after: Hangzhou Fandi Intelligent Science and Technology Co., Ltd

Address before: 262100 No. 19 health Road, Anqiu, Shandong, Weifang

Applicant before: Kong Hua

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160615

Termination date: 20180606