CN109151530A - 一种基于脑电波和语音识别的视频控制装置及其控制方法 - Google Patents

一种基于脑电波和语音识别的视频控制装置及其控制方法 Download PDF

Info

Publication number
CN109151530A
CN109151530A CN201810692498.0A CN201810692498A CN109151530A CN 109151530 A CN109151530 A CN 109151530A CN 201810692498 A CN201810692498 A CN 201810692498A CN 109151530 A CN109151530 A CN 109151530A
Authority
CN
China
Prior art keywords
speech recognition
video
brain wave
touch screen
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810692498.0A
Other languages
English (en)
Inventor
王鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Mutual Intelligence Technology Co Ltd
Original Assignee
Hefei Mutual Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Mutual Intelligence Technology Co Ltd filed Critical Hefei Mutual Intelligence Technology Co Ltd
Priority to CN201810692498.0A priority Critical patent/CN109151530A/zh
Publication of CN109151530A publication Critical patent/CN109151530A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Neurosurgery (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于脑电波和语音识别配合控制视频的装置及其控制方法,包括脑电波模块、语音识别模块、触摸屏视频播放器、触屏器、主机,脑电波模块包括脑电波采集传感器、脑电波信号放大处理器,语音识别模块包括非特人语音识别集成单元、扬声器,触屏器包括继电器组、触头,主机与脑电波信号放大处理器和非特定人语音识别集成单元相连,触屏器分别与主机和非特定人语音识别集成单元相连,触头与触摸屏视频播放器的屏幕接触。使用者脑电波的身体抖动断续信号、专注度和放松度数据经主机和语音识别模块生成控制指令,控制视頻中真人影像的动作过程,实时随机播出使用者的专注度和放松度状态语音提示,实现混合现实环境的身临其境的仿真效果,提高了体验感。

Description

一种基于脑电波和语音识别的视频控制装置及其控制方法
技术领域
本发明属于脑电波和语音识别技术领域,尤其涉及脑电波和语音识别配合控制视频的装置及其控制方法。
背景技术
随着人工智能技术的发展,人类日常生活中的脑电波数据已经得到科学应用,人类在生理活动时,大脑产生α、β、θ、δ波,而且人的身体在抖动或眨眼时,脑电信号会受到影响,通过对脑电信号的采集和处理,形成脑电波数据,通过脑机交互,进一步形成控制指令。语音识别是人工智能技术的重要节点,当它作为识别信号设计在视频中时,可以突破游戏视频交互仅限于动画数字影像的局限,通过脑电波技术的配合,用控制真人视频播放来达到真人影像动作过程控制的目的。它可以应用在体育健身的模拟训练、可视化数据模型搭建、动作游戏、艺术表演等。
目前还未有通过脑电波信号配合语音识别控制视频的装置和技术。
发明内容
为解决现有技术存在的没有采用脑电波信号配合语音识别控制视频的播放,从而控制真人影像动作过程的缺陷,本发明提供一种基于脑电波和语音识别的视频控制装置及其控制方法。
为实现上述目的,本发明的技术方案如下:
本发明提供一种基于脑电波和语音识别的视频控制装置,其特征在于,包括脑电波模块、语音识别模块、触摸屏视频播放器、触屏器、主机,脑电波模块包括脑电波采集传感器、脑电波信号放大处理器、通讯单元 、独立电源,脑电波采集传感器与脑电波信号放大处理器的信号输入端连接,脑电波信号放大处理器的信号输出端与通讯单元的信号输入端连接,独立电源用于给脑电波信号放大处理器和通讯单元供电,通讯单元为2.4G无线通信或蓝牙透传通信。
优选的,主机包括单片机、通讯单元、电源,单片机的信号输入端与通讯单元的信号输出端连接,电源用于给主机供电。
优选的,语音识别模块包括非特人语音识别集成单元、咪头、扬声器、导线,语音识别模块的电源接自主机的电源输出端,咪头和扬声器通过导线分别连接到非特人语音识别集成单元的咪头和扬声器接口端,非特人语音识别集成单元的多个IO输入口分别连接到主机中单片机的对应IO输出口,非特人语音识别集成单元的多个按键输入口分别连接到主机中单片机的对应IO输出口。
优选的,触屏器包括继电器组、触头、左放电触板、右放电触板、导线,继电器组是2个微型继电器并联连接,其中一个微型继电器的线圈正极端和负极端分别连接到主机中单片机的电源正极输出口和对应IO口,另一个微型继电器的线圈正极端和负极端分别连接到主机中单片机的电源正极输出口和非特定人语音识别集成单元的对应IO输出口,触头是导电金属片,其中一个微型继电器的吸合触点脚与另一个微型继电器的断开触点脚并联焊接在触头内面,通过导线将左放电触板和右放电触板分别连接到2个微型继电器的公共端,左放电触板和右放电触板分别与使用者的皮肤接触,触屏器的触头与触摸屏视频播放器的电容触摸屏接触。
优选的,触摸屏视频播放器为智能手机、平板电脑、智能电视机、MP4、智能播放器、混合现实眼镜、AR眼镜。
本发明还提供了一种基于脑电波和语音识别的视频控制方法,包括以下步骤:
优选的,S1、脑电波采集传感器实时采集使用者的脑电波信号,并传送给脑电波信号放大处理器;
优选的,S2、脑电波信号放大处理器将脑电波电信号进行放大和滤波处理,生成脑电波数据,并通过通讯装置发送给主机中的单片机;
优选的,S3、主机中的单片机接收脑电波数据并根据编程代码生成控制指令,从而控制触屏器动作,并控制语音识别模块的语音播报和语音交互,进一步控制视频的播放。
优选的,脑电波信号为脑皮层生物电、眨眼时的肌电,脑电波数据为抖动时的脑电信号短时断续数据、放松程度、注意集中程度、眨眼和闭眼状态数据的一种或多种。
优选的,视频为视频内容中设计有语音口令语句和语音命令语句的影像视频和游戏视频。
优选的,控制触屏器动作为单片机IO口和语音识别模块IO口分别输出电平信号控制对应的微型继电器吸合和断开,完成触屏动作过程,使触摸屏视频播放器实现播放和暂停。
优选的,语音播报为非特定人语音识别集成单元接收单片机发送的不同指令播放设计好的对应语音句条和音效,语音交互为语音识别模块的咪头接收来自视频中的语音口令和语音命令、或者使用者说出的语音口令和语音命令,语音识别模块识别后向触屏器发送延时0.5秒的电平信号。
有益效果:本发明通过采集使用者的脑电波信号、身体抖动时的脑电信号变化、眨眼时的生物肌电变化,经主机处理后转换成控制指令,配合语音识别,拾取视频中预设的、或使用者说出的语音口令和语音命令,控制视频的播放和暂停,从而控制视頻中真人影像的动作过程,以及实时随机播出使用者的专注度和放松度状态语音提示。
附图说明
图1是本发明一种实施方式的结构框图。
图2是本发明一种实施方式的工作原理图。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
为达到本发明的目的,如图1至图2所示,在本发明的其中一种方式中提供一种基于脑电波和语音识别的视频控制装置,包括脑电波模块、语音识别模块、触摸屏视频播放器、触屏器、主机,脑电波模块包括脑电波采集传感器、脑电波信号放大处理器、通讯单元 、独立电源,脑电波采集传感器与脑电波信号放大处理器的信号输入端连接,脑电波信号放大处理器的信号输出端与通讯单元的信号输入端连接,独立电源用于给脑电波信号放大处理器和通讯单元供电,通讯单元为2.4G无线通信或蓝牙透传通信。其中触摸屏视频播放器为混合现实眼镜内的播放器,该播放器的电容触摸屏与触屏器的触头接触。
本实施例中,使用者佩戴设置有脑电波模块和语音识别模块的混合现实眼镜,脑电波采集传感器采集使用者的实时脑电波,并传送给脑电波信号放大处理器,处理后生成的数据通过蓝牙传送给单片机,单片机的信号输入端与通讯单元的信号输出端连接,单片机的信号输出端与非特定人语音识别集成单元的信号输入端连接,非特定人语音识别集成单元分别连接拾音的咪头和播音的扬声器,单片机接收脑电波数据并根据编程代码生成控制指令,单片机根据控制指令从对应的信号输出端分别向触屏器和非特定人语音识别集成单元发送延时0.5秒的电平信号,触屏器中有2只微型继电器,分别对应连接单片机和非特定人语音识别集成单元,微型继电器接收到延时0.5秒的电平信号后,吸合触点立即吸合0.5秒,然后断开,触屏器的触头连接左放电触板和右放电触板,而左放电触板和右放电触板又与使用者的皮肤接触,根据人体电流感应,微型继电器接到电平信号后先吸合再断开,触屏器的触头就从触摸屏视频播放器的电容触摸屏上吸走一个很小电流,完成一次模拟触屏动作,播放状态中的视频立即暂停、或暂停状态中的视频立即恢复播放状态,从而现实了对视频的播放控制,触屏器中的2个微型继电器设置为非同时启停,即当一个微型继电器吸合动作时另一个不动作,确保模拟触屏成功,语音识别模块的非特定人语音识别集成单元接收来自视频中预置的语音口令和语音命令,向对应的微型继电器发送延时0.5秒的电平信号,该微型继电器立即吸合0.5秒后再断开动作,完成一次模拟触屏动作,播放中的视频因触屏而暂停,此时,使用者做出拳击动作,身体发生抖动,脑电波信号出现短时断开,单片机接收到信号后立即给触屏器对应的微型继电器发出一个短时电平信号,该微型继电器立即短时吸合后再断开动作,完成一次模拟触屏动作,暂停中的视频因触屏而恢复播放,如播放的是特制真人视频功夫游戏,情景中对方出手“攻击”使用者,“攻击”动作开始时视频中预置的语音口令和语音命令播出,触发触屏器动作,“攻击”动作视频立即暂停,等待使用者“回击”,使用者此时出手“回击”,触发触屏器动作,“攻击”动作视频立即由暂停变成播放,完成一次“攻击-回击-对方倒地”的一套预设动作,脑电波模块实时采集使用者脑电波,并生成专注度和放松度数据,通过单片机与语音识别模块通讯,扬声器播放对应的提示语句和音效,因混合现实眼镜播放的视频影像投射在现实环境中,脑机交互配合语音识别交互,从而现实了通过控制视频的播放达到混合现实环境的身临其境的仿真效果,提高了体验感。
上述实施例为本发明的实例,但本发明的实施方式并不受上述实施例的限制,触摸屏视频播放器不局限于智能手机、平板电脑、智能电视机、MP4、智能播放器、混合眼镜、AR眼镜,智能视频不局限于视频内容中设计有语音口令语句和语音命令语句的影像视频和游戏视频,其他的任何背离本发明原理下所做的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围内。

Claims (10)

1.一种基于脑电波和语音识别的视频控制装置,其特征在于,包括脑电波模块、语音识别模块、触摸屏视频播放器、触屏器、主机,脑电波模块包括脑电波采集传感器、脑电波信号放大处理器、通讯单元 、独立电源,脑电波采集传感器与脑电波信号放大处理器的信号输入端连接,脑电波信号放大处理器的信号输出端与通讯单元的信号输入端连接,独立电源用于给脑电波信号放大处理器和通讯单元供电,通讯单元为2.4G无线通信或蓝牙透传通信。
2.如权利要求1所述的一种基于脑电波和语音识别的视频控制装置,其特征在于,主机包括单片机、通讯单元、电源,单片机的信号输入端与通讯单元的信号输出端连接,电源用于给主机供电。
3.如权利要求1所述的一种基于脑电波和语音识别的视频控制装置,其特征在于,语音识别模块包括非特人语音识别集成单元、咪头、扬声器、导线,语音识别模块的电源接自主机的电源输出端,咪头和扬声器通过导线分别连接到非特人语音识别集成单元的咪头和扬声器接口端,非特人语音识别集成单元的多个IO输入口分别连接到主机中单片机的对应IO输出口,非特人语音识别集成单元的多个按键输入口分别连接到主机中单片机的对应IO输出口。
4.如权利要求1所述的一种基于脑电波和语音识别的视频控制装置,其特征在于,触屏器包括继电器组、触头、左放电触板、右放电触板、导线,继电器组是2个微型继电器并联连接,其中一个微型继电器的线圈正极端和负极端分别连接到主机中单片机的电源正极输出口和对应IO口,另一个微型继电器的线圈正极端和负极端分别连接到主机中单片机的电源正极输出口和非特定人语音识别集成单元的对应IO输出口,触头是导电金属片,其中一个微型继电器的吸合触点脚与另一个微型继电器的断开触点脚并联焊接在触头内面,通过导线将左放电触板和右放电触板分别连接到2个微型继电器的公共端,左放电触板和右放电触板分别与使用者的皮肤接触,触屏器的触头与触摸屏视频播放器的电容触摸屏接触。
5.如权利要求1所述的一种基于脑电波和语音识别的视频控制装置,其特征在于,触摸屏视频播放器为智能手机、平板电脑、智能电视机、MP4、智能播放器、混合现实眼镜、AR眼镜。
6.一种基于脑电波和语音识别的视频的控制方法,其特征在于,包括以下步骤:
S1、脑电波采集传感器实时采集使用者的脑电波信号,并传送给脑电波信号放大处理器;
S2、脑电波信号放大处理器将脑电波电信号进行放大和滤波处理,生成脑电波数据,并通过通讯装置发送给主机中的单片机;
S3、主机中的单片机接收脑电波数据并根据编程代码生成控制指令,从而控制触屏器动作,并控制语音识别模块的语音播报和语音交互,进一步控制视频的播放。
7.根据权利要求6所述的基于脑电波和语音识别的视频的控制方法,其特征在于,脑电波信号为脑皮层生物电、眨眼时的肌电,脑电波数据为抖动时的脑电信号短时断续数据、放松程度、注意集中程度、眨眼和闭眼状态数据的一种或多种。
8.根据权利要求6所述的基于脑电波和语音识别的视频的控制方法,其特征在于,视频为视频内容中设计有语音口令语句和语音命令语句的影像视频和游戏视频。
9.根据权利要求6所述的基于脑电波和语音识别的视频的控制方法,其特征在于,控制触屏器动作为单片机IO口和语音识别模块IO口分别输出延时0.5秒电平信号控制对应的微型继电器吸合和断开,完成触屏动作过程,使触摸屏视频播放器实现播放和暂停。
10.根据权利要求6所述的基于脑电波和语音识别的视频的控制方法,其特征在于,语音播报为非特定人语音识别集成单元接收单片机发送的指令播放设计好的对应语音句条和音效,语音交互为语音识别模块的咪头接收来自视频中的语音口令和语音命令、或者使用者说出的语音口令和语音命令,语音识别模块识别后向触屏器发送延时0.5秒的电平信号。
CN201810692498.0A 2018-06-29 2018-06-29 一种基于脑电波和语音识别的视频控制装置及其控制方法 Pending CN109151530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810692498.0A CN109151530A (zh) 2018-06-29 2018-06-29 一种基于脑电波和语音识别的视频控制装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810692498.0A CN109151530A (zh) 2018-06-29 2018-06-29 一种基于脑电波和语音识别的视频控制装置及其控制方法

Publications (1)

Publication Number Publication Date
CN109151530A true CN109151530A (zh) 2019-01-04

Family

ID=64802416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810692498.0A Pending CN109151530A (zh) 2018-06-29 2018-06-29 一种基于脑电波和语音识别的视频控制装置及其控制方法

Country Status (1)

Country Link
CN (1) CN109151530A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998828A (zh) * 2019-04-29 2019-07-12 河南科技大学第一附属医院 重症监护室床边控制柜
CN110353671A (zh) * 2019-07-09 2019-10-22 杭州绎杰检测科技有限公司 一种基于视频调制和脑电信号的视觉注视位置测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM394801U (en) * 2010-07-26 2010-12-21 Alchemy Technology Co Ltd Brain-wave driven and controlled multimedia broadcasting apparatus
CN103137157A (zh) * 2013-01-24 2013-06-05 中国联合网络通信集团有限公司 终端媒体播放控制方法、装置及终端
US20170049350A1 (en) * 2015-08-21 2017-02-23 Xiaomi Inc. Method and apparatus for controlling media play device
CN106851374A (zh) * 2017-03-13 2017-06-13 山东电子职业技术学院 一种数字家庭多媒体播放系统
CN107967053A (zh) * 2017-11-08 2018-04-27 江苏理工学院 一种基于脑电波信号的ar场景控制装置及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM394801U (en) * 2010-07-26 2010-12-21 Alchemy Technology Co Ltd Brain-wave driven and controlled multimedia broadcasting apparatus
CN103137157A (zh) * 2013-01-24 2013-06-05 中国联合网络通信集团有限公司 终端媒体播放控制方法、装置及终端
US20170049350A1 (en) * 2015-08-21 2017-02-23 Xiaomi Inc. Method and apparatus for controlling media play device
CN106851374A (zh) * 2017-03-13 2017-06-13 山东电子职业技术学院 一种数字家庭多媒体播放系统
CN107967053A (zh) * 2017-11-08 2018-04-27 江苏理工学院 一种基于脑电波信号的ar场景控制装置及其控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998828A (zh) * 2019-04-29 2019-07-12 河南科技大学第一附属医院 重症监护室床边控制柜
CN109998828B (zh) * 2019-04-29 2022-01-28 河南科技大学第一附属医院 重症监护室床边控制柜
CN110353671A (zh) * 2019-07-09 2019-10-22 杭州绎杰检测科技有限公司 一种基于视频调制和脑电信号的视觉注视位置测量方法
CN110353671B (zh) * 2019-07-09 2022-02-18 杭州绎杰检测科技有限公司 一种基于视频调制和脑电信号的视觉注视位置测量方法

Similar Documents

Publication Publication Date Title
CN108428475B (zh) 基于人体生理数据监测和虚拟现实的生物反馈训练系统
CN109120790B (zh) 通话控制方法、装置、存储介质及穿戴式设备
CN110609620B (zh) 基于虚拟形象的人机交互方法、装置及电子设备
CN103126690A (zh) 一种基于应用的人体情绪识别及控制方法及设备和系统
WO2019134473A1 (zh) 语音识别系统、方法和装置
CN109637098A (zh) 可穿戴设备及其控制方法
CN205490994U (zh) 一种多功能智能音响
CN105677004A (zh) 一种终端的处理方法和终端
CN103099693A (zh) 基于脑电/语音指令助残控制系统
CN105630145A (zh) 虚拟感觉的方法和装置以及使用其的眼镜或头盔
CN109151530A (zh) 一种基于脑电波和语音识别的视频控制装置及其控制方法
CN101995944A (zh) 眼电控制系统以及利用眼电控制系统控制游标的方法
CN109224432A (zh) 娱乐应用的操控方法、装置、存储介质及穿戴式设备
CN109348358B (zh) 音箱系统、音箱、音箱底座及语音播放方法
CN108966198A (zh) 网络连接方法、装置、智能眼镜及存储介质
JP2011097531A (ja) 傾聴対話持続システム
CN107551536A (zh) 一种智能麻将
CN204931075U (zh) 智能镜子
CN206998936U (zh) 一种智能语音机器人
CN208652928U (zh) 基于人工智能交互技术的电热水器及其智慧语音互动系统
WO2015180137A1 (zh) 互动控制方法、装置、及系统
CN207301525U (zh) 模块化智能眼镜
CN109361727B (zh) 信息共享方法、装置、存储介质及穿戴式设备
WO2019128632A1 (zh) 播放音频的方法、装置和系统
CN205598054U (zh) 人工耳蜗言语处理器无线遥控装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104