CN115047975A - 一种基于远距离数字交互物理化技术的人机交互方法 - Google Patents
一种基于远距离数字交互物理化技术的人机交互方法 Download PDFInfo
- Publication number
- CN115047975A CN115047975A CN202210710980.9A CN202210710980A CN115047975A CN 115047975 A CN115047975 A CN 115047975A CN 202210710980 A CN202210710980 A CN 202210710980A CN 115047975 A CN115047975 A CN 115047975A
- Authority
- CN
- China
- Prior art keywords
- communication
- method based
- user
- voice
- kinesthetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 230000003155 kinesthetic effect Effects 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims abstract description 38
- 230000008451 emotion Effects 0.000 claims abstract description 19
- 230000009471 action Effects 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 11
- 230000000638 stimulation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims 1
- 230000001953 sensory effect Effects 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000024159 perception of rate of movement Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 208000026278 immune system disease Diseases 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0016—Inter-integrated circuit (I2C)
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Cardiology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于远距离数字交互物理化技术的人机交互方法，包括CPU处理器通过无线通讯模块获取音频源；语音识别模块用于对音频源进行声学滤波，获取预处理音频，并通过模拟电路滤波后通过模拟转换生成数字音频等步骤。本发明与现有技术相比的优点在于：本方案通过在语音聊天等远距离沟通协作中引入触觉与动觉反馈，以更好地在数字沟通交流中传递情绪、情感、动作等多元感官信息，帮助人们更完整地分析、理解语句含义，形成语音与触、动觉反馈双向并行的沟通，以增强沟通中情绪传递或动作模拟的装置，以增强远距离沟通和虚拟协作，可应用于远距离语音通话、虚拟化应用场景、远距离协作、音乐增强等广泛用途。
Description
技术领域
本发明涉及远距离数字交互物理化技术，具体是指一种基于远距离数字交互物理化技术的人机交互方法。
背景技术
随着科技的进步、与数字媒体、虚拟实景、现实增强等虚实结合技术的发展，人们的沟通交流与互动协作愈发转向数字虚拟化。但现有的语音通讯或语音播放设备只能单纯地传递音频信息这一单一信号。然而，在自然场景下人与人面对面的沟通交流中，语音只是其中的一部分，情感语气、肢体动作、表情信息等都是其中重要的感官信息，帮助人们更完整地分析、理解语句含义。但在语音通话、远距离协作等场景中，这部分的多元感官刺激被减至最低，仅剩语音；而触觉反馈、情感情绪等信息缺失严重，造成远距离沟通中时常会出现误会误解，甚至引发触摸贫乏而引发心理健康问题，并由此引发继发性免疫混乱等生理健康问题。因此，智能穿戴设备需要引入触觉反馈，以更好地在数字沟通交流中传递情绪、情感、动作等多元感官信息，以增强远距离沟通和虚拟协作。
发明内容
为解决上述技术问题，本发明提供的技术方案为：一种基于远距离数字交互物理化技术的人机交互方法，包括以下步骤：
S1、CPU处理器通过无线通讯模块获取音频源；
S2、语音识别模块用于对音频源进行声学滤波，获取预处理音频，并通过模拟电路滤波后通过模拟转换生成数字音频，并对数字音频转换为有效文字信息或语音指令，并被处理器截获提取其中关键文字或指令；
S3、被截获提取的关键文字、指令等有效信息，通过通讯模块或装置载体内部电连接传递至“触觉与动觉反馈语义库”；
S4、“触觉与动觉反馈语义库”为存储在云端和或装置载体内的存储介质中的触觉与动觉映射准则数据库，通过将语音中的有效信息或指令，通过上下文语义识别语音沟通中的情绪、情感、动作等，匹配映射与之对应的触觉与动觉反馈信号，并传送给控制单元。
本发明与现有技术相比的优点在于：本方案通过在语音聊天等远距离沟通协作中引入触觉与动觉反馈，以更好地在数字沟通交流中传递情绪、情感、动作等多元感官信息，帮助人们更完整地分析、理解语句含义，形成语音与触、动觉反馈双向并行的沟通，以增强沟通中情绪传递或动作模拟的装置，以增强远距离沟通和虚拟协作，可应用于远距离语音通话、虚拟化应用场景、远距离协作、音乐增强等广泛用途。
进一步的，一种基于远距离数字交互物理化技术的人机交互方法搭载有可感知用户界面、人机交互模块。
进一步的，可感知用户界面为用户交互界面由控制单元控制，通过“触觉与动觉反馈语义库”映射的触觉与动觉反馈信号，激发阵列式发生模块，提供触觉与动觉刺激。
进一步的，人机交互模块用于提供由触控板提供的用户手势指令接收，触控板实时监测用户的操作手势，并将获得的手势数据传输给控制单元，控制单元将手势指令数据转换为设备控制指令以控制控制单元与CPU处理器执行相应控制功能。
进一步的，控制指令与控制功能包括但不限于如下任意一种或多种：触觉与动觉反馈信号指令的传输、阵列式触觉与动觉发生器的激发、音频传输、播放控制、语音沟通、设备开/关，音量调节、设备状态设定调整等功能。
进一步的，一种基于远距离数字交互物理化技术的人机交互方法还包括实时检测用户的心率数据的心率传感器，心率传感器通过I2C接口与CPU处理器相连，以光学方式检测用户耳朵毛细血管的血液反射光的强度的周期性变化，计算出佩戴设备时用户的心率，并将得到的心率数据传送给CPU处理器，CPU处理器上的控制单元解析心率数据并按照相关算法进行处理，预测用户的情绪，以增强触觉与动觉反馈的映射准确性。
附图说明
图1是一种基于远距离数字交互物理化技术的人机交互方法的工作流程示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明。
本发明在具体实施时，如图1所示的实施例中，一种基于远距离数字交互物理化技术的人机交互方法，包括以下步骤：
S1、CPU处理器通过无线通讯模块获取音频源；
S2、语音识别模块用于对音频源进行声学滤波，获取预处理音频，并通过模拟电路滤波后通过模拟转换生成数字音频，并对数字音频转换为有效文字信息或语音指令，并被处理器截获提取其中关键文字或指令；
S3、被截获提取的关键文字、指令等有效信息，通过通讯模块或装置载体内部电连接传递至“触觉与动觉反馈语义库”；
S4、“触觉与动觉反馈语义库”为存储在云端和或装置载体内的存储介质中的触觉与动觉映射准则数据库，通过将语音中的有效信息或指令，通过上下文语义识别语音沟通中的情绪、情感、动作等，匹配映射与之对应的触觉与动觉反馈信号，并传送给控制单元。
进一步的，如图1所示的实施例中，一种基于远距离数字交互物理化技术的人机交互方法搭载有可感知用户界面、人机交互模块。
进一步的，如图1所示的实施例中，可感知用户界面为用户交互界面由控制单元控制，通过“触觉与动觉反馈语义库”映射的触觉与动觉反馈信号，激发阵列式发生模块，提供触觉与动觉刺激。其中，所述“可感知用户界面Tangible User Interface(TUI)”为用户交互界面，由所述控制单元控制，通过“触觉与动觉反馈语义库”映射的触觉与动觉反馈信号，激发所述阵列式发生模块(例如但不限于，源自于所述单体或阵列式振动马达)，提供触觉与动觉刺激(例如但不限于，源自于所述单体或阵列式振动马达的振动刺激)；因为所述穿戴式装置直接与用户头部接触，故触觉与动觉刺激可直接被用户感知，作用于用户；其中所述的振动反馈与振动刺激可以为单个振动模块的单次和/或多次振动刺激、和/或多个振动模块的单次和/或多次振动刺激，其中所述振动马达的振动时间、振动间隔、振动次序等可调节，以对应不同的映射目标与符合语境。
进一步的，如图1所示的实施例中，人机交互模块用于提供由触控板提供的用户手势指令接收，触控板实时监测用户的操作手势，并将获得的手势数据传输给控制单元，控制单元将手势指令数据转换为设备控制指令以控制控制单元与CPU处理器执行相应控制功能。
进一步的，如图1所示的实施例中，控制指令与控制功能包括但不限于如下任意一种或多种：触觉与动觉反馈信号指令的传输、阵列式触觉与动觉发生器的激发、音频传输、播放控制、语音沟通、设备开/关，音量调节、设备状态设定调整等功能。
进一步的，如图1所示的实施例中，一种基于远距离数字交互物理化技术的人机交互方法还包括实时检测用户的心率数据的心率传感器，心率传感器通过I2C接口与CPU处理器相连，以光学方式检测用户耳朵毛细血管的血液反射光的强度的周期性变化，计算出佩戴设备时用户的心率，并将得到的心率数据传送给CPU处理器，CPU处理器上的控制单元解析心率数据并按照相关算法进行处理，预测用户的情绪，以增强触觉与动觉反馈的映射准确性。其中，所述接触传感器通过头梁内部主体走线与CPU连接。在设备的接触感应功能开启时，接触传感器实时感应用户对设备的接触，并将检测到的接触数据传送给CPU，CPU上的操作系统即上述的控制单元解析接触数据，判断音频播放设备的佩戴状态，确定音频播放设备是处于佩戴状态还是非佩戴状态，并通过预置的软件算法生成继续提供所述触觉或动觉反馈刺激或停止所述阵列式触觉反馈发生器的工作。
本方案涵盖语音沟通、音频播放、触觉和动觉刺激(包括但不限于振动刺激)以及播放控制等所有功能。其独特的“触觉与动觉反馈语义库”与“可感知用户界面TangibleUser Interface”，将语音信息、上下文感知的结果映射、转化为可感知的触觉反馈。
本发明总体上涉及远距离数字交互物理化技术，在传统人机交互与信息沟通领域引入触觉与动觉反馈，并且更具体地，涉及一种通过一个或多个处理器将语音音频信息通过上下文感知实时通过匹配“触觉与动觉反馈语义库”中的映射准则，映射转化成可感知的触觉反馈，并通过阵列式(震动)发生器提供环绕式触觉反馈，形成语音与触、动觉反馈双向并行的沟通，以增强沟通中情绪传递或动作模拟的装置，可应用于远距离语音通话、虚拟化应用场景、远距离协作、音乐增强等广泛用途。
以上显示和描述了本发明的基本原理和主要特征以及发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种基于远距离数字交互物理化技术的人机交互方法，其特征在于包括以下步骤：
S1、CPU处理器通过无线通讯模块获取音频源；
S2、语音识别模块用于对所述音频源进行声学滤波，获取预处理音频，并通过模拟电路滤波后通过模拟转换生成数字音频，并对所述数字音频转换为有效文字信息或语音指令，并被处理器截获提取其中关键文字或指令；
S3、所述被截获提取的关键文字、指令等有效信息，通过通讯模块或装置载体内部电连接传递至所述“触觉与动觉反馈语义库”；
S4、所述“触觉与动觉反馈语义库”为存储在云端和或装置载体内的存储介质中的触觉与动觉映射准则数据库，通过将语音中的有效信息或指令，通过上下文语义识别语音沟通中的情绪、情感、动作等，匹配映射与之对应的触觉与动觉反馈信号，并传送给控制单元。
2.根据权利要求1所述的一种基于远距离数字交互物理化技术的人机交互方法，其特征在于：所述一种基于远距离数字交互物理化技术的人机交互方法搭载有可感知用户界面、人机交互模块。
3.根据权利要求2所述的一种基于远距离数字交互物理化技术的人机交互方法，其特征在于：所述可感知用户界面为用户交互界面由控制单元控制，通过“触觉与动觉反馈语义库”映射的触觉与动觉反馈信号，激发所述阵列式发生模块，提供触觉与动觉刺激。
4.根据权利要求2所述的一种基于远距离数字交互物理化技术的人机交互方法，其特征在于：所述人机交互模块用于提供由触控板提供的用户手势指令接收，触控板实时监测用户的操作手势，并将获得的手势数据传输给控制单元，控制单元将所述手势指令数据转换为所述设备控制指令以控制所述控制单元与CPU处理器执行相应控制功能。
5.根据权利要求4所述的一种基于远距离数字交互物理化技术的人机交互方法，其特征在于：所述控制指令与所述控制功能包括但不限于如下任意一种或多种：触觉与动觉反馈信号指令的传输、阵列式触觉与动觉发生器的激发、音频传输、播放控制、语音沟通、设备开/关，音量调节、设备状态设定调整等功能。
6.根据权利要求1所述的一种基于远距离数字交互物理化技术的人机交互方法，其特征在于：一种基于远距离数字交互物理化技术的人机交互方法还包括实时检测用户的心率数据的心率传感器，心率传感器通过I2C接口与CPU处理器相连，以光学方式检测用户耳朵毛细血管的血液反射光的强度的周期性变化，计算出佩戴设备时用户的心率，并将得到的心率数据传送给所述CPU处理器，CPU处理器上的控制单元解析心率数据并按照相关算法进行处理，预测用户的情绪，以增强所述触觉与动觉反馈的映射准确性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210710980.9A CN115047975A (zh) | 2022-06-22 | 2022-06-22 | 一种基于远距离数字交互物理化技术的人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210710980.9A CN115047975A (zh) | 2022-06-22 | 2022-06-22 | 一种基于远距离数字交互物理化技术的人机交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115047975A true CN115047975A (zh) | 2022-09-13 |
Family
ID=83163424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210710980.9A Pending CN115047975A (zh) | 2022-06-22 | 2022-06-22 | 一种基于远距离数字交互物理化技术的人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115047975A (zh) |
-
2022
- 2022-06-22 CN CN202210710980.9A patent/CN115047975A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11493993B2 (en) | Systems, methods, and interfaces for performing inputs based on neuromuscular control | |
| KR102298947B1 (ko) | 음성 데이터 처리 방법 및 이를 지원하는 전자 장치 | |
| US11402909B2 (en) | Brain computer interface for augmented reality | |
| KR102412523B1 (ko) | 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 서버 | |
| US11237635B2 (en) | Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio | |
| KR102365649B1 (ko) | 화면 제어 방법 및 이를 지원하는 전자 장치 | |
| Kikuchi et al. | EarTouch: turning the ear into an input surface | |
| KR102348758B1 (ko) | 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치 | |
| JP6810764B2 (ja) | ヒューマンマシンインタラクションに使用される方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体 | |
| CN114740981B (zh) | 信息处理方法、装置、可读介质、电子设备及程序产品 | |
| KR20180116726A (ko) | 음성 데이터 처리 방법 및 이를 지원하는 전자 장치 | |
| KR20190110690A (ko) | 복수의 입력 간에 매핑된 정보 제공 방법 및 이를 지원하는 전자 장치 | |
| US11769016B2 (en) | Generating responses to user interaction data based on user interaction-styles | |
| KR20200045851A (ko) | 음성 인식 서비스를 제공하는 전자 장치 및 시스템 | |
| KR20200099380A (ko) | 음성 인식 서비스를 제공하는 방법 및 그 전자 장치 | |
| CN113822076A (zh) | 文本生成方法、装置、计算机设备及存储介质 | |
| KR102345883B1 (ko) | 그래픽 표시를 출력하는 전자 장치 | |
| CN107479704A (zh) | 一种可穿戴设备的控制方法、装置、设备及存储介质 | |
| KR102511517B1 (ko) | 음성 입력 처리 방법 및 이를 지원하는 전자 장치 | |
| CN110209335A (zh) | 智能终端的控制方法和装置 | |
| US10114471B2 (en) | Wireless input system based on an intra-body communication and implementation method thereof | |
| CN115047975A (zh) | 一种基于远距离数字交互物理化技术的人机交互方法 | |
| CN115769298A (zh) | 缺少自动化助理应用编程接口功能的外部应用的自动化助理控制 | |
| US20240085982A1 (en) | Haptic-feedback bilateral human-machine interaction method based on remote digital interaction | |
| CN112834024A (zh) | 基于振动阵列的可穿戴式多维力反馈装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |