CN112130133A - 一种基于毫米波雷达的人机交互方法 - Google Patents

一种基于毫米波雷达的人机交互方法 Download PDF

Info

Publication number
CN112130133A
CN112130133A CN202010868417.5A CN202010868417A CN112130133A CN 112130133 A CN112130133 A CN 112130133A CN 202010868417 A CN202010868417 A CN 202010868417A CN 112130133 A CN112130133 A CN 112130133A
Authority
CN
China
Prior art keywords
module
millimeter wave
wave radar
frequency
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010868417.5A
Other languages
English (en)
Inventor
文博
张骥超
张鑫
杨玉蓉
孙祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Panda Electronics Co Ltd
Nanjing Panda Electronics Manufacturing Co Ltd
Original Assignee
Nanjing Panda Electronics Co Ltd
Nanjing Panda Electronics Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Panda Electronics Co Ltd, Nanjing Panda Electronics Manufacturing Co Ltd filed Critical Nanjing Panda Electronics Co Ltd
Priority to CN202010868417.5A priority Critical patent/CN112130133A/zh
Publication of CN112130133A publication Critical patent/CN112130133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于毫米波雷达的人机交互方法，步骤如下：(1)通过主控模块进行初始化，对毫米波雷达模块、数据处理模块和智能识别模块进行参数设置，并向毫米波雷达模块发出工作指令；(2)毫米波雷达模块向目标场景发射线性调频连续波，经过目标物反射的回波信号通过接收天线收集回本模块，与发射信号混频后得到中频信号，传输至数据处理模块；(3)数据处理模块执行解算算法，得到特征数据，传输至智能识别模块；(4)智能识别模块根据特征数据解析对应动作与指令，反馈至主控模块；(5)主控模块根据反馈下达控制指令，驱动设备完成相应控制动作。本发明拓展智能家居设备进行交互，使之能对动作姿态指令进行反馈，并依据模型比对，实现具体控制操作。

Description

一种基于毫米波雷达的人机交互方法
技术领域
本发明属于智能识别与人机交互领域，特别涉及一种基于毫米波雷达的人机交互方法。
背景技术
人机交互是指通过计算机输入、输出设备，以有效的方式实现人与机器对话的技术。从人机交互的发展轨迹和趋势上看，分为以下几个发展阶段：(1)基于键盘与命令语言的交互阶段，即采用命令语言驱动机器操作；(2)基于鼠标和图形用户界面的交互阶段，解决了精确定位和快速切换的难题；(3)基于多点触控技术的触屏交互阶段，多点触控交互技术随着移动互联网的发展，突破了交互的地点限制，实现随时随地以功能为中心的交互；(4)多通道、多模态的自然交互阶段，人机交互出现多种形态的融合交叉，回归到以用户为中心的初心。人机交互方式依赖于大数据、物联网及人工智能等技术的藕合发展，产生了越来越多的形态。
目前伴随移动互联网技术的蓬勃发展，接触式交互控制成为目前最为流行的交互方式，在移动个人终端、工业控制以及服务领域有着非常广泛的引用。但是，公共场所的接触式触摸方式增加了安全隐患和病毒传播的风险。非接触式的交互方式因其具有安全性和隐私性，而智能家居作为营造智慧健康人居生活的直接载体，非接触式的解决方案，必将成为发展趋势。
目前，市场上已有的非接触式交互主要分为基于可见光的图像信息处理方法以及基于语音或声纹识别的方法。然而二者都具有一定缺陷：第一，基于可见光的图像信息处理方法具有信息处理计算量大、处理效率低、受到可视化环境因素影响大等缺陷；第二，基于语音或声纹识别的方法受限于用户个体语音差异大、识别精准度低且在噪声环境下不具备可行性的缺陷；第三，两种方式对于保护用户隐私上具有一定风险。
发明内容
发明目的：针对上述缺陷，本发明提供一种拓展智能家居设备进行交互，使之能对动作姿态指令进行反馈，并依据模型比对，实现具体控制操作的基于毫米波雷达的人机交互方法。
技术方案：本发明提出一种基于毫米波雷达的人机交互方法，包括如下步骤：
(1)通过主控模块进行初始化，对毫米波雷达模块、数据处理模块和智能识别模块进行参数设置，并向毫米波雷达模块发出工作指令；
(2)毫米波雷达模块向目标场景发射线性调频连续波，经过目标物反射的回波信号通过接收天线收集回本模块，与发射信号混频后得到中频信号，传输至数据处理模块；
(3)数据处理模块执行解算算法，得到特征数据，传输至智能识别模块；
(4)智能识别模块根据特征数据解析对应动作与指令，反馈至主控模块；
(5)主控模块根据反馈下达控制指令，驱动设备完成相应控制动作。
进一步的，所述步骤(1)中数据处理模块与毫米波雷达模块集成在一块MMIC上。
进一步的，所述步骤(2)中毫米波雷达模块向数据处理模块传输信号的具体步骤如下：
(2.1)射频MMIC经由压控振荡器产生高频信号；
(2.2)高频信号经由-3dB的功率分配器，一部分经过放大器后传输至发射天线，另一部分传输至混频器；
(2.3)接收天线将接收到的回波信号经低噪声放大器后，与发射信号混频，得到中频信号数据；
(2.4)将中频信号经过低通滤波器滤除高频杂波后，经过放大器及模数转换后送至数据处理模块的微处理器执行。
进一步的，所述步骤(3)中数据处理模块执行解算算法，得到特征数据的具体步骤如下：
主控模块发送工作指令至毫米波雷达模块并进行相关初始化及参数设定，毫米波雷达模块经由发射天线，向目标场景发射线性调频连续波，即频率随时间做线性变化的发射信号，同时通过接收天线接收待测场景反射的回波信号，发射信号与回波信号经过混频后可以得到中频信号；设发射信号与回波信号的时延为Δtd，发射信号起始频率为f0；当待测目标速度为0时，无需考虑多普勒频移，中频信号的频率为
Figure BDA0002650432890000021
其中B为线性调频连续波的扫频带宽，T为扫频周期，μ为扫频斜率，c为光速，R为待测目标距离；若待测目标速度不为0，设其相对雷达径向速度为v，多普勒频率为fd，则有
Figure BDA0002650432890000022
又fb +＝μΔtd-fd，fb -＝μΔtd+fd，从而可得待测目标的距离和速度：R(t)＝(fb ++fb -)Tc/8B，
Figure BDA0002650432890000031
对于中频信号进行快速傅里叶变换，可得中频信号主频，从而解算待测目标距离和速度。
进一步的，所述步骤(4)中智能识别模块根据特征数据解析对应动作与指令，反馈至主控模块的具体步骤如下：智能识别模块经过离线训练深度学习生成模型，根据预设的动作姿态，结合特征数据比对识别姿态，最终传输至主控模块进行判决。
本发明采用上述技术方案，具有以下有益效果：
1、采用非接触式的交互方式，具有安全性和隐私性，避免传统接触式触摸方式的安全隐患和降低病毒传播的风险。
2、避免基于可见光的图像信息处理方法信息处理计算量大、处理效率低、受到可视化环境因素影响大等缺陷，以及基于语音或声纹识别的方法受限于用户个体语音差异大、识别精准度低且在噪声环境下不具备可行性的缺陷。
3、本方案将数据处理模块与毫米波雷达模块集成在一块MMIC上，节约了硬件成本，降低了实现难度。
4、用户可自定义动作指令，通过离线训练产生数据模型，实现个性化交互。
附图说明
图1为本发明的流程图；
图2为具体实施例中毫米波雷达模块工作的流程图；
图3为具体实施例中发射信号与接收信号波形图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供一种基于毫米波雷达的人机交互方法，在需要交互的目标设备中，安装集成了数据处理模块与毫米波雷达模块的数据采集与感知传感器，如图1所示，其工作过程包括以下步骤：
步骤101、主控模块初始化整个系统，对各模块并进行参数设置，向毫米波雷达模块发出工作指令；
步骤102、毫米波雷达模块向目标场景发射线性调频连续波，经过目标物反射的回波信号通过接收天线收集回本模块，与发射信号混频后得到中频信号，传输至数据处理模块；
步骤103、数据处理模块执行解算算法，得到特征数据，传输至智能识别模块；
步骤104、智能识别模块根据特征数据解析对应动作与指令，反馈至主控模块；
步骤105、主控模块根据反馈下达控制指令，驱动设备完成相应控制动作。
如图2所示，在步骤102中，具体的，毫米波雷达模块工作的基本过程以及原理如下：
步骤201、射频MMIC经由压控振荡器产生高频信号；
步骤202、高频信号经由-3dB的功率分配器，一部分经过放大器后传输至发射天线，另一部分传输至混频器；
步骤203、接收天线将接收到的回波信号经低噪声放大器后，与发射信号混频，得到中频信号数据；
步骤204、将中频信号经过低通滤波器滤除高频杂波后，经过放大器及模数转换后送至数据处理模块的微处理器执行。
在步骤103中，如图3，具体的解算原理及过程如下：
毫米波雷达模块向待测环境发射线性调频连续波，射线性调频连续波采用三角波调制，其频率变化的斜率保持恒定。三角波经过目标物反射后，返回到接收天线，比较发射波形与接收波形，两者时延为Δtd。当目标物速度为0时，无需考虑多普勒频移，中频信号的频率为：
Figure BDA0002650432890000041
其中B为线性调频连续波的扫频带宽，T为扫频周期，μ为扫频斜率，c为光速，R为待测目标距离。
若目标物速度不为0，设其相对雷达径向速度为v，需引入多普勒频率，设为fd，则有
Figure BDA0002650432890000042
R(t)＝R0-vt
故，时延Δtd与目标物距离R(t)之间的关系为：
Figure BDA0002650432890000043
所以有：
fb +＝μΔtd-fd
fb -＝μΔtd+fd
则目标物相对于雷达模块的距离和速度为：
Figure BDA0002650432890000051
Figure BDA0002650432890000052
对于中频信号进行快速傅里叶变换，可得中频信号主频，从而解算待测目标距离和速度等特征数据。智能识别模块根据特征数据，对比通过离线训练产生的数据模型，解析对应动作并进行分类，反馈至主控模块。主控模块根据解析结果与设备进行通信，驱动设备完成相应指令动作，对用户动作输入进行反馈，实现非接触式交互。

Claims (5)

1.一种基于毫米波雷达的人机交互方法，其特征在于，包括如下步骤：
(1)通过主控模块进行初始化，对毫米波雷达模块、数据处理模块和智能识别模块进行参数设置，并向毫米波雷达模块发出工作指令；
(2)毫米波雷达模块向目标场景发射线性调频连续波，经过目标物反射的回波信号通过接收天线收集回本模块，与发射信号混频后得到中频信号，传输至数据处理模块；
(3)数据处理模块执行解算算法，得到特征数据，传输至智能识别模块；
(4)智能识别模块根据特征数据解析对应动作与指令，反馈至主控模块；
(5)主控模块根据反馈下达控制指令，驱动设备完成相应控制动作。
2.根据权利要求1所示的一种基于毫米波雷达的人机交互方法，其特征在于，所述步骤(1)中数据处理模块与毫米波雷达模块集成在一块MMIC上。
3.根据权利要求1所示的一种基于毫米波雷达的人机交互方法，其特征在于，所述步骤(2)中毫米波雷达模块向数据处理模块传输信号的具体步骤如下：
(2.1)射频MMIC经由压控振荡器产生高频信号；
(2.2)高频信号经由-3dB的功率分配器，一部分经过放大器后传输至发射天线，另一部分传输至混频器；
(2.3)接收天线将接收到的回波信号经低噪声放大器后，与发射信号混频，得到中频信号数据；
(2.4)将中频信号经过低通滤波器滤除高频杂波后，经过放大器及模数转换后送至数据处理模块的微处理器执行。
4.根据权利要求1所示的一种基于毫米波雷达的人机交互方法，其特征在于，所述步骤(3)中数据处理模块执行解算算法，得到特征数据的具体步骤如下：
主控模块发送工作指令至毫米波雷达模块并进行相关初始化及参数设定，毫米波雷达模块经由发射天线，向目标场景发射线性调频连续波，即频率随时间做线性变化的发射信号，同时通过接收天线接收待测场景反射的回波信号，发射信号与回波信号经过混频后可以得到中频信号；设发射信号与回波信号的时延为Δtd，发射信号起始频率为f0；当待测目标速度为0时，无需考虑多普勒频移，中频信号的频率为
Figure FDA0002650432880000011
其中B为线性调频连续波的扫频带宽，T为扫频周期，μ为扫频斜率，c为光速，R为待测目标距离；若待测目标速度不为0，设其相对雷达径向速度为v，多普勒频率为fd，则有
Figure FDA0002650432880000021
又fb +＝μΔtd-fd，fb -＝μΔtd+fd，从而可得待测目标的距离和速度：R(t)＝(fb ++fb -)Tc/8B，
Figure FDA0002650432880000022
对于中频信号进行快速傅里叶变换，可得中频信号主频，从而解算待测目标距离和速度。
5.根据权利要求1所示的一种基于毫米波雷达的人机交互方法，其特征在于，所述步骤(4)中智能识别模块根据特征数据解析对应动作与指令，反馈至主控模块的具体步骤如下：智能识别模块经过离线训练深度学习生成模型，根据预设的动作姿态，结合特征数据比对识别姿态，最终传输至主控模块进行判决。
CN202010868417.5A 2020-08-26 2020-08-26 一种基于毫米波雷达的人机交互方法 Pending CN112130133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010868417.5A CN112130133A (zh) 2020-08-26 2020-08-26 一种基于毫米波雷达的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010868417.5A CN112130133A (zh) 2020-08-26 2020-08-26 一种基于毫米波雷达的人机交互方法

Publications (1)

Publication Number Publication Date
CN112130133A true CN112130133A (zh) 2020-12-25

Family

ID=73848242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010868417.5A Pending CN112130133A (zh) 2020-08-26 2020-08-26 一种基于毫米波雷达的人机交互方法

Country Status (1)

Country Link
CN (1) CN112130133A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406611A (zh) * 2021-06-21 2021-09-17 中国科学技术大学 一种毫米波非视线场景定位的系统及方法
CN113885512A (zh) * 2021-10-25 2022-01-04 上海交通大学宁波人工智能研究院 一种协助机器人探测导航盲区的系统和方法
CN117170982A (zh) * 2023-11-02 2023-12-05 建信金融科技有限责任公司 人机检测方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621551A (zh) * 2012-04-12 2012-08-01 朱泽睿 一种77GHz毫米波射频器件及其使用方法
CN110045370A (zh) * 2019-05-10 2019-07-23 成都宋元科技有限公司 基于毫米波雷达的人体感知方法及其系统
CN110687816A (zh) * 2019-10-31 2020-01-14 复旦大学 基于毫米波雷达的智能家居控制系统和方法
CN110765974A (zh) * 2019-10-31 2020-02-07 复旦大学 基于毫米波雷达和卷积神经网络的微动手势识别方法
WO2020042121A1 (zh) * 2018-08-30 2020-03-05 Oppo广东移动通信有限公司 一种手势识别方法及终端、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621551A (zh) * 2012-04-12 2012-08-01 朱泽睿 一种77GHz毫米波射频器件及其使用方法
WO2020042121A1 (zh) * 2018-08-30 2020-03-05 Oppo广东移动通信有限公司 一种手势识别方法及终端、存储介质
CN110045370A (zh) * 2019-05-10 2019-07-23 成都宋元科技有限公司 基于毫米波雷达的人体感知方法及其系统
CN110687816A (zh) * 2019-10-31 2020-01-14 复旦大学 基于毫米波雷达的智能家居控制系统和方法
CN110765974A (zh) * 2019-10-31 2020-02-07 复旦大学 基于毫米波雷达和卷积神经网络的微动手势识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406611A (zh) * 2021-06-21 2021-09-17 中国科学技术大学 一种毫米波非视线场景定位的系统及方法
CN113406611B (zh) * 2021-06-21 2024-03-29 中国科学技术大学 一种毫米波非视线场景定位的系统及方法
CN113885512A (zh) * 2021-10-25 2022-01-04 上海交通大学宁波人工智能研究院 一种协助机器人探测导航盲区的系统和方法
CN117170982A (zh) * 2023-11-02 2023-12-05 建信金融科技有限责任公司 人机检测方法、装置、电子设备和计算机可读介质
CN117170982B (zh) * 2023-11-02 2024-02-13 建信金融科技有限责任公司 人机检测方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN112130133A (zh) 一种基于毫米波雷达的人机交互方法
US10496182B2 (en) Type-agnostic RF signal representations
CN106446801B (zh) 基于超声主动探测的微手势识别方法及系统
US11435468B2 (en) Radar-based gesture enhancement for voice interfaces
US11061115B2 (en) Method for gesture recognition, terminal, and storage medium
Liu et al. M-gesture: Person-independent real-time in-air gesture recognition using commodity millimeter wave radar
CN110765974A (zh) 基于毫米波雷达和卷积神经网络的微动手势识别方法
US10775483B1 (en) Apparatus for detecting and recognizing signals and method thereof
CN106919295B (zh) 人机交互装置和显示装置
Wang et al. A gesture air-writing tracking method that uses 24 GHz SIMO radar SoC
CN110749868B (zh) 一种雷达系统控制方法、装置、电子设备及可读存储介质
CN110687816A (zh) 基于毫米波雷达的智能家居控制系统和方法
CN112363156A (zh) 隔空手势识别方法和装置以及智能设备
CN108089702B (zh) 一种基于超声波的人机体感交互方法及系统
CN113064483A (zh) 一种手势识别方法以及相关装置
CN108805112A (zh) 一种基于机器学习和雷达结合的动作识别系统
CN103090930A (zh) 雷达物位计及其信号处理方法
Regani et al. Handwriting tracking using 60 GHz mmWave radar
CN113849969A (zh) 毫米波雷达仿真方法、装置及电子设备
Wang et al. A software-synchronization based, flexible, low-cost FMCW radar
Divya et al. Arduino based obstacle detecting system
CN112068127B (zh) 一种基于高频毫米波雷达的无接触控制方法
Walker et al. Good vibrations: Exploiting reflector motion to partition an acoustic environment
Wang et al. Automated FMCW radar experimental platform
CN117930247A (zh) 显示设备和用户动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination