CN111525940B - 可穿戴设备、信号处理方法、信号处理装置及存储介质 - Google Patents
可穿戴设备、信号处理方法、信号处理装置及存储介质 Download PDFInfo
- Publication number
- CN111525940B CN111525940B CN202010249740.4A CN202010249740A CN111525940B CN 111525940 B CN111525940 B CN 111525940B CN 202010249740 A CN202010249740 A CN 202010249740A CN 111525940 B CN111525940 B CN 111525940B
- Authority
- CN
- China
- Prior art keywords
- signal
- module
- terminal
- feedback signal
- electrode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 118
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 239000011521 glass Substances 0.000 claims abstract description 98
- 230000006698 induction Effects 0.000 claims abstract description 58
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 230000006854 communication Effects 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013500 data storage Methods 0.000 claims 3
- 230000003068 static effect Effects 0.000 claims 3
- 230000003190 augmentative effect Effects 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008054 signal transmission Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013021 overheating Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
- H04B2001/3872—Transceivers carried on the body, e.g. in helmets with extendable microphones or earphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供一种可穿戴设备、信号处理方法、信号处理装置与计算机可读存储介质，涉及增强现实技术领域。可穿戴设备包括：眼镜终端和处理终端，其中，所述眼镜终端包括第一电极，当所述眼镜终端被穿戴时，所述第一电极和人体接触；所述处理终端包括第二电极，当所述处理终端被穿戴时，所述第二电极和人体接触；所述眼镜终端用于通过所述第一电极发送感应信号，使所述感应信号通过人体传输到达所述第二电极；所述处理终端用于处理所述感应信号以得到反馈信号，并通过所述第二电极发送所述反馈信号，使所述反馈信号通过人体传输到达所述第一电极。本公开提出了一种新的可穿戴设备，在进行有效的信号处理的同时，提高了用户穿戴该设备的舒适度。
Description
技术领域
本公开涉及增强现实技术领域，尤其涉及一种可穿戴设备、信号处理方法、信号处理装置与计算机可读存储介质。
背景技术
随着人机交互技术发展日趋智能化与多样化，VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)等技术得到了人们的广泛关注，各种可穿戴设备，例如虚拟现实眼镜、虚拟现实头盔等电子设备应运而生。现有技术中，可穿戴设备常常为一体式结构，随着其功能越来越丰富多样，设备的重量和体积也逐渐变大，用户在佩戴时间过长时，设备温度也会升高，极大的影响了用户体验。因此，如何在进行有效的信号处理的同时，提高用户佩戴可穿戴设备的舒适度是现有技术亟待解决的一个问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种可穿戴设备、信号处理方法、信号处理装置与计算机可读存储介质，进而至少在一定程度上在有效进行信号处理的过程中，提高用户佩戴设备的舒适度。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种可穿戴设备，包括眼镜终端和处理终端，其中，所述眼镜终端包括第一电极，当所述眼镜终端被穿戴时，所述第一电极和人体接触；所述处理终端包括第二电极，当所述处理终端被穿戴时，所述第二电极和人体接触；所述眼镜终端用于通过所述第一电极发送感应信号，使所述感应信号通过人体传输到达所述第二电极；所述处理终端用于处理所述感应信号以得到反馈信号，并通过所述第二电极发送所述反馈信号，使所述反馈信号通过人体传输到达所述第一电极。
根据本公开的第二方面，提供一种信号处理方法，应用于上述可穿戴设备，所述方法包括：获取由眼镜终端上至少一个传感器采集的感应信号；通过第一电极发送所述感应信号，使所述感应信号通过人体传输到达处理终端的第二电极；所述处理终端处理所述感应信号以得到反馈信号；通过所述第二电极发送所述反馈信号，使所述反馈信号通过人体传输到达所述第一电极；在所述眼镜终端上呈现所述反馈信号。
根据本公开的第三方面，提供一种信号处理装置，所述装置包括：感应信号获取模块，用于获取由眼镜终端上至少一个传感器采集的感应信号；感应信号发送模块，用于通过第一电极发送所述感应信号，使所述感应信号通过人体传输到达处理终端的第二电极；反馈信号获得模块，用于所述处理终端处理所述感应信号以得到反馈信号；反馈信号发送模块，用于通过所述第二电极发送所述反馈信号，使所述反馈信号通过人体传输到达所述第一电极；反馈信号呈现模块，用于在所述眼镜终端上呈现所述反馈信号。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述信号处理方法。
本公开的技术方案具有以下有益效果：
根据上述可穿戴设备、信号处理方法、信号处理装置与计算机可读存储介质，通过第一电极发送眼镜终端获得的感应信号，当感应信号通过人体从第一电极传输到设于处理终端的第二电极时，处理终端可以根据感应信号生成反馈信号，并通过第二电极向眼镜终端返回反馈信号，使反馈信号通过人体传输至第一电极。一方面，该可穿戴设备实现了一种新的信号处理方式，通过眼镜终端和处理终端与人体接触，使其可以基于人体通信对信号进行传输与处理，区别于常用的无线通信，连接过程简单、便捷，且具有低功耗的特性；另一方面，本示例性实施例采用分体式结构，结合人体通信，将需要进行处理的信号传输至处理模块，相比于现有技术，减轻了眼镜终端的体积和重量，也避免了眼镜终端持续进行计算导致设备过热的问题；再一方面，通过IBC技术进行控制信号的传递，抗电磁干扰能力较强，且人体可以自身携带难以完全估量的“生物密码”，保证了传输信号的安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式的增强现实设备的示意图；
图2示出本示例性实施方式中眼镜终端系统架构的示意图；
图3示出本示例性实施方式中处理终端系统架构的示意图；
图4示出本示例性实施方式中一种信号处理方法的流程图；
图5示出本示例性实施方式的一种信号处理装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开的示例性实施例首先提供了一种可穿戴设备，可以参考图1中的可穿戴设备100所示。该可穿戴设备100可以包括眼镜终端110和处理终端120。眼镜终端110可以佩戴于用户的头部，处理终端120可以以任意形式佩戴于用户身体的多个部位，例如颈部、手腕或腰部等等。
参考图2及图3所示，下面以增强现实眼镜为例，对眼镜终端200和处理终端300内部的构造进行示例性说明。本领域技术人员应当理解，眼镜终端200和处理终端300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对眼镜终端200和处理终端300的结构限定。在另一些实施方式中，眼镜终端200和处理终端300也可以采用与图2和图3不同的接口连接方式，或多种接口连接方式的组合。
如图2所示，眼镜终端200具体可以包括第一串化模块210、人体通信模块220和显示模块230。
第一串化模块210用于将眼镜终端的外设接口，例如I2C(Inter-IntegratedCircuit，集成电路总线)、SPI(Serial Peripheral Interface，串行外接口)、MIPI(MobileIndustry Processor Interface，移动产业处理器接口)等通用通信标准接口转换为差分串行方式，以将获取的数据转换为符合人体通信标准的数据信号。在本示例性实施例中，第一串化模块可以包括ASIC(Application Specific Integrated Circuit，专用集成电路)或FPGA(Field Programmable Gate Array，现场可编程门阵列)。其中，ASIC是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路，而FPGA是指属于专用集成电路中的一种半定制电路，是可编程的逻辑列阵。本示例性实施例可以通过在眼镜终端设置ASIC或FPGA，来实现数据的低延时、低功耗转换和处理。第一串化模块310可以对眼镜终端获取的感应信号进行串化处理后发送至处理终端300，也可以对接收到的处理终端300发送的反馈信号进行解串处理。
人体通信模块220，可以包括与人体进行接触的第一电极221，信号发射单元以及信号接收单元等。其中，第一电极221设置于与人体能够充分接触的区域，例如眼镜终端的镜腿内侧，与人体的头部接触。信号发射单元和信号接收单元可以对信号进行预处理，例如信号识别、信号放大或信号转换等。
显示模块230可以显示图像，视频等。显示模块230一般设置为镜片的形式，用户透过镜片看到真实场景，由处理终端300处理后将虚拟影像传输到显示模块230上显示，使用户看到真实和虚拟叠加的影像效果。因此显示模块230可以具备“透视”(See-Through)的功能，既要看到真实的外部世界，也要看到虚拟信息，以实现现实和虚拟的融合与“增强”。在一种可选的实施方式中，如图2所示，显示模块230可以包括微型显示屏(Display)231与透镜(Lens)232。微型显示屏231用于提供显示内容，可以是自发光的有源器件，如发光二极管面板、或具有外部光源照明的液晶显示屏等；透镜232用于使人眼看到真实场景，从而对真实场景影像和虚拟影像进行叠加。
在一种可选的实施方式中，眼镜终端200还可以包括摄像模块240，由镜头、感光元件等部件组成。其可以位于两镜片中间的位置，当用户佩戴眼镜终端200时，摄像模块240朝向用户的正前方，可以捕获前方的静态图像或视频，例如用户在正前方做出手势操作，摄像模块240可以拍摄用户的手势图像。进一步的，如图2所示，摄像模块240可以包括深度摄像头241，例如可以是TOF(Time Of Flight，飞行时间)摄像头、双目摄像头等，可以检测场景图像中每个部分或每个物体的深度信息(即与眼镜终端200的轴向距离)，从而得到更加丰富的图像信息，例如在拍摄手势图像后，可以根据手势的深度信息，实现准确的手势识别。摄像模块240还可以包括红外摄像头242，以实现对场景图像中包含的物体进行红外检测等。
在一种可选的实施方式中，眼镜终端200还可以包括音频模块250，用于将数字音频信号转换成模拟音频信号输出，也可以将模拟音频输入转换为数字音频信号，还可以用于对音频信号编码和解码。如图2所示，音频模块250一般可以包括麦克风251和耳机252，麦克风251可以设置在眼镜终端200的底部，靠近用户嘴部的位置，耳机252可以设置在眼镜终端200的镜腿的中后端，靠近用户耳朵的位置。
在一种可选的实施方式中，眼镜终端200还可以包括通用通信模块，其可以提供包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation SatelliteSystem，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near FieldCommunication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案，使眼镜终端200连接到互联网，以实现人体通信与通用通信的“双模式”通信方式。
在一种可选的实施方式中，眼镜终端200还可以包括传感器模块260，其由不同类型的传感器组成，用于实现不同的功能。例如，环境光传感器261可以检测周围环境的环境光信息；距离传感器262可以检测周围环境中的物体距离眼镜终端的距离信息；惯性测量263可以检测当前的位姿信息；眼球追踪264可以获取用户佩戴眼镜终端时，其眼睛的移动状态信息等。此外，传感器模块还可以包括按压传感器，用于检测用户进行按压操作的力度；红外传感器，用于通过发射和接收红外信号，检测眼镜终端200的佩戴状态；霍尔传感器，用于通过检测是否产生霍尔效应，确定眼镜终端200的弯折状态等，本公开对此不做具体限定。
在一种可选的实施方式中，眼镜终端还可以包括充电管理模块，用于接收充电输入。
如图3所示，处理终端300具体可以包括第二串化模块310，人体通信模块320，存储模块330和处理模块340。
第二串化模块310，用于将接收的串行数据转换为对应的数据接口协议。其可以对眼镜终端发送的感应信号进行解串处理，也可以对处理终端生成的需要发送至眼镜终端的反馈信号进行串化处理。
人体通信模块320，可以包括用于进行信号接收与发送的第二电极321，其可以设置于处理终端与人体接触的位置，具体可以根据处理终端的结构确定，例如处理终端为佩戴于用于手腕部位的手环时，则第二电极321可以设置与手环内侧与用户的手腕接触的位置等。
存储模块330用于存储可执行指令，例如可以包括操作系统代码、程序代码，还可以存储程序运行期间所产生的数据，例如摄像模块240所拍摄的图像数据，APP内的用户数据等。存储模块330可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。
处理模块340可以包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、应用处理器(Application Processor，AP)、调制解调处理器、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理器可以作为独立的模块，也可以集成在一个处理模块中。处理模块340可以执行存储模块330上的可执行指令，以执行相应的程序命令。
在一种可选的实施方式中，处理终端300还可以包括USB(Universal Serial Bus，通用串行总线)接口350，其符合USB标准规范，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口350可以用于连接充电器为处理终端300充电，也可以连接耳机，通过耳机播放音频，还可以用于连接其他电子设备，例如连接电脑、外围设备等。
在一种可选的实施方式中，处理终端300还可以包括充电管理模块360，用于从充电器接收充电输入，为电池361充电。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施方式中，充电管理模块360可以通过USB接口350接收有线充电器的充电输入。在一些无线充电的实施方式中，充电管理模块360可以通过处理终端300的无线充电线圈接收无线充电输入。充电管理模块360为电池361充电的同时，还可以为设备供电。
下面对本公开的示例性实施例所提供的可穿戴设备，进行具体说明。如图1所示，可穿戴设备包括眼镜终端110和处理终端120，其中：
眼镜终端110，可以是佩戴于用户头部的增强现实的主设备，例如增强现实眼镜、或增强现实头盔等。眼镜终端110具有第一电极，当眼镜终端被穿戴时，第一电极与人体接触。眼镜终端110可以通过第一电极发送感应信号。感应信号可以包括真实图像信号、惯性测量信号、用户操作信号中的任意一种或多种。其中，真实图像信号是指基于捕捉到的真实环境的图像生成的图像信号；惯性测量信号是指关于设备位置、速度或方位的信号；用户操作信号是指用户基于增强现实界面或眼镜终端输入的操作信号，例如确定操作、选择操作或取消操作等等。通常，在实际应用中，眼镜终端会设有多种传感器装置，例如环境光传感器、图像传感器、距离传感器或陀螺仪等等，用于获取对应的感应信号，例如通过图像传感器采集图像信号，通过距离传感器确定物体到设备的距离，或者基于陀螺仪确定位姿数据等等。
在一示例性实施例中，上述眼镜终端110具有一支撑部，其可以将眼镜终端110固定在用户的头部，例如增强现实眼镜的眼镜腿，或者增强现实头盔的盔体等。第一电极可以设于支撑部与头部接触的位置。如图1所示，眼镜终端110包括眼镜部分112以及眼镜支撑部(眼镜腿)113，第一电极111可以设置于至少一侧的眼镜腿的内侧表面，该内侧表面可以与用户头部的“太阳穴”附近区域接触，以实现第一电极111与人体的充分接触。其中，第一电极111还可以设置为不同的形状，例如圆形片状、方形片状或者球状等等。在本示例性实施例中，为了提高用户与电极的良好接触以及用户佩戴过程的舒适度，可以设置第一电极111为圆形片状。眼镜终端110还包括第一串化模块，用于在发送感应信号之前，将感应信号进行串化处理，以及在接收反馈信号之后，将反馈信号进行解串处理。
处理终端120，可以作为外设于眼镜终端110的独立计算部分，用于接收眼镜终端发送的感应信号，根据感应信号进行处理，得到反馈信号并返回。反馈信号可以包括虚拟图像信号、视频信号、音频信号中的任意一种或多种。其中，虚拟图像信号是指，基于眼镜终端获取的真实图像信号渲染得到的虚拟图像的信号，根据虚拟图像信号可以确定增强现实界面的图像显示。在本示例性实施例中，处理终端可以根据眼镜终端获取的感应信号生成对应的一种或多种反馈信号，例如根据真实图像信号，确定虚拟图像信号；或者根据多帧真实图像信号，确定视频信号；再或者根据真实图像信号与用户操作信号确定反馈的音频信号等，如根据真实图像信号与用户的确认操作信号，确定返回用户关于确定的提示音等。处理终端120还可以包括用于维持可穿戴设备续航时间的电源装置或其他功能性装置等。
在本示例性实施例中，处理终端120具有第二电极，可以穿戴于人体的任意部位，如图1所示，处理终端120可以位于用户的颈部、腰部、手腕部或脚腕部等位置，当处理终端120被穿戴时，第二电极与人体接触，实现接收眼镜终端发送感应信号，以及向眼镜终端返回反馈信号的功能。此外，处理终端120还可以包括第二串化模块，用于在接收感应信号后，将感应信号进行解串处理，以及在发送反馈信号前，将反馈信号进行串化处理。
在一示例性实施例中，第一串化模块与第二串化模块可以包括专用集成电路或现场可编程门阵列，即可以通过任意一种方式实现数据整合处理，以实现数据的低延时、低功耗转换和处理。
本示例性实施例中，感应信号可以通过用户的身体从第一电极传输至第二电极，所采用的控制信号传输为IBC(Intra-Body Communication，人体通信)技术，其可以利用用户的身体作为传输介质在不同的设备之间发送和接收信号，作为信息传输的载体，与传统的蓝牙、Wi-Fi、射频和红外等无线通信技术相比，由于人体(即用户的身体)通信过程中信号经过人体传输，因而电磁噪声对其影响很小，另外，人体可以自身携带难以完全估量的“生物密码”，保证了传输信号的安全性。因此，IBC技术具有低功耗、高保密性以及更低的人体损害等优点，且不存在多人通信时效率降低的问题。本发明人发现，在虚拟现实的场景中，由于人体与头戴式设备、外设控制器同时接触，且两个设备的距离较近，可以通过IBC进行信号传输。
综上，在本示例性实施例的可穿戴设备中，通过第一电极发送眼镜终端获得的感应信号，当感应信号通过人体从第一电极传输到设于处理终端的第二电极时，处理终端可以根据感应信号生成反馈信号，并通过第二电极向眼镜终端返回反馈信号，使反馈信号通过人体传输至第一电极。一方面，该可穿戴设备实现了一种新的信号处理方式，通过眼镜终端和处理终端与人体接触，使其可以基于人体通信对信号进行传输与处理，区别于常用的无线通信，连接过程简单、便捷，且具有低功耗的特性；另一方面，本示例性实施例采用分体式结构，结合人体通信，将需要进行处理的信号传输至处理模块，相比于现有技术，减轻了眼镜终端的体积和重量，也避免了眼镜终端持续进行计算导致设备过热的问题；再一方面，通过IBC技术进行控制信号的传递，抗电磁干扰能力较强，且人体可以自身携带难以完全估量的“生物密码”，保证了传输信号的安全性。
本公开的示例性实施例还提供了一种信号处理方法，可以应用于上述可穿戴设备。
下面结合附图4对本公开示例性实施例做进一步说明，如图4所示，信号处理方法可以包括以下步骤S410～S450：
步骤S410，获取由眼镜终端上至少一个传感器采集的感应信号；
其中，传感器是指设于眼镜终端上，用于获取感应信号的检测装置，根据实际需要可以设置任意数量或任意类型的传感器，例如可以设置图像传感器、距离传感器、环境光传感器、惯性测量传感器等等。对应的，传感器所捕获的信号即为感应信号，例如图像传感器获取的图像信号、距离传感器获取的距离信号、环境光传感器获取的环境光信号等等。在本示例性实施例中，感应信号可以包括真实图像信号、惯性测量信号、用户操作信号中的任意一种或多种。
步骤S420，通过第一电极发送感应信号，使感应信号通过人体传输到达处理终端的第二电极。
本示例性实施例可以采用电流耦合的方式，可以将感应信号耦合至人体进行信号传输。其中。电流耦合是一种可以将人体作为波导的通信方式，具体传输过程可以是，耦合电流经由眼镜终端的第一电极进入人体，并在人体中以“表面爬波”的方式进行传播，在处理终端由第二电极以差分电流信号的形式被检测出，进而进行感应信号的处理。考虑到人体对不同频段信号的传输效率和传输损耗各不相同，合适的通信频带能够更好的建立有效的人体通信，在本示例性实施例中，可以设置通信频带保持在10KHz～20MHz，在该频率范围内，人体通信的信号强度优于空气传输的信号强度，因此具有更好的传输效果。本示例性实施例采用IBC技术进行通信，使耦合电流直接流过人体，抗电磁干扰能力强，可以实现高速数据的传输，且具有较好的安全性。
步骤S430，处理终端处理感应信号以得到反馈信号。
其中，反馈信号是指基于对感应信号的处理，得到的用于返回至眼镜终端的信号，例如根据真实图像信号进行处理，生成的虚拟图像信号等。在本示例性实施例中，反馈信号可以包括虚拟图像信号、视频信号、音频信号中的任意一种或多种。反馈信号可以基于一种感应信号生成，例如根据真实图像信号确定虚拟图像信号；也可以基于多种感应信号生成，例如根据真实图像信号和用户操作信号，确定虚拟图像信号和音频信号。
步骤S440，通过第二电极发送反馈信号，使反馈信号通过人体传输到达第一电极。
当处理终端生成反馈信号后，可以基于IBC技术，从第二电极向第一电极发射反馈信号，以将反馈信号返回至眼镜终端。具体的通信过程与感应信号的传输过程类似，耦合电流经由处理终端的第二电极进入人体，并在人体中以“表面爬波”的方式进行传播，并在眼镜终端由第一电极以差分电流信号的形式被检测出，进而进行反馈信号的呈现。
步骤S450，在眼镜终端上呈现反馈信号。
即眼镜终端接收到反馈信号后，在眼镜终端上呈现反馈信号。具体的，可以根据反馈信号的具体内容或形式进行呈现，例如反馈信号为虚拟图像信号时，可以将其在眼镜终端的显示区域进行展示，反馈信号为音频信号时，可以通过扬声器或其他设备进行播放等。
综上，本示例性实施方式中，获取由眼镜终端上至少一个传感器采集的感应信号；通过第一电极发送感应信号，使感应信号通过人体传输到达处理终端的第二电极；处理终端处理感应信号以得到反馈信号；通过第二电极发送反馈信号，使反馈信号通过人体传输到达第一电极；在眼镜终端上呈现反馈信号。一方面，该可穿戴设备实现了一种新的信号处理方式，通过眼镜终端和处理终端与人体接触，使其可以基于人体通信对信号进行传输与处理，区别于常用的无线通信，连接过程简单、便捷，且具有低功耗的特性；另一方面，本示例性实施例采用分体式结构，结合人体通信，将需要进行处理的信号传输至处理模块，相比于现有技术，减轻了眼镜终端的体积和重量，也避免了眼镜终端持续进行计算导致设备过热的问题；再一方面，通过IBC技术进行控制信号的传递，抗电磁干扰能力较强，且人体可以自身携带难以完全估量的“生物密码”，保证了传输信号的安全性。
在一示例性实施例中，在上述步骤S420之前，信号处理方法还可以包括：
基于眼镜终端的第一串化模块，将感应信号进行串化处理；
以及，在步骤S440之前，信号处理方法还可以包括：
基于处理终端的第二串化模块，将反馈信号进行串化处理。
即第一串化模块能够在眼镜终端发送感应信号之前，对感应信号进行串化处理，以及在处理终端发送反馈信号之前，对反馈信号进行串化处理，以使感应信号和反馈信号转换为符合人体通信标准的信号，从而基于IBC技术进行人体通信。
在一示例性实施例中，在上述步骤S440之后，信号处理方法还可以包括：
基于眼镜终端的第一串化模块，将反馈信号进行解串处理；
以及在步骤S420之后，信号处理方法还可以包括：
基于处理终端的第二串化模块，将感应信号进行解串处理。
即第二串化模块能够在眼镜终端接收反馈信号之后，对反馈信号进行解串处理，以及在处理终端接收感应信号之后，对感应信号进行解串处理，以将符合人体通信标准的信号转换为对应的信号。
本示例性实施例，基于第一串化模块和第二串化模块，可以实现将眼镜终端和处理终端通信过程中的信号标准化与统一化，相当于直接通过标准的通信接口连接到了对应的外设，操作控制简单、便捷，且能够实现低功耗、低延时的技术效果。
本公开的示例性实施方式还提供一种信号处理装置。如图5所示，该信息处理装置500可以包括：感应信号获取模块510，用于获取由眼镜终端上至少一个传感器采集的感应信号；感应信号发送模块520，用于通过第一电极发送感应信号，使感应信号通过人体传输到达处理终端的第二电极；反馈信号获得模块530，用于处理终端处理感应信号以得到反馈信号；反馈信号发送模块540，用于通过第二电极发送反馈信号，使反馈信号通过人体传输到达第一电极；反馈信号呈现模块550，用于在眼镜终端上呈现反馈信号。
在一示例性实施例中，信息处理装置还包括：第一串化模块，用于在通过第一电极发送感应信号之前，基于眼镜终端的第一串化模块，将感应信号进行串化处理；第二串化模块，用于在反馈信号通过人体传输到达第一电极之前，基于处理终端的第二串化模块，将反馈信号进行串化处理。
在一示例性实施例中，信息处理装置还包括：第一解串模块，用于在反馈信号通过人体传输到达第一电极之后，基于眼镜终端的第一串化模块，将反馈信号进行解串处理；第二解串模块，用于在感应信号通过人体传输到达处理终端的第二电极之后，基于处理终端的第二串化模块，将感应信号进行解串处理。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图4中任意一个或多个步骤。
本公开的示例性实施方式还描述了一种用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (7)
1.一种可穿戴设备，其特征在于，包括眼镜终端和处理终端，其中，
所述眼镜终端包括第一电极，当所述眼镜终端被穿戴时，所述第一电极和人体接触；
所述处理终端包括第二电极，当所述处理终端被穿戴时，所述第二电极和人体接触；
所述眼镜终端用于通过所述第一电极发送感应信号，使所述感应信号通过人体传输到达所述第二电极；
所述处理终端用于处理所述感应信号以得到反馈信号，并通过所述第二电极发送所述反馈信号，使所述反馈信号通过人体传输到达所述第一电极；
其中，所述眼镜终端还可以包括第一串化模块以及摄像模块；所述第一串化模块，用于在发送所述感应信号前，将所述感应信号进行串化处理，以及在接收所述反馈信号后，将所述反馈信号进行解串处理；所述第一串化模块包括专用集成电路或现场可编程门阵列；所述摄像模块，用于捕获前方的静态图像或视频、检测场景图像中每个部分或每个物体的深度信息，或者对所述场景图像中包含的物体进行红外检测；
所述处理终端还可以包括第二串化模块、人体通信模块、存储模块以及处理模块；所述第二串化模块用于在接收所述感应信号后，将所述感应信号进行解串处理，以及在发送所述反馈信号前，将所述反馈信号进行串化处理；所述第二串化模块包括专用集成电路或现场可编程门阵列；所述人体通信模块，用于进行数据传输；所述存储模块用于数据存储；所述处理模块用于执行程序命令；
所述感应信号包括以下任意一种或多种：真实图像信号、惯性测量信号、用户操作信号；
所述反馈信号包括以下任意一种或多种：虚拟图像信号、视频信号、音频信号。
2.根据权利要求1所述的可穿戴设备，其特征在于，所述眼镜终端具有支撑部，用于将所述眼镜终端固定在人体的头部，所述第一电极设于所述支撑部与头部接触的位置。
3.一种信号处理方法，应用于如权利要求1～2 任一项所述的可穿戴设备，其特征在于，所述方法包括：
获取由眼镜终端上至少一个传感器采集的感应信号；
通过第一电极发送所述感应信号，使所述感应信号通过人体传输到达处理终端的第二电极；
所述处理终端处理所述感应信号以得到反馈信号；
通过所述第二电极发送所述反馈信号，使所述反馈信号通过人体传输到达所述第一电极；
在所述眼镜终端上呈现所述反馈信号；
其中，所述眼镜终端还可以包括第一串化模块以及摄像模块；所述第一串化模块，用于在发送所述感应信号前，将所述感应信号进行串化处理，以及在接收所述反馈信号后，将所述反馈信号进行解串处理；所述第一串化模块包括专用集成电路或现场可编程门阵列；所述摄像模块，用于捕获前方的静态图像或视频、检测场景图像中每个部分或每个物体的深度信息，或者对所述场景图像中包含的物体进行红外检测；
所述处理终端还可以包括第二串化模块、人体通信模块、存储模块以及处理模块；所述第二串化模块用于在接收所述感应信号后，将所述感应信号进行解串处理，以及在发送所述反馈信号前，将所述反馈信号进行串化处理；所述第二串化模块包括专用集成电路或现场可编程门阵列；所述人体通信模块，用于进行数据传输；所述存储模块用于数据存储；所述处理模块用于执行程序命令；
所述感应信号包括以下任意一种或多种：真实图像信号、惯性测量信号、用户操作信号；
所述反馈信号包括以下任意一种或多种：虚拟图像信号、视频信号、音频信号。
4.根据权利要求3所述的方法，其特征在于，在通过第一电极发送所述感应信号之前，所述方法还包括：
基于所述眼镜终端的第一串化模块，将所述感应信号进行串化处理；
以及，在所述反馈信号通过人体传输到达所述第一电极之前，所述方法还包括：
基于所述处理终端的第二串化模块，将所述反馈信号进行串化处理。
5.根据权利要求4所述的方法，其特征在于，在所述反馈信号通过人体传输到达所述第一电极之后，所述方法还包括：
基于所述眼镜终端的第一串化模块，将所述反馈信号进行解串处理；
以及，在所述感应信号通过人体传输到达处理终端的第二电极之后，所述方法还包括：
基于所述处理终端的第二串化模块，将所述感应信号进行解串处理。
6.一种信号处理装置，其特征在于，所述装置包括：
感应信号获取模块，用于获取由眼镜终端上至少一个传感器采集的感应信号；
感应信号发送模块，用于通过第一电极发送所述感应信号，使所述感应信号通过人体传输到达处理终端的第二电极；
反馈信号获得模块，用于所述处理终端处理所述感应信号以得到反馈信号；
反馈信号发送模块，用于通过所述第二电极发送所述反馈信号，使所述反馈信号通过人体传输到达所述第一电极；
反馈信号呈现模块，用于在所述眼镜终端上呈现所述反馈信号；
其中，所述眼镜终端还可以包括第一串化模块以及摄像模块；所述第一串化模块，用于在发送所述感应信号前，将所述感应信号进行串化处理，以及在接收所述反馈信号后，将所述反馈信号进行解串处理；所述第一串化模块包括专用集成电路或现场可编程门阵列；所述摄像模块，用于捕获前方的静态图像或视频、检测场景图像中每个部分或每个物体的深度信息，或者对所述场景图像中包含的物体进行红外检测；
所述处理终端还可以包括第二串化模块、人体通信模块、存储模块以及处理模块；所述第二串化模块用于在接收所述感应信号后，将所述感应信号进行解串处理，以及在发送所述反馈信号前，将所述反馈信号进行串化处理；所述第二串化模块包括专用集成电路或现场可编程门阵列；所述人体通信模块，用于进行数据传输；所述存储模块用于数据存储；所述处理模块用于执行程序命令；所述感应信号包括以下任意一种或多种：真实图像信号、惯性测量信号、用户操作信号；所述反馈信号包括以下任意一种或多种：虚拟图像信号、视频信号、音频信号。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249740.4A CN111525940B (zh) | 2020-04-01 | 2020-04-01 | 可穿戴设备、信号处理方法、信号处理装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249740.4A CN111525940B (zh) | 2020-04-01 | 2020-04-01 | 可穿戴设备、信号处理方法、信号处理装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111525940A CN111525940A (zh) | 2020-08-11 |
| CN111525940B true CN111525940B (zh) | 2022-04-12 |
Family
ID=71902179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010249740.4A Active CN111525940B (zh) | 2020-04-01 | 2020-04-01 | 可穿戴设备、信号处理方法、信号处理装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111525940B (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4865733B2 (ja) * | 2005-02-17 | 2012-02-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ネットワーク内で動作させられることのできる装置、ネットワーク・システム、ネットワーク内で装置を動作させる方法、プログラム要素およびコンピュータ可読媒体 |
| CN101248989B (zh) * | 2007-02-25 | 2011-10-12 | 香港中文大学 | 一种生理参数的监测系统 |
| WO2014129212A1 (ja) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | 画像表示装置及び画像表示方法、記憶媒体、並びにモニタリング・システム |
| CN109840947B (zh) * | 2017-11-28 | 2023-05-09 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
| CN110727344B (zh) * | 2019-09-18 | 2022-05-17 | Oppo广东移动通信有限公司 | 虚拟现实系统、交互控制方法 |
-
2020
- 2020-04-01 CN CN202010249740.4A patent/CN111525940B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111525940A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170105622A1 (en) | Monitoring pulse transmissions using radar | |
| WO2020103763A1 (zh) | 根据眼球焦点控制显示屏的方法和头戴电子设备 | |
| US20150325202A1 (en) | Systems, devices, and methods for wearable computers with heads-up displays | |
| US20190069781A1 (en) | Method of obtaining biometric information based on wearing state and electronic device thereof | |
| CN110244840A (zh) | 图像处理方法、相关设备及计算机存储介质 | |
| EP3964985A1 (en) | Simulation object identity recognition method, and related apparatus and system | |
| KR20160027864A (ko) | 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들 | |
| CN111291338B (zh) | 用户识别方法、用户识别装置、存储介质与头戴式设备 | |
| CN111479148B (zh) | 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质 | |
| US11852820B2 (en) | Method and electronic device for changing setting of display | |
| WO2021103990A1 (zh) | 显示方法、电子设备及系统 | |
| WO2021147465A1 (zh) | 一种图像渲染方法、电子设备及系统 | |
| US11798234B2 (en) | Interaction method in virtual reality scenario and apparatus | |
| CN114222941B (zh) | 眼戴设备系带 | |
| CN205507231U (zh) | 多通道交互虚拟现实眼镜 | |
| CN208766396U (zh) | 一种可穿戴ar设备和ar显示系统 | |
| CN111525940B (zh) | 可穿戴设备、信号处理方法、信号处理装置及存储介质 | |
| WO2023082980A1 (zh) | 一种显示方法与电子设备 | |
| CN111464781A (zh) | 图像显示方法、图像显示装置、存储介质与电子设备 | |
| US20200174556A1 (en) | Electronic device and method for providing content based on the motion of the user | |
| WO2022089625A1 (zh) | 一种增强现实功能控制方法和电子设备 | |
| CN203490651U (zh) | 可穿戴计算机 | |
| WO2019021573A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| KR20240027121A (ko) | 음성 제어 설정들 및 탐색 | |
| CN111949126A (zh) | 可穿戴系统、数据处理方法、数据处理装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |