CN109964226A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN109964226A
CN109964226A CN201780070666.6A CN201780070666A CN109964226A CN 109964226 A CN109964226 A CN 109964226A CN 201780070666 A CN201780070666 A CN 201780070666A CN 109964226 A CN109964226 A CN 109964226A
Authority
CN
China
Prior art keywords
signal
user
electronic device
characteristic information
bio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780070666.6A
Other languages
English (en)
Other versions
CN109964226B (zh
Inventor
姜赫
刘宰蜂
洪德基
林京洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2017/013048 external-priority patent/WO2018093183A1/ko
Publication of CN109964226A publication Critical patent/CN109964226A/zh
Application granted granted Critical
Publication of CN109964226B publication Critical patent/CN109964226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

公开了一种电子装置。所述电子装置基于以下项来识别用户：生物信号输入单元，用于接收通过电极检测到的用户的生物信号的输入；语音输入单元，用于接收语音信号的输入；通过生物信号输入单元输入的生物信号；以及通过麦克风输入的语音信号。

Description

电子装置及其控制方法
技术领域
本公开涉及一种电子装置及其控制方法，并且更具体地涉及一种可感测用户的生物信号的可佩戴电子装置及其控制方法。
背景技术
近来，随着积极进行对可佩戴装置的研究，已经发布了各种可佩戴装置。目前发布的或即将发布的可佩戴装置可以是智能手表、头戴式显示器(HMD)装置、智能腰带等。
HMD装置是被佩戴的可佩戴显示器装置(诸如，眼镜)并可显示图像，并且因为该装置将显示器布置在用户的眼睛附近，所以也被称为面戴式显示器(FMD)。HMD装置可在简单的显示功能上与增强现实技术、N屏幕技术等结合，以向用户提供各种便利。
具体地，HMD装置可提供周围图像以向用户提供更逼真且更实际的虚拟空间。周围图像可示出基于HMD装置在所有方向上扩展的视觉信息。因此，HMD装置可指向佩戴HMD装置的用户的面部所面向的方向，并且显示周围图像中的与相应的方向相应的图像。因此，用户会感觉好像他/她自己实际存在于虚拟空间中。
同时，难以在HMD装置环境中使用诸如键盘或鼠标的附加输入装置，因此，已经提出了用于检测用户的生物信号并通过接收检测到的生物信号来控制HMD装置的技术。具体地，佩戴HMD装置的用户在各种情况下经常需要用户认证，并且在这种情况下，用户难以执行指纹识别、PIN输入、模式输入等，因此，已经通过识别根据用户的话语的语音并且确定特定单词或语句是否已经被说出来执行用户认证。
然而，一直存在如下问题：如果使用用户的语音信号来执行用户认证，则由于对外部噪声的敏感性，因此在嘈杂的环境中识别率降低，并且难以确认佩戴HMD装置的用户是否已经说出语音。
发明内容
技术问题
实施例是根据上述需求的，并且实施例的目的在于提供一种可使用从用户产生的多种不同信号来提高用户认证的准确性的电子装置及其控制方法。
技术方案
根据实施例，提供了一种电子装置，其中，所述电子装置包括：生物信号输入单元，被配置为接收通过电极检测到的用户的生物信号；语音输入单元，被配置为接收语音信号；以及处理器，被配置为基于通过生物信号输入单元输入的生物信号和通过语音输入单元输入的语音信号来识别用户。
处理器可产生合成信号，并且基于产生的合成信号来识别用户其中，在该合成信号中，输入的语音信号和输入的生物信号被合成。
处理器可使用在生物信号被检测的同时通过语音输入单元输入的语音信号以及检测到的生物信号来产生合成信号。
所述电子装置还包括：存储器，存储合成信号的特征信息，其中，在该合成信号中，关于用户的特定话语的语音信号和用户的生物信号被合成，并且处理器可通过提取产生的合成信号的特征信息并将提取的特征信息与存储在存储器中的合成信号的特征信息进行比较来识别用户。
所述电子装置还包括：存储器，分别存储关于用户的特定话语的语音信号的特征信息和用户的生物信号的特征信息，并且处理器可通过分别提取输入的语音信号的特征信息和输入的生物信号的特征信息并将每条提取的特征信息分别与预先存储的语音信号的特征信息和生物信号的特征信息进行比较，来识别用户。
语音输入单元可包括麦克风，并且处理器可基于生物信号通过电极被检测到来打开麦克风。
生物信号可包括肌电图(EMG)信号、眼电图(EOG)信号、脑电图(EEG)信号、心电图(ECG)信号、皮肤电反应(GSR)信号或生物电阻抗分析(BIA)信号中的至少一种。
存储器可存储合成信号的特征信息，其中，在该合成信号中，关于用户的特定话语的语音信号和与该特定话语相应的模式的EMG信号被合成。
处理器可接收通过位于用户的嘴附近的电极检测到的EMG信号，并且产生合成信号，在该合成信号中，输入的语音信号和EMG信号被合成。
电子装置可包括显示器，并且处理器可检测用户的EOG信号并且基于检测到的EOG信号确定用户是否观看显示器的屏幕上的预定区域，并且基于用户观看所述特定区域，通过将产生的合成信号的特征信息与预先存储的合成信号的特征信息进行比较来识别用户。
一种电子装置的控制方法包括：接收通过电极检测到的用户的生物信号和通过麦克风检测到的用户的语音信号，并且基于输入的生物信号和输入的语音信号来识别用户。
识别用户的步骤可包括：产生合成信号，并且基于产生的合成信号来识别用户，其中，在该合成信号中，输入的语音信号和输入的生物信号被合成。
产生合成信号的步骤可包括：使用生物信号和在生物信号被检测的同时通过语音输入单元输入的语音信号来产生合成信号。
电子装置可存储合成信号的特征信息，其中，在该合成信号中，关于用户的特定话语的语音信号和用户的生物信号被合成，并且识别用户的步骤可包括：提取产生的合成信号的特征信息，并且通过将提取的特征信息与存储的合成信号的特征信息进行比较来识别用户。
电子装置可分别存储关于用户的特定话语的语音信号的特征信息和用户的生物信号的特征信息，并且识别用户的步骤可包括：分别提取输入的语音信号的特征信息和输入的生物信号的特征信息，并且通过将每条提取的特征信息分别与预先存储的语音信号的特征信息和生物信号的特征信息进行比较来识别用户。
接收方可基于生物信号通过电极被检测到来打开麦克风。
生物信号可包括肌电图(EMG)信号、眼电图(EOG)信号、脑电图(EEG)信号、心电图(ECG)信号、皮肤电反应(GSR)信号或生物电阻抗分析(BIA)信号中的至少一种。
电子装置可存储合成信号的特征信息，其中，在该合成信号中，关于用户的特定话语的语音信号和与该特定话语相应的模式的EMG信号被合成。
此外，可通过位于用户的嘴附近的电极检测EMG信号。
所述控制方法还包括：检测用户的EOG信号并且基于检测到的EOG信号确定用户是否观看显示器的屏幕上的预定区域，并且识别用户的步骤可包括：基于用户观看所述特定区域，通过将产生的合成信号的特征信息与预先存储的合成信号的特征信息进行比较来识别用户。
有益效果
根据本公开的各种实施例，可使用从用户产生的至少两个信号来识别用户，因此，在认证过程中，可提高用户识别的准确性。
附图说明
图1a和图1b是示出根据本公开的实施例的电子装置的实现的示例的示图；
图2a和图2b是示出根据本公开的实现的示例的电子装置的配置的示图；
图3是示出根据本公开的实施例的用于检测生物信号的每个电极的示图；
图4是示出根据本公开的实施例的通过对在电子装置中检测到的生物信号进行合成来执行用户认证的过程的流程图；
图5是示出根据本公开的实施例的EMG信号和语音信号的波形以及合成信号的波形的示图；
图6是示出根据本公开的实施例的电子装置中的每个信号流处理的示图；
图7是示出根据本公开的实施例的电子装置的简要操作过程的流程图；
图8是示出根据本公开的实施例的电子装置的详细操作过程的流程图；
图9a至图9b是示出根据本公开的实施例的使用EMG信号和语音信号来执行用户认证的方法的示图；
图10和图11是示出根据本公开的实施例的在网站中使用生物信号的用户认证方法的示图；
图12是根据本公开的实施例的使用生物信号选择多个注册用户中的一个注册用户的示图；
图13是示出根据本公开的实施例的电子装置的详细配置的框图；并且
图14是示出根据本公开的实施例的电子装置的控制方法的流程图。
具体实施方式
在具体描述本公开之前，将描述用于展示实施例和附图的方法。
关于在本公开的实施例中使用的术语，鉴于关于本公开的功能，选择当前广泛使用的一般术语。然而，这些术语可根据相关领域中的技术人员的意图、法律或技术解释、新技术的出现等而不同。此外，可存在一些由申请人任意选择的术语。这些术语可根据本公开中定义的含义被解释，并且如果这些术语未被特别地定义，则也可基于本公开的一般内容和本领域中的典型技术概念被解释。
此外，附图中描述的相同参考标号或符号表示实际上执行相同功能的部件或元件。为了便于描述和理解，在不同的实施例中使用并描述相同的参考标号或符号。换言之，尽管具有相同参考标号的元件在多个附图中都被示出，但是所述多个附图并不表示一个实施例。
此外，为了在组件之间进行区分，可在本公开和权利要求中使用包括诸如“第一”、“第二”等的序数的术语。序数用于将相同或相似的元件彼此区分开，并且序数的使用不应被理解为限制术语的含义。例如，与这些序数组合的元件的使用顺序、排列顺序等可不受编号限制。如果必要，则可互换使用各自的序数。
此外，除非在上下文中明显地区别定义，否则单数表述可被解释为包括复数表述。在本说明书中，诸如“包括”和“由…组成”的术语应被解释为指定在说明书中存在这些特征、数字、步骤、操作、元件、组件或它们的组合，但不被解释为预先排除存在一个或更多个其他特征、数字、步骤、操作、元件、组件或它们的组合或者添加一个或更多个其他特征、数字、步骤、操作、元件、组件或它们的组合的可能性。
此外，本公开中的“模块”或“部件”执行至少一个功能或操作，并且这些元件可被实现为硬件或软件，或者被实现为硬件和软件的组合。此外，除了需要被实现为特定硬件的“模块”或“部件”之外，多个“模块”或“部件”可被集成为至少一个模块并且被实现为至少一个处理器(未示出)。
此外，当任何部件被连接到另一部件时，这包括直接连接和通过另一介质的间接连接。此外，当特定部分包括特定元件时，除非另有说明，否则这表示可额外包括另一元件，而不是排除另一元件。
在下文中，将参照附图详细地描述本公开的实施例。
图1a和图1b是示出根据本公开的实施例的电子装置的实现的示例的示图。
本公开的电子装置100可被实现为可被佩戴在用户的头上或眼睛附近的用于提供VR内容的HMD装置(诸如，眼镜)。这里，电子装置100可被实现为包括用于将设备佩戴在用户的头上的条带、各种用户接口和显示器的一体化HMD装置，或者被实现为包括显示器的移动终端装置(诸如，智能电话)并且通过被附接到没有显示器的可分离HMD装置(壳体)或从没有显示器的可分离HMD装置(壳体)被拆卸下来而被使用。
图1a示出用户佩戴被实现为一体化HMD装置100A的电子装置100。这里，电子装置100可以以头部的前额和后部按照尼龙搭扣(Velcro)方法用条带被固定的形式被佩戴，并且可阻挡对除了从电子装置100提供的内容之外的用户的外部环境的观看。
图1b示出被实现为移动终端装置100B的电子装置100被附接到可分离HMD装置200的外观。如图1b所示，电子装置100被实现为智能电话并向用户提供显示器，并且可被附接到可分离HMD装置200的主体或从可分离HMD装置200的主体被拆卸下来，其中，可分离HMD装置200的主体被固定到用户的头部的前额和后部。
可分离HMD装置200可包括可检测用户的生物信号的电极、可接收用户输入的按钮、可以以有线方法或无线方法与电子装置100进行通信的通信模块等，并且随后将描述可分离HMD装置200的详细配置。
在图1b示出的实施例中，电子装置100不限于智能电话。电子装置100可被实现为包括显示器的各种装置，诸如，平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、导航设备、相机等。
图2a和图2b是示出根据本公开的实施例的电子装置的简要配置的框图。
根据图2a，根据实施例的电子装置100基本上包括生物信号输入单元110、语音输入单元120和处理器130。
生物信号输入单元110是用于接收用户的生物信号的配置。这里，用户可表示佩戴电子装置100的佩戴者，并且生物信号可从用户的面部被获得，其中，用户的面部是电子装置100主要被佩戴于的部分。这里，生物信号主要指生物电信号，并且通过作为神经、肌肉、腺体组织的组成部分的兴奋细胞的电化学作用而被产生。电子装置100可在使用诸如电极等的传感器测量期望的生物信号之后执行信号处理。
然而，生物信号可通过除了用户的面部之外的用户的身体的各个部位被获得，并且广义上讲，生物信号除了可包括生物电信号之外，还可包括通过用户的物理运动(头部的旋转、点头等)检测到的信号。
作为生物电信号的生物信号可以是包括以下项中的至少一项的信号：肌电图(EMG)信号、眼电图(EOG)信号、脑电图(EEG)信号、心电图(ECG)信号、皮肤电反应(GSR)信号或生物电阻抗分析(BIA)信号。
EMG信号是示出肌肉的运动的信号和通过用户的面部的肌肉的运动产生的电信号。EMG信号基本上是通过测量经由肌纤维膜中发生的生理变化而产生的电信号被产生的。在实施例中，EMG信号是当用户说话或咬合牙齿时主要通过嘴附近的肌肉的运动而产生的电信号。生物信号输入单元110可接收从附接在眼睛附近(具体地，在眼睛下方)的电极检测到的电信号作为EMG信号。
EOG信号是根据眼睛的运动由于用户的角膜之间的电势差而产生的电信号。在眼睛的角膜(+)与视网膜(-)之间存在恒定电势并且所述电势充当恒定偶极子，为了测量所述恒定偶极子，生物信号输入单元110可接收从附接在眼睛的左侧和右侧的电极检测到的电信号作为EOG信号。具体地，如果用户注视前方，则在两个电极之间形成恒定偶极子，并且这里的输出可以是零(0)。如果用户注视左方，则输出+分量，如果用户注视右方，则输出-分量，并且+分量和-分量根据电极的极性和电极的移动方向被改变。可使用EOG信号测量用户的眼睛的眨动，并且可在将电极附接在一侧眼睛的上侧和下侧之后执行测量。
EEG信号是当信号从神经系统被发送到脑神经之间时产生的电信号。EEG信号根据身心的状态而不同，并且是用于衡量大脑的活动状态的最重要指标。通过附接到头皮的电极来检测EEG信号，并且生物信号输入单元110可接收从附接到前额的电极检测到的电信号作为EEG信号。
ECG信号是当心脏收缩和扩张时产生的电信号，并且是可在体表上被容易且快速地测量的最具代表性的生物信号。心脏的运动被显示为每分钟心跳次数(bpm)，并且自主神经系统的改变可通过心率的改变被了解。ECG信号可在用户的面部上被测量，并且生物信号输入单元110可接收从附接在不同部位的电极检测到的电信号作为EOG信号。
GSR信号是用作情绪状态的指标的信号，并且是用于测量皮肤的电阻的生物信号。例如，存在皮肤的电阻在一般意识状态下减小的特征，并且GSR信号可根据该特征指示皮肤的电阻改变的程度。也就是说，GSR信号与汗腺的活动有关。
BIA信号是按照使交流电以对人体无害的程度流动的方式测量的信号，其中，BIA信号是可测量体内水分的量的生物信号。BIA的基本原理是：使用电流沿着导电率最高的部分流动的特性，利用当弱交流电在人体流动时测量的电阻来估计身体构造。包含大量水分的身体脂肪组织即使其导电率高也具有小的电阻，并且几乎不含水分的身体脂肪组织具有低导电率并且具有大的电阻，并且该特性被反映到BIA信号。
然而，生物信号除了可包括上述信号之外还可包括各种类型的生物信号。
此外，生物信号输入单元110还可包括用于防止静电放电(ESD)现象的静电放电防止电路(未示出)。
同时，可通过电极检测生物信号。生物信号输入单元110可以以有线方法或无线方法接收从至少一个电极检测到的生物信号，并且根据实施例，用于检测生物信号的电极可被包括在电子装置100中或者被与电子装置100分开提供。
具体地，在电子装置100被实现为一体化HMD装置100A的实施例中，至少一个电极可被包括在生物信号输入单元110中。在电子装置100被实现为可被附接到可分离HMD装置200或从可分离HMD装置200被拆卸下来的便携式终端装置100B的实施例中，至少一个电极可被包括在可分离HMD装置200中，并且生物信号输入单元110可以以有线方法或无线方法接收从包括在可分离HMD装置200中的电极检测到的生物信号。
同时，当测量生物信号时通常使用的Ag/AgCl电极具有良好的透射度但不可重复使用，并且可能存在各种副作用，因此，在本公开中，在皮肤与电极之间不使用电解质，优选使用由诸如不锈钢或铜的金属构成的干式电极。干式电极将由体内离子产生的生物电势信号转换成电信号。
同时，电极可包括用于检测特定单个类型的生物信号的电极、用于检测多种类型的生物信号的电极(在下文中，被称为公共电极)、参考电极、接地电极等。参考电极可分别与接地电极分开，并且按照通过与主体接触的形式被构成，参考电极和接地电极可作为相同的电极构成电路。在本公开的实施例中，为了方便，将假设并描述参考电极和接地电极被用作同一电极。每个电极可检测作为电子装置100被固定和被佩戴的位置的用户的眼睛附近的生物信号，因此，在电子装置100被实现为一体化HMD装置100A或可分离HMD装置200的情况下，电极被布置在与眼睛的周边区域接触的位置，并且可根据将被检测的生物信号的类型被布置在不同的位置。下面将参照图3描述每个电极的附接位置和功能。
同时，语音输入单元120是用于从用户接收语音的元件。语音输入单元110包括麦克风，并且可采集与用户说出的语音相应的语音信号。麦克风可根据处理器130的控制通过从外部接收语音或声音来产生电语音信号。
然而，语音输入单元120可被包括在可分离HMD装置200中。这里，与用户说出的语音相应的语音信号可从可分离HMD装置200被接收。
同时，处理器130可控制电子装置100的总体操作。
具体地，处理器130可基于通过生物信号输入单元110输入的生物信号和通过语音接收器120输入的语音信号来识别用户。具体地，处理器130可产生合成信号其中，在该合成信号中，输入的语音信号和生物信号被合成，并且使用产生的合成信号的特征信息来识别用户，以执行用户认证。
这里，用户认证是用于当用户使用电子装置100、用户执行特定应用(支付等)或登录特定网站时确定用户是否是授权用户的过程。
针对该操作，电子装置100还可包括存储器140，其中，存储器140存储合成信号的特征信息，其中，在该合成信号中，预先认证的用户的特定话语的语音信号和该用户的生物信号被合成。处理器130可提取关于输入的语音信号和生物信号被合成后的合成信号的特征信息，将提取的特征信息与预先存储在存储器140中的合成信号的特征信息进行比较，并且识别用户。如果提取的全部特征信息与预先存储的全部特征信息相同，则处理器130可确定用户是授权用户。这里，根据提取的特征信息和预先存储的特征信息是否具有超过预设阈值的匹配度，可确定用户是否是授权用户。
同时，合成信号的特征信息可包括语音信号的特征信息和生物信号的特征信息。这里，语音信号的特征信息表示当用户说出特定单词或语句时从通过语音输入单元120输入的语音信号提取的具有辨别力的特定向量，并且语音信号的特征信息根据说出的特定单词或语句而不同。
此外，语音信号的特征信息可根据音色(波形)以及高和低(频率)而不同，因此，即使说出同一单词或语句，语音信号的特征信息根据说出同一单词和语句的用户而不同。
同时，在语音输入单元120包括麦克风的情况下，如果特定事件发生，则处理器130可通过打开麦克风来向麦克风供电，并且随后将通过麦克风检测到的语音信号与通过信号输入单元110输入的生物信号合成。这里，特定事件可包括例如预定语音信号或者通过包括在电子装置100中的特定按钮输入的控制信号作为触发信号被输入。此外，特定事件可包括当需要用户认证的屏幕(执行特定应用的屏幕或用于对电子装置100进行解锁的锁定屏幕)被显示在电子装置100上时检测到特定生物信号的情况。随后将描述检测到生物信号的情况作为特定事件。
同时，如果假设通过生物信号输入单元110输入的生物信号是EMG信号，则EMG信号的特征信息可以是关于具有与用户的特定话语相应的模式的EMG信号的波形的信息。也就是说，嘴的周边肌肉的根据由用户说出的特定单词或语句的运动模式可被包括在EMG信号的特征信息中。
例如，可假设“圣诞快乐”是用于可向用户分配适当的使用权利的认证的语句。如果用户在认证注册阶段说出“圣诞快乐”，则处理器130可通过麦克风接收“圣诞快乐”的语音信号，并且可通过生物信号输入单元110接收通过嘴的周边肌肉根据说出“圣诞快乐”的运动而产生的EMG信号。
如果语音信号和EMG信号被输入，则处理器130可将语音信号和EMG信号合成，并将通过合成操作产生的合成信号或合成信号的特征信息存储在存储器140中。这里，处理器130可仅使用在EMG信号被检测的同时通过麦克风输入的语音信号来产生合成信号，其中，在该合成信号中，EMG信号和语音信号被合成。也就是说，EMG信号的检测可以是用于检测语音信号的触发信号。因此，如果通过电极检测到的EMG信号通过生物信号输入单元110被输入，则处理器130可打开麦克风。也就是说，EMG信号的检测可以是用于打开麦克风的特定事件。
此后，在认证阶段，如果用户说出“圣诞快乐”，则处理器130可将根据相应的话语被输入的语音信号和EMG信号合成，提取合成后的合成信号的特征信息，将提取的特征信息与预先存储在存储器140中的合成信号的特征信息进行比较，并且识别用户。
因此，处理器130可通过使用根据用户话语的语音信号和EMG信号的特征信息中的全部来确定授权用户是否说出用于认证的单词或语句(“圣诞快乐”)来更安全地执行用户认证。
具体地，通过将语音信号和EMG信号合成而产生的合成信号除了包括语音信号的特征信息和EMG信号的特征信息之外，还可包括通过语音信号和EMG信号的合成而额外产生的特征信息。也就是说，关于合成信号的波形，与语音信号相应的第一特征信息、与EMG信号相应的第二特征信息、以及通过语音信号和EMG信号的合成而额外产生的第三特征信息可被包括。因此，处理器130可通过将两种信号合成来获得更多特征信息，因此，用户可被更准确地认证。随后将利用图5的描述来详细地描述这一点。
同时，根据上述实施例，如果由于嘈杂的周边环境或用户语音的音量小而无法通过麦克风很好地识别用户语音，则可通过使用在语音信号和EMG信号被组合后的合成信号的情况下的与EMG信号相应的特征信息来执行用户认证，因此，可提高便利性。
此外，可使用检测到EMG信号的时间点和未检测到EMG信号的时间点来简单地确定用户的话语的开始点和结束点，因此，可更准确地感测语音信号的话语长度。
此外，用户在说话之前通常首先运动嘴部肌肉，因此，EMG信号比语音信号被更早地检测到。因此，如果检测到等于或大于预定阈值的EMG信号(话语的开始时刻)，则打开麦克风，并且如果检测到小于预定阈值的EMG信号(话语的结束时刻)，则关闭麦克风，因此，不应将麦克风保持为打开状态(Mic始终开启)。也就是说，处理器130可将EMG信号的检测设置为用于打开麦克风的特定事件，并且据此，以下内容是可能的：如果不执行用户认证，则可将麦克风保持为关闭状态，并且仅当检测到根据用户话语的EMG信号时，才打开麦克风，因此，可降低功耗。
同时，作为另一实施例，处理器130可通过使用输入的语音信号和生物信号的每条特征信息来识别用户。具体地，存储器140可分别存储用户的特定话语的语音信号的特征信息和用户的生物信号的特征信息，并且处理器130可提取输入的语音信号和生物信号的每条特征信息，将提取的每条特征信息与预先存储的语音信号的特征信息和生物信号的特征信息进行比较，并且识别用户。
例如，如果用户在认证注册阶段说出“圣诞快乐”，则处理器130可将“圣诞快乐”的语音信号或从该语音信号提取的特征信息存储在存储器140中。此外，在通过生物信号输入单元110输入的生物信号是EMG信号的前提下，可从与用户说出的“圣诞快乐”相应的模式的EMG信号提取EMG信号的特征信息，并且可将提取的EMG信号的特征信息存储在存储器140中。
此后，在执行认证的阶段，处理器130可根据用户的话语分别从通过麦克风120输入的语音信号和通过生物信号输入单元110输入的EMG信号提取特征信息，将提取的特征信息中的每一条特征信息与预先存储在存储器140中的特征信息进行比较，并且识别用户。
也就是说，处理器130可通过使用语音信号和EMG信号双重确定授权用户是否说出认证语句或单词(“圣诞快乐”)来执行用户认证。
此外，即使特征信息被预先存储在存储器140中，处理器130也可使用从EMG信号和用户输入的语音信号提取的特征信息来持续地更新预先存储的特征信息。
同时，在上述实施例中，已经将生物信号假设并描述为EMG信号，但是即使生物信号是通过电极检测到的不同类型的生物信号(诸如，EOG信号、ECG信号等)，在实现实施例的技术理念方面也不存在问题。例如，如果检测到的生物信号是ECG信号，则ECG信号的波形可包括针对每个用户的固有特征信息，因此可用于确定用户是否是同一用户。
此外，可将实施例的技术理念扩展到使用通过不同电极检测到的不同类型的生物信号(例如，EMG信号和EOG信号)来执行用户认证的方法。例如，本公开的电子装置100可产生通过不同电极检测到的EMG信号和EOG信号被合成后的合成信号，并且使用产生的合成信号的特征信息来执行用户认证。
此外，可将实施例的技术理念扩展到使用通过电极检测到的生物信号和用户的运动来执行用户认证的方法。例如，本实施例的电子装置100可产生合成信号，其中，在该合成信号中，从用户检测到的EOG信号和通过检测用户运动而检测到用户头部的移动的运动信号被合成，并且使用产生的合成信号的特征信息来执行用户认证。因此，例如，仅当用户观看显示器屏幕的特定位置或执行特定操作(眨眼睛、眨眼等)并且同时以特定模式移动头部时，用户才可被认证为授权用户。
图2b是示出根据本公开的另一实施例的电子装置的详细配置的框图。
在图2b中假设：被实现为移动终端装置100B的电子装置100被附接到可分离HMD装置200并被执行。电子装置100除了包括生物信号输入单元110、语音输入单元120和处理器130之外，还包括存储器140和显示器150。将省略图2a中已经提供的描述。
可分离HMD装置200可包括：可检测用户的生物信号的传感器210、可接收用户输入的输入单元220、可与电子装置100通信的通信器230和存储器240。
电子装置100的生物信号输入单元110是用于从可分离HMD装置200接收检测到的生物信号的元件。如图2b所示，如果将电子装置100实现为被附接到可分离HMD装置200的便携式终端装置100B，则生物信号输入单元110可包括用于以有线方法或无线方法与可分离HMD装置200进行通信的通信模块。使用通信模块与可分离HMD装置200的通信可以以各种方式被执行。电子装置100与可分离HMD装置200之间的通信可通过NFC、Wi-Fi、Wi-Fi直连、Zigbee或蓝牙中的至少一种方法被执行。
存储器140可存储各种类型的数据，诸如，用于驱动电子装置100的操作系统(O/S)软件模块和包括VR内容的各种类型的多媒体内容。具体地，存储器140可存储与关于用户的特定话语的语音信号和用户的生物信号有关的特征信息。存储器140可被实现为以下项中的至少一项：硬盘驱动器(HDD)、固态驱动器(SSD)、动态随机存取存储器(DRAM)存储器、静态RAM(SRAM)存储器、铁电RAM(FRAM)存储器或闪存。
显示器150提供包括可在电子装置100中重复使用的各种内容的屏幕。这里，所述内容可包括各种格式的内容，诸如，文本、图像、视频和图形用户界面(GUI)等。具体地，所述内容可被实现为用于提供3D图像的虚拟现实(VR)内容。
显示器150的实现方法不受限制，并且显示器150可被实现为各种形式的显示器，诸如，液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AM-OLED)、等离子体显示面板(PDP)等。显示器150还可根据显示器150的实现方法而包括附加元件。例如，如果显示器150以液晶方法被形成，则显示器150可包括LCD显示面板(未示出)、向显示器150提供光的背光单元(未示出)、以及驱动面板(未示出)的面板驱动板(未示出)。
同时，电子装置100还可包括传感器160。传感器160可包括用于检测在电子装置100中执行的各种操作的第一传感器至第n传感器以及用于控制第一传感器至第n传感器的传感器控制器。例如，包括在传感器160中的多个传感器可包括用于检测电子装置100的移动的运动传感器、作为用于用户认证的传感器的用于识别用户虹膜的虹膜识别传感器、用于识别指纹的指纹识别传感器、用于检测周边环境(气压、温度、湿度、照度)、用户手势等的各种传感器。
运动传感器可包括加速度传感器、地磁传感器或陀螺仪传感器中的至少一个。包括在运动传感器中的各种传感器可通过上述传感器中的一个传感器或多于两个传感器的组合来检测电子装置100的三维移动。
加速度传感器是用于测量电子装置100在空间中的移动的传感器。也就是说，加速度传感器表示用于检测当电子装置100移动时产生的加速度的改变和/或角加速度的改变的传感器。加速度传感器可检测在三个轴方向上的加速度。此外，加速度传感器可检测出电子装置100被倾斜。
地磁传感器是用于测量方位角的传感器。也就是说，地磁传感器表示检测在地球的南北方向上形成的磁场并测量方位角的传感器。地磁传感器可检测在三个轴方向上的地磁。用地磁传感器测量出的北方向可以是磁北。然而，无需说，即使地磁传感器测量磁北，也可通过执行内部计算来输出真正的北方向。
陀螺仪传感器是测量电子装置100的旋转角速度的惯性传感器。也就是说，陀螺仪传感器表示可使用旋转对象的惯性力来了解当前方向的传感器。陀螺仪传感器可测量在共轭轴方向上的旋转角速度。
运动传感器可感测电子装置100的移动并且识别电子装置100移动的方向、旋转角速度等。
传感器控制器是用于同时控制第一传感器至第n传感器的元件，并且充当传感器集线器。根据实施例，如果电子装置100按照诸如待机模式、省电模式等的睡眠模式进行操作，则提供给控制器120的功率被限制，但是可向传感器提供最小功率，使得通过传感器模块进行的检测在睡眠模式状态下被持续执行。也就是说，传感器控制器可基于通过传感器检测到的信号唤醒处理器130。
同时，可分离HMD装置200的传感器210可包括用于检测用户的生物信号的多个电极。所述多个电极可包括如针对图2a所示的用于检测各种生物信号(诸如EMG信号、EOG信号、EEG信号、ECG信号、GSR信号和BIA信号)的电极。所述多个电极可被附接到在可分离HMD装置200中与用户的皮肤接触的垫片部分，并且可根据将由垫片上的每个电极检测的生物信号的类型被附接到适当的位置。
输入单元220是用于接收用户的各种输入的元件，并且可包括被物理地实现的按钮或触摸板。例如，输入单元220可包括呼叫按钮、亮度控制按钮、语音控制按钮等，并且可与显示在电子装置100上的内容相关并接收用于播放所述内容、控制所述内容的功能等的输入。
通信器230是用于以有线方法或无线方法与电子装置100进行通信的元件，并且关于通信器230的配置和功能的描述与包括在电子装置100的生物信号输入单元110中的通信模块的配置和功能的描述重叠，因此，将省略通信器230的配置和功能的详细描述。
存储器240是用于存储通过传感器210检测到的生物信号的元件。为了通过一个电极接收多个生物信号，处理器250可控制存储器240存储通过电极检测到的生物信号。
处理器250通常是用于控制可分离HMD装置200的元件。处理器250可通过对通过传感器210检测到的生物信号进行滤波来去除噪声，并且基于检测到的生物信号的特征来确定用户是否正在佩戴可分离HMD装置200或者用户是否正在很好地佩戴装置。这里，可基于上述各种类型的生物信号来确定用户是否正在佩戴HMD装置200，并且没有具体限制，但是优选基于EMG信号进行确定。
如果确定用户正在佩戴可分离HMD装置200，则可在睡眠模式下将唤醒信号发送到电子装置100。可选地，如果确定用户未在很好地佩戴可分离HMD装置200，则可输出用于输出通知装置未被很好地佩戴的信号的信号(在这种情况下，可分离HMD装置200可包括可向用户提供一些通知的LED或扬声器)或者可发送向电子装置100通知装置未被很好地佩戴的信号。
此外，处理器250可测量通过传感器210检测到的生物信号的信号质量，并且基于测量的信号质量，用于输出在特定电极中检测到的信号质量差的警告的控制信号可被发送到电子装置100。可选地，处理器250可通过设置在可分离HMD装置200上的LED或扬声器输出在特定电极中检测到的信号质量差的警告。
同时，图2b示出在电子装置100被实现为便携式终端装置100B的情况下电子装置100和可分离HMD装置200的配置和操作，但是即使在电子装置100被实现为一体化HMD装置100A的情况下，对于本公开的技术领域中的技术人员而言，上述操作也可以仅是设计修改和应用。
例如，如果电子装置100被实现为一体化HMD装置100A，则包括在可分离HMD装置200中的传感器210的配置和操作可被集成到电子装置100的传感器160中，并且输入单元220可被包括在电子装置100中。存储器240可被集成到存储器140中，并且包括在通信器230和生物信号输入单元110中的通信模块可被省略。处理器250的操作可被集成到电子装置100的处理器130的操作中。
图3是示出根据本公开的实施例的用于检测生物信号的每个电极的示图。
图3是从佩戴HMD装置100的一侧观看到的正视图。如图3所示，可在与用户的眼睛附近的面部接触的接触侧30处布置可检测各种类型的生物信号的电极31-1至31-n。
参照图3所示的实施例，一对电极31-1和3-2被附接到眼睛的左侧和右侧以检测EOG信号。该对电极计算一个电极变化，因此，上下方向或左右方向中的仅一个方向可被指定。因此，为了设置眼球的方向，可设置上下和左右中的两个方向，因此，在附接到一只眼睛的上部的部分处和附接到该只眼睛的下部的部分处的用于检测EOG信号的一对电极31-3和31-4可被设置在接触侧30上。此外，在附接到另一只眼睛的上部的部分处和附接到该只眼睛的下部的部分处的用于检测EOG信号的一对电极31-5和31-6可被额外设置。
因此，处理器130可通过附接到眼睛的左侧和右侧的一对电极31-1和31-2来指定眼睛的左方向和右方向，并且通过附接到眼睛的上部的电极31-3和电极31-5以及附接到眼睛的下部的电极31-4和电极31-6来指定眼睛的上方向和下方向。
同时，在双眼的下部处，可设置用于检测EMG信号的一对电极31-7和31-8。针对一块肌肉，附接一个电极并且计算一个数字。处理器130可根据每块肌肉的输入的EMG信号的大小存储肌肉的运动强度，并且基于关于存储的运动强度的信息，可对输入的EMG信号的大小进行转换。
用于检测EMG信号的多个电极可在接触侧30附近以环形形状被设置，并且相应的电极可检测整个面部的肌肉的运动。具体地，用于检测EMG信号的电极可被设置在被附接到双眼的下部的接触侧30上，以根据主要改变面部形状的嘴形来检测颧骨和眼睛附近的肌肉的运动。也就是说，令人满意的是：用于检测EMG信号的电极被布置在用户的嘴附近。
同时，为了检测EMG信号，优选额外地包括参考电极31-9，并且可将通过电极31-7和电极31-8两者检测到的生物信号与通过参考电极31-9检测到的生物信号的差值用作EMG信号。参考电极31-9可位于附接到双眼的上方中心部分的接触侧30。然而，如果额外设置用于检测EMG信号的一对电极并且使用利用一对外围电极的电势差来检测EMG信号的双极，则可不需要参考电极31-9。
图4是用于说明根据本公开的实施例的通过将在电子装置中检测到的生物信号合成来执行用户认证的过程的流程图。
如果佩戴电子装置100的用户说出预定的语句或单词以执行用户认证，则通过设置在电子装置100中的电极31-1至31-n检测到的生物信号通过生物信号输入单元110被输入，并且根据话语的语音信号通过语音输入单元120被输入。这里，生物信号可包括各种生物信号，诸如EOG信号、EMG信号、EEG信号、ECG信号等。
图4中示出的实施例的电子装置100还可包括显示器150，并且包括在电子装置100中的电极31-1至31-n可包括用于检测EOG信号的电极和用于检测EMG信号的电极。这里，处理器130可基于由用于检测EOG信号的电极检测到的EOG信号来确定用户的瞳孔的位置，根据用户的瞳孔的位置来确定用户是否观看显示器150的屏幕上的特定区域，并且仅当确定用户正在观看特定区域时才执行用户认证。
例如，仅当确定用户正在观看显示在显示器150上的屏幕上的显示“需要用户认证”的语句的区域时，处理器130才可使用语音信号和EMG信号执行用户认证。这是为了防止执行用户认证的预处理(打开麦克风、将语音信号和EMG信号合成等)，原因是用户观看除了显示“需要用户认证”的区域之外的区域的大多数情况可能是用户不想要用户认证或者用户认证不被需要的情况。
此外，用户观看显示“需要用户认证”的区域的操作可具有以下效果：被用作用于执行用户认证的触发操作，以设置根据话语的语音被接收的时间点。
同时，如图4所示，通过电子装置100的每个电极31-1至31-n检测到的EOG信号和EMG信号通过经由模数转换器(ADC)而被转换成数字信号41和42，并且在操作S410，可由处理器130对转换的信号41和42进行排列/合成。在操作S420，处理器130可从合成信号提取固有特征信息，其中，在该合成信号中，两个信号41和42被合成。在用户认证注册阶段，将从两个信号41和42被合成后的合成信号提取的特征信息存储在存储器140中，并且在执行用户认证的阶段，将两个信号41和42被合成后的合成信号的特征信息与预先存储的合成信号的特征信息进行比较，并且识别用户是否相同。
例如，根据图5中示出的实施例，(a)是EMG信号的波形，(b)是语音信号的波形，并且(c)是合成信号的波形其中，在该合成信号中，EMG信号和语音信号被合成。EMG信号和语音信号的虚线指示为了方便起见被省略并示出的相应时间段的波形。
在时间段50中，如果EMG信号的波形51和语音信号的波形52被合成为合成信号的波形53，则呈两个波形51和52的组合的形式的合成信号的波形被产生，并且特别地，合成信号的波形可包括通过合成操作产生的固有形式的波形。因此，可从合成信号的波形提取的特征信息可包括比从EMG信号的波形51和语音信号的波形52中的每一个提取的特征信息多的信息。
同时，在根据机器学习算法识别用户是否相同的情况下，在操作S430，将从两个信号41和42的合成信号提取的特征信息输入到分类器。可将输入到分类器的特征信息用于根据机器学习算法训练分类器或者用于通过推导分类结果来确定用户的同一性。
操作S410、S420和S430可由处理器130执行，并且一些操作可由包括在可分离HMD装置200中的处理器250执行。
图6是示出根据本公开的实施例的电子装置中的每个信号的流处理的示图。
图6中示出的实施例示出由包括在可分离HMD装置200中的电极检测到的生物信号被输入到被实现为安装在可分离HMD装置200上的便携式终端装置100B的电子装置100并被处理的过程。
从多个电极211检测到的生物信号可通过与每个电极相应的通道41-1至41-n被发送到终端装置20。EMG信号可通过经由ADC 214被转换成数字信号。因此，可分离HMD装置200可通过①基于ADC 214处理模拟信号的模拟前端和②处理通过转换模拟信号而产生的数字信号的数字电路被配置。
①模拟前端包括传感器210的操作。具体地，可包括检测生物信号的电极211、对检测到的生物信号进行放大的放大器(AMP)212、用于去除放大的生物信号的噪声的高通滤波器(HPF)/低通滤波器(LPF)213、以及用于将去除了噪声的生物信号转换成数字信号的ADC214。②数字电路是用于处理被转换成数字的生物信号的元件，并且包括通过HPF/LPF执行滤波的微控制器单元(MCU)250和用于将生物电信号发送到电子装置100的通信器230。在图6中示出的实施例中，处理器250被实现为MCU。
例如，在生物信号是EMG信号的情况下，关于图3中用于检测EMG信号的电极31-7和31-8，可识别在用户的面部的右侧的肌肉中检测到的EMG信号的电压与通过参考电极31-9检测到的参考电压之间的电势差。通过包括在可分离HMD装置200中的AMP 212对包括识别出的电势差的EMG信号进行放大，并且可通过设置在HMD装置200中的HPF/LPF 213去除放大的EMG信号的噪声。这里，HPF可从放大的EMG信号中去除具有直流分量的噪声，并且LPF可从放大的EMG信号中去除不在直流分量中的噪声。
去除噪声的EMG信号可通过经由ADC 214被转换成数字信号，并且在经过MCU 250中的高通滤波处理和低通滤波处理之后，被发送到通信器230并且被发送到通过实时通信被连接的电子装置100。
在以无线方法执行电子装置100的生物信号输入单元110和通信器230的通信的实施例的情况下，生物信号输入单元110和通信器230可被实现为以NFC、Wi-Fi、Wi-Fi直连、Zigbee和蓝牙中的至少一种方法或其他各种无线通信方法来执行通信。
此外，以有线方法执行生物信号输入单元110和通信器230的通信的实施例，生物信号输入单元110和通信器230可被实现为以包括通用异步接收器/发送器(UART)方法的各种方法执行通信。
同时，如上所述，图6中示出的实施例示出在被实现为便携式终端装置100B的电子装置100被附接到可分离HMD装置200或者从可分离HMD装置200被拆卸下来的实施例中的电子装置100和可分离HMD装置200，并且上述公开分别示出电子装置100的操作和可分离HMD装置200的操作。然而，即使在将电子装置100实现为一体化HMD装置100A的情况下，也可以以相同的方式应用图5中示出的技术理念。在这种情况下，可由电子装置100的处理器120执行可分离HMD装置200的MCU 250的操作，并且可省略可分离HMD装置200的用于与电子装置100进行通信的通信器230。
在下文中，除非另外描述，否则将描述本公开的电子装置100被假设为一体化HMD装置的实施例。然而，即使在将电子装置100实现为可被附接到包括传感器的可分离HMD装置或从包括传感器的可分离HMD装置被拆卸下来的便携式终端装置的情况下，也可应用下面提供的本公开的技术理念。
图7是简要示出根据本公开的实施例的电子装置的操作过程的流程图。
可将电子装置100的操作划分成三个主要阶段。首先，可将用于用户认证的生物信号的注册操作划分成在电子装置100被佩戴的同时检测生物信号的操作S710、检测用户话语的操作S720、以及对检测到的生物信号和语音信号进行注册的操作S730。此外，可将用于使用生物信号执行用户认证的操作划分成在电子装置100被佩戴的同时检测生物信号的操作S710、检测用户话语的操作S720、以及通过将检测到的生物信号和语音信号与预先注册的信号的模式进行匹配来执行用户认证的操作S740。
将参照图8的流程图详细地描述构成对用于用户认证的生物信号的注册操作和用于使用生物信号执行用户认证的操作的每个阶段的具体操作。
图8是示出根据本公开的实施例的电子装置的操作过程的流程图。
首先，为了确定电子装置100是否被佩戴，在操作S801，电子装置100可通过用于检测电子装置100的佩戴状态的电极来检测并接收特定生物信号。这里，优选地，检测到的用于确定电子装置是否被佩戴的生物信号是EMG信号，但不限于此，并且电子装置是否被佩戴可根据各种生物信号被确定。这里，如果电子装置100被用户拿起，则电子装置100的移动可通过包括在电子装置100中的运动传感器160被检测，并且与可检测用于确定电子装置100是否被佩戴的EMG信号的电极相应的通道可被激活。
如果在操作S802确定电子装置100被佩戴：是，则在操作S803，电子装置100接收从电极检测到的生物信号，并且记录输入的生物信号。如果在操作S802确定电子装置100未被佩戴：否，则与一些电极或所有电极相应的通道可不被激活，并且根据电极的激活的功耗可减小。
此外，电子装置100可根据关于电子装置100的佩戴状态的确定来输出结果。如果佩戴状态差，则通知电子装置未被正确佩戴的消息或通知语音可被输出，并且如果佩戴状态好，则通知电子装置被正确佩戴的消息或通知语音可被输出。
同时，这里，当生物信号被输入时，在操作S805，电子装置100可确定用户的话语的开始时间点。如果生物信号是EMG信号，则嘴部肌肉在用户说话之前运动，使得EMG信号在语音信号之前被检测到，因此，如果EMG信号被检测到，则麦克风可被打开。
在操作S806，通过麦克风接收用户说出的语音信号，并且在操作S807，记录检测到的EMG信号和语音信号。在操作S808，对两个信号进行排列/合成，并且在操作S809，可从合成信号提取固有特征信息。
在用户注册阶段，在操作S810-1，可将提取的特征信息存储在存储器140中，并且在用户认证阶段，确定提取的特征信息是否与预先存储的特征信息相应，并且如果在操作S810-2它们彼此相应：是，则可在操作S811执行根据用户认证的特定功能。
图9a至图9b是用于示出根据本公开的实施例的使用EMG信号和语音信号执行用户认证的方法的示图。
图9a示出如果用户在锁定状态下佩戴电子装置100，则用户仅利用用户的话语来对电子装置100进行解锁的示例。如果用户佩戴电子装置100，则处理器130可控制显示器150显示用于向用户通知电子装置100处于锁定状态的消息，诸如“需要解锁”。这里，当用户按压电子装置100或可分离HMD装置200的特定按钮时，通知消息可被显示，或者如果检测到电子装置100被佩戴，则通知消息可被自动显示。
具体地，基于根据用户的通过用于检测电子装置100的佩戴状态的电极检测到的生物信号，处理器130可确定电子装置100的佩戴状态，并且如果从用于检测电子装置100的佩戴状态的至少一个电极检测到超过阈值的信号，则处理器130可确定电子装置100处于佩戴状态。
同时，处理器130可控制显示器150在具有用于通知锁定状态的消息的显示的屏幕的位置上显示引导用户说话的UI 91。引导用户说话的UI 91可以以诸如“说出解锁”的消息的形式被显示。
这里，如果用户说出“解锁”，则处理器130可通过麦克风接收“解锁”的语音信号，并且通过生物信号输入单元110接收基于嘴附近的肌肉根据“解锁”的话语的运动而产生的EMG信号。
处理器130可将根据相应的话语输入的语音信号和EMG信号进行合成，提取合成后的合成信号的特征信息，将提取的特征信息与被预先存储在存储器140中的与“解锁”相应的用户的语音信号和EMG信号的合成信号的特征信息进行比较，并且识别用户。如果根据比较结果的相似度超过预定阈值，则处理器130可确定当前用户是授权用户并且将电子装置100解锁。
此外，处理器130可基于通过用于检测EOG的电极检测到的EOG信号来确定用户的瞳孔的位置。据此，处理器130可确定用户是否观看显示器150的屏幕上的显示有引导用户说话的UI 91的区域，并且可仅当确定用户观看相应的区域时才确定用户是授权用户。
作为另一实施例，图9b示出仅利用用户话语而不是密码执行电子支付的示例。
如果用户通过特定应用或网站购买内容，则对于电子支付，可能需要输入用于用户认证的密码。这里，处理器130可控制显示器150在显示的屏幕的一个位置上显示引导用户说话的UI 92。可以以诸如“说出三星支付”的消息的形式显示引导用户说话的UI 92。
这里，如果用户说出“三星支付”，则处理器130可通过麦克风接收“三星支付”的语音信号，并且可通过生物信号输入单元110接收通过嘴附近的肌肉根据“三星支付”的话语的运动而产生的EMG信号。
处理器130可将根据话语输入的语音信号和EMG信号进行合成，提取合成后的合成信号的特征信息，将提取的特征信息与预先存储在存储器140中的与“三星支付”相应的用户的语音信号和EMG信号的合成信号的特征信息进行比较，并且识别用户。如果根据比较结果的相似度超过预定阈值，则处理器130可确定当前用户是授权用户并且批准电子支付。
此外，作为图9a的实施例，处理器130可基于通过用于检测EOG信号的电极检测到的EOG信号来确定用户的瞳孔的位置。据此，处理器130可确定用户是否观看显示器150的屏幕上的显示有引导用户说话的UI 92的区域，并且仅当用户观看相应的区域时才确定用户被授权。
关于图9b的实施例，将在图12中更详细地描述系统，其中，在该系统中，电子装置100将认证信息发送到提供用于电子支付的应用或网站的服务器。
图10和图11是示出根据本公开的实施例的在网站中使用生物信号的用户认证方法的示图。
目前，大多数网络服务使用ID和密码对用户进行认证并且允许访问个人信息，但是密码可能导致个人信息泄露并且可能对用户不方便，因此在不使用密码的情况下对用户进行认证的新的认证技术(诸如，线上快速身份(FIDO))已经被提出。
具体地，随着已经提出了利用使用身体结构或用户的身体的动作的基于身体的认证方法(诸如，面部识别、虹膜识别、指纹识别等)，已经补充了安全性和便利性。图10示出当使用电子装置100访问网站时使用生物信号和语音信号登录网站的用户帐户的方法。
如图10所示，可将使用生物信号和语音信号登录网站的用户帐户的方法划分成：用于对用户的生物信号和语音信号进行注册的注册过程、以及通过由用户说出生物信号和语音信号来执行用户认证的认证过程。
在注册过程中，首先，如图10的(a)所示，用户可通过访问网站使用ID和密码来执行一般的用户登录。此后，如果通过选择网站的用户登录UI 101而首次执行了登录，则可显示如图10的(b)所示的诸如“你想从现在开始使用生物信号登录吗？”的消息102。如果用户选择“是”，则显示诸如图10的(c)的生物信号注册屏幕，并且可显示指示录音可用的UI 103和诸如“说出将要注册的认证密钥”的通知消息。如果用户说出用于注册的认证密钥，则可在电子装置100中对与说出的认证密钥相应的语音信号和通过嘴附近的电极检测到的EMG信号进行注册。这里，电子装置100可产生与注册的语音信号和EMG信号相应的一对私钥和公钥，此后，将公钥发送到网站。
具体地，在认证过程中，如果用户首先选择如图10的(d)中所示的网站的用户登录UI 101，则如图10的(e)所示，可显示诸如“说出注册的认证密钥”的消息103。如果用户说出注册的认证密钥，则电子装置100可通过将与说出的认证密钥相应的语音信号和通过嘴附近的电极检测到的EMG信号与注册在存储器140中的语音信号和EMG信号进行比较来执行用户认证。如果完成用户认证，则电子装置100将公钥发送到网站，并且如图10的(f)所示，最终在网站中完成登录。
图11是示出当访问网站或网络应用时通过认证服务器执行认证的方法的框图。
电子装置100可通过通信器165与服务于网站或网络应用的网络服务服务器300和执行用户认证的认证服务器400执行通信。通信器165可包括用于与网络服务服务器300执行通信的第一通信器166和用于与认证服务器400执行通信的第二通信器167。然而，认证服务器400可以是包括在网络服务服务器300中的服务器。
这里，可通过根据线上快速身份(FIDO)认证方法的协议来执行电子装置100和认证服务器400的用户认证。
首先，如果用户执行电子装置100的应用111，访问网络服务服务器300，并且执行用于注册用户的语音信号和生物信号的注册操作，则在认证框架112中，用户的语音信号和生物信号被合成后的合成信号(认证令牌)经过加密处理，并且分别产生与相应的合成信号相应的固有的私钥113和公钥114。认证框架112将私钥113存储在电子装置100中的安全实体中并在电子装置100的安全实体中管理私钥113，并且将公钥114发送到认证服务器400，其中，安全实体是安全的。如果电子装置100将公钥114发送到认证服务器400，则认证服务器400注册公钥114。
用户再次访问网络服务服务器300并且尝试用户认证(尝试通过话语登录等)，网络服务服务器300向认证服务器400请求认证，并且认证服务器400将验证码和关于用户的策略一起发送到电子装置100。电子装置100使用存储在安全实体中的私钥113对验证码执行电子签名，并且将执行了电子签名的验证码发送到认证服务器400。认证服务器400可通过利用用户的公钥114对签名的验证码进行验证来完成用户认证。如果认证服务器400将用户认证信息发送到网络服务服务器300，则网络服务服务器300可确认用户通过认证并根据用户认证将各种服务(登录、内容回放、电子支付等)提供给电子装置100。
图12是根据本公开的实施例的使用生物信号选择多个注册用户中的一个注册用户的示图。
如果电子装置100允许多个用户访问，则电子装置100可基于生物体信号提供与经过认证的用户的简档相应的用户环境(定制的主屏幕、账户、应用、设置等)。
如图12所示，显示器150可显示可利用在电子装置100中注册的多个用户中的一个用户执行登录的用户选择屏幕。用户选择屏幕可显示用于选择注册用户中的每个注册用户的UI 121-1至UI 121-3以及用于作为访客进行登录的UI 121-4。
电子装置100的存储器140可存储由每个用户说出的语音信号的特征信息与每个语音信号相应的EMG信号的特征信息以及与每个用户相应的使用环境信息，以与每个用户的名称相应。如果用户说出他/她的名称，则处理器130可通过检测与相应的话语相应的语音信号和EMG信号并将这些信号与存储的特征信息进行比较来认证用户，并且可根据预先存储的经过认证的用户的简档加载和提供使用环境(参照图12的(a)和(b))。
图13是详细地示出电子装置的配置的框图。
如图13所示，根据本公开另一实施例的电子装置100’可包括生物信号输入单元110、语音输入单元120、处理器130、存储器140、显示器150、传感器160、音频处理器170、音频输出单元175、视频处理器180和用户接口190。在下文中，将省略与图2a和图2b的描述重复的描述。
处理器130可包括ROM131、RAM132、CPU 133、图形处理器134、第一接口135-1至第n接口135-n。ROM131、RAM132、CPU 133、图形处理器134、第一接口135-1至第n接口135-n可通过总线136彼此连接。
CPU 133访问存储器140并使用存储在存储器140中的O/S来执行启动。此外，CPU133可使用各种程序、内容、数据等来执行各种操作。
ROM131可存储用于系统启动的命令集。当开启命令被输入并且因此而电力被供应时，CPU 133可根据存储在ROM131中的指令将存储在存储器40中的O/S复制到RAM 132，并且通过执行O/S来启动系统。当启动完成时，CPU 133将存储在存储器140中的各种应用程序复制到RAM 132，并且执行被复制在RAM 132中的应用程序以执行各种操作。
图形处理器134可使用计算器(未示出)和渲染器(未示出)产生包括诸如图标、图像、文本等的各种对象的屏幕。计算器可根据屏幕的布局计算对象的属性值，诸如，坐标值、形状、大小和颜色。渲染器可基于由计算器计算出的属性值产生各种布局的包括各种对象的屏幕。
第一接口135-1至第n接口135-n可被连接到上述各种元件。这些接口中的一个接口可以是通过网络被连接到外部设备的网络接口。
同时，可通过执行存储在存储器140中的程序来执行上述处理器130的操作。
存储器140可存储用于驱动电子装置100’的O/S软件模块和诸如各种形式的多媒体内容的各种类型的数据。
具体地，存储器140可存储对从包括在电子装置100’中的每个硬件发送的信号进行处理的基本模块、管理数据库(DB)和注册表的存储模块、用于产生布局的屏幕的图形处理模块、安全模块等。
显示器150提供包括可在电子装置100’中被再现的各种内容的屏幕。这里，所述内容可包括各种格式的内容，诸如，文本、图像、视频、图形用户界面(GUI)等。具体地，所述内容可被实现为用于提供3D图像的VR内容。
传感器160是用于检测在电子装置100’中执行的各种操作的配置。在图2b中已经描述了传感器160的详细配置，因此，将省略传感器160的详细配置的描述。
通信器165是根据各种类型的通信方法与外部设备进行通信的配置。通信器165可根据诸如近场通信(NFC)方法、ZigBee、数字生活网络联盟(DLNA)、Wi-Fi、蓝牙、长期演进(LTE)等的各种通信标准与外部设备发送或接收数据。可选地，通信器165可通过被连接在包括互联网网络的有线网络/无线网络中与外部设备发送或接收数据。
通信器165可包括诸如Wi-Fi芯片、蓝牙芯片、无线通信芯片等的各种通信芯片，以基于上述通信方法与外部设备通信，并且使用相应的芯片与包括服务器的另一电子装置通信。此外，通信器165可包括有线通信芯片、有线通信终端等，以经由有线通信方法与外部设备进行通信。
音频处理器170是用于处理音频数据的元件。
音频输出单元175是用于输出从音频处理器170处理的音频的元件。
视频处理器180是针对内容执行各种类型的图像处理(诸如，解码、缩放、噪声滤波、帧率转换、分辨率转换等)的元件。
用户接口190是用于检测用于控制电子装置100’的总体操作的用户交互的元件。用户接口190可包括各种交互检测设备，诸如，麦克风(未示出)、相机(未示出)等。
图14是示出根据本公开的实施例的电子装置的控制方法的流程图。
首先，在操作S1410，接收通过电极检测到的用户的生物信号和通过麦克风检测到的用户的语音信号。这里，如果通过电极检测到生物信号，则可打开麦克风。
此后，在操作S1420，基于输入的生物信号和语音信号来识别用户。
这里，可产生合成信号，并且可基于产生的合成信号来识别用户，其中，在该合成信号中，输入的生物信号与在生物信号被检测的同时通过麦克风输入的语音信号被合成。
对于该操作，电子装置可存储通过将关于用户的特定话语的语音信号和用户的生物信号合成而产生的合成信号的特征信息，并且可通过提取产生的合成信号的特征信息并将提取的特征信息与存储的合成信号的特征信息进行比较来识别用户。例如，如果提取的特征信息与存储的合成信号的特征信息之间的相似度等于或大于预定阈值，则可将用户确定为授权用户。
根据如上所述的本公开的各种实施例，除了使用语音信号来执行用户认证之外，还使用用户的生物信号来执行用户认证，因此，用户识别的准确性提高。具体地，可从用户的语音信号和生物信号被合成后的合成信号提取更多特征信息，因此，用户识别的准确性可提高。
此外，在在嘈杂环境中难以执行语音识别的情况下，可使用生物信号来执行用户认证，因此，可弥补语音识别针对外围环境的噪声的脆弱性。
此外，还检测并使用佩戴电子装置的用户的生物信号来执行用户认证，因此，可解决通过由除了正佩戴电子装置的用户之外的人说出的语音来执行用户认证的安全性问题。
根据上述各种实施例的控制方法可被实现为程序并且被存储在各种记录介质中。也就是说，由各种处理器处理以执行上述各种控制方法的计算机程序可被存储在记录介质中并且在记录介质中被使用。
例如，可提供存储程序的非暂时性计算机可读介质，其中，所述程序执行以下操作：接收通过电极检测到的用户的生物信号和通过麦克风检测到的用户的语音信号，并且基于输入的生物信号和语音信号来识别用户。
非暂时性计算机可读介质不是短暂存储数据的介质(诸如，寄存器、高速缓冲器和存储器等)，而是半永久地存储数据并且可由设备读取的介质。详细地，上述各种应用或程序可被存储在非暂时性计算机可读介质(例如，光盘(CD)、数字通用盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等)中，并且可被提供。
尽管在上文中已经示出并描述了本公开的各种实施例，但是本公开不限于上述实施例，而是可在不脱离如所附权利要求中阐述的本公开的精神和范围的情况下由本公开所属领域中的技术人员进行各种修改。这些修改也应该被理解为落入本公开的范围内。

Claims (15)

1.一种电子装置，包括：
生物信号输入单元，被配置为接收通过电极检测到的用户的生物信号；
语音输入单元，被配置为接收语音信号；以及
处理器，被配置为基于通过生物信号输入单元输入的生物信号和通过语音输入单元输入的语音信号来识别用户。
2.如权利要求1所述的电子装置，其中，处理器产生合成信号，并且基于产生的合成信号来识别用户，其中，在该合成信号中，输入的语音信号和输入的生物信号被合成。
3.如权利要求2所述的电子装置，其中，处理器使用在生物信号被检测的同时通过语音输入单元输入的语音信号以及检测到的生物信号来产生合成信号。
4.如权利要求2所述的电子装置，还包括：
存储器，存储合成信号的特征信息，其中，在该合成信号中，关于用户的特定话语的语音信号和用户的生物信号被合成；
其中，处理器通过提取产生的合成信号的特征信息并将提取的特征信息与存储在存储器中的合成信号的特征信息进行比较来识别用户。
5.如权利要求1所述的电子装置，还包括：
存储器，分别存储关于用户的特定话语的语音信号的特征信息和用户的生物信号的特征信息；
其中，处理器通过分别提取输入的语音信号的特征信息和输入的生物信号的特征信息，并将每条提取的特征信息分别与预先存储的语音信号的特征信息和生物信号的特征信息进行比较来识别用户。
6.如权利要求1所述的电子装置，其中，语音输入单元包括麦克风；并且
其中，处理器基于生物信号通过电极被检测到来打开麦克风。
7.如权利要求1所述的电子装置，其中，生物信号包括肌电图EMG信号、眼电图EOG信号、脑电图EEG信号、心电图ECG信号、皮肤电反应GSR信号或生物电阻抗分析BIA信号中的至少一种。
8.如权利要求4所述的电子装置，其中，存储器存储合成信号的特征信息，其中，在该合成信号中，关于用户的特定话语的语音信号和与该特定话语相应的模式的EMG信号被合成。
9.如权利要求8所述的电子装置，其中，处理器接收通过位于用户的嘴附近的电极检测到的EMG信号，并且产生合成信号，其中，在该合成信号中，输入的语音信号和EMG信号被合成。
10.如权利要求9所述的电子装置，还包括：
显示器；
其中，处理器检测用户的EOG信号，并且基于检测到的EOG信号确定用户是否观看显示器的屏幕上的预定区域，并且基于用户观看所述特定区域，通过将产生的合成信号的特征信息与预先存储的合成信号的特征信息进行比较来识别用户。
11.一种电子装置的控制方法，包括：
接收通过电极检测到的用户的生物信号和通过麦克风检测到的用户的语音信号；并且
基于输入的生物信号和输入的语音信号来识别用户。
12.如权利要求11所述的方法，其中，识别用户的步骤包括：产生合成信号，并且基于产生的合成信号来识别用户，其中，在该合成信号中，输入的语音信号和输入的生物信号被合成。
13.如权利要求12所述的方法，其中，产生合成信号的步骤包括：使用生物信号和在生物信号被检测的同时通过语音输入单元输入的语音信号来产生合成信号。
14.如权利要求12所述的方法，其中，电子装置存储合成信号的特征信息其中，在该合成信号中，关于用户的特定话语的语音信号和用户的生物信号被合成，并且
其中，识别用户的步骤包括：提取产生的合成信号的特征信息，并且通过将提取的特征信息与存储的合成信号的特征信息进行比较来识别用户。
15.如权利要求11所述的方法，其中，电子装置分别存储关于用户的特定话语的语音信号的特征信息和用户的生物信号的特征信息，并且
其中，识别用户的步骤包括：分别提取输入的语音信号的特征信息和输入的生物信号的特征信息，并且通过将每条提取的特征信息分别与预先存储的语音信号的特征信息和生物信号的特征信息进行比较来识别用户。
CN201780070666.6A 2016-11-16 2017-11-16 电子装置及其控制方法 Active CN109964226B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662422684P 2016-11-16 2016-11-16
US62/422,684 2016-11-16
KR1020170046890A KR20180055661A (ko) 2016-11-16 2017-04-11 전자 장치 및 그 제어 방법
KR10-2017-0046890 2017-04-11
PCT/KR2017/013048 WO2018093183A1 (ko) 2016-11-16 2017-11-16 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN109964226A true CN109964226A (zh) 2019-07-02
CN109964226B CN109964226B (zh) 2023-06-30

Family

ID=62299842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070666.6A Active CN109964226B (zh) 2016-11-16 2017-11-16 电子装置及其控制方法

Country Status (4)

Country Link
US (1) US11435826B2 (zh)
EP (1) EP3518129B1 (zh)
KR (1) KR20180055661A (zh)
CN (1) CN109964226B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150768A (zh) * 2022-09-06 2022-10-04 休美(北京)微系统科技有限公司 人体生理信号采集系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989643A (zh) * 2018-04-19 2020-11-24 惠普发展公司，有限责任合伙企业 从触摸表面设备向虚拟现实设备的输入
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
CN111475206B (zh) * 2019-01-04 2023-04-11 优奈柯恩(北京)科技有限公司 用于唤醒可穿戴设备的方法及装置
CN113748462A (zh) 2019-03-01 2021-12-03 奇跃公司 确定用于语音处理引擎的输入
CN113994424A (zh) * 2019-04-19 2022-01-28 奇跃公司 识别语音识别引擎的输入
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
US11157081B1 (en) * 2020-07-28 2021-10-26 Shenzhen Yunyinggu Technology Co., Ltd. Apparatus and method for user interfacing in display glasses
US11609633B2 (en) * 2020-12-15 2023-03-21 Neurable, Inc. Monitoring of biometric data to determine mental states and input commands
WO2022137571A1 (ja) * 2020-12-25 2022-06-30 三菱電機株式会社 認証装置、認証方法及び認証プログラム
CN114488878A (zh) * 2021-12-29 2022-05-13 华南师范大学 基于眼电控制的智能设备控制系统及控制方法
US20230409115A1 (en) * 2022-05-24 2023-12-21 Lenovo (Singapore) Pte, Ltd Systems and methods for controlling a digital operating device via an input and physiological signals from an individual

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166324A (ja) * 2009-01-15 2010-07-29 Nec Corp 携帯端末、音声合成方法、及び音声合成用プログラム
US20120314048A1 (en) * 2007-06-11 2012-12-13 Matos Jeffrey A Apparatus and method for verifying the identity of an author and a person receiving information
CN103310142A (zh) * 2013-05-22 2013-09-18 复旦大学 基于可穿戴设备的人机融合安全认证方法
CN103456306A (zh) * 2012-05-29 2013-12-18 三星电子株式会社 用于在电子装置中执行语音命令的方法和设备
CN103809743A (zh) * 2012-11-02 2014-05-21 索尼公司 图像显示装置、图像显示方法和计算机程序
US20140304792A1 (en) * 2006-01-30 2014-10-09 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US8963806B1 (en) * 2012-10-29 2015-02-24 Google Inc. Device authentication
US20150074797A1 (en) * 2013-09-09 2015-03-12 Samsung Electronics Co., Ltd. Wearable device performing user authentication using bio-signals and authentication method of the same
CN105093526A (zh) * 2014-05-22 2015-11-25 Lg电子株式会社 眼镜式终端及其控制方法
CN105389489A (zh) * 2014-08-26 2016-03-09 三星电子株式会社 基于心电图信号的用户认证方法和设备
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统
CN105512534A (zh) * 2015-12-31 2016-04-20 湖南人文科技学院 一种基于脑电波和虹膜及人脸识别的复合鉴证的可自毁式身份识别系统
US20160259986A1 (en) * 2015-03-05 2016-09-08 Samsung Electronics Co., Ltd. User Authenticating Method and Head Mounted Device Supporting the Same
US20160284363A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Voice activity detection technologies, systems and methods employing the same

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4474186A (en) 1979-07-17 1984-10-02 Georgetown University Computerized electro-oculographic (CEOG) system with feedback control of stimuli
US5360971A (en) 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JP2003058269A (ja) 2001-08-09 2003-02-28 Mitsubishi Heavy Ind Ltd 個人認証システム
JP4713111B2 (ja) 2003-09-19 2011-06-29 株式会社エヌ・ティ・ティ・ドコモ 発話区間検出装置、音声認識処理装置、送信システム、信号レベル制御装置、発話区間検出方法
US7613478B2 (en) * 2004-03-15 2009-11-03 General Electric Company Method and system for portability of clinical images using a high-quality display and portable device
JP2005293209A (ja) 2004-03-31 2005-10-20 Ntt Data Corp 個人認証装置、情報端末、個人認証方法、およびプログラム
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR20090011127U (ko) 2008-04-26 2009-10-29 주식회사지한정보통신 다중 생체인식 장치
US20110246187A1 (en) 2008-12-16 2011-10-06 Koninklijke Philips Electronics N.V. Speech signal processing
US8941466B2 (en) * 2009-01-05 2015-01-27 Polytechnic Institute Of New York University User authentication for devices with touch sensitive elements, such as touch sensitive display screens
US8598980B2 (en) * 2010-07-19 2013-12-03 Lockheed Martin Corporation Biometrics with mental/physical state determination methods and systems
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US10032008B2 (en) * 2014-02-23 2018-07-24 Qualcomm Incorporated Trust broker authentication method for mobile devices
US20150242605A1 (en) * 2014-02-23 2015-08-27 Qualcomm Incorporated Continuous authentication with a mobile device
KR101633057B1 (ko) 2015-04-22 2016-06-23 재단법인 실감교류인체감응솔루션연구단 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140304792A1 (en) * 2006-01-30 2014-10-09 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US20120314048A1 (en) * 2007-06-11 2012-12-13 Matos Jeffrey A Apparatus and method for verifying the identity of an author and a person receiving information
JP2010166324A (ja) * 2009-01-15 2010-07-29 Nec Corp 携帯端末、音声合成方法、及び音声合成用プログラム
CN103456306A (zh) * 2012-05-29 2013-12-18 三星电子株式会社 用于在电子装置中执行语音命令的方法和设备
US8963806B1 (en) * 2012-10-29 2015-02-24 Google Inc. Device authentication
CN103809743A (zh) * 2012-11-02 2014-05-21 索尼公司 图像显示装置、图像显示方法和计算机程序
CN103310142A (zh) * 2013-05-22 2013-09-18 复旦大学 基于可穿戴设备的人机融合安全认证方法
US20150074797A1 (en) * 2013-09-09 2015-03-12 Samsung Electronics Co., Ltd. Wearable device performing user authentication using bio-signals and authentication method of the same
KR20150029105A (ko) * 2013-09-09 2015-03-18 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
CN105093526A (zh) * 2014-05-22 2015-11-25 Lg电子株式会社 眼镜式终端及其控制方法
CN105389489A (zh) * 2014-08-26 2016-03-09 三星电子株式会社 基于心电图信号的用户认证方法和设备
US20160259986A1 (en) * 2015-03-05 2016-09-08 Samsung Electronics Co., Ltd. User Authenticating Method and Head Mounted Device Supporting the Same
US20160284363A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Voice activity detection technologies, systems and methods employing the same
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统
CN105512534A (zh) * 2015-12-31 2016-04-20 湖南人文科技学院 一种基于脑电波和虹膜及人脸识别的复合鉴证的可自毁式身份识别系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEHDI GHAYOUMI 等: "A review of multimodal biometric systems: Fusion method and their applications", 《2015 IEEE/ACIS 14TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE （ICIS）》 *
MEHDI GHAYOUMI 等: "A review of multimodal biometric systems: Fusion method and their applications", 《2015 IEEE/ACIS 14TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE （ICIS）》, 27 July 2015 (2015-07-27), pages 132 - 133 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150768A (zh) * 2022-09-06 2022-10-04 休美(北京)微系统科技有限公司 人体生理信号采集系统

Also Published As

Publication number Publication date
US11435826B2 (en) 2022-09-06
CN109964226B (zh) 2023-06-30
EP3518129A1 (en) 2019-07-31
EP3518129A4 (en) 2019-10-30
EP3518129B1 (en) 2021-04-07
KR20180055661A (ko) 2018-05-25
US20200064921A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN109964226A (zh) 电子装置及其控制方法
EP3527127B1 (en) Electronic device and control method thereof
US10366778B2 (en) Method and device for processing content based on bio-signals
US11402909B2 (en) Brain computer interface for augmented reality
JP6125670B2 (ja) 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム
CN101464728B (zh) 视觉运动相关神经信号为载体的人机交互方法
Su et al. A biometric-based covert warning system using EEG
US20240152208A1 (en) Brain-computer interface
Kim et al. Interactive emotional content communications system using portable wireless biofeedback device
CN110198665B (zh) 电子设备及其控制方法
CN108491792A (zh) 基于眼电信号的办公场景人机交互行为识别方法
KR102410998B1 (ko) 전자 장치 및 그 제어 방법
KR101281852B1 (ko) 뇌 신호를 이용한 생체 인증 장치 및 방법
Daşdemir Locomotion techniques with EEG signals in a virtual reality environment
US20230161411A1 (en) Control device and control method
CN112990261B (zh) 一种基于敲击节奏的智能手表用户识别方法
Herbst et al. Body area networks in the era of 6G: an evaluation of modern biometrics regarding multi-factor-authentication
WO2018093183A1 (ko) 전자 장치 및 그 제어 방법
Patelia et al. Brain computer interface: Applications and p300 speller overview
US20230143234A1 (en) Control device and control method
Smith-Creasey Biometrics for Continuous Authentication
Haotian et al. Online adaptive classification system for brain–computer interface based on error-related potentials and neurofeedback
Zhang et al. Passive Vital Sign Monitoring via Facial Vibrations Leveraging AR/VR Headsets
Pan et al. Design of novel non-contact multimedia controller for disability by using visual stimulus
Chin et al. Personality trait and facial expression filter-based brain-computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant