CN108475112A - 使用摩擦声音的方法和装置 - Google Patents

使用摩擦声音的方法和装置 Download PDF

Info

Publication number
CN108475112A
CN108475112A CN201680077549.8A CN201680077549A CN108475112A CN 108475112 A CN108475112 A CN 108475112A CN 201680077549 A CN201680077549 A CN 201680077549A CN 108475112 A CN108475112 A CN 108475112A
Authority
CN
China
Prior art keywords
friction
electronic device
voice input
sound
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680077549.8A
Other languages
English (en)
Other versions
CN108475112B (zh
Inventor
O.施丘尔
I.雅基申
郭炳熏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108475112A publication Critical patent/CN108475112A/zh
Application granted granted Critical
Publication of CN108475112B publication Critical patent/CN108475112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)

Abstract

提供了一种使用摩擦声音输入的设备和方法。该设备包括：麦克风，被配置为接收音频信号；以及处理器，被配置为从音频信号中检测摩擦声音，通过分析检测到的摩擦声音的特性来确定摩擦性质，并且执行与摩擦性质相对应的控制命令。

Description

使用摩擦声音的方法和装置
技术领域
本公开涉及使用摩擦声音的电子装置、其控制方法、以及其上记录有用于执行控制电子装置的方法的程序代码的非暂时性计算机可读记录介质。
背景技术
近来已经开发了各种类型的电子装置，诸如智能电话、智能手表和智能眼镜。而且，由于物联网(Internet of Things，IoT)的出现，家用电器、可穿戴设备等包括各种输入设备，诸如键钮、触摸屏和触摸板。然而，随着电子装置尺寸的减小，可以布置输入设备的空间的限制增加。此外，需要能够容易地与电子装置交互而不需要用户注意的输入类型。
因此，除了现有的键盘输入、触摸输入等之外，可以使用声音输入、手势输入等。然而，由于声音输入易受环境噪声影响并且可能被其他人听到，所以声音输入可能被非法使用。其他电子装置可能对声音输入做出反应，而不是用户可能想要操纵的电子装置。
由于手势输入可能容易被其他人观看，所以手势输入可能被非法使用。而且，需要昂贵的传感器来检测手势输入。
对于用户认证，在电子装置上使用各种类型的输入，诸如密码输入、手势输入和生物测量信号。然而，密码输入和手势输入可能很容易被其他人使用。生物测量信号是使用从例如DNA、耳朵结构、虹膜、视网膜、面部识别、指纹、手指结构、手部结构、步态、气味、静脉、语音等提取的生物测量信号的输入。这样的生物测量信号不太可能被其他人使用，并且即使它们被盗，也不可能改变它们。
发明内容
技术问题
一个或多个实施例旨在提供用户可能自然输入到电子装置的输入信号。
而且，一个或多个实施例旨在提供难以被其他人非法使用的输入信号。
而且，一个或多个实施例旨在通过使用相对便宜的麦克风来提供能够以低成本实现的输入信号，并提供作为声音输入并对噪声强健的输入信号。
而且，一个或多个实施例旨在提供由用户容易改变并且具有大量情况的输入信号。
技术方案
根据本公开的一方面，提供了一种电子装置，包括：麦克风，被配置为接收音频信号；以及处理器，被配置为从音频信号中检测摩擦声音，通过分析检测到的摩擦声音的特性来确定摩擦性质，并且执行与摩擦性质相对应的控制命令。
处理器还可以被配置为基于音频信号的振幅变化来检测摩擦声音。
电子装置还可以包括储存器，存储根据摩擦性质的控制命令的控制列表。处理器还可以被配置为从控制列表中选择与摩擦性质相对应的控制命令。
处理器还可以被配置为基于摩擦声音的频率分布来确定摩擦性质。
当电子装置接触身体部位时可生成摩擦声音。
该电子装置还可以包括被配置为检测运动的运动传感器。处理器还可以被配置为：基于运动传感器的检测值来检测电子装置的运动，并且执行与检测到的运动和摩擦声音的组合相对应的操作。
处理器还可以被配置为基于在大约20Hz至大约20KHz的频率范围内的数据来确定摩擦性质。
处理器还可以被配置为通过使用摩擦声音来执行用户认证。
该电子装置还可以包括被配置为检测肌肉运动的肌电图传感器。处理器还可以被配置为：基于肌电图传感器的检测值来确定肌肉的运动，并且执行与所确定的肌肉运动和摩擦声音的组合相对应的控制命令。
该电子装置还可以包括被配置为检测指纹的指纹传感器。处理器还可以被配置为执行与检测到的指纹和摩擦声音的组合相对应的控制命令。
根据本公开的另一方面，提供了一种控制电子装置的方法，所述方法包括：接收音频信号；从音频信号中检测摩擦声音；通过分析检测到的摩擦声音的特性来确定摩擦性质；并执行与摩擦性质相对应的控制指令。
摩擦声音的检测可以包括基于音频信号的振幅变化来检测摩擦声音。
该方法还可以包括从根据摩擦性质的控制命令的控制列表中选择与所确定的摩擦性质相对应的控制命令。
摩擦性质的确定可以包括基于摩擦声音的频率分布来确定摩擦性质。
当电子装置与身体部位接触时可以生成摩擦声音。
该方法还可以包括：检测电子装置的运动，并且在执行控制命令时，可以执行与检测到的运动和摩擦声音的组合相对应的控制命令。
摩擦性质的确定可以包括基于在大约20Hz至大约20KHz的频率范围内的数据来确定摩擦性质。
控制命令的执行可以包括使用摩擦声音来执行用户认证。
该方法还可以包括通过使用肌电图传感器确定肌肉的运动，并且控制命令的执行可以包括执行与摩擦声音和检测到的肌肉运动的组合相对应的控制命令。
该方法还可以包括检测指纹，并且控制命令的执行可以包括执行与检测到的指纹和摩擦声音的组合相对应的控制命令。
根据本公开的另一方面，提供了一种其上记录有用于在计算机上执行控制电子装置的方法的程序代码的非暂时性计算机可读记录介质。
发明的有益效果
根据一个或多个实施例，可以提供用户可以自然输入到电子装置的输入信号。
根据一个或多个实施例，可以提供难以被其他人非法使用的输入信号。
根据一个或多个实施例，可以提供能够通过使用相对便宜的麦克风以低成本实现的输入信号。此外，可以提供作为声音输入并对噪声强健的输入信号。
根据一个或多个实施例，可以提供易于由用户改变并且具有大量情况的输入信号。
附图说明
图1示出了根据实施例的生成摩擦声音输入的方法。
图2是根据实施例的电子装置的结构的框图。
图3是示出了根据实施例的根据摩擦性质定义控制命令的控制列表的表格。
图4是示出了根据实施例的根据摩擦性质定义控制命令的控制列表的表格。
图5示出了由人体生成摩擦声音的过程。
图6示出了根据实施例的当通过用拇指摩擦食指生成摩擦声音输入时由麦克风检测到的信号。
图7示出了当麦克风位于远侧指骨周围时，通过用拇指摩擦食指的近侧指骨和远侧指骨的摩擦声音输入的频率分布。
图8是根据实施例的控制电子装置的方法的流程图。
图9是根据另一实施例的电子装置的结构的框图。
图10是示出了根据一个或多个实施例的在嘈杂环境中进行的测试的结果的表格。
图11示出了在使用真空吸尘器的环境中接收摩擦声音输入的测试结果。
图12示出了外部声音被发送到麦克风的膜的过程。
图13示出了根据实施例的当在电子装置的针孔被手指阻挡的同时生成摩擦声音输入时从电子装置中检测到的音频信号。
图14示出了根据实施例的用户的生成摩擦声音输入的运动，该摩擦声音输入具有通过手指可识别的摩擦性质。
图15示出了根据实施例的摩擦声音输入如何对应于现有触摸输入以及哪些控制命令定义了摩擦声音输入。
图16示出了根据实施例的生成摩擦声音输入的手势。
图17示出了根据实施例的输入摩擦声音输入的方法。
图18示出了当针孔被身体部位阻挡时的音频信号的特性。
图19示出了当针孔被身体部位阻挡然后解除阻挡时的音频信号的特性。
图20示出了根据实施例的输入摩擦声音输入的方法。
图21示出了根据实施例的在穿戴作为可穿戴设备的电子装置时接收摩擦声音输入的手势。
图22示出了通过将生成摩擦声音输入的身体部位放置在与麦克风相对应的位置处形成的针孔附近来生成摩擦声音输入的手势。
图23是根据实施例的电子装置的结构的框图。
图24示出了根据实施例的通过使用运动输入和摩擦声音输入来控制电子装置的方法。
图25示出了通过使用运动输入和摩擦声音输入来控制电子装置的方法。
图26是根据实施例的控制电子装置的方法的流程图。
图27是根据实施例的电子装置的结构的框图。
图28示出了根据实施例的通过使用肌电图输入和摩擦声音输入来控制电子装置的方法。
图29是根据实施例的控制电子装置的方法的流程图。
图30是根据实施例的电子装置的结构的框图。
图31示出了根据实施例的通过使用指纹输入和摩擦声音输入来控制电子装置的方法。
图32是根据实施例的控制电子装置的方法的流程图。
图33示出了根据实施例的打开和关闭作为智能手表的电子装置的控制命令。
图34示出了根据实施例的在手指接触作为智能手表的电子装置的同时生成摩擦声音输入的手势。
图35示出了根据实施例的在手指放置在作为智能手表的电子装置周围的同时生成摩擦声音输入的手势。
图36示出了根据实施例的在手指放置在作为智能手表的电子装置周围的同时生成摩擦声音输入的手势。
图37示出了根据实施例的在手指放置在作为智能手表的电子装置周围的同时生成摩擦声音输入的手势。
图38示出了根据实施例的通过使用摩擦声音输入来控制电子装置的手势。
图39示出了根据实施例的控制作为虚拟现实(virtual reality，VR)设备的电子装置的手势。
图40示出了根据实施例的控制作为智能眼镜的电子装置的手势。
图41示出了根据实施例的控制作为电源插座的电子装置的手势。
图42示出了控制作为加热器的电子装置的手势。
图43示出了根据实施例的控制作为家用电器的电子装置的手势。
图44示出了根据实施例的控制作为智能纺织品的电子装置的手势。
图45示出了根据实施例的通过使用作为可穿戴设备的电子装置来控制健身器的手势。
图46示出了根据实施例的通过使用摩擦声音输入来控制作为秤的电子装置的手势。
图47示出了根据实施例的通过使用摩擦声音输入来控制作为智能戒指的电子装置的手势。
图48示出了根据实施例的通过使用摩擦声音输入来控制作为耳机的电子装置的手势。
图49示出了根据实施例的通过使用摩擦声音输入来控制作为耳机的电子装置的手势。
图50示出了根据实施例的通过使用摩擦声音输入来控制作为医疗设备的电子装置的手势。
图51示出了根据实施例的通过使用摩擦声音输入来控制作为体内芯片的电子装置的手势。
图52示出了根据实施例的控制作为外部存储设备的电子装置的手势。
图53是根据实施例的电子装置的结构的框图，并且图53的结构可应用于根据实施例的电子装置。
具体实施方式
最佳模式
根据本公开的一方面，提供了一种电子装置，包括：麦克风，被配置为接收音频信号；以及处理器，被配置为从音频信号中检测摩擦声音，通过分析检测到的摩擦声音的特性来确定摩擦性质，并且执行与摩擦性质相对应的控制命令。
公开的模式
现在将参考附图更充分地描述本公开的实施例，使得本公开所属领域的普通技术人员能够容易地实施这些实施例。本公开可以以许多不同的形式来体现，并且不应该被说明为限于在此阐述的实施例。此外，为了说明清楚，省略了与本公开的描述无关的部分，并且附图中的相同附图标记表示相同的元件。
在整个说明书中，将会理解，当一部分被称为“连接到”另一部分时，它可以被“直接或电”连接到另一部分。也就是说，例如，可能存在中间部分。而且，除非另外描述，否则当一部分“包括”元件时，可以进一步包括另一元件，而不是排除其他元件的存在。
根据一个或多个实施例，使用由身体部位生成的摩擦声音生成输入信号。这里，由身体部位生成的摩擦声音表示由不同身体部位之间的摩擦生成的声音或由身体部位与对象之间的摩擦生成的声音。例如，身体部位生成的摩擦声音可以是两根手指之间生成的摩擦声音、当手指摩擦对象时生成的摩擦声音等。
在本说明书中，摩擦声音输入指示由身体部位生成的摩擦声音被用作电子装置的输入信号。根据一个或多个实施例的电子装置可以使用麦克风来接收音频信号，从接收到的音频信号中检测摩擦声音，并且使用摩擦声音作为电子装置的输入信号。这样的输入可以被称为摩擦声音输入。电子装置可以接收通过使用麦克风输入的摩擦声音。
图1示出了根据实施例的生成摩擦声音输入的方法。
根据实施例，用户可以通过将两个手指在一起摩擦来生成摩擦声音输入。例如，如图1所示，在操作S102中，用户可以用手触摸电子装置(100，在下文中，附图标记“100”统一指示根据本公开的一个或多个实施例的电子装置)，或者可以将手移动靠近电子装置100。然后，在操作S104中，用户可以做出两个手指在一起摩擦的手势。由于该手势，在用户的手指之间生成摩擦声音并且由电子装置100的麦克风110检测该摩擦声音，并且因此摩擦声音输入被输入到电子装置100。
图2是根据实施例的电子装置100a的结构的框图。
根据本实施例的电子装置100a包括麦克风110和处理器120a。
麦克风110接收音频信号。麦克风110将通过诸如空气或水的介质发送的声音转换为电信号。摩擦声音输入以音频信号的形式从其外部被发送到电子装置100a，并且麦克风110将作为音频信号形式的摩擦声音输入转换成电信号并且检测电信号。
根据实施例，处理器120a可以单独设置激活麦克风110以接收摩擦声音输入的操作模式。例如，当在电子装置100a上正在播放音乐的同时通过摩擦声音输入来控制关于音乐播放的功能时，可以激活麦克风110以在播放音乐时接收摩擦声音输入。作为另一示例，当在电子装置100a处于睡眠模式时通过摩擦声音输入将电子装置100a的模式改变为激活模式时，处理器120a可以在睡眠模式下激活麦克风110。
处理器120a可以依据摩擦声音输入来确定由生成摩擦声音的身体部位或者由生成摩擦声音的身体运动的类型确定的摩擦性质，并且可以执行与摩擦性质相对应的控制命令。
摩擦性质由生成摩擦声音的身体部位或生成摩擦声音的身体运动的类型确定。基于发生摩擦的位置的运动方向和摩擦方法中的至少一个或其组合来确定身体运动的类型。
生成摩擦声音的身体部位可以被分类为例如手指、脚趾、耳廓、手背等。而且，在手指内的身体部位可以被分类为手指的远侧指骨、中间指骨和近侧指骨。此外，根据与人体生成摩擦的对象的类型，身体部位可以被分类为手和衣服、手和耳机等。根据实施例，可以使用摩擦声音特性来确定生成摩擦声音的身体部位。当确定摩擦声音特性时，可以使用每个频带的衰减特性、相同振幅的频率的衰减变化等。
身体运动的类型可以被分类为例如用另一手指摩擦手指的手势、用另一手指的指尖轻击手指的指尖的手势等。根据实施例，身体运动的类型可以被确定为摩擦声音特性。当确定摩擦声音特性时，处理器120a可以使用声音振幅、振幅改变的次数、根据时间的振幅梯度等。
根据实施例，处理器120a可以通过使用软件模块(其使用机器学习方法)来分析声音，并且可以确定摩擦性质。例如，处理器120a可以使用用于语音识别的机器学习方法。在这种情况下，处理器120a可以识别手指组织的振动频率和音调特性，并且可以将识别的振动频率和识别的音调特性与预先存储的模板进行比较，由此确定摩擦性质。
根据实施例，机器学习方法可以以通过接收来自用户的摩擦声音输入来调整指示由电子装置100a定义的各个摩擦性质的声波特性的模板的方式来执行。首先，电子装置100a可以显示关于具有定义的摩擦性质的摩擦声音输入的信息，作为用户的摩擦声音输入的引导。关于摩擦声音输入的信息是关于生成具有定义的摩擦性质的摩擦声音输入的方法的信息，并且可以被显示为例如用食指向上摩擦拇指、用食指轻击拇指等。用户基于所显示的关于摩擦声音输入的信息生成摩擦声音，并检测摩擦声音的音频信号。例如，关于摩擦声音输入的信息被显示在电子装置100a的设置菜单上，并且提供了用于检测音频信号的图形用户界面(Graphical User Interface，GUI)。电子装置100a可以调整关于基于检测到的音频信号而定义的摩擦性质的模板。例如，电子装置100a根据检测到的音频信号的声波特性来调整关于定义的摩擦性质的模板的声波特性。
与摩擦性质相对应的控制命令包括例如打开或关闭电子装置100a、调整声音输出的音量、接听来电、用户认证等。而且，可以根据每个摩擦性质来定义不同的控制命令。例如，当在电子装置100a上播放音乐时，可以定义与摩擦性质相对应的控制命令，使得可以通过将手指从远侧指骨摩擦到近侧指骨来减小音量，并且可以通过将手指从近侧指骨摩擦到远侧指骨来增大音量。
可以预定义与摩擦性质相对应的控制命令。根据实施例，关于与摩擦性质相对应的控制命令的信息可以被预定义并且存储在电子装置100a的储存器中。作为另一示例，电子装置100a可以经由网络从另一设备接收关于与摩擦性质相对应的控制命令的信息。
图3是示出了根据实施例的根据摩擦性质定义控制命令的控制列表的表格。
根据实施例，电子装置100a可存储指示关于根据摩擦性质定义的控制命令的信息的控制列表，并且当检测到摩擦声音输入时，电子装置100a可从控制列表中检索与摩擦性质相对应的控制命令。根据实施例，可以根据频率特性、摩擦次数和摩擦方向来定义控制命令。例如，如图3所示，当在作为温度控制器的电子装置100a中连续两次检测到第一频率特性302时，可以执行与解锁相对应的控制命令，并且当检测到一次第二频率特性304时，可执行与温度升高(上)相对应的控制命令。当检测到一次第三频率特性306时，可以执行与温度降低(下)相对应的控制命令。
图4是示出了根据实施例的根据摩擦性质定义控制命令的控制列表的表格。
根据实施例，当在作为抽屉锁设备的电子装置100a中检测到两次第四频率特性402然后检测到一次第五频率特性404时，可以执行与锁定和解锁相对应的控制命令，并且当检测到一次第六频率特性406时，可以执行与设置通知模式相对应的控制命令。当检测到一次第七频率特性408时，可以执行与释放通知模式相对应的控制命令。
图5示出了由人体生成摩擦声音的过程。
当身体组织被摩擦时，在具有弹性的皮肤组织上发生混沌振荡。这种混沌振荡是由于摩擦的非线性特性而出现的。在振荡期间，生成通过身体组织传递的声音。
如图5所示，当第二对象520与具有像身体组织一样的弹性的第一对象510摩擦时，第一对象510的形状与第二对象520的形状相符，并且因此在操作S502中第一对象510附到第二对象。当附到第二对象520的第一对象510移动时，第一对象510变形，在操作S504中由于相对于变形的恢复力而生成朝向第二对象520施加的力量。因此，在操作S506中，第一对象510再次附到第二对象520，这引起摩擦，从而生成摩擦声音。
当由于身体组织而生成摩擦声音时，在宽频带上生成声波。声波通过身体组织传递到电子装置100a的麦克风110。声波对其他类型的介质具有高反射率，因此当声波通过身体组织传递时，空气中损失的声波比率大大降低。当声波通过身体组织传递时，声波被相对于高频具有高吸收率的身体组织吸收。由于身体组织的不均匀性，高频分量比低频分量衰减更多。因此，通过身体组织传递的声波被传递到麦克风110，同时高频分量被身体组织吸收。随着生成摩擦声音的身体部位更远离麦克风110，声波通过身体组织传递的距离增加，并且因此高频分量被吸收的程度增加。例如，在手指的指尖接近麦克风110的状态下，通过摩擦手指的指尖的手势生成的摩擦声音输入比通过摩擦手指的内侧部分的手势生成的摩擦声音输入具有更多的高频谱噪声分量。因此，处理器120a可以基于由麦克风110检测到的音频信号的频率分布来确定生成摩擦声音的身体组织的位置。
图6示出了根据实施例的当通过用食指摩擦拇指的手势生成摩擦声音输入时由麦克风110检测到的信号。
如上所述，摩擦声音输入的信号具有这样的特性，其中随着远离麦克风110生成摩擦，高频分量减小。参考图6的信号波形，当麦克风110位于手指的指尖周围时，在摩擦手指的远侧指骨的操作S602与摩擦手指的中间指骨的操作S604之间，高频分量的强度不同。
图7示出了当麦克风110位于远侧指骨附近时拇指摩擦食指的近侧指骨和远侧指骨时的摩擦声音输入的频率分布。
如图7所示，与摩擦远侧指骨的操作S704相比，在摩擦手指内侧部分的操作S720中高频分量减少更多。这是因为，当通过摩擦远离麦克风110的内侧近侧指骨而生成的摩擦音通过手指传递时，高频分量被身体组织吸收。因此，处理器120a可以确定是否通过摩擦手指的内侧部分或远侧指骨来生成摩擦声音输入。例如，处理器120a可以预先存储关于当手指的内侧部分被摩擦时的频率特性的模板710和关于当手指的远侧指骨被摩擦时的频率特性的模板720。通过比较模板710和720的频率特性与摩擦声音输入的频率特性，可以确定相应的摩擦声音输入的摩擦性质。
根据实施例，处理器120a可以基于包括在摩擦声音输入的特定频率范围内的数据来确定摩擦性质。特定频率范围可以是观察到身体组织对高频分量的衰减的频率区域。根据实施例，该特定频率范围可以从大约20Hz到大约20KHz。由于在通过身体组织传输波期间高频分量的衰减是显著的，所以处理器120a可以基于包括在相应频率范围中的数据来确定摩擦性质。根据实施例，电子装置100a可以包括特定频率范围中的信号通过的带通滤波器，并且因此可以基于包括在特定频率范围中的数据来确定摩擦性质。
图8是根据实施例的控制电子装置100a的方法的流程图。
在操作S802中，电子装置100a通过使用麦克风110来接收音频信号。当输入音频信号时，在操作S804中处理器120a从音频信号中检测摩擦声音。
根据实施例，处理器120a可以基于音频信号的振幅变化来检测摩擦声音。例如，当音频信号的振幅变化超过特定参考值时，处理器120a可以将检测到振幅变化的时间点或振幅变化之前的时间点确定为摩擦音间隔的起点，并且可以从起点起检测摩擦声音。而且，当音频信号的水平从起点起维持在一定水平时，维持摩擦声音间隔，并且从音频信号中检测摩擦声音。在起点之后，音频信号的水平降低到小于或等于特定水平。当降低的水平维持达特定时间段时，摩擦声音间隔可结束，并且摩擦声音的检测也可结束。
根据实施例，处理器120a可以通过使用摩擦声音的声波特性来确定与摩擦声音相对应的时间间隔，并且可以检测相应间隔的信号作为摩擦声音。例如，关于摩擦声音的声波特性的模板可以预先存储在电子装置100a中，并且处理器120a可以将关于摩擦声音的声波特性的模板与音频信号进行比较，并且因此可以检测摩擦声音。关于摩擦声音的声波特性的模板可以被定义为诸如频率分布或波形尺寸变化的信号特性。模板与音频信号的比较可以通过执行诸如差分信号分析或卷积的过程来执行。
根据实施例，当检测到摩擦声音时，处理器120a可以考虑音频信号的振幅和声波特性的变化来检测摩擦声音。
在操作S806中，处理器120a可分析检测到的摩擦声音的特性并确定摩擦性质。例如，处理器120a可以将预先存储的模板与摩擦声音的频率分布进行比较，并且可以确定摩擦性质。
当确定摩擦性质时，在操作S808中处理器120a执行与摩擦性质相对应的控制命令。如上所述，可以预定义关于与摩擦性质相对应的控制命令的信息。
图9是根据另一实施例的电子装置100b的结构的框图。
根据本实施例的电子装置100b包括麦克风110、模数转换器(analog-to-digitalconverter，ADC)910、处理器120b、输出设备920和储存器930。根据本实施例，通过麦克风110输入的模拟信号的形式的摩擦声音输入被ADC 910转换成数字信号，然后数字信号被输入到处理器120b。处理器120b确定从ADC 910输入的摩擦声音输入的摩擦性质。当确定摩擦性质时，处理器120b基于关于与存储器930中存储的摩擦性质相对应的控制命令的信息，执行与摩擦声音输入相对应的控制命令。处理器120b将与摩擦性质相对应的控制指令的结果输出到输出设备920。
输出设备920可以是例如显示器、触摸屏、扬声器、LED显示灯、振动设备等。在实施例中，当作为摩擦声音输入的结果增加正在播放的音乐的音量时，通过扬声器输出的声音的音量可能增加。在另一实施例中，当作为摩擦声音输入的结果执行用户认证时，可以在显示器上显示与作为用户认证的结果执行的下一个过程相对应的屏幕。
一个或多个实施例可以以低成本和小空间来实现。为了使用摩擦声音输入，根据实施例的电子装置100需要麦克风110。麦克风110已经被诸如智能电话、智能手表、平板个人电脑(personal computer，PC)和智能眼镜的各种电子装置采用。因此，通过使用已经包括的麦克风，可以在没有附加成本的情况下使用摩擦声音输入。而且，麦克风非常便宜且小。例如，麦克风可低于0.5美元。有很多大小为1厘米或更小的麦克风，并且有一些大小约为1毫米的麦克风。如上所述，实现实施例所需的麦克风非常小且便宜。麦克风可以以低成本被包括在各种类型的电子装置中并且可以具有很小的空间限制。
而且，根据一个或多个实施例，即使用户不直接查看电子装置100，摩擦声音输入也可输入到电子装置100。根据一个或多个实施例，当用户做出在手与电子装置100接触的同时将手紧密地移动到电子装置100或生成摩擦声音输入的手势时，可生成摩擦声音输入。一旦用户知道电子装置100在哪里，用户可以做出上述手势而不直接查看电子装置100。因此，用户可以通过使用摩擦声音输入来容易地操纵电子装置100。
此外，根据实施例的摩擦声音输入可以容易地与其他类型的输入组合。当通过手指生成摩擦声音输入时，用户可以在用手指触摸包括在电子装置100中的指纹传感器的同时生成摩擦声音输入，因此，用户可以同时容易地获得指纹输入和摩擦声音输入。作为另一示例，电子装置100使用陀螺仪传感器并检测在用户生成摩擦声音输入的同时生成的用户手势，从而同时获得运动输入和摩擦声音输入。作为另一示例，电子装置100使用肌电图传感器等，并且在用户生成摩擦声音输入的同时检测肌肉运动，从而同时获得关于肌肉运动和摩擦声音输入的信息。
而且，根据一个或多个实施例的摩擦声音输入可以容易地改变。特别是，当摩擦声音输入被用作用户认证的密码时，可以改变被设置为密码的摩擦性质。近来，已经有各种尝试通过使用指纹、静脉、虹膜、视网膜、DNA等进行用户认证，并且难以改变上面列出的生物测量信号。然而，由于摩擦声音输入可以容易地改变为摩擦性质当中的用户期望的摩擦性质，所以可以通过改变用于用户认证的摩擦性质来改善安全性。
而且，一个或多个实施例几乎不可能被非法使用。当摩擦声音输入被用作用户认证的密码时，用户可以通过做出其他人难以看到的手势来生成摩擦声音输入，并且因此可能减少非法使用的可能性。例如，当基于用户摩擦的指骨的组合来设置用于用户认证的摩擦性质时，尽管每个指骨以确定的顺序摩擦以生成摩擦声音输入，但是其他人很难知道该顺序或者准确的手势。因此，用户可以基于他人难以看到的手势来设置用于用户认证的摩擦性质，并且可以改善安全性。
而且，根据一个或多个实施例，可生成的摩擦声音输入的情况的数量几乎是无限的。由于摩擦声音输入可以通过各种手势生成，所以情况的数量几乎是无限的。当仅用手生成摩擦声音输入时，手指可以生成各种摩擦声音输入，因此，可能存在大量摩擦声音输入的情况。当摩擦声音输入被用作用户认证的密码时，由于大量的情况，安全性可能增加。此外，当摩擦声音输入被用作用于控制电子装置100的命令时，由于存在大量用户可以使用摩擦声音输入的情况，所以可以通过使用各种类型的摩擦性质来设置大量的命令。
图10是示出根据一个或多个实施例的在嘈杂环境中进行的测试的结果的表格。
当在电子装置100与用户身体接触的同时用户生成摩擦声音时，摩擦声音输入对噪声非常强健。如图10所示，作为通过使用智能电话进行测试的结果，当在用户的身体接触智能电话的同时输入摩擦声音输入时，外部噪声已经升高到75dB，但是错误率小于或等于5％。例如，当人们洗澡或洗碗机工作时，测量70dB的噪声水平，并且这种噪声水平在我们的日常生活中被认为是高的。因此，摩擦声音输入具有足以在高噪声水平下使用的错误率。
图11示出了在使用真空吸尘器的环境中接收摩擦声音输入的测试的结果。
图11示出了在使用具有约72dB的噪声水平的真空吸尘器的环境中进行的测试的结果。当使用真空吸尘器时，用户通过在时间段T1将手指从远侧指骨摩擦至近侧指骨来生成摩擦声音输入，在时间段T2将手指从近侧指骨摩擦至远侧指骨来生成摩擦声音输入，并且在时间段T3通过摩擦中间指骨来生成摩擦声音输入。如图9所示，在真空吸尘器工作的环境中，由于摩擦声音输入，指示峰值的信号处于由箭头指示的位置处。基于这些结果，即使在日常生活中具有极高噪声水平的真空吸尘器工作的环境中，摩擦声音输入也处于可测量的水平。
而且，根据一个或多个实施例，尽管在身体部位未与电子装置100接触但在其附近时生成摩擦声音输入，也可测量可使用摩擦声音输入的错误率。
如图10所示，当外部噪声具有10dB的水平时，即使生成摩擦声音输入的身体部位离电子装置100大约1至2cm，误差率也小于或等于10％。因此，当身体部位不接触电子装置100但与其接近时，可以使用摩擦声音输入。
图12示出了外部声音被传递到麦克风110的膜1230的过程。参考图12，外部声音在空中传播并且通过形成在电子装置100的壳体1210中的针孔1220被传递到麦克风110的膜1230的情况、以及当形成在与麦克风110相对应的位置处的针孔1220被阻挡时摩擦声音输入被传递到麦克风110的膜1230的情况被彼此比较并被描述。
如图12的左侧所示，当外部声音被传递到麦克风110的膜1230时，用户想要的声音输入和噪声被传递到麦克风110的膜1230。如图12的右侧所示，当用户通过用手指阻挡针孔1220生成摩擦声音输入并且摩擦声音输入被传递到麦克风110的膜1230时，大部分外部噪声被阻止，并且仅有从手指的指尖传递的声音被传递到麦克风110的膜1230。这是因为，当针孔1220被手指阻挡时，外部声波很少传递到麦克风110的膜1230，并且由于皮肤的振动而生成的声波大部分通过针孔1220传递到麦克风110的膜1230。因此，摩擦声音输入对噪声非常强健。
图13示出了根据实施例当在电子装置100的针孔1220被手指阻挡的同时生成摩擦声音输入时从电子装置100检测到的音频信号。图13示出了当环境噪声为13dB时进行的测试的结果。图13的图表的横轴指示时间，而垂直轴指示信号强度。
当在电子装置100的针孔1220被手指阻挡的同时生成摩擦声音输入时，如图13所示，检查到非常清晰的具有大约52dB的水平的摩擦声音输入的声波图案。
图14示出了根据实施例的用户的生成摩擦声音输入的运动，该摩擦声音输入具有通过手指可识别的摩擦性质。
摩擦性质由生成摩擦声音的身体部位、生成摩擦的位置的运动方向、摩擦方法(例如摩擦、敲击、刮擦等)和摩擦次数来定义，或由其组合来定义。此外，摩擦性质可以由生成摩擦声音的操作的顺序来定义。
根据实施例，可以通过使用进行诸如摩擦指骨、敲击、第一摩擦、第二摩擦、第三摩擦、第一刮擦和第二刮擦的各种手势的手指来生成不同类型的摩擦声音输入。
摩擦指骨是摩擦指骨的手势。例如，可以用拇指摩擦近侧指骨、中间指骨和远侧指骨中的一个。根据实施例，沿第一方向摩擦手指的一个指骨的第一指骨摩擦手势1410和沿第二方向摩擦手指的指骨的第二指骨摩擦手势1420可以被定义为不同类型的摩擦性质。
敲击是敲击两个手指的指尖或手指的指尖和指骨的手势。例如，拇指的指尖和食指的指尖可相互敲击。根据实施例，敲击可以被执行各种次数。根据实施例，可以根据执行敲击的次数，将敲击定义为不同类型的摩擦性质。而且，根据实施例，敲击两个手指的指尖的手势1430和敲击一个手指的指尖和另一手指的指骨的手势1440可以被定义为不同类型的摩擦性质。
第一摩擦是用另一手指将手指从手指的远侧指骨摩擦至其近侧指骨的手势。例如，第一摩擦是用拇指将食指从食指的远侧指骨摩擦至其近侧指骨的手势。第二摩擦是用另一手指将手指从手指的近侧指骨摩擦至其远侧指骨的手势。例如，第二摩擦是用拇指将食指从食指的近侧指骨摩擦至其远侧指骨的手势。
第三摩擦是用拇指向上摩擦手指的手势。根据实施例，在从小指到食指的方向上摩擦两个或更多个手指的手势1450和用拇指在从食指到小指的方向上摩擦两个或更多个手指的手势1460可以被定义为不同类型的摩擦性质。
第一刮擦是在从手指的近侧指骨到其远侧指骨的方向上用另一手指的指甲刮擦手指的手势。第二刮擦是在从手指的远侧指骨到其近侧指骨的方向上用另一手指的指甲刮擦手指的手势。
当根据实施例执行诸如摩擦指骨、第一至第三摩擦以及第一和第二刮擦的上述手势各种次数时，手势可以用作不同输入的控制命令。
图15示出了根据实施例的摩擦声音输入如何对应于现有触摸输入以及哪些控制命令定义了摩擦声音输入。
可以通过使用触摸屏、触摸传感器等将触摸输入输入到电子装置100。然而，在放置触摸屏或触摸传感器有空间限制的电子装置(例如，智能手表、智能眼镜等)中，触摸输入的使用受到限制。此外，当在诸如智能电话或平板PC的电子装置中使用触摸输入时，用户需要在观看电子装置100的同时做出用于触摸输入的手势，并且因此导致用户不便。根据实施例，如图13所示，触摸输入可以用摩擦声音输入来代替。
首先，用手指轻击触摸屏一次的触摸输入可以用轻击触摸屏一次的摩擦声音输入代替，并且轻击触摸屏两次的触摸输入可以用轻击触摸屏两次的摩擦声音输入代替。向左拖动触摸屏的触摸输入可以用第一摩擦摩擦声音输入代替，并且向右拖动触摸输入的触摸输入可以用第二摩擦摩擦声音输入代替。在两个手指触摸触摸屏的同时沿相反方向移动两个手指的缩放式缩小触摸输入可以用第一刮擦摩擦声音输入代替，并且在两个手指触摸触摸屏的同时移动两个手指以使其接近的缩放式放大触摸输入可以用第二刮擦摩擦声音输入代替。用手指触摸触摸屏并保持触摸状态达特定时间段的触摸保持触摸输入可以用轻击触摸屏三次的摩擦声音输入代替。
摩擦性质可以通过组合两种类型的摩擦声音输入来定义。例如，保持触摸状态达特定时间段并移动手指的保持移动触摸输入可以用通过轻击触摸屏三次和第一摩擦的组合生成的摩擦声音输入来代替。
图16示出了根据实施例的生成摩擦声音输入的手势。
根据实施例，用手指的指甲刮擦另一手指的皮肤的手势可以用作生成摩擦声音输入的手势。手势可以生成具有唯一声波特性的强音频信号，并且可以由电子装置100识别。例如，如图16所示，当穿戴智能手表的用户通过用指甲刮擦另一手指的皮肤而生成摩擦声音输入时，摩擦声音输入通过皮肤组织传递到智能手表。
根据实施例，由于通过用指甲刮擦皮肤生成的摩擦声音输入和用户的运动被一起检测到和使用，所以可以改善摩擦声音输入的检测准确性。例如，电子装置100包括运动传感器(例如，加速度传感器、陀螺仪传感器等)，并且当同时检测到摩擦声音输入和用户运动时，可以通过考虑摩擦声音输入的声波特性和检测到的用户运动来确定摩擦声音输入的摩擦性质。在这种情况下，检测到的用户运动可以是当另一手指被指甲刮擦时检测到的用户运动。
根据实施例，电子装置100可以将运动传感器(例如，加速度传感器、陀螺仪传感器等)的检测值数据与传递到皮肤组织中的声波或空气中传播的皮肤摩擦声音进行组合，并可以识别用户运动。根据本实施例，尽管由于传递到皮肤组织中的声波或在空气中传播的皮肤摩擦声音具有低强度从而信噪比(signal to noise ratio，SNR)低，但是也可以改善检测用户手势的准确性。
根据实施例的摩擦声音输入可以通过用手指摩擦手掌、用手指摩擦手背、用手指摩擦耳朵以及用手摩擦身体来生成。而且，根据实施例的摩擦声音输入可以通过用身体部位(诸如手掌、手背和手的一侧)替代手指摩擦其他身体部位而生成。
图17示出了根据实施例的输入摩擦声音输入的方法。
根据实施例，摩擦声音输入可以在用户通过身体部位阻挡形成在与麦克风110相对应的位置处的针孔1220并且做出生成摩擦声音输入的手势的同时生成。在这种情况下，如上所述，噪声被阻挡，并且通过身体组织传递的声波可以以高强度传递到麦克风110。
检测针孔1220被身体部位阻挡的状态的方法包括在针孔1220周围使用触摸传感器的方法、检测电子装置100的运动或摇动的方法、基于由麦克风110检测到的音频信号的特性来检测状态的方法等。
图18示出了当针孔1220被身体部位阻挡时的音频信号的特性。
当在针孔1220打开的同时针孔1220被身体部位阻挡时，音频信号的波形具有特性，由此信号强度增加，并且第一峰值在信号正向上升、并且横穿时间轴的速率降低的方向上被检测到。电子装置100检测到特性并且检测到针孔1220被身体部位阻挡。
根据实施例，在检测到针孔1220被身体部位阻挡之后，电子装置100可以基于在特定时间段内输入的音频信号的振幅变化来检测摩擦声音。例如，当电子装置100检测到针孔1220被身体部位阻挡时，电子装置100从该时间段起执行从音频信号中检测摩擦声音的过程。检测摩擦声音的过程可以是例如将音频信号与预先存储的模板进行比较的过程、检测音频信号的振幅变化的过程等。
图19示出了当针孔1220被身体部位阻挡然后解除阻挡时的音频信号的特性。
当针孔1220被身体部位阻挡并且解除阻挡时，音频信号的波形具有信号强度增加、在信号负向减小的方向上检测到第一峰值、以及与时间轴的交叉率降低的特性。电子装置100检测到特性并且检测到针孔1220被身体部位阻挡并被解除阻挡。
图20是根据实施例的用于说明输入摩擦声音输入的方法的图。
根据实施例，摩擦声音输入可以通过在用户的身体部位与电子装置100的壳体1210接触的同时做出生成摩擦声音输入的手势来生成。在这种情况下，摩擦声音通过身体组织和电子装置100的壳体1210到达麦克风110。当声波通过电子装置100的壳体1210传递时，与通过空气传递声波的情况相比，衰减率低，并且因此，摩擦声音输入的声波可以以高强度传递到麦克风110。
图21示出了根据实施例的在穿戴作为可穿戴设备的电子装置100时接收摩擦声音输入的手势。
由于可穿戴设备在使用时通常与人体接触，所以当作为可穿戴设备的电子装置100接收摩擦声音输入时，电子装置100在电子装置100的壳体1210接触身体部位的同时接收摩擦声音输入。在这种情况下，摩擦声音输入通过身体组织和电子装置100的壳体1210输入到电子装置100，因此，电子装置100可以检测具有高强度的摩擦声音输入的音频信号。
图22示出了通过将生成摩擦声音输入的身体部位放置在与麦克风110相对应的位置处形成的针孔1220附近来生成摩擦声音输入的手势。
根据实施例，电子装置100可在生成摩擦声音输入的身体部位位于针孔1220附近的同时接收摩擦声音输入。例如，在进行生成摩擦声音输入的动作的身体部位处于从电子装置100的针孔1220起的检测限制范围内的状态下，电子装置100可接收摩擦声音输入。检测限制范围可以基于麦克风110的灵敏度、噪声移除性能等而确定，并且可以是例如2厘米等。根据本实施例，由于用户不必接触电子装置100，所以用户可以容易地采取生成摩擦声音输入的动作。
根据本公开的一个或多个实施例，电子装置100可将摩擦声音输入与其他类型的输入进行组合，然后使用组合的输入。例如，摩擦声音输入可以与运动输入、肌电图传感器的检测值、指纹等进行组合。
图23是根据实施例的电子装置100c的结构的框图。
根据本实施例的电子装置100c包括运动传感器2310、麦克风110、处理器120c和储存器930。根据本实施例的电子装置100c包括运动传感器2310，并且通过考虑由运动传感器2310检测到的用户运动和由麦克风110接收的摩擦声音输入而操作。
运动传感器2310是用于检测用户运动的传感器。例如，运动传感器2310可以包括例如加速度传感器、陀螺仪传感器等。运动传感器2310检测由于用户的运动而导致的电子装置100c的运动。处理器120c可以基于运动传感器2310的检测值来预测用户的运动。
处理器120c确定在参考时间范围内是否检测到运动传感器2310的检测值和由麦克风110接收的摩擦声音输入、以及是否存在关于检测到的运动和摩擦声音输入的摩擦性质的组合的预设控制命令。当在参考时间范围内接收到运动输入和摩擦声音输入时，并且当存在预设的控制命令时，处理器120d可以执行相应的控制命令。
储存器930存储关于分别对应于运动输入和摩擦声音输入的各种组合的控制命令的信息。关于控制命令的信息可以被表达为例如如上所述的控制列表。
根据实施例，可以分别设置激活麦克风110和运动传感器2310的操作模式。例如，当电子装置100c处于睡眠模式时，通过使用摩擦声音输入和运动输入将电子装置100c的模式改变为激活模式时，麦克风110和运动传感器2310可以在睡眠模式被激活。
图24示出了根据实施例的通过使用运动输入和摩擦声音输入来控制电子装置100c的方法。
根据本实施例，当对作为智能手表的电子装置100c进行控制时，可以一起使用运动输入和摩擦声音输入。运动输入可以是在操作S2402中穿戴智能手表的用户降低手、然后在操作S2404中举起手以确保智能手表的显示器面向用户的脸的运动。摩擦声音输入可以是由手指生成的摩擦声音输入。当在参考时间范围内接收到运动输入和摩擦声音输入时，电子装置100c可以执行取消电子装置100c的睡眠模式的相应控制命令。在这种情况下，与仅使用运动输入或摩擦声音输入的情况相比，清楚地反映用户的意图，因此运动输入或摩擦声音输入的故障可大大减少。
图25示出了通过使用运动输入和摩擦声音输入两者来控制电子装置100c的方法。
根据本实施例，当电子装置100c使用包括当用户将拇指按压至中指并向下移动中指以使中指与手掌对接时生成的摩擦声音的摩擦声音输入时，电子装置100c可以检测伴随着上述摩擦声音输入的运动，并且可以考虑运动以及摩擦声音输入。例如，只有当一起检测到包括当用户将拇指按压到中指并将中指向下移动以使中指与手掌对接时生成的摩擦声音的摩擦声音输入、以及伴随着摩擦声音输入的运动时，才将摩擦声音输入确定为是有效的摩擦声音输入，并且可以执行与摩擦声音输入相对应的控制命令。
根据本实施例的电子装置100c可以在接触皮肤的部件的表面或内侧上包括麦克风110。例如，作为手表的图21的电子装置100c可以将麦克风110包括在手表的表带上。根据本实施例，由于由用户手势生成的摩擦声音通过皮肤组织传递并输入到麦克风110，所以可以由麦克风110检测到强烈的强度的摩擦声音。根据本实施例，因为输入到电子装置100c的声音被识别为摩擦声音输入而出现的错误可大大减少。
图26是根据实施例的控制电子装置100c的方法的流程图。
根据本实施例，电子装置100c使用摩擦声音输入和运动输入两者。在操作S2602中，电子装置100c接收摩擦声音输入，并且在操作S2604中，电子装置100c依据摩擦声音输入来确定摩擦性质。而且，在操作S2606中，电子装置100c接收关于用户运动的运动输入，并且在操作S2608中，电子装置100c依据接收的运动输入来确定运动。当接收并确定摩擦声音输入和运动输入时，在操作S2610中，电子装置100c可确定是否存在与摩擦声音输入和运动输入的组合相对应的控制命令。而且，在操作S2612中，电子装置100c确定是否在参考时间范围内接收到摩擦声音输入和运动输入。参考时间范围可以被设置为例如0.5秒、1秒、5秒内等。执行操作S2610和S2612的顺序可根据实施例而改变。可以首先执行操作S2612，然后可以执行操作S2610。替代地，可以同时执行操作S2610和S2612。
当存在与摩擦声音输入和运动输入的组合相对应的控制命令时，并且当在参考时间范围内接收到摩擦声音输入和运动输入时，在操作S2614中电子装置100c可以执行相应的控制命令。
图27是根据实施例的电子装置100d的结构的框图。
根据本实施例的电子装置100d包括肌电图传感器2710、麦克风110、处理器120d和储存器930。根据本实施例的电子装置100d包括肌电图传感器2710，并且通过考虑由肌电图传感器2710检测到的肌肉的运动和从麦克风110接收的摩擦声音输入而操作。
肌电图传感器2710是用于检测肌肉运动并且测量肌电图以检测肌肉运动的传感器。处理器120d可以使用作为肌电图传感器2710的检测值的肌电图输入并且可以预测肌肉的运动。
处理器120d确定是否在参考时间范围内接收到从肌电图传感器2710接收的肌电图输入和从麦克风110接收的摩擦声音输入，并且确定是否存在关于接收到的摩擦声音输入的摩擦性质和检测到的肌肉运动的组合的预设控制命令。当在参考时间范围内接收到肌电图输入和摩擦声音输入时，并且当存在关于肌电图输入和摩擦声音输入的预设控制命令时，处理器120d可以执行相应的控制命令。
图28示出了根据实施例的通过使用肌电图输入和摩擦声音输入来控制电子装置100d的方法。
根据本实施例，当用户穿戴作为智能手表的电子装置100d并且通过交叉两个或更多个手指以及用拇指摩擦它们而生成摩擦声音输入时，包括在电子装置100d中的麦克风110接收由上述手势生成的摩擦声音输入。而且，根据本实施例的电子装置100d可以使用肌电图传感器2710并且接收指示由拇指的运动引起的肌电图变化的肌电图输入。与仅使用摩擦声音输入的情况相比，电子装置100d可以考虑摩擦声音输入和肌电图输入，因此可以大大降低故障的可能性。
图29是根据实施例的控制电子装置100d的方法的流程图。
根据本实施例，电子装置100d可以使用摩擦声音输入和肌电图输入两者。在操作S2902中，电子装置100d可以接收摩擦声音输入，并且在操作S2904中，电子装置100d可以依据摩擦声音输入来确定摩擦性质。而且，在操作S2906中，电子装置100d可以接收关于用户的肌肉运动的肌电图输入，并且在操作S2908中，电子装置100d可以确定检测到的肌肉运动。当接收并确定摩擦声音输入和肌电图输入时，在操作S2910中电子装置100d可以确定是否存在与摩擦声音输入和肌电图输入的组合相对应的控制命令。而且，在操作S2912中，电子装置100d可以确定是否在参考时间范围内接收到摩擦声音输入和肌电图输入。参考时间范围可以被设置为例如0.5秒、1秒、5秒内等。执行操作S2910和S2912的顺序可根据实施例而改变。可以首先执行操作S2912，然后可以执行操作S2910。替代地，可以同时执行操作S2910和S2912。
当存在与摩擦声音输入和肌电图输入的组合相对应的控制命令时，并且当在参考时间范围内接收到摩擦声音输入和肌电图输入时，电子装置100d可以在操作S2914中执行控制命令。
图30是根据实施例的电子装置100e的结构的框图。
根据本实施例的电子装置100e包括指纹传感器3010、麦克风110、处理器120e和储存器930。根据本实施例，电子装置100e包括指纹传感器3010，并且通过考虑从指纹传感器3010接收的指纹输入以及从麦克风110接收的摩擦声音输入而操作。
指纹传感器3010是用于检测指纹的传感器并获得指纹的图像信息。可以以诸如光学方式、检测电容或电传导的半导体器件方式、超声波方式、热量检测方式、非接触方式或其组合的各种方式获得图像信息。根据实施例，在处理器120e从指纹的图像信息中提取指纹的特性之后，处理器120e将该特性与预先登记的用户的特性信息进行比较，并由此将该特性与特性信息进行匹配，从而识别用户。根据实施例，处理器120e确定指纹的图像信息是否是指纹并且不执行用户识别。
处理器120e确定是否在参考时间范围内接收到从指纹传感器3010接收的指纹输入和从麦克风接收的摩擦声音输入，以及是否存在针对接收到的指纹输入和接收到的摩擦声音输入的摩擦性质的组合预设的控制命令。当在参考时间范围内接收到指纹输入和摩擦声音输入时，并且当存在关于指纹输入和摩擦声音输入的控制命令时，执行控制命令。
图31示出了根据实施例的通过使用指纹输入和摩擦声音输入来控制电子装置100e的方法。
根据本实施例，指纹传感器3010位于电子装置100e的特定位置处，并且用户可以在用户用手指的指尖触摸指纹传感器3010的同时通过用另一手指摩擦手指来生成摩擦声音输入。在用户用手指的指尖触摸指纹传感器3010的同时，指纹传感器3010获得指纹的图像信息。而且，包括在电子装置100e中的麦克风110接收摩擦声音输入。
根据实施例，处理器120e可以执行与摩擦声音输入的摩擦性质和从指纹输入获得的用户识别信息的组合相对应的操作。例如，处理器120e可以通过使用从指纹输入获得的用户识别信息和预设摩擦性质的组合来执行用户认证。根据本实施例，与仅使用指纹的情况相比，电子装置100e的安全性可以得到改善。
根据另一实施例，处理器120e可以基于从指纹输入获得的用户识别信息来执行用户认证，并且可以基于摩擦声音输入的摩擦性质来确定要执行哪个控制命令。例如，在用手指的指尖触摸指纹传感器3010的同时，预先登记的用户可以通过使用第一摩擦声音输入将电子装置100e的模式从睡眠模式改变为激活模式，并且可以通过使用第二摩擦声音输入来访问电子装置100e的联系人信息。
根据另一实施例，处理器120e可以确定指纹的图像是否是指纹并且确定摩擦声音输入的摩擦性质。当指纹的图像是指纹并且存在与摩擦性质相对应的控制命令时，可以执行控制命令。根据本实施例，与仅考虑摩擦声音输入的情况相比，故障的可能性可以大大降低。
图32是根据实施例的控制电子装置100e的方法的流程图。
根据本实施例，电子装置100e使用摩擦声音输入和指纹输入两者。在操作S3202中，电子装置100e接收摩擦声音输入。在操作S3204中，电子装置100e依据摩擦声音输入来确定摩擦性质。而且，在操作S3206中，电子装置100e接收用户的指纹输入，并且在操作S3208中，电子装置100e确定所接收的指纹输入。确定指纹输入的操作S3208可以是通过使用指纹输入来识别用户的操作或者验证指纹输入是否是指纹的操作。在操作S3210中，当接收并确定摩擦声音输入和指纹输入时，电子装置100e确定是否存在与摩擦声音输入和指纹输入的组合相对应的控制命令。而且，在操作S3212中，电子装置100e确定是否在参考时间范围内接收到摩擦声音输入和指纹输入。执行操作S3210和S3212的顺序可根据实施例而改变。可以首先执行操作S3212，然后可以执行操作S3210。替代地，可以同时执行操作S3210和S3212。
当存在与摩擦声音输入和指纹输入的组合相对应的控制命令并且在参考时间范围内接收到摩擦声音输入和指纹输入时，电子装置100e可以在操作S3214中执行控制命令。
图33至图37示出了作为智能手表的电子装置100使用摩擦声音输入的示例。
图33示出了根据实施例的开启和关闭作为智能手表的电子装置100的控制命令。
根据本实施例，智能手表可以通过使用摩擦声音输入来开启或关闭，摩擦声音输入包括当用户将拇指按压到中指并且向下移动中指以使中指与手掌对接时生成的摩擦声音。在本实施例中，如上所述，运动输入或肌电图输入可以与摩擦声音输入一起使用。
图34示出了根据实施例的在手指接触作为智能手表的电子装置100的同时生成摩擦声音输入的手势。
根据本实施例，在用手指触摸智能手表的同时，用户可以生成具有预设摩擦性质的摩擦声音输入并控制电子装置100。例如，通过使用具有预设的摩擦性质的摩擦声音输入时，用户可将电子装置100的模式从智能手表的屏幕关闭或显示待机屏幕的睡眠模式转换为显示菜单或显示在智能手表上执行的功能的屏幕的唤醒模式。而且，用户可以通过使用具有预设摩擦性质的摩擦声音输入移动到智能手表的主屏幕。此外，用户可以通过使用具有预设摩擦性质的摩擦声音输入来调整智能手表的显示器的亮度。用户可以通过使用具有预设摩擦性质的摩擦声音输入来调整智能手表的声音输出的音量。用户可以通过使用具有预设摩擦性质的摩擦声音输入来调整触觉灵敏度。此外，用户可以通过使用具有预设摩擦性质的摩擦声音输入来执行屏幕滚动、屏幕切换、选择菜单或对象、移动对象、放大和缩小。用户可以通过使用具有预设摩擦性质的摩擦声音输入调整屏幕滚动速度并滑动屏幕来查看内容。用户可以通过使用具有预设摩擦性质的摩擦声音输入来选择应用、改变应用、将屏幕改变为时钟屏幕以及显示最近执行的应用。用户可以通过使用具有预设摩擦性质的摩擦声音输入来进入诸如语音识别模式或捕获模式的特定模式。用户可以通过使用具有预设摩擦性质的摩擦声音输入来调整时钟的时间。用户可以通过使用具有预设摩擦性质的摩擦声音输入来选择、打开或关闭或者止闹闹钟，或者可以设置、停止或终止计时器。用户可以通过使用具有预设摩擦性质的摩擦声音输入来读取接收的消息，打开包含在消息中的内容，或者应答消息。用户可以通过使用具有预设摩擦性质的摩擦声音输入来阅读电子邮件。用户可以通过使用具有预设摩擦性质的摩擦声音输入来应答或阻止呼叫、调整呼叫音量或拨打电话。用户可以通过使用具有预设摩擦性质的摩擦声音输入来向来自智能手表的通知输入响应，例如检查或延迟通知。用户可以通过使用具有预设摩擦性质的摩擦声音输入来控制智能手表的运动相关功能。用户可以通过使用具有预设摩擦性质的摩擦声音输入来滚动、旋转、放大或缩小地图，或者可以获得关于特定位置的信息。用户可以通过使用具有预设摩擦性质的摩擦声音输入来输入诸如播放音乐、停止音乐、播放下一首歌曲、播放前一首歌曲以及调整音量的命令。用户可以通过使用具有预设摩擦性质的摩擦声音输入来浏览、放大、缩小、旋转和发送智能手表上的图片。用户可以使用具有预设摩擦性质的摩擦声音输入作为关于特定功能的快捷键。用户可以通过使用具有预设摩擦性质的摩擦声音输入来调整智能手表上的文本大小。除了以上示例之外，通过使用摩擦声音输入的各种电子装置的控制可以被包括在本公开的范围内。即使当用户没有穿戴智能手表时，根据实施例的摩擦声音输入也可以被输入到电子装置100。
图35示出了根据实施例的在手指放置在作为智能手表的电子装置100周围的同时生成摩擦声音输入的手势。
根据本实施例，用户可以通过将手指放在智能手表周围并做出生成摩擦声音输入的手势来输入摩擦声音输入到智能手表。根据实施例，用户可以在用另一只手的手指接触穿戴着智能手表的手或手臂的同时做出生成摩擦声音输入的手势。用户可以将与参考图34所描述的上述操作相对应的摩擦声音输入输入到智能手表，而不用手触摸智能手表，如图31所示。
图36示出了根据实施例的在手指放置在作为智能手表的电子装置100周围的同时生成摩擦声音输入的手势。
根据实施例，用户可以通过用另一只手的手指摩擦穿戴有作为智能手表的电子装置100的手背来生成摩擦声音输入。例如，电子装置100可以执行控制命令，例如，根据用手指摩擦手背的摩擦声音输入来翻转页面的控制命令，或者根据用手指轻击手背的摩擦声音输入将电子装置100的睡眠模式改变为其激活模式的控制命令。
图37示出了根据实施例的在手指放置在作为智能手表的电子装置100周围的同时生成摩擦声音输入的手势。
根据实施例，电子装置100包括投影仪并通过使用该投影仪将GUI图像投影到身体部位上。基于投影到身体部位上的GUI图像，用户可以生成摩擦声音输入。
根据实施例，用户可以通过预设输入控制GUI图像从包括在电子装置100中的投影仪投影到手背上。
预设输入可以被定义为各种输入之一，诸如使用电子装置100的触摸屏的触摸输入、使用触摸传感器的触摸输入、按钮按压输入、通过移动电子装置100的手势输入和摩擦声音输入。当GUI图像从投影仪投影到手背时，摩擦声音输入是通过以特定方式轻击手背、在特定方向上摩擦手背等而生成的。例如，在如图33所示的GUI图像被投影到手背上的状态中，用户可以通过向上摩擦手背的摩擦声音输入向上滚动显示在电子装置100的显示器上的图像，或者可以通过向下摩擦手背的摩擦声音输入向下滚动图像。在从投影仪投影的GUI图像上，可以显示能够输入诸如滚动图标、拨号图标、推动图标等的各种控制命令的对象。
图38示出了根据实施例的通过使用摩擦声音输入来控制电子装置100的手势。
根据本实施例，当电子装置100位于用户的口袋、包等中时，用户可以通过使用摩擦声音输入来控制电子装置100。例如，用户可以使用第一类型的摩擦声音输入来降低正在播放的音乐的音量，并且可以使用第二类型的摩擦声音输入来增加正在播放的音乐的音量。根据实施例，电子装置100可以使用照度传感器和接近传感器来检测电子装置100在口袋、包等中的状态。当电子装置100处于口袋、包等中时，改善噪声移除性能，以改善检测摩擦声音输入的性能。为了改善噪声移除性能，预先存储在电子装置100处于口袋、包等中时检测到的噪声的信号特性，并且当电子装置100处于口袋、包等中时，可以基于所存储的信号特性来改善噪声移除性能。根据本实施例，用户可以在不看电子装置100的情况下容易地控制电子装置100。例如，根据本实施例，当将电子装置100放置在口袋、包等中时，用户可以通过用手生成摩擦声音输入来容易地控制电子装置100。因此，根据本实施例，用户便利性可以大大增加。
图39示出了根据实施例的控制作为虚拟现实(VR)设备的电子装置的手势。
由于VR设备的结构，VR设备对于诸如触摸屏或键盘的输入设备具有有限的空间。根据本实施例，当作为VR设备的电子装置100使用摩擦声音输入时，输入设备可以被实现为小型麦克风，并且因此，输入设备可以被包括在VR设备中，而没有空间限制。
而且，当用户穿戴VR设备并通过使用触摸板等做出生成触摸输入的手势时，从外部容易地看到该手势。因此，当用户在VR设备的触摸板上做出手势时，VR设备的安全性被削弱。其他人难以准确地识别通过使用手指等生成特定摩擦性质的手势。因此，根据本实施例，由于作为VR设备的电子装置100使用摩擦声音输入，因此可以改善电子装置100的安全性。
而且，当用户想要通过使用触摸板做出生成触摸输入的手势时，用户需要通过将手移动到触摸板并准确地触摸触摸板来做出手势。然而，当用户穿戴VR设备时，用户难以在VR设备外部找到触摸板的位置，可能导致用户不便。根据本实施例，用户可以做出在触摸VR设备的任意位置的同时生成摩擦声音输入的手势或者在麦克风所在的位置附近(例如，在2cm半径内)生成摩擦声音输入的手势，因此与用户使用触摸板的情况相比，用户可以容易地生成输入。
图40示出了根据实施例的控制作为智能眼镜的电子装置100的手势。
根据实施例，作为智能眼镜的电子装置100可以使用摩擦声音输入。例如，用户可以做出通过触摸智能眼镜来生成摩擦声音输入的手势或者在麦克风所在的位置附近(例如，在2cm半径内)生成摩擦声音输入的手势。根据本实施例，类似于VR设备生成摩擦声音输入的情况，输入设备被包括在智能眼镜中而没有空间限制，可以改善智能眼镜的安全性，并且可以容易地生成输入，而不必用户在触摸板上找到位置。
图41示出了根据实施例的控制作为电源插座的电子装置100的手势。
根据实施例，作为电源插座的电子装置100可以通过使用摩擦声音输入来执行用户认证。例如，当关闭电源插座时并且当用户用手触摸作为电源插座的电子装置100并做出与预设摩擦性质相对应的手势时，电源插座被打开。当在电源插座打开的同时插头装配到电源插座中时，电流可流动。而且，根据实施例，当用户从电源插座移除插头时，电源插座关闭，并且当电源插座关闭时，即使插头装配到电源插座中，电流也不流动。根据本实施例，可以防止当儿童接触电源插座时可能发生的电击。
图42示出了控制作为加热器的电子装置100的手势。
根据实施例，可以通过使用摩擦声音输入在作为加热器的电子装置100上执行用户认证。加热器包括例如电水壶、电加热仪、烤箱、燃气灶、咖啡机等。例如，当与特定摩擦性质相对应的摩擦声音输入被输入到加热器时，加热器可以被打开。根据本实施例，可以防止当儿童操纵加热器时可能发生的事故。
根据实施例，作为加热器的电子装置100可以通过使用摩擦声音输入来控制。例如，通过使用摩擦声音输入，用户可以对加热器执行诸如调整加热器的温度、打开或关闭加热器以及改变加热器的模式的控制。用户难以通过用手触摸加热器来控制加热的加热器，并且根据本实施例，用户将手放在加热器周围而不直接触摸加热器，然后生成摩擦声音输入来控制加热器，从而改善加热器的安全性。
图43示出了根据实施例的控制作为家用电器的电子装置100的手势。
根据本实施例，可以通过使用摩擦声音输入来控制各种家用电器。根据实施例，用户可以通过使用摩擦声音输入对微波炉4310执行控制，例如打开或关闭、调整时间、设置模式等。根据实施例，用户可以通过使用摩擦声音输入对空调4320执行控制，例如打开或关闭、调整温度、调整风向、设置计时器等。根据实施例，用户可以通过使用摩擦声音输入对灯泡4330执行控制，例如打开或关闭、调整亮度等。
根据实施例，用户可以通过使用摩擦声音输入对膝上型计算机4340执行控制，例如打开或关闭、模式转换等。仅当具有预设摩擦性质的摩擦声音输入被输入到根据实施例的膝上型计算机4340和机顶盒时，膝上型计算机4340的模式被改变为可接入成人内容的成人模式，因此，可阻止未成年人访问成人内容。
根据实施例，用户可以通过使用摩擦声音输入对扬声器4350执行控制，例如打开或关闭、调整音量等。
根据实施例，用户可以通过使用摩擦声音输入来执行诸如电子门锁4360的锁定/解锁的控制。根据实施例，麦克风位于电子门锁4360的特定位置处，但麦克风的位置在电子门锁4360外部未被识别。因此，只有知道电子门锁4360的位置的用户能够锁定或解锁电子门锁4360，从而增强电子门锁4360的安全性。
根据本实施例，通过使用在用户正在触摸家用电器的同时生成摩擦声音输入的简单手势，可以容易地控制家用电器，并且因此用户便利性增加。
图44示出了根据实施例的控制作为智能纺织品的电子装置100的手势。
根据本实施例，作为智能纺织品的电子装置100包括麦克风，并且用户可以通过使用摩擦声音输入来控制作为智能纺织品的电子装置100。例如，麦克风被布置在智能纺织品的特定区域4410a、4410b、4410c和4410d中，并且用户通过用手指触摸区域4410a到4410d或者将手指放在区域4410a至4410d周围来生成摩擦声音输入，使得用户可以控制智能纺织品。
根据实施例，麦克风分别布置在区域4410a到4410d中，并且智能纺织品可以执行不同的控制命令，区域4410a到4410d中的一个根据该控制命令接收摩擦输入。例如，当在第一区域4410a中接收到摩擦声音输入时，可以对智能纺织品执行测量心率的控制命令，并且当在第二区域4410b中接收到摩擦声音输入时，可以对智能纺织品执行测量体温的控制命令。
根据实施例的智能纺织品可以接收来自用户的摩擦声音输入并且将接收到的摩擦声音输入发送到另一电子装置(100-1，例如，智能电话、智能手表、智能眼镜、平板PC等)。根据本实施例，用户可以通过使用智能纺织品容易地控制在口袋或包中的电子装置100-1。而且，根据本实施例，用户可以使用智能纺织品来容易地控制具有分配给输入设备的相对较小区域的电子装置100-1，例如智能手表或智能眼镜。
图45示出了根据实施例的通过使用作为可穿戴设备的电子装置100来控制健身器4510的手势。
根据实施例，用户可以向作为可穿戴设备的电子装置100发送摩擦声音输入并且控制健身器4510。例如，当穿戴作为智能手表的电子装置100时，用户可以生成摩擦声音输入并且执行诸如打开或关闭、调整速度、调整跑步机的梯度等的控制。根据本实施例，作为可穿戴设备的电子装置100可以包括与健身器4510通信的通信设备，并且可以以有线或无线方式与健身器4510通信。
根据实施例，健身器4510包括麦克风，并且用户可以通过使用摩擦声音输入来控制健身器4510。健身器4510可以确定经由麦克风输入的摩擦声音输入的摩擦性质，将确定的摩擦性质与先前存储的摩擦性质进行比较，并且执行分配给相应的摩擦性质的控制命令。
图46示出了根据实施例的通过使用摩擦声音输入来控制作为秤的电子装置100的手势。
根据本实施例，用户可以用脚生成摩擦声音输入并控制作为秤的电子装置100。例如，在踩上秤的同时，用户可以通过用另一只脚摩擦脚的顶部来生成摩擦声音输入并控制秤。根据实施例，作为秤的电子装置100可以执行控制命令，例如，打开或关闭秤、显示体重变化、测量体脂、用户设置等。
图47示出了根据实施例的通过使用摩擦声音输入来控制作为智能戒指的电子装置100的手势。
根据本实施例，在穿戴智能戒指的同时，用户可以通过摩擦或旋转智能戒指来生成摩擦声音输入，从而可以控制智能戒指。根据实施例，用户可以通过摩擦穿戴智能戒指的手指、穿戴智能戒指的手掌、穿戴智能戒指的手指周围的手指等来生成摩擦声音输入，从而控制智能戒指。
根据实施例的智能戒指可以接收来自用户的摩擦声音输入并且将摩擦声音输入发送到另一电子装置(100-1，例如，智能电话、智能手表、智能眼镜、平板PC等)。根据本实施例，用户可以通过使用智能戒指容易地控制在口袋或包中的电子装置100-1。而且，根据本实施例，用户可以通过使用具有分配给输入设备的相对较小区域的智能戒指，例如智能手表或智能眼镜，来容易地控制电子装置100-1。
图48示出了根据实施例的通过使用摩擦声音输入来控制作为耳机的电子装置100的手势。
根据本实施例，通过使用摩擦声音输入，用户可以控制实现为入耳式耳机4810、耳上式耳机4820等的电子装置。由于空间的限制，难以将输入设备放置在图48所示的耳机中。而且，在无线耳机的情况下，无线耳机太小而不能包括输入设备。根据本实施例，用户通过用手指摩擦耳廓、耳垂或耳朵周围的皮肤来生成摩擦声音输入，并且通过使用相应的摩擦声音输入来控制作为耳机的电子装置。根据实施例，通过使用摩擦声音输入，用户可以控制打开或关闭耳机、调整音量、打开或关闭无线通信功能、接听耳机的来电等。根据本实施例，用户可以容易地控制小型耳机。
图49示出了根据实施例的通过使用摩擦声音输入来控制作为耳机的电子装置100的手势。
根据本实施例，用户通过用手触摸包括麦克风的耳机的操纵设备4910或者将手放在操纵设备4910周围来生成摩擦声音输入，从而控制耳机。根据实施例，通过使用摩擦声音输入，用户可以执行控制，例如，打开或关闭耳机、调整耳机的音量、打开或关闭无线通信功能、接听来电等。根据本实施例，由于用户可以在不按压操作设备4910上的按钮的情况下操纵耳机，所以用户不必费力诸如查看操作设备4910来检查其按钮或找到按钮。
图50示出了根据实施例的通过使用摩擦声音输入来控制作为医疗设备的电子装置100的手势。
根据本实施例，当穿戴作为医疗设备的电子装置100时，用户通过摩擦放置电子装置100的部位周围的皮肤组织来生成摩擦声音输入，从而控制电子装置。例如，当在手指上穿戴光电血管容积图(photoplethysmogram，PPG)时，用户可以通过摩擦手指来生成摩擦声音输入，从而可以控制PPG。根据实施例，用户可以通过使用摩擦声音输入来控制PPG打开或关闭。
图51示出了根据实施例的通过使用摩擦声音输入来控制作为体内芯片的电子装置100的手势。
根据本实施例，通过使用摩擦声音输入，用户可以控制作为植入用户身体中的体内芯片的电子装置100。例如，当在用户用手指触摸植入体内芯片的皮肤组织的同时生成摩擦声音输入时，可以控制体内芯片。关于体内芯片的摩擦声音输入可以被定义为，例如，垂直或水平摩擦植入体内芯片的位置处的皮肤的手势、轻击该皮肤的手势等。根据实施例，作为体内芯片的电子装置100可以执行诸如打开或关闭命令、模式转换命令、数据接收/发送命令以及测量特定生物测量信号的命令等的控制命令。根据本实施例，各种命令可以被输入到电子装置100，该电子装置100是难以在其中实现输入设备的体内芯片。
图52示出了根据实施例的控制作为外部存储设备的电子装置100的手势。
根据本实施例，通过使用摩擦声音输入，用户可以控制作为外部存储设备的电子装置100。例如，通过使用摩擦声音输入，用户可以通过执行用户认证来访问外部存储设备。根据本实施例，即使当连接到外部存储设备的主电子装置(例如，膝上型计算机等)上发生安全性问题时，也可以维持外部存储装置的安全性。
根据实施例，电子装置100可以是诸如笔、键盘、鼠标、触摸板或跟踪球的输入设备类型，可以接收摩擦声音输入，并且可以执行控制命令。笔可以包括例如手写笔、光笔等。键盘可以包括各种类型的键盘，诸如机械键盘、触摸屏键盘和触摸传感器键盘。鼠标包括机械鼠标或触摸鼠标。触摸板包括鼠标光标可以在其上移动的内部或外部触摸板。
根据实施例，用户可以使用在拿着笔的同时用食指摩擦拇指的摩擦声音输入，并且可以向电子装置100发送控制命令，诸如取消笔输入的内容的撤消输入，或反转之前输入的重写输入。根据实施例，用户可以使用摩擦声音输入作为激活笔的认证控制命令，该摩擦声音输入由笔的部分或身体部位被摩擦的次数定义。
根据实施例，用户可以通过在将手指放在键盘上的同时摩擦手指或手背来执行键盘的特殊功能。特殊功能包括例如键盘激活、功能键操作、语言转换、快捷键操作等。
根据实施例，可以定义和使用在身体部位与鼠标、触摸板、跟踪球等接触时执行的各种摩擦声音输入。
图53是根据实施例的电子装置100f的结构的框图。图53的结构可以被应用于根据一个或多个实施例的电子装置100、100a、100b、100c、100d和100e。
根据本实施例的电子装置100f可以以各种形式中的任一种来实现，诸如可穿戴设备，例如移动电话、平板PC、PDA、MP3播放器、一体机、数字相框、导航设备、数字TV、腕表、头戴式显示器(Head-Mounted Display，HMD)等。
参考图53，电子装置100f可以包括显示器5310、用户输入设备5315、存储器5320、全球定位系统(Global Positioning System，GPS)芯片5325、通信设备5330、麦克风5350、成像设备5355、扬声器5360、控制器5370和传感器设备5380。
显示器5310可以包括显示面板5311和用于控制显示面板5311的控制器(未示出)。显示面板5311可以以各种形式中的任一种来实现，诸如液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-emitting diode，OLED)显示器、有源矩阵有机发光二极管(Active-Matrix Organic Light-emitting Diode，AM-OLED)显示器和等离子显示面板(Plasma Display Panel，PDP)。显示面板5311可以是柔性的、透明的或可穿戴的。显示器5310可以与用户输入设备5345的触摸板5347组合，并且因此可以被提供作为触摸屏(未示出)。例如，触摸屏(未示出)可以包括其中显示面板5311和触摸面板5347形成堆叠结构的整体型模块。
存储器5320可以包括内部存储器(未示出)和外部存储器(未示出)中的至少一个。
内部存储器可以包括例如易失性存储器(例如，动态随机存取存储器(DynamicRandom Access Memory，DRAM)、静态RAM(Static RAM，SRAM)、同步动态RAM(SynchronousDynamic RAM，SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(One TimeProgrammable Read Only Memory，OTPROM)、可编程ROM(Programmable ROM，PROM)、可擦除可编程ROM(Erasable and Programmable ROM，EPROM)、电可擦除可编程ROM(ElectricallyErasable and Programmable ROM，EEPROM)、掩模ROM、闪存ROM等)、硬盘驱动器(hard diskdrive，HDD)和固态硬盘(solid state drive，SSD)中的至少一个。根据实施例，控制器5370可以在易失性存储器上加载从非易失性存储器和其他组件中的至少一个接收的命令或数据，并且可以处理该命令或数据。而且，控制器5370可以将从其他组件接收的或生成的数据存储在非易失性存储器中。
外部存储器可以包括例如紧凑闪存(Compact Flash，CF)、安全数字(SecureDigital，SD)、微安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(extremeDigital，xD)和记忆棒中的至少一个。
存储器5320可以存储用于电子装置100f的操作的各种程序和数据。例如，存储器5320可以临时或半永久地存储要在锁定屏幕上显示的至少一些内容片段。
控制器5370可以控制显示器5310在其上显示存储在存储器5320中的至少一些内容片段。换句话说，控制器5370可以在显示器5310上显示存储在存储器5320中的部分内容。替代地，当在显示器5310的一部分上做出用户手势时，控制器5370可以执行与用户手势相对应的控制操作。
控制器5370可以包括RAM 5371、ROM 5372、中央处理单元(central processingunit，CPU)5373、图形处理单元(graphics processing unit，GPU)5374和总线5375中的至少一个。RAM 5371、ROM 5372、CPU 5373、GPU 5374等可以经由总线5375彼此连接。
CPU 5373访问存储器5320并通过使用存储在存储器5320中的操作系统(operating system，O/S)来执行启动。CPU 5373通过使用存储在存储器5320中的程序、内容、数据等来执行各种操作。而且，CPU 5373可以处理包括在通过通信设备5330接收的内容或存储在存储器5320中的内容中的音频数据。
CPU 5373可以对音频数据执行各种处理，例如解码、放大、噪声滤波等。根据一个或多个实施例，CPU 5373可以处理音频信号。
在ROM 5372中，存储用于系统启动的多组命令等。例如，当开启命令被输入并且电力被施加到电子装置100f时，CPU 5373可以根据存储在ROM5372中的命令将存储在存储器5320中的O/S复制到RAM 5371并可以执行O/S，从而启动系统。当启动完成时，CPU 5373可以将存储在存储器5320中的程序复制到RAM 5371，并执行应对到RAM 5371的程序，从而执行各种操作。
当完成电子装置100f的启动时，GPU 5374可以在显示器5310的区域上显示UI屏幕。具体地，GPU 5374可以生成显示包括诸如内容、图标和菜单的各种对象的电子文件的屏幕。GPU 5374根据屏幕布局计算属性值，诸如显示每个对象的坐标的值，每个对象的形状、大小和颜色。基于所计算的属性值，GPU 5374可以生成具有包括对象的各种布局的屏幕。由GPU 5374生成的屏幕被提供给显示器5310并且可以显示在显示器5310的相应区域上。
另外，GPU 5374可以处理包括在通过通信设备5330接收的内容或存储在存储器5320中的内容中的视频数据。GPU 5374可以对视频数据执行各种图像处理，例如解码、缩放、噪声滤波、帧率转换、分辨率变化等等。
GPS芯片5325可以从GPS卫星接收GPS信号并且可以计算电子装置100f的当前位置。当使用导航程序或需要用户的当前位置时，控制器5370可使用GPS芯片5325来计算用户的位置。
通信设备5330可以根据不同的通信方法与各种类型的外部设备进行通信。通信设备5330可以包括Wi-Fi芯片5331、蓝牙芯片5332、无线通信芯片5333和近场通信(NearField Communication，NFC)芯片5334中的至少一个。控制器5370可以通过使用通信设备5330与各种外部设备进行通信。
Wi-Fi芯片5331和蓝牙芯片5332可以分别以Wi-Fi方式和蓝牙方式执行通信。当使用Wi-Fi芯片5331或蓝牙芯片5332时，首先接收/发送诸如服务集标识符(service setidentifier，SSID)或会话密钥的连接信息，然后基于连接信息执行通信连接以接收/发送各条信息。
无线通信芯片5333表示用于根据诸如IEEE、ZigBee、第三代(3G)、第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)和长期演进(Long Term Evolution，LTE)的通信协议执行通信的芯片。NFC芯片5334表示使用从诸如135kHz、13.56MHz、433MHz、860MHz至960MHz以及2.45GHz的各种RF-ID频带当中选择的13.56MHz的频带以NFC方式操作的芯片。
扬声器5360可以输出在CPU 5373上生成的音频数据。
用户输入设备5315可以从用户接收各种命令。用户输入设备5315可以包括按键5316、触摸板5317和笔识别面板5318中的至少一个。
按键5316可以包括诸如机械按钮和拨轮的不同类型的按键，其形成在电子装置100f的主体的外部的区域上，例如前部、侧部、后部等。
触摸面板5317可以检测用户的触摸输入并且可以输出与检测到的触摸信号相对应的触摸事件值。当触摸面板5317和显示面板5311彼此组合并形成触摸屏(未示出)时，触摸屏可以体现为静电触摸传感器、电阻式触摸传感器、压电触摸传感器等。在静电触摸传感器中，当用户的身体部位与触摸屏表面接触时，使用触摸屏表面上的涂覆的电介质物质来检测由身体部位生成的微电流，并且因此计算触摸坐标。电阻式触摸传感器包括嵌入在触摸屏中的两个电极板，并且当用户触摸屏幕时，电阻式触摸传感器检测由于用户触摸的顶板和底板的部分相互接触而流动的电流，并且因此计算触摸坐标。在触摸屏上生成的触摸事件通常可以由用户的手指生成，但也可以由能够引起触摸屏中的电容变化的导电材料生成。
当用户使用触摸笔(例如，手写笔、数字化笔等)时，笔识别面板5318可以检测笔的接近输入或触摸输入，并且可以输出检测到的笔接近事件或检测到的笔触摸事件。笔识别面板5318可以通过例如电磁共振(Electro Magnetic Resonance，EMR)来实现，并且可以根据由于笔的接近或触摸而引起的电磁场中的强度变化来检测触摸或接近输入。详细地说，笔识别面板5318可以包括具有栅格结构的磁感应线圈传感器(未示出)和电子信号处理器(未示出)，其顺序地向磁感应线圈传感器的相应环形线圈提供具有一定的频率的交流(alternating current，AC)信号。当包括谐振电路的笔存在于笔识别面板5318的环形线圈附近时，从环形线圈发送的磁场基于笔中的谐振电路的相互电磁感应而生成电流。基于该电流，从形成笔的谐振电路的线圈生成感应磁场，并且笔识别面板5318检测来自处于信号接收状态的环形线圈的感应磁场，由此检测笔的接近位置或触摸位置。笔识别面板5318可以在显示面板5311的底部具有特定区域，例如可以覆盖显示面板5311的显示区域的区域。
麦克风5350可以接收用户的语音或吉他的声音并且可以将接收到的用户的语音或声音转换为音频数据。控制器5370可以在呼叫操作期间使用经由麦克风5350接收的用户的语音，或者可以将用户的语音转换为音频数据并且将音频数据存储在存储器5320中。
成像设备5355可以根据用户的控制来捕获静止图像或运动图像。可能有多个成像设备5355，诸如前置摄像头和后置摄像头。
当包括成像设备5355和麦克风5350时，控制器5370可以根据经由麦克风5350接收的用户的语音或由成像装置5355识别的用户的运动来执行控制操作。例如，电子装置100f可以在运动控制模式或语音控制模式下操作。当电子装置100f以运动控制模式操作时，控制器5370可以激活成像设备5355以捕获用户的图像，追踪用户运动的变化，以及执行相应的控制操作。当电子装置100f以语音控制模式操作时，控制器5370可以分析经由麦克风5350输入的用户的语音，并且可以以根据分析的用户语音执行控制操作的语音识别模式操作。
根据实施例，控制器5370可以使用由成像设备5355检测到的图像信号和从麦克风5350接收的摩擦声音输入，并且可以控制电子装置100f。例如，控制器5370可以使用从成像设备5355检测到的图像信号中识别的用户运动和从麦克风5350接收的摩擦声音输入的组合来检索相应的控制命令，并且可以执行该控制命令。
传感器设备5380可以包括传感器的各种组合，并且可以包括以下各项中的至少一个：磁传感器5381、陀螺仪传感器5382、加速度传感器5383、肌电图传感器5384、指纹传感器5385、心率传感器5386、照度传感器5387或其组合。
尽管在图53中未示出，但是根据实施例，电子装置100f还可以包括USB连接器可以连接到的通用串行总线(universal serial bus，USB)端口、外部终端(诸如耳机，鼠标和局域网(Local Area Network，LAN))连接到的各种外部输入端口、用于接收和处理DMB信号的数字多媒体广播(Digital Multimedia Broadcasting，DMB)芯片、各种传感器等。
电子装置100f的上述组件的名称可以改变。而且，根据本实施例的电子装置100f可以包括上述组件中的至少一个。上述组件中的一些可以不包括在电子装置100f中，或者可以在其中进一步包括附加组件。
处理器120a至120e可对应于控制器5370。麦克风110可对应于图53的麦克风5350。ADC 910可以对应于CPU 5373。输出设备920可以对应于显示器5310和扬声器5360。储存器930可以对应于存储器5320。运动传感器2310可以对应于陀螺仪传感器5382或者加速度传感器5383。肌电图传感器2710或指纹传感器3010可对应于传感器设备5380。
一个或多个实施例可以被实现为包括可由计算机执行的命令(诸如程序模块)的记录介质。非暂时性计算机可读记录介质可以是可由计算机访问的任意介质，并且可以包括易失性和非易失性介质以及可移除和不可移除介质。此外，非暂时性计算机可读记录介质可以包括计算机存储介质和通信介质。计算机存储介质包括通过用于存储计算机可读命令、数据结构、程序模块或诸如其他数据的信息的任意方法或技术实现的易失性和非易失性介质以及可移除和不可移除介质。通信介质通常包括计算机可读命令、数据结构、程序模块、包括诸如载波的调制数据信号的其他数据或其他传输机制，并且包括任意信息传输介质。
一个或多个实施例仅仅是示例，并且本公开所属领域的普通技术人员可以理解，本公开可以以许多不同的形式来体现而不改变本公开的精神或基本特征。因此，一个或多个实施例在所有方面都是说明性的而非限制性的。例如，被描述为单个组件的组件可以是分布式的，并且被描述为分布式组件的组件可以被组合。
尽管已经参考本公开的实施例具体示出和描述了本公开，但本领域普通技术人员将会理解，可以在其中进行形式和细节上的各种改变，而不脱离由所附权利要求限定的本公开的精神和范围。

Claims (15)

1.一种电子装置，包括：
麦克风，被配置为接收音频信号；以及
处理器，被配置为从所述音频信号中检测摩擦声音，通过分析检测到的摩擦声音的特性来确定摩擦性质，并执行与所述摩擦性质相对应的控制命令。
2.根据权利要求1所述的电子装置，其中，所述处理器还被配置为基于所述音频信号的振幅变化来检测所述摩擦声音。
3.根据权利要求1所述的电子装置，还包括存储器，存储根据摩擦性质的控制命令的控制列表，
其中，所述处理器还被配置为从所述控制列表中选择与所述摩擦性质相对应的控制命令。
4.根据权利要求1所述的电子装置，其中，所述处理器还被配置为基于所述摩擦声音的频率分布来确定所述摩擦性质。
5.根据权利要求1所述的电子装置，其中，当所述电子装置接触身体部位时生成所述摩擦声音。
6.根据权利要求1所述的电子装置，还包括被配置为检测运动的运动传感器，
其中，所述处理器还被配置为：基于所述运动传感器的检测值来检测所述电子装置的运动，并且执行与检测到的运动和所述摩擦声音的组合相对应的操作。
7.根据权利要求1所述的电子装置，其中，所述处理器还被配置为基于在大约20Hz至大约20KHz的频率范围内的数据来确定所述摩擦性质。
8.根据权利要求1所述的电子装置，其中，所述处理器还被配置为通过使用所述摩擦声音来执行用户认证。
9.根据权利要求1所述的电子装置，还包括被配置为检测肌肉运动的肌电图传感器，
其中，所述处理器还被配置为：基于所述肌电图传感器的检测值来确定所述肌肉运动，并且执行与所确定的肌肉运动和所述摩擦声音的组合相对应的控制命令。
10.根据权利要求1所述的电子装置，还包括被配置为检测指纹的指纹传感器，
其中，所述处理器还被配置为执行与检测到的指纹和所述摩擦声音的组合相对应的控制命令。
11.一种控制电子装置的方法，所述方法包括：
接收音频信号；
从所述音频信号中检测摩擦声音；
通过分析检测到的摩擦声音的特性来确定摩擦性质；以及
执行与所述摩擦性质相对应的控制命令。
12.根据权利要求11所述的方法，其中，所述摩擦声音的检测包括基于所述音频信号的振幅变化来检测所述摩擦声音。
13.根据权利要求11所述的方法，还包括从根据摩擦性质的控制命令的控制列表中选择与所确定的摩擦性质相对应的控制命令。
14.根据权利要求11所述的方法，其中，所述摩擦性质的确定包括基于所述摩擦声音的频率分布来确定所述摩擦性质。
15.一种其上记录有程序代码的非暂时性计算机可读记录介质，所述程序代码在由计算机执行时执行控制电子装置的方法，所述方法包括：
接收音频信号；
从所述音频信号中检测摩擦声音；
通过分析检测到的摩擦声音的特性来确定摩擦性质；以及
执行与所述摩擦性质相对应的控制命令。
CN201680077549.8A 2015-12-01 2016-11-07 使用摩擦声音的方法和装置 Active CN108475112B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150170082A KR102437106B1 (ko) 2015-12-01 2015-12-01 마찰음을 이용하는 장치 및 방법
KR10-2015-0170082 2015-12-01
PCT/KR2016/012735 WO2017095033A1 (ko) 2015-12-01 2016-11-07 마찰음을 이용하는 장치 및 방법

Publications (2)

Publication Number Publication Date
CN108475112A true CN108475112A (zh) 2018-08-31
CN108475112B CN108475112B (zh) 2021-07-20

Family

ID=58797057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680077549.8A Active CN108475112B (zh) 2015-12-01 2016-11-07 使用摩擦声音的方法和装置

Country Status (5)

Country Link
US (1) US10684675B2 (zh)
EP (1) EP3361351B1 (zh)
KR (1) KR102437106B1 (zh)
CN (1) CN108475112B (zh)
WO (1) WO2017095033A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050812A (zh) * 2021-03-30 2021-06-29 联想(北京)有限公司 一种控制方法、电子笔及电子设备
CN113874872A (zh) * 2019-05-30 2021-12-31 高通股份有限公司 无源声音指纹传感器

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893415B2 (en) * 2016-11-29 2021-01-12 P&P Ultra G Ltd. Preventing unauthorized use of devices
US10444908B2 (en) * 2016-12-31 2019-10-15 Innoventions, Inc. Virtual touchpads for wearable and portable devices
JP6416995B1 (ja) * 2017-07-12 2018-10-31 レノボ・シンガポール・プライベート・リミテッド 携帯型情報処理装置、携帯型情報処理装置のコマンド入力方法、及びコンピュータが実行可能なプログラム
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统
DE102018204070A1 (de) * 2018-03-16 2019-09-19 Carl Zeiss Ag Am Kopf tragbares visuelles Ausgabegerät
CN108519871B (zh) 2018-03-30 2020-07-21 Oppo广东移动通信有限公司 音频信号处理方法及相关产品
CN112789578A (zh) 2018-09-28 2021-05-11 美国斯耐普公司 用于可穿戴或移动设备上的姿势、穿戴、活动或携带检测的神经网络系统
CN112420031A (zh) * 2019-08-23 2021-02-26 华为技术有限公司 设备控制方法及装置
TWI719791B (zh) * 2019-12-31 2021-02-21 緯創資通股份有限公司 觸控靈敏度的調整方法及使用此方法的行動裝置
JP7457438B2 (ja) * 2020-02-19 2024-03-28 Fcnt合同会社 生体情報取得装置
KR102436970B1 (ko) 2021-02-16 2022-08-26 서울과학기술대학교 산학협력단 사운드 기계학습에 기반한 제스처 검출 장치 및 방법
US20220308655A1 (en) * 2021-03-25 2022-09-29 City University Of Hong Kong Human-interface-device (hid) and a method for controlling an electronic device based on gestures, and a virtual-reality (vr) head-mounted display apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766877A (zh) * 2004-09-10 2006-05-03 索尼株式会社 用户识别方法、用户识别装置、电子设备和电子系统
CN1959629A (zh) * 2005-11-03 2007-05-09 国际商业机器公司 用于用声音控制计算机用户界面的方法和装置
CN103105945A (zh) * 2012-12-17 2013-05-15 中国科学院计算技术研究所 一种支持多点触摸手势的人机交互戒指
US20150277743A1 (en) * 2014-03-26 2015-10-01 David Isherwood Handling-noise based gesture control for electronic devices

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69936476T2 (de) * 1998-03-18 2007-11-08 Nippon Telegraph And Telephone Corp. Tragbares Kommunikationsgerät zur Eingabe von Befehlen durch Detektion der Fingeraufschläge oder Vibrationen der Fingerspitzen
JP2001318691A (ja) 2000-05-09 2001-11-16 Fuji Xerox Co Ltd 個人識別装置
JP2006107452A (ja) 2004-09-10 2006-04-20 Sony Corp ユーザ特定方法、ユーザ特定装置、電子機器および機器システム
JP2007109027A (ja) 2005-10-14 2007-04-26 Technoimagia Co Ltd 指紋認証機能付きデータ記憶装置
KR100856919B1 (ko) * 2006-12-01 2008-09-05 한국전자통신연구원 제스처 기반 사용자 입력 방법 및 장치
KR100793079B1 (ko) 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
EP2256592A1 (en) * 2009-05-18 2010-12-01 Lg Electronics Inc. Touchless control of an electronic device
US20110096036A1 (en) 2009-10-23 2011-04-28 Mcintosh Jason Method and device for an acoustic sensor switch
US9041562B2 (en) 2011-08-02 2015-05-26 International Business Machines Corporation Controlling a voice site using non-standard haptic commands
JP2013073254A (ja) 2011-09-26 2013-04-22 Fuji Xerox Co Ltd 位置読み取り装置、筆記具、筆跡読み取りシステムおよびプログラム
US20130238326A1 (en) 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
TWI472992B (zh) 2012-10-04 2015-02-11 Aver Information Inc 運用於電子產品的聲學式觸控裝置及其觸控方法
US10185416B2 (en) * 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
KR102127927B1 (ko) * 2013-07-30 2020-07-09 엘지전자 주식회사 이동 단말기, 스마트 워치 및 이동 단말기와 스마트 워치간 보안 인증방법
KR102136836B1 (ko) * 2013-09-09 2020-08-13 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
KR101603830B1 (ko) 2014-02-17 2016-03-15 대전대학교 산학협력단 음성인식을 이용한 2차 보안방법 및 보안 시스템
KR102080747B1 (ko) * 2014-03-28 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101553484B1 (ko) * 2014-09-04 2015-09-16 계명대학교 산학협력단 손동작 인식 장치 및 그 방법
US9342153B2 (en) * 2014-10-14 2016-05-17 Sony Corporation Terminal device and method for controlling operations
US9952676B2 (en) * 2015-06-25 2018-04-24 Intel Corporation Wearable device with gesture recognition mechanism

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766877A (zh) * 2004-09-10 2006-05-03 索尼株式会社 用户识别方法、用户识别装置、电子设备和电子系统
CN1959629A (zh) * 2005-11-03 2007-05-09 国际商业机器公司 用于用声音控制计算机用户界面的方法和装置
CN103105945A (zh) * 2012-12-17 2013-05-15 中国科学院计算技术研究所 一种支持多点触摸手势的人机交互戒指
US20150277743A1 (en) * 2014-03-26 2015-10-01 David Isherwood Handling-noise based gesture control for electronic devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113874872A (zh) * 2019-05-30 2021-12-31 高通股份有限公司 无源声音指纹传感器
CN113050812A (zh) * 2021-03-30 2021-06-29 联想(北京)有限公司 一种控制方法、电子笔及电子设备
CN113050812B (zh) * 2021-03-30 2023-11-21 联想(北京)有限公司 一种控制方法、电子笔及电子设备

Also Published As

Publication number Publication date
KR102437106B1 (ko) 2022-08-26
WO2017095033A1 (ko) 2017-06-08
US20180348853A1 (en) 2018-12-06
CN108475112B (zh) 2021-07-20
EP3361351B1 (en) 2021-01-27
EP3361351A1 (en) 2018-08-15
US10684675B2 (en) 2020-06-16
KR20170064364A (ko) 2017-06-09
EP3361351A4 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
CN108475112A (zh) 使用摩擦声音的方法和装置
US20220083149A1 (en) Computing interface system
KR102393508B1 (ko) 스마트 와치 및 이의 제어방법
US9122456B2 (en) Enhanced detachable sensory-interface device for a wireless personal communication device and method
US20200026352A1 (en) Computer Systems With Finger Devices
CN104049734B (zh) 基于用户接触显示图形用户界面的方法和设备
US9467553B2 (en) Mobile terminal and method of controlling the same
CN107257949A (zh) 触摸处理方法和支持该方法的电子设备
US12063323B2 (en) Mobile communication terminals, their directional input units, and methods thereof
JP2015128320A (ja) モバイルデバイスへのアクセスの制御
WO2013163233A1 (en) Detachable sensory-interface device for a wireless personal communication device and method
WO2020001385A1 (zh) 电子装置及应用程序控制方法
CN110489029A (zh) 一种图标显示方法及终端设备
CN110069178A (zh) 界面控制方法及终端设备
CN105159512B (zh) 改良式环形穿戴式触控显示装置
CN109766680B (zh) 权限控制方法及终端
CN107015743A (zh) 一种悬浮按键控制方法及终端
US20160085311A1 (en) Control unit and method of interacting with a graphical user interface
CN107943406A (zh) 一种触摸屏触控点确定方法及终端
CN109062483A (zh) 一种图像处理方法及终端设备
CN110109606A (zh) 一种解锁方法和移动终端
CN108073278A (zh) 电子设备及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant