CN111095192B - 输入设备、电子设备、包括输入设备和电子设备的系统及其控制方法 - Google Patents

输入设备、电子设备、包括输入设备和电子设备的系统及其控制方法 Download PDF

Info

Publication number
CN111095192B
CN111095192B CN201880056599.7A CN201880056599A CN111095192B CN 111095192 B CN111095192 B CN 111095192B CN 201880056599 A CN201880056599 A CN 201880056599A CN 111095192 B CN111095192 B CN 111095192B
Authority
CN
China
Prior art keywords
feedback
electronic device
user
state
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880056599.7A
Other languages
English (en)
Other versions
CN111095192A (zh
Inventor
宋基贤
徐制焕
尹锡勋
李宗根
林菜映
金民燮
尹贤奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111095192A publication Critical patent/CN111095192A/zh
Application granted granted Critical
Publication of CN111095192B publication Critical patent/CN111095192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种输入设备，包括传感器、麦克风、通信器和处理器，所述处理器被配置为：基于用户的操作将发声意图感测信息发送给电子设备，所述用户的操作是基于通过所述传感器感测到的值来识别的；基于根据发送给所述电子设备的所述发声意图感测信息从所述电子设备接收到的用于启动语音识别的命令和反馈信息，激活所述麦克风并提供根据所述反馈信息的反馈；并且将通过所述麦克风接收到的语音信号发送给所述电子设备。

Description

输入设备、电子设备、包括输入设备和电子设备的系统及其控 制方法
技术领域
与示例实施例一致的装置和方法涉及对电子设备进行控制的输入设备、电子设备、包括输入设备和电子设备的系统及其控制方法。
背景技术
然而，在按下语音识别按钮的同时开始发声的情况下，最初的声音很可能没有被输入。另外，当在发声结束之前从语音识别按钮上移开手时，输入设备不能识别完整的句子，因此存在语音识别中出现错误的问题。
另外，现有技术的遥控器通常被设计成棒状，因此存在用户必须将遥控器指向要控制的电子设备的方向的不便。
发明内容
技术问题
一个或多个示例实施例提供了：输入设备，通过特定的用户操作来启动语音识别并将从用户接收的语音信号发送给电子设备；电子设备；包括输入设备和电子设备的系统及其控制方法。
技术方案
根据示例实施例的一方面，提供了一种输入设备，包括：传感器；麦克风；通信器；以及处理器，所述处理器被配置为：基于用户的操作将发声意图感测信息发送给电子设备，所述用户的操作是基于通过所述传感器感测到的值来识别的；基于根据发送给电子设备的发声意图感测信息从电子设备接收到的用于启动语音识别的命令和反馈信息，激活麦克风并提供根据反馈信息的反馈；并且将通过麦克风接收到的语音信号发送给电子设备。
所述操作可以是悬停操作。在将语音信号发送给电子设备之后，或者在接收到语音信号之后的预定时间内未接收到附加语音信号时，处理器可以停用麦克风。
在麦克风已被停用之后，处理器可以基于从电子设备接收到的指示用于执行语音识别的附加语音信号的必要性的信息，激活麦克风。
处理器可以基于从所述电子设备接收到的指示所述附加语音信号的必要性的信息和对应反馈信息，提供基于所接收到的对应反馈信息的、请求附加发声的反馈。
所述传感器可以包括至少一个光输出部件并包括光强度测量部件。
所述处理器可以控制至少一个光输出部件输出光，并基于通过光强度测量部件测量出的所输出的光的反射量来识别操作。
提供的反馈可以指示下列状态中的至少一个状态：语音识别可用的状态、保持用户的发声的状态、以及语音识别不可用的状态。
反馈信息可以包括与下列状态中的每个状态相对应的不同的反馈信息：语音识别可用的状态、保持用户的发声的状态、以及语音识别不可用的状态。
所述处理器可以提供与每个状态相对应的不同的反馈。
所述反馈信息可以包括下列各项中的至少一项：反馈的类型、根据反馈的类型的模式、以及根据反馈的类型的强度。
根据示例实施例的一方面，提供了一种对输入设备进行控制的方法。所述方法包括：基于用户的操作将发声意图感测信息发送给电子设备，所述用户的操作是基于通过传感器感测到的值来识别的；基于根据发送给所述电子设备的所述发声意图感测信息从所述电子设备接收到的用于启动语音识别的命令和反馈信息，激活麦克风并提供反馈，提供的所述反馈是基于来自所述电子设备的所述反馈信息的；将通过所述麦克风接收到的语音信号发送给所述电子设备。
所述操作可以是用户的悬停操作。所述方法还可以包括：在将语音信号发送给电子设备之后，或者在接收到语音信号之后的预定时间内未接收到附加语音信号时，停用麦克风。
所述方法还可以包括：在麦克风已被停用之后，基于从电子设备接收到的指示用于执行语音识别的附加语音信号的必要性的信息，激活麦克风。
所述方法还可以包括：基于从所述电子设备接收到的指示所述附加语音信号的必要性的信息和对应反馈信息，提供基于从所述电子设备接收到的所述对应反馈信息的、请求附加发声的反馈。
发送发声意图感测信息可以包括：输出光，以及基于所输出的光的反射量来识别操作。
所提供的反馈可以指示下列状态中的至少一个状态：语音识别可用的状态、保持用户的发声的状态、以及语音识别不可用的状态。
所述反馈信息可以包括与下列状态中的每个状态相对应的不同的反馈信息：语音识别可用的状态、保持用户的发声的状态、以及语音识别不可用的状态。
提供反馈可以包括：基于反馈信息，提供与每个状态相对应的不同的反馈。
所述反馈信息可以包括下列各项中的至少一项：反馈的类型、根据反馈的类型的模式、以及根据反馈的类型的强度。
根据示例实施例的一方面，提供了一种包括输入设备和电子设备的系统。所述系统包括：输入设备，被配置为基于用户的操作将发声意图感测信息发送给电子设备，所述用户的操作是基于通过传感器感测到的值来识别的；以及电子设备，被配置为基于从输入设备接收到的发声意图感测信息，将用于启动语音识别的命令和反馈信息发送给输入设备。
输入设备可以基于从电子设备接收到的命令和反馈信息，激活麦克风并根据反馈信息提供反馈，并且将通过麦克风接收的语音信号发送给电子设备。
有益效果
根据上述各种示例实施例，可以仅通过简单的操作来启动输入设备的语音识别，并基于语音信号来控制电子设备。另外，用户可以根据由输入设备提供的反馈模式得知可以进行语音识别的状态，从而提高用户便利性。
附图说明
通过参考在附图中示出的示例实施例，以上和/或其他方面将变得更加清楚明白。应理解这些附图仅描绘了示例实施例，并且因此不应被认为是对本公开的范围的限制，通过使用附图，用附加的特征和细节来对本文中的原理进行描述和说明，附图中：
图1是示出了根据示例实施例的包括输入设备和电子设备的系统的示意图；
图2是示出了根据示例实施例的输入设备的配置的框图；
图3a至图3c是图2的示例输入设备的详细配置的框图以及示出了示例输入设备的示意图；
图4是用于说明根据示例实施例的输入设备和电子设备的相互操作的序列图；
图5a和图5b是用于说明根据示例实施例的悬停操作的序列图；
图6a和图6b是用于说明根据示例实施例的划动操作的序列图；
图7a和图7b是用于说明根据示例实施例的触摸操作的序列图；
图8是用于说明根据示例实施例的抓握操作的序列图；
图9a至图9c是示出了根据示例实施例的由反馈提供单元提供的反馈的示意图；以及
图10是示出了根据示例实施例的用于对输入设备进行控制的方法的流程图。
具体实施方式
下面，将参考附图来详细描述示例性实施例。作为参考，在描述已知的功能或配置时，当确定其详细描述可能使实施例的主旨不清楚时，将省略其详细描述。另外，示例性实施例可以以各种形式来改变，因此技术范围不限于以下示例性实施例。相反，提供这些示例性以使本公开全面且完整。
除非另有明确说明，否则术语“包括”将被理解为暗示包括某一组件，但不排除任何其他组件。此外，附图中的各种元件和区域是示意性地绘制的。因此，本技术构思不受附图中绘制的相对尺寸或间隔的限制。
在下文中，将参考附图对本公开的实施例进行说明。
图1是示出了根据示例实施例的包括输入设备和电子设备的系统10的示意图。
输入设备100提供能够控制电子设备200的功能。输入设备100可以例如被实现为遥控器。然而，示例不限于此，并且可以应用能够进行语音识别的任何设备。例如，输入设备100可以被实现为智能手机、平板电脑、PC等。
电子设备200可以被实现为使得其可以由输入设备100控制。例如，电子设备200可以被实现为TV。然而，示例不限于此，并且可以应用能够由输入设备100控制的任何设备。例如，电子设备还可以被实现为各种家用电器(诸如，空调、PC、扬声器、洗衣机等)以及各种医疗仪器等。
根据示例实施例，为了方便用户，输入设备100可以通过以下操作来控制电子设备200：通过包括悬停操作在内的特定用户操作启动语音识别，并将从用户接收的语音信号发送给电子设备200。下面将参考附图更详细地描述本公开的各种示例实施例。
图2是示出了根据示例实施例的输入设备的配置的框图。
参考图2，输入设备100包括传感器110、麦克风120、通信器130和处理器140。
传感器110可以检测用户操作。传感器110可以包括光输出单元112和光强度测量单元114。
光输出单元112可以输出光。光输出单元112可以包括至少一个光源。例如，光输出单元112可以包括至少一个输出红外线(IR)的IR光源，但是不限于此。光输出单元112可以周期性地输出光。
光强度测量单元114可以测量通过反射从光输出单元112输出的光而返回的光的强度。例如，光强度测量单元114可以包括至少一个光强度测量传感器。
例如，在从光输出单元112输出光的状态下，当用户的手接近输入设备100时，所输出的光可以被用户的手反射。光强度测量单元114可以以此方式被反射并测量进入输入设备100的光的强度。可以设置至少一个光强度测量单元114。光输出单元112可以包括多个光源。光强度测量单元114可以包括与多个光源相对应的多个光强度测量传感器。光输出单元112和光强度测量单元114可以被实现为单个集成电路(IC)芯片。
麦克风120可以接收在外部产生的声音。可以设置至少一个麦克风120。
通信器130包括执行与电子设备200的通信的通信电路。在此，通信器130可以根据诸如蓝牙(BT)、无线保真度(WI-FI)、Zigbee和红外(IR)之类的通信方法执行与电子设备200的无线通信，但是也可以根据诸如串行接口、通用串行总线(USB)和近场通信(NFC)之类的各种通信方法执行与电子设备200的通信。
例如，如果发生预定事件，则通信器130可以根据预定通信方法与电子设备200通信，并且可以与电子设备200互锁。在此，互锁状态可以是启动输入设备100与电子设备200之间的通信的状态，其中正在形成网络，或者其中正在执行设备配对。例如，可以将电子设备200的设备标识信息提供给输入设备100。结果是，可以在两个装置之间执行配对过程。例如，当在输入设备100或电子设备200中发生预设事件时，通信器130可以通过例如数字生活网络联盟(DLNA)技术来搜索外围设备，并且可以与找到的设备配对以处于互锁状态。
处理器140可以控制输入设备100的整体操作。
根据示例实施例，处理器140可以被实现为用于处理数字信号的数字信号处理器(DSP)、微处理器和时间控制器(TCON)。然而，示例不限于此。处理器140可以包括各种处理电路中的一种或多种，例如但不限于专用处理器、中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)或ARM处理器中的一种或多种，或者可以用对应术语定义。另外，处理器140可以被实现为其中安装了处理算法的片上系统(SoC)和大规模集成电路(LSI)，并且还可以以现场可编程门阵列(FPGA)的形式实现。
当基于通过传感器110感测到的感测值识别到悬停操作时，处理器140可以将发声意图感测信息发送给电子设备200。本发明的悬停操作是指在预定时间内保持悬停状态的操作，在所述悬停状态中，对象(例如，用户的手)在输入设备100附近。然而，用于将发声意图感测信息发送给电子设备200的用户的操作不限于悬停操作，并且可以是划动操作或触摸操作。就这点而言，发声意图感测信息是指示可以开始用户的发声的信息。
处理器140可以基于在光强度测量单元114中测量出的光强度值来识别悬停操作或划动操作。当基于在光强度测量单元114中测量的值确定对象已接近输入设备100时，处理器140可以减小光的输出周期。
处理器140可以存储与在光强度测量单元114中测量出的光强度值达到预定值或更大值的时间点有关的信息。此后，处理器可以存储与在光强度测量单元114中测量出的光强度值小于预定值的时间点有关的信息。
例如，假设光输出单元112包括多个光源，并且光强度测量单元114包括与多个光源相对应的多个光强度测量传感器。就这点而言，在多个光强度测量传感器中的每个光强度测量传感器中测量出的光强度值为预定值或更大值，然后在多个光强度测量传感器中的至少一个光强度测量传感器中测量出的光强度值保持预定值或更大值的情况下，处理器140可以将对应操作识别为悬停操作。
例如，在用户的手接近输入设备100的情况下，当由于手的面积而使在多个光强度测量传感器中的每个光强度测量传感器中测量出的光强度值为预定值或更大值，然后，手保持在输入设备100附近，并且在至少一个光强度测量传感器中测量出的光强度值为预定值或更大值的状态保持预定时间(例如，一秒)时，处理器140可以将对应操作识别为悬停操作。上述示例考虑了这样的情况，其中在悬停期间由于用户的手的移动，在至少一个光强度测量传感器中将光强度测量为小于预定值。
另外，当在多个光强度测量传感器的每个光强度测量传感器中测量出的光强度值至少为预定值，然后在多个光强度测量传感器的每个光强度测量传感器中测量出的光强度值小于预定值，并且光强度值变为预定值或更大值的时间点与测量出的光强度值变得小于预定值的时间点之间的时间差小于或等于预定时间(例如，一秒)时，可以将对应操作识别为划动操作。
例如，在以下情况下处理器140可以将对应操作识别为划动操作：用户的手已接近输入设备100，在多个光强度测量传感器的每个光强度测量传感器中测量出的光强度值至少为预定值，然后，在预定时间内手从输入设备100移开，在多个光强度测量传感器的每个光强度测量传感器中测量出的光强度值小于预定值。
如果存在多个光强度测量传感器，则处理器140可以确定对象正在从所测量的光强度首先增加的光强度测量传感器的方向接近。另外，处理器140可以确定对象朝以下光强度测量传感器的方向远离：在该光强度测量传感器中，增加的光强度最后减小。
然而，用于识别悬停操作和划动操作的方法不限于此。
处理器140可以通过触摸传感器160识别触摸操作。处理器140可以从触摸传感器160收集对象与触摸传感器160之间的接触状态数据。当基于收集到的数据确定对象与触摸传感器160接触时，处理器140可以确定是否已从运动传感器150接收到运动感测信号。在已接收到运动感测信号的情况下，处理器140可以将针对输入设备100的用户的操作识别为握持操作，而不是触摸操作。在尚未接收到运动感测信号的情况下，处理器140可以将针对输入设备100的用户的操作识别为触摸操作。
当接收到语音识别启动命令和反馈信息时，处理器140可以激活麦克风120并根据反馈信息来提供反馈。就这点而言，语音识别启动命令可以是用于激活麦克风120的信号。反馈信息可以是提供通知语音识别可用的反馈信息所需的信息。
处理器140可以通过使用各种方法将根据反馈信息的反馈提供给用户。例如，反馈可以是振动输入设备100或输出特定声音或语音的形式。备选地，反馈可以是LED光源发光的形式。为了区分指示语音识别可用的反馈和指示另一状态的反馈，可以不同地设置振动强度、音量、语音内容、以及从LED源发光的模式，并且提供与每个状态相对应的不同反馈。
处理器140可以将通过麦克风120接收的语音信号发送给电子设备200。就这点而言，语音信号可以是通过麦克风120记录的记录数据。例如，在用户发出语音“MBC”的情况下，可以通过麦克风记录该发声，并且可以将所记录的数据发送给电子设备200。然而，示例不限于此，处理器140可以分析用户发出的语音“MBC”并将对应信号发送给电子设备200。
处理器140可以将语音信号发送给电子设备200，然后停用麦克风120。备选地，在接收到语音信号之后的预定时间内未接收到附加语音信号的情况下，处理器140可以停用麦克风120。就这点而言，停用可以仅结束麦克风120，或者可以结束麦克风120然后将模式从活动模式转换为作为低功率模式的睡眠模式。
根据示例实施例，处理器140可以分析用户发出的语音，并且当确定所分析的语音是能够控制电子设备200的语音信号时，将与所述语音相对应的信号发送给电子设备200，然后停用麦克风120。例如，当用户发出语音“MBC”时，处理器140可以分析“MBC”，并且当确定“MBC”是能够控制电子设备200的广播信道的语音信号时，发送与“MBC”频道相对应的频道改变信号并停用麦克风120。备选地，当用户仅发出语音“M”时，处理器140可以分析“M”，并且当确定“M”是不能控制电子设备200的语音信号时，在预定时间内保持麦克风120的活动状态，并且在预定时间内未接收到附加语音信号时，停用麦克风120。
根据另一示例实施例，处理器140可以启动声音记录并记录用户发出的语音，并且当从在麦克风120中接收到的语音变得小于预定分贝(即未检测到超过预定分贝的声音)时起的预定时间内未接收到附加语音信号时，确定用户的发声已结束。当确定用户的发声已结束时，处理器140可以将记录数据发送给电子设备200，然后停用麦克风120。
在停用麦克风120之后，处理器140可以在从电子设备200接收到指示接收附加语音信号的必要性的信息时激活麦克风120。例如，当用户仅发出语音“新闻频道”时，处理器140可以将与“新闻频道”相对应的语音信号发送给电子设备200。如果由于电子设备200中的多个频道对应于“新闻频道”而需要用于显示一个频道的附加信息，则处理器140可以从电子设备200接收指示需要接收附加语音信号的信息。当接收到相应信息时，处理器140可以激活麦克风120。
当从电子设备200接收到指示需要接收附加语音信号的信息和对应反馈信息时，处理器140可以基于接收到的反馈信息来提供请求附加发声的反馈。就这点而言，反馈信息可以与指示根据悬停操作、划动操作或触摸操作而语音识别可用的状态的信息相同，但是可以与指示语音识别可用的上述信息不同，以通知需要附加语音识别的情形。
为了区分指示语音识别可用的反馈与指示需要附加语音识别的情形的反馈，处理器140可以不同地设置振动强度、音量、语音内容、以及从LED源发光的模式，提供与每个状态相对应的不同反馈。
处理器140可以控制光输出单元112输出光，并且基于通过光强度测量单元114测量的光的反射量来识别悬停操作。
例如，假设光输出单元112包括多个光源，并且光强度测量单元114包括与多个光源相对应的多个光强度测量传感器。就这点而言，在以下情况下处理器140可以将对应操作识别为悬停操作：用户的手接近输入设备，在多个光强度测量传感器的每个光强度测量传感器中测量出的光强度值大于或等于预定值，然后，手保持在输入设备100附近，在多个光强度测量传感器中的至少一个光强度测量传感器中测量出的光强度值保持大于或等于预定值。
在光输出单元112包括多个光源且光强度测量单元114包括与多个光源相对应的多个光强度测量传感器的情况下，当用户的手已接近输入设备100且在多个光强度测量传感器中的每个光强度测量传感器中测量出的光强度值至少为预定值，然后在预定时间内手从输入设备100移开且在多个光强度测量传感器中的每个光强度测量传感器中测量出的光强度值小于预定值时，处理器140可以将对应操作识别为划动操作。
处理器140可以基于从电子设备200接收到的反馈信息，提供指示下列状态中的至少一种状态的反馈：语音识别可用的状态、保持用户发声的状态、以及语音识别不可用的状态。就这点而言，反馈信息可以包括与下列状态中的每个状态相对应的不同信息：语音识别可用的状态、保持用户发声的状态、以及语音识别不可用的状态。
语音识别可用的状态可以指根据用户的悬停操作、划动操作或触摸操作而语音识别可用的状态，或者可以指根据从电子设备200接收的指示需要接收附加语音信号的情况的信息而语音识别可用的状态。处理器140可以在语音识别可用的状态下，区分通过悬停操作、划动操作或触摸操作而语音识别可用的状态与根据指示需要接收附加语音信号的情形的信息而语音识别可用的状态，并且可以提供不同的反馈。然而，示例不限于此。如果语音识别可用，则可以提供相同的反馈。
处理器140可以基于反馈信息提供与每个状态相对应的不同反馈。反馈信息可以包括下列各项中的至少一项：反馈类型、根据反馈类型的模式、以及根据反馈类型的强度。就这点而言，反馈类型是指输入设备100的振动、语音或声音的输出、或者来自反馈提供单元190的LED光源的发光。根据反馈类型的模式可以是反馈提供单元190中的LED光源的发光模式，并且反馈类型的强度可以指输出的声音的强度或输出的LED信号的强度。就这点而言，处理器140可以自身从电子设备200接收反馈信息，所述反馈信息包括反馈类型、根据反馈类型的模式、以及根据反馈类型的强度。然而，示例不限于此，反馈信息可以存储在存储装置170中，处理器140可以从电子设备200接收指示要提供的特定反馈的信号。
例如，当在输入设备100中设置反馈提供单元190时，处理器140可以控制反馈提供单元190的LED光源根据特定模式发光，以指示根据悬停操作、划动操作或触摸操作而语音识别可用的状态，并且可以控制反馈提供单元的特定LED光源发光，以指示根据指示需要接收所接收的附加语音信号的情形的信息而语音识别可用的状态。
另外，在保持用户发声期间，处理器140可以重复下列模式以指示保持用户发声的状态：多个LED光源顺序地发光、停止发光、以及再次发光。就这点而言，在通过麦克风120接收的语音大于或等于预定分贝的情况下，处理器140可以确定用户发声，并确定保持用户发声直到语音在预定时间内保持小于预定分贝。
另外，处理器140可以不控制多个LED光源中的每个LED光源不发光，以指示语音识别不可用的状态。就这点而言，语音识别不可用的状态可以是这样的情况，其中用户操作用于在输入设备100中启动语音识别且不需要接收附加语音信号。因此，可以是麦克风120被停用的状态。
在上文中，描述了反馈提供单元190中的发光的LED光源是反馈的示例。然而，当然可以以根据输入设备100的振动、声音或语音输出的形式来提供反馈。
图3a至图3c是图2的示例输入设备的详细配置的框图以及示出了示例输入设备的示意图。
图3a是示出了输入设备100的详细配置的示意图。
参考图3a，输入设备100包括传感器110、麦克风120、通信器130、处理器140、运动传感器150、触摸传感器160和存储装置170。下面将不再具体说明与图2的元件重叠的图3a的元件。
处理器140例如可以包括但不限于：CPU 141；ROM(或非易失性存储器)，存储用于控制输入设备100的控制程序；以及RAM(或易失性存储器)，用于存储从输入设备100的外部输入的数据或用作与在输入设备100中执行的各种操作相对应的存储区域。
CPU 141访问存储装置170并使用存储在存储装置170中的各种程序、数据等执行各种操作。
运动传感器150可以测量用于感测用户是否握持输入设备100的数据。运动传感器150可以测量加速度和角速度以感测输入设备100是否被握持。运动传感器150可以包括加速度传感器和陀螺仪传感器。运动传感器150可以感测输入设备100的运动的开始位置和当前位置，并通过使用加速度传感器和陀螺仪传感器的六个轴来测量速度变化和位置变化。
加速度传感器可以感测重力方向。而且，加速度传感器可以在固定状态下感测斜度。加速度传感器感测相对于单位时间的速度变化。加速度传感器可以被实现为三个轴。如果加速度传感器被实现为三轴加速度传感器，则加速度传感器包括在不同方向上设置为彼此正交的X加速度传感器、Y加速度传感器和Z加速度传感器。
加速度传感器分别将X加速度传感器、Y加速度传感器和Z加速度传感器的输出值转换为数字值，并且将数字值提供给预处理器。在此，预处理器可以包括斩波电路、放大器电路、滤波器、模数转换器(ADC)等。因此，预处理器对从三轴加速度传感器输出的电信号进行斩波、放大和滤波，并且将电信号转换为数字电压值。
陀螺仪传感器是通过感测在单位时间内输入设备100在预设方向上的变化来感测角速度的元件。陀螺仪传感器可以是具有三个轴的陀螺仪。陀螺仪传感器可以通过感测到的角速度的定积分值来分析角度。
触摸传感器160可以包括电容传感器或电阻传感器。具体地，电容式传感器使用涂覆在显示表面上的电介质来感测当用户身体的一部分触摸输入设备100的表面时由用户身体激发的微电，从而计算触摸坐标。
存储装置170可以存储用于驱动和控制输入设备100的各种数据或程序。另外，存储装置170可以存储通过麦克风120接收到的语音数据。
扬声器180用于输出音频信号。例如，扬声器140可以包括能够输出音频信号的至少一个扬声器单元(或者，音频放大器)。特别地，扬声器180可以提供语音反馈或声学反馈。例如，扬声器180可以提供语音或声音，所述语音或声音指示语音识别可用的状态、保持用户发声的状态、以及语音识别不可用的状态。
图3b是示出了传感器110的详细配置的示意图。
参考图3b，传感器110可以通信地耦接到光输出单元112和光强度测量单元114。根据实施例，传感器110可以包括光输出单元112和光强度测量单元114。
光输出单元112可以输出光。光输出单元112可以包括至少一个光源。例如，光输出单元112可以包括至少一个输出红外线(IR)的IR光源，但是不限于此。光输出单元112可以周期性地输出光。
光强度测量单元114可以测量通过反射从光输出单元112输出的光而返回的光的强度。例如，在从光输出单元112输出光的状态下，当用户的手接近输入设备100时，所输出的光可以被用户的手反射。光强度测量单元114可以包括至少一个光强度测量传感器。光输出单元112和光强度测量单元114可以被实现为单个集成电路(IC)芯片。
图3c是示出了示例输入设备100的示意图。
输入设备100可以包括光输出单元112、麦克风120、反馈提供单元190和按钮单元195。下面将不再具体说明与图2和图3a的元件重叠的图3c的元件。
反馈提供单元190可以包括多个LED光源。
就这点而言，处理器140可以基于从电子设备200接收到的反馈信息来控制多个LED光源以各种模式发光。
例如，在语音识别可用的状态下，处理器140可以控制多个LED光源从与麦克风120相邻的LED光源起顺序地发光，然后仅控制特定的LED光源发光。
按钮单元195可以包括频道改变按钮、音量按钮、菜单按钮、播放/暂停按钮和返回按钮。然而，示例不限于此。
图4是用于说明根据示例实施例的输入设备和电子设备的相互操作的序列图。
当在操作S401检测到针对输入设备100的用户接近时，输入设备100可以确定用户是否具有发声的意图。在操作S402-N，当用户的操作是握持操作时，输入设备100可以确定用户具有发声的意图。在操作S402-Y，当用户的操作是悬停操作、划动操作和触摸操作中的一个时，输入设备100可以确定用户具有发声的意图，并且在操作S403，将发声意图感测信息发送给电子设备200。
在操作S404，电子设备200可以将语音识别启动命令和反馈信息(在实施例中包括反馈信息的类型)发送给输入设备100。就这点而言，语音识别启动命令可以是用于激活麦克风使得语音识别可用的命令。反馈信息可以包括下列各项中的至少一项：与指示语音识别可用的状态的信息相对应的反馈类型、根据反馈类型的模式、以及根据反馈类型的强度。例如，指示语音识别可用的状态的反馈类型可以是LED光源发光的类型。对于根据指示语音识别可用状态的反馈的模式，多个LED光源中仅特定的LED光源可以发光。对于根据反馈类型的强度(其中所述反馈类型是根据语音识别可用的状态的反馈类型)，LED光源可以以通过划分发光的LED光源的强度而分类的水平中的一个水平发光。
在操作S405，当接收到语音识别启动命令和反馈类型信息时，输入设备100可以激活麦克风102，并且在操作S406，提供指示语音识别可用的状态的反馈。当用户朝输入设备100发声时，在保持用户发声期间，输入设备100可以提供指示保持用户发声的状态的反馈。例如，输入设备100可以控制多个LED光源顺序地发光，然后可以控制多个LED光源顺序地停止发光，以指示保持用户发声的状态。
在操作S408，输入设备100可以将通过麦克风120接收的语音信号发送给电子设备200。在实施例中，输入设备100的处理器140可以将通过麦克风120接收的语音信号传送到电子设备200。就这点而言，语音信号可以是通过麦克风120记录的记录数据。例如，在用户发出语音“MBC”的情况下，可以通过麦克风120记录该发声，并且可以将所记录的数据发送给电子设备200。然而，示例不限于此，并且输入设备100可以分析用户发出的语音“MBC”并将对应信号发送给电子设备200。
电子设备200可以分析从输入设备100接收的语音信号并执行与该语音信号相对应的功能。然而，当用户发出的语音在输入设备100中被分析并接收到对应信号时，电子设备200可以执行对应功能。在操作S410，电子设备200的UI可以根据语音识别结果来显示UI。例如，当用户发出语音“MBC”时，电子设备200的UI可以显示“MBC频道”。
在操作S411，输入设备100可以将语音信号发送给电子设备200，然后停用麦克风120。另外，在接收到语音信号之后的预定时间内未接收到附加语音信号的情况下，输入设备100可以停用麦克风120。详细地，输入设备100可以启动声音记录并记录用户发出的语音，并且当从在麦克风120中接收到的语音变得小于预定分贝(即未检测到超过预定分贝的语音)时起的预定时间内未接收到附加语音信号时，确定用户的发声已结束并停用麦克风120。备选地，输入设备100可以分析用户发出的语音，并且当确定所分析的语音是能够控制电子设备200的语音信号时，将与所述语音相对应的信号发送给电子设备200，然后停用麦克风120。
在操作S412，电子设备200可以根据接收到的语音信号来确定是否需要连续发声。当确定需要连续发声时，在操作S412-Y，电子设备200可以发送连续发声所需的信息和与反馈类型有关的信息。在操作S413，输入设备100可以根据连续发声所需的信息来激活麦克风120，并且在操作S414，可以提供根据反馈类型信息的反馈。根据需要附加语音识别的情形的反馈可以是与根据语音识别启动命令的反馈不同的反馈。例如，根据需要附加语音识别的情形的反馈可以是其中特定LED光源发光的模式。
另外，当确定需要连续发声的情形时，在操作S415，可以在电子设备200的UI上提供指示连续发声可用的信息。例如，当用户仅发出语音“新闻频道”时，可以在UI上提供与“新闻频道”相对应的频道列表，并且可以提供指示该情形是需要附加发声的情形的文本。
当确定不需要连续发声时，在操作S412-N，电子设备200可以将发声结束信息和反馈类型信息发送给输入设备100。在操作S416，输入设备100可以提供指示语音识别不可用的反馈。例如，输入设备100可以不输出多个LED光源中的每个LED光源，以指示语音识别不可用的状态。
图5a和图5b是用于说明根据示例实施例的悬停操作的序列图。
图5a是详细示出了根据图4的接近操作S401来确定用户是否具有发声的意图的操作S402的步骤的示意图。
参考图5a，当在操作S501中检测到用户接近输入设备100时，在操作S502，传感器110可以测量从光输出单元112输出、被对象(例如，用户的手)反射并进入的光的强度。详细地，光强度测量单元114可以测量光的强度。在光强度测量单元114中测量出的光强度值小于预定值的情况下，在操作S503-N，传感器110可以再次测量被对象反射并进入的光的强度。在所测量的光强度值大于预定值的情况下，在操作S503-Y，传感器110可以将唤醒信号发送给处理器140。当从传感器110接收到唤醒信号时，在操作S504，处理器140可以将作为低功率模式的睡眠模式转换为活动模式，并且在操作S505，从传感器110收集感测数据。另外，在操作S506，处理器140可以将用于检测输入设备的运动是否已发生的命令发送给运动传感器150。
在操作S507，处理器140可以通过从传感器110收集到的感测数据来执行悬停分析算法。就这点而言，悬停分析算法是确定针对输入设备100的用户操作是否对应于悬停操作的算法，这将参考图5b进行更详细地描述。运动传感器150可以确定输入设备100的运动是否已发生，并且当感测到所述运动时，在操作S508-Y，将运动发生信息发送给处理器140。
在接收到运动发生信息的情况下，在操作S509，处理器140可以从运动传感器150收集感测数据，并且在操作S510，基于收集到的感测数据来执行握持分析算法。就这点而言，从运动传感器150收集的感测数据可以包括加速度计传感器和陀螺仪传感器中的至少一个的值。握持分析算法是确定用户是否已握持输入设备100的算法，这将参考图8更详细地进行描述。
在将模式转换为活动模式之后经过预定时间(例如，一秒)后，当确定用户尚未握持输入设备100时，在操作S511，处理器140可以将运动发生感测中止命令发送给运动传感器150，并且在操作S512和操作S402，确定用户是否具有发声的意图。在保持悬停操作超过一秒并确定输入设备100未被握持的情况下，在操作S512-Y和操作S403，处理器140可以确定用户具有发声的意图并将发声意图感测信息发送给电子设备200。当确定用户没有发声的意图时，在操作S512-N、操作S402-N，处理器140可以再次收集感测数据。然而，一秒的时间段只是示例，并且所述示例不限于此。
图5b是详细示出了图5a的执行悬停分析算法的操作S507的步骤的示意图。
参考图5b，在操作S520，处理器140可以收集通过光强度测量单元114测量的光强度数据。至少一个光强度测量传感器可以包括在光测量单元114中。在图5b中，假设设置了两个光强度测量传感器。当在操作S521-Y中在第一光强度测量传感器中测量出的光强度值大于或等于预定值时，在操作S522，处理器140可以存储“进入时间”。就这点而言，“进入时间”是指在光强度测量单元114中测量出的光强度值达到预定值的时间点。
此后，当在操作S523-Y中在第一光强度测量传感器中测量出的光强度值小于预定值时，在操作S524，处理器140可以存储“离开时间”。就这点而言，“离开时间”是指在光强度测量单元114中测量出的光强度值下降到小于预定值的时间点。与第一光强度测量传感器中的步骤相同的操作S521-操作S524也可以在第二光强度测量传感器中进行。
在操作S525，处理器140可以确定“进入时间”是否存储在第一光强度测量传感器和第二光强度测量传感器两者中。也就是说，处理器140可以确定在第一光强度测量传感器和第二光强度测量传感器中测量出的光强度值是否大于或等于预定值。在操作S525-Y和操作S526，当“进入时间”存储在第一光强度测量传感器和第二光强度测量传感器中时，处理器140可以确定在至少一个光强度测量单元中的“离开时间”与对应光强度测量单元的“进入时间”之间是否存在大于一秒的时间差。当确定在至少一个光强度测量单元中的“离开时间”与对应光量测量单元的“进入时间”之间存在大于或等于一秒的时间差时，在操作S527，处理器140可以将用户的操作确定为悬停操作。
图6a和图6b是用于说明根据示例实施例的划动操作的序列图。
图6a是详细示出了根据图4的接近操作S401的执行来确定用户是否具有发声意图的操作S402的步骤的示意图。
参考图6a，当在操作S601用户朝输入设备100执行接近操作时，在操作S602，传感器110可以测量从光输出单元112输出的、被对象(例如，用户的手)反射并进入的光的强度。详细地，光强度测量单元114可以测量光的强度。在光强度测量单元114中测量出的光强度值小于预定值的情况下，在操作S603-N，传感器110可以再次测量被对象反射到传感器并进入的光的强度。在所测量的光强度值大于预定值的情况下，在操作S603-Y，传感器110可以将唤醒信号发送给处理器140。当从传感器110接收到唤醒信号时，在操作S604，处理器140可以将作为低功率模式的睡眠模式转换为活动模式，并且在操作S605，从传感器110收集感测数据。
在操作S606，处理器140可以通过从传感器110收集到的感测数据来执行划动分析算法。就这点而言，划动分析算法可以是确定针对输入设备100的用户操作是否对应于划动操作的算法。在根据划动分析算法确定用户的操作是划动方向的情况下，在操作S607-Y和操作S403，处理器140可以确定用户具有发声的意图并将发声意图感测信息发送给电子设备200。在操作S607-N、操作S402-N，当确定用户没有发声的意图时，处理器140可以再次收集感测数据。
图6b是详细示出了图6a的执行划动分析算法的操作S606的步骤的示意图。
参考图6b，在操作S610，处理器140可以收集通过光强度测量单元114测量的光强度数据。至少一个光强度测量传感器可以包括在光测量单元114中。在图6b中，假设设置了两个光强度测量传感器。当在操作S611-Y在第一光强度测量传感器中测量出的光强度值大于或等于预定值时，在操作S612，处理器140可以存储“进入时间”。就这点而言，“进入时间”是指在光强度测量单元114中测量出的光强度值达到预定值的时间点。
此后，当在操作S613-Y在第一光强度测量传感器中测量出的光强度值小于预定值时，在操作S614，处理器140可以存储“离开时间”。就这点而言，“离开时间”是指在光强度测量单元114中测量出的光强度值下降到小于预定值的时间点。与第一光强度测量传感器中的步骤相同的操作S611-操作S614也可以在第二光强度测量传感器中进行。
在操作S615，处理器140可以确定“离开时间”是否存储在第一光强度测量传感器和第二光强度测量传感器中。也就是说，处理器140可以确定在第一光强度测量传感器和第二光强度测量传感器中测量出的光强度值是否小于预定值。在操作S615-Y和操作S616，当“离开时间”存储在第一光强度测量传感器和第二光强度测量传感器中时，处理器140可以确定每个光强度测量单元中的“离开时间”与对应光强度测量单元的“进入时间”之间的时间差是否小于一秒。当确定所有光强度测量单元中的“离开时间”与对应光量测量单元的“进入时间”之间的时间差小于一秒时，在操作S617，处理器140可以将用户的操作确定为划动操作。
图7a和图7b是用于说明根据示例实施例的触摸操作的序列图。
图7a是详细示出了根据图4的接近操作S401的执行来确定用户是否具有发声意图的操作S402的步骤的示意图。
参考图7a，当在操作S701用户针对输入设备100进行触摸操作时，在操作S702，触摸传感器160可以确定对象(例如，用户的手)是否与触摸传感器160接触。在操作S702-Y，当确定对象与触摸传感器160接触时，触摸传感器160可以将接触感测信号发送给处理器140。当从触摸传感器160接收到接触感测信号时，在操作S703，处理器140可以将作为低功率模式的睡眠模式转换为活动模式，并且在操作S704，从触摸传感器160收集感测数据。
运动传感器150可以确定输入设备100的运动是否已发生，并且当感测到运动时，在操作S705-Y，将运动感测信号发送给处理器140。
在操作S706，处理器140可以基于收集到的感测数据来执行触摸分析算法。就这点而言，触摸分析算法可以是确定针对输入设备100的用户操作是否对应于触摸操作的算法。在操作S707-Y和操作S403，在根据触摸分析算法确定用户的操作是触摸方向的情况下，处理器140可以确定用户具有发声的意图并将发声意图感测信息发送给电子设备200。在操作S707-N、操作S402-N，当确定用户没有发声的意图时，处理器140可以再次收集感测数据。
图7b是详细示出了图7a的执行触摸分析算法的操作S706的步骤的示意图。
参考图7b，在操作S711，处理器140可以从触摸传感器160收集对象与触摸传感器160之间的接触状态数据。在操作S712-Y和操作S713，当基于收集到的数据确定对象与触摸传感器160接触时，处理器140可以确定是否已从运动传感器150接收到运动感测信号。在操作S713-Y和操作S714，在已接收到运动感测信号的情况下，处理器140可以将针对输入设备100的用户的操作确定为握持操作，而不是触摸操作。在操作S713-N和操作S715中，在未接收到运动感测信号的情况下，处理器140可以将针对输入设备100的用户的操作确定为触摸操作。
图8是用于说明根据示例实施例的握持操作的序列图。
图8是详细示出了图5a的执行握持分析算法的操作S510的步骤的示意图。
参考图8，在操作S801，处理器140可以从运动传感器150收集陀螺仪传感器值。在X轴陀螺仪传感器值、Y轴陀螺仪传感器值和Z轴陀螺仪传感器值大于预定值的情况下，在操作S804，处理器140可以确定针对输入设备100的用户的操作是握持操作。在X轴陀螺仪传感器值、Y轴陀螺仪传感器值和Z轴陀螺仪传感器值不大于预定值的情况下，处理器140可以确定输入设备100的运动发生次数是否大于或等于预定次数。在操作S803-Y和操作S804，当运动发生次数大于或等于预定次数时，处理器140可以确定针对输入设备100的用户的操作是握持操作。处理器140可以从模式被转换为活动模式的时间点开始重复操作S801-操作S803，直到此后经过一秒。
图9a至图9c是示出了根据示例实施例的由反馈提供单元提供的反馈的示意图。
根据示例实施例，多个LED光源920、930和940基于麦克风910呈对称形状，并且处于对称位置的LED光源920、LED光源930或LED光源940中的每个LED光源可以同时发光或同时终止发光。
图9a是示出了指示语音识别可用的状态的反馈的示意图。
语音识别可用的状态可以是根据用户的悬停操作、划动操作或触摸操作启动了语音识别且语音识别可用的状态，或者可以是语音识别可用以指示该情形是需要接收附加语音信号的情形的状态。
为了指示语音识别被启动且语音识别可用的状态，输入设备100可以控制与麦克风910相邻的LED光源920发光，控制下一个LED光源930发光，以及控制距离麦克风910最远的LED光源940发光。此后，输入设备100可以朝着与麦克风910相邻的方向控制被控制为顺序发光的LED光源终止发光，并且仅将最靠近麦克风910的LED光源920保持在发光状态。
为了指示需要接收附加语音信号，可以提供与指示已启动语音识别的LED发光模式相同的模式。然而，与最接近麦克风910的LED光源920被保持在发光状态不同，可以提供LED光源连续发光并且终止发光的模式。
然而，指示语音识别可用的状态的反馈不限于此。例如，LED光源可以以不同的模式发光，可以从扬声器180输出语音或声音，并且可以使输入设备100振动。
图9b是示出了保持用户发声的状态的示意图。
保持用户发声的状态可以是这样的状态，其中通过麦克风910接收的语音大于或等于预定分贝并在预定时间内保持大于或等于预定分贝的语音。
为了指示保持用户发声的状态，输入设备100可以控制与麦克风910相邻的LED光源920发光，控制下一个LED光源930发光，以及控制距麦克风910最远的LED光源940发光。此后，输入设备100可以朝着与麦克风910相邻的方向(实线的方向)顺序地终止LED光源的发光，并且再次朝着远离麦克风910的方向(虚线的方向)控制LED光源发光。可以提供这种LED发光模式，直到用户的发声结束为止。
然而，指示保持用户发声的状态的反馈不限于此。例如，LED光源可以以不同的模式发光，可以从扬声器180输出语音或声音，并且可以使输入设备100振动。
图9c是示出了语音识别不可用的状态的示意图。
语音识别不可用的状态可以是这样的情况，其中用户操作用于在输入设备100中启动语音识别且不需要接收附加语音信号。
为了指示语音识别不可用的状态，输入设备100可以不控制LED光源920、LED光源930和LED光源940发光。
然而，指示语音识别不可用的状态的反馈不限于此。例如，LED光源可以以不同的模式发光，可以从扬声器180输出语音或声音，并且可以使输入设备100振动。
图10是示出了根据示例实施例的用于对输入设备进行控制的方法的流程图。
参考图10，在操作S1010，当基于通过传感器感测到的感测值识别出悬停操作时，输入设备100可以将发声意图感测信息发送给电子设备200。然而，示例不限于悬停操作。输入设备100可以在识别出划动操作或触摸操作时将发声意图感测信息发送给电子设备200。就这点而言，发声意图感测信息可以是指示可以开始用户发声的信息。
在操作S1020，当接收到语音识别启动命令和反馈信息时，输入设备100可以激活麦克风120并提供根据反馈信息的反馈。
此后，输入设备100可以将通过麦克风120接收的语音信号发送给电子设备200。
每个操作的详细操作在上文中进行了描述，因此将在此省略。
以上描述的各种示例性实施例可以在记录介质中具体实现，所述记录介质可以由计算机或类似装置通过使用软件、硬件或其组合来读取到计算机。在一些情况下，本文中描述的示例实施例可以由处理器自身实现。根据软件实现方式，可以用分离的软件模块实现诸如本文中所描述的处理和功能的实施例。每个软件模块可以执行本文所述的一个或多个功能和操作。
同时，用于执行根据上述本公开各个实施例的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由处理器执行时，存储在这样的非易失性计算机可读介质上的计算机指令可以使特定设备执行根据上述各种示例实施例的处理操作。
非暂时性计算机可读介质是指半永久地存储数据而非很短时间地存储数据的介质，诸如寄存器、高速缓存、存储器等，并且能够由装置读取。详细地，上述各种应用或程序可以存储在非暂时性计算机可读介质中，例如压缩盘(CD)、数字多功能盘(DVD)和硬盘。例如，假设光输出单元112包括多个光源，并且光强度测量单元114包括与多个光源相对应的多个光强度测量传感器。非暂时性计算机可读介质可以是例如蓝光盘、USB、存储卡、ROM等。
前述示例实施例和优点仅是示例性的，而不应理解为限制本发明。可以将本教导容易地应用于其他类型的设备。而且，本公开的示例实施例的描述旨在是说明性的，而不在限制权利要求的范围，并且许多备选方案、修改和变化对于本领域技术人员而言是显而易见的。

Claims (15)

1.一种输入设备，包括：
传感器；
麦克风；
通信器；以及
处理器，所述处理器被配置为：
基于用户的操作将发声意图感测信息发送给电子设备，所述用户的操作是基于通过所述传感器感测到的值来识别的；
基于根据发送给所述电子设备的所述发声意图感测信息从所述电子设备接收到的用于启动语音识别的命令和反馈信息，激活所述麦克风并提供根据所述反馈信息的与所述电子设备的状态相对应的反馈；以及
将通过所述麦克风接收到的语音信号发送给所述电子设备，其中，所述处理器还被配置为：
基于从所述电子设备接收到的所述反馈信息提供不同类型的反馈，其中所述不同类型的反馈分别指示所述电子设备的状态是否是所述语音识别可用的状态、保持所述用户的发声的状态、以及所述语音识别不可用的状态。
2.根据权利要求1所述的输入设备，其中，所述操作是所述用户的悬停操作，并且
在将所述语音信号发送给所述电子设备之后，或者在接收到所述语音信号之后的预定时间内未接收到附加语音信号时，所述处理器停用所述麦克风。
3.根据权利要求2所述的输入设备，其中，在所述麦克风已被停用之后，所述处理器基于从所述电子设备接收到的指示用于执行所述语音识别的附加语音信号的必要性的信息，激活所述麦克风。
4.根据权利要求3所述的输入设备，其中，所述处理器基于从所述电子设备接收到的指示所述附加语音信号的必要性的信息和对应反馈信息，提供基于所接收到的对应反馈信息的、请求附加发声的反馈。
5.根据权利要求1所述的输入设备，其中，所述传感器包括至少一个光输出部件并包括光强度测量部件，并且
其中，所述处理器控制所述至少一个光输出部件输出光，并基于通过所述光强度测量部件测量出的所输出的光的反射量来识别所述操作。
6.根据权利要求1所述的输入设备，其中，提供的所述反馈包括指示所述语音识别可用的状态的第一类型反馈、指示保持所述用户的发声的状态的第二类型反馈、以及指示所述语音识别不可用的状态的第三类型反馈中的至少一个。
7.根据权利要求1所述的输入设备，其中，从所述电子设备接收到的所述反馈信息包括与下列状态中的每个状态相对应的不同的反馈信息：所述语音识别可用的状态、保持所述用户的发声的状态、以及所述语音识别不可用的状态，并且
其中，所述处理器提供与每个状态相对应的不同的反馈。
8.根据权利要求1所述的输入设备，其中，所述反馈信息包括下列各项中的至少一项：所述反馈的类型、根据所述反馈的类型的模式、以及根据所述反馈的类型的强度。
9.一种对输入设备进行控制的方法，所述方法包括：
基于用户的操作将发声意图感测信息发送给电子设备，所述用户的操作是基于通过传感器感测到的值来识别的；
基于根据发送给所述电子设备的所述发声意图感测信息从所述电子设备接收到的用于启动语音识别的命令和反馈信息，激活麦克风并提供反馈，提供的所述反馈基于来自所述电子设备的所述反馈信息并与所述电子设备的状态相对应；以及
将通过所述麦克风接收到的语音信号发送给所述电子设备，
其中，所述方法还包括：
基于从所述电子设备接收到的所述反馈信息提供不同类型的反馈，其中所述不同类型的反馈分别指示所述电子设备的状态是否是所述语音识别可用的状态、保持所述用户的发声的状态、以及所述语音识别不可用的状态。
10.根据权利要求9所述的方法，其中，所述操作是所述用户的悬停操作，并且所述方法还包括：
在将所述语音信号发送给所述电子设备之后，或者在接收到所述语音信号之后的预定时间内未接收到附加语音信号时，停用所述麦克风。
11.根据权利要求10所述的方法，还包括：
在所述麦克风已被停用之后，基于从所述电子设备接收到的指示用于执行所述语音识别的附加语音信号的必要性的信息，激活所述麦克风。
12.根据权利要求11所述的方法，还包括：
基于从所述电子设备接收到的指示所述附加语音信号的必要性的信息和对应反馈信息，提供基于从所述电子设备接收到的所述对应反馈信息的、请求附加发声的反馈。
13.根据权利要求9所述的方法，其中，发送所述发声意图感测信息包括：输出光，以及基于所输出的光的反射量来识别所述操作。
14.根据权利要求9所述的方法，其中，在所述提供中提供的所述反馈包括指示所述语音识别可用的状态的第一类型反馈、指示保持所述用户的发声的状态的第二类型反馈、以及指示所述语音识别不可用的状态的第三类型反馈中的至少一个。
15.根据权利要求9所述的方法，其中，从所述电子设备接收到的所述反馈信息包括与下列状态中的每个状态相对应的不同的反馈信息：所述语音识别可用的状态、保持所述用户的发声的状态、以及所述语音识别不可用的状态，并且
其中，提供所述反馈包括：基于所述反馈信息，提供与每个状态相对应的不同的反馈。
CN201880056599.7A 2017-09-29 2018-09-28 输入设备、电子设备、包括输入设备和电子设备的系统及其控制方法 Active CN111095192B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170128076A KR102419597B1 (ko) 2017-09-29 2017-09-29 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법
KR10-2017-0128076 2017-09-29
PCT/KR2018/011513 WO2019066541A1 (en) 2017-09-29 2018-09-28 INPUT DEVICE, ELECTRONIC DEVICE, SYSTEM COMPRISING THE SAME, AND CORRESPONDING CONTROL METHOD

Publications (2)

Publication Number Publication Date
CN111095192A CN111095192A (zh) 2020-05-01
CN111095192B true CN111095192B (zh) 2023-12-12

Family

ID=65897366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880056599.7A Active CN111095192B (zh) 2017-09-29 2018-09-28 输入设备、电子设备、包括输入设备和电子设备的系统及其控制方法

Country Status (5)

Country Link
US (1) US10971143B2 (zh)
EP (1) EP3631615A4 (zh)
KR (1) KR102419597B1 (zh)
CN (1) CN111095192B (zh)
WO (1) WO2019066541A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180085931A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US20220366904A1 (en) * 2021-04-21 2022-11-17 Meta Platforms, Inc. Active Listening for Assistant Systems
WO2024071946A1 (ko) * 2022-09-26 2024-04-04 삼성전자 주식회사 음성 특성 기반 번역 방법 및 이를 위한 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021410A (zh) * 2011-07-22 2013-04-03 索尼公司 信息处理装置、信息处理方法和计算机可读介质
EP3007059A1 (en) * 2014-10-08 2016-04-13 LG Electronics Inc. Mobile terminal and controlling method thereof
CN106796497A (zh) * 2014-09-12 2017-05-31 苹果公司 用于始终监听语音触发的动态阈值
CN106970772A (zh) * 2015-10-16 2017-07-21 恩智浦有限公司 用于触觉反馈元件的控制器

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
JP3950825B2 (ja) 2003-07-24 2007-08-01 埼玉日本電気株式会社 携帯電話装置並びにそのユーザインタフェース
US20070299670A1 (en) * 2006-06-27 2007-12-27 Sbc Knowledge Ventures, Lp Biometric and speech recognition system and method
US8138896B2 (en) * 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US20110099596A1 (en) * 2009-10-26 2011-04-28 Ure Michael J System and method for interactive communication with a media device user such as a television viewer
JP2013003911A (ja) 2011-06-17 2013-01-07 Sony Corp 電子機器、電子機器の制御方法およびプログラム
KR20140088449A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 중앙 제어 장치 및 그것의 제어 방법
HK1186912A2 (en) 2013-01-25 2014-03-21 Zhipei Wang Remote control system and device
CN103970260B (zh) 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
DE112014000709B4 (de) * 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
KR20140112910A (ko) 2013-03-14 2014-09-24 삼성전자주식회사 입력 제어 방법 및 이를 지원하는 전자 장치
JP2015012301A (ja) 2013-06-26 2015-01-19 京セラ株式会社 携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法
KR20150010494A (ko) 2013-07-19 2015-01-28 현대자동차주식회사 전자제어장치의 프로그램 업데이트 방법
KR102203349B1 (ko) 2013-08-14 2021-01-18 삼성전자주식회사 대기상태 모드에서 사용자 인터페이스를 제공하는 휴대 단말 및 그 방법
KR20150040445A (ko) * 2013-10-07 2015-04-15 삼성전자주식회사 사용자 음성을 입력받는 원격 제어 장치 및 그 방법
KR102210433B1 (ko) * 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
KR20150086926A (ko) 2014-01-21 2015-07-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20150092996A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 이를 이용한 전자 장치의 제어 방법
KR20170010494A (ko) 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102423367B1 (ko) * 2015-09-17 2022-07-21 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20190130898A1 (en) * 2017-11-02 2019-05-02 GM Global Technology Operations LLC Wake-up-word detection
US10529356B2 (en) * 2018-05-15 2020-01-07 Cirrus Logic, Inc. Detecting unwanted audio signal components by comparing signals processed with differing linearity
US10957341B2 (en) * 2018-12-28 2021-03-23 Intel Corporation Ultrasonic attack detection employing deep learning
KR20190089128A (ko) * 2019-07-10 2019-07-30 엘지전자 주식회사 음성 인식 방법 및 음성 인식 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021410A (zh) * 2011-07-22 2013-04-03 索尼公司 信息处理装置、信息处理方法和计算机可读介质
CN106796497A (zh) * 2014-09-12 2017-05-31 苹果公司 用于始终监听语音触发的动态阈值
EP3007059A1 (en) * 2014-10-08 2016-04-13 LG Electronics Inc. Mobile terminal and controlling method thereof
CN106970772A (zh) * 2015-10-16 2017-07-21 恩智浦有限公司 用于触觉反馈元件的控制器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于TMS320DM642麦克风阵列声源定位系统;李致金;乔杰;;测控技术(第01期);全文 *

Also Published As

Publication number Publication date
EP3631615A1 (en) 2020-04-08
KR102419597B1 (ko) 2022-07-11
US20190103108A1 (en) 2019-04-04
CN111095192A (zh) 2020-05-01
EP3631615A4 (en) 2020-04-29
KR20190038069A (ko) 2019-04-08
WO2019066541A1 (en) 2019-04-04
US10971143B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
CN111095192B (zh) 输入设备、电子设备、包括输入设备和电子设备的系统及其控制方法
US11516040B2 (en) Electronic device and method for controlling thereof
EP3387628B1 (en) Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US11348581B2 (en) Multi-modal user interface
KR101690118B1 (ko) 전자 기기의 알람 시계를 제어하는 방법 및 전자 기기
JP4988016B2 (ja) 指の動き検出装置およびその方法
US20150193193A1 (en) Gesture-controlled tabletop speaker system
KR20200074445A (ko) Em 신호를 발생시킨 외부 전자 장치에 따라 오디오 신호의 경로를 변경하는 전자 장치 및 방법
KR20200109954A (ko) IoT 기기의 위치 추론 방법, 이를 지원하는 서버 및 전자 장치
JP2009192942A (ja) 音声対話装置及び支援方法
KR20200093094A (ko) 전자 장치 및 그 제어 방법
CN108352167B (zh) 包括可佩戴设备的车辆语音识别
KR20200043128A (ko) 전자장치 및 그 제어방법
JP2017026230A (ja) 空調制御装置、空調装置、空調制御方法、空調制御システム、空調制御プログラム、および記録媒体
US20180267618A1 (en) Method for gesture based human-machine interaction, portable electronic device and gesture based human-machine interface system
CN111730608B (zh) 控制装置、机器人、控制方法以及存储介质
KR101545702B1 (ko) 감지 데이터에 기반하여 동작하는 휴대 단말 및 그 동작 방법
JP2018060248A (ja) 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
TWI840587B (zh) 多模態使用者介面
KR20190085433A (ko) 무선 헤드셋
JP2019185315A (ja) 情報処理装置、制御方法及びプログラム
KR101573189B1 (ko) 토이 기반 상호작용 이력정보 저장 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant