CN112653912A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN112653912A
CN112653912A CN202011075870.7A CN202011075870A CN112653912A CN 112653912 A CN112653912 A CN 112653912A CN 202011075870 A CN202011075870 A CN 202011075870A CN 112653912 A CN112653912 A CN 112653912A
Authority
CN
China
Prior art keywords
external device
electronic device
sound
information
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011075870.7A
Other languages
English (en)
Inventor
朴英仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112653912A publication Critical patent/CN112653912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/25—Arrangements specific to fibre transmission
    • H04B10/2589—Bidirectional transmission
    • H04B10/25891—Transmission components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/40—Transceivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

提供了一种电子装置及其控制方法。该电子装置包括信号输出接口以及处理器，处理器被配置成：识别通过声音输入接口接收的声音的波形特性；基于由识别出的所述声音的波形特性所指示的多个属性，识别与识别出的所述声音的波形特性对应的信息；以及基于识别出的信息，通过所述信号输出接口向外部装置输出信号。

Description

电子装置及其控制方法
技术领域
本公开涉及被提供为通过使麦克风捕捉来自外部环境的声音而获得音频信号的电子装置及其控制方法，更特别地，涉及具有用于从具有扬声器的外部装置获得预先确定的信息的结构的电子装置及其控制方法。
背景技术
为根据特定的过程来计算和处理预先确定的信息，基本上包括例如用于计算的CPU、芯片组和存储器的电子部件的电子装置可以根据电子装置要处理什么信息或者电子装置要执行什么功能而被分类。例如，电子装置可被分类为例如PC或服务器的处理一般用途信息的信息处理装置、处理图像数据的图像处理装置、处理音频的音频装置、执行家务活的家用电器等。将经处理的图像数据在其中提供的显示面板上作为图像显示的显示器是图像处理装置的示例。
随着用户需求增加和技术进步，对于本地网络系统存在增长的需求，在本地网络系统中，多个电子装置互相连接以能够彼此通信，从而一个或多个电子装置可由多于一个其他电子装置使用。这样的本地网络系统的示例包括家庭网络环境、物联网(IoT)环境等。在本地网络系统中的多个电子装置可以基于各种通信协议互相连接。然而，由于各种因素，例如电子装置的连接环境和电子装置的特性，可能出现电子装置之间的通信被限制的情形。这种情形可能在以下几种情况下发生。
例如，如果电子装置和外部装置支持彼此无线通信，但是还没有配对，那么电子装置和外部装置之间可能难以交换信息。典型地，在这种情况下，电子装置难以与处于未配对状态的外部装置通信。
可替换地，即使电子装置和外部装置互相连接以使通信成为可能，也可能由于各种因素而难以通信。即使电子装置和外部装置互相连接以使无线通信成为可能，当由于网络流量、噪音等导致无线通信环境恶劣时，通信可被延迟或者根本无法通信。
可替换地，因为电子装置和外部装置通过单向通信互相连接，所以可能难以反向通信。例如，如果电子装置连接到外部装置，以通过光通信电缆将数据发送到外部装置，电子装置可能不能从外部装置接收数据。在这种情况下，由于电子装置可能不知道外部装置的特性，所以可能难以提供适于外部装置的特性的数据。
因此，需要简单和有效的方法来执行电子装置和外部装置之间的通信。
发明内容
根据本公开的一个方面，电子装置包括：信号输出接口以及处理器，处理器被配置成：识别通过声音输入接口接收的声音的波形特性，基于由识别出的声音的波形特性所指示的多个属性，识别与识别出的声音的波形特性对应的信息，以及基于识别出的信息，通过信号输出接口向外部装置输出信号。
声音的波形特性可以包括声音的振幅、频率或周期中的任意一个或任意组合。
处理器还可以被配置为识别对应于振幅、频率或者周期的二进制数据，并且根据识别出的二进制数据识别所述信息。
处理器还可以被配置为根据振幅、频率或周期中的两个或多个的任意组合识别所述信息。
所述信息可以包括与外部装置相关的信息。
处理器还可以还被配置为：基于识别出的信息来识别外部装置的状态，并且基于识别出的外部装置的状态输出所述信号。
声音可以对应于听不见的频带。
向外部装置输出的信号可以包括音频信号。
所述信号输出接口还可以被配置为将音频信号作为光学信号输出。
处理器还可以被配置为控制电子装置向外部装置发送与识别出的信息对应的响应信息。
电子装置还可以包括通信接口，并且处理器可以被配置为基于识别出的信息来识别与外部装置有关的信息，并且基于识别出的外部装置的信息通过通信接口向外部装置发送通信信息。
电子装置可以进一步包括声音输入接口。
根据本公开的另一方面，电子装置的控制方法包括：识别通过声音输入接口接收的声音的波形特性；基于由声音的波形特性所指示的多个属性，识别与识别出的声音的波形特性对应的信息；以及基于识别出的信息通过电子装置的信号输出接口向外部装置输出信号。
声音的波形特性可以包括声音的振幅、频率或周期中的任意一个或任意组合。
该控制方法还可以包括识别对应于振幅、频率或者周期的二进制数据，并且根据识别出的二进制数据识别所述信息。
可以根据振幅、频率或周期中的两个或多个的任意组合识别所述信息。
所述信息可以包括与外部装置相关的信息。
该控制方法还可以包括：基于识别出的信息来识别外部装置的状态，并且基于识别出的外部装置的状态输出所述信号。
声音可以对应于听不见的频带。
向外部装置输出的信号可以包括音频信号。
根据本公开的一个方面，电子装置包括信号输入接口、声音输出接口和处理器，处理器被配置为：识别与将发送至向信号输入接口提供音频源信号的外部装置的信息对应的二进制数据；生成指示该二进制数据的声音信号；通过声音输出接口输出声音信号。
该二进制数据可以包括两个比特，声音信号可包括第一频率的第一音调和第二频率的第二音调，第一音调指示二进制数据的第一比特，第二音调指示二进制数据的第二比特。
二进制数据可包括三个比特，二进制数据的第三比特可以由第一音调和第二音调同时输出的周期所表示。
根据本公开的一个方面，电子装置的控制方法包括：识别与将发送至向电子装置的信号输入接口提供音频源的外部装置的信息对应的二进制数据；生成指示该二进制数据的声音信号；通过电子装置的声音输出接口输出声音信号。
附图说明
本公开的某些实施方式的以上和其它方面、特征和优点将通过结合附图的以下描述变得更加显而易见，其中：
图1是示出根据实施方式的电子装置和外部装置的示意图；
图2是根据实施方式的电子装置和外部装置的配置框图；
图3是示出根据实施方式操作电子装置的方法的流程图；
图4是根据实施方式指示与外部装置的信息对应的属性的属性值的DB的示例性图表；
图5是示出根据实施方式的由电子装置捕捉的声音的生成周期的曲线图；
图6是示出根据实施方式的由电子装置捕捉的声音对于不同频率的强度的曲线图；
图7是示出根据实施方式的电子装置和外部装置之间执行的操作过程的示意图；
图8是示出根据实施方式的由电子装置将从外部装置输出的声音的分析结果反馈到外部装置的方法的流程图；
图9是根据实施方式的由电子装置基于识别出的信息调整输出信号的方法的示意图；
图10是根据实施方式的由电子装置基于识别出的信息调整输出模式的示意图；
图11是根据实施方式基于识别的信息显示允许用户通过电子装置选择是否改变模式的UI的示意图；
图12是根据实施方式用于通过声音彼此交换信息的电子装置和外部装置的配置框图；
图13是根据实施方式的包括多个装置的系统的示意图；
图14是示出根据实施方式当电子装置捕捉声音时电子装置、输入装置和外部装置之间的信号传输/接收关系的示意图；以及
图15是示出根据实施方式当输入装置捕捉声音时电子装置、输入装置和外部装置之间的信号传输/接收关系的示意图。
具体实施方式
在下文中，将参考附图详细地描述本公开的实施方式。除非另外另有规定，参考每个附图描述的实施方式不是互相排斥的配置，并且多个实施方式可以在一个装置中被选择性地结合和实施。多个实施方式的结合可以由在本领域技术人员在实施本公开的精神中任意地选择和应用。
在本文中，术语“第一”和“第二”可用于相应的部件，而与重要性和次序无关，并用于将一个部件与另一个部件进行区分，而不用于限制部件。例如，“第一”部件也可命名为“第二”部件，“第二”部件也可命名为“第一”部件，而不偏离本公开的范围。
当用在元素列表之前时，例如“……中的至少之一”的表述对整个元素列表进行修改，而不对列表中单独的元素进行修改。例如，表达“a、b和c中的至少之一”应当理解为包括仅a、仅b、仅c、a和b、a和c、b和c、以及a、b、c全部。
图1是示出根据实施方式的电子装置和外部装置的示意图。
如图1所示，根据实施方式的电子装置110被实施为例如电视的能够显示图像的显示装置。电子装置110可被实施为计算机、平板电脑、便携式媒体播放器、可穿戴设备、视频墙、电子相框、显示装置、没有显示器的例如机顶盒的图像处理装置、例如冰箱或洗衣机的家用电器或者例如计算机机身的信息处理装置。此外，电子装置110可以是在固定位置安装并使用的装置，或者是用户可以在移动时携带并使用的移动设备。
外部装置120是与电子装置110分离的装置，并且可被实施为例如条形音箱。然而，外部装置120不限于条形音箱，并且外部装置120也可以被实施为各种类型的装置，类似于电子装置110的情况。
电子装置110和外部装置120仅是为了方便而引入的术语，用以区分两个分离的装置，这些装置和类似的装置的类型不被术语所限制。提供电子装置110以捕捉声音，而提供外部装置以输出声音。因此，外部装置120具有输出声音的扬声器121。
电子装置110具有捕捉声音的麦克风111。可替换地，麦克风111可以不安装在电子装置110的主体中，而是可以安装在被提供以与电子装置110无线通信并控制电子装置110的远程控制器130中。在前一种情况下，由麦克风111捕捉的声音被转换为音频信号并被发送到电子装置110的处理器。在后一种情况下，由麦克风捕捉的声音在远程控制器130中被转换为音频信号，转换为无线信号，被发送到电子装置110，最后被发送到电子装置110的处理器。
电子装置110连接到外部装置120，以将数据发送到外部装置120。作为示例，电子装置110和外部装置120根据单向通信方法互相连接，以及例如可以通过光通信电缆互相连接。作为另一个示例，电子装置110和外部装置120可以根据双向通信方法互相连接。光通信方法是数据在发送端被转换为光信号并通过光缆被发送到接收端的方法。根据光通信方法，发送端具有发送光信号的光发射元件(例如，发光二极管(LED))，而接收端具有接收光信号的光接收元件(例如，光电二极管)。也就是说，基于光通信方法，发送端可不具有光接收元件，因此不能从不包括光发射元件的接收端接收数据。
例如，电子装置110(其为电视)具有显示图像的显示单元(例如，显示面板)和输出音频的扬声器。当在显示单元上显示图像时，电子装置110可不通过其中提供的扬声器输出音频，而是可通过光缆向外部装置120(条形音箱)发送音频信号。外部装置120向扬声器121输出从电子装置110接收的音频信号。
在下文中，将描述电子装置110和外部装置120的配置。
图2是根据实施方式的电子装置和外部装置的配置框图。
如图2所示，电子装置210包括通信接口211、信号输出接口212、显示器213、用户输入接口214、存储器215、麦克风216、扬声器217和处理器218。外部装置220包括外部装置通信接口221、外部装置信号输入接口222、外部装置存储器225、外部装置扬声器227和外部装置处理器228。
在下文中，将描述电子装置210的配置。尽管电子装置210被描述为电视，但是实施方式不限于此，并且电子装置210可以被实施为各种类型的装置。根据实施方式，电子装置210可以不实施为显示装置，并且在这种情况下，电子装置210可以不包括用于显示图像的部件，例如显示器213。例如，当电子装置210被实施为机顶盒时，电子装置210可以通过信号输出接口212向外部电视输出图像信号。
通信接口211是双向通信电路，该双向通信电路包括对应于各种类型的有线和无线的通信协议的、例如通信模块和通信芯片的至少一个部件。例如，通信接口211可以被实施为根据Wi-Fi系统与接入点(AP)执行无线通信的无线通信模块、例如蓝牙的执行一对一直接无线通信的无线通信模块、或者以有线方式连接到路由器或者网关的局域网(LAN)卡。通信接口211可以在网络上与服务器通信，以向服务器发送数据包以及从服务器接收数据包。
通信接口211可以通过与从电子装置210的主体分离的远程控制器通信来接收从远程控制器发送的控制信号。当提供远程控制器以发送红外信号时，通信接口211可以包括红外接收模块(例如，红外光电二极管)。此外，远程控制器可支持直接无线通信，并且可以通过包括在通信接口211中的无线通信模块来进行与远程控制器的通信。
信号输出接口212被配置为例如通过电线或电缆以1:1或者1：N(N是自然数)的方法与例如机顶盒或者光学媒体播放器的外部装置连接，以向外部装置输出数据。信号输出接口212可以包括根据预定的传输标准的连接器、端口等，例如HDMI(高清多媒体接口)端口、DisplayPort(显示接口)、DVI(数字视频接口)端口、雷电接口和USB端口。
信号输出接口212可包括单向通信模块。单向通信模块是被提供以仅以一个方向从电子装置210向外部装置220发送信号的通信模块，并且包括例如光通信模块。光通信模块包括光通信芯片和光通信端口，该光通信芯片将数据转换成光信号，光缆连接到光通信端口以输出光信号。然而，实施方式不限于此，除了光通信模块之外，信号输出接口212还可以包括根据各种标准的单向通信模块。
显示器213包括可以在屏幕上显示图像的显示面板。显示面板被提供为例如液晶类型的光接收结构或者例如有机LED(OLED)类型的自发光结构。根据显示面板的结构，显示器213可以进一步包括附加部件。例如，如果显示面板是液晶类型，则显示器213包括液晶显示面板、提供光的背光和驱动液晶显示面板的液晶层的面板驱动基片。
用户输入接口214可包括各种类型的输入接口相关的电路，输入接口相关的电路被提供以被用户操作来执行用户输入。用户输入接口214可以根据电子装置210的类型以各种形式配置，并且可包括例如电子装置210的机械或电子按钮单元、触摸板、安装在显示器213上的触摸件等中的一个或多个。
存储器单元215存储数字化的数据。存储器215包括非易失性存储器和易失性内存，非易失性存储器可以保存数据而不管存储器是否被供电，易失性内存可以加载被处理器218处理的数据而且当存储器未被供电时不能保存数据。非易失性存储器包括例如闪存、硬盘驱动器(HDD)、固态硬盘(SSD)、只读存储器(ROM)等中的一个或多个，易失性内存例如包括缓冲器、随机存取存储器(RAM)等中的一个或多个。
麦克风216或声音接收器基于电子装置210的外部环境中的声音生成音频信号。麦克风216向处理器218发送音频信号。可以在电子装置210的主体中安装麦克风216，或者可以在与电子装置210的主体分离的远程控制器中安装麦克风216。在后一种情况下，从远程控制器将由麦克风216生成的音频信号接收至通信接口211。更详细地描述后一种情况，由远程控制器的麦克风216生成的音频信号被转换成数字信号。基于能够与通信接口211通信的协议，例如蓝牙、Wi-Fi和紫蜂(ZigBee)，远程控制器向通信接口211发送转换的数字信号。由通信接口211接收的数字信号被发送到处理器218并被处理。
扬声器217被提供为将由处理器218处理的音频信号作为声音输出。例如，扬声器217可包括根据音频信号振动的一个或多个扬声器。电子装置210自身可以包括扬声器，但是实施方式不限于此，电子装置210也可以不包括扬声器217。
处理器218包括一个或多个硬件处理器，硬件处理器被实施为安装在印刷电路板上的CPU、芯片组、缓冲器、电路等，而且根据设计方法，处理器218可以被实施为芯片上系统(SOC)。当电子装置210被实施为显示装置时，处理器218包括可被配置为执行各种过程的模块，例如解复用器、解码器、定标器、音频数字信号处理器(DSP)和放大器。在这里，这些模块中的一些或者所有都可以被实施为SOC。例如，关于图像处理的模块(例如解复用器、解码器和定标器)可以被实施为图像处理SOC，以及音频DSP可以被实施为与SOC分离的芯片组。
此外，处理器218可以通过扬声器217输出声音。可替换地，处理器218可以通过信号输出接口212向外部装置220输出由麦克风216获得的音频信号，并且最后通过外部装置220的外部装置扬声器227输出基于音频信号的声音。
在下文中，将描述外部装置220的配置。
外部装置通信接口221是双向通信电路，包括对应于各种类型的有线和无线通信协议的、例如通信模块和通信芯片的至少一个部件。外部装置通信接口221可以包括基于例如Wi-Fi和蓝牙的各种标准的通信芯片。在本实施方式的情况下，指出了外部装置220包括外部装置通信接口221，但是不一定必须在外部装置220中提供外部装置通信接口221。根据以下描述的实施方式的操作涉及外部装置220可以不通过外部装置通信接口221与电子装置210通信的情况，或者外部装置220因为预定的原因难以通过外部装置通信接口221与电子装置210通信的情况。其细节将在之后描述。
外部装置信号输入接口222可连接到电子装置210，以接收来自电子装置210的数据和信号。根据实施方式，外部装置信号输入接口222可在单向通信的基础上连接到电子装置210，例如，外部装置通过光缆连接到电子装置210。在光通信的情况下，外部装置信号输入接口222包括例如接收光信号的光接收元件和将接收的光信号转换成数字信号的转换芯片的部件。在这种情况下，外部装置信号输入接口222可以从电子装置210接收信号，但是不可以向电子装置210发送信号。
外部装置存储器225存储数字化的数据。外部装置存储器225包括非易失性存储器和易失性内存。例如，外部装置存储器225存储被外部装置处理器228所引用的各种信息。
外部装置扬声器227将通过外部装置信号输入接口222接收的音频信号或基于存储在外部装置存储器225中的数据的音频信号作为声音输出。例如，外部装置扬声器227可包括根据音频信号振动的一个或多个扬声器。
外部装置处理器228包括一个或多个硬件处理器，硬件处理器被实施为安装在印刷电路板上的CPU、芯片组、缓冲器、电路等。例如，外部装置处理器228处理通过外部装置信号输入接口222接收的音频信号，并且通过外部装置扬声器227将处理的音频信号作为声音输出。此外，外部装置处理器228可以向电子装置210发送预定的信息而不经过外部装置通信接口221或者外部装置信号输入接口222。因此，电子装置210可以从外部装置220获得信息而不经过通信接口211或者信号输出接口212，以及执行对应于获得的信息的操作。
在下文中，将描述根据实施方式的电子装置的操作。
图3是示出操作电子装置的方法的流程图。
如图3所示，下列操作是在电子装置的处理器的控制下执行。例如，电子装置可单向地连接到外部装置以向外部装置发送信号，并且外部装置不可以通过该连接向电子装置发送信号，但是实施方式不限于此，电子装置和外部装置之间的连接也可以包括双向通信。
在步骤310中，电子装置从外部环境接收声音。
在步骤320中，电子装置分析接收的声音的波形。
在步骤330中，电子装置识别接收的声音的波形特性。
在步骤340中，电子装置根据接收的声音的波形特性获得外部装置可以发送的多条预先定义的信息。
在步骤350中，电子装置基于多条获得的信息来识别对应于识别出的声音的波形特性的信息。
在步骤360中，电子装置基于识别出的信息向外部装置发送信号。可替换地，电子装置根据对应于识别的信息的设置调整向外部装置输出的信号。根据本实施方式的电子装置将调整向外部装置输出的信号举例作为对应于识别的信息的随后操作。然而，实施方式不限于此，并且可以被应用到以下描述的其它示例和未明确地在本实施方式中提及的各种其它随后操作。
因此，电子装置可以以简单的方式从外部装置获得预先确定的信息，甚至不用经过通信接口或者信号输入/输出接口。
同时，电子装置的处理器可以识别如上所述的从外部装置输出的声音的波形特性，并且通过使用机器学习、神经网络或者深度学习算法中的至少一个作为基于规则或者人工智能算法，基于对应于识别的波形特性的信息，执行用于执行向外部装置输出信号的操作的数据分析、处理和结果信息生成中的至少一些。
例如，电子装置的处理器可以同时执行学习单元和识别单元的功能。学习单元可以执行生成训练过的神经网络的功能，以及识别单元可以执行使用训练过的神经网络识别(或者推理、预测、估计以及确定)数据的功能。学习单元可以生成或者更新神经网络。学习单元可以获得学习数据以生成神经网络。例如，学习单元可以从电子装置的存储器或者从外部获得学习数据。学习数据可以是用于学习神经网络的数据，以及可以使用执行以上所述的操作的数据作为学习数据来训练神经网络。
在使用学习数据训练神经网络之前，学习单元可以对获得的学习数据执行预处理操作，或者从多个学习数据中选择要用于学习的数据。例如，学习单元可以以预先确定的格式、过滤器处理或者过滤学习数据，或者可以通过添加/去除噪音以适合于学习的数据的形式处理学习单元。学习单元可以使用经过预处理的学习数据生成被配置成执行以上所述的操作的神经网络。
可以由多个神经网络(或者层)组成训练过的神经网络。多个神经网络的节点具有权重，并且多个神经网络可以彼此连接，以使得一个神经网络的输出值被用作其它神经网络的输入值。神经网络的示例可以包括模型，例如卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向递归深度神经网络(BRDNN)和深度Q网络。
为了执行以上所述的操作，识别单元可以获得目标数据。可以从电子装置的存储器或者外部获得目标数据。目标数据可以是将要被神经网络所识别的数据。在将目标数据应用于训练过的神经网络之前，识别单元可以对获得的目标数据执行预处理操作，或者从多个目标数据中选择用于识别的数据。例如，识别单元可以以预先确定的格式、过滤器处理或者过滤目标数据，或者可以通过添加/去除噪音以适合于识别的数据的形式处理识别单元。识别单元可以通过将预处理的目标数据应用于神经网络来获得从神经网络输出的输出值。识别单元可以连同输出值一起获得概率值或者可靠性值。
在下文中，当外部装置基于外部装置的环境信息输出声音时，根据实施方式(将在下文描述)的电子装置捕捉声音、分析捕捉的声音的波形并且识别对应于波形特性的外部装置的信息。以下描述的实施方式仅是用于实施以上描述的电子装置的操作的各种示例中的一个，而且应该理解的是特定的示例不限制本公开。
图4是根据实施方式的表示与外部装置的信息对应的属性的属性值的DB的示意图。
如图4所示，外部装置发送到电子装置的信息(即，特性信息)包括例如各种关于外部装置的特性。这个信息基于各种外部装置的特性，例如外部装置的装置属性、外部装置的装置状态、外部装置的使用环境和外部装置的使用历史。特别地，外部装置的特性的示例包括外部装置的模型名字、生产商和生产日期、外部装置支持的通道数、外部装置是否支持低音、外部装置支持的输入模式和输出模式、外部装置的使用寿命和周围环境等。
外部装置的特性信息包括外部装置可能具有的这些各种特性中对应于该外部装置的特性的信息值。例如，特性信息具有例如输入模式、输出模式、模型等项。就这一点而言，外部装置的特性信息值可以指示外部装置是否支持数字输入(D.In)的输入模式和为音乐优化的声音模式(输出模式)。用这种方法，各种类型的外部装置可以具有唯一的信息值。
为了区分各种外部装置的特性信息，提供包括分别对应于多个信息值的频率和周期的映射数据的DB 400。DB 400被提供为包括各种信息值，以使得可以共同参考多个具有不同特性的外部装置和各种电子装置。
根据DB 400，对应于一个信息值的映射数据可被提供为通过外部装置的扬声器以声音的形式输出，并且根据周期和频率的属性，对应于一个信息值的映射数据包括二进制数据。
DB 400的周期代表输出映射数据的重复周期。输出的重复的数目可以被确定为预设值，而且根据设计方法可以应用各种值。例如，当映射数据的输出的次数被指定为六次，并且预先确定的映射数据的周期是300ms时，映射数据被指定为通过扬声器每300ms重复输出6次。
关于DB 400的频率，提前准备的多个频率被指定为对应于映射数据的二进制值的每一位。多个频率被指定为彼此不同，并且可以在任何频带中被指定。然而，优选的是从听不见的频带指定这些频率。这是因为听不见的频带是普通用户听不见的频带，并且当映射数据使用听不见的频带时，可以最小化例如生活噪音的噪音干扰。自然地，如果噪音的防范措施是充足的时候，对于映射数据来说也可使用听得见的频带。
当提前准备的多个频带例如是DB 400中的17.0kHz、17.5kHz、18.0kHz、18.5kHz和19.0kHz时，每一个频率都具有0或者1的值(也就是说关或者开)。当频率的值为0时，表示输出信号从而使得在对应频率的输出信号的强度低于预设的阈值。另一方面，当频率的值为1时，表示输出信号从而使得在对应频率的输出信号的强度大于以上描述的阈值。例如，当预先确定的映射数据的值是[10001]时，在频率17.0kHz处的值代表1，在频率17.5kHz处的值代表0，在频率18.0kHz处的值代表0，在频率18.5kHz处的值代表0以及在频率19.0kHz处的值代表1。
0或1的值代表波形振幅的大小，其中，0代表相对小的振幅，而1是相对大的振幅。可替换地，0可以代表振幅小于预先定义的设定值的情况，而1可以代表振幅大于设定值的情况。总的来说也就是，因为二进制数据可以代表振幅的属性，因此作为声音输出的映射数据具有结合振幅、频率和周期的波形特性。
如上所述，通过结合周期和频率来如下组织映射数据。DB 400指定对应于某些信息值的周期和对应于多个频率的二进制数据。外部装置可以在以上描述的每个周期通过输出基于二进制数据的声音向电子装置发送对应的信息值。
例如，假定要被外部装置发送的信息值是D.In的输入模式。因此，外部装置基于DB400在每个周期输出基于每个频率17.0kHz、17.5kHz、18.0kHz、18.5kHz和19.0kHz处的数据[10001]的声音，并且每300ms重复这个周期。电子装置可以通过捕捉从外部装置输出的声音并分析声音波形来从外部装置获得表明D.In的输入模式的信息。
作为另一个示例，假定要被外部装置发送的信息值是音乐的输出模式。因此，外部装置基于DB 400在每个周期输出基于每个频率17.0kHz、17.5kHz、18.0kHz、18.5kHz和19.0kHz处的数据[01011]的声音，并且每300ms重复这个周期。电子装置可以通过捕捉从外部装置输出的声音并分析声音波形来从外部装置获得表明音乐的输出模式的信息。
在下文中，将描述电子装置捕捉并分析从外部装置输出的声音的示例。
图5是示出根据实施方式由电子装置捕捉的声音的生成周期的曲线图。
如图5所示，波形曲线图500可以代表在电子装置中被麦克风捕捉的声音。在这里，电子装置不一定必须实际上画波形曲线图500，而且电子装置可以根据能够分析声音波形的预先确定的程序代码或者算法来执行分析操作。
电子装置例如可以如曲线图500所示代表时间维度的声音波形，以确定是否检测到声音。在这个曲线图500中，横轴代表时间，而纵轴代表是否检测到声音。在这个曲线图500中，在600ms和1200ms处，纵轴的值从0变成1，纵轴的值保持为1的时间被表示为300ms。也就是说，声音可以被分析为具有300ms的单位长度和600ms的周期。参考图4的DB 400，可以识别的是600ms的周期表明输出模式的信息值。
用这种方法，电子装置可以从捕捉的声音的波形识别周期。
图6是示出由电子装置捕捉的声音对于每个频率的强度的曲线图。
如图6所示，波形曲线图可以代表由电子装置中的麦克风捕捉的声音。这个曲线图代表频率维度的声音的强度，在曲线图中，横轴代表频率，纵轴代表强度。
电子装置检查在预先定义的频率处信号强度是否超过阈值。例如，电子装置检查预先定义的频率17.0、17.5、18.0、18.5和19.0(单位kHz)中的每一个处的声音的强度是否大于预设的第一阈值。作为检查的结果，如果对应的目标频率的强度大于第一阈值，则指定二进制值为1，否则，指定二进制值为0。通过根据频率的顺序安排二进制值，获得被捕捉的声音表示的一系列二进制数据。
根据这个曲线图的示例，由于在17.0kHz的频率处代表1、在17.5kHz的频率处代表0、在18.0kHz的频率处代表1、在18.5kHz的频率处代表0以及在19.0kHz的频率处代表1，所以在这个曲线图中可以看见声音波形代表二进制数据[10101]。参照以上图4的DB 400，可以识别出二进制数据[10101]对应于输出模式中标准的信息值。
尽管描述了根据在频率处的响度来识别0或1的二进制值的实施方式，但是实施方式不限于此，还可使用识别二进制值的其他方法。例如，在预先确定的时机处波形的高强度表示在该时机处波形的振幅是大的。例如，电子装置可检查在每个频率处声音的振幅是否大于预设的第二阈值。作为检查的结果，如果在每个对应目标频率处的振幅大于第二阈值，则指定二进制值为1，否则，指定二进制值为0。
根据这个方法，电子装置可以分析由麦克风捕捉的声音的波形、根据分析结果识别声音波形的特性以及对应于识别的特性来识别信息。
在下文中，将描述由电子装置和外部装置中的每一个执行的操作过程。
图7是示出电子装置和外部装置之间执行的操作过程的示意图。
如图7所示，下列操作在电子装置701的处理器和外部装置702的处理器的控制下执行。
在步骤710中，电子装置701和外部装置702中的每个都获得对应于外部装置的有关信息的二进制数据的DB。也就是说，电子装置701和外部装置702获得用于共同参考的DB。可替换地，对于电子装置701，即使不一定在步骤710中获得DB，也可以在之后必要时获得DB。
在步骤720中，外部装置702在DB中识别与将要向电子装置701通知的信息的信息值对应的二进制数据。例如，二进制数据被提供为对应于频率和周期。
在步骤730中，外部装置702将识别出的二进制数据作为声音输出。外部装置702根据在DB中指定的一个或多个频率和周期通过扬声器输出二进制数据。
在步骤740中，电子装置701捕捉从外部装置702输出的声音、分析捕捉的声音的波形以及导出二进制数据。由电子装置701导出二进制数据的方法通常与由外部装置702输出基于二进制数据的声音的方法反向进行。
在步骤750中，电子装置701在DB中识别对应于导出的二进制数据的信息值。由于电子装置701中的DB和外部装置702中的DB相对应，因此电子装置701可以获得最初外部装置702想要的信息值。
在步骤760中，电子装置701基于识别出的信息值调整信号。例如，当提供电子装置701以向外部装置702输出音频信号时，电子装置701可以对应于识别出的信息值(输入模式、输出模式、外部装置702的模型、外部装置702支持的音频通道等)调整音频信号的音频特性。
在步骤770中，电子装置701输出调整的信号。例如，电子装置701可以根据单向通信标准输出信号，但是不限于这个情况。可以实施分离的通信，外部装置702通过该分离的通信向电子装置701发送信号。
在步骤780中，外部装置702处理从电子装置701输出的调整的信号。例如，当外部装置702是条形音箱以及调整的信号是音频信号时，外部装置702通过其中提供的扬声器将对应的音频信号作为声音输出。
如上所述，将要被外部装置发送的信息可以由与周期、频率和振幅(或者强度)对应的二进制数据表示。然而，实施方式不限于此，而且周期、频率和振幅的两个或更多给参数的组合可以被选择性地使用，或者一些参数可以被代替。
例如，在之前的实施方式中的二进制数据包括分别在多个预先定义的频率处的二进制值，因此可以被认为是对应于频率和振幅的数据。在之前的实施方式中，与周期有关的参数被添加到二进制数据。然而，根据设计方法，也可以不考虑周期，而是仅考虑频率和振幅。
可替换地，即使当考虑频率和振幅时，根据频率或者振幅的变化，在声音中可以包含更多信息。
在频率的情况下，随着预先定义的频率的数目增加，数据的长度增加，并且可以被对应的数据发送的信息的梁也增加。
在振幅的情况下，仅基于在之前实施方式中预先确定的阈值考虑值是大还是小，并且作为结果，对于每一个频率仅表示0或1的二进制值。然而，可定义多个阈值。在这种情况下，对于每一个频率可以被代表的值也增加。例如，当定义了第一阈值和大于第一阈值的第二阈值时，电子装置可以确定如果在预先确定的频率处的振幅低于第一阈值，则值是0，以及如果振幅在第一阈值和第二阈值之间，则值是1，如果振幅大于第一和第二阈值，则值是2等。在这种情况下，对于每个频率可以识别三个值。
关于以上描述的参数的代替，例如，外部装置可以在基于二进制数据的声音之前输出预设的触发声音，而不是在每个预设的周期重复地输出声音。触发声音是电子装置可以识别的预先定义的声音，并且作为一种标头。当检测到触发声音时，电子装置可以识别出其后检测到的声音包含从外部装置发送的信息。
如在以上描述的实施方式中，当未实施装置之间的双向通信时，可以使用装置之间通过声音发送信息的方法。然而，当两个装置之间实施双向通信时，也可以使用它。
例如，即使电子装置701和外部装置702共同支持蓝牙无线通信标准，电子装置701和外部装置702中的一个可能已经与其它装置配对。在这种情况下，电子装置701和外部装置702不能执行蓝牙通信，除非在其间执行新的配对过程。外部装置702可以通过用声音向电子装置701发送信息来处理这种情况。
可替换地，在电子装置701和外部装置702之间可实施双向无线通信，并且可在其间实施配对，但是由于例如系统负载、流量和网络环境中的噪音的各种原因，可能难以通过双向无线通信发送信息。例如，当电子装置701正在向外部装置702发送高容量数据时，对于外部装置702，可能难以使用附加频带以向电子装置701发送信息。外部装置702可以通过用声音向电子装置701发送信息来处理这种情况。
执行操作的时机不限于特定的时机，并且可以被不同地指定。例如，当打开供电并完成启动时，电子装置701可以向外部装置702发送一种触发信号，以使得外部装置702输出对应于信息的声音。不限制发送触发信号的方法，并且可以应用各种通信方法。
可替换地，当执行预设的用户输入时，电子装置701可以向外部装置702发送触发信号。可替换地，当在外部装置702上执行预设用户输入时，外部装置702可被提供为输出对应于信息的声音。
可替换地，在电子装置701或者外部装置702中提供的AI助手可以响应于预设的事件而执行操作。例如，在来自电子装置701的音频信号被设置为从外部装置702作为声音输出的情况下，当识别到从电子装置701而不是从外部装置702的扬声器输出对应的音频信号时，AI助手可以执行以上描述的操作。可替换地，如果AI助手识别出外部装置702的输入/输出模式不对应于电子装置701的输入/输出模式，则可以执行以上描述的操作。
已经描述了电子装置识别从外部装置输出的声音的波形并立即反映识别出的结果的情况。然而，实施方式不限于此。例如，如果电子装置和外部装置允许分离的双向通信，那么，根据设计方法，可以应用由电子装置向外部装置反馈识别出的结果的方法。在下文中，将描述这些实施方式。
图8是示出根据实施方式通过电子装置将从外部装置输出的声音的分析结果反馈到外部装置的方法的流程图。
如图8所示，在电子装置的处理器的控制下执行下列操作。
在步骤810中，电子装置从外部环境接收声音。
在步骤820中，电子装置识别对应于接收的声音的波形特性的信息。由电子装置识别这个信息的方法与以上所描述的方法类似。
在步骤830中，电子装置向外部装置发送信息，用于对识别出的信息进行认证。例如，电子装置向外部装置反馈识别出的信息，以使得外部装置可以认证(或确认)信息是否正确。发送方法未被限制，例如，可以应用各种方法，比如按照向外部装置单向通信的方法、按照在电子装置和外部装置之间附加地实施的双向通信的方法或者类似于外部装置的情况通过声音发送信息的方法。
在步骤840中，电子装置接收从外部装置反馈的信息是否通过认证的结果。
在步骤850中，电子装置识别接收的结果是否表明对应的信息通过认证。
如果接收的结果表明通过了认证，在步骤860中，电子装置则基于经认证的对应的信息向外部装置输出信号。
另一方面，如果接收的结果未表明通过认证，在步骤870中，电子装置则请求外部装置再次输出对应于信息的声音。然后，电子装置进行步骤810，以执行再一次分析从外部装置再输出的声音的操作。
如果分析结果未通过认证的次数大于或等于预设的值，电子装置则停止重复以上描述的过程并执行另外的操作。例如，电子装置可以通过显示表明当前情况的错误信息来通知用户。
尽管电子装置和外部装置之间的双向通信时可能的，但是可能存在外部装置通过声音输出向外部装置发送信息的几个原因。例如，由于例如流量和噪音的网络问题，电子装置和外部装置之间的双向通信可能不适合于在当前时间使用。可替换地，即使双向通信是可用的，为了在包括许多装置的IoT环境中确保各种信息发送方法，也可以使用类似于本实施方式的方法作为一部分。
同时，电子装置可以基于识别出的信息调整将要输出到外部装置的信号的各种设置或状态。在下文中，将描述这样的调整操作的示例。
图9是根据实施方式由电子装置基于识别出的信息调整输出信号的方法的示意图。
如图9所示，电子装置910输出音频信号，而外部装置920通过扬声器将从电子装置910输出的音频信号作为声音输出。在这里，外部装置920可以根据在之前实施方式中描述的方法向电子装置910发送表明外部装置920的输出模式的信息。例如，这个信息可以表明外部装置920的输出模式时音乐模式。
电子装置910可以具有存储分别对应于多个输出模式的用于音频信号的预先确定的状态的抵消值的表格930。例如，在表格930中，如果外部装置的输出模式是标准，则可以指定预先确定的第一值的抵消值，如果外部装置的输出模式是电影，则可以指定预先确定的第二值的抵消值，以及如果外部装置的输出模式是音乐，则可以指定预先确定的第三值的抵消值。
如果从外部装置920接收的信息表明外部装置的输出模式是音乐，电子装置910识别出第三值，第三值是在表格930中对应于音乐的输出模式的抵消值。电子装置910将识别出的第三值反映并输出至音频信号。因此，被外部装置920接收的音频信号以对应于外部装置920的输出模式修正电子装置910的状态被接收。在这里，可能存在各种方法在音频信号中反映抵消值，并且可以调整各种音频信号的状态，例如音频信号的音量、通道和频率。
用这种方法，电子装置910可以通过反映从外部装置920接收的信息来调整输出信号。在本实施方式中，已经描述了调整与外部装置920的输出模式对应的音频信号的抵消值。然而，电子装置910从外部装置920接收的信息不限于输出模式，并且基于接收的信息调整信号的方法不限于抵消值。
图10是根据实施方式由电子装置基于识别出的信息调整输出模式的示意图。
如图10所示，电子装置1010输出音频信号，而外部装置1020基于从电子装置1010输出的音频信号操作未通过扬声器输出声音。在这里，外部装置1020可以根据在之前实施方式中描述的方法向电子装置1010发送表明外部装置1020的输入模式的信息。例如，这个信息可以表明外部装置1020的输入模式是D.In模式。
电子装置1010可以具有用于输出音频信号的多个输出模式1031、1032和1033。例如，电子装置1010是基于通信接口或者信号输入/输出接口的硬件结构的，并且包括各种输出模式1031、1032和1033，例如D.In输出模式1031、HDMI输出模式1032和BT输出模式1033。
如果从外部装置1020接收的信息表明外部装置1020的输入模式是D.In模式，电子装置1010则将电子装置1010的输出模式调整到D.In输出模式1031，以使得电子装置1010的输出模式对应于外部装置1020的输入模式。电子装置1010通过D.In输出模式1031输出音频信号，所以外部装置1020可以通过D.In输入模式接收音频信号。
图11是根据实施方式显示允许用户基于识别出的信息选择是否通过电子装置改变模式的UI的示意图。
如图11所示，电子装置1110输出音频信号，而外部装置1120基于从电子装置1110输出的音频信号操作为通过扬声器输出声音。在这里，外部装置1120可以根据以上描述的方法向电子装置1110发送表明外部装置1120的输入模式的信息。例如，这个信息可以表明外部装置1120的输入模式是D.In模式。
当接收到表明外部装置1120的输入模式的信息时，电子装置1110响应于该信息显示UI 1130，UI 1130包括提示用户允许改变电子装置1110的输出模式的消息。
当用户通过UI 1130指示改变电子装置1110的输出模式时，电子装置1110将输出模式改变成对应于外部装置的输入模式的模式。例如，基于指示外部装置的输入模式为D.In的信息和用户通过UI 1130认证了进行改变，可将输出模式改变为D.In模式。另一方面，如果用户通过UI 1130指示不改变电子装置1110的输出模式或者在预设的时间内未通过UI 1130执行输入，电子装置1110则可维持当前状态而不改变输出模式。例如，基于指示外部装置的输入模式为D.In的信息和用户未通过UI 1130认证进行改变，可维持输出模式(即，不改变为D.In)。
根据本实施方式的UI 1130执行允许用户选择电子装置1110中的设置改变的功能。然而，实施方式不限于此，并且各种设计改变是可能的。例如，当响应于从外部装置1120接收的信息发生电子装置1110的设置改变时，电子装置1110可以自动改变设置而不显示UI1130。在这里，当不能自动改变设置时，电子装置1110可以显示通知用户当前状态的消息。
可替换地，电子装置1110可以不自动改变设置，而是可以建议用户直接改变设置，或者可以显示通知用户如何直接改变设置的消息。
如上所述，包括麦克风的电子装置可分析从包括扬声器的外部装置输出的声音的波形，并且根据分析结果从外部装置获得信息。然而，实施方式不限于此，根据上述方法，外部装置从电子装置获得预先确定的信息也是可能的。在下文中，将描述这些实施方式。
图12是根据实施方式通过声音彼此交换信息的电子装置和外部装置的配置框图。
如图12所示，电子装置1210包括通信接口1211、信号输出接口1212、显示器1213、用户输入接口1214、存储器1215、麦克风1216、扬声器1217和处理器1218。外部装置1220包括外部装置通信接口1221、外部装置信号输入接口1222、外部装置存储器1225、外部装置扬声器1227和外部装置处理器1228。分别包括在电子装置1210和外部装置1220中的以上描述的部件大体上与图2中的那些相同，因此将省略其详细的描述。
如图所示，外部装置1220进一步包括用于捕捉来自外部环境的声音的外部装置麦克风1226。在这个配置之下，电子装置1210和外部装置1220每个都可以通过声音发送预先确定的信息。例如，电子装置1210可通过声音向外部装置1220发送信息，并且外部装置1220可通过声音向电子装置1210发送信息。
当外部装置1220具有要向电子装置1210发送的第一信息时，外部装置1220通过外部装置扬声器1227将对应于第一信息的第一声音输出。电子装置1210可以通过麦克风1216捕捉通过外部装置扬声器1227输出的第一声音，并通过分析捕捉的第一声音的波形来获得第一信息。这个操作与以上描述的实施方式类似。
此外，当电子装置1210具有要向外部装置1220发送的第二信息时，电子装置1210通过扬声器1217将对应于第二信息的第二声音输出。外部装置1220可以通过外部装置麦克风1226捕捉通过扬声器1217输出的第二声音，并通过分析捕捉的第二声音的波形来获得第二信息。在这里，由外部装置处理器1228执行由外部装置1220执行的对第二声音的波形的分析。
如果电子装置1210发出第二声音的时机和外部装置1220发出第一声音的时机重叠，那么，在第一声音和第二声音的波形中可能分别出现扭曲。对此，电子装置1210和外部装置1220可以使用使输出声音的时机不重叠的各种方法。例如，电子装置1210和外部装置1220中的每一个可以在预先确定的时机输出声音。可替换地，电子装置1210和外部装置1220可以在包括在其中的麦克风捕捉到声音时，不输出用于信息发送的声音。
用这种方法，通过外部装置1220向电子装置1210发送第一信息的方法和通过电子装置1210向外部装置1220发送第二信息的方法大体上遵照相同的原则。当存在两个装置时，发送信息的发送侧需要扬声器输出声音，而接收信息的接收侧需要麦克风捕捉声音。也就是说，当装置包括扬声器和麦克风两者时，该装置可以执行信息的发送和接收两者。
这样的发送信息的方法不限于两个装置之间的通信，并且可以在包括三个或更多装置的IoT环境下被执行。在下文中，将描述这些实施方式。
图13是根据实施方法包括多个装置的系统的示意图。
如图13所示，系统包括多个电子装置1310。多个电子装置1310互相连接以通过例如AP 1330来允许彼此间的无线通信。考虑在这样的系统环境下外部装置1320最近进入的情况。
根据IEEE 802.11的一般过程，为了外部装置1320连接为与AP1330无线通信，其包括发现过程(包括信标、探测请求和探测响应的步骤)、包括认证请求和认证响应的认证过程以及包括关联请求和关联响应步骤的连接过程。在下文中，将描述根据IEEE 802.11的外部装置1320和AP 1330之间的示例性通信连接过程。
在信标步骤中，AP 1330根据广播方式发出包括AP 1330的网络信息的信标。在探测请求步骤中，根据信标的接收，外部装置1320向发出信标的AP 1330发送探测请求以尝试接入。探测请求包括外部装置1320的ID，例如外部装置1320的MAC地址。在探测响应步骤中，AP 1330响应于来自外部装置1320的探测请求发送探测响应。
在认证请求步骤中，外部装置1320向AP 1330发送包括关于到AP 1330的连接的认证信息的认证请求，例如用于AP 1330的使用的预设密码。在认证响应步骤中，AP 1330基于认证请求执行认证，并且向外部装置1320发送包括认证结果的认证响应。
在关联请求步骤中，外部装置1320向AP 1330发送关联请求。在关联响应步骤中，AP 1330响应于关联请求向外部装置1320发送关联响应，从而完成外部装置1320和AP 1330之间的通信连接。
如上所述，为了外部装置1320与AP 1330建立无线通信连接，需要交换很多信息的过程。在这些过程中，发送方法可以如之前的实施方式通过声音执行这些过程中的至少一些。
例如，当接收到来自AP 1330的信标时，外部装置1320可以通过包括在其中的扬声器将对应于探测请求的信息作为声音输出。通过扬声器将信息作为声音输出的方法对应于广播发送方法，因为所有包括麦克风的装置可接收到声音。例如，当AP 1330包括麦克风时，AP1330可以通过分析通过麦克风捕捉的声音的波形来获得探测请求，并且响应于探测请求向外部装置1320发送探测响应。此外，可以通过声音在各种阶段中从外部装置1320发送各种信息。
描述了在外部装置1320和AP 1330之间执行通信连接的情况，因此已经描述了外部装置1320通过AP 1330连接到多个电子装置1310。然而，当外部装置1320不经过AP 1330而与每一个电子装置1310配对时，外部装置1320可以直接与每一个电子装置1310通信。
外部装置1320通过扬声器将对于与外部装置1320通信连接必要的网络信息，例如外部装置1320的MAC地址，作为声音输出。每一个电子装置1310都捕捉声音，并通过分析过程获得外部装置1320的网络信息。即使不存在与外部装置1320的通信连接，每一个电子装置1310也可以用这种方法从外部装置1320获得预先确定的信息。尽管不限于网络信息，根据要被声音发送的信息的特性，信息的总量可以是相对大的。如上所述，通过增加当外部装置1320将信息作为声音输出时所使用的频率的数目或者按频率细分信号强度的识别范围，通过声音发送的信息的总量可以相对增加。
基于获得的外部装置1320的网络信息，每一个电子装置1310都可以被用于之后与外部装置1320配对。当电子装置1310执行与外部装置1320的配对时，根据以上方法获得的关于外部装置1320的信息不需要从外部装置1320再次被接收。例如，当获得并存储外部装置1320的ID时，电子装置1310在之后与外部装置1320配对时可跳过搜索外部装置1320的ID的过程，并使用已经获得的外部装置1320的ID来执行配对。
可替换地，当获得外部装置1320的网络信息时，电子装置1310可识别是否执行了与外部装置1320的配对。如果未执行与外部装置1320的配对，电子装置1310则可以自动执行与外部装置1320的配对。
当存在用于控制电子装置的输入装置时，输入装置可以被配置成使用以上的方法控制外部装置。在下文中，将描述这些实施方式。
图14是示出当电子装置捕捉到声音时电子装置、输入装置和外部装置之间的发送/接收关系的示例性示意图。
如图14所示，提供了电子装置1401、输入装置1402和外部装置1403。输入装置1402可以是被提供以控制电子装置1401的远程控制器，或者可以是一般用途的移动设备，在移动设备中安装有被提供为控制电子装置1401的应用(即，app)。输入装置1402存储关于用于控制电子装置1401的操作的命令的、电子装置1401的远程控制代码，因此，可以被提供为根据用户操作控制电子装置1401的操作。在下文中，将描述通过输入装置1402控制外部装置1403的操作的方法。
在步骤1410中，外部装置1403通过扬声器输出与外部装置1403的识别信息对应的声音。
在步骤1420中，电子装置1401捕捉从外部装置1403输出的声音，通过对捕捉的声音的分析来获得外部装置1403的识别信息，并且识别与获得的外部装置1403的识别信息对应的、外部装置1403的远程控制代码。电子装置1401可以从各种之前存储的远程控制代码中搜索外部装置1403的远程控制代码，并且可以从存储各种远程控制代码的服务器接收对应于外部装置1403的识别信息的远程控制代码。
在步骤1430中，电子装置1401向输入装置1402发送获得的外部装置1403的远程控制代码。输入装置1402存储从电子装置1401接收的外部装置1403的远程控制代码，因此，输入装置1402可以控制外部装置1403的操作。
在步骤1440中，基于存储的外部装置1403的远程控制代码和用户操作，输入装置1402向外部装置1403发送用于控制外部装置1403的控制命令。
在这个实施方式中，已经描述了电子装置1401捕捉从外部装置1403输出的声音的情况。然而，当在输入装置1402中提供麦克风时，输入装置1402可以被配置成捕捉对应的声音。在下文中，将描述这些实施方式。
图15是示出根据实施方式当输入装置捕捉声音时电子装置、输入装置和外部装置之间的信号传输/接收关系的示意图。
如图15所示，提供了电子装置1501、输入装置1502和外部装置1503。输入装置1502存储关于用于控制电子装置1501的操作的命令的、电子装置1501的远程控制代码，因此，可以被提供为根据用户操作控制电子装置1501的操作。
在步骤1510中，外部装置1503通过扬声器输出与外部装置1503的识别信息对应的声音。
在步骤1520中，输入装置1502捕捉从外部装置1503输出的声音，并且向电子装置1501发送捕捉的声音的音频信号。
在步骤1530中，电子装置1501通过对从输入装置1502接收的音频信号的分析来获得外部装置1503的识别信息，并且获得与获得的外部装置1503的识别信息对应的外部装置1503的远程控制代码。
在步骤1540中，电子装置1501向输入装置1502发送获得的外部装置1503的远程控制代码。
在步骤1550中，基于存储的外部装置1503的远程控制代码和用户操作，输入装置1502向外部装置1503发送用于控制外部装置1503的操作的控制命令。
如上所述，已经描述了输入装置1502向电子装置1501发送被输入装置1502捕捉的声音的音频信号以分析音频信号。然而，实施方式不限于此，用于执行音频信号的分析的装置不仅限于电子装置1501，而是各种设计改变都是可能的。
例如，输入装置1502可以分析音频信号。在这种情况下，输入装置1502可通过捕捉的声音的音频的分析来获得外部装置1503的识别信息。输入装置1502向电子装置1501或者服务器发送获得的识别信息，并且可获得与外部装置1503的识别信息对应的外部装置1503的远程控制代码。
可替换地，与输入装置502通信的服务器可以分析音频信号。在这种情况下，输入装置1502可向服务器发送音频信号，并且从服务器获得外部装置1503的识别信息或者外部装置1503的远程控制代码。当从服务器获得外部装置1503的识别信息时，输入装置1502向另一个服务器发送外部装置1503的识别信息，以从另一个服务器获得外部装置1503的远程控制代码。
在以上实施方式中描述的装置的操作可由装置实现的人工智能执行。使用机器学习算法可以将人工智能应用到各种系统。人工智能系统是实施对应于人类水平或者比得上人类水平的智能的计算机系统，并且是机器、装置或者系统自主地执行学习和决定的系统，而且基于使用经验的积累来提高识别率和决定精确度。人工智能技术包括使用算法来对输入数据的特性进行分类/学习的机器学习(深度学习)技术、使用机器学习算法模拟人类大脑的识别、决定等功能的元素技术等。
元素技术的示例包括用于识别人类语言/性格的语言理解技术、用于像人类视觉一样识别对象的视觉理解技术、用于通过确定信息来逻辑地推理和预测信息的推理/预测技术、用知识数据处理人类经验信息的知识表达技术、或者控制车辆自动驾驶和机器人运动的运动控制技术中的至少一个。
语言理解是识别并应用/处理人类语言/性格的技术，并且包括自然语言处理、机器翻译、对话系统、问答、语音识别/合成等。
推断/预测是确定和逻辑地推理并预测信息的技术，并且包括基于知识/概率的推测、优化预测、基于倾向的规划、建议等。
知识表达是将人类经验信息自动化以及处理为知识数据的技术，并且包括知识建立(数据生成/分类)、知识管理(数据利用)等。
可以以程序命令的形式实施根据本公开的实施方式的方法，该程序命令可以通过各种计算机方法来执行并且可以在计算机可读的记录介质中记录。计算机可读的记录介质可以单独包括程序命令、数据文件、数据结构等，或者可包括其组合。例如，计算机可读的记录介质可以包括例如USB内存装置的非易失性存储器、例如随机存取内存(RAM)、只读内存(ROM)、闪存、内存芯片或者集成电路的内存，或者光学或磁力可读的并且能够被机器读取(例如计算机)的存储器介质，例如光盘(CD)、数字通用光盘(DVD)、磁盘、磁带等，而不管数据是否是可擦除的或者可重写的。可以包括在移动终端中的内存是适于存储实施本公开的实施方式并能够被机器读取的包括指令的一个程序或多个程序的存储器介质的示例。记录在这个存储器介质中的程序指令可以为本公开特别设计和构造，或者可以是被计算机软件领域的技术人员所知道和使用的。可替换地，计算机程序指令也可以被实施为计算机程序产品。
尽管以上已经图示和描述了本公开的实施例，但是本公开不限于上述特定实施例，而是可以由本公开所属领域的技术人员进行各种修改而不背离如所附权利要求中所公开的本公开的主旨。这些修改也应被理解为落入本公开的范围和精神内。

Claims (15)

1.电子装置，包括：
信号输出接口；以及
处理器，被配置成：
识别通过声音输入接口接收的声音的波形特性，
基于由识别出的所述声音的波形特性所指示的多个属性，识别与识别出的所述声音的波形特性对应的信息，以及
基于识别出的信息，通过所述信号输出接口向外部装置输出信号。
2.如权利要求1所述的电子装置，其中，所述声音的波形特性包括所述声音的振幅、频率或周期中的任意一个或任意组合。
3.如权利要求2所述的电子装置，其中，所述处理器还被配置为识别对应于所述振幅、所述频率或者所述周期的二进制数据，并且根据识别出的二进制数据识别所述信息。
4.如权利要求2所述的电子装置，其中，所述处理器还被配置为根据所述振幅、所述频率或所述周期中的两个或多个的任意组合识别所述信息。
5.如权利要求2所述的电子装置，其中，所述信息包括与所述外部装置相关的信息。
6.如权利要求5所述的电子装置，其中，所述处理器还被配置为:
基于所述识别出的信息来识别所述外部装置的状态，并且
基于识别出的所述外部装置的状态输出所述信号。
7.如权利要求1所述的电子装置，其中，所述声音对应于听不见的频带。
8.如权利要求1所述的电子装置，其中，向所述外部装置输出的信号包括音频信号。
9.如权利要求8所述的电子装置，其中，所述信号输出接口被配置为将所述音频信号作为光学信号输出。
10.如权利要求1所述的电子装置，其中，所述处理器还被配置为控制所述电子装置向所述外部装置发送与所述识别出的信息对应的响应信息。
11.如权利要求1所述的电子装置，进一步包括通信接口，
其中，所述处理器还被配置为基于所述识别出的信息来识别与所述外部装置有关的信息，并且基于识别出的所述外部装置的信息通过所述通信接口向所述外部装置发送通信信息。
12.如权利要求1所述的电子装置，进一步包括：
所述声音输入接口。
13.电子装置的控制方法，包括：
识别通过声音输入接口接收的声音的波形特性；
基于由所述声音的波形特性所指示的多个属性，识别与识别出的所述声音的波形特性对应的信息；以及
基于识别出的信息通过所述电子装置的信号输出接口向外部装置输出信号。
14.如权利要求13所述的控制方法，其中，所述声音的波形特性包括所述声音的振幅、频率或周期中的任意一个或任意组合。
15.如权利要求14所述的控制方法，还包括：
识别对应于所述振幅、所述频率或者所述周期的二进制数据，并且
根据识别出的二进制数据识别所述信息。
CN202011075870.7A 2019-10-10 2020-10-10 电子装置及其控制方法 Pending CN112653912A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0124976 2019-10-10
KR1020190124976A KR20210042442A (ko) 2019-10-10 2019-10-10 전자장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
CN112653912A true CN112653912A (zh) 2021-04-13

Family

ID=72811696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011075870.7A Pending CN112653912A (zh) 2019-10-10 2020-10-10 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US20210109705A1 (zh)
EP (1) EP3805915A1 (zh)
KR (1) KR20210042442A (zh)
CN (1) CN112653912A (zh)
WO (1) WO2021071166A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810802A (zh) * 2021-08-27 2021-12-17 青岛歌尔智能传感器有限公司 智能麦克风及电子装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5903815B2 (ja) * 2011-09-15 2016-04-13 株式会社リコー 情報送信システム、情報送信装置、情報受信装置、情報送信プログラム、及び情報受信プログラム
JP2013125047A (ja) * 2011-12-13 2013-06-24 Zenrin Datacom Co Ltd 情報提供システム、使用言語種別提供端末装置、情報提供装置、情報提供方法、使用言語種別提供プログラムおよび情報提供プログラム
US8930005B2 (en) * 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
WO2014076919A1 (ja) * 2012-11-15 2014-05-22 パナソニック株式会社 情報提供方法及び情報提供装置
US10057699B2 (en) * 2014-10-01 2018-08-21 Sartorius Stedim Biotech Gmbh Audio identification device, audio identification method and audio identification system
KR101767466B1 (ko) * 2015-12-07 2017-08-14 (주)파워보이스 이동 단말기를 통해 원격 제어 가능한 무선 통신 디바이스
US11189295B2 (en) * 2017-09-28 2021-11-30 Lisnr, Inc. High bandwidth sonic tone generation
KR102319232B1 (ko) * 2017-10-13 2021-11-01 삼성전자주식회사 원격 제어 장치, 전자 장치 및 이를 포함하는 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810802A (zh) * 2021-08-27 2021-12-17 青岛歌尔智能传感器有限公司 智能麦克风及电子装置
CN113810802B (zh) * 2021-08-27 2023-09-29 青岛歌尔智能传感器有限公司 智能麦克风及电子装置

Also Published As

Publication number Publication date
EP3805915A1 (en) 2021-04-14
US20210109705A1 (en) 2021-04-15
WO2021071166A1 (en) 2021-04-15
KR20210042442A (ko) 2021-04-20

Similar Documents

Publication Publication Date Title
US11631403B2 (en) Apparatus, system and method for directing voice input in a controlling device
US11985003B2 (en) Apparatus, system and method for directing voice input in a controlling device
US11096005B2 (en) Sound reproduction
KR20190052628A (ko) 지능형 개인 비서에 대한 위치 분류
US20210109705A1 (en) Electronic apparatus and control method thereof
US20120154113A1 (en) Wireless signal access apparatus and method for remotely controlling appliance through the same
US11264039B2 (en) Space division method and apparatus, and storage medium
JP7374099B2 (ja) 制御デバイスにおいて音声入力を指示する装置、システム及び方法
US20210027743A1 (en) Display apparatus and control method thereof
US10997984B2 (en) Sounding device, audio transmission system, and audio analysis method thereof
KR20210054246A (ko) 전자장치 및 그 제어방법
US20220101853A1 (en) Electronic apparatus and method of controlling the same
WO2019031258A1 (ja) 送信端末、送信方法、情報処理端末、および情報処理方法
US11747779B2 (en) Electronic apparatus and control method thereof
JP7182154B2 (ja) 機器制御システム
EP4354434A1 (en) Audio quality conversion device and control method therefor
CN111048081B (zh) 一种控制方法、装置、电子设备及控制系统
US20220165296A1 (en) Electronic apparatus and control method thereof
KR20230069475A (ko) 전자장치 및 그 제어방법
KR20220083199A (ko) 전자장치 및 그 제어방법
KR20230075781A (ko) 오디오신호 처리를 위한 전자장치 및 그 제어방법
US10601757B2 (en) Multi-output mode communication support device, communication support method, and computer program product
KR20210087653A (ko) 전자장치 및 그 제어방법
KR20220071591A (ko) 전자장치 및 그 제어방법
KR20220041413A (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210413

WD01 Invention patent application deemed withdrawn after publication