CN108370488B - 音频提供方法及其设备 - Google Patents

音频提供方法及其设备 Download PDF

Info

Publication number
CN108370488B
CN108370488B CN201680071099.1A CN201680071099A CN108370488B CN 108370488 B CN108370488 B CN 108370488B CN 201680071099 A CN201680071099 A CN 201680071099A CN 108370488 B CN108370488 B CN 108370488B
Authority
CN
China
Prior art keywords
electronic device
user
sound
information
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680071099.1A
Other languages
English (en)
Other versions
CN108370488A (zh
Inventor
孙东一
曹治铉
许昌龙
张志镐
郑禧娟
河丁寿
宋美贞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108370488A publication Critical patent/CN108370488A/zh
Application granted granted Critical
Publication of CN108370488B publication Critical patent/CN108370488B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Abstract

一种电子设备可以包括：感测单元，所述感测单元用于获取图像数据并且感测物体和用户；输出单元，所述输出单元用于输出音频；处理器，所述处理器用于从所述感测单元接收图像数据，根据所述图像数据呈现关于空间的信息以生成空间信息，识别所述空间中的所述用户，当发生与所述物体相关联的通知时则基于所述物体和所述用户的位置信息来控制所述输出单元。

Description

音频提供方法及其设备
技术领域
本公开的各个实施例涉及一种由电子设备根据电子设备中的空间中的物体的空间信息和条件来控制音频输出的方法及其设备。
背景技术
随着图像处理技术的发展，电子设备能够使用相机拍摄空间并且能够识别存在于空间中的物体，由此向用户提供与物体相关的通知信息。另外，随着音频处理技术的发展，电子设备能够使用声音向用户提供与物体相关的通知信息。
发明的详细描述
技术问题
如上所述，在使用声音向用户提供关于由相机识别的物体的信息时，传统的电子设备输出声音而不会考虑用户的位置。因此，用户集中注意力于输出声音的电子设备，而不是作为引发通知信息的代理的物体，使得不可能直观地识别出物体的位置。此外，在收听到通过声音传输的所有通知信息之后，用户会想知道哪个物体生成了通知信息，并且因此浪费了不必要的时间来想出是哪个物体引发了通知。
本公开的各个实施例提供了一种用于处理音频信号的方法和设备，其中电子设备识别引发通知的物体和用户的位置，并调整声音物理行进的方向和/或用于音频信号的参数，从而提供了如下效果：好像声音是从引发通知的物体输出的。
技术方案
根据本公开的各个实施例，电子设备可以包括：感测单元，所述感测单元被配置为获得图像数据并感测物体和用户；输出单元，所述输出单元被配置为输出声音；以及处理器，所述处理器被配置为从所述感测单元接收所述图像数据，通过呈现所述图像数据中的关于空间的信息来生成空间信息，识别所述空间中的物体，将所述物体映射到所述空间信息并且如果发生了与所述物体相关联的通知，则基于所述物体和所述用户的位置信息控制所述输出单元。
有益效果
在本公开的各个实施例中，基于物体的位置信息和用户的位置信息来控制声音的输出。此外，当发生通知时，通过改变音频输出方向将声音反射在与所述通知相关联的所述物体上，并传输给所述用户。因此，所述用户可以感觉到好像所述声音是从与所述通知相关联的所述物体(即，引发所述通知的所述物体)输出的。因此，可以向所述用户提供直观的用户体验(UX)。
附图说明
根据以下结合附图的详细描述，本公开的上述和其他方面、特征和优点将变得更加明显，其中：
图1例示了根据本公开的各个实施例的电子设备的示例；
图2例示了根据本公开的各个实施例的电子设备的示例；
图3是例示了根据本公开的各个实施例的电子设备和网络的框图；
图4a和图4b是例示了根据本公开的各个实施例的电子设备的框图；
图5是例示了根据本公开的各个实施例的电子设备的软件的框图；
图6a例示了根据本公开的各个实施例的电子设备与物体之间的交互操作；
图6b例示了根据本公开的各个实施例的电子设备设置音频参数并输出声音的示例；
图7是示意性地例示了根据本公开的各个实施例的电子设备的框图。
图8是例示了根据本公开的各个实施例的电子设备识别空间和物体并提供通知的过程的流程图；
图9例示了根据本公开的各个实施例的电子设备呈现空间的示例；
图10a例示了电子设备识别用户并监视用户的位置的实施例；
图10b例示了电子设备识别并处理多个用户的示例；
图11例示了根据本公开的各个实施例的电子设备监视物体的状态的示例；
图12例示了根据本公开的各个实施例的功能地连接到电子设备的输出设备提供通知的示例；
图13例示了根据本公开的各个实施例的功能地连接到电子设备的物体感测设备的示例；
图14例示了可以存在于房间内的物体的示例；
图15是例示了根据本公开的各个实施例的电子设备识别物体并在事件发生时生成通知的过程的流程图；
图16和图17例示了根据本公开的各个实施例的电子设备识别物体的状态并向用户提供通知的示例；
图18和图19例示了根据本公开的各个实施例的电子设备基于物体和用户的位置来控制音频输出单元的示例；以及
图20例示了根据本公开的各个实施例的电子设备提供具有所反映的物体的特性的音频通知的示例。
具体实施方式
在下文中，将参照附图描述本公开的各个实施例。然而，应当理解的是，不旨在将本公开限制为本文所公开的特定形式；相反，本公开应被解释为涵盖本公开的实施例的各种修改、等同形式和/或替代方案。在描述附图时，相似的附图标记可被用来指定相似的组成元件。
如本文所使用的，表述“具有”、“可以具有”、“包括”或“可以包括”是指存在相应的特征(例如，数字、功能、操作或组成元件，诸如组件)，并且不排除一个或更多个另外的特征。
在本公开中，表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”可以包括所列出的项目的所有可能的组合。例如，表述“A或B”、“A和B中的至少一个”或“A或B中的至少一个”是指以下全部情况：(1)包括至少一个A、(2)至少包括一个B、或(3)包括至少一个A和至少一个B的全部。
在本公开的各个实施例中使用的表述“第一”、“第二”、“所述第一”或“所述第二”可以修饰各种组件，而不管其顺序和/或重要性，但不限制相应的组件。例如，尽管第一用户设备和第二用户设备都是用户设备，但它们指示不同的用户设备。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，而不会偏离本公开的范围。
应当理解，当元件(例如，第一元件)被称为(可操作地或通信地)“连接”或“耦接”到另一元件(例如，第二元件)时，其可以直接地连接到或耦接到其他元件或者任何其他元件(例如，第三元件)可以是它们之间的插入器。相反，可以理解的是，当元件(例如，第一元件)被称为“直接地连接”或“直接地耦接”到另一元件(第二元件)时，它们之间不存在元件(例如，第三元件)。
在本公开中使用的表述“被配置为”可以根据情况与例如“适合于”、“具有......的能力”、“设计为”、“适应于”、“做出”或者“能够”互换。术语“被配置为”可能不一定意味着在硬件上“专门地设计为”。或者，在一些情况下，表述“被配置为……的设备”可以表示该设备与其他设备或组件一起“能够……”。例如，短语“适应于(或被配置为)执行A、B和C的处理器”可以意指仅用于执行相应的操作的专用处理器(例如，嵌入式处理器)或通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))，该通用处理器可以通过运行存储在存储设备中的一个或更多个软件程序来执行相应的操作。
本文所使用的术语仅仅是为了描述特定实施例的目的，而不意图限制其他实施例的范围。未指明数量的表述可以包括多个数量的含义，除非它们在上下文中明确地不同。除非另外定义，否则本文所使用的所有术语(包括技术和科学术语)具有与本公开所属领域的技术人员通常理解的含义相同的含义。除非在本公开中明确定义，否则在通常使用的字典中定义的那些术语可以被解释为具有与相关领域中的上下文含义相同的含义，并且不被解释为具有理想的或过于正式的含义。在一些情况下，即使本公开中定义的术语也不应被解释为排除本公开的实施例。
根据本公开的各个实施例的电子设备可以包括下列项中的至少一个：例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-书阅读器)、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗设备、相机和可穿戴设备。根据各个实施例，可穿戴设备可以包括下列项中的至少一个：配饰类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或衣服集成型(例如，电子衣服)、身体安装型(例如，皮肤垫或纹身)以及生物可植入类型(例如，可植入电路)。
根据一些实施例，电子设备可以是家用电器。家用电器可以包括下列项中的至少一个：例如电视机、数字视频盘(DVD)播放器、音频、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，SamsungHomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄像机和电子相框。
根据另一实施例，电子设备可以包括下列项中的至少一个：各种医疗设备(例如，各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机器和超声波机器)、导航设备、全球定位系统(GPS)接收器、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车载信息娱乐设备、船用电子设备(例如，船舶的导航设备和陀螺仪罗盘)、航空电子设备、安全设备、汽车音响主机、家庭或工业用机器人、银行中的自动取款机(ATM)、商店中的销售点(POS)或物联网设备(例如，灯泡、各种传感器、电或煤气表)、喷水设备、火灾报警器、恒温器、街灯、烤面包机、体育用品、热水箱、加热器、锅炉等)。
根据一些实施例，电子设备可以包括下列项中的至少一个：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种类型的测量仪器(例如，水表、电表、煤气表、无线电波表)。在各个实施例中，电子设备可以是前述各种设备中的一个或更多个的组合。根据一些实施例，电子设备也可以是柔性设备。此外，根据本公开的实施例的电子设备不限于上述设备，并且可以包括根据技术发展的新的电子设备。
在下文中，将参照附图描述根据各个实施例的电子设备。在本公开中，术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
图1例示了根据本公开的各个实施例的电子设备的示例。
参照图1，电子设备可以分为独立型11、12或13和对接站型14。独立型电子设备11、12或13可以独立地执行电子设备的任何功能。对接站型电子设备14具有两个或更多个功能上分离的电子设备，其被组合成单个实体以执行电子设备的任何功能。例如，对接站型电子设备14包括主体14a和驱动器14b，该主体14a可以被安装在对接站(驱动器)上并且可以被移动到所期望的位置。
依据移动性，电子设备可以被分类为固定型11和移动型12、13或14。固定型电子设备11不具有驱动器，因此不能自主移动。移动型电子设备12、13或14包括驱动器并且能够自主地移动到所期望的位置。移动型电子设备12、13或14包括车轮、履带或腿作为驱动器。此外，移动型电子设备12、13或14可以包括无人机。
图2例示了根据本公开的各个实施例的电子设备的示例。
电子设备101可以以机器人的形式进行配置。电子设备101可以包括头部部分190和身体部分193。头部部分190可以设置在身体部分193的上方。在一个实施例中，头部部分190和身体部分193可以被配置成分别对应于人的头部和人的身体。例如，头部部分190可以包括对应于人脸形状的前盖161。电子设备101可以包括被设置在与前盖161对应的位置处的显示器160。例如，可以将显示器160设置在前盖161内，在这种情况下，前盖161可以包括透明材料或半透明材料。替代地，前盖161可以是能够显示画面的元件，在这种情况下，前盖161和显示器160可以被配置为单独的硬件。前盖161可以是下列项中的至少一个：用于朝向执行与用户的交互的方向进行图像感测的各种传感器、用于获得声音的至少一个麦克风、用于音频输出的至少一个扬声器、仪器眼结构以及用于输出画面的显示器。前盖161可以使用光或临时仪器变化来显示方向，并且可以包括当执行与用户的交互时面向用户的至少一个H/W或仪器结构。
头部部分190还可以包括通信模块170和传感器171。通信模块170可以从外部电子设备接收消息并且可以向外部电子设备发送消息。
传感器171可以获得关于外部环境的信息。例如，传感器171可以包括相机，在这种情况下，传感器171能够拍摄外部环境。电子设备101也可以基于拍摄结果来识别用户。传感器171可以感测用户对电子设备101的接近。传感器171可以基于接近信息感测用户的接近，或者可以基于由用户使用的另一电子设备(例如，可穿戴设备)的信号感测用户的接近。另外，传感器171可以感测用户的动作或位置。
驱动器191可以包括能够移动头部部分190(例如，改变头部部分190的方向)的至少一个电机。驱动器191可以用于移动或有助益地改变另一组件。此外，驱动器191可以具有使能关于至少一个轴向上、向下、向左或向右移动的形式，并且可以对驱动器191的形式进行各种修改。电源192可以供应电子设备101使用的电力。
处理器120可以经由通信模块170获得从另一个电子设备无线地发送的消息，或者可以经由传感器171获得语音消息。处理器120可以包括至少一个消息分析模块。该至少一个消息分析模块可以从由发送者所生成的消息中提取或分类要传递到接收者的主要内容。
存储器130是能够永久地或临时地存储与向用户提供服务相关的信息的存储库，并且可以被设置在电子设备101的内部，或者可以经由网络被设置在云或另一服务器中。存储器130可以存储由电子设备101生成或从外部接收到的空间信息。存储器130可以存储用于用户认证的个人信息、关于用于向用户提供服务的方法的属性信息或用于识别能够与电子设备101交互的各种装置之间的关系的信息。这里，关于关系的信息可以依据电子设备101的使用通过更新或学习信息而被改变。处理器120负责控制电子设备101，并且可以功能地控制传感器171、输入/输出接口150、通信模块170和存储器130以向用户提供服务。可以将信息确定单元包括在处理器120或存储器130的至少一部分中，该信息确定单元能够确定电子设备101能够获得的信息。信息确定单元可以从通过传感器171或通信模块170获得的信息提取用于服务的至少一条或更多条数据。
尽管电子设备101被配置为机器人的形式，但这仅仅是示例，电子设备101可以被配置为任何形式而不受限制。
在本公开的各个实施例中，存储器130可以存储指令，该指令使处理器120在操作期间能够获得图像并输出基于通过分析所获得的图像而获得的图像分析结果和另外的信息所生成的消息。
图3是例示了根据本公开的各个实施例的电子设备和网络的框图。
参照图3，电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信模块170。在一些示例性实施例中，可以省略至少一个组件或还可以在电子设备101中包括其他组件。
总线110例如可以包括将组件110至170彼此连接并且在组件之间传递通信(例如，控制消息和/或数据)的电路。
处理器120可以包括中央处理单元(CPU)、应用处理器(AP)、通信处理器(CP)、图形处理器(GP)、多芯片封装(MCP)以及图像处理器(IP)中的一个或更多个。处理器120例如可以控制电子设备101的至少一个不同组件，和/或可以执行与通信或数据处理相关的操作。
存储器130可以包括易失性和/或非易失性存储器。存储器130例如可以存储与电子设备101的至少一个不同组件相关的命令或数据。根据一个示例性实施例，存储器130可以存储软件和/或程序140。程序140例如可以包括内核141、中间件143、应用编程接口(API)145和/或应用(或“应用程序”)147。内核141、中间件143和API 145的至少一部分可以被指定为操作系统(OS)。
内核141可以控制或管理用于执行例如在其他程序(例如，中间件143、API 145或应用147)中实现的操作或功能的系统资源(例如，总线110、处理器120、存储器130等)。此外，内核141可以提供接口，该接口允许中间件143、API 145或应用147访问电子设备101的各个组件以由此控制或管理系统资源。
中间件143可以用作中继，使得例如API 145或应用147与内核141通信以交换数据。
此外，中间件143可以根据从应用147接收到的一个或更多个操作请求的优先级来对其进行处理。例如，中间件143可以为至少一个应用147分配使用电子设备101的系统资源(例如，总线110、处理器120、存储器130等)的优先级。例如，中间件143可以根据分配给至少一个应用的优先级来处理一个或更多个操作请求，从而针对一个或更多个操作请求来执行调度或负载平衡。
API 145例如是用于应用147的接口以控制从内核141或中间件143提供的功能，并且例如可以包括用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
输入/输出接口150可以用作接口，该接口将从例如用户或不同的外部设备输入的命令或数据传递到电子设备101的不同组件。此外，输入/输出接口150可以将从电子设备101的不同组件接收到的命令或数据输出给用户或不同的外部设备。输入/输出接口150可以包括触摸输入设备、语音输入单元、各种遥控设备等。输入/输出接口150可以是用于向用户提供特定服务的至少一个工具。例如，当要发送的信息是声音时，输入/输出接口150可以是扬声器。当要发送的信息是文本或图像内容时，输入/输出接口150可以是显示设备。另外，为了向远离电子设备101的用户提供服务而需要输出的数据可以通过通信模块被发送并输出到至少一个另一电子设备，其中，另一电子设备可以是扬声器或不同的显示设备。
显示器160例如可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微电子机械系统(MEMS)显示器或电子纸显示器。显示器160可以显示例如用户的各种类型的内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以接收使用例如电子笔或用户的身体部位的触摸、手势、接近或悬停输入。
通信模块170可以例如在电子设备101与外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信模块170可以经由无线通信或有线通信连接到网络162，以便与外部设备(例如，第二外部电子设备104或服务器106)通信。通信模块170是能够向另一个电子设备发送/从另一电子设备接收至少一个数据的工具，该另一个电子设备可以经由(通信标准)无线保真(Wi-Fi)、ZigBee、蓝牙、LTE、3G和IR协议中的至少一个与其他电子设备通信。
无线通信可以使用例如蜂窝通信协议，该蜂窝通信协议例如可以是长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)。此外，无线通信可以包括例如短距离通信164。短距离通信164可以包括例如Wi-Fi、蓝牙、近场通讯(NFC)和全球导航卫星系统(GNSS)中的至少一个。依据使用区域或带宽，GNSS可以包括例如全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统和伽利略中的至少一个，伽利略是欧洲全球卫星导航系统。在本文件中，“GPS”可以在下文中与“GNSS”互换使用。基于有线的通信可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)和普通老式电话服务(POTS)中的至少一个。网络162可以包括电信网络，该电信网络例如可以是计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网和电话网络中的至少一个。
第一外部电子设备102和第二外部电子设备104均可以是与电子设备101的类型相同或不同的设备。根据一个实施例，服务器106可以包括一个或更多个服务器的组。根据各个实施例，在电子设备101中执行的全部或一些操作可以在另一电子设备或多个电子设备(例如，电子设备102和104或服务器106)中被执行。根据一个实施例，当电子设备101需要自动或根据请求执行功能或服务时，替代地或除了自主执行该功能或服务之外，电子设备101可以请求另一电子设备(例如，电子设备102或104或者服务器106)去执行与该功能或服务相关的至少一些功能。其他电子设备(例如，电子设备102或104或者服务器106)可以执行所请求的功能或其他功能，并且可以将其结果发送给电子设备101。电子设备101可以使用相同的接收结果或通过额外处理该结果，来提供所请求的功能或服务。为此，例如可以使用云计算、分布式计算或客户端-服务器计算技术。
图4a和图4b是例示了根据本公开的各个实施例的电子设备的框图。
电子设备201例如可以包括图3中所例示的电子设备101的全部或一部分。电子设备201可以包括一个或更多个处理器(例如，应用处理器(AP))210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210可以运行例如操作系统或应用，以控制连接到处理器210的多个硬件或软件组件，并且可以执行各种类型的数据处理和操作。处理器210可以被配置为例如片上系统(SoC)。根据一个实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图4a中所例示的组件的至少一部分(例如，蜂窝模块2)。处理器210可以将从其他组件(例如，非易失性存储器)中的至少一个接收的命令或数据加载到易失性存储器中，以处理命令或数据，并且可以将各种类型的数据存储在非易失性存储器中。
通信模块220可以具有与图3中的通信模块170相同或相似的配置。通信模块220例如可以包括蜂窝模块221、Wi-Fi模块223、蓝牙模块225、全球导航卫星系统(GNSS)模块227(例如，GPS模块、GLONASS模块、北斗模块或伽利略模块)、NFC模块228和射频(RF)模块229。
蜂窝模块221可以通过通信网络提供例如语音呼叫、视频呼叫、文本消息服务或互联网服务。根据一个实施例，蜂窝模块221可以使用用户识别模块(SIM，例如，SIM卡)224在通信网络中执行电子设备201的识别和认证。根据一个实施例，蜂窝模块221可以执行由处理器210提供的至少一些功能。根据一个实施例，蜂窝模块221可以包括通信处理器(CP)。
Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228均可以包括例如处理器，以处理经由各个模块发送和接收的数据。根据一个实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一些(例如，两个或更多)可以被包括在一个集成芯片(IC)或IC封装中。
RF模块229可以发送和接收例如通信信号(例如，RF信号)。RF模块229例如可以包括收发器、功率放大器(amp)模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一个实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一个可以通过单独的RF模块发送和接收RF信号。
SIM 224可以包括例如包括了SIM和/或嵌入式SIM的卡，并且可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户标志(IMSI))。
存储器230(例如，存储器130)例如可以包括内部存储器232或外部存储器234。内部存储器232例如可以包括下列项中的至少一个：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)和非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存、NOR闪存等)、硬盘驱动器或固态驱动器(SSD))。
外部存储器234还可以包括闪存驱动器，例如紧凑型闪存(CF)、安全数字(SD)、微型安全数字(micro-SD)、迷你安全数字(mini-SD)、极端数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器234可以通过各种接口功能地和/或物理上地连接到电子设备201。
传感器模块240可以测量例如物理量，或者可以检测电子设备201的操作状态并且将测量到的或检测到的信息转换为电信号。传感器模块240例如可以包括下列项中的至少一个：手势传感器240A、陀螺传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、RGB传感器240H(例如，红绿蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K和紫外(UV)传感器240M。附加地或可选地，传感器模块240例如可以包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可以包括控制电路，以控制属于其的至少一个或更多个传感器。在一个实施例中，电子设备201还可以包括处理器，该处理器被配置为作为处理器210的一部分或与处理器210分离，以控制传感器模块240，从而在处理器210处于休眠状态时控制传感器模块240。
输入设备250例如可以包括触摸面板252、(数字)笔传感器254、键256或超声输入设备258。触摸面板252例如可以是静电型、压敏型、红外型和超声波型中的至少一个。此外，触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层，以便向用户提供触觉响应。
(数字)笔传感器254例如可以是触摸面板的一部分或者可以包括单独的识别片。键256例如可以包括物理按钮、光学键或小键盘。超声输入设备258可以通过麦克风(例如，麦克风288)检测在输入工具中生成的超声波，并且可以识别与检测到的超声波对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息设备264或投影仪266。面板262可以包括与图1的显示器160的配置相同或相似的配置。面板262可以被配置为例如柔性的、透明的或可穿戴的。面板262可以与触摸面板252一起形成在单个模块中。全息设备264可以使用光干涉在空中显示三维图像。投影仪266可以将光投影到屏幕上以显示图像。屏幕可以被设置在例如电子设备201的内部或外部。根据一个实施例，显示器260还可以包括控制电路以控制面板262、全息设备264或投影仪266。
接口270例如可以包括高分辨率多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D-超小型(D-sub)278。另外地或可选地，接口270例如可以包括移动高清晰度链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
音频模块280可以双向转换例如声音和电信号。音频模块280的至少一些组件例如可以被包括在图3所例示的输入/输出接口150中。音频模块280可以处理例如通过扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。
相机模块291是例如拍摄静止图像和视频的设备。根据一个实施例，相机模块291可以包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，LED、氙灯等)。
电源管理模块295可以管理例如电子设备201的电源。根据一个实施例，电源管理模块295可以包括电源管理集成电路(PMIC)、充电器集成电路(IC)或电池或者电量计。PMIC可以有有线和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或电磁波方法，并且还可以包括用于无线充电的附加电路，诸如线圈环路、谐振电路或整流器。电池量表可以测量例如电池296的剩余电池电量、充电电压、电流或温度。电池296可以包括例如可再充电电池和/或太阳能电池。
指示器297可以显示电子设备201或其组件(例如，处理器210)的特定状态，该特定状态例如可以是启动状态、消息状态或充电状态。电机298可以将电信号转换成机械振动，并且可以产生振动或触觉效果。尽管未示出，但电子设备201可以包括用于支持移动TV(例如，GPU)的处理设备。用于支持移动TV的处理设备可以例如根据数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM标准来处理媒体数据。
参照图4b，可以将处理器210连接到图像识别模块241。另外，可以将处理器210连接到行为模块244。图像识别模块241可以包括二维(2D)相机242和深度相机243。图像识别模块241可以基于拍摄结果执行识别，并且可以将识别结果发送给处理器210。行为模块244包括下列项中的至少一个：面部表情电机245，其用以显示电子设备101的脸部表情或者改变脸部的朝向；身体姿势电机246，其用以改变电子设备101的身体部分的姿势，例如，手臂、腿或手指的位置；以及移动电机247，其用以移动电子设备101。处理器210可以控制面部表情电机245、身体姿势电机246和移动电机247中的至少一个来控制以机器人形式配置的电子设备101的移动。电子设备101除了包括图4a的组件之外也可以包括图4b的组件。
根据本公开的硬件的上述组件元件中的每一个可以被配置有一个或更多个组件，并且相应的组件元件的名称可以基于电子设备的类型而变化。根据本公开的各个实施例的电子设备可以包括前述元件中的至少一个。可以省略一些元件或者可以将其他另外的元件也包括在电子设备中。而且，根据各个实施例的一些硬件组件可以被组合成一个实体，该一个实体可以执行在组合之前与相关组件的功能相同的功能。
图5是例示了根据本公开的各个实施例的电子设备的软件的框图。
参照图5，电子设备可以包括OS/系统软件501、中间件510和智能框架530。
OS/系统软件501可以分配电子设备的资源并且可以执行作业调度和进程处理。而且，OS/系统软件可以处理从各种硬件输入单元509接收到的数据。硬件输入单元509可以包括深度相机503、2D相机504、传感器模块505、触摸传感器506和麦克风阵列507中的至少一个。
中间件510可以使用由OS/系统软件501处理过的数据来执行电子设备的功能。根据一个实施例，中间件510可以包括手势识别管理器511、面部检测/跟踪/识别管理器512、传感器信息处理管理器513、对话引擎管理器514、语音合成管理器515、声源跟踪管理器516和语音识别管理器517。
根据一个实施例，面部检测/跟踪/识别管理器512可以分析由2D相机504捕获的图像，以便检测或跟踪用户的面部的位置，并且可以通过面部识别来执行认证。手势识别管理器511可以通过分析由2D相机504和深度相机503捕获的图像来识别用户的3D手势。声源跟踪管理器516可以分析通过麦克风阵列(麦克风)507输入的声音，并且可以跟踪声源的输入位置。语音识别管理器517可以分析通过麦克风507输入的语音，以识别输入的语音。
智能框架530可以包括多模态融合块531、用户模式学习块532和行为控制块533。根据一个实施例，多模态融合块531可以收集和管理在中间件510中处理的信息。用户模式学习块532可以使用多模态融合模块531中的信息来提取和学习重要信息，诸如用户的生活模式或偏好。行为控制块533可以提供电子设备作为电子设备的运动所反馈给用户的信息、视觉信息或音频信息。即，行为控制块533可以控制驱动器的电机540以移动电子设备、可以控制显示器使得图形物体显示在显示器550上或者可以控制扬声器561和562以输出声音。
用户模型数据库521可以根据个人用户经由智能框架530存储由电子设备学习的数据。行为模型数据库522可以存储用于电子设备的行为控制的数据。用户模型数据库521和行为模型数据库522可以存储在电子设备的存储器中，或者可以经由网络存储在云服务器中，并且可以与另一电子设备502共享。
图6a例示了根据本公开的各个实施例的电子设备与物体之间的交互操作。
参照图6a，可以将电子设备601布置在空间中的前方。可以将物体603和605布置在空间中的电子设备601的左侧，并且可以将物体609和611布置在空间中的右侧壁上。物体603、605、609和611可以是空间中的事物。物体603、605、609和611可以是经由有线或无线通信功能地连接到电子设备601或者未功能地连接到电子设备601的事物。例如，物体603可以是电话并且可以功能地连接到电子设备601。物体605可以是花盆并且可以未功能地连接到电子设备。物体609可以是时钟并且可以功能地连接到电子设备。物体611可以是框架并且可以未功能地连接到电子设备。
电子设备601可以经由相机感测空间，并且可以识别用户和物体的位置。电子设备601可以从通过相机捕获的图像识别用户和物体、可以提取用户和物体的位置信息并且可以将位置信息映射到空间信息。例如，参照所捕获的图像，电子设备601可以将空间的结构划分为相对于电子设备601的前侧、后侧、右侧、左侧、天花板或地板。例如，电子设备可以识别出，以电子设备为基础，物体603被布置在空间的左前部、物体605被布置在空间的左后部、用户607位于空间的中心、物体609被布置在空间的右后部、物体611被设置在空间的右前部。
替代地，当物体功能地连接到电子设备601时，物体可以将该物体的信息发送到电子设备。例如，物体603和609可以功能地连接到电子设备601并且可以将位置信息发送到电子设备601。
电子设备601可以检查布置在空间中的物体的状态并且可以向用户提供与物体对应的通知。可以通过电子设备601的输出单元将该通知作为声音而提供。例如，当电子设备601确定框架611倾斜时，电子设备601可以向用户提供报告了“框架是倾斜的”的音频通知。当电子设备601确定花盆609中的花朵干枯时，电子设备601可以向用户提供报告了“请给花浇水”的音频通知。
电子设备601可以基于用户和物体的位置信息来控制电子设备601的音频输出单元。当提供与物体相对应的通知时，电子设备601可以控制电子设备601的音频输出单元以调整每个频带的音频输出方向、音频延迟、频带和/或音量，使得用户感觉到好似声音是从与通知相关的物体输出的。电子设备601可以识别空间中用户和物体的位置，并且可以基于关于触发通知的用户和物体的位置信息使得用户感觉好像声音是从物体输出的。例如，当框架611倾斜时，电子设备601可以控制音频输出单元改变音频输出方向610，使得用户感觉好像声音是从框架611的位置输出的。当由于时钟609而发生通知时，电子设备601可以控制音频输出单元来改变音频输出方向608，使得用户感觉好像通知是从时钟609输出的。当由于花盆605而发生通知时，电子设备601可以控制音频输出单元改变音频输出方向606，使得用户感觉好像通知是从花盆605输出的。
此外，电子设备601可以基于用户和物体的位置信息来控制电子设备601的驱动器。当提供与物体相对应的通知时，电子设备601可以控制电子设备601的驱动器以便将电子设备601向特定位置移动或者改变电子设备601的方位，使得用户感觉好像声音是从触发通知的物体输出的。电子设备601可以识别空间中的用户和物体的位置，并且可以基于关于触发通知的用户和物体的位置信息来控制电子设备601的驱动器，从而使用户感觉到好像声音是从物体输出的。例如，当框架611倾斜时，电子设备601可以控制电子设备601的驱动器以便移动电子设备601或改变电子设备601的方向，从而改变音频输出方向610，使得用户607感觉好像声音是从框架611的位置输出的。当由于时钟609而发生通知时，电子设备601可以控制电子设备601的驱动器以便移动电子设备601或者改变电子设备601的方向，从而改变音频输出方向608，使得用户感觉好像通知是从时钟输出的。当由于花盆605而发生通知时，电子设备601可以控制电子设备601的驱动器以便移动电子设备601或改变电子设备601的方向，从而改变音频输出方向606，使得用户感觉好像通知是从花盆输出的。
图6b例示了根据本公开的各个实施例的电子设备修改音频参数的示例。
图6b示出了电子设备651、用户652、音频输出设备653和654以及物体655、656和657。音频输出设备653和654可以通过有线或无线通信被功能地连接到电子设备651，并且可以包括驱动器。音频输出设备653和654的方向可以由驱动器改变。
电子设备651可以获得关于电子设备651位于何处的空间信息，并且可以设置可以发生音频反射的点。电子设备651可以呈现空间信息并且可以将空间信息映射到可以发生音频反射的点。
物体655、656和657可以是空间中的事物。物体655、656和657可以是经由有线或无线通信功能地连接到电子设备651或者未功能地连接到电子设备651的事物。例如，物体655可以是花盆，并且可以未功能地连接到电子设备651。物体656可以是时钟并且可以功能地连接到电子设备651。物体657可以是框架并且可以未功能地连接到电子设备651。
电子设备651可以经由相机感测空间并且可以识别用户652和物体655、656和657的位置。电子设备651可以从通过相机捕获的图像中识别用户652和物体655、656和657、可以提取用户和物体的位置信息以及可以将位置信息映射到空间信息。例如，参照所捕获的图像，电子设备651可以将空间的结构划分为相对于电子设备651的前侧、后侧、右侧、左侧、天花板或地板。例如，电子设备651可以识别出，以电子设备651为基础，物体655被布置在空间的右中部、物体656被布置在空间的左前部、物体657被布置在空间的左后部并且用户652位于空间的前后部。当物体655、656和657功能地连接到电子设备651时，物体655、656和657可以将其信息发送到电子设备651。例如，物体656可以在功能上连接到电子设备并且可以将位置信息发送到电子设备651。
电子设备651可以识别物体655、656和657的位置以及用户652的位置，并且可以设置音频参数，使得在该位置处用户652感觉好像声音是从物体655、656和657输出的。作为音频参数，可以设置每个频带的左声道声音和右声道声音的声音延迟和/或音量。
例如，电子设备651可以识别花盆655在空间中的位置和用户652的位置，并且可以通过在音频参数中将左声道声音的声音延迟设置为“0”、将右声道声音的声音延迟设置为“3”以及将音量设置为“3”，来输出声音，以便感觉好像声音是从花盆输出的。因此，用户可以感觉到好像声音是从相对于用户的左中间位置输出的。
替代地，电子设备651可以生成音频参数(例如，设置为“0”的左声道声音的声音延迟、设置为“3”的右声道声音的声音延迟以及设置为“3”的音量)，并且可以将音频参数连同音频数据一起发送到音频输出设备653和654，以便感觉好像声音是从花盆输出的。音频输出设备653和654可以基于从电子设备651接收到的音频参数，将左声道声音的声音延迟设置为“0”、将右声道声音的声音延迟设置为“3”并且将音量设置为“3”，从而输出声音。
在另一示例中，电子设备651可以识别时钟656在空间中的位置和用户652的位置，并且可以通过在音频参数中将左声道声音的声音延迟设置为“5”、将右声道声音的声音延迟设置为“0”并将音量设置为“2”，来输出声音，以便感觉好像声音是从时钟656输出的。因此，用户可以感觉到好像声音是从相对于用户的右中间位置输出的。
替代地，电子设备651可以生成音频参数(例如，设置为“5”的左声道声音的声音延迟、设置为“0”的右声道声音的声音延迟以及设置为“2”的音量)，并且可以将音频参数连同音频数据一起发送到音频输出设备653和654，以便感觉好像声音是从时钟656输出的。音频输出设备653和654可以基于从电子设备651接收到的音频参数，将左声道声音的声音延迟设置为“5”、将右声道声音的声音延迟设置为“0”并且将音量设置为“2”，从而输出声音。
在又一示例中，电子设备651可以识别框架657在空间中的位置和用户652的位置，并且可以通过在音频参数中将左声道声音的声音延迟设置为“3”、将右声道声音的声音延迟设置为“0”以及将音量设置为“4”，来输出声音，以便感觉好像声音是从框架657输出的。因此，用户可以感觉到好像声音是从相对于用户的右中间位置输出的。
替代地，电子设备651可以生成音频参数(例如，设置为“3”的左声道声音的声音延迟、设置为“0”的右声道声音的声音延迟以及设置为“4”的音量)，并且可以将音频参数连同音频数据一起发送到音频输出设备653和654，以便感觉好像声音是从框架657输出的。音频输出设备653和654可以基于从电子设备651接收到的音频参数，将左声道声音的声音延迟设置为“3”、将右声道声音的声音延迟设置为“0”并且将音量设置为“4”，从而输出声音。
图7是示意性地例示了根据本公开的各个实施例的电子设备的框图。
参照图7，电子设备可以包括处理器701、输入单元703、输出单元705和通信单元707。
输入单元703可以包括相机、传感器单元和麦克风。相机可以拍摄用户和物体所在的空间并且可以输出图像数据。传感器单元可以感测用户或物体的运动并且可以相应地输出所感测到的数据。而且，传感器单元可以测量用户或物体的深度值，并且可以相应地输出所感测到的数据。麦克风可以接收从电子设备输出的声音，并且可以相应地输出信号。电子设备可以分析输入到麦克风的反射声音并且可以生成关于从电子设备输出的声音的反馈信号。
处理器701可以包括房间校准模块711、物体识别模块712、听众识别模块(用户识别模块)713和输出事件生成单元714。房间校准模块711、物体识别模块712、听众识别模块713和输出事件生成模块714可以作为程序存储在存储器中，并且可以作为命令代码在处理器701中加载和运行。
房间校准模块711可以使用从输入单元接收到的图像数据和传感器数据来获得关于其中布置电子设备的空间的信息。电子设备可以基于所获得的空间的信息来调整音频输出单元的参数。
物体识别模块712可以识别电子设备所处空间中的物体。例如，当空间是家时，物体可以是家中会存在的电视、沙发、电话、花盆、家具、时钟或PC。物体识别模块712可以包括识别至少一个用户的用户识别单元。
听众识别模块713可以使用用户的至少一个生物特征来识别该用户。当不存在具有关于用户的身份的信息的数据库时，听众识别模块713可以利用用户的身体特征按年龄、种族或性别对用户进行分类。
通信单元707可以从电子设备的外部接收数据，并且可以将接收到的数据发送到输出事件生成单元714。例如，当电子设备从外部接收到文本消息时，电子设备可以将该文本消息发送到输出事件生成单元714。
输出事件生成模块714可以分析经由输入单元703获得的信息、经由通信单元707接收的数据或电子设备中的信息。当根据分析结果需要输出事件时，输出事件生成模块714可以生成适合于情况的输出事件，并且可以将用于事件生成所需的信息以及关于用于输出所生成的信息的方法的信息输出至输出单元705。
输出单元705可以包括：扬声器驱动器，用以物理地控制扬声器；以及扬声器输出单元，用以将输出事件作为声音进行输出。扬声器驱动器或扬声器输出单元可以与电子设备一体形成，或者可以通过有线或无线方法连接到电子设备。根据各个实施例，输出单元可以不包括物理驱动器，并且可以通过改变用于音频输出的参数或通过音频波束形成(beamforming)来输出音频通知。
输出单元705可以包括多个输出单元。处理器701可以根据所生成的事件通知，将要输出的音频信号经由多个输出单元传输到输出单元。目标方向可以依据多个输出单元的位置来确定，因此用户可以感觉输出声音的方向性。
图8是例示了根据本公开的各个实施例的电子设备识别空间和物体并提供通知的过程的流程图。
参照图8，电子设备可以获得空间信息。例如，电子设备可以感测空间。电子设备可以经由相机拍摄空间并且可以使所捕获的图像数据呈现为空间信息(801)。具体地，房间校准模块可以呈现由相机捕获的图像，从而获得关于在其中布置电子设备的空间的信息。电子设备可以通过房间校准模块识别空间的结构。例如，电子设备可以呈现空间信息，从而识别处当前在其中布置电子设备的空间包括前侧、后侧、左侧和右侧、天花板和地板。
电子设备可以感测物体。电子设备可以在呈现空间信息之后识别存在于空间中的物体(803)。例如，作为呈现空间信息的结果，当空间被识别为房屋时，可以使用房屋的空间特性来增加物体识别率。具体地，可以使用关于房屋中可能存在的物体的信息来增加物体识别率。当物体被识别时，电子设备可以将物体的位置映射到在801中获得的空间信息(805)。电子设备可以通过映射物体的位置来确定存在于空间中的物体的位置。
在识别出空间和存在于空间中的物体之后，电子设备可以识别出存在于空间中的用户。当在空间中识别出至少一个用户时，电子设备可以通过参照已知的信息来识别用户。在识别用户之后，当用户正在移动时，电子设备可以跟踪用户的位置(807)。在识别出用户之后，电子设备可以将用户的位置映射到空间信息。电子设备可以识别用户并且可以确定用户注视的方向。电子设备可以分析由相机捕获的数据以确定用户当前正在注视的方向，并且可以将所确定的用户的方向映射到空间信息。例如，电子设备可以确定用户是否看着电子设备、看着左壁还是右壁、看着天花板还是看着地板或者看着前壁，并且可以将用户的方向映射到空间信息。电子设备可以使用关于映射到空间信息的用户的方向信息，来确定用户能够听到声音的最佳位置。
当空间信息的映射完成时，电子设备可以确定是否存在通过通信单元接收到的通知或者在电子设备中生成的通知(809)。当存在通知时，电子设备可以经由音频输出单元向所识别的用户输出通知。当没有通知时，电子设备可以继续执行上述操作。
当存在通知时，电子设备可以生成通知事件。电子设备可以确定通知事件并且可以确定与通知事件相关的物体是否存在于用户当前所在的位置(811)。这里，当在空间中当前没有找到与通知事件相关的物体时，电子设备可以向用户提供一般通知(813)。这里，电子设备可以经由功能地连接到电子设备的输出单元发送通知。作为分析通知事件的结果，当在空间中存在与通知相关的物体时，电子设备可以从所呈现的空间信息中找到用户的位置和物体的位置、可以确定音频输出方向以及可以基于用户的位置信息和物体的位置信息来调整扬声器的位置(815)。电子设备可以通过调节音频输出单元的音频输出方向和声音音量来输出通知(817)。
图9例示了根据本公开的各个实施例的电子设备呈现空间的示例。
图9示出了空间中布置的电子设备901。当电子设备901的位置改变时，电子设备901可以通过输入单元接收关于位置的空间900的空间信息。具体地，电子设备901可以通过电子设备901中包括的相机和传感器设备来接收关于布置了电子设备901的空间的信息。替代地，电子设备901可以经由外部相机和功能地连接到电子设备901的传感器设备，来接收空间信息。
电子设备901可以在识别空间时通过反射来在空间中设置用于声音定位的反射平面，并且可以基于反射平面的信息来呈现空间。例如，电子设备901可以基于电子设备901的当前位置将空间划分为前侧907、左侧909、右侧903、天花板905和地板911，并且可以将每一侧作为用于反射声音的反射平面。
图10a例示了电子设备识别用户并监视用户的位置的实施例。参照图10a，电子设备1001可以识别空间1000中的至少一个用户1003。电子设备1001可以呈现空间信息，然后可以识别空间1000中的用户1003。当识别用户1003时，电子设备1001可以通过参照用户模型数据库来识别用户1003。当识别用户1003时，电子设备1001可以将用户信息映射到所呈现的空间信息。
当用户1003移动到不同的位置时，电子设备1001可以识别用户1003并且可以识别用户1003的新位置。电子设备1001可以确定空间中用户1003的位置并且可以识别用户1003注视的方向。例如，电子设备1001可以呈现空间信息、可以识别用户1003以及可以将所识别的用户1003的位置确定为左前方位置。当呈现空间信息时，电子设备1001可以将空间划分成多个虚拟区域、可以确定识别出的用户1003所在的虚拟区域以及可以基于虚拟区域确定用户1003的位置。
当识别用户1003时，电子设备1001可以检索用户1003的脸部并且可以确定用户1003的脸部看向哪个方向。当确定用户1003的脸部的方向时，电子设备1001可以将关于用户1003看着的方向的信息映射到空间信息。
图10b例示了电子设备识别并处理多个用户的示例。参照图10b，电子设备1001和多个用户1003、1005和1007位于空间1000中。电子设备1001可以呈现空间信息，然后可以识别空间1000中的多个用户1003、1005和1007。当识别多个用户1003、1005和1007时，电子设备1001可以通过参照用户模型数据库来识别多个用户1003、1005和1007。当识别多个用户1003、1005和1007时，电子设备1001可以将用户信息映射到所呈现的空间信息。
电子设备1001可以确定空间中的多个用户1003、1005和1007的位置。当呈现空间信息时，电子设备1001可以将空间划分为多个虚拟区域、可以确定识别出的用户所在的虚拟区域以及可以基于虚拟区域来确定用户的位置。例如，电子设备1001可以呈现空间信息、可以识别用户1003以及可以将识别出的用户1003的位置确定为左前方位置。电子设备1001可以识别用户1005并且可以将识别出的用户1005的位置确定为左前方位置。电子设备1001可以识别用户1007并且可以将识别出的用户1007的位置确定为左后方位置。
当针对多个用户1003、1005和1007而发生通知时，电子设备1001可以向每个用户提供相关通知。例如，当针对用户1003接收到文本消息时，电子设备1001可以向用户1003提供报告了接收到文本消息的音频通知。这里，电子设备1001可以基于用户1003的位置信息来设置音频参数，并且可以向用户1003提供音频通知。通知可以仅由用户1003听到，并且可以不被用户1005和用户1007听到。
在另一个示例中，当电子邮件被发送给用户1005时，电子设备1001可以向用户1005提供报告了接收到电子邮件的音频通知。电子设备1001可以基于关于用户1005的位置信息来设置音频参数，并且可以向用户1005提供音频通知。通知可以仅由用户1005听到，并且可以不由用户1003和用户1007听到。
在又一示例中，当用户1007有预约时，电子设备1001可以向用户1007提供报告了用户1007有预约的语音。电子设备1001可以基于关于用户1007的位置信息来设置音频参数，并且可以经由语音向用户1007提供预约信息。预约信息可以仅由用户1007听到，并且可以不被用户1003和用户1005听到。
图11例示了根据本公开的各个实施例的电子设备监视物体的状态的示例。
参照图11，电子设备1103和物体1105被布置在空间1100中。
电子设备1103可以识别存在于空间1100中的至少一个物体。当识别出物体时，电子设备1103可以使用电子设备1103可访问的任何信息将关于识别出的物体的信息映射到空间信息。电子设备1103可以使用图9所例示的空间信息来确定空间1103中识别出的物体的位置。
电子设备1103可以根据物体的特性，单独设置关于用户所需要的通知的情况的信息。例如，当电子设备1103将空间1100中的物体1105识别为框架时，电子设备可以识别框架的基本特征。该框架的基本特征可以由用户设置或者可以从数据库接收。电子设备1103可以基于框架的基本特征，识别出框架通常沿固定方向被布置在固定位置处。作为异常情况，电子设备1103可以确定即使没有用户的任何操纵但框架的朝向或位置改变了的情形，并且可以相应地为框架设置通知确定标准。即，电子设备1103可以基于物体1105的基本特性向用户提供与物体1105对应的通知。
图12例示了根据本公开的各个实施例的功能上连接到电子设备的输出设备提供通知的示例。参照图12，电子设备1203、物体1205以及输出设备1207和1209被布置在空间1200中。
物体1205例如可以是框架。输出设备1207和1209可以使用有线或无线通信功能地连接到电子设备1203。输出设备1207和1209例如可以是无线扬声器并且可以处理两个信道的音频信号。
电子设备1203可以识别空间中的物体1205并且可以根据物体1205的状态向用户提供通知。电子设备1203可以基于物体1205的状态来生成通知，并且可以经由电子设备1203中包括的音频输出单元向用户提供通知，或者可以将通知信息发送到功能地连接到电子设备1203的输出设备。输出设备可以基于所接收的通知信息通过驱动扬声器来输出声音。
电子设备1203可以确定空间中的物体的位置，并且可以基于物体的位置来控制音频输出单元。具体地，电子设备1203可以控制音频输出单元，使得用户可以感觉到好像声音是从布置在空间中的物体1205生成的。
替代地，电子设备1203可以确定空间中的物体的位置、可以基于物体的位置生成音频参数以控制音频输出单元以及可以将音频参数发送到输出设备。即，电子设备1203可以向输出设备发送基于物体的状态生成的通知信息和基于物体的位置生成的音频参数。
输出设备可以使用从电子设备1203接收到的音频参数来控制包括在输出设备中的扬声器和音频处理器，从而输出声音，使得用户可以感觉到好像声音是从物体1205产生的。
图13例示了根据本公开的各个实施例的功能地连接到电子设备的物体感测设备的示例。物体感测设备可以被包括在电子设备中，或者可以被布置在电子设备的外部并且可以功能地被连接到电子设备。电子设备可以从功能地连接的物体感测设备接收关于物体的信息。
参照图13，电子设备1303和用户1305被置于空间1300中。物体1307可以被布置在空间1300的外部。物体1307可以经由无线通信功能地连接到电子设备1303。物体1307可以是具有无线通信功能的CCTV，并且可以被布置在空间1300外的门廊中。
电子设备1303和用户1305可以在空间1300内部。例如，空间1300可以是房屋中的房间，并且电子设备1303和用户1305可以在同一房间中。可功能地连接到电子设备1303的物体1307可以在空间中被置于相对于用户1305的位置的前壁。例如，物体1307可以被布置在前壁前面。
电子设备1303可以使用各种感测工具识别空间中的物体、可以确定物体的位置、以及可以将物体的位置映射到所呈现的空间信息。在本公开的各个实施例中，电子设备1303可以通过视觉或音频感测单元识别物体，并且可以将物体的位置映射到空间信息。而且，电子设备1303可以通过功能地连接到电子设备1303的物体1307来感测和识别与电子设备1303未处于同一空间中的物体。可以使用有线或无线通信将物体1307功能地连接到电子设备1303。物体1307可以将其位置信息发送给电子设备。例如，物体1307可以通过嵌入式GPS接收器或通过室内定位技术来确定其位置，并且可以将其位置信息发送到电子设备1303。当事件发生时，物体1307可以生成通知，并且可以将通知信息及其位置信息发送给电子设备1303。
电子设备1303可以基于从物体1307接收到的通知信息生成与通知信息对应的音频信息，并且可以通过音频输出单元输出音频信息。而且，电子设备1303可以基于从物体1307接收的位置信息来生成音频参数。电子设备1303可以使用音频参数来控制音频输出单元，并且可以改变输出声音的方向。当从音频输出单元输出的音频的方向被改变时，用户可以感觉到好像声音是沿物体1307所处的方向输出的。
例如，当电子设备1303和用户1305在房间中并且在门廊中存在访客1309时，设置在门廊中的CCTV 1307可以拍摄访客并且可以生成通知信息。CCTV 1307经由Wi-Fi网络功能地连接到电子设备1303，并且可以将通知信息和其位置信息发送到房间中的电子设备1303。
电子设备1303可以将从物体1307接收到的关于CCTV的位置信息映射到空间信息。电子设备1303可以通过相机识别用户1305的位置和用户1305注视的方向，并且可以基于识别出的用户1305的位置和从物体1307接收的关于CCTV的位置信息，生成音频参数。电子设备1303可以生成与从物体1307接收的通知信息对应的通知消息，并且可以使用音频参数来控制音频输出单元以输出声音。
例如，电子设备1303可以控制音频输出单元，使得用户1305可以感觉到好像报告了存在访问者1309的声音是从门廊所在位置之外的前壁1310输出的。
图14例示了可以存在于房屋中的物体的示例。
图14显示了房屋中存在的各种物体。这些物体可以被划分为具有通信功能并且可功能地连接到电子设备的通信物体和不具有通信功能的一般物体。通信物体可以是物联网(IoT)设备。例如，通信物体可以是防盗报警设备安全系统1401、窗户控制器1402、机顶盒(STB)1403、遥控器1404、门控制器1405、运动传感器1406、环境控制1407、加热和通风以及空调(HVAC)控制器1408或灯光控制器1409。不具有通信功能的一般物体例如可以是框架1410和1411。
通信物体可以将其位置信息发送给电子设备。通信物体可以包括GPS接收设备、可以使用GPS信息或室内定位技术来测量其位置、并且可以将测量到的位置信息发送到电子设备。替代地，通信物体的位置信息可以由用户设置。
一般物体的位置信息可以由用户设置，或者可以由电子设备参照呈现的空间信息和通信物体的位置信息来设置。
当确定了通信物体的位置信息和一般物体的位置信息时，电子设备可以将通信物体和一般物体的位置映射到所呈现的空间信息。
图15是例示了根据本公开的各个实施例的电子设备识别物体并且当事件发生时生成通知的过程的流程图。
参照图15，电子设备可以通过网络功能地连接到至少一个物体。例如，电子设备1501可以通过有线或无线通信功能地连接到第一物体1502和第二物体1503。当与电子设备1501进行通信时，第一物体1502和第二物体1503可以在会话协商过程(1504)中将第一物体1502和第二物体1503的位置信息(例如，GPS信息)发送到电子设备1501。电子设备1501可以基于第一物体1502和第二物体1503的位置信息以及电子设备1501的当前位置信息，来设置并存储第一物体1502和第二物体1503的相对坐标。
当第一物体1502发生事件时(1505)，电子设备1501可以确定用户的位置(1506)、可以基于用户的位置信息生成音频参数、并且可以控制音频输出单元(1507)。电子设备1501可以使用音频参数改变音频输出方向并且可以向用户提供通知信息。
当第二物体1503发生事件时(1508)，电子设备1501可以确定用户的位置(1509)、可以基于用户的位置信息生成音频参数、并且可以控制音频输出单元(1510)。电子设备1501可以使用音频参数改变音频输出方向并且可以向用户提供通知信息。
图16和图17例示了根据本公开的各个实施例的电子设备识别物体的状态并向用户提供通知的示例。
图16示出了空间1601中的电子设备1602和物体1603。物体可以被设置在相对于电子设备的前壁上。空间的前侧、后侧、顶部、底部、左侧和右侧可以是反射声音的反射平面。
电子设备1602可以分析由相机捕获的图像以识别物体1603并且可以确定物体是否处于正常状态。当确定所识别的物体1603的类型是框架时，电子设备1602可以通过参照数据库来区分框架的正常状态与框架的异常状态。替代地，当确定所识别的物体1603是框架时，如果框架的位置在预定时间内没有改变，则电子设备1602可以确定框架1603处于正常状态。当框架的位置改变时，电子设备1602可以确定该框架处于异常状态。
图17示出了空间1701中的电子设备1702和物体1703。物体1703可以被布置在相对于电子设备1702的前壁上，并且可以被设置为异常状态。例如，物体1703可以是框架，该可以以倾斜状态将框架布置在前壁上。
空间1701的前侧、后侧、顶部、底部、左侧和右侧可以是反射声音的反射平面。电子设备1702可以分析由相机捕获的图像以识别物体1703，并且可以确定物体1703是否处于异常状态。当确定所识别的物体1703是框架时，电子设备1702可以通过参照数据库来区分框架的正常状态与框架的异常状态。当确定物体1703处于异常状态时，电子设备1702可以生成与物体1703对应的通知事件，并生成通知信息。此外，电子设备1702可以基于关于用户1704的位置信息和关于物体1703的位置信息来生成音频参数、并且可以使用音频参数来控制音频输出单元。电子设备1702可以控制音频输出单元以改变音频输出方向，使得用户1704感觉到好像声音是从物体1703的位置输出的。
即，电子设备1702可以基于物体1703的状态信息生成通知，并且可以基于物体1703的位置信息和用户1704的位置信息来控制音频输出单元。
图18和图19例示了根据本公开的各个实施例的电子设备基于物体和用户的位置来控制音频输出单元的示例。
图18示出了电子设备1801、物体1803、用户1802以及音频输出设备1804和1805。音频输出设备1804和1805可以通过有线/无线通信功能地连接到电子设备1801。
电子设备1801可以获得关于电子设备1801位于何处的空间信息并且可以设置可以发生声音反射的点。电子设备1801可以呈现空间信息并且可以将发生声音反射的点映射到空间信息。
电子设备1801可以识别空间中的物体1803、可以确定所识别的物体1803的类型、并且可以确定所识别的物体1803当前是否处于需要通知的状态。电子设备1801可以检查所识别的物体1803的状态，并且在确定了所识别的物体1803处于需要通知的状况时，电子设备1801可以识别用户1802的位置。当识别出用户1802的位置时，电子设备1801可以基于用户1802的用户位置信息和物体1803的位置信息来确定音频输出方向以生成音频参数，并且可以控制音频输出单元或者可以控制电子设备1801的驱动器。替代地，电子设备1801可以将所生成的音频参数发送到音频输出设备1804和1805。
电子设备1801可以生成与物体1803对应的通知信息，并且可以通过音频输出单元或音频输出设备1804和1805输出所生成的通知信息。这里，输出声音可以在空间的反射壁1806和1807上反射，并且可以被发送给用户1802，从而用户1802可以感觉到好像声音是沿需要通知的物体1803的方向输出的。
图19示出了电子设备1901、物体1903、用户1902和音频输出设备1904和1905。音频输出设备1904和1905可以通过有线/无线通信功能地连接到电子设备1901，并且包括驱动器。音频输出设备1904和1905的方向可以由驱动器改变。
电子设备1901可以获得关于电子设备1901位于何处的空间信息，并且可以设置可以发生声音反射的点。电子设备1901可以呈现空间信息并且可以将发生声音反射的点映射到空间信息。
电子设备1901可以识别空间中的物体1903、可以确定所识别的物体1903的类型、并且可以确定所识别的物体1903当前是否处于需要通知的状态。电子设备1901可以检查所识别的物体1903的状态，并且可以在确定所识别的物体1903处于需要通知的状态时识别用户1902的位置。当识别出用户1902的位置时，电子设备1901可以基于用户1902的用户位置信息和物体1903的位置信息来确定音频输出方向以生成音频参数，并且可以控制音频输出单元或者可以控制电子设备1901的驱动器。电子设备1901可以基于用户位置信息和物体1903的位置信息在空间中的反射壁1906和1907上设置反射点1908。替代地，电子设备1901可以将所生成的音频参数发送到音频输出设备1904和1905。音频输出设备1904和1905可以包括驱动器并且可以使用从电子设备1901发送的音频参数来控制驱动器。此外，音频输出设备1904和1905可以包括音频处理器，可以使用从电子设备1901发送的音频参数来处理音频处理器中的声音，并且可以驱动扬声器输出声音。
电子设备1901可以生成与物体对应的通知信息，并且可以通过音频输出单元或音频输出设备输出所生成的通知信息。这里，输出声音可以在空间中的反射点处被反射并且可以被发送到用户1902，用户1902可以感觉到好像声音是沿着需要通知的物体1903的方向输出的。
图20例示了根据本公开的各个实施例的电子设备提供具有被反射的物体的特性的音频通知的示例。
图20示出了电子设备2001、用户2002、音频输出设备2003和2004以及物体2005、2006和2007。音频输出设备2003和2004可以通过有线/无线通信功能地连接到电子设备2001，并且可以包括驱动器。音频输出设备2003和2004的方向可以由驱动器改变。
电子设备2001可以获得关于电子设备2001位于何处的空间信息，并且可以设置可以发生声音反射的点。电子设备2001可以呈现空间信息并且可以将发生声音反射的点映射到空间信息。
物体2005、2006和2007可以是空间中的事物。物体2005、2006和2007可以是通过有线通信或无线通信功能地连接到电子设备2001或者未功能地连接到电子设备2001的事物。例如，物体2005可以是花盆，并且可以未功能地连接到电子设备2001。物体2006可以是时钟并且可以功能地连接到电子设备2001。物体2007可以是框架并且可以未功能地连接到电子设备2001。
电子设备2001可以经由相机感测空间并且可以识别用户2002和物体2005、2006和2007的位置。电子设备2001可以从通过相机捕获的图像中识别用户2002和物体2005、2006以及2007，可以提取用户和物体的位置信息，并且可以将位置信息映射到空间信息。例如，参照所捕获的图像，电子设备2001可以将空间的结构划分为相对于电子设备2001的前侧、后侧、右侧、左侧、天花板或者地板。例如，电子设备2001可以识别出的是：基于电子设备2001，物体2005被布置在空间的右中侧、物体2006被布置在空间的左前侧、物体2007被布置在空间的左后侧以及用户2002位于空间的前后部。当物体2005、2006和2007功能地连接到电子设备2001时，物体2005、2006和2007可以将其信息发送到电子设备2001。例如，物体2006可以功能地连接到电子设备并且可以将位置信息发送到电子设备2001。
电子设备2001可以识别布置在空间中的物体的状态和特性，并且可以向用户2002提供与物体对应的通知。可以通过电子设备2001的输出单元将通知作为声音来提供。电子设备2001可以通过将通知修改为适合于物体的特征的语音来提供通知，以便最大化提供通知的效果。
例如，当电子设备2001拍摄空间中的花盆2005以获得图像数据时，分析所获得的数据并确定花盆2005中的花干枯了，电子设备2001可以向用户2002提供报告了“请给我浇水”的音频通知。电子设备2001可以分析所拍摄的花盆2005的特征、可以将特征分类为女性并且可以用女性的声音提供该通知以便最大化通知的效果。电子设备2001可以参照外部数据库或用户设置数据，以便识别物体的特征。例如，外部数据库具有关于将针对各种物体的特征提供何种语音的信息，并且电子设备2001可以在提供通知时参照外部数据库并且可以用相应语音提供通知。替代地，当存在由用户预设的数据时，电子设备2001可以参照用户设置数据并且可以用相应语音提供通知。替代地，当从所拍摄的物体获得的图像日期包括人时，电子设备2001可识别出人，并且可以改变并提供与适合于所识别人的性别或年龄的语音对应的通知。例如，当所识别的人是20多岁的女性时，电子设备2001可以用20多岁的女性的声音来提供通知。此外，当所拍摄的物体的特征被识别为30多岁的男性时，电子设备2001可以用30多岁的男性的声音来提供通知。
此外，电子设备2001可以识别花盆2005在空间中的位置和用户2002的位置，并且可以通过控制电子设备2001的音频输出单元来调整音频输出方向、声音延迟和频带或者每个频率的音量，以便感觉好像声音是从花盆输出的。替代地，电子设备2001可以控制电子设备2001的驱动器，并且可以改变电子设备2001的方向以便感觉好像声音是从花盆输出的。替代地，电子设备2001可以生成用于调节声音的音频输出方向或者声音延迟和频带的音频参数，并且可以将生成的音频参数发送到音频输出设备2004和2005，以便感觉好像声音是从花盆输出的。音频输出设备2004和2005可以包括驱动器并且可以使用从电子设备2001发送的音频参数来控制驱动器。此外，音频输出设备2004和2005可以包括音频处理器、可以使用从电子设备2001发送的音频参数处理音频处理器中的声音、并且可以驱动扬声器以输出声音。
在另一示例中，当电子设备2001拍摄空间中的时钟2006以获得图像数据，分析所获得的数据，并且确定时钟2006显示了不正确的时间时，电子设备2001可以向用户提供报告了“请更正时间”的音频通知。
电子设备2001可以分析所拍摄的时钟2006的特征/可以将特征分类为男性、并且可以以男性声音提供通知以便最大化通知的效果。电子设备2001可以参照外部数据库或用户设置数据以便识别物体的特征。例如，外部数据库具有关于针对各种物体的特征提供何种语音的信息，并且电子设备2001可以在提供通知时参照外部数据库以及可以用相应语音提供通知。替代地，当存在由用户预设的数据时，电子设备2001可以参照用户设置数据并且可以用相应语音提供通知。替代地，当从所拍摄的物体获得的图像数据包括人时，电子设备2001可以识别人、可以改变并提供与适合于所识别的人的性别或年龄的语音对应的通知。例如，当所识别的人是20多岁的女性时，电子设备2001可以用20多岁的女性的声音来提供通知。此外，当所拍摄物体的特征被识别为30多岁的男性时，电子设备2001可以用30多岁的男性的声音来提供通知。
此外，电子设备2001可以识别时钟2006在空间中的位置和用户的位置，并且可以通过控制电子设备2001的音频输出单元来调整音频输出方向、声音延迟和频带或每个频率的音量，以便感觉好像声音是从时钟输出的。替代地，电子设备2001可以控制电子设备2001的驱动器，并且可以改变电子设备2001的方向以便感觉好像声音是从时钟输出的。替代地，电子设备2001可以生成用于调节音频输出方向或者声音延迟和频带的音频参数，并且可以将所生成的音频参数发送到音频输出设备2004和2005，以便感觉好像声音是从时钟输出的。音频输出设备2004和2005可以包括驱动器，并且可以使用从电子设备2001发送的音频参数来控制驱动器。此外，音频输出设备2004和2005可以包括音频处理器，可以使用从电子设备2001发送的音频参数处理音频处理器中的声音，并且可以驱动扬声器以输出声音。
在又一示例中，当电子设备2001拍摄空间中的框架2007以获得图像数据，分析所获得的数据，并确定框架2007是倾斜时，电子设备2001可以向用户提供报告了“请把我扶正”的音频通知。
电子设备2001可以分析所拍摄的框架2007的特征，可以识别在框架中显示的男性的脸部，并且可以以男性的语音提供通知以最大化通知的效果。电子设备2001可以参照外部数据库或用户设置数据以便识别物体的特征。例如，外部数据库具有关于针对各种物体的特征提供了何种语音的信息，电子设备2001可以在提供通知时参照外部数据库并可以用相应语音提供通知。替代地，当存在由用户2002预设的数据时，电子设备2001可以参照用户设置数据并且可以用相应语音提供通知。替代地，当从所拍摄的物体获得的图像数据包括人时，电子设备2001可以识别人，以及可以改变并提供与适合于所识别的人的性别或年龄的语音对应的通知。例如，当所识别的人是20多岁的女性时，电子设备2001可以用20多岁的女性的声音来提供通知。此外，当所拍摄物体的特征被识别为30多岁的男性时，电子设备2001可以用30多岁的男性的声音来提供通知。
此外，电子设备2001可以识别框架2007在空间中的位置和用户2002的位置，并且可以通过控制电子设备2001的音频输出单元来调整音频输出方向、声音延迟和频带或者每个频率的音量，以便感觉好像声音是从框架输出的。替代地，电子设备2001可以控制电子设备2001的驱动器，并且可以改变电子设备2001的方向以便感觉好像声音是从框架输出的。替代地，电子设备2001可以生成用于调节音频输出方向或者声音延迟和频带的音频参数，并且可以将所生成的音频参数发送到音频输出设备2004和2005，以便感觉好像声音是从框架输出的。音频输出设备2004和2005可以包括驱动器并且可以使用从电子设备2001发送的音频参数来控制驱动器。此外，音频输出设备2004和2005可以包括音频处理器，可以使用从电子设备2001发送的音频参数来处理音频处理器中的声音以及可以驱动扬声器以输出声音。
如上所述，电子设备2001可以分析所拍摄的物体的特性并且可以基于所拍摄的物体的特性通过转换语音来提供通知。这里，特征可以是例如确定物体的性别和年龄，并且电子设备2001可以通过转换与所确定的物体的性别和年龄对应的语音来提供通知。
根据本公开的电子设备的组件中的每一个可以由一个或更多个组件来实现，并且相应组件的名称可以依据电子设备的类型而变化。在各个实施例中，检查装置可以包括上述元件中的至少一个。可以从电子设备中省略上述元件中的一些，或者检查装置还可以包括另外的元件。此外，根据本公开的各个实施例的电子设备的组件中的一些可以被组合以形成单个实体，并且因此可以在组合之前同样地运行相应元件的功能。
本文使用的术语“模块”例如可以意指单元，该单元包括了硬件、软件和固件之一或者其中两个或更多个的组合。例如，“模块”与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”可互换地使用。“模块”可以是集成组件的最小单元或其一部分。“模块”可以是执行一个或更多个功能或其一部分功能的最小单元。“模块”可以机械地或电子地来实现。例如，根据本公开的“模块”可以包括已知的或将在以后待开发的用于执行操作的应用专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一个。
根据各个实施例，根据本公开的至少一些设备(例如，其模块或其功能)或方法(例如，操作)可以通过以编程模块的形式存储在计算机可读存储介质的命令来实现。当命令由一个或更多个处理器(例如，处理器120)来运行时，一个或更多个处理器可以运行与该命令对应的功能。计算机可读存储介质可以例如是存储器130。
计算机可读记录介质可以包括硬盘、软盘、磁性介质(例如，磁带)、光学介质(例如，光盘只读存储器(CD-ROM)和数字通用光盘(数字通用光盘DVD))、磁光介质(例如，软光盘)、硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。另外，程序指令可以包括高级语言代码(其能够通过使用解释器在计算机中运行)以及由编译器生成的机器代码。前述硬件设备可以被配置为作为一个或更多个软件模块进行操作以执行本公开的操作，反之亦然。
根据本公开的编程模块可以包括一个或更多个前述组件，或者还可以包括其他另外的组件，或者可以省略一些前述组件。由根据本公开的各个实施例的模块、编程模块或其他组件元件运行的操作可以顺序地、并行地、重复地或以试探的方式来运行。此外，可以以不同的顺序运行一些操作或者可以将其省略，或者可以添加其他的操作。
根据本公开的各个实施例，一种存储介质存储了命令，其中该命令被设置用于至少一个处理器以在由该至少一个处理器运行时执行至少一个操作，该至少一个操作可以包括：获得图像；以及对基于分析所获得的图像和另外的信息的图像分析结果而生成的消息进行输出。
提供本文所公开的各个实施例仅仅是为了容易地描述本公开的技术细节并且为了帮助理解本公开，而不是为了限制本公开的范围。因此，应当认为，基于本公开的技术思想的所有修改和变化或修改的和变化的形式都落入了本公开的范围内。

Claims (10)

1.一种电子设备，所述电子设备包括：
相机；
扬声器；以及
处理器，所述处理器被配置为控制所述相机获得图像数据，通过呈现所述图像数据中的关于空间的信息来生成空间信息，识别所述空间中的物体和用户，将所述物体和所述用户映射到所述空间信息，当发生与所述物体相关联的通知时基于所述物体的位置信息和所述用户的位置信息来控制所述扬声器输出第一声音，使得从所述扬声器输出的所述第一声音在与所述物体相对应的位置处被反射并且被传输到所述用户，
其中，在所述物体被放置的位置发生了改变时，生成所述通知。
2.根据权利要求1所述的电子设备，其中所述处理器通过改变所述第一声音的延迟、音量、频带或每种频率的音量中的至少一个，来控制所述扬声器。
3.根据权利要求1所述的电子设备，还包括：
驱动器，所述驱动器被配置为移动所述电子设备，
其中所述处理器基于所述物体和所述用户的位置信息，控制所述驱动器。
4.根据权利要求1所述的电子设备，还包括：
通信单元，
其中所述处理器经由所述通信单元从功能地连接到所述电子设备的物体感测设备接收所述物体感测设备的位置信息，并基于所述物体感测设备的所述位置信息来控制所述扬声器输出第二声音。
5.根据权利要求4所述的电子设备，其中所述处理器控制所述扬声器，使得所述扬声器输出的所述第二声音沿所述物体感测设备所在位置的方向被反射，且被传输到用户。
6.根据权利要求1所述的电子设备，其中所述电子设备功能地连接到音频输出设备，所述处理器基于所述物体的位置信息和所述用户的位置信息来生成音频参数，并且如果发生所述通知，则向所述音频输出设备发送所述通知和所述音频参数。
7.一种电子设备的音频输出方法，所述方法包括：
从相机获得图像数据；
通过呈现所述图像数据中的关于空间的信息生成空间信息；
识别所述空间中的物体和用户；
将所述物体和所述用户映射到所述空间信息；以及
当发生与所述物体相关联的通知时，基于所述物体和所述用户的位置信息控制第一声音的输出，使得所述第一声音在与所述物体相对应的位置处被反射并且被传输到所述用户，
其中，在所述物体被放置的位置发生了改变时，生成所述通知。
8.根据权利要求7所述的方法，其中所述方法通过改变所述第一声音的延迟、音量、频带或每种频率的音量中的至少一种，控制所述第一声音的输出。
9.根据权利要求7所述的方法，还包括：
基于所述物体和所述用户的位置信息，控制所述电子设备的移动。
10.根据权利要求7所述的方法，其中所述方法还包括：
从功能地连接到所述电子设备的物体感测设备接收所述物体感测设备的位置信息；以及
基于所述物体感测设备的位置信息，控制扬声器输出第二声音。
CN201680071099.1A 2015-12-04 2016-11-25 音频提供方法及其设备 Expired - Fee Related CN108370488B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0172599 2015-12-04
KR1020150172599A KR102481486B1 (ko) 2015-12-04 2015-12-04 오디오 제공 방법 및 그 장치
PCT/KR2016/013711 WO2017095082A1 (ko) 2015-12-04 2016-11-25 오디오 제공 방법 및 그 장치

Publications (2)

Publication Number Publication Date
CN108370488A CN108370488A (zh) 2018-08-03
CN108370488B true CN108370488B (zh) 2021-07-02

Family

ID=58797100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680071099.1A Expired - Fee Related CN108370488B (zh) 2015-12-04 2016-11-25 音频提供方法及其设备

Country Status (5)

Country Link
US (1) US10362430B2 (zh)
EP (1) EP3386217A4 (zh)
KR (1) KR102481486B1 (zh)
CN (1) CN108370488B (zh)
WO (1) WO2017095082A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990669B (zh) * 2016-11-24 2019-07-26 深圳市圆周率软件科技有限责任公司 一种全景相机量产方法及系统
JP6859970B2 (ja) * 2018-03-09 2021-04-14 京セラドキュメントソリューションズ株式会社 ログイン支援システム
US11040441B2 (en) * 2018-09-20 2021-06-22 Sony Group Corporation Situation-aware robot
US11782391B2 (en) * 2018-09-25 2023-10-10 Samsung Electronics Co., Ltd. Wall clock AI voice assistant
WO2021010562A1 (en) * 2019-07-15 2021-01-21 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20210008788A (ko) 2019-07-15 2021-01-25 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102650488B1 (ko) * 2019-11-29 2024-03-25 삼성전자주식회사 전자장치와 그의 제어방법
CN111586553B (zh) * 2020-05-27 2022-06-03 京东方科技集团股份有限公司 显示装置及其工作方法
CN112078498B (zh) * 2020-09-11 2022-03-18 广州小鹏汽车科技有限公司 一种车辆智能座舱的声音输出控制方法和智能座舱

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201325270A (zh) * 2011-12-06 2013-06-16 Sound Cheers Ltd 人臉辨識喇叭裝置及其聲音指向調整方法
CN103339962A (zh) * 2011-02-01 2013-10-02 Nec卡西欧移动通信株式会社 电子设备
KR20140077726A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 유아용 모니터링 로봇

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5676292A (en) 1979-11-28 1981-06-23 Norihiko Base Method and apparatus for treating muddy water
WO1995006303A1 (en) 1993-08-25 1995-03-02 The Australian National University Panoramic surveillance system
US6252496B1 (en) 1999-09-10 2001-06-26 Otto V. Jackson Animal warning alarm device
KR20050026928A (ko) * 2002-06-12 2005-03-16 이큐테크 에이피에스 룸 스피커로부터의 사운드를 디지털 등화하는 방법 및 그용도
EP1720374B1 (en) * 2004-02-10 2011-10-12 Honda Motor Co., Ltd. Mobile body with superdirectivity speaker
JP2006019908A (ja) 2004-06-30 2006-01-19 Denso Corp 車両用報知音出力装置及びプログラム
US7715276B2 (en) 2006-05-09 2010-05-11 Sensotech Inc. Presence detection system for path crossing
DE102007032272B8 (de) * 2007-07-11 2014-12-18 Institut für Rundfunktechnik GmbH Verfahren zur Simulation einer Kopfhörerwiedergabe von Audiosignalen durch mehrere fokussierte Schallquellen
JP4557054B2 (ja) 2008-06-20 2010-10-06 株式会社デンソー 車載用立体音響装置
KR101404367B1 (ko) 2008-07-15 2014-06-20 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법
JP2011000910A (ja) 2009-06-16 2011-01-06 Autonetworks Technologies Ltd 車載音声報知装置
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
JP5488732B1 (ja) * 2013-03-05 2014-05-14 パナソニック株式会社 音響再生装置
KR20150122476A (ko) * 2014-04-23 2015-11-02 삼성전자주식회사 제스처 센서 제어 방법 및 장치
KR102248474B1 (ko) * 2014-04-30 2021-05-07 삼성전자 주식회사 음성 명령 제공 방법 및 장치
KR20150130854A (ko) * 2014-05-14 2015-11-24 삼성전자주식회사 오디오 신호 인식 방법 및 이를 제공하는 전자 장치
US10057706B2 (en) * 2014-11-26 2018-08-21 Sony Interactive Entertainment Inc. Information processing device, information processing system, control method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339962A (zh) * 2011-02-01 2013-10-02 Nec卡西欧移动通信株式会社 电子设备
TW201325270A (zh) * 2011-12-06 2013-06-16 Sound Cheers Ltd 人臉辨識喇叭裝置及其聲音指向調整方法
KR20140077726A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 유아용 모니터링 로봇

Also Published As

Publication number Publication date
KR102481486B1 (ko) 2022-12-27
US10362430B2 (en) 2019-07-23
EP3386217A4 (en) 2019-04-03
CN108370488A (zh) 2018-08-03
EP3386217A1 (en) 2018-10-10
WO2017095082A1 (ko) 2017-06-08
KR20170066054A (ko) 2017-06-14
US20180359595A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN108370488B (zh) 音频提供方法及其设备
EP3341934B1 (en) Electronic device
KR102559625B1 (ko) 증강 현실 출력 방법 및 이를 지원하는 전자 장치
US10217349B2 (en) Electronic device and method for controlling the electronic device
CN108023934B (zh) 电子装置及其控制方法
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
US10551922B2 (en) Electronic device and method for providing haptic feedback thereof
EP3293723A1 (en) Method, storage medium, and electronic device for displaying images
US20160086386A1 (en) Method and apparatus for screen capture
KR102636243B1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
US10055015B2 (en) Electronic device and method for controlling external object
CN110291528B (zh) 基于视觉的对象辨别装置和用于控制其的方法
US20170134694A1 (en) Electronic device for performing motion and control method thereof
KR102561572B1 (ko) 센서 활용 방법 및 이를 구현한 전자 장치
EP3469787B1 (en) Electronic device and computer-readable recording medium for displaying images
KR20200029271A (ko) 전자 장치 및 전자 장치에서 위치를 식별하기 위한 방법
KR20160075079A (ko) 다른 전자 장치를 제어하는 전자 장치 및 제어 방법
KR102355759B1 (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
US10582156B2 (en) Electronic device for performing video call and computer-readable recording medium
CN109845251B (zh) 用于显示图像的电子设备和方法
CN106168850B (zh) 用于显示屏幕的电子设备及其控制方法
EP3591514A1 (en) Electronic device and screen image display method for electronic device
KR102568387B1 (ko) 전자 장치 및 그의 데이터 처리 방법
KR102347359B1 (ko) 전자 장치 및 전자 장치에서 시선을 추적하는 방법
KR20170065295A (ko) 외부 전자 장치를 제어하는 전자 장치 및 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210702

CF01 Termination of patent right due to non-payment of annual fee