CN112740626A - 用于通过使多个电子装置协同工作来提供通知的方法和设备 - Google Patents

用于通过使多个电子装置协同工作来提供通知的方法和设备 Download PDF

Info

Publication number
CN112740626A
CN112740626A CN201980061685.1A CN201980061685A CN112740626A CN 112740626 A CN112740626 A CN 112740626A CN 201980061685 A CN201980061685 A CN 201980061685A CN 112740626 A CN112740626 A CN 112740626A
Authority
CN
China
Prior art keywords
electronic device
notification
user
information
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980061685.1A
Other languages
English (en)
Other versions
CN112740626B (zh
Inventor
洪艺瑟
金龙浩
金璇儿
李宝蓝
田宅秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112740626A publication Critical patent/CN112740626A/zh
Application granted granted Critical
Publication of CN112740626B publication Critical patent/CN112740626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/185Electrical failure alarms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G08B3/1008Personal calling arrangements or devices, i.e. paging systems
    • G08B3/1016Personal calling arrangements or devices, i.e. paging systems using wireless transmission
    • G08B3/1025Paging receivers with audible signalling details
    • G08B3/1033Paging receivers with audible signalling details with voice message alert
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/283Processing of data at an internetworking point of a home automation network
    • H04L12/2832Interconnection of the control functionalities between home networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/10Plc systems
    • G05B2219/16Plc to applications
    • G05B2219/163Domotique, domestic, home control, automation, smart, intelligent house
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/25Pc structure of the system
    • G05B2219/25011Domotique, I-O bus, home automation, building automation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/25Pc structure of the system
    • G05B2219/25168Domotique, access through internet protocols
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/54Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Emergency Management (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供了一种能够通过使多个电子装置协同工作来通过靠近用户(或在用户附近)的装置将从给定装置生成的与功能相关的通知或信息转发给用户的方法和设备。一种电子装置包括通信接口和处理器。所述处理器被配置为:从外部装置获得与通知相关的第一消息,基于用户的位置和能够与所述电子装置进行通信的多个电子装置中的每个电子装置的通知输出性能来识别用于通知输出的目标电子装置,并且将与通知相关的第二消息发送到目标电子装置以使得所识别的目标电子装置输出通知。

Description

用于通过使多个电子装置协同工作来提供通知的方法和设备
技术领域
本公开涉及一种能够通过使多个电子装置协同工作来通过靠近用户(或在用户附近)的装置将从给定装置生成的通知转发给用户的方法和设备。
背景技术
随着数字技术的发展,广泛使用了各种类型的电子装置,诸如,移动通信终端、智能电话、平板个人计算机(PC)、笔记本、个人数字助理(PDA)、可穿戴装置、数字相机、智能扬声器或各种家用电器(例如,TV、冰箱、洗衣机、吸尘器、微波炉或空气净化器)。
电子装置可以包括用于声音输出的扬声器,并且可以通过扬声器输出与电子装置的功能相关的至少一个通知。第一电子装置(例如,智能电话)可以输出呼叫接收的通知(例如,铃声)。第二电子装置(例如,洗衣机)可以输出洗涤完成的通知(例如,洗涤已经完成)。第三电子装置(例如,空气净化器)可以输出功能(例如,空气净化)开始的通知(例如,空气净化将开始)。
然而,当电子装置输出与功能相关的通知时,无论用户是否位于相应的电子装置的附近,电子装置都输出通知。此外,如果多个电子装置存在于给定空间中(例如,家里)并且电子装置具有通知,则电子装置中的每一个可以各自提供通知,或者它们可以同时提供多条通知。此外,当电子装置提供通知时,如果用户不位于电子装置的附近,则用户可能错过通知或听到通知。
上述信息仅作为背景技术信息被呈现,以帮助理解本公开。关于上述内容中的任何内容是否可以用作为关于本公开的现有技术,没有做出确定,也未做出断言。
发明内容
技术问题
本公开的各方面在于至少解决上述问题和/或缺点,并且至少提供下面描述的优点。因此,本公开的一方面在于提供一种通过使给定空间内的多个电子装置协同工作来提供任何一个电子装置的通知的方法及其电子装置。
本公开的另一方面在于提供一种使多个电子装置协同工作并使用用户附近的至少一个电子装置提供从电子装置生成的通知的方法及其设备。
本公开的另一方面在于提供一种通过多个电子装置的至少一个感测来检测用户(即,用户检测)并基于用户检测来通过用户附近的电子装置提供任何一个电子装置的通知的方法及其电子装置。
本公开的另一方面在于提供一种基于通过多个电子装置的用户检测和用户状况检测来确定目标用户并通过在所确定的目标用户附近的电子装置提供与目标用户相关的电子装置的通知的方法及其电子装置。
本公开的另一方面在于提供一种方法,该方法能够基于最靠近用户的当前位置的电子装置来提供通知或信息,或者能够基于在用户的生活期间可自然出现的声音(诸如用户的周围声音和/或给定声音)来最容易地转发通知或信息的方法及其电子装置。
本公开的另一方面在于提供一种用于通过使多个电子装置协同工作来基于声音检测用户并通过用户附近的电子装置提供任何一个电子装置的通知的方法和设备。
本公开的另一方面在于提供一种通过多个电子装置收集各种周围声音(例如,人或用户的声音(例如,语音))或周围声音(例如,脚步声、通过TV输出的声音、键盘声音或烹饪声音),检测所收集的声音中的用户的位置,并通过与用户位置相应的电子装置提供任何一个电子装置的通知的方法及其电子装置。
另外的方面将部分地在下面的描述中阐述,并且部分地将从所述描述中显而易见,或者可以通过实践所呈现的实施例来获知。
技术方案
根据本公开的一方面,提供了一种电子装置。所述电子装置包括通信接口和处理器。所述处理器被配置为:从外部装置获得与通知相关的第一消息,基于用户的位置和能够与所述电子装置进行通信的多个电子装置中的每个电子装置的通知输出性能来识别用于通知输出的目标电子装置,并且将与通知相关的第二消息发送到目标电子装置以使得所识别的目标电子装置输出所述通知。
根据本公开的另一方面,提供了一种电子装置。所述电子装置包括:至少一个状况收集接口,被配置为收集与用户检测相关的状况信息;通信接口,被配置为与至少一个其他电子装置进行通信;以及处理器。所述处理器被配置为:检测与至少一个功能相关的通知,响应于检测到所述通知,基于多个电子装置收集与用户相关的状况信息,基于状况信息识别多个电子装置中的用于输出所述通知的目标电子装置,并且向目标电子装置提供通知信息以使得目标电子装置向用户输出所述通知。
根据本公开的另一方面,提供了一种电子装置的操作方法。所述方法包括:从外部装置接收与通知相关的第一消息,基于用户的位置和能够与所述电子装置进行通信的多个电子装置中的每个电子装置的通知输出性能来识别用于通知输出的目标电子装置,以及将与所述通知相关的第二消息发送到目标电子装置以使得所识别的目标电子装置输出所述通知。
根据本公开的另一方面,提供了一种电子装置的操作方法。所述方法包括:检测与至少一个功能相关的通知;响应于检测到所述通知,基于多个电子装置收集与用户相关的状况信息,基于状况信息识别多个电子装置中的用于输出通知的目标电子装置,以及通过向目标电子装置提供通知信息来由目标电子装置向用户输出所述通知。
根据本公开的各种实施例,可以包括一种写入有用于在至少一个处理器中执行所述方法的程序的计算机可读记录介质。
根据以下结合附图公开了本公开的各种实施例的详细描述,本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
发明的有益效果
依据根据各种实施例的电子装置及其操作方法,当在多个电子装置存在于给定空间的环境中的任何一个电子装置具有通知时,任何一个电子装置的通知可以通过靠近用户(或在用户附近或用户正在使用)的电子装置(以下称为“外围电子装置”)输出,并且可以更准确地转发给用户。
根据本公开的各种实施例,可以基于由多个电子装置进行的各种类型的感测来检测用户,可以确定在预期作为用户的识别范围(例如,可听范围)的位置处的电子装置(例如,用户外围电子装置),并且可以通过相应的电子装置提供与用户相关的通知。可以通过使多个电子装置协同工作来基于声音检测用户,并且可以通过用户附近的电子装置更清楚并且准确地将任何一个电子装置的通知转发给用户。
根据本公开的各种实施例,可以通过最靠近用户的当前位置或者能够基于在用户的生活期间可自然发生的声音(诸如用户的周围声音和/或给定声音)最容易地转发通知或信息的电子装置来更准确地提供通知或信息,而无需用户的给定设置。当电子装置具有通知时,如果附近没有用户,则电子装置不生成通知,并且可以将通知转发到用户附近的另一电子装置。因此,尽管远离用户的电子装置具有通知,但是用户可以通过靠近用户(或在用户附近)的不同电子装置识别远离用户的电子装置的通知和/或通知的类型。用于用户的通知识别的电子装置的可用性、容易性、可访问性、可靠性或竞争力可被提高。
附图说明
通过以下结合附图的描述,本公开的某些实施例的上述和其他方面、特征和优点将更加明显,其中:
图1是示出根据本公开的实施例的网络环境中的电子装置的配置的框图;
图2是示出根据本公开的实施例的程序的框图;
图3是用于示出根据本公开的实施例的用于提供通知的网络环境的示图;
图4是示出根据本公开的实施例的电子装置中的功能处理模块的示例的示图;
图5是示出根据本公开的实施例的电子装置的操作方法的流程图;
图6是用于示出根据本公开的实施例的通过在网络环境中使电子装置协同工作来提供通知的示例的示图;
图7是示出根据本公开的实施例的在电子装置中确定目标电子装置的操作方法的流程图;
图8是示出根据本公开的实施例的在网络环境中提供通知的示例的示图;
图9是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图10是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图11是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图12是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图13是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图14是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图15是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图16A是示出根据本公开的实施例的在电子装置中确定目标电子装置的操作方法的流程图;
图16B是示出根据本公开的实施例的在电子装置中确定目标电子装置的操作方法的流程图;
图17是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图18是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图19是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图;
图20是示出根据本公开的实施例的在网络环境中提供通知的示例的示图;
图21是示出根据本公开的实施例的在网络环境中提供通知的示例的示图;
图22是示出根据本公开的实施例的电子装置的操作方法的流程图;
图23是示出根据本公开的实施例的通过在网络环境中使电子装置协同工作来提供通知的示例的示图;
图24是示出根据本公开的实施例的在网络环境中提供通知的示例的示图;
图25是示出根据本公开的实施例的在网络环境中提供通知的示例的示图;
图26是示出根据本公开的实施例的在网络环境中提供通知的示例的示图;
图27是示出根据本公开的实施例的电子装置的操作方法的流程图;
图28是示出根据本公开的实施例的电子装置的操作方法的流程图;
图29是示出根据本公开的实施例的电子装置的操作方法的流程图;以及
图30是示出根据本公开的实施例的电子装置的操作方法的流程图。
贯穿附图,相同的附图标记将被理解为指代相同的部件、部件和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解,但这些仅被认为是示例性的。因此,本领域普通技术人员将认识到,在不脱离本公开的范围和精神的状况下,可以对本文描述的各种实施例进行各种改变和修改。此外,为了清楚和简明,可以省略对公知功能和结构的描述。
在以下描述和权利要求书中使用的术语和词语不限于书面含义,而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此,对于本领域技术人员显而易见的是,提供本公开的各种实施例的以下描述仅用于说明目的,而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
应当理解,除非上下文另有明确规定,否则单数形式“一”、“一个”和“所述”包括复数指示物。因此,例如,参考“组件表面”包括参考一个或更多个这样的表面。
图1是示出根据本公开的实施例的网络环境中的电子装置的框图。
参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。电子装置101可经由服务器108与电子装置104进行通信。电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它部件添加到电子装置101中。可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如,手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
音频模块170可将声音转换为电信号,反之亦可。音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如BluetoothTM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。天线模块197可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,PCB)中或形成在基底上的导电材料或导电图案构成。天线模块197可包括多个天线。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。除了辐射元件之外的另外的组件(例如,射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。
可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据本公开的实施例的程序140的框图。
参照图2,程序140可包括用于控制电子装置101的一个或更多个资源的操作系统(OS)142、中间件144或可在OS 142中运行的应用146。OS 142可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。例如,可在制造期间将程序140中的至少一部分预载入到电子装置101上,或者可在用户使用期间从外部电子装置(例如,电子装置102或电子装置104,或者服务器108)下载或由外部电子装置更新程序140中的至少一部分。
OS 142可控制电子装置101的一个或更多个系统资源(例如,进程、存储器或电源)的管理(例如,分配或解除分配)。另外或可选地,OS 142可包括用于驱动电子装置101的其它硬件装置(例如,输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块196或天线模块197)的一个或更多个驱动程序。
中间件144可向应用146提供各种功能,使得应用146可使用从电子装置101的一个或更多个资源提供的功能或信息。中间件144可包括例如应用管理器201、窗口管理器203、多媒体管理器205、资源管理器207、电力管理器209、数据库管理器211、包管理器213、连接管理器215、通知管理器217、位置管理器219、图形管理器221、安全管理器223、通信管理器225或语音识别管理器227。
应用管理器201可管理应用146的生命周期。窗口管理器203例如可管理在屏幕上使用的一个或更多个图形用户界面(GUI)资源。多媒体管理器205可识别将用于播放媒体文件的一个或更多个格式,并可使用适合于从所述一个或更多个格式中选择的相应格式的编解码器对媒体文件之中的相应媒体文件进行编码或解码。资源管理器207可管理应用146的源代码或存储器130的存储空间。电力管理器209可管理电池189的容量、温度或电力,并可至少部分基于电池189的容量、温度或电力的相应信息来确定或提供将用于电子装置101的操作的相关信息。电力管理器209可与电子装置101的基本输入/输出系统(BIOS)(未示出)协同工作。
数据库管理器211可产生、搜索或改变将由应用146使用的数据库。包管理器213可管理以包文件的形式分布的应用的安装或更新。连接管理器215可管理电子装置101与外部电子装置之间的无线连接或直接连接。通知管理器217可提供用于向用户通知发生特定事件(例如,呼入呼叫、消息或警报)的功能。位置管理器219可管理关于电子装置101的位置信息。图形管理器221可管理将向用户提供的一个或更多个图形效果或与所述一个或更多个图形效果有关的用户界面。
安全管理器223可提供系统安全或用户认证。电话管理器225可管理由电子装置101提供的语音呼叫功能或视频呼叫功能。语音识别管理器227可向服务器108发送用户的语音数据,并从服务器108接收与将至少部分基于语音数据或至少部分基于语音数据而转换的文本数据在电子装置101上运行的功能相应的命令。中间件144可动态地删除一些现有组件或添加新的组件。可包括中间件144中的至少一部分作为OS 142的一部分,或者可将中间件144中的至少一部分实现为与OS 142分离的另一软件。
应用146可包括例如主页251、拨号器253、短消息服务(SMS)/多媒体消息服务(MMS)255、即时消息(IM)257、浏览器259、相机261、闹铃263、联系人265、语音识别267、电子邮件269、日历271、媒体播放器273、相册275、手表277、健康279(例如,用于测量锻炼程度或生物信息(诸如血糖))或环境信息281(例如,用于测量气压、湿度或温度信息)应用。应用146还可包括能够支持电子装置101与外部电子装置之间的信息交换的信息交换应用(未示出)。
信息交换应用可包括适用于向外部电子装置传送指定信息(例如,呼叫、消息或警报)的通知转发应用或适用于管理外部电子装置的装置管理应用。
通知转发应用可向外部电子装置传送与在电子装置101的另一应用(例如,电子邮件应用269)发生特定事件(例如,接收到电子邮件)相应的通知信息。另外或可选地,通知转发应用可从外部电子装置接收通知信息并向电子装置101的用户提供通知信息。
装置管理应用可控制外部电子装置或外部电子装置的一些组件(例如,外部电子装置的显示装置或相机模块)的电力(例如,开启或关闭)或功能(例如,亮度、分辨率或焦点的调整)。另外或可选地,装置管理应用可支持在外部电子装置上运行的应用的安装、删除或更新。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。
如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,PlayStoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行所述多个部件中的每一个部件的一个或更多个功能相同或相似的方式,执行所述一个或更多个功能。由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
图3是用于示出根据本公开的实施例的用于提供通知的网络环境的示图。
为了便于描述,图3示出了家里(或家的内部结构)的平面图,并且示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)的示例。图3示出了第一电子装置310(例如,微波炉)和第二电子装置320(例如,冰箱)存在于厨房301中,第三电子装置330(例如,洗衣机(或洗衣机器))、第四电子装置340(例如,TV)和第五电子装置350(例如,智能扬声器)存在于起居室303中,第六电子装置360(例如,机器真空吸尘器)存在于房间1 305中,第七电子装置370(例如,空气净化器(或空气清洁器))存在于房间2 307中,并且第八电子装置380(例如,智能电话)存在于房间3 309中的示例。
在如图3所示的多个电子装置存在于给定空间中的环境中,在至少任何一个电子装置(例如,第三电子装置330)中可能发生与通知相关的给定状况(例如,发生洗涤完成状况或从外部接收到呼叫),并且用户300可能存在于与存在第三电子装置330的第一地点(例如,起居室303)不同的第二地点(例如,房间2 307)。通知可以包括由于功能的执行(例如,功能的执行的开始或完成)而在电子装置101(或其自身)内生成的通知,或者基于与来自外部装置(或源装置)(例如,外部的不同电子装置或服务器)的通知的发生相关的触发的接收(例如,呼叫的接收或消息的接收)而生成的通知。通知可以包括与电子装置的功能的内部执行相关或从外部获得的与功能相关的通知或信息。例如,通知可以用作意思表示,包括基于电子装置内部或外部的任何功能的开始或完成而发生的通知(例如,与任何功能相关的通知)或与任何功能相关的信息。
如果给定电子装置(例如,第三电子装置330)(下文中称为“源电子装置”)具有通知,则源电子装置可以在源电子装置输出通知之前检测用户300,可以识别位于用户300附近并且能够容易地将通知转发给用户300的电子装置(例如,第七电子装置370)(下文中称为“目标电子装置”),并且可以通过目标电子装置将通知提供给用户300。
当检测到通知的发生时(例如,当第三电子装置330检测到洗涤完成时),源电子装置可以在源电子装置输出通知之前从外围电子装置收集(或搜集)与用户300的检测相关的各种信息(例如,感测信息或声音信息)。电子装置(例如,第一电子装置310至第七电子装置370)中的每一个可以使用各种方法对每个电子装置的周围状况执行感测(例如,基于状况识别或基于声音)。第一电子装置310至第七电子装置370可以根据状况感测向未指定的其他电子装置提供状况信息(或检测信息)。
感测操作可以包括针对电子装置310至电子装置370中的每一个的执行用于实时检测(或测量)电子装置中或电子装置附近发生的各种状况的状况识别的操作。感测操作可以包括使用各种类型的感测技术认出或识别状况的操作,诸如周围声音的收集(或接收)、周围图像的收集(或拍摄)、识别对象(或用户)是否在附近、识别是否已经感测到对象、识别环境(例如,周围温度、体温、照度或湿度)是否存在变化、识别电子装置的使用状态、识别通知的类型或者识别电子装置的开启或关闭状态。感测技术可以包括语音识别技术、基于各种传感器(例如,声音传感器、图像传感器(例如,相机)、接近传感器、温度传感器、湿度传感器、超声传感器、压力传感器、气体传感器、加速度传感器或照度传感器)的传感器技术、机器学习技术(例如,人工智能(AI)技术)或基于电子标签(射频识别(RFID)的数据收集技术和物联网(IoT)技术。
状况信息(或检测信息)可以包括通过每个电子装置中的感测操作获得(或收集或测量)的收集信息。例如,状况信息可包括各种类型的感测信息(诸如第一感测信息(例如,声音(例如,语音)信息)、第二感测信息(例如,拍摄信息)、第三感测信息(例如,接近信息)、第四感测信息(例如,对象感测信息)、第五感测信息(例如,环境感测信息)、第六感测信息(例如,与装置使用相关的状态信息)、第七感测信息(例如,与通知的类型相关的类型信息)或第八感测信息(例如,与电子装置的开启或关闭相关的状态信息))中的至少一种。根据本公开的状况信息不限于第一感测信息至第八感测信息,并且还可包括基于各种类型的感测技术(或状况识别技术)的不同感测信息。
可以使用各种方法互连电子装置310至电子装置370。例如,可以基于互联网协议(IP)(基于IP)、基于Wi-Fi或基于唯一标识符(ID)来互连电子装置310至电子装置370。
电子装置310至电子装置370可以基于直接(例如,有线)通信信道或无线电通信信道中的至少一个通信信道被互连,并且可以通过连接的通信信道提供状况信息。电子装置310至电子装置370可以使用广播或多播方法通过连接的通信信道发送状况信息(或检测信息)。电子装置310至电子装置370可以通过连接到至少一个电子装置的通信信道使用单播方法发送状况信息。单播方法可以包括具有通知的源电子装置请求外围电子装置发送状况信息并且已经获得所述请求的外围电子装置将状况信息发送到源电子装置的方法。当检测到通知的发生时,电子装置310至电子装置370可以起到能够从外围电子装置收集并处理状况信息的中央控制装备、集线器、人工智能装置(例如,AI扬声器)或中央服务器(或集成服务器)的作用。
电子装置310至电子装置370可以连接到服务器(例如,内部服务器或外部服务器)。例如,电子装置中的每一个可以作为与向用户提供通知相关的所有处理过程(或数据流)由给定服务器控制的中央控制系统进行操作。给定服务器可以包括与电子装置310至电子装置370位于相同的空间中的内部服务器或位于电子装置的空间的外部的外部服务器。例如,内部服务器可以使用单独的中央控制装备或任何一个电子装置作为中央服务器。例如,外部服务器是外部的任何地点(例如,在互联网上)的服务器,并且可以包括例如云服务器、账户服务器、服务服务器或网络服务器。
服务器可以基于直接(例如,有线)通信信道或无线电通信信道中的至少一个被连接到电子装置310至电子装置370。服务器可以处理与识别发生通知、从电子装置310至电子装置370收集状况信息的源电子装置相关的电子装置310至电子装置370的连接、数据的收集和分析或数据流的控制,识别基于收集的状况信息向用户提供源电子装置的通知并通过经由识别的目标电子装置输出通知来向用户提供源电子装置的通知的目标电子装置。服务器的角色可以被实现为使用相同空间内的电子装置310至电子装置370中的任何一个来执行所述角色,或者可以被实现为执行发生通知的源电子装置的角色。
图4是示出根据本公开的实施例的电子装置中的功能处理模块的示例的示图。
参考图4,示出了用于在网络环境中执行功能的模块(例如,功能处理模块400)的示例,其中,所述功能与如果源电子装置具有通知则基于多个电子装置的状况信息检测用户并使用用户附近的目标电子装置向用户提供源电子装置的通知相关。例如,图4示出了与通过在用户附近(或靠近用户)的电子装置向用户转发在多个协同工作的电子装置中的给定的一个电子装置中发生的通知相关的功能处理模块400的示例。功能处理模块400可以作为硬件模块或软件模块被包括在包括电子装置101或服务器的处理电路的处理器(例如,图1的处理器120)中。
参照图4,功能处理模块400可以包括通知检测模块410、状况信息收集模块420、跟踪模块430、通知处理模块440、通知输出模块450、接口模块460、通知接收模块470或信息处理模块480。
通知检测模块410可以检测电子装置101中的与至少一个功能相关的通知。通知检测模块410可以至少基于电子装置101的特性(或类型)来检测基于电子装置101内的功能的执行(例如,功能的执行的开始或完成)而发生的通知或从外部(例如,外部的不同电子装置或服务器)获得的通知。例如,如果电子装置101是洗衣机,则电子装置101可以执行洗涤操作。通知检测模块410可以检测基于电子装置101的洗涤操作的完成(例如,洗涤完成状况的发生)的通知。通知检测模块410可以响应于检测到通知而向状况信息收集模块420转发基于通知的发生的触发。
状况信息收集模块420可以收集基于电子装置101的状况信息和基于至少一个外围外部电子装置(以下称为“外围电子装置”)的状况信息。状况信息收集模块420可以使用电子装置101的各种传感器(例如,图1的传感器模块176、图1的相机模块180或图1的输入装置150(例如,麦克风))来收集状况信息。状况信息收集模块420可以从外围电子装置获得状况信息。当在电子装置101中发生通知时,状况信息收集模块420可以通过接口模块480发送(或广播)用于请求外围电子装置发送状况信息的消息,并且可以从外围电子装置获得状况信息作为对其的响应。状况信息可包括各种类型的感测信息(诸如第一感测信息(例如,声音信息)、第二感测信息(例如,拍摄信息)、第三感测信息(例如,接近信息)、第四感测信息(例如,对象感测信息)、第五感测信息(例如,环境感测信息)、第六感测信息(例如,与装置使用相关的状态信息)、第七感测信息(例如,与通知的类型相关的类型信息)或第八感测信息(例如,与电子装置的开启或关闭相关的状态信息))中的至少一种。状况信息不限于第一感测信息至第八感测信息,并且还可包括基于各种类型的感测技术(或状况识别技术)的不同感测信息。
如果电子装置101不是发生通知的源电子装置,而是从源电子装置接收通知的电子装置(或扮演电子装置的角色),则当状况信息收集模块420从源电子装置接收到请求时,它可以周期性地或非周期性地获得(或收集)电子装置101的周围状况信息。当电子装置101从外部外围装置(例如,源电子装置)接收到用于请求发送状况信息的消息(例如,请求消息)时,状况信息收集模块420可以响应于此获得(或收集)电子装置101的周围状况信息。
跟踪模块430可以分析所收集的状况信息,并且可以基于分析的结果来识别将输出电子装置101的通知的目标电子装置。跟踪模块430可以将电子装置101或外围电子装置中的至少一个识别为目标电子装置。跟踪模块430可以通过分析状况信息来识别(或分析)属于所收集的状况信息并且包括与用户检测相关的信息的状况信息。例如,与用户检测相关的信息可以包括:包括人(例如,用户)的语音的声音信息、包括拍摄的对象(例如,用户)的形状的图像信息(或拍摄信息)、指示装置被使用的状态信息、基于体温的环境信息或指示用户接近的接近信息。跟踪模块430可以将已经提供了识别的状况信息的电子装置识别为目标电子装置。电子装置101和外围电子装置可以一起提供状况信息和能够进行装置识别的唯一ID信息。ID信息可以包括装置ID(或对象ID)(例如,序列号)、识别码、地址信息(例如,IP地址或MAC地址)或关于在空间(例如,房屋)内安装(或定位)相应的电子装置的地点(或位置)的信息。根据实施例,跟踪模块430可以至少基于ID信息来识别(或认出)目标电子装置。
由电子装置101和外围电子装置提供的消息的示例可以如表1所示。
[表1]
类型 ID信息 数据
上下文 ID 第一格式、第二格式、第三格式...或Null
如表1所示,例如,在电子装置之间交换的消息(或包)的格式可以包括数据(或消息)的类型字段、与电子装置相关的ID信息字段或与在电子装置中收集的数据相关的数据字段。类型字段可以包括指示所发送的消息与状况信息相关的信息。ID信息字段可以包括可以识别已经发送(或生成)了数据的电子装置的信息。数据字段可以包括与发送的状况信息的数据格式相应的数据。数据字段可以包括与收集的状况相关的数据,诸如第一格式(例如,声音)、第二格式(例如,图像)或第三格式(例如,语音(或语音识别文件))。如果在任何一个电子装置中没有与状况信息相关的数据,则不发送消息,或者可以在消息的数据字段中包括Null数据(或“0”或空)并提供Null数据。
通知处理模块440可以处理由通知检测模块410检测到的通知的内部输出或外部输出。通知处理模块440可以识别(或区分)由跟踪模块430识别的目标电子装置。例如,通知处理模块440可以识别由跟踪模块430识别的电子装置是它本身的电子装置101还是不同的电子装置。如果目标电子装置是电子装置101本身,则通知处理模块440可以基于通知输出模块470使得能够通过电子装置101输出(例如,内部输出)通知。如果目标电子装置是不同的电子装置(例如,外围电子装置之一),则通知处理模块440可以基于接口模块480使得能够通过不同的电子装置输出(例如,外部输出)通知。
通知输出模块450可以输出通过通知处理模块440传送的通知。根据实施例,通知输出模块450可以至少基于通知的属性来控制通过电子装置101的至少一个输出装置(例如,图1的显示装置160、图1的声音输出装置155或图1的触觉模块179)的通知的内部输出。如果通知的属性是显示属性,则通知输出模块450可以通过显示装置160输出通知(例如,显示消息)。如果通知的属性是声音(或音频)属性,则通知输出模块450可以通过声音输出装置155输出(例如,语音输出或声音输出)通知。如果通知的属性是振动属性,则通知输出模块450可以通过触觉模块179输出(例如,振动输出)通知。如果通知的属性是照明(或光源)属性,则通知输出模块450可以通过包括在电子装置101中的照明装置(例如,发光二极管(LED)或显示器)输出(例如,照明输出)通知。如果通知的属性包括至少两个属性,则通知输出模块450可以根据相应的属性复合地输出通知(例如,通知消息显示和通知音频输出)。
接口模块460可以基于与目标电子装置连接(或形成)的通信接口(例如,图1的接口177或图1的通信模块190)向目标电子装置发送通过通知处理模块440传送的通知。接口模块460可以包括用于通过至少一个通信信道(例如,直接(例如,有线)通信信道或无线电通信信道)与外围电子装置连接的功能(或作用)以与外围电子装置交换信息。接口模块460可以通过连接到目标电子装置的至少一个通信信道将通知(或与通知相关的数据和/或指令)发送到目标电子装置。
如果电子装置101不是发生通知的源电子装置,而是从源电子装置接收通知的电子装置(或扮演电子装置角色的装置),则接口模块460可以基于连接到源电子装置的通信信道获得用于请求发送状况信息的请求消息。如果电子装置101是目标电子装置(或扮演其角色),则接口模块460可以通过连接到源电子装置的通信信道获得通知。
电子装置101可以作为从源电子装置接收通知的目标电子装置进行操作(或扮演其角色)。通知接收模块470可以通过接口模块460检测通知的接收,并且可以响应于检测到通知的接收,将基于通知的接收的触发转发到通知处理模块440或信息处理模块480。通知接收模块470可以至少基于所获得的通知的属性和电子装置101的类型将通知(或与通知相关的数据(或源数据))转发到通知处理模块440或信息处理模块480。如果所获得的通知(或源数据)是可以由电子装置101输出的形式(或电子装置101可支持的通知的属性),则通知接收模块470可以将通知转发到通知处理模块440。如果获得的通知(或源数据)是电子装置101不能输出的形式,则通知接收模块470可以将通知转发到信息处理模块480。例如,如果电子装置101是智能扬声器并且所获得的通知是声音属性,则通知接收模块470可以将通知转发到通知处理模块440以使得处理通知。例如,如果电子装置101是智能扬声器并且所获得的通知是显示属性,则通知接收模块470可以将通知转发到信息处理模块480,使得通知的形式(或格式)被改变为可以由电子装置101输出的形式。
信息处理模块480可以将从源电子装置获得的通知(或与通知相关的源数据)改变(或处理)为可以由电子装置101输出的形式。如果电子装置101是能够进行声音输出的智能扬声器并且所获得的通知是显示属性,则信息处理模块480可以将通知的形式(或格式)改变为可以由电子装置101输出的声音格式,并且可以将改变后的通知转发到通知处理模块440。如果电子装置101作为源电子装置操作,则信息处理模块480还可以包括将发送到目标电子装置的通知改变(或处理)为与目标电子装置的类型(或属性)相应的通知的属性,并将改变后的通知转发到接口模块460的操作。
如上所述,根据本公开的各种实施例的电子装置101包括通信接口和处理器120。处理器120可以使得能够从外部装置获得与通知相关的第一消息,可以使得能够基于用户的位置和能够与电子装置101进行通信的多个电子装置中的每个电子装置的通知输出性能来识别将输出通知的目标电子装置,并且可以使得能够将与通知相关的第二消息发送到目标电子装置以使得所识别的目标电子装置输出通知。
根据本公开的各种实施例,处理器120包括能够进行通知输出的通知输出性能,并且可以使得用户附近的电子装置能够被识别为将输出通知的目标电子装置。
根据本公开的各种实施例,处理器120可以使得能够识别与通知相关的第一通知输出性能和多个电子装置中的每个电子装置的第二通知输出性能,可以使得能够识别属于所述多个电子装置并且包括与第一通知输出性能相应的第二通知输出性能的电子装置,并且可以使得属于所识别的电子装置并且在用户附近的电子装置能够被识别为目标电子装置。
根据本公开的各种实施例,如果不存在属于多个电子装置并且包括与第一通知输出性能相应的第二通知输出性能的电子装置,则处理器120可以使得属于所述多个电子装置并且在用户附近的电子装置能够被识别为目标电子装置。
根据本公开的各种实施例,处理器120被配置为识别目标电子装置的属性,配置与目标电子装置的属性相应的格式的第三消息,并将第三消息输出到目标电子装置。第三消息可以包括通知的概要。
根据本公开的各种实施例,处理器120可以基于通知输出性能来识别能够进行通知输出的候选电子装置,并且可以识别候选电子装置是否在用户附近。如果候选电子装置不在用户附近并且是可移动电子装置,则处理器可以将候选电子装置识别为目标电子装置并控制目标电子装置移动到用户的位置。
根据本公开的各种实施例,如果目标电子装置能够进行离手功能,则处理器120可以使得能够通过离手进行将由目标电子装置执行的与通知相关的功能。
如上所述,根据本公开的各种实施例的电子装置101包括用于收集与用户检测相关的状况信息的至少一个状况收集接口、用于与至少一个不同电子装置进行通信的通信接口、以及处理器120。处理器120可以使得能够检测与至少一个功能相关的通知,可以使得能够响应于检测到通知而基于多个电子装置收集与用户相关的状况信息,可以使得能够基于状况信息识别属于多个电子装置并且将输出通知的目标电子装置,并且可以通过向目标电子装置提供通知信息使得目标电子装置能够向用户输出通知。
根据本公开的各种实施例,处理器120可以使得能够检测基于电子装置的功能的(至少基于电子装置的特性的)执行而发生的通知或从外部获得的通知。
根据本公开的各种实施例,处理器120被配置为响应于检测到通知而识别通知的类型或通知的子分类中的至少一个。通知的类型可以包括可以单向地提供给用户的属性的一般通知或者需要用户的反馈或与用户的交互的属性的反馈通知。子分类可以包括个人通知、公共通知或紧急通知。
根据本公开的各种实施例,处理器120在多个电子装置中搜索与通知相关联的关联电子装置。如果未检索到关联电子装置,则处理器可以基于多个电子装置来收集状况信息。如果检索到关联电子装置,则处理器可以使得能够基于关联电子装置来收集状况信息。
根据本公开的各种实施例,处理器120可以基于来自状况信息的包括与用户相关的信息的状况信息来识别目标电子装置,并且可以识别目标电子装置的空间。如果目标电子装置的空间与电子装置的空间相同,则处理器可使得能够基于电子装置输出通知,并且如果目标电子装置的空间与电子装置的空间不同,则处理器可使得能够基于目标电子装置输出通知。
根据本公开的各种实施例,处理器120可以基于通知的属性来选择用于输出通知的目标电子装置。
根据本公开的各种实施例,如果通知的属性是需要给定元件的给定属性的通知,则处理器120可以通过识别多个电子装置中的每个电子装置的属性来识别是否可以输出给定属性的通知,并且可以通过优先考虑支持给定属性的通知的电子装置来识别目标电子装置。
根据本公开的各种实施例,处理器120可以使得可移动目标电子装置能够移动到用户所在的空间以使得可移动的目标电子装置输出通知。
根据本公开的各种实施例,电子装置101包括能够进行状况识别的元件。处理器120可以获得使得能够在移动到与状况通知相关的目的地的空间之后执行状况识别的指令,可以使得能够在移动到目的地的空间之后响应于该指令对用户执行状况识别,并且可以使得能够将基于状况识别的执行结果的结果信息发送到给定目标电子装置。
根据本公开的各种实施例,处理器120可以使得能够响应于检测到通知通过通信接口发送用于请求多个电子装置发送状况信息的消息,并且可以使得能够响应于消息的发送而从多个电子装置收集状况信息。
根据本公开的各种实施例,电子装置101可以包括源电子装置、中央控制装备、集线器、人工智能(AI)装置或云服务器。
图5是示出根据本公开的实施例的电子装置的操作方法的流程图。
例如,图5示出了电子装置101作为发生通知的源电子装置进行操作的示例。
参考图5,在操作501,电子装置101的处理器120(例如,包括处理电路或图4的功能处理模块400的至少一个处理器)可以检测与电子装置101的至少一个功能相关的通知。处理器120可以响应于检测到通知而识别与检测到的通知相应的通知的类型。处理器120可以至少基于电子装置101的特性(或类型)来检测基于功能的执行(例如,功能执行的开始或完成)在内部发生的通知或从外部(例如,外部的不同电子装置或服务器)获得的通知(例如,与使用电子装置101作为目的地(或接收者)的呼叫连接请求的接收或消息的接收相关的通知)。
在操作503,处理器120可以收集状况信息。处理器120可以收集基于电子装置101的状况信息和基于至少一个外围电子装置的状况信息。处理器120可以基于电子装置101的各种传感器(例如,图1的传感器模块176、图1的相机模块180或图1的输入装置150(例如,麦克风))来收集状况信息。处理器120可以从外围电子装置获得由外围电子装置收集的状况信息。如果在电子装置101中发生通知,则处理器120可以通过接口模块480发送(或广播)用于请求从外围电子装置发送状况信息的消息,并且可以从外围电子装置获得状况信息作为对其的响应。
在操作505,处理器120可以基于状况信息来识别目标电子装置。处理器120可以分析收集的状况信息,并且可以基于分析的结果来识别将输出电子装置101的通知的目标电子装置。处理器120可以将电子装置101或外围电子装置中的至少一个识别为目标电子装置。处理器120可以通过分析状况信息来识别(或分析)属于收集的状况信息并且包括与用户检测相关的信息的状况信息。当识别目标电子装置时,处理器120可以基于通知的类型来识别目标电子装置。稍后描述至少基于通知或状况信息的类型来识别目标电子装置的操作。
在操作507,处理器120可以向目标电子装置提供通知信息。处理器120可以通过连接到目标电子装置的通信接口(例如,图1的接口177或图1的通信模块190)向目标电子装置发送与通知相关的通知信息(例如,与通知消息、通知语音或通知声音相关的数据)以使得在电子装置101中发生的通知由目标电子装置输出。如果电子装置101被识别为目标电子装置,则处理器120可以使得能够基于电子装置101输出通知。
图6是用于示出根据本公开的实施例的通过在网络环境中使电子装置协同工作来提供通知的示例的示图。
参考图6,示出了第一电子装置610是源电子装置并且第二电子装置620、第三电子装置630和第四电子装置640是被布置在与第一电子装置610的空间相同的空间中的不同地点处的外围电子装置的示例。在图6中,描述了电子装置610至电子装置640基于声音提供或收集状况信息的示例,但是本公开的各种实施例不限于此。状况信息(或检测信息)可以包括通过电子装置610至电子装置640中的每一个的感测操作获得(或收集或测量)的收集信息。例如,状况信息可包括各种类型的感测信息(诸如第一感测信息(例如,声音(例如,语音、音乐、TV声音或其他生活声音)信息)、第二感测信息(例如,拍摄信息)、第三感测信息(例如,接近信息)、第四感测信息(例如,对象感测信息)、第五感测信息(例如,环境感测信息)、第六感测信息(例如,与装置使用相关的状态信息)、第七感测信息(例如,与通知的类型相关的类型信息)或第八感测信息(例如,与电子装置的开启或关闭相关的状态信息))中的至少一个。根据本公开的各种实施例的状况信息不限于第一感测信息至第八感测信息,并且还可以包括基于各种类型的感测技术(或状况识别技术)的不同感测信息。
参考图6,在操作601,第一电子装置610、第二电子装置620、第三电子装置630和第四电子装置640可以互连。电子装置610至电子装置640可以支持在它们之间建立直接(或有线)通信信道或无线电通信信道,以及通过建立的通信信道执行通信。电子装置610至电子装置640可以通过位于相同空间中的服务器(例如,中央控制装备)、位于相同空间中以起服务器作用的给定电子装置或位于外部的服务器(例如,中央服务器、集成服务器、账户服务器或云服务器)互连。电子装置610至电子装置640可以通过家庭网络互连。根据实施例,电子装置610至电子装置640可以通过账户服务器基于用户账户互连。图6示出了在没有诸如服务器的媒介的干预的状况下直接连接电子装置610至电子装置640的示例。
在操作603,第一电子装置610(例如,源电子装置)可以检测通知的发生。第一电子装置610可以检测与至少一个功能相关的通知的发生。
在操作605,当检测到通知的发生时,第一电子装置610可以在它直接输出相应的通知之前收集与第一电子装置610和外围电子装置(例如,第二电子装置620、第三电子装置630和第四电子装置640)相关的状况信息。第一电子装置610可以通过通信接口从外围电子装置620、630和640获得(或收集)声音信息,并且可以通过第一电子装置610的麦克风获得第一电子装置610附近的声音。外围电子装置620至电子装置640可以周期性地测量(或感测)声音,并且可以向包括第一电子装置610的外围电子装置广播包括所测量的声音的声音信息。外围电子装置620至外围电子装置640可以基于给定事件(例如,从第一电子装置610接收到声音信息请求)来测量(或感测)声音,并且可以向第一电子装置610发送包括所测量的声音的声音信息(例如,广播方法)。图6示出了声音信息用作状况信息的示例,但是本公开不限于此。
在操作607,第一电子装置610可以分析收集的声音信息。第一电子装置610可以识别(或分析)属于所收集的声音信息并且包括与用户检测相关的信息的声音信息。例如,第一电子装置610可以识别属于通过第一电子装置610的麦克风获得的声音信息和从外围电子装置620至外围电子装置640获得的声音信息并且包括声音的声音信息。第一电子装置610可以从所识别的声音信息获得声音并分析声音(例如,声音的波形、大小或频率)。
在操作609,第一电子装置610可以基于分析的结果来检测用户。第一电子装置610可以在收集的声音信息中的与用户检测相关的信息(例如,给定声音)中检测用户。与用户检测相关的信息可以包括声音,该声音包括人(例如,用户)的语音或周围声音(例如,跺脚声音、脚步声音、敲门声音、掌声、敲桌声音、键盘键入声音或电视声音)。如果在收集的声音信息中包括与用户检测相关的信息(或声音),则第一电子装置610可以识别出用户存在于提供相应声音的电子装置的附近。
在操作611,第一电子装置610可以识别目标电子装置。第一电子装置610可以将已经提供属于所收集的声音信息并且与用户检测相关的信息(或声音)的电子装置识别为目标电子装置。第一电子装置610可以至少基于外围电子装置620至外围电子装置640的ID信息来识别(或辨识)目标电子装置。在图6中,描述了第三电子装置630是目标电子装置的示例。在各种实施例中,参考稍后将描述的附图来描述通过分析状况信息(例如,声音)来识别目标电子装置。
在操作613,第一电子装置610可以基于连接到第三电子装置630(或与第三电子装置630一起形成)的通信接口(例如,图1的接口177或图1的通信模块190)向第三电子装置630发送与通知相关的通知信息(或通知数据)。
在操作615,第三电子装置630(例如,目标电子装置)可以通过通信接口从第一电子装置610获得通知信息,并识别所获得的通知信息。第三电子装置630还可以包括识别通知信息的属性并且至少基于通知信息的属性来转换(或处理)将被输出的通知的操作。
在操作617,第三电子装置630可以使用至少一种方法输出与通知信息相应的通知。第三电子装置630可以通过代表第一电子装置610输出通知来向用户提供由第一电子装置610生成的通知。第三电子装置630可以基于视觉、听觉或触觉元素中的至少一个来输出通知。第一电子装置610可以以与第三电子装置630输出通知的并行方式(或者在第一电子装置610将用于通知输出的通知信息发送到第三电子装置630之后)输出由第一电子装置610生成的通知。
图7是示出根据本公开的实施例的确定电子装置中的目标电子装置的操作方法的流程图。
参考图7,在操作70,电子装置101的处理器120(例如,包括处理电路或图4的功能处理模块400的至少一个处理器)可以从状况信息(例如,图7中示出的“声音信息”)获得与用户检测相关的信息(例如,图7中示出的“声音”)。电子装置101可以收集从电子装置101获得的状况信息(例如,通过麦克风获得的声音信息),并且可以收集由外围电子装置通过通信接口发送的状况信息(例如,声音信息)。处理器120可识别所收集的状况信息中的包括与用户检测相关的信息(例如,第一感测信息至第八感测信息)的状况信息以及不包括与用户检测相关的信息的状况信息。在图7的示例中,处理器120可以在所收集的声音信息中识别包括与用户检测相关的声音的声音信息和不包括与用户检测相关的声音的声音信息。处理器120可以在操作703及其后续操作中排除不包括声音的声音信息,并且可以基于包括声音的声音信息来执行操作703及其后续操作。
在操作703,处理器120可以分析所获得的声音。处理器120可以基于声音的波形、大小或频率来分析声音,并且可以识别每个声音的属性。电子装置101可以存储与各种声音相关的声音数据库(DB),诸如表2的示例中所示的声音数据库。电子装置101可以从外部服务器获得与各种声音相关的声音DB。
[表2]
声音类型 频率(HZ) 振幅(强度)(db)
人的语音 A a
对话声音 B b
脚步声音 C c
掌声 D d
关门声音 E e
敲门声音 F f
敲桌声音 G g
键盘键入声音 H h
广播声音 I i
搅拌机转动声音 J j
食物切割声 K k
排水声 L l
吃饼干的声音 M m
淋浴声音 N n
厕所水声 O o
... ... ...
如表2所示,声音DB可以定义与各种声音相关的声音信息(例如,频率和/或振幅)。声音信息可以包括指示声音的高和低的频率(Hz)和指示声音的强度(或力度)的振幅(或声音大小)。另外地或可选地,声音信息还可以包括每个声音的声音波形。每个声音的声音信息可以表示为近似平均值或范围。例如,人的语音可以被配置为包括频率A(例如,约125HZ~1000Hz),掌声可以被配置为包括频率D(例如,约400Hz),并且对话声音可以被配置为包括振幅b(例如,约65dB)。当声音变大时,振幅的值可以增加。处理器120可以参考诸如表2中所示的声音DB来分析声音。
处理器120可以基于分析结果识别是否包括第一属性的声音或第二属性的声音中的至少一个。第一属性的声音可以包括人(或用户)的语音和可以由人(或用户)生成的周围声音(例如,脚步声、掌声、键盘键入声、厨房噪声(例如,搅拌机转动声或食物切割声(例如,砧板声、烹饪声))、淋浴声或厕所水声)。第二属性的声音可以包括除了第一属性之外的其他声音(例如,由给定装置(例如,TV或收音机)输出的声音(例如,TV声音或音乐声音))。例如,可以至少基于声音的噪声程度、声音的波形或由输出其他声音的相应外围电子装置提供的状态(或回放)信息(例如,TV开启信息或提供TV回放通知的状态信息)来识别人的语音和其他声音(例如,由TV输出的人的语音)。在各种实施例中,除了第一属性的声音或第二属性的声音之外的声音可以基于分析结果被认为是噪声,因此可以从识别目标电子装置的候选组中排除相应的声音。
如果处理器120除了基于作为用于用户检测的状况信息的声音信息之外,还基于复合状况信息(诸如第一感测信息到第八感测信息)进行操作,则处理器120可以至少基于能够识别用户的感测信息(或者感测信息是否与用户具有直接关联)来区分第一属性和第二属性。第一属性可以包括可以直接与用户相关联的例如包括至少一个人(图像)的感测信息、包括人的语音的感测信息、或者与对象或接近相关的检测信息。第二属性可以包括不直接与用户相关联的例如与环境变化相关的感测信息(例如,环境感测信息)或与其他声音(例如,音乐声音或TV声音)相关的检测信息。除了第一属性的感测信息之外的其他感测信息或第二属性的检测信息可以基于分析结果被认为是噪声,并且可以从可以识别目标电子装置的候选组中排除相应的感测信息。
返回参考图7,在操作705,处理器120可以基于分析的结果来识别是否包括第一属性的声音和第二属性的声音两者。
在操作705,如果从所分析的声音中检测到第一属性的声音或第二属性的声音中的任何一个的声音(在操作705为否),则处理器120可以进行到操作709并执行操作709及其后续操作。
如果从分析的声音中检测到第一属性的声音和第二属性的声音两者(在操作705为是),则处理器120可以在操作707针对每个属性识别外围电子装置。例如,处理器120可以区分已经提供第一属性的声音的外围电子装置和已经提供第二属性的声音的外围电子装置。例如,可以参考如表1所示的消息的ID信息字段和数据字段来识别包括针对每个属性的声音的外围电子装置。例如,针对每个属性识别外围电子装置可以用于用户检测或用户位置检测,并且用于提供用于更精确地(或准确地)向用户提供通知的最佳电子装置。可以省略操作707,并且如在操作709中,可以使用声音直接执行识别具有优先级的外围电子装置(例如,候选电子装置)的操作。
在操作709,处理器120可以识别用于识别目标电子装置的候选电子装置。
如果过程从操作707进行,则处理器120可以至少基于第一属性和第二属性之间或外围电子装置之间的关系(例如,位置关系、地点信息或操作状态信息)来识别用于目标电子装置的候选电子装置。
处理器120可以选择已经提供了第一属性的声音的外围电子装置作为候选电子装置。处理器120可以参考关于每个候选电子装置的地点的信息来识别所选择的候选电子装置之间的相互关联,并且可以基于识别的结果来识别(或提供)所选择的候选电子装置中的除了一些外围电子装置之外的候选电子装置。
可以假设用户存在于厨房内的给定地点,已经提供第一属性的声音的外围电子装置(例如,与用户的空间(或位置)相同的空间(或位置)中的电子装置或在用户存在的空间(或位置)附近的电子装置)包括布置在厨房中的第一装置(例如,微波炉)和第二装置(例如,冰箱),已经提供第二属性的声音的外围电子装置包括布置在起居室中的第三装置(例如,TV)和第四装置(例如,智能扬声器),并且提供第一属性和第二属性的混合声音的外围电子装置包括存在于厨房附近的地点(例如,洗衣房)处的洗衣机。
处理器120可以基于属性的识别从候选电子装置中排除具有第二属性的第三装置(例如,TV)和第四装置(例如,智能扬声器)。处理器120可以基于剩余的第一装置、第二装置和第五装置的空间信息,从候选电子装置排除与其他装置相比位于远处地点(或不同地点)的第五装置。处理器120可以提供基于第一装置和第二装置的候选电子装置。
如果过程从操作705进行,则处理器120可以至少基于相应的属性(例如,第一属性或第二属性)或外围电子装置之间的关系(例如,位置关系、地点信息或操作状态信息)来识别用于目标电子装置的候选电子装置。处理器120可以基于如上所述的外围电子装置之间的地点关联,将使用至少一个外围电子装置的位于相似地点的候选电子装置配置为组。
返回参考图7,在操作711,处理器120可以识别所识别的候选电子装置是否包括多个候选电子装置。
如果识别出一个候选电子装置(在操作711为否),则处理器120可以进行到操作715,并且可以执行操作715及其后续操作。
如果识别出多个候选电子装置(在操作711为是),则在操作713处理器120可以识别优先声音。处理器可以通过比较声音的大小(或振幅)来将具有相对较大大小的声音识别为优先声音。如果作为识别优先级的结果,多个(例如,至少2个)声音通常具有相同的大小(或者包括在设置范围中的大小),则处理器120可以将多个声音识别为相同的优先级。
在操作715,处理器120可以将与所识别的优先声音相关的候选电子装置识别为目标电子装置。如果多个声音具有相同的优先级,则处理器120可以将与相应声音相关的多个候选电子装置识别为目标电子装置(例如,多个目标电子装置)。
在图7中,为了帮助理解各种实施例,已经描述了使用给定感测信息的实施例,但是各种实施例不限于图7的实施例(或操作)。可以基于各种类型的感测信息和/或各种条件来跟踪和识别目标电子装置。可以通过所识别的目标电子装置来提供源电子装置的通知。
在下文中,描述了用于在各种网络环境、各种类型的电子装置或各种条件中收集状况信息(例如,声音信息)并通过目标电子装置提供通知的操作场景。
图8是示出根据本公开的实施例的在网络环境中提供通知的示例的示图。
图8示出了将源电子装置的通知转发到具有最大周围声音识别的外围电子装置并提供给用户800的示例。
参照图8,示出了第一电子装置810、第二电子装置820、第三电子装置830和第四电子装置840存在于第一空间(例如,起居室)801中并且第五电子装置850、第六电子装置860、第七电子装置870和第八电子装置880存在于第二空间(例如,厨房)803中的示例。图8示出了声音被用作状况信息并且一些电子装置(例如,第五电子装置850和第六电子装置860)不具有用于收集状况信息的元件(或状况收集接口)(例如,用于声音收集的麦克风)的场景的示例。
关于给定空间中的给定地点的信息(例如,地点信息)可能已经针对电子装置810至电子装置880中的每一个被预先注册。可以通过查找表或协同工作应用(例如,智能物应用)在电子装置810和820之间共享所述信息。
与通知相关的给定状况(例如,洗涤完成状况的发生)可能发生在第八电子装置880(例如,洗衣机)中,并且用户800可能存在于与存在第八电子装置880的第二空间803不同的第一空间801中。通知可以被划分为第一类型的通知和第二类型的通知。例如,第一类型的通知可以包括与非实时(或非实时属性)处理相关的通知。第二类型的通知可以包括与实时(或实时属性)处理相关的通知。第一类型的通知可以包括不需要实时传送给用户800或者具有低重要性(例如,个人隐私)的通知,诸如洗涤完成。第二类型的通知可以包括需要实时传送给用户800或者已经给予高重要性(例如,个人隐私)的通知,诸如接收呼叫。如果发生通知是第一类型的通知,则发生通知的源电子装置可以处于可以等待(或暂停)输出通知的状态,并且如果通知是第二类型的通知,则可以输出通知。
如果在第八电子装置880(或者可以在中央控制装备或扮演其角色的电子装置或服务器中操作,尽管未示出)中发生通知(或给定状况),则第八电子装置880可以在第八电子装置880输出通知之前(或者如果是第二类型的通知,则在输出通知时)搜索属于外围电子装置810至电子装置870并且可以收集针对关于相应的电子装置附近的声音(例如,周围声音、人的语音或给定声音)的声音信息的状况信息(例如,装备有用于声音收集的麦克风)的外围电子装置810至840和870。装备有麦克风的外围电子装置810至840和870可以对针对每个电子装置的声音执行复合感测(例如,声音波形、是否存在文本或声音DB利用)。
第八电子装置880(或者在中央控制装备或扮演其角色的电子装置或服务器中操作的装置,尽管未示出)可以基于由外围电子装置810至840和870收集的声音来识别目标电子装置。第八电子装置880可以将属于在检测到最大声音的地点的包括麦克风的外围电子装置810至外围电子装置840,并且具有声音890的外围电子装置(例如,第二电子装置820)识别为目标电子装置,其中,声音890具有最大和最清晰声音波形。第八电子装置880可以将通知转发到被识别为目标电子装置的第二电子装置820,并且第二电子装置820可以通过输出通知来向用户800提供通知。
为了防止电子装置的用于状况信息收集(或检测)的元件(或状况收集接口)(例如,麦克风或传感器)的功耗和/或不必要的收集(例如,总是收集),电子装置可以根据各种条件进行操作。与声音收集相关的麦克风被描述为示例,但是可以对其他元件执行相同或类似的操作。
如在表3的示例中,针对每个电子装置的用于收集状况信息(例如,声音信息)的麦克风的操作(例如,开启实时)可以被划分为第一状况(例如,基本上两种状况)或第二状况(例如,四种细分的状况)。本公开的各种实施例不限于这些状况,并且可以存在各种配置的变型。
[表3]
Figure BDA0002984196120000321
如表3所示,针对每个电子装置的麦克风(或传感器)的实时开启操作可以分为麦克风总是开启的第一状况和麦克风开启/关闭的第二状况。第一状况可以被划分为麦克风基于总是开启实时进行操作的第一子状况和麦克风基于总是开启部分进行操作的第二子状况。第二种状况可以分为麦克风通过双向分析交替地开启/关闭(例如,开启<->关闭)的第三子状况和麦克风通过单次分析从关闭到开启(例如,关闭->开启)的第四子状况。
第一子状况包括例如麦克风总是开启的状况,并且可以是检查每个时刻获得的声音的波形以及高和低并为每个电子装置总是提供分析和准确通知的方法。
第二子状况可以是例如,在每个电子装置(或服务器)级设置有意义的数据(诸如声音的属性/波形和大小)的标准,并且相应的电子装置仅在超过相应的标准时通过提供数据(例如,状况信息)来提供通知的方法。数据(例如,状况信息)可以由服务器提供,并且可以基于服务器向目标电子装置提供通知。
例如,第三子状况可以是通过仅分析通知发生之前和之后(或之前或之后)的给定时间(例如,约N秒)状况并向已经发生相关声音的电子装置(例如,目标电子装置)提供通知以使得通知可以通过用户的总是开启的麦克风被获得来减少隐私问题的方法。
例如,第四子状况可以是仅当在任何一个电子装置中发生通知时(或定时)开启麦克风并且基于后续声音向已经发生相关声音的电子装置(例如,目标电子装置)提供通知的方法。
图9是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图9,示出了如果先前没有为每个电子装置注册地点信息,则基于每个电子装置连接到的用于Wi-Fi的接入点(AP)来识别目标电子装置并将通知提供给用户900的示例。
图9示出了第一电子装置910、第二电子装置920、第三电子装置930和第四电子装置940存在于第一空间(例如,第一Wi-Fi区域)901中并且第五电子装置950、第六电子装置960、第七电子装置970和第八电子装置980存在于第二空间(例如,第二Wi-Fi区域)903中的示例。图9示出了声音被用作状况信息并且一些电子装置(例如,第五电子装置950和第六电子装置960)不具有用于收集状况信息的元件(例如,用于声音收集的麦克风)的场景的示例。
可以基于连接的Wi-Fi对电子装置910至980中的每一个的位置进行分类。关于在相应空间中指定的地点的信息(例如,地点信息)可以被设置,并且可以通过查找表或协同工作应用(例如,智能物应用)在电子装置910至980之间被共享。可以基于电子装置910至电子装置980中的每一个连接到的用于Wi-Fi的AP将空间划分为第一Wi-Fi区和第二Wi-Fi区。
与通知相关的给定状况(例如,洗涤完成状况的发生)可以发生在第八电子装置980(例如,洗衣机)中。用户900可以存在于与第八电子装置980所在的第二空间903不同的第一空间901中。第八电子装置980的通知可以基于通知的类型(例如,第一类型或第二类型)被处理为非实时通知或实时通知。如果通知是第一类型的通知,则发生通知的源电子装置可以处于可以等待(或暂停)输出通知的状态,并且如果通知是第二类型的通知,则可以输出通知。
如果在第八电子装置980(或在中央控制装备或扮演其角色的电子装置或服务器中操作的装置,尽管未示出)中发生通知(或给定状况),则在第八电子装置980输出通知之前(或者如果通知是第二类型的通知,则在第八电子装置980输出通知时),可以基于外围电子装置连接到的Wi-Fi来对外围电子装置910至外围电子装置970的空间区域进行分类。可以从属于分类的空间并且包括被检测到声音的外围电子装置的空间中的外围电子装置910至940搜索关于相应电子装置附近的声音(例如,周围声音、人的语音或给定声音)的声音信息。如果在给定空间中存在用于Wi-Fi的一个AP,或者不需要针对每个电子装置对地点进行分类,则已经发生通知的相应电子装置(或源电子装置)可以直接提供(或输出)通知。
分类的空间(例如,第一空间901)中的包括麦克风的外围电子装置910至940中的每一个可以对声音执行复合感测(例如,声音波形、是否存在文本或声音DB利用)。
可以基于由第八电子装置980(或者可以以中央控制装备或扮演其角色的电子装置或服务器进行操作,尽管未示出)附近的电子装置910至940收集的声音来识别目标电子装置。第八电子装置980可以将属于在检测到最大声音的地点(或空间区域)处的具有麦克风的外围电子装置910至940并且具有声音990的外围电子装置(例如,第二电子装置920)识别为目标电子装置,其中,声音990具有最大和最清晰声音波形。第八电子装置980可将通知转发到被识别为目标电子装置的第二电子装置920。第二电子装置920可以通过输出通知来向用户900提供通知。
图10是用于示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
为了便于描述,图10示出了家里(或家的内部结构)的平面图,并且可以示出各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)的示例。图10示出了第一电子装置1010(例如,微波炉)、第二电子装置1020(例如,抽油烟机)和第三电子装置1030(例如,冰箱)存在于第一空间(或第一地点)1001(例如,厨房)中,第四电子装置1040(例如,洗衣机)和第五电子装置1050(例如,TV)存在于第二空间(或第二地点)1003(例如,起居室)中,第六电子装置1060(例如,智能电话)存在于第三空间(或第三地点)1009(例如,房间3)中,并且电子装置不存在于第四空间(或第四地点)1005(例如,房间1)和第五空间(或第五地点)1007(例如,房间2)中的示例。
参照图10,在多个电子装置存在于给定空间中的环境中,在至少任何一个电子装置(例如,第四电子装置1040)中可能发生与通知相关的给定状况(例如,洗涤完成状况的发生)。用户1000可以存在于存在第四电子装置1040的第二空间(或第二地点)1003(例如,起居室)中。
如果在第四电子装置1040(例如,源电子装置)中发生通知,则第四电子装置1040可以在其输出通知之前识别用户1000,可以识别能够容易地将通知转发给用户1000并且位于用户1000附近的电子装置(例如,目标电子装置),并且可以通过目标电子装置向用户1000提供通知。
当检测到通知的发生时,第四电子装置1040可以在其输出通知之前从周围或给定空间内的外围电子装置收集与用户1000的检测相关的各种信息(例如,感测信息或声音信息)。电子装置(例如,第一电子装置1010至第六电子装置1060)可以使用各种方法对每个电子装置的周围状况执行感测(例如,基于状况识别或基于声音)。
感测操作可以包括电子装置1010和1060中的每一个执行用于实时检测(或测量)电子装置中或电子装置附近发生的各种状况的状况识别的操作。在图10中,感测操作被示出为收集(或获得)周围声音的操作。
当在第四电子装置1040(或以中央控制装备或扮演其角色的电子装置或服务器进行操作的装置,尽管未示出)中发生通知(或给定状况)时,第四电子装置1040可以在第四电子装置1040输出通知之前(或在输出通知的同时)通过收集第四电子装置1040周围的声音来获得声音信息,并且获得由外围电子装置1010至1030、1050和1060收集的声音信息。
第四电子装置1040可以基于由第四电子装置1040和外围电子装置1010至1030、1050和1060收集的声音来识别目标电子装置。第四电子装置1040可以将属于在检测到最大声音的地点(或空间)处的具有麦克风的外围电子装置,并且具有声音的电子装置(例如,第四电子装置1040本身)识别为目标电子装置,其中,所述声音具有最大和最清晰声音波形。如果在第四电子装置1040中检测到与用户1000的检测相关的声音(例如,如果检测到具有最大和最清晰声音波形的声音),则第四电子装置1040可以通过输出通知来直接向用户1000提供通知。
如果已经发生通知的电子装置(或输出最大声音的电子装置)和用户存在于相同(或附近)的空间(或地点)中,则已经发生通知的相应电子装置可以通过在没有任何改变的状况下(或直接地)输出通知来向用户提供通知。
图11是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图11,为了便于描述,示出了家里(或家的内部结构)的平面图。图11示出了如在参考图3和图10描述的部分中所描述的,各种类型的电子装置存在于家里的给定空间中的各种地点(或位置)处的示例。下面描述根据各种实施例的生成通知的源电子装置和属于源电子装置附近的电子装置并且将输出通知的目标电子装置。在描述图11时,省略了与图3和图10的描述冗余或相应的描述(例如,其它电子装置的描述)。
参照图11,在多个电子装置存在于给定空间中的环境中,在第一空间(或第一地点)1101(例如,起居室)中的至少任何一个电子装置(例如,源电子装置1110)中可发生与通知相关的给定状况(例如,洗涤完成状况的发生)。用户1100可以存在于与存在源电子装置1110的第一空间(或第一地点)1101不同的第二空间(或第二地点)1103(例如,房间1)中。
根据各种实施例,如果在源电子装置1110中发生通知,则源电子装置1110可在源电子装置1110输出通知之前通过检测用户1100来识别能够容易地将通知转发给用户1100并且位于用户1100附近的电子装置(例如,目标电子装置),并且可通过目标电子装置将通知提供给用户1100。源电子装置1110可处于如下状态:如果在源电子装置1110中发生的通知是第一类型的通知,则源电子装置1110可等待(或暂停)输出通知,并且如果通知是第二类型的通知,则源电子装置1110可输出通知。
如果通知(或给定状况)发生在源电子装置1110(或者可以以中央控制装备或扮演其角色的电子装置或服务器(尽管未示出)进行操作)中,则源电子装置1110可以在输出通知之前(或者如果通知是第二类型的通知,则在输出通知的同时)识别属于包括外围电子装置的检测到声音的空间中的外围电子装置1120和1130,并且将输出通知的目标电子装置。
源电子装置1110(或以中央控制装备或扮演其角色的电子装置或服务器进行操作的装置,尽管未示出)可以基于从外围电子装置1120和1130收集的声音将具有最大和最清晰声音波形的声音的至少一个外围电子装置(例如,电子装置1120)识别为目标电子装置。源电子装置1110可将通知转发到被识别为目标电子装置的电子装置1120。电子装置1120可通过输出通知来向用户1100提供通知。
图12是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图12,为了便于描述,如参照上述附图(例如,图10和图11)描述的部分中所描述的,示出了家里(或家的内部结构)的平面图。图12示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)处的示例。下面描述根据各种实施例的生成通知的源电子装置、属于源电子装置附近的电子装置并且将输出通知的目标电子装置、以及与目标电子装置的确定相关的一些电子装置。在描述图12时,省略了与上述描述冗余或相应的描述(例如,其它电子装置的描述)。
参照图12,在多个电子装置存在于给定空间中的环境中,在第一空间(或第一地点)1201(例如,起居室)中的至少任何一个电子装置(例如,源电子装置1210)中可能发生与通知相关的给定状况(例如,洗涤完成状况的发生)。用户1200存在于与存在源电子装置1210的第一空间(或第一地点)1201不同的第二空间(或第二地点)1203(例如,厨房)中。
如果在源电子装置1210中发生通知,则源电子装置1210可在它输出通知之前通过检测用户1200来识别能够容易地将通知转发给用户1200并且位于用户1200附近的电子装置(例如,目标电子装置),并且可通过目标电子装置将通知提供给用户1200。发生通知的源电子装置1210可处于如下状态:如果发生第一类型的通知,则源电子装置1210可等待(或暂停)输出通知,并且如果发生第二类型的通知,则源电子装置1210可输出通知。
可能存在源电子装置1210(以下称为“第一电子装置1210”)所在的第一空间(或第一地点)1201中的第二电子装置1220输出包括人的语音的广播声音并且输出的广播声音由第一电子装置1210和第二电子装置1220收集的状况。可能存在用户1200存在于第二空间(或第二地点)1203中并且由用户1200说出的人的语音由第二空间(或第二地点)1203中的第三电子装置1230收集的状况。
如果在第一电子装置1210(或源电子装置)(或者可以以中央控制装备或扮演其角色的电子装置或服务器进行操作,尽管未示出)中发生通知(或给定状况),则第一电子装置1210可以在输出通知之前(在输出通知的同时)识别属于被检测到声音的电子装置1210、1220和1230并且将输出通知的目标电子装置。
第一电子装置1210(或以中央控制装备或扮演其角色的电子装置或服务器进行操作的装置,尽管未示出)可以基于从第一电子装置1210本身和外围电子装置1220和1230收集的声音将被检测到人的语音的电子装置识别为目标电子装置。真人的语音可以包括在由第三电子装置1230收集的声音中。此外,人的语音可以基于第二电子装置1220的广播声音被包括在从第一电子装置1210和第二电子装置1220收集的声音中。
第一电子装置1210可以通过从收集的声音中区分人的语音和广播语音来识别目标电子装置。第一电子装置1210可以至少基于收集的声音的噪声程度、声音的波形或由输出广播语音的第二电子装置1220(或给定服务器(例如,云))提供的状态(或回放)信息(例如,TV开启信息或提供执行广播回放的通知的状态信息(例如,指示内容流传输的信息))来识别广播语音。
第一电子装置1210可以将提供被分类为人的语音的声音的第三电子装置1230识别为目标电子装置。第一电子装置1210可将通知转发到被识别为目标电子装置的第三电子装置1230。第三电子装置1230可以通过输出通知来向用户1200提供通知。
图13是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图13,为了便于描述,如参照上述附图描述的部分中所描述的,示出了家里(或家的内部结构)的平面图。图13示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)处的示例。下面描述根据各种实施例的生成通知的源电子装置、属于源电子装置附近的电子装置并且将输出通知的目标电子装置、以及与目标电子装置的确定相关的一些电子装置。在描述图13时,省略了与上述描述冗余或相应的描述(例如,其它电子装置的描述)。
参照图13,在多个电子装置存在于给定空间中的环境中,可能存在如下状况:在第一空间(或第一地点)1301(例如,起居室)内的源电子装置1310中可能发生与通知相关的给定状况(例如,洗涤完成状况的发生),并且尚未收集到与用户相关的声音(例如,人的语音或与生活相关的声音)。图13可以是如下状况:从第一空间(第一位置)中的外围电子装置1320输出其他声音(例如,从诸如TV、收音机或扬声器的电子装置输出声音(例如,广播声音,诸如TV声音或音乐声音))。
如果在源电子装置1310中发生通知,则源电子装置1310可在它输出通知之前识别能够容易地将通知转发给用户的目标电子装置,并且可通过目标电子装置将通知提供给用户。
源电子装置1310可以在没有在收集的声音中检测到人的语音或生活相关声音的状况下检测外围电子装置1320的广播声音。如果未检测到与用户相关的直接声音(例如,人的语音或与生活相关声音),则源电子装置1310可以识别用户在已经提供其他声音的外围电子装置附近使用外围电子装置。用户可以在起居室内在不说话的状况下观看电视,或者可以在其他空间听音乐。
如果未检测到与用户相关的直接声音(例如,人的语音或生活相关声音),则源电子装置1310(或者可以以中央控制装备或扮演其角色的电子装置或服务器进行操作,尽管未示出)可以将被检测到其他声音(或者从其输出广播声音)的外围电子装置1320识别为目标电子装置。源电子装置1310可以至少基于收集的声音的噪声程度、声音的波形或由输出广播语音的外围电子装置1320(或给定服务器(例如,云))提供的状态(或回放)信息(例如,TV开启信息或提供广播回放的通知的状态信息(例如,指示是否执行内容流传输的信息))来区分其他声音。
源电子装置1310可以将通知转发到被识别为目标电子装置的外围电子装置1320。外围电子装置1320可以输出通知。
如图13所示,如果未生成声音(例如,如果没有生成包括人的语音的任何声音),则可以参考除了声音信息之外的其他信息(例如,用户帐户、设置优先级或各种类型的感测信息)来提供通知。如果未生成声音(或无论是否生成声音),则可至少基于电子装置是否具有传感器或配置信息(例如,偏好/优先电子装置配置或用户账户)来选择目标电子装置,并且可提供通知。
电子装置101(例如,源电子装置、服务器或中央控制装备)可以搜索被配置为偏好或优先的外围电子装置。如果相应的外围电子装置推断(或跟踪)出了与用户相关的任何信息,则电子装置101可以将外围电子装置识别为目标电子装置以使得它提供通知。
如果用户账户被建立(或连接),则电子装置101(例如,源电子装置、服务器或中央控制装备)可以搜索用户账户连接到的外围电子装置(例如,用户的电子装置(例如,平板PC或智能电话))。如果相应的外围电子装置推断(或跟踪)出了与用户相关的任何信息,则电子装置101可以将相应的外围电子装置识别为目标电子装置以使得它提供通知。
电子装置101(例如,源电子装置、服务器或中央控制装备)可以基于与外围电子装置提供先前状况信息(例如,声音)或输出先前通知相关的至少一个历史来搜索外围电子装置。如果外围电子装置推断(或跟踪)出了与用户相关的任何信息,则电子装置101可以将相应的外围电子装置识别为目标电子装置并提供通知。例如,电子装置101可以将最近输出了通知的外围电子装置识别为目标电子装置以使得它提供通知。
如果给定的电子装置(例如,起居室中的扬声器)被指定为用于公用的装置,则电子装置101(例如,源电子装置、服务器或中央控制装备)可以通过优先考虑相应的外围电子装置来识别目标电子装置。电子装置101可以搜索专用于声音的外围电子装置,并且可以通过优先考虑具有最强(或高)声音输出的外围电子装置来识别目标电子装置。
包括传感器(例如,存在传感器、接近传感器、相机或图1的传感器模块176)的电子装置(例如,婴儿监视器、CCTV、装备相机的电子装置或智能电话)被自动(或周期性地)开启,可以识别用户是否存在,并且可以向电子装置101(例如,源电子装置、服务器或中央控制设备)提供相关的状况信息。电子装置101可以基于获得的状况信息来识别目标电子装置并提供通知。
图14是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图14,为了便于描述,如参照上述附图描述的部分中所描述的,示出了家里(或家的内部结构)的平面图。图14示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)处的示例。在描述图14时,省略了与上述描述冗余或相应的描述(例如,其它电子装置的描述)。
参照图14,在多个电子装置存在于给定空间中的环境中,可能发生与通知相关的给定状况(例如,洗涤完成状况的发生)。此外,至少任何一个电子装置(例如,源电子装置1410)可以存在于第一空间(或第一地点)1401(例如,起居室)中,并且第一用户1400A和第二用户1400B可以分别存在于与存在源电子装置1410的第一空间(或第一地点)1401不同的第二空间(或第二地点)1403(例如,厨房)和第三空间(或第三地点)1405(例如,房间1)中。
第二空间1403中的第一外围电子装置1430、1440和1450可以收集与第一用户1400A相关的状况信息(例如,与第一用户1400A的语音相关的第一声音)。第三空间1405中的第二外围电子装置1460和1470可以收集与第二用户1400B相关的状况信息(例如,与第二用户1400B的语音相关的第二声音)。图14示出了由第二空间1403中的第一外围电子装置1430、1440和1450收集的第一声音和由第三空间1405中的第二外围电子装置1460和1470收集的第二声音通常具有相似的级别(例如,相似的声音大小),并且不能选择具有更高优先级的任何一个声音(或者不能竞争优势)的示例。
如果在源电子装置1410中发生通知,则源电子装置1410可识别能够容易地将通知转发给用户并且在用户附近的电子装置,并且可通过目标电子装置向用户提供通知。可存在如下状况:如果发生第一类型的通知,则源电子装置1410可以等待(或暂停)输出通知,并且如果发生第二类型的通知,则电子装置1410可以输出通知。
源电子装置1410(或以中央控制装备或扮演其角色的电子装置或服务器进行操作的装置,尽管未示出)可以从第二空间(或第二地点)1403中的第一外围电子装置1430、1440和1450收集与第一用户1400A相关的第一声音,并且可以从第三空间(或第三地点)1405中的第二外围电子装置1460和1470收集与第二用户1400B相关的第二声音。
在这样的环境中,如果不同空间(或地点)中的第一声音和第二声音具有相似的级别(例如,具有在设置的误差范围内的大小的级别),则源电子装置1410可以基于针对目标电子装置设置的选择方法来识别目标电子装置。源电子装置1410可以基于第一设置将所有第一外围电子装置1430、1440和1450以及第二外围电子装置1460和1470包括为目标电子装置。源电子装置1410可以基于第二设置将第一外围电子装置1430、1440和1450以及第二外围电子装置1460和1470中的至少一个包括为目标电子装置。例如,源电子装置1410可以将存在与源电子装置1410的通知相关(或被指定用于源电子装置1410的通知)的用户(例如,第一用户1400A或第二用户1500B)的空间中的至少一个外围电子装置识别为目标电子装置。源电子装置1410可以基于第三设置将除了第一外围电子装置1430、1440和1450以及第二外围电子装置1460和1470之外的不同外围电子装置或者源电子装置1410本身包括为目标电子装置。例如,源电子装置1410可以搜索给定的外围电子装置并将检索到的外围电子装置识别为目标电子装置。
例如,如果已经关于源电子装置1410的通知设置了由用户指定的电子装置,则源电子装置1410可以将相应的电子装置(例如,外围电子装置1420)识别为目标电子装置。用户的指定(或设置)可以包括设置例如偏好、优先级、最近通知输出或最强声音输出中的至少一个条件。可以基于所设置的至少一个条件将至少一个外围电子装置包括为目标电子装置。
源电子装置1410可以基于第一设置、第二设置或第三设置的组合的顺序确定来识别目标电子装置。源电子装置1410可以识别关于基于偏好或优先级指定的电子装置的设置是否存在(或者存在或不存在)。如果不存在指定的电子装置(例如,如果尚未设置指定的电子装置),则源电子装置1410可以基于外围电子装置的历史将最近输出了通知的电子装置识别为目标电子装置。
例如,当基于历史识别目标电子装置时,如果给定电子装置(例如,起居室中的扬声器)作为用于公用的装置存在,则源电子装置1410可通过优先考虑相应的电子装置来识别目标电子装置,或者可通过优先考虑专用于声音的电子装置(例如,具有最强声音输出的电子装置,例如扬声器)来识别目标电子装置。如果没有搜索到基于历史的电子装置,则源电子装置1410可以将例如所有已经被收集到声音的第一空间1403的第一外围电子装置1430、1440和1450以及第二空间1405的第二外围电子装置1460和1470识别为目标电子装置,使得它们同时提供通知。
图15是用于示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图15,为了便于描述,如参照上述附图描述的部分中所描述的,示出了家里(或家的内部结构)的平面图。图15示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)处的示例。在描述图15时,省略了与上述描述冗余或相应的描述(例如,其他电子装置的描述)。
参照图15,在多个电子装置存在于给定空间中的环境中,在第一空间(或第一地点)1501(例如,起居室)中的源电子装置1510中可发生与通知相关的给定状况(例如,洗涤完成状况的发生)。第一用户1500A和第二用户1500B可存在于源电子装置1410存在的第一空间(或第一地点)1401中。第一用户1500A可以存在于更靠近第一外围电子装置1520,并且第二用户1500B可以存在于更靠近第二外围电子装置1530。
第一外围电子装置1520可以收集与第一用户1500A相关的状况信息(例如,与第一用户1500A的语音相关的第一声音)。第二外围电子装置1530可以收集与第二用户1500B相关的状况信息(例如,与第二用户1500B的语音相关的第二声音)。图15示出了存在于相同空间(或地点)中的由第一外围电子装置1520收集的第一声音和由第二外围电子装置1530收集的第二声音通常具有相似的级别(例如,相似的声音大小),并且具有较高优先级的任何一个声音不能被选择(或者不能竞争优势)。
如果在源电子装置1510中发生通知,则源电子装置1510可以识别能够容易地将通知转发给用户并且在用户附近的电子装置,并且可以通过目标电子装置向用户提供通知。如果发生第一类型的通知,则源电子装置1510可以等待(或暂停)输出通知,并且如果发生第二类型的通知,则源电子装置1510可以输出通知。
源电子装置1510(或者可以以中央控制装备或扮演其角色的电子装置或服务器进行操作,尽管未示出)可以从第一外围电子装置1520收集与第一用户1500A相关的第一声音,并且可以从与第一外围电子装置1520相同的空间中的第二外围电子装置1530收集与第二用户1500B相关的第二声音。
相同空间1501中的第一声音和第二声音具有相似的级别(例如,具有在设置的误差范围内的大小的级别),源电子装置1510可以基于针对目标电子装置设置选择方法将源电子装置1510或至少一个外围电子装置识别为目标电子装置。
如果被收集到声音的外围电子装置1520和1530存在于与源电子装置1510相同的空间中,则源电子装置1510可以将源电子装置1510包括为目标电子装置。
源电子装置1510可以将第一外围电子装置1520和第二外围电子装置1530两者识别为目标电子装置。
源电子装置1510可以将第一外围电子装置1520和第二外围电子装置1530中的至少一个识别为目标电子装置。例如,源电子装置1510可以将与源电子装置1510的通知相关的(或针对源电子装置1510的通知指定的)用户(例如,第一用户1500A或第二用户1500B)附近的外围电子装置识别为目标电子装置。
源电子装置1510可以在第一外围电子装置1520和第二外围电子装置1530中搜索指定的外围电子装置,并且可以将检索到的外围电子装置识别为目标电子装置。例如,如果已经关于源电子装置1510的通知设置了由用户指定的电子装置,则源电子装置1510(或以中央控制装备或扮演其角色的电子装置或服务器进行操作的装置,尽管未示出)可以将相应的外围电子装置(例如,第二外围电子装置1530)识别为目标电子装置。根据实施例,用户的指定(或设置)可以包括设置例如偏好、优先级、最近通知输出或最强声音输出中的至少一个条件。可以基于所设置的至少一个条件将至少一个外围电子装置包括为目标电子装置。
源电子装置1510可以识别关于基于偏好或优先级指定的电子装置的设置是否存在(或者存在或不存在)。如果不存在指定的电子装置(例如,如果尚未设置指定的电子装置),则源电子装置1510可以将属于外围电子装置1520和1530并且最近已经输出了通知的外围电子装置识别为目标电子装置。如果不存在指定的电子装置(例如,如果尚未设置指定的电子装置)并且存在属于外围电子装置1520和1530且已经被指定为用于公用的装置的外围电子装置(例如,起居室中的扬声器),则源电子装置1510可以通过优先考虑相应的外围电子装置来将相应的外围电子装置识别为目标电子装置,或者可以通过优先考虑专用于声音的电子装置(例如,具有最强声音输出的电子装置,例如扬声器)来将该电子装置识别为目标电子装置。
图16A是示出根据本公开的实施例的确定电子装置中的目标电子装置的操作方法的流程图。
图16B是示出根据本公开的实施例的确定电子装置中的目标电子装置的操作方法的流程图。
参照图16A和图16B,在框1601,电子装置101(例如,以源电子装置、中央控制装备或扮演其角色的电子装置、或服务器操作的电子装置)(或电子装置101的处理器120)可以检测与电子装置101的至少一个功能相关的通知。电子装置101可以至少基于电子装置101的特性(或类型),来检测由于电子装置101中的功能的执行(例如,功能的执行的开始或完成)而发生的通知或者可以从外部(例如,外部的不同电子装置或服务器)获得通知。
在框1603,电子装置101可以响应于检测到通知来识别通知的类型。通知的类型可以包括一般通知1610和反馈通知1620。一般通知1610不需要来自用户的反馈,并且可以包括可以单向地提供给用户的通知。例如,一般通知1610可以包括不需要来自用户的单独反馈的用于简单通知的通知,诸如功能的开始(例如,“洗涤开始”、“烹饪开始”或“清洁开始”)或功能的完成(例如,“洗涤完成”、“烹饪完成”或“清洁完成”)。反馈通知1620可以包括需要用户反馈的通知或者需要与和通知相关联的用户交互的通知。例如,反馈通知1620可以包括需要根据从外部接收到呼叫来执行呼叫或用于传输根据从外部接收到消息的回复消息的给定元件(例如,麦克风、扬声器或语音识别引擎)的给定属性的通知,或者必须传送给用户的给定属性的通知,诸如灾难/紧急消息。
在框1611和框1621处,电子装置101可以基于识别的结果来识别通知(例如,一般通知1610或反馈通知1620)的子分类。
例如,电子装置101可以识别一般通知1610的子分类对应于个人通知1613、公共(或官方)通知1615还是紧急通知1617。个人通知1613可以包括与预先指定的用户相关联并且必须提供给给定用户的通知(例如,为第一用户指定的通知或为第二用户指定的通知)。公共(或官方)通知1615可以包括不与给定用户相关联或者如果给定用户不存在则可以公共提供的通知(例如,清洁完成通知或空气净化通知)。紧急通知1617可以包括需要警报(或警告)或注意的通知(例如,提供煤气灶(或煤气炉)正在操作的通知的通知或提供冰箱的门打开的通知的通知)。
例如,电子装置101可以识别反馈通知1620的子分类是对应于个人通知1623还是公共(或官方)通知1625。在一个实施例中,个人通知1623可以包括需要提供给与通知相关联的给定用户的通知(例如,用于接收呼叫的通知或用于接收消息的通知)。公共(或官方)通知1625可以包括不具有针对通知的任何目标(例如,用户)但需要转发给用户的通知(例如,灾难通知、紧急通知或气体泄漏感测通知)。
在框1631,电子装置101可以在外围电子装置中搜索与所识别的子分类的通知相关联的电子装置。根据实施例,电子装置101可以识别属于外围电子装置并且与一般通知1610的个人通知1613相关联的至少一个外围电子装置。电子装置101可以识别属于外围电子装置并且与反馈通知1620的个人通知1623相关联的至少一个外围电子装置。在一个实施例中,针对子分类的每个通知相关联的关联电子装置可以包括与通知相关的用户或能够执行功能的外围电子装置或针对子分类的每个通知指定的外围电子装置。针对相关联的电子装置的标准在个人通知1613、1623的情况下可以包括能够进行语音记录的电子装置,在公共通知1615的情况下可以包括给定空间(例如,起居室)或多账户的电子装置,并且在一般通知1610的紧急通知1617或反馈通知1620的公共通知1625的情况下可以包括针对每个空间(或地点)被指定为公用装置的电子装置(例如,起居室中的扬声器)。
如果在框1631未搜索到关联电子装置(或者如果不存在关联电子装置),则在框1633,电子装置101可以基于外围电子装置收集状况信息并分析状况信息。在框1637,电子装置101可以基于分析的结果来识别外围电子装置中的用于目标电子装置的候选电子装置。
如果在框1631搜索到了关联电子装置(或者如果存在关联电子装置),则在框1635,电子装置101可以基于关联电子装置收集状况信息并分析它。在框1637,电子装置101可以基于分析的结果在关联电子装置中识别用于目标电子装置的候选电子装置。
在框1637,候选电子装置的确定可以对应于参照上述附图描述的部分中描述的确定。例如,电子装置101可以将外围电子装置(或关联电子装置)中的已经被收集到与用户检测相关的状况信息(例如,声音)的至少一个电子装置、给定电子装置(例如,专用于声音的电子装置或具有强声音输出的电子装置)、或基于设置信息(例如,偏好/优先级电子装置设置或用户帐户)搜索到的电子装置识别为候选电子装置。
在框1641,电子装置101可以分析候选电子装置的状况信息。电子装置101可以获得由候选电子装置收集的状况信息,并且可以通过分析(或跟踪)与用户相关的信息(例如,第一感测信息到第八感测信息)(例如,人的语音、人物图像或周围声音),从获得的状况信息获得包括与用户相关的信息的状况信息。根据实施例,电子装置101可以在所获得的状况信息中识别用户(或用户的数量)。电子装置1641可以基于用户分类来识别识别是单个用户检测1643还是多用个户检测1645。
如果在框1643检测到单个用户,则在框1649,电子装置101可以搜索(或识别)检测到用户的候选电子装置的空间(或地点)(或候选电子装置所在的位置)。例如,电子装置101可以通过识别检测到用户的候选电子装置的空间来识别候选电子装置位于与电子装置101相同的空间中还是不同的空间中。
如果在框1643检测到多个用户,则在框1647,电子装置101可以针对每条状况信息(或候选电子装置)搜索人的数量(例如,用户的数量)和账户(例如,用户账户或用户账户的电子装置)。在框1649,电子装置101可以针对每条状况信息搜索(或识别)候选电子装置的检测到用户的至少一个空间(或地点)(或候选电子装置所在的地点)。例如,电子装置101可以通过识别多个候选电子装置中的每个候选电子装置的检测到多个用户的空间来识别多个候选电子装置中的每个候选电子装置是否位于与电子装置101相同的空间中和不同的空间中。
如果电子装置101基于框1649的搜索结果将空间识别为相同空间1651,则在框1653,可以通过电子装置101直接提供通知。电子装置101可以基于相同空间1651内的用户检测将电子装置101本身识别为目标电子装置,并且可以通过输出从电子装置101生成的通知来向用户提供通知。
如果电子装置101基于框1649的搜索结果将空间识别为不同的空间1661,则在框1663,电子装置101可以基于空间(或地点)识别(或选择)代表性电子装置。代表性电子装置可以包括针对每个空间的一个或更多个电子装置。
在框1665,电子装置101可以基于复合空间来识别是否提供通知。电子装置101可以基于通知的类型(或属性)来识别是否需要由多个空间(或地点)提供通知。
如果在框1665通知被识别为由单个空间提供的通知,则在框1667,电子装置101可以通过相应空间的代表性电子装置提供通知。电子装置101可以将所述空间的代表性电子装置识别为目标电子装置,并且可以将通知转发到相应的代表性电子装置,使得由代表性电子装置输出通知。
如果在框1665通知被识别为由复合空间提供的通知,则在框1669,电子装置101可以通过多个空间中的每个空间的代表性电子装置提供通知。根据实施例,电子装置101可以将针对每个空间的代表性电子装置识别为目标电子装置,并且可以将通知转发到每个空间的代表性电子装置,使得通过相应空间的代表性电子装置大体同时(或一起)输出多条所述通知。
除了在框1649搜索空间之外或作为在框1649搜索空间的替代,在框1671,如果通知的属性相应于需要给定元件(例如,麦克风或扬声器)的给定属性的通知(诸如呼叫),则电子装置101可以识别(或搜索)每个电子装置的属性。例如,电子装置101可以通过识别每个候选电子装置的属性来识别离手功能(或支持呼叫功能)是否是可用的(或者是否包括用于呼叫功能的麦克风和扬声器)。
如果在框1671识别出离手功能可用1673,则在框1675,电子装置101可以基于离手通过离手向目标电子装置提供通知。如果需要如在呼叫中那样应用离手功能,则电子装置101可以通过优先考虑属于候选电子装置并且支持扬声器和麦克风两者的电子装置来将该电子装置识别为目标电子装置,并且可以提供通知(例如,铃声)或相关信息(例如,“存在来自OO的呼叫”)。
如果在框1671识别出离手功能不可用1677,则在框1679,电子装置101可以在不适用离手的状况下基于与上述方法相应的至少一种方法来提供通知。
如表4所示,电子装置101可以基于通知的类型(或与通知相关联的信息)来选择用于输出通知的目标电子装置。在具有与用户直接相关联的强个人属性的通知(诸如消息或呼叫)的情况下,电子装置101可以选择与相应用户(或用户账户)相关的外围电子装置作为目标电子装置。在需要给定元件(例如,麦克风或扬声器)的给定属性的通知(诸如呼叫)的情况下,电子装置101可以选择包括相应元件(例如,麦克风或扬声器)(或提供相应功能)的外围电子装置作为目标电子装置。电子装置101可以通过优先考虑连接到用户账户的电子装置来将该电子装置选择为目标电子装置。电子装置101可以选择具有高(例如,好)状态(例如,声音波形或声音大小)的状况信息的外围电子装置作为目标电子装置。如上所述,当检测到具有相同级别的状况信息时(例如,当生成具有相同级别的声音时),电子装置101可以至少根据基于周围环境的条件来选择目标电子装置。
[表4]
Figure BDA0002984196120000481
Figure BDA0002984196120000491
如表4所示,如果存在能够进行针对个人通知(例如,日程或消息)的语音记录的外围电子装置,则电子装置101(或者可以以中央控制装备或扮演其角色的电子装置(例如,AI装置)或服务器进行操作)可以在识别出个人用户账户中设置的语音时优先考虑并选择相应的外围电子装置,并且可以通过所选择的外围电子装置提供通知(例如,“OO!您有来自△△的消息”)。
如果不存在能够进行针对个人通知(例如,日程或消息)的语音记录的外围电子装置,则电子装置101可以优先考虑并选择通过个人用户账户连接的外围电子装置、声音波形和大小以最高级别被识别的外围电子装置、或者适合于识别出相同级别的声音时的相应状况的外围电子装置,并且可以通过所选择的外围电子装置提供通知。在个人通知的情况下,电子装置101可以提供保护个人信息的脚本,诸如“OO具有消息”。
电子装置101可以选择识别出响亮声音的方向上的外围电子装置或者能够针对如上所述的公共通知(例如,粉尘浓度、温度或洗涤通知)向人提供通知的外围电子装置,并且可以通过所选择的外围电子装置提供通知。
如果针对给定通知(例如,如在同时需要麦克风和扬声器的状况下,需要给定功能/规格的通知,诸如呼叫)存在能够进行语音记录的外围电子装置,则当识别出个人用户账户中设置的语音时,电子装置101可以优先考虑并选择属于相应外围电子装置并支持相应规格的外围电子装置,并且可以通过所选择的外围电子装置提供通知。例如,如果必须如在呼叫中那样应用离手功能,则电子装置101可以优先考虑并选择同时支持扬声器和麦克风的外围电子装置,并且可以提供相应的通知(或与通知相关的信息)(例如,“00!您有来自△△的呼叫”)。
如果针对给定通知不存在能够进行语音记录的外围电子装置,则当没有识别出语音时,例如,电子装置101可以优先考虑并选择属于被检测到最强声音的外围电子装置并且支持相应规格的外围电子装置,并且可以通过所选择的外围电子装置提供通知。根据实施例,在给定通知的情况下,电子装置101可以提供保护个人信息的脚本,诸如“OO!您有呼叫”。
图17是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图17,为了便于描述,如参照上述附图描述的部分中所描述的,示出了家里(或家的内部结构)的平面图。图17示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)处的示例。在描述图17时,省略与上述描述冗余或相应的描述(例如,其它电子装置的描述)。根据实施例,图17可示出基于通知(或信息)的类型识别(或选择)目标电子装置的示例。
参照图17,在给定空间中存在多个电子装置的环境中,在第一空间(或第一地点)1701中的源电子装置1710中可发生与通知相关的给定状况(例如,发生呼叫通知声音),并且用户1700可存在于与存在源电子装置1710的第一空间1701不同的第二空间(或第二地点)1703中。第二空间1703中的第一外围电子装置1720和第二外围电子装置1730可以收集与用户1700相关的状况信息(例如,与用户1700的语音相关的声音)。
如果在源电子装置1710中发生通知,则源电子装置1710可识别能够容易地将通知转发给用户并且在用户附近的目标电子装置,并且可通过目标电子装置向用户提供通知。如果发生需要给定元件(例如,麦克风或扬声器)的给定属性的通知,诸如消息或呼叫,则源电子装置1710可以优先考虑并选择包括相应元件(或支持对应功能)的外围电子装置作为目标电子装置。
当发生诸如“呼叫通知”的给定通知时,如果在相应空间(例如,源电子装置1710所在的第一空间1701)中在设置的给定时间(例如,大约N秒)内未检测到与用户检测相关的状况信息(例如,声音),则源电子装置1710可以从不同空间中的外围电子装置收集状况信息。源电子装置1710可以从第二空间1703中的第一外围电子装置1720和第二外围电子装置1730收集与用户1700相关的声音。
源电子装置1710可以优先考虑并选择属于被收集到声音的外围电子装置1720和1730并且具有相应属性(或用于执行相应功能的元件(例如,麦克风或扬声器))的功能(诸如呼叫)的外围电子装置作为目标电子装置。例如,在图17中,源电子装置1710可以识别第二空间1703中的外围电子装置1720和1730是否可以执行与呼叫相关的功能(或者它们是否包括与功能的执行相关的元件,诸如麦克风和扬声器),并且可以将能够执行与呼叫相关的功能的第一外围电子装置1710识别为目标电子装置。源电子装置1710可以识别在用户附近的外围电子装置(例如,候选电子装置),并且可以将属于所识别的在用户附近的外围电子装置并且具有与通知相应的属性的电子装置识别为目标电子装置。源电子装置1710可以通过识别电子装置是否可以执行与对应于通知类型(例如,给定属性的通知,诸如呼叫)的属性相关的功能并识别与用户的接近程度来识别目标电子装置。例如,在图17中,如果能够执行与呼叫相关的功能的外围电子装置为多个,则源电子装置1710可以基于上述感测信息将最接近用户的外围电子装置识别为目标电子装置。
源电子装置1710可以通过第一外围电子装置1720提供通知。根据实施例,源电子装置1710可以基于离手功能来转发通知,使得通过第一外围电子装置1720连续地(或不间断地)输出呼叫通知声音。
图18是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图18,为了便于描述,如参照上述附图描述的部分中所描述的,示出了家里(或家的内部结构)的平面图。图18示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)处的示例。图18可示出基于通知(或信息)的类型识别(或选择)目标电子装置的示例。
参照图18,在给定空间中存在多个电子装置的环境中,在第一空间(或第一地点)1801中的第一电子装置1810(例如,源电子装置)中可发生与通知相关的给定状况(例如,发生呼叫通知声音),并且第一用户1800A和第二用户1800B分别存在于与存在第一电子装置1810的第一空间1801不同的第二空间(或第二地点)1803和第三空间(或第三地点)1805中。第二空间1803中的外围电子装置(例如,第二电子装置1820和第三电子装置1830)可以收集与第一用户1800A相关的状况信息(例如,与第一用户1800A的语音相关的声音)。第三空间1805中的外围电子装置(例如,第四电子装置1840和第五电子装置1850)可以收集与第二用户1800B相关的状况信息(例如,与第二用户1800B的语音相关的声音)。
第一用户1800A可以在第二空间1803内更靠近第二电子装置1820,并且第二用户1800B可以在第三空间1805内更靠近第四电子装置1840。第二用户1800B的用户账户(或用户语音)(下文中称为“账户B”)先前已经向第二空间1803中的第二电子装置1820注册(或预先配置)。第一用户1800A的用户账户(或用户语音)(下文中称为“账户A”)和第二用户1800B的账户B可以先前已经向第二空间1803中的第三电子装置1830注册。图18示出了从第三空间1805中的第三电子装置1840收集的声音具有比从其他外围电子装置1820、1830和1850收集的声音更大的声音波形和大小。尽管从第三空间1805的第四电子装置1840收集的声音具有最高优先级(例如,具有最大声音波形和/或大小的声音),但是如果在被收集到声音的另一外围电子装置中识别出关于与通知相关的用户的账户(或用户语音),则可以将优先级分配给相应的外围电子装置并且可以提供通知。
如果在第一电子装置1810中发生通知,则第一电子装置1810可以识别能够容易地将通知转发给用户并且在用户附近的目标电子装置,并且可以通过目标电子装置向用户提供通知。如果发生具有强个人属性的通知(诸如消息或呼叫),则可以通过优先考虑与关于相应的通知的用户的用户账户相关联的外围电子装置(例如,已经注册了用户语音并且已经识别出用户语音的电子装置)来选择目标电子装置。
当发生诸如“呼叫通知”的个人属性的通知时,如果在相应的空间(例如,第一电子装置1810所在的第一空间1801)中在设置的时间(例如,大约N秒)内未检测到与用户检测相关的状况信息(例如,声音),则第一电子装置1810可以从不同空间中的外围电子装置1820至1850收集状况信息。根据实施例,第一电子装置1810可以从第二空间1803中的外围电子装置1820和1830收集与第一用户1800A相关的第一声音,并且可以从第三空间1805中的外围电子装置1840和1850收集与第二用户1800B相关的声音。
如果发生诸如呼叫的个人属性的通知,则第一电子装置1810可以识别与通知相关的用户(或用户账户)。在图18中,描述了个人属性的通知(例如,呼叫的接收)与第一用户1800A相关的示例。第一电子装置1810可以优先考虑并选择属于被收集到声音的外围电子装置1820至1850并且已经被设置了与个人属性的通知相关的用户(例如,第一用户1800A)的用户账户(例如,账户A)的外围电子装置(例如,第三电子装置1830)作为目标电子装置。例如,在图18中,第一电子装置1810可以在外围电子装置1820至1850中搜索已经设置(或注册)了关于第一用户1800A的账户A的外围电子装置(例如,第三电子装置1830)。第一电子装置1810可以优先考虑并选择属于已经设置了用户账户的外围电子装置并且可以执行与呼叫相关的功能(或者包括与功能的执行相关的所有元件,诸如麦克风和扬声器)的外围电子装置。
第一电子装置1810可以通过第三电子装置1830提供通知。根据实施例,当第一电子装置1810提供通知时,它可以提供关于个人信息(或隐私)保护的与通知相关的信息(或脚本)(例如,“XX!您有到您电话的呼叫”、“XX!您有呼叫”),因此通过第三电子装置1830输出通知。在实施例中,第一电子装置1810可以基于离手功能转发通知,因此通过第三电子装置1830连续地(或不间断地)输出呼叫通知声音。
如果与用户的用户账户相关联的电子装置不存在于检测到与通知相关的用户的空间中,则第一电子装置1810可以仅提供最少的信息。与第三空间1805中的第二用户1800B相关的通知可以发生在第一空间1801的第一电子装置1810中,第三空间1805中的外围电子装置1840和1850中的第四电子装置1840可以被选择为目标电子装置,并且第二用户1800B的账户B可以不向第三空间1805中的外围电子装置1840和1850注册。在这种情况下,当第一电子装置1810向被选择为目标电子装置的第四电子装置1840提供通知时,它可以仅向目标电子装置提供最小通知(或与通知相关的信息)或提供与个人信息(或隐私)保护相关的脚本。
如在下面的表5的示例中,可以基于通知的类型(或属性)(或与通知相关联的信息)来选择用于输出通知的目标电子装置。
[表5]
Figure BDA0002984196120000531
Figure BDA0002984196120000541
如表5所示,针对紧急状况通知(例如,火灾或抢劫),不管是否发生声音(或者不管是否检测到声音)(例如,不管是否可以识别出存在人),电子装置101(或者可以以中央控制装备或扮演其角色的电子装置(例如,AI装置)或服务器进行操作)可基于针对每个空间(或地点)的至少一个电子装置提供通知。电子装置101可以向能够传送最大声音输出的电子装置(诸如扬声器)分配优先级。如果存在可以连接到外部的电子装置(例如,呼叫中心、服务中心、紧急灾难中心或警察局),则电子装置101可以通过相应的电子装置自动连接到外部,使得转发紧急状况通知。
电子装置101可以通过生成声音的外围电子装置提供关于个人通知(例如,消息或日程)的通知。电子装置101可以根据是否存在能够进行关于用户的语音记录的外围电子装置,通过应用与参照表4描述的部分相应的规则来提供通知。
电子装置101可以针对公共通知(例如,洗涤通知、细尘浓度通知或温度通知)根据是否生成声音来提供通知。电子装置101可以基于被检测到声音的外围电子装置来提供公共通知。例如,电子装置101可以基于被清楚地识别为存在人的外围电子装置来提供公共通知。如果在电子装置101中未检测到声音,例如,如果不能确定针对电子装置101的人的存在或不存在,则可以通过应用与参照上述(例如,图13)描述的部分相应的规则来提供通知。
图19是示出根据本公开的实施例的在网络环境中提供通知的另一示例的示图。
参照图19,为了便于描述,如参照上述附图描述的部分中所描述的,示出了家里(或家的内部结构)的平面图。图19示出了各种类型的电子装置存在于家里的给定空间中的各个地点(或位置)处的示例。图19可以示出如果能够提供通知(或信息)的任何电子装置不存在于用户所在的空间中,则通过可移动电子装置向用户提供通知的示例。
参照图19,在给定空间中存在多个电子装置的环境中,在第一空间(或第一地点)1901中的第一电子装置1910(例如,源电子装置)中可发生与通知相关的给定状况(例如,洗涤完成状况的发生),并且用户1900可能存在于与存在第一电子装置1910的第一空间1901不同的第二空间(或第二地点)1903中。
图19示出了在用户1900所在的第二空间1903中不存在电子装置的示例。与第二空间1903中的用户1900相关的检测(例如,声音收集)可以由与第二空间1903相邻的第三空间1905中的第二电子装置1920收集。第三空间1905的第二电子装置1920可以示为可移动电子装置(例如,机器真空吸尘器)。
如果在第一电子装置1910中发生通知,则第一电子装置1910可以识别能够容易地将通知转发给用户并且在用户附近的目标电子装置,并且可以通过目标电子装置向用户提供通知。参照图19,如果在第一电子装置1910中发生通知,则第一电子装置1910可以从外围电子装置收集状况信息(例如,声音)。第一电子装置1910可以从第三空间1905中的第二电子装置1920收集与用户1900相关的声音。在图19中,用户1900不存在于第三空间1905中,并且第三空间1905的第二电子装置1920可以收集与用户1900相关并且从第二空间1903生成的声音。第三空间1905的第二电子装置1920可以将提供用户1900不存在于它自己的空间(例如,第三空间1905)中并且用户1900存在于不同的空间(例如,第二空间1903)中的通知的信息(或推断信息)以及状况信息一起提供给电子装置1910。可选地,这样的信息(或推断信息)可以用于第一电子装置1910(例如,源电子装置)来基于从第二电子装置1920获得的状况信息来执行推断(或执行用户跟踪)。
如果识别出用户1900不存在于被收集到声音的第二电子装置1920的空间(例如,第三空间1905)中,并且外围电子装置不存在于用户1900的空间(例如,第二空间1903)中,则第一电子装置1910可以优先考虑并选择可移动外围电子装置作为目标电子装置。第一电子装置1910可以基于外围电子装置的ID信息(例如,装置ID)来识别可移动电子装置(或可移动类型电子装置)。第一电子装置1910可以基于从第三空间1905的第二电子装置1920收集的状况信息来识别用户1900所在的空间(例如,第二空间1903)。
第一电子装置1910可以请求(或指示或控制)所识别的可移动电子装置(例如,第二电子装置1920)移动到用户1900所在的第二空间1920并向用户1900转发通知。响应于从第一电子装置1910接收到请求,第三空间1905中的第二电子装置1920可以移动到第三空间1930(例如,生成声音的方向),并且可以向存在于第二空间1903中的用户1900提供从第一电子装置1910生成的通知。
如果在诸如图19的示例的环境中不存在可移动电子装置,则第一电子装置1910可以基于最靠近产生声音的地点的电子装置(例如,第三空间1905中的第二电子装置1920)或基于优先级选择的至少一个电子装置来向用户1900提供通知。
如上所述,可以基于各种类型的状况信息(例如,基于声音,诸如周围声音和/或给定声音,或者基于可以由传感器测量的感测)来识别用户所在的空间(例如,预期为用户的可听范围的位置),并且可以通过用户附近的电子装置提供所需的通知(或与通知相关的信息)。在可以通过考虑各种上下文(诸如空间(或地点)、感测信息(例如,声音)的属性或大小或通知(或信息)的属性)来分析用户位置之后,可以基于至少一种输出方法(例如,声音)通过最合适的电子装置将通知清楚地提供给用户。随着在给定空间内使用的电子装置的数量增加,可以增加将被传送的通知和信息的量。最靠近用户的当前位置并且能够最容易地转发通知的电子装置可以在没有用户的给定配置的状况下基于在生活期间可自然发生的状况信息(例如,声音)(诸如用户附近的声音或给定声音)被自动连接,并且可以提供通知和信息或者可以提供用于服务的连接。
基于具有最大响应(诸如人的语音或声音的波形)的相应外围电子装置来提供来自源电子装置的通知。因此,当提供通知或服务时,用户能够最听到在用户附近的位置中的通知。例如,可以通过基于分区或基于Wi-Fi划分空间(或地点或位置)来提高通知转发的准确性。可以自动识别状况信息(例如,声音)的属性。例如,可以自动识别声音属性,诸如人声、周围声音或广播,并且可以选择最合适的目标电子装置。可以通过考虑状况信息的准确性来测量声音的波形、大小、准确性或强度。可以通过识别通知(或信息)的属性来提高准确度。例如,关于通知的属性,可以通过分析和识别通知的属性(诸如个人、紧急或公共)以及将被提供的信息来推断最佳目标电子装置。通过考虑用户或外围电子装置的各种上下文,可以提供最适合于相应状况(或上下文)的通知或功能(例如,离手功能或可移动电子装置控制功能),诸如外围电子装置的给定功能。
图20是示出根据本公开的实施例的在网络环境中提供通知的示例的示图。
图21是示出根据本公开的实施例的在网络环境中提供通知的示例的示图。
参照图20和图21,图20和图21示出了目标电子装置输出通知的方法的示例。例如,电子装置(例如,源电子装置、中央控制装备或目标电子装置)可以至少基于相应电子装置的属性(或特性)、通知的属性或周围状况(例如,方式模式应用或深夜)来识别反馈通知的方法,并且可以将该方法提供给用户。
在不能使用声音的状况下,诸如不能进行声音反馈(例如,声音输出模式关闭)或者设置了方式模式,可以使用不同的输出方法(例如,照明、触觉或消息显示方法)向用户提供通知。
参照图20,图20可示出使用电子装置101的照明功能提供通知的示例。例如,在基于声音的通知反馈可能妨碍用户(或外围用户)的环境中或者在静音模式状况下,可以通过除了声音之外的模态(诸如照明/时间消息)来提供通知(或信息)。
参照图21,如果基于显示器的电子装置(诸如TV或监视器)是用于通知的第一优先级电子装置(例如,目标电子装置),则因为用户可以观看电子装置,故可以使用除了声音之外的时间效果(例如,时间消息)将通知转发给用户。例如,在基于显示器的电子装置已被选择为第一优先级目标电子装置的状况下,例如,可以使用显示属性通过时间消息来提供通知(或信息),而不是使用声音或者除了声音之外的模态(诸如照明)。
图22是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图22,示出了控制存在于给定空间中的电子装置(例如,中央控制装备、集线器、AI装置或中央服务器(或云服务器))以及存在于给定空间外部的电子装置以检测源电子装置的通知的发生、基于状况信息识别目标电子装置、以及向目标电子装置提供源电子装置的通知的操作的示例。
参照图22,在操作2201,电子装置101的处理器120(例如,包括处理电路或图4的功能处理模块400的至少一个处理器)可以检测与源电子装置的至少一个功能相关并且在源电子装置中发生的通知。处理器120可以检测基于源电子装置内的功能的执行(例如,功能的执行的开始或完成)而发生的通知或者从外部(例如,外部的不同电子装置或服务器)转发到源电子装置的通知。源电子装置可以将发生的通知转发到电子装置101。处理器120可以根据源电子装置的通知来识别源电子装置的通知的发生。电子装置101可以检测以连接的源电子装置作为目的地的外部事件的接收(例如,呼叫的接收),并且可以将获得的事件传送(或转发)到源电子装置,并且还将事件的检测识别为源电子装置的通知的发生。
在操作2203,处理器120可以收集状况信息。处理器120可以响应于检测到源电子装置的通知的发生,收集基于源电子装置的状况信息和基于源电子装置附近的至少一个外围电子装置的状况信息。处理器120可以基于电子装置的各种传感器(例如,图1的传感器模块176、图1的相机模块180或图1的输入装置150(例如,麦克风))获得所收集的状况信息。
处理器120可以基于请求电子装置转发状况信息的推送方法来获得(或收集)状况信息。处理器120可以从周期性或非周期性发送的由电子装置收集的状况信息来获得(或收集)状况信息。如果在源电子装置中发生通知,则处理器120可以通过接口模块发送(或广播)用于请求电子装置发送状况信息的消息,并且可以从电子装置获得响应于此的状况信息。
在操作2205,处理器120可以基于状况信息来识别目标电子装置。处理器120可以分析所收集的状况信息,并且可以基于分析的结果来识别将输出源电子装置的通知的目标电子装置。处理器120可以将源电子装置或源电子装置附近的电子装置中的至少一个识别为目标电子装置。处理器120可以通过分析状况信息来识别(或分析)多条收集的状况信息中的包括与用户检测相关的信息的状况信息。基于状况信息识别目标电子装置的操作可以对应于在已经参考附图描述的识别电子装置101的目标电子装置的部分中描述的操作。
在操作2207,处理器120可以向目标电子装置提供通知信息。处理器120可以通过连接到目标电子装置的通信接口(例如,图1的接口177或图1的通信模块190)向目标电子装置发送与通知相关的通知信息(例如,与通知消息相关的数据、通知语音或通知声音),使得由目标电子装置输出从源电子装置生成的通知。如果源电子装置被识别为目标电子装置,则处理器120可以基于源电子装置输出通知。
图23是用于示出根据本公开的实施例的通过在网络环境中使电子装置协同工作来提供通知的示例的示图。
参照图23,示出了第一电子装置2310是源电子装置、第二电子装置2320和第三电子装置2330是布置在与第一电子装置2310的空间相同的空间中的不同地点处的外围电子装置的示例。图23可示出服务器2340进行控制以检测电子装置2310、2320和2330中的通知的发生、在电子装置2310、2320和2330之中选择用于通知输出的目标电子装置、以及通过目标电子装置输出源电子装置的通知的示例。图23示出了电子装置2310、2320和2330基于声音提供或收集状况信息的示例,但是各种实施例不限于此。状况信息(或检测信息)可以包括由电子装置2310、2320和2330中的每一个通过感测操作获得(或收集或测量)的收集信息。
参照图23,在操作2301,第一电子装置2310、第二电子装置2320和第三电子装置2330中的每一个可以连接到服务器2340。第一电子装置2310、第二电子装置2320和第三电子装置2330可以通过服务器2340间接连接。第一电子装置2310、第二电子装置2320和第三电子装置2330可以直接连接。服务器2340可以包括存在于与电子装置2310至2330相同的空间中的装置(例如,中央控制装备、集线器或AI装置)或存在于所述空间外部的装置(例如,云服务器)。
在操作2303,第一电子装置2310(例如,源电子装置)可以检测通知的发生。第一电子装置2310可以检测与至少一个功能相关的通知的发生。
在操作2305,当第一电子装置2310检测到通知的发生时,第一电子装置2310可以通过与服务器2340设置的通信接口将针对通知的发生的通知发生信息发送到服务器2340。通知发生信息可以包括例如与通知的发生相关的功能、通知的属性(或类型)或第一电子装置2310的ID信息中的至少一个。
在操作2307,服务器2340可以收集与第一电子装置2310和第一电子装置2310附近的电子装置(例如,第二电子装置2320和第三电子装置2330)相关的状况信息。服务器2340可以通过通信接口从电子装置2310、2320和2330获得(或收集)声音信息。电子装置2310、2320和2330可以周期性地测量(或检测)声音,并且可以将包括测量的声音的声音信息发送到服务器2340。电子装置2310、2320和2330可以基于给定事件(例如,从服务器2340接收到声音信息请求)来测量(或检测)声音,并且可以将包括测量的声音的声音信息发送到服务器2340。在图23中,描述了使用声音信息作为状况信息的示例,但是各种实施例不限于此。
在操作2309,服务器2340可以分析所收集的声音信息。服务器2340可以识别(或分析)属于所收集的声音信息并且包括与用户检测相关的信息的声音信息。例如,服务器2340可以识别属于从电子装置2310、2320和2330获得的声音信息并且包括声音的声音信息。服务器2340可以从所识别的声音信息获得声音并分析声音(例如,声音的波形、大小或频率)。
在操作2311,服务器2340可以基于分析的结果来检测用户。服务器2340可以在属于所收集的声音信息并且与用户检测相关的信息(例如,给定声音)中检测用户。与用户检测相关的信息可以包括包含人(例如,用户)的语音或周围声音(例如,跺脚声音、脚步声音、敲门声音、掌声、敲桌声音、键盘键入声音或TV声音)的声音。如果与用户检测相关的信息(或声音)包括在所收集的声音信息中,则服务器2340可以识别出用户存在于已经提供相应声音的电子装置的附近。
在操作2313,服务器2340可以识别目标电子装置。服务器2340可以将已经提供了所收集的声音信息中的与用户检测相关的信息(或声音)的电子装置识别为目标电子装置。服务器2340可以至少基于电子装置2310、2320和2330的ID信息来识别(或认出)目标电子装置。在图23中,描述了第三电子装置2330是目标电子装置的示例。通过分析状况信息(例如,声音)来识别目标电子装置的方法可以与参照上述附图描述的部分中描述的方法相应。
在操作2315,服务器2340可以基于与第三电子装置2330建立(或形成)的通信接口(例如,图1的接口177或图1的通信模块190)将与通知相关的通知信息(或通知数据)发送到第三电子装置2330。
在操作2317,第三电子装置2330(例如,目标电子装置)可以通过通信接口从服务器2340获得通知信息,并且可以识别所获得的通知信息。第三电子装置2330还可以包括识别通知信息的属性并且至少基于通知信息的属性来转换(或处理)将被输出的通知的操作。
在操作2319,第三电子装置2330可以使用至少一种方法输出与通知信息相应的通知。第三电子装置2330可以通过代表第一电子装置2310输出通知来向用户提供从第一电子装置2310生成的通知。第三电子装置2330可以基于视觉、听觉或触觉元素中的至少一个来输出通知。第一电子装置2310可以与从第三电子装置2330输出通知并行地(或者在服务器2340将用于通知输出的通知信息发送到第三电子装置2330之后)输出从第一电子装置2310生成的相应通知。
图24是用于示出根据本公开的实施例的在网络环境中提供通知的示例的示图。
参照图24,示出了基于声音识别能够最容易地将源电子装置的通知转发给用户的目标电子装置,并且通过基于服务器2450将源电子装置的通知转发给所识别的目标电子装置来将通知提供给用户2400的示例。
参照图24,空间可以被划分为第一空间2401(例如,起居室)、第二空间2403(例如,厨房)和第三空间2405(例如,房间),并且多个电子装置可以存在于空间2401、2403和2405中的每一个中。图24示出了声音被用作状况信息的场景的示例。关于电子装置的在给定空间中指定的地点的信息(例如,地点信息)可先前已经向服务器2450注册。
与通知相关的给定状况(例如,洗涤完成状况的发生)可以发生在第二空间2403中的第一电子装置2410(例如,源电子装置)中。用户2400可以存在于与存在第一电子装置2410的第二空间2403不同的第一空间2401中。通知可以被分类为第一类型的通知和/或第二类型的通知。例如,第一类型的通知可以包括与非实时(或非实时属性)处理相关的通知。第二类型的通知可以包括与实时(或实时属性)处理相关的通知。
响应于检测到通知的发生,第一电子装置2410可以通过与服务器2450建立的通信接口向服务器2450发送针对通知的发生的通知发生信息(或通知信息)。如果在第一电子装置2410中发生通知(或给定状况),则服务器2450可以为了针对相应电子装置附近的声音(例如,周围声音、人的语音或给定声音)的声音信息来搜索属于空间2401、2403和2405中的每个空间中的电子装置并且能够收集状况信息(例如,配备有用于声音收集的麦克风)的电子装置。
服务器2450可以基于从电子装置收集到的声音来识别目标电子装置。服务器2450可以将属于检测到最大声音的空间(或地点)中的电子装置并且具有最大且最清晰声音波形的声音的电子装置(例如,第一空间2401中的第二电子装置2420)识别为目标电子装置。
如果用户的语音或周围声音清晰,则服务器2450可以选择最接近用户的语音或周围声音的电子装置(例如,第二电子装置2420)作为目标电子装置。如果用户的语音或周围声音不清楚,例如,如果不存在用户的语音或周围声音,则服务器2450可以识别其他声音(例如,内容播放声音,诸如音乐声音或TV声音)。服务器2450可以基于所识别的其他声音选择回放相应的其他声音的电子装置(例如,第一空间2401中的第二电子装置2420)作为目标电子装置。
服务器2450可以向被识别为目标电子装置的第一空间2401中的第二电子装置2420转发通知。第二电子装置2420可以通过输出通知来向用户2400提供通知。
用于状况信息收集(或检测)的元件(例如,麦克风、相机或传感器)可以基于各种条件来操作,以便防止电子装置的功耗和/或不必要的收集(例如,总是收集)。例如,如在参照表3描述的部分中所描述的,元件可以基于各种条件来操作。如果检测到源电子装置的通知的发生,则服务器2450可以向空间2401、2403和2405中的每个电子装置发送开启与状况信息的收集相关的元件(例如,各种传感器,诸如麦克风和相机)的命令。例如,服务器2450可以控制电子装置开启麦克风。
图25是示出根据本公开的实施例的在网络环境中提供通知的示例的示图。
参照图25,示出了基于声音识别能够最容易地将源电子装置的通知转发给用户的目标电子装置,并且通过基于服务器2550将源电子装置的通知转发给所识别的目标电子装置来将通知提供给用户2500的示例。
参照图25,空间可以被划分为第一空间2501、第二空间2503和第三空间2505,并且多个电子装置可以存在于空间2501、2503和2505中的每一个中。图25示出了声音被用作状况信息的场景的示例。可以先前已经向服务器2550注册了关于电子装置的在给定空间中指定的地点的信息(例如,地点信息)。
在给定空间(例如,第一空间2501、第二空间2503和第三空间2505)中存在多个电子装置的环境中,在第三空间2505中的第一电子装置2510(例如,源电子装置)中可能发生与通知(例如,呼叫通知声音的发生)相关的给定状况。用户2500可以存在于与存在第一电子装置2510的第三空间2505不同的第一空间2501中。
响应于检测到通知的发生,第一电子装置2510可以通过与服务器2550建立的通信接口向服务器2550发送针对通知的发生的通知发生信息(或通知信息)。如果在第一电子装置2510中发生通知(或给定状况),则服务器2550可以为了针对相应的电子装置附近的声音(例如,周围声音、人的语音或给定声音)的声音信息搜索空间2501、2503和2505中的每个空间中的电子装置。
如果在第一电子装置2510中发生通知,则服务器2550可以将能够容易地将通知转发给用户并且在用户附近的电子装置识别为目标电子装置,并且可以通过目标电子装置向用户提供通知。如果发生需要给定元件(例如,麦克风或扬声器)的给定属性的通知,诸如消息或呼叫,则服务器2550可以优先考虑并选择包括相应元件(或支持相应功能)的电子装置作为目标电子装置。
参照图25,当在第一电子装置2510中发生诸如“呼叫通知”的给定通知时,如果在相应空间(例如,第一电子装置2510所在的第三空间2503)内在设置的给定时间(例如,大约N秒)内在第三空间2503中未检测到与用户检测相关的状况信息(例如,声音,诸如用户的语音或周围声音),则服务器2550可以从不同空间中的电子装置收集状况信息。根据实施例,服务器2550可以从第一空间2501中的第二电子装置2520收集与用户2500相关的声音。
如果用户的语音或周围声音清晰,则服务器2550可以选择最接近用户的语音或周围声音的电子装置(例如,第二电子装置2520)作为目标电子装置。如果用户的语音或周围声音不清楚,例如,如果不存在用户的语音或周围声音,则服务器2550可以识别其他声音(例如,内容回放声音,诸如音乐声音或TV声音)。服务器2550可以基于所识别的其他声音来选择回放相应的其他声音的电子装置(例如,第一空间2501中的第二电子装置2520)作为目标电子装置。服务器2550可以优先考虑并选择属于收集到声音的电子装置并且具有相应属性(或用于执行相应功能的元件(例如,麦克风或扬声器))的功能(诸如呼叫)的电子装置作为目标电子装置。例如,在图25中,服务器2550可以将属于第一空间2501中的电子装置并且可以执行与呼叫相关的功能(例如,离手功能)(或者包括与功能的执行相关的所有元件,诸如麦克风和扬声器)的第二电子装置2520识别为目标电子装置。
服务器2550可以向第一空间2501的被识别为目标电子装置的第二电子装置2520转发通知。第二电子装置2520可以通过输出通知来向用户2500提供通知。服务器2550可以通过第二电子装置2520提供第一电子装置2510的通知。服务器2550可以基于离手功能转发通知,使得通过第二电子装置2520连续地(或不间断地)输出呼叫通知声音。
图26是示出根据本公开的实施例的在网络环境中提供通知的示例的示图。
参照图26,示出了基于声音识别能够最容易地将源电子装置的通知转发给用户的目标电子装置,并且通过基于服务器2650将通知转发给所识别的目标电子装置来将通知提供给用户2600的示例。图26示出了如果在存在给定对象(例如,儿童或宠物)的空间中检测到给定大小或更大的声音(例如,宠物大声吠叫或儿童哭泣的状况),而在相应的空间中不存在给定用户(例如,父母),则通过用户附近的目标电子装置提供通知,同时,使用可移动电子装置向相应的用户提供关于给定对象的状态通知的示例。图26示出了针对检测到声音的相应空间(或地点)的状况,使用多个电子装置基于声音提供相关通知(或与通知相关的信息)的示例。
参照图26,可以将位置划分为第一空间2601、第二空间2603和第三空间2605,并且在空间2601、2603和2605中的每一个中可以存在多个电子装置。图26示出了声音被用作状况信息的场景的示例。可已经预先向服务器2650注册了关于电子装置的在给定空间中指定的地点的信息(例如,地点信息)。
在给定空间(例如,第一空间2601、第二空间2603和第三空间2605)中存在多个电子装置的环境中,在第三空间2605中的第一电子装置2610(例如,源电子装置)中可发生与通知(例如,检测到基于儿童2600B哭泣的声音)相关的给定状况。能够照顾孩子2600B的用户2600A(例如,父母)可以存在于与存在第一电子装置2610的第三空间2605不同的第一空间2601中。
响应于检测到与由用户1600A设置的级别或更高的声音(例如,声音波形或大小)相关的通知的发生(诸如给定大小(例如,分贝)或更高的声音或给定哭声),第一电子装置2610可以通过与服务器2650建立的通信接口将针对通知的发生的通知发生信息(或通知信息)发送到服务器2650。
服务器2650可以识别在与发生通知的空间相同的空间中或者在发生通知的空间的附近的地点处的包括能够进行状况识别(或识别或检查状况)的元件(例如,图像传感器)的电子装置,并且可以指示所识别的电子装置(例如,第二空间2603的第二电子装置2620)移动到儿童2600B所在的第三空间2605并识别状态(例如,照片拍摄)。
第二电子装置2620可以根据服务器2650的指令移动到第三空间2605,并对儿童2600B执行状况识别(或照片拍摄和/或声音收集)。第二电子装置2620可以将基于状况识别的执行结果的结果信息(例如,收集的声音或捕获的图像)发送到服务器2650或由服务器2650指定的目标电子装置(例如,第三电子装置2630)。如果发生在第一电子装置2610中设置的通知(或给定状况),则服务器2650可以在空间2601、2603和2605中的每一个中的电子装置中搜索针对相应的电子装置附近的声音(例如,周围声音、人的语音或给定声音)的声音信息。参照图26,服务器2650可以选择第一空间2601中的第三电子装置2630作为目标电子装置。
服务器2650可以将状况通知(例如,由第二电子装置26200收集的声音和图像)转发到被识别为目标电子装置的第一空间2601的第三电子装置2630。第三电子装置2630可以通过输出通知来向用户2600A提供通知。如果检测到第一电子装置2610的通知,则服务器2650可以通过可移动的第二电子装置2620收集关于周围状况的信息,并且可以通过第二电子装置2620将收集的信息提供给第三电子装置2630,即,目标电子装置。
图27是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图27,示出了根据本公开的各种实施例的电子装置基于通知的属性(或类型)识别目标电子装置的示例。在图27的描述中,在广义上,识别目标电子装置的电子装置可以表示能够被连接到外围电子装置(诸如源电子装置、中央控制装备、集线器、AI装置或云服务器)并能够与外围电子装置(诸如源电子装置、中央控制装备、集线器、AI装置或云服务器)通信的装置。
参照图27,在操作2701,电子装置101的处理器120(例如,包括处理电路或图4的功能处理模块400的至少一个处理器)可以检测通知。处理器120可以检测基于电子装置101执行功能(例如,功能执行的开始或完成)而生成的第一通知或从外部装置(例如,外部的不同电子装置或服务器)接收到的第二通知(例如,与呼叫连接请求的接收或由外部装置使用电子装置101作为目的地(或接收者)发送的消息的接收相关的通知)。
在操作2703,处理器120可以响应于检测到通知而识别与检测到的通知相关的通知信息的属性(或类型)。处理器120可以识别检测到的通知是相应于第一通知还是第二通知。处理器120还可以针对第二通知识别与第二通知相关的用户(例如,通知(例如,呼叫、消息)接收目标用户)。
在操作2705,处理器120可以收集状况信息。处理器120可以收集基于电子装置101的状况信息和基于至少一个外围电子装置的状况信息。处理器120可以基于电子装置101的各种传感器(例如,图1的传感器模块176、图1的相机模块180或图1的输入装置150(例如,麦克风))来收集状况信息。处理器120可以通过通信接口(例如,接口模块480)从外围电子装置获得由外围电子装置收集的状况信息。如果在电子装置101中发生通知,则处理器120可以通过通信接口发送(或广播)用于请求外围电子装置发送状况信息的消息,并且可以从外围电子装置获得响应于此的状况信息。
在操作2707,处理器120可以至少基于属性信息和状况信息来识别目标电子装置。处理器120可以分析所收集的状况信息,并且可以基于分析的结果来识别将输出电子装置101的通知的目标电子装置。处理器120可以基于属性信息(例如,包括用于通知输出或与通知相应的功能的执行(例如,呼叫功能的执行)的所有相关元件)选择属于外围电子装置并且包括(或具有)通知输出性能的外围电子装置(例如,候选电子装置),并且可以将属于所选择的外围电子装置并且在用户附近(或位于靠近用户(或用户位置))的外围电子装置识别为目标电子装置。
在操作2709,处理器120可以将与通知相关的消息发送到目标电子装置。处理器120可以通过连接到目标电子装置的通信接口将与通知相关的消息(例如,与通知消息相关的数据、通知语音或通知声音)发送到目标电子装置,使得从电子装置101生成的通知被输出到目标电子装置。
图28是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图28,示出了根据各种实施例的电子装置识别能够进行从外部获得的通知输出的目标电子装置的示例。在图28的描述中,在广义上,识别目标电子装置的电子装置可以表示能够被连接到外围电子装置并执行通信的装置,诸如源电子装置、中央控制装备、集线器、AI装置或云服务器。
参照图28,在操作2801,电子装置101的处理器120(例如,包括处理电路或图4的功能处理模块400的至少一个处理器)可以获得与通知相关的第一消息。处理器120可以从外部(例如,外部的不同电子装置或服务器)获得与以电子装置101(或电子装置101的用户)作为目的地(或接收者)的给定通知相关的消息(或信号),诸如从外部发送的呼叫(例如,语音呼叫或视频呼叫)连接请求、文本消息或即时消息。
在操作2803,处理器120可以执行识别将响应于接收到第一消息而输出第一消息的通知的目标电子装置的过程。处理器120可以识别输出第一消息的通知所需的通知输出性能(或元件)(下文中称为“第一过程”)。处理器120可以基于收集的状况信息来识别属于外围电子装置并且包括在第一过程中识别的通知输出性能的外围电子装置(例如,第一候选电子装置)(在下文中称为“第二过程”)。处理器120可以基于收集的状况信息来识别属于外围电子装置(例如,第一候选电子装置)并且在用户附近(或位于靠近用户(或用户位置))的外围电子装置(例如,第二候选电子装置)(在下文中称为“第三过程”)。第一过程、第二过程和第三过程的操作顺序不限于所公开的顺序,并且第一至第三过程可以顺序地、并行地、以反向顺序的方式或随机地执行。例如,处理器120可以根据第三过程识别在用户附近的外围电子装置,并且可以根据第二过程识别属于所识别的外围电子装置并且包括根据第一过程识别的通知输出性能的外围电子装置。
在操作2805,处理器120可以基于过程的执行结果来识别将输出通知的目标电子装置。处理器120可以基于第一过程、第二过程和第三过程将包括能够进行通知输出的通知输出性能并且靠近用户(在用户附近)的电子装置识别为将输出通知的目标电子装置。
在操作2807,处理器120可以将与通知相关的第二消息发送到目标电子装置,使得目标电子装置输出通知。处理器120可以通过连接到目标电子装置的通信接口将与通知相关的第二消息发送到目标电子装置,使得电子装置101将从外部接收到的通知输出到目标电子装置。第二消息可以包括通知本身(例如,铃声)或相关信息(例如,“存在来自OO的呼叫”)。在一个实施例中,可至少基于目标电子装置的属性来基于文本(或消息)或基于声音(或语音)配置第二消息(例如,相关信息)。
图29是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图29,示出了电子装置基于检测到从外部接收到通知来识别能够输出所获得的通知的目标电子装置的过程的示例。在图29的描述中,在广义上,识别目标电子装置的电子装置可以表示能够被连接到外围电子装置并执行通信的装置,诸如源电子装置、中央控制装备、集线器、AI装置或云服务器。
参照图29,在操作2901,电子装置101的处理器120(例如,包括处理电路或图4的功能处理模块400的至少一个处理器)可以检测通知的接收。处理器120可以从外部(例如,外部的不同电子装置或服务器)获得给定属性的通知,诸如以电子装置101(或电子装置101的用户)作为目的地(或接收者)的呼叫(例如,语音呼叫或视频呼叫)连接请求、文本消息或即时消息。
在操作2903,处理器120可以响应于检测到接收到通知而识别与通知相关的通知输出性能(下文中称为“第一通知输出性能”)。处理器120可以通过分析所获得的通知的属性(或类型)来识别输出通知所需的第一通知输出性能(或元件)。处理器120可以基于收集的状况信息或先前存储的(或共享的)外围电子装置的装置信息(例如,装置类型信息、输出类型(例如,能够显示、能够声音输出或能够进行通信功能)信息、通知输出性能(例如,元件)信息)来识别每个外围电子装置的通知输出性能(下文中称为“第二通知输出性能”)。
在操作2905,处理器120可以识别能够进行通知输出的外围电子装置。处理器120可以基于外围电子装置的第二通知输出性能来识别外围电子装置中是否存在包括通知的第一通知输出性能的至少一个外围电子装置(例如,候选电子装置)。例如,处理器120可以通过识别每个外围电子装置的第二通知输出性能来识别至少包括输出通知所需的第一通知输出性能的外围电子装置。外围电子装置中的每个外围电子装置的第二通知输出性能可以与第一通知输出性能至少部分地相同,或者可以与第一通知输出性能至少部分地不同,或者可以与第一通知输出性能完全相同(可以包括第一通知输出性能)。例如,假设根据第一通知输出性能的元件是用于执行呼叫的麦克风和扬声器,则第一外围电子装置的第二通知输出性能可以仅包括麦克风元件,第二外围电子装置的第二通知输出性能可以仅包括扬声器元件,第三外围电子装置的第二通知输出性能可以仅包括显示元件,第四外围电子装置的第二通知输出性能可以包括麦克风和扬声器元件,并且第五外围电子装置的第二通知输出性能可以包括麦克风或扬声器和显示元件。在这样的实施例中,处理器120可以基于每个外围电子装置(例如,第一外围电子装置到第五外围电子装置)的第二通知输出性能,将属于外围电子装置并且与通知的第一通知输出性能相同或包括通知的第一通知输出性能的第四外围电子装置和第五外围电子装置识别为能够进行通知输出的候选电子装置。
如果存在能够进行通知输出(或包括与通知相关的通知输出性能)的外围电子装置(在操作2905为是),则在操作2907,处理器120可以识别所识别的外围电子装置是否包括多个电子装置。
如果所识别的外围电子装置的数量不是多个电子装置(例如,能够输出通知的外围电子装置的数量是一个)(在操作2907为否),则处理器120可以进行到操作2911,可以将相应的外围电子装置识别为目标电子装置,并且可以将与通知相关的第一消息发送到目标电子装置,使得目标电子装置输出通知。处理器120可以通过连接到目标电子装置的通信接口将与通知相关的第一消息发送到目标电子装置,使得目标电子装置输出由电子装置101从外部获得的通知。第一消息可以包括通知(例如,铃声)或相关信息(例如,“存在来自OO的呼叫”)。在一个实施例中,可至少基于目标电子装置的属性来基于文本(或消息)或基于声音(或语音)来配置第一消息(例如,相关信息)。
如果能够进行通知输出的外围电子装置的数量是一个,则处理器120可以至少基于外围电子装置的状况信息来识别外围电子装置是否在用户附近。如果外围电子装置在用户附近,则处理器120可以将外围电子装置识别为目标电子装置。如果外围电子装置不在用户附近并且外围电子装置是可移动电子装置,则处理器120可以将外围电子装置识别为目标电子装置,并且可以控制外围电子装置移动到用户的位置。例如,如果外围电子装置不在用户附近并且外围电子装置不是可移动电子装置,则处理器120可以如在操作2913中那样进行操作以选择用户附近的外围电子装置作为目标电子装置。
如果所识别的外围电子装置的数量是多个电子装置(例如,能够输出通知的外围电子装置的数量是多个)(在操作2907为是),则在操作2909,处理器120可以基于所收集的状况信息将属于多个外围电子装置并且在用户附近(或位于用户附近(或用户位置))的外围电子装置识别为将输出通知的目标电子装置。处理器120可以执行以下操作:识别在用户附近的外围电子装置,以及识别属于所识别的外围电子装置并且包括能够进行通知输出的通知输出性能的外围电子装置。
在操作2911,处理器120可以将与通知相关的第一消息发送到目标电子装置,使得目标电子装置输出通知。处理器120可以通过连接到目标电子装置的通信接口将与通知相关的第一消息发送到目标电子装置,使得目标电子装置输出由电子装置101从外部获得的通知。处理器120可以识别目标电子装置是否具有离手功能(或支持呼叫功能)。如果目标电子装置具有离手功能,则处理器120可以使目标电子装置能够根据离手来执行与通知相关的功能。例如,处理器120可以向目标电子装置提供与通知相关的第一消息(例如,铃声或相关信息(例如,“存在来自00的呼叫”))。此后,处理器120可以基于从目标电子装置接收到用户对呼叫连接的接受(例如,语音命令)来使目标电子装置能够执行离手功能。
如果不存在能够进行通知输出(或包括与通知相关的通知输出性能)的外围电子装置(在操作2905为否),则在操作2913,处理器120可以基于收集的状况信息将属于多个外围电子装置并且在用户附近(或位于用户(或用户位置)附近)的外围电子装置识别为将输出通知的目标电子装置。处理器120可以执行以下操作:识别接近用户的外围电子装置,以及识别属于所识别的外围电子装置并且包括能够进行通知输出的通知输出性能的外围电子装置。
在操作2915,处理器120可以基于目标电子装置的属性来配置与通知相关的第二消息。如果目标电子装置是仅能够进行显示输出的电子装置,则处理器可以以消息格式(例如,文本)配置通知的概要(例如,通知的类型(例如,呼叫或消息)、目标通知接收用户(例如,呼叫(或寻呼)用户的前缀(例如,姓名或昵称))、通知的示意性内容(例如,呼叫的接收或消息的接收)(或目标通知发生用户(例如,关于已经请求呼叫的用户的信息(例如,注册名字或电话号码)))),并且可以提供第二消息。如果目标电子装置是仅能够进行声音输出的电子装置,则处理器可以以声音格式(例如,语音)配置通知概要并提供第二消息。
在操作2917,处理器120可以将第二消息发送到目标电子装置,使得目标电子装置输出第二消息。处理器120可以通过连接到目标电子装置的通信接口将与通知相关的第二消息发送到目标电子装置,使得目标电子装置输出关于由电子装置101从外部获得的通知的信息。
图30是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图30,示出了电子装置101作为接收从源电子装置检测到的通知并将该通知提供给用户的可移动目标电子装置(例如,机器真空吸尘器)操作的示例。
参照图30,在操作3001,电子装置101的处理器120(例如,包括处理电路或图4的功能处理模块400的至少一个处理器)可以获得与由源电子装置生成的通知相关的通知信息。电子装置101可以直接从源电子装置获得通知信息,或者可以通过服务器间接获得与源电子装置相关的通知信息。例如,通知信息可以包括与通知的发生相关的功能、通知的属性(或类型)、源电子装置的ID信息、关于目标电子装置的空间的信息(例如,位置信息或地点信息)或用于移动到发生通知的空间并识别状态(例如,照片拍摄)的移动命令中的至少一个。
在操作3003,处理器120可以根据通知信息(例如,移动命令或地点信息)执行用户跟踪。处理器120可以将与地点信息相应的空间识别为目的地。根据实施例,处理器120可以至少基于通知信息来控制电子装置101移动到被识别为目的地的相应空间。
在操作3005,当电子装置101到达目的地的空间时,处理器120可以包括识别(或检测)用户的操作。处理器120可以使电子装置101能够通过基于各种传感器执行状况识别(例如,基于声音收集识别用户位置)来检测用户。如参照图26描述的部分中所述,当电子装置101到达目的地的空间时,处理器120可以对用户(例如,儿童或宠物)执行状况识别(或照片捕获和/或声音收集)。
在操作3007,处理器120可以通过代表源电子装置输出通知来向用户提供由源电子装置生成的通知。如参照图26描述的部分中所述,处理器120可以将基于状况识别的执行结果的结果信息(例如,声音或捕获图像)发送到服务器2650或由服务器2650指定的目标电子装置。
如上所述,根据本公开的各种实施例的电子装置101的操作方法可以包括:从外部装置接收与通知相关的第一消息,基于用户的位置和能够与所述电子装置进行通信的多个电子装置中的每个电子装置的通知输出性能来识别用于通知输出的目标电子装置,以及将与通知相关的第二消息发送到目标电子装置,使得所识别的目标电子装置输出通知。
根据本公开的各种实施例,识别目标电子装置的操作可以包括:将包括能够输出通知的通知输出性能并且在用户附近的电子装置识别为用于通知输出的目标电子装置。
根据本公开的各种实施例,识别目标电子装置的操作可以包括:识别与通知相关的第一通知输出性能和多个电子装置中的每个电子装置的第二通知输出性能,识别属于所述多个电子装置并且包括与第一通知输出性能相应的第二通知输出性能的电子装置,以及将属于所识别的电子装置并且在用户附近的电子装置识别为目标电子装置。
根据本公开的各种实施例,识别目标电子装置的操作可以包括:如果在所述多个电子装置中不存在包括与第一通知输出性能相应的第二通知输出性能的电子装置,则将属于所述多个电子装置并且在用户附近的电子装置识别为目标电子装置,识别目标电子装置的属性,配置与目标电子装置的属性相应的格式的第三消息,并将第三消息发送到目标电子装置。第三消息可以包括通知的概要。
根据本公开的各种实施例,所述方法可以包括:如果候选电子装置是基于通知输出性能的候选电子装置,则识别能够进行通知输出的候选电子装置是否在用户附近,并且如果候选电子装置不在用户附近并且候选电子装置是可移动电子装置,则将候选电子装置识别为目标电子装置并控制候选电子装置移动到用户的位置。
根据本公开的各种实施例,所述方法可以包括:如果目标电子装置能够进行离手功能,则控制目标电子装置通过离手执行与通知相关的功能。
如上所述,根据本公开的各种实施例的电子装置101的操作方法可以包括:检测与至少一个功能相关的通知,响应于检测到通知,基于多个电子装置收集与用户相关的状况信息,基于状况信息识别多个电子装置中的用于输出通知的目标电子装置,以及通过向目标电子装置提供通知信息来由目标电子装置向用户输出通知。
根据本公开的各种实施例,检测通知的操作可以包括:至少基于电子装置的特性检测基于电子装置的功能的执行而生成的通知或者从外部获得的通知。
根据本公开的各种实施例,检测通知的操作包括:响应于检测到通知,识别通知的类型或通知的子分类中的至少一个。通知的类型包括具有可以在一个方向上提供给用户的属性的一般通知,或者具有需要用户的反馈或与用户的交互的属性的反馈通知。子分类可以包括个人通知、公共通知或紧急通知。
根据本公开的各种实施例,收集状况信息的操作可以包括:搜索属于多个电子装置并且与通知相关联的关联电子装置,如果未搜索到关联电子装置,则基于多个电子装置收集状况信息,以及如果搜索到关联电子装置,则基于关联电子装置收集状况信息。
根据本公开的各种实施例,输出通知的操作可以包括:基于状况信息中的包括与用户相关的信息的至少一条状况信息来识别目标电子装置,识别目标电子装置的空间,如果目标电子装置的空间是与所述电子装置的空间相同的空间,则基于所述电子装置输出通知,以及如果目标电子装置的空间与所述电子装置的空间不同,则基于目标电子装置输出所述通知。
根据本公开的各种实施例,识别目标电子装置的操作可以包括:基于通知的属性选择用于输出通知的目标电子装置,如果通知的属性是需要给定元件的给定属性的通知,则通过识别多个电子装置中的每个电子装置的属性来识别每个电子装置是否可以输出给定属性的通知,以及通过优先考虑支持给定属性的通知的电子装置来识别目标电子装置。
根据本公开的各种实施例,输出通知的操作可以包括将可移动目标电子装置移动到用户所在的空间并输出通知。
根据本公开的各种实施例,所述方法还可以包括:获得用于执行移动到与状况通知相关的目的地的空间以及执行状况识别的命令,响应于所述命令移动到目的地的空间并执行关于用户的状况识别,以及将根据状况识别的执行结果的结果信息发送到给定目标电子装置。
根据本公开的各种实施例,所述方法还可以包括:响应于检测到通知,通过通信接口发送用于请求多个电子装置发送状况信息的消息,以及从多个电子装置收集作为对发送的消息的响应的状况信息。
虽然已经参考本公开的各种实施例示出和描述了本公开,但是本领域技术人员将理解,在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的状况下,可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置,包括:
通信接口;以及
处理器,被配置为:
从外部装置获得与通知相关的第一消息,
基于用户的位置和能够与所述电子装置进行通信的多个电子装置中的每个电子装置的通知输出性能来识别用于通知输出的目标电子装置,以及
将与所述通知相关的第二消息发到目标电子装置,使得所识别的目标电子装置输出所述通知。
2.如权利要求1所述的电子装置,其中,所述处理器还被配置为:
将包括能够输出所述通知的通知输出性能并且在用户附近的电子装置识别为用于通知输出的目标电子装置。
3.如权利要求1所述的电子装置,其中,所述处理器还被配置为:
识别与所述通知相关的第一通知输出性能以及所述多个电子装置中的每个电子装置的第二通知输出性能,
识别所述多个电子装置中的包括与第一通知输出性能相应的第二通知输出性能的电子装置,以及
将属于所识别的电子装置并且在所述用户附近的电子装置识别为目标电子装置。
4.如权利要求3所述的电子装置,其中,所述处理器还被配置为:
如果在所述多个电子装置中不存在包括与第一通知输出性能相应的第二通知输出性能的电子装置,则将属于所述多个电子装置并且在所述用户附近的电子装置识别为目标电子装置。
5.如权利要求4所述的电子装置,其中,所述处理器还被配置为:
识别目标电子装置的属性,以及
以与目标电子装置的属性相应的格式配置第三消息,并将第三消息发送到目标电子装置,
其中,第三消息包括所述通知的概要。
6.如权利要求1所述的电子装置,其中,所述处理器还被配置为:
基于所述通知输出性能识别能够进行通知输出的候选电子装置,
识别所述候选电子装置是否在所述用户附近,
如果所述候选电子装置不在所述用户附近并且所述候选电子装置是可移动电子装置,则将所述候选电子装置识别为目标电子装置,以及
控制所述候选电子装置移动到所述用户的位置。
7.如权利要求1所述的电子装置,其中,所述处理器还被配置为:
如果目标电子装置能够进行离手功能,则控制目标电子装置基于离手来执行与所述通知相关的功能。
8.一种电子装置,包括:
至少一个状况收集接口,被配置为收集与用户检测相关的状况信息;
通信接口,被配置为与至少一个其他电子装置进行通信;以及
处理器,被配置为:
检测与至少一个功能相关的通知,
响应于检测到所述通知,基于多个电子装置收集与用户相关的状况信息,
基于所述状况信息,识别所述多个电子装置中的用于输出所述通知的目标电子装置,以及
向目标电子装置提供通知信息,使得目标电子装置向用户输出所述通知。
9.如权利要求8所述的电子装置,
其中,所述处理器还被配置为响应于检测到所述通知,识别所述通知的类型或所述通知的子分类中的至少一个,
其中,所述通知的类型包括能够在一个方向上提供给所述用户的属性的一般通知或需要所述用户的反馈或与所述用户的交互的属性的反馈通知,以及
其中,所述子分类包括个人通知、公共通知或紧急通知。
10.如权利要求8所述的电子装置,其中,所述处理器还被配置为:
搜索所述多个电子装置中的与所述通知相关联的关联电子装置,
如果未找到关联电子装置,则基于所述多个电子装置收集所述状况信息,以及
如果找到与所述通知相关联的关联电子装置,则基于关联电子装置来收集所述状况信息。
11.如权利要求8所述的电子装置,其中,所述处理器还被配置为:
基于所述状况信息中的包括与所述用户相关的信息的状况信息来识别目标电子装置,
识别目标电子装置的位置,
如果目标电子装置的位置与所述电子装置的位置相同,则基于所述电子装置输出所述通知,以及
如果目标电子装置的位置与所述电子装置的位置不同,则基于目标电子装置输出所述通知。
12.如权利要求8所述的电子装置,其中,所述处理器还被配置为:
如果所述通知的属性是需要给定元件的给定属性的通知,则通过识别所述多个电子装置中的每个电子装置的属性来识别所述多个电子装置中的每个电子装置是否能够输出所述给定属性的所述通知,以及
通过优先考虑支持所述给定属性的所述通知的电子装置来识别目标电子装置。
13.如权利要求8所述的电子装置,
其中,所述电子装置包括能够进行状况识别的元件,
其中,所述处理器还被配置为:
获得用于执行运动到与状况通知相关的目的地的空间区域并执行状况识别的命令,
根据所述命令移动到所述目的地的所述空间区域并执行关于所述用户的状况识别,以及
将基于所述状况识别的执行结果的结果信息发送到给定目标电子装置。
14.一种电子装置的操作方法,所述方法包括:
从外部装置接收与通知相关的第一消息;
基于用户的位置和能够与所述电子装置进行通信的多个电子装置中的每个电子装置的通知输出性能来识别用于通知输出的目标电子装置;以及
将与所述通知相关的第二消息发送到目标电子装置,使得所识别的目标电子装置输出所述通知。
15.如权利要求14所述的方法,其中,识别目标电子装置的步骤包括:
从所述多个电子装置中的每个电子装置收集声音信息;以及
基于所述用户的所述位置、所述多个电子装置中的每个电子装置的所述通知输出性能和所述声音信息来识别目标电子装置。
CN201980061685.1A 2018-09-21 2019-09-23 用于通过使多个电子装置协同工作来提供通知的方法和设备 Active CN112740626B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0114106 2018-09-21
KR1020180114106A KR102667645B1 (ko) 2018-09-21 2018-09-21 복수의 전자 장치들을 연동하여 알림을 제공하는 방법 및 장치
PCT/KR2019/012356 WO2020060368A2 (en) 2018-09-21 2019-09-23 Method and apparatus for providing notification by interworking plurality of electronic devices

Publications (2)

Publication Number Publication Date
CN112740626A true CN112740626A (zh) 2021-04-30
CN112740626B CN112740626B (zh) 2022-09-27

Family

ID=69884749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061685.1A Active CN112740626B (zh) 2018-09-21 2019-09-23 用于通过使多个电子装置协同工作来提供通知的方法和设备

Country Status (5)

Country Link
US (1) US11223497B2 (zh)
EP (1) EP3821417A4 (zh)
KR (1) KR102667645B1 (zh)
CN (1) CN112740626B (zh)
WO (1) WO2020060368A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045811A1 (zh) * 2022-08-29 2024-03-07 Oppo广东移动通信有限公司 显示泛在服务入口的方法、装置、电子设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11032653B2 (en) * 2018-05-07 2021-06-08 Cochlear Limited Sensory-based environmental adaption
CN113472615A (zh) * 2020-04-28 2021-10-01 海信集团有限公司 一种中控设备以及消息分发的方法
US11611610B2 (en) * 2020-06-12 2023-03-21 Mcafee, Llc System and method for notification of listening devices
JP2022015268A (ja) * 2020-07-08 2022-01-21 シャープ株式会社 通信端末装置、制御装置、通信制御方法、および制御プログラム
US11671406B2 (en) * 2020-11-03 2023-06-06 International Business Machines Corporation Patterned and correlated electrical activity
CN115086888B (zh) * 2021-03-10 2023-10-31 Oppo广东移动通信有限公司 消息通知方法与装置、电子设备
US11720237B2 (en) 2021-08-05 2023-08-08 Motorola Mobility Llc Input session between devices based on an input trigger
US11902936B2 (en) * 2021-08-31 2024-02-13 Motorola Mobility Llc Notification handling based on identity and physical presence
KR20230052085A (ko) * 2021-10-12 2023-04-19 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11936491B2 (en) 2022-04-29 2024-03-19 Haier Us Appliance Solutions, Inc. Methods of coordinating engagement with a laundry appliance
US12028431B1 (en) * 2023-03-10 2024-07-02 T-Mobile Innovations Llc Unified notification system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2288122A1 (en) * 2009-08-21 2011-02-23 Samsung Electronics Co., Ltd. Device capable of notifying operation state change thereof through network and communication method of the device
CN103891199A (zh) * 2011-10-26 2014-06-25 三星电子株式会社 发送与电子装置的操作相关的消息的系统和方法
CN103914032A (zh) * 2013-01-02 2014-07-09 Lg电子株式会社 中央控制器及其控制方法
CN105049329A (zh) * 2015-07-08 2015-11-11 杭州木梢科技有限公司 一种家居环境下的随身消息推送方法及设备控制系统
CN105225457A (zh) * 2015-10-28 2016-01-06 努比亚技术有限公司 通过智能家居设备进行信息提示的系统、装置和方法
KR20170004343A (ko) * 2015-07-02 2017-01-11 삼성전자주식회사 사용자 단말기, 이를 포함하는 청소 로봇 및 그 제어 방법
CN106445065A (zh) * 2015-08-11 2017-02-22 三星电子株式会社 用于根据状态进行控制的方法及其电子装置
US20170105190A1 (en) * 2014-04-10 2017-04-13 Twin Harbor Labs, LLC Methods and Apparatus Notifying a User of the Operating Condition of a Household Appliance
US20180206083A1 (en) * 2017-01-17 2018-07-19 Qualcomm Incorporated User location aware smart event handling

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100643326B1 (ko) * 2005-02-22 2006-11-10 삼성전자주식회사 홈 네트워크 시스템 및 그의 컨텐츠 전송 방법
JP2007034449A (ja) 2005-07-25 2007-02-08 Sony Corp ホームネットワークシステム、ホームネットワークシステムにおける情報伝達方法及びホームネットワークサーバー
US8700071B2 (en) * 2008-08-01 2014-04-15 Cellco Partnership Direct mobile station-to-mobile station communication of multimedia message service (MMS) messages
KR101960835B1 (ko) * 2009-11-24 2019-03-21 삼성전자주식회사 대화 로봇을 이용한 일정 관리 시스템 및 그 방법
US9953278B2 (en) * 2011-05-02 2018-04-24 Sears Brands, L.L.C. System and methods for interacting with networked home appliances
US9069356B2 (en) * 2011-06-12 2015-06-30 Microsoft Technology Licensing, Llc Nomadic security device with patrol alerts
US9001190B2 (en) * 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
KR102084507B1 (ko) * 2013-09-05 2020-03-04 삼성전자주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
WO2015037963A1 (en) 2013-09-16 2015-03-19 Lg Electronics Inc. Home appliance and mobile terminal
US9227595B2 (en) * 2013-10-31 2016-01-05 GM Global Technology Operations LLC Methods, systems and apparatus for providing notification that a vehicle has been accessed
WO2016137596A1 (en) * 2015-02-24 2016-09-01 Overview Technologies, Inc. Emergency alert system
US9812128B2 (en) 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
CN106796671B (zh) 2014-12-01 2021-01-12 夏普株式会社 食品管理系统、冰箱、服务器以及记录介质
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US9736653B2 (en) * 2015-04-21 2017-08-15 Mediatek Inc. Method and system of indoor positioning of a user and delivery of information thereto
KR20160143136A (ko) 2015-06-04 2016-12-14 엘지전자 주식회사 위치 기반 알림 시스템 및 그것의 제어방법
KR102584184B1 (ko) * 2015-11-24 2023-10-04 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108476348B (zh) * 2015-12-10 2021-07-02 麦克赛尔株式会社 电器通信系统、便携终端和电器通信协作方法
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
US10104501B2 (en) * 2016-04-12 2018-10-16 Elliptic Laboratories As Proximity detection
CN107444264A (zh) * 2016-05-31 2017-12-08 法拉第未来公司 使用相机检测车辆附近的物体
CN105796289B (zh) * 2016-06-03 2017-08-25 京东方科技集团股份有限公司 导盲机器人
AU2017285019B2 (en) * 2016-06-15 2022-11-10 Irobot Corporation Systems and methods to control an autonomous mobile robot
US10137567B2 (en) * 2016-09-20 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Inventory robot
JP6707671B2 (ja) * 2017-01-19 2020-06-10 シャープ株式会社 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法
KR102391322B1 (ko) * 2017-06-30 2022-04-26 엘지전자 주식회사 이동 로봇
JP2019018277A (ja) * 2017-07-14 2019-02-07 パナソニックIpマネジメント株式会社 ロボット
EP3659077A4 (en) * 2017-07-28 2021-05-26 Nuro, Inc. FOOD AND BEVERAGE DELIVERY SYSTEM ON AN AUTONOMOUS AND SEMI-AUTONOMOUS VEHICLE
US11219837B2 (en) * 2017-09-29 2022-01-11 Sony Interactive Entertainment Inc. Robot utility and interface device
US11175716B2 (en) * 2017-11-17 2021-11-16 International Business Machines Corporation Mid-cycle electricity outage monitoring system
US10575699B2 (en) * 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot
US11195122B2 (en) * 2018-04-27 2021-12-07 International Business Machines Corporation Intelligent user notification during an event in an internet of things (IoT) computing environment
US11583997B2 (en) * 2018-09-20 2023-02-21 Sony Group Corporation Autonomous robot

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2288122A1 (en) * 2009-08-21 2011-02-23 Samsung Electronics Co., Ltd. Device capable of notifying operation state change thereof through network and communication method of the device
CN103891199A (zh) * 2011-10-26 2014-06-25 三星电子株式会社 发送与电子装置的操作相关的消息的系统和方法
CN103914032A (zh) * 2013-01-02 2014-07-09 Lg电子株式会社 中央控制器及其控制方法
US20170105190A1 (en) * 2014-04-10 2017-04-13 Twin Harbor Labs, LLC Methods and Apparatus Notifying a User of the Operating Condition of a Household Appliance
KR20170004343A (ko) * 2015-07-02 2017-01-11 삼성전자주식회사 사용자 단말기, 이를 포함하는 청소 로봇 및 그 제어 방법
CN105049329A (zh) * 2015-07-08 2015-11-11 杭州木梢科技有限公司 一种家居环境下的随身消息推送方法及设备控制系统
CN106445065A (zh) * 2015-08-11 2017-02-22 三星电子株式会社 用于根据状态进行控制的方法及其电子装置
CN105225457A (zh) * 2015-10-28 2016-01-06 努比亚技术有限公司 通过智能家居设备进行信息提示的系统、装置和方法
US20180206083A1 (en) * 2017-01-17 2018-07-19 Qualcomm Incorporated User location aware smart event handling

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045811A1 (zh) * 2022-08-29 2024-03-07 Oppo广东移动通信有限公司 显示泛在服务入口的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11223497B2 (en) 2022-01-11
KR20200034376A (ko) 2020-03-31
KR102667645B1 (ko) 2024-05-22
CN112740626B (zh) 2022-09-27
EP3821417A4 (en) 2021-09-08
WO2020060368A3 (en) 2020-05-14
US20200099545A1 (en) 2020-03-26
EP3821417A2 (en) 2021-05-19
WO2020060368A2 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN112740626B (zh) 用于通过使多个电子装置协同工作来提供通知的方法和设备
US20210050013A1 (en) Information processing device, information processing method, and program
CN110622123B (zh) 一种显示方法及装置
CN106847298B (zh) 一种基于弥漫式语音交互的拾音方法和装置
WO2021238230A1 (zh) 智能家居系统及其控制方法与装置
CN108520746A (zh) 语音控制智能设备的方法、装置及存储介质
US20210375281A1 (en) Voice control method and apparatus, and computer storage medium
KR102561572B1 (ko) 센서 활용 방법 및 이를 구현한 전자 장치
JP2017537567A (ja) デバイスの制御方法及び装置
JP7234379B2 (ja) スマートホームデバイスによってネットワークにアクセスするための方法および関連するデバイス
US11636867B2 (en) Electronic device supporting improved speech recognition
JPWO2015198653A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112150778A (zh) 环境音处理方法及相关装置
CN114879894B (zh) 功能启动方法、用户界面及电子设备
CN113495617A (zh) 设备控制的方法、装置、终端设备以及存储介质
CN116686257A (zh) 用于提供用户界面的方法及其电子装置
CN114095542B (zh) 显示控制方法及电子设备
CN114666444B (zh) 设备控制方法、装置和电子设备
CN110955327B (zh) 启动和关闭智能设备方法、存储装置和终端
CN115035894B (zh) 一种设备响应方法和装置
CN115883714B (zh) 消息回复方法及相关设备
CN111638897B (zh) 系统更新方法、装置、终端设备及存储介质
WO2023061054A1 (zh) 非接触式手势控制方法和电子设备
US11914790B2 (en) Method for controlling external electronic device, and electronic device therefor
WO2023005844A1 (zh) 设备唤醒方法、相关装置及通信系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant