CN110121696A - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN110121696A
CN110121696A CN201780081769.2A CN201780081769A CN110121696A CN 110121696 A CN110121696 A CN 110121696A CN 201780081769 A CN201780081769 A CN 201780081769A CN 110121696 A CN110121696 A CN 110121696A
Authority
CN
China
Prior art keywords
event
movement
condition
data
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780081769.2A
Other languages
English (en)
Other versions
CN110121696B (zh
Inventor
孙泳哲
朴奎泰
李基范
李锺律
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2017/012271 external-priority patent/WO2018084576A1/en
Publication of CN110121696A publication Critical patent/CN110121696A/zh
Application granted granted Critical
Publication of CN110121696B publication Critical patent/CN110121696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于控制电子设备的方法的方法。该方法获取根据条件设置要执行的动作的语音信息和图像信息，语音信息和图像信息是根据语音和行为生成的。该方法基于所获取的语音信息和所获取的图像信息，确定根据条件要检测的事件和根据动作要执行的功能。该方法确定至少一个检测资源以检测该确定的事件。并且响应于检测到满足条件的事件的至少一个检测资源，该方法根据该动作执行功能。

Description

电子设备及其控制方法
技术领域
半导体技术和无线通信技术的最新进展使得能够与各种对象进行通信，从而允许用户方便地控制事物。
另外，本公开涉及人工智能(AI)系统，其通过使用机器学习算法及其应用来模拟诸如人脑识别和确定的功能。
背景技术
物联网(IOT)是指包含通信功能的物联网，并且互联网的使用正在逐渐增加。在这种情况下，在IOT环境中操作的设备可以被称为IOT设备。
IOT设备可以检测周围的情况。近年来，IOT设备用于识别周围情况，因此，对向用户提供信息的情境感知服务的兴趣日益增长。
例如，在上下文识别服务中，如果基于用户设置的条件通过IOT设备识别满足用户条件的情况，则可以执行根据条件的特定功能。
通常，当用户设置条件时，用户需要根据功能逐个设置条件的详细项目和要执行的功能的详细项目。
例如，当设置打开抽屉的条件时，用户必须在抽屉中安装传感器，使用应用程序登记安装的传感器，并输入用于使用安装的传感器检测抽屉打开的详细条件。
最近，实现人类智能的人工智能系统已被用于各种领域。与现有的基于规则的智能系统不同，人工智能系统是机器自身学习、判断并变得更智能的系统。人工智能系统显示出更好的识别能力和对用户偏好的改进感知，因此，现有的基于规则的智能系统越来越多地被基于深度学习的人工智能系统所取代。
人工智能技术包括机器学习(例如，深度学习)和利用机器学习的元素技术。
机器学习是一种算法技术，它自己对输入数据的特征进行分类/学习。元素技术是使用诸如深度学习之类的机器学习算法来模拟诸如人类大脑的识别和确定之类的功能的技术。元素技术包括语言理解、视觉理解、推理/预测、知识表示、运动控制等。
应用人工智能技术的各个领域如下。
语言理解是用于识别、应用和处理人类语言/字符的技术，包括自然语言处理、机器翻译、对话系统、查询/响应、语音识别/合成等。
推断预测是用于确定信息、逻辑推断的技术，并且包括基于知识/概率的预测、优化预测、基于偏好的计划和推荐。
视觉理解是一种用于识别和处理对象作为人类视觉的技术，包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解和图像增强。
推断预测是用于判断和逻辑推断和预测信息的技术，包括基于知识/概率的推理、优化预测、偏好基础计划、推荐等。
知识表示是将人类体验信息自动化为知识数据的技术，包括知识构建(数据生成/分类)和知识管理(数据利用)。
运动控制是用于控制车辆的自主行驶和机器人的运动的技术，并且包括运动控制(导航、碰撞、行驶)、操作控制(行为控制)。
发明内容
【技术问题】
本公开的目的是提供一种方法，用于用户根据条件容易且快速地设置要执行的动作，并且当满足设置条件时根据条件执行动作。
【技术方案】
在示例性实施例中，电子设备的控制方法可以包括获取由用户发出的自然语言生成的语音信息和图像信息以及与自然语言相关联的用户的动作，用于根据条件设置要执行的动作，基于获取的语音信息和图像信息，确定要根据条件检测的事件和当检测到事件时根据动作要执行的功能，确定至少一个检测源以检测确定的事件，响应于使用所述至少一个确定的检测源检测到满足所述条件的至少一个事件，控制根据所述动作执行功能。
根据另一示例性实施例，一种电子设备包括存储器和处理器，所述处理器被配置为获取从用户发出的自然语言生成的语音信息和图像信息以及与所述自然语言相关联的用户的动作，用于根据条件设置要执行的动作。根据条件确定待检测事件，根据基于语音信息和图像信息的动作确定要执行的功能，确定至少一个检测事件的检测资源，响应于满足使用至少一个确定的检测资源检测到的条件的至少一个事件，控制根据动作执行功能。
根据又一示例性实施例，计算机可读非暂时性记录介质可包括程序，该程序允许电子设备执行以下操作：获取由用户发出的自然语言生成的语音信息和图像信息以及与自然语言相关联的用户的动作，用于根据条件设置要执行的动作，基于获取的语音信息和图像信息，确定要根据条件检测的事件和根据动作要执行的功能，确定至少一个检测源以检测确定的事件，响应于使用所述至少一个确定的检测源检测到满足所述条件的至少一个事件，控制根据所述动作执行功能。
在一些示例性实施例中，电子设备的控制方法包括：获取语音信息和图像信息，设置根据条件执行的动作，语音信息和图像信息是根据语音和行为生成的；基于语音信息和图像信息，确定根据条件要检测的事件和根据动作要执行的功能；确定至少一个检测资源以检测该事件；并且，响应于检测资源检测到满足条件的一个事件，根据该动作执行该功能。
在一些其他示例性实施例中，一种电子设备包括：存储器；处理器，被配置为分别获取语音信息和图像信息，根据条件设置要执行的动作，所述语音信息和图像信息是根据语音和行为生成的，以基于语音信息和图像信息确定根据所述条件要检测的事件和根据动作执行的功能，确定检测事件的至少一个检测资源，并且响应于至少一个确定的检测资源检测到满足条件的事件，根据动作执行功能。
【技术效果】
根据上述本公开的各种示例性实施例，可以设置用户发出的自然语言和根据基于用户的行为的动作要执行的动作。
另外，可以自动确定根据条件检测事件的设备和根据动作执行功能的设备。
由此，可以极大地提高使用情况识别服务的用户的满意度。
另外，将在本公开的示例性实施例的详细描述中直接或隐含地描述由本公开的示例性实施例可获得或预测的效果。例如，将在以下详细描述中阐述根据本公开的示例性实施例预期的各种效果。
附图说明
通过参考在附图中示出的特定示例性实施例，一个或多个示例性实施例的以上和其他方面将变得更加明显。应理解，这些附图仅描绘了本公开的示例性实施例，因此不应被视为限制本公开的范围，通过使用附图以附加的特征和细节来描述和解释本文的原理，其中：
图1A至图1C是示出根据本公开示例性实施例的电子设备的配置的框图；
图2是示出根据本公开示例性实施例的包括电子设备的系统的配置的框图；
图3A至5D是示出根据本公开的示例性实施例的在电子设备中执行根据条件的动作的情况的图；
图6是示出根据本公开示例性实施例的根据条件执行动作的流程图；
图7是示出根据本公开示例性实施例的设置可用资源的识别信息的过程的图；
图8和9是示出根据本公开示例性实施例的根据条件执行动作的流程图；和
图10至图13是用于示出根据本公开的各种示例性实施例的通过学习算法和识别数据构建数据识别模型的示例性实施例的图；
图14A至14C是示出根据本公开示例性实施例的使用数据识别模型的电子设备的流程图；
图15A至15C是根据本公开示例性实施例的使用数据识别模型的网络系统的流程图。
具体实施方式
在下文中，将参考附图描述本公开的各种示例性实施例。应当理解，本文使用的示例性实施例和术语不旨在将本发明限制于所描述的特定示例性实施例，而是包括示例性实施例的各种修改、等同物和/或替代。关于附图的说明，类似的附图标号可以用于类似的组成元件。除非另外特别定义，否则单数表达可以包含复数表达。在本公开中，诸如“A或B”或“A和/或B中的至少一个”等表达可以包括一起列出的项目的所有可能组合。诸如“第一”或“第二”等表达可以表达它们的组件而不管它们的顺序或重要性，并且可以用于将一个组件与另一个组件区分开，但不限于这些组件。当提到某些(例如，第一)组件“(功能上或通信地)连接”或“访问”到另一个(第二)组件时，该组件可以直接连接到另一个组件或者可以通过另一个组件连接。(例如，第三组件)。
在本公开中，如本文所使用的“配置成(或设置为)”，可以例如与在硬件或软件中的“适合于”、“具有能力”、“改变为”、“适应于”、“能够”或“设计为”互换使用。在某些情况下，术语“被配置为的设备”可以指“能够”与另一设备或组件一起做某事的“设备”。
例如，“配置(或设置)以执行A，B和C”的处理器可以指用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者能够通过执行存储在存储设备中的一个或多个软件程序来执行相应的操作的通用处理器(例如，CPU)。或者应用处理器。
根据本公开的各种示例性实施例的电子设备可包括以下中的至少一个：例如智能电话、平板电脑、移动电话、可视电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、便携式多媒体播放器(PMP)、MP3播放器、医疗设备、相机和可穿戴设备。可穿戴设备可以包括附件类型中的至少一个(例如，手表、戒指、手镯、项链、一副眼镜、隐形眼镜或头戴式设备(HMD))、纺织品或服装整合型(例如，电子服装)、身体附着型(例如，皮肤垫或纹身)和可植入电路。
在一些示例性实施例中，电子设备可以例如包括电视，数字视频盘(DVD)播放器，音频播放器，冰箱，空调，真空吸尘器，烤箱，微波炉，洗衣机中的至少一个。并且可以包括面板，安全控制面板，媒体盒(例如， 或Google TVTM)，游戏控制台(例如， )，电子词典，电子钥匙，便携式摄像机和电子相框中的至少一个。
在另一示例性实施例中，电子设备可包括多种医疗设备(例如，诸如血糖仪、心率计、血压计或体温计的各种便携式医疗测量设备、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、相机或超声波等)、导航系统、全球导航卫星系统(GNSS)、事件数据记录仪(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、船用电子设备(例如，船用导航设备、陀螺罗盘等)、航空电子设备、安全设备、车辆用头部单元、工业或家用机器人、无人机、金融机构的ATM、销售点(POS)或物联网设备(例如灯泡、各种传感器、喷水装置、火警、恒温器、路灯、烤面包机、健身器具、热水箱、加热器、锅炉等)中的任何一种。根据一些示例性实施例，电子设备可包括家具、建筑物/结构、汽车的一部分、电子板、电子签名接收设备、投影仪、气体和各种测量仪器(例如，水、电、气体或无线电波测量仪器等)中的至少一个。在各种示例性实施例中，电子设备可以是柔性的，或者是上述各种设备中的两个或更多个的组合。根据示例性实施例的电子设备不限于上述设备。在本公开中，术语“用户”可以指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
图1A至1C是示出根据本公开示例性实施例的电子设备的配置的框图。
例如，图1A的电子设备可以是上述电子设备或服务器。当电子设备100是服务器时，电子设备100可以包括例如云服务器或多个分布式服务器。
图1A的电子设备100可以包括存储器110和处理器120。
存储器110例如可以存储关于电子设备100的至少一个其他元件的命令或数据。根据示例性实施例，存储器110可以存储软件和/或程序。该程序可以包括例如内核、中间件、应用程序编程接口(API)和/或应用程序(或“应用”)中的至少一个。内核、中间件或API的至少一部分可以称为操作系统。例如，内核可以控制或管理用于执行在其他程序中实现的操作或功能的系统资源。另外，内核可以通过访问中间件、API或应用程序中的电子设备100的各个元件来提供控制或管理系统资源的接口。
例如，中间件可以充当API或应用程序的中介，以与内核通信并交换数据。另外，中间件可以基于优先级处理从应用程序接收的一个或多个作业请求。例如，中间件可以优先考虑应用程序中的至少一个以使用电子设备100的系统资源，并且可以处理一个或多个作业请求。API是用于控制内核或中间件中提供的功能的应用程序的接口，并且可以包括例如用于文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(例如，命令)。
此外，存储器130可以包括内部存储器和外部存储器中的至少一个。内部存储器可以包括例如易失性存储器(例如，DRAM，SRAM或SDRAM)，非易失性存储器(例如，OTPROM，PROM，EPROM，EEPROM，掩模ROM，闪存ROM，闪存，硬盘驱动器和固态驱动器(SSD))中的至少一个。外部存储器可以包括闪存驱动器，例如，紧凑型闪存(CF)，安全数字(SD)，微型SD，迷你SD，极端数字(XD)，多媒体卡(MMC)，记忆棒等。外部存储器可以通过各种接口在功能上或物理上连接到电子设备100。
根据各种示例性实施例，存储器110可以获取从用户说话的自然语言和与自然语言相关联的用户的行为生成的语音信息和图像信息，以便处理器120基于所获取的语音信息和图像信息设置要根据条件执行的动作，根据所述条件确定待检测事件，并根据检测到所述事件时的动作确定要执行的功能，确定至少一个检测资源以检测事件，并且响应于使用所确定的检测资源满足检测到的条件的至少一个事件，存储程序以控制电子设备100根据条件执行功能。
处理器120可以包括中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或多个。
处理器120还可以被实现为专用集成电路(ASIC)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)等中的至少一个。虽然未示出，但是处理器120还可以包括用于与每个配置通信的接口，例如总线。
处理器120可以控制连接到处理器120的多个硬件或软件组件，例如，通过驱动操作系统或应用程序，并且可以执行各种数据处理和操作。例如，处理器120可以实现为片上系统(SoC)。根据示例性实施例，处理器120还可包括图形处理单元(GPU)和/或图像信号处理器。处理器120可以将从至少一个其他组件(例如，非易失性存储器)接收的命令或数据加载到易失性存储器并在其中进行处理，并将得到的数据存储在非易失性存储器中。
根据各种示例性实施例，处理器120可以获取从用户发出的自然语言生成的音频信息和图像信息以及与自然语言相关联的用户的动作(例如，用户的行为)，用于根据条件设置要执行的动作。处理器120可以基于所获取的语音信息和图像信息，确定根据条件要检测的事件以及检测到事件时根据动作要执行的功能。处理器120可以确定至少一个检测资源以检测事件。当使用所确定的检测资源检测到满足条件的至少一个事件时，处理器120可以控制电子设备100，使得执行根据条件的功能。
根据各种示例性实施例，处理器120可基于使用学习算法生成的数据识别模型，来确定根据条件要检测的事件和根据动作要执行的功能。处理器120还可以使用数据识别模型来确定至少一个检测资源以检测事件。稍后将参考图10至13更详细地描述这一点。
根据各种示例性实施例，当确定至少一个检测资源时，处理器120可以搜索已经安装的可用资源。处理器120可以基于检索到的可用资源可检测的功能，从可用资源中确定至少一个检测资源以检测事件。在示例性实施例中，检测资源可以是包括在电子设备100中的模块或位于电子设备100外部的外部设备。
根据各种示例性实施例，电子设备100还可包括与检测资源进行通信的通信器(未示出)。将参考图1C的通信器150更详细地描述通信器的示例。并将省略重复的描述。在示例性实施例中，当确定至少一个检测资源时，处理器120可以控制通信器(未示出)，使得请求检测事件的控制信息被发送到至少一个确定的资源。
根据各种示例性实施例，处理器120可以搜索已经安装的可用资源。处理器120可以基于所检索的可用资源可以提供的功能，根据可用资源中的动作确定至少一个执行资源以执行功能。
根据各种示例性实施例，电子设备100还可以包括与执行资源通信的通信器(未示出)。将参考图1C的通信器150更详细地描述通信器的示例。将省略重复的描述。在示例性实施例中，当处理器120根据要执行的动作控制功能时，处理器120可以将控制信息发送到执行资源，使得所确定的执行资源根据动作执行功能。
根据各种示例性实施例，电子设备100还可包括用于显示用户界面(UI)的显示器(未示出)。
显示器可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器可以包括触摸屏，并且可以使用例如电子笔或用户的身体部位接收触摸、手势、接近或悬停的输入。在示例性实施例中，如果不存在检测事件的检测资源或者如果检测资源不能检测到事件，则处理器120可以控制显示器显示通知UI，该通知UI通知根据条件执行动作是不可能的。
根据各种示例性实施例，处理器120可以基于所获取的语音信息和图像信息，确定根据条件要检测的事件和检测到事件时根据动作要执行的功能。处理器120将获取的语音信息和图像信息应用于使用学习算法生成的数据识别模型，以根据用户的意图确定条件和动作，并确定根据条件要检测的事件和根据动作要执行的功能。
根据各种示例性实施例，当电子设备100还包括显示器时，处理器120可以在根据用户的意图确定条件和动作时控制显示器以向用户显示用于确认条件和动作的确认UI。。
图1B是示出根据本公开另一示例性实施例的电子设备100的配置的框图。
电子设备100可以包括存储器110、处理器120、相机130和麦克风140。
图1B所示的处理器120可包括图1A中所示的处理器120的全部或一部。另外，图1B的存储器110可包括图1A中所示的存储器110的全部或一部。
相机130可以捕获静止图像和运动图像。例如，相机130可包括一个或多个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。
根据各种示例性实施例，相机130可以捕获用户的行为的图像以根据条件设置动作，并生成图像信息。生成的图像信息可以被发送到处理器120。
麦克风140可以接收外部声学信号并生成电子语音信息。麦克风140可以使用各种降噪算法来消除在接收外部声音信号时产生的噪声。
根据各种示例性实施例，麦克风140可以接收用户的自然语言以根据条件设置动作并生成语音信息。生成的语音信息可以被发送到处理器120。
根据各种示例性实施例，处理器120可以经由相机130获取图像信息并经由麦克风140获取语音信息。此外，基于所获取的图像信息和语音信息，当检测到事件时，处理器120可以确定根据条件要检测的事件和根据动作要执行的功能。处理器120可以确定至少一个检测资源以检测所确定的事件。响应于检测到满足条件的至少一个事件的至少一个确定的检测资源，处理器120可以根据条件执行功能。
在示例性实施例中，检测资源是可用资源中的能够根据条件检测事件的资源，并且可以是电子设备100外部的单独设备或电子设备100中提供的一个模块。在示例性实施例中，该模块包括由硬件、软件或固件组成的单元，并且可以与例如逻辑、逻辑块、组件或电路的术语互换使用。“模块”可以是整体构造的组件或执行一个或多个功能的最小单元或其一部分。
在一些示例性实施例中，如果检测资源是电子设备100外部的单独设备，则检测资源可以是例如IOT设备，并且还可以是上述电子设备100的示例性实施例中的至少一些。稍后将在各种示例性实施例中详细描述根据要检测的事件的检测资源的详细示例。
图1C是示出根据本公开示例性实施例的电子设备100和外部设备230和240的配置的框图。
电子设备100可以包括存储器110、处理器120和通信器150。
图1C的处理器120可包括图1A中所示的处理器120的全部或一部。另外，图1C的存储器110可包括图1A中所示的存储器110的全部或一部。
通信器150建立外部设备230和240之间的通信，并且可以通过无线通信或有线通信连接到网络，以便与外部设备通信连接。在示例性实施例中，通信器150可以通过第三设备(例如，转发器、集线器、接入点、服务器或网关)与外部设备230和240通信。
无线通信可以包括例如LTE、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等。根据示例性实施例，无线通信可包括例如无线保真(WiFi)、蓝牙、蓝牙低功率(BLE)、紫蜂、近场通信、磁安全传输、射频(RF)和体域网(BAN)中的至少一个。有线通信可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信和普通老式电话服务(POTS)中的至少一个。
执行无线或有线通信的网络可以包括电信网络、计算机网络(例如，LAN或WAN)、因特网和电话网络中的至少一个。
根据各种示例性实施例，相机230可以捕获用户的行为的图像或视频以根据条件设置动作，并生成图像信息。相机230的通信器(未示出)可以将所生成的图像信息发送到电子设备100的通信器150。在示例性实施例中，麦克风240可以接收用户发出的自然语言(例如，短语)以生成语音信息以便根据条件设置动作。麦克风240的通信器(未示出)可以将所生成的语音信息发送到电子设备100的通信器150。
处理器120可以通过通信器150获取图像信息和语音信息。在示例性实施例中，基于获取的图像信息和语音信息，处理器120可以确定根据条件要检测的事件以及检测到事件时根据动作要执行的功能。处理器120可以确定至少一个检测资源以检测事件。响应于满足使用确定资源检测的条件的至少一个事件，处理器120可以根据条件执行功能。
图2是示出根据本公开示例性实施例的包括电子设备100的系统10的配置的框图。
系统10可以包括电子设备100、外部设备230,240和可用资源250。
例如，电子设备100可以包括图1A至1C中所示的电子设备100的全部或一部分。另外，外部设备230和240可以是图1C的相机230和麦克风240。
图2的可用资源250可以是能够检测用户设置的条件并根据条件执行动作的资源候选。
在示例性实施例中，检测资源是检测可用资源250中的基于条件的事件的资源，并且执行资源可以是能够根据可用资源250中的动作执行功能的资源。
可用资源250可以主要是IOT设备，并且还可以是上述电子设备100的示例性实施例中的至少一些。
根据各种示例性实施例，相机230可以捕获用户的行为的图像或视频以根据条件设置动作，并生成图像信息。相机230可以将所生成的图像信息发送到电子设备100。另外，麦克风240可以接收用户发出的自然语言或语音以生成语音信息，以便根据条件设置动作。麦克风240可以将生成的语音信息发送到电子设备100。
电子设备100可以从相机230获取图像信息并从麦克风240获取语音信息。在示例性实施例中，基于所获取的图像信息和语音信息，电子设备100可以确定根据条件要检测的事件以及检测事件时根据动作确定要执行的功能。
电子设备100可以搜索可用的安装资源250并确定可用资源250中的至少一个检测资源，以使用至少一个检测资源的检测能力(即，检测功能)来检测条件事件。电子设备100还可以搜索可用的已安装资源250并确定可用资源250中的至少一个执行资源，以基于执行资源可以提供的能力(即，执行功能)执行根据动作的功能。
当使用所确定的检测资源检测到满足条件的至少一个事件时，电子设备100可以控制所选择的执行资源以根据条件执行功能。
图3A至3D是示出根据本公开示例性实施例的在电子设备100中执行根据条件的动作的情况的图。
在示例性实施例中，用户1可以在以自然语言说话时执行特定动作，以便根据条件设置要执行的动作。该条件可以被称为触发条件，因为它满足执行动作的触发器的作用。
例如，用户1执行用他或她的手指指示抽屉330的手势，或者对抽屉执行扫视，同时说“当另一个人在那里打开抽屉时记录图像”。
在该示例中，条件可以是另一个人打开由用户1指示的抽屉330的情况，并且该动作可以是另一个人打开抽屉330的情况的图像记录。
位于用户1的外围的外围设备310和320可以生成来自用户1发出的自然语言的音频信息和图像信息以及与自然语言相关联的用户1的动作。例如，麦克风320可以接收自然词“当另一个人在那里打开抽屉时记录图像”以生成音频信息，并且相机310可以拍摄或记录用手指指示抽屉330以生成图像信息的动作。
在示例性实施例中，外围设备310和320可以将所生成的语音信息和图像信息发送到电子设备100，如图3B所示。
在示例性实施例中，外围设备310和320可以经由有线或无线网络将信息发送到电子设备100。在另一示例性实施例中，在外围设备310和320是如图1B所示的电子设备100的一部分的情况下，外围设备310和320可以经由诸如数据通信线路或总线的接口将信息发送到电子设备100的处理器100。
在示例性实施例中，电子设备100的处理器120可以通过通信器150从自然语言获取语音信息，并从用户与自然语言相关联的动作获取图像信息。在另一示例性实施例中，当外围设备310和320是如图1C所示的电子设备100的一部分时，处理器120可以通过诸如总线的接口获取从用户的动作生成的音频信息和图像信息。
处理器120可以根据条件确定要检测的至少一个事件，并且基于所获取的语音信息和图像信息，当检测到至少一个事件时，确定要根据动作执行的功能。
例如，处理器120可以确定抽屉330打开的事件和将另一个人识别为至少一个要有条件地检测的事件的事件。处理器120可以确定记录其他人打开抽屉330的情况的图像的功能，作为根据动作执行的功能。
处理器120可以选择至少一个检测资源，用于检测可用资源中的至少一个事件。
在该示例中，例如，至少一个检测资源可以包括:位于抽屉附近的相机310，能够检测抽屉被打开的事件和识别另一个人的事件；以及图像识别模块(未示出)，用于分析拍摄或记录的图像并识别包括在图像中的对象的操作或状态。在示例性实施例中，图像识别模块可以是相机310的一部分或电子设备100的一部分。图像识别模块被描述为本公开中的相机的一部分，但是图像识别模块可以被实现为如本领域普通技术人员所理解的电子设备100的一部分。相机可以以与向图3C中的电子设备100提供图像信息的相机310类似的方式向电子设备100提供图像信息。
在另一示例性实施例中，例如，至少一个检测资源可包括用于检测抽屉330的打开事件的距离检测传感器340和用于检测识别另一个人的事件的指纹识别传感器350或虹膜识别传感器。
在示例性实施例中，处理器120可以根据可用资源中的动作确定用于执行功能的至少一个执行资源。
例如，至少一个执行资源可以是位于抽屉330周围的相机，其执行记录功能。相机可以执行与提供图3C和图3D中的图像信息的相机310类似的功能。或者，相机可以是与检测事件的相机相同的相机。
如果选择了至少一个检测资源，则处理器120可以根据条件将请求检测到事件的控制信息发送到所选择的检测资源340和350，如图3C所示。
接收控制信息的检测资源可以监视是否检测到根据条件的事件。
可以满足符合条件的情况。例如，如图3D所示，可能发生其他人2打开由用户的手指指示的抽屉330的情况。
在示例性实施例中，检测资源340和350可以根据条件检测事件。例如，距离检测传感器340可以检测抽屉打开的事件，并且指纹识别传感器350可以检测识别另一个人的事件。
检测资源340和350可以将事件的检测结果发送到处理器120。
当检测到满足条件的至少一个事件时，处理器120可以根据接收到的检测结果根据要执行的动作控制功能。
例如，当存在满足条件所需的多个事件时，处理器120可以在所有多个事件满足条件时确定满足条件并且可以控制根据要执行的动作的功能。
处理器120可以发送控制信息，使得所选择的执行资源根据动作执行功能。例如，处理器120可以将请求执行记录功能的控制信息发送到位于抽屉330附近的相机310。因此，相机310可以记录人2打开抽屉330的情况作为图像。
如上所述，当设置了根据用户行为的条件时，可以建立使用相机310的视觉IfThis That That(IFTTT)环境。
图4A至图4D是示出根据本公开示例性实施例的在电子设备100中执行根据条件的动作的情况的图。
在图4A中，用户1可以在执行特定动作的同时说出自然语言(例如，短语)，以便根据条件设置要执行的动作。
例如，用户1可以说出自然语言“关闭”，同时用手指指向TV 430并执行手势以顺时针旋转手指。
在该示例中，条件可以是用户1将他或她的手指沿顺时针方向朝向TV430旋转，并且根据条件的动作可以是关闭TV 430。
在另一示例性实施例中，用户1可以说出自然语言“关闭”，同时用手指执行指示TV430的手势。
在该示例中，条件可以是用户1在将手指指向TV 430的同时说“关闭”的情况，并且动作可以是关闭TV 430。
位于用户1附近的外围设备410和420可以根据用户1的行为和与用户1的行为相关联的自然语言生成图像信息和语音信息。例如，相机410可以拍摄用手指指向TV并旋转手指的手势以产生图像信息，麦克风420可以接收自然语言“关闭”以产生语音信息。
在图4B中，外围设备410和420可以将所生成的语音信息和图像信息发送到电子设备100。
在示例性实施例中，外围设备410和420可以经由有线或无线网络将信息发送到电子设备100。在另一示例性实施例中，在外围设备410和420是如图1B所示的电子设备100的一部分的情况下，外围设备410和420可以经由诸如数据通信线路或总线的接口将信息发送到电子设备100的处理器100。
在示例性实施例中，电子设备100的处理器120可以通过通信器150从自然语言获取语音信息，并从用户与自然语言相关联的动作获取图像信息。在另一示例性实施例中，当外围设备410和420是如图1C所示的电子设备100的一部分时，处理器120可以通过诸如总线的接口获取从用户的动作生成的音频信息和图像信息。
处理器120可以根据条件确定要检测的至少一个事件。处理器120可以基于所获取的语音信息和图像信息，在检测到至少一个事件时，确定根据动作要执行的功能。
例如，处理器120可以确定识别将手指顺时针朝向TV 430旋转的手势的事件作为要检测的事件。处理器120可以确定关闭TV 430的功能是根据动作执行的功能。
处理器120可以选择至少一个检测资源，用于检测可用资源中的至少一个事件。
在该示例中，至少一个检测资源可以是安装在TV 430顶部的相机440和识别手势的图像识别模块(未示出)，其可以感测用户1的手势。图像识别模块可以是相机440的一部分或电子设备100的一部分。本公开中图像识别模块被描述为相机440的一部分，但是图像识别模块可以被实现为电子设备100的一部分，如一个本领域普通技术人员所理解的那样。
处理器120可以根据可用资源中的动作确定用于执行功能的至少一个执行资源。
在该示例中，至少一个执行资源可以是能够被关闭的TV 430本身。
如果选择了至少一个检测资源，则处理器120可以将请求根据条件检测事件的控制信息发送到所选择的检测资源440，如图4C所示。
接收控制信息的检测资源440可以监视是否检测到根据条件的事件。
满足条件时可以满足一种情况。例如，如图4D所示，在TV 430的再现期间，可能发生用户将手指旋转朝向TV 430的情况。
在这种情况下，作为检测资源的相机440可以根据条件检测事件。例如，相机440可以检测识别以顺时针方向旋转手指的手势的事件。
检测资源440可以将事件的检测结果发送到处理器120。
当检测到满足条件的至少一个事件时，处理器120可以根据接收到的检测结果控制根据要执行的动作的功能。
例如，处理器120可以发送请求TV 430关闭TV 430的控制信息。因此，TV 430可以关闭正在再现的屏幕。
如上所述，当根据用户对家用电器(例如，TV等)的行为设置条件时，可以建立用于以统一手势控制多个家用电器的通用遥控环境。
图5A至图5D是示出根据本公开示例性实施例的在电子设备100中执行根据条件的动作的情况的图。
在图5A中，用户1可以在执行特定动作的同时说出自然语言(例如，短语)，以便设置根据条件要执行的动作。
例如，用户1可以用他/她的手指创建类似“V”的手势并且说出“当我这样做时拍照”的自然语言。
在该示例中，条件可以是进行“V”形手势的情况，并且根据条件的动作可以是电子设备(例如，具有内置相机的智能手机)100拍摄用户。
在另一示例性实施例中，用户1可以说自然语言“如果距离是这么多则拍照”，同时将电子设备100隔开一定距离。
在该示例中，条件可以是用户1将电子设备100与特定距离隔开，并且根据条件的动作可以是电子设备100拍摄用户1。
在另一示例性实施例中，当包括用户1的要拍摄的对象在电子设备100的拍摄范围内时，用户1可以说自然语言“当我们所有人进来时拍照”。
在该示例中，条件可以是包括用户1的要拍摄的对象在电子设备100的拍摄范围内的情况，并且根据条件的动作可以是电子设备100拍摄对象的情况。
在另一示例性实施例中，包括用户1的对象可以跳跃，并且用户1可以将自然语言说成“当我们所有人都像这样跳时拍照”。
在该示例中，条件可以是包括用户1的要拍摄的对象跳入电子设备100的拍摄范围并且根据该条件的动作可以是电子设备100拍摄对象的情况。
在另一示例性实施例中，用户1可以说自然语言，诸如“当孩子笑时拍照”，“当孩子哭泣时拍照”，或“当孩子站起来时拍照”。
在该示例中，条件可以是孩子笑、哭或站立的情况，并且根据条件的动作可以是电子设备100拍摄孩子。
在另一示例性实施例中，用户1可以将自然语言说成“当我去坐下时拍照”，同时将电子设备100安装在可拍摄位置。
在该示例中，条件可以是用户1在相机静止时坐着并且根据条件的动作可以是电子设备100拍摄用户的情况。
内置在电子设备100中的相机130和麦克风140可以根据用户的行为和与用户的行为相关的自然语言生成图像信息和音频信息。例如，相机130可以拍摄“V”形手势以生成图像信息，并且麦克风140可以接收“当我这样做时拍照”以生成语音信息的自然语言。
在图5B中，相机130和麦克风140可以将所生成的音频信息和图像信息发送到处理器120。
处理器120可以根据条件确定要检测的至少一个事件。处理器120可以基于所获取的语音信息和图像信息，在检测到至少一个事件时，确定根据动作的执行功能。
例如，处理器120将识别“V”形手势的事件确定为要检测的事件。处理器120确定拍摄功能作为根据动作要执行的动作。
处理器120选择至少一个检测资源，用于检测电子设备100中作为可用资源的可用的各种类型的敏感模块中的至少一个事件。
在该示例中，至少一个检测资源可以是设置在电子设备100中的相机130和识别手势的图像识别模块(未示出)。图像识别模块可以包括在相机130中，或者可以是处理器120的一部分。
处理器120根据能够提供在作为可用资源的电子设备100中提供的检测功能的各种类型的模块中的动作，选择用于执行功能的至少一个执行资源，这些模块是可用资源。
在该示例中，至少一个执行资源可以是在电子设备100中提供的相机130。
处理器120将请求根据条件检测事件的控制信息发送到所选择的检测资源130，如图5C所示。
接收控制信息的检测资源130监视是否检测到根据条件的事件。
满足条件时会遇到这种情况。例如，如图4D所示，出现用户1朝向相机执行“V”形手势的情况。
在该示例中，作为检测资源的相机410检测根据条件的事件。例如，相机410确定识别“V”形手势的事件。
检测资源410将事件的检测结果发送到处理器120。
当检测到满足条件的至少一个事件时，处理器120基于接收的检测结果控制根据要执行的动作的功能。
例如，处理器120发送请求相机130拍照的控制信息。因此，相机130执行拍摄用户的功能。
在示例性实施例中，当相机130根据用户设置的条件自动执行拍摄时，可以通过向用户提供用于拍摄的自然且方便的用户界面来改善用户使用相机130的体验。用户可以呈现用于更灵活和复杂的拍摄或记录的条件。当满足条件时，相机可以自动执行拍摄，从而改善用户对电子设备100的体验。
图6是根据本公开的示例性实施例的根据电子设备100中的条件执行动作的流程图。
用户基于自然界面设置根据条件要执行的动作(601)。
自然界面可以是例如语音、文本或手势，用于说出自然语言。在示例性实施例中，可以将条件和根据条件执行的动作配置为多模型界面。
在示例中，用户可以用手指执行指向抽屉的手势，同时说“当这里抽屉打开时”。用户可以用手指执行指向TV的手势，同时说“在那里TV上显示通知消息”作为要根据条件执行的动作。
在一个示例中，用户可以说出“如果条件是愉快的家庭氛围”作为条件并且根据条件说出“存储图像”作为要执行的动作。
在一个示例中，用户可以说出“如果窗户在晚上打开”作为条件并且在要根据条件执行的动作中说“告诉我关闭窗户”。
在示例中，用户可以说出“如果孩子微笑”作为条件并且说出“保存图像”作为根据条件执行的动作。
在一个示例中，用户可以说“如果我早上起床并且进入起居室”作为条件，并且说出“告诉我天气”作为根据条件执行的动作。
在一个示例中，用户可以说“当我将手指抬向电视时”作为条件并且说“如果电视打开，将其关闭，如果它关闭，则将其打开”作为根据条件执行的动作。
在一个示例中，用户可以说出“如果我做俯卧撑”作为条件并且说出“给出命令”作为根据条件要执行的动作。
在一个示例中，用户可以说“当没有人在这里，陌生人进来时”作为条件并且说出“记录图像和联系家人”作为根据条件执行的动作。
在一个示例中，用户可以说“当门外有大声的声音”作为条件，并且可以执行将手指指向电视的手势，同时说出“打开连接到电视的相机并将其显示在电视上”作为根据条件进行的动作。
当用户根据条件设置要执行的动作时，用户的外围设备接收用户发出的自然语言并且可以拍摄用户的行为(603)。
处理器120获取基于自然语言生成的语音信息和基于从外围设备拍摄而生成的图像信息，并且处理器120处理所获取的语音信息和图像信息(605)。例如，处理器120可以使用自然语言处理技术将获取的语音信息转换为文本，并且可以使用视觉识别技术识别包括在图像信息中的对象和外围环境。
在示例性实施例中，处理器120分析或解释所处理的语音信息和视频信息以理解用户的意图。例如，处理器120可以使用多模式推理技术来分析语音信息和图像信息。在该示例中，处理器120可以使用学习算法(例如，神经网络算法、遗传算法、决策树算法、支持向量机等)基于数据识别模型来分析语音信息和图像信息。处理器120可以根据条件确定用户的意图，确定要执行的条件和动作，并且还可以根据条件确定需要检测的至少一个事件。
在该示例中，处理器120可以检查根据分析结果的条件和根据条件要执行的动作，以便清楚地识别用户的意图。
根据各种示例性实施例，处理器120可以向用户提供确认用户界面(UI)作为反馈以确认条件和动作。
在示例中，处理器120使用电子设备100或外围设备通过语音或图像提供“在右桌上打开第二抽屉时进行记录是否正确”的确认UI。在该示例中，当接收到接受确认UI的用户输入时，处理器120确定条件和根据条件要执行的动作。在另一示例中，当接收到拒绝确认UI的用户输入时，处理器120使用电子设备100或外围设备提供请求用户的话语和设置根据条件要执行的动作的动作的UI。
处理器120建立事件检测计划(609)。例如，处理器120选择至少一个检测资源用于检测所确定的至少一个事件(607)。在该示例中，处理器120可以基于使用学习算法(例如，神经网络算法、遗传算法、决策树算法或支持向量机)生成的数据识别模型来确定用于检测至少一个事件的至少一个检测资源。
处理器120可以搜索已经安装的可用资源。在示例性实施例中，可用资源可以是可用资源，其位于根据条件的事件可被检测到的位置或位于根据动作的功能可执行的地方，以便根据用户设置的条件执行动作。
响应于对处理器120的搜索，可用资源可以将关于其能力的信息发送到处理器120。
处理器120可以基于可用资源的功能中的可检测功能来确定至少一个检测资源以检测可用资源中的事件。
可检测功能可以包括测量物理量的功能，例如手势感测功能、气压感应功能、磁感应功能、加速度感应功能、接近感应功能、色彩感应功能、温度感应功能、湿度感应功能、距离感应功能、压力感应功能、触摸感应功能、感光功能、波长感应功能、嗅觉或味觉感应功能、指纹感应功能、虹膜感应功能、语音输入功能或图像拍摄功能，或者可以包括检测外围环境的状态的功能并将检测到的信息转换为电信号。
在另一示例性实施例中，当存在可用资源的可检测功能中的相同功能时，处理器120可根据功能的优先级确定检测到的资源。例如，考虑到诸如每个可检测功能的检测范围、检测时段、检测性能或检测时段的优先级，可以确定至少一个检测资源以检测事件。
在一个示例中，当用户设置的条件是“当没有人在房间中时在房间中窗户打开”时，处理器120可以选择检测房间中的对象移动的事件的运动传感器，用于检测识别房间中的人的事件的相机和用于检测窗户被打开的事件的窗户打开传感器作为检测资源。
在该示例中，当从运动传感器检测到没有对象移动的事件，从相机检测到没有人在房间中的事件，以及检测到窗户打开的事件时，处理器120可以建立检测作为满足条件的事件的检测计划。在另一示例中，如果未检测到事件中的至少一个事件，则处理器120可以确定发生了不满足条件的情况。
处理器120可以根据用户设置的条件提供使用先前学习的数据识别模型的模型的输入值的情况，并且根据建立的检测计划，可以确定可用资源是否可以检测根据条件的事件。这可以定义为基于多模式学习的事件检测方法。
处理器120可以基于可用资源可以提供的功能，确定可用资源中的至少一个执行资源以执行根据动作的功能。在示例性实施例中，处理器120可以基于使用学习算法(例如，神经网络算法，遗传算法，决策树算法或支持向量机)生成的数据识别模型来确定用于对动作执行其他功能的至少一个执行资源。
例如，可执行功能包括上述可检测功能，并且可以是显示功能、音频回放功能、文本显示功能、视频拍摄功能、记录功能、数据传输功能、振动功能、或用于传递动力的驱动功能中的至少一个。
在另一示例性实施例中，当存在可用资源的可执行功能中的相同功能时，处理器120可根据功能的优先级确定执行资源。例如，可以根据考虑诸如每个可执行功能的执行范围、执行循环、执行性能或执行周期的优先级的动作来确定执行功能的至少一个执行资源。
根据各种示例性实施例，处理器120可以提供确认UI作为用户的反馈，以确认建立的事件检测计划。
在示例中，处理器120可以通过语音使用电子设备100或用户的外围设备提供确认UI“当抽屉打开时记录开始。现在打开抽屉进行测试”。处理器120可以在TV的屏幕上显示抽屉，其执行记录功能作为响应于事件检测的动作。
根据各种示例性实施例，处理器120可以分析多个事件的共同条件以优化检测资源，以在根据条件存在多个要检测的事件的情况下检测事件。
在一个示例中，如果用户设置的条件是“当抽屉被另一个人打开时”，则处理器120可以确定根据条件要检测的事件是抽屉打开的事件和其中人被识别的事件。在该示例中，处理器120可以选择附接到抽屉的距离感测传感器作为检测抽屉打开事件的检测资源，并且选择抽屉周围的相机作为检测资源以检测识别另一个人的事件。处理器120可以将多个事件优化为其中相机识别出另一个人打开抽屉的一个事件。
根据各种示例性实施例，取决于可用资源的情况，处理器120可以用其他可用资源替换检测特定事件的可用资源。在另一示例性实施例中，处理器120可以根据可用资源的情况确定是否根据条件检测事件，并且可以在不能检测到事件时向用户提供反馈。
例如，如果用户设置的条件是“当另一个人打开那里的抽屉时”，则处理器120可以用抽屉中提供的指纹传感器替换抽屉附近的相机，以检测如果抽屉周围的相机无法操作则识别另一个人的事件。
在示例性实施例中，如果没有用于检测识别另一个人的事件的可用资源，或者如果不能检测到事件，则处理器120可以向用户提供具有指示难以执行条件的反馈的通知UI。
例如，处理器120可以向用户提供“不能执行与另一个人相对应的条件”的通知UI。
当满足条件的情况发生时，由处理器120确定的检测资源可以检测根据条件的事件(611)。
如果基于检测结果确定检测到满足条件的事件，则处理器120可以根据用户设置的动作执行功能。在步骤613，这种情况可以被处理器120称为由用户根据响应于上述触发条件的条件设置的动作。
图7是示出根据本公开示例性实施例的在电子设备100中设置可用资源的识别信息的过程的图。
相机710可以位于可用资源720,730附近，并且可以捕获可用资源720,730的状态。
相机710可以在预定时段或在事件发生时实时捕获可用资源720和730。
在一段时间期间，可以检测事件或第一可用资源(例如，触摸传感器或距离传感器)720和第二可用资源(例如，数字灯)730中的可用资源的操作状态。
在示例性实施例中，相机710可以将拍摄或记录了预定时间的可用资源720和730的图像信息发送到电子设备100。可用资源720和730可以将检测到的信息发送到电子设备100。
例如，在用户打开门的时间t1 741期间，第一可用资源720检测(751)门打开事件并将检测结果发送到电子设备100。位于第一可用资源720附近的相机710通过在时间t1741期间拍摄位于第一位置的第一可用资源720来获取图像信息(753)。相机710将获取的图像信息发送到电子设备100。
在示例性实施例中，电子设备100可以基于第一可用资源720检测到的检测结果和通过拍摄第一可用资源720获得的图像信息，自动生成第一可用资源720的识别信息。第一可用资源720的识别信息可以基于第一可用资源720的第一位置、类型或检测结果的属性确定，第一位置是第一可用资源720的物理位置。
例如，当第一位置是前门并且第一可用资源720的类型是能够感测物体的移动或分离的触摸传感器或距离感测传感器时，电子设备100可以设置作为“前门打开传感器”的第一可用资源720的识别信息(755)。
电子设备100可以自动映射由第一可用资源720接收的检测结果和通过拍摄第一可用资源720生成的图像信息，并且可以自动设置第一可用资源720的名称或标签。
在示例性实施例中，当电子设备100自动生成第一可用资源720的识别信息时，电子设备100使用使用学习算法(例如，神经网络算法、遗传算法、决策树算法或支持向量机)生成的数据识别模型自动生成第一可用资源720的识别信息。
在另一示例性实施例中，在用户打开门的时间t2 742期间，第二可用资源730可以改变为用户的操作或自动打开。第二可用资源730检测(761)其自身的接通状态并将接通状态发送到电子设备100。
位于第二可用资源730附近的相机710通过在时间t2 742期间拍摄位于第二位置的第二可用资源730来获取图像信息(763)。相机710将获取的图像信息发送到电子设备100。
在示例性实施例中，电子设备100可以基于第二可用资源730的操作状态和第二可用资源730的图像信息自动生成第二可用资源730的识别信息。第二可用资源730的识别信息可以基于例如第二位置的属性(第二可用资源730的物理位置)以及第二可用资源730的类型或操作状态来确定。
例如，如果第二位置在起居室的橱柜上并且第二可用资源730的类型是灯，则电子设备100可以将第二可用资源730的识别信息设置为“起居室橱柜灯”。(765)。
根据各种示例性实施例，即使在最初安装了可用资源时，电子设备100也可以基于可用资源的初始安装状态和在安装期间从相机获得的图像信息来设置可用资源的识别信息。
根据各种示例性实施例，电子设备100可以使用由用户提供的便携式终端或者在用户周围具有显示器的外部设备来提供可用资源识别信息的列表。在示例性实施例中，便携式终端或外部设备可以向用户提供能够改变可用资源的识别信息的至少一部分的UI。当用户响应于提供的UI改变可用资源的识别信息时，电子设备100可以从便携式终端或外部设备接收改变的可用资源的识别信息。基于可用资源的该识别信息，电子设备100可以重置可用资源的识别信息。
图8是根据本公开的示例性实施例的电子设备100中的根据条件执行动作的流程图。
在示例性实施例中，电子设备100获取由用户发出的自然语言和用户与自然语言相关联的动作生成的音频信息和图像信息，用于设置根据条件要执行的动作(801)。音频信息是由用户发出的自然语言(例如短语)生成的。从用户与自然语言相关联的动作生成图像信息。电子设备100获取音频信息和图像信息以设置当满足条件时要执行的动作。在示例性实施例中，电子设备100获取音频信息和图像信息中的至少一个，以设置当满足条件时要执行的动作。
电子设备100基于所获取的语音信息和图像信息，确定根据条件要检测的事件和在检测到事件时根据动作要执行的功能(803)。
在示例性实施例中，电子设备100将获取的语音信息和图像信息应用于使用学习算法生成的数据识别模型，以根据用户的意图确定条件和动作。电子设备100确定根据条件要检测的事件和根据动作要执行的功能。
电子设备100确定至少一个检测资源以检测确定的事件(805)。检测资源可以是包括在电子设备100中的模块，或者是位于电子设备100外部的外部设备中的模块。
电子设备100可以搜索安装的可用资源，并且可以基于检索到的可用资源可检测的功能来确定至少一个检测资源以检测可用资源中的事件。
在示例性实施例中，如果没有资源来检测事件，或者如果检测资源处于无法检测到事件的情况，则电子设备100提供通知UI，其通知根据条件执行动作是不可能的。
电子设备100可以使用所确定的至少一个检测资源来确定是否已经检测到满足条件的至少一个事件(判定框807)。
作为确定的结果，如果检测到满足条件的至少一个事件(判定框807“是”分支)，则电子设备100控制根据要执行的动作的功能(809)并结束。
例如，当从检测资源接收到事件的检测结果时，电子设备100可以基于接收到的检测结果控制根据要执行动作的功能。
图9是根据本公开另一示例性实施例的根据电子设备100中的条件执行动作的流程图。
在示例性实施例中，电子设备100获取由用户发出的自然语言和用户与自然语言相关联的动作生成的音频信息和图像信息，用于设置根据条件要执行的动作(901)。音频信息是由用户发出的自然语言(例如短语)生成的。从用户与自然语言相关联的动作生成图像信息。电子设备100获取音频信息和图像信息以设置当满足条件时要执行的动作。在示例性实施例中，电子设备100获取音频信息和图像信息中的至少一个，以设置当满足条件时要执行的动作。
电子设备100基于所获取的语音信息和图像信息，来确定根据条件要检测的事件和检测到事件时根据动作要执行的功能(903)。
电子设备100确定至少一个检测资源以检测确定的事件和确定至少一个执行资源以执行根据动作的功能(905)。
例如，电子设备100搜索可用的已安装资源，并基于所检索的可用资源可以提供的功能，确定可用资源中的至少一个执行资源以执行根据动作的功能。
当确定至少一个检测资源时，电子设备100将请求检测事件的控制信息发送到所确定的至少一个检测资源(907)。
电子设备100使用检测资源确定是否已经检测到满足条件的至少一个事件(判定框909)。
作为确定的结果，如果检测到满足条件的至少一个事件(判定框907“是”分支)，则电子装置100将控制信息发送到执行资源，使得执行资源执行根据动作的功能(911)。
已经接收到控制信息的执行资源执行根据动作的功能(913)。
图10至图13是用于示出根据本公开的各种示例性实施例的学习算法构建数据识别模型并识别数据的示例性实施例的图。具体而言，图10至13示出了使用学习算法生成数据识别模型并根据通过数据识别模型确定条件、根据条件的动作，要检测的事件以及根据动作要执行的功能的过程。
参考图10，根据一些示例性实施例的处理器120可包括数据学习单元1010和数据识别单元1020。
数据学习单元1010可以生成数据识别模型或使数据识别模型学习，使得数据识别模型具有用于预定情况确定的标准(例如，条件和动作，根据条件的事件，确定基于动作的功能等)。数据学习单元1010可以将学习数据应用于数据识别模型以确定预定情况并生成具有确定标准的数据识别模型。
例如，根据本公开的示例性实施例的数据学习单元1010可以使用与语音信息相关的学习数据和与图像信息相关联的学习数据来生成数据识别模型或使数据识别模型学习。
作为另一示例，数据学习单元1010可以使用与条件相关的学习数据和与动作相关联的学习数据来生成数据识别模型并使数据识别模型学习。
作为另一示例，数据学习单元1010可以使用与事件相关的学习数据和与该功能相关的学习数据来生成数据识别模型并使数据识别模型学习。
数据识别单元1020可以基于识别数据确定情况。数据识别单元1020可以使用学习数据识别模型从预定识别数据确定情况。数据识别单元1020可以根据预设参考获取预定识别数据，并将获得的识别数据作为输入值应用于数据识别模型，以基于预定识别数据确定(或估计)预定情况。
通过将获得的识别数据应用于数据识别模型的结果值可用于更新数据识别模型。
具体地，根据本公开的示例性实施例的数据识别单元1020将与语音信息有关的识别数据和与图像信息有关的识别数据应用于数据识别模型作为输入值，并且可以获取电子设备100的情况的确定结果(例如，根据条件期望执行的动作和条件)。
数据识别单元1020将与条件相关的识别数据和与动作相关的识别数据作为输入值应用于数据识别模型，以确定电子设备100的状态(例如，根据条件检测的事件，以及根据动作执行的功能)。
另外，数据识别单元1020可以将与事件相关的识别数据和与功能相关的识别数据作为输入值应用于数据识别模型，并获取确定电子设备100的状况的确定结果(用于检测事件的检测源，用于执行功能的执行源)。
数据学习单元1010的至少一部分和数据识别单元1020的至少一部分可以以软件模块或以至少一个硬件芯片的形式实现并安装在电子设备上。例如，数据学习单元1010和数据识别单元1020中的至少一个可以以用于人工智能(AI)的专用硬件芯片或现有通用处理器(例如：CPU或应用处理器)或者仅图形处理器(例如，GPU)的形式制造并且可以安装在上述各种电子设备上。
此时，人工智能专用硬件芯片是专门用于概率计算的专用处理器，它具有比传统通用处理器更高的并行处理性能，因此可以快速处理人工智能中的计算任务，如机器学习。当数据学习单元1010和数据识别单元1020被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在计算机可读和非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(OS)或预定应用程序提供。软件模块的一部分可以由操作系统(OS)提供，并且剩余部分的一部分可以由预定应用程序提供。
在示例性实施例中，数据学习单元1010和数据识别单元1020可以分别安装在一个电子设备上或安装在单独的电子设备上。例如，数据学习单元1010和数据识别单元1020中的一个可以包括在电子设备100中，而另一个可以包括在外部服务器中。数据学习单元1010可以通过有线或无线方式将由数据学习单元1010构建的模型信息提供给数据识别单元1020。输入到数据识别单元1020的数据可以通过有线或无线方式作为附加学习数据提供给数据学习单元1010。
图11是根据示例性实施例的数据学习单元1010的框图。
参考图11，根据一些示例性实施例的数据学习单元1010可包括数据获取单元1010-1和模型学习单元1010-4。数据学习单元1010还可以选择性地包括预处理单元1010-2、学习数据选择单元1010-3和模型评估单元1010-5中的至少一个。
数据获取单元1010-1可以获取学习确定情况所需的学习数据。
学习数据可以是由数据学习单元1010或电子设备100的制造商收集或测试的数据。或者，学习数据可以包括根据本公开由用户经由麦克风发出的自然语言生成的语音数据。可以包括从用户经由相机发出的与自然语言相关联的用户动作生成的语音数据。在这种情况下，麦克风和相机可以设置在电子设备100内部，但是这仅仅是一个实施例，并且通过外部麦克风和相机获得的动作的语音数据和图像数据被用作学习数据。模型学习单元1010-4可以使用学习数据，使得模型学习单元1010-4可以使数据识别模型学习具有关于如何确定预定情况的确定标准。
例如，模型学习单元1010-4可以使用至少一些学习数据作为标准，通过监督学习来数据识别模型学习。或者，模型学习单元1010-4可以使数据识别模型通过无监督学习来是数据识别模型学习，使用学习数据自己学习而无需单独的指导。
模型学习单元1010-4可以学习选择标准以使用哪个学习数据来确定情况。
具体地，根据本公开示例性实施例的模型学习单元1010-4可以使用与语音信息相关的学习数据和与视频信息相关联的学习数据来生成数据识别模型学习或使数据识别模型学习。在这种情况下，当通过监督学习方法学习数据识别模型时，可以根据条件添加要执行的动作作为学习数据，添加根据用户的意图的条件作为确定标准。或者，可以添加根据条件检测的事件和要对动作执行的功能作为学习数据。或者，可以添加用于检测事件的检测资源和用于执行功能的执行资源作为学习数据。
模型学习单元1010-4可以使用与条件相关的学习数据和与动作相关的学习数据来生成数据识别模型并使数据识别模型学习。
在这种情况下，当通过监督学习方法学习数据识别模型时，可以添加根据条件要检测的事件和要为动作执行的功能作为学习数据。或者，可以添加用于检测事件的检测资源和用于执行功能的执行资源作为学习数据。
模型学习单元1010-4可以使用与事件相关的学习数据和与功能相关的学习数据来生成数据识别模型并使数据识别模型学习。
在这种情况下，当通过监督学习使数据识别模型学习时，可以添加用于检测事件的检测资源和用于执行该功能的执行资源作为学习数据。
同时，数据识别模型可以是通过学习模型学习单元1010-4预先构建和更新的模型。在这种情况下，数据识别模型可以接收基本学习数据(例如，样本图像等)并且可以预先构建。
可以考虑识别模型的应用领域、学习目的或设备的计算机性能来构建数据识别模型。数据识别模型可以是例如基于神经网络的模型。可以设计数据识别模型以模拟计算机上的人脑结构。数据识别模型可以包括模拟人类神经网络的神经元的多个加权网络节点。多个网络节点可以各自建立连接关系，使得神经元模拟通过突触发送和接收信号的突触活动。数据识别模型可以包括例如神经网络模型或在神经网络模型中开发的深度学习模型。在深度学习模型中，多个网络节点位于不同的深度(或层)，并且可以根据卷积连接关系交换数据。
可以考虑识别模型的应用领域、学习目的或设备的计算机性能来构建数据识别模型。数据识别模型可以是例如基于神经网络的模型。例如，诸如深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BDNR)的模型可以用作数据识别模型，但是本公开不限于此。
根据各种示例性实施例，当存在多个预建数据识别模型时，模型学习单元1010-4可以是用于学习输入学习数据和基本学习数据高度相关的数据的数据识别模型。在示例性实施例中，可以根据数据类型对基本学习数据进行预分类，并且可以针对每种数据类型预先建立数据识别模型。例如，可以通过各种标准对基本学习数据进行预分类，例如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的创建者、学习数据中的一种对象等。
在另一示例性实施例中，模型学习单元1010-4可以使用例如包括误差反向传播方法或梯度下降方法的学习算法来教导数据识别模型。
此外，模型学习单元1010-4可以使用例如确定标准作为输入值，通过监督学习来使数据识别模型学习。或者，模型学习单元1010-4可以在没有任何监督的情况下使用必要的学习数据自学习，例如，通过无监督学习来找到用于确定情况的确定标准。此外，模型学习单元1010-4可以使用例如关于基于学习的情况确定的结果是否正确的反馈来通过强化学习来使数据识别模型学习。
在示例性实施例中，当学习数据识别模型时，模型学习单元1010-4可以存储学习的数据识别模型。模型学习单元1010-4可以将学习的数据识别模型存储在电子设备100的存储器110中。模型学习单元1010-4可以将学习的数据识别模型存储在通过有线或无线网络连接到电子设备100的服务器的存储器中。
数据学习单元1010还可包括预处理单元1010-2和学习数据选择单元1010-3，以便改进数据识别模型的识别结果或节省生成数据识别模型所需的资源或时间。
预处理器1010-2可以执行由数据获取单元1010-1获取的数据的预处理，以用于学习以确定情况。
例如，预处理单元1010-2可以将获取的数据处理成预定义的格式，使得模型学习单元1010-4可以容易地使用数据用于数据识别模型的学习。例如，预处理单元1010-2可以将由数据获取单元1010-1获得的语音数据处理为文本数据，并且可以将图像数据处理为预定格式的图像数据。可以将预处理数据作为学习数据提供给模型学习单元1010-4。
或者，学习数据选择单元1010-3可以从预处理数据中选择性地选择学习所需的学习数据。可以将所选择的学习数据提供给模型学习单元1010-4。学习数据选择单元1010-3可以根据预定选择标准从预处理数据中选择学习所需的学习数据。此外，学习数据选择单元1010-3可以通过模型学习单元1010-4的学习来根据预定的选择标准选择学习所需的学习数据。在本公开的一个示例性实施例中，学习数据选择单元1010-3可以仅选择输入的语音数据中特定用户发出的语音数据，并且可以仅选择包括排除图像数据中的背景的人的区域。
数据学习单元1010还可以包括模型评估单元1010-5，以改善数据识别模型的识别结果。
模型评估单元1010-5将评估数据输入到数据识别模型。当从评估数据输出的识别结果不满足预定标准时，模型评估单元1010-5可以指示模型学习单元1010-4再次学习。评估数据可以是用于评估数据识别模型的预定义数据。
在示例性实施例中，当来自学习的数据识别模型的识别结果的评估数据的数量或比率超过预定阈值时，模型评估单元1010-5可以评估不满足预定标准。例如，在预定标准被定义为2％的比率的情况下，当学习的数据识别模型输出对于总共1000个评估数据中超过20的评估数据的不正确识别结果时，模型评估单元1010-5可以评估学习的数据识别模型是不合适的。
在另一示例性实施例中，当存在多个学习的数据识别模型时，模型评估单元1010-5可评估每个学习的数据识别模型是否满足预定标准，并将满足预定标准的模型确定为最终数据识别模型。在示例性实施例中，当存在满足预定标准的多个模型时，模型评估单元1010-5可以将先前按评估分数的降序设置的任何一个或预定数量的模型确定为最终数据识别模型。
在另一示例性实施例中，数据获取单元1010-1、预处理单元1010-2、学习数据选择单元1010-3、模型学习单元1010-4和模型评估单元1010-5中的至少一个可以可以实现为软件模块，以至少一种硬件芯片形式制造并安装在电子设备上。例如，以用于人工智能(AI)的专用硬件芯片的形式可以制作数据获取单元1010-1、预处理单元1010-2、学习数据选择单元1010-3、模型学习单元1010-4和模型评估单元1010-5中的至少一个，或者可以被制造为传统通用处理器(例如，CPU或应用处理器)或仅图形处理器(例如，GPU)的一部分，并且可以安装在各种电子设备上。
数据获取单元1010-1、预处理单元1010-2、学习数据选择单元1010-3、模型学习单元1010-4和模型评估单元1010-5可以安装在一个电子设备上，或者可以分别安装在单独的电子设备上。例如，数据获取单元1010-1、预处理单元1010-2、学习数据选择单元1010-3、模型学习单元1010-4和模型评估单元1010-5中的一些可以包括在电子设备，其余可能包含在服务器中。
数据获取单元1010-1，预处理单元1010-2，学习数据选择单元1010-3，模型学习单元1010-4和模型评估单元1010-5中的至少一个可以实现为软件模块。数据获取单元1010-1、预处理单元1010-2、学习数据选择单元1010-3、模型学习单元1010-4和模型评估单元1010-5(或包括指令的程序模块)，软件模块中的至少一个可以存储在非暂时性计算机可读介质中。至少一个软件模块可以由操作系统(OS)或预定应用程序提供。或者，至少一个软件模块中的至少一个的一部分可以由操作系统(OS)提供，并且至少一个软件模块中的一些可以由预定应用程序提供。
图12是根据一些示例性实施例的数据识别单元1020的框图。
参考图12，根据一些示例性实施例的数据识别单元1020可包括数据获取单元1020-1和识别结果提供单元1020-4。数据识别单元1020还可以选择性地包括预处理单元1020-2、识别数据选择单元1020-3和模型更新单元1020-5中的至少一个。
数据获取单元1020-1可以获取确定情况所需的识别数据。
识别结果提供单元1020-4可以通过将由数据获取单元1020-1获得的数据应用于学习的数据识别模型作为输入值来确定情况。识别结果提供单元1020-4可以根据数据识别目的提供识别结果。或者，识别结果提供单元1020-4可以提供通过将来自预处理单元1020-2的预处理数据应用于学习的数据识别模型而获得的识别结果作为输入值。或者，识别结果提供单元1020-4可以将由稍后将描述的识别数据选择单元1020-3选择的数据应用于数据识别模型作为输入值以提供识别结果。
数据识别单元1210还可以包括预处理单元1020-2和识别数据选择单元1020-3，以改善数据识别模型的识别结果或节省用于提供识别结果的资源或时间。
预处理单元1020-2可以预处理由数据获取单元1020-1获取的数据以用于识别以确定情况。
预处理单元1020-2可以将获取的数据处理成预定格式，使得识别结果提供单元1020-4可以容易地使用该数据来确定情况。具体地，根据本公开的一个实施例，数据获取单元1020-1可以获取用于确定情况的语音数据和图像数据(确定条件、动作、根据条件的事件、根据动作的功能以及用于检测事件的检测资源等)，并且如上所述，预处理单元1020-2可以用预定格式进行预处理。
识别数据选择单元1020-3可以从预处理数据中选择情况确定所需的识别数据。可以将所选择的识别数据提供给识别结果提供单元1020-4。识别数据选择单元1020-3可以根据预定选择标准在预处理数据中选择情况确定所需的识别数据。识别数据选择单元1020-3还可以通过如上所述的模型学习单元1010-4的学习来根据预定选择标准选择数据。
模型更新单元1020-5可以基于由识别结果提供单元1020-4提供的识别结果的评估来更新数据识别模型。例如，模型更新单元1020-5可以将识别结果提供单元1020-4提供的识别结果提供给模型学习单元1010-4，使模型学习单元1010-4能够更新数据识别模型。
数据识别单元1020中的数据获取单元1020-1、预处理单元1020-2、识别数据选择单元1020-3、识别结果提供单元1020-4和模型更新单元1020-5中的至少一个可以被实现为以至少一种硬件芯片形式制造并安装在电子设备上的软件模块。例如，数据获取单元1020-1、预处理单元1020-2、识别数据选择单元1020-3、识别结果提供单元1020-4和模型更新单元1020-5中的至少一个可以是以人工智能(AI)的专用硬件芯片或作为传统通用处理器(例如，CPU或应用处理器)或仅图形处理器(例如，GPU)的一部分的形式制造，并且可以安装在各种各样电子设备上。
数据获取单元1020-1、预处理单元1020-2、识别数据选择单元1020-3、识别结果提供单元1020-4和模型更新单元1020-5可以安装在电子设备上，或者可以分别安装在单独的电子设备上。例如，数据获取单元1020-1、预处理单元1020-2、识别数据选择单元1020-3、识别结果提供单元1020-4和模型更新单元1020-5中的一些可以包括在电子设备中，有些可能包含在服务器中。
数据获取单元1020-1、预处理单元1020-2、识别数据选择单元1020-3、识别结果提供单元1020-4和模型更新单元1020-5中的至少一个可以实现为软件模块。数据获取单元1020-1、预处理单元1020-2、识别数据选择单元1020-3、识别结果提供单元1020-4和模型更新单元1020-5(或包括指令的程序模块)、软件模块中的至少一个可以存储在非暂时性计算机可读介质中。在示例性实施例中，至少一个软件模块可以由操作系统(OS)或预定应用程序提供。或者，至少一个软件模块中的至少一个的一部分可以由操作系统(OS)提供，并且至少一个软件模块中的一些可以由预定应用程序提供。
图13是示出根据一些示例性实施例的通过与电子设备100和服务器1300互锁来学习和识别数据的示例的图。
服务器1300可以学习用于确定情况的标准。电子设备100可以基于服务器1300的学习结果来确定情况。
在示例性实施例中，服务器1300的模型学习单元1010-4可以获知什么数据用于确定预定情况和关于如何使用数据确定情况的标准。模型学习单元1010-4可以获取要用于学习的数据，并将获取的数据应用于数据识别模型，以便学习用于情况确定的标准。
电子设备100的识别结果提供单元1020-4可以将由识别数据选择单元1020-3选择的数据应用于由服务器1300生成的数据识别模型，以确定情况。识别结果提供单元1020-4可以将由识别数据选择单元1020-3选择的数据发送到服务器1300，并且可以请求服务器1300将识别数据选择单元1020-3选择的数据应用于识别模型，并确定一种情况。在示例性实施例中，识别结果提供单元1020-4可以从服务器1300接收关于由服务器1300确定的情况的信息。例如，当从识别数据选择单元1020-3发送语音数据和图像数据到服务器1300时，服务器1300可以将语音数据和图像数据应用于预先存储的数据识别模型，以将关于情况(例如，条件和动作，根据条件的事件，根据动作的功能)的信息发送到电子设备100。
图14A至14C是使用根据示例性实施例的数据识别模型的电子设备100的流程图。
在图14A的操作1401中，电子设备100可以获取从自然语言以及设置根据条件要执行的动作的用户的动作生成的语音信息和图像信息。
在操作1403中，电子设备100可以将获取的语音信息和图像信息应用于学习的数据识别模型，以获取根据条件要检测的事件和根据动作执行的功能。例如，在图3A所示的示例中，当用户1在说出“当另一个人在那里打开抽屉时记录图像”的自然语言的同时用他/她的手指执行指示抽屉的手势时，电子设备100可以获取根据自然语言产生的语音信息，并获取根据动作生成的图像信息。另外，电子设备100可以将音频信息和图像信息作为识别数据应用于学习的数据识别模型，将“打开抽屉330的事件和识别另一个用户的事件”确定为根据条件要检测的事件，并确定“记录另一个用户打开抽屉330的情况作为视频的功能”作为根据动作执行的功能。
在操作1405中，电子设备100可以基于所确定的事件和功能来确定检测事件的检测资源和执行事件的执行资源。
在确定检测资源和执行资源的同时，在操作1407中，电子设备100可以确定是否可以使用所确定的检测资源来检测满足条件的至少一个事件。
检测到至少一个事件1407-是，电子设备100可以进行控制，使得可以执行根据动作的功能。
作为另一示例性实施例，在图14B的操作1411中，电子设备100可以获取从自然语言以及设置根据条件要执行的动作的动作生成的语音信息和图像信息。
在操作1413中，电子设备100可以根据条件确定要检测的事件，并且可以基于所获取的语音信息和图像信息来确定根据动作执行的功能。
接下来，在操作1415中，电子设备100可以将所确定的事件和功能应用于数据识别模型以获取检测资源以检测事件和获取执行资源以执行功能。例如，在图3A所示的示例中，如果所确定的事件和功能各自是“抽屉330被打开并且另一个人被识别”的事件，并且根据该动作要执行的功能是“记录另一个用户打开抽屉330的情况作为视频的功能”，电子设备100可以将所确定的事件和功能应用于数据识别模型作为识别数据。作为应用数据识别模型的结果，电子设备100可以确定检测抽屉330的打开事件的距离检测传感器作为检测资源和检测识别另一个人的事件的虹膜识别传感器或虹膜识别传感器，并确定位于抽屉330周围的相机作为执行资源。
在操作1417至1419中，当检测到满足条件的至少一个事件时，电子设备100可以进行控制，使得执行根据动作的功能。
作为又一示例性实施例，在图14C的操作1421中，电子设备100可以获取从自然语言以及设置根据条件要执行的动作的动作生成的语音信息和图像信息。
在操作1423中，电子设备100可以将所获取的语音信息和图像信息应用于数据识别模型，以确定检测事件的检测资源和执行该功能的执行资源。例如，在图3A所示的示例中，如果获取的语音信息是“当另一个人在那里打开抽屉时记录图像”并且图像信息包括用手指指示抽屉的手势，则电子设备100可以将获取的语音信息和图像信息应用于数据识别模型作为识别数据。然后，电子设备100可以检测抽屉330的打开事件作为应用数据识别模型的结果，并且将位于抽屉330周围的相机确定为执行资源。
在操作1425至1427中，当检测到满足条件的至少一个事件时，电子设备100可以进行控制，使得执行根据动作的功能。
图15A至15C是根据示例性实施例的使用数据识别模型的网络系统的流程图。
在图15A至15C中，使用数据识别模型的网络系统可以包括第一组件1501和第二组件1502。
作为一个示例，第一组件1501可以是电子设备100，第二组件1502可以是存储数据识别模型的服务器1300。或者，第一组件1501可以是通用处理器，第二组件1502可以是人工智能专用处理器。或者，第一组件1501可以是至少一个应用程序，第二组件1502可以是操作系统(OS)。也就是说，第二组件1502可以比第一组件1501更集成、专用、更少延迟、更好地执行或具有比第一组件1501更多的资源。第二组件1502可以是这样的组件，其可以处理在比第一组件1501更快速和有效地生成、更新或应用的时间处所需的更多的操作。
在这种情况下，可以定义在第一组件1501和第二组件1502之间发送/接收数据的接口。
例如，可以定义具有要应用于数据识别模型的学习数据的自变量值(或中间值或传递值)的应用程序接口(API)。API可以被定义为一组子例程或函数，其可以被调用用于任何协议(例如，在电子设备100中定义的协议)到另一协议(例如，在服务器1300中定义的协议)的任何处理。也就是说，可以提供一种环境，其中可以通过API在任何一个协议中执行另一协议的操作。
作为示例性实施例，在图15A的操作1511中，第一组件1501可以获取从自然语言以及设置根据条件要执行的动作的动作生成的语音信息和图像信息。
在操作1513中，第一组件1501可以将关于所获取的语音信息和图像信息的数据(或消息)发送到第二组件1502。例如，当第一组件1501调用API函数并且输入语音信息和图像信息作为数据参数值时，API函数可以将语音信息和图像信息作为要应用于数据识别模型的识别数据发送到第二组件1502。
在操作1515，第二组件1502可以通过将接收的语音信息和图像信息应用于数据识别模型，来获取根据条件检测的事件和根据动作要执行的功能。
在操作1517中，第二组件1502可以将关于所获取的事件和功能的数据(或消息)发送到第一组件1501。
在操作1519中，第一组件1501可以基于所接收的事件和功能来确定用于检测事件的检测资源和用于执行功能的执行资源。
在操作1521，当使用所确定的检测资源检测到满足条件的至少一个事件时，第一组件1501可以使用所确定的执行资源来执行根据动作的功能。
作为另一示例性实施例，在图15B的操作1531中，第一组件1501可以获取从自然语言以及设置根据条件要执行的动作的动作生成的语音信息和图像信息。
在操作1533，第一组件1501可以基于所获取的语音信息和图像信息来确定用于检测事件的检测资源和用于执行功能的执行资源。
在操作1535中，第一组件1501可以将关于所获取的语音信息和图像信息的数据(或消息)发送到第二组件1502。例如，当第一组件1501调用API函数并输入事件和函数作为数据参数值时，API函数可以将事件和函数发送到第二组件1502，作为要应用于数据识别模型的识别数据。
在操作1537中，第二组件1502可以通过将所接收的事件和功能应用于数据识别模型来获取要根据条件检测的事件和根据动作执行的功能。
在操作1539中，第二组件1502可以将关于所获取的检测资源和执行资源的数据(或消息)发送到第一组件1501。
在操作1541，当使用所接收的检测资源检测到满足条件的至少一个事件时，第一组件1501可以使用所接收的执行资源执行根据动作的功能。
作为另一示例性实施例，在图15C的操作1551中，第一组件1501可以获取从自然语言以及设置根据条件要执行的动作的动作生成的语音信息和图像信息。
在操作1553中，第一组件1501可以将关于所获取的语音信息和图像信息的数据(或消息)发送到第二组件1502。例如，当第一组件1501调用API函数并且输入语音信息和图像信息作为数据参数值时，API函数可以将图像信息和语音信息发送到第二组件1502，作为要应用于数据识别模型的识别数据。
在操作1557，第二组件1502可以通过将接收的语音信息和图像信息应用于数据识别模型，来获取要根据条件检测的事件和根据动作的功能。
在操作1559中，第二组件1502可以将关于所获取的检测资源和执行资源的数据(或消息)发送到第一组件1501。
在操作1561中，如果使用所接收的检测资源检测到满足条件的至少一个事件，则第一组件1501可以使用所接收的执行资源来执行根据动作的功能。
在另一示例性实施例中，电子设备100的识别结果提供单元1020-4可以接收由服务器1300生成的识别模型，并且可以使用所接收的识别模型来确定情况。电子设备100的识别结果提供单元1020-4可以将由识别数据选择单元1020-3选择的数据应用于从服务器1300接收的数据识别模型以确定情况。例如，电子设备100可以从服务器1300接收数据识别模型并存储数据识别模型，并且可以将由识别数据选择单元1020-3选择的语音数据和图像数据应用于从服务器1300接收到的数据识别模型以根据情况确定信息(例如，条件和动作，根据条件的事件，根据动作的功能等)。
本公开不限于这些示例性实施例，因为构成本公开的示例性实施例的所有元素被描述为在一个操作中组合或操作。在本公开的范围内，所有元素可以选择性地耦合到它们中的一个或多个。尽管可以将所有组件实现为一个独立硬件，但是可以选择性地组合和实现组件中的一些或全部，并将其实现为具有程序模块的计算机程序，以在一个或多个硬件中执行部分或全部功能。
根据各种示例性实施例的设备的至少一部分(例如，其模块或功能)或方法(例如，操作)可以以程序模块的形式体现为存储在非暂时性计算机可读介质中的命令。当处理器(例如，处理器120)执行命令时，处理器可以执行与该命令相对应的功能。
在示例性实施例中，程序可以存储在计算机可读非暂时性记录介质中并由计算机读取和执行，从而实现本公开的示例性实施例。
在示例性实施例中，非暂时性可读记录介质是指半永久地存储数据并且能够由设备读取的介质，并且包括寄存器、高速缓存、缓冲器等，但是不包括包括如信号，电流等的传输媒体。
在示例性实施例中，上述程序可以存储在非暂时性可读记录介质中，例如CD、DVD、硬盘、蓝光盘、USB、内部存储器(例如，存储器110)、存储卡、ROM、RAM等。
另外，可以作为计算机程序产品来提供根据示例性实施例的方法。
计算机程序产品可以包括S/W程序，在其中存储S/W程序的计算机可读存储介质，或者在卖方和购买者之间交易的产品。
例如，计算机程序产品可以包括通过电子设备、电子设备的制造商或电子市场(例如，Google Play商店，App商店)以电子方式分发的S/W程序产品(例如，可下载的APP)。对于电子分发，软件程序的至少一部分可以存储在存储介质上或者可以临时创建。在这种情况下，存储介质可以是制造商或电子市场的服务器的存储介质，或中继服务器。
虽然已经参考本公开的各种示例性实施例示出并描述了本公开，但是本领域普通技术人员将理解，在不脱离本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。由所附权利要求及其等同物限定的公开内容。

Claims (15)

1.一种电子设备的控制方法，该方法包括：
获取根据条件设置要执行的动作的语音信息和图像信息，语音信息和图像信息是根据语音和行为生成的；
基于语音信息和图像信息，确定根据条件要检测的事件和根据动作要执行的功能；
确定至少一个检测资源以检测该事件；和
响应于检测到满足条件的事件的至少一个检测资源，根据该动作执行功能。
2.如权利要求1所述的方法，其中，确定所述至少一个检测资源包括：
检索预先安装的可用资源；和
在所检索的预先安装的可用资源中确定至少一个检测资源，以使用所述至少一个检测资源的检测功能来检测所述事件。
3.如权利要求1所述的方法，其中，所述至少一个检测资源是包括在电子设备中的模块或位于电子设备外部的外部设备。
4.如权利要求1所述的方法，还包括：
响应于确定的至少一个检测资源，将请求检测事件的控制信息发送到至少一个确定的检测资源。
5.如权利要求1所述的方法，还包括：
检索预先安装的可用资源；和
在所检索的预先安装的可用资源中确定至少一个执行资源，以使用所确定的至少一个执行资源的执行功能根据动作执行功能。
6.如权利要求5所述的方法，其中，根据动作执行功能包括：将控制信息发送到所确定的至少一个执行资源，用于所确定的至少一个执行资源根据动作执行功能。
7.如权利要求1所述的方法，其中，根据动作执行功能包括：
从检测资源接收检测事件的结果；和
基于接收到的检测结果根据动作执行功能。
8.如权利要求1所述的方法，还包括：响应于不存在检测事件的检测资源或者响应于检测资源不能检测事件，提供通知用户界面(UI)通知根据条件执行该动作是不可能的。
9.如权利要求1所述的方法，其中，确定要检测的事件包括：通过将语音信息和图像信息应用于使用学习算法生成的数据识别模型，根据用户的意图确定条件和动作。
10.如权利要求9所述的方法，其中，所述根据用户意图确定条件和动作还包括：
提供用于向用户标识条件和动作的通知用户界面(UI)。
11.一种电子设备，包括：
存储器；和
处理器，被配置为：
获取根据条件设置要执行的动作的语音信息和图像信息，语音信息和图像信息是根据语音和行为生成的；
基于语音信息和图像信息，确定根据条件要检测的事件和根据动作要执行的功能；
确定至少一个检测资源以检测该事件；和
响应于检测到满足条件的事件的至少一个确定的检测资源，根据该动作执行功能。
12.如权利要求11所述的电子设备，其中，处理器还被配置为：
响应于确定所述至少一个检测资源，检索预先安装的可用资源，以及
在所检索的预先安装的可用资源中确定至少一个检测资源，以使用所述至少一个检测资源的检测功能来检测所述事件。
13.如权利要求11所述的电子设备，其中，所述至少一个检测资源是包括在电子设备中的模块和位于电子设备外部的外部设备。
14.根据权利要求11所述的电子设备，其中，所述电子设备还包括：通信器，被配置为与所述至少一个检测资源通信，以及
其中，处理器还被配置为：响应于确定的至少一个检测资源，控制通信器将请求检测事件的控制信息发送到至少一个确定的检测资源。
15.如权利要求11所述的电子设备，其中，处理器还配置为：
检索预先安装的可用资源，以及
在所检索的预先安装的可用资源中，确定至少一个执行资源，以使用所确定的至少一个执行资源的执行功能根据动作执行功能。
CN201780081769.2A 2016-11-03 2017-11-01 电子设备及其控制方法 Active CN110121696B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2016-0145742 2016-11-03
KR20160145742 2016-11-03
KR1020170106127A KR20180049787A (ko) 2016-11-03 2017-08-22 전자 장치, 그의 제어 방법
KR10-2017-0106127 2017-08-22
PCT/KR2017/012271 WO2018084576A1 (en) 2016-11-03 2017-11-01 Electronic device and controlling method thereof

Publications (2)

Publication Number Publication Date
CN110121696A true CN110121696A (zh) 2019-08-13
CN110121696B CN110121696B (zh) 2022-10-14

Family

ID=62185697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081769.2A Active CN110121696B (zh) 2016-11-03 2017-11-01 电子设备及其控制方法

Country Status (3)

Country Link
EP (1) EP3523709B1 (zh)
KR (2) KR20180049787A (zh)
CN (1) CN110121696B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114013372A (zh) * 2021-10-19 2022-02-08 深圳市美通视讯科技有限公司 一种汽车电子外后视镜系统及控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084576A1 (en) 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
KR102213177B1 (ko) * 2018-06-14 2021-02-05 한양대학교 산학협력단 로봇에서의 음성인식 장치 및 방법
KR20200013162A (ko) 2018-07-19 2020-02-06 삼성전자주식회사 전자 장치 및 그의 제어 방법
US11628851B2 (en) 2019-07-11 2023-04-18 Lg Electronics Inc. Method and apparatus for controlling a vehicle in autonomous driving system
KR102302029B1 (ko) * 2020-11-23 2021-09-15 (주)펜타유니버스 인공지능 기반 복합 입력 인지 시스템

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
WO2010129056A2 (en) * 2009-05-07 2010-11-11 Romulo De Guzman Quidilig System and method for speech processing and speech to text
CN102945672A (zh) * 2012-09-29 2013-02-27 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
US20130127712A1 (en) * 2011-11-18 2013-05-23 Koji Matsubayashi Gesture and voice recognition for control of a device
CN103914032A (zh) * 2013-01-02 2014-07-09 Lg电子株式会社 中央控制器及其控制方法
US20150015690A1 (en) * 2013-07-10 2015-01-15 Hyeongseok ROH Electronic device and control method thereof
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置
CN105379299A (zh) * 2013-08-06 2016-03-02 三星电子株式会社 获取关于内容的信息的方法、使用该方法的图像显示设备和用于提供关于内容的信息的服务器系统
CN105446146A (zh) * 2015-11-19 2016-03-30 深圳创想未来机器人有限公司 基于语义分析的智能终端控制方法、系统及智能终端
CN105493440A (zh) * 2013-07-30 2016-04-13 三星电子株式会社 家用电器及其控制方法
US20160170710A1 (en) * 2014-12-12 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for processing voice input
CN105830048A (zh) * 2013-12-16 2016-08-03 纽昂斯通讯公司 用于提供虚拟助理的系统和方法
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102091003B1 (ko) * 2012-12-10 2020-03-19 삼성전자 주식회사 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
US20170017501A1 (en) * 2013-12-16 2017-01-19 Nuance Communications, Inc. Systems and methods for providing a virtual assistant

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
WO2010129056A2 (en) * 2009-05-07 2010-11-11 Romulo De Guzman Quidilig System and method for speech processing and speech to text
US20130127712A1 (en) * 2011-11-18 2013-05-23 Koji Matsubayashi Gesture and voice recognition for control of a device
US20150222948A1 (en) * 2012-09-29 2015-08-06 Shenzhen Prtek Co. Ltd. Multimedia Device Voice Control System and Method, and Computer Storage Medium
CN102945672A (zh) * 2012-09-29 2013-02-27 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
CN103914032A (zh) * 2013-01-02 2014-07-09 Lg电子株式会社 中央控制器及其控制方法
US20150015690A1 (en) * 2013-07-10 2015-01-15 Hyeongseok ROH Electronic device and control method thereof
CN105493440A (zh) * 2013-07-30 2016-04-13 三星电子株式会社 家用电器及其控制方法
CN105379299A (zh) * 2013-08-06 2016-03-02 三星电子株式会社 获取关于内容的信息的方法、使用该方法的图像显示设备和用于提供关于内容的信息的服务器系统
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别系统
CN105830048A (zh) * 2013-12-16 2016-08-03 纽昂斯通讯公司 用于提供虚拟助理的系统和方法
US20160170710A1 (en) * 2014-12-12 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for processing voice input
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置
CN105446146A (zh) * 2015-11-19 2016-03-30 深圳创想未来机器人有限公司 基于语义分析的智能终端控制方法、系统及智能终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114013372A (zh) * 2021-10-19 2022-02-08 深圳市美通视讯科技有限公司 一种汽车电子外后视镜系统及控制方法

Also Published As

Publication number Publication date
EP3523709A4 (en) 2019-11-06
EP3523709A1 (en) 2019-08-14
EP3523709B1 (en) 2023-05-03
KR20240032779A (ko) 2024-03-12
KR20180049787A (ko) 2018-05-11
CN110121696B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
US11908465B2 (en) Electronic device and controlling method thereof
CN110121696A (zh) 电子设备及其控制方法
US10606226B2 (en) Method for controlling an external device and an electronic device therefor
CN108292317B (zh) 问题和答案处理方法以及支持该方法的电子设备
US20210170585A1 (en) Robot reacting on basis of user behavior and control method therefor
US11954150B2 (en) Electronic device and method for controlling the electronic device thereof
CN108369808A (zh) 电子设备和用于控制该电子设备的方法
CN110546630A (zh) 用于提供信息的方法和支持该方法的电子装置
US11270565B2 (en) Electronic device and control method therefor
CN108023934A (zh) 电子装置及其控制方法
US11407106B2 (en) Electronic device capable of moving and operating method thereof
CN108664829A (zh) 用于提供与图像中对象有关的信息的设备
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
US11966317B2 (en) Electronic device and method for controlling same
CN109906457A (zh) 数据识别模型构建设备及其构建数据识别模型的方法，以及数据识别设备及其识别数据的方法
CN109272994A (zh) 话音数据处理方法以及支持该话音数据处理方法的电子装置
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
EP3819851A1 (en) Electronic device and method for controlling same
KR20200106657A (ko) 전자 장치 및 전자 장치의 제어 방법
US20190108086A1 (en) Diagnostic model generating method and diagnostic model generating apparatus therefor
KR20200028089A (ko) 전자 장치 및 그의 제어방법
US20230055329A1 (en) Systems and methods for dynamic choice filtering
CN112585911B (zh) 电子装置及其控制方法
KR102669026B1 (ko) 전자 장치 및 이의 제어 방법
KR20200089957A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant