CN113330392A - 用于确定包括多个动作的任务的电子装置和方法 - Google Patents

用于确定包括多个动作的任务的电子装置和方法 Download PDF

Info

Publication number
CN113330392A
CN113330392A CN202080010823.6A CN202080010823A CN113330392A CN 113330392 A CN113330392 A CN 113330392A CN 202080010823 A CN202080010823 A CN 202080010823A CN 113330392 A CN113330392 A CN 113330392A
Authority
CN
China
Prior art keywords
action
electronic device
processor
user
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080010823.6A
Other languages
English (en)
Other versions
CN113330392B (zh
Inventor
洪妍娥
金基范
吴永珉
李相浩
宋佳进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113330392A publication Critical patent/CN113330392A/zh
Application granted granted Critical
Publication of CN113330392B publication Critical patent/CN113330392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40411—Robot assists human in non-industrial environment like home or office
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40414—Man robot interface, exchange of information between operator and robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子装置。该电子装置可以包括：用户界面；可操作地连接到所述用户界面的处理器；以及可操作地连接到所述处理器的存储器，其中所述存储器可以存储指令，所述指令在被执行时，使所述处理器控制电子装置：通过所述用户界面接收输入；基于所述输入确定包括多个动作的任务；执行所确定的任务的多个动作中的第一动作；在执行所述第一动作时获得与所述任务有关的上下文信息；至少部分地基于所获得的上下文信息来确定与所述第一动作相关联的至少一个第一阈值；以及基于所述第一动作的执行完成，基于所述至少一个第一阈值来确定所述第一动作的结果。

Description

用于确定包括多个动作的任务的电子装置和方法
技术领域
本公开涉及用于确定包括多个动作的任务的电子装置和方法。
背景技术
随着数字技术的发展，诸如移动终端、智能手机、个人计算机、平板个人计算机、膝上型个人计算机、可穿戴装置、数码相机、或物联网(IoT)装置等的各种类型的电子装置得到了广泛应用。
近来，已经引入了布置在用户居住的空间中并向用户提供各种服务的电子装置。例如，已经出现了可以利用人工智能(AI)、IoT、或云计算与人类进行交互的社交机器人。
这些社交机器人可以提供能够实现自主和主动活动的智能服务，可以根据特定的社会角色来行动，遵守相应的规则，并与人类和其他物理对象进行交流。社交机器人可以支持多种功能，例如语音和面部识别、日程管理、拍照、或点餐。
发明内容
技术问题
移动社交机器人可以根据用户的指令改变其位置并执行多个动作以完成任务。然而，由于周围环境的影响，社交机器人可能会以不同的方式确定动作的结果是否成功。例如，社交机器人在明亮的环境中可能很容易地成功识别人类，但在黑暗环境中可能无法识别人类。
问题的解决方案
本公开的实施例提供了能够获得与任务有关的上下文信息，根据上下文信息动态地改变用于确定动作是否成功执行的阈值，并确定动作的结果是成功还是失败的电子装置。
根据本公开的各种示例实施例，提供了一种电子装置。所述电子装置可以包括：用户界面；处理器，所述处理器可操作地连接到所述用户界面；以及存储器，所述存储器可操作地连接到所述处理器，其中，所述存储器存储指令，所述指令在被执行时，使所述处理器控制所述电子装置：通过所述用户界面接收输入；基于所述输入确定包括多个动作的任务；执行所确定的任务的多个动作中的第一动作；在执行所述第一动作时获得与所述任务有关的上下文信息；至少部分地基于所获得的上下文信息来确定与所述第一动作相关联的至少一个第一阈值；以及基于所述第一动作的执行完成，基于所述至少一个第一阈值来确定所述第一动作的结果。
根据本公开的各种示例实施例，提供了一种用于确定包括多个动作的任务的方法。所述方法包括：通过用户界面接收输入；基于所述输入确定包括多个动作的任务；执行所确定的任务的所述多个动作中的第一动作；在执行所述第一动作时获得与所述任务有关的上下文信息；至少部分地基于所获得的上下文信息来确定与所述第一动作相关联的至少一个第一阈值；以及基于所述第一动作的执行完成，基于所述至少一个第一阈值来确定所述第一动作的结果。
发明的有益效果
在本公开的各种示例实施例中，电子装置可以根据环境自适应地确定执行动作的结果，并且可以提高任务的成功率和准确度。
附图说明
本公开的某些实施例的上述和其他方面、特征和优点将从以下结合附图的详细描述中更加明显，其中：
图1是示出根据各种实施例的网络环境中的示例电子装置的框图；
图2是示出根据各种实施例的示例软件的框图；
图3是示出根据各种实施例的用于确定包括多个动作的任务的示例方法的流程图；
图4A是示出根据各种实施例的其中用户输入包括用户的话语的示例的示图；
图4B是示出根据各种实施例的其中用户输入包括用户的图像的示例的示图；
图5是示出根据各种实施例的示例任务的示图；
图6是示出根据各种实施例的用于确定要按顺序执行的动作的示例方法的流程图；
图7是示出根据各种实施例的用于执行任务的示例方法的流程图；
图8A是示出根据实施例的执行任务的示例过程的示图；
图8B是示出根据实施例的用于识别目标对象的示例方法的流程图；
图9是示出根据实施例的执行任务的示例过程的示图；以及
图10是示出根据实施例的执行任务的示例过程的示图。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据本公开的各种实施例的示例软件的框图。参照图2，电子装置的软件可以包括用于控制一个或更多个资源的操作系统(OS)142、中间件144、智能框架230或内部存储装置220。操作系统142可以包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。至少一些软件程序可以例如在制造时预加载到电子装置中，或者可以在被用户使用时从外部电子装置(例如，电子装置102或103，或服务器108)下载或更新。
操作系统142可以控制或管理(例如，分配或回收)电子装置的一个或更多个系统资源(例如，程序、内存或电力)。操作系统142可以另外地或替代地包括一个或更多个装置驱动器215以驱动电子装置101的其他硬件组件，例如输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块196、或天线模块197。
中间件144可以通过使用经过信号处理的数据来检测和跟踪用户面部的位置或者基于面部识别来执行认证。中间件144可以执行各种功能，例如，对用户的3D手势的识别、对音频信号的到达方向(DOA)的估计、语音识别和各种传感器数据的处理。中间件144可以包括例如手势识别管理器201、面部检测/跟踪/识别管理器203、传感器信息处理管理器205、对话引擎管理器207、语音合成管理器209、声源跟踪管理器211、或语音识别管理器213。
智能框架230可以包括例如多模态融合块231、用户模式学习块233或行为控制器块235。多模态融合块231可以例如收集和管理由中间件144处理的各种类型的信息。用户模式学习块233可以例如通过使用多模态融合块231的信息提取和学习有意义的信息，例如用户的生活模式和偏好。行为控制器块235可以使用例如电机241、显示器243或扬声器阵列245在移动、图形(UI/UX)、光、语音或声音方面来表现将由电子装置反馈给用户的信息。
内部存储装置220可以包括例如用户模型DB 221、行为模型DB 223或语音模型DB225。用户模型DB 221可以存储，例如，由智能框架为每个用户学习的信息。行为模型DB 223可以存储，例如，用于电子装置的行为控制的信息。存储在每个DB中的信息可以存储在例如无线网络DB 210(例如，云)中以用于共享。
图3是示出根据各种实施例的用于确定包括多个动作的任务的示例方法的流程图。
参照图3，在各种实施例中，在操作310，电子装置101的处理器120可以通过用户界面接收输入，例如用户输入。
在各种实施例中，用户界面可以包括麦克风或相机中的至少一个。例如，处理器120可以利用麦克风(例如，输入装置150)和/或相机(例如，相机模块180)来获得用户的话语和/或用户的图像。
在示例实施例中，处理器120可以响应于检测到特定事件来确定包括多个动作的任务。
图4A示出了根据各种实施例的其中用户输入包括用户的话语的示例。
参照图4A，在各种实施例中，处理器120可以将用户401的话语识别为用户输入。在示例实施例中，用户的话语可以包括各种信息。例如，如果用户说“REDI，去婴儿室，当婴儿醒来时告诉我！”，处理器120可以将用户话语中的“REDI”识别为对电子装置101的调用。此外，处理器120可以识别“去婴儿房，当婴儿醒来时告诉我！”并且可以确定包括“寻找婴儿房”、“寻找婴儿”、“监视婴儿”、“当婴儿醒来时通知用户”等各种动作的任务。
图4B示出根据各种实施例的用户输入包括用户的图像的示例。
参照图4B，在各种实施例中，处理器120可以将用户411的图像识别为用户输入。在示例实施例中，用户411的图像可以包括各种信息。例如，电子装置101可以检查图像中的用户411是否做出特定手势或执行特定动作，并可以确定是否将该手势或动作识别为对电子装置101的调用。作为另一示例，电子装置101可以利用用户的图像来识别用户的状态(例如，锻炼)。在某个实施例中，电子装置101可以基于用户的状态执行特定操作(例如，锻炼指导)。
返回参照图3，在各种实施例中，在操作320，电子装置101的处理器120可以基于用户输入确定包括多个动作的任务。任务中的多个动作中的至少一些动作可以彼此相互关联以形成树状结构。可以根据处理器120的控制来顺序地或选择性地执行树状结构中的每个动作。
在各种实施例中，处理器120可以在确定任务之前首先获得上下文信息，并基于所获得的上下文信息确定任务。例如，在移动电子装置101的情况下，可以根据电子装置101的位置信息不同地确定任务。处理器120可以识别电子装置101的位置信息并且至少部分地基于识别出的位置信息来确定任务。例如，一旦接收到用户输入“REDI，去婴儿房，当婴儿醒来时告诉我！”，处理器120至少部分地基于电子装置101的当前位置信息，可以包括“寻找婴儿房”或者可以不包括“寻找婴儿房”。例如，当电子装置101位于婴儿房中时，可以从任务中忽略“寻找婴儿房”。
图5是示出根据各种实施例的示例任务的示图。
参照图5，任务可以包括多个动作。任务的多个动作中的至少一些动作可以彼此相互关联以形成树状结构。例如，首先要执行的动作#1(511)与动作#2(513)和动作#3(515)相关联，动作#2(513)可以与动作#4(516)和动作#5(517)相关联，并且动作#3(515)可以与动作#6(518)和动作#7(519)相关联。
在各种实施例中，处理器120可以基于与正在执行的动作对应的阈值来确定接下来要执行的动作。例如，处理器120可以计算已经完成的动作的分数并根据该分数是否满足对应的阈值来确定接下来要执行的动作。
在各种实施例中，多个动作可以各自具有对应的阈值。例如，动作#1(511)可以有动态阈值#1(521)，动作#2(513)可以有动态阈值#2(523)，动作#3(515)可以有动态阈值#3(525)。
在示例实施例中，动作可以具有多个阈值。例如，动作#1(511)可以有两个或更多个阈值。在这种情况下，动作#1(511)可以与三个或更多个动作相关联，并且处理器120可以基于多个阈值的组合来确定接下来要执行的动作。在各种实施例中，阈值可以根据上下文信息动态地改变。
返回参照图3，在各种实施例中，在操作330，电子装置101的处理器120可以执行所确定的任务的多个动作中的第一动作。例如，一旦接收到用户输入“REDI，去婴儿房，当婴儿醒来时告诉我！”，处理器120可以执行动作“寻找婴儿房”作为第一动作。
在操作340，电子装置101的处理器120可以在执行第一动作的同时获得与任务有关的上下文信息。
在各种实施例中，上下文信息可以包括存储在存储器(例如，存储器130)或外部电子装置(例如，电子装置102、电子装置104、或服务器108)中的历史信息、通过传感器(例如，传感器模块178)获得的环境信息、或用户信息中的至少一项。环境信息可以包括例如电子装置周围的亮度信息、温度信息、湿度信息和位置信息。用户信息可以包括例如关于用户的年龄、性别、身高、运动、面部图像或面部表情的信息。
在各种实施例中，处理器120可以获得与第一动作和/或与第一动作相关联的动作有关的上下文信息。例如，参照图5，处理器120在执行动作#1(511)时可以获得与动作#1(511)、动作#2(513)或动作#3(515)中的至少一个有关的上下文信息。该上下文信息可以用于动态地改变与每个动作对应的阈值(例如，动态阈值#1(521)、动态阈值#2(523)或动态阈值#3(525))。例如，当第一动作是“寻找婴儿房”时，处理器120可以识别与“寻找婴儿房”相关联的动作“寻找婴儿”，并且可以获得与婴儿房有关的历史信息以及关于婴儿房当前亮度、婴儿面部和/或婴儿大小的信息作为上下文信息。
在各种实施例中，在操作350，电子装置101的处理器120可以至少部分地基于所获得的上下文信息来确定与第一动作相关联的至少一个第一阈值。
在示例实施例中，如果第一动作是“寻找婴儿房”，则可以将寻找婴儿房所需的时间T1预设为阈值(例如，30秒)。预设时间T1可以根据在第一动作执行期间所获得的上下文信息来动态地改变。例如，处理器120可以在执行“寻找婴儿房”的同时获得历史信息，并且可以检查历史信息中是否存在关于婴儿房的预存信息。如果婴儿房从未被访问过，则处理器120可以增加时间T1的值(例如，60秒)。如果存在关于婴儿房的一些信息，则处理器120可以减小时间T1的值(例如，20秒)或保持其当前值(例如，30秒)不变。
在各种实施例中，在操作360，当第一动作的执行完成时，电子装置101的处理器120可以基于至少一个第一阈值来确定执行第一动作的结果。
例如，如果第一动作为“寻找婴儿房”，则处理器120可以基于随着上下文信息动态地发生改变的时间T1(例如，60秒、30秒或20秒)来确定第一动作是否执行成功。例如，当已经花费了40秒寻找婴儿房时，如果T1被改成60秒则可以返回“成功”，如果T1被改成30秒或20秒，则可以返回“失败”。
图6是示出根据各种实施例的用于确定要按顺序执行的动作的示例方法的流程图。可以例如在图3的操作360之后执行图6的操作。
参照图6，在各种实施例中，在操作610，电子装置101的处理器120可以基于执行第一动作的结果来确定多个动作中的与第一动作相关联的第二动作。例如，当第一动作是“寻找婴儿房”时，如果返回“成功”作为第一动作的结果，则处理器120可以确定执行动作“寻找婴儿”，如果返回“失败”，则处理器120可以确定执行动作“寻找另一个房间”或“通知任务失败”。
在各种实施例中，在操作620，电子装置101的处理器120可以至少部分地基于所获得的上下文信息来确定与第二动作有关的至少一个第二阈值。例如，当第一动作是“寻找婴儿房”时，处理器120可以在执行动作“寻找婴儿房”的同时获得关于婴儿房的当前亮度、婴儿的脸和/或婴儿的大小等信息作为上下文信息。一旦将“寻找婴儿”确定为第二动作，处理器120可以根据上下文信息来动态地改变在确定任务时预设的面部匹配率F1。
在各种实施例中，在操作630，当第二动作的执行完成时，电子装置101的处理器120可以基于至少一个第二阈值来确定执行第二动作的结果。
例如，当第二动作是“寻找婴儿”时，处理器120可以基于面部匹配率F1来确定第二动作是否成功，该面部匹配率F1可以根据上下文信息动态地改变。
图7是示出根据各种实施例的用于执行任务的示例方法的流程图。
参照图7，电子装置101的处理器120可以确定包括多个动作的任务。例如，该任务可以包括第一动作、第二动作和第三动作，并且第一动作可以与第二动作和/或第三动作相关联。
在操作711，电子装置101的处理器120可以执行任务的第一动作。在各种实施例中，处理器120可以在执行第一动作的同时获得与第一动作、第二动作或第三动作中的至少一个相关的上下文信息。该上下文信息可以包括例如历史信息、环境信息和用户信息。
在操作713，电子装置101的处理器120可以确定与第一动作相关联(例如，与第一动作有关)的第一阈值。在各种实施例中，处理器120可以根据所获得的上下文信息来动态地改变在确定任务时预先设置的第一阈值。
在操作715，电子装置101的处理器120可以确定执行第一动作的结果。例如，处理器120可以基于动态地改变的第一阈值来确定第一动作的结果。
在操作717，电子装置101的处理器120可以检查(确定)是否已成功执行了第一动作。例如，如果满足(例如，超过)第一阈值，则处理器120可以确定成功地执行了第一动作，如果不满足(例如，不超过)第一阈值，则可以确定没有成功地执行第一动作。
一旦确定成功地执行了第一动作(操作717处的“是”)，在操作719，电子装置101的处理器120可以执行第二动作。在各种实施例中，处理器120可以在执行第二动作的同时获得与第二动作或与第二动作相关联的另一动作中的至少一个动作相关的上下文信息。
在操作721，电子装置101的处理器120可以确定与第二动作有关的第二阈值。在各种实施例中，处理器120可以根据在第一动作执行期间获得的上下文信息和/或在第二动作执行期间获得的上下文信息，来动态地改变在确定任务时预先设置的第二阈值。
在操作723，电子装置101的处理器120可以确定执行第二动作的结果。例如，处理器120可以基于动态地改变的第二阈值来确定第二动作的结果。
一旦确定没有成功地执行第一动作时(操作717处的“否”)，在操作725，电子装置101的处理器120可以执行第三动作。在各种实施例中，处理器120可以在执行第三动作的同时获得与第三动作或与第三动作相关联的另一动作中的至少一个动作相关的上下文信息。
在操作727，电子装置101的处理器120可以确定与第三动作有关的第三阈值。在各种实施例中，处理器120可以根据在第一动作执行期间获得的上下文信息和/或在第三动作执行期间获得的上下文信息，来动态地改变在确定任务时预先设置的第三阈值。
在操作729，电子装置101的处理器120可以确定执行第三动作的结果。例如，处理器120可以基于动态地改变的第三阈值来确定第三动作的结果。
图8A是示出根据实施例的执行任务的示例过程的示图。
图8A描绘了在用户说“REDI，去婴儿室，当孩子醒来时告诉我！”时确定的任务。在检查了用户输入之后，处理器120可以确定包括诸如“寻找婴儿房”、“寻找婴儿”、“寻找另一个房间”、“监视婴儿”“当婴儿醒来时通知用户”等的各种动作的任务。
在各种实施例中，处理器120可以执行动作“寻找婴儿房”(811)作为第一动作。处理器120可以根据动作“寻找婴儿房”(811)的结果来识别，可以执行动作“寻找婴儿”(813)还是动作“寻找另一个房间”(815)。处理器120可以获得与动作“寻找婴儿房”(811)、动作“寻找婴儿”(813)、和/或动作“寻找另一个房间”(815)有关的上下文信息，例如与婴儿房有关的历史信息、关于婴儿房的亮度的信息，和/或关于婴儿的面部和婴儿的大小的信息。
在各种实施例中，处理器120可以动态地改变分配给动作“寻找婴儿房”的动态阈值#1(821)。例如，当通过寻找婴儿房所需的时间T1(例如，30秒)给出动态阈值#1(821)时，处理器120可以在执行动作“寻找婴儿房”的同时获得历史信息并且可以检查历史信息中是否有预存的关于婴儿房的信息。如果婴儿房从未被访问过，则处理器120可以增加时间T1的值(例如，60秒)。如果有关于婴儿房的一些信息，则处理器120可以减小时间T1的值(例如，20秒)或保持其当前值(例如，30秒)不变。
在各种实施例中，处理器120可以基于动态地改变的动态阈值#1(821)来确定执行动作“寻找婴儿房”(811)的结果，并且可以基于执行结果来确定接下来要执行的动作。例如，如果返回“成功”作为“寻找婴儿房”(811)的结果，则处理器120可以确定执行动作“寻找婴儿”(813)，并且如果返回“失败”，则处理器120可以确定执行动作“寻找另一个房间”(815)。
在各种实施例中，处理器120可以动态地改变分配给动作“寻找婴儿”(813)的动态阈值#2(823)。动态阈值#2(823)可以包括例如寻找婴儿所需的时间T2和面部匹配率F1。在示例实施例中，处理器120可以在执行动作“寻找婴儿”(813)之前或执行动作“寻找婴儿”(813)期间获得关于婴儿的大小(例如，婴儿躺下时的长度)、婴儿的面部的大小、以及婴儿先前睡觉时的位置的信息作为上下文信息。由此获得的上下文信息可以用于动态地改变动态阈值#2。
在示例实施例中，处理器120可以基于关于婴儿房的当前亮度的信息来动态地改变面部匹配率F1(例如，70％)。处理器120可以根据婴儿房是明亮还是黑暗来将面部匹配率F1设置为不同的值。例如，当婴儿房较暗时，由于难以识别婴儿的面部，所以面部匹配率F1可以降低到50％。在这种情况下，如果作为动作“寻找婴儿”的结果发现了面部匹配率为60％的对象，则处理器120可以在明亮环境中返回“失败”，并且可以在黑暗环境中返回“成功”。
图8B是示出根据实施例的用于识别目标对象的示例方法的流程图。
参照图8B，在各种实施例中，在操作841，为了面部识别，电子装置101的处理器120可以存储包括目标对象和至少一个噪声图像的至少一个参考图像，其是包括噪声的参考图像的版本。
在各种实施例中，在操作843，电子装置101的处理器120可以将参考图像和噪声图像划分为多个区域并且获得每个区域的特征向量。例如，处理器120可以利用主成分分析(PCA)或线性判别分析(LDA)来获得特征向量。
在各种实施例中，在操作845，电子装置101的处理器120可以基于特征向量来获得目标对象的面部概率模型。
在各种实施例中，在操作847，电子装置101的处理器120可以获得诸如亮度信息、目标对象的大小信息、或目标对象的面部大小信息等的上下文信息，并且可以基于所获得的上下文信息来动态地改变至少一个阈值。例如，在黑暗环境中，处理器120可以将与面部识别相关联的阈值设置为小于预设值的值。
在各种实施例中，在操作849，电子装置101的处理器120可以基于面部概率模型和动态地改变的阈值来确定识别出的对象与目标对象之间的相似度。例如，可以将目标对象的面部概率模型与相机拍摄的对象的图像信息进行比较，来确定该对象是否与目标对象相似。
图9是示出根据实施例的执行任务的示例过程的示图。
图9描绘了向用户推荐锻炼的任务。例如，响应于用户输入或指定事件，处理器120可以确定推荐锻炼的任务并根据所确定的任务来推荐锻炼。
在各种实施例中，处理器120可以基于上下文信息来确定首先要推荐的第一锻炼。例如，当用户第一次使用电子装置101锻炼时，处理器120可以使用相机检查用户的身体信息(例如，身高、体型、预期年龄和性别)，并且可以因此确定第一锻炼。如果没有关于用户的信息，则处理器120可以动态地改变与用户识别相关的阈值，例如面部识别率或对象识别率。例如，可以将面部识别率和/或对象识别率设置为大于默认值的值，从而可以获得准确的用户信息。在某个实施例中，处理器120可以使用用户的历史信息来确定适合用户的第一锻炼。例如，如果已经存储了关于用户的信息，则处理器120可以将用户喜欢的锻炼确定为第一锻炼。
在各种实施例中，处理器120可以执行第一动作“推荐第一锻炼”(911)。此后，处理器120可以确定用户是否执行了第一锻炼并且获得与任务的至少一些表现有关的上下文信息。上下文信息可以与用户执行第一锻炼有关。例如，处理器120可以获得诸如用户在锻炼结束时的反馈、用户的面部表情、放弃信息、第一锻炼的内容类型等的上下文信息。
在各种实施例中，处理器120可以基于所获得的上下文信息来改变动态阈值#1(921)。在示例实施例中，动态阈值#1(921)可以与锻炼反馈的时间间隔相关联。例如，处理器120可以预先配置为在指定时间段(例如，60秒)之后给出锻炼反馈(例如，“你做得很好”)。处理器120可以获得关于用户执行第一锻炼时的表情或声音的信息作为上下文信息，并且可以根据上下文信息来改变用于锻炼反馈的时间间隔。例如，与当用户的面部表情或手势表示“兴奋”或“有趣”时相比，当用户的面部表情或手势表示“疲倦”或“困难”时，可以改变锻炼反馈的时间间隔以给出更频繁的反馈(例如，40秒)。
在示例实施例中，动态阈值#1(921)可以与锻炼反馈的内容相关联。例如，处理器120可以被预先配置为当用户执行锻炼指定次数(例如，十次)时给出锻炼反馈(例如，“重复三次”)。处理器120可以获得关于用户执行第一锻炼时的表情或手势的信息作为上下文信息，并且可以根据上下文信息来改变锻炼反馈的内容。例如，处理器120可以根据上下文信息提供“再一次”或“进行下一步”的锻炼反馈。
图10是示出根据实施例的执行任务的示例过程的示图。
图10描绘了接收到“REDI，蝴蝶用英语怎么说”作为用户输入的情况。处理器120可以基于用户输入将“输出英语单词”(1011)确定为第一动作。例如，处理器120可以通过扬声器和/或显示器向用户提供单词“butterfly”。
在各种实施例中，处理器120可以获得上下文信息。例如，处理器120可以获得用户信息以确定用户是成人还是儿童。例如，处理器120可以通过检查用户是否可以读出或念出“butterfly”来确定用户是成人还是儿童。
在各种实施例中，如果用户被确定为儿童，则处理器120可以执行动作#2(1013)，并且如果用户被确定为成人，则处理器120可以执行结束动作1015。动作#2(1013)可以包括反馈“你能重复一下吗？”。在示例实施例中，动作#2(1013)可以具有动态阈值#2(1023)。处理器120可以基于动态阈值#2(1023)来确定是否成功执行了动作#2(1013)。例如，如果返回“成功”作为动作#2(1013)的结果，则处理器可以执行动作#3(1017)，如果返回“失败”作为动作#2(1013)的结果，则处理器可以执行动作#4(1019)。在示例实施例中，动作#3(1017)可以具有动态阈值#3(1027)，并且动作#4(1019)可以具有动态阈值#4(1029)。
本文公开的根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如但不限于：便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置、家用电器等。但是，电子装置不限于上述装置。
应该理解的是，本文公开的各种实施例以及使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括其各种改变、等同或替换。
在本公开中，单数形式的“一个”、“一种”和“该”应包括复数形式，除非上下文另外明确指出。
在本公开中，“A或B”、“A和/或B中的至少一个”、“A、B或C”、“A、B和/或C中的至少一个”这样的表达可以表示所列项目的所有可能的组合。
“第1”和“第2”或者“第一”和“第二”的术语可以指的是各种元件，而无论其重要性或顺序，并且用于将一个元件与另一元件进行区分。将理解的是，当一个元件(例如，第一元件)被称为(可操作地或可通信地)与另一元件(例如，第二元件)耦合/耦合到该另一元件(例如，第二元件)，或者与另一元件(例如，第二元件)连接/连接到该另一元件(例如，第二元件)，则它可以与所述另一元件直接(例如，有线地)耦合、与所述另一元件无线耦合、或经由第三元件与所述另一元件耦合，或者直接(例如，有线地)耦合到所述另一元件、无线耦合到所述另一元件、或经由第三元件耦合到所述另一元件，或者所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接，或者直接(例如，有线地)连接到所述另一元件、无线连接到所述另一元件、或经由第三元件连接到所述另一元件。
在本公开中，术语“模块”可以指的是以硬件、软件或固件实现的某一单元。术语“模块”可以与术语例如“逻辑”、“逻辑块”、“部件”或“电路”可互换地使用。模块可以是单个集成部件的最小单元或部分。模块可以是最小单元或其部分。例如，可以以应用专用集成电路(ASIC)的形式来实现模块。
可以将本公开的各种实施例实现为包括存储在机器可读存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的指令的软件(例如，程序140)。例如，所述处理器(例如，处理器120)可以从存储介质中获取存储的指令并运行所述获取的指令。这使得所述机器能够根据获取的指令执行获取的功能。所述指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据本文公开的各种实施例的方法可以提供为计算机程序产品。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者通过应用商店(例如，Play StoreTM)直接在两个用户装置(例如，智能电话)之间在线发布(例如，下载或上传)计算机程序产品。对于在线发布，计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品临时创建在存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件可包括一个或更多个元件。可省略存在的部件，或者可添加新的部件。可选择地或者另外地，可将多个部件中的一些部件集成为单个实体，但是仍然维持相同的功能。由模块、程序或另一部件支持的操作可顺序地、并行地、重复地或以启发式方式来执行。一些操作可按照不同的顺序来执行或可以被省略，或者可添加新的操作。
虽然已经示出和描述了各种示例实施例，但是应当理解的是，示例实施例旨在是说明性的，而不是限制性的。在不脱离包括所附权利要求及其等同物的本公开的真实精神和完整范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，所述电子装置包括：
用户界面；
处理器，所述处理器可操作地连接到所述用户界面；以及
存储器，所述存储器可操作地连接到所述处理器，
其中，所述存储器被配置为存储指令，所述指令在被执行时，使所述处理器控制所述电子装置：
通过所述用户界面接收输入；
基于所述输入确定包括多个动作的任务；
执行所确定的任务的多个动作中的第一动作；
在执行所述第一动作时获得与所述任务有关的上下文信息；
至少部分地基于所获得的上下文信息来确定与所述第一动作相关联的至少一个第一阈值；以及
基于所述第一动作的执行完成，基于所述至少一个第一阈值来确定所述第一动作的结果。
2.根据权利要求1所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置，基于所述第一动作的结果在所述多个动作中选择与所述第一动作相关联的第二动作。
3.根据权利要求2所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置，至少部分地基于所获得的上下文信息来确定与所述第二动作相关联的至少一个第二阈值。
4.根据权利要求3所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置，基于所述第二动作的执行完成，基于所述至少一个第二阈值来确定所述第二动作的结果。
5.根据权利要求1所述的电子装置，其中，所述上下文信息包括存储在所述存储器或外部电子装置中的历史信息、使用所述电子装置的传感器获得的环境信息、或用户信息中的至少一种信息。
6.根据权利要求1所述的电子装置，其中，所述用户界面包括麦克风或相机中的至少一个，其中所述输入包括用户的话语或图像中的至少一个。
7.根据权利要求6所述的电子装置，其中，所述话语至少包括用于调用所述电子装置的命令。
8.根据权利要求6所述的电子装置，其中，所述用户的图像包括用于调用所述电子装置的手势或运动中的至少一个。
9.根据权利要求6所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置，基于所述用户的图像来识别所述用户的状态。
10.根据权利要求1所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
在确定所述任务之前识别所述电子装置的位置信息；以及
至少部分地基于识别出的位置信息来确定所述任务。
11.一种确定包括多个动作的任务的方法，所述方法包括：
通过用户界面接收输入；
基于所述输入确定包括多个动作的任务；
执行所确定的任务的多个动作中的第一动作；
在执行所述第一动作时获得与所述任务有关的上下文信息；
至少部分地基于所获得的上下文信息来确定与所述第一动作相关联的至少一个第一阈值；以及
基于所述第一动作的执行完成，基于所述至少一个第一阈值来确定所述第一动作的结果。
12.根据权利要求11所述的方法，所述方法还包括基于所述第一动作的结果在所述多个动作中选择与所述第一动作相关联的第二动作。
13.根据权利要求12所述的方法，所述方法还包括至少部分地基于所获得的上下文信息来确定与所述第二动作相关联的至少一个第二阈值。
14.根据权利要求13所述的方法，所述方法还包括基于所述第二动作的执行完成，基于所述至少一个第二阈值来确定所述第二动作的结果。
15.根据权利要求11所述的方法，其中，所述上下文信息包括历史信息、环境信息、用户信息中的至少一种信息。
CN202080010823.6A 2019-01-30 2020-01-29 用于确定包括多个动作的任务的电子装置和方法 Active CN113330392B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190011817A KR20200094396A (ko) 2019-01-30 2019-01-30 전자 장치 및 복수의 액션들을 포함하는 태스크를 결정하는 방법
KR10-2019-0011817 2019-01-30
PCT/KR2020/001335 WO2020159217A1 (en) 2019-01-30 2020-01-29 Electronic device and method for determining task including plural actions

Publications (2)

Publication Number Publication Date
CN113330392A true CN113330392A (zh) 2021-08-31
CN113330392B CN113330392B (zh) 2024-03-05

Family

ID=71732577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010823.6A Active CN113330392B (zh) 2019-01-30 2020-01-29 用于确定包括多个动作的任务的电子装置和方法

Country Status (5)

Country Link
US (1) US11599070B2 (zh)
EP (1) EP3887927A4 (zh)
KR (1) KR20200094396A (zh)
CN (1) CN113330392B (zh)
WO (1) WO2020159217A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101221A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 사용자 입력 처리 방법 및 이를 지원하는 전자 장치
US11410034B2 (en) * 2019-10-30 2022-08-09 EMC IP Holding Company LLC Cognitive device management using artificial intelligence
CN111124332B (zh) * 2019-11-18 2024-03-01 北京小米移动软件有限公司 设备呈现内容的控制方法、控制装置及存储介质
CN112257491B (zh) * 2020-08-20 2021-12-24 江苏正赫通信息科技有限公司 自适应调度人脸识别和属性分析方法及装置
KR102402853B1 (ko) * 2020-08-27 2022-05-26 주식회사 엘지유플러스 스탠드얼론 자동실행 및 스탠드얼론 동시실행 서비스 제공 장치 및 그 방법
CN112581981B (zh) * 2020-11-04 2023-11-03 北京百度网讯科技有限公司 人机交互方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195664A1 (en) * 1999-04-07 2003-10-16 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US20060217837A1 (en) * 2005-03-23 2006-09-28 Kabushiki Kaisha Toshiba Robot device, movement method of robot device, and program
US20100125816A1 (en) * 2008-11-20 2010-05-20 Bezos Jeffrey P Movement recognition as input mechanism
US20150231784A1 (en) * 2012-03-23 2015-08-20 Irobot Corporation Robot controller learning system
US20180005625A1 (en) * 2016-06-29 2018-01-04 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus
US20180253202A1 (en) * 2017-03-06 2018-09-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling application thereof
US20180278820A1 (en) * 2014-07-01 2018-09-27 Brain Corporation Optical detection apparatus and methods
CN108700943A (zh) * 2016-02-17 2018-10-23 三星电子株式会社 电子装置和控制电子装置的操作的方法
US10131052B1 (en) * 2014-10-02 2018-11-20 Brain Corporation Persistent predictor apparatus and methods for task switching
CN109196447A (zh) * 2016-03-31 2019-01-11 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
US20190019066A1 (en) * 2011-07-05 2019-01-17 Bernard Fryshman Induction detector systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
JP6706741B2 (ja) 2015-09-16 2020-06-10 パナソニックＩｐマネジメント株式会社 ロボットの衝突検出方法
KR20170095583A (ko) * 2016-02-15 2017-08-23 한국전자통신연구원 로봇의 적응적 작업 계획 생성 장치 및 방법
US10218906B2 (en) 2017-03-22 2019-02-26 Htc Corporation Camera device and method for camera device
US10452842B2 (en) * 2017-06-07 2019-10-22 International Business Machines Corporation Cognitive learning to counter security threats for kinematic actions in robots
KR102012968B1 (ko) * 2018-08-07 2019-08-27 주식회사 서큘러스 인터렉션 로봇의 제어 방법 및 제어 서버

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195664A1 (en) * 1999-04-07 2003-10-16 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US20060217837A1 (en) * 2005-03-23 2006-09-28 Kabushiki Kaisha Toshiba Robot device, movement method of robot device, and program
US20100125816A1 (en) * 2008-11-20 2010-05-20 Bezos Jeffrey P Movement recognition as input mechanism
US20190019066A1 (en) * 2011-07-05 2019-01-17 Bernard Fryshman Induction detector systems
US20150231784A1 (en) * 2012-03-23 2015-08-20 Irobot Corporation Robot controller learning system
US20180278820A1 (en) * 2014-07-01 2018-09-27 Brain Corporation Optical detection apparatus and methods
US10131052B1 (en) * 2014-10-02 2018-11-20 Brain Corporation Persistent predictor apparatus and methods for task switching
CN108700943A (zh) * 2016-02-17 2018-10-23 三星电子株式会社 电子装置和控制电子装置的操作的方法
CN109196447A (zh) * 2016-03-31 2019-01-11 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
US20180005625A1 (en) * 2016-06-29 2018-01-04 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus
US20180253202A1 (en) * 2017-03-06 2018-09-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling application thereof

Also Published As

Publication number Publication date
US20200241486A1 (en) 2020-07-30
EP3887927A4 (en) 2022-04-27
WO2020159217A1 (en) 2020-08-06
KR20200094396A (ko) 2020-08-07
EP3887927A1 (en) 2021-10-06
CN113330392B (zh) 2024-03-05
US11599070B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
CN113330392B (zh) 用于确定包括多个动作的任务的电子装置和方法
US10931880B2 (en) Electronic device and method for providing information thereof
US11416080B2 (en) User intention-based gesture recognition method and apparatus
US11531835B2 (en) Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof
US10345924B2 (en) Method for utilizing sensor and electronic device implementing same
US11216655B2 (en) Electronic device and controlling method thereof
US11442554B2 (en) Electronic device and method for recommending word in same
US11455833B2 (en) Electronic device for tracking user activity and method of operating the same
US20210200189A1 (en) Method for determining movement of electronic device and electronic device using same
US11363189B2 (en) Apparatus and method for recognizing voice and face on basis of change in camera driving method
US11308953B2 (en) Speech recognition method and electronic device for supporting the same
US20220351041A1 (en) Device and method using machine learning model shared by plurality of applications
US11113215B2 (en) Electronic device for scheduling a plurality of tasks and operating method thereof
US11263564B2 (en) Mobile service robots scheduling utilizing merged tasks
US20200244750A1 (en) System for processing user data and controlling method thereof
US20220101650A1 (en) Method for recognizing object by using millimeter wave and electronic device supporting same method
US11443135B2 (en) Method for monitoring object and electronic device for supporting the same
KR102539947B1 (ko) 사용자를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
US20220055223A1 (en) Electronic device for providing reaction on basis of user state and operating method therefor
US20210064148A1 (en) Electronic device for recognizing user's gesture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant