CN110546630A - 用于提供信息的方法和支持该方法的电子装置 - Google Patents

用于提供信息的方法和支持该方法的电子装置 Download PDF

Info

Publication number
CN110546630A
CN110546630A CN201880023225.5A CN201880023225A CN110546630A CN 110546630 A CN110546630 A CN 110546630A CN 201880023225 A CN201880023225 A CN 201880023225A CN 110546630 A CN110546630 A CN 110546630A
Authority
CN
China
Prior art keywords
user
information
electronic device
control module
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880023225.5A
Other languages
English (en)
Other versions
CN110546630B (zh
Inventor
刘容周
具滋旻
刘承勳
权起莹
金淇元
金恩英
金智民
金铁贵
金泂佑
南宫銂
朴志贤
吴繐璂
李东奎
李林成
李钻远
张时学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110546630A publication Critical patent/CN110546630A/zh
Application granted granted Critical
Publication of CN110546630B publication Critical patent/CN110546630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0257—User requested
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Acoustics & Sound (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开一种电子装置和一种方法。电子装置包括麦克风、相机、输出装置、存储器和处理器。处理器实施方法，方法包括：接收语音输入和/或捕获图像；以及分析第一语音输入或图像以基于预定义关键词和表达确定用户意图、情绪和情况中的至少一个；基于输入识别类别；基于类别选择第一信息，选择并输出提示确认第一信息的输出的第一询问；检测对第一询问的第一响应输入；以及当满足输出第一信息的条件时，输出第二询问，检测响应于第二询问的第二输入；以及基于第二输入选择性地输出第一信息。

Description

用于提供信息的方法和支持该方法的电子装置
技术领域
本文描述的本公开的实施例涉及一种用于提供信息的方法和一种支持所述方法的电子装置。
背景技术
电子装置可以包括麦克风并响应于通过麦克风接收用户话音而提供反馈。例如，电子装置可以与用户交换对话，并且当用户的话音包括指定的指令时，电子装置可以执行与指定的指令对应的功能。
电子装置可以向用户提供有用的信息。例如，电子装置可以分析用户的话音，并且当确定用户的话音包括与产品和商品相关的词时，可以针对对应的产品提供广告。此外，当接收包括购买产品的指令的话音时，电子装置可以继续促进产品的购买。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于以上任何内容是否可以用作关于本公开的现有技术，没有做出决定并且没有做出断言。
发明内容
技术问题
然而，当通过分析用户的话音来提供信息时，电子装置可能会提供与用户的意图、情绪或情况无关的信息。
问题解决方案
本公开的各方面是为了解决至少上述问题和/或缺点并且提供至少下述优点。因此，本公开的方面是为了提供一种用于基于用户的语音输入和用户周围的图像来确定是否提供信息的方法，并提供支持该方法的电子装置。
根据本公开的方面，公开一种电子装置，其包括：麦克风；相机；输出装置；存储器，存储有：存储多个预定义用户状态的第一数据，所述预定义用户状态包括用户意图、用户情绪和用户环境中的至少一个；存储多个用户反应的第二数据，所述用户反应包括预定义用户响应和指示用户面部表情的信息；根据会话类别分类的多个输出信息；以及根据会话类别分类的多个预定义询问；处理器，其可操作地联接到麦克风、相机、输出装置和存储器，处理器被配置以：接收包括通过麦克风输入的语音和通过相机捕获的用户图像中的至少一个的输入；分析所接收的输入以从所存储的第二数据的多个用户反应当中选择一个用户反应；基于多个预定义用户状态到多个用户反应的映射来从第一数据中检索至少一个预定义用户状态；基于预定义用户状态和会话类别的映射来根据至少一个预定义用户状态识别会话类别；且从根据所识别的会话类别分类的多个输出信息当中选择第一信息并通过输出装置输出所选择的第一信息。
根据本公开的另一方面，公开一种电子装置的方法，方法包括：将以下各项存储在存储器中：包含多个预定义用户状态的第一数据，所述预定义用户状态包括用户意图、用户情绪和用户环境中的至少一个；包含多个用户反应的第二数据，所述用户反应包括预定义用户响应和指示用户面部表情的信息；根据会话类别分类的多个输出信息；以及根据会话类别分类的多个预定义询问；接收包括通过麦克风输入的语音和通过相机捕获的用户图像中的至少一个的输入；由处理器分析所接收的输入以从所存储的第二数据的多个用户反应当中选择一个用户反应；基于多个预定义用户状态到多个用户反应的映射来从第一数据中检索至少一个预定义用户状态；基于预定义用户状态和会话类别的映射根据至少一个预定义用户状态识别会话类别；且从根据所识别的会话类别分类的多个输出信息当中选择第一信息并通过输出装置输出所选择的第一信息。
发明的有益效果
根据本公开的实施例，可以通过基于用户周围的图像以及用户的语音输入确定是否提供信息来在更准确的时间提供用户期望的信息。
此外，本公开可以提供直接或间接辨识的各种效果。
通过以下结合附图来公开本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
通过以下结合附图而进行的描述，可更清楚了解本公开的某些实施例的上述和其他方面、特征以及优点，在附图中：
图1是根据实施例的与提供信息相关联的电子装置的框图。
图2是示出根据实施例的与提供广告相关联的电子装置操作方法的流程图。
图3是示出根据实施例的与商品购买相关联的电子装置操作方法的流程图。
图4是示出根据实施例的与用于进行商品购买的方法相关联的电子装置操作方法的流程图。
图5是解释根据实施例的与提供广告相关联的系统操作方法的视图。
图6是解释根据实施例的与商品购买相关的系统操作方法的视图。
图7是解释根据实施例的提供信息的情况的视图。
图8是解释根据另一实施例的提供信息的情况的视图。
图9是解释根据实施例的用于进行商品购买的方法的视图。
图10是解释根据另一实施例的用于进行商品购买的方法的视图。
图11示出根据本公开的实施例的网络环境中的电子装置。
图12是示出根据本公开的实施例的电子装置的配置的框图。
图13是示出根据本公开的实施例的程序模块1310的配置的框图。
在所有附图中，应当注意，相同的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
在下文中，参考附图公开本公开的各种实施例。然而，本公开并不旨在将本公开的各种实施例限于特定实施例，并且本公开旨在覆盖本公开的所有修改、等同物和/或替代，只要它们落入所附权利要求书及其等同物的范围内。关于附图的描述，相同的附图标记表示相同的元件。
以下描述和权利要求书中所使用的术语和词不限于书目意思，而是仅由发明人使用来实现本公开的清楚且一致理解。因此，本领域的技术人员应当明白，提供以下对本公开的各种实施例的描述仅出于说明目的，而不是出于限制如由所附权利要求书及其等效物定义的本公开的目的。
应当理解，除非上下文明确地另有说明，否则单数形式“一个(a、an)”和“所述(the)”包括复数指示物。因此，例如，对“部件表面”的提及包括对一个或多个这种表面的提及。
本文中所使用的术语“包含”、“包括”、“具有”或“可以包含”或“可以包括”和“可以具有”指示所公开的功能、操作或元件的存在，但不排除其他功能、操作或元件。
例如，表达“A或B”或A和/或B中的至少一个可指示A和B、A或B。例如，表达“A或B”或“A和/或B中的至少一个”可以指示(1)至少一个A，(2)至少一个B，或(3)至少一个A和至少一个B两者。
本文中所使用的例如“第1”、“第2”、“第一”、“第二”等术语可以指利用本公开的各种实施例的各种不同元件，但是并不限制所述元件。例如，“第一用户装置”和“第二用户装置”可以指示不同的用户而不暗示重要性顺序，并且仅用于将每个部件与其他部件区分开而不会过度限制部件。例如，在不脱离本公开的情况下，第一部件可被称为第二部件，且反之亦然。
在本公开的各种实施例中，应理解，当部件(例如，第一部件)被称为“可操作地或通信地与另一部件耦合/耦合到”或“连接到”另一部件(例如，第二部件)时，所述部件可以直接连接到另一部件或通过另一部件(例如，第三部件)连接。在本公开的各种实施例中，应理解，当部件(例如，第一部件)被称为“直接连接到”或“直接达到”另一部件(例如，第二部件)时，另一部件(例如，第三部件)并不存在于部件(例如，第一部件)与另一部件(例如，第二部件)之间。
在本公开的各种实施例中使用的表达“被配置以”可以根据情况与例如“适合于”、“具有……能力”、“设计以”、“适于”、“进行”或“能够”可互换地使用。术语“被配置以”可不一定指示在硬件上“专门被设计以……”。相反，表达“被配置以……的装置”在某些情况下可以指示装置和另一装置或部分“能够……”。例如，表达“被配置以执行A、B和C的处理器”可以指示用于执行对应操作的专用处理器(例如，嵌入式处理器)，或用于通过执行存储于存储器装置中的至少一个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
在本公开的各种实施例中使用的术语用于描述本公开的某些实施例，但是不旨在限制其他实施例的范围。单数形式的术语可以包括复数形式，除非它们在上下文中具有明显不同的含义。否则，本文使用的所有术语可以具有本领域技术人员通常理解的相同含义。通常，词典中定义的术语应被视为具有与相关技术的上下文含义相同的含义，并且除非在本文中明确定义，否则不应被不同地理解或具有过于正式的含义。在任何情况下，即使说明书中定义的术语也不意图被解释为排除本公开的实施例。
根据本公开的各种实施例的电子装置可以包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、笔记本PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)、音频层3(MP3)播放器、移动医疗装置、相机或可穿戴装置中的至少一个。可穿戴装置可以包括附件型装置(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服集成装置(例如，电子衣服)、身体附着型装置(例如，护皮垫或纹身)或身体可植入装置(例如，可植入电路)中的至少一个。
在本公开的一些各种实施例中，电子装置可以是家用电器。智能家用电器可以包括例如电视机(TV)、数字视频光盘(DVD)播放器、音频、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视(TV)盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机或电子相框中的至少一个。
在本公开的另外各种实施例中，电子装置可以包括以下各项中的至少一项：医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管成像(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪和超声波装置等)、导航装置、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、用于船舶的电子装备(例如，导航系统和陀螺罗盘)、航空电子装置、安全装置、汽车车头单元、工业或家庭机器人、自动取款机(ATM)、商店的销售点(POS)装置或物联网(IoT)装置(例如，灯泡、各种传感器、电表或燃气表、喷洒器、火灾报警器、恒温器、路灯、烤面包机、运动装备、热水箱、加热器、锅炉等)。
根据本公开的各种实施例，电子装置可以包括家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或者测量仪器(例如水表、电表、燃气表和无线电波表)中的至少一个。电子装置可以是上述装置的一种或多种组合。根据本公开的一些各种实施例的电子装置可以是柔性装置。根据本公开的实施例的电子装置不限于上述装置，并且可以包括随着新技术的发展而产生的新电子装置。
因此，将参考附图详细描述根据本公开的各种实施例的电子装置。本文中所使用的术语“用户”可以指使用电子装置的人或者可以指使用电子装置的装置(例如，人工智能电子装置)。
图1是根据实施例的与提供信息相关联的电子装置的框图。
电子装置100可以分析通过信息收集模块110收集的与用户相关的信息(例如，用户的语音输入或周围的图像)，并且可以基于分析结果确定用户的意图、情绪或情况。此外，电子装置100可以基于用户的意图、情绪或情况在适当的时间提供用户期望的信息(例如，广告)。
参考图1，用于提供上述功能的电子装置100可以包括信息收集模块110、控制模块(或处理器)130、信息输出模块150和信息存储模块(或存储器)170。然而，电子装置100的配置不限于此。根据各种实施例，电子装置100可以不包括前述元件中的至少一个，并且还可以包括至少一个其他元件。
信息收集模块110可以收集与用户相关的信息。例如，信息收集模块110可以收集用户说出的话音或用户周围的图像。信息收集模块110可以包括例如麦克风111和相机113。麦克风111可以将由用户的话语引起的振动能量转换为电信号，并且可以将转换的电信号发送到控制模块130。相机113可以拍摄静止图像和运动图像。相机113可包括图像拾取装置。图像拾取装置可以包括以下各项中的至少一个：镜头，所述镜头接收对象的图像光以形成图像；光圈，所述光圈调整通过镜头的光量；图像传感器，所述图像传感器接收在镜头上形成的图像作为光学信号；快门，所述快门执行打开/关闭光圈的功能以使图像传感器暴露于通过镜头的光达预定时间段；以及内部存储器。内部存储器可以临时存储捕获的图像。根据实施例，内部存储器可以存储在操作快门之前通过图像传感器拍摄的图像。
控制模块130(例如，处理器)可以分析通过信息收集模块110收集的用户相关信息。例如，控制模块130可以分析通过麦克风111接收的用户的话音，或者可以分析通过相机113获得的用户周围的图像。
根据实施例，控制模块130可以对接收的语音输入执行语音辨识。控制模块130可以分析对应于通过麦克风111接收的语音输入的语音数据，并且可以将语音数据转换为文本格式。例如，在用户说出“HI”的情况下，麦克风111可以将由用户的话语引起的振动能量转换为电信号，并且可以将转换的电信号发送到控制模块130。此外，控制模块130可以将接收的电信号转换为与其对应的频谱信息，并且可以将转换的频谱信息与对应于存储在信息存储模块170中的各种字母的频谱信息进行比较，以辨别对应于转换的频谱信息的字母(例如，“H”和“I”)。
根据实施例，控制模块130可以对接收的语音输入执行声纹辨识。控制模块130可以以与语音辨识基本相同的方式执行声纹辨识。同时，在声纹辨识的情况下，控制模块130可以使用存储在信息存储模块170中的根据用户的话音的频谱信息。例如，在用户说出“HI”的情况下，语音辨识可以简单地辨别话音中包括的字母(例如，“I”和“I”)，而声纹辨识可以辨别哪个用户说出“HI”。
根据实施例，控制模块130可以检测包括在获得的图像中的对象。例如，控制模块130可以从图像中提取特征点，并且可以检测由特征点中的相邻特征点指示的形状(例如，Ω形状)作为对象(例如，面部)。特征点可以是例如表示图像的特征以检测、跟踪或辨识图像中的对象的点，并且可以包括尽管图像中的每个对象的形状、大小或位置改变但易于区分的点。此外，特征点可以包括即使相机角度或照明改变也易于在图像中区分的点。可以将特征点设置为例如每个对象的角点或边界点。
根据实施例，控制模块130可以区分形成图像的对象。控制模块130可以确定相应对象的属性以区分对象。例如，控制模块130可以确定对应的对象是人、动物还是身体。另外，控制模块130可以确定人体的一部分(例如，面部)、动物的类型或身体的类型以区分对象。
根据实施例，在对象是人的面部的情况下，控制模块130可以分析对应于人眼周围区域、颧骨区域或人嘴唇周围区域的特征点的颜色和位置以分析人的表情。另外，控制模块130可以通过人的表情来确定人的情绪。也就是说，例如，可以将在人面部中检测到的特征与数据库进行比较，在数据库中预存储的特征的组合被预先映射到多个可能的情绪状态。因此，可以基于对人的面部表情与数据库的映射的分析和比较，从数据库中识别可能的情绪状态等。在另一示例中，控制模块130可以确定拍摄图像的位置，同时区分图像中包括的对象。在图像中包括的对象是物理对象的情况下，控制模块130可以基于对对象的识别通过确定对象(例如，TV、空调等)是否通常设置在厨房内的起居室(例如，冰箱)来确定拍摄图像的位置。在一些实施例中，信息存储模块170可以存储每个主体的位置信息，并且控制模块130可以通过使用存储在信息存储模块170中的主体的位置信息来确定拍摄图像的位置。此处，物理对象和其标准特性的数据库可被预存储并映射到标识符(例如，电视、冰箱)和典型位置(例如，起居室、厨房)。因此，在捕获物理对象的图像时，可以使用检测到的对象的物理特性来询问数据库以识别对象和布置对象的可能环境。
根据实施例，控制模块130可以指定包括在图像中并且与具有指定特性的对象相关的至少一个对象作为识别目标。例如，控制模块130可以在区分对象的同时辨别包括在图像中的对象中具有指定特性的对象。例如，控制模块130可以在用户的图像中辨别对应于用户的手指的对象。在这种情况下，控制模块130可以分析对象的形状和位置，以指定用户用他/她的手指指向的位置处(或在与用户的手指相邻的位置处)的至少一个对象作为识别目标。在另一示例中，控制模块130可以在用户的图像中辨别对应于用户的手的对象。在这种情况下，控制模块130可以分析对象的形状和位置，以指定用户握持的至少一个对象作为识别对象。此后，控制模块130可以确定被指定为识别目标的至少一个对象的属性，以辨别对应对象所表示的身体的类型。
根据实施例，控制模块130可以基于通过分析通过信息收集模块110收集的信息获得的结果来确定用户的意图、情绪或情况。例如，控制模块130可以通过分析通过麦克风111接收的用户的话音或通过分析通过相机113获得的用户周围的图像来确定用户的情绪或情况。例如，在用户与他/她的家人在起居室中笑着说“我饿了”的情况下，控制模块130可以通过麦克风111接收对应于“我饿了”的语音输入并且可以通过相机113获得用户与家人一起拍摄的图像。在这种情况下，控制模块130可以执行语音辨识和图像分析以确定用户饥饿并且确定用户需要与家人一起吃饭以与家人共度美好时光。
根据实施例，控制模块130可以基于与收集的信息的相关性来决定要提供的信息。例如，控制模块130可以基于语音辨识和图像分析的结果将高度相关的信息决定为要提供的信息。例如，在语音辨识结果中包括用于标识特定商品的信息(例如，商品的类型或名称)的情况下，控制模块130可以决定将关于特定商品的信息作为要提供的信息。在另一示例中，在图像分析结果中包括对应于特定商品的对象的情况下，控制模块130可以决定将关于特定商品的信息作为要提供的信息。在一些实施例中，控制模块130还可以通过使用拍摄图像的位置来决定要提供的信息。例如，即使用于标识特定商品的信息包括在语音辨识结果中，在该特定商品在所述位置不可用的情况下，控制模块130也可以决定不将关于特定商品的信息作为要提供的信息，或者可以决定将关于与所述特定商品类似且在所述位置可用的其他商品的信息作为要提供的信息。例如，当在语音辨识结果中包括词“洗涤剂”并且图像分析结果显示所述位置对应于厨房时，控制模块130可以决定将包括“洗涤剂”的商品中的“餐具洗涤剂”作为要提供的商品，并且可以向用户提供与“餐具洗涤剂”相关的广告。
根据实施例，在从附近的外部电子装置获得关于特定商品的信息的情况下，控制模块130可以决定将关于特定商品的信息作为要提供的信息。例如，当通过例如TV、收音机等媒体接收特定商品的广告时，用户可能会表达用户愿意为特定商品付款的意见。例如，在收听或观看广告时，用户可能会说出用户想要购买所广告物品。在这种情况下，控制模块130可以确定关于特定商品的信息是否包括在从媒体输出的声音中和/或屏幕中，并且在关于特定商品的信息包括在声音和/或屏幕中的情况下，所述控制模块可以决定将关于特定商品的信息作为要提供的信息。
根据实施例，当决定要提供的信息时，控制模块130可以使用存储在信息存储模块170中的信息提供历史。例如，在意图、情绪或情况与已经确定的意图、情绪或情况基本相同且存在与已经确定的用户意图、情绪或情况对应的、用户接收的历史特定信息的情况下，控制模块130可以决定将特定信息作为要提供的信息。例如，在存在用户在饥饿时接收比萨饼广告的历史的情况下，控制模块130可以决定将关于比萨饼的信息作为要提供的信息。
根据实施例，在决定要提供的信息之后，控制模块130可以设置信息提供条件以决定是否提供信息。信息提供条件可以包括用于计算用于决定是否向用户提供信息的参考的信息，计算的参考为数值(例如，百分比(％))。信息提供条件可以包括例如用于确定用户意图倾向的信息。用户的意图可以包括肯定、否定或未决的意图。例如，当控制模块130向用户进行询问时，在肯定词(例如，“是”)包括在用户的话音中的情况下，控制模块130可以确定用户对询问具有肯定意图。此外，在用户的话音中包括否定词(例如，“否”)的情况下，控制模块130可以确定用户对询问具有否定意图。此外，换句话说，控制模块130可以确定用户对询问具有未决定的意图。
在确定用户的意图之后，控制模块130可以确定是否达到了信息提供条件。例如，控制模块130可以量化信息提供条件(例如，计算达到的值)，并且当达到的值大于或等于指定的量值时，控制模块130可以确定用户的意图是要接收信息。在此方面，当用户的意图是肯定时，控制模块130可以增大达到的值，当用户的意图是否定时，控制模块130可以减小达到的值，并且当未确定用户的意图时，控制模块130可以维持达到的值不变。此外，控制模块130可以根据用户意图的倾向程度不同地设置达到的值的增量/减量。例如，控制模块130可以在用户的话音中包括强肯定词(例如，“当然”)的情况下增大达到的值的增量，并且可以在用户的话音中包括强否定词(例如，“当然不是”)的情况下增加达到的值的减量。此外，控制模块130可以分析用户的音调或重音以确定用户意图的倾向程度。
根据实施例，为了确定用户的意图，控制模块130可以创建并输出用于确认是否提供信息的询问。控制模块130可以向用户提供询问。此后，当从用户接收询问的回答时，控制模块130可以分析回答以确定是否达到信息提供条件。在这种情况下，控制模块130可以根据通过量化信息提供条件获得的数据的量值(例如，达到的值)来不同地创建和输出询问。例如，控制模块130可以根据步级对达到的值进行分类，并且可以通过信息输出模块150输出根据分类的步级设置的询问。控制模块130可以将用于确定用户想要接收信息的基础分类为多个步级，并且可以根据步级来不同地设置询问以问询用户。例如，控制模块130可以在较低步级时输出接近日常会话的询问(例如，与要提供的信息不太相关的询问)，并且可以向较高步级输出与要提供的信息更高度相关的询问。而且，控制模块130可以根据用户意图的倾向来升高或降低步级。例如，控制模块130可以在用户的意图是肯定的情况下提高步级以输出与要提供的信息高度相关的询问，并且可以在用户的意图是否定的情况下降低步级以输出接近日常会话的询问。
例如，在用户与他/她的家人在起居室中笑着说“我饿了”的情况下，控制模块130可以执行语音辨识和图像分析以确定用户需要吃食物并且可以基于信息提供历史来决定要提供的信息(例如，比萨饼折扣信息)。此外，控制模块130可以设置信息提供条件以决定是否提供信息，并且可以通过信息输出模块150输出与提供信息相关联的询问以辨别用户意图的倾向。当用户对询问作出反应(例如，表达或回答的改变)时，控制模块130可以通过信息收集模块110收集反应，并且可以分析收集的信息以计算信息提供条件的达到的值。例如，当用户对询问给出肯定回答时，控制模块可以增加达到的值，并且当用户对询问给出否定回答时，控制模块可以减小达到的值。在达到的值小于指定量值(例如，第一值)的情况下，控制模块可以尝试与所确定的信息无关的日常会话(例如，披萨折扣信息)。此外，在达到的值大于或等于指定量值(例如，第二值)的情况下，控制模块130可以通过信息输出模块150将确定的信息提供给用户。例如，控制模块130可以在显示器153上输出对应于信息的显示对象，或者可以通过扬声器151输出对应于信息的声音。在一些实施例中，在达到的值大于或等于指定的量值(例如，第二值)的情况下，控制模块130还可以输出询问以从用户接收用户是否想要接收确定的信息的明确回答。例如，控制模块130可以向用户提供用于确认的询问，例如“你想要接收～的广告吗？”。在另一示例中，在达到的值大于或等于第一值但小于第二值的情况下，控制模块130可以通过信息输出模块150再次输出用于确认是否提供信息的另一询问。因此，在达到的值变得小于第一量值或者大于或等于第二量值之前，控制模块130可以通过信息输出模块输出用于确认是否提供信息的至少一个询问。
根据实施例，当确定用户的意图、情绪或情况时，控制模块130可以基于确定结果决定会话类别，并且可以决定与类别相关的要提供的信息。此外，控制模块130可以选择根据类别分类并存储在信息存储模块170中的询问中的一个，并且可以通过信息输出模块150输出所选择的询问。在此方面，根据类别分类和存储的询问可以取决于信息提供条件的达到的值根据步级进行分类(例如，根据与要提供的信息的相关程度分类)，并且可以在信息存储模块170中被存储和管理。例如，在用户饥饿的情况下，控制模块130可以决定要提供的信息的类别为“食物”，并且可以根据信息提供条件的达到的值选择与“食物”相关并存储在信息存储模块170中的询问中的一个，并且可以通过信息输出模块150向用户提供所选择的询问。此后，控制模块130可以收集用户对询问的反应，可以根据反应的分析结果计算信息提供条件的达到的值，并且可以执行对应于达到的值的量值的处理。例如，在达到的值小于指定量值(例如，第一量值)的情况下，控制模块130可以通过信息输出模块150输出超出类别的用于日常会话另一询问，或者可以通过信息输出模块150输出包括在同一类别中的低级询问以实现会话的连续性。在另一示例中，在达到的值大于或等于指定量值(例如，第二量值)的情况下，控制模块130可输出询问以从用户接收用户是否想要接收确定的信息的明确回答。在另一示例中，在达到的值大于或等于第一量值但小于第二量值的情况下，控制模块130可以选择用于确认是否提供信息的另一个询问，例如，包括在同一类别中的不同询问，并且可以通过信息输出模块150输出所选择的询问。
信息输出模块150可以输出要提供给用户的信息。信息输出模块150可以包括例如用于输出对应于信息的声音的扬声器151和用于输出对应于所述信息的显示对象(例如，文本、图像或视频)的显示器153。然而，信息输出模块150的配置不限于此。根据各种实施例，信息输出模块150可以不包括前述元件中的一个，并且还可以包括至少一个其他元件。
作为音频输出装置的扬声器151可以输出声音。例如，扬声器151可以将电信号转换为振动以将声波发射到空气中。根据实施例，扬声器115可以安装在设置在电子装置100的壳体内的印刷电路板上，或者可以与印刷电路板物理分离并与印刷电路板电连接。
显示器153可向用户显示各种类型的内容(例如，文本、图像、视频、图标、符号等)。根据实施例，显示器153可以包括触摸屏。例如，显示器153可以使用电子笔或用户身体的一部分来接收触摸、手势、接近或悬停输入。
信息存储模块170(例如，存储器)可以存储与电子装置100的至少一个其他元件相关的一个或多个指令或数据。根据一个实施例，信息存储模块170可以存储软件和/或程序。例如，信息存储模块170可以存储与提供信息相关联的应用。与提供信息相关联的应用可以包括例如用于通过信息收集模块110收集与用户相关的信息(例如，用户的语音输入或周围的图像)的指令、用于分析收集的信息的指令、用于基于通过分析信息获得的结果确定用户的意图、情绪或情况的指令、用于基于用户的意图、情绪或情况选择(或决定)用户期望信息的指令、用于通过信息输出模块150向用户提供所选信息的指令等。指令可以由控制模块130加载到易失性存储器中，并且可以根据指定的程序例程进行处理。
根据实施例，信息存储模块170可以存储对应于各种字母的频谱信息或根据用户的话音的频谱信息。此外，信息存储模块170可以存储关于至少一个身体的位置信息。此外，信息存储模块170可以存储关于至少提供了一次或多次的信息的历史的信息。在一些实施例中，控制模块130可以通过通信模块(或通信电路)从外部电子装置(例如，广告服务提供商的服务器装置)接收要提供的信息(例如，广告)，并且将接收的信息存储在信息存储模块170中。
如上所述，根据各种实施例，电子装置(例如，电子装置100)可以包括：麦克风(例如，麦克风111)；相机(例如，相机113)；信息输出模块(例如，信息输出模块150)；存储器(例如，存储器，信息存储模块170)，所述存储器被配置以存储与用户的意图、情绪和情况中的至少一个相关的第一数据、与用户的反应相关的第二数据、根据会话类别分类的询问，以及处理器(例如，控制模块130)，所述处理器与麦克风、相机和存储器电连接。所述存储器可以存储指令，所述指令在被执行时使处理器：通过麦克风接收用户的第一语音输入；通过相机获取用户和用户周围的图像；并分析第一语音输入和图像；基于通过比较第一语音输入和图像的分析结果与存储在存储器中的第一数据而获得的结果来确定用户的意图、情绪和情况中的至少一个；基于用户的意图、情绪和情况中的至少一个来决定会话类别；并决定与所述类别相关的要提供给用户的第一信息；从存储在存储器中的多个询问中的、包含于所述类别中的多个第一询问中选择一个第一询问，以用于确认是否向用户提供第一信息；通过信息输出模块输出第一询问；通过麦克风和相机中的至少一个收集用户对第一询问的第一反应；并基于通过比较第一反应的分析结果与存储在存储器中的第二数据而获得的结果，确定决定是否向用户提供第一信息的条件；并且如果条件满足，那么通过信息输出模块输出第二询问，以从用户接收提供第一信息的明确回答；通过麦克风和相机中的至少一个收集用户对第二询问的第二反应；并基于通过比较第二反应的分析结果与第二数据获得的结果，决定是否向用户提供第一信息。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器通过对第一语音输入执行语音辨识和声纹辨识中的至少一个来分析第一语音输入，并将语音辨识和声纹辨识中的至少一个的结果中包括的至少一个词与第一个数据进行比较。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器从图像中提取至少一个对象，识别至少一个提取的对象，并比较至少一个识别的对象与第一数据。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器通过另外使用用户的年龄、用户的性别、用户的身体信息、用户偏好的品牌类型以及预先存储在存储器中的、提供给用户的多条信息的历史信息中的至少一个来决定第一信息。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器基于第一反应的分析结果计算用户对第一询问的意图的倾向作为数值数据，并且确定当数值数据大于或等于第一量值时满足条件。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器确定对第一询问的第一反应具有肯定意图、否定意图还是未决意图，当第一反应具有肯定意图时将数值数据增加预定量值，当第一反应具有否定意图时将数值数据减小预定量值，且当第一反应具有未决意图时维持数值数据。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器对通过麦克风接收的且对应于第一反应的第二语音输入执行语音辨识和声纹辨识中的至少一个，根据预先存储在存储器中的分类标准确定包括在第二语音输入的语音辨识和声纹辨识中的至少一个的结果中的词是肯定词、否定词还是未定词，且当所述词是肯定词时确定第一反应具有肯定意图，当所述词是否定词时确定第一反应具有否定意图，且当所述词是未定词时确定第一反应具有未决意图。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器确定当数值数据小于第二量值时不满足条件，并从包括在类别中的第一询问中选择与第一信息的相关性小于指定量值的第三询问并通过信息输出模块输出第三询问。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器当数值数据大于或等于第二量值且小于第一量值时从包括在类别中的第一询问中选择与第一信息的相关性大于或等于指定量值的第四询问，以用于确认是否向用户提供第一信息，并通过信息输出模块输出第四询问。
根据各种实施例，存储器可以存储指令，所述指令在被执行时使处理器当决定提供第一信息时，通过信息输出模块输出第一信息。
图2是示出根据实施例的与提供广告相关联的电子装置操作方法的流程图。
电子装置(例如，电子装置100)可以通过在向用户提供信息(例如，广告)之前接收用户的语音输入或捕获用户周围的图像且接着通过分析收集的信息确定用户的意图、情绪或情况来确定用户是否想要接收信息(例如，广告)。因此，当确定用户期望接收相关信息时，电子装置可以在适当的时间向用户提供信息。
参考图2，在操作210中，控制模块130可以通过信息收集模块110收集与用户相关的信息。例如，控制模块130可以通过麦克风111接收用户的语音输入，和/或可以通过相机113获得用户和用户周围的图像。
在操作220中，控制模块130可以分析通过信息收集模块110收集的信息。控制模块130可以对接收的语音输入执行语音辨识和/或声纹辨识。例如，控制模块130可以分析对应于所接收的语音输入的语音数据，以辨别包括在语音输入中的文本，并辨别多个已知用户中的哪个说出话音。此外，控制模块130可以检测包括在获得的图像中的对象，并确定检测到的对象是人、动物还是身体。另外，控制模块130可以确定人体的一部分(例如，面部)、动物的类型或对象的类型。在对象是人的面部的情况下，控制模块130可以分析人的表情并且可以通过人的表情来确定人的情绪。在对象是身体的情况下，控制模块130可以通过使用存储在信息存储模块170中的每个对象的位置信息来确定拍摄图像的位置。
在操作230中，控制模块130可以基于通过分析所收集的信息而获得的结果来识别用户的意图、情绪或情况，并且可以确定用户的意图、情绪或情况是否与要提供的信息(例如，广告)相关。例如，控制模块130可以使用先前描述的方法来确定通过提供广告是否能满足用户的意图、情绪或情况。因此，当确定检测到的面部表情指示或对应于用户的饥饿状态时，控制模块130可基于例如数据库中的情绪状态“饥饿”与“食物”类别广告的预定义关联来确定用户的情况与食物广告高度相关。当然，除了此处提到的那些之外，多个可识别的情绪状态可以被映射到多个广告类别。在另一示例中，在用户说出期望特定商品的情况下，控制模块130可以确定用户的话语意图与特定商品的广告高度相关。
在用户的意图、情绪或情况与要提供的信息(例如，广告)不太相关或不相关的情况下，控制模块130可以在操作240中通过信息输出模块150输出与信息(例如，广告)不太相关的信息(例如，话音，例如每日会话、笑话等)。如上所述，“较小”相关度可以基于针对输出询问的否定用户语音响应。因此，例如，控制模块130可以通过扬声器151输出用于日常会话的话音集，所述日常会话与广告不相关。
在确定用户的意图、情绪或情况与信息(例如，广告)相关的情况下，在操作250中，控制模块130可以通过信息输出模块150输出提示用户确认是否提供信息的询问(例如，广告)。例如，控制模块130可以将用于达到信息提供条件的数值(例如，达到的值)设置为特定值(例如，50％)，以决定是否提供信息并且可以创建和输出用于达到的值的询问以满足指定值(例如，90％)。在这种情况下，控制模块130可以根据达到的值的量值不同地创建和输出询问。例如，控制模块130可以根据步级对达到的值进行分类，并且可以通过信息输出模块150输出根据分类的步级设置的询问。
在操作260中，控制模块130可以通过信息收集模块110聚合与用户对询问的反应相关的数据。例如，控制模块130可以通过麦克风111接收用户对询问的回答，和/或可以在输出询问之后通过相机113获得用户或用户周围的图像。此外，控制模块130可以通过对接收到的回答执行语音辨识和/或声纹辨识并分析图像来确定用户表情的改变。
在用户的话音中包括肯定词(例如，“是”)的情况下，控制模块130可以确定用户对询问具有肯定意图，并且在用户的话音中包括否定词(例如，“否”)的情况下，控制模块130可以确定用户对询问具有否定意图。此外，通过用户的表情，控制模块130可以确定用户对询问具有肯定或否定意图。
在确定了用户的意图之后，控制模块130可以当用户的意图是肯定的时将达到的值增加预定量值(例如，25％)，并且当用户的意图是否定的时将达到的值减小预定量值(例如，25％)。在实施例中，控制模块130可以在用户的话音中包括强肯定词(例如，“当然”)的情况下增加达到的值的增量，并且可以在用户的话音中包括强否定词(例如，“当然不是”)的情况下增加达到的值的减量。例如，控制模块130可以当用户的意图是强肯定的时将达到的值增加大于预定量值的增量(例如，50％)，并且可以当用户的意图是强否定的时将达到的值减小大于预定量值的减量(例如，50％)。因此，可以在例如“当然”、“当然不是”和其他这样的短语的某些预定响应与用户意图值的增量和减量程度之间创建关联。
在操作270中，控制模块130可以确定是否达到信息提供条件。也就是说，例如，控制模块130可以确定通过对信息提供条件进行量化获得的聚合值是否满足或达到预定义值(例如，90％)，从而触发广告的显示。
在达到的值小于第一预指定值(例如，10％)的情况下，控制模块130可以在操作240中通过扬声器151输出与信息(例如，广告)不太相关或不相关的声音，例如可以经由算法生成的与日常会话相关的话音。在达到的值大于或等于第二预指定值(例如，90％)的情况下，控制模块130可以在操作280中通过信息输出模块150向用户提供信息(例如，广告)。在一些实施例中，在达到的值大于或等于第二值的情况下，控制模块130还可以输出询问以从用户接收关于用户是否想要接收信息的明确回答。例如，控制模块130可以向用户提供用于确认的询问，例如“你想要接收～的广告吗？”此后，在用户对确认询问的反应具有肯定意图的情况下，控制模块130可以执行操作280。
根据实施例，在达到的值大于或等于第一值并且小于第二值的情况下，控制模块130可以返回到操作250，以通过信息输出模块150输出用于确认是否提供信息的另一询问。此后，控制模块130可以重复执行操作250到270，直到达到的值变得小于第一值或者大于或等于第二值为止。
图3是示出根据实施例的与商品购买相关联的电子装置操作方法的流程图。
电子装置(例如，电子装置100)可以向用户提供信息(例如，广告)，且接着可以收集用户对信息的反应以确定用户购买商品的意图。例如，电子装置可以提供广告，可以通过信息收集模块110收集用户对广告的反应(例如，用户的语音输入或图像)，并且可以通过分析收集到的信息来确定用户的意图、情绪或情况，从而确定用户是否想要购买商品。
参考图3，在操作310中，控制模块130可以通过信息输出模块150向用户提供信息(例如，广告)。例如，控制模块130可以在显示器153上输出与特定商品相关的显示对象，或者可以通过扬声器151输出与特定商品相关的声音。
在操作320中，控制模块130可以通过信息收集模块110收集用户对所提供的信息(例如，广告)的反应。例如，控制模块130可以通过麦克风111接收用户响应于广告的语音输入，或者可以通过相机113获得用户和用户周围的图像。此外，控制模块130可以分析通过信息收集模块110收集的信息。例如，控制模块130可以对接收的语音输入执行语音辨识和/或声纹辨识。在另一示例中，控制模块130可以对获得的图像执行图像分析。而且，控制模块130可以基于通过分析收集的信息获得的结果来确定用户的意图、情绪或情况。
在操作330中，控制模块130可以基于收集的用户反应信息确定是否达到设置用于决定是否购买商品的商品购买条件。例如，控制模块130可以确定通过量化商品购买条件获得的达到的值是否满足指定值。在此方面，商品购买条件可以包括用于计算用于决定是否购买商品的参考(作为数值)的信息。例如，商品购买条件可以包括用于确定用户的商品购买意图的倾向的信息。
基于对广告的反应的分析结果，当达到的值小于第一值时控制模块130可以在操作340中通过信息输出模块150输出与广告不太相关或不相关的信息(例如，日常会话短语、笑话等)。在达到的值大于或等于第二值的情况下，控制模块可以在操作360中输出询问，提示用户指示他们是否希望购买由广告指示的商品和产品的明确回答。
在操作370中，控制模块130可以通过信息收集模块110接收用户对用于确认的询问的回答。在一些实施例中，对于例如肯定地购买商品的重要决定，控制模块130可以避免继续进行购买，直到从用户接收到明确回答为止。例如，控制模块130可以在用户直接给出肯定回答(例如，当用户说出购买命令短语时，例如“购买特定商品”)之后继续购买商品，并且在用户的表达没有明确的确认的情况下不尝试确定用户的意图。
在操作380中，控制模块130可以基于所接收的用户回答来确定用户是否想要购买商品。例如，在通过对用户的回答执行语音辨识和/或声纹辨识而获得的结果中包括肯定词的情况下，控制模块130可以确定用户想要购买商品。或者，在结果中包括否定词的情况下，控制模块130可以确定用户不想购买商品。
当确定用户不想购买商品时，在操作340，控制模块130可以通过信息输出模块150输出与广告不太相关或不相关的信息(例如，声音)，例如选择一些预定义和预存储的会话话音和说笑。当确定用户想要购买商品时，控制模块130可以在操作390中继续购买商品。
根据实施例，基于对广告的反应的分析结果，在操作350中，控制模块130可以在达到的值大于或等于第一值并且小于第二值的情况下提供与所述广告不同的广告。例如，控制模块130可以为商品提供不同的广告。在另一示例中，控制模块130可以为类似类型的商品提供广告。此后，控制模块130可以重复执行操作320、330和350，直到达到的值变得小于第一值或者大于或等于第二值为止。
图4是示出根据实施例的与用于进行商品购买的方法相关联的电子装置操作方法的流程图。
当从用户接收购买商品的请求时，电子装置(例如，电子装置100)可以根据商品的类型和商品的购买路径提供不同的方法。
参考图4，在操作410中，控制模块130可以从用户接收购买某些商品的请求。根据实施例，控制模块130可以通过麦克风111接收例如请求购买商品的用户语音输入。或者，可以通过用于确认购买商品的按钮输入来接收购买商品的请求。
在操作430中，控制模块130可以确定所请求的产品是否在线销售(例如，在基于因特网的零售商网站上)。例如，控制模块130可以辨别商品的类型并且可以识别商品的购买‘路径’，例如通过一个或多个零售商网站购买。
在商品不在线销售的情况下，控制模块130可以在操作450中识别销售产品的实体店，检索商店的任何必要的联系信息，并发起与所识别的商店的电话连接。
在商品在线销售的情况下，控制模块130可以在操作470中通过相关应用执行商品的购买。例如，控制模块130可以执行支持购买商品的应用，例如网络浏览器，并访问销售商品的在线购物网站，这取决于用于进行商品购买的商品购买应用的程序例程。
在电子装置中安装有支付应用的情况下，控制模块130可以在操作490中支持通过支付应用对商品的支付。然而，在电子装置中未安装支付应用的情况下，控制模块130可以忽略执行操作490，或者建议用户安装合适的支付应用。
如上所述，根据各种实施例，由电子装置(例如，电子装置100)提供信息的方法可以包括：通过麦克风接收用户的第一语音输入；通过相机获取用户和用户周围的图像；分析第一语音输入和图像；将第一语音输入和图像的分析结果与预先存储在存储器中且与用户的意图、情绪和情况中的至少一个相关的第一数据进行比较；基于通过比较第一语音输入和图像的分析结果与第一数据获得的结果来确定用户的意图、情绪和情况中的至少一个；基于确定的用户的意图、情绪和情况中的至少一个来决定会话类别；决定与所述类别相关的要提供给用户的第一信息；从预先存储在存储器中且根据会话类别分类的多个询问当中的包含于所述类别中的多个第一询问中选择一个第一询问，以用于确认是否向用户提供第一信息；通过信息输出模块输出第一询问；通过麦克风和相机中的至少一个收集用户对第一询问的第一反应；基于通过将第一反应的分析结果与预先存储在存储器中且与用户的反应相关的第二数据进行比较而获得的结果，确定决定是否向用户提供第一信息的条件；如果条件满足，那么通过信息输出模块输出第二询问，以从用户接收提供第一信息的明确回答；通过麦克风和相机中的至少一个收集用户对第二询问的第二反应；并基于通过将第二反应的分析结果与第二数据进行比较获得的结果，决定是否向用户提供第一信息。
根据各种实施例，分析第一语音输入和图像可以包括通过对第一语音输入执行语音辨识和声纹辨识中的至少一个来分析第一语音输入，且将第一语音输入和图像的分析结果与第一数据进行比较可以包括将语音辨识和声纹辨识中的至少一个的结果中包括的至少一个词与第一数据进行比较。
根据各种实施例，分析第一语音输入和图像可以包括从图像中提取至少一个对象，且识别至少一个提取的对象，且第一语音输入和图像的分析结果与第一数据的比较可以包括将至少一个识别的对象与第一数据进行比较。
根据各种实施例，决定第一信息可以包括通过另外使用用户的年龄、用户的性别、用户的身体信息、用户偏好的品牌类型以及预先存储在存储器中的被提供给用户的多条信息的历史信息中的至少一个来决定第一信息。
根据各种实施例，确定条件可以包括基于第一反应的分析结果计算用户对第一询问的意图的倾向作为数值数据，并且确定当数值数据大于或等于第一量值时满足条件。
根据各种实施例，计算数值数据可以包括确定对第一询问的第一反应具有肯定意图、否定意图还是未决意图，当第一反应具有肯定意图时将数值数据增加预定量值，当第一反应具有否定意图时将数值数据减小预定量值，且当第一反应具有未决意图时维持数值数据。
根据各种实施例，确定对第一询问的第一反应具有肯定意图、否定意图还是未决意图可以包括对通过麦克风接收的且对应于第一反应的第二语音输入执行语音辨识和声纹辨识中的至少一个，确定包括在第二语音输入的语音辨识和声纹辨识中的至少一个的结果中的词根据预先存储在存储器中的分类标准是肯定词、否定词还是未定词，确定当所述词是肯定词时第一反应具有肯定意图，确定当所述词是否定词时第一反应具有否定意图，确定且当所述词是未定词时第一反应具有未决意图。
根据各种实施例，方法还可以包括当数值数据小于第二量值时确定不满足条件，从包括在类别中的多个第一询问中选择与第一信息的相关性小于指定量值的第三询问并通过信息输出模块输出第三询问。
根据各种实施例，方法还可以包括当数值数据大于或等于第二量值且小于第一量值时从包括在类别中的第一询问中选择与第一信息的相关性大于或等于指定量值的第四询问，以确认是否向用户提供第一信息，并通过信息输出模块输出第四询问。
根据各种实施例，方法还可以包括当决定提供第一信息时，通过信息输出模块输出第一信息。
图5是解释根据实施例的与提供广告相关联的系统操作方法的视图。
参考图5，电子装置530(例如，电子装置100)可以通过信息收集模块511(例如，信息收集模块110)获得与用户510相关的信息，例如用户510的语音输入和包括用户510的周围的图像(视觉输入)。此时，控制模块513可以控制信息收集模块511的功能，并且可以处理通过信息收集模块511获得的语音输入信息和图像信息。
根据实施例，控制模块513可以通过分析通过信息收集模块511获得的语音输入信息和图像信息来确定用户510的意图、情绪或情况。例如，控制模块513可以对语音输入信息执行语音辨识和/或声纹辨识，并且可以提取包括在语音输入信息中的词(例如，指令)。此外，控制模块513可以将所述词与关于预先存储在信息存储模块(或存储器)(例如，信息存储模块170)中的各种词的含义的信息进行比较，以识别所述词的含义。例如，信息存储模块可以存储词“饥饿”和映射到词“饥饿”的含义“想要吃东西”，并且如果语音辨识和/或声纹辨识显示用户510的语音输入中包括词“饥饿”，那么控制模块513可以确定用户510当前正在处于饥饿。此外，可以在信息存储器中预先设置和存储词“饥饿”的接收状态或者在用户510饥饿的状态下执行的功能(例如，输出食物广告的功能)，并且当确定用户510的意图是为了减轻饥饿时，控制模块513可以执行功能。
在另一示例中，控制模块513可以对图像信息执行图像分析(例如，提取或识别对象)，并且可以通过使用图像中包括的对象(例如，用户510、与用户510一起的人、对象等)的特征来确定用户510的情绪状态或情况。此时，控制模块513可以根据预先存储在信息存储模块中的表情、对象的位置等来使用情绪类型。例如，在对象是用户510的面部的情况下，控制模块513可以通过分析对象的形状来确定用户510的表情，并且可以根据用户510的表情来识别情绪状态。此外，在对象是身体的情况下，控制模块513可以通过使用身体的位置来识别拍摄图像的位置。当识别出用户510的情绪或位置时，控制模块513可以更清楚地确定用户510的意图。例如，即使用户510说出包括词“饥饿”的话音，也可以根据用户510的情绪或位置来不同地辨识用户510的意图。例如，在用户510在使用健身装备进行锻炼时说出“我饿了”的情况下，控制模块513可以确定用户510的话语旨在听到鼓励的话语，但不是为了减轻饥饿感。在这种情况下，控制模块513可以选择能够以激励状态输出的语音，所述语音预先存储在信息存储模块中，并且可以通过信息输出模块515输出所选择的话音。
根据实施例，当确定要基于用户510的意图、情绪或情况执行的功能是为特定商品提供广告时，控制模块513可以从经由通信电路与电子装置530连接的广告提供服务器570请求特定商品的广告信息。广告提供服务器570可以是例如存储由商品销售商590登记的广告的装置。广告提供服务器570可以是由商品销售商590直接操作的装置，或者是由接收来自商品销售商590的请求以提供广告的内容提供商操作的装置。在一些实施例中，电子装置530可以不通过经由通信电路与其连接的广告提供服务器570提供广告信息，而是可以将广告信息存储在电子装置530中包括的信息存储模块中。例如，控制模块513可以定期地或者应来自商品销售商590或广告提供服务器570的请求接收各种类型商品的广告信息，并且可以将广告信息存储在信息存储模块中。
当从电子装置530接收到对特定商品的广告信息的请求时，广告提供服务器(或广告引擎)570可以通过商品搜索模块(或目标广告提取器)571确定特定商品的广告信息是否存在于广告数据库573中。在一些实施例中，商品搜索模块571可以在搜索特定商品的广告信息时使用关于用户510的信息。例如，商品搜索模块571可以通过使用关于用户510的信息来确定用户510是否具有优选品牌，并且可以优先搜索用户510优选的品牌的广告信息。在另一示例中，商品搜索模块571可以通过使用关于用户510的信息来识别提供给用户510的广告的历史信息，并且可以优先搜索特定产品的最近提供的广告信息或者最频繁提供的广告信息。在此方面，可以在用户配置文件数据库550中存储和管理关于用户510的信息。用户配置文件数据库550可以存储关于用户510的各种类型的信息，例如，用户510的年龄、性别、身体信息、偏好的品牌或广告提供历史，以及用户510的识别信息(例如，用户510的姓名、电话号码或ID)。根据实施例，用户配置文件数据库550可以包括在经由通信电路与电子装置530连接的外部服务器中，或者可以存储在电子装置530的信息存储模块中。
当从广告提供服务器570接收特定商品的广告信息时，控制模块513可以通过信息输出模块515向用户510提供特定商品的广告。例如，控制模块513可以通过显示器(例如，显示器153)输出广告信息。在另一示例中，控制模块513可以通过扬声器151输出广告信息。
图6是解释根据实施例的与商品购买相关的系统操作方法的视图。
参考图6，电子装置610(例如，电子装置100或530)可以从用户(例如，用户510)接收购买特定商品的请求。例如，控制模块611(例如，控制模块130或513)可以通过麦克风(例如，麦克风111)接收用于请求购买特定商品的用户的语音输入，或者可以通过触摸屏显示器(例如，显示器153)接收用于确认购买特定商品的按钮输入。
在这种情况下，控制模块611可以确定特定商品是否在线销售。例如，控制模块611可以辨别特定商品的类型并且可以识别特定商品的购买路径。特定商品的购买路径可以被分类为例如亲自前往商店、通过电话购买和在线购买。此外，可以在存储器613(例如，信息存储模块170)中存储和管理关于特定商品的购买路径的信息。
在特定商品的购买路径是亲自前往商店的情况下，控制模块611可以识别销售特定商品的商店(例如，由商品销售商630运营的商店)的位置信息，所述信息存储在存储器613中，并且可以在显示器上显示的地图上标记商店的位置信息，或者可以通过扬声器935输出商店的位置信息。
在特定商品的购买路径是通过电话购买的情况下，控制模块611可以搜索销售特定商品的商店(例如，由商品销售商630运营的商店)的电话号码并且可以通过电话应用631a拨打商店的电话号码。
在特定商品的购买路径是在线购买的情况下，控制模块611可以搜索销售特定商品的在线服务器631(例如，商品购买站点)并且可以通过商品购买应用631b(例如，网络搜索应用)连接到在线服务器631。根据实施例，商品购买应用631b可以包括用于连接到可以在线连接和购买商品的站点的应用。商品购买应用631b可以包括由商品销售商630发布的用于购买注册商品的第三方应用，并且可以包括由代理各种商品销售商630的商品购买服务提供商发布的用于购买注册商品的第三方应用。
根据实施例，当用户在线购买特定商品时，控制模块611可以支持通过支付应用631c对特定商品的支付。
图7示出根据本公开的实施例的信息提供。
电子装置730(例如，电子装置100、530或610)可以通过信息收集模块(例如，信息收集模块110或511)收集与用户710相关的信息。例如，控制模块(例如，控制模块130、513或611)可以通过麦克风731(例如，麦克风111)接收用户710的语音输入，并且可以通过相机733(例如，相机113)获得用户710和用户710的周围的图像。此外，控制模块可以分析获得的信息以确定用户710的意图、情绪或情况，可以为用户710选择信息(例如，广告)，可以向用户710做出至少一个询问，以确认是否提供信息，并且可以当满足被设置用于确定是否提供信息的条件时(例如，当达到的值大于或等于指定量值时)向用户710提供信息，从而在适当的时间提供信息，使得用户710不会对提供信息感到不适。
参考图7，在操作701中，控制模块可以通过麦克风731接收用户710的语音输入(例如，“我们饿了”)。此外，在操作702中，控制模块可以通过相机733获得用户710和用户710的周围的图像。
在操作703中，控制模块可以分析获得的信息。例如，控制模块可以对接收的语音输入执行语音辨识和/或声纹辨识，并且可以识别包括在用户710的语音输入中的词。此外，控制模块可以对获得的图像执行图像分析，以识别用户710的表情、用户710的当前位置，或者关于与用户710一起的人的信息(例如，人数、与用户710的关系等)。在此方面，控制模块可以通过使用预先存储在信息存储模块(例如，信息存储模块170、用户配置文件数据库550或存储器613)中的信息来识别词、用户710的表情、用户710的当前位置或者关于与用户710一起的人的信息。例如，关于各种词的信息以及关于用户710和用户710的熟人的信息可以预先存储在信息存储模块中。
控制模块可以通过信息分析确定用户710的意图、情绪或情况。例如，通过“A，我们饿了”的语音辨识，控制模块可以识别预定的饥饿情绪状态—指示用户710感到饥饿，并且用户710的话语指示减轻饥饿的相关性。此外，通过图像分析，控制模块可以确定用户710(例如，“B”)与他/她的家人(例如，通过对成员的面部辨识和对家庭成员的预先存储的识别)在一起，总人数是四，并且在用户710的面部上存在“愉快”表情(例如，基于某些面部表情特性与被识别为“愉快”的情绪状态之间的预先存储的映射)。因此，通过信息分析，控制模块可以确定用户710对应于“饥饿”情绪状态，并且由于需要食物与他/她的家人一起吃，因此还确定“食物”类别的产品是否与广告相关。
在操作704中，控制模块可以确定用户710的意图、情绪或情况是否与广告相关。例如，控制模块可以确定用户710是否想要接收特定商品的广告。可以通过对例如是否需要购买特定商品、是否存在提供特定商品的供应商等进行综合分析来确定与广告的相关性。
当确定用户710想要接收特定商品的广告时，在操作705中，控制模块可以通过信息输出模块(例如，信息输出模块150或515)输出提示用户确认是否提供特定商品的广告的询问(例如，“你似乎感觉有点饿。你想要一些外卖食品吗？”)。询问可以先前定义并存储在存储器中，并且经由与用户和图像中的其他用户的识别的特性以及各种输入和识别的情绪状态的相关联来检索。
根据实施例，控制模块可以设置广告提供条件以决定是否提供广告。例如，控制模块可以向用户进行询问以确认是否提供广告，并且当用户对询问做出反应时，控制模块可以通过用户的反应来确定用户意图的倾向。此时，为了确定用户具有足以接收广告的意图倾向，控制模块可以量化用户意图的倾向并且可以确定量化数据是否满足用于决定是否提供广告的条件。
此后，如在操作706中，控制模块可以收集用户710对询问的反应。例如，控制模块可以通过麦克风731接收用户的回答(例如，“是”)。在另一示例中，控制模块可以通过相机733获得用户710的图像。
在这种情况下，控制模块可以分析获得的信息，并且可以基于通过分析信息获得的结果来确定是否满足被设置用于决定是否提供广告的广告提供条件。例如，控制模块可以通过分析收集的信息来计算广告提供条件的达到的值。例如，当用户对询问给出肯定回答时，控制模块可以增加达到的值，并且当用户对询问给出否定回答时，控制模块可以减小达到的值。
在达到的值小于指定量值(例如，第一值)的情况下，控制模块可以尝试与广告无关的日常会话。此外，在达到的值大于或等于指定量值(例如，第二值)的情况下，控制模块可以在操作707中通过信息输出模块向用户提供广告(例如，“C中X-大家庭尺寸披萨正在打折20％。你想要吗？”)。例如，控制模块可以在显示器(例如，显示器153)上输出广告，或者可以通过扬声器(例如，扬声器151)输出广告。
在一些实施例中，当达到的值大于或等于指定量值(例如，第二值)时，控制模块可输出询问以从用户710接收用户710是否想要接收广告的明确回答。例如，控制模块可以向用户提供用于确认的询问，例如“你想要接收披萨的广告吗？”。
在另一示例中，在达到的值大于或等于第一值但小于第二值的情况下，控制模块可以通过信息输出模块再次输出用于确认是否提供广告的另一询问。因此，在达到的值变得小于第一量值或者大于或等于第二量值之前，控制模块可以通过信息输出模块输出用于确认是否提供广告的至少一个询问。
当如在操作708中在提供广告之后从用户710接收购买通过广告得知的特定商品的请求(例如，来自C的X大披萨)时，控制模块可以继续进行特定产品的购买。例如，控制模块可以识别特定商品的购买路径，并且可以根据购买路径支持购买。
图8是解释根据另一实施例的提供信息的情况的视图。
参考图8，在操作801和802中，电子装置830(例如，电子装置100、530、610或730)可以通过信息收集模块(例如，信息收集模块110或511)收集与用户810相关的信息。例如，如在操作801中，控制模块(例如，控制模块130、513或611)可以通过麦克风831(例如，麦克风111)接收用户810的语音输入(例如，“A，这完全用完”)。此外，如在操作802中，控制模块可以通过相机833(例如，相机113)获得用户810和用户810的周围的图像。
在操作803中，控制模块可以分析获得的信息。例如，控制模块可以对接收的语音输入执行语音辨识和/或声纹辨识，并且可以识别包括在用户810的语音输入中的词。此外，控制模块可以对获得的图像执行图像分析，以识别用户810的表情、用户810的当前位置，或关于与用户810一起的人的信息。
图8示出用户810在握持洗涤剂850的容器的同时说出“这完全用完”的状态。在这种情况下，控制模块可以执行图像分析以确定包括在用户810的语音输入中的词“这”表示洗涤剂850，并且文本“完全用完”意指洗涤剂850完全用完。因此，控制模块可以确定应该订购洗涤剂850。
根据一个实施例，当意思是“掉落”或“用完”的多义韩语词不与意思是“完全”的韩语词一起使用时，这可能意指洗涤剂850掉落在了地板上。例如，当特定词(例如，韩语“掉落/用完”)与另一词(例如，韩语“完全”)组合时，可以基于其他词的上下文来不同地修改含义。因此，可以在信息存储模块(例如，信息存储模块或存储器613)中存储和管理其中通过其他相邻词的组合来修改含义的词。
在操作804中，如在先前描述的实施例中，控制模块可以确定用户810的意图、情绪或情况是否与广告相关。例如，控制模块可以确定用户810是否想要接收特定商品的广告。可以通过对例如是否需要购买特定商品、是否存在提供特定商品的供应商等进行综合分析来确定与广告的相关性。
当确定用户810想要接收特定商品的广告时，在操作805，控制模块可以通过信息输出模块(例如，信息输出模块150或515)输出询问，用于提示确认是否提供特定商品的广告(例如，“你似乎用完了洗涤剂。你想要一些洗涤剂吗？”)。
根据实施例，控制模块可以设置广告提供条件以决定是否提供广告。例如，控制模块可以向用户进行询问以确认是否提供广告，并且当用户对询问做出反应时，控制模块可以通过用户的反应来确定用户意图的倾向。此时，为了确定用户具有足以接收广告的意图倾向，控制模块可以量化用户意图的倾向并且可以确定量化数据是否满足用于决定是否提供广告的条件。
此后，如在操作806中，控制模块可以收集用户810对询问的反应。例如，控制模块可以通过麦克风831接收用户的回答(例如，“是”)。在另一示例中，控制模块可以通过相机833获得用户810的图像。
在这种情况下，控制模块可以分析获得的信息，并且可以基于通过分析信息获得的结果来确定是否满足被设置用于决定是否提供广告的广告提供条件。例如，控制模块可以通过分析收集的信息来计算用于广告提供条件的达到的值。例如，当用户对询问给出肯定回答时，控制模块可以增加达到的值，并且当用户对询问给出否定回答时，控制模块可以减小达到的值。
在达到的值小于指定量值(例如，第一值)的情况下，控制模块可以尝试与广告无关的日常会话。此外，在达到的值大于或等于指定量值(例如，第二值)的情况下，控制模块可以在操作807中通过信息输出模块向用户提供广告(例如，“大号洗涤剂D正打折10％。你想要吗？”)。例如，控制模块可以在显示器(例如，显示器153)上输出广告，或者可以通过扬声器(例如，扬声器151)输出广告。
在一些实施例中，当达到的值大于或等于指定量值(例如，第二值)时，控制模块可输出询问以从用户810接收用户810是否想要接收广告的明确回答。例如，控制模块可以向用户提供用于确认的询问，例如“您想要接收洗涤剂的广告吗？”。
在另一示例中，在达到的值大于或等于第一值但小于第二值的情况下，控制模块可以通过信息输出模块再次输出用于确认是否提供广告的另一询问。因此，在达到的值变得小于第一量值或者大于或等于第二量值之前，控制模块可以通过信息输出模块输出用于确认是否提供广告的至少一个询问。
当如在操作808中在提供广告之后从用户810接收购买通过广告得知的特定商品的请求(例如，大号洗涤剂D)时，控制模块可以继续进行特定产品的购买。例如，控制模块可以识别特定商品的购买路径，并且可以根据购买路径支持购买。
图9是解释根据实施例的用于进行商品购买方法的视图。
电子装置930(例如，电子装置100、530、610、730或830)可以支持商品的购买。例如，控制模块(例如，控制模块130、513或611)可以识别商品的购买“路径”，这意指通过零售商前端(例如，用于获取所需产品的识别的零售网站)的购买方法，并且可以根据商品的购买路径以不同的方式支持商品的购买。
参考图9，控制模块可以通过显示器933(例如，显示器153)和/或扬声器935(例如，扬声器151)向用户910提供一个或多个产品的广告。此后，当从用户910接收到购买当前显示产品的请求时，控制模块可以发起特定产品或商品的购买路径的识别。特定商品的可能购买路径可以被分类为例如亲自前往商店、通过电话的购买和在线购买。此外，关于特定商品的购买路径的信息可以在信息存储模块(例如，信息存储模块170或存储器613)中存储和管理，以在用户指示想要购买产品时进行检索和使用。
在购买路径是亲自前往商店的情况下，控制模块可以识别从信息存储模块中的存储器检索的销售期望产品的商店的物理位置，并且可以在显示器933上显示的地图上指示商店的位置信息，和/或可以通过扬声器935以声音输出商店的地址和生成方向。
在购买路径是通过电话购买的情况下，控制模块可以识别对应于销售特定商品的零售商的电话号码，并且可以通过拨号器应用(例如，电话应用631a)发起对商店的电话号码的电话呼叫。此时，控制模块可以在显示器933上输出电话应用的执行屏幕。
在购买路径是在线购买的情况下，控制模块可以识别销售特定商品的在线网站或服务器(例如，在线服务器631)，并且可以通过商品购买应用连接到在线服务器(例如，商品购买应用631b)，例如网络浏览器或所述零售商的特定应用。此时，控制模块可以在显示器933上输出商品购买应用的执行屏幕。
根据实施例，当用户910在线购买特定商品时，控制模块还可以支持通过支付应用(例如，支付应用631c)对特定商品的支付。支付应用可以通过使用用户910的生物信息来认证用户910，并且可以允许认证的用户910购买特定商品。例如，当控制模块执行支付应用时，可以根据支付应用的程序例程执行用户认证过程。用户认证过程可以包括例如使用相机931的面部辨识、使用虹膜传感器的虹膜辨识、通过麦克风接收的语音输入的声纹辨识等。
图10是解释根据另一实施例的用于进行商品购买方法的视图。
参照图10，电子装置1010(例如，电子装置100、530、610、730、830或930)可以在购买商品时支持通过支付应用(例如，支付应用631c)支付。支付应用可以安装在电子装置1010中或外部电子装置1030(例如，智能手机)中。
当通过安装在外部电子装置1030中的支付应用进行商品购买时，电子装置1010可以经由通信电路(例如，NFC通信电路)与外部电子装置1030通信。例如，电子装置1010可以通过显示器1011(例如，显示器153或933)输出特定商品的广告，并且可以待机以经由通信电路与外部电子装置1030连接。此外，外部电子装置1030可以执行支付应用并且可以在显示器1031上输出支付应用的执行屏幕。在这种情况下，外部电子装置1030可以从电子装置1010接收关于特定商品的信息，并且可以当通过使外部电子装置1030靠近电子装置1010来经由通信电路将外部电子装置1030和电子装置1010连接在一起时，在显示器1031上输出特定商品的支付信息。此后，外部电子装置1030可以通过面部认证、虹膜认证或声纹认证来认证用户，并且可以继续对特定商品的购买过程。
图11示出根据本公开的实施例的网络环境中的电子装置。
将参考图11描述根据本公开的各种实施例的网络环境1100中的电子装置1101。电子装置1101可以包括总线1110、处理器1120、存储器1130、输入/输出接口1150、显示器1160和通信接口1170。在本公开的各种实施例中，可以省略前述元件中的至少一个，或者可以将另一元件添加到电子装置1101。
总线1110可以包括用于将上述元件1110到1170彼此连接并在上述元件之间传送通信(例如，控制消息或数据)的电路。
处理器1120可以包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的至少一个。处理器1120可以执行与电子装置1101的至少一个其他元件的通信和/或控制相关的数据处理或操作。
存储器1130可包括易失性存储器和/或非易失性存储器。存储器1130可存储与电子装置1101的至少一个其他元件相关的指令或数据。根据本公开的一个实施例，存储器1130可以存储软件和/或程序1140。程序1140可以包括例如内核1141、中间件1143、应用编程接口(API)1145和/或应用程序(或“应用”)1147。内核1141、中间件1143或API 1145的至少一部分可以是指操作系统(OS)。
内核1141可以控制或管理用于执行其他程序(例如，中间件1143、API 1145或应用程序1147)的操作或功能的系统资源(例如，总线1110、处理器1120或存储器1130等)。此外，内核1141可以提供允许中间件1143、API 1145或应用程序1147访问电子装置1101的各个元件以控制或管理系统资源的接口。
中间件1143可以用作中介，使得API 1145或应用程序1147与内核1141通信和交换数据。
此外，中间件1143可以按优先级次序处理从应用程序1147接收的一个或多个任务请求。例如，中间件1143可以为至少一个应用程序1147分配使用电子装置1101的系统资源(例如，总线1110、处理器1120、存储器1130等)的优先级。例如，中间件1143可以根据分配给至少一个应用的优先级来处理一个或多个任务请求，从而针对一个或多个任务请求执行调度或负载平衡。
API 1145是允许应用1147控制由内核1141或中间件1143提供的功能的接口，所述API可以包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能。
输入/输出接口1150可将从用户或另一外部装置输入的指令或数据传送到电子装置1101的其他元件。此外，输入/输出接口1150可将从电子装置1101的其他元件接收的指令或数据输出给用户或其他外部装置。
显示器1160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器1160可向用户呈现各种内容(例如，文本、图像、视频、图标、符号等)。显示器1160可以包括触摸屏，并且可以从电子笔或用户身体的部分接收触摸、手势、接近或悬停输入。
通信接口1170可在电子装置1101与外部装置(例如，第一外部装置1102、第二外部装置1104或服务器1106)之间设置通信。例如，通信接口1170可以经由无线通信或有线通信而连接到网络1162，从而与外部装置(例如，第二外部电子装置1104或服务器1106)通信。
无线通信可以采用蜂窝通信协议中的至少一种：例如长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。无线通信可以包括例如短距离通信1164。短距离通信可以包括无线保真(Wi-Fi)、蓝牙、近场通信(NFC)、磁条传输(MST)或GNSS中的至少一种。
MST可以根据传输数据生成脉冲，并且脉冲可以生成电磁信号。电子装置1101可以将电磁信号发送到读取器装置，例如销售点(POS)装置。POS装置可以通过使用MST读取器来检测磁信号，并通过将检测到的电磁信号转换为电信号来恢复数据。
根据用户区域或带宽，GNSS可包括例如全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统(BeiDou)和欧洲基于全球卫星的导航系统(Galileo)中的至少一个。下文中，术语“GPS”和“GNSS”可以互换使用。有线通信可以包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话服务(POTS)等中的至少一个。网络1162可以包括电信网络中的至少一个，例如计算机网络(例如，局域网(LAN)或广域网(WAN))、因特网或电话网络。
第一外部装置1102和第二外部装置1104的类型可以与电子装置1101的类型相同或不同。根据本公开的实施例，服务器1106可以包括一组一个或多个服务器。在电子装置1101中执行的所有或一些操作可以在一个或多个其他电子装置(例如，第一外部电子装置1102、第二外部电子装置1104或服务器1106)中执行。当电子装置1101应自动地或响应于请求执行特定功能或服务时，电子装置1101可以代替自己本身执行功能或服务或除了自己本身执行功能或服务之外向另一装置(例如，第一外部电子装置1102、第二外部电子装置1104或服务器1106)请求与功能或服务相关的功能的至少一部分。另一电子装置(例如，第一外部电子装置1102、第二外部电子装置1104或服务器1106)可以执行所请求的功能或额外的功能，并且可以将执行的结果传送到电子装置1101。电子装置1101可以自身使用所接收的结果或者可以额外处理所接收的结果以提供所请求的功能或服务。为此，例如，可使用云计算技术、分布式计算技术或客户端服务器计算技术。
图12是示出根据本公开的实施例的电子装置的配置的框图。
参考图12，电子装置1201可以包括例如图11中所示的电子装置1101的全部或一部分。电子装置1201可以包括一个或多个处理器1210(例如，应用处理器(AP))、通信模块1220、订户识别模块(SIM)1229、存储器1230、安全模块1236、传感器模块1240、输入装置1250、显示器1260、接口1270、音频模块1280、相机模块1291、电源管理模块1295、电池1296、指示器1297和电机1298。
处理器1210可以驱动例如操作系统(OS)或应用程序以控制连接到其的多个硬件或软件部件，并且可以处理和计算各种数据。处理器1210可以用例如片上系统(SoC)实施。根据本公开的实施例，处理器1210可以包括图形处理单元(GPU)(未示出)和/或图像信号处理器(ISP)(未示出)。处理器1210可以包括图12中所示的部件中的至少一些(例如，蜂窝模块1221)。处理器1210可以将从其他部件(例如，非易失性存储器)中的至少一个接收的命令或数据加载到易失性存储器中以处理数据，并且可以将各种数据存储在非易失性存储器中。
通信模块1220可以具有与图11的通信接口1170相同或相似的配置。通信模块1220可以包括例如蜂窝模块1221、无线保真(Wi-Fi)模块1222、蓝牙(BT)模块1223、全球导航卫星系统(GNSS)模块1224(例如，GPS模块、Glonass模块、Beidou模块或Galileo模块)、近场通信(NFC)模块1225、MST模块1226以及射频(RF)模块1227。
蜂窝模块1221可以通过通信网络提供例如语音呼叫服务、视频呼叫服务、文本消息服务或因特网服务等。根据本公开的实施例，蜂窝模块1221可以使用SIM 1229(例如，SIM卡)识别和认证通信网络中的电子装置1201。根据本公开的实施例，蜂窝模块1221可以执行可以由处理器1210提供的功能的至少一部分。根据本公开的一个实施例，蜂窝模块1221可以包括通信处理器(CP)。
Wi-Fi模块1222、BT模块1223、GNSS模块1224、NFC模块1225或MST模块1226可以包括例如至少一个处理器，以用于处理通过对应模块发送和接收的数据。根据本公开的各种实施例，蜂窝模块1221、Wi-Fi模块1222、BT模块1223、GNSS模块1224、NFC模块1225或MST模块1226中的至少一些(例如，两个或多个)可以包括在一个集成芯片(IC)或一个IC封装中。
RF模块1227可以发送和接收例如通信信号(例如，RF信号)。尽管未示出，RF模块1227可以包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、或者天线等。根据本公开的另一实施例，蜂窝模块1221、Wi-Fi模块1222、BT模块1223、GNSS模块1224、NFC模块1225或MST模块1226中的至少一个可以通过单独的RF模块来发射和接收RF信号。
SIM 1229可以包括例如包括SIM和/或嵌入式SIM的卡。SIM 1229可以包括唯一识别信息(例如，集成电路卡标识符(ICCID))或者订户信息(例如，国际移动订户身份(IMSI))。
存储器1230(例如，图11的存储器1130)可以包括例如嵌入式存储器1232或外部存储器1234。嵌入式存储器1232可以包括例如以下各项中的至少一项：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)，或者非易失性存储器(例如，一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除和可编程ROM(EPROM)、电可擦除和可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存存储器(例如，NAND闪存存储器或者NOR闪存存储器等)、硬盘驱动器或者固态驱动器(SSD))。
外部存储器1234可以包括闪存驱动器，例如紧凑式闪存(CF)、安全数字(SD)、微型SD、迷你SD、极限数字(xD)、多媒体卡(MMC)、或者存储棒等。外部存储器1234可以通过各种接口可操作地和/或物理地与电子装置1201连接。
安全模块1236可以是比存储器1230具有相对更高的安全级别的模块，并且可以是存储安全数据并保证受保护的执行环境的电路。安全模块1236可以用单独的电路实施，并且可以包括单独的处理器。安全模块1236可以包括例如嵌入式安全元件(eSE)，其存在于可移动智能芯片或可移动SD卡中或者嵌入在电子装置1201的固定芯片中。此外，安全模块1236可以由与电子装置1201的OS不同的OS驱动。例如，安全模块1236可以基于Java卡开放平台(JCOP)OS进行操作。
传感器模块1240可以测量例如物理量或者可以检测电子装置1201的操作状态，并且可以将测量或检测到的信息转换成电信号。传感器模块1240可以包括例如以下各项中的至少一项：手势传感器1240A、陀螺仪传感器1240B、气压传感器1240C、磁性传感器1240D、加速度传感器1240E、握力传感器1240F、近距离传感器1240G、颜色传感器1240H(例如，红色、绿色、蓝色(RGB)传感器)、生物传感器1240I、温度/湿度传感器1240J、照度传感器1240K、或者紫外线(UV)传感器1240M。此外或替代地，传感器模块1240还可以包括例如电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外线(IR)传感器(未示出)、虹膜传感器(未示出)和/或指纹传感器(未示出)等。传感器模块1240还可以包括用于控制包括在其中的至少一个或多个传感器的控制电路。根据本公开的各种实施例，电子装置1201还可以包括处理器，所述处理器被配置为控制传感器模块1240作为处理器1210的一部分或者独立于处理器1210。当处理器1210处于睡眠状态时，电子装置1201可以控制传感器模块1240。
输入装置1250可以包括例如触摸面板1252、(数字)笔传感器1254、键1256或超声输入装置1258。触摸面板1252可以使用例如电容型、电阻型、红外型和超声型中的至少一种。此外，触摸面板1252还可以包括控制电路。触摸面板1252还可以包括触觉层，并且可以向用户提供触觉反应。
(数字)笔传感器1254可以例如是触摸面板1252的一部分或者可以包括单独的辨识片。键1256可以包括例如物理按钮、光学键或小键盘。超声输入装置1258可以允许电子装置1201使用麦克风(例如，麦克风1288)来检测声波，并且通过产生超声信号的输入工具来验证数据。
显示器1260(例如，图11的显示器1160)可以包括面板1262、全息图装置1264或投影仪1266。面板1262可以包括与显示器1160相同或相似的配置。面板1262可被实施为例如是柔性的、透明的或可穿戴的。面板1262和触摸面板1252可以集成到一个模块中。全息图装置1264可以使用光的干涉在空间中显示立体图像。投影仪1266可以将光投射到屏幕上以显示图像。屏幕可以例如定位在电子装置1201的内部或外部。根据本公开的实施例，显示器1260还可包括用于控制面板1262、全息图装置1264或投影仪1266的控制电路。
接口1270可以包括例如高分辨率多媒体接口(HDMI)1272、通用串行总线(USB)1274、光学接口1276或者超小型连接器1278。接口1270可包括于例如图11中示出的通信接口1170中。此外或替代地，接口1270可以包括例如移动高清链接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据关联(IrDA)标准接口。
音频模块1280可以双向转换声音和电信号。音频模块1280的至少部分部件可以包括在例如图11中所示的输入/输出接口1150(或用户界面)中。音频模块1280可以处理通过例如扬声器1282、接收器1284、耳机1286、麦克风1288等输入或输出的声音信息。
相机模块1291可以是捕获静态图像和活动图像的装置。根据本公开的实施例，相机模块1291可以包括一个或多个图像传感器(未示出)(例如，前传感器或后传感器)、镜头(未示出)、图像信号处理器(ISP)(未示出)或者闪光灯(未示出)(例如，LED或氙灯)。
电源管理模块1295可以管理例如电子装置1201的电源。根据本公开的实施例，尽管未示出，电源管理模块1295可以包括电源管理集成电路(PMIC)、充电器IC或者电池或油量计。PMIC可以具有有线充电和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或者电磁方法等。还可以提供用于无线充电的额外电路，例如线圈回路、谐振电路或者整流器等。电池量表可以测量例如电池1296的剩余容量以及在电池1296充电时其电压、电流或温度。电池1296可以包括例如可充电电池或太阳能电池。
指示器1297可以显示电子装置1201或其部分(例如，处理器1210)的特定状态，例如启动状态、消息状态、充电状态等。电机1298可以将电信号转换为机械振动，并且可以产生振动或触觉效果等。尽管未示出，但是电子装置1201可以包括用于支持移动TV的处理单元(例如，GPU)。用于支持移动TV的处理单元可以根据例如数字多媒体广播(DMB)标准、数字视频广播(DVB)标准或者MediaFLOTM标准等的标准来处理媒体数据。
根据本公开的各种实施例的电子装置的上述元件中的每一个可以被配置有一个或多个部件，并且对应元件的名称可以根据电子装置的类型而变化。根据本公开各种实施例的电子装置可以包括上述元件中的至少一个，可以从电子装置中省略一些元件，或者可以在电子装置中还包括其他额外元件。此外，根据本公开的各种实施例的电子装置的一些元件可以彼此组合以形成一个实体，从而使得可以以与组合之前相同的方式来执行对应元件的功能。
图13是示出根据本公开的实施例的程序模块1310的配置的框图。
根据本公开的实施例，程序模块1310(例如，图11的程序1140)可以包括用于控制与电子装置(例如，图11的电子装置1101)相关联的资源的操作系统(OS)和/或在OS上执行的各种应用(例如，图11的应用程序1147)。OS可以是例如Android、iOS、Windows、Symbian、Tizen或Bada等。
程序模块1310可以包括内核1320、中间件1330、应用编程接口(API)1360和/或应用1370。程序模块1310的至少一部分可以预先加载在电子装置上和/或可从外部电子装置(例如，图11的第一外部电子装置1102、第二外部电子装置1104或服务器1106等)下载。
内核1320(例如，图11的内核1141)可以包括例如系统资源管理器1321和/或装置驱动器1323。系统资源管理器1321可以对系统资源进行控制、分配或收集等。根据本公开的实施例，系统资源管理器1321可以包括进程管理单元、存储器管理单元或文件系统管理单元等。装置驱动器1323可以包括例如显示驱动器、相机驱动器、蓝牙(BT)驱动器、共享存储器驱动器、通用串行总线(USB)驱动器、键盘驱动器、无线保真(Wi-Fi)驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件1330(例如，图11的中间件1143)可以提供例如应用1370共同需要的功能，并且可以通过API 1360向应用1370提供各种功能，使得应用1370有效地使用电子装置中的有限系统资源。根据本公开的实施例，中间件1330(例如，中间件1143)可以包括运行时库1335、应用管理器1341、窗口管理器1342、多媒体管理器1343、资源管理器1344、电源管理器1345、数据库管理器1346、包管理器1347、连接管理器1348、通知管理器1349、位置管理器1350、图形管理器1351、安全管理器1352或支付管理器1354中的至少一个。
运行时库1335可以包括例如编译器用来在执行应用程序1370的同时通过编程语言添加新功能的库模块。运行时库1335可以执行关于输入和输出管理、存储器管理的功能或算术功能。
应用管理器1341可以管理例如应用1370中的至少一个的生命周期。窗口管理器1342可管理在电子装置的屏幕上使用的图形用户界面(GUI)资源。多媒体管理器1343可以确定用于再现各种媒体文件所使用的格式并且可以使用对应于对应格式的编解码器来对媒体文件进行编码或解码。资源管理器1344可以管理应用1370中的至少一个的源代码，并且可以管理存储器或存储空间的资源等。
电源管理器1345可以与例如基本输入/输出系统(BIOS)等一起操作，可以管理电池或电源，并且可以提供用于电子装置的操作的电源信息。数据库管理器1346可以生成、搜索和改变要在应用1370中的至少一个中使用的数据库。包管理器1347可以管理以包文件形式分布的应用的安装或更新。
连接管理器1348可以管理例如无线连接，例如Wi-Fi连接或BT连接等。通知管理器1349可以通过不受用户干扰的方法显示或通知例如到达消息、约会和接近通知的事件。位置管理器1350可以管理电子装置的位置信息。图形管理器1351可以管理提供给用户的图形效果或与图形效果相关的用户界面(UI)。安全管理器1352可以提供用于系统安全、用户认证等的所有安全功能。根据本公开的实施例，当电子装置(例如，图11的电子装置1101)具有电话功能时，中间件1330还可以包括用于管理电子装置的语音和视频通信功能的电话管理器(未示出)。
中间件1330可以包括配置上述部件的各种功能的组合的中间件模块。中间件1330可以提供根据多种OS定制以提供相异功能的模块。另外，中间件1330可以动态地删除一些现有部件或者可以添加新部件。
API 1360(例如，图11的API 1145)可以是例如API编程功能集合，并且可以根据OS具备不同配置。例如，在Android或iOS的情况下，可以根据平台提供一个API集合。在Tizen的情况下，可以根据平台提供两个或更多个API集合。
应用1370(例如，图11的应用程序1147)可以包括例如以下各项中的一项或多项：主应用1371、拨号器应用1372、短消息服务/多媒体消息服务(SMS/MMS)应用1373、即时消息(IM)应用1374、浏览器应用1375、相机应用1376、闹铃应用1377、联系人应用1378、语音拨号应用1379、电子邮件应用1380、日历应用1381、媒体播放器应用1382、相机应用1383、时钟应用1384、支付应用1385、健康护理应用(例如，用于测量运动量或血糖的应用等)或环境信息应用(例如，用于提供大气压信息、湿度信息或温度信息等的应用)等。
根据本公开的实施例，应用1370可以包括用于在电子装置(例如，图11的电子装置1101)与外部电子装置(例如，第一外部电子装置1102或第二外部电子装置1104)之间交换信息的应用(在下文中，为了更好地理解和简化描述，称为“信息交换应用”)。信息交换应用可以包括例如用于将特定信息发送到外部电子装置的通知中继应用或者用于管理外部电子装置的装置管理应用。
例如，通知中继应用可以包括将由电子装置的其他应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用等)生成的通知信息发送到外部电子装置(例如，第一外部电子装置1102或第二外部电子装置1104)的功能。此外，通知中继应用可以从外部电子装置接收例如通知信息，并且可以将接收的通知信息提供给电子装置的用户。
装置管理应用可以管理(例如，安装、删除或更新)例如与电子装置通信的外部电子装置(例如，第一外部电子装置1102或第二外部电子装置1104)的功能(例如，打开/关闭外部电子装置本身(或部分部件)的功能或者调整显示器的亮度(或分辨率)的功能)、在外部电子装置中操作的应用或从外部电子装置提供的服务(例如，呼叫服务或信息服务)中的至少一个。
根据本公开的实施例，应用1370可以包括根据外部电子装置(例如，第一外部电子装置1102或第二外部电子装置1104)的属性预设的应用(例如，移动医疗装置的健康卡应用)。根据本公开的实施例，应用1370可以包括从外部电子装置(例如，服务器1106、第一外部电子装置1102或第二外部电子装置1104)接收的应用。根据本公开的实施例，应用1370可以包括可以从服务器下载的预加载的应用或第三方应用。根据本公开的各种实施例的程序模块1310的部件的名称可以根据OS的种类而不同。
根据本公开的各种实施例，程序模块1310的至少一部分可以使用软件、固件、硬件或其两者或更多者的任何组合来实施。程序模块1310的至少一部分可以由处理器(例如，处理器1210)实施(例如，执行)。编程模块1310的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集和/或进程。
本文使用的术语“模块”可以表示例如包括硬件、软件和固件中的一个或其组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“部件”或“电路”互换使用。“模块”可以是集成部件的最小单元或集成部件的一部分。“模块”可以是用于执行一个或多个功能的最小单位或其部分。“模块”可以用机械方式或用电子方式来实施。例如，“模块”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行某些操作的可编程逻辑装置中的至少一个，这些装置是已知的或者将被开发。
根据本公开的各种实施例的装置(例如，其模块或功能)或方法(例如，操作)的至少一部分可以由以程序模块的形式存储在计算机可读存储介质中的指令来实施。在由处理器(例如，处理器1120)执行指令的情况下，处理器可以执行与指令对应的功能。计算机可读存储介质可以是例如存储器1130。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，CD-ROM、数字通用盘(DVD))、磁光介质(例如，光盘)或硬件装置(例如，ROM、RAM、闪存等)。程序指令可以包括由编译器生成的机器语言代码和可以由使用解释器的计算机执行的高级语言代码。上述硬件装置可以被配置以作为一个或多个软件模块来操作以便执行根据本公开的各种实施例的操作，反之亦然。
根据本公开的各种实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略一些元件，或者可以添加其他额外元件。由根据本公开的各种实施例的模块、程序模块或其他元件执行的操作可以以顺序、并行、迭代或启发式方式执行。此外，一些操作可以根据另一次序执行或者可以被省略，或者可以添加其他操作。
虽然已参考本公开的各种实施例示出和描述本公开，但是本领域技术人员将理解，在不脱离如由以下权利要求及其等效物所限定的本公开的情况下，可以在其中对形式和细节进行各种改变。

Claims (15)

1.一种电子装置，包括：
麦克风；
相机；
输出装置；
存储器，存储：
存储有多个预定义用户状态的第一数据，所述预定义用户状态包括用户意图、用户情绪和用户环境中的至少一个；
存储有多个用户反应的第二数据，所述用户反应包括预定义用户响应和指示用户面部表情的信息；
根据会话类别分类的多个输出信息；以及
根据所述会话类别分类的多个预定义询问；
处理器，可操作地联接到所述麦克风、所述相机、所述输出装置和所述存储器，所述处理器配置成：
接收包括通过所述麦克风输入的语音和通过所述相机捕获的用户图像中的至少一个的输入；
分析所接收的输入以从所存储的所述第二数据的多个用户反应当中选择一个用户反应；
基于所述多个预定义用户状态到所述多个用户反应的映射来从所述第一数据中检索至少一个预定义用户状态；
基于所述预定义用户状态和所述会话类别的映射来根据所述至少一个预定义用户状态识别会话类别；以及
从根据所识别的会话类别分类的所述多个输出信息当中选择第一信息并通过所述输出装置输出所选择的第一信息。
2.根据权利要求1所述的电子装置，其中，当所述输入包括所述语音输入时，所述处理器进一步配置成：
使用语音辨识和声纹辨识中的至少一个来分析所述语音输入；以及
将通过所述语音辨识和所述声纹辨识从所述语音输入提取的至少一个词与所述预定义用户响应中的至少一个进行比较，以从所述第一数据当中识别所述至少一个预定义用户状态。
3.根据权利要求1所述的电子装置，其中，当所述输入包括所述用户的图像时，所述处理器进一步配置成：
从所述图像中提取与所述用户不同的至少一个对象；
通过将所提取的至少一个对象的特征与存储在所述存储器中的已知特征进行比较来识别所述所提取的至少一个对象；以及
将所识别的至少一个对象与已知对象与已知用户环境的预存储的映射进行比较，以从所述第一数据当中识别匹配的用户环境。
4.根据权利要求1所述的电子装置，其中，从所述多个输出信息当中选择所述第一信息还基于以下至少一个：所述用户的年龄、所述用户的性别、所述用户的身体特征、所述用户的以往偏好的品牌和指示所述多个输出信息当中的、先前输出给所述用户的信息的历史。
5.根据权利要求1所述的电子装置，其中，所述处理器进一步配置成：
基于所述所识别的会话类别，从所述多个预定义询问当中选择第一询问；
通过所述输出装置输出所述第一询问，所述第一询问用于请求确认是否输出所述第一信息；以及
接收包括所述语音输入和所述用户的图像中的至少一个的第二输入，并基于所述第二输入生成数值分数，
其中，当所述数值分数大于或等于第一量值时，通过所述输出装置输出所述第一信息。
6.根据权利要求5所述的电子装置，其中，生成所述数值分数还包括：
识别响应于所述第一询问的所述第二输入是否被分类为肯定类别、否定类别和未决类别中的一个；
当所述第二输入被分类为肯定时将所述数值分数增大第一预定量值；
当所述第二输入被分类为否定时将所述数值分数减小第二预定量值；以及
当所述第二输入被分类为未决时维持所述数值分数。
7.根据权利要求6所述的电子装置，其中，当所述第二输入包括所述语音输入时，所述处理器进一步配置成：
对所述第二输入执行语音辨识和声纹辨识中的至少一个，以从所述第二输入提取词；
基于预先存储在所述存储器中的分类标准，将所提取的词分类为肯定、否定或未决；
当将所述词被分类为肯定时，将所述数值分数增大所述第一预定量值；
当将所述词被分类为否定时，将所述数值分数减小所述第二预定量值；且
当所述词被分类为未决时，维持所述数值分数不变。
8.根据权利要求5所述的电子装置，其中，
当所述数值分数小于第二量值时，选择并输出第二询问，所述第二询问与所选择的第一信息不相关。
9.根据权利要求8所述的电子装置，其中
当所述数值分数大于或等于所述第二量值且小于所述第一量值时，从匹配所识别的会话类别的所述多个预定义询问当中选择和输出第三询问，以提示是否显示所选择的第一信息的最终确认。
10.根据权利要求1所述的电子装置，其中，当接收到对请求输出所选择的第一信息进行确认的第二输入时，通过所述输出装置输出所选择的第一信息。
11.一种电子装置中的方法，所述方法包括：
将以下各项存储在存储器中：
包括多个预定义用户状态的第一数据，所述预定义用户状态
包括用户意图、用户情绪和用户环境中的至少一个；
包括多个用户反应的第二数据，所述用户反应包括预定义用户响应和指示用户面部表情的信息；
根据会话类别分类的多个输出信息；以及
根据所述会话类别分类的多个预定义询问；
接收包括通过麦克风输入的语音和通过相机捕获的用户图像中的至少一个的输入；
由处理器分析所接收的输入，以从所存储的所述第二数据的多个用户反应当中选择一个用户反应；
基于所述多个预定义用户状态到所述多个用户反应的映射来从所述第一数据中检索至少一个预定义用户状态；
基于所述预定义用户状态和所述会话类别的映射来根据所述至少一个预定义用户状态识别会话类别；以及
从根据所识别的会话类别分类的所述多个输出信息当中选择第一信息并通过输出装置输出所选择的第一信息。
12.根据权利要求11所述的方法，其中，当所述输入包括所述语音输入时，所述方法还包括：
使用语音辨识和声纹辨识中的至少一个来分析所述语音输入；以及
将通过所述语音辨识和所述声纹辨识从所述语音输入提取的至少一个词与所述预定义用户响应中的至少一个进行比较，以从所述第一数据当中识别所述至少一个预定义用户状态。
13.根据权利要求11所述的方法，其中，当所述输入包括所述用户的图像时，所述方法还包括：
从所述图像中提取与所述用户不同的至少一个对象；
通过将所提取的至少一个对象的特征与存储在所述存储器中的已知特征进行比较来识别所述所提取的至少一个对象；以及
将所识别的至少一个对象与已知对象与已知用户环境的预存储的映射进行比较，以从所述第一数据当中识别匹配的用户环境。
14.根据权利要求11所述的方法，其中，从所述多个输出信息当中选择所述第一信息还基于以下至少一个：所述用户的年龄、所述用户的性别、所述用户的身体特征、所述用户的以往偏好的品牌和指示所述多个输出信息当中的、先前输出给所述用户的信息的历史。
15.根据权利要求11所述的方法，还包括：
基于所识别的会话类别，从所述多个预定义询问当中选择第一询问；
通过所述输出装置输出所述第一询问，所述第一询问用于请求确认是否输出所述第一信息；以及
接收包括所述语音输入和所述用户的图像中的至少一个的第二输入，并基于所述第二输入生成数值分数，
其中，当所述数值分数大于或等于第一量值时，通过所述输出装置输出所述第一信息。
CN201880023225.5A 2017-03-31 2018-03-30 用于提供信息的方法和支持该方法的电子装置 Active CN110546630B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170041789A KR102363794B1 (ko) 2017-03-31 2017-03-31 정보 제공 방법 및 이를 지원하는 전자 장치
KR10-2017-0041789 2017-03-31
PCT/KR2018/003763 WO2018182351A1 (en) 2017-03-31 2018-03-30 Method for providing information and electronic device supporting the same

Publications (2)

Publication Number Publication Date
CN110546630A true CN110546630A (zh) 2019-12-06
CN110546630B CN110546630B (zh) 2023-12-05

Family

ID=63669665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880023225.5A Active CN110546630B (zh) 2017-03-31 2018-03-30 用于提供信息的方法和支持该方法的电子装置

Country Status (5)

Country Link
US (1) US11532181B2 (zh)
EP (1) EP3583524A4 (zh)
KR (1) KR102363794B1 (zh)
CN (1) CN110546630B (zh)
WO (1) WO2018182351A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354434A (zh) * 2018-12-21 2020-06-30 三星电子株式会社 电子装置及其提供信息的方法
CN111785266A (zh) * 2020-05-28 2020-10-16 博泰车联网(南京)有限公司 一种语音交互方法及系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US11328716B2 (en) * 2017-12-22 2022-05-10 Sony Corporation Information processing device, information processing system, and information processing method, and program
US11900928B2 (en) * 2017-12-23 2024-02-13 Soundhound Ai Ip, Llc System and method for adapted interactive experiences
CN109446876B (zh) * 2018-08-31 2020-11-06 百度在线网络技术（北京）有限公司 手语信息处理方法、装置、电子设备和可读存储介质
CN109684443B (zh) * 2018-11-01 2020-11-24 百度在线网络技术（北京）有限公司 智能交互方法和装置
KR20200113105A (ko) 2019-03-22 2020-10-06 삼성전자주식회사 응답을 제공하는 전자 장치와 이의 동작 방법
US11948582B2 (en) * 2019-03-25 2024-04-02 Omilia Natural Language Solutions Ltd. Systems and methods for speaker verification
EP3951689A4 (en) * 2019-03-29 2022-05-25 Sony Group Corporation INFORMATION PROCESSING DEVICE, ASSISTANCE SYSTEM AND CONTROL METHOD
WO2020246643A1 (ko) * 2019-06-07 2020-12-10 엘지전자 주식회사 서빙 로봇 및 그를 이용한 고객 접대 방법
US11257493B2 (en) * 2019-07-11 2022-02-22 Soundhound, Inc. Vision-assisted speech processing
CN110457454A (zh) * 2019-07-12 2019-11-15 卓尔智联(武汉)研究院有限公司 一种对话方法、服务器、对话系统及存储介质
KR20210035968A (ko) * 2019-09-24 2021-04-02 엘지전자 주식회사 사용자의 표정이나 발화를 고려하여 마사지 동작을 제어하는 인공 지능 마사지 장치 및 그 방법
KR102118585B1 (ko) * 2019-12-13 2020-06-03 가천대학교 산학협력단 시니어 케어를 위한 스마트미러 챗봇 시스템 및 방법
US10990166B1 (en) * 2020-05-10 2021-04-27 Truthify, LLC Remote reaction capture and analysis system
KR102459076B1 (ko) * 2020-09-25 2022-10-26 경희대학교 산학협력단 사용자 경험 측정을 위한 적응형 설문 생성 장치 및 방법
US11721339B2 (en) * 2020-09-27 2023-08-08 Stryker Corporation Message filtering based on dynamic voice-activated rules
EP4181120A4 (en) * 2020-11-25 2024-01-10 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR GENERATING A RESPONSE TO A USER INPUTION AND OPERATING METHOD THEREFOR
US11694039B1 (en) * 2021-01-22 2023-07-04 Walgreen Co. Intelligent automated order-based customer dialogue system
WO2022214616A1 (en) * 2021-04-09 2022-10-13 Interdigital Ce Patent Holdings, Sas Personalizing audio-visual content based on user's interest

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471098A (zh) * 2002-06-25 2004-01-28 根据用户反应选择项
WO2007089967A2 (en) * 2006-01-23 2007-08-09 Chacha Search, Inc. Targeted mobile device advertisements
US20070186165A1 (en) * 2006-02-07 2007-08-09 Pudding Ltd. Method And Apparatus For Electronically Providing Advertisements
US20110144999A1 (en) * 2009-12-11 2011-06-16 Samsung Electronics Co., Ltd. Dialogue system and dialogue method thereof
US20120143693A1 (en) * 2010-12-02 2012-06-07 Microsoft Corporation Targeting Advertisements Based on Emotion
CN103514455A (zh) * 2012-06-19 2014-01-15 国际商业机器公司 用于表征情绪提示的方法和系统
US20140136323A1 (en) * 2012-08-11 2014-05-15 Guangsheng Zhang System and methods for advertising based on user intention detection
US20140278993A1 (en) * 2013-03-15 2014-09-18 adRise, Inc. Interactive advertising
US20140337370A1 (en) * 2013-05-07 2014-11-13 Veveo, Inc. Method of and system for real time feedback in an incremental speech input interface
US20140358535A1 (en) * 2013-05-28 2014-12-04 Samsung Electronics Co., Ltd. Method of executing voice recognition of electronic device and electronic device using the same
CN105068661A (zh) * 2015-09-07 2015-11-18 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法和系统
US20160104486A1 (en) * 2011-04-22 2016-04-14 Angel A. Penilla Methods and Systems for Communicating Content to Connected Vehicle Users Based Detected Tone/Mood in Voice Input
CN105654952A (zh) * 2014-11-28 2016-06-08 三星电子株式会社 用于输出语音的电子设备、服务器和方法
US20160170710A1 (en) * 2014-12-12 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for processing voice input
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288527A (ja) 2001-03-26 2002-10-04 Casio Comput Co Ltd 広告端末、広告端末処理プログラム、及び広告管理装置、広告管理方法、広告管理処理プログラム
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US20080004951A1 (en) * 2006-06-29 2008-01-03 Microsoft Corporation Web-based targeted advertising in a brick-and-mortar retail establishment using online customer information
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
KR101850026B1 (ko) * 2011-11-07 2018-04-24 한국전자통신연구원 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 장치, 및 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 노출 방법
TW201322034A (zh) 2011-11-23 2013-06-01 Inst Information Industry 結合搜尋引擎服務的廣告播放系統及方法
US9594807B2 (en) 2013-08-06 2017-03-14 Intel Corporation Emotion-related query processing
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US20160191958A1 (en) * 2014-12-26 2016-06-30 Krush Technologies, Llc Systems and methods of providing contextual features for digital communication

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471098A (zh) * 2002-06-25 2004-01-28 根据用户反应选择项
WO2007089967A2 (en) * 2006-01-23 2007-08-09 Chacha Search, Inc. Targeted mobile device advertisements
US20070186165A1 (en) * 2006-02-07 2007-08-09 Pudding Ltd. Method And Apparatus For Electronically Providing Advertisements
US20110144999A1 (en) * 2009-12-11 2011-06-16 Samsung Electronics Co., Ltd. Dialogue system and dialogue method thereof
US20120143693A1 (en) * 2010-12-02 2012-06-07 Microsoft Corporation Targeting Advertisements Based on Emotion
US20160104486A1 (en) * 2011-04-22 2016-04-14 Angel A. Penilla Methods and Systems for Communicating Content to Connected Vehicle Users Based Detected Tone/Mood in Voice Input
CN103514455A (zh) * 2012-06-19 2014-01-15 国际商业机器公司 用于表征情绪提示的方法和系统
US20140136323A1 (en) * 2012-08-11 2014-05-15 Guangsheng Zhang System and methods for advertising based on user intention detection
US20140278993A1 (en) * 2013-03-15 2014-09-18 adRise, Inc. Interactive advertising
US20140337370A1 (en) * 2013-05-07 2014-11-13 Veveo, Inc. Method of and system for real time feedback in an incremental speech input interface
US20140358535A1 (en) * 2013-05-28 2014-12-04 Samsung Electronics Co., Ltd. Method of executing voice recognition of electronic device and electronic device using the same
CN105654952A (zh) * 2014-11-28 2016-06-08 三星电子株式会社 用于输出语音的电子设备、服务器和方法
US20160170710A1 (en) * 2014-12-12 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for processing voice input
CN105068661A (zh) * 2015-09-07 2015-11-18 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法和系统
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354434A (zh) * 2018-12-21 2020-06-30 三星电子株式会社 电子装置及其提供信息的方法
CN111354434B (zh) * 2018-12-21 2024-01-19 三星电子株式会社 电子装置及其提供信息的方法
CN111785266A (zh) * 2020-05-28 2020-10-16 博泰车联网(南京)有限公司 一种语音交互方法及系统

Also Published As

Publication number Publication date
CN110546630B (zh) 2023-12-05
EP3583524A4 (en) 2020-03-25
US20180285752A1 (en) 2018-10-04
WO2018182351A1 (en) 2018-10-04
KR102363794B1 (ko) 2022-02-16
KR20180111197A (ko) 2018-10-11
EP3583524A1 (en) 2019-12-25
US11532181B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
CN110546630B (zh) 用于提供信息的方法和支持该方法的电子装置
US10929632B2 (en) Fingerprint information processing method and electronic device supporting the same
CN108664829B (zh) 用于提供与图像中对象有关的信息的设备
US10636430B2 (en) Voice inputting method, and electronic device and system for supporting the same
KR102495517B1 (ko) 전자 장치, 전자 장치의 음성 인식 방법
EP3211552A1 (en) Exercise information providing method and electronic device supporting the same
KR102383791B1 (ko) 전자 장치에서의 개인 비서 서비스 제공
KR20160071732A (ko) 음성 입력을 처리하는 방법 및 장치
KR20170110967A (ko) 전자 장치 및 전자 장치에서의 정보 제공 방법
US10034151B2 (en) Method for providing point of interest and electronic device thereof
US10972861B2 (en) Electronic device and system for providing point of interest information
US20180197540A1 (en) Electronic device for recognizing speech
CN108024763B (zh) 活动信息提供方法及支持其的电子设备
KR20160027640A (ko) 전자 장치 및 전자 장치에서의 개체명 인식 방법
KR20170035604A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
KR102573725B1 (ko) 콘텐트 프리로딩 방법 및 이를 지원하는 전자 장치
KR20180089699A (ko) 건강 콘텐트 제공 방법 및 이를 수행하는 전자 장치
KR20170060567A (ko) 전자 장치 및 그 제어 방법
US10691318B2 (en) Electronic device and method for outputting thumbnail corresponding to user input
US10455381B2 (en) Apparatus and method for providing function of electronic device corresponding to location
US10210104B2 (en) Apparatus and method for providing handoff thereof
US20170024442A1 (en) Electronic device and method of acquiring user information in electronic device
EP3157002A1 (en) Electronic device and method for transforming text to speech utilizing super-clustered common acoustic data set for multi-lingual/speaker
US11710173B2 (en) Electronic device for performing payment and operation method therefor
CN108205754B (zh) 电子支付方法以及用于支持该电子支付方法的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant