CN115113739A - 用于生成表情符号的装置、车辆和用于生成表情符号的方法 - Google Patents

用于生成表情符号的装置、车辆和用于生成表情符号的方法 Download PDF

Info

Publication number
CN115113739A
CN115113739A CN202111572807.9A CN202111572807A CN115113739A CN 115113739 A CN115113739 A CN 115113739A CN 202111572807 A CN202111572807 A CN 202111572807A CN 115113739 A CN115113739 A CN 115113739A
Authority
CN
China
Prior art keywords
emoticon
emoticons
information
generating
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111572807.9A
Other languages
English (en)
Inventor
朴珉宰
金星王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN115113739A publication Critical patent/CN115113739A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Operations Research (AREA)
  • Disintegrating Or Milling (AREA)
  • Manufacture, Treatment Of Glass Fibers (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)

Abstract

本发明涉及用于生成表情符号的装置、车辆和用于生成表情符号的方法。用于生成表情符号的装置包括：分析器，其配置为响应于输入的用户话语，获取语境信息或关于用户情绪的信息的至少一项。表情符号生成器基于表情符号生成信息生成新表情符号，所述表情符号生成信息包括关于如下至少两者的信息：语境信息、关于用户情绪的信息以及关于与话语对应的用户意图的信息。表情符号生成器配置为在存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号，并且组合多个表情符号中的至少一些以生成新表情符号。

Description

用于生成表情符号的装置、车辆和用于生成表情符号的方法
技术领域
本申请涉及一种用于生成表情符号的表情符号生成装置、包括该装置的车辆以及生成表情符号的方法。
背景技术
近来，当用户之间交换文本消息时，表情符号经常与文本消息一起发送以表示用户情绪、当前语境、用户意图等。表情符号种类繁多，代表不同的情绪、语境和意图，用户在发送文本消息时，可以直接选择想要的表情符号并且将表情符号与文本一起发送。
此外，近来，为了用户的方便，已经开发并提供了语音识别服务，其中用户可以通过以语音形式说出期望的消息来发送文本消息，而无需直接键入文本。在通过语音识别服务发送文本消息时，预计通过发送与用户话语相对应的适当表情符号可以进一步提高用户的满意度。
发明内容
本申请提供了这样一种表情符号生成装置、包括该装置的车辆以及表情符号生成方法，所述表情符号生成装置基于从用户话语获取的信息生成最恰当地表示用户的情绪或意图或者当前语境的新表情符号。本申请提供了这样一种表情符号生成装置、包括该装置的车辆以及表情符号生成方法，所述表情符号生成装置通过组合多个现有的表情符号生成最恰当地表示用户的情绪或意图或者当前语境的新表情符号。
本申请的其它方面将部分地在以下描述中阐述，并且部分地通过描述而显而易见，或者可以通过本申请的实践而获悉。
根据本申请的一个方面，一种用于生成表情符号的装置可以包括：分析器和表情符号生成器；所述分析器配置为响应于输入的用户话语，获取语境信息或关于用户情绪的信息的至少一者；所述表情符号生成器配置为基于表情符号生成信息来生成新表情符号，所述表情符号生成信息包括关于如下至少两者的信息：语境信息、关于用户情绪的信息以及关于与话语对应的用户意图的信息；其中表情符号生成器配置为：从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号；并且组合多个表情符号中的至少一些以生成新表情符号。
表情符号生成器可以配置为：生成表示表情符号生成信息的多个表情符号生成标签。多个表情符号生成标签可以包括如下至少两者：表示语境信息的第一表情符号生成标签、表示用户情绪的第二表情符号生成标签以及表示用户意图的第三表情符号生成标签。多个表情符号可以与分别表示多个表情符号的多个表情符号标签一起存储。
表情符号生成器可以配置为：将多个表情符号生成标签与多个表情符号标签进行比较，并且基于比较结果，从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号。表情符号生成器可以配置为：计算多个表情符号生成标签与多个表情符号标签之间的匹配率；并且从存储的多个表情符号中选择匹配率大于或等于参考值的表情符号。
表情符号生成器可以配置为：根据表情符号的特征将所选择的多个表情符号分成多个类别；并且根据分类结果，从所选择的多个表情符号中选择至少两个表情符号作为用于生成新表情符号的子表情符号。表情符号生成器可以配置为：将至少两个子表情符号排列在与分类类别相对应的区域中以生成新表情符号。
表情符号生成器可以配置为：响应于将多个表情符号分成多个类别中的一个类别，选择多个表情符号中具有最高匹配率的表情符号作为子表情符号。表情符号生成器可以配置为：基于至少两个子表情符号的每一个的匹配率来确定新表情符号中至少两个子表情符号的每一个的大小。
此外，车辆可以包括：麦克风、分析器、存储装置以及表情符号生成器；向所述麦克风输入用户话语；所述分析器配置为响应于输入的用户话语，获取语境信息或关于用户情绪的信息的至少一者；所述存储装置配置为存储多个表情符号；所述表情符号生成器配置为基于表情符号生成信息来生成新表情符号，所述表情符号生成信息包括关于如下至少两者的信息：语境信息、关于用户情绪的信息以及关于与话语对应的用户意图的信息，其中表情符号生成器配置为：从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号；并且组合多个表情符号中的至少一些以生成新表情符号。
车辆可以进一步包括：显示器，其配置为显示生成的新表情符号。表情符号生成器可以配置为：生成表示表情符号生成信息的多个表情符号生成标签。存储装置可以配置为：将多个表情符号与分别表示多个表情符号的多个表情符号标签一起存储。表情符号生成器可以配置为：将多个表情符号生成标签与多个表情符号标签进行比较，并且基于比较结果，从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号。
表情符号生成器可以配置为：根据表情符号的特征将所选择的多个表情符号分成多个类别；并且根据分类结果，从所选择的多个表情符号中选择至少两个表情符号作为用于生成新表情符号的子表情符号。表情符号生成器可以配置为：将至少两个子表情符号排列在与分类类别相对应的区域中以生成新表情符号。
根据本申请的另一方面，一种生成表情符号的方法可以包括：响应于输入的用户话语，获取语境信息或关于用户情绪的信息的至少一者；基于表情符号生成信息来生成新表情符号，所述表情符号生成信息包括关于如下至少两者的信息：语境信息、关于用户情绪的信息以及关于与话语对应的用户意图的信息，其中新表情符号的生成包括：从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号；并且组合多个表情符号中的至少一些以生成新表情符号。
新表情符号的生成可以包括：生成表示表情符号生成信息的多个表情符号生成标签。多个表情符号生成标签可以包括如下至少两者：表示语境信息的第一表情符号生成标签、表示用户情绪的第二表情符号生成标签以及表示用户意图的第三表情符号生成标签。多个表情符号可以与分别表示多个表情符号的多个表情符号标签一起存储。
新表情符号的生成可以包括：将多个表情符号生成标签与多个表情符号标签进行比较，并且基于比较结果，从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号。新表情符号的生成可以包括：计算多个表情符号生成标签与多个表情符号标签之间的匹配率；并且从存储的多个表情符号中选择匹配率大于或等于参考值的表情符号。
此外，新表情符号的生成可以包括：根据表情符号的特征将所选择的多个表情符号分成多个类别；并且根据分类结果，从所选择的多个表情符号中选择至少两个表情符号作为用于生成新表情符号的子表情符号。新表情符号的生成可以包括：将至少两个子表情符号排列在与分类类别相对应的区域中以生成新表情符号。新表情符号的生成可以包括：响应于将多个表情符号分成多个类别中的一个类别，选择多个表情符号中具有最高匹配率的表情符号作为子表情符号。此外，新表情符号的生成可以包括：基于至少两个子表情符号的每一个的匹配率来确定新表情符号中至少两个子表情符号的每一个的大小。
附图说明
通过结合附图对实施方案的以下描述，本申请的这些和/或其它方面将变得显而易见并且更容易理解：
图1是示出根据实施方案的用于生成表情符号的装置的控制框图；
图2是具体示出根据实施方案的用于生成表情符号的装置的配置的控制框图；
图3是示出包括根据实施方案的用于生成表情符号的装置的车辆的控制框图；
图4是示出由根据实施方案的用于生成表情符号的装置的语境分析器识别的语境信息的示例图表，图5是示出根据实施方案的用于生成表情符号的装置的存储装置中存储的多个表情符号的示例图表；
图6是示出根据实施方案的用于生成表情符号的装置生成的表情符号生成标签与存储的表情符号标签之间的匹配率的示例图表；
图7是示出根据实施方案的用于生成表情符号的装置生成的新表情符号的布局的示例示意图，图8是示出根据实施方案的用于生成表情符号的装置生成的新表情符号的示例示意图；
图9是示出根据实施方案的用于生成表情符号的装置调整子表情符号大小的操作示意图；
图10是示出根据实施方案的车辆的另一个控制框图，图11至图13是示出在显示器上显示的以向用户提供由根据实施方案的车辆生成的新表情符号的屏幕的示例示意图；
图14是示出根据实施方案的生成表情符号的方法的流程图；
图15是示出根据实施方案的生成表情符号的方法中选择多个表情符号的过程的详细流程图；并且
图16是示出在根据实施方案的生成表情符号的方法中通过组合多个表情符号来生成新表情符号的过程的详细流程图。
具体实施方式
本文阐述和本申请的配置中说明的实施方案仅是优选实施方案，因此应当理解，在公开之时它们可以被各种等同物和变型所替代。
本文使用的术语仅用于描述具体实施方案，并不旨在限制本申请。本文使用的单数形式“一个”、“一种”和“所述”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解，本文使用的术语“包括”、“包含”、“含有”和/或“具有”表示存在所述特征、数值、步骤、操作、元件和/或组件，但不排除存在或加入一个或更多个其它特征、数值、步骤、操作、元件、组件和/或其组合。
诸如“部件”、“设备”、“块”、“构件”、“模块”等的术语可以表示用于执行至少一个功能或动作的单元。例如，这些术语可以表示由至少一个硬件进行的至少一个过程，例如现场可编程门阵列(FPGA)/专用集成电路(ASIC)、存储在存储器中的软件或处理器。虽然术语“第一”、“第二”、“A”、“B”等可用于描述各种组件，但这些术语并不限制相应的组件，而仅用于区分一个组件与另一个组件。
用于方法步骤的附图标记只是为了便于说明而使用，并不限制步骤的顺序。因此，除非上下文另有明确规定，否则所描述的顺序可以以其它方式进行。
同时，所公开的实施方案可以体现为存储可由计算机执行的指令的记录介质的形式。指令可以以程序代码的形式存储，并且当被处理器执行时，可以生成程序模块以执行所公开的实施方案的操作。记录介质可以体现为非易失性计算机可读记录介质。
非易失性计算机可读记录介质包括存储可由计算机解码的指令的所有类型的记录介质，例如，只读存储器(ROM)、随机存取存储器(RAM)、磁带、磁盘、闪存、光学数据存储设备等。
在下文中，将参照附图详细描述根据一个方面的对话系统、车辆及其控制方法的实施方案。
图1是示出根据实施方案的用于生成表情符号的装置的控制框图。
参考图1，根据实施方案的用于生成表情符号的装置100可以包括：分析器110、存储装置130以及表情符号生成器120，所述分析器110配置为响应于输入的用户话语来获取语境信息或关于用户情绪的信息的至少一个；所述存储装置130配置为存储多个表情符号；所述表情符号生成器120配置为基于表情符号生成信息生成新表情符号，所述表情符号生成信息包括关于如下至少两者的信息：与话语对应的当前语境、用户情绪或用户意图。在本实施方案中，新表情符号是指不同于之前已经使用、存储或注册的单个表情符号的表情符号。
用于生成表情符号的装置100可以包括在具有输入/输出接口(例如麦克风和显示器)的用户终端中，或者可以包括在通过无线通信连接至用户终端的外部服务器中。用户终端可以是移动设备，例如智能手机、可穿戴设备或平板个人电脑(PC)，或者可以是用户乘坐的车辆。根据实施方案的用于生成表情符号的装置100只需要进行下述操作即可，用于生成表情符号的装置100设置在何处不作限制。
分析器110和表情符号生成器120可以包括至少一个存储器和至少一个处理器，所述存储器中存储用于执行下述操作的程序，所述处理器用于执行存储的程序。分析器110和表情符号生成器120可以共享存储器或处理器，也可以使用单独的存储器或处理器。存储器130可以包括非易失性存储器，例如只读存储器(ROM)、闪存、硬盘和光盘驱动器。存储装置130还可以与分析器110或表情符号生成器120共享存储器，或者可以使用单独的存储器。
图2是具体示出根据实施方案的用于生成表情符号的装置的配置的控制框图。参照图2，分析器110可以包括：语境分析器111和情绪分析器112；所述语境分析器111配置为基于用户话语以及从各种传感器获取的语境信息来分析当前语境；所述情绪分析器112配置为基于用户话语分析用户情绪。
当用户通过设置在用户终端中的麦克风230(参见图3)输入话语时，可以通过用户终端或连接至用户终端的外部服务器对用户话语执行语音识别和自然语言理解。相应地，用户终端或外部服务器可以包括用于执行语音识别的语音到文本(speech to text，STT)引擎，并且用户话语可以经过语音识别算法从而转换为文本。
例如，STT引擎可以使用特征向量提取技术，例如倒谱、线性预测系数(LinearPredictive Coefficient，LPC)、梅尔频率倒谱系数(Mel Frequency CepstralCoefficient，MFCC)或滤波器组能量(Filter Bank Energy)，从而从用户话语中提取特征向量。然后，将提取的特征向量与训练的参考模式进行比较以提供识别结果。相应地，可以使用声学模型或语言模型，所述声学模型对语音的信号特征进行建模和比较，所述语言模型对与识别的词汇相对应的单词或音节的语言顺序关系进行建模。
此外，STT引擎还可以配置为基于使用机器学习或深度学习的学习将用户话语转换为口语(spoken)文本。在本实施方案中，STT引擎将用户话语转换为口语文本的方法不做限制，STT引擎可以通过应用除上述方法之外的各种语音识别技术将用户话语转换为口语文本。此外，用户终端或外部服务器可以包括用于执行自然语言理解的自然语言理解(natural language understanding，NLU)引擎，NLU引擎可以配置为通过将NLU技术应用于输入语句来识别用户意图。基于在STT引擎中经过语音识别的用户话语而输出的文本可以作为输入语句输入到NLU引擎。
例如，NLU引擎可以配置为从输入语句中识别实体名称。实体名称是专有名词，例如人名、地名、组织名称、时间、日期、金钱等，实体名称的识别是识别语句中的实体名称并且确定识别的实体名称的类型的任务。通过对实体名称的识别，可以从语句中提取出重要的关键词，并且可以掌握语句的含义。
此外，NLU引擎可以配置为从输入语句中确定域。域可以使输入语句的主题被识别。例如，可以基于输入语句确定代表各种主题的域，例如家用电器控制、日程安排、天气或交通状况的信息提供、短信、导航、车辆控制等。此外，NLU引擎可以配置为分析输入语句的语音行为。语音行为的分析是分析话语(例如口语语音)目的的任务，是为了掌握话语的目的，例如用户是提问、提出请求、回应还是表达简单情绪。
NLU引擎可以基于从口语文本中提取的信息(例如域、实体名称、语音行为)来识别意图以及为了执行与该意图对应的功能所需的实体。例如，当用户话语是“打开空调”时，域可以是[车辆控制]，意图可以是[打开，空调]，为了执行与该意图对应的控制所需的实体可以是[温度，风量]。
意图可以通过动作和目标来确定。在上面的示例中，动作可以是“打开”，目标可以是“空调”。然而，由于术语在不同的对话系统之间可能不同，因此可以使用术语“运算符”而不是“动作”，使用术语“对象”而不是“目标”。不管使用什么术语，任何术语都可以包括在根据实施方案的动作和目标的范围内，只要这些术语可以确定或定义与用户话语相对应的意图。
语境分析器111可以配置为识别当前语境。当前语境是指用户输入话语时的语境或者用户输入话语时的前后预定时间段内的语境。语境分析器111可以配置为基于从用户终端或其它外部服务器获取的信息来识别当前语境，或者基于转换为文本的用户话语或基于用户意图来识别当前语境。
情绪分析器112可以配置为识别用户的当前情绪。当前情绪是指用户输入话语时的情绪或者用户输入话语的前后预定时间段内的情绪。情绪分析器112可以配置为基于STT引擎或NLU引擎的输出来识别用户情绪，或者可以基于用户的语音信号识别用户情绪。
表情符号生成器120可以配置为基于表情符号生成信息生成新表情符号。表情符号生成信息可以包括关于如下至少两者的信息：语境信息、关于用户情绪的信息或关于用户意图的信息。表情符号生成器120可以配置为：当生成新表情符号时，组合存储在存储装置130中的多个表情符号中的两个或更多个表情符号。然而，多个表情符号可以存储在提供表情符号的另一个外部服务器中，而不是存储在用于生成表情符号的装置100所设置的存储装置130中。具体地，用于生成表情符号的装置100可以访问用于提供表情符号的外部服务器并获取存储的表情符号和相关信息。
在下文中，将参考具体示例描述由根据实施方案的用于生成表情符号的装置100生成新表情符号的操作。如上所述，用于生成表情符号的装置100可以设置在用户终端中，并且用户终端可以包括车辆。在下文中，将使用示例来描述具体操作，在该示例中用于生成表情符号的装置100设置在车辆中。
图3是示出包括根据实施方案的用于生成表情符号的装置的车辆的控制框图。参考图3，车辆1不仅可以包括上述用于生成表情符号的装置100，还可以包括传感器设备210、通信器220和麦克风230，所述传感器设备210配置为获取关于车辆行驶环境或内部环境的信息，所述通信器220配置为通过无线通信与外部服务器、另一车辆或外部电子设备交换信息，所述麦克风230用于输入用户话语。
在下文描述的实施方案中，将结合车辆1中设置的组件详细描述由用于生成表情符号的装置100生成新表情符号的操作。然而，将省略与车辆行驶相关的其它公知组件的描述。
图4是示出由根据实施方案的用于生成表情符号的装置的语境分析器识别的语境信息的示例图表,图5是示出根据实施方案的用于生成表情符号的装置的存储装置中存储的多个表情符号的示例图表。
设置在车辆1中的传感器设备210至少包括能够获取关于车辆的行驶环境、车辆状态、用户状态或内部环境的信息的摄像机(包括前置摄像机、后置摄像机、内部摄像机或立体摄像机的至少一个)、车速传感器、全球定位系统(GPS)、温度传感器、雨量传感器、障碍物传感器(红外线传感器、超声波传感器或激光传感器)、方向盘传感器或座椅传感器。
通信器220可以包括无线通信模块或有线通信模块，并且可以从通过无线通信或有线通信连接的外部服务器或其它电子设备获取行驶环境信息，例如天气信息、交通信息和导航信息。
表情符号生成器120生成新表情符号所使用的语境信息可以包括关于用户状态的信息。用户状态可以包括除用户情绪之外的各种身体状况和动作，例如用户疲劳、用户体温、用户体重和用户行为。这种关于用户状态的信息可以从传感器设备210获取，可以通过通信器220获取，或者可以从用户话语中获取。
参考图4的示例，由语境分析器111识别的语境信息可以包括例如温度、天气和时间的信息，并且所述信息可以通过传感器设备210或通信器220获取。此外，由语境分析器111识别的语境信息可以包括关于行驶环境的信息，例如关于当前位置的纬度和经度的信息，当前位置是大城市还是小城市的信息，当前位置是高速公路还是普通道路的信息，当前道路是单车道道路还是双车道道路的信息，以及关于当前位置是毗邻大海还是河流的信息。这些信息也可以通过传感器设备210或通信器220获取。
此外，由语境分析器111识别的语境信息可以包括关于车辆状态的信息，例如关于车辆处于高速行驶状态还是慢速行驶状态的信息、关于车辆处于行驶状态或停止状态的信息、关于总行驶时间的信息、关于车辆类型的信息等，这些信息也可以预先通过传感器设备210获取并存储在存储装置130中。
另外，由语境分析器111识别的语境信息可以包括关于用户状态的信息，例如用户疲劳、用户是驾驶员还是乘客、用户是在睡觉、移动还是吃饭。这些信息可以通过包括在传感器设备210中的内部摄像机或座椅传感器或麦克风230来获取，或者是可以通过通信器220发送从用户穿戴的可穿戴设备获取的信息。此外，传感器设备210可以包括这样的传感器，所述传感器配置为在可能与用户身体接触的区域(例如方向盘)获取关于用户状态的信息。此外，由语境分析器111识别的语境信息可以包括关于车辆内部环境的信息，例如车辆1中的乘客人数、乘客的乘车位置和车辆内的温度。这些信息可以通过传感器设备210获取。
同时，语境分析器111可以配置为在输入用户话语时，向传感器设备210或通信器220请求所需信息以获取所需信息。或者，无论语境分析器111是否请求，传感器设备210或通信器220获取的信息可以存储在存储装置130中，并且语境分析器111可以通过存储装置130检索在输入用户话语时或在输入用户话语的前后预定时间段内获取的信息。
此外，语境分析器111不仅可以向传感器设备210或通信器220请求获取信息或检索存储在存储装置130中的信息，还可以使用获取的信息执行附加识别。如上所述，语境分析器111可以配置为基于转换为文本的用户话语来识别语境信息。例如，当用户话语包括内容“我正在驾驶”时，语境分析器111可以将用户状态识别为驾驶的状态。
或者，当用户话语包括内容“我饿了”时，语境分析器111可以将用户状态识别为处于饥饿状态，而当用户话语包括内容“我太饱了”时，语境分析器111可以将用户状态标识为处于吃饱状态。或者，当用户话语包括内容“我正在高速公路上快速行驶”时，语境分析器111可以将车辆状态识别为高速行驶状态，将行驶环境识别为高速公路，并且将用户状态识别为驾驶状态。
图4的图表中所示的语境信息仅为语境分析器111获取的语境信息的示例，用于生成表情符号的装置100的实施方案不限于此。相应地，表情符号生成信息中可以包括除了图4所示信息之外的各种类型的信息。
情绪分析器112可以配置为基于转换为文本的用户话语或用户意图来识别用户情绪。例如，如果用户话语包括表示情绪的内容，例如“恼怒”、“生气”和“悲伤”，情绪分析器112可以基于STT引擎的输出或NLU引擎的输出来识别用户情绪。此外，情绪分析器112可以配置为基于用户的语音信号来识别用户情绪。例如，情绪分析器112可以使用诸如语音信号的音调、音高、共振峰频率、语音速度和音质的特征来识别诸如快乐、悲伤、愤怒、仇恨、惊讶和恐惧的情绪。此外，情绪分析器112可以配置为使用利用语音信号确定说话人情绪的各种技术之一来识别用户情绪。
如上所述，表情符号生成器120可以配置为基于表情符号生成信息生成新表情符号，表情符号生成信息可以包括关于如下至少两者的信息：语境信息、关于用户情绪的信息和关于用户意图的信息。当表情符号生成器120不使用语境信息时，可以从上述配置中省略语境分析器111。当表情符号生成器120不使用关于用户情绪的信息时，可以从上述配置中省略情绪分析器112。在下面描述的实施方案中，将示例性地详细描述表情符号生成器120基于语境信息、关于用户情绪的信息和关于用户意图的信息来生成新表情符号的情况。
参考图5，多个表情符号可以与多个表情符号标签一起存储在存储装置130中。表情符号标签可以是表示表情符号特征的元数据。对于一个表情符号，可以存储一个表情符号标签或者可以存储多个表情符号标签。表情符号生成器120可以配置为从存储的多个表情符号中选择与表情符号生成信息匹配的至少两个表情符号，并且可以组合所选择的至少两个表情符号以生成新表情符号。
为了选择与表情符号生成信息匹配的表情符号，表情符号生成器120可以配置为生成表示表情符号生成信息的表情符号生成标签。表情符号生成器120可以配置为将生成的表情符号生成标签与存储的表情符号标签进行比较，以选择与表情符号生成信息匹配的表情符号。具体地，表情符号生成器120可以配置为生成表示语境信息的第一表情符号生成标签、表示用户情绪的第二表情符号生成标签以及表示用户意图的第三表情符号生成标签。例如，当语境信息指示用户正在驾驶并且处于饥饿状态并且天气炎热时，表情符号生成器120生成的第一表情符号生成标签可以包括标签#驾驶、#手握方向盘、#饥饿、#炎热和#太阳。
此外，当关于用户意图的信息指示用户当前想要吃饭时，表情符号生成器120生成的第二表情符号生成标签可以包括标签#想要食物和#餐厅。此外，当关于用户情绪的信息指示烦恼时，表情符号生成器120生成的第三表情符号生成标签可以包括标签#不高兴和#生气。表情符号生成器120可以配置为将表示表情符号生成信息的表情符号生成标签与存储的多个表情符号的多个表情符号标签进行比较，以计算匹配率。为每个表情符号标签计算的匹配率指示表情符号标签与表情符号生成标签匹配的程度，并且还可以指示相应的表情符号与表情符号生成信息匹配的程度。
图6是示出根据实施方案的用于生成表情符号的装置生成的表情符号生成标签与存储的表情符号标签之间的匹配率的示例图表。表情符号生成器120可以配置为以各种方式计算表情符号生成标签与表情符号标签之间的匹配率，以选择与表情符号生成信息匹配的表情符号。例如，关于表情符号的表情符号标签，如果存在一个与表情符号生成标签相同的标签，则可以分配0.8，并且从两个或更多个与表情符号生成标签相同的标签开始，可以为每个相同的标签分配0.1。此外，如果一个标签中包括两个或更多个词语并且表情符号生成标签与表情符号标签之间的某个词语相同，则可以分配0.5，并且从表情符号生成标签与表情符号标签之间有两个或更多个相同的词语开始，则可以为每个相同的词语分配0.05。
将使用图6的示例详细描述计算匹配率的方法。根据图6的示例，当基于表情符号生成信息生成的表情符号生成标签包括标签#饥饿、#想要食物、#餐厅、#炎热、#太阳、#驾驶和#手握方向盘时，在第二列中示出存储的多个表情符号中具有与表情符号生成标签相同或相似的表情符号标签的表情符号，在第三列中示出通过将每个表情符号的表情符号标签与表情符号生成标签进行比较而计算的匹配率。
为了表示表情符号，为每个表情符号随机分配一个带圆圈的数字。具体地，表情符号①的表情符号标签#炎热和#太阳与表情符号标签中的表情符号生成标签相同。相应地，利用上述匹配率计算方法，表情符号①的匹配率可以计算为0.9。
表情符号②的表情符号标签#炎热与表情符号标签中的表情符号生成标签相同。相应地，利用上述匹配率计算方法，表情符号②的匹配率可以计算为0.8。
表情符号③的表情符号标签#手握方向盘和#驾驶与表情符号标签中的表情符号生成标签相同。相应地，利用上述匹配率计算方法，表情符号③的匹配率可以计算为0.9。
表情符号④的表情符号标签#驾驶与表情符号标签中的表情符号生成标签相同。相应地，利用上述匹配率计算方法，表情符号④的匹配率可以计算为0.8。
表情符号⑤的表情符号标签#饥饿与表情符号标签中的表情符号生成标签相同。相应地，利用上述匹配率计算方法，表情符号⑤的匹配率可以计算为0.8。
表情符号⑥的表情符号标签#饥饿与表情符号标签中的表情符号生成标签相同，表情符号标签#食物与表情符号生成标签#想要食物中的某个词语相同。相应地，利用上述匹配率计算方法，表情符号⑥的匹配率可以计算为0.85。
同时，表情符号生成器120可以配置为仅选择具有大于或等于参考值的计算匹配率的表情符号作为与表情符号生成信息匹配的表情符号。例如，当参考值设定为0.8时，只有与表情符号生成信息的匹配率为0.8或更高的表情符号可用于生成新表情符号。
图7是示出根据实施方案的用于生成表情符号的装置生成的新表情符号的布局的示例示意图，图8是示出根据实施方案的用于生成表情符号的装置生成的新表情符号的示例示意图。
表情符号生成器120可以配置为通过组合从存储的多个表情符号中选择的两个或更多个表情符号来生成新表情符号。具体地，构成新表情符号的每个表情符号被称为子表情符号。表情符号生成器120可以配置为根据预定布局排列两个或更多个子表情符号。参考图7的示例，布置或显示新表情符号的表情符号区域R沿竖直方向分成三个部分，表情符号区域R内的三个位置中的中央位置P1可被称为第一位置，下方位置P2可被称为第二位置，上方位置P3可被称为第三位置。
表情符号生成器120可以配置为将多个子表情符号中的每个子表情符号排列在三个位置中的适当位置。表情符号生成器120可以配置为根据表情符号的特征将根据匹配率选择的多个表情符号分成多个类别，以确定每个子表情符号的位置。例如，根据表情符号的特征，类别可以分成与新表情符号的布局相对应的三种类别：第一类别、第二类别和第三类别。
如果表情符号是表示人的面部或面部表情的表情符号，则将表情符号分为第一类别，如果表情符号是表示各种对象、人的特定动作、或者对象和人的身体部位的表情符号，则将表情符号分为第二类别。此外，如果表情符号是表示语境(例如周围背景、环境或天气)的表情符号，则将表情符号分为第三类别。
同时，当两个或更多个表情符号包括在同一类别中时，表情符号生成器120可以选择在包括在同一类别中的两个或更多个表情符号中具有最高匹配率的表情符号作为构成新表情符号的子表情符号。在这种情况下，如果选择的子表情符号少于一个，则表情符号生成器120不会生成新表情符号。
表情符号生成器120可以配置为通过将两个或更多个子表情符号排列在与每个分类类别相对应的位置来生成新表情符号。例如，将分成第一类别的子表情符号排列在第一区域中，将分成第二类别的子表情符号排列在第二区域中，将分成第三类别的子表情符号排列在第三区域中。
根据上述类别的分类标准，图6所示的表情符号①可以分成第三类别，表情符号②可以分成第一类别，表情符号③可以分成第二类别，表情符号④可以分成第二类别，表情符号⑤可以分成第一类别，表情符号⑥可以分成第一类别。
由于第一类别包括多个表情符号，即表情符号②(匹配率：0.8)、表情符号⑤(匹配率：0.8)和表情符号⑥(匹配率：0.85)，可以选择多个表情符号中具有最高匹配率的表情符号⑥作为子表情符号。由于第二类别也包括多个表情符号，即表情符号③(匹配率：0.9)和表情符号④(匹配率：0.8)，可以选择具有最高匹配率的表情符号③作为子表情符号。
由于第三类别只包括一个表情符号，即表情符号①，可以选择表情符号①作为子表情符号。由于所选择的子表情符号的总数是三个，表情符号生成器120可以组合三个所选择的子表情符号以生成新表情符号。如图8所示，将从第一类别中选择的子表情符号EM1排列在第一区域R1中，将从第二类别中选择的子表情符号EM2排列在第二区域R2中，将从第三类别中选择的子表情符号EM3排列在第三区域R3中以生成新表情符号NEM。根据上述实施方案，用于生成表情符号的装置100可以不使用现有的表情符号本身，而是可以重新生成并且提供适合于用户说话时的各种语境的适当的表情符号。
图9是示出根据实施方案的用于生成表情符号的装置调整子表情符号大小的操作示意图。表情符号生成器120还可以配置为根据构成新表情符号的子表情符号的匹配率来调节每个子表情符号的大小。例如，可以将新表情符号中匹配率较高的子表情符号设置为较大，可以将新表情符号中匹配率较低的子表情符号设置为较小。
参考图9，在构成一个新表情符号的子表情符号EM1、EM2和EM3中，匹配率最高的子表情符号包括属于第二类别的表情符号③(EM2/匹配率：0.9)和属于第三类别的表情符号①(EM3/匹配率：0.9)，匹配率最低的子表情符号是属于第一类别的表情符号⑥(EM1/匹配率：0.85)。
相应地，表情符号生成器120可以配置为将属于第二类别的表情符号和属于第三类别的表情符号的大小增加到大于属于第一类别的表情符号的大小。换句话说，表情符号生成器120可以配置为显示与语境信息、用户意图或用户情绪具有高匹配率的表情符号，从而进一步强调适合于当前语境的部分。
下文将描述向用户提供根据上述方法生成的新表情符号的操作。
图10是示出根据实施方案的车辆的另一个控制框图，图11至图13是示出在显示器上显示的以向用户提供由根据实施方案的车辆生成的新表情符号的屏幕的示例示意图。参考图10，根据实施方案的车辆1可以进一步包括显示器240，并且显示器240可以配置为显示由表情符号生成器120生成的新表情符号。显示器240可以配置为向用户显示新表情符号以确认新表情符号的使用，或者可以显示新表情符号以使用新表情符号。
用于生成表情符号的装置100生成的新表情符号可以用于各种目的。例如，在发送消息时，新表情符号可以与文本一起发送，可以在车辆外部显示新表情符号，或者在用户与车辆的个人代理商之间的对话期间，新表情符号可以与从用户话语或从代理商话语转换而来的文本一起显示。作为具体示例，如图11所示，车辆1的显示器240可以包括设置在车辆1中的内部显示器241。例如，内部显示器241可以是AVN设备的音频视频导航(AVN)显示器。
当用于生成表情符号的装置100根据上述方法生成新表情符号时，在内部显示器241上显示生成的新表情符号NEM，并且可以将用于接收新表情符号NEM的使用确认的屏幕与新表情符号一起显示。在图11的示例的情况下，用户可以通过操纵设置在车辆1中的输入设备来选择“是”按钮241a或“否”按钮241b，或者可以向麦克风230输入用户话语“是”或“否”，以输入用于确认是否使用新表情符号NEM的命令。
例如，下文描述的情况是：输入麦克风230的用户话语“吉东，我正在开车，我很饿。我们应该吃点东西”是用于发送消息。当基于用户输入的话语识别的语境信息指示“饥饿”和“驾驶中”(用户状态)，并且由传感器设备210或通信器220获取的语境信息指示“炎热天气”，并且基于用户话语识别的用户意图指示用户想要吃饭时，可以通过上述过程生成如图12所示的新表情符号NEM。
如上述图11所示，控制器250可以配置为操作显示器241以显示新表情符号NEM和用于确认是否使用新表情符号NEM的屏幕。当用户通过操纵输入设备或通过话语输入使用新表情符号NEM的命令时，新表情符号NEM可以与表示用户话语的文本一起发送至接收者(吉东)的移动设备M并被显示。
此外，为了向用户显示要发送至接收者的消息，甚至可以在内部显示器241上显示新表情符号NEM以及指示用户话语的文本。作为另一示例，下文描述的情况是：车辆1的显示器240包括设置在车辆1外部的外部显示器242并且可以在外部显示器242上显示图像或文本。
当用户向麦克风230输入话语“请指示我愿意等待他们通过”，并且传感器设备210或通信器220获取的语境信息指示下雪天气、车辆前方有人行横道，并且基于用户话语识别的用户意图指示驾驶员愿意等待行人穿过人行横道时，可以通过上述过程生成如图13所示的新表情符号NEM。
可以在外部显示器242上一起显示生成的新表情符号NEM与表示用户话语的文本。根据实施方案的用于生成表情符号的装置100生成的新表情符号NEM可以用于除上述示例之外的各种目的。
下文将描述根据实施方案的用于生成表情符号的方法的实施方案。上述用于生成表情符号的装置100可以用于执行根据实施方案的生成表情符号的方法。相应地，上文参考图1至图13描述的内容可适用于表情符号生成方法的实施方案，除非另有声明。
图14是示出根据实施方案的生成表情符号的方法的流程图。参考图14，当输入用户话语(步骤1010中的“是”)时，用于生成表情符号的装置100的分析器110可以获取表情符号生成信息(步骤1020)。
表情符号生成信息可以包括语境信息、关于用户情绪的信息以及关于用户意图的信息的至少两个。当用户通过设置在用户终端中的麦克风(图3中的230)输入话语时，用户终端或连接至用户终端的外部服务器可以对用户话语执行语音识别和自然语言理解。分析器110可以配置为接收表示用户话语的语音信号和文本的输入，以及关于与用户话语相对应的意图的信息。
分析器110可以配置为基于从用户终端或其它外部服务器获取的信息来识别当前语境，或者基于转换为文本的用户话语或用户意图来识别当前语境。此外，分析器110可以配置为基于转换为文本的用户话语或用户意图来识别用户情绪，或者基于用户的语音信号识别用户情绪。
表情符号生成器120可以配置为基于表情符号生成信息选择多个表情符号(步骤1030)，并且组合所选择的多个表情符号中的至少一些以生成新表情符号(步骤1040)。生成的新表情符号可以以各种方式提供给用户。可以在设置有或连接至用于生成表情符号的装置100的用户终端上显示生成的新表情符号，或者可以将生成的新表情符号包括在从用户发送至特定接收者的消息中。
图15是示出根据实施方案的生成表情符号的方法中选择多个表情符号的过程的详细流程图。参考图15，选择多个表情符号(步骤1030)可以包括生成指示表情符号生成信息的多个表情符号生成标签(步骤1031)。
例如，表情符号生成器120可以配置为生成表示语境信息的第一表情符号生成标签、表示用户情绪的第二表情符号生成标签以及表示用户意图的第三表情符号生成标签。用于生成表情符号生成标签的方法的详细描述与用于生成表情符号的装置100的实施方案中的上述描述相同。此外，选择多个表情符号(步骤1030)可以进一步包括通过将多个表情符号生成标签与表情符号标签进行比较来计算匹配率(步骤1032)。
如上所述，多个表情符号可以连同与其对应的表情符号标签一起存储在存储装置130中。表情符号标签可以是表示表情符号特征的元数据。对于一个表情符号，可以存储一个表情符号标签或者可以存储多个表情符号标签。表情符号生成器120可以配置为将多个表情符号生成标签与多个表情符号标签进行比较，以计算多个表情符号标签中的每一个关于多个表情符号生成标签的匹配率。
为每个表情符号标签计算的匹配率指示表情符号标签与表情符号生成标签匹配的程度，并且可以指示相应的表情符号与表情符号生成信息匹配的程度。计算表情符号生成标签与表情符号标签之间的匹配率的方法的描述与用于生成表情符号的装置100的实施方案中的上述描述相同。
此外，选择多个表情符号(步骤1030)可以进一步包括基于匹配率选择多个表情符号(步骤1033)。表情符号生成器120可以配置为仅选择具有大于或等于参考值的计算匹配率的表情符号作为与表情符号生成信息匹配的表情符号。例如，当参考值设定为0.8时，只有与表情符号生成信息的匹配率为0.8或更高的表情符号可用于生成新表情符号。当选择多个表情符号(步骤1030)时，组合所选择的多个表情符号中的至少一些以生成新表情符号(步骤1040)。
图16是示出在根据实施方案的生成表情符号的方法中通过组合多个表情符号来生成新表情符号的过程的详细流程图。参考图16，新表情符号的生成(步骤1040)可以包括按类别对所选择的多个表情符号进行分类(步骤1041)。具体地，类别是根据表情符号特征的类别，例如，可以分成与新表情符号的布局相对应的三种类别：第一类别、第二类别和第三类别。
如果表情符号是表示人的面部或面部表情的表情符号，则将表情符号分为第一类别，如果表情符号是表示各种对象、人的特定动作、或者对象和人的身体部位的表情符号，则将表情符号分为第二类别。此外，如果表情符号是表示语境(例如周围背景、环境或天气)的表情符号，则将表情符号分为第三类别。
此外，新表情符号的生成(步骤1040)可以进一步包括每个类别选择一个表情符号作为子表情符号(步骤1042)。同时，当相同类别中包括两个或更多个表情符号时，表情符号生成器120可以配置为在相同类别中包括的两个或更多个表情符号中选择具有最高匹配率的表情符号作为构成新表情符号的子表情符号。具体地，如果选择的子表情符号少于一个，则表情符号生成器120不会生成新表情符号。此外，新表情符号的生成(步骤1040)可以进一步包括通过将子表情符号排列在与分类类别相对应的区域中来生成新表情符号(步骤1043)。
再次参考图8的示例，将分成第一类别的子表情符号EM1排列在第一区域R1中，将分成第二类别的子表情符号EM2排列在第二区域R2中，将分成第三类别的子表情符号EM3排列在第三区域R3中。此外，表情符号生成器120还可以配置为根据构成新表情符号的子表情符号的匹配率来调节每个子表情符号的大小。例如，可以将新表情符号中匹配率较高的子表情符号设置为较大，可以将新表情符号中匹配率较低的子表情符号设置为较小。根据上述用于生成表情符号的装置、包括该装置的车辆以及生成表情符号的方法，可以重新生成并提供适合当前语境、用户情绪或用户意图的表情符号。
通过上文可以明显看出，表情符号生成装置、包括该装置的车辆以及表情符号生成方法可以基于从用户话语获取的信息生成能够最恰当地表示用户的情绪或意图或当前语境的新表情符号。表情符号生成装置、包括该装置的车辆以及表情符号生成方法可以通过组合多个现有的表情符号来生成新表情符号从而最恰当地表示用户的情绪或意图或当前语境。
尽管已经参考附图描述了本申请的实施方案，但本领域普通技术人员将理解，在不脱离本申请的技术精神或基本特征的情况下，可以容易地进行其它具体修改。因此，上述实施方案应被视为在所有方面是说明性的，而不是限制性的。

Claims (20)

1.一种用于生成表情符号的装置，所述装置包括：
分析器，其配置为响应于输入的用户话语，获取语境信息或关于用户情绪的信息的至少一者；和
表情符号生成器，其配置为基于表情符号生成信息来生成新表情符号，所述表情符号生成信息包括关于如下至少两者的信息：语境信息、关于用户情绪的信息以及关于与话语对应的用户意图的信息；
其中，所述表情符号生成器配置为：
从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号；
组合多个表情符号中的至少一些以生成新表情符号。
2.根据权利要求1所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：生成表示表情符号生成信息的多个表情符号生成标签。
3.根据权利要求2所述的用于生成表情符号的装置，其中，所述多个表情符号生成标签包括如下至少两者：
表示语境信息的第一表情符号生成标签、表示用户情绪的第二表情符号生成标签以及表示用户意图的第三表情符号生成标签。
4.根据权利要求2所述的用于生成表情符号的装置，其中，所述多个表情符号与分别表示多个表情符号的多个表情符号标签一起存储。
5.根据权利要求4所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：
将多个表情符号生成标签与多个表情符号标签进行比较；
基于比较结果，从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号。
6.根据权利要求5所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：
计算多个表情符号生成标签与多个表情符号标签之间的匹配率；
从存储的多个表情符号中选择匹配率大于或等于参考值的表情符号。
7.根据权利要求6所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：
根据表情符号的特征将所选择的多个表情符号分成多个类别；
根据分类结果，从所选择的多个表情符号中选择至少两个表情符号作为用于生成新表情符号的子表情符号。
8.根据权利要求7所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：将至少两个子表情符号排列在与分类类别相对应的区域中以生成新表情符号。
9.根据权利要求7所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：响应于将多个表情符号分成多个类别中的一个类别，选择多个表情符号中具有最高匹配率的表情符号作为子表情符号。
10.根据权利要求8所述的用于生成表情符号的装置，其中，所述多个类别包括第一类别、第二类别和第三类别，并且所述表情符号生成器配置为：
将分成第二类别的表情符号排列在下方区域中；
将分成第三类别的表情符号排列在上方区域中；
将分成第一类别的表情符号排列在下方区域和上方区域之间的中间区域中。
11.根据权利要求10所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：
将所选择的多个表情符号中的表示人的面部或面部表情的表情符号分成第一类别；
将所选择的多个表情符号中的表示对象、人的特定动作或人的身体部位的至少一项的表情符号分成第二类别；
将所选择的多个表情符号中的表示背景、环境和天气的至少一项的表情符号分成第三类别。
12.根据权利要求7所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：基于至少两个子表情符号的每一个的匹配率来确定新表情符号中至少两个子表情符号的每一个的大小。
13.根据权利要求12所述的用于生成表情符号的装置，其中，所述表情符号生成器配置为：
将至少两个子表情符号中具有较高匹配率的表情符号的大小确定为大于具有较低匹配率的表情符号的大小。
14.一种生成表情符号的方法，所述方法包括：
响应于输入的用户话语，通过处理器获取语境信息或关于用户情绪的信息的至少一者；
基于表情符号生成信息，通过处理器生成新表情符号，所述表情符号生成信息包括关于如下至少两者的信息：语境信息、关于用户情绪的信息以及关于与话语对应的用户意图的信息，
其中，新表情符号的生成包括：
通过处理器从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号；
通过处理器组合多个表情符号中的至少一些以生成新表情符号。
15.根据权利要求14所述的方法，其中，新表情符号的生成包括：生成表示表情符号生成信息的多个表情符号生成标签。
16.根据权利要求15所述的方法，其中，所述多个表情符号生成标签包括如下至少两者：
表示语境信息的第一表情符号生成标签、表示用户情绪的第二表情符号生成标签以及表示用户意图的第三表情符号生成标签。
17.根据权利要求15所述的方法，其中，所述多个表情符号与分别表示多个表情符号的多个表情符号标签一起存储。
18.根据权利要求17所述的方法，其中，新表情符号的生成包括：将多个表情符号生成标签与多个表情符号标签进行比较，并且基于比较结果，从存储的多个表情符号中选择与表情符号生成信息匹配的多个表情符号。
19.根据权利要求18所述的方法，其中，新表情符号的生成包括：计算多个表情符号生成标签与多个表情符号标签之间的匹配率；并且从存储的多个表情符号中选择匹配率大于或等于参考值的表情符号。
20.根据权利要求19所述的方法，其中，新表情符号的生成包括：根据表情符号的特征将所选择的多个表情符号分成多个类别；并且根据分类结果，从所选择的多个表情符号中选择至少两个表情符号作为用于生成新表情符号的子表情符号。
CN202111572807.9A 2021-03-19 2021-12-21 用于生成表情符号的装置、车辆和用于生成表情符号的方法 Pending CN115113739A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210035839A KR20220130952A (ko) 2021-03-19 2021-03-19 이모지 생성 장치, 차량 및 이모지 생성 방법
KR10-2021-0035839 2021-03-19

Publications (1)

Publication Number Publication Date
CN115113739A true CN115113739A (zh) 2022-09-27

Family

ID=83283884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111572807.9A Pending CN115113739A (zh) 2021-03-19 2021-12-21 用于生成表情符号的装置、车辆和用于生成表情符号的方法

Country Status (3)

Country Link
US (1) US11922538B2 (zh)
KR (1) KR20220130952A (zh)
CN (1) CN115113739A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230063017A (ko) * 2021-11-01 2023-05-09 라인플러스 주식회사 스와이프 투 프리뷰를 통한 다양한 스티커 콘텐츠 탐색 방법, 장치, 및 컴퓨터 프로그램

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779761B2 (en) * 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10176167B2 (en) * 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10068588B2 (en) * 2014-07-21 2018-09-04 Microsoft Technology Licensing, Llc Real-time emotion recognition from audio signals
US9665567B2 (en) * 2015-09-21 2017-05-30 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
CN108701125A (zh) * 2015-12-29 2018-10-23 Mz知识产权控股有限责任公司 用于建议表情符号的系统和方法
KR20200073496A (ko) 2018-12-14 2020-06-24 주식회사 플랫팜 채팅 서비스를 제공하기 위한 사용자 단말기
KR102582291B1 (ko) * 2019-01-11 2023-09-25 엘지전자 주식회사 감정 정보 기반의 음성 합성 방법 및 장치

Also Published As

Publication number Publication date
US11922538B2 (en) 2024-03-05
US20220301232A1 (en) 2022-09-22
KR20220130952A (ko) 2022-09-27

Similar Documents

Publication Publication Date Title
KR102582291B1 (ko) 감정 정보 기반의 음성 합성 방법 및 장치
US20210358496A1 (en) A voice assistant system for a vehicle cockpit system
US11282522B2 (en) Artificial intelligence apparatus and method for recognizing speech of user
US11270694B2 (en) Artificial intelligence apparatus and method for recognizing speech by correcting misrecognized word
KR102414456B1 (ko) 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
KR102449875B1 (ko) 음성 신호 번역 방법 및 그에 따른 전자 장치
US11443747B2 (en) Artificial intelligence apparatus and method for recognizing speech of user in consideration of word usage frequency
CN111916070A (zh) 经由深度前馈神经网络使用自然语言理解相关知识的语音识别
US11676572B2 (en) Instantaneous learning in text-to-speech during dialog
US11211059B2 (en) Artificial intelligence apparatus and method for recognizing speech with multiple languages
US20200058290A1 (en) Artificial intelligence apparatus for correcting synthesized speech and method thereof
US11508358B2 (en) Artificial intelligence apparatus and method for recognizing speech in consideration of utterance style
US20220375469A1 (en) Intelligent voice recognition method and apparatus
CN116917984A (zh) 交互式内容输出
CN115113739A (zh) 用于生成表情符号的装置、车辆和用于生成表情符号的方法
US20230360633A1 (en) Speech processing techniques
US20230298581A1 (en) Dialogue management method, user terminal and computer-readable recording medium
US20220301560A1 (en) Speech recognition system and method of controlling the same
Schuller et al. Speech communication and multimodal interfaces
KR20200095636A (ko) 대화 시스템이 구비된 차량 및 그 제어 방법
US20230267923A1 (en) Natural language processing apparatus and natural language processing method
US20240214332A1 (en) Chatbot service providing method and chatbot service providing system
US20230072898A1 (en) Method of suggesting speech and recording medium
US20240127810A1 (en) Dialogue Management Method, Dialogue Management System, And Computer-Readable Recording Medium
US20230178071A1 (en) Method for determining a vehicle domain and a speech recognition system for a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination