CN111177296B - 信息推荐方法、装置、电子设备及计算机存储介质 - Google Patents
信息推荐方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN111177296B CN111177296B CN201911400224.0A CN201911400224A CN111177296B CN 111177296 B CN111177296 B CN 111177296B CN 201911400224 A CN201911400224 A CN 201911400224A CN 111177296 B CN111177296 B CN 111177296B
- Authority
- CN
- China
- Prior art keywords
- data
- intention
- word
- target
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种信息推荐方法、装置、电子设备及计算机存储介质，首先获取目标语音数据和出行数据；接着，根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；然后，根据所述出行数据和所述潜在意图数据确定目标意图数据；之后，根据所述目标意图数据确定推荐信息；最后，将所述推荐信息推送给目标用户。可以识别出用户出行的实际意图，并根据该意图向用户推荐符合该意图的相关信息，大大提升了推荐信息的精准度的同时也提高了用户的使用体验。
Description
技术领域
本申请涉及语音识别领域，特别是一种信息推荐方法、装置、电子设备及计算机存储介质。
背景技术
随着技术的发展，在导航时采用语音与智能终端进行交互来完成目的地的设定已经是最方便自然的方式，导航出行具有较强的目的性，往往会存在更多关联服务的需求，例如去广场是想去买衣服的，去医院是去看望住院亲友等。
现有的信息推荐方法一般只针对目的地进行路线推荐，并不能根据上下文环境以及目的地的类型进行联想推理，为用户推荐一些关联服务帮助完成出行目的，十分不便。
发明内容
基于上述问题，本申请提出了一种信息推荐方法、装置、电子设备及计算机存储介质，可以结合目的地和出行的对话识别出用户出行的意图，根据该意图向用户推荐符合用户需求的信息，大大提升用户的使用体验。
本申请实施例第一方面提供了一种信息推荐方法，所述方法包括：
获取目标语音数据和出行数据；
根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；
根据所述出行数据和所述潜在意图数据确定目标意图数据；
根据所述目标意图数据确定推荐信息；
将所述推荐信息推送给目标用户。
本申请实施例第二方面提供了一种信息推荐装置，所述装置包括处理单元和通信单元，所述处理单元用于：获取目标语音数据和出行数据；根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；根据所述出行数据和所述潜在意图数据确定目标意图数据；根据所述目标意图数据确定推荐信息；将所述推荐信息推送给目标用户。
本申请实施例第三方面提供了一种电子设备，包括处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方项所描述的步骤的指令。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面任一项所描述的方法。
本申请实施例第五方面提供了一种计算机产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
通过实施上述申请实施例，可以得到以下有益效果：
上述信息推荐方法、装置、电子设备和计算机存储介质，首先获取目标语音数据和出行数据；接着，根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；然后，根据所述出行数据和所述潜在意图数据确定目标意图数据；之后，根据所述目标意图数据确定推荐信息；最后，将所述推荐信息推送给目标用户。可以识别出用户出行的实际意图，并根据该意图向用户推荐符合该意图的相关信息，大大提升了推荐信息的精准度的同时也提高了用户的使用体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的信息推荐方法的系统构架图；
图2为本申请实施例提供的一种信息推荐方法的流程示意图；
图3为本申请实施例提供的一种意图提取模型的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图；
图5为本申请实施例提供的一种信息推荐装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
下面结合图1对本申请实施例中的信息推荐方法的系统构架作详细说明，图1为本申请实施例提供的信息推荐方法的系统构架图，包括语音采集装置110、导航装置120、处理器130以及用户设备140，其中，上述语音采集装置110可以应用于车载环境，可以为麦克风阵列等，用于采集当前空间内的全部语音数据，其中，上述语音数据可以包括人的语音和电子合成语音，上述导航装置120可以用于出行数据，该出行数据可以包括出行时间、目的地和导航路线，上述处理器130可以分别连接上述语音采集装置110和上述导航装置120，根据上述语音采集装置110采集到的语音数据和上述导航装置120获取到的出行数据确定目标用户的出行意图，并根据上述出行意图确定与该出行意图匹配的推荐信息，上述用户设备140与上述处理器130相互连接，用于接收上述处理器130推送的推荐信息。
可选的，上述语音采集装置110、上述导航装置120以及上述处理器130可以集成在上述用户设备140上，上述用户设备140可以为便携智能设备也可以为车载设备。
通过上述系统构架，可以识别出用户出行的实际意图，并根据该意图向用户推荐符合该意图的相关信息，大大提升了推荐信息的精准度的同时也提高了用户的使用体验。
下面结合图2对本申请实施例中的一种信息推荐方法作详细说明，图2为本申请实施例提供的一种信息推荐方法的流程示意图，具体包括以下步骤：
步骤201，获取目标语音数据和出行数据。
其中，上述目标语音数据可以为车载空间内的全部语音数据，上述目标语音数据可以包括人的语音和电子合成语音，上述出行数据可以包括出行时间、目的地和导航路线等，具体的，可以在车辆启动以后，通过语音采集单元过滤掉环境噪音获取到较清晰的上述目标语音数据，并进行语音识别得到上述目标语音数据对应的语音识别数据，可以通过车载设备或便携智能设备获取目标用户的上述出行数据。
通过获取目标语音数据和出行数据，可以利用上述目标语音数据和上述出行数据确定推荐信息。
步骤202，根据所述目标语音数据确定潜在意图数据。
其中，上述潜在意图数据用于表示可能的出行意图，可以根据上述目标语音数据对应的语音识别数据来确定上述潜在意图数据，可以首先对上述目标语音数据对应的语音识别数据进行向量化处理，得到字词向量数据；之后，对上述字词向量数据进行编码处理，得到字词编码数据；再根据上述字词编码数据确定第一字词标注数据，上述第一字词标注数据包括表示目的的第一字词标签；接着，对上述字词向量数据中与上述第一字词标签对应的第一字词向量数据进行编码处理，得到第一字词编码数据；然后，基于上述第一字词编码数据对上述字词编码数据进行拼接，得到第一编码数据；再然后，根据上述第一编码数据、上述字词编码数据确定第二字词标注数据，上述第二字词标注数据包括表示时间的第二字词标签和表示地点的第三字词标签；最后，根据上述第一字词标签、上述第二字词标签以及上述第三字词标签确定上述潜在意图数据。
具体的，可以设置一个意图提取模型来完成上述步骤，如图3所示，图3为本申请实施例提供的一种意图提取模型的结构示意图，该意图提取模型可以包括嵌入Embedding层、第一双向长短记忆网络(Bi-directional Long Short-Term Memory，BiLSTM)层，即图3中的第一BiLSTM层、第二BiLSTM层、第一自注意力(Self-attention)层、第一卷积神经网络(Convolutional Neural Network，CNN)、第二Self-attention层、第二CNN和条件随机场(Conditional Random Field，CRF)层，其中，可以将上述语音识别数据按照每个字进行分割，得到每个字的文本，之后将上述每个字都进行向量化表示得到每个字对应的字向量，将上述全部的字向量表示为一个字序列，并将该字序列输入上述Embedding层，通过上述Embedding层的输出得到字词混合向量，之后将上述字词混合向量输入上述第一BiLSTM层，第一BiLSTM层的输出为字词编码数据，再将上述字词编码数据输入上述第一Self-attention层，第一Self-attention层的输出为第一自注意数据，该第一自注意数据可以反映字与字之间的相关性等信息，接着将上述第一自注意数据输入上述第一CNN，该第一CNN包括卷积层和全连接层，输出的结果为第一字词标注数据，该第一字词标注数据可以为0与1的字符串，以“1”对该句语音中表示“目的”语义的词语的首尾进行标注，“1”的部分即为上述第一字词标注数据中表示目的的第一字词标签，然后可以获取到上述字词向量数据中与该第一字词标签对应的第一字词向量数据，将上述第一字词向量数据进行再次编码，即输入上述第二BiLSTM层，第二BiLSTM层的输出为第一字词编码数据，该第一字词编码数据为对语义为“目的”的部分进行编码得到的数据，随后，将该第一字词编码数据与上述第一编码数据进行拼接，得到与上述第一编码数据长度相同的第一字词编码数据，通过该第一字词编码数据可以确定语义为“目的”的部分在整句话的位置信息，如处于第五个字和第六个字位置，再之后复用上述字词编码数据输入上述第二Self-attention层，根据上述第二Self-attention层的输出得到第二自注意数据，该第二自注意数据可以表示字与字之间的相关性信息，再之后将上述第二自注意数据和上述第一编码数据进行拼接，得到拼接向量数据，最后将上述拼接向量数据输入第二CNN，再将上述第二CNN的输出数据输入到上述CRF层，根据上述CRF层的输出得到第二字词标注数据，该第二字词标注数据包括表示时间的第二字词标签和表示地点的第三字词标签，上述第二字词标签是对该句话中表示“时间”语义的词语的首尾进行标注，上述第三字词标签是对该句话中表示“地点”语义的词语的首尾进行标注。
举例来说，当语音识别数据为“我明天要去菜市场买菜”时，其中，该语音识别数据依次经过上述Embedding层、第一BiLSTM层、第一Self-attention层、第一CNN可以得到的第一字词标注数据为0和1组成的两个字符串，第一个字符串的第九个字为“1”，其余部分为“0”，标注了该句话中“买菜”的“买”，第二个字符串的第十个字为“1”，其余部分为“0”，标注了该句话中“买菜”的“菜”，即上述第一字词标注数据可以对表示“目的”语义的词语的首尾都进行标注得到第一字词标签，由于可以确定上述第一字词标签对应的是“买菜”，所以将上述字词向量数据中“买菜”的部分分离出来作为第一字词向量数据，将上述第一字词向量数据输入上述第二BiLSTM层，根据上述第二BiLSTM层的输出得到第一字词编码数据，该第一字词编码数据的长度为“买菜”对应的编码数据的长度，所以可以基于该第一字词编码数据对上述字词编码数据进行拼接处理得到第一编码数据，该第一编码数据为与上述字词编码数据等长的数据，之后可以复用上述第一BiLSTM层输出的字词编码数据输入上述第二Self-attention层，将上述第二Self-attention层输出的第二自注意数据与上述第一编码数据再进行一次拼接，得到拼接向量数据，将该拼接向量数据依次输入第二CNN和CRF层，得到第二标注数据，此处该第二标注数据可以包括第二字词标签和第三字词标签，上述第二字词标签的首部B-When为“我明天要去菜市场买菜”中的“明”、尾部E-When为“天”，上述第三字词标签的首部B-Where为“我明天要去菜市场买菜”中的“菜”、中部I-Where为“市”、尾部E-Where为“场”。如此可以确定该句话的目的数据为“买菜”，时间数据为“明天”，地点数据为“菜市场”，结合预设分级意图树可以得到上述目的数据、上述时间数据以及上述地点数据对应的潜在意图数据，并将上述潜在意图数据保存至意图数据库，其中，上述预设分级意图树可以为预先设定好的多种标签，上述潜在意图数据中的目的实际上是上述预设分级意图树中与上述目的数据匹配的一条路径，然后再根据当前时间将时间数据转换为标准时间区间，如当前时间为2019年12月25日，此时获取到的时间数据为“明天”，则将“明天”转化为“2019年12月16日”，最终上述潜在意图数据可以为包括了时间、目的、地点的数据，并保存至意图数据库中，在时间数据与当前时间吻合时开始调用上述潜在意图数据。
需要说明的是，有时候可能语音识别数据中不存在地点、时间、目的等信息，此时可以将上述地点数据、时间数据以及上述目的数据标记为空值，上述潜在意图数据可能包括多个潜在意图，一般来说，每句完整的语音都对应一条潜在意图，全部语音对应的全部潜在意图构成了上述潜在意图数据。
根据所述目标语音数据确定潜在意图数据，可以基于神经网络识别出语音对应的潜在意图数据，且能够在意图数据库中保存上述潜在意图数据，在合适的时间进行调用，大大提升了信息推荐的准确度，也大大提升了用户体验。
步骤203，根据所述出行数据和所述潜在意图数据确定目标意图数据。
其中，上述出行数据可以包括目的地数据和出行时间数据，上述目的地数据可以包括目的地的位置和目的地对应的目的地意图，上述目的地意图实际上也是一种潜在意图，如购物广场对应的目的地意图可以包括购物、美食、电影、约会等。
可以基于上述目的地数据进行计算得到目的地意图分数，该目的地意图分数可以表示目的地本身的功能属性对应的意图倾向或基于不同意图而去上述目的地的用户的比例；
可以基于上述语音识别数据中的语义置信度、上述时间数据、上述出行时间数据以及上述潜在意图数据出现的先后顺序计算潜在意图数据对应的语境分数，其中，上述语义置信度包括时间数据对应的时间语义置信度、地点数据对应的地点语义置信度以及目的数据对应的目的语义置信度，上述三种语义置信度表示语音识别的准确性，语义置信度越高则上述语境分数越高，语义置信度越低则上述语境分数越低，根据上述时间数据和上述出行时间数据可以得到时间匹配度，上述时间数据与上述出行时间数据的匹配精度越高则上述时间匹配度越高，上述时间匹配度与上述语境分数同样为正比关系，上述潜在意图数据由于存在多条潜在意图，则越后出现的潜在意图可以认为其越最可能为目标意图，所以最后可以根据上述目的语义置信度、上述时间语义置信度、上述地点语义置信度、上述时间匹配度以及每个上述潜在意图数据的出现顺序进行计算得到上述语境分数；
之后，可以基于上述目的地数据对应的目的地意图和上述潜在意图数据的相似度计算意图匹配分数，上述相似度与上述匹配分数成正比关系。
需要说明的是，上述目的地意图分数的范围可以为(0,1)，上述语境分数的范围可以为(0,1)，上述匹配分数的范围可以为[0,1]，上述目的地意图分数、上述语境分数和上述匹配分数对应了不同的加权系数，根据上述目的地意图分数、上述语境分数、上述意图匹配分数以及其各自的加权系数可以得到潜在意图分数，上述潜在意图分数可以包括多条潜在意图对应的分数，将上述潜在意图分数中最大值对应的潜在意图数据作为上述目标意图数据。
根据所述出行数据和所述潜在意图数据确定目标意图数据，可以从复数的潜在意图数据中筛选出最符合用户需求的目标意图数据，可以提升后续信息推荐的准确性。
步骤204，根据所述目标意图数据确定推荐信息。
其中，可以先判断上述目标意图数据对应的潜在意图分数是否达到预设意图分数阈值，若上述目标意图数据对应的潜在意图分数达到预设意图分数阈值，则获取预设推荐信息库中与上述目标意图数据的推荐匹配度大于预设匹配阈值的推荐信息。若上述目标意图数据对应的潜在意图分数未达到预设意图分数阈值，则不推送推荐信息。上述预设推荐信息库可以包括全部的可推荐信息，上述可推荐信息都包含意图关联标签，通过该意图关联标签可以得到目标意图数据与上述可推荐信息的推荐匹配度，此处可以将推荐匹配度大于上述预设匹配阈值的可推荐信息确定为该目标意图数据的推荐信息，举例来说，可以如下表所示：
| 目标意图数据 | 推荐信息 |
| 休闲-KTV | 音乐播放 |
| 购物-手机 | 手机品牌广告 |
| 访友-约会 | 途中某花店 |
| 旅游 | 景点购票链接 |
上述推荐信息包括但不限于兴趣点、商业广告、应用服务等，在此不再赘述。
根据所述目标意图数据确定推荐信息，可以确定到准确的推荐信息，大大提升了用户的使用体验。
步骤205，将所述推荐信息推送给目标用户。
其中，可以基于上述出行数据判断所述推荐信息是否符合路线变更条件，上述路线变更条件可以由目标用户自行设置，可以包括路线变更时间条件和路线变更距离条件，如路线变更不得超过二十分钟或路线变更距离不得超过十公里等，上述推荐信息有时候可能为引导目标用户前往特定的地点，设定该路线变更条件可以避免目标用户因小失大；
若所述推荐信息符合路线变更条件，则基于所述推荐信息的数量生成对应的推送策略，其中推荐信息的数量为0时，推送策略为不推送，上述推荐信息的数量大于预设数量时，则可以随机筛选预设数量的推荐信息进行推送，上述推荐信息的数量小于或等于上述预设数量时，可以直降将上述推荐信息进行推送。
通过上述步骤，可以识别出用户出行的实际意图，并根据该意图向用户推荐符合该意图的相关信息，大大提升了推荐信息的精准度的同时也提高了用户的使用体验。
下面结合图4对本申请实施例中一种电子设备400进行说明，图4为本申请实施例提供的一种电子设备400的结构示意图，包括应用处理器401、通信接口402和存储器403，所述应用处理器401、通信接口402和存储器403通过总线404相互连接，总线404可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。总线404可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，所述存储器403用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器401被配置用于调用所述程序指令，执行以下步骤的方法：
获取目标语音数据和出行数据；
根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；
根据所述出行数据和所述潜在意图数据确定目标意图数据；
根据所述目标意图数据确定推荐信息；
将所述推荐信息推送给目标用户。
在一个可能的实施例中，在所述根据所述目标语音数据确定潜在意图数据方面，所述程序中的指令具体用于执行以下操作：
对所述目标语音数据对应的语音识别数据进行向量化处理，得到字词向量数据；
对所述字词向量数据进行编码处理，得到字词编码数据；
根据所述字词编码数据确定第一字词标注数据，所述第一字词标注数据包括表示目的的第一字词标签；
对所述字词向量数据中与所述第一字词标签对应的第一字词向量数据进行编码处理，得到第一字词编码数据；
基于所述第一字词编码数据对所述字词编码数据进行拼接，得到第一编码数据；
根据所述第一编码数据、所述字词编码数据确定第二字词标注数据，所述第二字词标注数据包括表示时间的第二字词标签和表示地点的第三字词标签；
根据所述第一字词标签、所述第二字词标签以及所述第三字词标签确定所述潜在意图数据。
在一个可能的实施例中，在所述根据所述第一字词标签、所述第二字词标签以及所述第三字词标签确定所述潜在意图数据方面，所述程序中的指令具体用于执行以下操作：
基于所述第一字词标签、所述第二字词标签以及所述第三字词标签对应的语义确定目的数据、时间数据以及地点数据；
根据预设分级意图树得到所述目的数据、所述时间数据以及所述地点数据对应的潜在意图数据，并将所述潜在意图数据保存至意图数据库。
在一个可能的实施例中，在所述出行数据包括目的地数据和出行时间数据；所述根据所述出行数据和所述潜在意图数据确定目标意图数据方面，所述程序中的指令具体用于执行以下操作：
基于所述目的地数据进行计算得到目的地意图分数；
基于所述语音识别数据中的语义置信度、所述时间数据、所述出行时间数据以及所述潜在意图数据出现的先后顺序计算潜在意图数据对应的语境分数；
基于所述目的地数据对应的目的地意图和所述潜在意图数据的相似度计算意图匹配分数；
根据所述目的地意图分数、所述语境分数以及所述意图匹配分数得到潜在意图分数；
将所述潜在意图分数中最大值对应的潜在意图数据作为所述目标意图数据。
在一个可能的实施例中，在所述基于所述语音识别数据中的语义置信度、所述时间数据、所述出行时间数据以及所述潜在意图数据出现的先后顺序计算潜在意图数据对应的语境分数方面，所述程序中的指令具体用于执行以下操作：
获取所述目的数据对应的目的语义置信度、所述时间数据对应的时间语义置信度以及所述地点数据对应的地点语义置信度；
获取所述时间数据和所述出行时间数据的时间匹配度；
获取每个所述潜在意图数据的出现顺序；
根据所述目的语义置信度、所述时间语义置信度、所述地点语义置信度、所述时间匹配度以及每个所述潜在意图数据的出现顺序进行计算得到所述语境分数。
在一个可能的实施例中，在所述根据所述目标意图数据确定推荐信息方面，所述程序中的指令具体用于执行以下操作：
判断所述目标意图数据对应的潜在意图分数是否达到预设意图分数阈值；
若所述目标意图数据对应的潜在意图分数达到预设意图分数阈值，则获取预设推荐信息库中与所述目标意图数据的推荐匹配度大于预设匹配阈值的推荐信息。
在一个可能的实施例中，在所述将所述推荐信息推送给目标用户方面，所述程序中的指令具体用于执行以下操作：
基于所述出行数据判断所述推荐信息是否符合路线变更条件；
若所述推荐信息符合路线变更条件，则基于所述推荐信息的数量生成对应的推送策略；
根据所述推送策略向所述目标用户推送所述推荐信息。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图5是本申请实施例提供的一种信息推荐装置500的功能单元组成框图。所述信息推荐装置500应用于电子设备，包括处理单元501、通信单元502和存储单元503，其中，所述处理单元501，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元502来完成相应操作。下面进行详细说明。
所述处理单元501，用于获取目标语音数据和出行数据；
根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；
根据所述出行数据和所述潜在意图数据确定目标意图数据；
根据所述目标意图数据确定推荐信息；
将所述推荐信息推送给目标用户。
在一个可能的实施例中，在所述根据所述目标语音数据确定潜在意图数据方面，所述处理单元501具体用于：
对所述目标语音数据对应的语音识别数据进行向量化处理，得到字词向量数据；
对所述字词向量数据进行编码处理，得到字词编码数据；
根据所述字词编码数据确定第一字词标注数据，所述第一字词标注数据包括表示目的的第一字词标签；
对所述字词向量数据中与所述第一字词标签对应的第一字词向量数据进行编码处理，得到第一字词编码数据；
基于所述第一字词编码数据对所述字词编码数据进行拼接，得到第一编码数据；
根据所述第一编码数据、所述字词编码数据确定第二字词标注数据，所述第二字词标注数据包括表示时间的第二字词标签和表示地点的第三字词标签；
根据所述第一字词标签、所述第二字词标签以及所述第三字词标签确定所述潜在意图数据。
在一个可能的实施例中，在所述根据所述第一字词标签、所述第二字词标签以及所述第三字词标签确定所述潜在意图数据方面，所述处理单元501具体用于：
基于所述第一字词标签、所述第二字词标签以及所述第三字词标签对应的语义确定目的数据、时间数据以及地点数据；
根据预设分级意图树得到所述目的数据、所述时间数据以及所述地点数据对应的潜在意图数据，并将所述潜在意图数据保存至意图数据库。
在一个可能的实施例中，在所述出行数据包括目的地数据和出行时间数据；所述根据所述出行数据和所述潜在意图数据确定目标意图数据方面，所述处理单元501具体用于：
基于所述目的地数据进行计算得到目的地意图分数；
基于所述语音识别数据中的语义置信度、所述时间数据、所述出行时间数据以及所述潜在意图数据出现的先后顺序计算潜在意图数据对应的语境分数；
基于所述目的地数据对应的目的地意图和所述潜在意图数据的相似度计算意图匹配分数；
根据所述目的地意图分数、所述语境分数以及所述意图匹配分数得到潜在意图分数；
将所述潜在意图分数中最大值对应的潜在意图数据作为所述目标意图数据。
在一个可能的实施例中，在所述基于所述语音识别数据中的语义置信度、所述时间数据、所述出行时间数据以及所述潜在意图数据出现的先后顺序计算潜在意图数据对应的语境分数方面，所述处理单元501具体用于：
获取所述目的数据对应的目的语义置信度、所述时间数据对应的时间语义置信度以及所述地点数据对应的地点语义置信度；
获取所述时间数据和所述出行时间数据的时间匹配度；
获取每个所述潜在意图数据的出现顺序；
根据所述目的语义置信度、所述时间语义置信度、所述地点语义置信度、所述时间匹配度以及每个所述潜在意图数据的出现顺序进行计算得到所述语境分数。
在一个可能的实施例中，在所述根据所述目标意图数据确定推荐信息方面，所述处理单元501具体用于：
判断所述目标意图数据对应的潜在意图分数是否达到预设意图分数阈值；
若所述目标意图数据对应的潜在意图分数达到预设意图分数阈值，则获取预设推荐信息库中与所述目标意图数据的推荐匹配度大于预设匹配阈值的推荐信息。
在一个可能的实施例中，在所述将所述推荐信息推送给目标用户方面，所述处理单元501具体用于：
基于所述出行数据判断所述推荐信息是否符合路线变更条件；
若所述推荐信息符合路线变更条件，则基于所述推荐信息的数量生成对应的推送策略；
根据所述推送策略向所述目标用户推送所述推荐信息。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种信息推荐方法，其特征在于，所述方法包括：
获取目标语音数据和出行数据；
根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；
根据所述出行数据和所述潜在意图数据确定目标意图数据；
根据所述目标意图数据确定推荐信息；
将所述推荐信息推送给目标用户。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标语音数据确定潜在意图数据，包括：
对所述目标语音数据对应的语音识别数据进行向量化处理，得到字词向量数据；
对所述字词向量数据进行编码处理，得到字词编码数据；
根据所述字词编码数据确定第一字词标注数据，所述第一字词标注数据包括表示目的的第一字词标签；
对所述字词向量数据中与所述第一字词标签对应的第一字词向量数据进行编码处理，得到第一字词编码数据；
基于所述第一字词编码数据对所述字词编码数据进行拼接，得到第一编码数据；
根据所述第一编码数据、所述字词编码数据确定第二字词标注数据，所述第二字词标注数据包括表示时间的第二字词标签和表示地点的第三字词标签；
根据所述第一字词标签、所述第二字词标签以及所述第三字词标签确定所述潜在意图数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一字词标签、所述第二字词标签以及所述第三字词标签确定所述潜在意图数据，包括：
基于所述第一字词标签、所述第二字词标签以及所述第三字词标签对应的语义确定目的数据、时间数据以及地点数据；
根据预设分级意图树得到所述目的数据、所述时间数据以及所述地点数据对应的潜在意图数据，并将所述潜在意图数据保存至意图数据库。
4.根据权利要求3所述的方法，其特征在于，所述出行数据包括目的地数据和出行时间数据；所述根据所述出行数据和所述潜在意图数据确定目标意图数据，包括：
基于所述目的地数据进行计算得到目的地意图分数；
基于所述语音识别数据中的语义置信度、所述时间数据、所述出行时间数据以及所述潜在意图数据出现的先后顺序计算潜在意图数据对应的语境分数；
基于所述目的地数据对应的目的地意图和所述潜在意图数据的相似度计算意图匹配分数；
根据所述目的地意图分数、所述语境分数以及所述意图匹配分数得到潜在意图分数；
将所述潜在意图分数中最大值对应的潜在意图数据作为所述目标意图数据。
5.根据权利要求4所述的方法，其特征在于，所述基于所述语音识别数据中的语义置信度、所述时间数据、所述出行时间数据以及所述潜在意图数据出现的先后顺序计算潜在意图数据对应的语境分数，包括：
获取所述目的数据对应的目的语义置信度、所述时间数据对应的时间语义置信度以及所述地点数据对应的地点语义置信度；
获取所述时间数据和所述出行时间数据的时间匹配度；
获取每个所述潜在意图数据的出现顺序；
根据所述目的语义置信度、所述时间语义置信度、所述地点语义置信度、所述时间匹配度以及每个所述潜在意图数据的出现顺序进行计算得到所述语境分数。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标意图数据确定推荐信息，包括：
判断所述目标意图数据对应的潜在意图分数是否达到预设意图分数阈值；
若所述目标意图数据对应的潜在意图分数达到预设意图分数阈值，则获取预设推荐信息库中与所述目标意图数据的推荐匹配度大于预设匹配阈值的推荐信息。
7.根据权利要求1所述的方法，其特征在于，所述将所述推荐信息推送给目标用户，包括：
基于所述出行数据判断所述推荐信息是否符合路线变更条件；
若所述推荐信息符合路线变更条件，则基于所述推荐信息的数量生成对应的推送策略；
根据所述推送策略向所述目标用户推送所述推荐信息。
8.一种信息推荐装置，其特征在于，所述装置包括处理单元和通信单元，所述处理单元用于：获取目标语音数据和出行数据；根据所述目标语音数据确定潜在意图数据，所述潜在意图数据用于表示可能的出行意图；根据所述出行数据和所述潜在意图数据确定目标意图数据；根据所述目标意图数据确定推荐信息；将所述推荐信息推送给目标用户。
9.一种电子设备，其特征在于，包括应用处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述应用处理器执行，所述程序包括用于执行如权利要求1~7任一项所述的方法中的步骤的指令。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1~7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911400224.0A CN111177296B (zh) | 2019-12-30 | 2019-12-30 | 信息推荐方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911400224.0A CN111177296B (zh) | 2019-12-30 | 2019-12-30 | 信息推荐方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111177296A CN111177296A (zh) | 2020-05-19 |
| CN111177296B true CN111177296B (zh) | 2022-12-06 |
Family
ID=70658467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911400224.0A Active CN111177296B (zh) | 2019-12-30 | 2019-12-30 | 信息推荐方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111177296B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597318A (zh) * | 2020-05-21 | 2020-08-28 | 普信恒业科技发展（北京）有限公司 | 业务任务的执行方法、装置及系统 |
| CN111507089B (zh) * | 2020-06-09 | 2022-09-09 | 平安科技（深圳）有限公司 | 基于深度学习模型的文献分类方法、装置和计算机设备 |
| CN116049579B (zh) * | 2023-03-06 | 2023-06-02 | 中南大学 | 基于视觉偏好特征的个性化旅游路线推荐方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105487663A (zh) * | 2015-11-30 | 2016-04-13 | 北京光年无限科技有限公司 | 一种面向智能机器人的意图识别方法和系统 |
| CN106202252A (zh) * | 2016-06-29 | 2016-12-07 | 厦门趣处网络科技有限公司 | 一种基于用户情绪分析的出行推荐方法、系统 |
| CN106254557A (zh) * | 2016-10-09 | 2016-12-21 | 努比亚技术有限公司 | 个人行程智能推送方法及装置 |
| CN109146280A (zh) * | 2018-08-14 | 2019-01-04 | 北京三快在线科技有限公司 | 一种推送信息的方法、装置及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8983840B2 (en) * | 2012-06-19 | 2015-03-17 | International Business Machines Corporation | Intent discovery in audio or text-based conversation |
| US9648463B2 (en) * | 2014-12-19 | 2017-05-09 | Here Global B.V. | Method and apparatus for providing context-related point-of-interest recommendations |
-
2019
- 2019-12-30 CN CN201911400224.0A patent/CN111177296B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105487663A (zh) * | 2015-11-30 | 2016-04-13 | 北京光年无限科技有限公司 | 一种面向智能机器人的意图识别方法和系统 |
| CN106202252A (zh) * | 2016-06-29 | 2016-12-07 | 厦门趣处网络科技有限公司 | 一种基于用户情绪分析的出行推荐方法、系统 |
| CN106254557A (zh) * | 2016-10-09 | 2016-12-21 | 努比亚技术有限公司 | 个人行程智能推送方法及装置 |
| CN109146280A (zh) * | 2018-08-14 | 2019-01-04 | 北京三快在线科技有限公司 | 一种推送信息的方法、装置及系统 |
Non-Patent Citations (5)
| Title |
|---|
| Human-Robot Interaction using Intention Recognition;Sangwook Kim 等;《ACM》;20151021;第299-302页 * |
| 基于决策树的出租车乘客出行目的识别;潘秀琴等;《中央民族大学学报(自然科学版)》;20161115(第04期);第43-47页 * |
| 智能推荐系统研究综述;陈彬等;《河北省科学院学报》;20180915(第03期);第86-96页 * |
| 聊天机器人中用户出行消费意图识别方法;钱岳等;《中国科学:信息科学》;20170820(第08期);第49-59页 * |
| 面向隐式反馈的标签感知推荐方法;李红梅等;《计算机科学》;20190415(第04期);第42-49页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111177296A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112100349B (zh) | 一种多轮对话方法、装置、电子设备及存储介质 | |
| CN111177296B (zh) | 信息推荐方法、装置、电子设备及计算机存储介质 | |
| CN110287479B (zh) | 命名实体识别方法、电子装置及存储介质 | |
| US12008336B2 (en) | Multimodal translation method, apparatus, electronic device and computer-readable storage medium | |
| CN108170859A (zh) | 语音查询的方法、装置、存储介质及终端设备 | |
| CN110163181B (zh) | 手语识别方法及装置 | |
| CN108304423A (zh) | 一种信息识别方法及装置 | |
| JP2020004382A (ja) | 音声対話方法及び装置 | |
| CN111831911A (zh) | 查询信息的处理方法、装置、存储介质和电子装置 | |
| CN103685520A (zh) | 基于语音识别的歌曲推送的方法和装置 | |
| CN108351876A (zh) | 用于兴趣点识别的系统和方法 | |
| CN111159358A (zh) | 多意图识别训练和使用方法及装置 | |
| CN111292752A (zh) | 一种用户意图识别方法、装置、电子设备及存储介质 | |
| CN107862004A (zh) | 智能排序方法及装置、存储介质、电子设备 | |
| CN110853621A (zh) | 语音顺滑方法、装置、电子设备及计算机存储介质 | |
| CN107506479B (zh) | 一种对象推荐方法和装置 | |
| CN113051384A (zh) | 基于对话的用户画像抽取方法及相关装置 | |
| CN112836515B (zh) | 文本分析方法、推荐方法、装置、电子设备及存储介质 | |
| CN117892140B (zh) | 视觉问答及其模型训练方法、装置、电子设备、存储介质 | |
| CN110597958A (zh) | 文本分类模型训练和使用方法及装置 | |
| CN116522905B (zh) | 文本纠错方法、装置、设备、可读存储介质及程序产品 | |
| CN113035179A (zh) | 一种语音识别方法、装置、设备及计算机可读存储介质 | |
| CN116595149A (zh) | 一种人机对话生成方法、装置、设备及存储介质 | |
| CN111680514A (zh) | 信息处理和模型训练方法、装置、设备及存储介质 | |
| CN111611793A (zh) | 数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |