CN111722825A - 交互方法、信息处理方法、车辆和服务器 - Google Patents

交互方法、信息处理方法、车辆和服务器 Download PDF

Info

Publication number
CN111722825A
CN111722825A CN202010598594.6A CN202010598594A CN111722825A CN 111722825 A CN111722825 A CN 111722825A CN 202010598594 A CN202010598594 A CN 202010598594A CN 111722825 A CN111722825 A CN 111722825A
Authority
CN
China
Prior art keywords
information
vehicle
point
information point
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010598594.6A
Other languages
English (en)
Inventor
赵永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhipeng Internet Of Vehicles Technology Co ltd
Original Assignee
Guangzhou Xiaopeng Internet of Vehicle Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Internet of Vehicle Technology Co Ltd filed Critical Guangzhou Xiaopeng Internet of Vehicle Technology Co Ltd
Priority to CN202010598594.6A priority Critical patent/CN111722825A/zh
Publication of CN111722825A publication Critical patent/CN111722825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Navigation (AREA)

Abstract

本申请公开了一种车载地图应用程序信息点的交互方法。交互方法包括:获取用户针对信息点的语音交互信息;发送语音交互信息和信息点信息至服务器;接收服务器根据语音交互信息、信息点信息和对应信息点信息的信息模板生成的操作指令;执行与所述操作指令对应的操作。本申请实施方式的信息点的交互方法中,车载地图应用程序图形用户界面的信息点信息同步到服务器,实现了本地与云端信息的同步及一致性,服务器掌握了更多的车载地图应用程序界面的信息,提供了通过语音与信息点交互的可能性,使得语音交互更加智能。本申请还公开了一种信息处理方法、车辆、服务器及计算机可读存储介质。

Description

交互方法、信息处理方法、车辆和服务器
技术领域
本申请涉及语音识别技术领域,特别涉及一种车载地图应用程序信息点的交互方法、信息处理方法、车辆、服务器和计算机可读存储介质。
背景技术
随着人工智能技术的发展,语音智能平台或者说语音助手因为能够在一定条件下识别用户的语音输入并生成相应的操作指令,为用户操作终端设备提供了极大的便利,提升了终端设备的智能性,而被广泛应用,例如应用于汽车的人机交互中。然而,相关技术中,语音交互还停留在较为初级的阶段,仅能实现简单的交互,而对于较为复杂功能不能够通过语音交互实现,智能性较差。例如,车载导航地图通常不支持通过语音的方式与导航地图中展示的信息点进行交互,而仅能通过图形交互界面来操作进行交互。
发明内容
有鉴于此,本申请的实施例提供了一种交互方法、信息处理方法、车辆、服务器和计算机可读存储介质。
本申请提供了一种车载地图应用程序信息点的交互方法,其特征在于,所述车载地图应用程序包括信息点信息,所述交互方法包括:
获取用户针对信息点的语音交互信息;
发送所述语音交互信息和所述信息点信息至服务器;
接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令;
执行与所述操作指令对应的操作。
在某些实施方式中,所述信息点信息包括所述信息点的图形用户界面的控件信息。
在某些实施方式中,所述服务器将所述语音交互信息和所述信息点信息与所述信息模板进行匹配,并根据所述匹配的结果生成所述操作指令,所述接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令包括:
接收所述服务器根据匹配成功所生成的执行指令;
所述执行与所述操作指令对应的操作包括:
对所述信息点进行与所述执行指令对应的操作。
在某些实施方式中,所述接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令包括:
接收所述服务器根据匹配失败所生成的反馈指令;
所述执行与所述操作指令对应的操作包括:
根据所述反馈指令播报匹配失败的信息以对用户进行提示。
在某些实施方式中,所述对所述信息点进行与所述执行指令对应的操作包括:
判断所述车载地图应用程序是否拦截所述执行指令;
若所述车载地图应用程序未拦截所述执行指令,通过所述车载地图应用程序的软件开发工具包对所述信息点进行与所述执行指令对应的操作。
在某些实施方式中,所述对所述信息点进行与所述执行指令对应的操作还包括:
若所述车载地图应用程序拦截所述执行指令,通过所述软件开发工具包将所述执行指令透传至所述车载地图应用程序;
通过所述车载地图应用程序对所述信息点进行与所述执行指令对应的操作。
本申请提供了一种信息处理方法,包括:
接收车载地图应用程序上传的信息点信息;和
处理所述信息点信息以得到对应的信息模板。
在某些实施方式中,所述处理所述信息点信息以得到信息模板包括:
泛化与所述信息点信息交互的表达方式以得到所述信息模板。
在某些实施方式中,所述信息处理方法还包括:
接收所述车辆发送的针对信息点的语音交互信息;
将根据所述语音交互信息和所述信息点信息与所述信息模板进行匹配;
根据所述匹配结果生成执行指令或反馈指令并发送至所述车辆。
本申请提供了一种车辆,所述车辆的操作系统安装有车载地图应用程序,所述车载地图应用程序包括信息点信息,所述车辆包括:
语音获取模块,用于获取用户针对信息点的语音交互信息;
通信模块,用于发送所述语音交互信息和所述信息点信息至服务器并接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令;
控制模块,用于执行与所述操作指令对应的操作。
本申请提供了一种服务器,包括:
通信模块,用于接收车载地图应用程序上传的信息点信息;和
处理模块,用于处理所述信息点信息以得到对应的信息模板。
本申请提供了一种包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行所述的车载地图应用程序信息点的交互方法或所述的信息处理方法。
本申请实施方式的车载地图应用程序信息点的交互方法、信息处理方法、车辆、服务器及计算机可读存储介质中,车载地图应用程序图形用户界面的信息点信息同步到服务器,实现了本地与云端信息的同步及一致性,服务器掌握了更多的车载地图应用程序界面的信息,提供了通过语音与信息点交互的可能性,使得语音交互更加智能。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的交互方法的流程示意图。
图2是本申请某些实施方式的车辆的模块示意图。
图3是本申请某些实施方式的交互方法的场景示意图。
图4是本申请某些实施方式的交互方法的流程示意图。
图5是本申请某些实施方式的交互方法的场景示意图。
图6是本申请某些实施方式的交互方法的流程示意图。
图7是本申请某些实施方式的交互方法的场景示意图。
图8是本申请某些实施方式的信息处理方法的流程示意图。
图9是本申请某些实施方式的服务器的模块示意图。
图10是本申请某些实施方式的车辆和服务器的交互示意图。
图11是本申请某些实施方式的信息处理方法的流程示意图。
图12是本申请某些实施方式的信息处理方法的流程示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
请参阅图1,本申请提供了一种车载地图应用程序信息点的交互方法。包括:
S10:获取用户针对信息点的语音交互信息;
S20:发送语音交互信息和信息点信息至服务器;
S30:接收服务器根据所述语音交互信息、信息点信息和对应信息点信息的信息模板生成的操作指令;
S40:执行与操作指令对应的操作。
本申请实施方式提供了一种车辆。车辆包括显示区域、电声元件、通信元件和处理器。车辆的显示区域可以包括仪表屏、车载中控屏幕以及车辆挡风玻璃上可以实现的抬头显示等。车辆上运行的车载系统使用图形用户界面(Graphical User Interface,GUI)为用户呈现展示的内容。显示区域包括诸多UI元素,不同的显示区域可以展示相同或不同的UI元素。其中,UI元素可以包括卡片对象、应用程序图标或界面、文件夹图标、多媒体文件图标以及用于进行交互可操作的控件等。电声元件用于获取用户针对信息点的语音交互信息。通信元件用于发送语音交互信息和信息点信息至服务器,并用于接收服务器根据语音交互信息、信息点信息和对应信息点信息的信息模板生成的操作指令。处理器用于执行与操作指令对应的操作。
请参阅图2,本申请实施方式还提供了一种车辆100,本申请实施方式的交互方法可以由本申请实施方式的车辆100实现。
具体地,车辆100的操作系统安装有车载地图应用程序,车辆100包括语音获取模块102、通信模块104和控制模块106。S10可以由语音获取模块102实现,S20、S30可以由通信模块104实现,S40可以由控制模块106实现。或者说,语音获取模块102用于获取用户针对信息点的语音交互信息。通信模块104用于发送语音交互信息和信息点信息至服务器,并用于接收服务器根据语音交互信息、信息点信息和对应信息点信息的信息模板生成的操作指令。控制模块106用于执行与操作指令对应的操作。
本申请实施方式的车载地图应用程序信息点的交互方法、车辆中,车载地图应用程序图形用户界面的信息点信息同步到服务器,实现了本地与云端信息的同步及一致性,服务器掌握了更多的车载地图应用程序的图形用户界面信息,提供了通过语音与信息点交互的可能性,使得语音交互更加智能。
具体地,车辆的智能显示区域可以为用户提供控制车辆以及与车辆进行交互的便捷入口,在车载操作系统中添加语音助手功能,能够在一定条件下通过识别语音及语义识别对用户输入的语音信息进行解析,便捷地生成相应的控制指令,进一步地为用户与车辆的交互提供便利。然而,对于车载地图应用程序而言,语音交互还停留在较为初级的阶段,仅能实现简单的交互,例如,通过语音实现对车载地图应用程序的图形用户界面显示比例的放大和缩小操作。而对于较为复杂功能,例如,对于车载地图应用程序图形用户界面中展示的信息点,用户仅能通过在图形用户界面中的输入,例如点击、滑动等与信息点进行交互,而无法通过语音实现交互。对于当前正处于行车模式的情况,用户一边驾车一边通过车载地图应用程序的图形用户界面进行交互,存在一定的安全风险。
在本实施方式中,用户唤醒语音助手后,进行语音信息输入,在获取语音信息的同时,获取车辆当前车载地图应用程序的图形用户界面所展示的信息点的图形用户界面的信息。信息点信息包括显示形式与显示结构两方面信息。显示形式也即是信息点的呈现方式,例如信息点可以卡片、浮动窗口等形式呈现,显示结构也即是卡片、浮动窗口等展示显示形式的具体构成,例如,卡片包括的行列数量,包括的控件、控件在卡片中分布的位置,显示层级等。
用户在本地唤醒语音助手后,输入信息点的语音交互信息。车辆将语音交互信息以及信息点信息发送至云端服务商的服务器,服务器利用信息点信息作为辅助信息,对语音交互信息进行解析,从而生成操作指令,并回传给本地的车辆,进而车辆根据操作指令执行对应的操作。
其中,信息点信息通过语音软件开发工具包同步至服务器,语音软件开发工具包是车载地图应用程序与服务器进行语音交互的枢纽。一方面软件开发工具包定义了语音交互信息的生成规范。另一方面,语音软件开发工具包能够实现将车载地图应用程序中的信息点信息同步到服务器,并将服务器针对语音交互信息生成的操作指令传输到车载地图应用程序。
在一个示例中,车载地图应用程序可调用软件开发工具包提供的信息同步方法,将信息点信息同步到软件开发工具包。
软件开发工具包对接收到的信息点信息进行信息容错和规范性检查。具体而言,根据语音交互生成规范对于信息点信息中可能存在的错误信息进行纠正处理,从而保证信息点信息数据满足生成规范,可以被服务器识别解析。此外,软件开发工具包根据语音交互的生成规范对车载地图应用程序中的信息点信息的数据进行检查。例如,检查数据的属性是否正确,数据中元素编码是否唯一等。若属性配置正确,也即是满足生成规范,则将该信息点信息放行。否则将给予车载地图应用程序反馈,例如反馈错误日志或者在车载地图应用程序图形用户界面上进行提醒等。
对语音交互信息的解析通常包括语音识别和语义解析两部分,语音识别可以在本地完成,例如可以通过车辆的文本语音转换模块对语音交互信息进行识别,将语音转换为文本。当然,语音识别也可以在服务器进行,从而减小车辆端操作系统的处理负担。语义解析可以在服务器完成,一般地,通过对文本进行分词、分析等步骤实现对于语音交互信息的理解。
可以理解地,信息点信息可以让服务器在进行语义解析时,更加明确车辆当前所处的交互场景,有效地限缩了语义解析的范围。例如,在某信息点以卡片形式进行展示的场景中,用户希望对该地点进行拨打电话的交互操作,用户发出“拨打电话”的语音指令。若服务器没有同步获取信息点信息,在语义解析时,不能明确拨号对象,而仅生成进入拨号界面的指令。而在同步获取信息点信息情况下,服务器就可以判断用户是希望给信息点卡片中的电话拨号,从而生成相应号码的拨号界面或直接拨打电话。
如此,可以提高语音控制的智能性与命中真实意图的成功率,用户体验更佳。
信息点信息的信息模板,是根据在先车辆上传的对应各种类型的信息点信息在经过处理后形成的信息模板。信息模板存储在服务器中,如此,在接收到用户上传的信息点信息后,通过与信息模板进行匹配,服务器可以确认与当前信息点信息对应的信息模板,从而获知用户当前的交互场景,不仅能够根据语音交互信息判断用户的意图,还能根据用户交互的信息点界面场景,来辅助语音交互信息对用户的真实意图进行解析。
此外,本申请中,驾驶员可以在行车过程中的任意时刻,例如行驶或驻车状态,均可与车载地图应用程序进行语音交互,从而实现车载地图比例尺的调整。特别是在行车状态中,采用语音输入代替了用户通过手动输入与车载地图应用程序进行交互,更能兼顾行车安全。
在本实施方式中,信息点信息包括信息点的图形用户界面的控件信息。
具体地,在实际使用车载车载地图应用程序的过程中,用户在搜索或点选某个感兴趣的地点后,通常需要进一步查看该地点的详细信息。以信息点卡片为例,信息点卡片可以为用户提供与该地点相关且较为详尽的信息并以卡片的形式进行展示给用户。例如,对于餐厅而言,信息点卡片中通常包括如营业时间、人均消费、电话、地址、分享、收藏、拨打电话、导航等内容。又如,对于写字楼而言,信息点卡片可包括电话、地址、搜索周边、收藏、分享、导航、查询路线、设为办公地点等内容。
这些内容以相应的控件布局并进行展示,信息点信息也即是当前信息点的图形用户界面的控件信息,车载地图应用程序通过语音交互控件库控件来布局信息点信息,从而构建可语音控制的布局数据结构。数据结构设计过程中需要将支持图形交互操作的控件替换为支持语音交互的控件,也即是语音交互控件库中的控件。例如,将原有结构中的线性布局控件LinearLayout,替换为语音交互控件库封装的支持语音交互操作的线性布局控件XLinearLayout。又如,将原有结构中的文本控件TextView,替换为语音交互控件库封装的支持语音交互操作的文本控件XTextView。
控件一般包括但不限于如下信息:元素标识、元素类型、元素的动作类型以及元素的语音说法等。其中,元素标识对于每个元素而言是唯一的,通过该标识可以寻找到该元素。元素类型可包括组、文本、图像等。元素的动作类型可包括点击、滑动等。元素的语音说法包括唤醒某一操作关键词等。
请参阅图3,车载地图应用程序可针对信息点以下内容的交互,例如关闭卡片、图片、地址信息、搜周边、收藏、电话、子信息点信息、收费信息、设定预定场所、路线、途经点设置等布局对应的控件。
如此,“关闭卡片”控件可支持通过语音交互关闭或隐藏信息点卡片。
“图片”控件可支持语音交互展开信息点卡片的图片信息,例如,充电站会有站点附近环境的图示信息以及充电桩的自身图示信息。又如,餐厅会有菜品的图示信息以及餐厅用餐环境的图示信息。
“地址信息”控件可支持语音交互展开和收起地址信息。可以理解地,对于某些地址信息较长,且超过信息点卡片布局宽度限制的状况,会默认收起地址信息。
“搜周边”控件可支持语音交互在当前信息点周围进行信息搜索,例如搜索信息点周围为预定范围的餐厅、银行等。
“收藏”控件可支持语音交互收藏和取消收藏当前信息点。
“电话”控件可支持语音交互拨打当前信息点的电话,对于当前信息点存在多个电话的情况,可默认拨打第一个电话。
“子信息点信息”控件可支持语音交互操作当前信息点的子信息点,例如,写字楼可能存在多个停车场,各个停车场信息点作为写字楼信息点的子信息点,通过子信息点信息的语音交互,可由写字楼信息点卡片跳转至其中某一个停车场子信息点卡片。
“收费信息”控件可支持语音交互展开和收起收费信息,例如充电站,会展示收费信息,对于某些收费信息较长,且超过信息点卡片布局宽度限制的状况,会默认收起收费信息。
“设定预定场所”控件可支持语音交互将当前信息点设为常用场所。例如设定当前信息点为家或公司等常用场所的地址。
“路线”控件可支持语音交互展示由当前位置导航至到当前信息点的多种路线。例如,可包括分别采用驾车、公共交通、自行车以及步行的方式行至当前信息点的路线。
“途经点设置”控件可支持语音交互添加当前信息点作为导航线路线中的途经点或将已经被添加的途经点移除。
请参阅图4,在某些实施方式中,服务器将语音交互信息和信息点信息与信息模板进行匹配,并根据匹配的结果生成操作指令。S30包括:
S31:接收服务器根据匹配成功所生成的执行指令;
S40包括:
S41:对信息点进行与执行指令对应的操作。
在某些实施方式中,S31可以由通信模块104实现,S41可以由控制模块106实现。也即是说,通信模块104用于接收服务器根据匹配成功所生成的执行指令。控制模块106用于对信息点进行与执行指令对应的操作。
在某些实施方式中,通信元件用于接收服务器根据匹配成功所生成的执行指令。处理器用于对信息点进行与执行指令对应的操作。
具体地,不同车辆100在语音助手每次被唤醒后,都会将语音交互信息和信息点信息一同上传服务器。服务器会随着用户的使用获得大量信息点信息的历史数据,通过机器学习或人工标注等方式,对收集到的大量的信息点信息进行补充扩展整理,从而丰富服务器对于信息点信息的理解,整理后的内容可以形成对应不同类别信息点的信息模板并在服务器中进行存储,以供用户在后续使用过程中,提高语义识别的准确率和识别效率。
在实际过程中,若用户为首次使用语音助手,在服务器端可能并没有预存储的信息模板,在这种情况下,服务器直接根据信息点信息辅助语音交互信息进行语义识别,在这种情况下,可能对于语音交互信息的要求比较严苛,但由于有信息点信息作为辅助,也能够在一定程度上理解用户的语义。若非首次使用语音助手,服务器在收到信息点信息后,可根据信息点信息的控件信息来识别当前的图形用户界面,然后,调取与该控件信息对应的信息模板,从而可将语音交互信息和信息点信息与该信息模板进行匹配,来分析用户的真实意图。
可以理解地,同一用户对同一语音交互指令在前后多次实施过程中可能表述不一,不同用户对同一指令的表述也可能不同。设定的信息模板,针对每一个语音交互可能的表达方式进行泛化处理。信息模板的内容越丰富,识别出语音交互指令的可能性与成功率越高。
以信息点卡片为例,例如,对于在信息点卡片中的“电话”,用户拨打电话意图的表述可以扩展为如电话、打电话,给当前信息点打电话、打电话给当前信息点、电话给当前信息点、打电话给A(当前信息点的名称)、帮我给A(当前信息点的名称)打电话等。这些表述方式都存储在信息模板中。
车辆的语音文字转换模块对语音交互信息进行语音识别,当然语音识别也可以由服务器的语音文字转换模块执行。上传的信息与信息模板进行比对,实现对语音交互信息语义的解析。在匹配成功的情况下,生成与交互信息对应的执行指令,并返回车辆,由车辆对信息点卡片执行该执行指令。
请参阅图5,例如,当用户希望拨打信息点的电话时,发出如“拨打电话”的语音交互信息,该语音交互信息和信息点信息一并发送至服务器,服务器根据信息点信息可以获得当前信息点的展示形态、结构框架布局以及其中包含可进行交互的控件,将语音交互信息和信息点信息与信息模板进行匹配,匹配后确认语音交互信息的语义为拨打信息点卡片所展示的该信息点的电话,生成拨打电话的执行指令,车载地图应用程序在接收该执行指令后,调用电话应用程序,对该信息点进行去电呼叫。
请再次参阅图4,在某些实施方式中,S30包括:
S32:接收服务器根据匹配失败所生成的反馈指令;
S40包括:
S42:根据反馈指令播报匹配失败的信息以对用户进行提示。
在某些实施方式中,S32可以由通信模块104实现,S42可以由控制模块106实现。也即是说,通信模块104用于接收服务器根据匹配失败所生成的反馈指令。控制模块106用于根据反馈指令播报匹配失败的信息以对用户进行提示。
在某些实施方式中,通信元件用于接收服务器根据匹配失败所生成的反馈指令。处理器用于根据反馈指令播报匹配失败的信息以对用户进行提示。
具体地,对于信息点不支持的交互,或无法进行语义解析的语音交互信息,服务器也会给出无法识别的反馈,车载地图应用程序可通过语音、文字弹窗显示等方式对反馈信息进行播报,从而对用户进行输入信息无效的提示。
对于无法识别的语音交互信息,车载地图应用程序可监控在播报反馈提示预定时间段内的用户通过图形交互界面进行的交互操作,并上报服务器,相关人员对语音交互信息和图形用户界面的交互操作进行人工检测,判断二者是否具有关联。若存在关联,则将该语音交互信息的表述扩充至相对于的执行指令的信息模板中。若不存在关联,则忽略上报的信息。
例如,用户希望查看当前地点以驾车的方式导航至当前信息点的行车路线。发出“行车”的语音交互信息,该语音交互信息和信息点信息与信息模板进行匹配,匹配后确认无法与当前信息模板进行匹配,生成反馈指令,车载地图应用程序在接收该反馈指令后,播报无法识别的信息。随后用户手动点选路线,并切换至驾车标签项。车载地图应用程序将用户的操作上报服务器,相关工作人员判断“行车”的表述与查看驾车路线的操作相关联,从而可以将“行车”添加至与“路线”相关的控件以及对应的语音交互指令信息模板中。
请参阅图6,在某些实施方式中,S41包括:
S411:判断车载地图应用程序是否拦截执行指令;
S412:若车载地图应用程序未拦截执行指令,通过车载地图应用程序的软件开发工具包对信息点进行与执行指令对应的操作。
在某些实施方式中,S411、S412可以由控制模块106实现。也即是说,控制模块106用于判断车载地图应用程序是否拦截执行指令,并用于在车载地图应用程序未拦截执行指令的情况下,通过车载地图应用程序的软件开发工具包对信息点进行与执行指令对应的操作。
在某些实施方式中,处理器判断车载地图应用程序是否拦截执行指令,并用于在车载地图应用程序未拦截执行指令的情况下,通过车载地图应用程序的软件开发工具包对信息点进行与执行指令对应的操作。
具体地,在服务器匹配成功后生成执行指令,并将执行指令回传。而根据业务需求,通常会选择不同对象处理该执行指令。例如,如果执行的是相对简单的、单一的操作,可以直接由软件开发工具包处理执行指令。而如果在基本操作的基础上,需要进行更多的个性化的后续操作,那么则由车载地图应用程序来处理执行指令。
具体实施过程中,处理机制预先设定,在车载地图应用程序接收到执行指令后,根据不同的执行指令处理机制,车载地图应用程序选择是否对执行指令进行拦截。如果车载地图应用程序未进行拦截,则将执行指令交由软件开发工具包处理执行。
请再次参阅图6,在某些实施方式中,S41还包括:
S413:若车载地图应用程序拦截执行指令,通过软件开发工具包将执行指令透传至车载地图应用程序;
S414:通过车载地图应用程序对信息点进行与执行指令对应的操作。
在某些实施方式中,S413、S414可以由控制模块106实现。也即是说,控制模块106用于在车载地图应用程序拦截执行指令的情况下,通过软件开发工具包将执行指令透传至车载地图应用程序,并用于通过车载地图应用程序对信息点进行与执行指令对应的操作。
在某些实施方式中,处理器用于车载地图应用程序拦截执行指令的情况下,通过软件开发工具包将执行指令透传至车载地图应用程序,并用于通过车载地图应用程序对信息点进行与执行指令对应的操作。
具体实施过程中,处理机制预先设定,在接收到执行指令后,根据不同的执行指令处理机制,车载地图应用程序选择是否对执行指令进行拦截。如果车载地图应用程序拦截第一执行指令,那么软件开发工具包将不会处理执行指令,而是将执行指令透传至车载地图应用程序,由车载地图应用程序处理该执行指令。
在一个示例中,以信息点卡片为例,对于其中的“收藏”交互,由于操作相对简单,并且一般无后续操作,那么可以设置由软件开发工具包来执行。车载地图应用程序不拦截与“收藏”交互相关的执行指令,软件开发工具包处理执行指令,触发对收藏标签的点击处理,从而实现收藏操作。
对于“路线”交互,由于用户在查看路线后,通常会进一步地选择车载地图应用程序提供的驾车的路线导航前往目的地,那么可以设置由车载地图应用程序来执行。车载地图应用程序拦截与“路线”相关的执行指令,软件开发工具包不做处理,车载地图应用程序将触发路线的查看并自动触发选择驾车方式的导航前往目的地。
请参阅图7,在另一个示例中,以“电话”交互,即拨电话给信息点的交互为例,如果车载地图应用程序不拦截,则由软件开发工具包进行处理,将触发电话控件的点击处理,弹出当前信息点的电话信息展示框,显示该信息点可能存在的电话列表。但不会进行拨号的操作,也即是说,如果用户希望进一步的拨打电话,还需要手动选择电话号码,进行拨号。
请再次参阅图5,而如果车载地图应用程序拦截,软件开发工具包不进行处理,车载地图应用程序将触发电话控件的点击处理,默认选中电话列表中的第一个,自动触发拨号操作。具有更好地智能性和操作效率。
请参阅图8,本申请还提供了一种信息处理方法,用于处理上述实施方式中,由车辆100发送至信息服务器200的语音交互信息。信息处理方法包括:
S50:接收车载地图应用程序上传的信息点信息;和
S60:处理信息点信息以得到对应的信息模板。
本申请实施方式提供了一种服务器。服务器包括通信元件和处理器。通信元件用于接收车载地图应用程序经软件开发工具包同步的信息点信息。处理器用于处理信息点信息以得到信息模板。
请参阅图9,本申请实施方式还提供了一种服务器200,本申请实施方式的信息处理方法可以由本申请实施方式的服务器200实现。
具体地,服务器200包括通信模块202和处理模块204。S50可以由通信模块202实现,S60可以由处理模块204实现。或者说,通信模块202用于接收车载地图应用程序上传的信息点信息。处理模块204用于处理信息点信息以得到对应的信息模板。
请参阅图10,本实施方式的服务器200与车辆100通信,在车辆100实施语音控制的过程中,车载地图应用程序上的信息点信息同步到服务器端,实现了本地与云端信息的同步及一致性,服务器200掌握了更多的车载地图应用程序界面的信息,提供了通过语音与信息点交互的可能性,语音交互更加智能。
服务器会接收来自不同车辆发送的信息点信息,需要根据信息点信息中所包含的控件信息,构建对应不同类型信息点的信息模板。其中的信息点类型,是指信息点展示图形用户界面中包含的可操作控件与内容信息相同,例如,餐厅、写字楼、银行等不同场所,包含的可操作控件与内容信息都不相同。
对相同类型的信息点可构建一对应的信息模板。该信息模板可包括针对同一信息点图形用户界面中的相同元素和不同元素,或者说公共元素和个性化元素。根据图形用户界面中相同元素或者说公共元素,服务器可构建当前信息点的基本框架作为信息模板的基础。而根据图形用户界面中的不同元素,服务器可以获知在当前信息点的具体信息,从而丰富信息模板的内容。信息模板的意义在于掌握更多用户交互的信息,为语音识别提供更精确的辅助。
请参阅图11,在某些实施方式中,S60包括:
S61:泛化与信息点信息交互的表达方式以得到信息模板。
在某些实施方式中,S61可以由处理模块204实现,也即是说,处理模块204用于泛化与信息点信息交互的表达方式以得到信息模板。
在某些实施方式中,处理器用于信息点信息的表达方式以得到信息模板。
具体地,语音交互指通常包括两个部分,指令对象以及操作方式。相应地,对应到信息模板中,指令对象也即是信息点信息所包括的图形用户界面中的控件,对控件的表达方式进行泛化处理。也即是对同一指令对象进行泛化处理,使得不同的表达方式均与该指令对象相对应。例如,对于“电话”控件,泛化处理后可包括电话、号码、电话号、联系方式、地点电话等表达方式。
操作方式是能够与该控件进行的交互,对与控件的交互的表达方式进行泛化处理,也即是对同一操作方式进行泛化处理,使得不同的表达方式均与该交互操作相对应。
例如,对于“搜周边”,泛化处理后可包括搜索周边、查看周边、周边的某场所等表达方式。对于“电话”,泛化处理后可包括拨电话、去电、拨号、给该信息点打电话、打电话给当前信息点、电话给当前点等表达方式。
在收集一定量的语音交互信息后,可以通过人工对信息模板进行扩充,信息模板具有更丰富的内容,同一指令具有更多的表述方式,从而可以更好地辅助语音交互信息的解析。
请参阅图12,在某些实施方式中,信息处理方法还包括:
S70:接收车辆发送的针对信息点的语音交互信息;
S80:将根据语音交互信息和信息点信息与信息模板进行匹配;
S90:根据匹配结果生成执行指令或反馈指令并发送至车辆。
在某些实施方式中,S70可以由通信模块202实现。S80可以由处理模块204实现,S90可以由通信模块202和处理模块204实现。或者说,通信模块202用于接收车辆100发送的针对信息点的语音交互信息。处理模块204将根据语音交互信息和信息点信息与信息模板进行匹配,以及用于根据匹配结果生成执行指令或反馈指令。通信模块202还用于将执行指令或反馈指令并发送至车辆100。
在某些实施方式中,通信元件用于接收车辆发送的针对信息点的语音交互信息。处理器用于将根据语音交互信息和信息点信息与信息模板进行匹配,以及用于根据匹配结果生成执行指令或反馈指令。通信元件还用于将执行指令或反馈指令并发送至车辆。
具体地,车辆将语音交互信息发送至云端的服务器,服务器将将语音交互信息和信息点信息与信息模板进行匹配,匹配成功后生成反馈指令,并回传给车辆,进而车辆根据执行指令对信息点执行对应的操作或根据反馈指令提示用户。
例如,当用户希望拨打信息点的电话时,发出如“拨打电话”的语音交互信息,车辆将语音交互信息和该信息点的信息一并上传至服务器200。服务器200在接收到该交互信息后,将交互信息和信息点信息与信息模板进行匹配,匹配后确认语音交互信息的语义为拨打信息点卡片所展示的该信息点的电话,从而生成拨打电话的执行指令,并发送回车辆,车载地图应用程序在接收该执行指令后,调用电话应用程序,对该信息点进行去电呼叫。
本申请实施方式还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行上述任一实施方式的车载地图应用程序信息点的交互方法或信息处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性计算机可读存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种车载地图应用程序信息点的交互方法,其特征在于,所述车载地图应用程序包括信息点信息,所述交互方法包括:
获取用户针对信息点的语音交互信息;
发送所述语音交互信息和所述信息点信息至服务器;
接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令;
执行与所述操作指令对应的操作。
2.根据权利要求1所述的交互方法,其特征在于,所述信息点信息包括所述信息点的图形用户界面的控件信息。
3.根据权利要求1所述的交互方法,其特征在于,所述服务器将所述语音交互信息和所述信息点信息与所述信息模板进行匹配,并根据所述匹配的结果生成所述操作指令,所述接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令包括:
接收所述服务器根据匹配成功所生成的执行指令;
所述执行与所述操作指令对应的操作包括:
对所述信息点进行与所述执行指令对应的操作。
4.根据权利要求3所述的交互方法,其特征在于,所述接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令包括:
接收所述服务器根据匹配失败所生成的反馈指令;
所述执行与所述操作指令对应的操作包括:
根据所述反馈指令播报匹配失败的信息以对用户进行提示。
5.根据权利要求3所述的交互方法,其特征在于,所述对所述信息点进行与所述执行指令对应的操作包括:
判断所述车载地图应用程序是否拦截所述执行指令;
若所述车载地图应用程序未拦截所述执行指令,通过所述车载地图应用程序的软件开发工具包对所述信息点进行与所述执行指令对应的操作。
6.根据权利要求5所述的交互方法,其特征在于,所述对所述信息点进行与所述执行指令对应的操作还包括:
若所述车载地图应用程序拦截所述执行指令,通过所述软件开发工具包将所述执行指令透传至所述车载地图应用程序;
通过所述车载地图应用程序对所述信息点进行与所述执行指令对应的操作。
7.一种信息处理方法,其特征在于,包括:
接收车载地图应用程序上传的信息点信息;和
处理所述信息点信息以得到对应的信息模板。
8.根据权利要求7所述的信息处理方法,其特征在于,所述处理所述信息点信息以得到信息模板包括:
泛化与所述信息点信息交互的表达方式以得到所述信息模板。
9.根据权利要求7所述的信息处理方法,其特征在于,所述信息处理方法还包括:
接收所述车辆发送的针对信息点的语音交互信息;
将根据所述语音交互信息和所述信息点信息与所述信息模板进行匹配;
根据所述匹配结果生成执行指令或反馈指令并发送至所述车辆。
10.一种车辆,其特征在于,所述车辆的操作系统安装有车载地图应用程序,所述车载地图应用程序包括信息点信息,所述车辆包括:
语音获取模块,用于获取用户针对信息点的语音交互信息;
通信模块,用于发送所述语音交互信息和所述信息点信息至服务器并接收所述服务器根据所述语音交互信息、所述信息点信息和对应所述信息点信息的信息模板生成的操作指令;
控制模块,用于执行与所述操作指令对应的操作。
11.一种服务器,其特征在于,包括:
通信模块,用于接收车载地图应用程序上传的信息点信息;和
处理模块,用于处理所述信息点信息以得到对应的信息模板。
12.一种计算机可执行指令的非易失性计算机可读存储介质,其特征在于,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1-6中任一项所述的车载地图应用程序信息点的交互方法或根据权利要求7-9所述的信息处理方法。
CN202010598594.6A 2020-06-28 2020-06-28 交互方法、信息处理方法、车辆和服务器 Pending CN111722825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010598594.6A CN111722825A (zh) 2020-06-28 2020-06-28 交互方法、信息处理方法、车辆和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010598594.6A CN111722825A (zh) 2020-06-28 2020-06-28 交互方法、信息处理方法、车辆和服务器

Publications (1)

Publication Number Publication Date
CN111722825A true CN111722825A (zh) 2020-09-29

Family

ID=72569370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010598594.6A Pending CN111722825A (zh) 2020-06-28 2020-06-28 交互方法、信息处理方法、车辆和服务器

Country Status (1)

Country Link
CN (1) CN111722825A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112525214A (zh) * 2020-11-24 2021-03-19 广州橙行智动汽车科技有限公司 一种地图卡片的交互方法、装置、车辆、可读介质
CN113329116A (zh) * 2021-05-28 2021-08-31 北京小鹏汽车有限公司 交通工具的通信方法、服务器、交通工具及通信系统
CN113450801A (zh) * 2021-08-27 2021-09-28 广州小鹏汽车科技有限公司 语音交互方法、装置、系统、交通工具及介质
WO2022252351A1 (zh) * 2021-06-02 2022-12-08 上海擎感智能科技有限公司 车机系统的控制方法及控制系统
CN115550499A (zh) * 2022-10-18 2022-12-30 中国第一汽车股份有限公司 车辆及其信息处理方法、系统、装置和处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1964567A (zh) * 2006-11-13 2007-05-16 中国移动通信集团公司 数据处理方法及可记录程序运行数据的终端
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术(北京)有限公司 语音控制方法、终端设备、云端服务器及系统
CN108682419A (zh) * 2018-03-30 2018-10-19 京东方科技集团股份有限公司 语音控制方法及设备、计算机可读存储介质及设备
CN109579866A (zh) * 2019-01-18 2019-04-05 深圳壹账通智能科技有限公司 智能导航方法、装置、计算机设备及存储介质
CN111179930A (zh) * 2019-12-31 2020-05-19 苏州思必驰信息科技有限公司 实现驾驶过程中的智能语音交互的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1964567A (zh) * 2006-11-13 2007-05-16 中国移动通信集团公司 数据处理方法及可记录程序运行数据的终端
CN108682419A (zh) * 2018-03-30 2018-10-19 京东方科技集团股份有限公司 语音控制方法及设备、计算机可读存储介质及设备
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术(北京)有限公司 语音控制方法、终端设备、云端服务器及系统
CN109579866A (zh) * 2019-01-18 2019-04-05 深圳壹账通智能科技有限公司 智能导航方法、装置、计算机设备及存储介质
CN111179930A (zh) * 2019-12-31 2020-05-19 苏州思必驰信息科技有限公司 实现驾驶过程中的智能语音交互的方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112525214A (zh) * 2020-11-24 2021-03-19 广州橙行智动汽车科技有限公司 一种地图卡片的交互方法、装置、车辆、可读介质
CN112525214B (zh) * 2020-11-24 2024-05-28 广州橙行智动汽车科技有限公司 一种地图卡片的交互方法、装置、车辆、可读介质
CN113329116A (zh) * 2021-05-28 2021-08-31 北京小鹏汽车有限公司 交通工具的通信方法、服务器、交通工具及通信系统
CN113329116B (zh) * 2021-05-28 2023-07-07 北京小鹏汽车有限公司 交通工具的通信方法、服务器、交通工具及通信系统
WO2022252351A1 (zh) * 2021-06-02 2022-12-08 上海擎感智能科技有限公司 车机系统的控制方法及控制系统
CN113450801A (zh) * 2021-08-27 2021-09-28 广州小鹏汽车科技有限公司 语音交互方法、装置、系统、交通工具及介质
CN115550499A (zh) * 2022-10-18 2022-12-30 中国第一汽车股份有限公司 车辆及其信息处理方法、系统、装置和处理器

Similar Documents

Publication Publication Date Title
CN111722825A (zh) 交互方法、信息处理方法、车辆和服务器
US8700408B2 (en) In-vehicle apparatus and information display system
US8078397B1 (en) System, method, and computer program product for social networking utilizing a vehicular assembly
US8473152B2 (en) System, method, and computer program product for utilizing a communication channel of a mobile device by a vehicular assembly
US8131458B1 (en) System, method, and computer program product for instant messaging utilizing a vehicular assembly
US9188456B2 (en) System and method of fixing mistakes by going back in an electronic device
CN111768780B (zh) 语音控制方法、信息处理方法、车辆和服务器
US8265862B1 (en) System, method, and computer program product for communicating location-related information
US20150006147A1 (en) Speech Recognition Systems Having Diverse Language Support
JP5835197B2 (ja) 情報処理システム
CN111722905A (zh) 交互方法、信息处理方法、车辆和服务器
US20170168774A1 (en) In-vehicle interactive system and in-vehicle information appliance
US9997160B2 (en) Systems and methods for dynamic download of embedded voice components
CN102439661A (zh) 用于车辆内自动交互的面向服务语音识别
EP2933607A1 (en) Navigation system having language category self-adaptive function and method of controlling the system
CN110309006B (zh) 一种功能调用方法、装置、终端设备及存储介质
US20080162143A1 (en) System and methods for prompting user speech in multimodal devices
CN111768779B (zh) 交互方法、信息处理方法、车辆和服务器
CN111768777A (zh) 语音控制方法、信息处理方法、车辆和服务器
CN102663055A (zh) 浏览器导航的实现方法、装置及浏览器
CN109036398A (zh) 语音交互方法、装置、设备及存储介质
US20180052658A1 (en) Information processing device and information processing method
CN111753039A (zh) 调整方法、信息处理方法、车辆和服务器
CN112306436A (zh) 投屏方法及移动终端
CN113113015A (zh) 交互方法、信息处理方法、车辆和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xiaopeng Internet of vehicles Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201210

Address after: Room 209, No.8, Songgang street, Cencun, Changxing street, Tianhe District, Guangzhou City, Guangdong Province, 510000

Applicant after: Guangzhou Zhipeng Internet of vehicles Technology Co.,Ltd.

Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.