CN114063956A

CN114063956A - 车机与移动端程序交互方法、车机装置及可读存储介质

Info

Publication number: CN114063956A
Application number: CN202111336275.9A
Authority: CN
Inventors: 陈佳佳; 黄建鹏; 姜洪亮; 崔硕; 刘胜俊; 汪星
Original assignee: SAIC GM Wuling Automobile Co Ltd
Current assignee: SAIC GM Wuling Automobile Co Ltd
Priority date: 2021-11-11
Filing date: 2021-11-11
Publication date: 2022-02-18
Anticipated expiration: 2041-11-11

Abstract

本发明公开了一种车机与移动端程序交互方法、车机装置及可读存储介质，所述车机与移动端程序交互方法包括：使用安卓手机的多屏异显技术将手机微信界面在车机上显示，向用户提供更佳的视觉效果，避免用户分心查看较小屏幕的手机；同时车机系统通过车机互联程序获取手机的无障碍服务功能，向用户语音播报接收的微信消息以及根据用户语音指令控制手机微信语音文字消息的发送、抢红包等操作，无需用户手动操作手机微信分散注意力，从而减少行车安全风险。同时减少了汽车企业的预装车载微信的成本，无需额外占用车机自身内存。

Description

车机与移动端程序交互方法、车机装置及可读存储介质

技术领域

本发明涉及车内通讯领域，尤其涉及一种车机与移动端程序交互方法、车机装置及可读存储介质。

背景技术

目前在生活中手机微信是人们首选的及时通讯软件，因此在驾车过程中手机难免会收到一些重要微信消息，而此时用户使用手机微信方法往往是将手机放置在汽车上的手机架上直接进行触控完成与手机的交互，但这种情况下存在的缺陷主要是：需要用户手工操作，占用用户注意力，严重影响行车安全；手机屏幕过小，操作不方便且视觉效果差，进一步加大手机操作对用户注意力的侵占程度；行车时在手机上操作本身就不方便很容易错失重要信息如微信红包等；若在车机上安装官方软件车载微信功能不够齐全，如车载微信语音控制只能发送语音，不具备发送文字、重要消息提醒以及抢红包等功能，而且还占用车机内存，增加车车企成本的同时，无法完全满足用户的需求。

发明内容

本发明的主要目的在于提供一种车机与移动端程序交互方法，旨在解决当前人们在驾车行驶时使用手机微信影响行车安全的问题。

为实现上述目的，本发明提供一种车机与移动端程序交互方法，所述车机与移动端程序交互方法包括：

通过移动端中的车机互联程序获取所述移动端向车机多屏异显输出的异显界面并在车机上展示所述异显界面；

基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态；

当在所述源应用程序与移动端发生交互后，获取所述异显界面的源应用程序与移动端的交互内容，并将所述交互内容转换为交互提示语音并在车机输出；

基于用户基于所述交互提示语音输入的语音指令对所述源应用程序进行操作，再次执行所述监听所述异显界面的源应用程序与移动端的交互的步骤。

进一步的，所述车机与移动端程序交互方法还包括：

监测本车辆当前车速，若本车当前车速大于预设速度阀值，则中止所述监听所述异显界面的源应用程序与移动端的交互状态的步骤。

进一步的在所述获取移动端向车机多屏异显输出的异显界面的步骤之前，包括：

通过有线或者无线的方式与移动端建立连接。

进一步的，在所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互的步骤之前，包括：

通过所述车机互联程序向所述移动端输出获取移动端无障碍服务权限的提示；

基于用户操作通过所述车机互联程序调取所述移动端的无障碍服务权限。

进一步的，所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态包括：

基于所述移动端的无障碍服务权限监听所述移动端的消息通知栏；

当监听到所述移动端的消息通知栏接收到所述异显界面的源应用程序推送的消息时，即所述源应用程序与所述移动端的交互状态为发生交互。

进一步的，在所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态的步骤之后，还包括：

基于用户语音指令唤醒车机与移动终端交互，并输出需求提示信息。

进一步的，所述获取所述移动端向车机多屏异显输出的异显界面并在车机上展示所述异显界面包括：

获取所述移动端向车机多屏异显输出的异显界面，将所述异显界面根据车机显示器优化后的界面在车机上展示。

进一步的，所述基于用户基于所述交互提示语音输入的语音指令对所述源应用程序进行操作的步骤包括：

接收用户基于所述交互提示语音输入的语音指令，将所述语音指令输入至所述车机互联程序；

通过所述车机互联程序对所述源应用程序的进行虚拟操作，其中所述虚拟操作的内容根据所述语音指令得到。

此外，为实现上述目的，本发明还提供一种车机装置，所述车机装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车机与移动端程序交互程序，所述车机与移动端程序交互程序被所述处理器执行时实现如上述车机与移动端程序交互方法的步骤。

此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有车机与移动端程序交互程序，所述车机与移动端程序交互程序被处理器执行时实现如上述的车机与移动端程序交互方法的步骤。

本发明实施例提出的一种车机与移动端程序交互方法，使用安卓手机的多屏异显技术将手机微信界面在车机上显示，向用户提供更佳的视觉效果，避免用户分心查看较小屏幕的手机；同时车机系统通过车机互联程序获取手机的无障碍服务功能，向用户语音播报接收的微信消息以及根据用户语音指令控制手机微信语音文字消息的发送、抢红包等操作，无需用户手动操作手机微信分散注意力，从而减少行车安全风险。同时减少了汽车企业的预装车载微信的成本，无需额外占用车机自身内存。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的车机装置结构示意图；

图2为本发明一种车机与移动端程序交互方法中的第一实施例的流程示意图；

图3为本发明一种车机与移动端程序交互方法中的第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：通过智能手机的无障碍服务技术以及安卓系统的多屏异显技术，将智能手机微信程序的交互界面以及交互数据通过汽车的车机系统进行显示和语音播报。

由于现有技术将手机放置在汽车操控台上完成与手机微信程序的交互时存在很大行车风险以及使用车载微信功能无法完全满足用户需求的问题。

本发明提供一种解决方案，用户通过车辆自带的车机系统语音控制手机微信语音文字消息的发送、抢红包等操作，无需用户手动操作手机微信分散注意力，从而减少行车安全风险。同时减少了汽车企业的预装车载微信的成本，无需额外占用车机自身内存。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的车机装置结构示意图。

本发明实施例车机装置可以是可以是汽车车机、PC、智能手机、平板电脑、便携计算机等具有显示功能的电子通信设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车机与移动端程序交互程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的车机与移动端程序交互程序，并执行以下操作：

进一步地，处理器1001可以调用存储器1005中存储的车机与移动端程序交互程序，还执行以下操作：

所述车机与移动端程序交互方法还包括：

在所述获取移动端向车机多屏异显输出的异显界面的步骤之前，包括：

通过有线或者无线的方式与移动端建立连接。

在所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互的步骤之前，包括：

所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态包括：

，在所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态的步骤之后，还包括：

所述获取所述移动端向车机多屏异显输出的异显界面并在车机上展示所述异显界面包括：

所述基于用户基于所述交互提示语音输入的语音指令对所述源应用程序进行操作的步骤包括：

参照图2，本发明一种车机与移动端程序交互方法中的第一实施例，所述车机与移动端程序交互方法包括：

步骤S10，通过移动端中的车机互联程序获取所述移动端向车机多屏异显输出的异显界面并在车机上展示所述异显界面；

可以理解的是，本方案中的实施主体为车辆自带的车机系统，在当前车内通讯领域中车机指的是安装在汽车里面的车载信息娱乐产品的简称，车机在功能上能够实现人与车，车与外界(车与车)的信息通讯。而在本方案中，主要是通过车辆自带的车机系统完成与手机中微信程序的交互，使得微信的相关功能可以适配行车场景，其中在本方案中描述的移动端可以为智能手机或者平板电脑等移动通讯设备，源应用程序为微信程序，为方便后续描述具体以手机为例进行说明。

在车机获取移动端多屏异显输出界面并在车机上展示之前，需要通过有线或者无线的方式与移动端进行连接，如无线的方式可以是WiFi或者蓝牙；有线的方式可以是USB数据线，从而实现车机与手机的数据传输。

而通过移动端中的车机互联程序获取所述移动端向车机多屏异显输出的异显界面并在车机上展示所述异显界面步骤中，移动端即手机需要安装车机互联软件，通过所述车机互联程序获取手机多屏异显输出的异显界面的视频流，多屏异显输出界面是利用Android手机的多屏异显技术，如使用Google官方提供的Presentation方法或者RKDualScreen方式，将手机微信程序的界面发送至副屏显示，此时副屏即为车机的显示屏(主屏为手机本身)，车机获取到手机向副屏输出界面的视频流，完成视频流的解码并在自身显示器上显示。

可选的，车机通过移动端中的车机互联程序获取所述移动端当前屏幕的视屏流，将所视频流解码并在自身自身显示器上显示。

可以理解的是，通过让车辆自身的车机系统获取手机多屏异显界面以及手机的无障碍服务，实现用户通过车机与手机微信的交互。

步骤S20，基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态；

在监听之前需要获取到移动端的无障碍服务权限，而所述移动端的无障碍服务权限需要用户手动打开或者授权，因此需要询问用户，通过所述车机互联程序向所述移动端输出获取移动端无障碍服务权限的提示；基于用户操作通过所述车机互联程序调取所述移动端的无障碍服务权限。如：在车机与手机建立好连接后，用户打开车机互联程序时，互联程序发送提示是否允许应用程序获取智能设备的无障碍服务权限？用户根据提示内容确定允许后，车机互联程序即可获取到手机的无障碍服务权限，进而车机可以通过车机互联程序调用手机的无障碍服务权限代替用户对手机微信程序进行相关操作。

进一步的，基于所述移动端的无障碍服务权限监听所述移动端的消息通知栏；当监听到所述移动端的消息通知栏接收到所述异显界面的源应用程序推送的消息时，即所述源应用程序与所述移动端的交互状态为发生交互。

具体的，用户授予车机互联程序无障碍服务权限后，车机系统通过所述车机互联程序(本实施例中的车机互联程序为NotificationListenerService类APP)监听手机消息通知栏(应用程序向手机信息通知栏中推送消息来完成应用程序与手机的交互)，可以理解的是在本方案中源应用程序为微信程序，如当微信程序接收到微信好友发送的消息时会将该消息内容推送至手机的消息通知栏，即微信程序与手机端进行了交互，此外，通过对手机消息通知栏的监听还可以获取到微信程序推送的消息中具体内容。

可以理解的是，在本方案中车机系统无需从后台打通与微信程序的后台数据，而通过监听手机通知栏的方式可确定微信联系人发来微信消息，以及发来微信消息的具体内容。

步骤S30，当在所述源应用程序与移动端发生交互后，获取所述异显界面的源应用程序与移动端的交互内容，并将所述交互内容转换为交互提示语音并在车机输出；

所述源应用程序为微信程序，当微信程序接收到微信好友的消息时会将该微信消息的内容推送至手机消息通知栏，即源应用程序与移动端发生交互，此时车机处于监听通知栏的状态，因此当手机消息通知栏接收到微信消息时，通知栏中微信消息将被车机互联程序获取，车机互联程序将获取到的微信消息发送至车机系统，唤醒车机语音交互功能，车机将语音提示如：王××发来消息说+具体内容，若所述微信消息为文字消息，则将会语音朗读所述文字消息，若为语音消息则所述语音消息通过车机播放。

可以理解的是，车机系统通过获取微信向手机通知栏中的推送的消息，将微信程序接收到的消息自动播放出来，一方面避免了错过重要的微信消息，另一方面避免了用户在收到微信消息时需要手动操作点开微信再查看收到的消息内容，降低了用户的行车风险。

步骤S40，基于用户基于所述交互提示语音输入的语音指令对所述源应用程序进行操作，再次执行所述监听所述异显界面的源应用程序与移动端的交互的步骤。

进一步的，接收用户基于所述交互提示语音输入的语音指令，将所述语音指令输入至所述车机互联程序；通过所述车机互联程序对所述源应用程序的进行虚拟操作，其中所述虚拟操作的内容根据所述语音指令得到。具体的，当车机将消息栏中的微信消息内容语音播报之后，用户可基于播报的内容进行选择性的回复，如播报的内容为：微信消息王××说......，用户可选择说：回复微信给王××，车机系统将采集到的语音指令发送至手机的车机互联程序，车机互联程序对该指令进行分析识别，由于车机互联程序获取到了手机的无障碍服务权限，车机互联程序将根据从该指令分析识别出来的动作完成对手机的虚拟操作，如根据上述回复微信给王××车机互联程序可虚拟点进如与王××的聊天界面，此时，车机再次询问发送内容是什么？用户可以选择发送语音+回复内容，车机将录取回复内容语音信息并将该语音信息通过微信发送至王××；也可以选择发送文字+回复内容，车机将录取的回复内容转化为文字，并将转化出的文字内容复述播报，当用户确认复述的内容无误后，将文字回复内容发送至王××。从而完成在行车过程中用户通过语音操作手机微信程序发送文字或者语音消息至对应的微信好友。

在本实施例中，通过使用手机的无障碍服务技术和安卓手机多屏异显技术实现将微信程序界面投射至车机系统显示屏幕上以及实现用户通过语音完成与手机微信程序的交互操作，避免用户在行车时需要分散精力操作手机使用，减少了行车风险。

进一步的，参照图3，本发明一种车机与移动端程序交互方法中的第二实施例，所述车机与移动端程序交互方法包括：

步骤S100，通过移动端中的车机互联程序获取所述移动端向车机多屏异显输出的异显界面并在车机上展示所述异显界面；

在将移动端多屏异显输出界面并在车机上展示之前，需要通过有线或者无线的方式与移动端建立连接(如USB数据线、蓝牙和WIFI无线网络等)。当建立车机与手机的数据传输渠道后，进一步的，通过移动端中的车机互联程序获取所述移动端向车机多屏异显输出的异显界面，将所述异显界面根据车机显示器优化后的界面在车机上展示。可以理解的是，手机屏幕的显示尺寸与车机系统的显示器尺寸是不一致，若直接将手机的微信界面投射至车机系统显示器不协调，因此车机系统在显示微信界面前会将微信界面进行优化，如：等比例放大或者缩小微信界面或者改变微信界面处于车机显示器的位置，以适配车机显示器的尺寸。

车机的显示器尺寸远大于手机屏幕，拥有较好的视觉效果，因此在有必要查看微信消息时，查看车机显示器占用用户的注意力也将远小于查看手机屏幕时占用的注意力。

步骤S200，基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态；

在用户授予车机互联程序无障碍服务权限后，对车机系统通过车机互联程序对手机消息通知栏进行监听，当微信程序向手机推送联系人发送的消息时，即认为微信程序与手机端进行了交互，可以理解的是，如果发生了交互车机系统将进一步通过车机互联程序在手机消息通知栏中获取到微信程序推送的消息内容，并将消息内容语音播报，从而主动与用户开展交互。

同时，在车辆在行车过程中，车机系统还将监测本车辆当前车速，监测本车辆当前车速，若本车当前车速大于预设速度阀值，则中止所述监听所述异显界面的源应用程序与移动端的交互状态的步骤。如：当当前车速大于80km/小时时(具体的行车速度可以根据实际情况进行设置，预设速度阀值越小，安全性越大，以保证行车安全为主)，车机系统将会停止车机互联软件对手机消息通知栏的监听，以免在高速行驶时，车机的语音播报分散用户的注意力，增加行车安全风险。

步骤S300，基于用户语音指令唤醒车机与移动终端交互，并输出需求提示信息。

车机系统除通过车机互联程序监听到微信程序在手机消息栏推送消息后主动与用户交互外，在微信程序未向手机消息栏推送情况下，用户也可以发出相关语音指令，车机系统再基于用户语音指令唤醒车机与移动终端交互，并输出需求提示信息。首先车机系统将采集到的语音指令发送至手机的车机互联程序，车机互联程序对该指令进行分析识别，由于车机互联程序获取到了手机的无障碍服务权限，车机互联程序将根据从该指令分析识别出来的动作完成对手机的虚拟操作。如用户发出指令：发送微信消息给王××，车机将该指令的语音信息发送至车机互联软件，车机互联软件对语音消息进行分析，提取到关键词发微信消息和微信好友名称王××，而车机互联程序使用手机的无障碍服务权限将微信打开并搜该微信好友名称，同时将搜索结果编号语音播报，其中播报内容包括所有为该名称的微信联系人以及包括该名称联系人群组，完成后向用户询问是第几个，用户确认编号后，再询问发送内容，用户可根据实际需求选择发送文字还是语音消息。同样，当在微信程序频繁推送消息时，用户可发出指令：屏蔽×××，同样的如上述例子，车机将与该名称相关的联系人以及群组列出，供用户进行选择。此外，在微信程序推送微信红包相关的消息时，车机系统将发送红包的联系人以及红包发送的群组(若存在群组)语音播报，如：王××在工作群中发出红包是否抢红包？用户可发出抢红包的指令，车机系统将该指令发送至车机互联程序，通过手机无障碍服务进行虚拟点击操作完成手机抢红包。

在本实施例中，车机系统除在微信程序推送消息时可完用户与手机微信程序的交互之外，用户也可以在没有车机语音提示下发出语音指令主动通过车机系统完成对手机微信程序的操作，满足用户的多样化需求，同时车系统还将实时检测车辆的行车速度，当车速超过预设车速阀值时，则中断对手机消息栏的监听，避免在高速行驶时语音播报微信消息，影响用户的注意力，造成行车安全隐患

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种车机与移动端程序交互方法，其特征在于，所述车机与移动端程序交互方法包括：

2.如权利要求1所述的车机与移动端程序交互方法，其特征在于，所述车机与移动端程序交互方法还包括：

3.如权利要求2所述的车机与移动端程序交互方法，其特征在于，在所述获取移动端向车机多屏异显输出的异显界面的步骤之前，包括：

通过有线或者无线的方式与移动端建立连接。

4.如权利要求3所述的车机与移动端程序交互方法，其特征在于，在所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互的步骤之前，包括：

5.如权利要求4所述的车机与移动端程序交互方法，其特征在于，所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态包括：

6.如权利要求5所述的车机与移动端程序交互方法，其特征在于，在所述基于所述移动端的无障碍服务监听所述异显界面的源应用程序与移动端的交互状态的步骤之后，还包括：

7.如权利要求6所述的车机与移动端程序交互方法，其特征在于，所述获取所述移动端向车机多屏异显输出的异显界面并在车机上展示所述异显界面包括：

8.如权利要求7所述的车机与移动端程序交互方法，其特征在于，所述基于用户基于所述交互提示语音输入的语音指令对所述源应用程序进行操作的步骤包括：

9.一种车机装置，其特征在于，所述车机装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车机与移动端程序交互程序，所述车机与移动端程序交互程序被所述处理器执行时实现如权利要求1至8中任一项所述车机与移动端程序交互方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有车机与移动端程序交互程序，所述车机与移动端程序交互程序被处理器执行时实现如权利要求1至8中任一项所述的车机与移动端程序交互方法的步骤。