CN112187959A - 车载电脑的远程控制方法、系统、电子设备与存储介质 - Google Patents

车载电脑的远程控制方法、系统、电子设备与存储介质 Download PDF

Info

Publication number
CN112187959A
CN112187959A CN202011352771.9A CN202011352771A CN112187959A CN 112187959 A CN112187959 A CN 112187959A CN 202011352771 A CN202011352771 A CN 202011352771A CN 112187959 A CN112187959 A CN 112187959A
Authority
CN
China
Prior art keywords
vehicle
remote control
information
mounted computer
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011352771.9A
Other languages
English (en)
Other versions
CN112187959B (zh
Inventor
董宏宇
朱磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mushroom Car Union Information Technology Co Ltd
Original Assignee
Mushroom Car Union Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mushroom Car Union Information Technology Co Ltd filed Critical Mushroom Car Union Information Technology Co Ltd
Priority to CN202011352771.9A priority Critical patent/CN112187959B/zh
Publication of CN112187959A publication Critical patent/CN112187959A/zh
Application granted granted Critical
Publication of CN112187959B publication Critical patent/CN112187959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种车载电脑的远程控制方法、系统、电子设备与存储介质。方法包括：根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；基于通信链路接收云端服务器下发的实时消息传输协议的访问地址信息；根据屏幕的刷新频率获取屏幕中画面的视频信息，并根据访问地址信息推送至云端服务器；通过音频录制应用程序接口获取与视频信息对应的音频信息，并根据访问地址信息推送至云端服务器；根据视频信息和音频信息在远程控制设备上同步远程控制设备屏幕中画面的播放信息；接收远程控制设备根据播放信息上传至云端服务器的操控指令；根据操控指令对所述屏幕执行操控指令对应的操控动作。

Description

车载电脑的远程控制方法、系统、电子设备与存储介质
技术领域
本发明涉及计算机控制技术领域，尤其涉及一种车载电脑的远程控制方法、系统、电子设备与存储介质。
背景技术
车载电脑是专门针对汽车特殊运行环境及电器电路特点开发的具有抗高温、抗尘、抗震功能并能与汽车电子电路相融合的专用汽车信息化产品，它是一种高度集成化的车用多媒体娱乐信息中心。
车载电脑能实现车内上网、影音娱乐、卫星定位、语音导航、游戏、电话等功能，也能实现可视倒车，故障检测等特定功能。
车载电脑一般情况下由车内的驾驶人员或乘客操作，但在某些应用场景下，需要由其他人员做远程控制。如车载电脑发生故障，驾驶人员或乘客无法解决，此时需要由技术人员进行远程控制，以解决故障。
现有技术中，缺少对车载电脑进行远程控制的方法。
发明内容
针对现有技术存在的问题，本发明实施例提供一种车载电脑的远程控制方法、系统、电子设备与存储介质。
本发明第一方面实施例提供一种车载电脑的远程控制方法，包括：
根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器；
通过音频录制应用程序接口获取与所述视频信息对应的音频信息，并根据所述访问地址信息推送至所述云端服务器；
根据所述视频信息和所述音频信息在远程控制设备上同步远程控制设备屏幕中画面的播放信息；
接收远程控制设备根据所述播放信息上传至所述云端服务器的操控指令；
根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作。
上述技术方案中，所述根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作包括：
解析操控指令，得到触摸行为在所述屏幕上的触摸位置信息以及触摸的状态信息；其中，所述触摸的状态信息包括按下状态、按着滑动的状态以及抬起的状态；
根据所述触摸位置信息确定第一触摸操作的位置，根据所述触摸的状态信息确定第一触摸操作的类型；其中，所述第一触摸操作是在所述屏幕上所执行的操作；
根据所述第一触摸操作的位置与类型，调用Instrumentation中的sendPointerSync函数，执行第一触摸操作。
上述技术方案中，所述根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器，包括：
从MediaCodec得到所述屏幕中画面的视频信息；
将所述视频信息封包成RTMP格式，然后根据所述访问地址信息推送到所述云端服务器。
本发明第二方面实施例提供一种车载电脑的远程控制方法，包括：
根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据所述访问地址信息接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息；
根据所述视频信息与音频信息，更新远程控制设备屏幕中画面的播放信息；
根据用户的操作生成操控指令，并将所述操控指令上传至云端服务器。
上述技术方案中，所述根据用户的操作生成操控指令，包括：
获取所述车载电脑的屏幕参数，根据所述屏幕参数得到显示容器；
为所述显示容器建立坐标系，采集第二触摸操作在显示容器的坐标系中的发生位置，得到触摸行为在车载电脑屏幕上的触摸位置信息；其中，所述第二触摸操作是用户在远程控制设备的屏幕上所完成的触摸操作；
根据第二触摸操作获取触摸状态信息；
拼接所述触摸位置信息与所述触摸状态信息；
根据拼接结果生成操控指令。
上述技术方案中，所述将所述操控指令上传至云端服务器，包括：
将操控指令封装为MotionEvent事件；
采用Instrumentation中的sendPointerSync，将所述MotionEvent事件通过SocketUDP上传至云端服务器。
本发明第三方面实施例提供一种车载电脑的远程控制方法，包括：
与车载电脑、远程控制设备分别建立基于实时消息传输协议的通信链路；
基于所述通信链路分别向车载电脑、远程控制设备发送所述实时消息传输协议的访问地址信息；
根据所述访问地址信息，接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息，并传输给远程控制设备；
接收操控指令，并将所述操控指令传输给车载电脑。
本发明第四方面实施例提供一种车载电脑的远程控制系统，包括：车载电脑、云端服务器和远程控制设备；所述车载电脑、所述远程控制设备分别与所述云端服务器通信连接；
所述车载电脑，用于实现如本发明第一方面实施例所述车载电脑的远程控制方法的步骤；
所述远程控制设备，用于实现如本发明第二方面实施例所述车载电脑的远程控制方法的步骤；
所述云端服务器，用于实现如本发明第三方面实施例所述车载电脑的远程控制方法的步骤。
本发明第五方面实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述车载电脑的远程控制方法的步骤，和/或实现如本发明第二方面实施例所述车载电脑的远程控制方法的步骤，和/或实现如本发明第三方面实施例所述车载电脑的远程控制方法的步骤。
本发明第六方面实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述车载电脑的远程控制方法的步骤，或实现如本发明第二方面实施例所述车载电脑的远程控制方法的步骤，或实现如本发明第三方面实施例所述车载电脑的远程控制方法的步骤。
本发明实施例提供的车载电脑的远程控制方法、系统、电子设备与存储介质通过基于实时消息传输协议的通信链路将车载电脑的屏幕信息传输到远程控制设备，由远程控制设备根据屏幕信息生成操控指令，并回传到车载电脑，车载电脑解析并执行操控指令。由于车载电脑采用基于实时消息传输协议的通信链路向云端服务器推送数据，因此云端服务器所推送的数据可以被传输给多个远程控制设备，对车载电脑的操控指令也采用上传云服务器再下发的方式传输，从而实现远程控制设备对车载电脑的查看与控制，进一步的，还实现了多个远程控制设备对同一个车载电脑的查看与控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车载电脑的远程控制方法的流程图；
图2为本发明另一实施例提供的车载电脑的远程控制方法的流程图；
图3为本发明又一实施例提供的车载电脑的远程控制方法的流程图；
图4为本发明实施例提供的车载电脑的示意图；
图5为本发明实施例提供的远程控制设备的示意图；
图6为本发明实施例提供的云端服务器的示意图；
图7为本发明实施例所涉及的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的车载电脑的远程控制方法的流程图，如图1所示，本发明实施例提供的车载电脑的远程控制方法应用于车载电脑，该方法包括：
步骤101、根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路。
车载电脑向云端服务器发起连接请求，所述连接请求中包括车载电脑的唯一身份标识信息。例如，车载电脑的唯一身份标识信息可以是MAC地址信息。所述连接请求还可包括车载电脑屏幕的分辨率、系统参数以及当前状态信息。其中，系统参数可以是车载电脑所采用的操作系统的版本信息，当前状态信息是指车载电脑是否已经在线运行。
云端服务器在接收到连接请求后，建立基于实时消息传输协议（Real TimeMessaging Protocol，RTMP）的通信链路。基于该通信链路，车载电脑与云端服务器之间能够传输音频与视频数据。
步骤102、基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息。
步骤103、根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器。
步骤104、通过音频录制应用程序接口获取与所述视频信息对应的音频信息，并根据所述访问地址信息推送至所述云端服务器。
车载电脑运行时，车载电脑屏幕上会实时显示相关的信息。这些信息包括：用于显示屏幕画面的视频信息与用于播放屏幕声音的音频信息。
根据屏幕的刷新频率，可获取屏幕中画面的视频信息。以安卓操作系统为例，在屏幕刷新时会将屏幕当前的视频信息同步到MediaCodec中的Surface，因此要获取车载电脑的屏幕画面的视频信息，可以从MediaCodec得到屏幕当前所展示的视频信息。这些视频信息通常是以H.264的编码格式编码的，将这些视频信息封包成RTMP格式发送到云端服务器。
通过音频录制应用程序接口，可获取与视频信息对应的音频信息。仍以安卓操作系统为例，通过AudioRecord进行音频采集，然后不断地从AudioRecord获取音频缓冲数据，得到与视频信息对应的音频信息。所获取的音频数据的格式一般为AAC编码格式。将音频数据封包成RTMP格式的发送到云端服务器。
由于车载电脑工作时，其屏幕信息会实时发生变化，因此，获取车载电脑屏幕中画面的视频信息以及与视频信息对应的音频信息，并将视频信息与音频信息传输到云端服务器的过程需要持续进行。
步骤105、根据所述视频信息和所述音频信息在远程控制设备上同步远程控制设备屏幕中画面的播放信息。
步骤106、接收远程控制设备根据所述播放信息上传至所述云端服务器的操控指令。
步骤107、根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作。
操控指令是由远程控制设备根据车载电脑的屏幕信息所生成的，操控指令由远程控制设备发出，通过云端服务器传输到车载电脑。在本发明实施例中，车载电脑的屏幕为触摸式屏幕，相应的，所述操控指令用于描述对触摸式屏幕的触摸行为。
根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作，具体包括：
接收以UDP（User Datagram Protocol，用户数据报协议）格式的操控指令，对所述操控指令进行解析，得到触摸行为在车载电脑屏幕上的触摸位置以及触摸的状态信息。所述触摸位置可以用x、y坐标值表示；所述触摸的状态信息用于描述具触摸行为的类型，包括按下状态、按着滑动的状态以及抬起的状态。根据所述触摸位置信息确定第一触摸操作的位置，根据所述触摸的状态信息确定第一触摸操作的类型；其中，所述第一触摸操作是在车载电脑的屏幕上所执行的操作。根据所述第一触摸操作的位置与类型，调用Instrumentation中的sendPointerSync函数，执行第一触摸操作，包括点击、滑动与抬起的操作。结合安卓操作系统的现有功能，可实现对车载电脑的控制。
在本发明实施例中，所述操控指令为MotionEvent事件，即触摸事件。
本发明实施例提供的车载电脑的远程控制方法通过基于实时消息传输协议的通信链路将车载电脑的屏幕信息传输到远程控制设备，由远程控制设备根据屏幕信息生成操控指令，并回传到车载电脑，车载电脑解析并执行操控指令。由于车载电脑采用基于实时消息传输协议的通信链路向云端服务器推送数据，因此云端服务器所推送的数据可以被传输给多个远程控制设备，对车载电脑的操控指令也采用上传云端服务器再下发的方式传输，从而实现远程控制设备对车载电脑的查看与控制，进一步的，还实现了多个远程控制设备对同一个车载电脑的查看与控制。
基于上述任一实施例，图2为本发明另一实施例提供的车载电脑的远程控制方法的流程图，如图2所示，本发明另一实施例提供的车载电脑的远程控制方法应用于远程控制设备，该方法包括：
步骤201、根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路。
步骤202、基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息。
在本发明实施例中，远程控制设备可以是个人电脑、移动智能终端等智能设备。在本发明实施例中，远程控制设备连接云端服务器，获取当前在线的可被操控的设备信息，如获知车载电脑可被操控。然后远程控制设备确定所要操作的设备，如在多个可被操控的设备中选取车载电脑作为被操控的设备。云端服务器先向被操控设备发送要被操控的通知授权，待被操控设备同意后，远程控制设备可以获取被控制设备的基于实时消息传输协议的访问地址信息。
步骤203、根据所述访问地址信息接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息。
步骤204、根据所述视频信息与音频信息，更新远程控制设备屏幕中画面的播放信息。
步骤205、根据用户的操作生成操控指令，并将所述操控指令上传至云端服务器。
用户在远程控制设备的屏幕上看到车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息后，对远程控制设备进行操作，生成相应的操控指令。
在本发明实施例中，所述远程控制设备的屏幕为触摸式屏幕，则对远程控制设备进行操作可以是在远程控制设备的屏幕上的触摸行为。以触摸行为为例，当用户在触摸式屏幕上的某一个位置发生触摸行为后，远程控制设备的触摸式屏幕能够得到触摸行为的发生位置信息，即在远程控制设备的触摸式屏幕上的x、y坐标。但由于远程控制设备的触摸式屏幕与车载电脑的屏幕在尺寸上未必一致，因此并不能根据远程控制设备的触摸式屏幕所采集到的触摸行为的发生位置信息直接生成操控指令。
操控指令的生成过程包括：首先，获取被操控设备（车载电脑）的屏幕参数，包括屏幕的长、宽以及屏幕密度；然后根据被操控设备的屏幕参数初始化一个显示容器，为所述显示容器建立坐标系，如在该显示容器中以左上角为(0,0)坐标点，采集第二触摸操作在显示容器的坐标系中的发生位置，得到可应用于被操控设备的位置信息，其中，所述第二触摸操作是用户在远程控制设备的屏幕上所完成的触摸操作；然后，拼接所述触摸位置信息与所述触摸状态信息；接着，拼接位置信息与触摸状态信息，如拼接后的结果为“触摸状态#x坐标,y坐标”，根据拼接结果生成操控指令；最后，根据拼接结果生成操控指令。
在生成操控指令后，将所述操控指令发送给云端服务器。例如，将操控指令封装为MotionEvent事件，使用Instrumentation中的sendPointerSync将所述MotionEvent事件通过Socket UDP下发给被操控的设备。
在本发明实施例中以触摸行为为例，对操控指令的生成过程做了说明。在本发明的其他实施例中，并不局限于触摸行为，还可以是鼠标点击行为等其他类型的用户行为。诸如鼠标点击行为的用户行为可通过操作系统内置的触摸指令算法转换为触摸行为。然后根据之前的描述生成操控指令并发送。
本发明实施例提供的车载电脑的远程控制方法将车载电脑的屏幕信息传输到远程控制设备，由远程控制设备根据屏幕信息生成操控指令，并回传到车载电脑，车载电脑解析并执行操控指令。本发明实施例提供的车载电脑的远程控制方法能够实现远程控制设备对车载电脑的查看与控制，进一步的，还实现了多个远程控制设备对同一个车载电脑的查看与控制。
基于上述任一实施例，图3为本发明又一实施例提供的车载电脑的远程控制方法的流程图，如图3所示，本发明又一实施例提供的车载电脑的远程控制方法应用于云端服务器，该方法包括：
步骤301、与车载电脑、远程控制设备分别建立基于实时消息传输协议的通信链路。
步骤302、基于所述通信链路分别向车载电脑、远程控制设备发送所述实时消息传输协议的访问地址信息。
云端服务器根据车载电脑的连接请求与车载电脑建立通信链路，并记录所述车载电脑的信息。其中，所述连接请求包括车载电脑的身份标识信息、分辨率、系统参数以及当前状态信息（如在线运行）。
云端服务器接收到远程控制设备所发起的申请后，将当前在线的可被操控设备（如车载电脑）的信息传输给远程控制设备；待远程控制设备确定所要操控的设备后，向被操控设备发送要被操控的通知授权，待被操控设备同意后，云端服务器将被控制设备的访问地址远程传输给远程控制设备，同时还会将被控制设备的访问地址返回给被控制设备。
步骤303、根据所述访问地址信息，接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息，并传输给远程控制设备。
云端服务器所接收的车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息为RTMP直播推流数据，云端服务器将所接收到的RTMP直播推流数据传输到远程控制设备。
步骤304、接收操控指令，并将所述操控指令传输给车载电脑。
本发明实施例提供的车载电脑的远程控制方法将车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息传输到远程控制设备，由远程控制设备根据所述视频信息与音频信息生成操控指令，并回传到车载电脑，车载电脑解析并执行操控指令。
本发明实施例提供的车载电脑的远程控制方法能够实现远程控制设备对车载电脑的查看与控制，进一步的，还实现了多个远程控制设备对同一个车载电脑的查看与控制。
基于上述任一实施例，本发明再一实施例还提供了一种车载电脑的远程控制系统，包括：车载电脑、云端服务器和远程控制设备；所述车载电脑、所述远程控制设备分别与所述云端服务器通信连接。
图4为本发明实施例提供的车载电脑的示意图，如图4所示，本发明实施例提供的车载电脑包括：
通信链路建立模块401，用于根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
访问地址信息接收模块402，用于基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
视频信息获取模块403，用于根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器；
音频信息获取模块404，用于通过音频录制应用程序接口获取与所述视频信息对应的音频信息，并根据所述访问地址信息推送至所述云端服务器；
播放信息同步模块405，用于根据所述视频信息和所述音频信息在远程控制设备上同步远程控制设备屏幕中画面的播放信息；
操控指令接收模块406，用于接收远程控制设备根据所述播放信息上传至所述云端服务器的操控指令；
操控指令执行模块407，用于根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作。
本发明实施例提供的车载电脑通过基于实时消息传输协议的通信链路将车载电脑的屏幕信息传输到远程控制设备，由远程控制设备根据屏幕信息生成操控指令，并回传到车载电脑，车载电脑解析并执行操控指令。由于车载电脑采用基于实时消息传输协议的通信链路向云端服务器推送数据，因此云端服务器所推送的数据可以被传输给多个远程控制设备，对车载电脑的操控指令也采用上传云端服务器再下发的方式传输，从而实现远程控制设备对车载电脑的查看与控制，进一步的，还实现了多个远程控制设备对同一个车载电脑的查看与控制。
图5为本发明实施例提供的远程控制设备的示意图，如图5所示，本发明实施例提供的远程控制设备包括：
通信链路建立模块501，用于根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
访问地址信息接收模块502，用于基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
视频信息及音频信息接收模块503，用于根据所述访问地址信息接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息；
播放信息更新模块504，用于根据所述视频信息与音频信息，更新远程控制设备屏幕中画面的播放信息；
操控指令生成模块505，用于根据用户的操作生成操控指令，并将所述操控指令上传至云端服务器。
本发明实施例提供的远程控制设备接收车载电脑的屏幕信息后，根据屏幕信息生成操控指令，并回传到车载电脑，车载电脑解析并执行操控指令。本发明实施例提供的车载电脑的远程控制系统能够实现远程控制设备对车载电脑的查看与控制，进一步的，还实现了多个远程控制设备对同一个车载电脑的查看与控制。
图6为本发明实施例提供的云端服务器的示意图，如图6所示，本发明实施例提供的云端服务器包括：
通信链路建立模块601，用于与车载电脑、远程控制设备分别建立基于实时消息传输协议的通信链路；
访问地址信息发送模块602，用于基于所述通信链路分别向车载电脑、远程控制设备发送所述实时消息传输协议的访问地址信息；
视频信息与音频信息接收转发模块603，用于根据所述访问地址信息，接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息，并传输给远程控制设备；
操控指令接收转发模块604，用于接收操控指令，并将所述操控指令传输给车载电脑。
本发明实施例提供的车载电脑的远程控制系统能够实现远程控制设备对车载电脑的查看与控制，进一步的，还实现了多个远程控制设备对同一个车载电脑的查看与控制。
图7为本发明实施例所涉及的电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行如下方法：
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器；
通过音频录制应用程序接口获取与所述视频信息对应的音频信息，并根据所述访问地址信息推送至所述云端服务器；
根据所述视频信息和所述音频信息在远程控制设备上同步远程控制设备屏幕中画面的播放信息；
接收远程控制设备根据所述播放信息上传至所述云端服务器的操控指令；
根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作。
或执行如下方法：
根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据所述访问地址信息接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息；
根据所述视频信息与音频信息，更新远程控制设备屏幕中画面的播放信息；
根据用户的操作生成操控指令，并将所述操控指令上传至云端服务器。
或执行如下方法：
与车载电脑、远程控制设备分别建立基于实时消息传输协议的通信链路；
基于所述通信链路分别向车载电脑、远程控制设备发送所述实时消息传输协议的访问地址信息；
根据所述访问地址信息，接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息，并传输给远程控制设备；
接收操控指令，并将所述操控指令传输给车载电脑。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器；
通过音频录制应用程序接口获取与所述视频信息对应的音频信息，并根据所述访问地址信息推送至所述云端服务器；
根据所述视频信息和所述音频信息在远程控制设备上同步远程控制设备屏幕中画面的播放信息；
接收远程控制设备根据所述播放信息上传至所述云端服务器的操控指令；
根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作。
或例如包括：
根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据所述访问地址信息接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息；
根据所述视频信息与音频信息，更新远程控制设备屏幕中画面的播放信息；
根据用户的操作生成操控指令，并将所述操控指令上传至云端服务器。
或例如包括：
与车载电脑、远程控制设备分别建立基于实时消息传输协议的通信链路；
基于所述通信链路分别向车载电脑、远程控制设备发送所述实时消息传输协议的访问地址信息；
根据所述访问地址信息，接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息，并传输给远程控制设备；
接收操控指令，并将所述操控指令传输给车载电脑。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车载电脑的远程控制方法，其特征在于，包括：
根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器；
通过音频录制应用程序接口获取与所述视频信息对应的音频信息，并根据所述访问地址信息推送至所述云端服务器；
根据所述视频信息和所述音频信息在远程控制设备上同步远程控制设备屏幕中画面的播放信息；
接收远程控制设备根据所述播放信息上传至所述云端服务器的操控指令；
根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作。
2.根据权利要求1所述的车载电脑的远程控制方法，其特征在于，所述根据所述操控指令对所述屏幕执行所述操控指令对应的操控动作包括：
解析操控指令，得到触摸行为在所述屏幕上的触摸位置信息以及触摸的状态信息；其中，所述触摸的状态信息包括按下状态、按着滑动的状态以及抬起的状态；
根据所述触摸位置信息确定第一触摸操作的位置，根据所述触摸的状态信息确定第一触摸操作的类型；其中，所述第一触摸操作是在所述屏幕上所执行的操作；
根据所述第一触摸操作的位置与类型，调用Instrumentation中的sendPointerSync函数，执行第一触摸操作。
3.根据权利要求1所述的车载电脑的远程控制方法，其特征在于，所述根据屏幕的刷新频率获取所述屏幕中画面的视频信息，并根据所述访问地址信息推送至所述云端服务器，包括：
从MediaCodec得到所述屏幕中画面的视频信息；
将所述视频信息封包成RTMP格式，然后根据所述访问地址信息推送到所述云端服务器。
4.一种车载电脑的远程控制方法，其特征在于，包括：
根据唯一身份标识信息与云端服务器建立基于实时消息传输协议的通信链路；
基于所述通信链路接收所述云端服务器下发的所述实时消息传输协议的访问地址信息；
根据所述访问地址信息接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息；
根据所述视频信息与音频信息，更新远程控制设备屏幕中画面的播放信息；
根据用户的操作生成操控指令，并将所述操控指令上传至云端服务器。
5.根据权利要求4所述的车载电脑的远程控制方法，其特征在于，所述根据用户的操作生成操控指令，包括：
获取所述车载电脑的屏幕参数，根据所述屏幕参数得到显示容器；
为所述显示容器建立坐标系，采集第二触摸操作在显示容器的坐标系中的发生位置，得到触摸行为在车载电脑屏幕上的触摸位置信息；其中，所述第二触摸操作是用户在远程控制设备的屏幕上所完成的触摸操作；
根据第二触摸操作获取触摸状态信息；
拼接所述触摸位置信息与所述触摸状态信息；
根据拼接结果生成操控指令。
6.根据权利要求4所述的车载电脑的远程控制方法，其特征在于，所述将所述操控指令上传至云端服务器，包括：
将操控指令封装为MotionEvent事件；
采用Instrumentation中的sendPointerSync，将所述MotionEvent事件通过SocketUDP上传至云端服务器。
7.一种车载电脑的远程控制方法，其特征在于，包括：
与车载电脑、远程控制设备分别建立基于实时消息传输协议的通信链路；
基于所述通信链路分别向车载电脑、远程控制设备发送所述实时消息传输协议的访问地址信息；
根据所述访问地址信息，接收车载电脑屏幕的视频信息以及与所述视频信息对应的音频信息，并传输给远程控制设备；
接收操控指令，并将所述操控指令传输给车载电脑。
8.一种车载电脑的远程控制系统，其特征在于，包括：车载电脑、云端服务器和远程控制设备；所述车载电脑、所述远程控制设备分别与所述云端服务器通信连接；
所述车载电脑，用于实现如权利要求1至3任一项所述车载电脑的远程控制方法的步骤；
所述远程控制设备，用于实现如权利要求4至6任一项所述车载电脑的远程控制方法的步骤；
所述云端服务器，用于实现如权利要求7所述车载电脑的远程控制方法的步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述车载电脑的远程控制方法的步骤，或实现如权利要求4至6任一项所述车载电脑的远程控制方法的步骤，或实现如权利要求7所述车载电脑的远程控制方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述车载电脑的远程控制方法的步骤，或实现如权利要求4至6任一项所述车载电脑的远程控制方法的步骤，或实现如权利要求7所述车载电脑的远程控制方法的步骤。
CN202011352771.9A 2020-11-27 2020-11-27 车载电脑的远程控制方法、系统、电子设备与存储介质 Active CN112187959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011352771.9A CN112187959B (zh) 2020-11-27 2020-11-27 车载电脑的远程控制方法、系统、电子设备与存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011352771.9A CN112187959B (zh) 2020-11-27 2020-11-27 车载电脑的远程控制方法、系统、电子设备与存储介质

Publications (2)

Publication Number Publication Date
CN112187959A true CN112187959A (zh) 2021-01-05
CN112187959B CN112187959B (zh) 2021-06-22

Family

ID=73918126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011352771.9A Active CN112187959B (zh) 2020-11-27 2020-11-27 车载电脑的远程控制方法、系统、电子设备与存储介质

Country Status (1)

Country Link
CN (1) CN112187959B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815863A (zh) * 2020-04-17 2020-10-23 北京嘀嘀无限科技发展有限公司 车辆操控方法、存储介质和电子设备
CN113189920A (zh) * 2021-05-28 2021-07-30 重庆长安汽车股份有限公司 一种基于Android的车载娱乐信息系统远程控制方法
CN113608812A (zh) * 2021-08-10 2021-11-05 湖北亿咖通科技有限公司 远程控制方法、装置、系统及存储介质
CN114222190A (zh) * 2021-12-14 2022-03-22 广州华多网络科技有限公司 远程控制处理、响应方法及其装置、设备、介质、产品
CN114356161A (zh) * 2021-12-31 2022-04-15 阿波罗智联(北京)科技有限公司 页面显示方法、装置及电子设备
CN116156235A (zh) * 2022-12-22 2023-05-23 深圳市蓝鲸智联科技有限公司 一种车载娱乐信息系统的控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110122244A1 (en) * 2010-09-25 2011-05-26 Kyu Hwang Cho Real-Time Remote-Viewing Digital Compass
US20130106750A1 (en) * 2011-10-28 2013-05-02 Fuminobu Kurosawa Connecting Touch Screen Phones in a Vehicle
CN105549564A (zh) * 2015-12-31 2016-05-04 天津森宇科技发展有限公司 一种基于集成云的远程控制系统
US20160203788A1 (en) * 2015-01-13 2016-07-14 Electronics And Telecommunications Research Instit System and method for multi-computer control
CN106254462A (zh) * 2016-08-05 2016-12-21 北京奇虎科技有限公司 一种实现移动终端的远程协助的方法、服务器和系统
CN108833963A (zh) * 2018-05-31 2018-11-16 腾讯科技（上海）有限公司 显示界面画面的方法、计算机设备、可读存储介质和系统
CN110087124A (zh) * 2019-06-05 2019-08-02 聚好看科技股份有限公司 智能电视的远程控制方法、终端设备和智能电视
CN110138831A (zh) * 2019-03-29 2019-08-16 亮风台（上海）信息科技有限公司 一种进行远程协助的方法与设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110122244A1 (en) * 2010-09-25 2011-05-26 Kyu Hwang Cho Real-Time Remote-Viewing Digital Compass
US20130106750A1 (en) * 2011-10-28 2013-05-02 Fuminobu Kurosawa Connecting Touch Screen Phones in a Vehicle
US20160203788A1 (en) * 2015-01-13 2016-07-14 Electronics And Telecommunications Research Instit System and method for multi-computer control
CN105549564A (zh) * 2015-12-31 2016-05-04 天津森宇科技发展有限公司 一种基于集成云的远程控制系统
CN106254462A (zh) * 2016-08-05 2016-12-21 北京奇虎科技有限公司 一种实现移动终端的远程协助的方法、服务器和系统
CN108833963A (zh) * 2018-05-31 2018-11-16 腾讯科技（上海）有限公司 显示界面画面的方法、计算机设备、可读存储介质和系统
CN110138831A (zh) * 2019-03-29 2019-08-16 亮风台（上海）信息科技有限公司 一种进行远程协助的方法与设备
CN110087124A (zh) * 2019-06-05 2019-08-02 聚好看科技股份有限公司 智能电视的远程控制方法、终端设备和智能电视

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815863A (zh) * 2020-04-17 2020-10-23 北京嘀嘀无限科技发展有限公司 车辆操控方法、存储介质和电子设备
CN113189920A (zh) * 2021-05-28 2021-07-30 重庆长安汽车股份有限公司 一种基于Android的车载娱乐信息系统远程控制方法
CN113608812A (zh) * 2021-08-10 2021-11-05 湖北亿咖通科技有限公司 远程控制方法、装置、系统及存储介质
CN114222190A (zh) * 2021-12-14 2022-03-22 广州华多网络科技有限公司 远程控制处理、响应方法及其装置、设备、介质、产品
CN114222190B (zh) * 2021-12-14 2023-10-17 广州华多网络科技有限公司 远程控制处理、响应方法及其装置、设备、介质、产品
CN114356161A (zh) * 2021-12-31 2022-04-15 阿波罗智联(北京)科技有限公司 页面显示方法、装置及电子设备
CN116156235A (zh) * 2022-12-22 2023-05-23 深圳市蓝鲸智联科技有限公司 一种车载娱乐信息系统的控制方法

Also Published As

Publication number Publication date
CN112187959B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN112187959B (zh) 车载电脑的远程控制方法、系统、电子设备与存储介质
WO2019090902A1 (zh) 屏幕共享的方法、装置、电子设备及存储介质
CN108769795B (zh) 视讯实现系统及方法
CN104836977A (zh) 即时通讯过程中的视频通讯方法及系统
US20100071008A1 (en) System and method for transmitting an animated figure
CN103491179A (zh) 基于Web的多屏互动方法及系统
CN107241563B (zh) 视频传输的方法、智能移动终端及具有存储功能的装置
CN112069154B (zh) etcd分布式数据库自动运维方法及相关装置
CN103595759A (zh) 基于云端的桌面展示方法
CN108880983A (zh) 一种虚拟三维空间的语音实时处理方法及装置
CN105550934A (zh) 虚拟现实中微信软文的推送系统及方法
CN110599591A (zh) 在线协同三维设计方法、计算机装置以及计算机可读存储介质
CN115865852A (zh) 即时通信会话信息的处理方法、装置及电子设备
CN103888502A (zh) 投影方法、投影文件提供方法及投影终端
JP5081088B2 (ja) 相互情報共有システム
JP2019091449A (ja) 設備リストを同期する方法、装置、設備及びコンピュータ記憶媒体
CN112614049A (zh) 图像处理方法、装置、存储介质以及终端
CN111478916A (zh) 基于视频流的数据传输方法、设备和存储介质
CN107395493B (zh) 一种基于意图Intent分享消息的方法及装置
CN105739690A (zh) 一种双客户端控制方法、装置及系统
CN114928619A (zh) 信息同步方法、装置、电子设备及存储介质
CN111080750B (zh) 一种机器人动画配置方法、装置及系统
CN117240831A (zh) 三维模型传输方法及其装置、存储介质、程序产品
CN114153542A (zh) 投屏方法、装置、电子设备及计算机可读存储介质
CN114513495A (zh) 一种基于远程遥控的互动方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant