CN117492557A - 一种多屏交互的方法、装置、终端设备和车辆 - Google Patents

Abstract

本申请提供了一种多屏交互的方法、装置、终端设备和车辆，涉及智能汽车技术领域。本申请在检测摄像头拍摄的图像中包括特定手势后，将此时第一显示屏上显示的内容转化为子图像，并在第一显示屏上显示其它可以显示子图像的显示屏的标识和相对于第一显示屏的方位信息，用户可以直观的看到后续手势的移动方向，然后根据特定手势的移动方向，确定第二标显示屏，并控制子图像在第一显示屏上随特定手势的移动而移动，当监测到特定手势移动的距离大于设定阈值时，将子图像移动至第二显示屏上，从而实现多屏交互功能。

Description

一种多屏交互的方法、装置、终端设备和车辆

本申请是分案申请，原申请的申请号是202180001484.X，原申请日是2021年4月26日，原申请的全部内容通过引用结合在本申请中。

技术领域

本申请涉及智能汽车领域，尤其涉及一种多屏交互的方法、装置、终端设备和车辆。

背景技术

随着智能化的发展，车辆的智能化也越来越高，智能座舱的功能也越来越受到消费者的关注。为了提升驾驶员的体验，车辆上有多个显示屏，一个显示屏用于显示车辆的速度、油耗、里程等信息，一个显示屏用于显示导航路线，一个显示屏用于显示音乐、无线广播等娱乐视频，以及其它功能的显示屏。一般情况下，每个显示屏显示的内容都是固定的，无法显示其它显示屏所要显示的内容。随着的投屏、屏幕共享等技术的发展，实现一个显示屏将其显示的内容推送到其它显示屏上显示，以共享显示内容，成为了用户的重要需求和厂商的研究热点。

对于配置多个显示屏的车型，在现有技术中，如果驾驶员想让一个显示屏上显示的内容推送到另一个显示屏上，则需要驾驶员在显示屏上点击特定按钮或在显示屏上拖动目标内容进行滑动的操作，这种需要驾驶员在显示屏进行操作的方式，分散了驾驶员精力，使得车辆行驶存在安全性问题。

发明内容

为了解决上述的问题，本申请的实施例提供了一种多屏交互的方法、装置、终端设备和车辆。

第一方面，本申请提供一种多屏交互的方法，包括：获取传感信息，所述传感信息包括手势信息；根据所述手势信息，触发第一显示屏显示第一界面图像，所述第一界面图像包括子图像，所述子图像的移动趋势与所述手势信息相关联；触发所述子图像显示于第二显示屏。

在该实施方式中，通过获取传感信息，以获取手势信息，然后根据手势信息，来触发显示屏显示界面图像，并显示屏一个子图像，通过将子图像与手势信息相关联，实现子图像随手势的移动而移动，通过触发一定的条件，如手势的移动距离大于设定阈值，触发子图像移动到另一个显示屏上，从而实现多屏交互功能。

在一种实施方式中，当所述手势信息包括五指抓取手势时，所述子图像显示的内容为所述第一界面图像的全部内容。

在一种实施方式中，当所述手势信息包括双指抓取手势时，所述子图像显示的内容为所述第一界面图像中的第一应用程序呈现的界面，所述第一应用程序为用户选定的应用程序或正在运行的应用程序。

在一种实施方式中，所述第一界面图像还包括位置信息，所述位置信息为其它可显示所述子图像的至少一个显示屏标识，以及所述至少一个显示屏相对于所述第一显示屏的方位信息。

在该实施方式中，通过在显示屏上显示其它可以显示子图像的显示屏的标识和相对于第一显示屏的方位信息，用户可以直观的看到后续手势的移动方向，方便后续多屏交互的操作。

在一种实施方式中，在所述触发所述子图像显示于第二显示屏之前，还包括：确定所述第二显示屏，所述第二显示屏根据第一位置信息、第二位置信息和存储的至少一个显示屏相对于所述第一显示屏的方位信息确定，所述第一位置信息为触发所述第一显示屏显示所述第一界面图像时手势的位置信息，所述第二位置信息为当前时刻手势的位置信息，所述至少一个显示屏包括所述第二显示屏。

在该实施方式中，通过预先确定进行交互的目标显示屏，以便后续子图像触发移动到目标显示屏时，快速的移动到目标显示屏上，减少处理时间，提高用户体验。

在一种实施方式中，所述确定所述第二显示屏，包括：根据所述第一位置信息和所述第二位置信息，确定所述第二位置信息相对于所述第一位置信息的第一方位信息；将所述第一方位信息与所述存储的至少一个显示屏相对于所述第一显示屏的方位信息进行比对；当所述第一方位信息与所述第二显示屏相对于所述第一显示屏的方位信息相同时，确定所述第二显示屏。

在该实施方式中，通过将手势的方位信息与显示屏之间的方位信息相关联，用户只需要简单的在空间上移动，产生方位变化，即可实现多屏交互，使得实现该功能的操作简便，易实现。

在一种实施方式中，所述触发所述子图像显示于第二显示屏，包括：检测出所述第一位置信息与第二位置信息之间的距离大于设定阈值时，触发所述子图像显示于第二显示屏。

在该实施方式中，通过将手势移动的距离与多屏交互相关联，用户只需要简单的在空间上移动，产生较大的距离差，即可实现多屏交互，使得实现该功能的操作简便，易实现。

在一种实施方式中，所述子图像为应用程序图标时，其特征在于，所述触发所述子图像显示于第二显示屏，包括：触发所述子图像指示的图像显示于所述第二显示屏。

在该实施方式中，如果子图像为一个应用程序的图像，在将子图像移动到目标显示屏上后，为了更加方便用户，不需要用户进行操作，直接运行该应用程序，不要用户主动在显示屏操作来运行该应用程序。

在一种实施方式中，所述子图像的尺寸小于所述第一显示屏的尺寸，避免子图像全部覆盖原界面图像，影响用户观看原界面图像内容。

在一种实施方式中，所述位置信息显示在所述第一显示屏边缘位置上，以便用户更加直观的看到其它显示屏相对位置。

在一种实施方式中，当所述第一显示屏的分辨率与所述第二显示屏的分辨率不相同时，所述方法还包括：将所述子图像的分辨率设置为所述第二显示屏的分辨率，避免子图像因像素问题不能在目标显示屏上无法显示。

在一种实施方式中，当所述第一显示屏的尺寸与所述第二显示屏的尺寸不相同时，所述方法还包括：将所述子图像的尺寸设置为所述第二显示屏的尺寸，避免子图像因尺寸问题不能在目标显示屏上无法显示。

在一种实施方式中，当所述第二显示屏的长边的尺寸或短边的尺寸小于所述第一显示屏时，所述方法还包括：将所述子图像缩小至所述子图像的长边尺寸与所述第二显示屏的长边的尺寸相同；或将所述子图像缩小至所述子图像的短边尺寸与所述第二显示屏的短边的尺寸相同。

在该实施方式中，如果子图像长宽比和目标显示屏的长宽比不同时，可以让子图像的长边与目标显示屏对齐，或让子图像的短边与目标显示屏对齐，以便子图像能在显示屏上显示。

第二方面，本申请实施例提供了一种多屏交互的装置，包括：收发单元，用于获取传感信息，所述传感信息包括手势信息；处理单元，用于根据所述手势信息，触发第一显示屏显示第一界面图像，所述第一界面图像包括子图像，所述子图像的移动趋势与所述手势信息相关联；触发所述子图像显示于第二显示屏。

在一种实施方式中，当所述手势信息包括五指抓取手势时，所述子图像显示的内容为所述第一界面图像的全部内容。

在一种实施方式中，当所述手势信息包括双指抓取手势时，所述子图像显示的内容为所述第一界面图像中的第一应用程序呈现的界面，所述第一应用程序为用户选定的应用程序或正在运行的应用程序。

在一种实施方式中，所述第一界面图像还包括位置信息，所述位置信息为其它可显示所述子图像的至少一个显示屏标识，以及所述至少一个显示屏相对于所述第一显示屏的方位信息。

在一种实施方式中，所述处理单元，还用于确定所述第二显示屏，所述第二显示屏根据第一位置信息、第二位置信息和存储的至少一个显示屏相对于所述第一显示屏的方位信息确定，所述第一位置信息为触发所述第一显示屏显示所述第一界面图像时手势的位置信息，所述第二位置信息为当前时刻手势的位置信息，所述至少一个显示屏包括所述第二显示屏。

在一种实施方式中，所述处理单元，具体用于根据所述第一位置信息和所述第二位置信息，确定所述第二位置信息相对于所述第一位置信息的第一方位信息；将所述第一方位信息与所述存储的至少一个显示屏相对于所述第一显示屏的方位信息进行比对；当所述第一方位信息与所述第二显示屏相对于所述第一显示屏的方位信息相同时，确定所述第二显示屏。

在一种实施方式中，所述处理单元，具体用于检测出所述第一位置信息与第二位置信息之间的距离大于设定阈值时，触发所述子图像显示于第二显示屏。

在一种实施方式中，所述子图像为应用程序图标时，所述处理单元，具体用于触发所述子图像指示的图像显示于所述第二显示屏。

在一种实施方式中，所述子图像的尺寸小于所述第一显示屏的尺寸。

在一种实施方式中，所述位置信息显示在所述第一显示屏边缘位置上。

在一种实施方式中，当所述第一显示屏的分辨率与所述第二显示屏的分辨率不相同时，所述处理单元，还用于将所述子图像的分辨率设置为所述第二显示屏的分辨率。

在一种实施方式中，当所述第一显示屏的尺寸与所述第二显示屏的尺寸不相同时，所述处理单元，还用于将所述子图像的尺寸设置为所述第二显示屏的尺寸。

在一种实施方式中，当所述第二显示屏的长边的尺寸或短边的尺寸小于所述第一显示屏时，所述处理单元，还用于将所述子图像缩小至所述子图像的长边尺寸与所述第二显示屏的长边的尺寸相同；或将所述子图像缩小至所述子图像的短边尺寸与所述第二显示屏的短边的尺寸相同。

第三方面，本申请实施例提供了一种多屏交互的系统，包括：处理器和至少两个显示屏，用于执行如第一方面各个可能实现的实施例。

第四方面，本申请实施例提供了一种车辆，包括：至少一个摄像头，至少两个显示屏，至少一个存储器，至少一个处理器，用于执行如第一方面各个可能实现的实施例。

第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行如第一方面各个可能实现的实施例。

第六方面，本申请实施例提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现如第一方面各个可能实现的实施例。

第七方面，提供了一种计算设备，该计算设备置包括：处理器以及接口电路；其中，该处理器通过该接口电路与存储器耦合，该处理器用于执行该存储器中的程序代码，以实现如第二方面至第四方面任一方面或任一可能的实施方式所提供的技术方案。

本申请实施例中，当驾驶员想让一个显示屏上显示的内容推送到另一个显示屏上显示时，为了避免驾驶员在显示屏上点击特定按钮、在显示屏上拖动目标内容进行滑动等操作方式带来的安全隐患，本申请只需要驾驶员非常自然在将手放在源显示屏旁边，做张开手掌的操作，待识别到激活手势后，等手指逐渐并拢时，源显示屏就进入飞屏激活状态，整个过程相当于手进行了当前屏幕的抓取操作；然后只需要根据界面提示，向对应方向进行移动，在移动过程中，也可以即时在界面看到源显示屏向哪个方向飞去，在移动距离达到阈值后手指张开，就进行飞屏操作，整个过程相当于把源显示屏抓取并扔到目标显示屏，操作简单，不需要驾驶员投放较多的精力，即可实现多屏交互功能，从而保证车辆行驶过程中的安全性。

附图说明

下面对实施例或现有技术描述中所需使用的附图作简单地介绍。

图1为本申请实施例提供的一种车辆的结构示意图；

图2(a)为本申请实施例提供的一种车辆前排座位的显示屏和摄像头设置的位置示意图；

图2(b)为本申请实施例提供的一种车辆后排座位的显示屏和摄像头设置的位置示意图；

图3为本申请实施例提供的一种多屏交互的方法实现流程示意图；

图4(a)为本申请实施例提供的一种实现五指抓取实现显示屏投屏功能的手势变化示意图；

图4(b)为本申请实施例提供的一种实现两指抓取实现应用分享功能的手势变化示意图；

图5为本申请实施例提供的一种识别出图像中手势的示意图；

图6为本申请实施例提供的一种实现五指抓取实现显示屏投屏功能过程中获取子图像时的源显示屏显示图像和对应的手势示意图；

图7为本申请实施例提供的一种实现两指抓取实现应用分享功能过程中获取子图像时的源显示屏显示图像和对应的手势示意图；

图8为本申请实施例提供的一种源显示屏上部分子图像移出后的显示效果示意图；

图9为本申请实施例提供的一种部分子图像移入目标显示屏后的显示效果示意图；

图10为本申请实施例提供的目标显示屏显示子图像的显示效果示意图之一；

图11为本申请实施例提供的目标显示屏显示子图像的显示效果示意图之二；

图12为本申请实施例提供的目标显示屏显示子图像的显示效果示意图之三；

图13为本申请实施例提供的一种源显示屏同时向两个目标显示屏进行多屏共享时两个子图像移动效果示意图；

图14为本申请实施例提供的一种五指抓取实现显示屏投屏功能的手势和子图像移动过程的示意图；

图15为本申请实施例提供的一种多屏交互的装置结构示意图；

图16为本申请实施例提供的另一种多屏交互的装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为本申请实施例提供的一种车辆的结构示意图。如图1所示，该车辆100包括至少两个显示屏101(例如，图1中所示的显示屏101-1至显示屏101-N)、至少一个摄像头102(例如，图1中所示的摄像头102-1至摄像头102-M)、处理器103、存储器104和总线105。其中，显示屏101、摄像头102、处理器103和存储器104可以通过总线105建立通信连接。其中，N为大于1的整数，M为正整数。

显示屏101的类型可以包括触控式显示屏或非触控式显示屏中的一种或多种，例如，显示屏101可以全部为可触控式显示屏，或全部为非触控式显示屏，或者，显示屏101可以包括触控式显示屏和非触控式显示屏这两种类型的显示屏。其中，显示屏101可以用于显示油量、车速、里程等仪表数据，以及导航路线、音乐、视频、图像(如车辆周围环境图像)等数据。为了节省费用，非触控式显示屏可以用于显示油量、车速、里程等仪表数据，触控式显示屏可以显示导航路线、音乐、视频、图像等数据。应理解的是，触控式显示屏也可以用于显示油量、车速、里程等仪表数据，上述显示内容仅为示例，本申请不对显示屏显示的内容进行限定。

示例性的，显示屏101的位置布置可以参照图2(a)或图2(b)进行设置。其中，图2(a)所示的车辆100的前排，可以在方向盘的中间的位置上设置显示屏101-1，用于显示如播放音乐的音量按键、播放/暂停按键、接听/挂断按键等，以便于驾驶员在驾驶时进行更便捷的操作，减少驾驶员视线和身体角度的切换，提高驾驶安全。在车辆100的挡风玻璃之下和方向盘之上的车体上设置显示屏101-2，用于显示油量、车速、里程等数据；在驾驶位和副驾驶位之间设置显示屏101-3，用于显示音乐视频、导航路线等数据；对于副驾驶位，可以在位于副驾驶位前方的车体上设置显示屏101-4，可以用于显示任何副驾驶位的乘客想要观看的内容。对于图2(b)所示的车辆100的后排，可以在每个前排座椅的背后的上方位置设置显示屏101-5和显示屏101-6，这两个显示屏可以显示任何后排乘客想要观看的内容，例如，电影、导航信息、天气等。

本申请实施例中的显示屏101的数量和设置的位置不仅限于如图2(a)和如图2(b)所示的数量和位置关系，本申请在此仅仅举例说明，以便读者对方案的理解。具体显示屏101的数量和设置在车辆100上的位置根据实际情况来确定。

摄像头102可以用于捕获静态图像或视频。例如，物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器(如图像处理器)转换成数字图像信号。将数字图像信号输出到数字信号处理器(digital signal processor，DSP)加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)、亮度带宽色度(luminancebandwidth chrominance，YUV)等格式的图像信号。摄像头102可以设置在车内的不同位置上，摄像头102在车内可以用于采集车辆100内用户的肢体信息(如，手掌信息)。摄像头102工作的方式可以为周期性拍照，也可以持续性拍摄得到视频流。本申请后续以周期性拍照为例讲述本申请技术方案。

在本申请中，车辆100上的各个摄像头102设置的位置如图2(a)和如图2(b)所示。对于前排位置，可以在后视镜上设置一个摄像头102-1，其拍摄范围覆盖驾驶位和副驾驶位，用于采集驾驶位和副驾驶位上的用户的手掌信息；对于后排位置，可以分别在显示屏101-5和显示屏101-6的上方设置摄像头102-3和摄像头102-4，以及在两个后门框的靠近前排座椅处分别摄像头102-2和摄像头102-5，用于采集后排座位上的用户的手掌信息。

同理，本申请实施例中的摄像头102的数量和设置的位置不仅限于如图2(a)和如图2(b)所示的数量和位置关系，本申请在此仅仅举例说明，以便读者对方案的理解。具体摄像头102的数量和设置在车辆100上的位置根据实际情况来确定。

其中，摄像头102采集的手掌信息主要包括五指呈现的手势和手掌相对于摄像头102的位置信息。如果本申请采用双目测距原理确定手掌的位置信息时，则需要在每个位置上设置两个摄像头。

处理器103可以为车载中控单元、中央处理器102(central processing unit，CPU)、云服务器等等，用于对摄像头102采集的图像进行处理，识别出图像中用户的手掌对应的手势类别和手掌的位置信息，然后控制一个显示屏上显示的内容移动到另一个显示屏上。

存储器104可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器104也可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)、快闪存储器、硬盘(hard disk drive，HDD)或固态硬盘(solid state drive，SSD)；存储器104还可以包括上述种类的存储器的组合。存储器104存储的数据不仅摄像头102采集的图像、手势类别的数据库等等，还存储用于执行多屏交互的方法对应的各种指令、应用程序等等。

图3为本申请实施例提供的一种多屏交互方法的流程示意图，该多屏交互方法可以由计算设备执行，也可以是由应用在计算设备内的处理装置执行，还可以由图1所示的系统来执行。其中，计算设备可以是终端，例如，车、车载装置(如车机、车载处理器、车载电脑等)，还可以是服务器等云端装置。该处理装置可以是芯片、处理电路、处理器等。为了便于描述，本申请将以处理器执行该多屏交互方法为例，展开介绍。参考图3所示，该多屏交互方法包括：

S301：获取传感信息。

其中，传感信息可以包括通过传感器获取的信息，例如，可以通过摄像头传感器和雷达传感器中的一个或多个获取的手势信息、环境信息等；还可以通过声音传感器获取环境声音信息，例如用户指令等。其中，上述传感信息可以是传感器采集到的信息，也可以是经过传感器和处理器等器件中的一个或多个器件处理过的信息，例如，通过传感器对图像信息进行降噪处理。

在具体实现过程中，当用户需要将一个显示屏(后续将该显示屏称为“源显示屏”)上显示的用户界面(user interface，UI)或应用程序(application，APP)呈现的界面投影到另一个显示屏(后续将该显示屏称为“目标显示屏”)时，可以通过座舱摄像头检测特定的肢体动作，例如手势(也可以理解为唤醒手势)等，触发开启多屏交互功能。也可以通过语音唤醒、点击显示屏上虚拟按键唤醒等方式，触发开启多屏交互功能。

在具体实现过程中，唤醒手势和操作手势等手势可以有多种实现方式，例如左划手势、右划手势、手掌悬停等，可以是动态手势(或称动态趋势手势)，也可是静态手势。用于手势识别的处理器可以通过接口电路获取传感信息，确定当前用户所比划的手势或动作。下面，本申请以“五指抓取实现显示屏投屏”和“两指抓取实现应用分享”这两类方案对手势展开介绍，应理解的是，本申请并不仅限于这两种方案。

以“五指抓取实现显示屏投屏”方案为例对手势动作展开介绍，如图4(a)所示，用户在开始抓取时，先张开五指，靠近源显示屏；抓取时，五指逐渐并拢；在投屏过程中，并拢的五指从源显示屏位置移动到目标显示屏位置，然后逐渐靠近目标显示屏，并逐渐张开五指。

以“两指抓取实现应用分享”方案为例对手势动作展开介绍，如图4(b)所示，用户在开始抓取时，先张开五指(或拇指和食指张开并让其它手指弯曲靠向掌心)，然后靠近源显示屏；抓取时，拇指和食指逐渐并拢，其它手指弯曲靠向掌心；在投屏过程中，并拢的两指从源显示屏位置移动到目标显示屏位置，然后逐渐靠近目标显示屏，并逐渐张开拇指和食指。

应理解，本申请实施例中的开启多屏交互功能的手势可以是上述“五指张开”的手势，或“五指张开，并逐渐靠近显示屏”的手势，也可以是其他手势，为了便于阐述，下面以上述手势为例展开介绍。

手势信息的判定，可以通过摄像头的图像(或视频流)获取，如通过手势识别算法识别出图像中人的手指、以及各个手指展示的手势；也可以通过雷达信息获取，如得到三维点云图像后，通过神经网络提取出图像中人的手指特征，再根据手指特征确定出手指呈现的手势；还可以通过其它信息进行判定，本申请在此不作限定，下面以摄像头拍摄的图像或视频流为例，来讲述本申请技术方案。

在开启多屏交互功能后，根据源显示屏所处的位置，获取对应位置的传感信息。其中，对应位置的传感信息可以是采集范围覆盖源显示屏操控位置的摄像头、雷达等传感器所采集到的信息或处理过的信息。例如，如图2(a)所示，处理器接收到显示屏101-2发送的开启交互功能的指令后，开启摄像头工作，以避免开启车辆内所有摄像头进行工作，节省车辆电量的功耗，同时保护车辆100内其它座位上的乘客隐私。

处理器在接收到传感信息后，对其进行手部目标检测和手势识别，以识别出用户手掌呈现的手势。示例性地，处理器接收到摄像头采集到一张包括手掌的图像，如图5所示，可以先对采集的图像进行预处理，其中，预处理可以包括对图片进行去噪和信息增强。然后可以利用手部目标检测算法获取图像中的目标手势，接着对手部的21自由度(degree odfreedoms，DOFS)或者26DOFS(或者更多)的二维(2dimension，2D)坐标进行关键点估计，得到当前手势的分类和描述。最后通过手势识别算法对目标手势进行识别，识别出图像中手掌展现的手势。

在本申请中，处理器在获取的某一张图像或视频流中某一帧图像中识别出唤醒手势或操作手势等特定手势。其中，在开启交互功能后，摄像头不断的拍摄图像或视频流，处理器也不断的获取图像或视频流进行处理，所以为了展现获取的图像或视频流中的图像的时序，本申请在描述时，让处理器对获取的图像或视频流中的图像按照时间的顺序进行编号，将此时获取的图像定义为第i张图像或视频流中第j帧图像，i和j均为大于0的正整数。

结合图4(a)和图4(b)所示，特定手势为一个动态趋势手势，处理器在确定特定手势过程中，可以将当前时刻得到图像与上一时刻得到的图像中的手指间的距离进行比对，如果五指之间的距离逐渐减小，则表明“五指并拢”手势；如果五指之间的距离逐渐减小，且中指、无名指和小拇指弯曲，则表明“拇指和食指逐渐并拢，其它手指弯曲靠向掌心”手势。

当处理器检测到特定手势时，控制源显示屏进入多屏交互状态，以便源显示屏将根据手势的变化，对显示的界面或显示的应用程序呈现的界面进行提取。处理器还可以根据摄像头获取的图像，利用手部3维(3dimension，3D)定位算法，计算出特定手势相对于摄像头的空间坐标(x0，y0，z0)。

如图2(a)所示，如果摄像头为飞行时间(time of flight，TOF)摄像头、双目摄像头等可以测量深度的摄像头时，处理器获取摄像头拍摄的图像和摄像头提供的深度信息后，利用摄像头的内参和外参数据，直接计算出特定手势相对于摄像头的光心的空间坐标。其中，TOF摄像头可以通过向目标物体连续发送光脉冲，并利用传感器接收从目标物体返回的光，基于探测光脉冲的飞行往返时间来得到目标物体距离。

如果摄像头为不可测量深度的单目摄像头时，处理器可以通过深度估计方法来计算手势的深度或距离。这里，给出几种可能的深度估计方法作为示例，本申请对此不做限定，例如：

(1)基于多点透视(pespective-n-point，PNP)算法。使用基于手部模型先验，检测手掌处的关键点，结合摄像头模型，基于PNP算法粗略地估计手部位置，因为只需要对握拳手势进行位置估计，因此关键点检测模型可以对握拳手势进行深度优化。尽管个体差异使得这样得到的关键点3D位置绝对精度不高，但由于手势的方向判断所需要的位置精度并不严格，所以该方法也可以应用于判断方向移动的相对量。

(2)基于深度学习的单目深度估计网络模型。获取摄像头拍摄的图像后，通过深度学习的单目深度估计网络模型可以直接对单目摄像头进行深度估计，从而产生一个虚拟3D摄像头，以弥补硬件3D摄像头的缺失，从而预测出特定手势在获取的传感信息中下一帧或多帧图像中的深度信息。

最后，处理器根据摄像头获取的图像和该图像的预测深度信息，利用摄像头的内参和外参数据，计算出特定手势相对于摄像头的光心的空间坐标。

S302：根据手势信息，触发第一显示屏显示第一界面图像。其中，第一显示屏为源显示屏，第一界面图像为源显示屏显示的界面图像，第一界面图像中还包括一个子图像，子图像可以为缩小版的第一界面图像，也可以为某个APP的图标等等，显示的内容可以为第一界面图像显示的全部画面，也可以为第一界面图像显示的部分图像。

处理器在检测到特定手势后，可以将当前时刻源显示屏呈现的部分或全部画面转化为一个小于源显示屏尺寸的子图像，或将源显示屏上显示的某个APP图标转化为子图像，呈现在源显示屏上，例如在源显示屏的中间位置、左侧位置等位置上显示。可选地，处理器在检测到特定手势后，也可以重新生成一个子图像，其尺寸小于源显示屏的尺寸，显示的内容与原先源显示屏上显示的界面同步。

例如，如图6所示，源显示屏上方可以设置有时间栏，中间部分为播放的视频所在区域。当特定手势为“五指并拢”手势时，处理器将当前时刻源显示屏上显示的整个界面(包括时间栏和视频所在区域)截成一张图像显示在源显示屏的中间位置。

如图7所示，当特定手势为“拇指和食指逐渐并拢，其它手指弯曲靠向掌心”手势时，处理器将当前时刻源显示屏上显示视频所在区域截成一张图像显示在源显示屏的中间位置。

对于图7中如何决策将时间栏转换为子图像还是将视频播放区域转换为子图像，在具体实现过程中有多种实现方式，为了便于理解，下面介绍几种可能的实现方式作为示例，本申请对此不做限定。例如：

对应用程序设定优先级，如将导航APP设置为第一优先级，将视频、音乐、无线广播等APP设置为第二优先级，将时间、天气预报等基础APP设置为第三优先级，以此类推，通过对不同的应用程序设置不同的优先级，在转换子图像时，将源显示屏上显示的优先级最高的应用程序的内容转换为子图像，以保证子图像显示的内容为用户想要推送的内容。

再例如：根据特定手势的位置靠近源显示屏上各个区域之间的距离确定，如果特定手势距离视频播放的位置比较近，则将视频播放区域转换为子图像，如果特定手势距离时间栏所处的位置比较近，则将时间栏转换为子图像。本申请不仅限于上述两种方案，也可以为其它方案。

源显示屏上显示的子图像的尺寸，可以为固定值，也可以变化值。可选地，处理器在后续不断获取摄像头采集的图像，如果识别出的特定手势中手指之间的距离不断减小，可以控制源显示屏上显示的子图像的尺寸也不断减小。

另外，处理器控制源显示屏上不仅呈现子图像，还可以显示能接收子图像的其它显示屏的标识、其它显示屏相对自身的方位信息等位置信息。由于车辆在出厂时，各个显示屏的位置已经固定好了，所以对于每一个显示屏来说，其它显示屏处在自身周围的方位信息都是固定的，可以将显示屏与显示屏之间的方位信息提前存储在存储器中。

可选地，显示屏与显示屏之间的方位信息可以通过两个显示屏的位置之间形成的向量来表示。以图2(a)为例，对于显示屏101-2来说，以显示屏101-2的中心为空间坐标原点(X0，Y0，Z0)，由于每个显示屏位置是固定的，可以预先存储各个显示屏之间的坐标位置，在确定各个其它显示屏以显示屏101-2的中心为空间坐标原点坐标系下的坐标(X，Y，Z)，然后计算出各个其它显示屏相对于显示屏101-2的向量M，将计算出的向量M作为各个其它显示屏相对于显示屏101-2的方位。

处理器可以控制源显示屏上显示其它显示屏的位置信息，以便用户直观地了解到如何将子图像移动到目标显示屏上。以图6为例，并结合图2(a)，由于源显示屏是要将播放的视频分享到其它显示屏上，而车辆上的其它显示屏均可以显示该视频，所以在源显示屏上可以虚拟出一个显示屏的图案，同时以文字的方式显示每个显示屏的相对于源显示屏的方位和名称，并将每个显示屏对应的图案按照方位关系，设置在源显示屏边缘的靠近实体显示屏处。

处理器控制源显示屏生成子图像呈现在源显示屏中间位置时，可以通过获取相应时刻获取的摄像头图像中的手势的空间坐标，将此时子图像处在源显示屏中的位置与手势的空间坐标建立映射关系，使得后续当手势移动后，子图像根据手势移动的方位和距离，相对于当前时刻子图像位置，作对应方位和等比例距离的移动。

此处需要说明的是，处理器可以实时地接收摄像头拍摄的每一张图像或每一帧视频流，也可以每隔一段时间接收一次摄像头拍摄的图像或视频流，本申请在此不作限定。所以下面提到“下一张图像或下一帧图像”并不代表摄像头拍摄的连续两张图像或两帧图像，可以为中间间隔了几张(帧)、几十张(帧)图像。

处理器在检测到特定手势后，若在后续的一帧或多帧图像中，持续没有检测到该特定手势，可以控制源显示屏不再显示子图像和位置信息。例如，处理器在首次检测到特定手势之后的下一帧或多帧图像中，没有识别出特定手势，可能是用户的手势发生变化、或手势移动至摄像头拍摄范围以外等情况，导致下一帧或多帧图像中没有特定手势，则处理器可以向源显示屏发送控制指令，控制源显示屏不显示子图像和位置信息。

可选地，为了避免交互功能的误触发，处理器在检测到特定手势超过一定次数后，确定触发该特定手势对应的功能。例如，处理器在预设时间内的传感信息中多次获取到该特定手势，则处理器可以认为获取了有效手势，并触发对应的功能。再例如，在预设时间内摄像头获取到的图像中的多帧都检测到了特定手势，并超过预设阈值。处理器可以向源显示屏发送控制指令，用于让源显示屏显示子图像和位置信息；如果在检测到包括特定手势的图像数量不足预设阈值时，处理器则不执行后续操作，将此次检测到的结果丢弃或删除。

如果处理器检测到下一帧或多帧图像中还包括特定手势，且相比较上一帧图像或首次检测到特定手势的图像(也即第i张图像或视频流中第j帧图像)，特定手势的位置发生变化时，可以根据检测到下一帧或多帧图像计算出的特定手势的空间坐标(x0，y0，z0)、上一帧图像或首次检测到特定手势的图像计算出的特定手势的空间坐标(x，y，z)，计算出特定手势的移动矢量m＝(x-x0，y-y0，z-z0)，然后将移动向量m与方位向量M进行比对，根据比对的结果，将与向量m平行或夹角最小的方位向量M对应的显示屏，确定为目标显示屏。

S303：触发子图像显示于第二显示屏。其中，触发子图像在第二显示屏上显示的条件为：检测第一位置信息与第二位置信息之间的距离大于设定阈值。

第一位置信息是指首次检测到特征手势的图像(也即第i张图像或视频流中第j帧图像)中特定手势相对于摄像头的空间坐标，第二位置信息是指下一帧或多帧之后的图像(也即第i+n张图像或视频流中第j+n帧图像，n为大于零的正整数)中特定手势相对于摄像头的空间坐标。具体实现过程为：

例如：处理器计算出特定手势在摄像头拍摄下一帧或多帧之后的图像中的移动向量m后，结合源显示屏平面的法向量n，计算出移动向量m投影到源显示屏平面的平移向量m1。然后，处理器可以根据平移向量m1的方向，确定源显示屏上的子图像移动的方向，可以根据平移向量m1的模长，以及预先设定的模长与源显示屏上子图像移动距离的比例关系，确定源显示屏上的子图像移动的距离。最后，处理器可以控制源显示屏上的子图像从平面中心沿平移向量m1的方向移动一定比例关系的平移向量m1的模长，从而实现子图像跟随用户手势的移动而移动。

随着用户的特定手势不断移动，处理器可以根据每次接收到的图像处理结果，都向源显示屏发送一次控制指令，让子图像显示在源显示屏上的不同位置，从而实现子图像随特定手势移动而移动。如果处理器检测到子图像随着特定手势移动而移动后，有部分或全部的界面不在源显示屏上显示时，则处理器可以同时向目标显示屏发送控制指令，让目标显示屏显示子图像未在源显示屏上显示的界面。

可选地，如果子图像为APP图标，处理器可以根据特定手势移动的距离，确定子图像移动到目标显示屏上显示时，控制器向目标显示屏发送控制指令，该控制指令用于让目标显示屏显示该APP图标，或者让目标显示屏显示该APP运行后的界面。

对于如何确定将子图像从源显示屏移动至目标显示屏的判断条件，本申请提供了两种判断条件作为示例，本申请对此不做限定，例如：

1、平移向量m1的模长。本申请预先设定一个阈值，处理器可以根据移动矢量m确定出目标显示屏后，再根据移动矢量m计算出平移向量m1的模长，如果该模长大于设定的阈值，则将子图像移动至目标显示屏；如果该模长不大于设定阈值，则子图像仍在源显示屏上移动。

2、子图像的中心点移出源显示屏。本申请以子图像的中心点移出源显示屏为界限，子图像随着特定手势的移动过程中，处理器可以实时检测源显示屏上子图像的位置，如果检测到子图像的中心点在源显示屏上的边框或不在源显示屏上，表明此时子图像已经有一半的面积移出源显示屏上，则将子图像移动至目标显示屏；如果检测子图像的中心点在源显示屏上，表明此时子图像没有一半的面积移出源显示屏上，则子图像仍在源显示屏上移动。

当然，本申请还可以根据子图像移出的面积、子图像的长边的尺寸等方式作为判断条件，在此不做限定。

对于子图像在源显示屏上移动且子图像的中心点未移出源显示屏这种情况，此时的源显示屏的界面上显示的效果如图8所示。而目标显示屏上，可以不显示源显示屏上移出的子图像的部分，也可以显示源显示屏上移出的子图像的部分，如图9所示，以便用户更加直观的看到自己移动子图像到哪个显示屏和移动的效果。

如果目标显示屏的分辨率和源显示屏的分辨率不相同，子图像移动到目标显示屏后，处理器可以将子图像的分辨率增加或减少至目标显示屏的分辨率，然后发送到目标显示屏上显示，以免子图像移动到目标显示屏上显示异常。

如果子图像的尺寸或长宽比与目标显示屏的尺寸或长宽比不相同，或源显示屏的尺寸或长宽比与目标显示屏的尺寸或长宽比不相同，处理器在确定子图像移动到目标显示屏时，可以根据两者的尺寸或长宽比进行比较，调整子图像的尺寸或长宽比，使子图像可以在目标显示屏上正常显示。例如：如果目标显示屏的尺寸、长边尺寸和短边尺寸都大于源显示屏，处理器可以让子图像保持原先的尺寸在目标界面上显示，如图10所示，也可以增大子图像的尺寸，以便子图像以最大尺寸在目标显示屏上显示，如图11所示；如果目标显示屏的尺寸、长边尺寸和短边尺寸都小于源显示屏或子图像的尺寸，处理器可以缩小子图像的尺寸，以便子图像可以正常的在目标显示屏上显示；如果目标显示屏的长边尺寸和短边尺寸的一个尺寸小于源显示屏或子图像，处理器可以缩小子图像的尺寸至长边尺寸符合目标显示屏的长边尺寸，或缩小子图像的尺寸至短边尺寸符合目标显示屏的短边尺寸，然后在目标显示屏上显示，如图12所示。

在子图像移动到目标显示屏后，如果处理器接收到摄像头采集的摄像头图像中应该不包括特定手势。此时对于用户来说，手势的转变应该从特定手势转换为“张开五指”、“张开拇指和食指”的非特定手势。示例性地，处理器在设定时间段内没有接收到包括特定手势的摄像头图像，或检测到特定手势如“张开五指，并逐渐靠近目标显示屏”、或接收到连续三次点击目标显示屏等方式，则可以关闭“多屏交互”功能，以节省功耗和计算成本。

在子图像移动到目标显示屏后，如果处理器接收到摄像头采集的摄像头图像中还包括特定手势，则可以默认为用户第二次将源显示屏上显示的内容进行多屏共享，此时处理器可以再次执行步骤S301至步骤S303中实现过程。

处理器在执行上述步骤S301至步骤S303过程中，如果检测到摄像头拍摄的图像中有两个或两个以上的特定手势，则可以认为用户将源显示屏上显示的内容分享至两个或两个以上的目标显示屏上，处理器可以先对两个特定手势进行标记，然后根据标记后的多个特定手势，执行步骤S301至步骤S303中实现过程，从而实现同时源显示屏上显示的内容向多个目标显示屏进行多屏共享。示例性地，如图13所示，处理器可以将源显示屏上显示的内容向两个目标显示屏进行共享时，源显示屏上可以同时显示两个特定手势对应的子图像、子图像移动的方向等信息，以便用户可以直观的看到两个子图像移动的过程。

本申请实施例中，处理器检测摄像头拍摄的图像中包括特定手势后，可以将此时源显示屏上显示的内容转化为子图像，并在源显示屏上显示其它可以显示子图像的显示屏的标识和相对于源显示屏的方位信息，用户可以直观的看到后续手势的移动方向，然后根据特定手势的移动方向，确定目标显示屏，并控制子图像在源显示屏上随特定手势的移动而移动，当检测到特定手势移动的距离大于设定阈值时，将子图像移动至目标显示屏上，从而实现多屏交互功能。

图14为本申请实施例提供的五指抓取实现显示屏投屏功能的手势和子图像移动过程的示意图。如图14所示，驾驶员在实现一次将源显示屏上显示的内容推送到目标显示屏过程中，手势的变化和移动过程为：

先将一只手放置在源显示屏前方，且手的五指处于张开状态，如图14(a)所示；然后五个手指逐渐并拢(和远离源显示屏方向移动)，激活源显示屏开启飞屏模式，并将当前界面显示的内容转换成子图像，如图14(b)所示；接着并拢的手指向左(或向目标显示屏方向)移动，此时手指呈现的手势保持不变，源显示屏上的子图像随着手指的移动而移动，且方向相同，如图14(c)所示；最后当子图像移动的距离满足设定条件后，自动在目标显示屏上显示，如图14(d)所示此时的手势可以仍为如图14(c)所示的状态，也可以为并拢的五指逐渐张开(和靠近目标显示屏方向移动)。

而显示屏投屏功能实现过程如下：

图14(a)所示的状态，对于处理器来说，执行图3所示的流程图中步骤S301，获取摄像头采集的图像，并进行识别；对于源显示屏，此时没有显示子图像、其它显示屏标识和方位信息等信息；对于目标显示屏，此时也没有显示子图像；对于用户来说，用户正张开五指靠近源显示屏。

图14(b)所示的状态，对于处理器来说，执行图3所示的流程图中步骤S302，检测到摄像头拍摄的图像中包括特定手势后，控制源显示屏上显示子图像、其它显示屏标识和方位信息等信息；对于源显示屏，此时显示缩小到界面中心的子图像，位于界面的其它显示屏标识和方位信息等信息；对于目标显示屏，此时没有显示子图像；对于用户来说，用户的手势正从张开的五指逐渐并拢的过程转换。

图14(c)所示的状态，对于处理器来说，执行图3所示的流程图中步骤S302，检测到特定手势移动后，根据移动方向和距离，确定目标显示屏和控制源显示屏上子图像的随特定手势的移动而移动；对于源显示屏，此时显示子图像在移动；对于目标显示屏，此时没有显示子图像(或显示部分子图像)；对于用户来说，用户的手势从源显示屏处移动到目标显示屏处。

图14(d)所示的状态，对于处理器来说，执行图3所示的流程图中步骤S303，检测到特定手势移动的距离大于设定阈值后，控制子图像移动至目标显示屏上；对于源显示屏，此时不显示子图像、其它显示屏标识和方位信息等信息；对于目标显示屏，此时显示子图像；对于用户来说，用户的手势移出摄像头拍摄区域(或将并拢的五指张开)。

从处理器内部执行来说，开启多屏交互功能后，处理器会持续对摄像头捕获的图像进行识别。首先是会运行一个手部目标检测器，然后对目标检测器检测到的手进行进一步分类，判断是否存在飞屏触发手势(也即上述提到的特定手势，为“五指张开”的手势)，若存在触发手势，则对其运行目标跟踪算法，跟踪触发手的位置和状态，并在源显示屏上显示可激活飞屏的提示；若跟踪手切换到了激活手势(也即上述提到的特定手势，为“五指并拢”或“两指并拢”)，则根据激活手势，则飞屏激活，此时进入到图3中的步骤S302，源显示屏上显示可进行飞屏的目标方向，此时若激活手发生移动，根据当前的手部坐标(x,y,z)计算移动矢量(x-x0,y-y0,z-z0)，再根据屏幕平面的法向量n，计算出屏幕投影平面的平移向量m1，源显示屏根据m1向量的距离和模显示移动效果，若移动距离即m1的模大于阈值，则向目标显示屏执行飞屏动作，若小于阈值内放弃激活手势，则可取消当前飞屏操作。

图15为本申请实施例提供的一种多屏交互的装置的结构示意图，该多屏交互的装置可以计算设备或电子设备(例如，终端)，也可以是电子设备内的装置(例如，ISP或SoC)。并且可以实现如图3至图14所示的多屏交互的方法以及上述各可选实施例。如图15所示，多屏交互的装置1500包括：收发单元1501和处理单元1502。

本申请中，多屏交互的装置1500具体实现过程为：收发单元1501用于获取传感信息，该传感信息包括手势信息；处理单元1502用于根据手势信息，触发第一显示屏显示第一界面图像，该第一界面图像包括子图像，该子图像的移动趋势与手势信息相关联；以及触发该子图像显示于第二显示屏。

收发单元1501用于执行上述多屏交互的方法中S301以及其中任一可选的示例。处理单元1502，用于执行上述多屏交互的方法中S302、S303以及其中任一可选的示例。具体参见方法示例中的详细描述，此处不做赘述。

应理解的是，本申请实施例中的多屏交互的装置可以由软件实现，例如，具有上述功能的计算机程序或指令来实现，相应计算机程序或指令可以存储在终端内部的存储器中，通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者，本申请实施例中的多屏交互的装置还可以由硬件来实现。其中处理单元1502为处理器(如NPU、GPU、系统芯片中的处理器)，收发单元1501为收发电路或接口电路。或者，本申请实施例中的多屏交互的装置还可以由处理器和软件模块的结合实现。

应理解，本申请实施例中的装置处理细节可以参考图4-图14示意的相关内容，本申请实施例将不再重复赘述。

图16为本申请实施例提供的另一种多屏交互的装置的结构示意图，该多屏交互的装置可以计算设备或电子设备(例如，终端)，也可以是电子设备内的装置(例如，ISP或SoC)。并且可以实现如图3至图14所示的多屏交互的方法以及上述各可选实施例。如图16所示，多屏交互的装置1600包括：处理器1601，与处理器1601耦合的接口电路1602。应理解，虽然图16中仅示出了一个处理器和一个接口电路。多屏交互的装置1600可以包括其他数目的处理器和接口电路。

本申请中，多屏交互的装置1600具体实现过程为：接口电路1602用于获取传感信息，该传感信息包括手势信息；处理器1601用于根据手势信息，触发第一显示屏显示第一界面图像，该第一界面图像包括子图像，该子图像的移动趋势与手势信息相关联；以及触发该子图像显示于第二显示屏。

其中，接口电路1602用于与终端的其他组件连通，例如存储器或其他处理器。处理器1601用于通过接口电路1602与其他组件进行信号交互。接口电路1602可以是处理器1601的输入/输出接口。

例如，处理器1601通过接口电路1602读取与之耦合的存储器中的计算机程序或指令，并译码和执行这些计算机程序或指令。应理解，这些计算机程序或指令可包括上述终端功能程序，也可以包括上述应用在终端内的多屏交互的装置的功能程序。当相应功能程序被处理器1601译码并执行时，可以使得终端或在终端内的多屏交互的装置实现本申请实施例所提供的多屏交互的方法中的方案。

可选的，这些终端功能程序存储在多屏交互的装置1600外部的存储器中。当上述终端功能程序被处理器1601译码并执行时，存储器中临时存放上述终端功能程序的部分或全部内容。

可选的，这些终端功能程序存储在多屏交互的装置1600内部的存储器中。当多屏交互的装置1600内部的存储器中存储有终端功能程序时，多屏交互的装置1600可被设置在本申请实施例的终端中。

可选的，这些终端功能程序的部分内容存储在多屏交互的装置1600外部的存储器中，这些终端功能程序的其他部分内容存储在多屏交互的装置1600内部的存储器中。

应理解，图15至图16任一所示的多屏交互的装置可以互相结合，图1至图2、图4至图12任一所示的多屏交互的装置以及各可选实施例相关设计细节可互相参考，也可以参考图10至图12任一所示的多屏交互的方法以及各可选实施例相关设计细节。此处不再重复赘述。

应理解，图3所示的多屏交互的方法以及各可选实施例，图15至图16任一所示的多屏交互的装置以及各可选实施例，不仅可以用于在拍摄中处理视频或图像，还可以用于处理已经拍摄完成的视频或图像。本申请不做限定。

本申请提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。

本申请提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

此外，本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digitalversatiledisc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

在上述实施例中，图15中多屏交互装置1500可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

应当理解的是，在本申请实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者接入网设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种多屏交互的方法，包括：

获取传感信息，所述传感信息包括手势信息；

根据所述手势信息，触发第一显示屏显示第一界面图像，所述第一界面图像包括子图像和位置信息，所述子图像的移动趋势与所述手势信息相关联；所述位置信息为其它可显示所述子图像的至少一个显示屏标识，以及所述至少一个显示屏相对于所述第一显示屏的方位信息；所述位置信息显示在所述第一显示屏边缘位置上；

触发所述子图像显示于第二显示屏；

其特征在于，所述传感信息包括摄像头、雷达、声音传感器、触摸屏中的至少一个所获取的传感信息。

2.根据权利要求1所述的方法，所述位置信息为其它可显示所述子图像的至少一个显示屏标识，其特征在于，所述显示屏标识包括文字信息，所述文字信息指示所述第二显示屏。

3.根据权利要求1或2所述的方法，获取所述传感信息，其特征在于，根据所述第一显示屏所处的位置，获取对应位置的传感信息。

4.根据权利要求1-3中任一项所述的方法，所述第一界面包括子图像和位置信息，其特征在于，所述子图像包括当前时刻所述第一显示屏上显示的整个界面截成的一张图像。

5.根据权利要求4所述的方法，其特征在于，所述子图像显示在所述第一显示屏的中间位置。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述位置信息按照所述至少一个显示屏相对于所述第一显示屏的方位信息显示在所述第一显示屏边缘位置上。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述传感信息包括在预设时间内的多个手势信息。

8.一种多屏交互的装置，包括：

收发单元，用于获取传感信息，所述传感信息包括手势信息；

所述收发单元包括摄像头、雷达、声音传感器、触摸屏中的至少一种

处理单元，用于根据所述手势信息，触发第一显示屏显示第一界面图像，所述第一界面图像包括子图像和位置信息，所述子图像的移动趋势与所述手势信息相关联；所述位置信息为其它可显示所述子图像的至少一个显示屏标识，以及所述至少一个显示屏相对于所述第一显示屏的方位信息；所述位置信息显示在所述第一显示屏边缘位置上；

触发所述子图像显示于第二显示屏。

9.根据权利要求8所述的装置，其特征在于，所述显示屏标识包括文字信息，所述文字信息指示所述第二显示屏。

10.根据权利要求8或9所述的装置，其特征在于，所述位置信息按照所述至少一个显示屏相对于所述第一显示屏的方位信息显示在所述第一显示屏边缘位置上。