CN115794019A - 投影方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种投影方法、装置、电子设备和可读存储介质，属于通信技术领域。该方法应用于第一设备，所述第一设备可展示虚拟显示区域，所述虚拟显示区域包括预设区域，所述第一设备与第二设备通信连接，该包括：接收所述第二设备在所述预设区域的第一输入；响应于所述第一输入，将所述第二设备的显示内容投影到所述虚拟显示区域。

Description

投影方法、装置、电子设备和可读存储介质

技术领域

本申请属于通信技术领域，具体涉及一种投影方法、装置、电子设备和可读存储介质。

背景技术

随着智能终端设备，例如智能眼镜的快速发展，目前出现增强现实(AugmentedReality，AR)、混合现实(Mixer Reality，MR)等新形态和新技术的智能眼镜。AR智能眼镜看到的场景和人物部分为真、部分为假，是把虚拟的信息带入到现实世界中，MR智能眼镜则结合了虚拟现实技术(Virtual Reality，VR)和AR技术。

AR智能眼镜和MR设备能够在一定程度上实现用户的智能终端与虚拟画面的交互操作，但是需要用户首先进入预设界面，然后进行手动选择和配对设置，实现智能终端和智能眼镜互连，然后才能将需交互的数据内容投影到互连后的智能眼镜上，投影操作流程繁琐复杂。对于用户而言，增强现实的效果不够逼真，如何简化投影流程，让“增强现实”更加现实，是目前需要解决的技术问题。

发明内容

本申请实施例的目的是提供一种投影方法、装置、电子设备和可读存储介质，能够解决现有智能设备的增强现实效果不够逼真的问题。

第一方面，本申请实施例提供了一种投影方法，应用于第一设备，所述第一设备可展示虚拟显示区域，所述虚拟显示区域包括预设区域，所述第一设备与第二设备通信连接，所述投影方法包括：接收所述第二设备在所述预设区域的第一输入；响应于所述第一输入，将所述第二设备的显示内容投影到所述虚拟显示区域。

第二方面，本申请实施例提供了一种投影装置，应用于第一设备，所述第一设备可展示虚拟显示区域，所述虚拟显示区域包括预设区域，所述第一设备与第二设备通信连接，所述投影装置包括：接收模块，用于接收所述第二设备在所述预设区域的第一输入；投影模块，用于响应于所述第一输入，将所述第二设备的显示内容投影到所述虚拟显示区域。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，投影方法应用于第一设备，第一设备可展示虚拟显示区域，所述虚拟显示区域包括预设区域，所述第一设备与第二设备通信连接，通过接收所述第二设备在所述预设区域的第一输入；响应于所述第一输入，将所述第二设备的显示内容投影到所述虚拟显示区域，由此通过采用真实第二设备触碰第一设备的虚拟显示区域的交互操作方式，即可直接将第二设备的显示内容在第二设备上进行投影，很大程度地简化了投影流程，提高了设备之间的交互效率，进而让第一设备的“增强现实”更加现实，使得第一设备的用户在虚拟投影画面中感受到更真实的体验，提升用户使用第一设备的体验。

附图说明

图1是本申请实施例的投影方法的流程示意图。

图2是本申请实施例的投影方法的应用场景示意图。

图3是本申请实施例的第二设备的用户操作示意图。

图4是本申请实施例的投影系统的结构示意图。

图5是本申请实施例的投影装置的结构示意图。

图6是本申请实施例的电子设备的结构示意图。

图7是实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的投影方法和装置、系统、电子设备进行详细地说明。

在本申请一个实施例中，投影方法应用于第一设备，第一设备可展示虚拟显示区域，虚拟显示区域包括预设区域，第一设备与第二设备通信连接，投影方法包括：接收第二设备在预设区域的第一输入；响应于第一输入，将第二设备的显示内容投影到虚拟显示区域。

现在参考图1，图1是本申请实施例的投影方法的流程示意图，该实施例中投影方法应用于第一设备。

第一设备可以是智能眼镜，例如AR智能眼镜，或者MR智能眼镜，通过对应的增强现实技术，投影出虚拟显示区域以显示给佩戴智能眼镜的用户，例如虚拟显示区域对应显示有虚拟电脑画面或者其他模式的虚拟画面，用户可以通过智能眼镜或者操作与智能眼镜关联的终端设备，对虚拟显示区域进行操作。

虚拟显示区域的预设区域是用于触发第一设备执行投影操作的区域，第一设备执行投影操作是由第二设备在预设区域的输入触发的。第二设备可以是移动电子设备，例如终端设备。

如图1所示，本申请实施例的投影方法包括以下步骤102至步骤104。

步骤102，接收第二设备在预设区域的第一输入。

第一输入是持有第二设备的用户，通过第二设备对第一设备展示的虚拟显示区域上预设区域的操作，例如第二设备触碰第一设备的预设区域的操作。

步骤104，响应于第一输入，将第二设备的显示内容投影到虚拟显示区域。

也就是说，存在第二设备在第一设备的预设区域进行触碰的情况下，即表示手持第二设备的用户想要将第二设备的显示内容传输到第一设备，并在第一设备的虚拟显示区域进行投影。则响应该触碰操作，将第二设备的显示内容投影到第一设备的虚拟显示区域。

如果第二设备在第一设备的虚拟显示区域存在输入，但是输入并非存在于预设区域，则不执行上述投影操作。

可选地，第一设备设置有摄像头，接收第二设备在预设区域的第一输入之前，还包括：通过摄像头采集第二设备在进行目标输入时虚拟显示区域的视频帧；根据视频帧识别出第二设备在虚拟显示区域进行目标输入时的实际位置；确定实际位置是否落在预设区域；在实际位置落在预设区域的情况下，确定目标输入为预设区域的第一输入。

在上述实施例中，通过第一设备的摄像头监测是否存在第二设备对第一设备的预设区域的触碰操作。

第一设备的摄像头监测第一设备投影的虚拟显示区域，是为了监测用户在虚拟显示区域的操作，以确定是否需要响应于操作进行用户互动。

对于例如智能眼镜的第一设备，可以在智能眼镜的一侧或两侧设置有摄像头，通过摄像头采集虚拟显示区域的视频帧，并根据视频帧的图像识别第二设备是否与第一设备的虚拟显示区域发生触碰，以及发生触碰时的区域是否为预设区域。

可选地，根据视频帧识别出第二设备在虚拟显示区域进行目标输入时的实际位置，包括：通过即时定位与地图构建SLAM算法提取视频帧中的第二设备的特征、虚拟显示区域的特征和第二设备相对于虚拟显示区域的位置变化特征；通过将第二设备的特征和位置变化特征输入神经网络识别模型，识别出第二设备是否操作虚拟显示区域中的实际位置，神经网络识别模型是基于包括第二设备特征和位置变化特征的样本数据和第二设备是否操作虚拟显示区域中的目标位置的标签训练得到的。

同步定位和制图(Simultaneous Localization and Mapping，SLAM)算法提取物体典型特性，比如第二设备的特征数据集、虚拟显示区域的特征数据集，SLAM算法也会提取到第二设备相对于虚拟显示区域位置变化的位置变化特征，将这些特征输入已训练好的神经网络识别模型进行识别，从而判断是否存在第二设备触碰虚拟显示区域的动作，以及第二设备触碰的虚拟显示区域的实际位置。

在识别到第二设备与虚拟显示区域发生触碰的情况下，进一步确定触碰操作对应的实际位置是否落在虚拟显示区域的预设区域。

可选地，确定实际位置是否落在预设区域，包括：确定实际位置相对于第一设备的第一方位，方位包括方向和三维坐标；将第一方位与预设的第二方位进行比对，第二方位为预设区域上的预设位置相对于第一设备的方位；在第一方位的方向与第二方位的方向之间的角度差值满足第一角度阈值、且第一方位的三维坐标与第二方位的三维坐标之间的坐标差值满足第一坐标阈值的情况下，确定实际位置落在预设区域。

在该实施例中，预设位置可以是预设区域中的某个参考点位置，例如预设区域的中心点位置。第二方位为该参考点位置相当于第一设备的方位，即该参考点的三维坐标以及相对于第一设备的方向角，参考点周边的预设范围内都视作预设区域。

在确定第二设备在虚拟显示区域进行输入的实际位置后，通过将该实际位置相对于第一设备的第一方位与该参考点位置相对于第一设备的第二方位进行比对，可确定第一方位与第二方位之间的坐标差和角度差，如果坐标差和角度差均没有超出参考点与预设区域内其他位置点的最大差值，即预设坐标阈值和预设角度阈值，则可以判断该实际位置落在预设区域内，也就是判断第二设备对第一设备的预设区域进行了第一输入；否则，判断第二设备没有对第一设备的预设区域进行第一输入。

预设区域上的预设位置相对于第一设备的第二方位为事先已知的，实际位置相对于第一设备的第一方位为第一设备在虚拟显示区域进行输入时检测确定的。

可选地，确定实际位置相对于第一设备的第一方位，包括：基于实际位置在第一设备的两个摄像头对应视图上成像的横向坐标之间的视差与实际位置到成像平面的距离，确定实际位置相对于第一设备的第一方位。

利用双目测距算法，确定第二设备触碰虚拟显示区域的位置相对于第一设备的方位，在该实施例中，第一设备的左、右两侧各设置有一个摄像头，触碰位置会分别在两个摄像头对应视图上成像，计算触碰位置在两个成像视图的横向坐标之间的视差，并结合触碰位置到成像平面的距离，可以计算出触碰位置相对于第一设备的方位。

预设区域是预先设置用于第二设备触发数据交互操作进行显示内容投影的区域，因此预设区域上预设位置相对于第一设备的方位是已知的。当然，预设位置相对于第一设备的方位的也可以通过上述双目测距算法确定。

如图2所示，在佩戴智能眼镜20(即，第一设备)的用户手持终端设备10(即，第二设备)，并朝向智能眼镜20投影的虚拟显示区域A中的预设区域B执行“碰一碰”的操作时，通过智能眼镜20上的摄像头22，可以识别到终端设备10触碰虚拟显示区域A中预设区域B的这一动作，也即智能眼镜20可以判定用户请求将终端设备10的显示内容投影到智能眼镜20的虚拟显示区域A。

在通过上述步骤识别到第二设备触碰第一设备的虚拟显示区域中预设区域之后，则在步骤104中，可响应于第一输入，将第二设备的显示内容投影到第一设备的虚拟显示区域。在投影之前，第一设备需要识别出进行第一输入的第二设备，并与第二设备进行通信交互，以接收第一设备需要投影的显示内容。

第一设备周边可能存在多个第二设备，第一设备需要从周边的各第二设备中识别出触碰第一设备预设区域的实际第二设备。

可选地，响应于第一输入，将第二设备的显示内容投影到虚拟显示区域之前，还包括：确定第一设备的预设距离内的各设备分别相对于第一设备的第三方位；将各第三方位的方向分别与第二方位的方向进行比对，以及将各第三方位的三维坐标分别与第二方位的三维坐标进行比对；在存在设备的第三方位的方向与第二方位的方向之间的角度差值满足第二角度阈值、且第三方位的三维坐标与第二方位的三维坐标之间的坐标差值满足第二坐标阈值的情况下，从各设备中识别出第二设备。

识别出在第一设备的预设区域进行第一输入的第二设备，可以通过第二设备相对于第一设备的方位来实现。

可选地，确定第一设备的预设距离内的各设备分别相对于第一设备的第三方位，包括：通过超带宽UWB定位技术，确定第一设备的预设距离内的各设备分别相对于第一设备的第三方位。

超宽带(Ultra Wide Band，UWB)可以实现室内厘米级别精度定位，通过UWB技术可以分别实时识别多个设备与第一设备的位置方位。

第一设备的预设距离内可以是UWB基站能够覆盖的距离，并且第一设备和各设备均开启UWB通信，由此通过UWB通信能够实现互相连通。当第一设备识别到存在设备触碰预设区域后，则触发第一设备通过UWB定位技术寻找周围的设备，并计算各设备相对于第一设备的的方位，包括三维坐标和方向。

然后，将各设备相对于第一设备的第三方位，分别与预设的第二方位，也就是上述第一设备的预设区域上的预设位置相对于第一设备的方位进行比对，即，将各第三方位的方向分别与第二方位的方向进行比对，以及将各第三方位的三维坐标分别与第二方位的三维坐标进行比对，从而计算出第二方位与各设备对应的第三方位之间的角度差和三维坐标差。在上述角度差和三维坐标差均满足对应的预设阈值的情况下，表示存在某设备的第三方位与第二方位很接近，则可以判断该设备即是触碰虚拟显示区域中预设区域的第二设备，从而识别出在预设区域进行第一输入的第二设备。

通过UWB技术，可以实现第二设备的准确识别，使得后续第二设备的显示内容数据可以准确传输到第一设备上，而不是其他非指定的设备上。

可选地，在步骤104中，响应于第一输入，将第二设备的显示内容投影到虚拟显示区域，包括：响应于第一输入，向第二设备发送通知，以触发第二设备发送显示内容对应的数据；接收数据并投影到虚拟显示区域。

在识别出第二设备后，第一设备则可以与该第二设备进行数据交互。

第一设备向对应识别出的第二设备发送通知，第二设备接收到通知则知道当前可以将显示内容投影到第一设备上，从而可以向第一设备发送需要投影的显示内容数据。第一设备和第二设备之间的交互可以通过UWB通信或WIFI通信传输数据。

如图4所示，第二设备10和第一设备20上均设置有UWB通信接口和WIFI通信接口，在对应通信接口开启的情况下，二者之间可以通过对应模式的UWB或WIFI通信，实现数据交互。

第一设备在接收到第二设备传输的显示内容数据后，可以根据第二设备选择执行的数据交互模式，对应将显示内容数据投影到虚拟显示区域或分享给第一设备。当然，第二设备也可以不选择数据交互模式，在第二设备执行例如碰一碰的操作之后，即直接将第二设备传输的显示内容数据投影到第一设备的虚拟显示区域。

在存在多种数据交互模式的情况下，第二设备可以选择确定当前需要执行的数据交互模式，包括数据投屏模式和数据分享模式。如果第二设备选择数据投屏模式，则第一设备在接收到对应的显示内容数据后，将数据投影到虚拟显示区域。如果第二设备选择数据分享模式，则第一设备在接收到对应的显示内容数据后，将数据进行保存。

用户可以通过第二设备的用户界面(UI)的操作界面选择对应的数据交互模式。如图3所示，用户通过点击UI操作界面的“分享”或“投屏”控件，来确定通过触碰预设区域所触发的数据交互模式或功能。例如图3的UI操作界面显示了图片12后，用户选择了“分享”控件，则确定数据交互模式为数据分享模式，从而将图片12传输给第一设备进行保存；若用户选择了“投屏”控件，则确定数据交互模式为数据投票模式，从而将图片12的显示内容投影到第一设备的虚拟显示区域。

如此，通过第二设备10触碰第一设备的虚拟显示区域的预设区域B的操作，可将第二设备10上显示的图片12传输到第一设备20，实现将图片12投影到第一设备20的虚拟显示区域。

在本申请实施例中，投影方法应用于第一设备，第一设备可展示虚拟显示区域，虚拟显示区域包括预设区域，第一设备与第二设备通信连接，通过接收第二设备在预设区域的第一输入；响应于第一输入，将第二设备的显示内容投影到虚拟显示区域，由此通过采用真实第二设备触碰第一设备的虚拟显示区域的交互操作方式，即可直接将第二设备的显示内容在第二设备上进行投影，很大程度地简化了投影流程，提高了设备之间的交互效率，进而让第一设备的“增强现实”更加现实，使得第一设备的用户在虚拟投影画面中感受到更真实的体验，提升用户使用第一设备的体验。

本申请实施例提供的投影方法，执行主体可以为投影装置。本申请实施例中以投影装置执行投影方法为例，说明本申请实施例提供的投影装置。

如图5所示，本申请实施例提供了一种投影装置800，应用于第一设备，第一设备可展示虚拟显示区域，虚拟显示区域包括预设区域，第一设备与第二设备通信连接，投影装置包括：接收模块820，用于接收第二设备在预设区域的第一输入；投影模块840，用于响应于第一输入，将第二设备的显示内容投影到虚拟显示区域。

可选地，第一设备设置有摄像头，投影装置800还包括：确定模块，用于在接收第二设备在预设区域的第一输入之前，通过摄像头采集第二设备在进行目标输入时虚拟显示区域的视频帧；根据视频帧识别出第二设备在虚拟显示区域进行目标输入时的实际位置；确定实际位置是否落在预设区域；在实际位置落在预设区域的情况下，确定目标输入为预设区域的第一输入。

可选地，确定模块，具体用于：确定实际位置相对于第一设备的第一方位，方位包括方向和三维坐标；将第一方位与预设的第二方位进行比对，第二方位为预设区域上的预设位置相对于第一设备的方位；在第一方位的方向与第二方位的方向之间的角度差值满足第一角度阈值、且第一方位的三维坐标与第二方位的三维坐标之间的坐标差值满足第一坐标阈值的情况下，确定实际位置落在预设区域。

可选地，确定模块，具体用于：通过即时定位与地图构建SLAM算法提取视频帧中的第二设备的特征、虚拟显示区域的特征和第二设备相对虚拟显示区域的位置变化特征；通过将第二设备的特征和位置变化特征输入神经网络识别模型，识别出第二设备是否操作虚拟显示区域中的实际位置，神经网络识别模型是基于包括第二设备特征和位置变化特征的样本数据和第二设备是否操作虚拟显示区域中的目标位置的标签训练得到的。

可选地，确定模块，具体用于：基于实际位置在第一设备的两个摄像头对应视图上成像的横向坐标之间的视差与实际位置到成像平面的距离，确定实际位置相对第一设备的第一方位。

可选地，投影装置800还包括：识别模块，用于在响应于第一输入，将第二设备的显示内容投影到虚拟显示区域之前，确定第一设备的预设距离内的各设备分别相对于第一设备的第三方位；将各第三方位的方向分别与第二方位的方向进行比对，以及将各第三方位的三维坐标分别与第二方位的三维坐标进行比对；在存在设备的第三方位的方向与第二方位的方向之间的角度差值满足第二角度阈值、且第三方位的三维坐标与第二方位的三维坐标之间的坐标差值满足第二坐标阈值的情况下，从各设备中识别出第二设备。

可选地，识别模块，具体用于：通过超带宽UWB定位技术，确定第一设备的预设距离内的各设备分别相对第一设备的第三方位。

可选地，投影模块840，具体用于：响应于第一输入，向第二设备发送通知，以触发第二设备发送显示内容对应的数据；接收数据并投影到虚拟显示区域。

在本申请实施例中，投影装置应用于第一设备，第一设备可展示虚拟显示区域，虚拟显示区域包括预设区域，第一设备与第二设备通信连接，通过接收第二设备在预设区域的第一输入；响应于第一输入，将第二设备的显示内容投影到虚拟显示区域，由此通过采用真实第二设备触碰第一设备的虚拟显示区域的交互操作方式，即可直接将第二设备的显示内容在第二设备上进行投影，很大程度地简化了投影流程，提高了设备之间的交互效率，进而让第一设备的“增强现实”更加现实，使得第一设备的用户在虚拟投影画面中感受到更真实的体验，提升用户使用第一设备的体验。

本申请实施例中的投影装置可以是电子设备，也可以是电子设备中的部件，例如集成电路、或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为个人计算机(personal computer，PC)等，本申请实施例不作具体限定。

本申请实施例中的投影装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的投影装置能够实现图1至图3的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图4所示，本申请实施例还提供一种投影系统100，包括上述任一实施例中的第一设备20和第二设备10。

可选地，如图6所示，本申请实施例还提供一种电子设备900，包括处理器940和存储器920，存储器920上存储有可在处理器940上运行的程序或指令，该程序或指令被处理器940执行时实现上述投影方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，电子设备1000可展示虚拟显示区域，虚拟显示区域包括预设区域，电子设备1000与第二设备通信连接。

用户输入单元1007，用于接收第二设备在预设区域的第一输入。

处理器1010，用于响应于第一输入，将第二设备的显示内容投影到虚拟显示区域。

可选地，该电子设备1000设置有摄像头，处理器1010还用于接收第二设备在预设区域的第一输入之前，通过摄像头采集第二设备在进行目标输入时虚拟显示区域的视频帧；根据视频帧识别出第二设备在虚拟显示区域进行目标输入时的实际位置；确定实际位置是否落在预设区域；在实际位置落在预设区域的情况下，确定目标输入为预设区域的第一输入。

可选地，处理器1010，具体用于：确定实际位置相对于第一设备的第一方位，方位包括方向和三维坐标；将第一方位与预设的第二方位进行比对，第二方位为预设区域上的预设位置相对于第一设备的方位；在第一方位的方向与第二方位的方向之间的角度差值满足第一角度阈值、且第一方位的三维坐标与第二方位的三维坐标之间的坐标差值满足第一坐标阈值的情况下，确定实际位置落在预设区域。

可选地，处理器1010，具体用于：通过即时定位与地图构建SLAM算法提取视频帧中的第二设备的特征、虚拟显示区域的特征和第二设备相对虚拟显示区域的位置变化特征；通过将第二设备的特征和位置变化特征输入神经网络识别模型，识别出第二设备是否操作虚拟显示区域中的实际位置，神经网络识别模型是基于包括第二设备特征和位置变化特征的样本数据和第二设备是否操作虚拟显示区域中的目标位置的标签训练得到的。

可选地，处理器1010，具体用于：基于实际位置在第一设备的两个摄像头对应视图上成像的横向坐标之间的视差与实际位置到成像平面的距离，确定实际位置相对第一设备的第一方位。

可选地，处理器1010，还用于在响应于第一输入，将第二设备的显示内容投影到虚拟显示区域之前，确定第一设备的预设距离内的各设备分别相对于第一设备的第三方位；将各第三方位的方向分别与第二方位的方向进行比对，以及将各第三方位的三维坐标分别与第二方位的三维坐标进行比对；在存在设备的第三方位的方向与第二方位的方向之间的角度差值满足第二角度阈值、且第三方位的三维坐标与第二方位的三维坐标之间的坐标差值满足第二坐标阈值的情况下，从各设备中识别出第二设备。

可选地，处理器1010，具体用于：通过超带宽UWB定位技术，确定第一设备的预设距离内的各设备分别相对第一设备的第三方位。

可选地，处理器1010，具体用于：响应于第一输入，向第二设备发送通知，以触发第二设备发送显示内容对应的数据；接收数据并投影到虚拟显示区域。

在本申请实施例中，电子设备可展示虚拟显示区域，虚拟显示区域包括预设区域，第一设备与第二设备通信连接，通过接收第二设备在预设区域的第一输入；响应于第一输入，将第二设备的显示内容投影到虚拟显示区域，由此通过采用真实第二设备触碰第一设备的虚拟显示区域的交互操作方式，即可直接将第二设备的显示内容在第二设备上进行投影，很大程度地简化了投影流程，提高了设备之间的交互效率，进而让第一设备的“增强现实”更加现实，使得第一设备的用户在虚拟投影画面中感受到更真实的体验，提升用户使用第一设备的体验。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。

处理器1010可包括一个或多个处理单元；可选地，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述投影方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述投影方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述投影方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种投影方法，其特征在于，应用于第一设备，所述第一设备可展示虚拟显示区域，所述虚拟显示区域包括预设区域，所述第一设备与第二设备通信连接，所述投影方法包括：

接收所述第二设备在所述预设区域的第一输入；

响应于所述第一输入，将所述第二设备的显示内容投影到所述虚拟显示区域。

2.根据权利要求1所述的方法，其特征在于，所述第一设备设置有摄像头，所述接收所述第二设备在所述预设区域的第一输入之前，还包括：

通过所述摄像头采集所述第二设备在进行目标输入时所述虚拟显示区域的视频帧；

根据所述视频帧识别出所述第二设备在所述虚拟显示区域进行所述目标输入时的实际位置；

确定所述实际位置是否落在所述预设区域；

在所述实际位置落在所述预设区域的情况下，确定所述目标输入为所述预设区域的所述第一输入。

3.根据权利要求2所述的方法，其特征在于，所述确定所述实际位置是否落在所述预设区域，包括：

确定所述实际位置相对于所述第一设备的第一方位，方位包括方向和三维坐标；

将所述第一方位与预设的第二方位进行比对，所述第二方位为所述预设区域上的预设位置相对于所述第一设备的方位；

在所述第一方位的方向与所述第二方位的方向之间的角度差值满足第一角度阈值、且所述第一方位的三维坐标与所述第二方位的三维坐标之间的坐标差值满足第一坐标阈值的情况下，确定所述实际位置落在所述预设区域。

4.根据权利要求2所述的方法，其特征在于，所述根据所述视频帧识别出所述第二设备在所述虚拟显示区域进行所述目标输入时的实际位置，包括：

通过即时定位与地图构建SLAM算法提取所述视频帧中的第二设备的特征、虚拟显示区域的特征和所述第二设备相对于所述虚拟显示区域的位置变化特征；

通过将所述第二设备的特征和所述位置变化特征输入神经网络识别模型，识别出所述第二设备是否操作所述虚拟显示区域中的所述实际位置，所述神经网络识别模型是基于包括第二设备特征和位置变化特征的样本数据和第二设备是否操作所述虚拟显示区域中的目标位置的标签训练得到的。

5.根据权利要求3所述的方法，其特征在于，所述确定所述实际位置相对于所述第一设备的第一方位，包括：

基于所述实际位置在所述第一设备的两个摄像头对应视图上成像的横向坐标之间的视差与所述实际位置到成像平面的距离，确定所述实际位置相对于所述第一设备的第一方位。

6.根据权利要求3所述的方法，其特征在于，所述响应于所述第一输入，将所述第二设备的显示内容投影到所述虚拟显示区域之前，还包括：

确定所述第一设备的预设距离内的各设备分别相对于所述第一设备的第三方位；

将各第三方位的方向分别与所述第二方位的方向进行比对，以及将各第三方位的三维坐标分别与所述第二方位的三维坐标进行比对；

在存在设备的第三方位的方向与所述第二方位的方向之间的角度差值满足第二角度阈值、且第三方位的三维坐标与所述第二方位的三维坐标之间的坐标差值满足第二坐标阈值的情况下，从各设备中识别出所述第二设备。

7.根据权利要求6所述的方法，其特征在于，所述确定所述第一设备的预设距离内的各设备分别相对于所述第一设备的第三方位，包括：

通过超带宽UWB定位技术，确定所述第一设备的预设距离内的各设备分别相对于所述第一设备的第三方位。

8.一种投影装置，其特征在于，应用于第一设备，所述第一设备可展示虚拟显示区域，所述虚拟显示区域包括预设区域，所述第一设备与第二设备通信连接，所述投影装置包括：

接收模块，用于接收所述第二设备在所述预设区域的第一输入；

投影模块，用于响应于所述第一输入，将所述第二设备的显示内容投影到所述虚拟显示区域。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7中任一项所述的投影方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7中任一项所述的投影方法的步骤。

Images