发明内容
本申请实施例提供了一种无接触的操作方法、装置、服务器和电子设备,本申请实施例还提供一种计算机可读存储介质,以实现用户不接触待操作设备也能对待操作设备进行操作。
第一方面,本申请实施例提供一种无接触的操作方法,包括:电子设备检测到用户对电子设备上的目标应用的第一操作;响应于上述第一操作,电子设备通过上述目标应用获取待操作设备的图像。然后,电子设备将上述待操作设备的图像发送给上述目标应用对应的服务器。
服务器根据上述待操作设备的图像获取上述待操作设备的操作模型,并将上述待操作设备的操作模型发送给上述电子设备。
接下来,电子设备展示上述操作模型对应的用户操作界面,在检测到上述用户在上述用户操作界面中的第二操作之后,响应于上述第二操作,将上述第二操作对应的操作事件发送给上述服务器;最后服务器处理上述第二操作对应的操作事件。
上述无接触的操作方法可以实现用户不接触待操作设备也能对待操作设备进行操作,避免了病毒通过物理介质传播的风险,当待操作设备物理按键损坏或不灵,或者操作不灵敏的时候,用户也可以在自己使用的电子设备上操作上述待操作设备,并且用户在自己使用的电子设备上对待操作设备进行操作,可以同时多人操作上述待操作设备,提高了用户体验。
其中一种可能的实现方式中,服务器根据待操作设备的图像获取上述待操作设备的操作模型可以为:服务器根据上述待操作设备的图像获取所述待操作设备的设备标识,根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
其中一种可能的实现方式中,上述待操作设备的图像中可以包括上述待操作设备的电子信息码;则服务器根据上述待操作设备的图像获取上述待操作设备的设备标识可以为:服务器对上述图像中包括的上述待操作设备的电子信息码进行识别,获取上述待操作设备的设备标识。
其中一种可能的实现方式中,用户使用的电子设备检测到上述用户对目标应用的第一操作之后,电子设备还可以获取上述电子设备的位置信息,将上述电子设备的位置信息发送给上述目标应用对应的服务器。
其中一种可能的实现方式中,服务器根据上述待操作设备的图像获取上述待操作设备的设备标识可以为:服务器根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别,然后根据上述待操作设备的识别结果,获取上述待操作设备的设备标识。
第二方面,本申请实施例提供一种无接触的操作方法,包括:电子设备检测到用户对上述电子设备上的目标应用的第一操作;响应于上述第一操作,通过上述目标应用获取待操作设备的图像。然后,将上述待操作设备的图像发送给上述目标应用对应的服务器,接收上述服务器发送的上述待操作设备的操作模型;其中,上述待操作设备的操作模型是上述服务器根据上述待操作设备的图像获取的。
接下来,电子设备展示上述操作模型对应的用户操作界面,检测到上述用户在上述用户操作界面中的第二操作之后,响应于上述第二操作,将上述第二操作对应的操作事件发送给上述服务器,以供上述服务器处理上述第二操作对应的操作事件。
上述无接触的操作方法可以实现用户不接触待操作设备也能对待操作设备进行操作,避免了病毒通过物理介质传播的风险,当待操作设备物理按键损坏或不灵,或者操作不灵敏的时候,用户也可以在自己使用的电子设备上操作上述待操作设备,并且用户在自己使用的电子设备上对待操作设备进行操作,可以同时多人操作上述待操作设备,提高了用户体验。
其中一种可能的实现方式中,电子设备通过上述目标应用获取待操作设备的图像可以为:电子设备通过上述目标应用调用上述电子设备中的摄像头,对上述待操作设备进行拍摄,获得上述待操作设备的图像;或者,通过上述目标应用调用上述电子设备中的摄像头,对上述待操作设备进行扫描,获得上述待操作设备的图像视觉稀疏点云。
其中一种可能的实现方式中,电子设备检测到用户对电子设备上的目标应用的第一操作之后,电子设备还可以获取上述电子设备的位置信息,然后将上述电子设备的位置信息发送给上述目标应用对应的服务器,以供上述服务器对上述待操作设备的图像中包括的待操作设备进行识别,根据上述待操作设备的识别结果和上述电子设备的位置信息,获取上述待操作设备的操作模型。
其中一种可能的实现方式中,接收上述服务器发送的上述待操作设备的操作模型之前,电子设备还可以接收上述服务器发送的至少两台待操作设备的设备标识,并显示上述至少两台待操作设备的设备标识。然后,电子设备可以获取上述用户选择的设备标识,将上述用户选择的设备标识发送给上述服务器;这样,接收服务器发送的上述待操作设备的操作模型可以为:接收上述服务器发送的用户选择的设备标识对应的操作模型。
其中一种可能的实现方式中,上述待操作设备可以为自动售货机;展示上述操作模型对应的用户操作界面之前,电子设备还可以接收上述服务器发送的上述自动售货机的库存信息。这样,展示上述操作模型对应的用户操作界面可以为:电子设备展示上述操作模型对应的用户操作界面,上述用户操作界面中包括上述自动售货机的库存信息。
其中一种可能的实现方式中,检测到用户在上述用户操作界面中的第二操作可以为:检测到上述用户在上述用户操作界面中选购商品的第二操作;则响应于上述第二操作,将上述第二操作对应的操作事件发送给上述服务器可以为:电子设备响应于上述第二操作,将上述用户购买所选择商品的订单提交给上述服务器,其中,上述订单中包括上述用户选择的支付渠道的信息。
第三方面,本申请实施例提供一种无接触的操作方法,包括:服务器接收电子设备发送的待操作设备的图像,其中,上述服务器为目标应用对应的服务器,上述待操作设备的图像是上述电子设备检测到使用上述电子设备的用户对目标应用的第一操作之后,通过上述目标应用获取的。然后,服务器根据上述待操作设备的图像获取上述待操作设备的操作模型;将上述待操作设备的操作模型发送给上述电子设备,以便上述电子设备展示上述操作模型对应的用户操作界面。
接下来,服务器接收电子设备发送的第二操作对应的操作事件,上述第二操作对应的操作事件是上述电子设备检测到上述用户在上述用户操作界面中的第二操作之后发送的;最后,服务器处理上述第二操作对应的操作事件。
上述无接触的操作方法可以实现用户不接触待操作设备也能对待操作设备进行操作,避免了病毒通过物理介质传播的风险,当待操作设备物理按键损坏或不灵,或者操作不灵敏的时候,用户也可以在自己使用的电子设备上操作上述待操作设备,并且用户在自己使用的电子设备上对待操作设备进行操作,可以同时多人操作上述待操作设备,提高了用户体验。
其中一种可能的实现方式中,根据上述待操作设备的图像获取上述待操作设备的操作模型可以为:根据上述待操作设备的图像获取上述待操作设备的设备标识,根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
其中一种可能的实现方式中,上述待操作设备的图像中包括上述待操作设备的电子信息码;根据上述待操作设备的图像获取上述待操作设备的设备标识可以为:服务器对上述图像中包括的上述待操作设备的电子信息码进行识别,获取上述待操作设备的设备标识。
其中一种可能的实现方式中,根据上述待操作设备的图像获取上述待操作设备的设备标识之前,服务器还可以接收上述电子设备发送的上述电子设备的位置信息;则根据上述待操作设备的图像获取上述待操作设备的设备标识可以为:服务器根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别;根据上述待操作设备的识别结果,获取上述待操作设备的设备标识。
其中一种可能的实现方式中,根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别可以为:服务器根据上述电子设备的位置信息,从预先保存的待操作设备的部署数据中,获取在上述电子设备的当前位置部署的待操作设备的图像模型、型号和所属的运营商;将上述待操作设备的图像与上述图像模型进行对比,获得上述图像中包括的待操作设备的型号和所属的运营商。则服务器根据上述待操作设备的识别结果,获取上述待操作设备的设备标识可以为:根据上述型号和所属的运营商,从上述部署数据中获取上述待操作设备的设备标识。
其中一种可能的实现方式中,根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别之后,如果在上述电子设备的当前位置识别到至少两台相同型号的待操作设备,则服务器还可以根据至少两台待操作设备的型号和所属的运营商,获取上述至少两台待操作设备的设备标识;将上述至少两台待操作设备的设备标识发送给上述电子设备,以供上述电子设备将上述至少两台待操作设备的设备标识显示给上述用户;然后,服务器接收上述电子设备发送的上述用户选择的待操作设备的设备标识,并将用户选择的设备标识对应的操作模型发送给上述电子设备。
其中一种可能的实现方式中,上述待操作设备可以为自动售货机,对上述待操作设备的图像中包括的待操作设备进行识别可以为:服务器在上述图像中确定上述自动售货机的商品放置区域;从上述图像中抠除上述商品放置区域的图像;或者,降低上述商品放置区域的图像的识别权重。
其中一种可能的实现方式中,接收上述电子设备发送的第二操作对应的操作事件之前,服务器还可以获取上述自动售货机的库存信息,并将上述自动售货机的库存信息发送给上述电子设备。
其中一种可能的实现方式中,服务器获取上述自动售货机的库存信息可以为:根据上述自动售货机的设备标识,从本地数据库中获取自动售货机的库存信息;或者,根据上述自动售货机的设备标识,从上述自动售货机对应的服务器获取上述自动售货机的库存信息。
第四方面,本申请实施例提供一种无接触的操作装置,该装置包含在电子设备中,该装置具有实现第二方面及第二方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,接收模块或单元、处理模块或单元、发送模块或单元等。
第五方面,本申请实施例提供一种无接触的操作装置,该装置包含在服务器中,该装置具有实现第三方面及第三方面的可能实现方式中服务器行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,接收模块或单元、处理模块或单元、发送模块或单元等。
第六方面,本申请实施例提供一种电子设备,包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中上述一个或多个计算机程序被存储在上述存储器中,上述一个或多个计算机程序包括指令,当上述指令被电子设备执行时,使得电子设备执行以下步骤:检测到用户对上述电子设备上的目标应用的第一操作;响应于上述第一操作,通过上述目标应用获取待操作设备的图像;将上述待操作设备的图像发送给上述目标应用对应的服务器;接收上述服务器发送的上述待操作设备的操作模型;其中,上述待操作设备的操作模型是上述服务器根据上述待操作设备的图像获取的;展示上述操作模型对应的用户操作界面;检测到上述用户对上述操作模型的第二操作之后,响应于上述第二操作,将上述第二操作对应的操作事件发送给上述服务器,以供上述服务器处理上述第二操作对应的操作事件。
其中一种可能的实现方式中,当上述指令被上述电子设备执行时,使得上述电子设备执行通过上述目标应用获取待操作设备的图像的步骤可以为:通过上述目标应用调用上述电子设备中的摄像头,对上述待操作设备进行拍摄,获得上述待操作设备的图像;或者,通过上述目标应用调用上述电子设备中的摄像头,对上述待操作设备进行扫描,获得上述待操作设备的图像视觉稀疏点云。
其中一种可能的实现方式中,当上述指令被上述电子设备执行时,使得上述电子设备执行用户使用的电子设备检测到上述用户对目标应用的第一操作的步骤之后,还执行以下步骤:获取上述电子设备的位置信息;将上述电子设备的位置信息发送给上述目标应用对应的服务器,以供上述服务器对上述待操作设备的图像中包括的待操作设备进行识别,根据上述待操作设备的识别结果和上述电子设备的位置信息,获取上述待操作设备的操作模型。
其中一种可能的实现方式中,当上述指令被上述电子设备执行时,使得上述电子设备执行接收上述服务器发送的上述待操作设备的操作模型的步骤之前,还执行以下步骤:接收上述服务器发送的至少两台待操作设备的设备标识;显示上述至少两台待操作设备的设备标识;获取上述用户选择的待操作设备的设备标识;将上述用户选择的待操作设备的设备标识发送给上述服务器;当上述指令被电子设备执行时,使得电子设备执行接收上述服务器发送的待操作设备的操作模型的步骤可以为:接收服务器发送的上述用户选择的设备标识对应的操作模型。
其中一种可能的实现方式中,上述待操作设备包括自动售货机;当上述指令被上述电子设备执行时,使得电子设备执行展示上述操作模型对应的用户操作界面的步骤之前,还执行以下步骤:接收上述服务器发送的上述自动售货机的库存信息;则上述电子设备执行展示上述操作模型对应的用户操作界面的步骤可以为:展示上述操作模型对应的用户操作界面,上述用户操作界面中包括上述自动售货机的库存信息。
其中一种可能的实现方式中,当上述指令被上述电子设备执行时,使得上述电子设备执行检测到所述用户在所述用户操作界面中的第二操作的步骤可以为:检测到上述用户在上述用户操作界面中选购商品的第二操作;则上述电子设备执行响应于上述第二操作,将上述第二操作对应的操作事件发送给上述服务器的步骤可以为:响应于上述第二操作,将上述用户购买所选择商品的订单提交给上述服务器,其中,上述订单中包括上述用户选择的支付渠道的信息。
第七方面,本申请实施例提供一种服务器,包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中上述一个或多个计算机程序被存储在上述存储器中,上述一个或多个计算机程序包括指令,当上述指令被服务器执行时,使得上述服务器执行以下步骤:接收电子设备发送的待操作设备的图像,其中,上述服务器为目标应用对应的服务器,上述待操作设备的图像是上述电子设备检测到使用上述电子设备的用户对目标应用的第一操作之后,通过上述目标应用获取的;根据上述待操作设备的图像获取上述待操作设备的操作模型;将上述待操作设备的操作模型发送给上述电子设备,以便上述电子设备展示上述操作模型对应的用户操作界面;接收上述电子设备发送的第二操作对应的操作事件,上述第二操作对应的操作事件是上述电子设备检测到上述用户在上述用户操作界面中的第二操作之后发送的;处理上述第二操作对应的操作事件。
其中一种可能的实现方式中,当上述指令被服务器执行时,使得上述服务器执行根据上述待操作设备的图像获取待操作设备的操作模型的步骤可以为:根据上述待操作设备的图像获取待操作设备的设备标识,根据上述待操作设备的设备标识获取待操作设备的操作模型。
其中一种可能的实现方式中,上述待操作设备的图像中包括上述待操作设备的电子信息码;当上述指令被服务器执行时,使得服务器执行根据上述待操作设备的图像获取上述待操作设备的设备标识的步骤可以为:对上述图像中包括的上述待操作设备的电子信息码进行识别,获取上述待操作设备的设备标识。
其中一种可能的实现方式中,当上述指令被上述服务器执行时,使得上述服务器执行根据上述待操作设备的图像获取上述待操作设备的设备标识之前,还执行以下步骤:接收上述电子设备发送的上述电子设备的位置信息;则上述服务器执行根据待操作设备的图像获取上述待操作设备的设备标识的步骤可以为:根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别;根据上述待操作设备的识别结果,获取上述待操作设备的设备标识。
其中一种可能的实现方式中,当上述指令被上述服务器执行时,使得上述服务器执行根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别的步骤可以为:根据上述电子设备的位置信息,从预先保存的待操作设备的部署数据中,获取在上述电子设备的当前位置部署的待操作设备的图像模型、型号和所属的运营商;将上述待操作设备的图像与上述图像模型进行对比,获得上述图像中包括的待操作设备的型号和所属的运营商;则服务器执行根据上述待操作设备的识别结果,获取上述待操作设备的设备标识的步骤可以为:根据上述型号和所属的运营商,从上述部署数据中获取上述待操作设备的设备标识。
其中一种可能的实现方式中,当上述指令被上述服务器执行时,使得上述服务器执行根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别的步骤之后,还执行以下步骤:如果在上述电子设备的当前位置识别到至少两台相同型号的待操作设备,则根据至少两台待操作设备的型号和所属的运营商,获取上述至少两台待操作设备的设备标识;将上述至少两台待操作设备的设备标识发送给上述电子设备,以供上述电子设备将上述至少两台待操作设备的设备标识显示给上述用户;接收上述电子设备发送的上述用户选择的待操作设备的设备标识;将上述用户选择的设备标识对应的操作模型发送给电子设备。
其中一种可能的实现方式中,上述待操作设备包括自动售货机,当上述指令被上述服务器执行时,使得服务器执行对上述待操作设备的图像中包括的待操作设备进行识别的步骤可以为:在上述图像中确定上述自动售货机的商品放置区域;从上述图像中抠除上述商品放置区域的图像;或者,降低上述商品放置区域的图像的识别权重。
其中一种可能的实现方式中,当上述指令被上述服务器执行时,使得服务器执行接收上述电子设备发送的第二操作对应的操作事件的步骤之前,还执行以下步骤:获取上述自动售货机的库存信息;将上述自动售货机的库存信息发送给电子设备。
其中一种可能的实现方式中,当上述指令被服务器执行时,使得上述服务器执行获取上述自动售货机的库存信息的步骤可以为:根据上述自动售货机的设备标识,从本地数据库中获取上述自动售货机的库存信息;或者,根据上述自动售货机的设备标识,从上述自动售货机对应的服务器获取上述自动售货机的库存信息。
应当理解的是,本申请的第四方面和第六方面与本申请的第二方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
应当理解的是,本申请的第五方面和第七方面与本申请的第三方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
第八方面,本申请提供一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行第二方面提供的方法。
第九方面,本申请提供一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行第三方面提供的方法。
第十方面,本申请提供一种计算机程序,当上述计算机程序被计算机执行时,用于执行第二方面提供的方法。
第十一方面,本申请提供一种计算机程序,当上述计算机程序被计算机执行时,用于执行第三方面提供的方法。
在一种可能的设计中,第十方面和第十一方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
自动售货机(也称自动售卖机)是商业自动化的常用设备,它不受时间和/或地点的限制,能节省人力、方便交易。但在发生传染病的情况下,用户通过自动售货机的物理按键或屏幕触控进行物理接触式的商品选择时,存在病毒通过物理介质传播的风险。另外,自动售货机存在物理按键损坏或不灵,或是下雨天在屏幕上操作不灵敏的问题,影响用户体验。
基于以上问题,本申请实施例提供一种无接触的操作方法,可以实现用户使用自动售货机时,能够进行无接触式购物。
本申请实施例提供的无接触的操作方法可以应用于电子设备,其中,上述电子设备可以为智能手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机 (ultra-mobile personal computer,UMPC)、上网本或个人数字助理(personal digitalassistant,PDA)等设备;本申请实施例对电子设备的具体类型不作任何限制,下面以电子设备为智能手机为例对电子设备的结构进行介绍。
示例性的,图1为本申请一个实施例提供的电子设备的结构示意图,如图1所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module, SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器 (digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S) 接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus, USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation, FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS 可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统 (satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode, OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled, MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP 还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193 中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP 加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2为本申请一个实施例提供的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
另外,本申请实施例提供的无接触的操作方法的实现不仅涉及电子设备侧,还涉及服务器侧。其中,上述服务器可以为云服务器或者普通的物理服务器,本申请实施例对服务器的具体类型不作任何限制。
示例性的,图3为本申请一个实施例提供的服务器的结构示意图,如图3所示,服务器300可以包括处理器310、存储器320、数据库330、I/O340和通信接口350;其中存储器320可以包括只读存储器(read-only memory,ROM)和随机存取存储器(random accessmemory,RAM)。
其中,处理器310、存储器320、数据库330、I/O340和通信接口350之间可以通过内部连接通路互相通信,传递控制和/或数据信号,该存储器320用于存储计算机程序,该处理器310用于从该存储器320中调用并运行该计算机程序。
上述处理器310可以和存储器320可以合成一个处理装置,更常见的是彼此独立的部件,处理器310用于执行存储器320中存储的程序代码。具体实现时,该存储器320也可以集成在处理器310中,或者,独立于处理器310。
应理解,图3所示的服务器300中的处理器310可以包括中央处理器(centralprocessing unit,CPU),还可以进一步包括其他类型的处理器,例如:图像处理器(graphics processing unit,GPU)等。
为了便于理解,本申请以下实施例将以具有图1和图2所示结构的电子设备,具有图 3所示结构的服务器为例,结合附图和应用场景,对本申请实施例提供的无接触的操作方法进行具体阐述。
图4为本申请一个实施例提供的应用场景的示意图,图4所示的应用场景中包括用户、自动售货机、自动售货机对应的服务器、目标应用、目标应用对应的服务器和支付服务器。
其中,用户:使用目标应用扫描自动售货机或对自动售货机进行拍照;
自动售货机:当有补货和/或出货行为时,向自动售货机对应的服务器同步货物库存信息;
自动售货机对应的服务器:可以为云服务器,记录某台自动售货机的库存信息,并在用户支付完成后,能够下发指令控制自动售货机出货;
目标应用:用户在智能手机等电子设备上进行扫描、拍照、选购商品和/或支付等操作的应用(application,APP),本应用场景中,上述目标应用可以为通用的具有拍照或扫描功能的APP,例如:增强现实引擎应用(augmented reality engine application,AREngine APP),或者扫一扫小程序等;本场景中,上述电子设备可以为具有图1和图2所示结构的电子设备100;
目标应用对应的服务器:对目标应用提供业务服务的云,以目标应用为AR EngineAPP 为例,上述目标应用对应的服务器可以为AR服务器,AR服务器也可以为云服务器;
支付服务器:用户能够进行账单支付的服务器,目标应用一般会集成支付软件开发工具包(software development kit,SDK)或使用网页(web)方式进行支付。
图5为本申请一个实施例提供的无接触的操作方法的流程图,本实施例对图4所示应用场景下的无接触的操作方法进行说明,如图5所示,上述无接触的操作方法可以包括:
步骤501,电子设备100通过AR Engine APP对自动售货机进行扫描,获取上述自动售货机的图像视觉稀疏点云。
其中,在逆向工程中通过测量仪器得到的物体外观表面的点数据集合称之为点云,通常使用三维坐标测量机所得到的点数量比较少,点与点的间距也比较大,该点云叫稀疏点云。本实施例中,电子设备100通过AR Engine APP对自动售货机进行扫描获得的自动售货机的点云为稀疏点云。
具体地,电子设备100中的AR Engine APP被打开之后的界面可以如图6所示,图6为本申请一个实施例提供的AR扫描界面的示意图,图6所示界面为AR Engine APP所展示的界面,上述界面中包括AR扫描图标61,用户点击AR扫描图标61之后,AR Engine APP可以调用电子设备100中的摄像头193,对上述自动售货机进行扫描,获得上述自动售货机的图像视觉稀疏点云。
步骤502,电子设备100采集电子设备100的位置信息,将上述电子设备100的位置信息和上述自动售货机的图像视觉稀疏点云发送给AR服务器。
具体地,电子设备100可以通过GPS传感器获取电子设备100当前所在的位置信息。
步骤503,AR服务器根据上述电子设备100的位置信息缩小识别范围,并根据上述图像视觉稀疏点云对自动售货机进行识别。
本实施例中,AR服务器可以为具有图3所示结构的服务器300,当采用图3所示的结构实现时,AR服务器的数据库330中存储有自动售货机的信息,上述自动售货机的信息包括:自动售货机的图像视觉稀疏点云、自动售货机的位置、自动售货机的设备标识、自动售货机的型号和自动售货机所属的运营商。
具体地,AR服务器可以根据上述电子设备100的位置信息,确定识别范围,然后从数据库330中获取位置在上述识别范围内的自动售货机的图像视觉稀疏点云,将电子设备100发送的图像视觉稀疏点云与数据库330中存储的自动售货机的图像视觉稀疏点云进行匹配,完成对自动售货机的识别。
步骤504,AR服务器根据上述自动售货机的识别结果,获取上述自动售货机的设备标识。
如上所述,AR服务器将电子设备100发送的图像视觉稀疏点云与数据库330中存储的自动售货机的图像视觉稀疏点云进行匹配,在获得与电子设备100发送的图像视觉稀疏点云相匹配的图像视觉稀疏点云之后,AR服务器可以从数据库330中获取上述相匹配的图像视觉稀疏点云对应的自动售货机的设备标识。
步骤505,AR服务器可以根据上述自动售货机的设备标识,向上述自动售货机对应的服务器上查询上述自动售货机的库存信息。
步骤506,AR服务器向电子设备100发送上述自动售货机的设备标识、库存信息和操作模型(包括2D模型或3D模型等)。
具体地,当采用图3所示的结构实现时,AR服务器的数据库330中还可以存储有多种型号的自动售货机的操作模型,上述多种型号的自动售货机可以属于相同或不同的运营商。在AR服务器获取上述自动售货机的设备标识之后,可以根据上述设备标识确定上述自动售货机的型号,进而可以获取该型号的自动售货机的操作模型。
本实施例中,AR服务器向电子设备100发送的操作模型可以为组成上述操作模型的数据,在AR服务器向电子设备100发送上述自动售货机的操作模型之后,电子设备100 可以展示上述自动售货机的操作模型对应的用户操作界面,上述操作模型对应的用户操作界面可以包括2D模型的用户操作界面和3D模型的用户操作界面,分别如图7(a)和图 7(b)所示,图7(a)为本申请一个实施例提供的2D模型的用户操作界面的示意图,图 7(b)为本申请另一个实施例提供的3D模型的用户操作界面的示意图。
从图7(a)可以看出,2D模型的用户操作界面中包括可选择商品的图片、价格和库存信息;从图7(b)可以看出,3D模型的用户操作界面中包括自动售货机的3D模型,图7(b)以大屏幕自动售货机为例,示出了大屏幕自动售货机的3D模型,3D模型的用户操作界面中选择商品的菜单与真实的大屏幕自动售货机一致,如图7(b)所示,71所示区域为大屏幕自动售货机的商品放置区域,72所示区域为大屏幕自动售货机的显示屏幕,72所示区域中显示大屏幕自动售货机的商品菜单,用户可以在72所示区域中选择所需的商品。
步骤507,用户选择商品并点击购买之后,电子设备100将用户所选择商品的订单发送到AR服务器,上述订单中会携带用户选择的支付渠道,如银行卡或第三方支付平台等。
举例来说,用户可以在图7(a)所示界面中,选择“汽水2”,以及点击“提交订单”,然后,电子设备100可以将用户购买“汽水2”的订单发送到AR服务器。
步骤508,AR服务器请求自动售货机对应的服务器创建订单。
步骤509,自动售货机对应的服务器创建订单,记录订单信息。
具体地,在创建订单时,自动售货机对应的服务器会使用支付渠道颁发的秘钥进行订单签名。
步骤510,自动售货机对应的服务器发送订单标识给AR服务器。
步骤511,AR服务器发送订单标识给电子设备100。
步骤512,用户选择支付方式(如信用卡、借记卡、余额等)进行支付,电子设备100获取用户的支付操作之后,向对应的支付服务器(一般通过对应支付渠道的SDK)创建支付订单并完成支付。
步骤513,电子设备100接收支付服务器发送的支付完成结果,并展示支付完成结果。
步骤514,支付服务器将支付完成结果,通知自动售货机对应的服务器。
其中,上述通知中会携带订单标识。
步骤515,自动售货机对应的服务器验证上述订单已经完成支付,发起出货指令。
步骤516,自动售货机弹出货物。
上述无接触的操作方法,可以减少用户和自动售货机的物理接触,减少病毒感染风险;对于已有的自动售货机,在物理按键、大屏幕损坏或不灵的场景下也能够完成购物;还可以减少自动售货机的制造成本,可以不需要按键或大屏幕,即对自动售货机来说,去掉信息输入操作所需要的零部件;如果多人同时在自动售货机购买商品,不需要排队选购商品和结账,可以通过弹出货物的顺序号来区分不同用户购买的商品。在一些热点地区(如某景区)、或者时间有限的场景(学生下课期间),用户体验效果非常好;本实施例通过AREngine APP与对应的AR服务器形成通用能力,可以聚合较多的自动售货机厂家,自动售货机厂家不需要关注具体的实现技术,自动售货机厂家使用的门槛难度很低。
图8为本申请另一个实施例提供的应用场景的示意图,与图4所示的场景相比,不同之处在于,图8所示的应用场景中,目标应用为自动售货机的运营商自己运营的APP,例如:自动售货机APP或者自动售货机小程序,从而目标应用对应的服务器为自动售货机对应的服务器。
图9为本申请另一个实施例提供的无接触的操作方法的流程图,本实施例对图8所示应用场景下的无接触的操作方法进行说明,如图9所示,上述无接触的操作方法可以包括:
步骤901,电子设备100通过自动售货机APP对自动售货机进行扫描,获取上述自动售货机的图像视觉稀疏点云。
具体地,电子设备100中的自动售货机APP被打开之后的界面也可以如图6所示,上述界面中包括AR扫描图标61,用户点击AR扫描图标61之后,自动售货机APP可以调用电子设备100中的摄像头193,对上述自动售货机进行扫描,获得上述自动售货机的图像视觉稀疏点云。
步骤902,电子设备100采集电子设备100的位置信息,将上述电子设备100的位置信息和上述自动售货机的图像视觉稀疏点云发送给自动售货机对应的服务器。
具体地,电子设备100可以通过GPS传感器获取电子设备100当前所在的位置信息。
步骤903,自动售货机对应的服务器根据上述电子设备100的位置信息缩小识别范围,并根据上述图像视觉稀疏点云对自动售货机进行识别。
本实施例中,自动售货机对应的服务器可以为具有图3所示结构的服务器300,当采用图3所示的结构实现时,自动售货机对应的服务器的数据库330中存储有自动售货机的信息,上述自动售货机的信息包括:自动售货机的图像视觉稀疏点云、自动售货机的位置、自动售货机的设备标识和自动售货机的型号。
具体地,自动售货机对应的服务器可以根据上述电子设备100的位置信息,确定识别范围,然后从数据库330中获取位置在上述识别范围内的自动售货机的图像视觉稀疏点云,将电子设备100发送的图像视觉稀疏点云与数据库330中存储的自动售货机的图像视觉稀疏点云进行匹配,完成对自动售货机的识别。
步骤904,自动售货机对应的服务器根据上述自动售货机的识别结果,获取上述自动售货机的设备标识。
如上所述,自动售货机对应的服务器将电子设备100发送的图像视觉稀疏点云与数据库330中存储的自动售货机的图像视觉稀疏点云进行匹配,在获得与电子设备100发送的图像视觉稀疏点云相匹配的图像视觉稀疏点云之后,自动售货机对应的服务器可以从数据库330中获取上述相匹配的图像视觉稀疏点云对应的自动售货机的设备标识。
步骤905,自动售货机对应的服务器可以根据上述自动售货机的设备标识,从自身连接的数据库中查询到上述自动售货机的库存信息。
本实施例中,当自动售货机对应的服务器采用图3所示的结构实现时,自动售货机对应的服务器的数据库330中存储有自动售货机的运营商运营的自动售货机的库存信息。因此,在自动售货机对应的服务器获取上述自动售货机的设备标识之后,可以从数据库330中查询到具有该设备标识的自动售货机的库存信息。
步骤906,自动售货机对应的服务器向电子设备100发送上述自动售货机的设备标识、库存信息和操作模型(包括2D模型或3D模型等)。
具体地,当采用图3所示的结构实现时,自动售货机对应的服务器的数据库330中还可以存储有多种型号的自动售货机的操作模型,上述多种型号的自动售货机属于自动售货机的运营商。在自动售货机对应的服务器获取上述自动售货机的设备标识之后,可以根据上述设备标识确定上述自动售货机的型号,进而可以获取该型号的自动售货机的操作模型。
在自动售货机对应的服务器向电子设备100发送上述自动售货机的操作模型之后,电子设备100可以展示上述自动售货机的操作模型对应的用户操作界面,上述操作模型对应的用户操作界面可以包括2D模型的用户操作界面和3D模型的用户操作界面,分别如图7 (a)和图7(b)所示。
步骤907,用户选择商品并点击购买之后,电子设备100将用户所选择商品的订单发送到自动售货机对应的服务器,上述订单中会携带用户选择的支付渠道,如银行卡或第三方支付平台等。
举例来说,用户可以在图7(a)所示界面中,选择“汽水2”,以及点击“提交订单”,然后,电子设备100可以将用户购买“汽水2”的订单发送到自动售货机对应的服务器。
步骤908,自动售货机对应的服务器创建订单,记录订单信息。
具体地,在创建订单时,自动售货机对应的服务器会使用支付渠道颁发的秘钥进行订单签名。
步骤909,自动售货机对应的服务器发送订单标识给电子设备100。
步骤910,用户选择支付方式(如信用卡、借记卡、余额等)进行支付,电子设备100获取用户的支付操作之后,向对应的支付服务器(一般通过对应支付渠道的SDK)创建支付订单并完成支付。
步骤911,电子设备100接收支付服务器发送的支付完成结果,并展示支付完成结果。
步骤912,支付服务器将支付完成结果,通知自动动售货机对应的服务器。
其中,上述通知中会携带订单标识。
步骤913,自动售货机对应的服务器验证上述订单已经完成支付,发起出货指令。
步骤914,自动售货机弹出货物。
上述无接触的操作方法,可以减少用户和自动售货机的物理接触,减少病毒感染风险;对于已有的自动售货机,在物理按键、大屏幕损坏或不灵的场景下也能够完成购物;还可以减少自动售货机的制造成本,可以不需要按键或大屏幕,即对自动售货机来说,去掉信息输入操作所需要的零部件;如果多人同时在自动售货机购买商品,不需要排队选购商品和结账,可以通过弹出货物的顺序号来区分不同用户购买的商品。在一些热点地区(如某景区)、或者时间有限的场景(学生下课期间),用户体验效果非常好。
图10为本申请再一个实施例提供的应用场景的示意图,图10所示的应用场景中包括用户、智能快递柜、目标应用和目标应用对应的服务器。
其中,用户:使用目标应用扫描智能快递柜或对智能快递柜进行拍照;
智能快递柜:根据目标应用对应的服务器的指令,执行操作;
目标应用:用户在智能手机等电子设备上进行扫描、拍照和/或点击等操作的APP,本应用场景中,上述目标应用可以为通用的具有拍照或扫描功能的APP,例如:AR EngineAPP,或者扫一扫小程序等;本场景中,上述电子设备可以为具有图1和图2所示结构的电子设备100;
目标应用对应的服务器:对目标应用提供业务服务的云,能够下发指令控制智能快递柜执行操作,以目标应用为AR Engine APP为例,上述目标应用对应的服务器可以为AR服务器,AR服务器可以为云服务器。
图11为本申请再一个实施例提供的无接触的操作方法的流程图,本实施例对图10所示应用场景下的无接触的操作方法进行说明,如图11所示,上述无接触的操作方法可以包括:
步骤1101,电子设备100通过AR Engine APP对智能快递柜进行扫描,获取上述智能快递柜的图像视觉稀疏点云。
具体地,电子设备100中的AR Engine APP被打开之后的界面可以如图6所示,图6所示界面为AR Engine APP所展示的界面,上述界面中包括AR扫描图标61,用户点击 AR扫描图标61之后,AR Engine APP可以调用电子设备100中的摄像头193,对上述智能快递柜进行扫描,获得上述智能快递柜的图像视觉稀疏点云。
步骤1102,电子设备100采集电子设备100的位置信息,将上述电子设备100的位置信息和上述智能快递柜的图像视觉稀疏点云发送给上述AR服务器。
步骤1103,AR服务器根据上述电子设备100的位置信息缩小识别范围,并根据上述图像视觉稀疏点云对智能快递柜进行识别。
本实施例中,AR服务器可以为具有图3所示结构的服务器300,当采用图3所示的结构实现时,AR服务器的数据库330中存储有智能快递柜的信息,上述智能快递柜的信息包括:智能快递柜的图像视觉稀疏点云、智能快递柜的位置、智能快递柜的设备标识、智能快递柜的型号和智能快递柜所属的运营商。
具体地,AR服务器可以根据上述电子设备100的位置信息,确定识别范围,然后从数据库330中获取位置在上述识别范围内的智能快递柜的图像视觉稀疏点云,将电子设备100发送的图像视觉稀疏点云与数据库330中存储的智能快递柜的图像视觉稀疏点云进行匹配,完成对智能快递柜的识别。
步骤1104,AR服务器根据上述智能快递柜的识别结果,获取上述智能快递柜的设备标识。
如上所述,AR服务器将电子设备100发送的图像视觉稀疏点云与数据库330中存储的智能快递柜的图像视觉稀疏点云进行匹配,在获得与电子设备100发送的图像视觉稀疏点云相匹配的图像视觉稀疏点云之后,AR服务器可以从数据库330中获取上述相匹配的图像视觉稀疏点云对应的智能快递柜的设备标识。
步骤1105,AR服务器向电子设备100发送上述智能快递柜的设备标识和操作模型(包括2D模型或3D模型等)。
具体地,当采用图3所示的结构实现时,AR服务器的数据库330中还可以存储有多种型号的智能快递柜的操作模型,上述多种型号的智能快递柜可以属于相同或不同的运营商。在AR服务器获取上述智能快递柜的设备标识之后,可以根据上述设备标识确定上述智能快递柜的型号,进而可以获取该型号的智能快递柜的操作模型。
步骤1106,电子设备100展示上述智能快递柜的操作模型对应的用户操作界面。
步骤1107,电子设备100检测到用户在上述用户操作界面中的操作之后,响应于上述操作,将上述操作对应的操作事件发送给AR服务器。
步骤1108,AR服务器向智能快递柜发送打开相应柜门的指令,以控制上述智能快递柜打开柜门。
具体地,本实施例中,电子设备100展示的用户操作界面可以如图12(a)~图12(b)所示,图12(a)~图12(b)为本申请一个实施例提供的智能快递柜的用户操作界面的示意图。具体地,在AR服务器将智能快递柜的操作模型发送给电子设备100之后,电子设备100可以先展示图12(a)所示的界面,用户在图12(a)所示界面中对1101区域中的“点击取件”图标进行点击操作,则电子设备100展示图12(b)所示的界面,然后用户可以在图12(b)所示界面的1101区域中输入取件码,或对图12(b)所示界面中1101 区域展示的二维码进行识别,其中,图12(a)~图12(b)中的1101区域为智能快递柜中的显示屏。
检测到用户在图12(b)所示界面的1101区域中输入取件码或对二维码进行识别的操作之后,响应于上述操作,电子设备100将上述操作对应的取件事件发送给AR服务器,然后,AR服务器对上述操作对应的取件事件进行处理,向智能快递柜发送打开相应柜门的指令。这样,用户无需接触智能快递柜就可以取出自己的包裹,避免了病毒通过物理介质传播的风险。
图10所示应用场景中仅示出了AR服务器这一个服务器,图11所示实施例步骤1108中,以AR服务器控制智能快递柜打开柜门为例进行说明,但在具体实现时,也可以采用与图4相似的双服务器架构,在电子设备100将上述操作对应的操作事件发送给AR服务器之后,AR服务器将上述操作对应的操作事件发送给智能快递柜对应的服务器,再由智能快递柜对应的服务器向智能快递柜发送打开相应柜门的指令,以控制上述智能快递柜打开柜门。
图13为本申请再一个实施例提供的应用场景的示意图,图13所示的应用场景中包括用户、电梯、目标应用和目标应用对应的服务器。
其中,用户:使用目标应用扫描电梯或对电梯进行拍照;
电梯:根据目标应用对应的服务器的指令,执行操作;
目标应用:用户在智能手机等电子设备上进行扫描、拍照和/或点击等操作的APP,本应用场景中,上述目标应用可以为通用的具有拍照或扫描功能的APP,例如:AR EngineAPP,或者扫一扫小程序等;本场景中,上述电子设备可以为具有图1和图2所示结构的电子设备100;
目标应用对应的服务器:对目标应用提供业务服务的云,能够下发指令控制电梯执行操作,以目标应用为AR Engine APP为例,上述目标应用对应的服务器可以为AR服务器, AR服务器可以为云服务器。
图14为本申请再一个实施例提供的无接触的操作方法的流程图,本实施例对图13所示应用场景下的无接触的操作方法进行说明,如图14所示,上述无接触的操作方法可以包括:
步骤1401,电子设备100通过AR Engine APP对电梯进行扫描,获取上述电梯的图像视觉稀疏点云。
具体地,电子设备100中的AR Engine APP被打开之后的界面可以如图6所示,图6所示界面为AR Engine APP所展示的界面,上述界面中包括AR扫描图标61,用户点击 AR扫描图标61之后,AR Engine APP可以调用电子设备100中的摄像头193,对上述电梯进行扫描,获得上述电梯的图像视觉稀疏点云。
步骤1402,电子设备100采集电子设备100的位置信息,将上述电子设备100的位置信息和上述电梯的图像视觉稀疏点云发送给上述AR服务器。
步骤1403,AR服务器根据上述电子设备100的位置信息缩小识别范围,并根据上述图像视觉稀疏点云对电梯进行识别。
本实施例中,AR服务器可以为具有图3所示结构的服务器300,当采用图3所示的结构实现时,AR服务器的数据库330中存储有电梯的信息,上述电梯的信息包括:电梯的图像视觉稀疏点云、电梯的位置、电梯的设备标识、电梯的型号和电梯所属的运营商。
具体地,AR服务器可以根据上述电子设备100的位置信息,确定识别范围,然后从数据库330中获取位置在上述识别范围内的电梯的图像视觉稀疏点云,将电子设备100发送的图像视觉稀疏点云与数据库330中存储的电梯的图像视觉稀疏点云进行匹配,完成对电梯的识别。
步骤1404,AR服务器根据上述电梯的识别结果,获取上述电梯的设备标识。
如上所述,AR服务器将电子设备100发送的图像视觉稀疏点云与数据库330中存储的电梯的图像视觉稀疏点云进行匹配,在获得与电子设备100发送的图像视觉稀疏点云相匹配的图像视觉稀疏点云之后,AR服务器可以从数据库330中获取上述相匹配的图像视觉稀疏点云对应的电梯的设备标识。
步骤1405,AR服务器向电子设备100发送上述电梯的设备标识和操作模型(包括2D模型或3D模型等)。
具体地,当采用图3所示的结构实现时,AR服务器的数据库330中还可以存储有多种型号的电梯的操作模型,上述多种型号的电梯可以属于相同或不同的运营商。在AR服务器获取上述电梯的设备标识之后,可以根据上述设备标识确定上述电梯的型号,进而可以获取该型号的电梯的操作模型。
步骤1406,电子设备100展示上述电梯的操作模型对应的用户操作界面。
步骤1407,电子设备100检测到用户在上述用户操作界面中的操作之后,响应于上述操作,将上述操作对应的操作事件发送给AR服务器。
步骤1408,AR服务器向电梯发送关闭电梯门,以及向被点击的图标所指示的楼层行进的指令,以控制上述电梯执行指令。
具体地,本实施例中,电子设备100展示的用户操作界面可以如图15(a)~图15(b)所示,图15(a)~图15(b)为本申请一个实施例提供的电梯的用户操作界面的示意图。具体地,在AR服务器将电梯的操作模型发送给电子设备100之后,电子设备100可以先展示图15(a)所示的界面,用户在图15(a)所示界面中点击上行图标1201或下行图标 1202之后,电子设备100展示图15(b)所示的界面,并且电子设备100检测到用户点击上行图标1201或下行图标1202的操作之后,响应上述操作,将该操作对应的操作事件发送给AR服务器,AR服务器对该操作对应的操作事件进行处理,向电梯发送打开电梯门的指令,在用户进入电梯之后,用户可以在图15(b)所示界面中点击所想去的楼层的图标,检测到用户点击所想去的楼层的图标的操作之后,响应于上述操作,电子设备100将该操作对应的操作事件发送给AR服务器,AR服务器对该操作对应的操作事件进行处理,向电梯发送关闭电梯门,以及向被点击的图标所指示的楼层行进的指令。这样,用户无需接触电梯就可以对电梯进行操作,到达自己想去的楼层,避免了病毒通过物理介质传播的风险。
图13所示应用场景中仅示出了AR服务器这一个服务器,图14所示实施例步骤1408中,以AR服务器控制控制电梯执行指令为例进行说明,但在具体实现时,也可以采用与图4相似的双服务器架构,在电子设备100将上述操作对应的操作事件发送给AR服务器之后,AR服务器将上述操作对应的操作事件发送给电梯对应的服务器,再由电梯对应的服务器向电梯发送关闭电梯门,以及向被点击的图标所指示的楼层行进的指令,以控制上述电梯执行指令。
图16为本申请再一个实施例提供的无接触的操作方法的流程图,如图16所示,上述无接触的操作方法可以包括:
步骤1601,电子设备100检测到用户对上述电子设备上的目标应用的第一操作。
其中,上述第一操作可以为用户对目标应用所展示界面中特定图标的点击、双击或长按等操作,或者上述第一操作可以为用户输入的对上述目标应用进行特定操作的语音指令,本实施例对第一操作的操作形式不作限定。上述特定图标可以为拍照或扫描图标,上述特定操作可以为使用上述目标应用进行拍照或扫描操作。
具体地,电子设备100可以通过处理器110和触摸传感器180K,或者通过处理器110、音频模块170和麦克风170C实现步骤1601的操作。
步骤1602,响应于上述第一操作,电子设备100通过上述目标应用获取待操作设备的图像。
其中,上述待操作设备可以为自动售货机、智能快递柜或电梯等,本实施例对上述待操作设备的具体类型不作限定,只要上述待操作设备可以与服务器300进行通信,并可以根据服务器300的指示执行相应操作即可。
本实施例中,电子设备100通过上述目标应用获取待操作设备的图像可以包括:
电子设备100通过目标应用对待操作设备进行拍照,获得上述待操作设备的图像;或者,电子设备100通过目标应用对待操作设备进行扫描,获得待操作设备的图像视觉稀疏点云。
步骤1603,电子设备100将上述待操作设备的图像发送给上述目标应用对应的服务器300。
本实施例中,上述目标应用可以为通用的具有拍照或扫描功能的APP,例如:AREngine APP,或者扫一扫小程序等;这样,以目标应用为AR Engine APP为例,上述目标应用对应的服务器300可以为AR服务器。
或者,上述目标应用也可以为待操作设备的运营商自己运营的APP,以待操作设备为自动售货机为例,上述目标应用可以为自动售货机APP或者自动售货机小程序,上述目标应用对应的服务器300可以为自动售货机对应的服务器。
步骤1604,服务器300根据上述待操作设备的图像获取上述待操作设备的操作模型。
具体地,服务器300根据上述待操作设备的图像获取上述待操作设备的操作模型可以为:服务器300根据上述待操作设备的图像获取上述待操作设备的设备标识,根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
其中,上述待操作设备的设备标识可以为上述待操作设备的序列号等可以唯一标识上述待操作设备的字符串。
一种实现方式中,上述待操作设备的图像中包括待操作设备的电子信息码,其中,上述电子信息码可以为条形码或二维码,本实施例对上述电子信息码的具体形式不作限定。这样,服务器300根据上述待操作设备的图像获取上述待操作设备的设备标识可以为:服务器300对上述图像中包括的待操作设备的电子信息码进行识别,获取上述待操作设备的设备标识。
也就是说,本实现方式中,以电子信息码为二维码为例,可以预先对待操作设备的设备标识进行编码,获得上述设备标识对应的二维码,然后将上述设备标识对应的二维码粘贴或印制在待操作设备上,电子设备100通过目标应用获取上述二维码的图像之后,将上述二维码的图像发送给服务器300,服务器300对上述二维码的图像进行识别,即可获得上述待操作设备的设备标识。
另一种实现方式中,步骤1601之后,电子设备100还可以获取上述电子设备的位置信息,将上述电子设备的位置信息发送给上述目标应用对应的服务器300。这时,服务器300根据上述待操作设备的图像获取上述待操作设备的设备标识可以为:服务器300根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别;然后,服务器300根据上述待操作设备的识别结果,获取上述待操作设备的设备标识。
具体地,电子设备100可以通过GPS传感器获取电子设备100当前所在的位置信息,然后将上述电子设备的位置信息发送给上述目标应用对应的服务器300。其中,上述位置信息包括上述用户当前所在位置的经度、纬度和高度。
进一步地,服务器300获取上述待操作设备的设备标识之后,可以根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
在具体实现时,服务器300的数据库330中预先保存有多种型号的待操作设备的操作模型,上述多种型号的待操作设备可以属于相同或不同的运营商。在服务器300获取上述待操作设备的设备标识之后,可以根据上述设备标识确定上述待操作设备的型号,进而可以获取该型号的待操作设备的操作模型。
另外,当待操作设备为自动售货机时,如果服务器300为AR服务器,则服务器300可以从自动售货机对应的服务器获取上述自动售货机的库存信息;如果服务器300为自动售货机对应的服务器,则服务器300可以从数据库330中获取上述自动售货机的库存信息。
或者,当待操作设备为其他类型的设备,例如:智能快递柜或电梯时,如果服务器300为AR服务器,则服务器300可以通过待操作设备对应的服务器对上述待操作设备进行控制。
步骤1605,服务器300将上述待操作设备的操作模型发送给电子设备100。
具体地,服务器300可以通过处理器310和通信接口350实现步骤1605的操作。
步骤1606,电子设备100展示上述操作模型对应的用户操作界面。
具体地,电子设备100可以通过处理器110中包括的GPU和显示屏194等实现步骤1606的操作。
步骤1607,电子设备100检测到用户在上述用户操作界面中的第二操作之后,响应于上述第二操作,将上述第二操作对应的操作事件发送给服务器300。
其中,上述第二操作包括用户在用户操作界面中的操作,根据待操作设备的不同,用户在上述用户操作界面中的操作也不同,本实施例对上述第二操作所包括的具体操作形式不作限定。
具体地,电子设备100可以通过处理器110、天线1和移动通信模块150,和/或,通过处理器110、天线2和无线通信模块160实现与服务器300之间信息的发送和接收。
步骤1608,服务器300处理上述第二操作对应的操作事件。
上述无接触的操作方法中,电子设备100通过目标应用获取待操作设备的图像之后,电子设备100可以将上述待操作设备的图像发送给上述目标应用对应的服务器300,然后,服务器300可以根据上述待操作设备的图像获取上述待操作设备的操作模型,然后服务器 300将上述待操作设备的操作模型发送给电子设备100,接下来,电子设备100可以展示上述操作模型对应的用户操作界面,用户可以在电子设备100所展示的用户操作界面上进行操作,电子设备100将用户的第二操作对应的操作事件发送给服务器300,由服务器300对第二操作对应的操作事件进行处理,从而可以实现用户不接触待操作设备也能对待操作设备进行操作,避免了病毒通过物理介质传播的风险,当待操作设备物理按键损坏或不灵,或者操作不灵敏的时候,用户也可以在自己使用的电子设备100上操作上述待操作设备,并且用户在自己使用的电子设备100上对待操作设备进行操作,可以同时多人操作上述待操作设备,提高了用户体验。
图17为本申请再一个实施例提供的无接触的操作方法的流程图,如图17所示,上述无接触的操作方法可以包括:
步骤1701,电子设备100检测到用户对电子设备100上的目标应用的第一操作。
其中,上述第一操作可以为用户对目标应用所展示界面中特定图标的点击、双击或长按等操作,或者上述第一操作可以为用户输入的对上述目标应用进行特定操作的语音指令,本实施例对第一操作的操作形式不作限定。上述特定图标可以为拍照或扫描图标,上述特定操作可以为使用上述目标应用进行拍照或扫描操作。
具体地,电子设备100可以通过处理器110和触摸传感器180K,或者通过处理器110、音频模块170和麦克风170C实现步骤1701的操作。
步骤1702,响应于上述第一操作,通过上述目标应用获取待操作设备的图像。
其中,上述待操作设备可以为自动售货机、智能快递柜或电梯等,本实施例对上述待操作设备的具体类型不作限定,只要上述待操作设备可以与服务器300进行通信,并可以根据服务器300的指示执行相应操作即可。
具体地,通过上述目标应用获取待操作设备的图像可以为:通过上述目标应用调用电子设备100中的摄像头193,对上述待操作设备进行拍摄,获得上述待操作设备的图像;或者,通过上述目标应用调用电子设备100中的摄像头193,对上述待操作设备进行扫描,获得上述待操作设备的图像视觉稀疏点云。
本实施例中,上述目标应用可以为通用的具有拍照或扫描功能的APP,例如:AREngine APP,或者扫一扫小程序等;或者,上述目标应用也可以为待操作设备的运营商自己运营的APP。
下面以目标应用为AR Engine APP为例,对获取待操作设备的图像的过程进行说明。图6为本申请一个实施例提供的AR扫描界面的示意图,图6所示界面为AR Engine APP所展示的界面,上述界面中包括AR扫描图标61,用户点击AR扫描图标61之后,AR EngineAPP可以调用电子设备100中的摄像头193,对上述待操作设备进行扫描,获得上述待操作设备的图像视觉稀疏点云。
也就是说,电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏 194以及应用处理器等实现步骤1702的操作。
步骤1703,将上述待操作设备的图像发送给上述目标应用对应的服务器300。
本实施例中,上述目标应用可以为通用的具有拍照或扫描功能的APP,例如:AREngine APP,或者扫一扫小程序等;这样,以目标应用为AR Engine APP为例,上述目标应用对应的服务器300可以为AR服务器。
或者,上述目标应用也可以为待操作设备的运营商自己运营的APP,以待操作设备为自动售货机为例,上述目标应用可以为自动售货机APP或者自动售货机小程序,上述目标应用对应的服务器300可以为自动售货机对应的服务器。
步骤1704,接收服务器300发送的待操作设备的操作模型。
其中,上述待操作设备的操作模型是服务器300根据上述待操作设备的图像获取的。
步骤1705,展示上述操作模型对应的用户操作界面。
具体地,电子设备100可以通过处理器110中包括的GPU和显示屏194等实现步骤1705的操作。
步骤1706,检测到上述用户在上述用户操作界面中的第二操作之后,响应于上述第二操作,将上述第二操作对应的操作事件发送给服务器300,以供服务器300处理上述第二操作对应的操作事件。
其中,上述第二操作包括用户在用户操作界面中的操作,根据待操作设备的不同,用户在上述用户操作界面中的操作也不同,本实施例对上述第二操作所包括的具体操作形式不作限定。
具体地,电子设备100可以通过处理器110、天线1和移动通信模块150,和/或,通过处理器110、天线2和无线通信模块160实现与服务器300之间信息的发送和接收。
上述无接触的操作方法中,电子设备100通过目标应用获取待操作设备的图像之后,电子设备100可以将上述待操作设备的图像发送给上述目标应用对应的服务器300,然后,接收服务器300发送的待操作设备的操作模型,展示上述操作模型对应的用户操作界面,这样,用户就可以在上述用户操作界面上进行操作,电子设备100将用户的第二操作对应的操作事件发送给服务器300之后,由服务器300对第二操作对应的操作事件进行处理,从而可以实现用户不接触待操作设备也能对待操作设备进行操作,避免了病毒通过物理介质传播的风险,当待操作设备物理按键损坏或不灵,或者操作不灵敏的时候,用户也可以在自己使用的电子设备100上操作上述待操作设备,并且用户在自己使用的电子设备100 上对待操作设备进行操作,可以同时多人操作上述待操作设备,提高了用户体验。
图18为本申请再一个实施例提供的无接触的操作方法的流程图,如图18所示,本申请图17所示实施例中,步骤1701之后,还可以包括:
步骤1801,电子设备100获取上述电子设备的位置信息。
具体地,电子设备100可以通过GPS传感器获取电子设备100当前所在的位置信息。
步骤1802,电子设备100将上述电子设备的位置信息发送给上述目标应用对应的服务器300,以供服务器300对上述待操作设备的图像中包括的待操作设备进行识别,根据上述待操作设备的识别结果和上述电子设备的位置信息,获取上述待操作设备的操作模型。
其中,步骤1801~步骤1802可以与步骤1702~步骤1703并行执行,或先后执行,本实施例对步骤1801~步骤1802的执行顺序不作限定,只要在步骤1701之后执行即可,图 18中以步骤1801~步骤1802在步骤1702~步骤1703之后执行为例示出。
这样,步骤1704之前,还可以包括:
步骤1803,电子设备100接收服务器300发送的至少两台待操作设备的设备标识。
其中,上述待操作设备的设备标识可以为上述待操作设备的序列号等可以唯一标识上述待操作设备的字符串。
步骤1804,显示上述至少两台待操作设备的设备标识。
具体地,电子设备100可以通过处理器110中包括的GPU和显示屏194等实现步骤1804的操作。
步骤1805,获取上述用户选择的设备标识。
具体地,电子设备100可以通过处理器110和触摸传感器180K实现步骤1805的操作。
步骤1806,将上述用户选择的设备标识发送给服务器300。
这样,步骤1704可以为:
步骤1807,接收服务器300发送的上述用户选择的设备标识对应的操作模型。
一般来说,在某个具体位置可能有多个待操作设备,但是同一厂家同一型号的待操作设备在同一位置部署多台的概率比较低。如果服务器300通过位置信息和待操作设备的图像无法唯一确定某一台待操作设备,可以将多个待操作设备的设备标识返回给电子设备 100,由电子设备100将至少两条待操作设备的设备标识显示给用户,让用户自己选择一台待操作设备的设备标识,然后电子设备100将用户选择的待操作设备的设备标识发送给服务器300,进而服务器300可以根据用户选择的待操作设备的设备标识获取待操作设备的操作模型,将用户选择的待操作设备的设备标识对应的操作模型发送给电子设备100。
图19为本申请再一个实施例提供的无接触的操作方法的流程图,如图19所示,本申请图17所示实施例中,上述待操作设备可以为自动售货机;步骤1705之前,还可以包括:
步骤1901,电子设备100接收服务器300发送的上述自动售货机的库存信息。
这样,步骤1705可以为:
步骤1902,展示上述操作模型对应的用户操作界面,上述用户操作界面中包括上述自动售货机的库存信息。
本实施例中,上述操作模型对应的用户操作界面可以包括2D模型对应的用户操作界 面和3D模型对应的用户操作界面,分别如图7(a)和图7(b)所示。
从图7(a)可以看出,2D模型对应的用户操作界面中包括可选择商品的图片、价格和库存信息;从图7(b)可以看出,3D模型对应的用户操作界面中包括自动售货机的3D 模型,图7(b)以大屏幕自动售货机为例,示出了大屏幕自动售货机的3D模型,3D模 型的用户操作界面中选择商品的菜单与真实的大屏幕自动售货机一致,如图7(b)所示, 71所示区域为大屏幕自动售货机的商品放置区域,72所示区域为大屏幕自动售货机的显 示屏幕,72所示区域中显示大屏幕自动售货机的商品菜单,用户可以在72所示区域中选 择所需的商品。
具体地,电子设备100可以通过处理器110中包括的GPU和显示屏194等实现步骤1902的操作。
于是,步骤1706可以包括:
步骤1903,检测到上述用户在上述用户操作界面中选购商品的第二操作。
参见图7(a),上述第二操作可以包括用户选择“汽水2”的操作,以及点击“提交 订单”的操作。
具体地,电子设备100可以通过处理器110和触摸传感器180K实现步骤1903的操作。
步骤1904,响应于上述第二操作,将用户购买所选择商品的订单提交给上述服务器 300,以供服务器300对上述订单进行处理。
其中,上述订单中包括上述用户选择的支付渠道的信息;用户选择的支付渠道的信息包括用户选择使用哪种支付渠道进行支付,上述支付渠道可以包括:银行卡或第三方支付平台等。
图20为本申请再一个实施例提供的无接触的操作方法的流程图,如图20所示,上述无接触的操作方法可以包括:
步骤2001,服务器300接收电子设备100发送的待操作设备的图像。
其中,服务器300为目标应用对应的服务器,上述待操作设备的图像是电子设备100 检测到使用电子设备100的用户对目标应用的第一操作之后,通过上述目标应用获取的。
本实施例中,上述目标应用可以为通用的具有拍照或扫描功能的APP,例如:AREngine APP,或者扫一扫小程序等;这样,以目标应用为AR Engine APP为例,上述目标应用对应的服务器300可以为AR服务器。
或者,上述目标应用也可以为待操作设备的运营商自己运营的APP,以待操作设备为自动售货机为例,上述目标应用可以为自动售货机APP或者自动售货机小程序,上述目标应用对应的服务器300可以为自动售货机对应的服务器。
步骤2002,根据上述待操作设备的图像获取上述待操作设备的操作模型。
具体地,根据上述待操作设备的图像获取上述待操作设备的操作模型可以为:根据上述待操作设备的图像获取上述待操作设备的设备标识,根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
其中,上述待操作设备的设备标识可以为上述待操作设备的序列号等可以唯一标识上述待操作设备的字符串。
本实施例中,服务器300获取上述待操作设备的设备标识之后,可以根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
在具体实现时,服务器300中预先保存有多种型号的待操作设备的操作模型,上述多种型号的待操作设备可以属于相同或不同的运营商。在服务器300获取上述待操作设备的设备标识之后,可以根据上述设备标识确定上述待操作设备的型号,进而可以获取该型号的待操作设备的操作模型。
步骤2003,将上述待操作设备的操作模型发送给电子设备100,以便电子设备100展示上述操作模型对应的用户操作界面。
步骤2004,接收电子设备100发送的第二操作对应的操作事件,上述第二操作对应的操作事件是电子设备100检测到用户在上述用户操作界面中的第二操作之后发送的。
具体地,服务器300可以通过处理器310和通信接口350实现步骤2003和步骤2004的操作。
步骤2005,处理上述第二操作对应的操作事件。
具体地,上述第二操作包括用户在用户操作界面中的操作,根据待操作设备的不同,用户在上述用户操作界面中的操作也不同,本实施例对上述第二操作所包括的具体操作形式不作限定,相应地,服务器300对第二操作对应的操作事件的处理方式也不同。
上述无接触的操作方法中,服务器300接收电子设备100发送的待操作设备的图像之后,可以根据上述待操作设备的图像获取上述待操作设备的操作模型,然后服务器300将上述待操作设备的操作模型发送给电子设备100,接下来,服务器300接收电子设备100 发送的第二操作对应的操作事件,对上述第二操作对应的操作事件进行处理,从而可以实现用户不接触待操作设备也能对待操作设备进行操作,避免了病毒通过物理介质传播的风险,当待操作设备物理按键损坏或不灵,或者操作不灵敏的时候,用户也可以在自己使用的电子设备100上操作上述待操作设备,并且用户在自己使用的电子设备100上对待操作设备进行操作,可以同时多人操作上述待操作设备,提高了用户体验。
图21为本申请再一个实施例提供的无接触的操作方法的流程图,如图21所示,本申请图20所示实施例中,上述待操作设备的图像中可以包括待操作设备的电子信息码,其中,上述电子信息码可以为条形码或二维码,本实施例对上述电子信息码的具体形式不作限定。这样,步骤2002可以包括:
步骤2101,服务器300对上述图像中包括的待操作设备的电子信息码进行识别,获取上述待操作设备的设备标识。
也就是说,本实施例中,以电子信息码为二维码为例,可以预先对待操作设备的设备标识进行编码,获得上述设备标识对应的二维码,然后将上述设备标识对应的二维码粘贴或印制在待操作设备上,电子设备100通过目标应用获取上述二维码的图像之后,将上述二维码的图像发送给服务器300,服务器300对上述二维码的图像进行识别,即可获得上述待操作设备的设备标识。
步骤2102,根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
图22为本申请再一个实施例提供的无接触的操作方法的流程图,如图22所示,本申请图20所示实施例中,步骤2002之前,还可以包括:
步骤2201,服务器300接收电子设备100发送的上述电子设备的位置信息。
其中,上述位置信息包括上述电子设备当前所在位置的经度、纬度和高度。
具体地,服务器300可以通过处理器310和通信接口350实现步骤2201的操作。
这时,步骤2002可以包括:
步骤2202,服务器300根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别。
一种可能的实现方式中,上述待操作设备可以为自动售货机,这时,对上述待操作设备的图像中包括的待操作设备进行识别可以为:服务器300在上述图像中确定自动售货机的商品放置区域,然后从上述图像中抠除上述商品放置区域的图像;或者,降低上述商品放置区域的图像的识别权重。
在具体实现时,同一台自动售货机,在不同时间可能商品摆放位置有调整,或是有些商品售空等,会造成识别准确率降低。因此在对上述自动售货机的图像进行识别时,需要抠除掉商品放置区域的图像,或者降低上述商品放置区域的图像的识别权重,从而提高图像的识别准确率。
本实现方式中,接收电子设备100发送的第二操作对应的操作事件之前,即步骤2004 之前,服务器300还可以根据上述自动售货机的设备标识,获取上述自动售货机的库存信息;然后,将上述自动售货机的库存信息发送给电子设备100。
具体地,如果目标应用可以为通用的具有拍照或扫描功能的APP,例如:AR EngineAPP,上述目标应用对应的服务器300为AR服务器,那么服务器300可以根据上述自动售货机的设备标识,从自动售货机对应的服务器获取上述自动售货机的库存信息;如果目标应用为自动售货机APP或者自动售货机小程序,上述目标应用对应的服务器300为自动售货机对应的服务器,那么服务器300可以根据上述自动售货机的设备标识,从本地数据库330中获取上述自动售货机的库存信息。
步骤2203,服务器300根据上述待操作设备的识别结果,获取上述待操作设备的设备标识。
具体地,服务器300中预先保存有待操作设备的部署数据,上述部署数据中包括待操作设备的部署位置(经度、纬度和高度)、上述待操作设备的型号和所属的运营商。
服务器300根据上述电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别可以为:服务器300根据上述电子设备的位置信息,从预先保存的待操作设备的部署数据中,获取在上述用户的当前位置部署的待操作设备的图像模型、型号和所属的运营商,从而缩小识别范围;然后,服务器300将上述待操作设备的图像与上述图像模型进行对比,获得上述图像中包括的待操作设备的型号和所属的运营商。这样,服务器 300可以根据上述型号和所属的运营商,从上述部署数据中获取上述待操作设备的设备标识。
进一步地,在根据电子设备的位置信息,对上述待操作设备的图像中包括的待操作设备进行识别之后,如果服务器300在上述用户的当前位置识别到至少两台相同型号的待操作设备,则根据至少两台待操作设备的型号和所属的运营商,获取上述至少两台待操作设备的设备标识;将上述至少两台待操作设备的设备标识发送给电子设备100,以供电子设备100将上述至少两台待操作设备的设备标识显示给用户;然后,服务器300接收电子设备100发送的上述用户选择的待操作设备的设备标识,将用户选择的设备标识对应的操作模型发送给电子设备100。
步骤2204,根据上述待操作设备的设备标识获取上述待操作设备的操作模型。
可以理解的是,上述实施例中的部分或全部步骤骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/ 或软件模块。结合本申请所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法实施例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图23为本申请另一个实施例提供的电子设备的结构示意图,在采用对应各个功能划分各个功能模块的情况下,图23示出了上述实施例中涉及的电子设备2300的一种可能的组成示意图,如图23所示,该电子设备2300可以包括:接收单元2301、处理单元2302 和发送单元2303;
其中,接收单元2301可以用于支持电子设备2300执行步骤1704、步骤1803、步骤1807和步骤1901等,和/或用于本申请实施例所描述的技术方案的其他过程;
处理单元2302可以用于支持电子设备2300执行步骤1701、步骤1702、步骤1705、步骤1706、步骤1801、步骤1804、步骤1805、步骤1902和步骤1903等,和/或用于本申请实施例所描述的技术方案的其他过程;
发送单元2303可以用于支持电子设备2300执行步骤1703、步骤1706、步骤1802、步骤1806和步骤1904等,和/或用于本申请实施例所描述的技术方案的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备2300,用于执行上述无接触的操作方法,因此可以达到与上述方法相同的效果。
应当理解的是,电子设备2300可以对应于图1所示的电子设备100。其中,接收单元2301和发送单元2303的功能可以由图1所示的电子设备100中处理器110、天线1和移动通信模块150,和/或,由处理器110、天线2和无线通信模块160实现;处理单元2302 的功能可以由图1所示的电子设备100中的处理器110、触摸传感器180K和显示屏194 实现。
在采用集成的单元的情况下,电子设备2300可以包括处理模块、存储模块和通信模块。
其中,处理模块可以用于对电子设备2300的动作进行控制管理,例如,可以用于支持电子设备2300执行上述接收单元2301、处理单元2302和发送单元2303执行的步骤。存储模块可以用于支持电子设备2300存储程序代码和数据等。通信模块,可以用于支持电子设备2300与其他设备的通信。
其中,处理模块可以是处理器或控制器,其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片和/或Wi-Fi 芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备2300可以为具有图1所示结构的设备。
同样,可以理解的是,服务器为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本申请所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法实施例对服务器进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图24为本申请另一个实施例提供的服务器的结构示意图,在采用对应各个功能划分各个功能模块的情况下,图24示出了上述实施例中涉及的服务器2400的一种可能的组成示意图,如图24所示,该服务器2400可以包括:接收单元2401、处理单元2402和发送单元2403;
其中,接收单元2401可以用于支持服务器2400执行步骤2001、步骤2004和步骤2201 等,和/或用于本申请实施例所描述的技术方案的其他过程;
处理单元2402可以用于支持服务器2400执行步骤2002、步骤2005、步骤2101、步骤2102、步骤2202、步骤2203和步骤2204等,和/或用于本申请实施例所描述的技术方案的其他过程;
发送单元2403可以用于支持服务器2400执行步骤2003等,和/或用于本申请实施例所描述的技术方案的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的服务器2400,用于执行上述无接触的操作方法,因此可以达到与上述方法相同的效果。
应当理解的是,服务器2400可以对应于图3所示的服务器300。其中,接收单元2401和发送单元2403的功能可以由图3所示的服务器300中处理器310和通信接口350实现;处理单元2402的功能可以由图3所示的服务器300中的处理器310实现。
在采用集成的单元的情况下,服务器2400可以包括处理模块、存储模块和通信模块。
其中,处理模块可以用于对服务器2400的动作进行控制管理,例如,可以用于支持服务器2400执行上述接收单元2401、处理单元2402和发送单元2403执行的步骤。存储模块可以用于支持服务器2400存储程序代码和数据等。通信模块,可以用于支持服务器 2400与其他设备的通信。
其中,处理模块可以是处理器或控制器,其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片和/或Wi-Fi 芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的服务器2400可以为具有图3所示结构的设备。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图17~图19所示实施例提供的方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图20~图22所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图17~图19所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图20~图22所示实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c 中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、 ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。