CN109643182B - 信息处理方法、装置、云处理设备及计算机程序产品 - Google Patents

信息处理方法、装置、云处理设备及计算机程序产品 Download PDF

Info

Publication number
CN109643182B
CN109643182B CN201780002728.XA CN201780002728A CN109643182B CN 109643182 B CN109643182 B CN 109643182B CN 201780002728 A CN201780002728 A CN 201780002728A CN 109643182 B CN109643182 B CN 109643182B
Authority
CN
China
Prior art keywords
information
touch screen
virtual touch
equipment
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780002728.XA
Other languages
English (en)
Other versions
CN109643182A (zh
Inventor
杨文超
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Robotics Co Ltd filed Critical Cloudminds Robotics Co Ltd
Publication of CN109643182A publication Critical patent/CN109643182A/zh
Application granted granted Critical
Publication of CN109643182B publication Critical patent/CN109643182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种信息处理方法、装置、云处理设备及计算机程序产品,涉及数据处理技术领域,实现了用户可以对实体物体表面进行操作来完成对虚拟触控屏幕的控制,增强了触感与真实性,且在真实物表面进行操作还能够提高检测精度。本发明实施例提供的信息处理方法,包括:接收第一设备发送的当前环境信息,并根据所述当前环境信息进行建模得到模型信息,以及对所述第一设备进行定位得到定位信息;根据所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕;发送所述虚拟触控屏幕至所述第一设备。

Description

信息处理方法、装置、云处理设备及计算机程序产品
技术领域
本发明涉及数据处理技术领域,尤其涉及一种信息处理方法、装置、云处理设备及计算机程序产品。
背景技术
随着物联网技术的快速发展,普适计算、全息计算、云计算等全新数据计算模式正逐渐步入人们日常生活中,其可以应用到多种领域中,其中,计算机视觉可以是一个具有代表性的领域。计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指使用设备代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图像处理,用处理器处理成为更适合人眼观察或传送给仪器检测的图像。
现阶段,HoloLens眼镜等一些AR(Augmented Reality,增强现实)眼镜为用于进行虚拟现实场景显示,其为计算机视觉中具有代表性的可穿戴设备。其利用摄像头来实时获取不同角度的深度图,再对不同的深度图进行累积,从而借助立体视觉等技术计算出场景及其内部目标物体的精确的三维模型,呈献给用户相应的图像。用户还可以通过观看图像信息,通过点击、滑动等手势与眼镜进行互动。
但是,在三维空间中,通过隔空手势与设备进行交互的操作,因缺乏力反馈而容易使人手臂产生疲劳,且难以完成对精度要求较高的操作。
发明内容
本发明实施例提供一种信息处理方法、装置、云处理设备及计算机程序产品,使得用户可以在真实物体表面对虚拟触控屏幕进行操作,增强了触感与真实性,提高检测精度。
第一方面,本发明实施例提供一种信息处理方法,包括:
接收第一设备发送的当前环境信息,并根据所述当前环境信息进行建模得到模型信息,以及对所述第一设备进行定位得到定位信息;
根据所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕;
发送所述虚拟触控屏幕至所述第一设备。
第二方面,本发明实施例还提供一种信息处理装置,包括:
接收单元,用于接收第一设备发送的当前环境信息,并根据所述当前环境信息进行建模得到模型信息,以及对所述第一设备进行定位得到定位信息。
生成单元,用于根据所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕。
发送单元,用于发送所述虚拟触控屏幕至所述第一设备。
第三方面,本发明实施例还提供一种云处理设备,设备包括输入输出接口、处理器以及存储器;
所述存储器用于存储指令,所述指令被所述处理器执行时,使得所述设备执行如第一方面中任一种方法。
第四方面,本发明实施例还提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现如第一方面中任一种所述的方法。
本发明实施例提供的信息处理方法、装置、云处理设备及计算机程序产品,通过使用设备,例如云端计算中心,来对第一设备发送的当前环境信息进行建模以及定位,并根据模型信息以及定位信息,在模型内的显影体表面生成虚拟触控屏幕,然后发送至第一设备由第一设备进行显示,模型中的显影体均对应实际场景中的实体物体,因此,用户可以对实体物体表面进行操作来完成对虚拟触控屏幕的控制,增强了触感与真实性,且在真实物表面进行操作还能够提高检测精度,此外,通过第一设备与第二设备之间的交互,当前环境进行建模以及定位等需要较复杂运算利用第二设备来完成,减少了第一设备的负荷,解决了现有技术中因缺乏力反馈而容易使人手臂产生疲劳,且难以完成对精度要求较高的操作的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的信息处理方法实施例的流程图;
图2为本发明实施例提供的信息处理方法实施例的另一流程图;
图3为本发明实施例提供的第一场景示意图;
图4为本发明实施例提供的第二场景示意图;
图5为本发明实施例提供的信息处理方法实施例的另一流程图;
图6为本发明实施例提供的信息处理方法实施例的另一流程图;
图7为本发明实施例提供的信息处理方法实施例的另一流程图;
图8为本发明实施例提供的信息处理装置实施例的结构示意图;
图9为本发明实施例提供的信息处理装置实施例的另一结构示意图;
图10为本发明实施例提供的信息处理装置实施例的另一结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能,例如,智能手表、智能鞋、智能手环、眼镜、头盔等。其中,智能眼镜与头盔等与眼睛相关的设备是可以直接利用视觉与用户进行交互的设备,当智能眼镜与头盔等佩戴在用户的头部时,其可以在用户眼前产生三维空间的虚拟景物,使得用户不但可以观看,还可以与景物进行互动,例如,点击、拖拽、滑动等。然而,由于用户在与景物进行互动时,多通过隔空手势与设备进行交互的操作,因缺乏力反馈而容易使人手臂产生疲劳,且由于人体是不稳定的,手和身体会随时改变位置,进而难以完成对精度要求较高的操作。此外,由于在三维空间内生成虚拟景物需要经过大量的运算,对软硬件要求较高,而可穿戴式设备的设计又限制了设备的体积和重量,所以处理速度会较慢,因此,在本发明实施例中,通过采用设备分离的方式来提高计算速度,以及在真实物体的表面生成虚拟景物的方式,使得用户可以通过对真实物体的表面进行操作来增强触感与真实性。具体的,图1为本发明实施例提供的信息处理方法实施例的流程图,应用于第三设备中,如图1所示,本发明实施例提供的信息处理方法,具体可以包括如下步骤:
101、第一设备获取当前环境信息,并将当前环境信息发送至第三设备。
在本发明实施例中,第一设备指代可穿戴设备,并且,第一设备至少包含显示单元、基本运算单元、无线传输单元、环境感知单元、交互检测单元和电源单元。例如,智能眼镜、头盔等。第三设备指代具有较强计算能力的设备,并且,第三设备至少包括运算单元、无线传输单元,例如,本地计算机、云处理中心等。其中,第一设备与第三设备之间可以相互进行通信,通信的方式可以使用2G、3G、4G、WiFi等无线通信方式。
第一设备通过环境感知单元来获取当前环境信息,具体的,环境感知单元至少需要包含IMU(Inertial measurement unit,惯性测量单元)以及图像捕捉模块(优选使用双目摄像头),在实际应用中利用SLAM(simultaneous localization and mapping,即时定位与地图构建)技术中的算法来进行计算,实现对当前环境信息的获取,具体的,当前环境信息包括第一设备自身定位、周围环境图像采集和物体表面三维信息获取等内容。
当第一设备获取到当前环境信息后,利用无线传输单元将当前环境信息发送至第三设备,使得第三设备可以当前环境信息进行后续的处理。在一个具体的实现过程中,为了加快处理进程,提高传输速度,优选使用4G、WiFi甚至更快的无线通信方式。
102、第三设备接收第一设备发送的当前环境信息,并根据当前环境信息进行建模得到模型信息,以及对第一设备进行定位得到定位信息。
第三设备在接收到第一设备发送的当前环境信息后,对当前环境信息进行解析,构建虚拟场景,具体的,构建过程可以包括:首先,获取前环境信息中各实物的水平方向、天顶距、斜距和反射强度等参数,自动存储并计算,获得点云数据;然后,对点云数据进行编辑、扫描数据拼接与合并、影像数据点三维空间量测、点云影像可视化、空间数据三维建模、纹理分析处理和数据转换处理,构建虚拟场景,得到模型信息。
以及,第三设备对当前环境信息进行解析,提取第一设备自身定位信息,对第一设备进行定位,得到定位信息。
103、第三设备根据模型信息以及定位信息,在模型内的显影体表面生成虚拟触控屏幕。
在本发明实施例中,显影体指代任意一个可以在其表面上生成虚拟触控屏幕的事物,因为,模型内的事物均为真实场景中真实物体的虚拟影像,所以,在真实场景中的所有真实物体在模型内都可以作为显影体,例如,桌子、墙壁、饮水机、热水器、窗户等。因此,第三设备可以根据模型信息以及定位信息,在模型内的任意显影体表面生成虚拟触控屏幕。
在本发明实施例中,虚拟触控屏幕既可以自动在显影体的表面生成,也可以与用户交互后生成。
相应的,用户在对虚拟触控进行操作时,对应于真实场景中为用户在真实物体进行相同的操作。
104、第三设备发送虚拟触控屏幕至第一设备。
在本发明实施例中,当第三设备生成虚拟触控屏幕后,利用无线传输单元将虚拟触控屏幕发送至第一设备。
105、第一设备接收并显示虚拟触控屏幕。
需要说明的是,在本发明实施例中,虚拟触控屏幕贴合模型内显影体的表面。例如,虚拟触控屏幕贴合在水桶的表面,即,虚拟触控屏幕的弯曲弧度与水桶的弧度一致。又例如,虚拟触控屏幕贴合在桌子的表面。其目的在于用户可以在真实场景中可以在真实物体的表面进行操作,获取真实的触感。
本发明实施例提供的信息处理方法,通过使用设备,例如云端计算中心,来对第一设备发送的当前环境信息进行建模以及定位,并根据模型信息以及定位信息,在模型内的显影体表面生成虚拟触控屏幕,然后发送至第一设备由第一设备进行显示,模型中的显影体均对应实际场景中的实体物体,因此,用户可以对实体物体表面进行操作来完成对虚拟触控屏幕的控制,增强了触感与真实性,且在真实物表面进行操作还能够提高检测精度,此外,通过第一设备与第二设备之间的交互,当前环境进行建模以及定位等需要较复杂运算利用第二设备来完成,减少了第一设备的负荷,解决了现有技术中因缺乏力反馈而容易使人手臂产生疲劳,且难以完成对精度要求较高的操作的问题。
前述内容中第三设备可以自动生成虚拟触控屏幕,在实际应用中,可选的,为了增强用户的可操作性与参与性,用户可以根据需要来确定何时生成虚拟触控屏幕,具体的,图2为本发明实施例提供的信息处理方法实施例的另一流程图,应用于第三设备中,如图2所示,本发明实施例提供的信息处理方法,在步骤103之前,还可以包括如下步骤:
106、第一设备接收第一用户的启动指令。
107、第一设备将启动指令发送至第三设备。
108、第三设备接收第一设备发送的启动指令。
相应的,步骤103被执行为“第三设备根据启动指令、模型信息以及定位信息,在模型内的显影体表面生成虚拟触控屏幕”。
具体地,在本发明实施例中,用户的启动指令包含两种情况:第一种是第一设备带有物理按键,其功能为自动生成按钮,用户对自动生成按钮进行操作。第二种是用户框选显示区域。
图3为本发明实施例提供的第一场景示意图,如图3示,在第一种情况下,当用户对自动生成按钮进行操作时,第一设备接收用户对自动生成按钮的操作,触发为启动指令,并将启动指令发送至第三设备。第三设备在接收到启动指令时开始生成虚拟触控屏幕,首先,第三设备根据启动指令在当前环境信息中确定标记信息的位置;然后,第三设备根据模型信息以及定位信息,在标记信息的位置生成具有指定大小的虚拟触控屏幕。具体的,在本发明实施例中,由于用户将第一设备佩戴在头部,且至少阻挡了部分视线,因此,为了方便用户操作,在第一设备上设置物理按键,使得用户在触摸到物理按键时,就可以对第一设备进行操作。在一个具体的实现过程中,用户对自动生成按钮的操作可以是单击、双击等。而且,在本发明实施例中,用户所处的当前环境中会预先设定至少一个标记信息,标记信息的位置在指定物体的表面。因此,当用户对自动生成按钮进行操作时,第三设备首先获取当前环境中标记信息的位置,然后第三设备根据用户对自动生成按钮的操作、模型信息以及定位信息,在标记信息处生成具有指定大小的虚拟触控屏幕。在一个具体的实现过程中,第三设备在获取到标记信息的影像后,计算其三维坐标信息(三维坐标信息包含x、y、z三个维度),然后,利用标记信息的三维坐标信息、对当前环境建模后各个物体的位置以及第一设备当前定位信息,在标记信息的位置生成具有指定大小的虚拟触控屏幕。例如,用户需要在墙壁上生成平板电脑屏幕,则,当用户单击自动生成按钮后,首先获取墙壁上标记信息的位置,然后在标记信息处生成与平板电脑大小相同的虚拟触控屏幕。
图4为本发明实施例提供的第二场景示意图,如图4所示,在第二种情况下,第一设备获取第一用户框选的显示区域;第一设备将第一用户框选的显示区域转化为启动指令,并将启动指令发送至第三设备,第三设备根据模型信息以及定位信息,在第一用户框选的显示区域内生成虚拟触控屏幕。具体的,在本发明实施例中,为了提高交互性以及个性化,用户可以根据自己的需要在任意位置生成虚拟触控屏幕,用户用手指在当前环境中的某一物体表面框选显示区域,例如,画一个矩形,然后第一设备采集到第一用户在指定物体表面框选的显示区域后,将其转化为启动指令,发送至第三设备中,使得第三设备可以根据第一指令等内容在显示区域内生成虚拟触控屏幕。
并且,在本发明实施例中,标记信息包括:二维码、图形、图案、图片、文字、字母或者数字中的至少一种。
随着用户对个性化的需求越来越强,不同的用户在使用设备时具有不同的使用习惯、产生不同的历史数据、在设备内安装不同的软件等情况,因此,为了实现个性化需求,以及提高用户的使用感受,在前述内容的基础上,本发明实施例进一步的提供如下实现方式,具体的,图5为本发明实施例提供的信息处理方法实施例的另一流程图,如图5所示,本发明实施例提供的信息处理方法,还可以包括如下步骤:
108、第一设备获取第一用户的账户信息。
由于在步骤103中生成了虚拟触控屏幕,因此,在本发明实施例中,第一用户可以在虚拟触控屏幕中输入自己的账户名和密码进行登录,使得第一设备可以获取第一用户的账户信息。
109、第一设备将第一用户的账户信息发送至第三设备。
在本发明实施例中,当第一设备获取到第一用户的账户信息后,利用无线传输单元将第一用户的账户信息发送至第三设备。
110、第三设备根据第一用户的账户信息以及当前环境信息更新虚拟触控屏幕的显示内容。
在本发明实施例中,第三设备内存储有大量的用户信息,其中包含第一用户的账户信息以及第一用户的账户信息对应的账户内容,账户内容中可以包含与第一用户的账户信息关联的所有设备(例如,平板电脑、洗衣机、空调、饮水机、净水器等)的设备信息。例如,第一用户使用账户信息关联平板电脑,则,第三设备内存储有平板电脑的系统桌面信息。又例如,第一用户使用账户信息关联净水器,则第三设备内存储有净水器的当前储水量、水的洁净等级、滤芯是否需要更换等信息。
在一个具体的实现过程中,当第一用户在墙壁上、桌面上等非电器表面生成虚拟触控屏幕时,第三设备可以为第一用户提供至少一种显示内容,供用户进行选择,第一用户可以拖动、左右滑动进行更换当前虚拟触控屏幕内的内容。
在一个具体的实现过程中,当第一用户在某一个电器表面生成虚拟触控屏幕时,第三设备可以为第一用户提供与该电器对应的电器信息,使得第一用户可以查看该电器当前的状态。
111、第三设备发送更新后的虚拟触控屏幕至第一设备。在本发明实施例中,当第三设备更新虚拟触控屏幕的显示内容后,利用无线传输单元将更新后的虚拟触控屏幕发送至第一设备。
112、第一设备接收更新后的虚拟触控屏幕并进行显示。
通过前述内容的介绍,本发明实施例提供的信息处理方法进一步的提供了一种方式,能够提高可操作性,使得用户可以依照自身的使用习惯使用第一设备,提高了使用效率。
在前述内容的基础上,本发明实施例提供的信息处理方法在采集用户的交互操作时,采用如下方式进行,具体的,图6为本发明实施例提供的信息处理方法实施例的另一流程图,如图6所示,本发明实施例提供的信息处理方法,还可以包括如下步骤:
113、第一设备检测第一用户在虚拟触控屏幕的动作。
在本发明实施例中,第一设备具有交互检测单元,交互检测单元基于计算机视觉来实现对用户动作的检测,具体利用第一设备中的双目摄像头检测用户的指尖在虚拟触控屏幕上的位置或者动作。在一个具体的实现过程中,交互检测单元的检测流程可以包括:首先,选取手部关键点,建立手部的骨架模型;然后对手部进行跟踪,获得手部关键点的坐标,对手部的骨架模型进行优化;对手部的骨架模型进行提取,获取指尖的位置;追踪指尖从初始点到终止点的位置变化信息,根据位置变化信息确定动作。
114、第一设备为动作匹配对应的操作指令并发送至第三设备。
在本发明实施例中,第一设备中预先设置了动作与操作指令的对应关系,当交互检测单元确定了第一用户的动作后,根据预先设置的动作与操作指令的对应关系,为第一用户的动作匹配对应的操作指令,例如,当虚拟触控屏幕中呈现平板电脑的影像,第一用户单击虚拟触控屏幕中的某个图标,则检测到第一用户的动作为单击,且第一用户的指尖位置处有一个应用图标,则为该单击动作匹配打开应用的操作指令。又例如,当虚拟触控屏幕中呈现平板电脑的影像,第一用户从虚拟触控屏幕的左侧滑动到右侧,则检测到第一用户的动作为滑动,则为该滑动动作匹配切换页面的操作指令。
当第一设备确定了操作指令后,将利用无线传输单元将操作指令发送至第三设备。
在本发明实施例中,为了进一步的提高确定第一用户的动作的效率以及准确性,可以预先在当前环境中的物体表面设置辅助检测装置,例如,在标记信息附近安装红外线激光发射装置、雷达扫描装置等,通过辅助检测装置与手指发生的交互对应关系,确定手指的位置,例如,在标记附近安装红外线激光发射装置,当在标记处生成虚拟触控屏幕后,第一用户在点击虚拟触控屏幕时,红外线被手指阻挡,会在指尖部形成亮斑,使得交互检测单元可以根据亮斑的位置迅速定位指尖的位置。
115、第三设备对操作指令进行处理以及结合当前环境信息,更新虚拟触控屏幕的显示内容。
第三设备在接收到第一设备发送的操作指令后,响应操作指令的内容,确定与操作指令对应的内容,另外,由于第一用户的位置是不可控制的,其会随时发生移动,因此,第三设备还要根据当前环境信息结合操作指令的内容,更新虚拟触控屏幕的显示内容。
116、第三设备发送更新后的虚拟触控屏幕至第一设备。
在本发明实施例中,当第三设备更新虚拟触控屏幕后,利用无线传输单元将更新后的虚拟触控屏幕发送至第一设备。
117、第一设备接收更新后的虚拟触控屏幕并进行显示。
本发明实施例提供的信息处理方法,用户可以在真实物体表面进行操作,例如,点击、滑动等,触感真实并且用户可以感受到力的反馈,在检测用户动作方面,能够提高检测精度,提高检测效率。
前述内容中,均为一个用户使用一个设备登录一个账户进行查看、交互等操作,而在实际生活场景中,还存在多人对同一个终端进行查看、操作的情况,例如,两个人同时使用一台平板电脑玩儿游戏、两个人同时使用一台平板电脑看电影等。因此,为了增强用户之间互动性,本发明实施例还提供一种信息处理方法,在前述内容的基础上,实现多人互动,具体的,图7为本发明实施例提供的信息处理方法实施例的另一流程图,如图7所示,本发明实施例提供的信息处理方法,还可以包括如下步骤:
118、第二设备连接第三设备。
在本发明实施例中,第二设备与第一设备相同,指代可穿戴设备,并且第二设备由第二用户使用,第一设备由第一用户使用。
前述内容中,第一用户使用第一设备登录了第一用户的账户信息,且,第一设备的第一显示内容是由第三设备发送的,若第二用户想要获得与第一用户同样的内容,则首先需要使用第二设备连接第三设备。
在本发明实施例中,第二设备连接第三设备的方式与第一设备连接第三设备的方式相同。
119、当第二设备与第三设备连接后,第三设备将虚拟触控屏幕发送至第二设备。
在本发明实施例中,当第二设备确定了第三设备连接后,第三设备利用无线传输单元将虚拟触控屏幕发送至第二设备。
120、第二设备接收虚拟触控屏幕并进行显示。
此外,为了进一步的提高互动性,在本发明实施例中,第二用户还可以对显示屏幕内显示的内容进行操作,其操作的方式与第一用户相同。具体的,首先,第二设备检测第二用户在虚拟触控屏幕的动作;第二设备为动作匹配对应的操作指令并发送至第三设备;然后,第三设备对操作指令进行处理以及结合当前环境信息,更新虚拟触控屏幕的显示内容;第三设备将更新后的虚拟触控屏幕发送至第一设备和第二设备;使得第一设备和第二设备可以分别接收到更新后的虚拟触控屏幕,并分别进行显示。
由于第一用户和第二用户看到的是同一块虚拟触控屏幕,且第一用户和第二用户均可以对其进行操作,因此,当第一用户与第二用户同时或者在指定时间范围内先后发出了相同的指令时,第三设备要对指令进行去重处理,选择最先接收到的指令执行。
图8为本发明实施例提供的信息处理装置实施例的结构示意图,如图8所示,本发明实施例提供的信息处理装置可以包括:接收单元11、生成单元12、发送单元13。
接收单元11,用于接收第一设备发送的当前环境信息,并根据当前环境信息进行建模得到模型信息,以及对第一设备进行定位得到定位信息。
生成单元12,用于根据模型信息以及定位信息,在模型内的显影体表面生成虚拟触控屏幕。
发送单元13,用于发送虚拟触控屏幕至第一设备。
图9为本发明实施例提供的信息处理装置实施例的另一结构示意图,如图9所示,本发明实施例提供的信息处理装置还可以包括:更新单元14。
在本发明实施例中,接收单元11,还用于:
接收第一设备发送的第一用户的账户信息;
更新单元14,用于根据第一用户的账户信息以及当前环境信息更新虚拟触控屏幕的显示内容;
发送单元13,还用于:
发送更新后的虚拟触控屏幕至第一设备。
接收单元11,还用于:
接收第一设备发送的操作指令;
更新单元14,还用于:
对操作指令进行处理,以及结合当前环境信息更新虚拟触控屏幕的显示内容;
发送单元13,还用于:
发送更新后的虚拟触控屏幕至第一设备。
在一个具体的实现过程中,接收单元11,还用于:
接收第一设备发送的启动指令;
生成单元12,具体用于:
根据启动指令、模型信息以及定位信息,在模型内的显影体表面生成虚拟触控屏幕。
在一个具体的实现过程中,生成单元12,具体用于:
根据启动指令在当前环境信息中确定标记信息的位置;
根据模型信息以及定位信息,在标记信息的位置生成具有指定大小的虚拟触控屏幕。
在一个具体的实现过程中,生成单元12,具体用于:
根据启动指令确定第一用户框选的显示区域;
根据模型信息以及定位信息,在第一用户框选的显示区域内生成虚拟触控屏幕。
在一个具体的实现过程中,更新单元14,具体用于:
根据操作指令确定第一用户在虚拟触控屏幕的动作;
根据动作以及结合当前环境信息更新虚拟触控屏幕的显示内容。
在本发明实施例中,虚拟触控屏幕贴合模型内显影体的表面。
在本发明实施例中,标记信息包括:
二维码、图形、图案、图片、文字、字母或者数字中的至少一种。
图10为本发明实施例提供的信息处理装置实施例的另一结构示意图,如图10所示,本发明实施例提供的信息处理装置还可以包括:连接单元15。
在本发明实施例中,接收单元11,还用于:接收第二设备发送的连接请求。
连接单元15,用于连接第二设备,并将虚拟触控屏幕发送至第二设备。
本实施例的信息处理装置,可以用于执行图1~图7所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例还提供一种云处理设备,设备包括输入输出接口、处理器以及存储器;
存储器用于存储指令,指令被处理器执行时,使得设备执行如图1~图7中任一种的方法。
本发明实施例提供的云处理设备,可以用于执行图1~图7所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例还提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,计算机程序经由计算机载入并执行后能够实现如图1~图7中任一种的方法。
本实施例的计算机程序产品,可以用于执行图1~图7所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (21)

1.一种信息处理方法,其特征在于,包括:
接收第一设备发送的当前环境信息,并根据所述当前环境信息进行建模得到模型信息,以及对所述第一设备进行定位得到定位信息;所述当前环境信息为从真实场景中采集得到的,所述真实场景中包括真实物体;
根据所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕;所述模型为所述模型信息表征的虚拟场景,位于所述虚拟场景中的所述显影体与所述真实场景中包括的所述真实物体之间一一对应,所述虚拟触控屏幕贴合所述模型内显影体的表面;
发送所述虚拟触控屏幕至所述第一设备。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收第一设备发送的第一用户的账户信息;
根据所述第一用户的账户信息以及当前环境信息更新所述虚拟触控屏幕的显示内容;
发送更新后的所述虚拟触控屏幕至所述第一设备。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
接收所述第一设备发送的操作指令;
对所述操作指令进行处理,以及结合当前环境信息更新所述虚拟触控屏幕的显示内容;
发送更新后的所述虚拟触控屏幕至所述第一设备。
4.根据权利要求1所述的方法,其特征在于,在所述根据所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕之前,所述方法还包括:
接收所述第一设备发送的启动指令;
所述根据所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕,包括:
根据所述启动指令、所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕。
5.根据权利要求4所述的方法,其特征在于,所述根据所述启动指令、所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕,包括:
根据所述启动指令在当前环境信息中确定标记信息的位置;
根据所述模型信息以及所述定位信息,在所述标记信息的位置生成具有指定大小的虚拟触控屏幕。
6.根据权利要求4所述的方法,其特征在于,所述根据所述启动指令、所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕,包括:
根据所述启动指令确定第一用户框选的显示区域;
根据所述模型信息以及所述定位信息,在所述第一用户框选的显示区域内生成虚拟触控屏幕。
7.根据权利要求3所述的方法,其特征在于,所述对所述操作指令进行处理,以及结合当前环境信息更新所述虚拟触控屏幕的显示内容,包括:
根据所述操作指令确定第一用户在所述虚拟触控屏幕的动作;
根据所述动作以及结合所述当前环境信息更新所述虚拟触控屏幕的显示内容。
8.根据权利要求5所述的方法,其特征在于,所述标记信息包括:
二维码、图形、图案、图片、文字、字母或者数字中的至少一种。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收第二设备发送的连接请求;
连接所述第二设备,并将所述虚拟触控屏幕发送至所述第二设备。
10.一种信息处理装置,其特征在于,包括:
接收单元,用于接收第一设备发送的当前环境信息,并根据所述当前环境信息进行建模得到模型信息,以及对所述第一设备进行定位得到定位信息;所述当前环境信息为从真实场景中采集得到的,所述真实场景中包括真实物体;
生成单元,用于根据所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕;所述模型为所述模型信息表征的虚拟场景,位于所述虚拟场景中的所述显影体与所述真实场景中包括的所述真实物体之间一一对应,所述虚拟触控屏幕贴合所述模型内显影体的表面;
发送单元,用于发送所述虚拟触控屏幕至所述第一设备。
11.根据权利要求10所述的装置,其特征在于,
所述接收单元,还用于:
接收第一设备发送的第一用户的账户信息;
所述装置还包括:
更新单元,用于根据所述第一用户的账户信息以及当前环境信息更新所述虚拟触控屏幕的显示内容;
所述发送单元,还用于:
发送更新后的所述虚拟触控屏幕至所述第一设备。
12.根据权利要求10或11所述的装置,其特征在于,
所述接收单元,还用于:
接收所述第一设备发送的操作指令;
更新单元,还用于:
对所述操作指令进行处理,以及结合当前环境信息更新所述虚拟触控屏幕的显示内容;
所述发送单元,还用于:
发送更新后的所述虚拟触控屏幕至所述第一设备。
13.根据权利要求10所述的装置,其特征在于,
所述接收单元,还用于:
接收所述第一设备发送的启动指令;
所述生成单元,具体用于:
根据所述启动指令、所述模型信息以及所述定位信息,在模型内的显影体表面生成虚拟触控屏幕。
14.根据权利要求13所述的装置,其特征在于,所述生成单元,具体用于:
根据所述启动指令在当前环境信息中确定标记信息的位置;
根据所述模型信息以及所述定位信息,在所述标记信息的位置生成具有指定大小的虚拟触控屏幕。
15.根据权利要求13所述的装置,其特征在于,所述生成单元,具体用于:
根据所述启动指令确定第一用户框选的显示区域;
根据所述模型信息以及所述定位信息,在所述第一用户框选的显示区域内生成虚拟触控屏幕。
16.根据权利要求12所述的装置,其特征在于,所述更新单元,具体用于:
根据所述操作指令确定第一用户在所述虚拟触控屏幕的动作;
根据所述动作以及结合所述当前环境信息更新所述虚拟触控屏幕的显示内容。
17.根据权利要求10所述的装置,其特征在于,所述虚拟触控屏幕贴合所述模型内显影体的表面。
18.根据权利要求14所述的装置,其特征在于,所述标记信息包括:
二维码、图形、图案、图片、文字、字母或者数字中的至少一种。
19.根据权利要求10所述的装置,其特征在于,
所述接收单元,还用于:接收第二设备发送的连接请求;
所述装置还包括:
连接单元,用于连接所述第二设备,并将所述虚拟触控屏幕发送至所述第二设备。
20.一种云处理设备,其特征在于,所述云处理设备包括输入输出接口、处理器以及存储器;
所述存储器用于存储指令,所述指令被所述处理器执行时,使得所述云处理设备执行如权利要求1~9中任一种所述的方法。
21.一种计算机程序可读存储介质,其特征在于,所述计算机程序可读存储介质包括计算机程序,所述计算机程序经由计算机载入并执行后能够实现如权利要求1~9中任一种所述的方法。
CN201780002728.XA 2017-12-29 2017-12-29 信息处理方法、装置、云处理设备及计算机程序产品 Active CN109643182B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/119720 WO2019127325A1 (zh) 2017-12-29 2017-12-29 信息处理方法、装置、云处理设备及计算机程序产品

Publications (2)

Publication Number Publication Date
CN109643182A CN109643182A (zh) 2019-04-16
CN109643182B true CN109643182B (zh) 2022-01-07

Family

ID=66052329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002728.XA Active CN109643182B (zh) 2017-12-29 2017-12-29 信息处理方法、装置、云处理设备及计算机程序产品

Country Status (2)

Country Link
CN (1) CN109643182B (zh)
WO (1) WO2019127325A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555798B (zh) * 2019-08-26 2023-10-17 北京字节跳动网络技术有限公司 图像变形方法、装置、电子设备及计算机可读存储介质
CN117555446A (zh) * 2022-08-03 2024-02-13 华为技术有限公司 一种设备控制方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及系统
CN105843479A (zh) * 2016-03-29 2016-08-10 禾穗(北京)教育科技有限公司 一种内容交互方法及其系统
CN106055113A (zh) * 2016-07-06 2016-10-26 北京华如科技股份有限公司 一种混合现实的头盔显示系统及控制方法
CN106951153A (zh) * 2017-02-21 2017-07-14 联想(北京)有限公司 一种显示方法及电子设备
CN106981098A (zh) * 2016-01-12 2017-07-25 西门子医疗有限公司 虚拟场景组分的视角表示
WO2017222208A1 (en) * 2016-06-21 2017-12-28 Samsung Electronics Co., Ltd. Remote hover touch system and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362391B2 (ja) * 2014-04-10 2018-07-25 キヤノン株式会社 情報処理端末、情報処理方法及びコンピュータプログラム
CN105096311A (zh) * 2014-07-01 2015-11-25 中国科学院科学传播研究中心 基于gpu的深度图修复和虚实场景结合技术
JP2017187667A (ja) * 2016-04-07 2017-10-12 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
CN106582016B (zh) * 2016-12-05 2018-05-08 湖南简成信息技术有限公司 基于增强现实的运动游戏控制方法及控制装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN106981098A (zh) * 2016-01-12 2017-07-25 西门子医疗有限公司 虚拟场景组分的视角表示
CN105843479A (zh) * 2016-03-29 2016-08-10 禾穗(北京)教育科技有限公司 一种内容交互方法及其系统
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及系统
WO2017222208A1 (en) * 2016-06-21 2017-12-28 Samsung Electronics Co., Ltd. Remote hover touch system and method
CN106055113A (zh) * 2016-07-06 2016-10-26 北京华如科技股份有限公司 一种混合现实的头盔显示系统及控制方法
CN106951153A (zh) * 2017-02-21 2017-07-14 联想(北京)有限公司 一种显示方法及电子设备

Also Published As

Publication number Publication date
WO2019127325A1 (zh) 2019-07-04
CN109643182A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN105637559B (zh) 使用深度传感器的结构建模
US9829989B2 (en) Three-dimensional user input
KR101453815B1 (ko) 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
KR101890459B1 (ko) 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
US11474610B2 (en) Systems and methods for generating dynamic obstacle collision warnings for head-mounted displays
JP2023500025A (ja) 物理オブジェクトの仮想現実への移植
JP6165485B2 (ja) 携帯端末向けarジェスチャユーザインタフェースシステム
US20210382547A1 (en) Systems and methods for generating dynamic obstacle collision warnings based on detecting poses of users
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
WO2014141504A1 (ja) 3次元ユーザインタフェース装置及び3次元操作処理方法
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
CN111950521A (zh) 一种增强现实交互的方法、装置、电子设备及存储介质
CN109313510A (zh) 集成的自由空间和表面输入设备
US11620792B2 (en) Fast hand meshing for dynamic occlusion
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN115335894A (zh) 用于虚拟和增强现实的系统和方法
CN109643182B (zh) 信息处理方法、装置、云处理设备及计算机程序产品
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
US10409464B2 (en) Providing a context related view with a wearable apparatus
RU2695053C1 (ru) Способ и устройство для управления трехмерными объектами в виртуальном пространстве
US20190287285A1 (en) Information processing device, information processing method, and program
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
CN113220110A (zh) 显示系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210224

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.

CP03 Change of name, title or address