CN112669464A - 一种分享数据的方法及设备 - Google Patents
一种分享数据的方法及设备 Download PDFInfo
- Publication number
- CN112669464A CN112669464A CN202010225568.9A CN202010225568A CN112669464A CN 112669464 A CN112669464 A CN 112669464A CN 202010225568 A CN202010225568 A CN 202010225568A CN 112669464 A CN112669464 A CN 112669464A
- Authority
- CN
- China
- Prior art keywords
- user
- server
- image
- information
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 230000004044 response Effects 0.000 claims abstract description 109
- 238000004891 communication Methods 0.000 claims abstract description 43
- 238000009877 rendering Methods 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 description 51
- 238000007726 management method Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 36
- 210000004027 cell Anatomy 0.000 description 27
- 230000006870 function Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 238000012795 verification Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 241000196324 Embryophyta Species 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 235000004789 Rosa xanthina Nutrition 0.000 description 1
- 241000221696 Sclerotinia sclerotiorum Species 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种分享数据的方法及设备,涉及通信技术和AR/VR技术领域,可减少在AR/VR场景进行数据分享的UI交互,保证AR/VR场景的展示效果。其中,第一设备响应于第一操作显示第一图像,第一图像是在摄像头采集的现实世界图像中融入数字世界的第一3D标识和第二3D标识并进行AR渲染得到的,第一3D标识至少用于标识现实世界中的建筑物、植物或山川风景,第二3D标识用于标识第一图像中的第一用户;响应于第二操作第一设备显示一个或多个虚拟物体;响应于滑动轨迹的起点为第一虚拟物体,终点为第一用户的图像的滑动操作,第一设备显示第一虚拟物体沿滑动轨迹向第一用户的图像运动的动态图像,并请求服务器向第二设备传输第一虚拟物体。
Description
本申请要求于2020年03月20日提交国家知识产权局、申请号为202010203171.X、发明名称为“一种分享数据的方法及设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及通信技术和增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)技术领域,尤其涉及一种分享数据的方法及设备。
背景技术
随着通信技术的发展,电子设备之间进行数据分享的方式越来越多。例如,电子设备中可以安装社交软件,电子设备之间可以通过该社交软件分享数据。例如,电子设备之间可分享的数据可以包括:文件、图片或消息等。
其中,两个电子设备(如手机A和手机B)通过社交软件,可以采用以下方式分享数据:手机A的用户和手机B的用户操作各自的设备,在上述社交软件中互相添加为好友;手机A和手机B在该社交软件中建立会话;手机A响应于用户的操作,将待分享的数据(如图片)加载至上述会话对应的会话框中;手机A响应于用户的分享操作(如对“分享”或“发送”按钮的点击操作),向手机B分享上述图片。
上述数据分享方案中,电子设备与用户的UI交互较多,并不适用于AR/VR场景的数据分享。例如,在AR/VR场景中,电子设备所要展示的AR/VR场景信息较多;如果在AR/VR场景中使用上述方案进行数据分享,过多的UI交互可能会影响AR/VR场景信息的展示,影响AR/VR场景信息的展示效果。
发明内容
本申请提供一种分享数据的方法及设备,可以减少在AR/VR场景进行数据分享的UI交互,进而可以保证AR/VR场景信息的展示效果。
第一方面,本申请提供一种分享数据的方法,该方法可以用于第一设备向第二设备分享数据。该第一设备安装有第一应用(application,APP)。该第一APP用于提供与现实世界呈1:1对应关系的数字世界。例如,该第一APP可以是河图(Cyberverse)APP。其中,第一设备在第一APP登录了第一账号。
其中,第一设备可接收用户的第一操作,该第一操作用于触发第一设备启动第一APP。响应于该第一操作,第一设备可显示第一图像。该第一图像是在第一设备的摄像头采集的现实世界的第二图像中融入数字世界的多个3D标识信息,并进行AR渲染得到的。该多个3D标识信息包括第一3D标识和第二3D标识。该第一3D标识至少用于标识现实世界中的建筑物、植物或山川风景。上述第一图像和第二图像中包括第一用户的图像,上述第二3D标识用于标识该第一用户。可以理解,第一设备所显示的第一图像是融合了现实世界的图像和数字世界的3D标识得到的虚实融合的图像。
第一设备可接收用户的第二操作。响应于该第二操作,第一设备可显示一个或多个虚拟物体。该一个或多个虚拟物体可以包括:第一设备中的图片、文件,以及第一APP的服务器提供的用于第一APP的不同账号相互分享的虚拟模型或表情图标。
第一设备还可接收用户的第一滑动操作。该第一滑动操作的滑动轨迹的起点为多个虚拟物体中的第一虚拟物体,终点为第一用户的图像。响应于第一滑动操作,第一设备可显示第一虚拟物体沿滑动轨迹向第一用户的图像运动的动态图像。第一设备还可以请求服务器向登录第二账号的第二设备传输第一虚拟物体。该第二账号是与第一用户关联的账号。
其中,第一滑动操作的滑动轨迹的起点为第一虚拟物体,表示用户(如第二用户)选中该第一虚拟物体作为待分享的数据。第一滑动操作的滑动轨迹的终点为第一用户的图像,表示第二用户选中该第一用户作为接收第一虚拟物体的目的端。也就是说,第一用户想要将第一虚拟物体分享给第二用户。
本申请的方法中,第一设备通过Cyberverse APP,无论用户走到哪里,都可以为用户呈现对现实世界进行AR渲染后的虚实融合的图像(即上述第一图像),使得用户可以轻松的获知到周围现实场景中的各种信息。
通过本方案,第一设备响应于指向目标用户的图像的抛物操作,便可以实现虚拟物体的分享。这样,可以减少在AR/VR场景进行数据分享的UI交互,进而可以保证AR/VR场景信息的展示效果。并且,通过上述方案,可以充分展示Cyberverse APP提供的AR/VR平台对于现实世界的可视化特点,可以为用户提供现实世界中可视化的数据分享服务。
进一步的,如果第一设备的摄像头的视野范围内存在在Cyberverse APP注册了账号的第一用户,上述第一图像中可以包括该第一用户的第二3D标识。第一用户的第二3D标识可以标识该第一用户,便于使用第一设备的用户辨认和选择目标用户。
在第一方面的一种可能的设计方式中,第一设备响应于第一操作,可通过摄像头采集第二图像,通过预设传感器采集数据,该预设传感器包括陀螺仪传感器和加速度传感器中的至少一个,以及全球定位系统(GlobalPositioning System,GPS)定位传感器。随后,第一设备可根据第二图像和预设传感器采集的数据,获取第一设备的位置信息和姿态信息,该第一设备的姿态信息用于指示第一设备的空间姿态。然后,第一设备可从服务器获取第一设备的位置信息和姿态信息对应的数字世界的3D模型。该数字世界的3D模型包括第一3D标识和第一3D标识所标识的对象的白模数据。该白模数据用于指示第一3D标识所标识的对象的三维结构。上述数字世界的3D模型是根据现实世界的3D数据创建的。第一设备还可以根据第二图像中所述第一用户的用户生物特征,从服务器获取第二3D标识,该用户生物特征包括人脸图像或虹膜信息。最后,第一设备可根据数字世界的3D模型、第一设备的位置信息和姿态信息,在第二图像中融入第一3D标识和第二3D标识,并进行AR渲染得到第一图像,并显示第一图像。
可以理解,第一设备的空间姿态空间(包括位置信息和姿态信息)不同,第一设备的摄像头所采集的现实世界的图像(即第二图像)不同。因此,第一设备的空间姿态空间可以影响手机A的摄像头所采集的现实世界的图像。反之,第一设备则可以使用该第二图像计算手机A的空间位姿信息。
本申请中,可以采集现实世界的3D数据(如3D建筑数据),根据该3D数据构建现实世界的3D模型。例如,上述3D建筑数据可以包括建筑物的位置轮廓坐标和高度信息等。并且,还可以构建与上述现实世界成1:1关系的数字世界的3D模型。在该数字世界的3D模型中,添加了现实世界的多个对象(如建筑物、植物或山川风景等)的3D标识,即第一3D标识。例如,该第一3D标识至少可以包括建筑名称、商户信息、用户点评或广告信息等信息。根据该数字世界的3D模型的模型数据,可以明确上述第一3D标识在现实世界所标识的对象,以及在在现实世界的图像中的显示位置等。因此,第一设备可根据数字世界的3D模型、第一设备的位置信息和姿态信息,在第二图像中融入第一3D标识。
其中,根据与现实世界呈1:1对应关系的数字世界的3D模型,将数字世界的第一3D标识融入现实世界的图像(即第二图像)中,可以在真实还原现实世界的图像的前提下,在该现实世界的图像中添加数字世界的相关信息(如第一3D标识)。这样,可以提升AR/VR场景中第一设备的显示效果,提升用户的视觉体验。
在第一方面的另一种可能的设计方式中,第一设备可根据第二图像和预设传感器采集的数据,从服务器获取第一设备的位置信息和姿态信息。具体的,第一设备可向服务器发送第二图像和预设传感器采集的数据。服务器可根据第二图像和预设传感器采集的数据,进行空间计算,确定上述位置信息和姿态信息;然后,向第一设备发送该位置信息和姿态信息。如此,第一设备便可以接收来自服务器的上述第一设备的位置信息和姿态信息。
本申请中,第一设备自己获取的位置信息(例如,GPS信息)误差较大,误差可能在十米至四十米之间;而服务器可以结合预设传感器采集的数据以及第二图像确定第一设备的位置信息,由服务器确定的位置信息误差是厘米级的。这样,可以提升上述位置信息和姿态信息的准确性。
在第一方面的另一种可能的设计方式中,可以由第一设备获取第二图像中的用户生物特征,然后根据用户生物特征从服务器获取第二3D标识。具体的,第一设备可以获取第二图像中的用户生物特征;然后,向服务器发送所述用户生物特征。服务器可以查询该用户生物特征对应的所述第一用户关联的账号(如第二账号),然后向第一设备发送该第二账号和第二账号的第二3D标识。第一设备可以接收来自服务器的第二账号和第二账号的第二3D标识。
在第一方面的另一种可能的设计方式中,第一设备可以向服务器发送第二图像,该第二图像中包括用户生物特征。由服务器查询该用户生物特征对应的所述第一用户关联的账号(如第二账号),然后向第一设备发送该第二账号和第二账号的第二3D标识。第一设备可以接收来自服务器的第二账号和第二账号的第二3D标识。这样,可以降低第一设备的功耗。
在第一方面的另一种可能的设计方式中,上述第二3D标识在第一图像中的位置,可以是根据用户生物特征在第二图像中的位置预先设定的。或者,第二3D标识在第一图像中的位置,是根据第二设备的位置信息确定的。该第二设备的位置信息可以是第一设备从服务器获取的。
在第一方面的另一种可能的设计方式中,上述响应于第二操作,第一设备显示一个或多个虚拟物体,可以包括:响应于第二操作,第一设备获取第一虚拟信息;第一设备显示第一虚拟信息所指示的一个或多个虚拟物体。其中,上述第一虚拟信息包括第一账号从服务器下载的虚拟物体的标识,和/或其他账号向第一账号分享的虚拟物体的标识。
在这种设计方式中,第一设备中可以保存上述第一虚拟信息。该第一虚拟信息可以是第一设备登录第一账号时,从服务器获取的。或者,第一设备响应于上述第二操作,可以从服务器获取该第一虚拟信息。
在第一方面的另一种可能的设计方式中,上述方法还包括:响应于第一滑动操作,第一设备从第一虚拟信息中,删除第一虚拟物体的标识。其中,第一设备可以从第一设备中保存的第一虚拟信息中,删除第一虚拟物体的标识。第一设备还可以请求服务器从服务器保存的第一虚拟信息中,删除第一虚拟物体的标识。
在第一方面的另一种可能的设计方式中,在第一设备请求服务器向登录第二账号的第二设备传输第一虚拟物体之后,上述方法还包括:第一设备接收来自服务器的第一分享结果,该第一分享结果用于指示第二设备接受了第一虚拟物体;第一设备发出第一提示信息,该第一提示信息用于指示第一虚拟物体分享成功。
在该设计方式中,第一设备发出第一提示信息,可以提示用户第一虚拟物体分享成功,使得用户可以了解第一虚拟物体的分享状态(如分享成功)。这样,可以提示第一APP的用户使用体验。
在第一方面的另一种可能的设计方式中,上述方法还包括:第一设备接收来自所述服务器的第二分享结果,该第二分享结果用于指示所述第二设备拒绝了所述第一虚拟物体;第一设备发出第二提示信息,该第二提示信息用于指示第一虚拟物体分享失败。
在该设计方式中,第一设备发出第一提示信息,可以提示用户第一虚拟物体分享成功,使得用户可以了解第一虚拟物体的分享状态(如分享失败)。这样,可以提示第一APP的用户使用体验。
在第一方面的另一种可能的设计方式中,上述方法还包括:第一设备响应于第一事件,显示用户生物特征的录入界面,该用户生物特征包括人脸图像或虹膜信息;第一设备接收第二用户在用户生物特征的录入界面录入的第二用户的用户生物特征;第一设备向服务器发送第一账号和第二用户的用户生物特征。
可以理解,该第二用户的用户生物特征可以用于其他电子设备(如第二设备)识别第一设备的用户(即第二用户),在第二设备所显示的虚实融合的图像中显示该第二用户的第二3D标识。
第二方面,本申请提供一种分享数据的方法,该方法可以用于第一设备向第二设备分享数据。该第一设备和第二设备中均安装有第一APP,该第一APP用于提供与现实世界呈1:1对应关系的数字世界。
服务器可获取第一设备的位置信息和姿态信息,并获取第一设备采集的现实场景的第二图像中第一用户的用户生物特征。该用户生物特征包括人脸图像或虹膜信息。该姿态信息用于指示第一设备的空间姿态。服务器可向第一设备发送第二3D标识,以及上述位置信息和姿态信息对应的数字世界的3D模型。该数字世界的3D模型包括第一3D标识和第一3D标识所标识的对象的白模数据。服务器可接收来自第一设备的第一请求消息。该第一请求消息中包括第一设备在第一APP登录的第一账号、第一虚拟物体和第二账号。该第二账号与第一用户关联。上述第一请求消息是响应于用户在第一图像的第一滑动操作触发的,该第一滑动操作的滑动轨迹的起点为第一虚拟物体,终点为第一用户的图像。最后,服务器可向在登录第二账号的第二设备发送第一推送消息。该第一推送消息包括第一账号和第一虚拟物体。
需要说明的是,上述白模数据、第一3D标识、第二3D标识和第一虚拟物体的详细描述可以参考上述第一方面及其任一种可能的设计方式中的描述。
本申请中,服务器可以根据第一设备的位置信息和第二图像中第一用户的用户生物特征,获取并向第一设备发送该位置信息对应的数字世界的3D模型,以及该用户生物标识对应的第一用户的第二3D标识。
如此,第一设备便可以将第一3D标识和第二3D标识融入第二图像并进行AR渲染得到虚实融合的第一图像。第一设备便可以响应于在用户在第一图像的第一滑动操作,向服务器发送第一请求消息,以请求服务器向第一滑动操作的滑动轨迹的终点所指示的第一用户关联的第二账号推送第一虚拟物体。
也就是说,服务器可以支持第一设备通过Cyberverse APP呈现对现实世界进行AR渲染后的虚实融合的图像(即上述第一图像),使得用户可以轻松的获知到周围现实场景中的各种信息。
并且,通过本方案,服务器可以支持第一设备响应于指向目标用户的图像的抛物操作,实现虚拟物体的分享。这样,可以减少在AR/VR场景进行数据分享的UI交互,进而可以保证AR/VR场景信息的展示效果。并且,通过上述方案,可以充分展示Cyberverse APP提供的AR/VR平台对于现实世界的可视化特点,可以为用户提供现实世界中可视化的数据分享服务。
在第二方面的一种可能的设计方式中,服务器获取第一设备的位置信息和姿态信息的方法可包括:服务器接收来自第一设备的第二图像和第一设备的预设传感器采集的数据;根据第二图像和预设传感器采集的数据,进行空间计算,确定上述位置信息和姿态信息。
本申请中,第一设备自己获取的位置信息(例如,GPS信息)误差较大,误差可能在十米至四十米之间;而服务器可以结合预设传感器采集的数据以及第二图像确定第一设备的位置信息,由服务器确定的位置信息误差是厘米级的。这样,由服务器获取第一设备的位置信息和姿态信息,可以提升上述位置信息和姿态信息的准确性。
在第二方面的另一种可能的设计方式中,在服务器接收来自第一设备的位置信息之前,上述方法还可以包括:服务器接收来自第二设备的第二账号和用户生物特征;服务器按照第二账号保存用户生物特征。
可以理解,该第一用户的用户生物特征可以用于其他电子设备(如第一设备)识别第二设备的用户(即第一用户),在第一设备所显示的虚实融合的图像中显示该第一用户的第二3D标识。
在第二方面的另一种可能的设计方式中,在服务器向第二设备发送第一推送消息之后,上述方法还包括:服务器接收来自第二设备的第一推送响应,该第一推送响应用于指示第二设备接受了第一虚拟物体;或者,服务器接收来自第二设备的第二推送响应,第二推送响应用于指示第二设备拒绝了第一虚拟物体。
在该设计方式中,服务器可以根据上述第一推送响应或第二推送响应明确上述第一虚拟物体的分享状态(如分享成功或分享失败)。
在第二方面的另一种可能的设计方式中,上述服务器保存有第一虚拟信息和第二虚拟信息。该第一虚拟信息包括第一账号从服务器下载的虚拟物体的标识,和/或其他账号向第一账号分享的虚拟物体的标识;第二虚拟信息包括第二账号从服务器下载的虚拟物体的标识,和/或其他账号向第二账号分享的虚拟物体的标识。
可以理解,服务器可以根据各个账号从服务器下载虚拟物体的记录,以及各个账号之间分享虚拟物体的记录,生成和更新各个账号的虚拟信息(如第一账号的第一虚拟信息)。
在第二方面的另一种可能的设计方式中,上述方法还包括:响应于第一推送响应,服务器从第一虚拟信息中删除第一虚拟物体的标识,在第二虚拟信息中增加第一虚拟物体的标识。
其中,由于第一推送响应用于指示第二设备接受了第一虚拟物体,即第一虚拟物体分享成功。此时,该第一虚拟物体属于第二账号。如此,服务器则可以从第一虚拟信息中删除第一虚拟物体的标识,在第二虚拟信息中增加第一虚拟物体的标识。
在第二方面的另一种可能的设计方式中,上述方法还包括:响应于第一请求消息,服务器从第一虚拟信息中删除第一虚拟物体的标识,在第二虚拟信息中增加第一虚拟物体的标识。
在该设计方式中,无论第一虚拟物体是否分享成功,响应于第一请求消息,服务器便可以确定该第一虚拟物体属于第二账号。如此,服务器则可以从第一虚拟信息中删除第一虚拟物体的标识,在第二虚拟信息中增加第一虚拟物体的标识。
在第二方面的另一种可能的设计方式中,响应于第一请求消息,服务器从第一虚拟信息中删除第一虚拟物体的标识,在第二虚拟信息中增加第一虚拟物体的标识之后,服务器可能会接收到第二推送响应。此时,第一虚拟物体分享失败。在这种情况下,响应于第二推送响应,服务器可以在第一虚拟信息中增加第一虚拟物体的标识,在第二虚拟信息中删除第一虚拟物体的标识。这样,该第一虚拟物体则仍属于第一账号。
第三方面,本申请提供一种电子设备,该电子设备是第一设备,第一设备安装有第一APP,第一APP用于提供与现实世界呈1:1对应关系的数字世界。第一设备在第一APP登录了第一账号。该第一设备包括:无线通信模块、存储器、显示屏、摄像头和一个或多个处理器;无线通信模块、存储器、显示屏、摄像头与处理器耦合。其中,上述存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。
当上述计算机指令被处理器执行时,使得第一设备执行以下操作:接收用户的第一操作,第一操作用于触发第一设备启动第一APP;响应于第一操作,显示第一图像,第一图像是在摄像头采集的现实世界的第二图像中融入数字世界的多个3D标识信息,并进行增强现实AR渲染得到的,第一图像和第二图像中包括第一用户的图像,多个3D标识信息包括第一3D标识和第二3D标识,第一3D标识至少用于标识现实世界中的建筑物、植物或山川风景,第二3D标识用于标识第一用户;接收用户的第二操作;响应于第二操作,显示一个或多个虚拟物体,一个或多个虚拟物体包括:第一设备中的图片、文件,以及第一APP的服务器提供的用于第一APP的不同账号相互分享的虚拟模型或表情图标;接收用户的第一滑动操作,第一滑动操作的滑动轨迹的起点为多个虚拟物体中的第一虚拟物体,终点为第一用户的图像;响应于第一滑动操作,显示第一虚拟物体沿滑动轨迹向第一用户的图像运动的动态图像;请求服务器向登录第二账号的第二设备传输第一虚拟物体,其中,第二账号是与第一用户关联的账号。
在第三方面的一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:响应于第一操作,通过摄像头采集第二图像,通过预设传感器采集数据;根据第二图像和预设传感器采集的数据,获取第一设备的位置信息和姿态信息,第一设备的姿态信息用于指示第一设备的空间姿态;从服务器获取第一设备的位置信息和姿态信息对应的数字世界的3D模型;根据第二图像中第一用户的用户生物特征,从服务器获取第二3D标识;根据数字世界的3D模型、第一设备的位置信息和姿态信息,在第二图像中融入第一3D标识和第二3D标识,并进行AR渲染得到第一图像,并显示第一图像。
其中,预设传感器包括陀螺仪传感器和加速度传感器中的至少一个,以及GPS定位传感器。上述数字世界的3D模型包括第一3D标识和第一3D标识所标识的对象的白模数据。该白模数据用于指示所述第一3D标识所标识的对象的三维结构。上述数字世界的3D模型是根据现实世界的3D数据创建的。上述用户生物特征包括人脸图像或虹膜信息。
在第三方面的另一种可能的设计方式中,当计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:向服务器发送第二图像和预设传感器采集的数据;接收来自服务器的第一设备的位置信息和姿态信息。该第一设备的位置信息和姿态信息是根据第二图像和预设传感器采集的数据,进行空间计算确定的。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:获取第二图像中的用户生物特征;向服务器发送用户生物特征;接收来自服务器的第二账号和第二账号的第二3D标识,其中,第二账号是与用户生物特征对应的第一用户关联的账号。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:向服务器发送第二图像,第二图像中包括用户生物特征;接收来自服务器的第二账号和第二账号的第二3D标识,其中,第二账号是与用户生物特征对应的第一用户关联的账号。
在第三方面的另一种可能的设计方式中,第二3D标识在第一图像中的位置,是根据用户生物特征在第二图像中的位置预先设定的。或者,第二3D标识在第一图像中的位置,是根据第二设备的位置信息确定的,第二设备的位置信息是第一设备从服务器获取的。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:响应于第二操作,获取第一虚拟信息,其中,第一虚拟信息包括第一账号从服务器下载的虚拟物体的标识,和/或其他账号向第一账号分享的虚拟物体的标识;显示第一虚拟信息所指示的一个或多个虚拟物体。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:从第一设备中,获取存储器按照第一APP的第一账号保存的第一虚拟信息;或者,根据第一账号,从服务器获取服务器按照第一账号保存的第一虚拟信息。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:响应于第一滑动操作,从第一虚拟信息中,删除第一虚拟物体的标识。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:在请求服务器向登录第二账号的第二设备传输第一虚拟物体之后,接收来自服务器的第一分享结果,第一分享结果用于指示第二设备接受了第一虚拟物体;发出第一提示信息,第一提示信息用于指示第一虚拟物体分享成功。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:接收来自服务器的第二分享结果,第二分享结果用于指示第二设备拒绝了第一虚拟物体;发出第二提示信息,第二提示信息用于指示第一虚拟物体分享失败。
在第三方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得第一设备还执行以下步骤:响应于第一事件,显示用户生物特征的录入界面,用户生物特征包括人脸图像或虹膜信息;第一设备接收第二用户在用户生物特征的录入界面录入的第二用户的用户生物特征;向服务器发送第一账号和第二用户的用户生物特征。
第四方面,本申请提供一种服务器,该服务器是第一APP的服务器,该第一APP用于提供与现实世界呈1:1对应关系的数字世界。该服务器包括:无线通信模块、存储器、和一个或多个处理器;无线通信模块、存储器与处理器耦合。其中,上述存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。
当计算机指令被处理器执行时,使得服务器执行以下操作:获取第一设备的位置信息和姿态信息,并获取第一设备采集的现实场景的第二图像中第一用户的用户生物特征;向第一设备发送第二3D标识,以及上述位置信息和姿态信息对应的数字世界的3D模型;接收来自第一设备的第一请求消息,第一请求消息中包括第一设备在第一APP登录的第一账号、第一虚拟物体和第二账号,该第二账号与第一用户关联;向登录第二账号的第二设备发送第一推送消息,第一推送消息包括第一账号和第一虚拟物体。
需要说明的是,上述姿态信息、用户生物特征、数字世界的3D模型、第二3D标识、第一3D标识、第一请求消息和第一虚拟物体的详细介绍,可以参考第二方面及其可能的设计方式中的描述,这里不予赘述。
在第四方面的一种可能的设计方式中,当上述计算机指令被处理器执行时,使得服务器还执行以下步骤:接收来自第一设备的第二图像和第一设备的预设传感器采集的数据;根据第二图像和预设传感器采集的数据,进行空间计算,确定位置信息和姿态信息。
在第四方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得服务器还执行以下步骤:在接收来自第一设备的位置信息之前,接收来自第二设备的第二账号和用户生物特征;按照第二账号保存用户生物特征。
在第四方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得服务器还执行以下步骤:在向在第一APP登录第二账号的第二设备发送第一推送消息之后,接收来自第二设备的第一推送响应,第一推送响应用于指示第二设备接受了第一虚拟物体;或者,接收来自第二设备的第二推送响应,第二推送响应用于指示第二设备拒绝了第一虚拟物体。
在第四方面的另一种可能的设计方式中,上述存储器保存有第一虚拟信息和第二虚拟信息;第一虚拟信息包括第一账号从服务器下载的虚拟物体的标识,和/或其他账号向第一账号分享的虚拟物体的标识;第二虚拟信息包括第二账号从服务器下载的虚拟物体的标识,和/或其他账号向第二账号分享的虚拟物体的标识。
在第四方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得服务器还执行以下步骤:响应于第一推送响应,从第一虚拟信息中删除第一虚拟物体的标识,在第二虚拟信息中增加第一虚拟物体的标识。
在第四方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得服务器还执行以下步骤:响应于第一请求消息,从第一虚拟信息中删除第一虚拟物体的标识,在第二虚拟信息中增加第一虚拟物体的标识。
在第四方面的另一种可能的设计方式中,当上述计算机指令被处理器执行时,使得服务器还执行以下步骤:响应于第二推送响应,在第一虚拟信息中增加第一虚拟物体的标识,在第二虚拟信息中删除第一虚拟物体的标识。
第五方面,本申请提供一种芯片系统,该芯片系统可以应用于包括无线通信模块、存储器和显示屏的电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。该接口电路用于从上述存储器接收信号,并向处理器发送该信号,该信号包括存储器中存储的计算机指令。当处理器执行该计算机指令时,电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第六方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令。当计算机指令在电子设备上运行时,使得该电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第七方面,本申请提供一种芯片系统,该芯片系统可以应用于包括无线通信模块和存储器的服务器。该芯片系统包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。该接口电路用于从上述存储器接收信号,并向处理器发送该信号,该信号包括存储器中存储的计算机指令。当处理器执行该计算机指令时,服务器执行如第二方面及其任一种可能的设计方式所述的方法。
第八方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令。当计算机指令在服务器上运行时,使得该服务器执行如第二方面及其任一种可能的设计方式所述的方法。
第九方面,本申请提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面或第二方面及其任一种可能的设计方式所述的方法。
可以理解地,上述提供的第三方面及其任一种可能的设计方式所述的电子设备,第四方面及其任一种可能的设计方式所述的服务器,第五方面和第七方面所述的芯片系统,第六方面和第八方面所述的计算机可读存储介质,第九方面所述的计算机程序产品所能达到的有益效果,可参考如第一方面或第二方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种通信系统的架构示意图;
图2为本申请实施例提供的一种Cyberverse APP的界面示意图;
图3为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图4为本申请实施例提供的一种电子设备的结构示意图;
图5为本申请实施例提供的一种分享数据的方法流程图;
图6为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图7为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图8为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图9A为本申请实施例提供的分享数据的方法中、服务器的一种原理框架示意图;
图9B为本申请实施例提供的分享数据的方法中、服务器的另一种原理框架示意图;
图10为本申请实施例提供的另一种分享数据的方法流程图;
图11A为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图11B为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图12为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图13为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图14为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图15A为本申请实施例提供的一种第一界面的示意图;
图15B为本申请实施例提供的另一种第一界面的示意图;
图16A为本申请实施例提供的另一种分享数据的方法流程图;
图16B为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图16C为本申请实施例提供的另一种Cyberverse APP的界面示意图;
图17为本申请实施例提供的预设坐标系和地面坐标系的示意图;
图18为本申请实施例提供的一种电子设备的结构示意图;
图19为本申请实施例提供的一种服务器的结构示意图;
图20为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
本申请实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个相绑定的列出项目的任何或所有可能组合。
本申请实施例提供一种分享数据的方法,该方法可以应用于包括至少两个电子设备和服务器的通信系统。上述至少两个电子设备可以包括第一设备和第二设备。
请参考图1,其示出本申请实施例提供的一种通信系统的架构示意图。如图1所示,通信系统100可以包括第一设备110、第二设备120和服务器130。
上述第一设备110和第二设备120中安装有第一APP。服务器130是第一APP的管理服务器或应用服务器。该服务器130可以为一台服务器,或者,也可以为由多台服务器组成的服务器集群,本申请实施例对此不做限定。
其中,第一设备110在第一设备110安装的第一APP中登录第一账号,第二设备120在第二设备120安装的第一APP中登录第二账号。其中,上述第一账号也可以称为第一标识(Ident ity,ID),上述第二账号也可以称为第二ID。
示例性的,上述第一APP可以是Cyberverse APP。Cyberverse APP的名字来源于网络(Cyber)和宇宙(Universe)。其中,Cyberverse是一种基于虚实融合的增强现实技术。Cyberverse APP具备3D高精地图能力,空间计算能力、强环境理解能力和超逼真的虚实融合渲染能力。Cyberverse技术在5G架构下,可以提供地球级虚实融合世界的构建与服务能力。
可以理解,安装有Cyberverse APP的电子设备(如上述第一设备110或第二设备120),则可以通过Cyberverse APP链接用户、真实世界与数字世界等,为用户带来全新的交互模式及视觉体验。需要说明的是,Cyberverse APP的详细描述,可以参考以下实施例中的介绍,这里不予赘述。
示例性的,本申请实施例中的电子设备(如第一设备或第二设备)可以是便携式计算机(如手机等)、笔记本电脑、个人计算机(personal computer,PC)、可穿戴电子设备(如智能手表智能眼镜或者智能头盔等)、平板电脑、AR\虚拟现实(virtual reality,VR)设备或者车载设备等,以下实施例对该电子设备的具体形式不做特殊限制。
其中,上述Cyberverse APP将在景点、博物馆、智慧园区、机场、高铁站、商业空间等多个空间为用户提供服务。示例性的,本申请实施例中,以第一设备110是手机为例,响应于用户启动Cyberverse APP的操作,手机可以启动摄像头,并通过Cyberverse APP对摄像头采集的现实世界的图像进行AR增强,在该现实世界的图像中融入数字世界的信息,得到并显示虚实融合的图像。
例如,响应于用户启动Cyberverse APP的操作,手机可以启动摄像头,该摄像头可以采集到图2中的(a)所示的现实世界的图像201;手机可以通过Cyberverse APP对摄像头采集的现实世界的图像201进行AR增强,在该现实世界的图像中融入数字世界的信息,得到并显示图2中的(b)所示的虚实融合的图像202。
需要注意的是,图2中的(b)所示的虚实融合的图像202中不仅包括现实世界的图像201,还包括现实世界的图像201中多个建筑/场所的3D标识信息(也可以称为数字标牌),如ABC商场的3D标识205、停车场的3D标识204和假日酒店的3D标识203。其中,上述3D标识至少可以包括建筑名称、商户信息、用户点评或广告信息等信息。如此,使用Cyberverse APP,无论用户走到哪里,都可以通过手机屏幕查看到经过AR增强后的现实世界,可以轻松的获知到周围现实场景中的各种信息。其中,上述多个建筑/场所的3D标识为数字世界的信息。其中,数字世界的信息的详细介绍,可以参考本实施例后续相关描述,这里不予赘述。
又例如,在导航模式下,手机可以通过Cyberverse APP对摄像头采集的现实世界的图像201进行AR增强,得到并显示图2中的(c)所示的虚实融合的图像206。需要注意的是,图2中的(b)所示的虚实融合的图像202中不仅包括现实世界的图像201,还包括现实世界的图像201中的道路名称208(如花园南路)、行进标识209和目的地标识207等信息。
又例如,响应于用户启动Cyberverse APP的操作,手机可以启动摄像头,该摄像头可以采集到图3中的(a)所示的现实世界的图像301。手机可以响应于用户的操作,通过Cyberverse APP在现实世界的图像301中添加预存的模型,得到并显示图3中的(b)所示的虚实融合的图像302。需要注意的是,图3中的(b)所示的虚实融合的图像302中不仅包括现实世界的图像301,还包括手机中预存的模型303。其中,上述预存的模型可以是手机通过Cyberverse APP拍摄得到的静态或动态图像。例如,图3中的(b)所示预存的模型303可以为多人表演的动态图像。如此,通过Cyberverse APP手机便可以将上述多人表演的动态图像与任一现实世界的图像进行虚实融合,以得到多人在不同现实场景下表演的动态图像。
需要说明的是,上述Cyberverse APP的功能并不限于上述示例所述的功能。例如,Cyberverse APP还可以应用于车载设备,可以为驾驶员提供相比于车辆仪表盘更为精确和丰富的信息量(如车辆正在行驶的车道状况或前车的实时动向等信息)。
结合上述描述可知:如果使用第二设备120的用户b在第一设备110(如手机)的摄像头的视野范围内,第一设备110利用上述Cyberverse APP可以显示包括上述用户b的图像的虚实融合的图像。例如,如图2中的(b)所示,虚实融合的图像202中包括用户b的图像210。本申请实施例中,第一设备110(如手机)响应于用户输入的指向虚实融合的图像202中的用户b的图像210的抛物操作,可向第二设备120分享数据。也就是说,第一设备110和第二设备120可以实现AR/VR场景下的数据分享。并且,可以减少在AR/VR场景进行数据分享的UI交互,进而可以保证AR/VR场景信息的展示效果。
请参考图4,其示出一实施例提供的一种电子设备400的结构示意图。该电子设备400是本实施例中所述的第一设备110或第二设备120。如图4所示,电子设备400可以包括处理器410,外部存储器接口420,内部存储器421,通用串行总线(universal serial bus,USB)接口430,充电管理模块440,电源管理模块441,电池442,天线1,天线2,移动通信模块450,无线通信模块460,音频模块470,扬声器470A,受话器470B,麦克风170C,耳机接口470D,传感器模块480,按键490,马达491,指示器492,摄像头493,显示屏494,以及用户标识模块(subscriber identification module,SIM)卡接口495等。
以下实施例中的摄像头可以为结构光摄像头,也称为点云深度摄像头、3D结构光摄像头或者深度摄像头。
一般而言,电子设备(如手机)上呈现的图像都是二维图像。二维图像中不能显示该图像上每个位置对应的深度。而结构光摄像头在采集3D图像时,不仅获取了图像中每个位置的颜色,还获取了每个位置的深度。结构光的原理就是通过光源发出一个不可见的光栅,以隔出一个特点的条纹或者图像,之后再根据图案的分布和扭曲程度,逆向计算出其所对应的三维图像数据,如三维人脸模型。在以下实施例中,图像中每个位置深度信息的采集不局限于结构光摄像头,电子设备400也可以基于光学摄像头通过深度学习等算法估计图像中每个位置的深度信息。
其中,传感器模块480可以包括压力传感器480A,陀螺仪传感器480B,气压传感器480C,磁传感器480D,加速度传感器480E,距离传感器480F,接近光传感器480G,指纹传感器480H,温度传感器480J,触摸传感器480K,环境光传感器480L,骨传导传感器480M等。
可以理解的是,本实施例示意的结构并不构成对电子设备400的具体限定。在本申请另一些实施例中,电子设备400可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器410可以包括一个或多个处理单元,例如:处理器410可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备400的神经中枢和指挥中心,是指挥电子设备400的各个部件按照指令协调工作的决策者。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器410中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器410的等待时间,因而提高了系统的效率。
在一些实施例中,处理器410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备400的结构限定。在本申请另一些实施例中,电子设备400也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块440用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块440可以通过USB接口430接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块440可以通过电子设备400的无线充电线圈接收无线充电输入。充电管理模块440为电池442充电的同时,还可以通过电源管理模块441为电子设备供电。
电源管理模块441用于连接电池442,充电管理模块440与处理器410。电源管理模块441接收电池442和/或充电管理模块440的输入,为处理器410,内部存储器421,外部存储器,显示屏494,摄像头493,和无线通信模块460等供电。电源管理模块441还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块441也可以设置于处理器410中。在另一些实施例中,电源管理模块441和充电管理模块440也可以设置于同一个器件中。
电子设备400的无线通信功能可以通过天线1,天线2,移动通信模块450,无线通信模块460,调制解调处理器以及基带处理器等实现。在一些实施例中,电子设备400的天线1和移动通信模块450耦合,天线2和无线通信模块460耦合,使得电子设备400可以通过无线通信技术与网络以及其他设备通信。
天线1和天线2用于发射和接收电磁波信号。电子设备400中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块450可以提供应用在电子设备400上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块450可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。无线通信模块460可以提供应用在电子设备400上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellitesystem,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near fieldcommunication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
电子设备400通过GPU,显示屏494,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏494和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器410可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏494用于显示图像,视频等。显示屏494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备400可以包括1个或N个显示屏494,N为大于1的正整数。
电子设备400可以通过ISP,摄像头493,视频编解码器,GPU,显示屏494以及应用处理器等实现拍摄功能。
ISP用于处理摄像头493反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头493中。
摄像头493用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备400可以包括1个或N个摄像头493,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备400在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。电子设备400可以支持一种或多种视频编解码器。这样,电子设备400可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备400的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口420可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备400的存储能力。外部存储卡通过外部存储器接口420与处理器410通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器421可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令,从而执行电子设备400的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备400使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器421可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备400可以通过音频模块470,扬声器470A,受话器470B,麦克风170C,耳机接口470D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块470用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块470还可以用于对音频信号编码和解码。扬声器470A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备400可以通过扬声器470A收听音乐,或收听免提通话。受话器470B,也称“听筒”,用于将音频电信号转换成声音信号。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。耳机接口470D用于连接有线耳机。耳机接口470D可以是USB接口430,也可以是3.5mm的开放移动电子设备平台(openmobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellulartelecommunications industry association of the USA,CTIA)标准接口。
压力传感器480A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器480A可以设置于显示屏494。
陀螺仪传感器480B可以用于确定电子设备400的运动姿态。在一些实施例中,可以通过陀螺仪传感器480B确定电子设备400围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器480B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器480B检测电子设备400抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备400的抖动,实现防抖。陀螺仪传感器480B还可以用于导航,体感游戏场景。
加速度传感器480E可检测电子设备400在各个方向上(一般为三轴)加速度的大小。当电子设备400静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器480F,用于测量距离。电子设备400可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备400可以利用距离传感器480F测距以实现快速对焦。
按键490包括开机键,音量键等。按键490可以是机械按键。也可以是触摸式按键。电子设备400可以接收按键输入,产生与电子设备400的用户设置以及功能控制有关的键信号输入。
马达491可以产生振动提示。马达491可以用于来电振动提示,也可以用于触摸振动反馈。指示器492可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口495用于连接SIM卡。SIM卡可以通过插入SIM卡接口495,或从SIM卡接口495拔出,实现和电子设备400的接触和分离。电子设备400可以支持1个或N个SIM卡接口,N为大于1的正整数。
为了便于理解,本申请实施例中以图1所示的第一设备110是手机A,用户a(即第二用户)使用手机A;图1所示的第二设备是手机B,用户b(即第一用户)使用手机B;服务器为服务器C第一APP是Cyberverse APP为例,结合附图介绍本申请实施例提供的一种分享数据的方法。
其中,手机A和手机B中均安装有上述Cyberverse APP。示例性的,手机A出厂时便安装有上述Cyberverse APP;或者,手机A可以从应用商店中安装上述Cyberverse APP。当然,手机B出厂时便安装有上述Cyberverse APP;或者,手机B可以从应用商店中安装上述Cyberverse APP。
示例性的,在手机A和手机B中安装Cyberverse APP之后,如图5所示,本申请实施例的方法可以包括流程(1)-流程(3)这三个流程。流程(1):手机A和手机B在CyberverseAPP注册账号的流程。流程(2):手机A和手机B录入用户生物特征的流程。流程(3):手机A通过Cyberverse APP向手机B分享数据的流程。
如图5所示,上述流程(1),即“手机A和手机B在Cyberverse APP注册账号的流程”,可以包括S501-S505。
S501、手机A显示Cyberverse APP的账号注册界面。
其中,该账号注册界面用于在Cyberverse APP中注册账号。
示例性的,手机A安装Cyberverse APP之后,如图6中的(a)所示,手机A的主界面包括Cyberverse APP的图标601。响应于用户对图6中的(a)所示的Cyberverse APP的图标601的点击操作(如单击操作),手机A可显示图6中的(b)所示的界面602。该界面602包括“注册”选项603和“登录”选项604。“登录”选项604用于触发手机A显示Cyberverse APP的登录界面。手机A可以在该登录界面接收用户输入的账号和密码,使用该账号和密码在CyberverseAPP登录该账号。“注册”选项603用于触发手机A显示Cyberverse APP的账号注册界面。例如,手机A可显示图6中的(c)所示的Cyberverse APP的账号注册界面605。又例如,手机A可显示图7所示的Cyberverse APP的账号注册界面701。
S502、手机A接收用户在账号注册界面输入的账号信息。
S503、响应于用户的操作,手机A向服务器C发送注册请求。该注册请求中包括上述账号信息。
S504、服务器C接收上述注册请求,响应于该注册请求,使用上述账号信息注册Cyberverse APP的第一ID。
在一种实现方式中,上述账号信息可以包括第一ID(如手机号码或者电子邮箱的地址等)和验证码。例如,图6中的(c)所示账号注册界面605是使用手机号码注册账号的账号注册界面,如该账号注册界面605包括“账号输入框”606、“验证码输入框”607、“获取验证码”按钮608和“注册”按钮609。
其中,“账号输入框”606用于输入手机号码,该手机号码可以作为Cyberverse APP的账号(如第一ID)。手机A接收到用户在“账号输入框”606输入的手机号码a(即第一ID)后,可在该“账号输入框”606显示该手机号码a(即第一ID)。然后,用户可以点击“获取验证码”按钮608,响应于用户对该“获取验证码”按钮608的点击操作(如单击操作),手机A可以请求服务器C向手机号码a对应的手机(如手机A)发送验证码。手机A接收到该验证码后,用户可以在“验证码输入框607中输入该验证码。手机可以接收并显示用户在“验证码输入框607中输入的验证码。最后,手机A可以接收用户对“注册”按钮609的点击操作(如单击操作),响应于该点击操作,手机A可向服务器C发送注册请求。该注册请求中包括上述账号信息,如手机号码a(即第一ID)和验证码。服务器C可以接收该注册请求,响应于该注册请求,服务器C可以使用上述账号信息(如手机号码a和验证码)注册Cyberverse APP的第一ID(如手机号码a)。
在另一种实现方式中,上述账号信息可以包括第一ID(如手机号码或者电子邮箱的地址等)和登录密码。例如,图7所示账号注册界面701包括“账号输入框”702、“密码输入框”703、和“注册”按钮704。
其中,“账号输入框”702用于输入手机号码或者电子邮箱的地址等,该手机号码或者电子邮箱的地址可以作为Cyberverse APP的账号(如第一ID)。“密码输入框”703用于输入用户设置的登录密码。手机A可以接收并显示用户在“账号输入框”702输入的第一ID,接收并显示用户在“密码输入框”703输入的登录密码。然后,手机A可以接收用户对“注册”按钮704的点击操作(如单击操作),响应于该点击操作,手机A可向服务器C发送注册请求。该注册请求中包括上述账号信息。服务器C可以接收该注册请求,响应于该注册请求,服务器C可以使用上述账号信息注册Cyberverse APP的第一ID。
在一些实施例中,上述第一ID还可以是华为账号。也就是说,用户可以使用华为账号注册Cyberverse APP。
S505、手机B注册Cyberverse APP的第二ID。
需要说明的是,手机B注册Cyberverse APP的第二ID的方法,可以参考上述实施例中S501-S504所描述的手机A注册Cyberverse APP的第一ID的方法,本申请实施例这里不予赘述。
示例性的,本申请实施例中,Cyberverse APP的用户注册及登录机制,可以是使用华为移动服务(huawei mobile services,HMS)账号系统实现的。上述HMS是华为云服务开放能力的合集,开发者只需集成HMS SDK即可使用华为帐号、应用内支付、消息推送、好友关系等能力。
需要说明的是,本申请实施例中,对于“手机A注册Cyberverse APP的第一ID”和“手机B注册Cyberverse APP的第二ID”的先后顺序不作限制。也就是说,本申请实施例中,可以先执行S501-S504,再执行S505;也可以先执行S505,再执行S501-S504;还可以同时执行S501-S504和S505。
可以理解,手机A和手机B在Cyberverse APP注册账号后,便可以通过CyberverseAPP分享数据。本申请实施例中,为了便于电子设备(如手机B)使用Cyberverse APP时,可以根据摄像头采集的用户a的图像(如人脸图像),识别出该用户a的手机A在Cyberverse APP所登录的账号(即第一ID),手机A在Cyberverse APP注册账号时,还可以录入用户a的用户生物标识(如人脸数据或虹膜信息等)。如图5所示,上述流程(2),即手机A和手机B录入用户生物特征的流程,可以包括S601-S605。
S601、响应于第一事件,手机A显示用户生物特征的录入界面。该用户生物特征包括用户的人脸数据或者虹膜信息。
在一种实现方式中,上述第一事件可以为手机A接收到服务器C发送的注册成功的指示消息。服务器C可以在使用上述账号信息注册Cyberverse APP的第一ID之后,向手机A发送上述注册成功的指示消息。
可选的,在一些实施例中,手机A接收到来自服务器C的注册成功的指示消息,可显示界面1。该界面1用于指示账号注册成功,并请求用户确认是否录入用户生物特征。手机A可接收用户在该界面1的操作1。该操作1用于指示手机A录入用户生物特征。手机A响应于用户在该界面1的操作1,可显示用户生物特征的录入界面。手机A还可以接收用户在该界面1的操作2。该操作2用于指示手机A不用录入用户生物特征。手机A响应于用户在该界面1的操作2,可显示Cyberverse APP的主页。
例如,响应于接收到来自服务器C的注册成功的指示消息,手机A可显示图8所示的界面801,该界面801中包括提示信息802,如“账号180****5678注册成功,现在是否为您录入人脸数据?”。上述操作1可以是用户对界面801中“是”按钮803的点击操作(如单击操作)。上述操作2可以是用户对界面801中“否”按钮804的点击操作(如单击操作)。
可选的,上述界面1中还可以包括提示信息805,如“人脸数据可用于CyberverseAPP使用过程中,其他设备识别您的ID”。该提示信息805可向用户说明手机A录入人脸数据(即用户生物特征)的用途,以便于用户按照需求选择是否录入人脸数据。
在另一种实现方式中,上述第一事件可以是手机A接收到用户在Cyberverse APP输入的用于触发Cyberverse APP录入上述用户生物特征的操作(附图未示出)。
S602、手机A接收用户a在用户生物特征的录入界面录入的用户生物特征a。
需要说明的是,手机显示用户生物特征(如用户的人脸数据或者虹膜信息)的录入界面,并在该录入界面录入用户生物特征a的方法,可以参考常规技术中的相关描述,本申请实施例这里不予赘述。
可选的,手机A可以保存上述用户生物特征a。具体的,手机A可以保存上述第一ID、该用户生物特征,以及第一ID与该用户生物特征a的对应关系。该用户生物特征可以用于手机A在Cyberverse APP登录第一ID。
需要说明的是,手机A保存的用户生物特征a,可以是手机A的摄像头直接采集到的人脸图像或者虹膜信息等。或者,手机A保存的用户生物特征a,还可以是手机A根据摄像头采集到的人脸图像或者虹膜信息等信息,生成的生物特征模型。例如,手机A保存的用户生物特征,可以手机A根据摄像头采集到的人脸图像,生成的人脸3D模型,该人脸3D模型可以是人脸3D点云。
S603、手机A向服务器C发送上述第一ID和用户生物特征a。
S604、服务器C接收来自手机A的用户生物特征a,并保存第一ID和与第一ID对应的用户生物特征a。
S605、手机B录入用户b的用户生物特征b,并向服务器C发送第二ID和用户生物特征b,服务器C保存第二ID和与第二ID对应的用户生物特征b。
需要说明的是,S605的具体描述,可以参考上述实施例对S601-S604的详细介绍,本申请实施例这里不予赘述。
需要注意的是,本申请实施例中,可以先执行S601-S604,再执行S605;也可以先执行S605,再执行S601-S604;还可以同时执行S601-S604和S605。并且,需要注意的是,本申请实施例中,对于执行S501-S504与S605的先后顺序,以及执行S601-S604与S505的先后顺序不作限制。
示例性的,请参考图9A,其示出了本申请实施例提供的分享数据的方法中、服务器C的一种原理框架示意图。如图9A所示,服务器C可以划分为4个模块:用户管理服务901、用户信息数据库903、虚拟物体管理服务902和虚拟物体数据库904。
其中,上述用户管理服务901用于将来自电子设备(如手机A和手机B)的用户生物标识(包括上述ID和用户生物特征)存储至用户信息数据库903。该用户信息数据库903用于保存上述ID和用户生物特征。上述用户管理服务901还可以称为用户管理系统或者用户管理模块。
例如,服务器C可以调用图9A所示的用户管理服务901,将上述第一ID和与第一ID对应的用户生物特征a,以及第二ID和与第二ID对应的用户生物特征b,存储至图9A所示的用户信息数据库903中。
例如,图9A所示的用户信息数据库903中可以保存表1所示的ID和用户生物特征。
表1
可选的,图9A所示的用户信息数据库903中还可以保存用户a为第一ID设置的用户名或昵称。例如,假设上述第一ID对应的用户名或昵称为鲍勃(Bob),第二ID对应的用户名或昵称为露西(Lucy),图9A所示的用户信息数据库903中可以保存表2所示的ID和用户生物特征。
表2
其中,虚拟物体数据库904可用于存储多个电子设备(如手机A或手机B)使用Cyberverse APP,可以相互分享的虚拟物体。例如,该虚拟物体可以包括虚拟轮船、虚拟小汽车、虚拟货币、虚拟玫瑰花、表情图标等。
例如,图9A所示的虚拟物体数据库904中可以保存表3所示的虚拟物体的相关信息。
表3
电子设备(如手机A或手机B)在使用上述Cyberverse APP的过程中,可能会从服务器C下载上述虚拟物体。需要说明的是,电子设备使用Cyberverse APP的过程中,可以从服务器C免费下载,或者使用虚拟货币从服务器C下载虚拟物体。上述虚拟物体管理服务902用于响应于电子设备(如手机A)的下载请求,从虚拟物体数据库904获取手机A请求下载的虚拟物体,然后向手机A发送该虚拟物体。
并且,上述虚拟物体数据库904中还可以用于存储各个ID的虚拟信息。每个ID的虚拟信息可以包括电子设备登录该ID所下载的虚拟物体的标识,以及该ID接收来自其他ID的虚拟物体的标识。例如,虚拟物体数据库904中可以用于存储各个ID的虚拟物体列表,如表4-1和表4-2所示的虚拟物体列表。该虚拟物体列表中包括:电子设备登录该ID所下载的虚拟物体的标识,以及该ID接收来自其他ID的虚拟物体的标识。
例如,手机A在Cyberverse APP登录第一ID,手机B在Cyberverse APP登录第二ID。本申请实施例中,将第一ID的虚拟信息称为第一虚拟信息,第二ID的虚拟信息称为第二虚拟信息。
图9A所示的虚拟物体管理服务902可以根据各个ID从服务器C下载虚拟物体的记录,以及各个ID之间分享虚拟物体的记录,在虚拟物体数据库904中保存表4-1所示的第一虚拟信息和表4-2所示的第二虚拟信息。
如表4-1所示,第一ID的虚拟信息(即第一虚拟信息)可以包括:第一ID、以及虚拟小汽车的标识、表情图标a(如爱心图标)的标识和虚拟玫瑰花的标识。
表4-1
如表4-2所示,第二ID的虚拟信息(即第二虚拟信息)可以包括:第二ID、以及虚拟玫瑰花的标识和表情图标b的标识。
表4-2
需要说明的是,本申请实施例中,电子设备之间所分享的数据可以包括上述虚拟物体,还可以包括电子设备中保存的文件或图片等数据。在手机A向手机B分享数据后,表2所示的虚拟物体的下载/分享信息可能会发生变化。
请参考图9B,其示出了本申请实施例提供的分享数据的方法中、服务器C的另一种原理框架示意图。如图9B所示,服务器C可以划分为2个模块:内容管理服务910和内容数据库911。其中,内容管理服务910还可以称为内容管理系统或者内容管理模块。该内容管理服务910中集成了图9A所示的用户管理服务901和虚拟物体管理服务902的所有功能。该内容数据库911可以用于存储图9A所示的用户信息数据库903和虚拟物体数据库904的所有数据。
也就是说,本申请实施例中,服务器C可以采用图9A所示的原理框架,使用不同的管理服务和数据库,管理和存储Cyberverse APP中ID对应的用户生物标识和虚拟物体。或者,服务器C还可以采用图9B所示的原理框架,使用一个管理服务和数据库,管理和存储Cyberverse APP中ID对应的用户生物标识和虚拟物体。本申请实施例对此不作限制。
上述手机A和手机B录入用户生物特征的流程之后,手机A便可以通过CyberverseAPP向手机B分享数据。具体的,在上述流程(2)之后,本申请实施例的方法还包括流程(3),即手机A通过Cyberverse APP向手机B分享数据的流程。例如,如图10所示,本申请实施例提供的分享数据的方法可以包括S1001-S1005。又例如,如图5所示,上述流程(3),即手机A通过Cyberverse APP向手机B分享数据的流程,可以包括S1001-S1008。如图10所示,本申请实施例的方法可以包括S1001-S1008。
S1001、手机A接收用户的第一操作。该第一操作用于触发手机A启动CyberverseAPP。
其中,上述第一操作可以是手机A在Cyberverse APP登录第一ID后,用户(如用户a)对图6中的(a)所示的Cyberverse APP的图标601的点击操作(如单击操作)。可以理解,手机A在Cyberverse APP首次登录第一ID后,只要手机A没有Cyberverse APP退出登录第一ID;响应于用户的第一操作,手机A便可以启动Cyberverse APP,并在Cyberverse APP自动登录第一ID。
S1002、响应于第一操作,手机A显示第一图像。该第一图像是在手机A的摄像头采集的现实世界的第二图像中融入数字世界的多个3D标识信息,并进行AR渲染得到的。
其中,该多个3D标识信息可以包括第一3D标识和第二3D标识。该第一3D标识至少用于标识现实世界中的建筑物、植物或山川风景。该第二3D标识用于标识第一APP的用户(如用户b)。
示例性的,手机A响应于第一操作显示第一图像的方法,可以包括S1002A-S1002E。
S1002A、响应于第一操作,手机A通过摄像头采集第二图像,手机通过预设传感器采集数据。
其中,第二图像是摄像头采集的现实世界的图像。例如,该第二图像可以是图11A中的(a)所示的现实世界的图像1101。上述预设传感器可以包括陀螺仪传感器、加速度传感器或磁传感器等至少一个传感器,以及GPS定位传感器。其中,该GPS定位传感器采集到的数据用于确定手机A的位置信息;磁传感器、加速度传感器和陀螺仪传感器采集到的数据用于确定手机A的姿态信息,如手机A的摄像头的朝向。
S1002B、手机A根据第二图像和预设传感器采集的数据,获取手机A的空间位姿信息。
其中,手机A的空间位姿信息可以包括:手机A的位置信息和姿态信息。例如,该位置信息可以包括手机A当前的地理坐标位置。该手机A可以通过上述GPS定位传感器采集的数据,确定该手机A的位置信息。例如,上述姿态信息可以是手机A的摄像头的朝向。又例如,上述姿态信息用于指示手机A的空间姿态,如手机A相对于地面坐标系的空间姿态。举例来说,手机A相对于地面坐标系的空间姿态,可以通过手机A的预设坐标系相对于地面坐标系的欧拉角来表示。其中,手机A的预设坐标系相对于地面坐标系的欧拉角的详细描述,可以参考本申请实施例对图17的详细介绍,这里不予赘述。
可以理解,手机A的空间位姿信息(包括位置信息和姿态信息)不同,手机A的摄像头所采集的现实世界的图像不同。
一方面,手机A的位置信息不同(即手机A处于不同位置),手机A的摄像头所采集的现实世界的图像不同。例如,图11A中的(a)所示的现实世界的图像1101与图11B中的(a)所示的现实世界的图像1106是手机A位于同一个街道的不同位置所采集的图像,该现实世界的图像1101和现实世界的图像1106不同。
另一方面,即使手机A的位置信息相同(即手机A处于相同的位置),如果手机A的姿态信息不同,手机A的摄像头所采集的现实世界的图像不同。例如,假设手机A处于同一位置,手机A的显示屏与水平面平行时摄像头所采集的图像与手机A的显示屏与水平面垂直时摄像头所采集的图像不同。
综上所述,手机A的空间位姿信息可以影响手机A的摄像头所采集的现实世界的图像(即第二图像)。反之,手机A则可以使用该第二图像计算手机A的空间位姿信息。
在一种实施例中,可以由手机A根据第二图像和预设传感器采集的数据,计算手机A的空间位姿信息。
在另一些实施例中,手机A可以通过Cyberverse APP向服务器C发送上述第二图像和预设传感器采集的数据;由服务器C根据第二图像和预设传感器采集的数据,计算手机A的空间位姿信息;然后服务器C可以向手机A发送手机A的空间位姿信息。
具体的,手机A可以向服务器C发送上述第二图像和手机A的预设传感器采集的数据。由服务器C根据手机A本次上传的第二图像和预设传感器采集的数据,进行空间计算,确定手机A的空间位姿信息,该的空间位姿信息包括手机A的位置信息以及姿态信息(如摄像头的朝向)。
本申请实施例中,手机A自己获取的位置信息(例如,GPS信息)误差较大,误差可能在十米至四十米之间;而服务器C可以结合手机A的预设传感器采集的数据以及第二图像再次确定手机A的位置信息,由服务器C确定的位置信息误差是厘米级的。
服务器C可以根据手机A上传的第二图像和预设传感器采集的数据,确定手机A的姿态信息,如摄像头的朝向。一个实施例中,手机A也可以根据预设传感器采集的数据确定手机A的姿态信息,并将手机A确定的姿态信息发送给服务器C,由服务器C依据手机A的预设传感器采集数据以及第二图像,对手机A确定的姿态信息进行校正。
S1002C、手机A从服务器C获取手机A的位置信息和姿态信息对应的数字世界的3D模型。
示例性的,手机A可以通过Cyberverse APP,向服务器C发送第一消息,该第一消息中包括手机A的位置信息和姿态信息。服务器C可接收来自手机A的第一消息,并获取该第一消息中的位置信息和姿态信息对应的数字世界的3D模型。服务器C可以向手机A发送第二消息,该第二消息包括手机A的位置信息和姿态信息对应的数字世界的3D模型。手机A可以接收来自服务器C的第二消息,得到数字世界的3D模型。
或者,服务器C得到手机A的位置信息和姿态信息后,可以获取该位置信息和姿态信息对应的数字世界的3D模型。然后,向手机A发送该数字世界的3D模型。
其中,该数字世界的3D模型包括第一3D标识和第一3D标识的白模数据。该数字世界的3D模型是根据现实世界的3D数据创建的。本申请实施例中,白模数据可以指物体的三维结构。服务器C在云端保存的数字世界中每个物体都具有自己的三维结构,服务器C可以向对应物体的三维结构发送给手机A,由手机A保存。应理解,物体的三维结构是用于手机A确定采集到的二维图像的三维结构,这些白模数据并不会呈现在手机A的显示界面上。
可以理解,服务器C在确定手机A的位置信息和姿态信息后,可以通过服务器C中保存的数字世界的信息和该位姿信息,确定摄像头中采集的图像中物体的数据(例如,建筑物的数字标牌和白模数据),从而将这些数据发送给手机A。
本申请实施例中,可以采集现实世界的3D数据(如3D建筑数据),根据该3D数据构建现实世界的3D模型。例如,上述3D建筑数据可以包括建筑物的位置轮廓坐标和高度信息等。并且,还可以构建与上述现实世界成1:1关系的数字世界的3D模型。在该数字世界的3D模型中,添加了现实世界的多个对象(如建筑物、植物或山川风景等)的3D标识,即第一3D标识。例如,该第一3D标识至少可以包括建筑名称、商户信息、用户点评或广告信息等信息。该第一3D标识也可以称为数据标牌。根据该数字世界的3D模型的模型数据(如白模数据),可以明确上述第一3D标识在现实世界所标识的对象,以及第一3D标识的三维结构,该第一3D标识信息在显示世界的图像中的显示位置和姿态信息等。
服务器C中保存了上述现实世界的3D模型(如现实世界的3D模型的模型数据)和数字世界的3D模型(如数字世界的3D模型的模型数据)。例如,上述现实世界的3D模型和数字世界的3D模型可以保存在图9A所示的虚拟物体数据库904中。
在另一些实施例中,上述第一3D标识还可以是数字世界的虚拟物体,如动物的虚拟模型或现实世界中各种物体(如咖啡杯)的虚拟模型。可以理解,上述数字世界的虚拟物体还可以是设计人员在与现实世界成1:1关系的数字世界的3D模型中添加的动物的虚拟模型或现实世界中各种物体(如咖啡杯)的虚拟模型。例如,如图11A中的(b)所示,第一图像中还包括第一3D标识1113。该第一3D标识1113是一个小熊的虚拟模型(demo)。图11A中的(a)所示的现实世界的第二图像中不包括这个小熊的虚拟模型。这个小熊的虚拟模型可以是设计人员在与现实世界成1:1关系的数字世界的3D模型中添加的。
S1002D、手机A根据第二图像中用户b的用户生物特征,从服务器C获取用户b的第二3D标识,该用户生物特征包括人脸图像或虹膜信息。
其中,第二3D标识可以是上述第二ID、第二ID对应的用户名或昵称。以下实施例中,以第二ID是第二ID对应的昵称(如Lucy)为例,介绍本申请实施例的方法。
在一种实现方式中,手机A可向服务器发送上述第二图像。服务器C可接收该第二图像,并获取该第二图像中的用户生物特征b;然后,服务器C可以查询该用户生物特征b对应的Cyberverse APP的ID(如第二ID),获取该第二ID对应的第二3D标识,向手机A发送该第二3D标识。
可选的,手机A可以通过上述第一消息,向服务器C发送第二图像。也就是说,上述第一消息中还可以包括第二图像。
在另一种实现方式中,手机A可获取第二图像中的用户生物特征b,然后向服务器C发送该用户生物特征b。服务器C可以查询该用户生物特征b对应的Cyberverse APP的ID(如第二ID),获取该第二ID对应的第二3D标识,向手机A发送该第二3D标识。
可选的,手机A可以通过上述第一消息,向服务器C发送用户生物特征b。也就是说,上述第一消息中还可以包括用户生物特征b。
可选的,服务器C可以通过上述第二消息向手机A发送该第二3D标识。也就是说,上述第二消息中还可以包括该第二3D标识。
需要说明的是,上述第二图像中可能包括一个用户的用户生物特征,也可能包括多个用户的用户生物特征。因此,本申请实施例中,手机A可以执行S1002D,获取到多个用户的第二3D标识。
S1002E、手机A根据数字世界的3D模型、手机A的位置信息和姿态信息,在第二图像中融入第一3D标识和第二3D标识,并进行AR渲染得到第一图像,并显示第一图像。
可以理解,上述数字世界与现实世界成1:1的对应关系。上述第二图像是摄像头采集的现实世界的图像。那么,手机A根据数字世界的3D模型,便可以确定出数字世界在第二图像中的各个对象上添加的第一3D标识,以及该第一3D标识添加在现实世界的位置。如此,手机A便可以对第二图像进行AR增强,按照上述位置在第二图像中融入数字世界的第一3D标识和第二3D标识,并对融入第一3D标识和第二3D标识的第二图像(即现实世界的图像)进行渲染,得到虚实融合的第一图像。
本申请实施例中,手机A获取到上述数字世界的3D模型(包括第一3D标识、第一3D标识的白模数据和第二3D标识)后,可以将这些数据与第二图像中的各个对象进行匹配。该数字世界的3D模型中还指示了第一3D标识、第一3D标识的白模数据和第二3D标识与第二图像中的各个对象的对应关系,从而使得手机A可以将对象的3D标识信息融入第二图像中,并进行AR渲染得到第一图像,实时显示包括对应对象的3D标识信息的第一图像。如图11A中左边建筑物“假日酒店”与第一3D标识1103相对应,右边建筑物“停车场”与第一3D标识1105相对应。
示例性的,图11A中的(a)所示的现实世界的图像1101是手机A的摄像头采集的第二图像。一般而言,手机A可显示摄像头采集的第二图像;但是,本申请实施例中,手机A不会显示该第二图像,而是显示对该第二图像进行渲染,得到虚实融合的第一图像。例如,手机A可显示图11A中的(b)所示的第一图像1102。如图11A中的(b)所示,该第一图像1102中不仅可以包括第二图像,还可以包括多个3D标识信息,如假日酒店的第一3D标识1103、用户艾伦(Aaron)的第二3D标识1104和停车场的第一3D标识1105。
在一些实施例中,手机A的摄像头采集的第二图像中可能会包括已经在Cyberverse APP注册账号的用户的图像。例如,如图11A中的(a)所示的现实世界的图像1101(即第二图像)中包括用户X的图像1109和用户Y的图像1110。其中,用户X(即图像1109对应的用户)使用该用户的电子设备(如手机)在Cyberverse APP注册账号(如第三ID),并录入该用户X的用户生物特征。该第三ID的昵称为Aaron。如表2所示,服务器C中保存有该第三ID、用户X的用户生物特征X、第三ID的昵称Aaron,及其对应关系。用户Y(即图像1110对应的用户)并未使用该用户的电子设备在Cyberverse APP注册账号。
示例性的,如图11A中的(b)所示,手机A显示的第一图像1102中包括图11A中的(a)所示的图像1109对应的用户X的第二3D标识1104。但是,第一图像1102中不包括图11A中的(a)所示的图像1110对应的用户的第二3D标识。
可以理解,第一图像中的用户的第二3D标识不仅可以用于标识该用户,还可以指示该用户可交互。例如,手机A在第一图像中显示第二图像中的用户生物特征对应的用户的第二3D标识,可以清楚的向用户a(即使用手机A的用户)指示手机A的摄像头的视野范围内包括哪些在Cyberverse APP注册了ID的用户。这样,可以方便Cyberverse APP的注册用户之间的沟通。
例如,如果用户X在用户a附近,且在机A的摄像头的视野范围内;那么,手机A响应于用户a对第一图像中用户X的图像的操作,便可以实现以下功能:向用户X的手机分享数据,在Cyberverse APP中将用户X添加好友等。本申请实施例中,介绍手机A响应于用户a对第一图像中任一用户的图像的操作,向该用户的电子设备分享数据的方法。
需要注意的是,在一些实施例中,手机A可以保存Cyberverse APP中,第一ID已经添加为好友的用户的ID和用户生物特征。可选的,手机A还可以保存该用户的第二3D标识。在这种情况下,手机A不用从服务器C查询已添加的好友的用户生物特征所对应的ID和第二3D标识(如用户名或昵称)。
例如,手机A可以保存表5所示的ID和用户生物特征表。
表5
具体的,手机A的摄像头采集到第二图像后,手机A可以识别获取该第二图像中的用户生物特征。然后,手机A可以在手机A中查找该第二图像中的用户生物特征对应的ID。如果手机A没有查找到该用户生物特征对应的ID,手机A则可以向服务器C发送包括该用户生物特征或第二图像的第一消息。如果手机A查找到该用户生物特征对应的ID,手机A向服务器C发送的第一消息中则可以不包括该用户生物特征或第二图像。
可选的,在一些实施例中,上述第一图像中包括的用户的第二3D标识,为第一ID已经添加为好友的用户的第二3D标识。也就是说,即使第二图像中包括多个已经在Cyberverse APP注册了ID的用户的用户生物特征;但是,第一图像中仅包括第一ID已经添加为好友的用户的第二3D标识。
例如,假设第二图像中包括用户1、用户2和用户3的用户生物特征。其中,用户1没有在Cyberverse APP注册ID,用户2和用户3在Cyberverse APP注册了ID。用户2的ID与第一ID是好友关系,用户3的ID与第一ID不是好友关系。那么,第一图像中包括用户1和用户3的图像,但是该第一图像中不包括用户1和用户3的第二3D标识,该第一图像中包括用户2的图像和该用户2的第二3D标识。
在一些实施例中,手机A在第一图像中显示用户X的第二3D标识,需要经过用户X的授权。例如,用户X的手机可以接收用户X的设置,将用户X的第二3D标识显示权限设置为:所有人可见或者好友可见等任一种。其中,服务器C中可以保存各个ID对应的用户的第二3D标识显示权限。
可以理解,随着手机A的移动,手机A的空间位姿信息会发生变化,手机A的摄像头的视野范围会发生变化,该摄像头采集的第二图像也会随之变化。例如,手机A移动后,手机A的摄像头采集的第二图像可以由图11A中的(a)所示的第二图像1101变化为图11B中的(a)所示的第二图像1106。该第二图像1106与第二图像1101不同。如第二图像1106中包括用户b的图像1111。
如果手机A的摄像头所采集的现实场景的图像(即第二图像)不同;那么,手机A的Cyberverse APP对不同现实场景的图像进行AR增强,所需要融入的数字世界的信息则不同,Cyberverse APP得到的虚实融合的图像(即第一图像)也不同。例如,手机A显示的第一图像可以由图11A中的(b)所示的第一图像1102变化为图11B中的(b)所示的第一图像1107。该第一图像1107与第一图像1102不同。例如,第一图像1107中包括ABC商场的3D标识信息1108(即第一3D标识)、用户b(即Lucy)的图像和用户b的第二3D标识(如Lucy 1112);而第一图像1102中不包括ABC商场的第一3D标识1108(即第一3D标识)、用户b(即Lucy)的图像和Lucy的第二3D标识(如Lucy 1112)。
在一种实现方式中,针对第二图像中包括的用户生物特征所对应的用户而言,该用户的第二3D标识在第一图像中的位置可以是预先设定的。例如,如图11B中的(b)所示,用户b的第二3D标识(如Lucy 1112)可以显示在该用户b的头顶。
在另一种实现方式中,针对第二图像中包括的用户生物特征所对应的用户而言,该用户的第二3D标识在第一图像中的位置可以是根据该用户的电子设备(如手机)的位置信息确定的。
如S1002所述,手机A可以向服务器C发送该手机A的位置信息。同样的,其他电子设备(如手机B)也可以向服务器C发送该其他电子设备(如手机B)的位置信息。上述第二消息中还可以包括第二图像中包括的用户生物特征所对应的用户的位置信息。如此,手机A则可以根据手机B的位置信息,确定用户b的第二3D标识在第一图像中的位置。示例性的,手机B响应于上述第一操作,可启动手机B的Cyberverse APP,执行S1002的相关方法,获取手机B的位置信息,并向服务器C发送手机B的位置信息。
或者,第二图像中包括的用户生物特征所对应的用户b的位置信息,可以是手机A根据摄像头采集的第二图像对用户b进行深度计算得到的。当然,手机A还可以根据该第二图像,结合手机A的位置信息对应的数字世界的3D模型,对用户b进行深度计算,得到用户b的位置信息。该位置信息是第一图像(即虚实融合的图像)中,用户b相对于手机A的位置。
可以理解,现实世界的第二图像会随着手机A的位置或者拍摄角度的变化,以及视野范围内各个用户的移动而发生变化。上述第一图像是在第二图像中融入第一3D标识和第二3D标识,并进行AR渲染得到的。因此,第一图像也会随着上述手机A的位置或者拍摄角度的变化,以及视野范围内各个用户的移动而发生变化。例如,图11B中的(b)所示的Lucy1112(即第二3D标识)所标识的用户b可能会走动,会使得上述第一图像发生变化。
在一些实施例中,手机A在第一图像中显示一个用户的第二3D标识后,可以采用人体跟踪算法,对该用户进行持续跟踪直至该用户离开手机A的摄像头的视野范围。可以理解,手机A采用人体跟踪算法,对一个用户进行持续跟踪,便可以持续在第一图像中显示该用户的第二3D标识,直至该用户离开手机A的摄像头的视野范围。
在一些情况下,图11B中的(b)所示的Lucy 1112(即第二3D标识)所标识的用户b可能会走动,而使得背对手机A的摄像头。在这种情况下,即使手机A无法获取到用户b的用户生物特征,手机A采用上述人体跟踪算法对该用户b进行持续跟踪,也可以确定该用户b是哪一个用户,确定并显示该用户b的第二3D标识。
S1003、响应于第二操作,手机A显示一个或多个虚拟物体。
其中,该一个或多个虚拟物体可以包括虚拟轮船、虚拟小汽车、虚拟货币、虚拟玫瑰花或者表情图标等中的一个或多个。该虚拟物体可以是手机A从服务器C下载的。服务器C中可以存储第一ID的第一虚拟信息,该一个或多个虚拟物体是第一虚拟信息(如表4-1所示的第一虚拟信息)所指示的虚拟物体。例如,服务器C可以保存表4-1所示的第一虚拟信息和表4-2所示的第二虚拟信息。
当然,手机A也可以保存手机A所登录的Cyberverse APP的账号(即第一ID)所下载或者从其他设备接收的虚拟物体。例如,手机A可以保存表6所示的虚拟物体。其中,表6所示的虚拟物体的标识,与表4-1所示的第一虚拟信息中的虚拟物体的标识相同。
表6
其中,上述第二操作可以是手机A显示第一图像时,用户在手机A输入的预设滑动操作。该预设滑动操作用于触发手机A显示一个或多个虚拟物体。例如,第二操作可以是图12中的(a)所示的由手机A的下侧边框向显示屏的滑动操作。
或者,该第二操作还可以是手机A显示第一图像时,用户在手机A的显示屏输入的预设手势(附图未示出),如S形手势,L形手势或者√形手势等任一形状的手势。或者,手机A显示第一图像的同时,还可以显示预设控件(如按钮),该预设控件用于触发手机A显示一个或多个虚拟物体。上述第二操作可以是用户对该预设控件的点击操作(如单击操作)。以下实施例中以手机A显示多个虚拟物体为例,介绍本申请实施例的方法。
示例性的,以第二操作是图12中的(a)所示的由手机A的下侧边框向显示屏的滑动操作为例。如表6所示,手机A中保存的虚拟物体包括表情图标a(如爱心图标)、虚拟小汽车和虚拟玫瑰花。因此,响应于用户在手机A输入的图12中的(a)所示的第二操作,手机A可显示图12中的(b)所示界面1201,该界面1201包括多个虚拟物体1202。该多个虚拟物体1202可以包括爱心图标、虚拟小汽车、虚拟玫瑰花和用户a使用Cyberverse APP在X街区所拍摄的虚实融合的图像或视频的标识(如Cyberverse X街区拍摄1204)。可选的,上述一个或多个虚拟物体还可以包括数字世界的3D模型中虚拟模型,如图12中的(b)所示的小熊的虚拟模型(demo)1205。该小熊的虚拟模型1205是图11A中的(b)所示的第一3D标识1113。该第一3D标识1113是一个小熊的虚拟模型。
可选的,手机A响应于上述第二操作,还可以显示提示信息,如图12中的(b)所示的提示信息“请选择礼物送给好友”1203。
需要说明的是,本申请实施例中手机A显示多个虚拟物体的方式包括但不限于图12中的(b)所示的显示方式,其他的显示方式本实施例这里不予赘述。
S1004、响应于用户的第一滑动操作,手机A显示第一虚拟物体沿第一滑动操作的滑动轨迹向用户b的图像运动的动态图像。该滑动轨迹的起点为第一虚拟物体,终点为用户b的图像。
其中,第一滑动操作的滑动轨迹的起点为第一虚拟物体,表示用户a选中该第一虚拟物体作为待分享的数据。第一滑动操作的滑动轨迹的终点为用户b的图像,表示用户a选中该用户b作为接收第一虚拟物体的目的端。也就是说,用户a想要将第一虚拟物体分享给用户b。
示例性的,上述第一滑动操作的滑动轨迹可以为图13中的(a)中虚线所示的滑动轨迹1301。该滑动轨迹1301的起点为爱心图标(即第一虚拟物体),滑动轨迹1301的终点为Lucy(即用户b)的图像。因此,响应于图13中的(a)所示的第一滑动操作,手机A可显示图13中的(b)所示的爱心图标(即第一虚拟物体)沿滑动轨迹1301向Lucy的图像运动的动态图像。
其中,上述第一虚拟物体沿该滑动轨迹向用户b的图像运动的动态图像,可以是手机A根据上述滑动轨迹1301,进行抛物过程的渲染得到的。
可选的,响应于第一滑动操作,手机A所保存的虚拟物体会发生变化。例如,响应于第一滑动操作,手机A所保存的虚拟物体由表6所示的虚拟物体变为表7所示的虚拟物体。
表7
对比表6和表7可知:响应于第一滑动操作,手机A删除了表6中表情图标a(如爱心图标)。
相应的,如图13中的(b)所示,响应于第一滑动操作,手机A所显示的多个虚拟物体也会发生变化。例如,响应于第一滑动操作,手机A所显示的多个虚拟物体由图13中的(a)所示的爱心图标、虚拟小汽车和虚拟玫瑰花,变为图13中的(b)所示的虚拟小汽车和虚拟玫瑰花。
当然,响应于第一滑动操作,手机A也可以不删除表6中表情图标a(如爱心图标)。手机B的用户可能会接受手机A分享的爱心图标,也可能会拒绝手机A分享的爱心图标。手机A可以根据服务器C向手机A反馈的分享结果(如手机B接受/或拒绝爱心图标),决定是否删除表6中表情图标a(如爱心图标)。
S1005、手机A向服务器C发送第一请求消息。该第一请求消息用于请求服务器C向登录第二ID的手机B推送该第一虚拟物体。
其中,该第一请求消息中包括第一ID、第一虚拟物体的标识和第二ID。
在另一些实施例中,手机A向服务器C发送第一请求消息后,手机A可显示第三提示信息。该第三提示信息用于指示第一虚拟物体已分享给用户b。例如,手机A可显示图14所示的第三提示信息1401,如“您的爱心已经送给Lucy!”。
S1006、服务器C接收第一请求消息。
S1007、服务器C向登录第二ID的手机B发送第一推送消息,该第一推送消息中包括第一ID和第一虚拟物体。
示例性的,服务器C可以在手机B上线(即手机B在Cyberverse APP登录第二ID)后,向手机B发送第一推送消息。可选的,该第一推送消息中还可以包括第一虚拟物体的标识、第一ID对应的用户名或昵称。
本申请实施例中,手机A通过Cyberverse APP,请求服务器C向手机B分享第一虚拟物体。无论手机A向服务器C发送第一请求消息时,手机B的Cyberverse APP是否在线(即手机B是否在Cyberverse APP登录第二ID),只要服务器C接收到该第一请求消息,服务器C便可以在手机B上线后,向手机B发送第一推送消息。也就是说,通过本方案,可以在电子设备之间实现虚拟物体的离线分享。
S1008、手机B接收来自服务器C的第一推送消息,显示第一界面。该第一界面用于指示手机B接收到来自第一ID的第一虚拟物体。
可以理解,手机B接收到上述第一推送消息时,手机B可能显示第一APP的界面,也可能显示其他应用的界面、锁屏界面或者手机的主界面(即桌面)中任一界面。例如,以手机B显示主界面为例。结合上述实例,第一ID的昵称为Bob。如图15A中的(a)所示,手机B可以显示图15A中的(a)所示的第一界面,即在主界面以通知消息的方式显示提示信息1501,如“Bob给你分享了一个爱心”。
可选的,手机B还可以以其他的方式向用户指示手机B接收到来自第一ID的第一虚拟物体。例如,在第一界面中显示上述第一虚拟物体(如爱心图标)。例如,手机B可以显示图15B所示的第一界面,即在主界面以通知消息的方式显示提示信息1503。图15B所示的第一界面中包括第一虚拟物体(如爱心图标)。
本申请实施例中,对手机B向用户指示手机B接收到来自第一ID的第一虚拟物体的具体方式不作限制。
本申请实施例提供的方法中,手机A通过Cyberverse APP,无论用户走到哪里,都可以为用户呈现对现实世界进行AR渲染后的虚实融合的图像(即上述第一图像),使得用户可以轻松的获知到周围现实场景中的各种信息。
并且,如果用户在手机所显示的虚实融合的图像中,输入滑动轨迹的起点为待分享的虚拟物体,终点为目标用户的图像的抛物操作(即第一滑动操作);手机A响应于该第一滑动操作,便可以触发手机A向目标用户的手机分享虚拟物体。手机A可显示第一虚拟物体沿该滑动轨迹向用户b的图像运动的动态图像。
通过本方案,手机A响应于指向目标用户的图像的抛物操作,便可以实现虚拟物体的分享。这样,可以减少在AR/VR场景进行数据分享的UI交互,进而可以保证AR/VR场景信息的展示效果。并且,通过上述方案,可以充分展示Cyberverse APP提供的AR/VR平台对于现实世界的可视化特点,可以为用户提供现实世界中可视化的数据分享服务。
进一步的,如果手机A的摄像头的视野范围内存在在Cyberverse APP注册了ID的用户b,上述第一图像中可以包括该用户b的第二3D标识。用户b的第二3D标识可以标识该用户b,有利于使用手机A的用户a辨认和选择目标用户。
在另一些实施例中,手机A所显示的第一图像中可能会包括多个用户的图像和该多个用户的第二3D标识。例如,如图13中的(a)所示,第一界面中包括Aaron和Lucy的图像和第二3D标识。与上述实施例不同的是,在该实施例中,响应于上述第一滑动操作,无论该第一滑动操作指向第一图像中的哪一个用户,手机A可以向上述多个用户中的每个用户对应的ID分享上述第一虚拟物体。
或者,在该实施例中,响应于上述第一滑动操作,手机A不仅可以向该第一滑动操作所指向的用户的ID分享上述第一虚拟物体,还可以向与该用户之间的距离小于预设距离阈值的用户的ID分享上述第一虚拟物体。
在另一些实施例中,手机A的摄像头的视野范围内可能会包括多个用户。该多个用户中包括用户a想要分享虚拟物体的目标对象(如用户b)。在一些情况下,该用户b可能与多个其他用户在一起,其他用户可能会遮挡该用户b的用户生物特征,使得手机A无法采集到该用户b的用户生物特征,从而手机A无法确定该用户b的ID和第二3D标识。在这种情况下,手机A可发出提示信息,以指示该用户b不可接收分享的虚拟物体。并且,手机A可采用人体跟踪算法对该用户b进行持续跟踪,当手机A采集到该用户的用户生物特征后,手机A可发出提示信息,以指示用户a可向用户b分享虚拟物体或该用户b可接收分享的虚拟物体。
需要说明的是,上述手机A无法采集到该用户b的用户生物特征,具体是指手机A无法采集到可用于识别用户b的身份的重要生物特征。例如,该重要生物特征可以是用户的虹膜信息。
综上所述,本申请实施例提供的方法,即使用户a想要分享虚拟物体的目标对象(如用户b)在人群中;采用本申请实施例的方法,也可以向该目标对象分享虚拟物体。
在一些实施例中,上述第一界面还可以用于请求用户b确认是否接受该第一虚拟物体。如图15A中的(b)所示的提示信息1502包括:“Bob给你分享了一个爱心,你接受吗?”以及“Yes”按钮和“No”按钮。如此,手机B便可以根据用户b的选择,按照用户b的意愿接受或者拒绝第一虚拟物体,如爱心图标。如图16A所示,在图10所示的S1008之后,本申请实施例的方法还包括S1601-S1608。
S1601、响应于用户b在第一界面的第三操作,手机B向服务器C发送第一推送响应。该第一推送响应用于指示手机B接受手机A分享的第一虚拟物体。
其中,上述第一推送响应中可以包括上述第一ID、第二ID、第一虚拟物体的标识和第一指示信息。该第一指示信息用于指示登录第二ID的手机B接受登录第一ID的手机A分享的第一虚拟物体。
例如,第三操作可以是用户在图15A中的(b)所示的“Yes”按钮的点击操作(如单击操作)。或者,第三操作还可以是用户在第一界面输入的第一预设手势,如S形手势,L形手势或者√形手势等任一形状的手势。
S1602、服务器C接收来自手机B的第一推送响应,删除第一虚拟信息(即第一ID的虚拟信息)中第一虚拟物体的标识,并在第二虚拟信息(即第二ID的虚拟信息)中增加第一虚拟物体的标识。
其中,上述第一虚拟信息包括第一ID、以及第一ID对应的多个虚拟物体的标识。例如,如表4所示,第一虚拟信息包括:第一ID,以及虚拟小汽车的标识、表情图标a(如爱心图标)的标识和虚拟玫瑰花的标识。
上述第二虚拟信息包括第二ID、以及第二ID对应的多个虚拟物体的标识。例如,如表4所示,第二虚拟信息包括:第二ID,以及虚拟玫瑰花的标识和表情图标b的标识。
示例性的,服务器C执行S1602,可以删除表4-1所示的第一虚拟信息中表情图标a(如爱心图标)的标识,并在表4-2中增加表情图标a(如爱心图标)的标识,得到表8-1所示的第一虚拟信息和表8-2所示的第二虚拟信息。
表8-1
表8-2
S1603、服务器C向手机A发送第一分享结果。
其中,该第一分享结果用于指示登录第二ID的手机B接受登录第一ID的手机A分享的第一虚拟物体。
S1604、手机A接收来自服务器C的第一分享结果,发出第一提示信息。该第一提示信息用于指示第一虚拟物体分享成功。
例如,该第一提示信息可以为“Lucy已收到您分享的爱心!”。其中,手机A可以显示包括上述第一提示信息的界面。或者,手机A可以发出该第一提示信息的语音提醒。本申请实施例对此不作限制。需要说明的是,S1603-S1604是可选的。本申请实施例中也可以不执行S1603-S1604。
S1605、响应于用户b在第一界面的第四操作,手机B向服务器C发送第二推送响应。该第二推送响应用于指示手机B拒绝手机A分享的第一虚拟物体。
其中,上述第二推送响应中可以包括上述第一ID、第二ID、第一虚拟物体的标识和第二指示信息。该第二指示信息用于指示登录第二ID的手机B拒绝登录第一ID的手机A分享的第一虚拟物体。
例如,第四操作可以是用户在图15A中的(b)所示的“No”按钮的点击操作(如单击操作)。或者,第四操作还可以是用户在第一界面输入的第二预设手势,如S形手势,L形手势或者√形手势等任一形状的手势。该第二预设手势与第一预设手势不同。
S1606、服务器C接收来自手机B的第二推送响应,服务器C不修改上述第一虚拟信息和第二虚拟信息。
S1607、服务器C向手机A发送第二分享结果。
其中,该第二分享结果用于指示登录第二ID的手机B拒绝登录第一ID的手机A分享的第一虚拟物体。
S1608、手机A接收来自服务器C的第二分享结果,发出第二提示信息。该第二提示信息用于指示第一虚拟物体分享失败。
例如,该第二提示信息可以为“Lucy拒绝接受您分享的爱心!”或者“爱心分享失败”等。其中,手机A可以显示包括上述第二提示信息的界面。或者,手机A可以发出该第二提示信息的语音提醒。本申请实施例对此不作限制。需要说明的是,S1607-S1608是可选的。本申请实施例中也可以不执行S1607-S1608。
本实施例中,服务器C可以根据手机A向手机B分享第一虚拟物体的分享结果,更新第一ID的第一虚拟信息和第二ID的第二虚拟信息。这样,服务器C便可以保存各个ID实时的虚拟信息,电子设备(如手机A或手机B)便可以从服务器C获取到准确的虚拟信息。
在另一些实施例中,服务器C执行S1006,接收到来自手机A的第一请求消息后,便可以删除第一虚拟信息(即第一ID的虚拟信息)中第一虚拟物体的标识,并在第二虚拟信息(即第二ID的虚拟信息)中增加第一虚拟物体的标识。
在该实施例中,手机B可能会接受手机A分享的第一虚拟物体,也可能会拒绝手机A分享的第一虚拟物体。但是,无论手机B接受或拒绝手机A分享的第一虚拟物体,服务器C接收到第一请求消息后,便可以删除第一虚拟信息中第一虚拟物体的标识,并在第二虚拟信息中增加第一虚拟物体的标识。S1601之后,如果服务器C接收到来自手机B的第二推送响应,则表示手机B拒绝手机A分享的第一虚拟物体,服务器C则可以删除第二虚拟信息中第一虚拟物体的标识,并在第一虚拟信息中增加第一虚拟物体的标识。S1601之后,如果服务器C接收到来自手机B的第一推送响应,服务器C则不会修改第一虚拟信息和第二虚拟信息。
在一些实施例中,假设上述第一滑动操作用于触发手机A向用户b对应的第二ID分享图12中的(b)所示的Cyberverse X街区拍摄1204对应的虚实融合的图像或视频(称为X街区的Cyberverse拍摄分享)。登录第二ID的手机B接收到X街区的Cyberverse拍摄分享后,可显示图16B所示的第一界面1601。该第一界面1601用于提示手机B接收到来自用户a(如Bob)的X街区的Cyberverse拍摄分享。该第一界面1601还用于请求用户b(如Lucy)确认是否接收Bob的分享。
其中,响应于用户b在第一界面的第四操作,如Lucy对图16B所示的第一界面1601中“拒绝”按钮的点击操作,手机B可向服务器C发送第二推送响应。响应于用户b在第一界面的第三操作,如Lucy对图16B所示的第一界面1601中“查看”按钮的点击操作,手机B可显示图16C所示的Cyberverse体验界面。该Cyberverse体验界面包括上述第一图像。响应于用户b在第一界面的第三操作,手机B还可以向服务器C发送第一推送响应。
图16C中的(a)-图16C中的(b)所示的界面,为Bob在X街区的Cyberverse体验过程。参见图16C中的(a)所示,Bob在X街区拍摄时,在X街区的当前位置向右转10°后,手机A可显示图16C中的(b)所示的界面。其中,Bob在X街区的当前位置向右转10°后,手机A的显示界面出现了Lucy的图像和第二3D标识。
图16C中的(c)-图16C中的(d)所示的界面,为Lucy在家里接受Bob分享的X街区的Cyberverse拍摄分享后,在家里的Cyberverse体验过程。参见图16C中的(c)所示,Lucy在家里的当前位置向右转10°时,手机B可显示图16C中的(d)所示的界面。其中,Lucy在家里的当前位置向右转10°后,手机B的显示界面出现了Lucy的图像和第二3D标识。
本申请实施例中,通过Cyberverse APP可以回放Cyberverse体验后所保存的文件,结合用户在现有设备上的操作,用户不仅可以看到文件中的视频信息,还可在Cyberverse APP中进行交互式的体验。
在一些实施例中,上述第一界面用于指示手机B接收到来自第一ID的第一虚拟物体,还可以用于向用户呈现该第一虚拟物体(如图12中的(b)所示的小熊的虚拟模型1205)。手机B显示该第一界面之后,用户b可以在该第一界面查看该第一虚拟物体。在该实施例中,第一界面可以不请求用户确认是否接受该第一虚拟物体,而是直接向用户展示该第一虚拟物体;或者,响应于用户的操作,向用户展示该第一虚拟物体。
以下实施例介绍上述实施例中所述的地面坐标系和手机A的预设坐标系,以及手机A的预设坐标系相对于地面坐标系的欧拉角。
例如,图17中的(a)所示的坐标系是手机A的预设坐标系。图17中的(b)所示的坐标系是地面坐标系。
其中,以OA为坐标原点的xA轴,yA轴和zA轴构成右手直角坐标系。图17中的(a)所示的OA可以是手机的摄像头所在位置。手机A可以包括四条边:长边01,短边02,与长边01平行且等长度的另一条长边,以及与短边02平行且等长度的另一条短边。yA轴平行于手机的短边02。xA轴平行于手机A的长边01向上。zA轴垂直于yA轴,且垂直于xA轴。
如图17中的(b)或图17中的(c)所示,以O为坐标原点的X轴,Y轴和Z轴构成右手直角坐标系。图17中的(b)或图17中的(c)所示的坐标原点O可以为空间中的任意一点。X轴指向水平面内的任一方向。Z轴垂直于X轴所在的平面并指向地心。Y轴垂直于X轴,且垂直于Z轴。
手机A的预设坐标系相对于地面坐标系的俯仰角θ可以是手机A的预设坐标系的xA轴与地面坐标系的XOY所在平面(即水平面)的夹角。例如,如图17中的(b)所示,手机A的预设坐标系相对于地面坐标系的俯仰角θ是xA轴与水平面(即XOY所在平面)之间的夹角。如图17中的(b)所示,OxA'(即OAxA')是xA轴在水平面(即XOY所在平面)的垂直投影,可以理解的是,上述手机A的预设坐标系相对于地面坐标系的俯仰角θ也就是OxA'(即OAxA')与xA轴之间的夹角。当xA轴与Z轴之间的夹角大于90°时,俯仰角θ为正。
如图17中的(b)所示,手机A的预设坐标系相对于地面坐标系的偏航角是手机A的预设坐标系的x轴与地面坐标系的X轴之间的水平夹角,也就是OxA'(即OAxA')与地面坐标系的X轴之间的夹角。当OxA'(即OAxA')随着xA轴的变化在XOY所在平面上顺时针偏转时,偏航角为正。
如图17中的(c)所示,手机A的预设坐标系相对于地面坐标系的横滚角φ是手机A的预设坐标系的zA轴与通过xA轴的铅垂面(即xAOZ所在平面)之间的夹角。如图17中的(c)所示,OzA'(即OAzA')是zA轴在通过xA轴的铅垂面(即xAOZ所在平面)的垂直投影。可以理解的是,上述手机A的预设坐标系相对于地面坐标系的横滚角φ也就是OzA'(即OAzA')与zA轴之间的夹角,当zA轴顺时针旋转时,横滚角φ为正。
需要说明的是,上述图17中的(a)仅作为示例介绍手机A的预设坐标系。手机A的预设坐标系还可以根据其他规则定义。例如,坐标原点还可以为手机上的其他任一点(如重心)。预设坐标系的三轴方向也不限于图17中的(a)所示的xA轴,yA轴和zA轴。本申请实施例对手机A的预设坐标系的坐标原点位置和坐标轴方向设定不作限定。
可以理解的是,上述电子设备(如手机A或手机B)为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备(如手机A或手机B)进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图18示出了上述实施例中所涉及的电子设备1800的一种可能的结构示意图。该电子设备1800可以包括:处理模块1801、图像采集模块1802、显示模块1803、通信模块1804和存储模块1805。
在一些实施例中,上述电子设备1800是图1所示的第一设备110(如上述手机A)。在这种情况下,上述处理模块1801可以用于支持电子设备1800执行上述方法实施例中的S502,S602,S1001,S1002B,S1002E中“对第二图像进行AR渲染得到第一图像”的操作,S1604中“发出第一提示信息”的操作,S1608中“发出第二提示信息”的操作,和/或用于本文所描述的技术的其它过程。上述图像采集模块1802可以用于支持电子设备1800执行上述方法实施例中的S1002A中“采集第二图像”的操作,和/或用于本文所描述的技术的其它过程。上述显示模块1803可以用于支持电子设备1800执行上述方法实施例中的S501,S601,S1002,S1002E中“显示第一图像”的操作,S1003,S1004,和/或用于本文所描述的技术的其它过程。上述通信模块1804可以用于支持电子设备1800执行上述方法实施例中的S503,S603,“向服务器C发送位置信息”的操作,“向服务器C发送用户生物特征或第二图像”的操作,“接收来自服务器C的数字世界的3D模型”的操作,“接收来自服务器C的第二3D标识”的操作,S1005,S1604中“接收第一分享结果”的操作,S1608中“接收第二分享结果”的操作,和/或用于本文所描述的技术的其它过程。上述存储模块1805可以用于支持电子设备1800保存上述实施例中的第一虚拟信息。存储模块1805还可以用于保存电子设备1800的程序代码和数据。
可选的,该电子设备1800还可以包括传感器模块等其他功能模块。例如,传感器模块用于采集电子设备1800的位置信息。具体的,上述传感器模块可以用于支持电子设备1800执行上述方法实施例中的S1002A中“预设传感器采集数据”的操作,和/或用于本文所描述的技术的其它过程。通信模块用于支持电子设备1800与其他设备的通信。
在另一些实施例中,该述电子设备1800是图1所示的第二设备120(如上述手机B)。在这种情况下,上述处理模块1801可以用于支持电子设备1800执行上述方法实施例中的S505,S605中“录入用户生物特征b”的操作,和/或用于本文所描述的技术的其它过程。上述图像采集模块1802可以用于支持电子设备1800采集现实世界的图像。上述显示模块1803可以用于支持电子设备1800显示处理模块1801对现实世界的图像进行AR渲染,得到的虚实融合的图像,S1008中“显示第一界面”的操作,和/或用于本文所描述的技术的其它过程。上述通信模块1804可以用于支持电子设备1800执行上述方法实施例中的S605中“向服务器C发送第二ID和用户生物特征b”的操作,S1008中“接收第一推送消息”的操作,S1605,和/或用于本文所描述的技术的其它过程。上述存储模块1805可以用于支持电子设备1800保存上述第二虚拟信息,和/或用于本文所描述的技术的其它过程。存储模块还可以用于保存电子设备1800的程序代码和数据。
需要说明的是,在本申请实施例中,图1所示的第一设备110不仅可以执行上述手机A所执行的方法步骤。第一设备110接收其他电子设备分享的虚拟物体的过程中,还可以执行手机B所执行的方法步骤。图1所示的第二设备120不仅可以执行上述手机B所执行的方法步骤。第二设备120向其他电子设备分享虚拟物体的过程中,还可以执行手机A所执行的方法步骤。
其中,处理模块1801可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以包括应用处理器和基带处理器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。
例如,处理模块1801为一个或多个处理器(如图4所示的处理器410),存储模块1805可以为存储器(如图4所示的内部存储器421)。显示模块1803可以为显示屏(如图4所示的显示屏494)。上述图像采集模块1802可以是摄像头(如图4所示的摄像头493)。上述传感器模块可以是图4所示的传感器模块480。上述通信模块1804可以是收发机(如图4所示的移动通信模块450或无线通信模块460)。本申请实施例所提供的电子设备1800可以为图4所示的电子设备400。其中,上述一个或多个处理器、存储器、摄像头、收发机和显示屏等可以连接在一起,例如通过总线连接。
在采用集成的单元的情况下,图19示出了上述实施例中所涉及的服务器1900的一种可能的结构示意图。该服务器1900可以包括:处理模块1901、通信模块1902和存储模块1903。
上述处理模块1901可以用于支持电子设备1800执行上述方法实施例中的“获取该第一消息中的位置信息对应的数字世界的3D模型”的操作,S1602中“删除第一虚拟信息中第一虚拟物体的标识,并在第二虚拟信息中增加第一虚拟物体的标识”的操作,和/或用于本文所描述的技术的其它过程。上述通信模块1902可以用于支持电子设备1800执行上述方法实施例中的S504,S604中“接收用户生物特征a”的操作,“接收来自手机A的第一消息”的操作,“向手机A发送第二消息”的操作,“接收来自手机A的位置信息”的操作,“接收来自手机A的用户生物特征或第二图像”的操作,“向手机A发送数字世界的3D模型”的操作,“向手机A发送第二3D标识”的操作,S1006,S1007,S1601,S1602中“接收第一推送响应”的操作,S1603,S1606,S1607,和/或用于本文所描述的技术的其它过程。上述存储模块1903可以用于支持电子设备1800执行上述方法实施例中的S604中“保存第一ID和与第一ID对应的用户生物特征a”的操作,S605中“保存第二ID和与第二ID对应的用户生物特征b”的操作,和/或用于本文所描述的技术的其它过程。存储模块1903还可以用于保存服务器C的程序代码和数据。
其中,上述存储模块1903可以包括图9A所示的用户信息数据库903和虚拟物体数据库904;上述处理模块1901集成了图9A所示的用户管理服务901和虚拟物体管理服务902的功能。或者,存储模块1903可以包括图9B所示的内容数据库911;上述处理模块1901集成了图9B所示的内容管理服务910的功能。
其中,处理模块1901可以是一个或多个处理器,存储模块1903可以为存储器。通信模块1902可以是收发机(如移动通信模块或无线通信模块)。其中,上述一个或多个处理器、存储器和收发机等可以连接在一起,例如通过总线连接。
本申请实施例还提供一种芯片系统,如图20所示,该芯片系统2000包括至少一个处理器2001和至少一个接口电路2002。处理器2001和接口电路2002可通过线路互联。例如,接口电路2002可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路2002可用于向其它装置(例如处理器2001)发送信号。示例性的,接口电路2002可读取存储器中存储的指令,并将该指令发送给处理器2001。当所述指令被处理器2001执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备(如第一设备或第二设备)执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该服务器执行上述方法实施例中服务器执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机或服务器执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (40)
1.一种分享数据的方法,其特征在于,用于第一设备向第二设备分享数据,所述第一设备安装有第一应用APP,所述第一APP用于提供与现实世界呈1:1对应关系的数字世界,所述第一设备在所述第一APP登录了第一账号,所述方法包括:
所述第一设备接收用户的第一操作,所述第一操作用于触发所述第一设备启动所述第一APP;
响应于所述第一操作,所述第一设备显示第一图像,所述第一图像是在所述第一设备的摄像头采集的所述现实世界的第二图像中融入所述数字世界的多个3D标识信息,并进行增强现实AR渲染得到的,所述第一图像和所述第二图像中包括第一用户的图像,所述多个3D标识信息包括第一3D标识和第二3D标识,所述第一3D标识至少用于标识所述现实世界中的建筑物、植物或山川风景,所述第二3D标识用于标识所述第一用户;
所述第一设备接收用户的第二操作;
响应于所述第二操作,所述第一设备显示一个或多个虚拟物体,所述一个或多个虚拟物体包括:所述第一设备中的图片、文件,以及所述第一APP的服务器提供的用于所述第一APP的不同账号相互分享的虚拟模型或表情图标;
所述第一设备接收用户的第一滑动操作,所述第一滑动操作的滑动轨迹的起点为所述多个虚拟物体中的第一虚拟物体,终点为所述第一用户的图像;
响应于所述第一滑动操作,所述第一设备显示所述第一虚拟物体沿所述滑动轨迹向所述第一用户的图像运动的动态图像;
所述第一设备请求所述服务器向登录第二账号的所述第二设备传输所述第一虚拟物体,其中,所述第二账号是与所述第一用户关联的账号。
2.根据权利要求1所述的方法,其特征在于,所述响应于所述第一操作,所述第一设备显示第一图像,包括:
响应于所述第一操作,所述第一设备通过所述摄像头采集所述第二图像,通过预设传感器采集数据,其中,所述预设传感器包括陀螺仪传感器和加速度传感器中的至少一个,以及全球定位系统GPS定位传感器;
所述第一设备根据所述第二图像和所述预设传感器采集的数据,获取所述第一设备的位置信息和姿态信息,所述第一设备的姿态信息用于指示所述第一设备的空间姿态;
所述第一设备从所述服务器获取所述位置信息和所述姿态信息对应的所述数字世界的3D模型,其中,所述数字世界的3D模型包括所述第一3D标识和所述第一3D标识所标识的对象的白模数据,所述白模数据用于指示所述第一3D标识所标识的对象的三维结构,所述数字世界的3D模型是根据所述现实世界的3D数据创建的;
所述第一设备根据所述第二图像中所述第一用户的用户生物特征,从所述服务器获取所述第二3D标识,所述用户生物特征包括人脸图像或虹膜信息;
所述第一设备根据所述数字世界的3D模型、所述第一设备的位置信息和姿态信息,在所述第二图像中融入所述第一3D标识和所述第二3D标识,并进行AR渲染得到所述第一图像,并显示所述第一图像。
3.根据权利要求2所述的方法,其特征在于,所述第一设备根据所述第二图像和所述预设传感器采集的数据,获取所述第一设备的位置信息和姿态信息,包括:
所述第一设备向所述服务器发送所述第二图像和所述预设传感器采集的数据;
所述第一设备接收来自所述服务器的所述位置信息和所述姿态信息,其中,所述位置信息和所述姿态信息是根据所述第二图像和所述预设传感器采集的数据,进行空间计算确定的。
4.根据权利要求2或3所述的方法,其特征在于,所述第一设备根据所述第二图像中所述第一用户的用户生物特征,从所述服务器获取所述第二3D标识,包括:
所述第一设备获取所述第二图像中的所述用户生物特征;
所述第一设备向所述服务器发送所述用户生物特征;
所述第一设备接收来自所述服务器的所述第二账号和所述第二账号的所述第二3D标识,其中,所述第二账号是与所述用户生物特征对应的所述第一用户关联的账号。
5.根据权利要求2或3所述的方法,其特征在于,所述第一设备根据所述第二图像中所述第一用户的用户生物特征,从所述服务器获取所述第二3D标识,包括:
所述第一设备向所述服务器发送所述第二图像,所述第二图像中包括所述用户生物特征;
所述第一设备接收来自所述服务器的所述第二账号和所述第二账号的所述第二3D标识,其中,所述第二账号是与所述用户生物特征对应的所述第一用户关联的账号。
6.根据权利要求2-5中任一项所述的方法,其特征在于,所述第二3D标识在所述第一图像中的位置,是根据所述用户生物特征在所述第二图像中的位置预先设定的;
或者,所述第二3D标识在所述第一图像中的位置,是根据所述第二设备的位置信息确定的,所述第二设备的位置信息是所述第一设备从所述服务器获取的。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述响应于所述第二操作,所述第一设备显示一个或多个虚拟物体,包括:
响应于所述第二操作,所述第一设备获取第一虚拟信息,其中,所述第一虚拟信息包括所述第一账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第一账号分享的虚拟物体的标识;
所述第一设备显示第一虚拟信息所指示的所述一个或多个虚拟物体。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
响应于所述第一滑动操作,所述第一设备从所述第一虚拟信息中,删除所述第一虚拟物体的标识。
9.根据权利要求1-8中任一项所述的方法,其特征在于,在所述第一设备请求所述服务器向登录第二账号的所述第二设备传输所述第一虚拟物体之后,所述方法还包括:
所述第一设备接收来自所述服务器的第一分享结果,所述第一分享结果用于指示所述第二设备接受了所述第一虚拟物体;
所述第一设备发出第一提示信息,所述第一提示信息用于指示所述第一虚拟物体分享成功。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
所述第一设备接收来自所述服务器的第二分享结果,所述第二分享结果用于指示所述第二设备拒绝了所述第一虚拟物体;
所述第一设备发出第二提示信息,所述第二提示信息用于指示所述第一虚拟物体分享失败。
11.根据权利要求1-10中任一项所述的方法,其特征在于,所述方法还包括:
所述第一设备响应于第一事件,显示用户生物特征的录入界面,所述用户生物特征包括人脸图像或虹膜信息;
所述第一设备接收第二用户在所述用户生物特征的录入界面录入的所述第二用户的用户生物特征;
所述第一设备向所述服务器发送所述第一账号和所述第二用户的用户生物特征。
12.一种分享数据的方法,其特征在于,用于第一设备向第二设备分享数据,所述第一设备和所述第二设备中均安装有第一应用APP,所述第一APP用于提供与现实世界呈1:1对应关系的数字世界,所述方法包括:
服务器获取所述第一设备的位置信息和姿态信息,并获取所述第一设备采集的现实场景的第二图像中第一用户的用户生物特征,其中,所述用户生物特征包括人脸图像或虹膜信息,所述姿态信息用于指示所述第一设备的空间姿态;
所述服务器向所述第一设备发送第二3D标识,以及所述位置信息和所述姿态信息对应的数字世界的3D模型,其中,所述数字世界的3D模型包括第一3D标识和所述第一3D标识所标识的对象的白模数据,所述第一3D标识至少用于标识所述现实世界中的建筑物、植物或山川风景,所述白模数据用于指示所述第一3D标识所标识的对象的三维结构,所述数字世界的3D模型是根据所述现实世界的3D数据创建的,所述第二3D标识用于标识所述第一用户;其中,所述第一3D标识和所述第二3D标识用于融入所述第二图像并进行AR渲染得到虚实融合的第一图像;
所述服务器接收来自所述第一设备的第一请求消息,所述第一请求消息中包括所述第一设备在所述第一APP登录的第一账号、第一虚拟物体和第二账号,所述第二账号与所述第一用户关联;其中,所述第一请求消息是响应于用户在所述第一图像的第一滑动操作触发的,所述第一滑动操作的滑动轨迹的起点为所述第一虚拟物体,终点为所述第一用户的图像;所述第一虚拟物体是所述第一设备中的图片、文件,或者所述服务器提供的用于所述第一APP的不同账号相互分享的虚拟模型或表情图标;
所述服务器向登录所述第二账号的所述第二设备发送第一推送消息,所述第一推送消息包括所述第一账号和所述第一虚拟物体。
13.根据权利要求12所述的方法,其特征在于,所述服务器获取所述第一设备的位置信息和姿态信息,包括:
所述服务器接收来自所述第一设备的所述第二图像和所述第一设备的预设传感器采集的数据;
所述服务器根据所述第二图像和所述预设传感器采集的数据,进行空间计算,确定所述位置信息和所述姿态信息。
14.根据权利要求12或13所述的方法,其特征在于,在所述服务器接收来自所述第一设备的第一请求消息之前,所述方法还包括:
所述服务器接收来自所述第二设备的所述第二账号和所述用户生物特征;
所述服务器按照所述第二账号保存所述用户生物特征。
15.根据权利要求12-14中任一项所述的方法,其特征在于,在所述服务器向在所述第一APP登录所述第二账号的所述第二设备发送第一推送消息之后,所述方法还包括:
所述服务器接收来自所述第二设备的第一推送响应,所述第一推送响应用于指示所述第二设备接受了所述第一虚拟物体;
或者,
所述服务器接收来自所述第二设备的第二推送响应,所述第二推送响应用于指示所述第二设备拒绝了所述第一虚拟物体。
16.根据权利要求15所述的方法,其特征在于,所述服务器保存有第一虚拟信息和第二虚拟信息;所述第一虚拟信息包括所述第一账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第一账号分享的虚拟物体的标识;所述第二虚拟信息包括所述第二账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第二账号分享的虚拟物体的标识;
所述方法还包括:
响应于所述第一推送响应,所述服务器从所述第一虚拟信息中删除所述第一虚拟物体的标识,在所述第二虚拟信息中增加所述第一虚拟物体的标识。
17.根据权利要求16所述的方法,其特征在于,所述服务器保存有第一虚拟信息和第二虚拟信息;所述第一虚拟信息包括所述第一账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第一账号分享的虚拟物体的标识;所述第二虚拟信息包括所述第二账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第二账号分享的虚拟物体的标识;
所述方法还包括:
响应于所述第一请求消息,所述服务器从所述第一虚拟信息中删除所述第一虚拟物体的标识,在所述第二虚拟信息中增加所述第一虚拟物体的标识。
18.根据权利要求17所述的方法,其特征在于,所述方法还包括:
响应于所述第二推送响应,所述服务器在所述第一虚拟信息中增加所述第一虚拟物体的标识,在所述第二虚拟信息中删除所述第一虚拟物体的标识。
19.一种电子设备,其特征在于,所述电子设备是第一设备,所述第一设备安装有第一应用APP,所述第一APP用于提供与现实世界呈1:1对应关系的数字世界,所述第一设备在所述第一APP登录了第一账号,所述第一设备包括:无线通信模块、存储器、显示屏、摄像头和一个或多个处理器;所述无线通信模块、所述存储器、所述显示屏、所述摄像头与所述处理器耦合;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述处理器执行时,使得所述第一设备执行以下操作:
接收用户的第一操作,所述第一操作用于触发所述第一设备启动所述第一APP;
响应于所述第一操作,显示第一图像,所述第一图像是在所述摄像头采集的所述现实世界的第二图像中融入所述数字世界的多个3D标识信息,并进行增强现实AR渲染得到的,所述第一图像和所述第二图像中包括第一用户的图像,所述多个3D标识信息包括第一3D标识和第二3D标识,所述第一3D标识至少用于标识所述现实世界中的建筑物、植物或山川风景,所述第二3D标识用于标识所述第一用户;
接收用户的第二操作;
响应于所述第二操作,显示一个或多个虚拟物体,所述一个或多个虚拟物体包括:所述第一设备中的图片、文件,以及所述第一APP的服务器提供的用于所述第一APP的不同账号相互分享的虚拟模型或表情图标;
接收用户的第一滑动操作,所述第一滑动操作的滑动轨迹的起点为所述多个虚拟物体中的第一虚拟物体,终点为所述第一用户的图像;
响应于所述第一滑动操作,显示所述第一虚拟物体沿所述滑动轨迹向所述第一用户的图像运动的动态图像;
请求所述服务器向登录第二账号的第二设备传输所述第一虚拟物体,其中,所述第二账号是与所述第一用户关联的账号。
20.根据权利要求19所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
响应于所述第一操作,通过所述摄像头采集所述第二图像,通过预设传感器采集数据,其中,所述预设传感器包括陀螺仪传感器和加速度传感器中的至少一个,以及全球定位系统GPS定位传感器;
根据所述第二图像和所述预设传感器采集的数据,获取所述第一设备的位置信息和姿态信息,所述第一设备的姿态信息用于指示所述第一设备的空间姿态;
从所述服务器获取所述位置信息和所述姿态信息对应的所述数字世界的3D模型,其中,所述数字世界的3D模型包括所述第一3D标识和所述第一3D标识所标识的对象的白模数据,所述白模数据用于指示所述第一3D标识所标识的对象的三维结构,所述数字世界的3D模型是根据所述现实世界的3D数据创建的;
根据所述第二图像中所述第一用户的用户生物特征,从所述服务器获取所述第二3D标识,所述用户生物特征包括人脸图像或虹膜信息;
根据所述数字世界的3D模型、所述第一设备的位置信息和姿态信息,在所述第二图像中融入所述第一3D标识和所述第二3D标识,并进行AR渲染得到所述第一图像,并显示所述第一图像。
21.根据权利要求20所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
向所述服务器发送所述第二图像和所述预设传感器采集的数据;
接收来自所述服务器的所述第一设备的位置信息和姿态信息,其中,所述位置信息和所述姿态信息是根据所述第二图像和所述预设传感器采集的数据,进行空间计算确定的。
22.根据权利要求20或21所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
获取所述第二图像中的所述用户生物特征;
向所述服务器发送所述用户生物特征;
接收来自所述服务器的所述第二账号和所述第二账号的所述第二3D标识,其中,所述第二账号是与所述用户生物特征对应的所述第一用户关联的账号。
23.根据权利要求20-22中任一项所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
向所述服务器发送所述第二图像,所述第二图像中包括所述用户生物特征;
接收来自所述服务器的所述第二账号和所述第二账号的所述第二3D标识,其中,所述第二账号是与所述用户生物特征对应的所述第一用户关联的账号。
24.根据权利要求20-23中任一项所述的电子设备,其特征在于,所述第二3D标识在所述第一图像中的位置,是根据所述用户生物特征在所述第二图像中的位置预先设定的;
或者,所述第二3D标识在所述第一图像中的位置,是根据所述第二设备的位置信息确定的,所述第二设备的位置信息是所述第一设备从所述服务器获取的。
25.根据权利要求19-24中任一项所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
响应于所述第二操作,获取第一虚拟信息,其中,所述第一虚拟信息包括所述第一账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第一账号分享的虚拟物体的标识;
显示第一虚拟信息所指示的所述一个或多个虚拟物体。
26.根据权利要求25所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
响应于所述第一滑动操作,从所述第一虚拟信息中,删除所述第一虚拟物体的标识。
27.根据权利要求19-26中任一项所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
在请求所述服务器向登录第二账号的所述第二设备传输所述第一虚拟物体之后,接收来自所述服务器的第一分享结果,所述第一分享结果用于指示所述第二设备接受了所述第一虚拟物体;
发出第一提示信息,所述第一提示信息用于指示所述第一虚拟物体分享成功。
28.根据权利要求27所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
接收来自所述服务器的第二分享结果,所述第二分享结果用于指示所述第二设备拒绝了所述第一虚拟物体;
发出第二提示信息,所述第二提示信息用于指示所述第一虚拟物体分享失败。
29.根据权利要求19-28中任一项所述的电子设备,其特征在于,当所述计算机指令被所述处理器执行时,使得所述第一设备还执行以下步骤:
响应于第一事件,显示用户生物特征的录入界面,所述用户生物特征包括人脸图像或虹膜信息;
所述第一设备接收第二用户在所述用户生物特征的录入界面录入的所述第二用户的用户生物特征;
向所述服务器发送所述第一账号和所述第二用户的用户生物特征。
30.一种服务器,其特征在于,所述服务器是第一APP的服务器,所述第一APP用于提供与现实世界呈1:1对应关系的数字世界,所述服务器包括:无线通信模块、存储器、和一个或多个处理器;所述无线通信模块、所述存储器与所述处理器耦合;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述处理器执行时,使得所述服务器执行以下操作:
获取第一设备的位置信息和姿态信息,并获取所述第一设备采集的现实场景的第二图像中第一用户的用户生物特征,其中,所述用户生物特征包括人脸图像或虹膜信息,所述姿态信息用于指示所述第一设备的空间姿态;
向所述第一设备发送第二3D标识,以及所述位置信息和所述姿态信息对应的数字世界的3D模型,其中,所述数字世界的3D模型包括第一3D标识和所述第一3D标识所标识的对象的白模数据,所述第一3D标识至少用于标识所述现实世界中的建筑物、植物或山川风景,所述白模数据用于指示所述第一3D标识所标识的对象的三维结构,所述数字世界的3D模型是根据所述现实世界的3D数据创建的,所述第二3D标识用于标识所述第一用户;其中,所述第一3D标识和所述第二3D标识用于融入所述第二图像并进行AR渲染得到虚实融合的第一图像;
接收来自所述第一设备的第一请求消息,所述第一请求消息中包括所述第一设备在所述第一APP登录的第一账号、第一虚拟物体和第二账号,所述第二账号与所述第一用户关联;其中,所述第一请求消息是响应于用户在所述第一图像的第一滑动操作触发的,所述第一滑动操作的滑动轨迹的起点为所述第一虚拟物体,终点为所述第一用户的图像;所述第一虚拟物体是所述第一设备中的图片、文件,或者所述服务器提供的用于所述第一APP的不同账号相互分享的虚拟模型或表情图标;
向登录所述第二账号的第二设备发送第一推送消息,所述第一推送消息包括所述第一账号和所述第一虚拟物体。
31.根据权利要求30所述的服务器,其特征在于,当所述计算机指令被所述处理器执行时,使得所述服务器还执行以下步骤:
接收来自所述第一设备的所述第二图像和所述第一设备的预设传感器采集的数据;
根据所述第二图像和所述预设传感器采集的数据,进行空间计算,确定所述位置信息和所述姿态信息。
32.根据权利要求30或31所述的服务器,其特征在于,当所述计算机指令被所述处理器执行时,使得所述服务器还执行以下步骤:
在接收来自所述第一设备的位置信息之前,接收来自所述第二设备的所述第二账号和所述用户生物特征;
按照所述第二账号保存所述用户生物特征。
33.根据权利要求30-32中任一项所述的服务器,其特征在于,当所述计算机指令被所述处理器执行时,使得所述服务器还执行以下步骤:
在向在所述第一APP登录所述第二账号的所述第二设备发送所述第一推送消息之后,
接收来自所述第二设备的第一推送响应,所述第一推送响应用于指示所述第二设备接受了所述第一虚拟物体;
或者,
接收来自所述第二设备的第二推送响应,所述第二推送响应用于指示所述第二设备拒绝了所述第一虚拟物体。
34.根据权利要求33所述的服务器,其特征在于,所述存储器保存有第一虚拟信息和第二虚拟信息;所述第一虚拟信息包括所述第一账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第一账号分享的虚拟物体的标识;所述第二虚拟信息包括所述第二账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第二账号分享的虚拟物体的标识;
当所述计算机指令被所述处理器执行时,使得所述服务器还执行以下步骤:
响应于所述第一推送响应,从所述第一虚拟信息中删除所述第一虚拟物体的标识,在所述第二虚拟信息中增加所述第一虚拟物体的标识。
35.根据权利要求34所述的服务器,其特征在于,所述存储器保存有第一虚拟信息和第二虚拟信息;所述第一虚拟信息包括所述第一账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第一账号分享的虚拟物体的标识;所述第二虚拟信息包括所述第二账号从所述服务器下载的虚拟物体的标识,和/或其他账号向所述第二账号分享的虚拟物体的标识;
当所述计算机指令被所述处理器执行时,使得所述服务器还执行以下步骤:
响应于所述第一请求消息,从所述第一虚拟信息中删除所述第一虚拟物体的标识,在所述第二虚拟信息中增加所述第一虚拟物体的标识。
36.根据权利要求35所述的服务器,其特征在于,当所述计算机指令被所述处理器执行时,使得所述服务器还执行以下步骤:
响应于所述第二推送响应,在所述第一虚拟信息中增加所述第一虚拟物体的标识,在所述第二虚拟信息中删除所述第一虚拟物体的标识。
37.一种芯片系统,其特征在于,所述芯片系统应用于包括无线通信模块、显示屏和存储器的电子设备;所述芯片系统包括一个或多个接口电路和一个或多个处理器;所述接口电路和所述处理器通过线路互联;所述接口电路用于从所述存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,所述电子设备执行如权利要求1-11中任一项所述的方法。
38.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-11中任一项所述的方法。
39.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求12-18中任一项所述的方法。
40.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-18中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/906,709 US11989400B2 (en) | 2020-03-20 | 2021-03-22 | Data sharing method and device |
PCT/CN2021/082093 WO2021185375A1 (zh) | 2020-03-20 | 2021-03-22 | 一种分享数据的方法及设备 |
EP21772445.9A EP4113452A4 (en) | 2020-03-20 | 2021-03-22 | METHOD AND DEVICE FOR DATA SHARING |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010203171 | 2020-03-20 | ||
CN202010203171X | 2020-03-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112669464A true CN112669464A (zh) | 2021-04-16 |
Family
ID=75403016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010225568.9A Pending CN112669464A (zh) | 2020-03-20 | 2020-03-26 | 一种分享数据的方法及设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11989400B2 (zh) |
EP (1) | EP4113452A4 (zh) |
CN (1) | CN112669464A (zh) |
WO (1) | WO2021185375A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113973177A (zh) * | 2021-10-22 | 2022-01-25 | 云景文旅科技有限公司 | 一种基于5g的旅游中虚拟人物拍摄处理方法和系统 |
CN114338897A (zh) * | 2021-12-16 | 2022-04-12 | 杭州逗酷软件科技有限公司 | 对象的分享方法、装置、电子设备以及存储介质 |
CN114979124A (zh) * | 2022-07-28 | 2022-08-30 | 天津联想协同科技有限公司 | 基于ar技术的文件分享方法、装置、终端及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115967796A (zh) * | 2021-10-13 | 2023-04-14 | 北京字节跳动网络技术有限公司 | Ar对象共享方法、装置及设备 |
CN116129006A (zh) * | 2021-11-12 | 2023-05-16 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5776201B2 (ja) | 2011-02-10 | 2015-09-09 | ソニー株式会社 | 情報処理装置、情報共有方法、プログラム及び端末装置 |
AU2011205223C1 (en) * | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
CN103873510A (zh) | 2012-12-12 | 2014-06-18 | 方正国际软件(北京)有限公司 | 一种基于手势的多移动终端数据交换方法 |
CN105373306B (zh) * | 2015-10-13 | 2018-10-30 | 广州酷狗计算机科技有限公司 | 虚拟物品赠送方法及装置 |
JP6952713B2 (ja) * | 2016-01-19 | 2021-10-20 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 反射を利用する拡張現実システムおよび方法 |
US10212157B2 (en) * | 2016-11-16 | 2019-02-19 | Bank Of America Corporation | Facilitating digital data transfers using augmented reality display devices |
CN107340870B (zh) * | 2017-07-13 | 2020-09-01 | 深圳市未来感知科技有限公司 | 一种融合vr和ar的虚拟现实展示系统及其实现方法 |
-
2020
- 2020-03-26 CN CN202010225568.9A patent/CN112669464A/zh active Pending
-
2021
- 2021-03-22 EP EP21772445.9A patent/EP4113452A4/en active Pending
- 2021-03-22 US US17/906,709 patent/US11989400B2/en active Active
- 2021-03-22 WO PCT/CN2021/082093 patent/WO2021185375A1/zh unknown
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113973177A (zh) * | 2021-10-22 | 2022-01-25 | 云景文旅科技有限公司 | 一种基于5g的旅游中虚拟人物拍摄处理方法和系统 |
CN114338897A (zh) * | 2021-12-16 | 2022-04-12 | 杭州逗酷软件科技有限公司 | 对象的分享方法、装置、电子设备以及存储介质 |
CN114338897B (zh) * | 2021-12-16 | 2024-01-16 | 杭州逗酷软件科技有限公司 | 对象的分享方法、装置、电子设备以及存储介质 |
CN114979124A (zh) * | 2022-07-28 | 2022-08-30 | 天津联想协同科技有限公司 | 基于ar技术的文件分享方法、装置、终端及存储介质 |
CN114979124B (zh) * | 2022-07-28 | 2022-12-23 | 天津联想协同科技有限公司 | 基于ar技术的文件分享方法、装置、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP4113452A1 (en) | 2023-01-04 |
EP4113452A4 (en) | 2023-08-16 |
WO2021185375A1 (zh) | 2021-09-23 |
US11989400B2 (en) | 2024-05-21 |
US20230141166A1 (en) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021185375A1 (zh) | 一种分享数据的方法及设备 | |
CN111126182B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
CN111445583B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
KR20110123141A (ko) | 휴대 단말기 및 그 동작 방법 | |
CN111739517B (zh) | 语音识别方法、装置、计算机设备及介质 | |
CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN111050189A (zh) | 直播方法、装置、设备、存储介质和程序产品 | |
CN110102063B (zh) | 标识绑定方法、装置、终端、服务器及存储介质 | |
CN111400610A (zh) | 车载社交方法及装置、计算机存储介质 | |
CN113160427A (zh) | 虚拟场景的创建方法、装置、设备及存储介质 | |
CN111104980A (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
CN113515987B (zh) | 掌纹识别方法、装置、计算机设备及存储介质 | |
CN110457571B (zh) | 获取兴趣点信息的方法、装置、设备及存储介质 | |
WO2022095712A1 (zh) | 数据分享方法、装置、系统及电子设备 | |
CN111437600A (zh) | 剧情展示方法、装置、设备及存储介质 | |
CN113556481B (zh) | 视频特效的生成方法、装置、电子设备及存储介质 | |
CN112269939B (zh) | 自动驾驶的场景搜索方法、装置、终端、服务器及介质 | |
CN113190307A (zh) | 控件添加方法、装置、设备及存储介质 | |
CN112818240A (zh) | 评论信息的展示方法、装置、设备及计算机可读存储介质 | |
CN111428158A (zh) | 推荐位置的方法、装置、电子设备及可读存储介质 | |
CN110213205B (zh) | 验证方法、装置及设备 | |
CN110990728A (zh) | 兴趣点信息的管理方法、装置、设备及存储介质 | |
CN111982293B (zh) | 体温测量方法、装置、电子设备及存储介质 | |
CN114356182B (zh) | 物品定位方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |