CN117539368B - 交互方法、装置、设备及可读存储介质 - Google Patents

交互方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN117539368B
CN117539368B CN202410028302.3A CN202410028302A CN117539368B CN 117539368 B CN117539368 B CN 117539368B CN 202410028302 A CN202410028302 A CN 202410028302A CN 117539368 B CN117539368 B CN 117539368B
Authority
CN
China
Prior art keywords
interaction
target
twin
event
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410028302.3A
Other languages
English (en)
Other versions
CN117539368A (zh
Inventor
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kaidelian Software Technology Co ltd
Guangzhou Kaidelian Intelligent Technology Co ltd
Original Assignee
Guangzhou Kaidelian Software Technology Co ltd
Guangzhou Kaidelian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kaidelian Software Technology Co ltd, Guangzhou Kaidelian Intelligent Technology Co ltd filed Critical Guangzhou Kaidelian Software Technology Co ltd
Priority to CN202410028302.3A priority Critical patent/CN117539368B/zh
Publication of CN117539368A publication Critical patent/CN117539368A/zh
Application granted granted Critical
Publication of CN117539368B publication Critical patent/CN117539368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种交互方法、装置、设备及可读存储介质，终端设备上显示2D的编辑界面，该编辑界面上显示编辑栏以及物理世界对应的数字世界，该数字世界中包含多个孪生体。当用户选中目标孪生体后，终端设备根据用户在编辑栏的操作，为目标孪生体关联至少一个交互事件，并为每个交互事件关联至少一个交互行为。采用该种方案，通过可视化窗口为目标孪生体配置交互事件，并为交互事件配置交互行为。后续用户在3D的数字世界中漫游时，交互事件触发后引发交互行为，以实现用户和目标孪生体的交互，实现提高数字世界的显示效果的目的的同时，提高用户的沉浸感。

Description

交互方法、装置、设备及可读存储介质
技术领域
本申请实施例涉及新一代信息技术，电数字数据处理技术领域，特别涉及一种交互方法、装置、设备及可读存储介质。
背景技术
随着互联网技术的飞速发展，数字孪生(Digital Twin)的热度与日俱增。基于数字孪生技术，能够将现实世界中的物理实体映射到数字世界中，一个物理实体在数字世界中的虚拟表示称之为孪生体。
目前，基于数字孪生创造出物理世界对应的数字世界的视频并播放，以模拟展示真实的物理世界或愿景，便于人们足不出户的了解陌生的物理世界。数字世界是真实物理世界的高度真实和准确的仿真环境。真实的物理世界例如是工厂、城市或校园等；相应的，数字世界包括智慧工厂、智慧城市和智慧校园等。
然而，通过视频展示基于数字孪生生成的数字世界，效果差、沉浸感差。
发明内容
本申请实施例提供一种交互方法、装置、设备及可读存储介质，为目标孪生体配置交互事件，交互事件触发后引发交互行为，以实现用户和目标孪生体的交互，实现提高数字世界的显示效果的目的同时，提高用户的沉浸感。
第一方面，本申请实施例提供一种交互方法，应用于终端设备，该方法包括：
显示编辑界面，所述编辑界面上显示编辑栏以及物理世界对应的数字世界，所述数字世界中包含多个孪生体；
响应于用户的选中操作，从所述多个孪生体中识别出目标孪生体；
响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为，所述交互事件用于用户与所述数字世界交互，所述至少一个交互行为用于指示当所述交互事件触发时，所述终端设备针对目标孪生体产生的行为。
第二方面，本申请实施例提供一种交互装置，包括：
显示模块，用于显示编辑界面，所述编辑界面上显示编辑栏以及物理世界对应的数字世界，所述数字世界中包含多个孪生体；
识别模块，用于响应于用户的选中操作，从所述多个孪生体中识别出目标孪生体；
处理模块，用于响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为，所述交互事件用于用户与所述数字世界交互，所述至少一个交互行为用于指示当所述交互事件触发时，所述终端设备针对目标孪生体产生的行为。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时使得所述电子设备实现如上第一方面或第一方面各种可能的实现方式所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，所述计算机指令在被处理器执行时用于实现如上第一方面或第一方面各种可能的实现方式所述的方法。
第五方面，本申请实施例提供一种包含计算程序的计算机程序产品，所述计算机程序被处理器执行时实现如上第一方面或第一方面各种可能的实现方式所述的方法。
本申请实施例提供的交互方法、装置、设备及可读存储介质，终端设备上显示2D的编辑界面，该编辑界面上显示编辑栏以及物理世界对应的数字世界，该数字世界中包含多个孪生体。当用户选中目标孪生体后，终端设备根据用户在编辑栏的操作，为目标孪生体关联至少一个交互事件，并为每个交互事件关联至少一个交互行为。采用该种方案，通过可视化窗口为目标孪生体配置交互事件，并为交互事件配置交互行为。后续用户在3D的数字世界中漫游时，交互事件触发后引发交互行为，以实现用户和目标孪生体的交互，实现提高数字世界的显示效果的目的的同时，提高用户的沉浸感。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的交互方法所适用的实施环境示意图；
图2是本申请实施例提供的交互方法的流程图；
图3是本申请实施例提供的交互方法中编辑界面的示意图；
图4是本申请实施例提供的交互方法中创建孪生体集合的创建界面示意图；
图5A是本申请实施例提供的交互方法中打开看板的示意图；
图5B是本申请实施例提供的交互方法中打开AR的示意图；
图6是本申请实施例提供的交互方法的另一个流程图；
图7是本申请实施例提供的交互方法编辑端的时序图；
图8是本申请实施例提供的交互方法漫游端的时序图；
图9为本申请实施例提供的一种交互装置的示意图；
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
当前，以物联网、大数据、人工智能等新技术为代表的数字浪潮席卷全球，物理世界和与之对应的数字世界正形成两大体系平行发展、相互作用。数字世界为了服务物理世界而存在，物理世界因为数字世界变得高效有序，数字孪生技术应运而生，从制造业逐步延伸拓展至城市空间等，深刻影响着城市规划、建设与发展。
传统技术中，通过无人机、倾斜摄影和点云等技术对真实的物理世界进行拍摄等，并基于数字孪生对真实世界复刻，从而得到真实世界对应的数字世界，并通过视频展示数字世界。
然而，上述的数字世界仅能通过视频播放的方式展示给用户，效果差，沉浸感差。
另外，市面上一些实景三维地理信息系统（Geographic Information System-3D，GIS-3D）也能够展示数字世界，但是无法实现用户和数字世界的交互。即使能够实现用户与数字世界的交互，也没有提供一种交互机制供用户灵活配置。
基于此，本申请实施例提供一种交互方法、装置、设备及可读存储介质，为目标孪生体配置交互事件，交互事件触发后引发交互行为，以实现用户和目标孪生体的交互，实现提高数字世界的显示效果的目的的同时，便于用户在数字世界漫游过程中获取更多有用的信息，提高用户的沉浸感。
图1是本申请实施例提供的交互方法所适用的实施环境示意图。请参照图1，该实施环境包括编辑端11、漫游端12和服务器13，编辑端11、漫游端12分别和服务器13之间建立网络连接。
编辑端11例如是智能交互平板、笔记本电脑、台式机、手机、平板电脑等，本申请实施例并不限制。编辑端11具有显示屏，用于显示编辑界面。用户在编辑界面进行操作，以为用户选中的目标孪生体配置交互事件，并为每个交互事件配置交互行为。之后，根据目标孪生体、与目标孪生体关联的交互事件、与交互事件关联的交互行为生成孪生体数据并发送给服务器13，服务器13保存该孪生体数据。
服务器13可以是独立的物理服务器，也可以是多台服务器构成的服务器集群，还可以是具有云计算能力的云服务器等，本申请实施例并不限制。服务器13上保存工厂、校园、医院等园区的数字世界的相关数据，以及数字世界相关的孪生体数据。
漫游端12例如是智能交互平板、笔记本电脑、台式机、手机、平板电脑、车载终端、智能家居设备、智慧医疗设备、智慧交通设备、机器人等，本申请实施例并不限制。漫游端上安装浏览器、应用程序（application，APP）等，用户在浏览器中输入数字世界的网址等，即可打开数字世界的web站点，并在数字世界中漫游。漫游过程中，用户通过点击目标孪生体、双击目标孪生体、变化视角和目标孪生体的距离等方式，与目标孪生体交互。
需要说明的是，虽然图1中编辑端11和漫游端12是两个独立的终端设备，然而，本申请实施例并不限制。其他可行的实现方式中，编辑端11和漫游端12也可以是同一个终端设备，即用户在同一个终端设备上为目标孪生体设置交互事件以及交互行为，并在该终端设备上漫游。
另外，虽然上述的图1中设置了服务器13，然而，本申请实施例并不以此为限制。例如，当漫游端12为数据处理能力较强的设备时，也可以将数字世界的相关数据，以及用户为数字世界的目标孪生体配置的孪生体数据保存在漫游端12上，使得即使漫游端12不联网，用户也能随时随地的漫游于数字世界。
应当理解的是，图1中的编辑端11、漫游端12和服务器13的数量仅仅是示意性的。实际实现中，根据实际需求部署任意数量的编辑端11、漫游端12和服务器13。
下面，基于图1所示实施环境，对本申请实施例所述的交互方法进行详细说明。示例性的，请参照图2，图2是本申请实施例提供的交互方法的流程图。本实施例包括：
201、显示编辑界面，所述编辑界面上显示编辑栏以及物理世界对应的数字世界，所述数字世界中包含多个孪生体。
本申请实施例中，预先利用无人机倾斜摄影、激光点云全景相机等多种技术，对物理世界完成快速实景建模，从而创建出物理世界对应的数字世界。可以将数字世界理解为：一个在虚拟世界中打造出的、与真实的物理世界1:1复刻的世界，用于还原真实的物理世界。物理世界中的每个物理实体，数字世界中都存在与之对应的孪生体。数字世界实际上是一个三维地图，可放大、可缩小、可旋转。用户在数字世界中漫游时，可俯视整个数字世界，也可以对数字世界中的某个孪生体进行细致观看。
例如，物理世界为校园园区，对学校室内外完成快速实景建模，1:1真实还原校园地理特征和空间场景。园区中的每棵树、每栋教学楼、每个摄像头、每条路、每间教室等，数字世界中都存在对应的树、教学楼、摄像头、路或教室。用户漫游时，可俯视整个校园园区，也可以进入某栋教学楼，进而进入教室。
本申请实施中，作为编辑端的终端设备上部署编辑器，用于对数字世界中的孪生体关联交互事件、交互行为等。
当用户想要对数字世界中的孪生体关联交互事件、交互行为时，利用编辑器加载数字世界，并显示编辑界面，该编辑界面上显示编辑栏以及物理世界对应的数字世界。示例性的，请参照图3。
图3是本申请实施例提供的交互方法中编辑界面的示意图。请参照图3，编辑界面的左半部分显示数字世界，右半部分为编辑栏。当用户选中目标孪生体后，点击编辑栏上的“交互”控件后，就能够在编辑栏中为该目标孪生体关联交互事件，并为交互事件关联交互行为。
可以理解的是，虽然图3中编辑界面的左边为数字世界，右边为编辑栏。然而，本申请实施例并不限制。例如，其他可行的实现方式中，编辑界面的上半部分显示数字世界，下半部分显示编辑栏。
202、响应于用户的选中操作，从所述多个孪生体中识别出目标孪生体。
本申请实施例中，物理世界中的物理实体和数字世界中的孪生体是一一对应的。用户可为数字世界中的每个孪生体均配置交互事件，并为交互事件配置交互行为；或者，用户对数字世界中的部分孪生体配置交互事件和交互行为，并为交互事件配置交互行为。
用户通过鼠标点击等方式选中目标孪生体。例如，图3所示的数字世界中具有两个摄像头，用户利用鼠标点击任意一个摄像头，从而选中目标孪生体。另外，用户还可以选中教学楼、操场等。一个孪生体被选中后，成为目标孪生体。
203、响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为，所述交互事件用于用户与所述数字世界交互，所述至少一个交互行为用于指示当所述交互事件触发时，所述终端设备针对目标孪生体产生的行为。
终端设备识别出用户选中的目标孪生体后，根据用户在编辑栏的操作，为该目标孪生体配置至少一个交互事件，并为每个交互事件配置至少一个交互行为。
当为一个目标孪生体配置多个交互事件时，该些交互事件中不能出现重复的交互事件。当为一个交互事件配置多个交互行为时，该些交互行为中不能出现重复的交互行为。
为目标孪生体配置好交互事件，并为交互事件配置好交互行为后，当用户在数字世界中漫游时，终端设备检测目标孪生体的交互事件是否被触发，当交互事件被触发时，终端设备执行与该交互事件关联的交互事件。例如，数字世界是校园园区的数字世界，该数字世界中具有教学楼、雕像、广场、住宿楼、摄像头、烟雾传感器等孪生体。针对雕像这个孪生体，交互事件为：雕像与用户之间的距离位于预设范围。与交互事件关联的交互行为为：打开面板。因此，用户在数字世界中漫游时，用户的视角不断的发生变化，当雕像和用户的距离位于预设范围时，雕像附近显示一个面板，面板上的内容用于介绍雕塑。
本申请实施例提供的交互方法，终端设备上显示2D的编辑界面，该编辑界面上显示编辑栏以及物理世界对应的数字世界，该数字世界中包含多个孪生体。当用户选中目标孪生体后，终端设备根据用户在编辑栏的操作，为目标孪生体关联至少一个交互事件，并为每个交互事件关联至少一个交互行为。采用该种方案，通过可视化窗口为目标孪生体配置交互事件，并为交互事件配置交互行为。后续用户在3D的数字世界中漫游时，交互事件触发后引发交互行为，以实现用户和目标孪生体的交互，实现提高数字世界的显示效果的目的的同时，提高用户的沉浸感。
本申请实施例中，预先在编辑端为目标孪生体配置至少一个交互事件，并为每个交互事件关联至少一个交互行为。后续用户在漫游端漫游于数字世界时，一旦触发交互事件，则漫游端执行与该交互事件关联的各交互行为。
下面，对本申请实施例中的交互事件和交互行为进行详细说明。
首先，交互事件。
本申请实施例中的交互事件包括但不限于下述的交互事件A~交互事件E中的至少一个：
A：单击目标孪生体。
在编辑端，针对用户选中的目标孪生体，终端设备为该目标孪生体关联一个单击事件。后续漫游过程中，若用户利用鼠标点击该目标孪生体，表示触发交互事件A。
B、双击目标孪生体。
在编辑端，针对用户选中的目标孪生体，终端设备为该目标孪生体关联一个双击事件。后续漫游过程中，若用户利用鼠标双击该目标孪生体，表示触发交互事件B。
C、用户的视角与所述目标孪生体的距离发生变化，使得目标孪生体和用户视角的距离位于预设范围。
当用户在数字世界中漫游时，相当于有一个代表用户的数字人在数字世界中行走。数字世界中可以显示该数字人，也可以不显示该数字人。该数字人如同一个相机，能够模拟用户视角。
在编辑端，为目标孪生体关联一个距离发生变化的事件。后续漫游时，当用户视角和目标孪生体的距离发生变化，使得目标孪生体和用户视角的距离位于预设范围时，表示触发交互事件C。
D：目标孪生体碰撞进入。
当用户在数字世界漫游时，视线范围不断的发生变化。就如同人类在真实的物理世界中行走时，视线范围不断的发生变化。
在编辑端，为目标孪生体关联一个碰撞进入事件。后续漫游时，当目标孪生体进入用户视线范围内，则表示目标孪生体碰撞进入，即触发交互事件D。
E、目标孪生体碰撞退出。
在编辑端，为目标孪生体关联一个碰撞进入事件。后续漫游时，当目标孪生体退出用户视线范围内，则表示目标孪生体碰撞退出，即触发交互事件D。
其次，交互行为。
本申请实施例中的交互行为包括但不限于下述交互行为a-交互行为e中的至少一个。
a、打开增强现实（Augmented Reality，AR）。
当一个交互事件关联的交互行为为打开AR时，漫游过程中，若交互事件被触发，则漫游端打开AR。
b、打开介绍性看板。
预先为数字世界中的目标孪生体设置介绍性看板，介绍性看板用于介绍目标孪生体。例如，学校大门的介绍性看板显示的内容包括文字和图片，通过文字展示校史，通过图片展示校园风景。再如，图书馆的介绍性看板，主要用于描述图书馆藏书情况、修建历史等。
当一个交互事件关联的交互行为为打开介绍性看板时，漫游过程中，若交互事件触发，则漫游端打开介绍性看板，便于用户了解目标孪生体对应的物理实体。
c、打开兴趣点（point of interest，POI）标签。
预先为数字世界中的每个孪生体设置POI标签，例如，校园园区内有5栋教学楼，POI标签分别为：宁静楼、致远楼、淡泊楼、明志楼和至爱楼。
当一个交互事件关联的交互行为为打开POI标签时，漫游过程中，若交互事件发生，则漫游端打开POI标签。
d、打开链接。
预先在编辑端编辑好交互行为对应的链接。当一个交互事件关联的交互行为为打开连接时，漫游过程中，若交互事件发生，则漫游端打开链接。
e、显示孪生体集合。
孪生体集合包含多个孪生体，预先定义好一个孪生体集合包含哪些孪生体。当一个交互事件关联的交互行为为显示孪生体集合时，漫游过程中，若交互事件发生时，则漫游端显示孪生体集合中的各个孪生体。
f、隐藏孪生体集合。
当一个交互事件关联的交互行为为隐藏孪生体集合时，漫游过程中，若交互事件发生，则漫游端隐藏孪生体集合中的各个孪生体。
本申请实施例中，一个目标孪生体具有多个交互事件，一个交互事件关联多个交互行为。例如，一个目标孪生体的交互事件包括上述的交互事件A、交互事件C，与交互事件A关联的交互行为包括交互行为a、交互行为b和交互行为c；与交互事件C关联的交互行为包括的交互行为d和交互行为e。
采用该种方案，通过提供多种交互事件和多种交互行为，以为目标孪生体配置交互事件，并为交互事件配置交互行为，使得用户漫游时可通过多种方式与数字世界交互，灵活度高，配置方式简单。
可选的，上述实施例中，当交互行为包括显示孪生体集合或隐藏孪生体集合时，上述的方法还包括：显示用于创建孪生体集合的创建界面，所述创建界面上至少显示名称、孪生体类、孪生体实例或所属空间的编辑框。之后，终端设备响应于用户对所述创建界面的各编辑框的操作，创建所述孪生体集合。
图4是本申请实施例提供的交互方法中创建孪生体集合的创建界面示意图。请参照图3，用户点击编辑界面上的“属性”控件，编辑端跳转到图4所示创造界面。基于图4所示创造界面，用户可自定义孪生体集合的名称，选择孪生体类、选择孪生体实例以及所属空间等，从而创建孪生体集合。
需要说明的是，虽然图4中，各编辑框位于创建界面的右侧，然而，本申请实施例并不限制。例如，其他可行的实现方式中，各编辑框悬浮在数字世界上。
采用该种方案，通过提供用于创建孪生体集合的创建界面，便于用户快速、灵活创建孪生体集合，进而实现提高用户和数字世界灵活交互的目的。
可选的，上述实施例中，终端设备为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为的过程中，首先，响应于用户对编辑栏中第一下拉菜单的点击操作，显示多个候选事件。之后，终端设备响应于用户对所述多个候选事件中任意候选事件的选中操作，将用户选中的候选事件与所述目标孪生体关联。最后，终端设备响应于用户对所述编辑栏的操作，为所述交互事件关联至少一个交互行为。
请参照图3，用户选中目标孪生体，如数字世界中的一个摄像头后，在编辑栏中为该目标孪生体关联交互事件，如图3中的交互事件1、交互事件2和交互事件3等。用户在编辑栏可灵活的删除或新增交互事件。用户点击第一下拉菜单31后，编辑栏显示多个候选事件供用户选择，候选事件例如为上述的交互事件A-E中的任意一个。当用户选中候选事件后，终端设备将用户选中的候选事件与目标孪生体关联。如图3中，交互事件1为距离变化，则终端设备将距离变化这一交互事件和目标孪生体关联。
之后，终端设备根据用户在编辑栏的操作为交互事件关联交互行为。
采用该种方案，通过提供编辑界面，便于用户快速、灵活的为目标孪生体设置交互事件，进而实现提高用户和数字世界灵活交互的目的。
上述实施例中，编辑端的终端设备可灵活的为交互事件设置与之关联的交互行为。一种方式中，预先为交互事件预设默认的交互行为。比如，当交互事件为上述的交互事件A时，默认交互行为为上述的交互行为a、交互行为b和交互行为c。这样一来，一旦用户为目标孪生体设置好交互事件，则交互事件关联的交互行为也就确定了。
另一种方式中，针对每个交互事件，编辑端的终端设备显示多个行为设置选项，所述行为设置选项与所述交互事件的交互行为一一对应。之后，终端设备响应于用户对所述行为设置选项上的第二下拉菜单的点击操作，显示多个候选行为。最后，终端设备响应于用户对所述多个候选行为中任意候选行为的选中操作，将用户选中的候选行与所述交互事件关联。
再请参照图3，以交互事件1为例，终端设备显示3个行为设置选项，如图中的交互行为1、交互行为2和交互行为3，每个交互行为都有第二下拉菜单。用户点击第二下拉菜单32，编辑栏显示多个候选行为，如上述的交互行为a~交互行为f。当用户选中候选行为后，终端设备将用户选中的候选行为与交互事件关联。如图3中，交互行为1、交互行为2和交互行为3分别为打开AR、打开看板、打开POI标签，则终端设备将这3个交互行为与交互事件1关联。顺序依次为交互行为1、交互行为2和交互行为3。
后续用户在数字世界中漫游时，当交互事件1触发时，针对目标孪生体，终端设备依次打开AR、打开看板、打开POI标签。
图5A是本申请实施例提供的交互方法中打开看板的示意图。请参照图5A，每个孪生体都有POI标签，如星星球场、明德楼、致远楼等。当用户视角和星星球场的距离位于预设范围时，打开星星球场这一目标孪生体的看板，看板内容为：球场上我们奔跑流下的汗水比雨水还多。仿佛所有的日子都不会虚度；仿佛所有的跋涉都可以完成。
图5B是本申请实施例提供的交互方法中打开AR的示意图。请参照图5B，当用户视角和操场的距离位于预设范围时，由于与操场这一目标孪生体关联的交互事件包括距离变化，距离变化这一交互事件关联的交互行为包括打开AR。因此，当用户视角和操场的距离位于预设范围时，终端设备打开AR。
采用该种方案，通过提供编辑界面，便于用户快速、灵活的为交互事件设置关联的交互行为，进而实现提高用户和数字世界灵活交互的目的。
当用户在编辑端完成交互事件、交互行为的设置后，用户在漫游端漫游于数字世界时，即可和数字世界交互。
图6是本申请实施例提供的交互方法的另一个流程图。本实施例包括：
601、显示所述数字世界，所述数字世界中具有至少一个目标孪生体。
当用户想要漫游于数字世界时，在漫游端打开web站点等，以使得漫游端显示数字世界，该数字世界中的孪生体和物理世界中的物理实体是一一对应的。数字世界中的目标孪生体与至少一个交互事件关联，一个交互事件和至少一个交互行为关联。可预先通过编辑端将数字世界中的部分或全部孪生体设置为目标孪生体。
602、当用户漫游于所述数字世界时，对于每个目标孪生体，确定是否监听到与所述目标孪生体关联的目标事件，所述目标事件是与所述目标孪生体关联的至少一个交互事件中的任意一个交互事件。当监听到与目标孪生体关联的目标事件时，执行步骤603；当未监听到与目标孪生体关联的目标事件时，执行步骤604。
当用户在数字世界中漫游时，用户的视角不断的发生变化，使得各孪生体和用户的视角的距离等发生变化。漫游过程中，用户可根据需求对数字世界中的孪生体进行单击、双击、改变视角等。终端设备监控与目标孪生体关联的交互事件，如单击目标孪生体事件、双击目标孪生体事件、用户视角和目标孪生体距离发生变化的事件等。例如，校园园区的数字世界，每个教室内具有摄像头，当用户想要知道一个教室当前是否正在上课时，通过漫游进入该教室，并单击该教室的摄像头，之后，界面上显示摄像头监控到的视频画面，通过视频画面，用户可以直观的、快速的了解到该教室的当前状况。
一旦目标事件发生则进入步骤603，目标事件是与目标孪生体关联的交互事件中的任意一个。若与目标孪生体关联的交互事件中的任意一个交互事件都未发生，在执行步骤604。
603、执行与所述目标事件关联的至少一个交互行为，以使得用户与所述数字世界交互。
示例性的，漫游端终端设备依次执行与目标事件关联的至少一个交互行为。例如，目标事件为图3中的交互事件1，则针对摄像头这一孪生体，终端设备依次打开AR、打开看板、打开POI标签。
604、保持漫游状态，之后返回步骤602。
当交互事件一直未触发时，用户继续在数字世界中漫游，漫游过程中终端设备持续监听是否触发交互事件。
采用该种方案，当用户在数字世界中漫游时，终端设备监听到目标孪生体的任意一个交互事件后，执行与该交互事件关联的各交互行为，实现用户和数字世界交互的目的，提高沉浸感。
根据上述可知：本申请实施例主要包括两方面的内容，一方面是在可视化的编辑端，为目标孪生体设置交互事件，为交互事件设置交互行为。另一方面，是在漫游模式下，解析孪生体数据，全量注册到数字世界，如GIS-3D。漫游过程中，当交互事件触发时，依次执行该交互事件对应的交互行为。进一步的，可以将交互行为执行的结果通过发布-订阅事件机制通知给2D业务方。以数字世界为数字校园为例，数字校园中有很多空调设备对应的孪生体，设备维护组订阅空调设备的能耗检测数据、维护数据等。漫游过程中，用户点击空调设备，发现该空调设备超期未维护，数字校园界面上出现发送按钮，用户点击按钮，从而将需要维护空调设备的请求发送给设备维护组的相关人员。
图7是本申请实施例提供的交互方法编辑端的时序图。本实施例从编辑端的终端设备和服务器交互的角度说明，本实施例包括：
701、显示编辑界面。
示例性的，用户打开编辑端的终端设备，加载数字世界，使得终端设备显示编辑界面。编辑界面如图3所示，此处不再赘述。
702、为目标孪生体关联交互事件。
当用户选中目标孪生体后，终端设备根据用户在编辑栏的操作，为目标孪生体关联交互事件，交互事件包括但不限于上述的交互事件A~交互事件E。
703、为交互事件关联交互行为。
当对目标孪生体添加完交互事件后，对于每个交互事件，终端设备根据用户在编辑栏的操作，为交互事件关联交互行为，交互行为包括但不限于上述的交互行为a~交互行为f。
本申请实施例中，可以为一个目标孪生体添加多个交互事件，但是无法添加相同的交互事件；可以为一个交互事件添加多个交互行为，但是无法添加相同的交互行为。
704、终端设备向服务器发送携带孪生体数据的保存请求。
孪生体数据用于指示所述至少一个目标孪生体、与所述目标孪生体关联的交互事件，与所述交互事件关联的交互行为。
本步骤中，终端设备根据目标孪生体、与目标孪生体关联的交互事件、与交互事件关联的交互行为生成孪生体数据，并将孪生体数据携带在保存请求中发送给服务器。
705、服务器保存孪生体数据。
服务器接收到孪生体数据后，保存孪生体数据。
706、服务器向终端设备发送保存响应。
当服务器成功保存孪生体数据后，向终端设备发送用于指示孪生体数据已成功保存的保存响应。当服务器未成功保存孪生体数据时，向终端设备发送失败响应，以使得终端设备重新发送孪生体数据。
采用该种方案，编辑端的终端设备将孪生体数据发送给服务器，服务器保存该孪生体数据，使得漫游端从服务器下载孪生体数据即可实现漫游过程中与数字世界交互的目的。
图8是本申请实施例提供的交互方法漫游端的时序图。本实施例从漫游端的终端设备和服务器交互的角度说明，终端设备包括预览模块、交互事件管理器和GIS引擎，交互事件管理器例如为包管理器（Node Package Manager，NPM）。本实施例包括：
801、进入漫游模式。
漫游模式又称作预览模式等，本申请实施例并不限制。用户想要对某个真实的物理世界对应的数字世界漫游时，打开web站点并进入漫游模式。
802、预览模块向GIS引擎发送初始化请求。
示例性的，预览模块向GIS引擎发送请求初始化地理信息系统（GeographicInformation System，GIS）软件开发包（ Software Development Kit ，SDK）的初始化请求。
803、创建实例。
示例性的，GIS引擎初始化创建GIS-SDK实例，记做gisAPP。
804、返回实例。
示例性的，GIS引擎将初始化后的gisAPP实例返回给预览模块。
805、向服务器发送获取请求。
预览模块向服务器发送获取请求，以请求获取孪生体数据，该孪生体数据用于指示所述至少一个目标孪生体、与所述目标孪生体关联的交互事件，与所述交互事件关联的交互行为。
806、服务器查询孪生体数据。
服务器上可能存储多个数字世界的孪生体数据。因此，服务器根据获取请求携带的标识等，从海量数据中查到步骤801中数字世界对应的孪生体数据。
807、服务器向预览模块发送获取响应。
该获取响应携带孪生体数据。
808、向交互事件管理器发送注册请求。
示例性的，预览模块向交互事件管理器发送携带孪生体数据的注册请求，以请求全量注册孪生体数据。
809、全量注册孪生体数据。
示例性的，交互事件管理器将孪生体数据全量注册到gisAPP，并订阅监听gisAPP实例是否触发目标孪生体的交互事件。
采用该种方案，漫游端的终端设备从服务器下载孪生体数据，从而实现漫游过程中用户与数字世界交互的目的。
810、向交互事件管理器发送创建请求。
示例性，预览模块向交互事件管理器发送创建请求，以请求初始化创建事件管理器实例（event Manager APP）。
811、创建事件管理器实例。
示例性的，交互事件管理器创建事件管理器实例，订阅触发事件管理器实例的交互行为。
812、返回事件管理器实例。
交互事件管理器向预览模块返回创建好的事件管理器实例。
813、向GIS引擎发送回调事件监听请求。
预览模块向GIS引擎发送回调事件监听请求。
814、GIS引擎获取孪生体交互信息。
GIS引擎在回调事件中获取到当前添加成功的孪生体交互信息。
815、GIS引擎向预览模块发送孪生体交互信息。
示例性的，GIS引擎向预览模块返回当前添加成功的孪生体交互信息。
816、预览模块更新事件管理器。
示例性的，预览模块通过事件管理器实例event Manager APP更新事件管理器内部的孪生体交互信息队列。
817、交互事件管理器监听交互事件。
818、交互事件管理器向GIS引擎发送交互事件。
819、GIS引擎查找配置了该交互事件的目标孪生体。
820、GIS引擎向交互事件管理器发送携带目标孪生体id的通知消息。
821、交互事件管理器确定交互事件是否命中触发条件。
event Manager APP通过事件过滤郭泽校验交互事件是否命中触发条件，如距离是否在配置区间范围内。
822、交互事件管理器向预览模块发送携带目标孪生体ID的通知消息。
示例性的，当交互事件命中触发条件时，交互事件管理器向预览模块发送携带目标孪生体id以及交互事件id的通知消息。
823、执行交互行为。
预览模块解析交互事件对应的交互行为，依次执行该些交互行为。
另外，交互事件管理器还可以将各交互行为的执行结果发送给2D业务的订阅者，并执行2D相应的逻辑。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图9为本申请实施例提供的一种交互装置的示意图。该交互装置900包括：显示模块91、识别模块92和处理模块93。
显示模块91，用于显示编辑界面，所述编辑界面上显示编辑栏以及物理世界对应的数字世界，所述数字世界中包含多个孪生体；
识别模块92，用于响应于用户的选中操作，从所述多个孪生体中识别出目标孪生体；
处理模块93，用于响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为，所述交互事件用于用户与所述数字世界交互，所述至少一个交互行为用于指示当所述交互事件触发时，所述终端设备针对目标孪生体产生的行为。
一种可行的实现方式中，所述处理模块93，用于响应于用户对所述编辑栏中第一下拉菜单的点击操作，显示多个候选事件；响应于用户对所述多个候选事件中任意候选事件的选中操作，将用户选中的候选事件与所述目标孪生体关联；响应于用户对所述编辑栏的操作，为所述交互事件关联至少一个交互行为。
一种可行的实现方式中，所述处理模块93响应于用户对所述编辑栏的操作，为所述交互事件关联至少一个交互行为时，用于针对每个交互事件显示多个行为设置选项，所述行为设置选项与所述交互事件的交互行为一一对应；响应于用户对所述行为设置选项上的第二下拉菜单的点击操作，显示多个候选行为；响应于用户对所述多个候选行为中任意候选行为的选中操作，将用户选中的候选行与所述交互事件关联。
再请参照图9，一种可行的实现方式中，上述的交互装置900还包括：
收发模块94，用于在所述处理模块93响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为之后，向服务器发送携带孪生体数据的保存请求，所述孪生体数据用于指示所述至少一个目标孪生体、与所述目标孪生体关联的交互事件，与所述交互事件关联的交互行为；接收来自所述服务器的保存响应，所述保存响应用于指示所述服务器成功保存所述孪生体数据。
一种可行的实现方式中，所述显示模块91，还用显示所述数字世界，所述数字世界中具有至少一个目标孪生体；
所述处理模块93，还用于当用户漫游于所述数字世界时，对于每个目标孪生体，确定是否监听到与所述目标孪生体关联的目标事件，所述目标事件是与所述目标孪生体关联的至少一个交互事件中的任意一个交互事件；当监听到所述目标事件时，执行与所述目标事件关联的至少一个交互行为，以使得用户与所述数字世界交互。
一种可行的实现方式中，所述收发模块94，在所述处理模块93对于每个目标孪生体，确定是否监听到与所述目标孪生体关联的目标事件之前，还用于向所述服务器发送获取请求，以请求获取孪生体数据，所述孪生体数据用于指示所述至少一个目标孪生体、与所述目标孪生体关联的交互事件，与所述交互事件关联的交互行为；接收来自所述服务器的获取响应，所述获取响应携带所述孪生体数据；
所述处理模块93，还用于全量注册所述孪生体数据。
一种可行的实现方式中，所述交互事件包括下述事件中的至少一个：单击所述目标孪生体、双击所述目标孪生体、用户的视角与所述目标孪生体的距离发生变化、所述目标孪生体碰撞进入、所述目标孪生体碰撞退出；
其中，所述目标孪生体碰撞进入是指所述目标孪生体进入所述用户的视线范围内，所述目标孪生体碰撞退出是指所述目标孪生体退出所述用户的视线范围；所述至少一个交互行为包括下述行为中的至少一个：打开增强现实AR、打开介绍性看板、打开POI标签、打开链接、显示孪生体集合、隐藏孪生体集合。
一种可行的实现方式中，所述显示模块91，还用于显示用于创建孪生体集合的创建界面，所述创建界面上至少显示名称、孪生体类、孪生体实例或所属空间的编辑框；
所述处理模块93，还用于响应于用户对所述创建界面的各编辑框的操作，创建所述孪生体集合。
本申请实施例提供的交互装置，可以执行上述实施例中终端设备的动作，其实现原理和技术效果类似，在此不再赘述。
图10是本申请实施例提供的电子设备的结构示意图，该电子设备例如是上述能够为目标孪生体配置交互事件、为交互事件配置交互行为的终端设备。请参照图10，本申请实施例所述的电子设备1000包括：至少一个处理器101，至少一个通信总线102、用户接口103、至少一个网络接口104和存储器105。
其中，通信总线102用于实现这些组件之间的连接通信。
其中，用户接口103可以包括显示屏（Display）、摄像头（Camera），可选用户接口103还可以包括标准的有线接口、无线接口。其中，显示屏用于显示编辑界面、漫游界面等。
其中，网络接口104可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器101可以包括一个或者多个处理核心。处理器101利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器105内的指令、程序、代码集或指令集，以及调用存储在存储器105内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器101可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器101可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器101中，单独通过一块芯片进行实现。
其中，存储器105可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器105包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器105可用于存储指令、程序、代码、代码集或指令集。存储器105可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器105可选的还可以是至少一个位于远离前述处理器101的存储装置。如图10所示，作为一种计算机存储介质的存储器105中可以包括操作系统、网络通信模块、用户接口模块以及电子设备的操作应用程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种交互方法，其特征在于，应用于终端设备，所述方法包括：
显示编辑界面，所述编辑界面上显示编辑栏以及物理世界对应的数字世界，所述数字世界中包含多个孪生体；
响应于用户的选中操作，从所述多个孪生体中识别出目标孪生体；
响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为，所述交互事件用于用户与所述数字世界交互，所述至少一个交互行为用于指示当所述交互事件触发时，所述终端设备针对目标孪生体产生的行为；
当用户漫游于所述数字世界时，将所述数字世界的孪生体数据全量注册到gisAPP，所述gisAPP为所述数字世界的实例，所述数字世界是3D的数字世界；
当监听到所述gisAPP触发目标事件时，查询所述目标孪生体是否关联所述目标事件；
当所述目标孪生体关联所述目标事件时，确定所述目标事件是否命中触发条件，当所述目标事件命中触发条件时，执行所述目标事件对应的交互行为，所述交互事件包括：用户的视角与所述目标孪生体的距离发生变化、所述目标孪生体碰撞进入和所述目标孪生体碰撞退出；其中，所述目标孪生体碰撞进入是指所述目标孪生体进入所述用户的视线范围内，所述目标孪生体碰撞退出是指所述目标孪生体退出所述用户的视线范围；所述交互行为包括：显示孪生体集合和隐藏孪生体集合，当所述显示孪生体集合与所述目标事件关联时，若所述目标事件触发，则显示孪生体集合中的各孪生体；当所述隐藏孪生体集合与所述目标事件关联时，若所述目标事件触发，则隐藏孪生体集合中的各孪生体；
所述响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为之前，还包括：
显示用于创建孪生体集合的创建界面，所述创建界面上显示名称、孪生体类、孪生体实例和所属空间的编辑框；响应于用户对所述创建界面的各编辑框的操作，创建所述孪生体集合。
2.根据权利要求1所述的方法，其特征在于，所述响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为，包括：
响应于用户对所述编辑栏中第一下拉菜单的点击操作，显示多个候选事件；
响应于用户对所述多个候选事件中任意候选事件的选中操作，将用户选中的候选事件与所述目标孪生体关联；
响应于用户对所述编辑栏的操作，为所述交互事件关联至少一个交互行为。
3.根据权利要求2所述的方法，其特征在于，所述响应于用户对所述编辑栏的操作，为所述交互事件关联至少一个交互行为，包括：
针对每个交互事件显示多个行为设置选项，所述行为设置选项与所述交互事件的交互行为一一对应；
响应于用户对所述行为设置选项上的第二下拉菜单的点击操作，显示多个候选行为；
响应于用户对所述多个候选行为中任意候选行为的选中操作，将用户选中的候选行为与所述交互事件关联。
4.根据权利要求1~3任一项所述的方法，其特征在于，所述响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为之后，包括：
向服务器发送携带孪生体数据的保存请求，所述孪生体数据用于指示至少一个目标孪生体、与所述目标孪生体关联的交互事件，与所述交互事件关联的交互行为；
接收来自所述服务器的保存响应，所述保存响应用于指示所述服务器成功保存所述孪生体数据。
5.根据权利要求1~3任一项所述的方法，其特征在于，所述当用户漫游于所述数字世界时，将所述数字世界的孪生体数据全量注册到gisAPP之前，还包括：
向服务器发送获取请求，以请求获取孪生体数据，所述孪生体数据用于指示至少一个目标孪生体、与所述目标孪生体关联的交互事件，与所述交互事件关联的交互行为；
接收来自所述服务器的获取响应，所述获取响应携带所述孪生体数据。
6.一种交互装置，其特征在于，包括：
显示模块，用于显示编辑界面，所述编辑界面上显示编辑栏以及物理世界对应的数字世界，所述数字世界中包含多个孪生体；
识别模块，用于响应于用户的选中操作，从所述多个孪生体中识别出目标孪生体；
处理模块，用于响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为，所述交互事件用于用户与所述数字世界交互，所述至少一个交互行为用于指示当所述交互事件触发时，终端设备针对目标孪生体产生的行为；
所述处理模块，还用于当用户漫游于所述数字世界时，将所述数字世界的孪生体数据全量注册到gisAPP，所述gisAPP为所述数字世界的实例，所述数字世界是3D的数字世界；当监听到所述gisAPP触发目标事件时，查询所述目标孪生体是否关联所述目标事件；当所述目标孪生体关联所述目标事件时，确定所述目标事件是否命中触发条件，当所述目标事件命中触发条件时，执行所述目标事件对应的交互行为，所述交互事件包括：用户的视角与所述目标孪生体的距离发生变化、所述目标孪生体碰撞进入和所述目标孪生体碰撞退出；其中，所述目标孪生体碰撞进入是指所述目标孪生体进入所述用户的视线范围内，所述目标孪生体碰撞退出是指所述目标孪生体退出所述用户的视线范围；所述交互行为包括：显示孪生体集合和隐藏孪生体集合，当所述显示孪生体集合与所述目标事件关联时，若所述目标事件触发，则显示孪生体集合中的各孪生体；当所述隐藏孪生体集合与所述目标事件关联时，若所述目标事件触发，则隐藏孪生体集合中的各孪生体；
所述显示模块，在所述处理模块响应于用户对所述编辑栏的操作，为所述目标孪生体关联至少一个交互事件，并为所述交互事件关联至少一个交互行为之前，还用于显示用于创建孪生体集合的创建界面，所述创建界面上显示名称、孪生体类、孪生体实例和所属空间的编辑框；
所述处理模块，还用于响应于用户对所述创建界面的各编辑框的操作，创建所述孪生体集合。
7.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时使得所述电子设备实现如权利要求1至5任一所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一所述的方法。
CN202410028302.3A 2024-01-09 2024-01-09 交互方法、装置、设备及可读存储介质 Active CN117539368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410028302.3A CN117539368B (zh) 2024-01-09 2024-01-09 交互方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410028302.3A CN117539368B (zh) 2024-01-09 2024-01-09 交互方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN117539368A CN117539368A (zh) 2024-02-09
CN117539368B true CN117539368B (zh) 2024-05-03

Family

ID=89796203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410028302.3A Active CN117539368B (zh) 2024-01-09 2024-01-09 交互方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117539368B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857520A (zh) * 2020-06-16 2020-10-30 广东希睿数字科技有限公司 基于数字孪生的3d可视化交互显示方法与系统
CN114491964A (zh) * 2021-12-31 2022-05-13 北京航天智造科技发展有限公司 一种可进行协同工作的数字孪生建模系统
CN116954585A (zh) * 2023-07-28 2023-10-27 浪潮云洲工业互联网有限公司 一种工业数字孪生三维可视化场景编辑方法、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564993B2 (en) * 2017-11-07 2020-02-18 General Electric Company Contextual digital twin runtime environment
US11568110B2 (en) * 2020-09-09 2023-01-31 Rockwell Automation Technologies, Inc. Industrial automation process simulation for fluid flow

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857520A (zh) * 2020-06-16 2020-10-30 广东希睿数字科技有限公司 基于数字孪生的3d可视化交互显示方法与系统
CN114491964A (zh) * 2021-12-31 2022-05-13 北京航天智造科技发展有限公司 一种可进行协同工作的数字孪生建模系统
CN116954585A (zh) * 2023-07-28 2023-10-27 浪潮云洲工业互联网有限公司 一种工业数字孪生三维可视化场景编辑方法、设备及介质

Also Published As

Publication number Publication date
CN117539368A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
WO2019242057A1 (zh) 远程全景看房方法、装置、用户终端、服务器及存储介质
CN104517001A (zh) 一种基于浏览器的用于展示待建成建筑信息的方法
CN104484327A (zh) 一种项目工程的环境展示方法
CN113518256B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN111696216B (zh) 三维增强现实全景融合方法及系统
Pokric et al. Augmented Reality Enabled IoT Services for Environmental Monitoring Utilising Serious Gaming Concept.
CN111031293B (zh) 全景监控的展示方法、装置和系统及计算机可读存储介质
US20220269701A1 (en) Method, apparatus, system and storage medium for data visualization
CN110930220A (zh) 一种显示方法、装置、终端设备及介质
CN108197619A (zh) 一种基于招牌图像的定位方法、装置、设备和存储介质
CN110673743A (zh) 一种基于三维空间场景的虚实交互系统及方法
CN111597466A (zh) 展示方法、装置和电子设备
Mitchell et al. uLearn: Facilitating ubiquitous learning through camera equipped mobile phones
CN114386119A (zh) 车位信息展示方法及其相关产品
CN116523738B (zh) 一种任务触发方法、装置、存储介质以及电子设备
CN117539368B (zh) 交互方法、装置、设备及可读存储介质
Kahl et al. Architecture to enable dual reality for smart environments
Li et al. A platform on the cloud for self-creation of mobile interactive learning trails
Bulbul et al. Populating virtual cities using social media
CN114090713A (zh) 基于增强现实的服务提供方法、系统及电子设备
Iriarte-Solis et al. Mobile Guide to Augmented Reality for Campus of the Autonomous University of Nayarit
CN112256771A (zh) 一种用于博览会的展览平台系统
CN114020977A (zh) 建筑信息模型交互方法及相关装置
Guo et al. An AR/VR-Hybrid Interaction System for Historical Town Tour Scenes Incorporating Mobile Internet
TWI497035B (zh) 地理資訊快速查找與瀏覽系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant