CN114510173B - 基于增强现实的施工作业方法及装置 - Google Patents
基于增强现实的施工作业方法及装置 Download PDFInfo
- Publication number
- CN114510173B CN114510173B CN202210069754.7A CN202210069754A CN114510173B CN 114510173 B CN114510173 B CN 114510173B CN 202210069754 A CN202210069754 A CN 202210069754A CN 114510173 B CN114510173 B CN 114510173B
- Authority
- CN
- China
- Prior art keywords
- construction
- augmented reality
- dimensional
- viewpoint
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 640
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000001960 triggered effect Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000007654 immersion Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 6
- 230000008439 repair process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于增强现实的施工作业方法及装置，该方法包括：获取由目标用户携带的增强现实设备获取的施工区域图像信息；将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息；所述施工三维显示信息用于发送至所述增强现实设备进行显示；获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息中的目标施工对象的选择指令；从预设的施工作业数据库中确定出所述目标施工对象对应的施工作业数据；所述施工作业数据用于发送至所述增强现实设备进行显示。可见，本发明能够实现基于增强现实技术来有效辅助施工任务的进行，提高施工效率，减少施工出错。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的施工作业方法及装置。
背景技术
随着AR(Augmented Reality，增强现实)技术的兴起，以及三维算法的发展，越来越多的领域开始应用AR技术来辅助生产或辅助作业，但现有技术中，施工领域仍然处在较为传统的作业模式中，一般仅采用书面材料对操作人员进行指导后，由操作人员进行施工操作，因此其操作流程复杂，容易出错。可见，亟需结合AR技术与施工作业流程，以实现一种更高效的施工作业方案。
发明内容
本发明所要解决的技术问题在于，提供一种基于增强现实的施工作业方法及装置，能够实现基于增强现实技术来有效辅助施工任务的进行，提高施工效率，减少施工出错。
为了解决上述技术问题，本发明第一方面公开了一种基于增强现实的施工作业方法，所述方法包括：
获取由目标用户携带的增强现实设备获取的施工区域图像信息；
将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息；所述施工三维显示信息用于发送至所述增强现实设备进行显示；
获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息中的目标施工对象的选择指令；
从预设的施工作业数据库中确定出所述目标施工对象对应的施工作业数据；所述施工作业数据用于发送至所述增强现实设备进行显示。
本发明第二方面公开了一种基于增强现实的施工作业装置，所述装置包括：
获取模块，用于获取由目标用户携带的增强现实设备获取的施工区域图像信息；
匹配模块，用于将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息；所述施工三维显示信息用于发送至所述增强现实设备进行显示；
选择模块，用于获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息中的目标施工对象的选择指令；
确定模块，用于从预设的施工作业数据库中确定出所述目标施工对象对应的施工作业数据；所述施工作业数据用于发送至所述增强现实设备进行显示。
本发明第三方面公开了另一种基于增强现实的施工作业装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于增强现实的施工作业方法中的部分或全部步骤。
本发明第四方面公开了又一种基于增强现实的施工作业装置，所述装置包括：
由目标用户携带的增强现实设备；
连接至所述增强现实设备的数据处理设备；
所述数据处理设备用于执行本发明第一方面公开的基于增强现实的施工作业方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，公开了一种基于增强现实的施工作业方法及装置，该方法包括：获取由目标用户携带的增强现实设备获取的施工区域图像信息；将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息；所述施工三维显示信息用于发送至所述增强现实设备进行显示；获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息中的目标施工对象的选择指令；从预设的施工作业数据库中确定出所述目标施工对象对应的施工作业数据；所述施工作业数据用于发送至所述增强现实设备进行显示。可见，本发明实施例能够利用增强现实设备获取的图像信息确定用户施工所需的施工作业数据，从而能够实现基于增强现实技术来有效辅助施工任务的进行，提高施工效率，减少施工出错。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于增强现实的施工作业方法的流程示意图。
图2是本发明实施例公开的一种基于增强现实的施工作业装置的结构示意图。
图3是本发明实施例公开的另一种基于增强现实的施工作业装置的结构示意图。
图4是本发明实施例公开的又一种基于增强现实的施工作业装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于增强现实的施工作业方法及装置，能够利用增强现实设备获取的图像信息确定用户施工所需的施工作业数据，从而能够实现基于增强现实技术来有效辅助施工任务的进行，提高施工效率，减少施工出错。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于增强现实的施工作业方法的流程示意图。如图1所示，该基于增强现实的施工作业方法可以包括以下操作：
101、获取由目标用户携带的增强现实设备获取的施工区域图像信息。
可选的，增强现实设备可以为AR可穿戴设备，例如设置有AR显示装置和图像获取装置的AR可穿戴设备，可选的，为了适应用户的施工需求，增强现实设备还可以包括有耦合至AR可穿戴设备的智能施工设备，例如设置有传感器的一些施工设备如铲子、钻孔机或安全帽等，这些施工设备的传感器或控制器等均连接至AR可穿戴设备以进行通信。
可选的，目标用户可以为施工人员或施工监督人员，其可以在施工区域通过增强现实设备获取图像信息，可选的，本发明的施工区域可以为市政工程区域、水利工程区域或其他施工类型的施工区域，本发明不做限定。例如，在一个具体的实施场景中，可以将本发明的方案应用在市政工程的井盖作业场景中，其中目标用户为携带有增强现实设备的井盖作业人员。
102、将施工区域图像信息与预设的施工模型数据库进行匹配，以确定施工区域图像信息对应的施工三维显示信息。
可选的，施工三维显示信息用于发送至增强现实设备进行显示。可选的，预设的施工模型数据库中可以包括有多个不同施工区域的三维模型，该三维模型中包括有多个不同区域场景的三维模型以及该区域场景中的多个不同施工对象的三维模型，通过将施工区域图像信息与这些三维模型进行匹配，可以精确确定出目标用户所在区域或场景下对应的三维显示信息。
103、获取目标用户通过增强现实设备触发的针对施工区域图像信息中的目标施工对象的选择指令。
可选的，目标用户可以通过增强现实设备的互动装置进行选择指令的触发，该互动装置可以为触控屏幕或是动作捕捉装置，以用于捕捉用户针对增强现实设备显示的施工三维显示信息或眼前的施工区域的动作指令。
104、从预设的施工作业数据库中确定出目标施工对象对应的施工作业数据。
可选的，施工作业数据用于发送至增强现实设备进行显示。可选的，施工作业数据可以包括施工作业引导数据、施工作业参数数据和施工作业任务数据中的至少一种。其中，施工作业引导数据可以为施工作业的引导指南，其可以为文字的指导信息，或是由连续的多个动画组成的指导信息，该动画可以被设置为与施工对象的外形相互动的动画，以生动地向用户展示施工步骤和操作细节。其中，施工作业参数数据用于指示施工作业时的操作参数，例如操作的力度、作业的角度、作业的位置等参数，以用于辅导用户更准确地执行施工作业任务。其中，施工作业任务数据用于指示当前的施工区域所需要执行的施工作业任务的类型或内容，这一部分数据可以由施工单位的操作人员事先上传至系统并与相应的施工区域进行关联，或由智能算法模型根据施工区域的信息自动生成相应的施工作业任务并上传至系统。
可见，上述发明实施例能够利用增强现实设备获取的图像信息确定用户施工所需的施工作业数据，从而能够实现基于增强现实技术来有效辅助施工任务的进行，提高施工效率，减少施工出错。
作为一个可选的实施方式，上述步骤102中的，将施工区域图像信息与预设的施工模型数据库进行匹配，以确定施工区域图像信息对应的施工三维显示信息，包括：
将施工区域图像信息与多个预设的施工三维模型进行匹配，将匹配度最高的施工三维模型确定为目标施工三维模型；
将施工区域图像信息与目标施工三维模型中的多个三维场景进行匹配，根据匹配度最高的三维场景确定施工三维显示信息。
可选的，匹配施工区域图像信息和多个预设的施工三维模型的方式，可以为计算施工区域图像信息与任一施工三维模型之间的相似度，并将该相似度确定为匹配度。可选的，计算施工区域图像信息与任一施工三维模型之间的相似度的具体的方式，可以包括：
对于任一施工三维模型，从多个随机生成的视点截取该施工三维模型的多个第一视点影像；
计算施工区域图像信息与每一第一视点影像的第一图像相似度；
确定施工区域图像信息中的图像获取角度信息；该图像获取角度信息为目标用户通过增强现实设备获取该施工区域图像信息时的朝向角度；
计算每一第一视点影像对应的视点与该施工三维模型的第一视点角度；
计算每一第一视点影像对应的视点角度与图像获取角度信息之间的第一角度相似度；
根据第一角度相似度，确定每一第一视点影像对应的第一视点权重；该第一视点权重与该角度相似度成正比；所有第一视点影像对应的第一视点权重之和为1；
根据第一视点权重，计算所有第一视点影像对应的第一图像相似度的加权求和值，以得到施工区域图像信息与该施工三维模型之间的相似度。
可选的，匹配施工区域图像信息与多个三维场景的方式，可以参照上述匹配方式，具体的，可以为计算施工区域图像信息与任一三维场景之间的相似度，并将该相似度确定为匹配度。可选的，计算施工区域图像信息与任一三维场景之间的相似度的具体的方式，可以包括：
对于任一三维场景，从多个随机生成的视点截取该三维场景的多个第二视点影像；
计算施工区域图像信息与每一第二视点影像的第二图像相似度；
确定施工区域图像信息中的图像获取角度信息；该图像获取角度信息为目标用户通过增强现实设备获取该施工区域图像信息时的朝向角度；
计算每一第二视点影像对应的视点与该三维场景的第二视点角度；
计算每一第二视点影像对应的视点角度与图像获取角度信息之间的第二角度相似度；
根据第二角度相似度，确定每一第二视点影像对应的第二视点权重；该第二视点权重与该角度相似度成正比；所有第二视点影像对应的第二视点权重之和为1；
根据第二视点权重，计算所有第二视点影像对应的第二图像相似度的加权求和值，以得到施工区域图像信息与该三维场景之间的相似度。
可见，通过该可选的实施方式，能够通过多重的匹配以确定出施工区域图像信息对应的施工三维显示信息，为用户展示更加精确和真实的三维显示信息，提高用户的体验感，也便于给予用户沉浸感更强的施工辅助体验。
作为一个可选的实施方式，施工区域图像信息中包括多个施工对象图像，其中施工对象可以为不同的施工目标物件，例如在上述具体实施场景中，其可以为井盖，则施工对象图像为井盖的图像。相应的，任一三维场景中也包括有多个施工对象三维模型，这些施工对象三维模型是事先根据施工对象的位置和外形建立的。
相应的，上述步骤中的，根据匹配度最高的三维场景确定施工三维显示信息，包括：
对于施工区域图像信息中的任一施工对象图像，将该施工对象图像与匹配度最高的三维场景中的多个施工对象三维模型进行匹配，以得到该施工对象图像对应的施工对象三维模型；
将匹配度最高的三维场景和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息。
可选的，匹配施工对象图像与多个施工对象三维模型的方式，可以参照上述匹配方式，具体的，可以为计算施工对象图像与任一施工对象三维模型之间的相似度，并将相似度最高的施工对象三维模型，确定为该施工对象图像对应的施工对象三维模型。
可选的，计算施工对象图像与任一施工对象三维模型之间的相似度的具体的方式，可以包括：
对于任一施工对象三维模型，从多个随机生成的视点截取该施工对象三维模型的多个第三视点影像；
计算施工对象图像与每一第三视点影像的第三图像相似度；
确定施工对象图像中的图像获取角度信息；该图像获取角度信息为目标用户通过增强现实设备获取该施工对象图像时的朝向角度；
计算每一第三视点影像对应的视点与该施工对象三维模型的第三视点角度；
计算每一第三视点影像对应的视点角度与图像获取角度信息之间的第三角度相似度；
根据第三角度相似度，确定每一第三视点影像对应的第三视点权重；该第三视点权重与该角度相似度成正比；所有第三视点影像对应的第三视点权重之和为1；
根据第三视点权重，计算所有第三视点影像对应的第三图像相似度的加权求和值，以得到施工对象图像与该施工对象三维模型之间的相似度。
可见，通过该可选的实施方式，能够通过匹配以确定出施工对象图像对应的施工对象三维模型，并将匹配度最高的三维场景和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息，以为用户展示更加精确和真实的三维显示信息，提高用户的体验感，也便于给予用户沉浸感更强的施工辅助体验。
作为一个可选的实施方式，上述步骤中的，将匹配度最高的三维场景和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息，包括：
确定匹配度最高的三维场景对应的地理区域；
确定地理区域在预设的环境数据库中对应的环境数据；
将匹配度最高的三维场景、环境数据和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息。
可选的，环境数据包括监控数据、统计数据、天气数据和交通数据中的至少一种，其中监控数据可以为设置在地理区域的多个监控摄像头摄取的监控图像数据，统计数据可以为针对地理区域的多种类型的统计数据，例如人口统计数据、车辆统计数据、人口画像统计数据、人流轨迹统计数据等，本发明不做限定。
通过该可选的实施方式，可以将匹配度最高的三维场景、环境数据和所有施工对象图像对应的施工对象三维模型确定为施工三维显示信息，以为用户展示更加精确和真实的三维显示信息，提高用户的体验感，也便于为用户提供沉浸感更强和效果更好的施工辅助服务。
作为一个可选的实施方式，上述步骤103中的，获取目标用户通过增强现实设备触发的针对施工区域图像信息中的目标施工对象的选择指令，包括：
获取目标用户通过增强现实设备触发的针对施工区域图像信息或施工三维显示信息的任一目标区域的选择指令；
响应于选择指令，将目标区域对应的施工对象三维模型发送至增强现实设备进行显示；
将目标区域对应的施工对象三维模型对应的施工对象，确定为目标施工对象。
可选的，可以通过图像识别算法或三维识别算法，确定目标用户的选择指令对应的选择动作的指向方向，再根据该指向方向，从施工区域图像信息或施工三维显示信息中确定出目标用户想要选择的目标区域。
可选的，可以根据目标区域在施工区域图像信息中包括的施工对象图像确定目标区域对应的施工对象三维模型，也可以以目标区域在施工三维显示信息中包括的施工对象三维模型直接确定。
可选的，可以在确定了施工对象后对施工对象三维模型进行渲染生成，并发送至增强现实设备进行显示，从而可以在用户通过增强现实设备触发对应于任一施工对象的手势指令时，可以点选该施工对象的三维模型发生碰撞(生成动画以及震感)，从而确认其选择的施工对象。
可见，通过该可选的实施方式，可以通过目标用户通过增强现实设备触发的针对施工区域图像信息或施工三维显示信息的任一目标区域的选择指令，确定出要显示的施工对象三维模型和目标施工对象，以便于后续根据用户选择的目标施工对象进行更详细的施工作业数据的展示，提高用户的体验感，也便于为用户提供沉浸感更强和效果更好的施工辅助服务。
作为一个可选的实施方式，上述步骤104中的，从预设的施工作业数据库中确定出目标施工对象对应的施工作业数据，包括：
从预设的施工作业数据库中确定出目标施工对象对应的多个施工作业数据；
确定目标用户的施工任务信息；
计算每一施工作业数据与施工任务信息的任务匹配度，从多个施工作业数据中筛选出任务匹配度最高或高于预设匹配度阈值的施工作业数据以确定为用于显示的施工作业数据。
可选的，施工任务信息中可以包括有目标用户对应的施工任务的任务描述信息，其可以为文本信息，从而计算施工作业数据与施工任务信息的任务匹配度的具体方式可以为计算两者之间的文本相似度，例如文本向量距离，这一计算也可以通过训练好的神经网络模型来执行，例如，可以获取多个任务匹配度已知的施工作业数据-施工任务信息训练数据对，以对神经网络模型进行训练，后续可以将要计算的施工作业数据与施工任务信息输入至训练好的神经网络模型，即可直接输出两者之间的匹配度。
可选的，也可以根据任务匹配度由高到低对多个施工作业数据进行排序以得到数据序列，并将数据序列中前预设数量位的施工作业数据，确定为用于显示的施工作业数据。
可见，通过该可选的实施方式，可以通过计算每一施工作业数据与施工任务信息的任务匹配度，从多个施工作业数据中筛选出用于显示的施工作业数据，以便于进行更相关的施工作业数据的展示，便于为用户提供效果更好的施工辅助服务。
作为一个可选的实施方式，该方法还包括：
获取由增强现实设备传输的施工完成图像信息；
根据施工完成图像信息，以及图像识别算法，确定目标用户对应的施工任务完成情况。
可选的，可以由目标用户在完成施工任务后通过增强现实设备获取当前施工对象的施工完成图像信息并传输，该施工完成图像信息可以包括施工对象的整体图像信息或部分细节图像信息。
可选的，可以根据图像模板匹配算法，将该施工完成图像信息与该施工对象对应的多个对应于不同完成情况的完成图像模板进行匹配度计算，并将匹配度最高的完成图像模板对应的完成情况，确认为目标用户对应的施工任务完成情况。例如，在上述具体实施场景中，施工任务为井盖修补任务，则施工对象为井盖，目标用户也即作业人员在完成任务后拍摄井盖的正面图像并传输，根据井盖的正面图像和井盖的多个完成图像模板(如破损图像模板、裂痕图像模板和完整图像模板)进行匹配，以确认作业人员的井盖修补任务的完成情况，例如在计算出匹配度最高的完成图像模板为完整图像模板时，确认作业人员的井盖修补任务顺利完成或完成度为100％。
可见，通过该可选的实施方式，能够根据施工完成图像信息，以及图像识别算法，确定目标用户对应的施工任务完成情况，以实现对施工任务的智能验收，从而为用户提供效果更好的施工辅助服务。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于增强现实的施工作业装置的结构示意图。如图2所示，该基于增强现实的施工作业装置可以包括：
获取模块201，用于获取由目标用户携带的增强现实设备获取的施工区域图像信息。
可选的，增强现实设备可以为AR可穿戴设备，例如设置有AR显示装置和图像获取装置的AR可穿戴设备，可选的，为了适应用户的施工需求，增强现实设备还可以包括有耦合至AR可穿戴设备的智能施工设备，例如设置有传感器的一些施工设备如铲子、钻孔机或安全帽等，这些施工设备的传感器或控制器等均连接至AR可穿戴设备以进行通信。
可选的，目标用户可以为施工人员或施工监督人员，其可以在施工区域通过增强现实设备获取图像信息，可选的，本发明的施工区域可以为市政工程区域、水利工程区域或其他施工类型的施工区域，本发明不做限定。例如，在一个具体的实施场景中，可以将本发明的方案应用在市政工程的井盖作业场景中，其中目标用户为携带有增强现实设备的井盖作业人员。
匹配模块202，用于将施工区域图像信息与预设的施工模型数据库进行匹配，以确定施工区域图像信息对应的施工三维显示信息。
可选的，施工三维显示信息用于发送至增强现实设备进行显示。可选的，预设的施工模型数据库中可以包括有多个不同施工区域的三维模型，该三维模型中包括有多个不同区域场景的三维模型以及该区域场景中的多个不同施工对象的三维模型，通过将施工区域图像信息与这些三维模型进行匹配，可以精确确定出目标用户所在区域或场景下对应的三维显示信息。
选择模块203，用于获取目标用户通过增强现实设备触发的针对施工区域图像信息中的目标施工对象的选择指令。
可选的，目标用户可以通过增强现实设备的互动装置进行选择指令的触发，该互动装置可以为触控屏幕或是动作捕捉装置，以用于捕捉用户针对增强现实设备显示的施工三维显示信息或眼前的施工区域的动作指令。
确定模块204，用于从预设的施工作业数据库中确定出目标施工对象对应的施工作业数据。
可选的，施工作业数据用于发送至增强现实设备进行显示。可选的，施工作业数据可以包括施工作业引导数据、施工作业参数数据和施工作业任务数据中的至少一种。其中，施工作业引导数据可以为施工作业的引导指南，其可以为文字的指导信息，或是由连续的多个动画组成的指导信息，该动画可以被设置为与施工对象的外形相互动的动画，以生动地向用户展示施工步骤和操作细节。其中，施工作业参数数据用于指示施工作业时的操作参数，例如操作的力度、作业的角度、作业的位置等参数，以用于辅导用户更准确地执行施工作业任务。其中，施工作业任务数据用于指示当前的施工区域所需要执行的施工作业任务的类型或内容，这一部分数据可以由施工单位的操作人员事先上传至系统并与相应的施工区域进行关联，或由智能算法模型根据施工区域的信息自动生成相应的施工作业任务并上传至系统。
可见，上述发明实施例能够利用增强现实设备获取的图像信息确定用户施工所需的施工作业数据，从而能够实现基于增强现实技术来有效辅助施工任务的进行，提高施工效率，减少施工出错。
作为一个可选的实施方式，匹配模块202将施工区域图像信息与预设的施工模型数据库进行匹配，以确定施工区域图像信息对应的施工三维显示信息的具体方式，包括：
将施工区域图像信息与多个预设的施工三维模型进行匹配，将匹配度最高的施工三维模型确定为目标施工三维模型；
将施工区域图像信息与目标施工三维模型中的多个三维场景进行匹配，根据匹配度最高的三维场景确定施工三维显示信息。
可选的，匹配施工区域图像信息和多个预设的施工三维模型的方式，可以为计算施工区域图像信息与任一施工三维模型之间的相似度，并将该相似度确定为匹配度。可选的，计算施工区域图像信息与任一施工三维模型之间的相似度的具体的方式，可以包括：
对于任一施工三维模型，从多个随机生成的视点截取该施工三维模型的多个第一视点影像；
计算施工区域图像信息与每一第一视点影像的第一图像相似度；
确定施工区域图像信息中的图像获取角度信息；该图像获取角度信息为目标用户通过增强现实设备获取该施工区域图像信息时的朝向角度；
计算每一第一视点影像对应的视点与该施工三维模型的第一视点角度；
计算每一第一视点影像对应的视点角度与图像获取角度信息之间的第一角度相似度；
根据第一角度相似度，确定每一第一视点影像对应的第一视点权重；该第一视点权重与该角度相似度成正比；所有第一视点影像对应的第一视点权重之和为1；
根据第一视点权重，计算所有第一视点影像对应的第一图像相似度的加权求和值，以得到施工区域图像信息与该施工三维模型之间的相似度。
可选的，匹配施工区域图像信息与多个三维场景的方式，可以参照上述匹配方式，具体的，可以为计算施工区域图像信息与任一三维场景之间的相似度，并将该相似度确定为匹配度。可选的，计算施工区域图像信息与任一三维场景之间的相似度的具体的方式，可以包括：
对于任一三维场景，从多个随机生成的视点截取该三维场景的多个第二视点影像；
计算施工区域图像信息与每一第二视点影像的第二图像相似度；
确定施工区域图像信息中的图像获取角度信息；该图像获取角度信息为目标用户通过增强现实设备获取该施工区域图像信息时的朝向角度；
计算每一第二视点影像对应的视点与该三维场景的第二视点角度；
计算每一第二视点影像对应的视点角度与图像获取角度信息之间的第二角度相似度；
根据第二角度相似度，确定每一第二视点影像对应的第二视点权重；该第二视点权重与该角度相似度成正比；所有第二视点影像对应的第二视点权重之和为1；
根据第二视点权重，计算所有第二视点影像对应的第二图像相似度的加权求和值，以得到施工区域图像信息与该三维场景之间的相似度。
可见，通过该可选的实施方式，能够通过多重的匹配以确定出施工区域图像信息对应的施工三维显示信息，为用户展示更加精确和真实的三维显示信息，提高用户的体验感，也便于给予用户沉浸感更强的施工辅助体验。
作为一个可选的实施方式，施工区域图像信息中包括多个施工对象图像，其中施工对象可以为不同的施工目标物件，例如在上述具体实施场景中，其可以为井盖，则施工对象图像为井盖的图像。相应的，任一三维场景中也包括有多个施工对象三维模型，这些施工对象三维模型是事先根据施工对象的位置和外形建立的。
相应的，匹配模块202根据匹配度最高的三维场景确定施工三维显示信息的具体方式，包括：
对于施工区域图像信息中的任一施工对象图像，将该施工对象图像与匹配度最高的三维场景中的多个施工对象三维模型进行匹配，以得到该施工对象图像对应的施工对象三维模型；
将匹配度最高的三维场景和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息。
可选的，匹配施工对象图像与多个施工对象三维模型的方式，可以参照上述匹配方式，具体的，可以为计算施工对象图像与任一施工对象三维模型之间的相似度，并将相似度最高的施工对象三维模型，确定为该施工对象图像对应的施工对象三维模型。
可选的，计算施工对象图像与任一施工对象三维模型之间的相似度的具体的方式，可以包括：
对于任一施工对象三维模型，从多个随机生成的视点截取该施工对象三维模型的多个第三视点影像；
计算施工对象图像与每一第三视点影像的第三图像相似度；
确定施工对象图像中的图像获取角度信息；该图像获取角度信息为目标用户通过增强现实设备获取该施工对象图像时的朝向角度；
计算每一第三视点影像对应的视点与该施工对象三维模型的第三视点角度；
计算每一第三视点影像对应的视点角度与图像获取角度信息之间的第三角度相似度；
根据第三角度相似度，确定每一第三视点影像对应的第三视点权重；该第三视点权重与该角度相似度成正比；所有第三视点影像对应的第三视点权重之和为1；
根据第三视点权重，计算所有第三视点影像对应的第三图像相似度的加权求和值，以得到施工对象图像与该施工对象三维模型之间的相似度。
可见，通过该可选的实施方式，能够通过匹配以确定出施工对象图像对应的施工对象三维模型，并将匹配度最高的三维场景和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息，以为用户展示更加精确和真实的三维显示信息，提高用户的体验感，也便于给予用户沉浸感更强的施工辅助体验。
作为一个可选的实施方式，匹配模块202将匹配度最高的三维场景和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息的具体方式，包括：
确定匹配度最高的三维场景对应的地理区域；
确定地理区域在预设的环境数据库中对应的环境数据；
将匹配度最高的三维场景、环境数据和所有施工对象图像对应的施工对象三维模型，确定为施工三维显示信息。
可选的，环境数据包括监控数据、统计数据、天气数据和交通数据中的至少一种，其中监控数据可以为设置在地理区域的多个监控摄像头摄取的监控图像数据，统计数据可以为针对地理区域的多种类型的统计数据，例如人口统计数据、车辆统计数据、人口画像统计数据、人流轨迹统计数据等，本发明不做限定。
通过该可选的实施方式，可以将匹配度最高的三维场景、环境数据和所有施工对象图像对应的施工对象三维模型确定为施工三维显示信息，以为用户展示更加精确和真实的三维显示信息，提高用户的体验感，也便于为用户提供沉浸感更强和效果更好的施工辅助服务。
作为一个可选的实施方式，选择模块203获取目标用户通过增强现实设备触发的针对施工区域图像信息中的目标施工对象的选择指令的具体方式，包括：
获取目标用户通过增强现实设备触发的针对施工区域图像信息或施工三维显示信息的任一目标区域的选择指令；
响应于选择指令，将目标区域对应的施工对象三维模型发送至增强现实设备进行显示；
将目标区域对应的施工对象三维模型对应的施工对象，确定为目标施工对象。
可选的，可以通过图像识别算法或三维识别算法，确定目标用户的选择指令对应的选择动作的指向方向，再根据该指向方向，从施工区域图像信息或施工三维显示信息中确定出目标用户想要选择的目标区域。
可选的，可以根据目标区域在施工区域图像信息中包括的施工对象图像确定目标区域对应的施工对象三维模型，也可以以目标区域在施工三维显示信息中包括的施工对象三维模型直接确定。
可选的，可以在确定了施工对象后对施工对象三维模型进行渲染生成，并发送至增强现实设备进行显示，从而可以在用户通过增强现实设备触发对应于任一施工对象的手势指令时，可以点选该施工对象的三维模型发生碰撞(生成动画以及震感)，从而确认其选择的施工对象。
可见，通过该可选的实施方式，可以通过目标用户通过增强现实设备触发的针对施工区域图像信息或施工三维显示信息的任一目标区域的选择指令，确定出要显示的施工对象三维模型和目标施工对象，以便于后续根据用户选择的目标施工对象进行更详细的施工作业数据的展示，提高用户的体验感，也便于为用户提供沉浸感更强和效果更好的施工辅助服务。
作为一个可选的实施方式，确定模块204从预设的施工作业数据库中确定出目标施工对象对应的施工作业数据的具体方式，包括：
从预设的施工作业数据库中确定出目标施工对象对应的多个施工作业数据；
确定目标用户的施工任务信息；
计算每一施工作业数据与施工任务信息的任务匹配度，从多个施工作业数据中筛选出任务匹配度最高或高于预设匹配度阈值的施工作业数据以确定为用于显示的施工作业数据。
可选的，施工任务信息中可以包括有目标用户对应的施工任务的任务描述信息，其可以为文本信息，从而计算施工作业数据与施工任务信息的任务匹配度的具体方式可以为计算两者之间的文本相似度，例如文本向量距离，这一计算也可以通过训练好的神经网络模型来执行，例如，可以获取多个任务匹配度已知的施工作业数据-施工任务信息训练数据对，以对神经网络模型进行训练，后续可以将要计算的施工作业数据与施工任务信息输入至训练好的神经网络模型，即可直接输出两者之间的匹配度。
可选的，也可以根据任务匹配度由高到低对多个施工作业数据进行排序以得到数据序列，并将数据序列中前预设数量位的施工作业数据，确定为用于显示的施工作业数据。
可见，通过该可选的实施方式，可以通过计算每一施工作业数据与施工任务信息的任务匹配度，从多个施工作业数据中筛选出用于显示的施工作业数据，以便于进行更相关的施工作业数据的展示，便于为用户提供效果更好的施工辅助服务。
作为一个可选的实施方式，获取模块201还用于获取由增强现实设备传输的施工完成图像信息，且该装置还包括：
验收模块，用于根据施工完成图像信息，以及图像识别算法，确定目标用户对应的施工任务完成情况。
可选的，可以由目标用户在完成施工任务后通过增强现实设备获取当前施工对象的施工完成图像信息并传输，该施工完成图像信息可以包括施工对象的整体图像信息或部分细节图像信息。
可选的，可以根据图像模板匹配算法，将该施工完成图像信息与该施工对象对应的多个对应于不同完成情况的完成图像模板进行匹配度计算，并将匹配度最高的完成图像模板对应的完成情况，确认为目标用户对应的施工任务完成情况。例如，在上述具体实施场景中，施工任务为井盖修补任务，则施工对象为井盖，目标用户也即作业人员在完成任务后拍摄井盖的正面图像并传输，根据井盖的正面图像和井盖的多个完成图像模板(如破损图像模板、裂痕图像模板和完整图像模板)进行匹配，以确认作业人员的井盖修补任务的完成情况，例如在计算出匹配度最高的完成图像模板为完整图像模板时，确认作业人员的井盖修补任务顺利完成或完成度为100％。
可见，通过该可选的实施方式，能够根据施工完成图像信息，以及图像识别算法，确定目标用户对应的施工任务完成情况，以实现对施工任务的智能验收，从而为用户提供效果更好的施工辅助服务。
实施例三
请参阅图3，图3是本发明实施例公开的另一种基于增强现实的施工作业装置。如图3所示，该基于增强现实的施工作业装置可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
其中，处理器302调用存储器301中存储的可执行程序代码，用于执行实施例一所描述的基于增强现实的施工作业方法的部分或全部步骤。
实施例四
请参阅图4，图4是本发明实施例公开的又一种基于增强现实的施工作业装置。如图4所示，该基于增强现实的施工作业装置可以包括：
由目标用户携带的增强现实设备401；
连接至增强现实设备401的云端服务器402；
其中，云端服务器402为数据处理设备，其用于执行实施例一所描述的基于增强现实的施工作业方法的部分或全部步骤。
实施例五
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的基于增强现实的施工作业方法的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的基于增强现实的施工作业方法的步骤。
上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera HardwareDescriptionLanguage)、Confluence、CUPL(Cornell University ProgrammingLanguage)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后应说明的是：本发明实施例公开的一种基于增强现实的施工作业方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (9)
1.一种基于增强现实的施工作业方法，其特征在于，所述方法包括：
获取由目标用户携带的增强现实设备获取的施工区域图像信息；
将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息；所述施工三维显示信息用于发送至所述增强现实设备进行显示；
获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息中的目标施工对象的选择指令；
从预设的施工作业数据库中确定出所述目标施工对象对应的施工作业数据；所述施工作业数据用于发送至所述增强现实设备进行显示；
所述将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息，包括：
将所述施工区域图像信息与多个预设的施工三维模型进行匹配，将匹配度最高的所述施工三维模型确定为目标施工三维模型；
将所述施工区域图像信息与所述目标施工三维模型中的多个三维场景进行匹配，根据匹配度最高的所述三维场景确定施工三维显示信息；
所述将所述施工区域图像信息与多个预设的施工三维模型进行匹配，包括：
对于任一所述施工三维模型，从多个随机生成的视点截取所述施工三维模型的多个第一视点影像；
计算所述施工区域图像信息与每一所述第一视点影像的第一图像相似度，并确定所述施工区域图像信息中的图像获取角度信息，所述图像获取角度信息为所述目标用户通过所述增强现实设备获取所述施工区域图像信息时的朝向角度；计算每一所述第一视点影像对应的视点与所述施工三维模型的视点角度，并计算每一所述第一视点影像对应的视点角度与所述图像获取角度信息之间的第一角度相似度，以及根据每一所述第一视点影像对应的第一角度相似度，确定每一所述第一视点影像对应的第一视点权重，每一所述第一视点影像对应的第一视点权重与该第一视点影像对应的角度相似度成正比，所有所述第一视点影像对应的第一视点权重之和为1；根据所有所述第一视点权重，计算所有所述第一视点影像对应的第一图像相似度的加权求和值，以得到所述施工区域图像信息与所述施工三维模型之间的相似度。
2.根据权利要求1所述的基于增强现实的施工作业方法，其特征在于，所述施工区域图像信息中包括多个施工对象图像；所述三维场景中包括有多个施工对象三维模型；所述根据匹配度最高的所述三维场景确定施工三维显示信息，包括：
对于所述施工区域图像信息中的任一所述施工对象图像，将该施工对象图像与匹配度最高的所述三维场景中的多个施工对象三维模型进行匹配，以得到该施工对象图像对应的施工对象三维模型；
将匹配度最高的所述三维场景和所有所述施工对象图像对应的施工对象三维模型，确定为施工三维显示信息。
3.根据权利要求2所述的基于增强现实的施工作业方法，其特征在于，所述将匹配度最高的所述三维场景和所有所述施工对象图像对应的施工对象三维模型，确定为施工三维显示信息，包括：
确定匹配度最高的所述三维场景对应的地理区域；
确定所述地理区域在预设的环境数据库中对应的环境数据；所述环境数据包括监控数据、统计数据、天气数据和交通数据中的至少一种；
将匹配度最高的所述三维场景、所述环境数据和所有所述施工对象图像对应的施工对象三维模型，确定为施工三维显示信息。
4.根据权利要求2所述的基于增强现实的施工作业方法，其特征在于，所述获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息中的目标施工对象的选择指令，包括：
获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息或所述施工三维显示信息的任一目标区域的选择指令；
响应于所述选择指令，将所述目标区域对应的施工对象三维模型发送至所述增强现实设备进行显示；
将所述目标区域对应的施工对象三维模型对应的所述施工对象，确定为目标施工对象。
5.根据权利要求1所述的基于增强现实的施工作业方法，其特征在于，所述施工作业数据包括施工作业引导数据、施工作业参数数据和施工作业任务数据中的至少一种；所述从预设的施工作业数据库中确定出所述目标施工对象对应的施工作业数据，包括：
从预设的施工作业数据库中确定出所述目标施工对象对应的多个施工作业数据；
确定所述目标用户的施工任务信息；
计算每一所述施工作业数据与所述施工任务信息的任务匹配度，从所述多个施工作业数据中筛选出所述任务匹配度最高或高于预设匹配度阈值的施工作业数据以确定为用于显示的施工作业数据。
6.根据权利要求1所述的基于增强现实的施工作业方法，其特征在于，所述方法还包括：
获取由所述增强现实设备传输的施工完成图像信息；
根据所述施工完成图像信息，以及图像识别算法，确定所述目标用户对应的施工任务完成情况。
7.一种基于增强现实的施工作业装置，其特征在于，所述装置包括：
获取模块，用于获取由目标用户携带的增强现实设备获取的施工区域图像信息；
匹配模块，用于将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息；所述施工三维显示信息用于发送至所述增强现实设备进行显示；
选择模块，用于获取所述目标用户通过所述增强现实设备触发的针对所述施工区域图像信息中的目标施工对象的选择指令；
确定模块，用于从预设的施工作业数据库中确定出所述目标施工对象对应的施工作业数据；所述施工作业数据用于发送至所述增强现实设备进行显示；
所述匹配模块将所述施工区域图像信息与预设的施工模型数据库进行匹配，以确定所述施工区域图像信息对应的施工三维显示信息的具体方式包括：
将所述施工区域图像信息与多个预设的施工三维模型进行匹配，将匹配度最高的所述施工三维模型确定为目标施工三维模型；
将所述施工区域图像信息与所述目标施工三维模型中的多个三维场景进行匹配，根据匹配度最高的所述三维场景确定施工三维显示信息；
所述匹配模块将所述施工区域图像信息与多个预设的施工三维模型进行匹配的具体方式包括：
对于任一所述施工三维模型，从多个随机生成的视点截取所述施工三维模型的多个第一视点影像；
计算所述施工区域图像信息与每一所述第一视点影像的第一图像相似度，并确定所述施工区域图像信息中的图像获取角度信息，所述图像获取角度信息为所述目标用户通过所述增强现实设备获取所述施工区域图像信息时的朝向角度；计算每一所述第一视点影像对应的视点与所述施工三维模型的视点角度，并计算每一所述第一视点影像对应的视点角度与所述图像获取角度信息之间的第一角度相似度，以及根据每一所述第一视点影像对应的第一角度相似度，确定每一所述第一视点影像对应的第一视点权重，每一所述第一视点影像对应的第一视点权重与该第一视点影像对应的角度相似度成正比，所有所述第一视点影像对应的第一视点权重之和为1；根据所有所述第一视点权重，计算所有所述第一视点影像对应的第一图像相似度的加权求和值，以得到所述施工区域图像信息与所述施工三维模型之间的相似度。
8.一种基于增强现实的施工作业装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-6任一项所述的基于增强现实的施工作业方法。
9.一种基于增强现实的施工作业装置，其特征在于，所述装置包括：
由目标用户携带的增强现实设备；
连接至所述增强现实设备的数据处理设备；
所述数据处理设备用于执行如权利要求1-6任一项所述的基于增强现实的施工作业方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210069754.7A CN114510173B (zh) | 2022-01-21 | 2022-01-21 | 基于增强现实的施工作业方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210069754.7A CN114510173B (zh) | 2022-01-21 | 2022-01-21 | 基于增强现实的施工作业方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114510173A CN114510173A (zh) | 2022-05-17 |
| CN114510173B true CN114510173B (zh) | 2024-07-09 |
Family
ID=81550134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210069754.7A Active CN114510173B (zh) | 2022-01-21 | 2022-01-21 | 基于增强现实的施工作业方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114510173B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115174662A (zh) * | 2022-08-21 | 2022-10-11 | 中兴软件技术(南昌)有限公司 | 基于增强现实的监管数据显示方法及显示系统 |
| CN116894930B (zh) * | 2023-09-11 | 2023-12-01 | 南京禹步信息科技有限公司 | 基于ai+ar的数字作业指导系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109427102A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的教程演示方法和装置 |
| CN113283347A (zh) * | 2021-05-28 | 2021-08-20 | 中德（珠海）人工智能研究院有限公司 | 装配作业指导方法、装置、系统、服务器及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840947B (zh) * | 2017-11-28 | 2023-05-09 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
| CN112632666B (zh) * | 2020-12-18 | 2022-12-23 | 中国电子科技集团公司第二十研究所 | 一种基于虚拟现实技术的室内装修设计系统及实现方法 |
-
2022
- 2022-01-21 CN CN202210069754.7A patent/CN114510173B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109427102A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的教程演示方法和装置 |
| CN113283347A (zh) * | 2021-05-28 | 2021-08-20 | 中德（珠海）人工智能研究院有限公司 | 装配作业指导方法、装置、系统、服务器及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114510173A (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI713995B (zh) | 車輛定損的交互處理方法、裝置、設備、以及客戶端裝置和電子設備 | |
| Xu et al. | Multi-level fusion based 3d object detection from monocular images | |
| CN113179368B (zh) | 一种车辆定损的数据处理方法、装置、处理设备及客户端 | |
| TWI704527B (zh) | 車輛損傷識別的處理方法、處理裝置、處理設備、客戶端裝置及處理系統 | |
| CN114510173B (zh) | 基于增强现实的施工作业方法及装置 | |
| CN110245552B (zh) | 车损图像拍摄的交互处理方法、装置、设备及客户端 | |
| EP4009231A1 (en) | Video frame information labeling method, device and apparatus, and storage medium | |
| TWI715932B (zh) | 車輛損傷識別的處理方法及其處理裝置、車輛定損的資料處理設備、定損處理系統、客戶端及伺服器 | |
| EP3951741B1 (en) | Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform | |
| JP2022507399A (ja) | ロボット画像強調方法及び装置、プロセッサ、機器、媒体及びプログラム | |
| CN112462937B (zh) | 虚拟现实设备的局部透视方法、装置及虚拟现实设备 | |
| Kowalski et al. | Holoface: Augmenting human-to-human interactions on hololens | |
| CN110910628A (zh) | 车损图像拍摄的交互处理方法、装置、电子设备 | |
| US11273342B2 (en) | Viewer feedback based motion video playback | |
| CN108027647B (zh) | 用于与虚拟对象交互的方法和设备 | |
| CN111414818A (zh) | 一种基于环境图像的定位方法及装置 | |
| CN115482588A (zh) | 一种预测三维模型的姿态的方法及电子设备 | |
| CN114155417B (zh) | 图像目标的识别方法、装置、电子设备及计算机存储介质 | |
| CN113282167B (zh) | 头戴式显示设备的交互方法、装置及头戴式显示设备 | |
| CN117011156A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110263743B (zh) | 用于识别图像的方法和装置 | |
| CN117726907B (zh) | 一种建模模型的训练方法、三维人体建模的方法以及装置 | |
| CN116030168B (zh) | 中间帧的生成方法、装置、设备及存储介质 | |
| CN117576245B (zh) | 一种图像的风格转换方法、装置、电子设备及存储介质 | |
| CN103841331A (zh) | 一种可自定义拍照内容的电子设备及自动跟踪拍照方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |