CN114018237A - 一种基于数字孪生的井场定位方法和装置 - Google Patents
一种基于数字孪生的井场定位方法和装置 Download PDFInfo
- Publication number
- CN114018237A CN114018237A CN202111175249.2A CN202111175249A CN114018237A CN 114018237 A CN114018237 A CN 114018237A CN 202111175249 A CN202111175249 A CN 202111175249A CN 114018237 A CN114018237 A CN 114018237A
- Authority
- CN
- China
- Prior art keywords
- digital twin
- target
- positioning
- space
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000003068 static effect Effects 0.000 claims abstract description 196
- 230000009466 transformation Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 241001300198 Caperonia palustris Species 0.000 description 6
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于数字孪生的井场定位方法和装置,所述方法包括:用于基于井场中的静态实体在真实空间的高精度定位信息和图像信息中的至少一种,确定所述静态实体在真实空间的位置与所述静态实体的数字孪生模型在数字孪生空间的位置的对应关系的静态定位步骤。该方法和装置可以建立井场相关物理实体在真实空间的位置与其数字孪生模型在数字孪生空间的位置的准确对应关系。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种基于数字孪生的井场定位方法和装置。
背景技术
数字孪生(Digital Twin,DT)技术,是指利用现代信息技术,充分挖掘大数据资源,构建数字虚拟实体作为物理实体的“镜像”,从而帮助人们更好的对物理实体进行管控的技术。钻井采油的工作场地或矿井工作场地(以下统称为井场)存在严禁人员进入高危区域、非作业人员进入作业现场以及作业设备被临时移动等安全隐患,单纯靠人工消除或避开这些隐患存在不可控性,因此,将数字孪生技术引入井场以对井场作业进行指导,具有重要意义和广泛前景。
将数字孪生技术引入井场,面临的一大难题是建立井场物理实体(如作业人员、作业车辆和其他作业设备等)在真实空间的位置与其数字孪生模型在数字孪生空间的位置的准确对应关系,然而,目前的定位手段均不理想,亟需提供更为理想的定位方案。
发明内容
本申请实施例提供一种基于数字孪生的井场定位方法和装置,以建立井场物理实体在真实空间的位置与其数字孪生模型在数字孪生空间的位置的准确对应关系。
第一方面,本申请实施例提供一种基于数字孪生的井场定位方法,包括:
用于基于井场中的静态实体在真实空间的高精度定位信息和图像信息中的至少一种,确定所述静态实体在真实空间的位置与所述静态实体的数字孪生模型在数字孪生空间的位置的对应关系的静态定位步骤。
第二方面,本申请实施例还提供一种基于数字孪生的井场定位装置,包括:
静态定位模块,用于基于井场中的静态实体在真实空间的高精度定位信息和图像信息中的至少一种,确定所述静态实体在真实空间的位置与所述静态实体的数字孪生模型在数字孪生空间的位置的对应关系。
第四方面,本申请实施例还提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
本申请实施例采用的上述至少一个技术方案,在进行静态实体及其数字孪生模型的定位时采用了高精度定位装置和摄像头中的至少一种,因此,能够建立井场物理实体在真实空间的位置与其数字孪生模型在数字孪生空间的位置的准确对应关系。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例提供的一种基于数字孪生的井场定位方法的技术构思示意图。
图2是本申请一个实施例提供的一种基于数字孪生的井场定位方法的流程示意图。
图3是本申请一实施例提供的静态定位步骤的原理示意图之一。
图4是本申请一实施例提供的静态定位步骤的原理示意图之二。
图5是本申请一实施例提供的静态定位步骤的原理示意图之三。
图6是本申请另一实施例提供的一种基于数字孪生的井场定位方法的流程示意图。
图7是本申请一实施例提供的动态定位步骤的详细流程示意图。
图8是本申请另一实施例提供的动态定位步骤的详细流程示意图。
图9是本申请另一实施例提供的一种基于数字孪生的井场定位方法的流程示意图。
图10是本申请另一实施例提供的一种基于数字孪生的井场定位方法的流程示意图。
图11是本申请一实施例提供的一种基于数字孪生的井场定位装置的结构示意图。
图12是本申请另一实施例提供的一种基于数字孪生的井场定位装置的结构示意图。
图13是本申请另一实施例提供的一种基于数字孪生的井场定位装置的结构示意图。
图14是本申请另一实施例提供的一种基于数字孪生的井场定位装置的结构示意图。
图15是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了建立井场物理实体在真实空间的位置与其数字孪生模型在数字孪生空间的位置的准确对应关系,本申请实施例提供了一种基于数字孪生的井场定位方法和装置,该方法可由电子设备执行,或者,该方法可由安装在电子设备中的软件执行。其中,所述电子设备包括但不限于:智能手机、个人电脑(personal computer,PC)、笔记本电脑、平板电脑、电子阅读器、可穿戴设备等智能终端设备中的任一种。
首先,由于本申请实施例提供的一种基于数字孪生的井场定位方案,借助了高精度定位装置采集的位置数据和摄像头采集的图像数据中的至少一种,因此,需要在井场的相应位置安装高精度定位装置和摄像头,例如,为了获得井场的鸟瞰图,当井场的形状为矩形时,可在井场的四个顶角各安装一个摄像头。需要说明的是,高精度定位装置和摄像头的安装位置和数量将在下面的具体定位方案中具体说明,此处暂不赘述。需要说明的是,本申请实施例中述及的高精度定位装置的定位精度可以在米级或厘米级。
其次,本申请实施例提供的井场定位方案是基于数字孪生技术的,因此,在实施本申请实施例提供的一种基于数字孪生技术的井场定位方案前,还需要构建井场中的相应物理实体的数字孪生模型,该物理实体可以包括静态实体,也可以包括动态实体,相应的,静态实体的数字孪生模型可称为静态模型,动态实体的数字孪生模型可称为动态模型。其中,静态实体是指井场作业中保持静态的设备,如停止的压裂车、管汇撬、储沙罐、储液罐等设备,动态实体是指井场作业过程中不定时移动的人及车辆等。物理实体的数字孪生模型是指物理实体的三维模型,物理实体与其数字孪生模型的尺寸比可以是1:1,当然也可以是其他比例。
再次,由于本申请实施例提供的一种基于数字孪生的井场定位方案涉及两个定位空间:真实空间和数字孪生空间,因此,会涉及到两个定位空间之间的坐标转换,为了便于说明,在本申请实施例中,两个定位空间均采用笛卡尔坐标系进行坐标表示(当然也可以采用其他坐标系),且采用笛卡尔坐标系以后,可将地面作为xy平面,竖直于地面的轴作为z轴。确定好坐标系之后,可以计算出二者之间的坐标变换矩阵(也称为空间变换关系式),确定坐标变换矩阵的方式属于现有技术,此处不做详细说明。
下面结合图1对本申请实施例提供的一种基于数字孪生的井场定位方案的技术构思进行说明。
如图1所示,本申请实施例,旨在建立静态实体和动态实体中的至少一个在真实空间的位置与其数字孪生模型16在数字孪生空间的位置的准确对应关系,其中,对于静态实体,有两种方式,一种是先确定真实空间中的静态实体布局10,然后,在数字孪生空间进行静态实体的数字孪生模型定位11,另一种则是反过来的,具体是先在数字孪生空间确定静态实体的数字孪生模型布局12,然后,在真实空间进行静态实体定位13;对于动态实体定位15,下文将结合图2详细说明,暂不赘述。其中,静态实体布局10是指静态实体在真实空间的布局,静态实体的数字孪生模型布局12是指静态实体的数字孪生模型在数字孪生空间的布局,静态实体定位10是指静态实体在真实空间的定位,静态实体的数字孪生模型定位11是指静态实体的数字孪生模型在数字孪生空间的定位。
可选地,在得到静态实体和动态实体中的至少一个的定位之后,可以基于他们的数字孪生模型16进行决策、判断、虚拟仿真等17,并据此对井场实际作业进行指导18。
下面对本申请实施例提供的一种基于数字孪生的井场定位方法进行详细的说明。
如图2所示,本申请一实施例提供的一种基于数字孪生的井场定位方法,可包括:
步骤201、用于基于井场中的静态实体在真实空间的高精度定位信息和图像信息中的至少一种,确定所述静态实体在真实空间的位置与所述静态实体的数字孪生模型在数字孪生空间的位置的对应关系的静态定位步骤。
静态定位步骤的具体实现方式有很多种,下面介绍三种。
第一种实现方式(均匀间隔旋转定位法)
如图1所示,第一种实施方式先确定静态实体布局10,后基于静态实体布局10进行静态实体的数字孪生模型定位11。
在所述第一种实现方式中,上述静态定位步骤可包括:通过高精度定位装置确定目标静态实体上的两个位置点在所述真实空间的坐标值,其中,所述目标静态实体是所述井场中的任一静态实体;基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,分别对所述目标静态实体上的两个位置点在所述真实空间的坐标值进行坐标转换,得到所述目标静态实体上的两个位置点在所述数字孪生空间的标准坐标值;将所述目标静态实体上的两个位置点在所述数字孪生空间的标准坐标值对应的位置点,确定为所述目标静态实体上的两个位置点在所述数字孪生空间的两个定位标准点。
可以理解,通过高精度定位装置可以准确捕捉目标静态实体上的两个位置点的坐标,将其通过真实空间和数字孪生空间之间的坐标变换矩阵进行转换,可得到目标静态实体的数字孪生模型(目标数字孪生模型)在数字孪生空间的准确坐标,从而可以准确建立二者之间的对应关系。
进一步地,由于仅通过坐标转换确定所述目标静态实体上的两个位置点在所述数字孪生空间的两个定位标准点可能有误差,因此,可以将所述目标静态实体上的两个位置点分别记为第一位置点和第二位置点,所述目标静态实体上的两个位置点在所述数字孪生空间的两个定位标准点对应记为第一标准定位点和第二标准定位点,且步骤200还可以包括:在所述数字孪生空间中,将目标数字孪生模型上的所述第一位置点放置在所述第一标准定位点,得到所述目标数字孪生模型在所述数字孪生空间的第一定位点,并确定所述第一标准定位点和所述第二标准定位点相对于地面的角度差,其中,所述目标数字孪生模型为所述目标静态实体的数字孪生模型;以所述第一定位点为旋转中心,以笛卡尔坐标系中的Z轴为旋转轴,以所述角度差为起始角度,以预设旋转步长,将所述目标数字孪生模型顺时针和/或逆时针旋转N次,每旋转一次,确定所述目标数字孪生模型上的所述第二位置点与所述第二标准定位点之间的距离,得到N个距离;将所述N个距离中最小距离对应的所述目标数字孪生模型上的所述第二位置点所在位置,确定为所述目标数字孪生模型在所述数字孪生空间的第二定位点。
其中,所述角度差可以用θ1表示,预设旋转步长可以是一个较小的角度,例如小于5°的角度,具体可以是1°、2°或3°,旋转次数N可以根据最大旋转度数确定,假如最大旋转度数为5°,预设旋转步长为1°,且仅进行顺时针或顺时针旋转,那么旋转次数N为5。
其中,每旋转一次,可根据L1范数计算所述目标数字孪生模型上的所述第二位置点与所述第二标准定位点之间的距离,计算公式如下:
|Dist|1=|xm-xr|+|ym-yr|
其中,(xm,ym)为所述目标数字孪生模型上的所述第二位置点在数字孪生空间的坐标,(xr,yr)为所述第二标准定位点在数字孪生空间的坐标。
还可以理解,通过上述均匀间隔旋转的方式,找到的目标数字孪生模型上的第二位置点在数字孪生空间的坐标更准确,从而能更准确地建立目标静态实体在真实空间与目标数字孪生模型在数字孪生空间的位置对应关系。
第二种实现方式(均匀间隔旋转定位法)
第二种实现方式与第一种实现方式类似,但是操作方式相反。如图2所示,第二种实施方式先确定静态实体的数字孪生模型布局12,然后基于静态实体的数字孪生模型布局11进行静态实体定位13。
在所述第二种实现方式中,静态定位步骤可包括:确定目标数字孪生模型上的两个位置点在所述数字孪生空间的坐标值,其中,所述目标数字孪生模型为所述井场中的目标静态实体的数字孪生模型,所述目标静态实体是所述井场中的任一静态实体;基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,分别对所述目标数字孪生模型上的两个位置点在所述数字孪生空间的坐标值进行坐标转换,得到所述目标数字孪生模型上的两个位置点在所述真实空间的标准坐标值;将所述目标数字孪生模型上的两个位置点在所述真实空间的标准坐标值对应的位置点,确定为所述目标数字孪生模型上的两个位置点在所述真实空间的两个定位标准点,并将两个高精度定位装置分别安装在所述两个标准定位点。
可以理解,先确定目标数字孪生模型上的两个位置点在数字孪生空间的坐标,然后通过坐标转换得到真实空间中目标静态实体上相应两个位置点的坐标,再将两个高精度定位装置安装在这两个位置,即可准确建立二者之间的对应关系。
进一步地,所述目标数字孪生模型上的两个位置点分别记为第一位置点和第二位置点,所述目标数字孪生模型上的两个位置点在所述真实空间的两个定位标准点对应记为第一标准定位点和第二标准定位点,步骤200还包括:在所述真实空间中,将目标静态实体上的所述第一位置点放置在所述第一标准定位点,得到所述目标静态实体在所述真实空间的第一定位点,并确定所述第一标准定位点和所述第二标准定位点相对于地面的角度差;以所述第一定位点为旋转中心,以笛卡尔坐标系中的Z轴为旋转轴,以所述角度差为起始角度,以预设旋转步长,将所述目标静态实体顺时针和/或逆时针旋转N次,每旋转一次,确定所述目标数字孪生模型上的所述第二位置点与所述第二标准定位点之间的距离,得到N个距离;将所述N个距离中最小距离对应的所述目标静态实体上的所述第二位置点所在位置,确定为所述目标静态实体在所述真实空间的第二定位点。
其中,所述角度差可以用θ1表示,预设旋转步长可以是一个较小的角度,例如小于5°的角度,具体可以是1°、2°或3°,旋转次数N可以根据最大旋转度数确定,假如最大旋转度数为5°,预设旋转步长为1°,且仅进行顺时针或顺时针旋转,那么旋转次数N为5,每旋转一次,也可以根据L1范数计算所述目标静态实体上的所述第二位置点与所述第二标准定位点之间的距离。
还可以理解,通过上述均匀间隔旋转的方式,找到的目标数字孪生模型上的第二位置点在真实空间的坐标更准确,从而能更准确地建立目标静态实体在真实空间与目标数字孪生模型在数字孪生空间的位置对应关系。
需要说明的是,在上述第二种实现方式中,真实空间的两个位置点的坐标允许存在误差,真实空间两个位置点的标准值与测量值满足如下条件即可:
|Dist|=|xm1-xr1|+|ym1-yr1|+|xm2-xr2|+|ym2-yr2|≤0.2m
其中,(xm1,ym1)、(xm2,ym2)分别为真实空间中的第一位置点的坐标和第二位置点的坐标,(xr1,yr1)、(xr2,yr2)分别为真实空间中的第一标准定位点的坐标和第二标准定位点的坐标。
第三种实现方式(图像模版匹配位法)
上述静态定位步骤可包括:在所述真实空间的预设位置和预设方向拍摄目标静态实体的图像,其中,所述目标静态实体是所述井场中的任一静态实体;基于所述目标静态实体的图像确定所述目标静态实体的轮廓,并基于所述目标静态实体的轮廓构建第一图像匹配模版;在所述数字孪生空间,以所述预设位置和所述预设方向为视野原点,对目标数字孪生模型的位置和角度进行多次调整,每调整一次,截取所述目标数字孪生模型的一张图像,得到多个第二图像匹配模版,其中,所述目标数字孪生模型为所述目标静态实体的数字孪生模型;基于预设图像模版匹配算法,分别确定所述第一图像匹配模版与所述多个第二图像匹配模版的匹配度,得到多个匹配度;将所述多个匹配度中最大匹配度对应的所述目标数字孪生模型所在的位置和角度,确定为所述目标数字孪生模型在所述数字孪生空间的位置和角度。
具体实现时,将拍摄得到的真实图像中的目标静态设备与地面的一个交点所在的位置变换到数字孪生空间作为栅格原点,以栅格原点为中心,沿数字孪生空间的x轴、y轴在数字孪生空间地面上绘制网格线,设定相邻网格线之间的距离单位长度以及网格线数量,对目标数字孪生模型的位置和角度进行多次调整。例如,如图3和图4所示,对于真实图像中的目标静态设备,选择附图标记31所指的交点,并将其变换到数字孪生空间作为栅格原点32,然后以0.02m为相邻网格线之间的距离单位长度,绘制数量为15*15的网格线。
在上述基础上,首先进行角度匹配:对数字孪生空间中的目标数字孪生模型进行角度旋转,以数字孪生空间中的栅格原点32为旋转原点,Z轴为旋转轴,以指定角度(如10度)为步长,不断旋转截图后识别目标静态设备(图5示出了将目标数字孪生模型旋转至某一角度的示意图)的轮廓得到多个第二图像匹配模版,计算第一图像匹配模版与这多个第二图像匹配模版的匹配度得到多个匹配度,确定这多个匹配度中匹配度最高的角度作为目标静态设备的定位角度;然后进行位置匹配:确定目标静态设备与地面的交点31对应到目标数字孪生模型上的位置点,将该位置点作为目标数字孪生模型移动参考点,将该移动参考点不断放置在不同的网格点上,然后截图得到多个第二图像匹配模版,分别计算第一图像匹配模版与这多个第二图像匹配模版的匹配度,将匹配度最高时目标静态设备的中心点作为定位位置点,最后,基于匹配度最高的定位角度和匹配度最高的定位位置点确定目标数字孪生模型在数字孪生空间的最终位置,完成目标静态设备的定位。
上述第三种实现方式,也能准确建立目标静态实体在真实空间的位置与目标数字孪生模型在数字孪生空间的位置的对应关系。
在对静态实体及其对应的静态模型定位中,还存在一种情况,即对真实空间中的二维区域及其数字孪生模型的定位,也即静态实体包括禁入区域,此时,上述静态定位步骤可包括:基于高精度定位装置确定所述禁入区域(具体可以是禁入区域的几个顶点)在真实空间的坐标;基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,对所述禁入区域在真实空间的坐标进行转换,得到所述禁入区域在数字孪生空间的坐标;基于所述禁入区域在数字孪生空间的坐标,在所述数字孪生空间确定所述禁入区域。通过此过程,可对应在数字孪生空间标出禁入区域。
本申请实施例提供的一种基于数字孪生的井场定位方法,在进行静态实体及其数字孪生模型的定位时,由于引入了高精度定位装置和摄像头中的至少一种采集静态实体的位置数据,因此能捕获静态实体在真实空间的准确位置,进而经过转换之后,能够建立静态实体在真实空间的位置与其数字孪生模型在数字孪生空间的位置的准确对应关系。
可选地,如图6所示,本申请另一实施例提供的一种基于数字孪生的井场定位方法,还可以包括:
步骤202、用于基于所述井场中的作业人员在真实空间的高精度定位信息,确定所述井场中的动态实体在真实空间的位置与所述动态实体的数字孪生模型在数字孪生空间的位置的对应关系的动态定位步骤。
其中,所述动态实体包括作业车辆和所述作业人员中的至少一种。
作为一个例子,如图7所示,上述动态定位步骤具体可包括:
步骤701、基于井场中的作业人员携带的高精度定位装置,获取所述作业人员在真实空间的高精度定位信息。
其中,所述井场的数字孪生空间还可包括所述井场中的静态实体的数字孪生模型,且所述静态实体的数字孪生模型在所述数字孪生空间的位置与所述静态实体在真实空间的位置相对应。
步骤702、基于所述作业人员在真实空间的高精度定位信息,确定所述作业人员在真实空间的位置,并对所述作业人员在真实空间的位置进行空间转换,得到所述作业人员在所述数字孪生空间的位置。
井场中的作业人员携带高精度定位装置时,高精度定位装置所确定的位置坐标即作业人员在真实空间的坐标,然后基于上文所述的真实空间和数字孪生空间之间的坐标变换矩阵,对作业人员在真实空间的坐标进行转换,即可得到作业人员在数字孪生空间的坐标值。
步骤703、当所述作业人员携带的高精度定位装置被设置为人车绑定定位模式时,在所述数字孪生空间中,确定以所述作业人员为中心的预设距离范围内是否存在第一作业车辆的数字孪生模型,若存在,在所述数字孪生空间将所述作业人员和所述第一作业车辆的数字孪生模型进行绑定。
其中,预设距离用于确定作业人员是否在作业车辆上,一般是根据作业车辆上乘员座位距作业车辆外缘的距离确定的,例如预设距离可以是2m。
如果根据预设距离确定作业人员在第一作业车辆上,那么可以将所述作业人员和所述第一作业车辆的数字孪生模型进行绑定,绑定后,所述作业人员和所述第一作业车辆的数字孪生模型在所述数字孪生空间同步运动,二者可以看作一个整体。
可选地,若以所述作业人员为中心的预设距离范围内不存在第一作业车辆的数字孪生模型,则不在所述数字孪生空间将所述作业人员和所述第一作业车辆的数字孪生模型进行绑定,或者说不做处理。
可选地,以所述作业人员为中心的预设距离范围内不存在第一作业车辆的数字孪生模型可对应两种情况,一种是,在真实空间中,以所述作业人员为中心的预设距离范围内存在第一作业车辆,但数字孪生空间中缺少该第一作业车辆的数字孪生模型,针对此种情况,可先在数字孪生空间添加该第一作业车辆的数字孪生模型,然后再将所述作业人员与第一作业车辆的数字孪生模型进行绑定;另一种是,在真实空间中,以所述作业人员为中心的预设距离范围内确实不存在第一作业车辆,则不绑定,或不做处理。
可选地,如图8所示,在上述步骤703之后,动态定位步骤还可以包括:
步骤704、当所述作业人员携带的高精度定位装置被解除人车绑定定位模式时,将解除绑定时所述作业人员在所述数字孪生空间的位置和方向,分别确定为解除绑定后所述第一作业车辆在所述数字孪生空间的位置和方向。
在本实施例中,作业人员携带的高精度定位装置包括人员定位模式和人车绑定定位模式,这两种模式可以相互切换。当开启人车绑定定位模式且对作业人员和作业车辆进行绑定后,可将作业人员和作业车辆看作一体,二者同步运动,从而可将作业人员的位置看作是作业车辆的位置,取消绑定后,作业人员与作业车辆的运动不再同步,作业人员携带的高精度定位装置的定位模式切换为人员定位模式,作业车辆变为静态设备,作业车辆的位置为取消绑定时作业人员的位置,作业车辆的方向为取消绑定时的移动方向,通过该位置与方向可实现该静态设备的定位。
在实际应用中,作业前作业车辆一般由作业人员停放到指定位置,然后进行井场作业(如:压裂车),井场作业人员持有高精度定位装置通过人车绑定、解绑确定停车到作业的位置,临时移动时继续通过人车绑定、解绑确定车辆位置;对于井场的运输车,作业过程中从井场外驶入井场运输原材料,驾驶人员往往不是井场工作人员,临时配发高精度定位模块,通过人车绑定、解绑来确定车辆位置。
本申请实施例提供的一种基于数字孪生的井场定位方法,在进行作业人员定位时采用了高精度定位装置,且当作业人员携带的高精度定位装置被设置为人车绑定定位模式时,采用人车绑定的定位方式对目标动态车辆进行定位,当作业人员携带的高精度定位装置被切换为人员定位模式时,将解绑时的作业人员的位置确定为第一作业车辆的位置,将解绑时第一作业车辆的移动方向确定为目标车辆的方向,因此能捕获作业人员及作业车辆在真实空间的准确位置,进而经过转换之后,能够建立井场物理实体在真实空间的位置与其数字孪生模型在数字孪生空间的位置的准确对应关系。
可选地,如图9所示,本申请另一实施例提供的一种基于数字孪生的井场定位方法,还可以包括:
步骤203、用于基于目标识别模型和所述井场的图像,识别所述井场中的所述动态实体的视觉辅助识别步骤。
在此实施例中,目标识别模型是基于包含作业人员和作业车辆的样本图像训练得到的,利用该目标识别模型不但可以识别井场中的作业车辆,还可以识别井场中的作业人员。目标识别模型可以是基于目标识别算法(可以使用yolo v5、SSD等)训练得到,目标识别算法可以包括但不限于yolo v5、SSD(Single Shot MultiBox Detector)等,可先使用已有的数据集(如COCO数据集、VOC数据集)获得预训练权重模型,然后采集井场作业现场的作业人员和作业车辆的相关图像进行训练,得到能够识别作业人员和作业车辆的目标识别模型。
在第一个例子中,上述视觉辅助识别步骤具体可包括:基于所述目标识别模型和所述井场的图像,识别所述井场中的作业人员信息,并记为第一作业人员信息,其中,所述作业人员信息包括作业人员数量和作业人员位置;基于所述井场中的作业人员携带的高精度定位装置,确定所述井场中的作业人员信息,并记为第二作业人员信息;确定所述第一作业人员信息与所述第二作业人员信息是否一致;如不一致,进行作业人员异常报警。
可以理解,当利用摄像头采集的图像识别出的作业人员数量,与基于作业人员携带的高精度定位装置确定出的作业人员数量不一致时(一般一名作业人员携带一套高精度定位装置),说明可能存在非工作人员进入井场的情况,存在安全隐含,需要提醒工作人员去查看确认;当利用摄像头采集的图像识别出的作业人员位置,与基于作业人员携带的高精度定位装置确定出的作业人员位置不一致时(一般一名作业人员携带一套高精度定位装置),说明可能存在工作人员私自关闭自身携带的高精度定位装置的情况,或存在未佩戴高精度定位装置的无关人员进入井场的情况,存在安全隐患,也需要告警查看。
在第二个例子中,所述视觉辅助识别步骤具体可包括:基于所述目标识别模型和所述井场的图像,识别所述井场中的作业车辆信息,其中,所述作业车辆信息包括作业车辆数量和作业车辆位置;确定所述数字孪生空间中的作业车辆信息,与基于所述目标识别模型和所述图像识别出的作业车辆信息是否一致;若不一致,则进行作业车辆异常报警。
可以理解,当利用摄像头采集的图像识别出的作业车辆数量和位置中的至少一个,与基于作业人员携带的高精度定位装置确定出的结果不一致时,说明可能存在无关车辆驶入井场的情况,具有安全隐患,需要告警以防止并没有临时配发高精度定位模块的无关人员驾驶车辆进入井场,等等。
在第三个例子中,所述视觉辅助识别步骤还可包括:当基于所述目标识别模型和所述图像识别出第一作业车辆时,基于所述目标识别模型和所述图像识别所述第一作业车辆的标识,其中,所述第一作业车辆是所述数字孪生中不存在数字孪生模型的作业车辆;将所述标识对应的车辆模型,作为所述第一作业车辆的数字孪生模型添加至所述数字孪生空间;基于所述动态定位步骤,确定所述第一作业车辆在真实空间的位置与所述第一作业车辆的数字孪生模型在数字孪生空间的位置的对应关系。
可选地,如图10所示,本申请另一实施例提供的一种基于数字孪生的井场定位方法,还可以包括:
步骤204、用于基于所述静态定位步骤的定位结果和所述动态定位步骤的定位结果中的至少一种进行井场作业指导的作业指导步骤。
本实施例旨在利用已完成定位的井场中的实体(包括静态实体和动态实体中的至少一种)在数字孪生空间的数字孪生模型进行相关的决策、判断、模拟仿真等,最终服务于井场的实际作业。
在第一个例子中,井场中的静态实体包括禁入区域,上述作业指导步骤具体可包括:确定目标模型在所述数字孪生空间的位置,与所述禁入区域在所述数字孪生空间的位置是否存在重叠,其中,所述目标模型包括作业人员和作业车辆的数字孪生模型中的至少一种;若为是,确定所述目标模型对应的实体进入禁入区域并进行告警,以提醒工作人员进行查看。
其中,目标模型在数字孪生空间的位置,可通过目标模型对应的实体在真实空间的位置转换而来,而目标模型对应的实体在真实空间的位置可通过高精度定位装置获得,也可通过图像预测获得(如拍摄图像,并利用上述目标识别模型识别得到)。
可选地,井场中的静态实体包括禁入区域,本申请提供的一种基于数字孪生的井场定位方法,还可以包括:用于对所述禁入区域进行监控的监控步骤。
其中,所述监控步骤具体可包括:利用多个摄像头对所述井场进行拍摄,得到所述井场的多张图像;对所述多张图像进行拼接,得到所述井场的鸟瞰图,并建立所述鸟瞰图中与所述真实空间的位置对应关系;在所述鸟瞰图中绘制出所述禁入区域;对所述真实空间中的所述禁入区域添加视频监控,确定所述动态实体是否进入所述井场的所述禁入区域,其中,所述目标实体包括作业人员和作业车辆中的至少一种;若进入,则针对所述鸟瞰图上的禁入区域进行告警,如在鸟瞰图上对所述禁入区域进行高亮显示,以提醒工作人员进行查看。
在第二个例子中,上述作业指导步骤具体可包括:获取所述第一作业车辆的规划行驶路径;响应于行驶路径规划请求,在所述数字孪生空间为第二作业车辆的规划行驶路径,其中,所述第二作业车辆为所述数字孪生空间的任一车辆;控制所述第二作业车辆在所述数字孪生空间按照所述规划行驶路径虚拟行驶;基于所述静态定位步骤的定位结果和所述动态定位步骤的定位结果,确定所述第二作业车辆的数字孪生模型是否碰到目标实体的数字孪生模型,其中,所述目标实体包括所述井场中除所述第二作业车辆外的任一实体;若未碰到,则指导所述第二作业车辆的驾驶员继续按照所述规划行驶路径行驶;若碰到,则对所述第二作业车辆的驾驶员发出安全提示。例如,当驾驶员驾驶运输车运输沙子和水等物料进入井场作业区域时,高精度定位装置设置为人车绑定定位模式,外来动态车辆的行驶路径可以提前在数字孪生空间进行路径规划,车辆的数字孪生模型在数字孪生空间进行虚拟行驶,在不碰到静态的数字孪生模型的情况下确定行驶路线,并指导司机按照行驶路线行驶,行驶过程中如果与实时更新的动态的数字孪生模型有发生碰撞的可能性,则存在安全隐患会进行安全提示。
在第三个例子中,上述作业指导步骤具体可包括:在所述数字孪生空间,进行所述静态实体的零部件装配作业模拟;基于装配作业模拟结果,指导维修人员对处于非作业状态下的所述静态实体进行装拆。例如,对数字孪生模型进行装拆作业模拟,一方面可以在维修时指导现场维修人员按照数字孪生模型中零部件的装拆过程逐步进行零部件的装拆作业,另一方面通过数字孪生模型装拆可以进行零部件的安装试错,实际安装过程中零部件之前可能会存在遮挡、干涉问题,使用数字孪生模型进行安装可以提前避免一些安装错误,通过数字孪生模型确定安装过程没有错误后再在实际设备上进行零部件的安装。
需要说明的是,基于静态定位步骤和动态定位步骤中的至少一个的定位结果,进行井场实际作业指导的例子可以有很多,并不局限于上述例子所列举的几种,此处不再穷举。
相应于上述方法实施例,本申请实施例还提供了一种基于数字孪生的井场定位装置,下面进行介绍。
如图11所示,本申请实施例提供的一种基于数字孪生的井场定位装1100,可以包括:静态定位模块1101。
静态定位模块1101,用于基于井场中的静态实体在真实空间的高精度定位信息和图像信息中的至少一种,确定所述静态实体在真实空间的位置与所述静态实体的数字孪生模型在数字孪生空间的位置的对应关系。
上述静态定位模块700所要实现的功能包括多种实现方式,下面介绍三种。
第一种实现方式(均匀间隔旋转定位法)
静态定位模块700可用于:通过高精度定位装置确定目标静态实体上的两个位置点在所述真实空间的坐标值,其中,所述目标静态实体是所述井场中的任一静态实体;基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,分别对所述目标静态实体上的两个位置点在所述真实空间的坐标值进行坐标转换,得到所述目标静态实体上的两个位置点在所述数字孪生空间的标准坐标值;将所述目标静态实体上的两个位置点在所述数字孪生空间的标准坐标值对应的位置点,确定为所述目标静态实体上的两个位置点在所述数字孪生空间的两个定位标准点。
进一步地,静态定位模块700还可用于:在所述数字孪生空间中,将目标数字孪生模型上的所述第一位置点放置在所述第一标准定位点,得到所述目标数字孪生模型在所述数字孪生空间的第一定位点,并确定所述第一标准定位点和所述第二标准定位点相对于地面的角度差,其中,所述目标数字孪生模型为所述目标静态实体的数字孪生模型;以所述第一定位点为旋转中心,以笛卡尔坐标系中的Z轴为旋转轴,以所述角度差为起始角度,以预设旋转步长,将所述目标数字孪生模型顺时针和/或逆时针旋转N次,每旋转一次,确定所述目标数字孪生模型上的所述第二位置点与所述第二标准定位点之间的距离,得到N个距离;将所述N个距离中最小距离对应的所述目标数字孪生模型上的所述第二位置点所在位置,确定为所述目标数字孪生模型在所述数字孪生空间的第二定位点。
第二种实现方式(均匀间隔旋转定位法)
静态定位模块700可用于:确定目标数字孪生模型上的两个位置点在所述数字孪生空间的坐标值,其中,所述目标数字孪生模型为所述井场中的目标静态实体的数字孪生模型,所述目标静态实体是所述井场中的任一静态实体;基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,分别对所述目标数字孪生模型上的两个位置点在所述数字孪生空间的坐标值进行坐标转换,得到所述目标数字孪生模型上的两个位置点在所述真实空间的标准坐标值;将所述目标数字孪生模型上的两个位置点在所述真实空间的标准坐标值对应的位置点,确定为所述目标数字孪生模型上的两个位置点在所述真实空间的两个定位标准点,并将两个高精度定位装置分别安装在所述两个标准定位点。
进一步地,静态定位模块700还可用于:在所述真实空间中,将目标静态实体上的所述第一位置点放置在所述第一标准定位点,得到所述目标静态实体在所述真实空间的第一定位点,并确定所述第一标准定位点和所述第二标准定位点相对于地面的角度差;以所述第一定位点为旋转中心,以笛卡尔坐标系中的Z轴为旋转轴,以所述角度差为起始角度,以预设旋转步长,将所述目标静态实体顺时针和/或逆时针旋转N次,每旋转一次,确定所述目标数字孪生模型上的所述第二位置点与所述第二标准定位点之间的距离,得到N个距离;将所述N个距离中最小距离对应的所述目标静态实体上的所述第二位置点所在位置,确定为所述目标静态实体在所述真实空间的第二定位点。
第三种实现方式(图像模版匹配位法)
静态定位模块700可用于:在所述真实空间的预设位置和预设方向拍摄目标静态实体的图像,其中,所述目标静态实体是所述井场中的任一静态实体;基于所述目标静态实体的图像确定所述目标静态实体的轮廓,并基于所述目标静态实体的轮廓构建第一图像匹配模版;在所述数字孪生空间,以所述预设位置和所述预设方向为视野原点,对目标数字孪生模型的位置和角度进行多次调整,每调整一次,截取所述目标数字孪生模型的一张图像,得到多个第二图像匹配模版,其中,所述目标数字孪生模型为所述目标静态实体的数字孪生模型;基于预设图像模版匹配算法,分别确定所述第一图像匹配模版与所述多个第二图像匹配模版的匹配度,得到多个匹配度;将所述多个匹配度中最大匹配度对应的所述目标数字孪生模型所在的位置和角度,分别确定为所述目标数字孪生模型在所述数字孪生空间的位置和角度。
可选地,静态定位模块700可用于:基于高精度定位装置确定所述禁入区域(具体可以是禁入区域的几个顶点)在真实空间的坐标;基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,对所述禁入区域在真实空间的坐标进行转换,得到所述禁入区域在数字孪生空间的坐标;基于所述禁入区域在数字孪生空间的坐标,在所述数字孪生空间确定所述禁入区域。通过此过程,可对应在数字孪生空间标出禁入区域。
本申请实施例提供的一种基于数字孪生的井场定位装置,能够实现图2所示的基于数字孪生的井场定位方法,并能取得相同的技术效果,详细内容请参见上文。
可选地,如图12所示,本申请实施例提供的一种基于数字孪生的井场定位装1100,还可以包括:动态定位模块1102。
动态定位模块1102,用于基于所述井场中的作业人员在真实空间的高精度定位信息,确定所述井场中的动态实体在真实空间的位置与所述动态实体的数字孪生模型在数字孪生空间的位置的对应关系。
其中,所述动态实体包括作业车辆和所述作业人员中的至少一种。
作为一个例子,上述动态定位模块具体可用于:基于井场中的作业人员携带的高精度定位装置,获取所述作业人员在真实空间的高精度定位信息;基于所述作业人员在真实空间的高精度定位信息,确定所述作业人员在真实空间的位置,并对所述作业人员在真实空间的位置进行空间转换,得到所述作业人员在所述数字孪生空间的位置;当所述作业人员携带的高精度定位装置被设置为人车绑定定位模式时,在所述数字孪生空间中,确定以所述作业人员为中心的预设距离范围内是否存在第一作业车辆的数字孪生模型,若存在,在所述数字孪生空间将所述作业人员和所述第一作业车辆的数字孪生模型进行绑定。
绑定后,所述作业人员和所述第一作业车辆的数字孪生模型在所述数字孪生空间同步运动,二者可以看作一个整体。
可选地,上述动态定位模块还可用于:当所述作业人员携带的高精度定位装置被解除人车绑定定位模式时,将解除绑定时所述作业人员在所述数字孪生空间的位置和方向,分别确定为解除绑定后所述第一作业车辆在所述数字孪生空间的位置和方向。
本申请实施例提供的一种基于数字孪生的井场定位装置,能够实现图6所示的基于数字孪生的井场定位方法,并能取得相同的技术效果,详细内容请参见上文。
可选地,如图13所示,本申请实施例提供的一种基于数字孪生的井场定位装1100,还可以包括:视觉辅助识别模块1103,用于基于目标识别模型和所述井场的图像,识别所述井场中的所述动态实体。
在第一个例子中,上述视觉辅助识别模块1103具体可用于:基于所述目标识别模型和所述井场的图像,识别所述井场中的作业人员信息,并记为第一作业人员信息,其中,所述作业人员信息包括作业人员数量和作业人员位置;基于所述井场中的作业人员携带的高精度定位装置,确定所述井场中的作业人员信息,并记为第二作业人员信息;确定所述第一作业人员信息与所述第二作业人员信息是否一致;如不一致,进行作业人员异常报警。
在第二个例子中,上述视觉辅助识别模块1103具体可用于:基于所述目标识别模型和所述井场的图像,识别所述井场中的作业车辆信息,其中,所述作业车辆信息包括作业车辆数量和作业车辆位置;确定所述数字孪生空间中的作业车辆信息,与基于所述目标识别模型和所述图像识别出的作业车辆信息是否一致;若不一致,则进行作业车辆异常报警。
在第三个例子中,上述视觉辅助识别模块1103具体可用于:当基于所述目标识别模型和所述图像识别出第一作业车辆时,基于所述目标识别模型和所述图像识别所述第一作业车辆的标识,其中,所述第一作业车辆是所述数字孪生中不存在数字孪生模型的作业车辆;将所述标识对应的车辆模型,作为所述第一作业车辆的数字孪生模型添加至所述数字孪生空间;基于所述动态定位步骤,确定所述第一作业车辆在真实空间的位置与所述第一作业车辆的数字孪生模型在数字孪生空间的位置的对应关系。
可选地,如图14所示,本申请实施例提供的一种基于数字孪生的井场定位装1100,还可以包括:作业指导模块1104,用于基于所述静态定位步骤的定位结果和所述动态定位步骤的定位结果中的至少一种进行井场作业指导。
在第一个例子中,井场中的静态实体包括禁入区域,上述作业指导模块1104具体可用于:确定目标模型在所述数字孪生空间的位置,与所述禁入区域在所述数字孪生空间的位置是否存在重叠,其中,所述目标模型包括作业人员和作业车辆的数字孪生模型中的至少一种;若为是,确定所述目标模型对应的实体进入禁入区域并进行告警,以提醒工作人员进行查看。
其中,目标模型在数字孪生空间的位置,可通过目标模型对应的实体在真实空间的位置转换而来,而目标模型对应的实体在真实空间的位置可通过高精度定位装置获得,也可通过图像预测获得(如拍摄图像,并利用上述目标识别模型识别得到)。
可选地,井场中的静态实体包括禁入区域,本申请提供的一种基于数字孪生的井场定位装置1100,还可以包括:监控模块,用于对所述禁入区域进行监控。
其中,所述监控模块具体可用于:利用多个摄像头对所述井场进行拍摄,得到所述井场的多张图像;对所述多张图像进行拼接,得到所述井场的鸟瞰图,并建立所述鸟瞰图中与所述真实空间的位置对应关系;在所述鸟瞰图中绘制出所述禁入区域;对所述真实空间中的所述禁入区域添加视频监控,确定所述动态实体是否进入所述井场的所述禁入区域,其中,所述目标实体包括作业人员和作业车辆中的至少一种;若进入,则针对所述鸟瞰图上的禁入区域进行告警,如在鸟瞰图上对所述禁入区域进行高亮显示,以提醒工作人员进行查看。
在第二个例子中,上述作业指导模块1104具体可用于:获取所述第一作业车辆的规划行驶路径;响应于行驶路径规划请求,在所述数字孪生空间为第二作业车辆的规划行驶路径,其中,所述第二作业车辆为所述数字孪生空间的任一车辆;控制所述第二作业车辆在所述数字孪生空间按照所述规划行驶路径虚拟行驶;基于所述静态定位步骤的定位结果和所述动态定位步骤的定位结果,确定所述第二作业车辆的数字孪生模型是否碰到目标实体的数字孪生模型,其中,所述目标实体包括所述井场中除所述第二作业车辆外的任一实体;若未碰到,则指导所述第二作业车辆的驾驶员继续按照所述规划行驶路径行驶;若碰到,则对所述第二作业车辆的驾驶员发出安全提示。
在第三个例子中,上述作业指导模块1104具体可用于:在所述数字孪生空间,进行所述静态实体的零部件装配作业模拟;基于装配作业模拟结果,指导维修人员对处于非作业状态下的所述静态实体进行装拆。
需要说明的是,基于静态定位模块和动态定位模块中的至少一个的定位结果,进行井场实际作业指导的例子可以有很多,并不局限于上述例子所列举的几种,此处不再穷举。
需要说明的是,由于装置实施例执行的内容与方法实施例类似,因此,本文对装置实施例部分描述的较为简略,相关之处请参见方法实施例部分。
图9示出了是本申请实施例提供的一种电子设备的结构示意图。请参考图9,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成基于数字孪生的井场定位装置。处理器,执行存储器所存放的程序,并具体用于执行本申请实施例提供的基于数字孪生的井场定位方法。
上述如本申请图7所示实施例揭示的基于数字孪生的井场定位装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图7所示实施例中基于数字孪生的井场定位装置执行的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,本申请中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (22)
1.一种基于数字孪生的井场定位方法,其特征在于,所述方法包括:
用于基于井场中的静态实体在真实空间的高精度定位信息和图像信息中的至少一种,确定所述静态实体在真实空间的位置与所述静态实体的数字孪生模型在数字孪生空间的位置的对应关系的静态定位步骤。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
用于基于所述井场中的作业人员在真实空间的高精度定位信息,确定所述井场中的动态实体在真实空间的位置与所述动态实体的数字孪生模型在数字孪生空间的位置的对应关系的动态定位步骤,其中,所述动态实体包括作业车辆和所述作业人员中的至少一种。
3.根据权利要求2所述的井场定位方法,其特征在于,所述方法还包括:
用于基于目标识别模型和所述井场的图像,识别所述井场中的所述动态实体的视觉辅助识别步骤。
4.根据权利要求2所述的井场定位方法,其特征在于,所述方法还包括:
用于基于所述静态定位步骤的定位结果和所述动态定位步骤的定位结果中的至少一种进行井场作业指导的作业指导步骤。
5.根据权利要求2所述的方法,其特征在于,所述动态定位步骤具体包括:
基于井场中的作业人员携带的高精度定位装置,获取所述作业人员在真实空间的高精度定位信息;
基于所述作业人员在真实空间的高精度定位信息,确定所述作业人员在真实空间的位置,并对所述作业人员在真实空间的位置进行空间转换,得到所述作业人员在所述数字孪生空间的位置;
当所述作业人员携带的高精度定位装置被设置为人车绑定定位模式时,在所述数字孪生空间中,确定以所述作业人员为中心的预设距离范围内是否存在第一作业车辆的数字孪生模型,若存在,在所述数字孪生空间将所述作业人员和所述第一作业车辆的数字孪生模型进行绑定,其中,绑定后,所述第一作业车辆的数字孪生模型在所述数字孪生空间的位置与所述作业人员在数字孪生空间的位置一致。
6.根据权利要求5所述的方法,其特征在于,所述动态定位步骤还包括:
当所述作业人员携带的高精度定位装置被解除人车绑定定位模式时,将解除绑定时所述作业人员在所述数字孪生空间的位置和方向,分别确定为解除绑定后所述第一作业车辆在所述数字孪生空间的位置和方向。
7.根据权利要求1所述的方法,其特征在于,所述静态定位步骤包括:
通过高精度定位装置确定目标静态实体上的两个位置点在所述真实空间的坐标值,其中,所述目标静态实体是所述井场中的任一静态实体;
基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,分别对所述目标静态实体上的两个位置点在所述真实空间的坐标值进行坐标转换,得到所述目标静态实体上的两个位置点在所述数字孪生空间的标准坐标值;
将所述目标静态实体上的两个位置点在所述数字孪生空间的标准坐标值对应的位置点,确定为所述目标静态实体上的两个位置点在所述数字孪生空间的两个定位标准点。
8.根据权利要求7所述的方法,其特征在于,所述目标静态实体上的两个位置点分别记为第一位置点和第二位置点,所述目标静态实体上的两个位置点在所述数字孪生空间的两个定位标准点对应记为第一标准定位点和第二标准定位点,其中,所述静态定位步骤还包括:
在所述数字孪生空间中,将目标数字孪生模型上的所述第一位置点放置在所述第一标准定位点,得到所述目标数字孪生模型在所述数字孪生空间的第一定位点,并确定所述第一标准定位点和所述第二标准定位点相对于地面的角度差,其中,所述目标数字孪生模型为所述目标静态实体的数字孪生模型;
以所述第一定位点为旋转中心,以笛卡尔坐标系中的Z轴为旋转轴,以所述角度差为起始角度,以预设旋转步长,将所述目标数字孪生模型顺时针和/或逆时针旋转N次,每旋转一次,确定所述目标数字孪生模型上的所述第二位置点与所述第二标准定位点之间的距离,得到N个距离;
将所述N个距离中最小距离对应的所述目标数字孪生模型上的所述第二位置点所在位置,确定为所述目标数字孪生模型在所述数字孪生空间的第二定位点。
9.根据权利要求1所述的方法,其特征在于,所述静态定位步骤包括:
确定目标数字孪生模型上的两个位置点在所述数字孪生空间的坐标值,其中,所述目标数字孪生模型为所述井场中的目标静态实体的数字孪生模型,所述目标静态实体是所述井场中的任一静态实体;
基于所述真实空间和所述数字孪生空间之间的坐标变换矩阵,分别对所述目标数字孪生模型上的两个位置点在所述数字孪生空间的坐标值进行坐标转换,得到所述目标数字孪生模型上的两个位置点在所述真实空间的标准坐标值;
将所述目标数字孪生模型上的两个位置点在所述真实空间的标准坐标值对应的位置点,确定为所述目标数字孪生模型上的两个位置点在所述真实空间的两个定位标准点,并将两个高精度定位装置分别安装在所述两个标准定位点。
10.根据权利要求9所述的方法,其特征在于,所述目标数字孪生模型上的两个位置点分别记为第一位置点和第二位置点,所述目标数字孪生模型上的两个位置点在所述真实空间的两个定位标准点对应记为第一标准定位点和第二标准定位点,其中,所述静态定位步骤还包括:
在所述真实空间中,将目标静态实体上的所述第一位置点放置在所述第一标准定位点,得到所述目标静态实体在所述真实空间的第一定位点,并确定所述第一标准定位点和所述第二标准定位点相对于地面的角度差;
以所述第一定位点为旋转中心,以笛卡尔坐标系中的Z轴为旋转轴,以所述角度差为起始角度,以预设旋转步长,将所述目标静态实体顺时针和/或逆时针旋转N次,每旋转一次,确定所述目标数字孪生模型上的所述第二位置点与所述第二标准定位点之间的距离,得到N个距离;
将所述N个距离中最小距离对应的所述目标静态实体上的所述第二位置点所在位置,确定为所述目标静态实体在所述真实空间的第二定位点。
11.根据权利要求1所述的方法,其特征在于,所述静态定位步骤包括:
通过摄像头在所述真实空间的预设位置和预设方向拍摄目标静态实体的图像,其中,所述目标静态实体是所述井场中的任一静态实体;
基于所述目标静态实体的图像确定所述目标静态实体的轮廓,并基于所述目标静态实体的轮廓构建第一图像匹配模版;
在所述数字孪生空间,以所述预设位置和所述预设方向为视野原点,对目标数字孪生模型的位置和角度进行多次调整,每调整一次,截取所述目标数字孪生模型的一张图像,得到多个第二图像匹配模版,其中,所述目标数字孪生模型为所述目标静态实体的数字孪生模型;
基于预设图像模版匹配算法,分别确定所述第一图像匹配模版与所述多个第二图像匹配模版的匹配度,得到多个匹配度;
将所述多个匹配度中最大匹配度对应的所述目标数字孪生模型所在的位置和角度,分别确定为所述目标数字孪生模型在所述数字孪生空间的位置和角度。
12.根据权利要求3所述的方法,其特征在于,所述视觉辅助识别步骤包括:
基于所述目标识别模型和所述井场的图像,识别所述井场中的作业人员信息,并记为第一作业人员信息,其中,所述作业人员信息包括作业人员数量和作业人员位置;
基于所述井场中的作业人员携带的高精度定位装置,确定所述井场中的作业人员信息,并记为第二作业人员信息;
确定所述第一作业人员信息与所述第二作业人员信息是否一致;
如不一致,进行作业人员异常报警。
13.根据权利要求3所述的方法,其特征在于,所述视觉辅助识别步骤包括:
基于所述目标识别模型和所述井场的图像,识别所述井场中的作业车辆信息,其中,所述作业车辆信息包括作业车辆数量和作业车辆位置;
确定所述数字孪生空间中的作业车辆信息,与基于所述目标识别模型和所述图像识别出的作业车辆信息是否一致;
若不一致,则进行作业车辆异常报警。
14.根据权利要求13所述的方法,其特征在于,所述视觉辅助识别步骤还包括:
当基于所述目标识别模型和所述图像识别出第一作业车辆时,基于所述目标识别模型和所述图像识别所述第一作业车辆的标识,其中,所述第一作业车辆是所述数字孪生中不存在数字孪生模型的作业车辆;
将所述标识对应的车辆模型,作为所述第一作业车辆的数字孪生模型添加至所述数字孪生空间;
基于所述动态定位步骤,确定所述第一作业车辆在真实空间的位置与所述第一作业车辆的数字孪生模型在数字孪生空间的位置的对应关系。
15.根据权利要求4所述的方法,其特征在于,所述静态实体包括禁入区域,所述作业指导步骤包括:
确定目标模型在所述数字孪生空间的位置,与所述禁入区域在所述数字孪生空间的位置是否存在重叠,其中,所述目标模型包括作业人员和作业车辆的数字孪生模型中的至少一种;
若为是,确定所述目标模型对应的实体进入禁入区域并进行告警。
16.根据权利要求4所述的方法,其特征在于,所述静态实体包括禁入区域,所述方法还包括:用于对所述禁入区域进行监控的监控步骤;
其中,所述监控步骤具体包括:
利用多个摄像头对所述井场进行拍摄,得到所述井场的多张图像;
对所述多张图像进行拼接,得到所述井场的鸟瞰图,并建立所述鸟瞰图与所述真实空间的位置对应关系;
在所述鸟瞰图中绘制出所述禁入区域;
对所述真实空间中的所述禁入区域添加视频监控,确定所述动态实体是否进入所述井场的所述禁入区域;
若进入,则针对所述鸟瞰图上的禁入区域进行告警。
17.根据权利要求4所述的方法,其特征在于,所述作业指导步骤包括:
响应于行驶路径规划请求,在所述数字孪生空间为第二作业车辆的规划行驶路径,其中,所述第二作业车辆为所述数字孪生空间的任一车辆;
控制所述第二作业车辆在所述数字孪生空间按照所述规划行驶路径虚拟行驶;
基于所述静态定位步骤的定位结果和所述动态定位步骤的定位结果,确定所述第二作业车辆的数字孪生模型是否碰到目标实体的数字孪生模型,其中,所述目标实体包括所述井场中除所述第二作业车辆外的任一实体;
若未碰到,则指导所述第二作业车辆的驾驶员继续按照所述规划行驶路径行驶;
若碰到,则对所述第二作业车辆的驾驶员发出安全提示。
18.根据权利要求4所述的方法,其特征在于,所述作业指导步骤包括:
在所述数字孪生空间,进行所述静态实体的零部件装配作业模拟;
基于装配作业模拟结果,指导维修人员对处于非作业状态下的所述静态实体进行装拆。
19.一种基于数字孪生的井场定位装置,其特征在于,所述装置包括:
静态定位模块,用于基于井场中的静态实体在真实空间的高精度定位信息和图像信息中的至少一种,确定所述静态实体在真实空间的位置与所述静态实体的数字孪生模型在数字孪生空间的位置的对应关系。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括:
动态定位模块,用于基于所述井场中的作业人员在真实空间的高精度定位信息,确定所述井场中的动态实体在真实空间的位置与所述动态实体的数字孪生模型在数字孪生空间的位置的对应关系。
21.根据权利要求20所述的装置,其特征在于,所述装置还包括:
视觉辅助识别模块,用于基于目标识别模型和所述井场的图像,识别所述井场中的所述动态实体。
22.根据权利要求20所述的装置,其特征在于,所述装置还包括:
作业指导模块,用于基于所述静态定位步骤的定位结果和所述动态定位步骤的定位结果中的至少一种进行井场作业指导。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111175249.2A CN114018237B (zh) | 2021-10-09 | 2021-10-09 | 一种基于数字孪生的井场定位方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111175249.2A CN114018237B (zh) | 2021-10-09 | 2021-10-09 | 一种基于数字孪生的井场定位方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114018237A true CN114018237A (zh) | 2022-02-08 |
CN114018237B CN114018237B (zh) | 2023-11-24 |
Family
ID=80055570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111175249.2A Active CN114018237B (zh) | 2021-10-09 | 2021-10-09 | 一种基于数字孪生的井场定位方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114018237B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612537A (zh) * | 2022-03-29 | 2022-06-10 | 新智认知数据服务有限公司 | 数字孪生图像与真实图像配准方法、设备及可读存储介质 |
CN115049809A (zh) * | 2022-04-11 | 2022-09-13 | 上海巡智科技有限公司 | 数据核验方法、设备及可读存储介质 |
CN115077488A (zh) * | 2022-05-26 | 2022-09-20 | 燕山大学 | 一种基于数字孪生的厂区人员实时定位监测系统和方法 |
CN116228991A (zh) * | 2023-05-08 | 2023-06-06 | 河北光之翼信息技术股份有限公司 | 一种坐标转换方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108040081A (zh) * | 2017-11-02 | 2018-05-15 | 同济大学 | 一种地铁车站数字孪生监控运维系统 |
KR102157537B1 (ko) * | 2019-11-11 | 2020-09-18 | 주식회사 에이엠오토노미 | 시설물 안전점검을 위한 3차원 디지털 트윈에서의 데이터 시각화 장치 및 방법 |
US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
WO2021108680A1 (en) * | 2019-11-25 | 2021-06-03 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
CN112990114A (zh) * | 2021-04-21 | 2021-06-18 | 四川见山科技有限责任公司 | 一种基于ai识别的交通数据可视化仿真方法及系统 |
CN113223162A (zh) * | 2021-04-13 | 2021-08-06 | 交通运输部科学研究院 | 一种内河航道数字孪生场景的构建方法及装置 |
-
2021
- 2021-10-09 CN CN202111175249.2A patent/CN114018237B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
CN108040081A (zh) * | 2017-11-02 | 2018-05-15 | 同济大学 | 一种地铁车站数字孪生监控运维系统 |
KR102157537B1 (ko) * | 2019-11-11 | 2020-09-18 | 주식회사 에이엠오토노미 | 시설물 안전점검을 위한 3차원 디지털 트윈에서의 데이터 시각화 장치 및 방법 |
WO2021108680A1 (en) * | 2019-11-25 | 2021-06-03 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
CN113223162A (zh) * | 2021-04-13 | 2021-08-06 | 交通运输部科学研究院 | 一种内河航道数字孪生场景的构建方法及装置 |
CN112990114A (zh) * | 2021-04-21 | 2021-06-18 | 四川见山科技有限责任公司 | 一种基于ai识别的交通数据可视化仿真方法及系统 |
Non-Patent Citations (2)
Title |
---|
JIAN ZHANG A , TINGMING DENG , HAIFAN JIANG: "Bi-level dynamic scheduling architecture based on service unit digital twin agents", JOURNAL OF MANUFACTURING SYSTEMS, no. 60, pages 59 - 79 * |
周成益;: ""数字孪生机场"的核心――万物基于数字", 综合运输, no. 04 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612537A (zh) * | 2022-03-29 | 2022-06-10 | 新智认知数据服务有限公司 | 数字孪生图像与真实图像配准方法、设备及可读存储介质 |
CN115049809A (zh) * | 2022-04-11 | 2022-09-13 | 上海巡智科技有限公司 | 数据核验方法、设备及可读存储介质 |
CN115077488A (zh) * | 2022-05-26 | 2022-09-20 | 燕山大学 | 一种基于数字孪生的厂区人员实时定位监测系统和方法 |
CN116228991A (zh) * | 2023-05-08 | 2023-06-06 | 河北光之翼信息技术股份有限公司 | 一种坐标转换方法、装置、电子设备及存储介质 |
CN116228991B (zh) * | 2023-05-08 | 2023-07-14 | 河北光之翼信息技术股份有限公司 | 一种坐标转换方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114018237B (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114018237B (zh) | 一种基于数字孪生的井场定位方法和装置 | |
EP3627471B1 (en) | Method and device for assisting in controlling automatic driving of vehicle, and system | |
US20200249032A1 (en) | Apparatus and method for updating high definition map for autonomous driving | |
CN110758477B (zh) | 基于二维码识别的列车定位方法及系统 | |
WO2006064544A1 (ja) | 自動車庫入れ装置 | |
CN110047276A (zh) | 障碍物车辆的拥堵状态确定方法、装置和相关产品 | |
CN111814752A (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
US20160253567A1 (en) | Situation analysis for a driver assistance system | |
CN111047859A (zh) | 一种无人驾驶出租车运营方法 | |
CN113686595B (zh) | 车辆耐久测试方法、装置、云控平台及系统 | |
Tian et al. | Dynamic hazardous proximity zone design for excavator based on 3D mechanical arm pose estimation via computer vision | |
CN111914671B (zh) | 一种安全带检测方法、装置、电子设备及存储介质 | |
CN115793715B (zh) | 一种无人机辅助飞行方法、系统、装置及存储介质 | |
CN117133128A (zh) | 一种危化品车辆运输安全管控系统及方法 | |
CN114341939A (zh) | 作为数据增强方法的真实世界图像道路曲率生成 | |
CN113298044B (zh) | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 | |
CN108399357B (zh) | 一种人脸定位方法及装置 | |
JP7489802B2 (ja) | 建設作業支援システムおよび建設作業支援方法 | |
CN112706159B (zh) | 机器人控制方法、装置及机器人 | |
WO2020248209A1 (en) | 3d odometry in 6d space with roadmodel 2d manifold | |
CN115565381B (zh) | 一种基于大数据的道路环境实时监测管理系统及方法 | |
Puligandla et al. | Optimal Camera Placement To Visualize Surrounding View From Heavy Machinery | |
US20170307362A1 (en) | System and method for environment recognition | |
JP7369375B1 (ja) | 建築物又は土木構造物の管理支援システム | |
CN113836964B (zh) | 车道线角点检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |