CN113793414A - 建立工业现场环境三维视图的方法、处理器及装置 - Google Patents
建立工业现场环境三维视图的方法、处理器及装置 Download PDFInfo
- Publication number
- CN113793414A CN113793414A CN202110945036.7A CN202110945036A CN113793414A CN 113793414 A CN113793414 A CN 113793414A CN 202110945036 A CN202110945036 A CN 202110945036A CN 113793414 A CN113793414 A CN 113793414A
- Authority
- CN
- China
- Prior art keywords
- inspection
- determining
- points
- point cloud
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007689 inspection Methods 0.000 claims abstract description 184
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000009432 framing Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及工业巡检领域,具体地,涉及一种建立工业现场环境三维视图的方法、处理器及装置。方法包括:获取工业巡检视频;根据工业巡检视频确定对应的巡检图片;提取巡检图片的特征点,根据特征点确定匹配的特征点对,以确定每张巡检图片对应的相机位姿以及稀疏点云;调整相机位姿,以使相机位姿与稀疏点云符合预设条件;根据达到预设条件的相机位姿与稀疏点云,以及巡检图片的像素点确定工业现场环境的稠密点云;根据稠密点云生成工业现场环境的三维表面;根据三维表面生成工业现场环境的三维视图。上述技术方案,通过拍摄的工业现场环境的视频选取出清晰的图片,并建立工业现场环境的三维视图,以帮助工程师准确掌握现场的真实服务质量。
Description
技术领域
本申请涉及工业巡检领域,具体地,涉及一种建立工业现场环境三维视图的方法、处理器及装置。
背景技术
在目前的工业环境中,机械设备需要按照固定周期进行巡检保养,以保证设备运转正常,降低磨损。由于设备巡检步骤较为复杂,对服务工程师现场巡检难以准确掌握现场的真实服务质量。目前主要通过服务工程师自评方式来对巡检完成度进行评估。
在服务工程师巡检过程中,难以准确掌握真实的巡检行为和服务质量,目前采用工程师自评的方式判断是否完成巡检。但这种方式完全依赖于工程师的自觉,无法定位工程师巡检行为,缺乏客观标准,难以准确掌握巡检现场环境。
发明内容
本申请的目的是提供一种可以利用工业巡检视频重现现场环境,并建立工业现场环境三维视图的建立工业现场环境三维视图的方法、处理器及装置。
为了实现上述目的,本申请提供一种建立工业现场环境三维视图的方法,方法包括:
获取工业巡检视频;
根据工业巡检视频确定对应的巡检图片;
提取巡检图片的特征点,根据特征点确定匹配的特征点对,以确定每张巡检图片对应的相机位姿以及稀疏点云;
调整相机位姿,以使相机位姿与稀疏点云符合预设条件;
根据达到预设条件的相机位姿与稀疏点云,以及巡检图片的像素点确定工业现场环境的稠密点云;
根据稠密点云生成工业现场环境的三维表面;
根据三维表面生成工业现场环境的三维视图。
在本申请实施例中,根据工业巡检视频确定对应的巡检图片包括:将工业巡检视频分帧为巡检图片;根据巡检图片的像素值确定巡检图片的边缘点;确定边缘点对应的像素值的方差,根据方差确定对应的巡检图片。
在本申请实施例中,提取巡检图片的特征点,根据特征点确定匹配的特征点对包括:对巡检图片进行特征提取,得到巡检图片的特征点;针对任意两张相邻的巡检图片,对相邻的巡检图片的特征点进行匹配以确定匹配的特征点对。
在本申请实施例中,对相邻的巡检图片的特征点进行匹配以确定匹配的特征点对包括:确定两张相邻的巡检图片中,分别属于不同的巡检图片中的任意两个特征点之间的特征距离;将特征距离最近的两个特征点组成的特征点对确定为匹配的特征点对。
在本申请实施例中,确定每张巡检图片对应的相机位姿以及稀疏点云包括:根据特征点对确定稀疏地图点,并根据稀疏地图点构建稀疏点云;根据稀疏点云确定对应的旋转矩阵和平移矩阵;根据旋转矩阵和平移矩阵确定每张巡检图片对应的相机位姿。
在本申请实施例中,调整相机位姿,以使相机位姿与稀疏点云符合预设条件包括:将稀疏地图点重投影至巡检图片中,以得到投影点;确定稀疏地图点对应的像素点,以得到投影点与稀疏地图点对应的像素点的误差距离;对相机位姿以及稀疏地图点进行调整;在误差距离小于预设阈值的情况下,确定相机位姿以及稀疏地图点达到预设条件,使得由稀疏地图点构建的稀疏点云也符合预设条件。
在本申请实施例中,根据达到预设条件的相机位姿与稀疏点云,以及巡检图片的像素点确定工业现场环境的稠密点云包括:根据达到预设条件的相机位姿确定相机中心;确定相机中心与巡检图片的像素点的连线;选出相机中心与像素点的连线上一致性最大的点;将每一个一致性最大的点确定为对应的稠密地图点,并根据稠密地图点得到稠密点云。
在本申请实施例中,根据稠密点云生成工业巡检的表面,并根据表面确定工业的三维现场环境包括:根据稀疏点云建立面片;对面片进行过滤;根据过滤后的面片确定工业的三维现场环境。
在本申请实施例中,方法还包括:在根据三维表面确定工业现场环境的三维视图后,将三维视图导入至VR设备和/或AR设备,以通过VR设备和/或AR设备显示三维视图。
本申请第二方面提供了一种处理器,被配置成执行上述任意实施例中的建立工业现场环境三维视图的方法
本申请第三方面提供了一种建立工业现场环境三维视图的装置包括上述的处理器。
通过上述技术方案,通过获取到工业现场的巡检视频,对视频进行分帧处理以得到分帧后的巡检图片,并对分帧完成得到的巡检图片进行筛选,选出符合要求的与工业现场的巡检视频对应的巡检图片,并对巡检图片进行处理,通过对巡检图片的处理生成工业现场环境的三维视图。在本申请的技术方案中,通过拍摄的工业现场环境的视频选取出清晰的图片,以此建立工业现场环境的三维视图,在获得工业现场环境的三维视图后,可以帮助工程师准确掌握现场的巡检环境和真实服务质量,通过建立工业现场环境的三维视图可以给予更加客观的标准。
附图说明
附图是用来提供对本申请的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本申请,但并不构成对本申请的限制。在附图中:
图1示意性示出了根据本申请一实施例的建立工业现场环境三维视图的方法的流程示意图;
图2示意性示出了根据本申请一实施例的进行重投影误差法的示例图;
图3示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请,并不用于限制本申请。
需要说明,若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,若本申请实施例中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
如图1示意性示出了根据本申请实施例的建立工业现场环境三维视图的方法的流程示意图。如图1所示,在本申请一实施例中,提供了一种建立工业现场环境三维视图的方法,包括以下步骤:
步骤101,获取工业巡检视频。
步骤102,根据工业巡检视频确定对应的巡检图片。
处理器首先可以获取工业巡检视频,工业巡检可以是指对工业现场环境进行巡逻检查,例如可以检查部件是否有问题,比如,工程机械的发动机是否处于正常工作状态。工业巡检视频可以通过工程师带上装有摄像头的安全帽对工业现场进行音视频录音录像得到的工业巡检视频。处理器获取工业巡检视频可以例如,工程师通过装有摄像头的安全帽进行巡检以得到拍摄完成的工业巡检视频,再将获得的工业巡检视频上传至处理器。在处理器获取到工业巡检视频后,需要根据工业巡检视频确定所需要的与该工业巡检视频对应的巡检图片。
在一个实施例中,根据工业巡检视频确定对应的巡检图片包括:将工业巡检视频分帧为巡检图片;根据巡检图片的像素值确定巡检图片的边缘点;确定边缘点对应的像素值的方差,根据方差确定对应的巡检图片。
处理器在获得工业巡检视频后,可以将工业巡检视频进行分帧处理以得到巡检视频分帧完成的图片,此时处理器需要对分帧完成的图片进行筛选,选取出清晰的图片以得到与工业巡检视频对应的巡检图片。处理器在获得了分帧完成的巡检图片后,可以对巡检图片的像素值进行二阶求导,以得到巡检图片的性素质的二阶导数,将导数为0的地方确定为巡检图片的边缘点。通过对巡检图片的像素值进行二阶求导获得巡检图片的边缘点后,处理器可以确定边缘点对应的像素值的方差。处理器内可以设置方差预设阈值,处理器在获得边缘点对应的像素值的方差后,与方差预设阈值进行对比。处理器可以将大于方差预设阈值的方差所对应的图片,确定为与工业巡检视频对应的巡检图片。
在一个实施例中,提取巡检图片的特征点,根据特征点确定匹配的特征点对包括:对巡检图片进行特征提取,得到巡检图片的特征点;针对任意两张相邻的巡检图片,对相邻的巡检图片的特征点进行匹配以确定匹配的特征点对。
为了使计算机能够“理解”图像,从而具有真正意义上的“视觉”,处理器可以从图像中提取有用的数据或信息,得到图像的“非图像”的表示或描述,如数值、向量和符号等。这一过程即为特征提取,而提取出来的这些“非图像”的表示或描述就是特征。对于图像而言,每一幅图像都具有能够区别于其他类图像的自身特征,有些是可以直观地感受到的自然特征,如亮度、边缘、纹理和色彩等;有些则是需要通过变换或处理才能得到的,如矩、直方图以及主成份等。处理器获取到与工业巡检视频对应的巡检图片后,可以提取巡检图片的特征点,并将特征点进行匹配以得到匹配的特征点对。处理器可以通过算法对巡检图片的特征进行提取,以得到巡检图片的特征点。例如,处理器可以使用sift特征提取算法、surf特征提取算法以及orb特征提取算法,处理器可以通过上述任意一种算法对巡检图片进行特征提取以得到巡检图片的特征点。
进一步地,处理器可以选取任意两张相邻巡检图片,将任意两张相邻的巡检图片上的特征点互相进行匹配。处理器可以通过flann算法对相邻两张图片上的特征点进行匹配。或者处理器可以将相邻两张图片上的特征点进行比较,确定特征点之间的距离,处理器可以确定特征点之间的欧氏距离或者汉明距离,从而对特征点之间的距离进行比较,选取距离最近的一对特征点对,将该特征点对确定为匹配的特征点对。
在一个实施例中,对相邻的巡检图片的特征点进行匹配以确定匹配的特征点对包括:确定两张相邻的巡检图片中,分别属于不同的巡检图片中的任意两个特征点之间的特征距离;将特征距离最近的两个特征点组成的特征点对确定为匹配的特征点对。
处理器选取任意两张相邻的巡检图片,并通过特征提取算法确定出巡检图片的特征点后,确定两张相邻的巡检图片中各自的图片特征点,并确定其中一张图片中的特征点与另一张图片中的特征点之间的特征点距离,处理器可以确定特征点之间的欧氏距离或者汉明距离。处理器可以将两幅图中的特征点之间距离最短的特征点对确定为匹配的特征点对。
步骤103,提取巡检图片的特征点,根据特征点确定匹配的特征点对,以确定每张巡检图片对应的相机位姿以及稀疏点云。
在处理器通过对巡检图片的特征点进行提取,并对提取的特征点进行匹配得到匹配后的特征点对后,可以通过匹配的特征点对确定每张巡检图片对应的相机位姿以及稀疏点云。处理器可以利用对极几何约束,根据匹配的特征点对,计算出每张巡检图片对应的相机位姿。再利用三角化从二维图像上获得三维结构。
在一个实施例中,确定每张巡检图片对应的相机位姿以及稀疏点云包括:根据特征点对确定稀疏地图点,并根据稀疏地图点构建稀疏点云;根据稀疏点云确定对应的旋转矩阵和平移矩阵;根据旋转矩阵和平移矩阵确定每张巡检图片对应的相机位姿。
处理器在确定了匹配的特征点对后,可以根据匹配的特征点对确定出对应的两张相邻图片的稀疏地图点,并根据得到的稀疏地图点构建稀疏点云。再根据稀疏点云利用针孔相机模型确定t构造的反对称矩阵,利用八点法对其进行求解。再利用奇异值分解(SVD分解)确定对应的旋转矩阵和平移矩阵。处理器再根据得到的旋转矩阵与平移矩阵确定每张巡检图片对应的相机位姿。
步骤104,调整相机位姿,以使相机位姿与稀疏点云符合预设条件。
在处理器通过旋转矩阵和平移矩阵确定了相机位姿后,可以对相机位姿进行调节,使得相机位姿与稀疏点云符合处理器设置的预设条件。
在一个实施例中,调整相机位姿,以使相机位姿与稀疏点云符合预设条件包括:将稀疏地图点重投影至巡检图片中,以得到投影点;确定稀疏地图点对应的像素点,以得到投影点与稀疏地图点对应的像素点的误差距离;对相机位姿以及稀疏地图点进行调整;在误差距离小于预设阈值的情况下,确定相机位姿以及稀疏地图点达到预设条件,使得由系数地图点构建的稀疏点云也符合预设条件。
处理器可以将稀疏地图点重投影至确定的相邻的巡检图片中,以此得到该稀疏地图点在两张相邻的巡检图片中的投影点。处理器还可以确定与稀疏地图点对应的巡检图片中的像素点,并确定像素点与投影点之间的距离,像素点与投影点之间的距离为误差距离,处理器通过确定稀疏地图点的投影点以及稀疏地图点对应的像素点之间的距离确定两者之间的误差距离。处理器可以对相机位姿以及地图点进行调整,使得误差距离变小。处理器可以设置误差距离的预设阈值,通过对相机位姿以及地图点进行调整使得投影点与像素点之间的误差距离小于处理器设置的预设阈值时,处理器可以确定此时的调整后的相机位姿以及稀疏地图点达到了预设条件,所以由达到了预设条件的稀疏地图点构建而成的稀疏点云也符合了预设条件。
如图2所示,重投影误差法为稀疏地图点P重投影至确定的相邻的巡检图片中,以得到投影点P1与P2,处理器还可以确定与稀疏地图点P对应的巡检图片中的像素点此时投影点P2与像素点之间的距离e即为误差距离,处理器需要通过调整相机位姿以及稀疏地图点P减小距离e。使得距离e可以小于处理器设置的预设阈值。
步骤105,根据达到预设条件的相机位姿与稀疏点云,以及巡检图片的像素点确定工业现场环境的稠密点云。
处理器通过对相机位姿与稀疏地图点进行调整得到达到预设条件的相机位姿与稀疏点云后,可以根据达到预设条件的相机位姿与稀疏点云、以及巡检图片的像素点来确定工业现场环境的稠密点云。
在一个实施例中,根据达到预设条件的相机位姿与所述稀疏点云,以及巡检图片的像素点确定工业现场环境的稠密点云包括:根据达到预设条件的相机位姿确定相机中心;确定相机中心与巡检图片的像素点的连线;选出相机中心与像素点的连线上一致性最大的点;将每一个一致性最大的点确定为对应的稠密地图点,并根据稠密地图点得到稠密点云。
处理器可以根据达到预设条件的相机位姿确定与相机位姿对应的相机中心。处理器在确定了相机中心后,根据相机中心确定相机中心与巡检图片的像素点的连线。处理器选出相机中心与像素点连线的上一致性最大的点,并将选出的一致性最大的点确定为巡检图片对应的稠密地图点,再通过得到的稠密地图点构建成稠密点云。
步骤106,根据稠密点云生成工业现场环境的三维表面。
处理器在获得由稠密地图点构建而成的稠密点云后,可以通过得到的稠密点云生成工业现场环境的三维表面。在一个实施例中,根据稠密点云生成工业巡检的表面,并根据表面确定工业的三维现场环境包括:根据稀疏点云建立面片;对面片进行过滤;根据过滤后的面片确定工业的三维现场环境。
处理器可以根据由稀释地图点构建的稀疏点云建立对应的稀疏面片,生成面片后需要保证每一个像素点至少都可以对应一个面片。处理器在对面片进行过滤,将误差较大的面片进行删除和过滤。处理器根据过滤后的面片确定工业的三维现场环境。
步骤107,根据三维表面生成工业现场环境的三维视图。
处理器根据生成的工业现场环境的三维表面可以确定工业的三维现场环境,从而生成工业现场环境的三维视图。在一个实施例中,在根据三维表面确定工业现场环境的三维视图后,将三维视图导入至VR设备和/或AR设备,以通过VR设备和/或AR设备显示三维视图。处理器在根据生成的工业现场的三维表面确定工业现场环境的三维视图后,可以将得到的工业现场环境的三维视图导入至VR设备和/或AR设备,从而通过VR设备和/或AR设备显示已经生成的工业现场环境的三维视图。
在一个实施例中,提供了一种处理器,被配置成执行上述任意一项的建立工业现场环境三维视图的方法。
处理器可以获取工业现场的巡检视频,在将工业现场的巡检视频分帧成为工业巡检图片,处理器可以通过对分帧得到的巡检图片的像素值确定图片的边缘点,并根据边缘点的方差筛选出清晰的巡检图片,并将这些清晰的图片确定为与工业现场环境对应的巡检图片。在处理器获得了清晰的巡检图片后,提起工业巡检图片中任意两张相邻图片的特征点,并进行匹配,以得到匹配的特征点对。处理器可以使用sift特征提取算法、surf特征提取算法以及orb特征提取算法中任意一者对图片的特征点进行提取,然后处理器可以利用flann算法对相邻两张图片上的特征点进行匹配以得到匹配的特征点对。或者处理器可以将相邻两张图片上的特征点进行比较,确定特征点之间的欧式距离或汉明距离,将距离最短的确定为匹配的特征点对。并通过匹配的特征点对确定每张巡检图片对应的相机位姿以及稀疏点云。处理器可以调整相机位姿,以使相机位姿与稀疏点云符合预设条件,再根据符合预设条件的相机位姿与稀疏点云以及每张巡检图片的像素点确定工业现场环境的稠密点云。并根据稠密点云生成工业现成环境的三维表面,在根据得到的工业现场环境的三维表面生成工业现场环境的三维视图。
处理器通过上述方案通过可以建立工业现场环境的三维视图,可以为工程师提供客观标准,使得服务工程师可以通过三维视图准确掌握真实的巡检行为和服务质量。
在一个实施例中,提供一种建立工业现场环境三维视图的装置,包括如上所述的处理器。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现建立工业现场环境三维视图的方法。
本申请实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述建立工业现场环境三维视图的方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中,该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储工业现场环境的相关参数数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种建立工业现场环境三维视图的方法。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取工业巡检视频;根据工业巡检视频确定对应的巡检图片;提取巡检图片的特征点,根据特征点确定匹配的特征点对,以确定每张巡检图片对应的相机位姿以及稀疏点云;调整相机位姿,以使相机位姿与稀疏点云符合预设条件;根据达到预设条件的相机位姿与稀疏点云,以及巡检图片的像素点确定工业现场环境的稠密点云;根据稠密点云生成工业现场环境的三维表面;根据三维表面生成工业现场环境的三维视图。
在一个实施例中,根据工业巡检视频确定对应的巡检图片包括:将工业巡检视频分帧为巡检图片;根据巡检图片的像素值确定巡检图片的边缘点;确定边缘点对应的像素值的方差,根据方差确定对应的巡检图片。
在一个实施例中,提取巡检图片的特征点,根据特征点确定匹配的特征点对包括:对巡检图片进行特征提取,得到巡检图片的特征点;针对任意两张相邻的巡检图片,对相邻的巡检图片的特征点进行匹配以确定匹配的特征点对。
在一个实施例中,对相邻的巡检图片的特征点进行匹配以确定匹配的特征点对包括:确定两张相邻的巡检图片中,分别属于不同的巡检图片中的任意两个特征点之间的特征距离;将特征距离最近的两个特征点组成的特征点对确定为匹配的特征点对。
在一个实施例中,确定每张巡检图片对应的相机位姿以及稀疏点云包括:根据特征点对确定稀疏地图点,并根据稀疏地图点构建稀疏点云;根据稀疏点云确定对应的旋转矩阵和平移矩阵;根据旋转矩阵和平移矩阵确定每张巡检图片对应的相机位姿。
在一个实施例中,调整相机位姿,以使相机位姿与稀疏点云符合预设条件包括:将稀疏地图点重投影至巡检图片中,以得到投影点;确定稀疏地图点对应的像素点,以得到投影点与稀疏地图点对应的像素点的误差距离;对相机位姿以及稀疏地图点进行调整;在误差距离小于预设阈值的情况下,确定相机位姿以及稀疏地图点达到预设条件,使得由稀疏地图点构建的稀疏点云也符合预设条件。
在一个实施例中,根据达到预设条件的相机位姿与稀疏点云,以及巡检图片的像素点确定工业现场环境的稠密点云包括:根据达到预设条件的相机位姿确定相机中心;确定相机中心与巡检图片的像素点的连线;选出相机中心与像素点的连线上一致性最大的点;将每一个一致性最大的点确定为对应的稠密地图点,并根据稠密地图点得到稠密点云。
在一个实施例中,根据稠密点云生成工业巡检的表面,并根据表面确定工业的三维现场环境包括:根据稀疏点云建立面片;对面片进行过滤;根据过滤后的面片确定工业的三维现场环境。
在一个实施例中,方法还包括:在根据三维表面确定工业现场环境的三维视图后,将三维视图导入至VR设备和/或AR设备,以通过VR设备和/或AR设备显示三维视图。
以上结合附图详细描述了本申请的优选实施方式,但是,本申请并不限于上述实施方式中的具体细节,在本申请的技术构思范围内,可以对本申请的技术方案进行多种简单变型,这些简单变型均属于本申请的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本申请对各种可能的组合方式不再另行说明。
此外,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请的思想,其同样应当视为本申请所公开的内容。
Claims (11)
1.一种建立工业现场环境三维视图的方法,其特征在于,所述方法包括:
获取工业巡检视频;
根据所述工业巡检视频确定对应的巡检图片;
提取所述巡检图片的特征点,根据所述特征点确定匹配的特征点对,以确定所述每张巡检图片对应的相机位姿以及稀疏点云;
调整所述相机位姿,以使所述相机位姿与所述稀疏点云符合预设条件;
根据达到所述预设条件的相机位姿与稀疏点云,以及所述巡检图片的像素点确定所述工业现场环境的稠密点云;
根据所述稠密点云生成所述工业现场环境的三维表面;
根据所述三维表面生成所述工业现场环境的三维视图。
2.根据权利要求1所述的方法,其特征在于,所述根据所述工业巡检视频确定对应的巡检图片包括:
将所述工业巡检视频分帧为所述巡检图片;
根据所述巡检图片的像素值确定所述巡检图片的边缘点;
确定所述边缘点对应的像素值的方差,根据所述方差确定所述对应的所述巡检图片。
3.根据权利要求1所述的方法,其特征在于,所述提取所述巡检图片的特征点,根据所述特征点确定匹配的特征点对包括:
对所述巡检图片进行特征提取,得到所述巡检图片的特征点;
针对任意两张相邻的巡检图片,对所述相邻的巡检图片的特征点进行匹配以确定匹配的特征点对。
4.根据权利要求3所述的方法,其特征在于,所述对所述相邻的巡检图片的特征点进行匹配以确定匹配的特征点对包括:
确定所述两张相邻的巡检图片中,分别属于不同的巡检图片中的任意两个特征点之间的特征距离;
将所述特征距离最近的两个特征点组成的特征点对确定为匹配的特征点对。
5.根据权利要求4所述的方法,其特征在于,所述确定所述每张巡检图片对应的相机位姿以及稀疏点云包括:
根据所述特征点对确定稀疏地图点,并根据所述稀疏地图点构建所述稀疏点云;
根据所述稀疏点云确定对应的旋转矩阵和平移矩阵;
根据所述旋转矩阵和所述平移矩阵确定所述每张巡检图片对应的相机位姿。
6.根据权利要求1所述的方法,其特征在于,所述调整所述相机位姿,以使所述相机位姿与所述稀疏点云符合预设条件包括:
将所述稀疏地图点重投影至所述巡检图片中,以得到投影点;
确定所述稀疏地图点对应的像素点,以得到所述投影点与所述稀疏地图点对应的像素点的误差距离;
对所述相机位姿以及所述稀疏地图点进行调整;
在所述误差距离小于预设阈值的情况下,确定所述相机位姿以及所述稀疏地图点达到预设条件,使得由所述稀疏地图点构建的所述稀疏点云也符合预设条件。
7.根据权利要求1所述的方法,其特征在于,所述根据达到预设条件的所述相机位姿与所述稀疏点云,以及所述巡检图片的像素点确定所述工业现场环境的稠密点云包括:
根据达到所述预设条件的相机位姿确定相机中心;
确定所述相机中心与所述巡检图片的像素点的连线;
选出所述相机中心与所述像素点的连线上一致性最大的点;
将每一个所述一致性最大的点确定为对应的稠密地图点,并根据所述稠密地图点得到所述稠密点云。
8.根据权利要求1所述的方法,其特征在于,所述根据所述稠密点云生成所述工业巡检的表面,并根据所述表面确定所述工业的三维现场环境包括:
根据所述稀疏点云建立面片;
对所述面片进行过滤;
根据过滤后的面片确定所述工业的三维现场环境。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在根据所述三维表面确定所述工业现场环境的三维视图后,将所述三维视图导入至VR设备和/或AR设备,以通过所述VR设备和/或AR设备显示所述三维视图。
10.一种处理器,其特征在于,所述处理器被配置成执行根据权利要求1至9中任意一项所述的建立工业现场环境三维视图的方法。
11.一种建立工业现场环境三维视图的装置,其特征在于,包括如权利要求10所述的处理器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110945036.7A CN113793414A (zh) | 2021-08-17 | 2021-08-17 | 建立工业现场环境三维视图的方法、处理器及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110945036.7A CN113793414A (zh) | 2021-08-17 | 2021-08-17 | 建立工业现场环境三维视图的方法、处理器及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113793414A true CN113793414A (zh) | 2021-12-14 |
Family
ID=78876050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110945036.7A Pending CN113793414A (zh) | 2021-08-17 | 2021-08-17 | 建立工业现场环境三维视图的方法、处理器及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113793414A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679672A (zh) * | 2013-10-28 | 2014-03-26 | 华南理工大学广州学院 | 基于边缘垂直距离匹配的全景图像拼接方法 |
CN108447116A (zh) * | 2018-02-13 | 2018-08-24 | 中国传媒大学 | 基于视觉slam的三维场景重建方法和装置 |
CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
CN110544294A (zh) * | 2019-07-16 | 2019-12-06 | 深圳进化动力数码科技有限公司 | 一种基于全景视频的稠密三维重构方法 |
CN111242574A (zh) * | 2020-01-08 | 2020-06-05 | 中国建筑第二工程局有限公司西南分公司 | 一种基于gps技术的智慧工地现场巡检管理系统及方法 |
CN111599001A (zh) * | 2020-05-14 | 2020-08-28 | 星际(重庆)智能装备技术研究院有限公司 | 基于图像三维重建技术的无人机导航地图构建系统及方法 |
CN112085845A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 基于无人机影像的室外场景快速三维重建装置 |
WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
CN112288875A (zh) * | 2020-10-30 | 2021-01-29 | 中国有色金属长沙勘察设计研究院有限公司 | 一种面向无人机矿山巡检场景的快速三维重建方法 |
-
2021
- 2021-08-17 CN CN202110945036.7A patent/CN113793414A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679672A (zh) * | 2013-10-28 | 2014-03-26 | 华南理工大学广州学院 | 基于边缘垂直距离匹配的全景图像拼接方法 |
CN108447116A (zh) * | 2018-02-13 | 2018-08-24 | 中国传媒大学 | 基于视觉slam的三维场景重建方法和装置 |
CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
CN110544294A (zh) * | 2019-07-16 | 2019-12-06 | 深圳进化动力数码科技有限公司 | 一种基于全景视频的稠密三维重构方法 |
CN111242574A (zh) * | 2020-01-08 | 2020-06-05 | 中国建筑第二工程局有限公司西南分公司 | 一种基于gps技术的智慧工地现场巡检管理系统及方法 |
CN111599001A (zh) * | 2020-05-14 | 2020-08-28 | 星际(重庆)智能装备技术研究院有限公司 | 基于图像三维重建技术的无人机导航地图构建系统及方法 |
CN112085845A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 基于无人机影像的室外场景快速三维重建装置 |
CN112288875A (zh) * | 2020-10-30 | 2021-01-29 | 中国有色金属长沙勘察设计研究院有限公司 | 一种面向无人机矿山巡检场景的快速三维重建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110264509B (zh) | 确定图像捕捉设备的位姿的方法、装置及其存储介质 | |
CN100364319C (zh) | 图像处理方法和图像处理装置 | |
CN111428579A (zh) | 人脸图像的获取方法与系统 | |
JP2015096812A (ja) | 画像処理装置、撮像装置および距離補正方法 | |
CN108010059B (zh) | 电子防抖算法的性能分析方法及装置 | |
JP6897082B2 (ja) | 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法 | |
CN112784874B (zh) | 双目视觉立体匹配方法、装置、电子设备及存储介质 | |
CN114862973B (zh) | 基于固定点位的空间定位方法、装置、设备及存储介质 | |
CN112083403B (zh) | 用于虚拟场景的定位追踪误差校正方法及系统 | |
CN111028170A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN112084453A (zh) | 三维虚拟展示系统、方法、计算机设备、终端及存储介质 | |
CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
CN112686820A (zh) | 虚拟美妆方法、装置和电子设备 | |
CN117274605B (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
CN111445487A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN113793392A (zh) | 一种相机参数标定方法及装置 | |
CN112333468B (zh) | 图像处理方法、装置、设备及存储介质 | |
KR20190055632A (ko) | 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법 | |
CN111833441A (zh) | 一种基于多相机系统的人脸三维重建方法和装置 | |
CN113793414A (zh) | 建立工业现场环境三维视图的方法、处理器及装置 | |
CN112053434B (zh) | 视差图的生成方法、三维重建方法及相关装置 | |
CN111553850B (zh) | 基于双目立体视觉的三维信息获取方法和装置 | |
CN112884817B (zh) | 稠密光流计算方法、装置、电子设备以及存储介质 | |
CN116823869A (zh) | 背景替换的方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |