CN113870430B - 一种工件数据处理方法和装置 - Google Patents

一种工件数据处理方法和装置 Download PDF

Info

Publication number
CN113870430B
CN113870430B CN202111473316.9A CN202111473316A CN113870430B CN 113870430 B CN113870430 B CN 113870430B CN 202111473316 A CN202111473316 A CN 202111473316A CN 113870430 B CN113870430 B CN 113870430B
Authority
CN
China
Prior art keywords
light source
information
matrix
file
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111473316.9A
Other languages
English (en)
Other versions
CN113870430A (zh
Inventor
王灿
刘婧
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202111473316.9A priority Critical patent/CN113870430B/zh
Publication of CN113870430A publication Critical patent/CN113870430A/zh
Application granted granted Critical
Publication of CN113870430B publication Critical patent/CN113870430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种工件数据处理方法和装置。该方法包括:获取工件模型文件、面结构光相机文件和光源信息;根据面结构光相机文件和光源信息创建的光源视角矩阵,计算工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息;依据面结构光相机文件创建虚拟相机模型;依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图。本发明提供的方案能够精准的表示工件在面结构光相机下的物理状态。

Description

一种工件数据处理方法和装置
技术领域
本发明涉及计算机技术应用领域,尤其涉及一种工件数据处理方法和装置。
背景技术
在目前的面结构光相机视觉领域,对于特定的三维工件模型,目标在于得到三维工件模型在相机视角下的真实成像点云;
在获取真实成像点云的过程中通常需要用面结构光相机对工件进行拍照,然后将拍照结果转化为三维点云的格式进行表示。当需要对面结构光相机的参数进行调整时,必须对工件再次拍照才能获取到真实成像点云,从而会导致在需要对不同的特定参数的面结构光相机进行测试的情况下,造成大量的时间上的浪费,且无法保证获取到的工件三维点云数据的精确性。
针对目前相关技术对任意特定参数的面结构光相机,无法快速精确的给出工件在面结构光相机下的投影成像数据的问题,目前尚未得到有效的解决。
发明内容
为解决上述技术问题,本发明实施例期望提供一种工件数据处理方法和装置,能够解决目前相关技术对任意特定参数的面结构光相机,无法快速精确的给出工件在面结构光相机下的投影成像数据的问题。
本发明的技术方案是这样实现的:
第一方面,本发明实施例提供一种工件数据处理方法,包括:获取工件模型文件、面结构光相机文件和光源信息;根据面结构光相机文件和光源信息创建光源视角矩阵,计算工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息;依据面结构光相机文件创建虚拟相机模型;依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图。
可选的,在获取工件模型文件之后,该方法还包括:从工件模型文件中提取工件模型的顶点信息和面片信息;将顶点信息和面片信息由文本格式转换为数组格式,得到转换后的顶点数组和面片数组;其中,顶点信息包括:每个顶点的位置;面片信息包括:工件模型中每个面包含的顶点序号。
可选的,获取光源信息包括:获取光源的位置、光轴朝向和视场角信息;依据光源的位置、光轴朝向和视场角信息得到光源信息。
可选的,根据面结构光相机文件和光源信息创建光源视角矩阵包括:从面结构光相机文件中获取面结构光相机的外参矩阵;依据外参矩阵和光源信息创建光源视角矩阵。
进一步地,可选的,在依据外参矩阵和光源信息创建光源视角矩阵之后,该方法还包括:创建工件模型在光源照射情况下的着色文件,其中,着色文件,用于模拟计算工件模型根据光源反应出的颜色和纹理。
可选的,依据面结构光相机文件创建虚拟相机模型包括:从面结构光相机文件中获取外参矩阵和内参矩阵;依据外参矩阵创建虚拟相机的第一矩阵,并将第一图库中的面结构光相机坐标系转换为第二图库中的坐标系;依据内参矩阵和光源信息中的视场角信息创建虚拟相机的第二矩阵,并将内参矩阵中的参数转换为第二图库中投影矩阵的参数;依据第一矩阵和第二矩阵得到虚拟相机模型;其中,外参矩阵,用于表示面结构光相机在世界坐标系下的平移和旋转信息;内参矩阵,用于表示面结构光相机的焦距和图像中心坐标。
进一步地,可选的,依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图包括:依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息,结合成像计算公式进行计算,得到面结构光相机视角下工件模型的投影;依据工件模型的投影通过第二图库中的指定函数读取工件模型每个像素点的图像信息,得到工件模型的成像数据;依据成像数据得到目标成像图。
第二方面,本发明实施例提供了一种工件数据处理装置,包括:获取模块,用于获取工件模型文件、面结构光相机文件和光源信息;计算模块,用于根据面结构光相机文件和光源信息创建光源视角矩阵,计算工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息;创建模块,用于依据面结构光相机文件创建虚拟相机模型;成像模块,用于依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图。
可选的,该装置还包括:提取模块,用于在获取工件模型文件之后,从工件模型文件中提取工件模型的顶点信息和面片信息;转换模块,用于将顶点信息和面片信息由文本格式转换为数组格式,得到转换后的顶点数组和面片数组;其中,顶点信息包括:每个顶点的位置;面片信息包括:工件模型中每个面包含的顶点序号。
可选的,创建模块包括:获取单元,用于从面结构光相机文件中获取外参矩阵和内参矩阵;第一创建单元,用于依据外参矩阵创建虚拟相机的第一矩阵,并将第一图库中的面结构光相机坐标系转换为第二图库中的坐标系;第二创建单元,用于依据内参矩阵和光源信息中的视场角信息创建虚拟相机的第二矩阵,并将内参矩阵中的参数转换为第二图库中投影矩阵的参数;第三创建单元,用于依据第一矩阵和第二矩阵得到虚拟相机模型;其中,外参矩阵,用于表示面结构光相机在世界坐标系下的平移和旋转信息;内参矩阵,用于表示面结构光相机的焦距和图像中心坐标。
本发明实施例提供了一种工件数据处理方法,通过获取工件模型文件、面结构光相机文件和光源信息;根据面结构光相机文件和光源信息创建光源视角矩阵,计算工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息;依据面结构光相机文件创建虚拟相机模型;依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图,达到能够精准的表示工件在面结构光相机下的物理状态。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例一提供的一种工件数据处理方法的流程示意图;
图2a为本发明实施例一提供的一种工件数据处理方法中第一图库的坐标系示意图;
图2b为本发明实施例一提供的一种工件数据处理方法中第二图库的坐标系示意图;
图3为本发明实施例一提供的一种工件数据处理方法中面结构光相机的内参fx,fy,cx,cy转换成OpenGL中投影矩阵的参数过程示意图;
图4为本发明实施例一提供的一种工件数据处理方法中成像原理的示意图;
图5为实施例二提供的一种工件数据处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于限定特定顺序。
还需要说明是,本发明下述各个实施例可以单独执行,各个实施例之间也可以相互结合执行,本发明实施例对此不作具体限制。
下面,对工件数据处理方法和装置及其技术效果进行详细描述。
实施例一
图1为本发明实施例一提供的一种工件数据处理方法的流程示意图,如图1所示,该方法可以包括如下步骤:
步骤S102,获取工件模型文件、面结构光相机文件和光源信息;
其中,在本申请实施例中工件模型文件是以顶点信息和面片信息构成的,比如.obj格式的模型文件,记录了每个顶点的位置(顶点信息),以及每个面包含的顶点序号(面片信息)。需要说的是,在本申请实施例中在获取工件模型之后,将该工件模型文件存储至内存。
获取的面结构光相机文件可以包括内参矩阵、外参矩阵和畸变参数文件,用于创建步骤S106中的虚拟相机模型。
可选的,步骤S102中获取光源信息包括:获取光源的位置、光轴朝向和视场角信息;依据光源的位置、光轴朝向和视场角信息得到光源信息。
具体的,获取的光源信息包括光源的位置,光轴朝向和视场角信息,用于构建步骤S104中的光源模型。其中,在本申请实施例中光源的位置能够从外参矩阵中的行或列体现,以平移的参数表示;光轴为光束或光柱的中心线;视场角信息(Field of view,简称FOV),视场角的大小决定了光学仪器的视野范围。
可选的,在步骤S102中获取工件模型文件之后,本申请实施例提供的工件数据处理方法还包括:从工件模型文件中提取工件模型的顶点信息和面片信息;将顶点信息和面片信息由文本格式转换为数组格式,得到转换后的顶点数组和面片数组;其中,顶点信息包括:每个顶点的位置;面片信息包括:工件模型中每个面包含的顶点序号。
具体的,将工件模型文件中的顶点信息和面片信息解构,保存成Mesh数组(即,本申请实施例中的数组格式),用于计算工件中每一个坐标点的成像情况。
需要说明的是,在本申请实施例中,对顶点信息和面片信息的格式转换,是由于获取到的顶点信息和面片信息为文本信息,用于描述工件模型中各个顶点的坐标,以及各顶点组成的面的光学特征,其中,光学特征至少包括:颜色,纹理;为了便于后续计算,将文本信息转换为计算机能够识别的数字代码,因此选择以Mesh数组为例的数组格式;以三角锥为例,三角锥包括四个顶点A,B,C,D;由该四个顶点能够得到四个面,包括:面ABC,面BCD,面ACD和面ABD;因此顶点信息可以包括顶点A,B,C,D的世界坐标;面片信息至少包括:面ABC,面BCD,面ACD和面ABD,以及面ABC,面BCD,面ACD和面ABD的纹理和颜色。
实际上仅以上述示例为例进行说明,以实现本申请实施例提供的工件数据处理方法为准,具体不做限定。
步骤S104,根据面结构光相机文件和光源信息创建光源视角矩阵,计算工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息;
其中,在本申请实施例中将光源视角矩阵表示为lookAt矩阵,其中,lookAt矩阵是由以下几种信息来定义的:面结构光相机(后续简称相机)的镜头位置,相机镜头看向的方向,以及向上的up方向,上述信息均以向量的形式组成矩阵。
可选的,步骤S104中根据面结构光相机文件和光源信息创建光源视角矩阵包括:从面结构光相机文件中获取面结构光相机的外参矩阵;依据外参矩阵和光源信息创建光源视角矩阵。
进一步地,可选的,在依据外参矩阵和光源信息创建光源视角矩阵之后,该方法还包括:创建工件模型在光源照射情况下的着色文件,其中,着色文件,用于模拟计算工件模型根据光源反应出的颜色和纹理。
具体的,根据读入的光源信息(在读入的面结构光相机的外参矩阵中包括了相机在世界坐标系下的坐标位置)构建光源lookAt矩阵(根据外参矩阵、光轴朝向和光源位置构成,从世界坐标系转换为相机坐标系,并为光照情况编写对应的shader(着色)文件(工件根据光源反应出的颜色),用于模拟计算物体在光源下的反射表现,其中,反射表现指的是工件模型的可视化表现,包括图形渲染相关的信息,具体可包含工件模型的每个顶点的颜色信息和纹理信息,用于在可视化过程中确定顶点的可视颜色或纹理。
在完成光源模型(lookAt矩阵)构建后,计算工件模型在光源下的所有可见点坐标,以及可见点的颜色材质信息,其中,颜色材质信息指的是在工件模型可视化表达时每个顶点和面片的颜色和纹理信息,可以根据需求选择是否计算。其格式为一个包含RGBA数值的四维向量。
步骤S106,依据面结构光相机文件创建虚拟相机模型;
具体的,步骤S106中依据面结构光相机文件创建虚拟相机模型包括:从面结构光相机文件中获取外参矩阵和内参矩阵;依据外参矩阵创建虚拟相机的第一矩阵,并将第一图库中的面结构光相机坐标系转换为第二图库中的坐标系;依据内参矩阵和光源信息中的视场角信息创建虚拟相机的第二矩阵,并将内参矩阵中的参数转换为第二图库中投影矩阵的参数;依据第一矩阵和第二矩阵得到虚拟相机模型;其中,外参矩阵,用于表示面结构光相机在世界坐标系下的平移和旋转信息;内参矩阵,用于表示面结构光相机的焦距和图像中心坐标。
其中,根据读入的真实面结构光相机参数构建虚拟相机模型:
根据外参矩阵构建虚拟相机的view矩阵(即,本申请实施例中的第一矩阵),需要将OpenCV(即,本申请实施例中的第一图库)中的相机坐标系绕X轴旋转180度,得到OpenGL(即,本申请实施例中的第二图库)的相机坐标系。
其中,如图2a和图2b所示,为本发明实施例一提供的一种工件数据处理方法中第一图库的坐标系示意图;图2b为本发明实施例一提供的一种工件数据处理方法中第二图库的坐标系示意图;其中,将OpenCV(即,本申请实施例中的第一图库)中的相机坐标系绕X轴旋转180度,得到OpenGL(即,本申请实施例中的第二图库)的相机坐标系,能够根据OpenCV的坐标系和OpenGL的区别得到,其中,图2a为OpenCV的坐标系,图2b为OpenGL的坐标系。
根据内参矩阵(和FOV信息)构建虚拟相机的projection矩阵(即,本申请实施例中的第二矩阵),需要根据其相似三角形原理进行换算,将fx,fy,cx,cy转换成OpenGL中投影矩阵的参数(即,本申请实施例中的第二图库中投影矩阵的参数)。其中,如图3所示,图3为本发明实施例一提供的一种工件数据处理方法中面结构光相机的内参fx,fy,cx,cy转换成OpenGL中投影矩阵的参数过程示意图。
步骤S108,依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图。
具体的,基于步骤S106,可选的,步骤S108中依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图包括:依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息,结合成像计算公式进行计算,得到面结构光相机视角下工件模型的投影;依据工件模型的投影通过第二图库中的指定函数读取工件模型每个像素点的图像信息,得到工件模型的成像数据;依据成像数据得到目标成像图。
其中,根据成像计算公式Mprojection·Mview·Mmodel·Vlocal,(model表示缩放表达,一种单位矩阵)计算出当前相机视角下工件模型的投影,即可模拟出真实情况下工件在相机视角下的成像情况。利用OpenCV创建工件在面结构光相机下的成像图;
成像计算公式如下:
Vclip=Mprojection·Mview·Mmodel·Vlocal
Vclip表示一个顶点在成像空间内的坐标;Vlocal表示该顶点在世界坐标系下的坐标; Mview为本申请实施例中的第一矩阵,Mprojection为本申请实施例中的第二矩阵。
该公式反映了一个顶点从世界坐标系转化至相机成像坐标系下的过程,即模拟了实际工件在相机下的成像过程。
通过OpenGL中的glReadPixels函数(即,本申请实施例中的指定函数)读取具体每个像素点的颜色、深度、纹理信息,即可得到工件完整的成像数据。
需要说明的是,在本申请实施例中在利用OpenCV中的图像构建函数计算工件投影像素图时可以使用其他的图像库来代替,以实现本申请实施例提供的工件数据处理方法为准,具体不做限定。
综上,本申请实施例提供的工件数据处理方法,在实现模拟面结构光相机将拍摄的工件模型的过程中,为了准确的实现模拟工件模型成像,如图4所示,图4为本发明实施例一提供的一种工件数据处理方法中成像原理的示意图,等号最右侧由相机外参矩阵和内参矩阵组成,通过矩阵变换,得到等号左边的平移旋转矩阵。其中,(Xw,Yw,Zw,1)代表某点在世界坐标系下的坐标。相机的外参矩阵(R|T)代表相机在世界坐标系下的平移和旋转。相机的内参矩阵中(u0,v0)代表相机感光板中心在图像坐标系下的坐标,f为相机的焦距,(dx,dy)分别表示X、Y方向上的一个像素在相机感光板上的物理长度(即一个像素在感光板上是多少毫米)。公式的左边参数中,u代表图像坐标系下该点距离图像中心点x方向上的偏移;v代表图像坐标系下该点距离图像中心点y方向上的偏移;Zc代表该点的深度值。
本发明实施例提供了一种工件数据处理方法,通过获取工件模型文件、面结构光相机文件和光源信息;根据面结构光相机文件和光源信息创建光源视角矩阵,计算工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息;依据面结构光相机文件创建虚拟相机模型;依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图,达到能够精准的表示工件在面结构光相机下的物理状态。
基于上述本申请实施例提供的工件数据处理方法能够精准的表示工件在面结构光相机下的物理状态,建立工件的数字孪生体,能够实时模拟工件在相机下的真实成像情况,减少多余计算,提高数据获取速度;并且提供工件在相机下成像的数字化可视化表示,方便工作中对虚拟相机模型做各种调整和测试,提高工作效率。
实施例二
图5为实施例二提供的一种工件数据处理装置的结构示意图,如图5所示,包括:
获取模块52,用于获取工件模型文件、面结构光相机文件和光源信息;计算模块54,用于根据面结构光相机文件和光源信息创建光源视角矩阵,计算工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息;创建模块56,用于依据面结构光相机文件创建虚拟相机模型;成像模块58,用于依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息进行成像,得到目标成像图。
可选的,本申请实施例提供的工件数据处理装置还包括:提取模块,用于在获取工件模型文件之后,从工件模型文件中提取工件模型的顶点信息和面片信息;转换模块,用于将顶点信息和面片信息由文本格式转换为数组格式,得到转换后的顶点数组和面片数组;其中,顶点信息包括:每个顶点的位置;面片信息包括:工件模型中每个面包含的顶点序号。
可选的,获取模块52还包括:信息获取单元,获取光源的位置、光轴朝向和视场角信息;依据光源的位置、光轴朝向和视场角信息得到光源信息。
可选的,计算模块54包括:矩阵获取单元,用于从面结构光相机文件中获取面结构光相机的外参矩阵;矩阵创建单元,用于依据外参矩阵和光源信息创建光源视角矩阵。
进一步地,可选的,本申请实施例提供的工件数据处理装置还包括:文件创建单元,用于在依据外参矩阵和光源信息创建光源视角矩阵之后,创建工件模型在光源照射情况下的着色文件,其中,着色文件,用于模拟计算工件模型根据光源反应出的颜色和纹理。
可选的,创建模块56包括:获取单元,用于从面结构光相机文件中获取外参矩阵和内参矩阵;第一创建单元,用于依据外参矩阵创建虚拟相机的第一矩阵,并将第一图库中的面结构光相机坐标系转换为第二图库中的坐标系;第二创建单元,用于依据内参矩阵和光源信息中的视场角信息创建虚拟相机的第二矩阵,并将内参矩阵中的参数转换为第二图库中投影矩阵的参数;第三创建单元,用于依据第一矩阵和第二矩阵得到虚拟相机模型;其中,外参矩阵,用于表示面结构光相机在世界坐标系下的平移和旋转信息;内参矩阵,用于表示面结构光相机的焦距和图像中心坐标。
进一步地,可选的,成像模块58包括:计算单元,用于依据虚拟相机模型和工件模型文件中在光源下的所有可见点的坐标以及所有可见点的光学信息,结合成像计算公式进行计算,得到面结构光相机视角下工件模型的投影;成像单元,用于依据工件模型的投影通过第二图库中的指定函数读取工件模型每个像素点的图像信息,得到工件模型的成像数据;依据成像数据得到目标成像图。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (7)

1.一种工件数据处理方法,其特征在于,包括:
获取工件模型文件、面结构光相机文件和光源信息;
根据所述面结构光相机文件和所述光源信息创建光源视角矩阵,并根据所述光源视角矩阵计算所述工件模型文件中在光源下的所有可见点的坐标以及所述所有可见点的光学信息;
依据所述面结构光相机文件创建虚拟相机模型;
依据所述虚拟相机模型和所述工件模型文件中在光源下的所有可见点的坐标以及所述所有可见点的光学信息进行成像,得到目标成像图;
其中,所述根据所述面结构光相机文件和所述光源信息创建光源视角矩阵包括:从所述面结构光相机文件中获取面结构光相机的外参矩阵;依据所述外参矩阵和所述光源信息创建所述光源视角矩阵;
所述依据所述面结构光相机文件创建虚拟相机模型包括:从所述面结构光相机文件中获取外参矩阵和内参矩阵;依据所述外参矩阵创建虚拟相机的第一矩阵,并将第一图库中的面结构光相机坐标系转换为第二图库中的坐标系,其中,所述第一图库为OpenCV,所述第二图库为OpenGL;依据所述内参矩阵和所述光源信息中的视场角信息创建虚拟相机的第二矩阵,并将所述内参矩阵中的参数转换为所述第二图库中投影矩阵的参数;依据所述第一矩阵和所述第二矩阵得到所述虚拟相机模型;其中,所述外参矩阵,用于表示面结构光相机在世界坐标系下的平移和旋转信息;所述内参矩阵,用于表示所述面结构光相机的焦距和图像中心坐标。
2.根据权利要求1所述的方法,其特征在于,在所述获取工件模型文件之后,所述方法还包括:
从所述工件模型文件中提取工件模型的顶点信息和面片信息;
将所述顶点信息和所述面片信息由文本格式转换为数组格式,得到转换后的顶点数组和面片数组;
其中,所述顶点信息包括:每个顶点的位置;所述面片信息包括:工件模型中每个面包含的顶点序号。
3.根据权利要求1所述的方法,其特征在于,获取光源信息包括:
获取光源的位置、光轴朝向和视场角信息;
依据所述光源的位置、所述光轴朝向和所述视场角信息得到所述光源信息。
4.根据权利要求1所述的方法,其特征在于,在所述依据所述外参矩阵和所述光源信息创建所述光源视角矩阵之后,所述方法还包括:
创建工件模型在光源照射情况下的着色文件,其中,所述着色文件,用于模拟计算所述工件模型根据光源反应出的颜色和纹理。
5.根据权利要求1所述的方法,其特征在于,所述依据所述虚拟相机模型和所述工件模型文件中在光源下的所有可见点的坐标以及所述所有可见点的光学信息进行成像,得到目标成像图包括:
依据所述虚拟相机模型和所述工件模型文件中在光源下的所有可见点的坐标以及所述所有可见点的光学信息,结合成像计算公式进行计算,得到所述面结构光相机视角下工件模型的投影;
依据所述工件模型的投影通过第二图库中的指定函数读取所述工件模型每个像素点的图像信息,得到所述工件模型的成像数据;
依据所述成像数据得到所述目标成像图。
6.一种工件数据处理装置,其特征在于,包括:
获取模块,用于获取工件模型文件、面结构光相机文件和光源信息;
计算模块,用于根据所述面结构光相机文件和所述光源信息创建光源视角矩阵,并根据所述光源视角矩阵计算所述工件模型文件中在光源下的所有可见点的坐标以及所述所有可见点的光学信息;
创建模块,用于依据所述面结构光相机文件创建虚拟相机模型;
成像模块,用于依据所述虚拟相机模型和所述工件模型文件中在光源下的所有可见点的坐标以及所述所有可见点的光学信息进行成像,得到目标成像图;
其中,所述计算模块包括:矩阵获取单元,用于从所述面结构光相机文件中获取面结构光相机的外参矩阵;矩阵创建单元,用于依据所述外参矩阵和所述光源信息创建所述光源视角矩阵;
所述创建模块包括:获取单元,用于从所述面结构光相机文件中获取外参矩阵和内参矩阵;第一创建单元,用于依据所述外参矩阵创建虚拟相机的第一矩阵,并将第一图库中的面结构光相机坐标系转换为第二图库中的坐标系,其中,所述第一图库为OpenCV,所述第二图库为OpenGL;第二创建单元,用于依据所述内参矩阵和所述光源信息中的视场角信息创建虚拟相机的第二矩阵,并将所述内参矩阵中的参数转换为所述第二图库中投影矩阵的参数;第三创建单元,用于依据所述第一矩阵和所述第二矩阵得到所述虚拟相机模型;其中,所述外参矩阵,用于表示面结构光相机在世界坐标系下的平移和旋转信息;所述内参矩阵,用于表示所述面结构光相机的焦距和图像中心坐标。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
提取模块,用于在所述获取工件模型文件之后,从所述工件模型文件中提取工件模型的顶点信息和面片信息;
转换模块,用于将所述顶点信息和所述面片信息由文本格式转换为数组格式,得到转换后的顶点数组和面片数组;
其中,所述顶点信息包括:每个顶点的位置;所述面片信息包括:工件模型中每个面包含的顶点序号。
CN202111473316.9A 2021-12-06 2021-12-06 一种工件数据处理方法和装置 Active CN113870430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111473316.9A CN113870430B (zh) 2021-12-06 2021-12-06 一种工件数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111473316.9A CN113870430B (zh) 2021-12-06 2021-12-06 一种工件数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN113870430A CN113870430A (zh) 2021-12-31
CN113870430B true CN113870430B (zh) 2022-02-22

Family

ID=78986071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111473316.9A Active CN113870430B (zh) 2021-12-06 2021-12-06 一种工件数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN113870430B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022692A (zh) * 2022-01-06 2022-02-08 杭州灵西机器人智能科技有限公司 一种高效精确的误差数据表示方法及终端
CN114049355B (zh) * 2022-01-14 2022-04-19 杭州灵西机器人智能科技有限公司 一种散乱工件的识别标注方法、系统和装置
CN114173063B (zh) * 2022-02-11 2022-05-20 杭州灵西机器人智能科技有限公司 基于可变焦镜头的结构光相机对焦方法及结构光相机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108827184A (zh) * 2018-04-28 2018-11-16 南京航空航天大学 一种基于相机响应曲线的结构光自适应三维测量方法
CN110619601A (zh) * 2019-09-20 2019-12-27 西安知象光电科技有限公司 一种基于三维模型的图像数据集生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108242064B (zh) * 2016-12-27 2020-06-02 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
CN110634161B (zh) * 2019-08-30 2023-05-05 哈尔滨工业大学(深圳) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN113034565B (zh) * 2021-03-25 2023-07-04 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108827184A (zh) * 2018-04-28 2018-11-16 南京航空航天大学 一种基于相机响应曲线的结构光自适应三维测量方法
CN110619601A (zh) * 2019-09-20 2019-12-27 西安知象光电科技有限公司 一种基于三维模型的图像数据集生成方法

Also Published As

Publication number Publication date
CN113870430A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
US11410320B2 (en) Image processing method, apparatus, and storage medium
CN113870430B (zh) 一种工件数据处理方法和装置
US8432435B2 (en) Ray image modeling for fast catadioptric light field rendering
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质
CN107330964B (zh) 一种复杂三维物体的显示方法及系统
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
WO2010004466A1 (en) Three dimensional mesh modeling
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN113945167B (zh) 一种工件数据获取方法和装置
CN110689626A (zh) 游戏模型渲染方法和装置
JP3855053B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111951333A (zh) 六维姿态数据集自动生成方法、系统、终端以及存储介质
KR20200049337A (ko) 영상 정합 장치 및 방법
CN114913308A (zh) 摄像机跟踪方法、装置、设备及存储介质
CN113989434A (zh) 一种人体三维重建方法及设备
EP0831423B1 (en) Image generation using a light space
JP2832463B2 (ja) 3次元モデルの再構成方法および表示方法
CN116310753A (zh) 一种室外场景点云数据的矢量化骨架提取方法及系统
CN113012302B (zh) 三维全景图生成方法、装置、计算机设备和存储介质
CN114332356A (zh) 一种虚实画面结合方法和装置
JP3387900B2 (ja) 画像処理方法及び装置
JP5865092B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111462199A (zh) 基于gpu的快速散斑图像匹配方法
CN117611781B (zh) 一种实景三维模型的压平方法及装置
JP2000057376A (ja) 新視点画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant