CN111292414B - 生成物体三维图像的方法、装置、存储介质及电子设备 - Google Patents

生成物体三维图像的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111292414B
CN111292414B CN202010113749.2A CN202010113749A CN111292414B CN 111292414 B CN111292414 B CN 111292414B CN 202010113749 A CN202010113749 A CN 202010113749A CN 111292414 B CN111292414 B CN 111292414B
Authority
CN
China
Prior art keywords
straight line
target object
generating
vanishing point
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010113749.2A
Other languages
English (en)
Other versions
CN111292414A (zh
Inventor
黎晓迎
冯驰原
傅文峰
谢亚军
马倩倩
罗壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wuyi Vision digital twin Technology Co.,Ltd.
Original Assignee
Dangjia Mobile Green Internet Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dangjia Mobile Green Internet Technology Group Co ltd filed Critical Dangjia Mobile Green Internet Technology Group Co ltd
Priority to CN202010113749.2A priority Critical patent/CN111292414B/zh
Publication of CN111292414A publication Critical patent/CN111292414A/zh
Application granted granted Critical
Publication of CN111292414B publication Critical patent/CN111292414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及一种生成物体三维图像的方法、装置、存储介质及电子设备，该方法包括：根据目标物体的航拍图像获取所述目标物体的第一深度信息、节点以及第一灭点信息，所述节点包括所述目标物体的顶点；根据所述顶点得到第一直线；根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型，所述三维模型用于生成所述目标物体的三维图像，耗时较少且成本较低。

Description

生成物体三维图像的方法、装置、存储介质及电子设备
技术领域
本公开涉及计算机技术领域，具体地，涉及一种生成物体三维图像的方法、装置、存储介质及电子设备。
背景技术
现有技术中，通常采用结构光的方式生成物体的三维模型。结构光是一组由光学投射器、摄像机以及计算机组成的系统结构。光学投射器用于将一定模式的结构光投射于被测物体的表面，在被测物体的表面形成由被测物体表面形状所调制的光条三维图像。该摄像机用于采集该光条三维图像，并将该光条三维图像传送给计算机，计算机再根据该光条三维图像对该被测物体进行三维重建，得到该被测物体的三维模型。
但是，采用结构光的方式生成物体的三维模型，比较耗时且成本较高。
发明内容
本公开的目的是提供一种生成物体三维图像的方法、装置、存储介质及电子设备，以克服采用结构光的方式生成物体的三维模型，比较耗时且成本较高的问题。
为了实现上述目的，本公开第一方面提供一种生成物体三维图像的方法，包括：
根据目标物体的航拍图像获取所述目标物体的第一深度信息、节点以及第一灭点信息，所述节点包括所述目标物体的顶点；
根据所述顶点得到第一直线；
根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型，所述三维模型用于生成所述目标物体的三维图像。
可选地，所述根据所述顶点得到第一直线前，所述方法还包括：
根据所述航拍图像获取所述目标物体的边缘图；
所述根据所述顶点得到第一直线包括：
获取每两个所述顶点的连线；
根据所述边缘图获取每条连线的置信度；
将所述置信度大于或者等于第一预设置信度阈值的连线，作为所述第一直线。
可选地，在所述航拍图像中所述目标物体被遮挡物遮挡的情况下，所述节点还包括所述目标物体与所述遮挡物在所述航拍图像上的交点，所述根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型前，所述方法还包括：
根据所述交点得到第二直线；
所述根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型包括：
根据所述第一直线、所述第二直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型。
可选地，所述根据所述第一直线、所述第二直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型包括：
从所述第一直线和所述第二直线中确定冗余直线；
将所述第一直线和所述第二直线中除所述冗余直线外的直线作为目标直线；
根据所述目标直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型。
可选地，所述从所述第一直线和所述第二直线中确定冗余直线包括：
针对所述第一直线和所述第二直线中每两条相交直线，若该两条相交直线中的一条直线的置信度小于或者等于第二预设置信度阈值，且另一条直线的置信度大于或者第三预设置信度阈值，则将该两条相交直线作为所述冗余直线；其中，所述第三预设置信度阈值大于所述第二预设置信度阈值；和/或，
针对所述第一直线和所述第二直线中每两条相交直线，若该两条相交直线的夹角小于或者等于预设角度阈值且大于0，则将该两条相交直线作为所述冗余直线。
可选地，所述第一灭点信息包括灭点在所述航拍图像坐标系下的第一坐标，所述根据所述目标直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型包括：
根据所述第一坐标和拍摄所述航拍图像的摄像机的矩阵参数得到所述灭点在三维空间中的第二坐标；
根据所述第二坐标、所述目标直线以及所述第一深度信息得到所述目标物体的绝对深度；
根据所述绝对深度得到所述目标物体的三维模型。
可选地，所述根据目标物体的航拍图像获取所述目标物体的第一深度信息、节点以及第一灭点信息包括：
将所述航拍图像输入预先训练的图像信息获取模型，得到所述目标物体的第一深度信息、节点以及灭点信息。
本公开第二方面提供一种生成物体三维图像的装置，包括：
深度信息获取模块，用于根据目标物体的航拍图像获取所述目标物体的第一深度信息、节点以及第一灭点信息，所述节点包括所述目标物体的顶点；
第一直线获取模块，用于根据所述顶点得到第一直线；
三维模型生成模块，用于根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型，所述三维模型用于生成所述目标物体的三维图像。
可选地，所述装置还包括：边缘图获取模块，用于
根据所述航拍图像获取所述目标物体的边缘图；
所述第一直线生成模块用于：
获取每两个所述顶点的连线；
根据所述边缘图获取每条连线的置信度；
将所述置信度大于或者等于第一预设置信度阈值的连线，作为所述第一直线。
可选地，在所述航拍图像中所述目标物体被遮挡物遮挡的情况下，所述节点还包括所述目标物体与所述遮挡物在所述航拍图像上的交点，所述装置还包括：
第二直线生成模块，用于根据所述交点得到第二直线；
所述三维模型生成模块用于：
根据所述第一直线、所述第二直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型。
可选地，所述三维模型生成模块用于：
从所述第一直线和所述第二直线中确定冗余直线；
将所述第一直线和所述第二直线中除所述冗余直线外的直线作为目标直线；
根据所述目标直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型。
可选地，所述三维模型生成模块用于：
针对所述第一直线和所述第二直线中每两条相交直线，若该两条相交直线中的一条直线的置信度小于或者等于第二预设置信度阈值，且另一条直线的置信度大于或者第三预设置信度阈值，则将该两条相交直线作为所述冗余直线；其中，所述第三预设置信度阈值大于所述第二预设置信度阈值；和/或，
针对所述第一直线和所述第二直线中每两条相交直线，若该两条相交直线的夹角小于或者等于预设角度阈值且大于0，则将该两条相交直线作为所述冗余直线。
可选地，所述第一灭点信息包括灭点在所述航拍图像坐标系下的第一坐标，所述三维模型生成模块用于：
根据所述第一坐标和拍摄所述航拍图像的摄像机的矩阵参数得到所述灭点在三维空间中的第二坐标；
根据所述第二坐标、所述目标直线以及所述第一深度信息得到所述目标物体的绝对深度；
根据所述绝对深度得到所述目标物体的三维模型。
可选地，所述第一深度信息获取模块用于：
将所述航拍图像输入预先训练的图像信息获取模型，得到所述目标物体的第一深度信息、节点以及灭点信息。
本公开第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
本公开第四方面公开一种电子设备，包括第二方面中任一项所述的生成物体三维图像的装置。
通过上述技术方案，能够根据目标物体的航拍图像获取该目标物体的第一深度信息、节点以及第一灭点信息；根据该顶点得到第一直线；根据该第一直线、该第一深度信息以及该第一灭点信息生成该目标物体的三维模型，不需要逐点扫描物体的表面，得到多个光点，也不需要逐一计算该多个光点在三维空间中的位置，因此本公开提供的生成物体三维图像的方法避免了采用结构光的方式生成物体三维模型比较耗时的问题，并且不需要光学投射器，根据航拍图像即可生成物体的三维模型，成本较低。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种生成物体三维图像的方法的流程图；
图2是根据一示例性实施例示出的另一种生成物体三维图像的方法的流程图；
图3是根据一示例性实施例示出的一种图像信息获取模型的结构示意图；
图4是根据一示例性实施例示出的一种目标物体的航拍图像的示意图；
图5是根据一示例性实施例示出的一种图像坐标系的示意图；
图6是根据一示例性实施例示出的一种生成物体三维图像的装置的框图；
图7是根据一示例性实施例示出的另一种生成物体三维图像的装置的框图；
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
现有技术中，通常采用结构光的方式生成物体的三维模型。结构光是一组由光学投射器、摄像机以及计算机组成的系统结构。光学投射器用于将一定模式的结构光投射于被测物体的表面，在被测物体的表面形成由被测物体表面形状所调制的光条三维图像。该摄像机用于采集该光条三维图像，并将该光条三维图像传送给计算机，计算机再对该光条三维图像进行图像处理和计算，生成该被测物体的三维模型。
采用结构光生成物体三维模型的具体过程为：光学投射器例如激光器发出的光束投射到物体的表面产生一个光点，该光点经摄像机的镜头成像在摄像机的像平面上，形成一个二维点。摄像机的视线和和光学投射器发出的光束在空间中于光点处相交，因此摄像机、光学投射器以及该光点可形成三角几何约束关系。再通过标定该摄像机以及该光学投射器，即可获取该三角几何约束关系，再根据该三角几何约束关系唯一确定该光点在三维空间下的位置。光学投射器再发射光束逐点扫描物体的表面，在物体的表面产生多个光点，并采用同样的方式得到该多个光点在三维空间下的位置，进而根据该多个光点在三维空间下的位置以及该二维点生成该物体的三维模型。
但是，采用结构光的方式，需要光学投射器发射光束逐点扫描物体的表面，图像摄取以及对图像处理和计算需要的时间会随着被测物体的增大而急剧增加。并且，采用结构光的方式，需要同时采用光学投射器、摄像机以及计算机才能得到物体的三维模型，使得采用结构光的方式生成物体三维模型的成本较高。
发明人注意到这一问题，提出一种生成物体三维图像的方法，具体如下：
图1是根据一示例性实施例示出的一种生成物体三维图像的方法。如图1所示，该方法包括：
S101、根据目标物体的航拍图像获取该目标物体的第一深度信息、节点以及第一灭点信息。
在本实施例中，该节点包括该目标物体的顶点。例如，当该目标物体为正方体时，该节点即为该正方体在航拍图像中对应的正方形的四个顶点。
示例性地，该第一深度信息表示该目标物体的相对深度。该相对深度可以通过0-255的数字表示。示例性地，数字越小，该相对深度越大。
示例性地，该第一灭点信息该目标物体在该航拍图像上的灭点在该航拍图像的图像坐标系下的第一坐标。
S102、根据该顶点得到第一直线。
在本步骤中，获取每两个该顶点的连线，并将置信度大于或者等于第一预设置信度阈值的连线，作为该第一直线。
在本实施例中，每两个该顶点的连线为该目标物体的待确定边缘。若该将置信度大于或者等于第一预设置信度阈值，则该连线为该目标物体的边缘。示例性地，该第一置信度阈值在0.5-0.7之间，例如该第一置信度阈值可以为0.6。
S103、根据该第一直线、该第一深度信息以及该第一灭点信息生成该目标物体的三维模型。
在本实施例中，根据该第一灭点信息即灭点的第一坐标和拍摄该航拍图像的摄像机的矩阵参数得到该灭点在三维空间中的第二坐标，再根据该第二坐标以及该第一深度信息得到该目标物体的绝对深度，再根据该绝对深度得到该目标物体的三维模型，该三维模型用于生成该目标物体的三维图像。
采用上述方案，能够根据目标物体的航拍图像获取该目标物体的第一深度信息、节点以及第一灭点信息；根据该顶点得到第一直线；根据该第一直线、该第一深度信息以及该第一灭点信息生成该目标物体的三维模型，不需要逐点扫描物体的表面，得到多个光点，也不需要逐一计算该多个光点在三维空间中的位置，因此本公开提供的生成物体三维图像的方法避免了采用结构光的方式生成物体三维模型比较耗时的问题，并且不需要光学投射器，根据航拍图像即可生成物体的三维模型，成本较低。
下面结合图2实施例，对本公开提供的生成物体三维图像的方法作进一步详细说明。图2是根据一示例性实施例示出的另一种生成物体三维图像的方法的流程图。如图2所示，该方法包括：
S201、将目标物体的航拍图像输入预先训练的图像信息获取模型，得到该目标物体的第一深度信息、节点、第一灭点信息以及边缘图。
在本实施例中，该图像信息获取模型可以为卷积神经网络模型，该图像信息获取模型的结构如图3所示。图3是根据一示例性实施例示出的一种图像信息获取模型的结构示意图。如图3所示，该图像信息获取模型30包括特征提取子模型301、第一卷积神经网络(Convolutional Neural Networks,CNN)连接层302、第二CNN连接层303、第三CNN连接层303以及第四CNN连接层304组成。
其中，特征提取子模型301用于提取该航拍图像的特征参数。该特征提取子模型301和第一CNN连接层302用于生成该目标物体的第一深度信息，该特征提取子模型301和第二CNN连接层303用于生成该目标物体的节点，该特征提取子模型301和第三CNN连接层304用于生成该目标物体的第一灭点信息，该特征提取子模型301和第四CNN连接层305用于生成该目标物体的边缘图。该特征提取子模型301可以采用现有的用于提取特征参数的卷积神经网络模型，本实施例此处对该特征提取子模型301的结构不做具体限制。
进一步地，在本实施例中，该图像信息获取模型30的第一损失函数为第一深度信息的第二损失函数、该节点的第三损失函数、该第一灭点信息的第四损失函数以及该边缘图的第四损失函数的加权和，这样该航拍图像的各个图像信息之间能够相互约束，通过该图像信息获取模型30能够学习到该航拍图像的各个图像信息之间相互的关系，通过该图像信息获取模型30得到的该航拍图像的图像信息也会更加准确。
在本实施例中，该节点包括该目标物体的顶点。可选地，该节点还包括该目标物体与遮挡物在该航拍图像上的交点。此处结合图4进行说明。图4是根据一示例性实施例示出的一种目标物体的航拍图像的示意图。如图4所示，该目标物体41是一正方体，在该航拍图像上为正方形结构。遮挡物42部分遮挡该目标物体41，该遮挡物42在该航拍图像上为圆形结构。节点411、412、413即为该目标物体41的顶点，节点421、422即为该正方形与该圆形结构在该航拍图像上的交点。示例性地，该目标物体41的顶点还包括被遮挡物42遮挡住的第四个顶点。
示例性地，该第一深度信息表示该目标物体的相对深度。该相对深度可以通过0-255的数字表示。示例性地，数字越小，该相对深度越大。在本实施中，该第一深度信息包括该目标物体对应的各个节点的相对深度。示例性地，该第一灭点信息为该目标物体在该航拍图像上的灭点在该航拍图像的图像坐标系下的第一坐标。示例性地，该边缘图包括该目标物体的边缘所在直线上的各个点。例如，当该目标物体为正方体时，该边缘图包括该正方体的各个边上的点。
S202、根据该顶点得到第一直线。
在本步骤中，获取每两个该顶点的连线。在本实施例中，每两个该顶点的连线为该目标物体的待确定边缘。再根据边缘图中该连线对应的边缘所在直线上的各个点的置信度之和得到该连线的置信度。若该将置信度大于或者等于第一预设置信度阈值，则将该连线作为该第一直线。示例性地，该第一置信度阈值在0.5-0.7之间，例如该第一置信度阈值可以为0.6。
S203、根据该交点得到第二直线。
在本步骤中，获取每两个该交点的第一连线，以及该交点和该顶点一一相连的第二连线；再将该第一连线和该第二连线作为该第二直线。
S204、从该第一直线和该第二直线中确定冗余直线。
在本步骤中，针对该第一直线和该第二直线中每两条相交直线，若该两条相交直线中的一条直线的置信度小于或者等于第二预设置信度阈值，且另一条直线的置信度大于或者第三预设置信度阈值，则将该两条相交直线作为所述冗余直线；其中，所述第三预设置信度阈值大于所述第二预设置信度阈值；和/或，
针对该第一直线和该第二直线中每两条相交直线，若该两条相交直线的夹角小于或者等于预设角度阈值且大于0，则将该两条相交直线作为该冗余直线。
通过确定冗余直线，能够检测出错误的直线，提高准确性，并且能够减少数据的运算处理量，提高运算效率。
S205、将该第一直线和该第二直线中除该冗余直线外的直线作为目标直线。
通过从该第一直线和第二直线中去除确定冗余直线，能够提高目标直线的准确性，并且能够减少数据的运算处理量，提高运算效率。
S206、根据该第一坐标和拍摄该航拍图像的摄像机的矩阵参数得到该灭点在三维空间中的第二坐标。
在本实施例中，该摄像机的矩阵参数即为该摄像机的内部参数。示例性地，结合图5进行说明。图5是根据一示例性实施例示出的一种图像坐标系的示意图。如图5所示，(Xw，Yw，Zw)表示空间点P在三维空间中的第二坐标，(Xc，Yc，Zc)是空间点P在该摄像机坐标系中的第三坐标。该摄像机坐标系定义为：中心在Oc点(光学中心)，zc轴与光轴重合，xc轴、yc轴分别平行于X轴、Y轴。定义OXY平面为图像平面，则空间点P与图像平面间构成理想的透视对应。f为成像系统的焦距，该图像坐标系的横轴和纵轴分别为u轴和v轴，组成该图像平面的各个点即为该图像的各个像素点。即该图像坐标系中的单位是像素，且(u0，v0)为该图像的中心坐标。则该空间点P在该图像平面上对应像素点的坐标为(u，v)，即该空间点P在该图像坐标系中的第一坐标。
则空间点P的第二坐标(Xw，Yw，Zw)T和其在图像平面的像素点的第一坐标(u，v)T之间的投影关系可表示为：
Figure BDA0002390849550000121
在公式(1)中，α是任意常数，(u，v，1)T和(Xw，Yw，Zw，1)T是该第一坐标和该第二坐标对应的齐次坐标，M是3×4的投影矩阵。其中，R和T分别表示摄像机坐标系在三维空间坐标系中的旋转矩阵和平移矩阵。
Figure BDA0002390849550000122
就是该摄像机的矩阵参数，即该摄像机的内部参数。
同样地，在得知灭点在该航拍图像中的第一坐标后，再采用公式(1)即可得到该灭点在三维空间中的第二坐标。在本步骤中，通过公式(1)同样可以得到各个节点在三维空间中的第二坐标。
S207、根据该第二坐标、该目标直线以及该第一深度信息得到该目标物体的绝对深度。
在本步骤中，可以通过公式(2)计算该目标物体的绝对深度。公式(2)具体如下：
Figure BDA0002390849550000131
其中，i表示第i个灭点，Ai表示该灭点对应的目标直线的集合，u，v表示该目标直线的上的两个节点，即该目标直线是该u，v连线所在的直线。
Figure BDA0002390849550000132
表示u点的第二坐标，
Figure BDA0002390849550000133
表示v点的第二坐标。zu表示u点的绝对深度，zv表示v点的绝对深度，
Figure BDA0002390849550000134
表示灭点的第二坐标。w表示该目标直线以及该目标直线延伸线上的所有节点。zw表示w点的绝对深度。
Figure BDA0002390849550000135
表示该w点的相对深度，即w点的第一深度信息。α以及λR表示系数。又因w点在该目标直线上，因此w点的坐标满足以下公式：
w＝λu+(1-λ)v， (3)。
其中，λ大于或者等于0且小于或者等于1。
并且，在公式(2)中，满足以下条件：
zw≥1 (4)且
λzu+(1-λ)zv≤zw (5)。
在本步骤中，当公式(2)取值达到最小时，对应的各个节点的绝对深度，即为该目标物体的绝对深度。
S208、根据该绝对深度得到该目标物体的三维模型。
示例性地，在得到该目标物体的各个节点的绝对深度后，再根据该各个节点的绝对深度、该目标直线以及该各个节点的第二坐标即可对该目标物体进行三维重建，得到该目标物体的三维模型，该三维模型用于生成该目标物体的三维图像。
采用上述方案，能够将目标物体的航拍图像输入预先训练的图像信息获取模型，得到该目标物体的第一深度信息、节点、第一灭点信息以及边缘图；根据该顶点得到第一直线；根据该交点得到第二直线；根据该第一直线和该第二直线确定目标直线；根据该第一坐标和拍摄该航拍图像的摄像机的矩阵参数得到该灭点在三维空间中的第二坐标；根据该第二坐标、该目标直线以及该第一深度信息得到该目标物体的绝对深度；根据该绝对深度得到该目标物体的三维模型，该三维模型用于生成该目标物体的三维图像，本公开提供的生成物体三维图像的方法，不需要逐点扫描物体的表面，得到多个光点，也不需要逐一计算该多个光点在三维空间中的位置，因此本公开提供的生成物体三维图像的方法避免了采用结构光的方式生成物体三维模型比较耗时的问题，并且不需要光学投射器，根据航拍图像即可生成物体的三维模型，成本较低。
图6是根据一示例性实施例示出的一种生成物体三维图像的装置的框图。如图6所示，该装置60包括：
深度信息获取模块601，用于根据目标物体的航拍图像获取该目标物体的第一深度信息、节点以及第一灭点信息，该节点包括该目标物体的顶点；
第一直线获取模块602，用于根据该顶点得到第一直线；
三维模型生成模块603，用于根据该第一直线、该第一深度信息以及该第一灭点信息生成该目标物体的三维模型，该三维模型用于生成该目标物体的三维图像。
可选地，图7是根据图6实施例示出的一种生成物体三维图像的装置的框图。如图7所示，该装置60还包括：
边缘图获取模块604，用于
根据该航拍图像获取所述目标物体的边缘图；
该第一直线生成模块602用于：
获取每两个该顶点的连线；
根据该边缘图获取每条连线的置信度；
将该置信度大于或者等于第一预设置信度阈值的连线，作为该第一直线。
可选地，在该航拍图像中该目标物体被遮挡物遮挡的情况下，该节点还包括该目标物体与该遮挡物在所述航拍图像上的交点，该装置60还包括：
第二直线生成模块605，用于根据该交点得到第二直线；
该三维模型生成模块603用于：
根据该第一直线、该第二直线、该第一深度信息以及该第一灭点信息生成该目标物体的三维模型。
可选地，该三维模型生成模块603用于：
从该第一直线和该第二直线中确定冗余直线；
将该第一直线和该第二直线中除该冗余直线外的直线作为目标直线；
根据该目标直线、该第一深度信息以及该第一灭点信息生成该目标物体的三维模型。
可选地，该三维模型生成模块603用于：
针对该第一直线和该第二直线中每两条相交直线，若该两条相交直线中的一条直线的置信度小于或者等于第二预设置信度阈值，且另一条直线的置信度大于或者第三预设置信度阈值，则将该两条相交直线作为该冗余直线；其中，该第三预设置信度阈值大于该第二预设置信度阈值；和/或，
针对该第一直线和该第二直线中每两条相交直线，若该两条相交直线的夹角小于或者等于预设角度阈值且大于0，则将该两条相交直线作为该冗余直线。
可选地，该第一灭点信息包括灭点在该航拍图像坐标系下的第一坐标，该三维模型生成模块603用于：
根据该第一坐标和拍摄该航拍图像的摄像机的矩阵参数得到该灭点在三维空间中的第二坐标；
根据该第二坐标、该目标直线以及该第一深度信息得到该目标物体的绝对深度；
根据该绝对深度得到该目标物体的三维模型。
可选地，该第一深度信息获取模块601用于：
将该航拍图像输入预先训练的图像信息获取模型，得到该目标物体的第一深度信息、节点以及灭点信息。
采用上述装置，能够根据目标物体的航拍图像获取该目标物体的第一深度信息、节点以及第一灭点信息；根据该顶点得到第一直线；根据该第一直线、该第一深度信息以及该第一灭点信息生成该目标物体的三维模型，不需要逐点扫描物体的表面，得到多个光点，也不需要逐一计算该多个光点在三维空间中的位置，因此本公开提供的生成物体三维图像的装置避免了采用结构光的方式生成物体三维模型比较耗时的问题，并且不需要光学投射器，根据航拍图像即可生成物体的三维模型，成本较低。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种电子设备800的框图。如图8所示，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该电子设备800的整体操作，以完成上述的生成物体三维图像的方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的生成物体三维图像的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的生成物体三维图像的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述的生成物体三维图像的方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (9)

1.一种生成物体三维图像的方法，其特征在于，包括：
根据目标物体的航拍图像获取所述目标物体的第一深度信息、节点以及第一灭点信息，所述节点包括所述目标物体的顶点；
根据所述顶点得到第一直线；
根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型，所述三维模型用于生成所述目标物体的三维图像；
在所述航拍图像中所述目标物体被遮挡物遮挡的情况下，所述节点还包括所述目标物体与所述遮挡物在所述航拍图像上的交点，所述根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型前还包括：
根据所述交点得到第二直线，所述根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型包括，根据所述第一直线、所述第二直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述顶点得到第一直线前，所述方法还包括：
根据所述航拍图像获取所述目标物体的边缘图；
所述根据所述顶点得到第一直线包括：
获取每两个所述顶点的连线；
根据所述边缘图获取每条连线的置信度；
将所述置信度大于或者等于第一预设置信度阈值的连线，作为所述第一直线。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一直线、所述第二直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型包括：
从所述第一直线和所述第二直线中确定冗余直线；
将所述第一直线和所述第二直线中除所述冗余直线外的直线作为目标直线；
根据所述目标直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型。
4.根据权利要求3所述的方法，其特征在于，所述从所述第一直线和所述第二直线中确定冗余直线包括：
针对所述第一直线和所述第二直线中每两条相交直线，若该两条相交直线中的一条直线的置信度小于或者等于第二预设置信度阈值，且另一条直线的置信度大于或者第三预设置信度阈值，则将该两条相交直线作为所述冗余直线；其中，所述第三预设置信度阈值大于所述第二预设置信度阈值；和/或，
针对所述第一直线和所述第二直线中每两条相交直线，若该两条相交直线的夹角小于或者等于预设角度阈值且大于0，则将该两条相交直线作为所述冗余直线。
5.根据权利要求3所述的方法，其特征在于，所述第一灭点信息包括灭点在所述航拍图像坐标系下的第一坐标，所述根据所述目标直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型包括：
根据所述第一坐标和拍摄所述航拍图像的摄像机的矩阵参数得到所述灭点在三维空间中的第二坐标；
根据所述第二坐标、所述目标直线以及所述第一深度信息得到所述目标物体的绝对深度；
根据所述绝对深度得到所述目标物体的三维模型。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据目标物体的航拍图像获取所述目标物体的第一深度信息、节点以及第一灭点信息包括：
将所述航拍图像输入预先训练的图像信息获取模型，得到所述目标物体的第一深度信息、节点以及灭点信息。
7.一种生成物体三维图像的装置，其特征在于，包括：
深度信息获取模块，用于根据目标物体的航拍图像获取所述目标物体的第一深度信息、节点以及第一灭点信息，所述节点包括所述目标物体的顶点；
第一直线获取模块，用于根据所述顶点得到第一直线；
三维模型生成模块，用于根据所述第一直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型，所述三维模型用于生成所述目标物体的三维图像；
在所述航拍图像中所述目标物体被遮挡物遮挡的情况下，所述节点还包括所述目标物体与所述遮挡物在所述航拍图像上的交点，所述装置还包括：
第二直线生成模块，用于根据所述交点得到第二直线；
所述三维模型生成模块用于：
根据所述第一直线、所述第二直线、所述第一深度信息以及所述第一灭点信息生成所述目标物体的三维模型。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至6中任一项所述方法的步骤。
CN202010113749.2A 2020-02-24 2020-02-24 生成物体三维图像的方法、装置、存储介质及电子设备 Active CN111292414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113749.2A CN111292414B (zh) 2020-02-24 2020-02-24 生成物体三维图像的方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113749.2A CN111292414B (zh) 2020-02-24 2020-02-24 生成物体三维图像的方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111292414A CN111292414A (zh) 2020-06-16
CN111292414B true CN111292414B (zh) 2020-11-13

Family

ID=71028148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113749.2A Active CN111292414B (zh) 2020-02-24 2020-02-24 生成物体三维图像的方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111292414B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258567B (zh) * 2020-10-10 2022-10-11 达闼机器人股份有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583495A (zh) * 2018-11-28 2019-04-05 深圳爱莫科技有限公司 陈列图像处理方法和装置
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN102103746B (zh) * 2009-12-21 2013-02-13 云南大学 利用正四面体求解圆环点标定摄像机内参数的方法
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5210416B2 (ja) * 2011-06-13 2013-06-12 シャープ株式会社 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
WO2015017941A1 (en) * 2013-08-09 2015-02-12 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
CN103955886A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于图论和灭点检测的2d-3d图像转换方法
CN107256576A (zh) * 2017-04-21 2017-10-17 深圳市蜗牛窝科技有限公司 图片中三维场景的展示方法和装置
CN108492284B (zh) * 2018-03-12 2020-03-03 百度在线网络技术（北京）有限公司 用于确定图像的透视形状的方法和装置
CN110298370A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN109583495A (zh) * 2018-11-28 2019-04-05 深圳爱莫科技有限公司 陈列图像处理方法和装置

Also Published As

Publication number Publication date
CN111292414A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN109737974B (zh) 一种3d导航语义地图更新方法、装置及设备
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN107223269B (zh) 三维场景定位方法和装置
JP2015171077A (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
CN110361005B (zh) 定位方法、定位装置、可读存储介质及电子设备
CN111369680B (zh) 生成建筑物的三维图像的方法及装置
CN112862897B (zh) 一种基于相位移编码圆的相机离焦状态下的快速标定方法
CN109658497B (zh) 一种三维模型重建方法及装置
TWI738196B (zh) 一種圖像深度估計方法、電子設備、儲存介質
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN115035235A (zh) 三维重建方法及装置
US20230281927A1 (en) Three-dimensional point cloud densification device, three-dimensional point cloud densification method, and recording medium
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN109982055A (zh) 图像处理系统、控制装置、图像处理方法及存储介质
CN111292414B (zh) 生成物体三维图像的方法、装置、存储介质及电子设备
CN114286068A (zh) 对焦方法、装置、存储介质以及投影设备
CN116503566B (zh) 一种三维建模方法、装置、电子设备及存储介质
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
KR102399955B1 (ko) 점군 정보 생성 장치 및 방법
CN115880448B (zh) 基于双目成像的三维测量方法及装置
CN114782611B (zh) 图像处理方法、装置、存储介质和电子设备
CN111292372B (zh) 目标物体定位方法、装置、存储介质以及电子设备
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
JP2010237941A (ja) マスク画像生成装置、３次元物体モデル情報生成装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086

Patentee after: Beijing Wuyi Vision digital twin Technology Co.,Ltd.

Address before: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086

Patentee before: DANGJIA MOBILE GREEN INTERNET TECHNOLOGY GROUP Co.,Ltd.

CP01 Change in the name or title of a patent holder