CN107292963A - 一种三维模型的调整方法及装置 - Google Patents

一种三维模型的调整方法及装置 Download PDF

Info

Publication number
CN107292963A
CN107292963A CN201610225309.XA CN201610225309A CN107292963A CN 107292963 A CN107292963 A CN 107292963A CN 201610225309 A CN201610225309 A CN 201610225309A CN 107292963 A CN107292963 A CN 107292963A
Authority
CN
China
Prior art keywords
plane
goal
point
setting plane
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610225309.XA
Other languages
English (en)
Other versions
CN107292963B (zh
Inventor
王全占
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610225309.XA priority Critical patent/CN107292963B/zh
Priority to US16/092,655 priority patent/US10665016B2/en
Priority to PCT/CN2016/111499 priority patent/WO2017177713A1/zh
Priority to EP16898523.2A priority patent/EP3444728B1/en
Publication of CN107292963A publication Critical patent/CN107292963A/zh
Application granted granted Critical
Publication of CN107292963B publication Critical patent/CN107292963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种三维模型的调整方法及装置，方法包括：将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；判断所述网格模型中每个设定平面是否平整；针对每一不平整的目标设定平面，选取目标设定平面中的不平整点作为标志点，根据标志点及目标设定平面对应的参考平面，生成虚拟平面；将虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。应用本发明实施例，对不平整平面进行了处理，提高了视频与三维模型的融合效果；不需要对三维场景模型进行修改，降低了修改三维场景模型的人工成本和时间成本。

Description

一种三维模型的调整方法及装置
技术领域
本发明涉及视频监控技术领域，特别涉及一种三维模型的调整方法及装置。
背景技术
目前，三维监控视频已普遍应用于视频监控领域。三维监控视频能够立体、全景地展现监控区域发生的事件，实现纵览全局和细节把控的有机结合。
生成三维监控视频的方法一般包括：建立监控区域的三维场景模型；将针对该监控区域的同一时间段的各个角度的视频融合到该三维场景模型中，生成该监控区域的三维全景监控视频。
在实际应用中，经常会出现视频与三维模型融合后生成的平面不平整，导致融合效果不佳。比如，建立三维模型时，某一地面为草坪，但是拍摄视频时该地面已变成了平整的地板。这种情况下，将该三维模型与该视频融合后，该地面会非常不平整，视觉效果很差。
针对这种情况的处理办法通常是对该三维模型进行修改，以使得融合后生成的地面为平整的地面。但是，应用这种处理办法，将三维模型与不同的视频进行融合，需要经常对三维模型进行修改，而修改三维场景模型的过程很复杂，人工成本、时间成本均较高。
发明内容
本发明实施例的目的在于提供一种三维模型的调整方法及装置，在不修改三维模型的基础上，提高视频与三维模型的融合效果。
为达到上述目的，本发明实施例公开了一种三维模型的调整方法，应用于计算机，包括：
将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；
根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整；
当所述网格模型中存在不平整的目标设定平面时，针对每一所述目标设定平面，选取所述目标设定平面中的不平整点作为标志点，根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；
将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。
可选的，所述将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型，可以包括：
获取目标监控区域对应的三维模型的二维图像，及所述二维图像与深度信息的对应关系；
采用所述目标监控区域对应的二维视频中的各视频图像替换所述二维图像；
根据获取的二维图像与深度信息的对应关系，将所述深度信息添加到替换后的二维图像中，生成融合后的网格模型。
可选的，所述根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整，可以包括：
根据保存的设定平面与参考平面的对应关系，确定每个设定平面对应的参考平面；
针对每个设定平面，判断所述设定平面上的每个点与所述设定平面对应的参考平面之间的距离是否大于第一阈值，如果是，将所述点确定为不平整点；
判断所述设定平面上的不平整点的数量是否大于第二阈值，如果是，确定所述设定平面不平整。
可选的，所述选取所述目标设定平面中的不平整点作为标志点，可以包括：
在所述目标设定平面中，选取与所述目标设定平面对应的参考平面之间的距离最大的点作为标志点；
或者，
确定所述目标设定平面中的每个不平整点与所述目标设定平面对应的参考平面的距离，并计算每个距离与所述第一阈值的差；根据预先设定的每个差值区间，统计位于每个差值区间中所述不平整点的数量；识别数量最大的标志差值区间，将位于所述标志差值区间中的点作为标志点。
可选的，所述根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面，可以包括：
当所述标志点的数量为一时，生成通过所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面；
当所述标志点的数量大于一时，选取所述标志点中的任意一个，生成通过选取的所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面。
可选的，所述设定平面包括地面和/或墙面。
为达到上述目的，本发明实施例还公开了一种三维模型的调整装置，应用于计算机，包括：
融合模块，用于将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；
判断模块，用于根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整，如果是，触发选取模块；
选取模块，用于针对每一不平整的目标设定平面，选取所述目标设定平面中的不平整点作为标志点；
生成模块，用于根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；
添加保存模块，用于将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。
可选的，所述融合模块，可以包括：
获取子模块，用于获取目标监控区域对应的三维模型的二维图像，及所述二维图像与深度信息的对应关系；
替换子模块，用于采用所述目标监控区域对应的二维视频中的各视频图像替换所述二维图像；
生成子模块，用于根据获取的二维图像与深度信息的对应关系，将所述深度信息添加到替换后的二维图像中，生成融合后的网格模型。
可选的，所述判断模块，可以包括：
确定子模块，用于根据保存的设定平面与参考平面的对应关系，确定每个设定平面对应的参考平面；
第一判断子模块，用于针对每个设定平面，判断所述设定平面上的每个点与所述设定平面对应的参考平面之间的距离是否大于第一阈值，如果是，将所述点确定为不平整点；
第二判断子模块，用于判断所述设定平面上的不平整点的数量是否大于第二阈值，如果是，确定所述设定平面不平整。
可选的，所述选取模块，可以包括：
第一选取子模块，用于针对每一不平整的目标设定平面，在所述目标设定平面中，选取与所述目标设定平面对应的参考平面之间的距离最大的点作为标志点；
或者，
第二选取子模块，用于针对每一不平整的目标设定平面，确定所述目标设定平面中的每个不平整点与所述目标设定平面对应的参考平面的距离，并计算每个距离与所述第一阈值的差；根据预先设定的每个差值区间，统计位于每个差值区间中所述不平整点的数量；识别数量最大的标志差值区间，将位于所述标志差值区间中的点作为标志点。
可选的，所述生成模块，可以包括：
第一生成子模块，用于当所述标志点的数量为一时，生成通过所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面；
第二生成子模块，用于当所述标志点的数量大于一时，选取所述标志点中的任意一个，生成通过选取的所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面。
可选的，所述设定平面包括地面和/或墙面。
由上述技术方案可见，将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整；当所述网格模型中存在不平整的目标设定平面时，针对每一所述目标设定平面，选取所述目标设定平面中的不平整点作为标志点，根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。应用本发明实施例，针对视频与三维模型融合后生成的不平整平面，生成虚拟平面，将生成的虚拟平面与三维模型结合存储为调整后的三维模型；对不平整平面进行了处理，提高了视频与三维模型的融合效果；不需要对三维场景模型进行修改，降低了修改三维场景模型的人工成本和时间成本。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维模型的调整方法的流程示意图；
图2为本发明实施例提供的一种三维模型的调整装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术问题，本发明实施例提供了一种三维模型的调整方法及装置，应用于计算机。下面首先对本发明实施例提供的一种三维模型的调整方法进行详细说明。
图1为本发明实施例提供的一种三维模型的调整方法的流程示意图，包括：
S101：将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型。
具体的，本步骤中可以包括：
获取目标监控区域对应的三维模型的二维图像，及所述二维图像与深度信息的对应关系；
采用所述目标监控区域对应的二维视频中的各视频图像替换所述二维图像；
根据获取的二维图像与深度信息的对应关系，将所述深度信息添加到替换后的二维图像中，生成融合后的网格模型。
在本发明所示实施例中，假设目标监控区域对应的三维模型P中的点的坐标为(x，y，z)，获取的三维模型P的二维图像P1中的点的坐标为(x，y)，获取二维图像P1与三维模型P的深度信息P2的对应关系，深度信息P2中的点的坐标为(z)。
目标监控区域对应的二维视频Q中的各视频图像中的点的坐标均为(x，y)，将二维视频Q中的各视频图像中的点替换二维图像P1中的点，并根据二维图像P1与深度信息P2的对应关系，把深度信息P2添加到替换后的二维图像P1中，即二维视频Q中的各视频图像中，生成融合后的网格模型，该网格模型中的点坐标为(x，y，z)。
S102：根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整。如果否，执行S103；如果是，则不对所述三维模型进行调整。
具体的，本步骤中可以包括：
根据保存的设定平面与参考平面的对应关系，确定每个设定平面对应的参考平面；
针对每个设定平面，判断所述设定平面上的每个点与所述设定平面对应的参考平面之间的距离是否大于第一阈值，如果是，将所述点确定为不平整点；
判断所述设定平面上的不平整点的数量是否大于第二阈值，如果是，确定所述设定平面不平整。
所述设定平面可以包括地面和/或墙面。
在实际应用中，构建三维模型时，通常根据参考平面生成三维模型中的平面，比如根据水平参考平面生成三维模型中的地面，根据垂直参考平面生成三维模型中的墙面等等。
针对三维模型，保存了各个参考平面的位置，参考平面的位置可以以坐标的形式保存。比如该三维模型中的地面A的参考平面的Z轴坐标为10，该三维模型中的墙面B的参考平面的X轴坐标为50等等。
融合后的网格模型中保留了各个参考平面与网格模型中的设定平面的对应关系，根据该对应关系，确定每个设定平面对应的参考平面。比如，该三维模型中的地面A对应到网格模型中为地面A1，地面A1对应的参考平面仍为Z轴坐标为10的参考平面；三维模型中的墙面B对应到网格模型中为墙面B1，墙面B1对应的参考平面仍为X轴坐标为50的参考平面。
针对地面A1，判断地面A1上的每个点与Z轴坐标为10的参考平面之间的距离是否大于第一阈值。假设第一阈值为1，将与参考平面之间的距离大于1的点确定为不平整点。
假设第二阈值为5，判断地面A1上的不平整点的数量是否大于5个，如果是，确定地面A1不平整。
针对墙面B1，判断墙面B1上的每个点与X轴坐标为50的参考平面之间的距离是否大于1。将与参考平面之间的距离大于1的点确定为不平整点。
判断墙面B1上的不平整点的数量是否大于5个，如果是，确定墙面B1不平整。
S103：针对每一不平整的目标设定平面，选取所述目标设定平面中的不平整点作为标志点。
具体的，所述选取所述目标设定平面中的不平整点作为标志点，可以采用两种方式。
第一种方式，在所述目标设定平面中，选取与所述目标设定平面对应的参考平面之间的距离最大的点作为标志点。
第二种方式，确定所述目标设定平面中的每个不平整点与所述目标设定平面对应的参考平面的距离，并计算每个距离与所述第一阈值的差；根据预先设定的每个差值区间，统计位于每个差值区间中所述不平整点的数量；识别数量最大的标志差值区间，将位于所述标志差值区间中的点作为标志点。
假设地面A1上的不平整点的数量大于5个，墙面B1上的不平整点的数量小于5个，确定地面A1不平整，地面A1为目标设定平面。
假设地面A1上的不平整点的数量为6个，这6个不平整点与地面A1对应的参考平面之间的距离分别为4、4、3、7、3、4。
可以采用第一种方式，选取与地面A1对应的参考平面之间的距离为7的不平整点作为标志点。
或者，可以采用第二种方式，计算上述6个距离(4、4、3、7、3、4)与第一阈值1的差，分别为：3、3、2、6、2、3，假设预设的差值区间为0-1、2-3、4-5、6-7、8-9，统计位于每个差值区间中不平整点的数量，如表1所示：
表1
差值区间 0-1 2-3 4-5 6-7 8-9
不平整点的数量 0 5 0 1 0
识别数量最大的标志差值区间为2-3，将位于2-3的差值区间的5个点(即，与地面A1对应的参考平面之间的距离为2或3的点)作为标志点。
S104：根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面。
具体的，本步骤中可以包括：
当所述标志点的数量为一时，生成通过所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面；
当所述标志点的数量大于一时，选取所述标志点中的任意一个，生成通过选取的所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面。
在本发明所示实施例中，虚拟平面为与目标设定平面对应的参考平面平行的平面，因此，确定虚拟平面中的一个点，便可以确定虚拟平面的位置。
当只有一个标志点时，通过该标志点，可以确定虚拟平面的位置；当有多个标志点时，选取多个标志点中的任意一个，确定虚拟平面的位置。比如从上述5个标志点中任意选取一个，生成通过该选取的标志点、并与目标设定平面对应的参考平面平行的虚拟平面。
S105：将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。
生成的虚拟平面为针对二维视频Q的，并不一定适用于目标监控区域对应的其他二维视频。比如，三维模型P与二维视频Q融合后生成的网格模型中的地面A1之所以不平整，是因为三维模型P中的地面A为铺设的草坪面，但是拍摄二维视频Q时，该草坪面变成了平整的地板，草坪面上的点高低不平，因而该平面会不平整。拍摄目标监控区域对应的二维视频S时，原地面A上又重新铺设了草坪，因而，生成的虚拟平面不适用于二维视频S。
因此，将生成的虚拟平面添加到三维模型P中，只是针对二维视频Q，保存该虚拟平面在三维模型P中的位置关系，而非对三维模型进行修改。另外，针对目标监控区域对应的不同的二维视频，保存不同的虚拟平面，仅在观看该二维视频与目标监控区域对应的三维模型融合生成的全景视频时，展现该二维视频对应的虚拟平面，提高了视频与三维模型的融合效果。
在实际应用中，生成的虚拟平面可以为半透明的效果，生成的全景视频观看效果更佳。
应用本发明图1所示实施例，将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整；当所述网格模型中存在不平整的目标设定平面时，针对每一所述目标设定平面，选取所述目标设定平面中的不平整点作为标志点，根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。应用本发明实施例，针对视频与三维模型融合后生成的不平整平面，生成虚拟平面，将生成的虚拟平面与三维模型结合存储为调整后的三维模型；对不平整平面进行了处理，提高了视频与三维模型的融合效果；不需要对三维场景模型进行修改，降低了修改三维场景模型的人工成本和时间成本。
与上述的方法实施例相对应，本发明实施例还提供一种三维模型的调整装置。
图2为本发明实施例提供的一种三维模型的调整装置的结构示意图，包括：
融合模块201，用于将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；
在本发明所示实施例中，融合模块201，可以包括：获取子模块、替换子模块和生成子模块(图中未示出)，其中，
获取子模块，用于获取目标监控区域对应的三维模型的二维图像，及所述二维图像与深度信息的对应关系；
替换子模块，用于采用所述目标监控区域对应的二维视频中的各视频图像替换所述二维图像；
生成子模块，用于根据获取的二维图像与深度信息的对应关系，将所述深度信息添加到替换后的二维图像中，生成融合后的网格模型。
判断模块202，用于根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整，如果否，触发选取模块203；
在本发明所示实施例中，判断模块202，可以包括：确定子模块、第一判断子模块和第二判断子模块(图中未示出)，其中，
确定子模块，用于根据保存的设定平面与参考平面的对应关系，确定每个设定平面对应的参考平面；
第一判断子模块，用于针对每个设定平面，判断所述设定平面上的每个点与所述设定平面对应的参考平面之间的距离是否大于第一阈值，如果是，将所述点确定为不平整点；
第二判断子模块，用于判断所述设定平面上的不平整点的数量是否大于第二阈值，如果是，确定所述设定平面不平整。
选取模块203，用于针对每一不平整的目标设定平面，选取所述目标设定平面中的不平整点作为标志点；
在本发明所示实施例中，选取模块203，可以包括：
第一选取子模块，用于针对每一不平整的目标设定平面，在所述目标设定平面中，选取与所述目标设定平面对应的参考平面之间的距离最大的点作为标志点；
或者，
第二选取子模块，用于针对每一不平整的目标设定平面，确定所述目标设定平面中的每个不平整点与所述目标设定平面对应的参考平面的距离，并计算每个距离与所述第一阈值的差；根据预先设定的每个差值区间，统计位于每个差值区间中所述不平整点的数量；识别数量最大的标志差值区间，将位于所述标志差值区间中的点作为标志点。
生成模块204，用于根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；
在本发明所示实施例中，生成模块204，可以包括：第一生成子模块和第二生成子模块(图中未示出)，其中，
第一生成子模块，用于当所述标志点的数量为一时，生成通过所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面；
第二生成子模块，用于当所述标志点的数量大于一时，选取所述标志点中的任意一个，生成通过选取的所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面。
添加保存模块205，用于将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。
在本发明所示实施例中，所述设定平面包括地面和/或墙面。
应用本发明图2所示实施例，将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整；当所述网格模型中存在不平整的目标设定平面时，针对每一所述目标设定平面，选取所述目标设定平面中的不平整点作为标志点，根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。应用本发明实施例，针对视频与三维模型融合后生成的不平整平面，生成虚拟平面，将生成的虚拟平面与三维模型结合存储为调整后的三维模型；对不平整平面进行了处理，提高了视频与三维模型的融合效果；不需要对三维场景模型进行修改，降低了修改三维场景模型的人工成本和时间成本。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种三维模型的调整方法，其特征在于，应用于计算机，包括：
将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；
根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整；
当所述网格模型中存在不平整的目标设定平面时，针对每一所述目标设定平面，选取所述目标设定平面中的不平整点作为标志点，根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；
将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型，包括：
获取目标监控区域对应的三维模型的二维图像，及所述二维图像与深度信息的对应关系；
采用所述目标监控区域对应的二维视频中的各视频图像替换所述二维图像；
根据获取的二维图像与深度信息的对应关系，将所述深度信息添加到替换后的二维图像中，生成融合后的网格模型。
3.根据权利要求1所述的方法，其特征在于，所述根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整，包括：
根据保存的设定平面与参考平面的对应关系，确定每个设定平面对应的参考平面；
针对每个设定平面，判断所述设定平面上的每个点与所述设定平面对应的参考平面之间的距离是否大于第一阈值，如果是，将所述点确定为不平整点；
判断所述设定平面上的不平整点的数量是否大于第二阈值，如果是，确定所述设定平面不平整。
4.根据权利要求3所述的方法，其特征在于，所述选取所述目标设定平面中的不平整点作为标志点，包括：
在所述目标设定平面中，选取与所述目标设定平面对应的参考平面之间的距离最大的点作为标志点；
或者，
确定所述目标设定平面中的每个不平整点与所述目标设定平面对应的参考平面的距离，并计算每个距离与所述第一阈值的差；根据预先设定的每个差值区间，统计位于每个差值区间中所述不平整点的数量；识别数量最大的标志差值区间，将位于所述标志差值区间中的点作为标志点。
5.根据权利要求4所述的方法，其特征在于，所述根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面，包括：
当所述标志点的数量为一时，生成通过所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面；
当所述标志点的数量大于一时，选取所述标志点中的任意一个，生成通过选取的所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面。
6.根据权利要求1-5所述的方法，其特征在于，所述设定平面包括地面和/或墙面。
7.一种三维模型的调整装置，其特征在于，应用于计算机，包括：
融合模块，用于将目标监控区域对应的二维视频和三维模型进行融合，生成网格模型；
判断模块，用于根据保存的所述三维模型中每个参考平面的位置，判断所述网格模型中每个设定平面是否平整，如果否，触发选取模块；
选取模块，用于针对每一不平整的目标设定平面，选取所述目标设定平面中的不平整点作为标志点；
生成模块，用于根据所述标志点及所述目标设定平面对应的参考平面，生成虚拟平面；
添加保存模块，用于将所述虚拟平面添加到所述三维模型中，并针对所述二维视频保存添加了所述虚拟平面的三维模型。
8.根据权利要求7所述的装置，其特征在于，所述融合模块，包括：
获取子模块，用于获取目标监控区域对应的三维模型的二维图像，及所述二维图像与深度信息的对应关系；
替换子模块，用于采用所述目标监控区域对应的二维视频中的各视频图像替换所述二维图像；
生成子模块，用于根据获取的二维图像与深度信息的对应关系，将所述深度信息添加到替换后的二维图像中，生成融合后的网格模型。
9.根据权利要求7所述的装置，其特征在于，所述判断模块，包括：
确定子模块，用于根据保存的设定平面与参考平面的对应关系，确定每个设定平面对应的参考平面；
第一判断子模块，用于针对每个设定平面，判断所述设定平面上的每个点与所述设定平面对应的参考平面之间的距离是否大于第一阈值，如果是，将所述点确定为不平整点；
第二判断子模块，用于判断所述设定平面上的不平整点的数量是否大于第二阈值，如果是，确定所述设定平面不平整。
10.根据权利要求9所述的装置，其特征在于，所述选取模块，包括：
第一选取子模块，用于针对每一不平整的目标设定平面，在所述目标设定平面中，选取与所述目标设定平面对应的参考平面之间的距离最大的点作为标志点；
或者，
第二选取子模块，用于针对每一不平整的目标设定平面，确定所述目标设定平面中的每个不平整点与所述目标设定平面对应的参考平面的距离，并计算每个距离与所述第一阈值的差；根据预先设定的每个差值区间，统计位于每个差值区间中所述不平整点的数量；识别数量最大的标志差值区间，将位于所述标志差值区间中的点作为标志点。
11.根据权利要求10所述的装置，其特征在于，所述生成模块，包括：
第一生成子模块，用于当所述标志点的数量为一时，生成通过所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面；
第二生成子模块，用于当所述标志点的数量大于一时，选取所述标志点中的任意一个，生成通过选取的所述标志点并与所述目标设定平面对应的参考平面平行的虚拟平面。
12.根据权利要求7-11所述的装置，其特征在于，所述设定平面包括地面和/或墙面。
CN201610225309.XA 2016-04-12 2016-04-12 一种三维模型的调整方法及装置 Active CN107292963B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610225309.XA CN107292963B (zh) 2016-04-12 2016-04-12 一种三维模型的调整方法及装置
US16/092,655 US10665016B2 (en) 2016-04-12 2016-12-22 Method and device for adjusting three-dimensional model
PCT/CN2016/111499 WO2017177713A1 (zh) 2016-04-12 2016-12-22 一种三维模型的调整方法及装置
EP16898523.2A EP3444728B1 (en) 2016-04-12 2016-12-22 Method and device for adjusting three-dimensional model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610225309.XA CN107292963B (zh) 2016-04-12 2016-04-12 一种三维模型的调整方法及装置

Publications (2)

Publication Number Publication Date
CN107292963A true CN107292963A (zh) 2017-10-24
CN107292963B CN107292963B (zh) 2020-01-17

Family

ID=60042856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610225309.XA Active CN107292963B (zh) 2016-04-12 2016-04-12 一种三维模型的调整方法及装置

Country Status (4)

Country Link
US (1) US10665016B2 (zh)
EP (1) EP3444728B1 (zh)
CN (1) CN107292963B (zh)
WO (1) WO2017177713A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050128A (zh) * 2019-12-04 2020-04-21 广东康云科技有限公司 基于户外场景的视频融合方法、系统、装置和存储介质
CN112230836A (zh) * 2020-11-02 2021-01-15 网易（杭州）网络有限公司 对象的移动方法、装置、存储介质和电子装置
CN112866627A (zh) * 2019-11-28 2021-05-28 上海华为技术有限公司 一种三维视频监控方法及相关设备
CN117560578A (zh) * 2024-01-12 2024-02-13 北京睿呈时代信息科技有限公司 基于三维场景渲染且视点无关的多路视频融合方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415171B1 (en) * 1999-07-16 2002-07-02 International Business Machines Corporation System and method for fusing three-dimensional shape data on distorted images without correcting for distortion
CN1567385A (zh) * 2003-06-19 2005-01-19 邓兴峰 平面图像全景重建立体图像的方法
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
CN102147927A (zh) * 2010-02-05 2011-08-10 新奥特（北京）视频技术有限公司 一种地形纹理贴图的处理方法和处理装置
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN105096382A (zh) * 2015-07-09 2015-11-25 浙江宇视科技有限公司 一种在视频监控图像中关联真实物体信息的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047088A (en) * 1996-12-16 2000-04-04 Sharp Laboratories Of America, Inc. 2D mesh geometry and motion vector compression
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
JP3625172B2 (ja) * 2000-04-26 2005-03-02 コナミ株式会社 画像作成装置、画像作成方法、画像作成プログラムが記録されたコンピュータ読み取り可能な記録媒体およびビデオゲーム装置
US7526359B2 (en) * 2004-10-01 2009-04-28 Delphi Technologies, Inc. Enhanced digital process design methodology for process centric CAD systems
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
US8457355B2 (en) 2011-05-05 2013-06-04 International Business Machines Corporation Incorporating video meta-data in 3D models
US20130215221A1 (en) * 2012-02-21 2013-08-22 Sen Wang Key video frame selection method
CN104537043A (zh) * 2014-12-23 2015-04-22 北京超图软件股份有限公司 基于倾斜建模数据的二三维一体化方法与系统
CN104915986B (zh) 2015-06-26 2018-04-17 北京航空航天大学 一种实体三维模型自动建模方法
CN105160710A (zh) * 2015-08-28 2015-12-16 云南电网有限责任公司普洱供电局 一种动态修改三维模型的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415171B1 (en) * 1999-07-16 2002-07-02 International Business Machines Corporation System and method for fusing three-dimensional shape data on distorted images without correcting for distortion
CN1567385A (zh) * 2003-06-19 2005-01-19 邓兴峰 平面图像全景重建立体图像的方法
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
CN102147927A (zh) * 2010-02-05 2011-08-10 新奥特（北京）视频技术有限公司 一种地形纹理贴图的处理方法和处理装置
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN105096382A (zh) * 2015-07-09 2015-11-25 浙江宇视科技有限公司 一种在视频监控图像中关联真实物体信息的方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866627A (zh) * 2019-11-28 2021-05-28 上海华为技术有限公司 一种三维视频监控方法及相关设备
CN112866627B (zh) * 2019-11-28 2024-03-05 上海华为技术有限公司 一种三维视频监控方法及相关设备
CN111050128A (zh) * 2019-12-04 2020-04-21 广东康云科技有限公司 基于户外场景的视频融合方法、系统、装置和存储介质
CN112230836A (zh) * 2020-11-02 2021-01-15 网易（杭州）网络有限公司 对象的移动方法、装置、存储介质和电子装置
CN112230836B (zh) * 2020-11-02 2022-05-27 网易（杭州）网络有限公司 对象的移动方法、装置、存储介质和电子装置
CN117560578A (zh) * 2024-01-12 2024-02-13 北京睿呈时代信息科技有限公司 基于三维场景渲染且视点无关的多路视频融合方法及系统
CN117560578B (zh) * 2024-01-12 2024-04-16 北京睿呈时代信息科技有限公司 基于三维场景渲染且视点无关的多路视频融合方法及系统

Also Published As

Publication number Publication date
EP3444728A1 (en) 2019-02-20
US10665016B2 (en) 2020-05-26
EP3444728A4 (en) 2019-10-16
US20190139304A1 (en) 2019-05-09
WO2017177713A1 (zh) 2017-10-19
CN107292963B (zh) 2020-01-17
EP3444728B1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
CN107292963A (zh) 一种三维模型的调整方法及装置
DE102015011914B4 (de) Konturlinienmessvorrichtung und Robotersystem
EP2203297B1 (en) Region-based supports for parts produced by solid freeform fabrication
CN101859433B (zh) 图像拼接设备和方法
CN104850693A (zh) 一种监控设备布局方法和装置
CN111127559B (zh) 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN105205866A (zh) 基于密集点云的城市三维模型快速构建方法
CN106027962B (zh) 视频监控的覆盖率计算方法及装置、布点方法及系统
CN102385708A (zh) 用于检测差异的方法和设备
EP2609570A1 (en) Method for generating a model of a flat object from views of the object
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
Alsadik et al. Optimal camera network design for 3D modeling of cultural heritage
CN111369660A (zh) 一种三维模型的无接缝纹理映射方法
CN107481213A (zh) 显微镜下图像多层聚焦融合方法
CN105872770A (zh) 一种音量调节方法及系统
CN111091594B (zh) 多点云平面融合方法及装置
CN110415304A (zh) 一种视觉标定方法及系统
CN104537627B (zh) 一种深度图像的后处理方法
US20200408519A1 (en) 3d scene modelling system by multi-view photogrammetry
CN108564604A (zh) 基于平面约束和三角剖分的双目视觉立体匹配方法及装置
Jiao et al. Color image-guided boundary-inconsistent region refinement for stereo matching
CN107155100A (zh) 一种基于图像的立体匹配方法及装置
CN104581123A (zh) 立体影像显示系统与显示方法
Baucher et al. Defect characterization through automated laser track trace identification in SLM processes using laser profilometer data
Lhuillier Toward flexible 3d modeling using a catadioptric camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant