CN106296800B - 信息处理方法及电子设备 - Google Patents

信息处理方法及电子设备 Download PDF

Info

Publication number
CN106296800B
CN106296800B CN201510319758.6A CN201510319758A CN106296800B CN 106296800 B CN106296800 B CN 106296800B CN 201510319758 A CN201510319758 A CN 201510319758A CN 106296800 B CN106296800 B CN 106296800B
Authority
CN
China
Prior art keywords
plane
reconstructed
color information
sampling
texture boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510319758.6A
Other languages
English (en)
Other versions
CN106296800A (zh
Inventor
林�源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201510319758.6A priority Critical patent/CN106296800B/zh
Publication of CN106296800A publication Critical patent/CN106296800A/zh
Application granted granted Critical
Publication of CN106296800B publication Critical patent/CN106296800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)

Abstract

本发明公开了一种信息处理方法,所述方法包括:对三维场景模型进行平面提取,确定待重建平面;提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;对所述纹理边界进行采样,确定所述纹理边界的采样点;依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。

Description

信息处理方法及电子设备
技术领域
本发明涉及信息处理领域,尤其涉及一种信息处理方法及电子设备。
背景技术
在现有技术中,在基于三维场景重构时,首先采用三维相机进行图像采集,在基于采集的图像进行三维重建。由于图像采集的信息包括坐标信息以及颜色信息,这样就导致信息存储量特别大。为了简化三维场景,在现有技术中,通常会采用三角形简化处理,然后利用三角形顶点的顶点颜色信息做颜色渲染,但是这样方法重建的三维场景,存在很大的失真,尤其是颜色的失真非常严重。
发明内容
有鉴于此,本发明实施例期望提供一种信息处理方法及电子设备,能够至少部分解决现有技术中三维重建的失真大的问题。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种信息处理方法,所述方法包括:
对三维场景模型进行平面提取,确定待重建平面;
提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
对所述纹理边界进行采样,确定所述纹理边界的采样点;
依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
优选地,所述对三维场景模型进行平面提取,确定待重建平面,包括:
提取所述三维场景模型中起伏度小于指定阈值的取样面;
对所述取样面进行去噪处理,以调整所述取样面中各所述空间点的坐标信息形成所述待重建平面。
优选地,所述提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上,包括:
沿所述待重建平面的法线方向,将所述取样面中的空间点投影到所述待重建平面上,形成投影点;
获取所述投影点所对应的所述空间点的颜色信息。
优选地,所述依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界,包括:
对所述颜色信息在所述待重建平面上形成的投影点,进行三角剖分,形成剖分结果;
根据所述剖分结果及各个所述投影点的颜色信息,合成所述待重建平面的纹理图;
对所述纹理图进行超像素分割,提取所述纹理边界。
优选地,所述对所述纹理边界进行采样,确定所述纹理边界的采样点,包括:
依据所述待重建平面的面积,确定分割所述纹理边界的分割间距长度;
依据所述分割间距长度,对所述纹理边界进行采样。
优选地,所述依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染,包括:
对所述采样点的颜色信息进行差分处理;
依据所述差分处理的结果,对所述纹理边界所围成的平面区域进行颜色渲染。
本发明实施例提供了一种电子设备,所述电子设备包括:
确定单元,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
优选地,所述确定单元,用于提取所述三维场景模型中起伏度小于指定阈值的取样面;及对所述取样面进行去噪处理,以调整所述取样面中各所述空间点的坐标信息形成所述待重建平面。
优选地,所述映射单元,具体用于沿所述待重建平面的法线方向,将所述取样面中的空间点投影到所述待重建平面上,形成投影点;及获取所述投影点所对应的所述空间点的颜色信息。
优选地,所述提取单元,具体用于对所述颜色信息在所述待重建平面上形成的投影点,进行三角剖分,形成剖分结果;根据所述剖分结果及各个所述投影点的颜色信息,合成所述待重建平面的纹理图;对所述纹理图进行超像素分割,提取所述纹理边界。
优选地,所述采样单元,用于依据所述待重建平面的面积,确定分割所述纹理边界的分割间距长度;及依据所述分割间距长度,对所述纹理边界进行采样。
优选地,所述渲染单元,具体用于对所述采样点的颜色信息进行差分处理;依据所述差分处理的结果,对所述纹理边界所围成的平面区域进行颜色渲染。
本发明实施例所述的信息处理方法及电子设备,在进行待重建平面的重建时,会进行颜色信息的映射,获得待重建平面的纹理边界,通过对纹理边界的采样后进行颜色渲染,这样相对于现有技术中已待重建平面的顶点的颜色信息进行渲染,显然增加了颜色渲染的依据的点的颜色信息,同时基于纹理边界进行渲染,实现了近似或相同颜色的聚类渲染,这样重建所述待重建平面得到的重建平面,具有颜色信息失真度小,重建平面与采集对象的实体平面相差小等优点。
附图说明
图1为本发明实施例所述的信息处理方法的流程示意图;
图2A为一种重建平面与原始墙面的对比示意图;
图2B为基于本发明实施例所述信息处理方法,处理后的重建平面与原始墙面的对比示意图;
图3为本发明实施例中提取纹理边界的流程示意图;
图4为本发明实施例所述的电子设备的结构示意图;
图5为本发明实施例所述的信息处理方法的另一种流程示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
方法实施例一:
如图1所示,本实施例提供一种信息处理方法,所述方法包括:
步骤S110:对三维场景模型进行平面提取,确定待重建平面;
步骤S120:提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
步骤S130:依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
步骤S140:对所述纹理边界进行采样,确定所述纹理边界的采样点;
步骤S150:依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
本实施例所述的信息处理方法,可用于进行三维场景模型的重建过程中,可应用于各种类型能够用于三维场景重建的电子设备中,如笔记本或台式电脑等。
在步骤S110中将提取三维场景中的各个取样面进行平面提取,确定待重建平面。通常所述单位场景的各个取样面可通过三维相机进行拍摄形成的,所述三维相机采集的空间点的信息包括坐标信息和颜色信息。所述坐标信息可以采用三维直角坐标系来表示,这样的话,所述坐标信息就包括相对于三维直角坐标系的三个取值。所述颜色信息可以采用红、绿及蓝色三原色来进行表示,这样的话,所述颜色信息可对应三个颜色各自的浓度取值。这三个颜色的混合后则就是该空间点被看到的颜色。
值得注意的是,本申请中所提到的平面并非数学意义上严格的无边界的平行面,而均是有边界的面,但是本申请中提到的平面内的各个点都是在同一个平面内的。
所述取样面本身可能在三维场景中可为一个平面,也有可能是一个略微有起伏的曲面,这时不管所述取样面是平面还是曲面,在步骤S120中将获取所述取样面上的各个空间点的颜色信息映射到待重建平面上。
这样的话就获得了所述待重建平面上各处对应的颜色信息。
在步骤S130中将依据所述颜色信息进行聚类等操作,确定出待重建平面上各个点的纹理信息。这样相对于现有技术中仅获取待重建平面的顶点的颜色信息,显然本实施例中所述信息处理方法,更加完整了保持了取样面的颜色信息,从而进行平面重建之后,显然会形成更逼真的重建平面。
所述纹理边界是由无数点连接而成的,在步骤S140中,将对纹理边界进行采样,确定对纹理边界采样的采样点。在步骤S150中根据采样点的颜色信息对纹理边界所围成的平面区域进行颜色渲染。
在本实施例中,所述纹理边界可能有多条或一条,在纹理边界上进行采样,相对于现有技术中仅对待重建平面进行采样,显然本实施例中所述信息处理方法,在取样面非单色平面时,一定会形成更多的采样点,而位于同一纹理边界上的点的颜色信息相近,利用这些采样点的颜色信息进行待重建平面的渲染,显然比仅利用待重建平面的边界进行渲染,颜色会更接近三维场景被采集对象的真实状况,从而能够获得更加真实的重建平面。
如图2A和图2B所示,所述原始墙面为上白下黑的墙面,图2A为利用现有技术进行重建后得到的重建后对应于所述原始墙面的重建平面1。显然重建平面1为一个灰度从上至下依次加深的灰度平面,显然失真效果严重。这是因为在现有技术中仅根据该重建平面的边界顶点对应的原始墙面的颜色信息进行采集和渲染,若采用线性差分渲染,就会形成上述失真程度大的重建平面1。
如图2B所示,若采用本实施例所述的信息处理方法,首先通过步骤S110至步骤130确定出了待重建平面的纹理边界,并根据纹理边界上采样点对应的原始墙面的颜色信息,进行分区域的渲染得到的重建后对应于所述原始前面的重建平面2的如图2B所示。比对重建平面2和原始墙面显然失真程度小。
故通过上述阐述、图2A和图2B的进行比对可知,本申请的实施例所述的信息处理方法能够大大的提升重建平面的逼真程度,减少三维重建的失真度。
方法实施例二:
如图1所示,本实施例提供一种信息处理方法,所述方法包括:
步骤S110:对三维场景模型进行平面提取,确定待重建平面;
步骤S120:提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
步骤S130:依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
步骤S140:对所述纹理边界进行采样,确定所述纹理边界的采样点;
步骤S150:依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述步骤S110包括:
提取所述三维场景模型中起伏度小于指定阈值的取样面;
对所述取样面进行去噪处理,以调整所述取样面中各所述空间点的坐标信息形成所述待重建平面。
在本实施例中所述取样面的起伏度,类似于地表面的起伏度,所述起伏度是用于表征给一个面的波动的幅度。起伏度越小表示所述取样面越接近是一个平面而非一个曲面。通常所述取样面的起伏度,可取决于所述取样面中最低洼位置的点与所述最凸出位置的点之间的距离。这个距离越大表明起伏度越大,这个距离越小表明起伏度越小。
在进行所述三维场景重建时,由于三维相机的精确度问题以及采集对象本身表面的起伏,会导致一些看似平面的物体的表面形成有一定起伏度的取样面。
故在本实施例中,进行所述待重建面确定时,会选择起伏度小于指定阈值的即可。然后通过去噪处理,调整凸起位置或低洼位置的点的坐标信息,这里的坐标信息即为所述凸起位置或所述低洼位置的空间位置信息,已使这些点的位置映射到所述待重建平面上。
具体如,通过三维相机采集了一个桌面,由于三维相机的精确度问题,导致采集的桌面有一定的起伏度,但是这个起伏度位于所述指定阀值内,在进行对应于所述桌面的平面重建时,可以通过所述去噪处理,将偏离的待重建平面的空间点通过坐标信息的调整,拉回到所述待重建平面上。
值得注意的是,这里的去噪处理从某种程度可理解为:仅对空间点的坐标信息进行调整,保留对应空间点的颜色信息。当然在出现重叠等状况时,也不排除对颜色进行更新和/或删除等处理。
综合上述,本实施例提供了一种确定待重建平面的方法,并且通过去噪处理最大化的保留了所述取样面的颜色信息,这样方便后续尽可能逼真的通过平面重建恢复采集对象的本来面貌。
方法实施例三:
如图1所示,本实施例提供一种信息处理方法,所述方法包括:
步骤S110:对三维场景模型进行平面提取,确定待重建平面;
步骤S120:提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
步骤S130:依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
步骤S140:对所述纹理边界进行采样,确定所述纹理边界的采样点;
步骤S150:依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述步骤S120可包括:
沿所述待重建平面的法线方向,将所述取样面中的空间点投影到所述待重建平面上,形成投影点;
获取所述投影点所对应的所述空间点的颜色信息。
在本实施例中通过垂直投影,将取样面中各空间点的投影到待重建平面,这样取样面上的空间点将对应于在所述待重建平面上有投影点。
这个投影点与其对应的空间点的可坐标不同,但是颜色信息相同。将所述空间点的颜色信息与所述投影点的信息保持一致,这样能够尽可能的保证所述颜色信息的不丢失,这样在进行渲染时,能够减少形成的重构平面的失真度。
本实施例在前述方法实施例的基础上,提供了一种进行颜色信息映射的方法,具有实现简便易行的优点。
方法实施例四:
如图1所示,本实施例提供一种信息处理方法,所述方法包括:
步骤S110:对三维场景模型进行平面提取,确定待重建平面;
步骤S120:提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
步骤S130:依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
步骤S140:对所述纹理边界进行采样,确定所述纹理边界的采样点;
步骤S150:依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
如图3所示,所述步骤S130可包括:
步骤S131:对所述颜色信息在所述待重建平面上形成的投影点,进行三角剖分,形成剖分结果;
步骤S132:根据所述剖分结果及各个所述投影点的颜色信息,合成所述待重建平面的纹理图;
步骤S133:对所述纹理图进行超像素分割,提取所述纹理边界。
所述三角剖分的具体操作,可以采用现有技术中对图形的三角剖分的操作,在此就不再重复了。通过三角剖分就所述待重建平面上的所处的三角形中,通常所述三角形可为对应于取样面上的空间点的三个投影点连线构成的。在具体的颜色信息的映射时,可能采集的图像对待重建平面上对应的某些点并未采集到颜色信息,这些点的颜色信息就是确实的,在本实施例中通过三角剖分,就能将这些颜色信息确实的点,划分到由对应投影点形成的三角形中,这样在进行渲染时,就能够对颜色信息确实的点采用其附近的投影点的颜色信息来进行渲染。
接下来,通过所述超像素分割就能实现了颜色信息的差异度小于一定值的投影点聚合,将被同一纹理边界所包围。在视觉信息分处理领域,图像分割(Segmentation)指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素有一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息,且一般不会破坏图像中物体的边界信息。
图像分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像),或是从图像中提取的轮廓线的集合(例如边缘检测)。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的,例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。
在本实施例中利用所述超像素分割确定出所述图像的纹理边界。
本实施例提供了一种简便且精确确定所述纹理边界的图,具有实现简便及电子设备智能性高的优点。
方法实施例五:
如图1所示,本实施例提供一种信息处理方法,所述方法包括:
步骤S110:对三维场景模型进行平面提取,确定待重建平面;
步骤S120:提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
步骤S130:依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
步骤S140:对所述纹理边界进行采样,确定所述纹理边界的采样点;
步骤S150:依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述步骤S140可包括:
依据所述待重建平面的面积,确定分割所述纹理边界的分割间距长度;
依据所述分割间距长度,对所述纹理边界进行采样。
在本实施例中将依据待重建平面的面积,确定分割所述纹理边界的分割间距长度。在本实施例中可预先存储待重建平面的面积与所述分割间隔长度的对应关系表,可通过查询所述对应关系表,确定所述分割间距长度。具体如,纹理边界的长度为10cm,若所述分割间距长度为1cm,则所述纹理边界将被分为10段,这10段的端点即可为对所述纹理边界进行采样的采样点。
本实施例中通过纹理边界的分割,确定出用于进行颜色渲染的采样点,这些采样点的颜色将为纹理边界内的平面区域的颜色渲染提供色彩依据。
本实施例提供了一种根据待重建平面的面积来进行分割间距长度的方法,若待重建平面的面积较大,可能颜色也较为丰富,这样的话,若需要细致的体现了采集对象的颜色信息,则需要提供更多的采样点,从而获得更多的颜色依据。这里的话,显然可以通过减小分割间距长度来实现。
方法实施例六:
如图1所示,本实施例提供一种信息处理方法,所述方法包括:
步骤S110:对三维场景模型进行平面提取,确定待重建平面;
步骤S120:提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
步骤S130:依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
步骤S140:对所述纹理边界进行采样,确定所述纹理边界的采样点;
步骤S150:依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述步骤S150包括:
对所述采样点的颜色信息进行差分处理;
依据所述差分处理的结果,对所述纹理边界所围成的平面区域进行颜色渲染。
在本实施例中将采样颜色信息的差分处理,通过颜色差分处理,再利用渐变处理使两个有颜色信息差异的两个点之间点利用位于这两个点之间过渡颜色来进行渲染。本实施例中的所述差分处理包括线性差分处理等。
本实施例中所述的步骤S150可包括:对每个三角形内部各点按照该三角形三个顶点的颜色及该点距三个顶点的距离,插值生成其颜色信息
本实施例中所述步骤S150中基于纹理边界及所述采样点的颜色信息,进行采用时通过差分处理,能够使颜色柔和过渡,尽可能的重建出逼真的重建平面。
设备实施例一:
如图4所示,本实施例提供一种电子设备,所述电子设备包括:
确定单元110,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元120,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元130,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元140,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元150,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
本实施例所述的电子设备可为任意能够进行信息处理的电子设备,如平板电脑、台式电脑、笔记本电脑或服务器或服务器组等结构。
在本实施例中所述电子设备的确定单元110、映射单元120、提取单元130、采样单元140以及渲染单元150对应的具体结构,都可包括具有信息处理的处理器或处理电路。所述处理器和所述处理电路可以通过可执行代码的执行,完成上述单元的功能。上述任意两个单元可以分别对应不同的处理器或处理电路,也可以集成对应相同的处理器或处理电路。当集成对应于同一个处理器或处理电路时,所述处理器或处理电路采用时分复用或并发线程的方式处理不同的单元的功能。
所述处理器可包括应用处理器AP、中央处理器CPU、微处理器MCU、数字信号处理器DSP或可编程阵列PLC等结构。所述处理电路可包括应用专用集成电路ASIC等。
本实施例所述的电子设备,通过在现有的电子设备的基础上,通过增设映射单元120等结构,获取对应于待重建平面的空间点的颜色信息,并通过提取单元130的设置,可以获得待重建平面的纹理边界,再通过采样单元140对纹理边界进行采样,并由渲染单元150根据对纹理边界的采样来进行渲染,这样能够更加逼真的形成重建平面,减少颜色信息的丢失。
本实施例所述的电子设备,能够为实现前述方法实施例所述的信息处理方法提供硬件支撑,能够达到形成失真度小的三维重建场景中的重建平面。
设备实施例二:
如图4所示,本实施例提供一种电子设备,所述电子设备包括:
确定单元110,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元120,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元130,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元140,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元150,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述确定单元110,用于提取所述三维场景模型中起伏度小于指定阈值的取样面;及对所述取样面进行去噪处理,以调整所述取样面中各所述空间点的坐标信息形成所述待重建平面。
本实施例中所述确定单元110的具体结构与前述设备实施例中所述确定单元相同或类似。在本实施例中所述确定单元110在选取或确定所述待重建平面时,是通过起伏度小于指定阈值的来确定的,这样能够减少因相机的误差以及操作误差导致原本是平面的表面被拍摄成有了一定的起伏度,且通过去噪处理,可以尽可能的保留颜色信息,能够提高待重建平面被重建之后的逼真度。
本实施例中所述起伏度及去噪处理的具体描述可以参见前述方法实施例,再此就不重复。
设备实施例三:
如图4所示,本实施例提供一种电子设备,所述电子设备包括:
确定单元110,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元120,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元130,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元140,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元150,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述映射单元120,具体用于沿所述待重建平面的法线方向,将所述取样面中的空间点投影到所述待重建平面上,形成投影点;及获取所述投影点所对应的所述空间点的颜色信息。
本实施例提供了一种所述映射单元120的映射结构,所述映射单元120通过投影的方式实现所述颜色信息的映射,具有结构简单以及实现简便的优点。
设备实施例四:
如图4所示,本实施例提供一种电子设备,所述电子设备包括:
确定单元110,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元120,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元130,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元140,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元150,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述提取单元130,具体用于对所述颜色信息在所述待重建平面上形成的投影点,进行三角剖分,形成剖分结果;根据所述剖分结果及各个所述投影点的颜色信息,合成所述待重建平面的纹理图;对所述纹理图进行超像素分割,提取所述纹理边界。
本实施例中所述提取单元130的硬件结构可参见设备实施例一,在本实施例中所述提取单元130通过三角剖分以及超像素分割等处理实现纹理边界的提取,这种提取纹理边界的提取单元130具有结构简单以及实现简便的特点。
设备实施例五:
如图4所示,本实施例提供一种电子设备,所述电子设备包括:
确定单元110,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元120,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元130,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元140,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元150,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述采样单元140,用于依据所述待重建平面的面积,确定分割所述纹理边界的分割间距长度;及依据所述分割间距长度,对所述纹理边界进行采样。
本实施例中所述采样单元140将对纹理边界进行采样,但是并非随意进行采样,而是会根据待重建平面的面积、确定分割所述纹理边界的分割间距长度后进行采样,形成所述采样点。这样的话,能够尽量的避免待重建平面被重建后颜色信息复杂的区域,失真过大的问题,提高了待重建平面重建后的逼真度。
设备实施例六:
如图4所示,本实施例提供一种电子设备,所述电子设备包括:
确定单元110,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元120,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元130,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元140,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元150,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分。
所述采样单元140,用于依据所述待重建平面的面积,确定分割所述纹理边界的分割间距长度;及依据所述分割间距长度,对所述纹理边界进行采样。
所述渲染单元150,具体用于对所述采样点的颜色信息进行差分处理;依据所述差分处理的结果,对所述纹理边界所围成的平面区域进行颜色渲染。
在本实施例中所述渲染单元150为对待重建平面进行颜色渲染的结构,在本实施例中所述渲染单元150根据采样单元140的采样点来进行颜色渲染,在渲染时若待重建平面对应的取样面的颜色较为复杂,则所述采样点将多余所述待重建平面的顶点,这样的话渲染单元150将通过三角剖分等处理,将待重建平面分为更多的区域来进行渲染,这样的话渲染区域的个数多,面积小,再利用所述差分处理进行渲染,显然能够提高渲染后的平面的颜色逼真度。
以下结合上述任意实施例提供一个具体示例:
如图5所示,本示例基于平面检测及超像素分割的三维场景模型进行操作,具体可包括:
第一步:对三维场景模型进行平面检测,获得三维场景模型的边界及三维空间方程,这样的话,会将三维场景模型中的面通过平面检测之后得到非平面结构和平面集合。所述平面集合中至少包括一个前述的待重建平面。
第二步:将提取的三维平面附近的噪声点空间点投影至相应的三维平面,并保留其颜色信息。这里的三维平面即相当于前述实施例中的待重建平面。这里的噪声空间点投影值相应的三维平面,即相当于进行前述的去噪处理,通过投影保留器颜色信息。
第三步:针对各个待重建平面,按照其法线方向进行投影,将投影点进行三角剖分。利用剖分结果及各投影点的颜色信息,通过纹理合成,合成该待重建平面的纹理图。这里的纹理图为包括上述各个纹理边界的图。
第四步:将每个平面的纹理图进行超像素分割,通过设定参数获得不同粒度的分割结果,即平面上的纹理边界。
第五步:按照待重建平面的面积,分割边界的长度,在纹理边界上进行采样,完成对该待重建平面的边界重采样。以上完成了对三维场景模型的简化。
通过上述三个步骤将完成平面结构简化。将非平面结合和平面结构进行综合处理,这样会形成如图5所示的简化后的三维场景。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种信息处理方法,所述方法包括:
对三维场景模型进行平面提取,确定待重建平面;
提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
对所述纹理边界进行采样,确定所述纹理边界的采样点;
依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分;
其中,所述依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界,包括:对所述待重建平面上的颜色信息进行聚类,确定所述待重建平面的纹理边界。
2.根据权利要求1所述的方法,其特征在于,
所述对三维场景模型进行平面提取,确定待重建平面,包括:
提取所述三维场景模型中起伏度小于指定阈值的取样面;
对所述取样面进行去噪处理,以调整所述取样面中各所述空间点的坐标信息形成所述待重建平面。
3.根据权利要求2所述的方法,其特征在于,
所述提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上,包括:
沿所述待重建平面的法线方向,将所述取样面中的空间点投影到所述待重建平面上,形成投影点;
获取所述投影点所对应的所述空间点的颜色信息。
4.根据权利要求1或2所述的方法,其特征在于,
所述依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界,包括:
对所述颜色信息在所述待重建平面上形成的投影点,进行三角剖分,形成剖分结果;
根据所述剖分结果及各个所述投影点的颜色信息,合成所述待重建平面的纹理图;
对所述纹理图进行超像素分割,提取所述纹理边界。
5.根据权利要求1所述的方法,其特征在于,
所述对所述纹理边界进行采样,确定所述纹理边界的采样点,包括:
依据所述待重建平面的面积,确定分割所述纹理边界的分割间距长度;
依据所述分割间距长度,对所述纹理边界进行采样。
6.根据权利要求1所述的方法,其特征在于,
所述依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染,包括:
对所述采样点的颜色信息进行差分处理;
依据所述差分处理的结果,对所述纹理边界所围成的平面区域进行颜色渲染。
7.一种电子设备,所述电子设备包括:
确定单元,用于对三维场景模型进行平面提取,确定待重建平面;
映射单元,用于提取所述待重建平面所对应的各空间点的颜色信息,并将所述颜色信息映射到所述待重建平面上;
提取单元,用于依据所述颜色信息的映射结果,提取所述待重建平面的纹理边界;
采样单元,用于对所述纹理边界进行采样,确定所述纹理边界的采样点;
渲染单元,用于依据所述采样点的颜色信息对所述纹理边界所围成的平面区域进行颜色渲染;其中,所述平面区域为所述待重建平面的组成部分;
其中,所述提取单元,还用于对所述待重建平面上的颜色信息进行聚类,确定所述待重建平面的纹理边界。
8.根据权利要求7所述的电子设备,其特征在于,
所述确定单元,用于提取所述三维场景模型中起伏度小于指定阈值的取样面;及对所述取样面进行去噪处理,以调整所述取样面中各所述空间点的坐标信息形成所述待重建平面。
9.根据权利要求8所述的电子设备,其特征在于,
所述映射单元,具体用于沿所述待重建平面的法线方向,将所述取样面中的空间点投影到所述待重建平面上,形成投影点;及获取所述投影点所对应的所述空间点的颜色信息。
10.根据权利要求7或8所述的电子设备,其特征在于,
所述提取单元,具体用于对所述颜色信息在所述待重建平面上形成的投影点,进行三角剖分,形成剖分结果;根据所述剖分结果及各个所述投影点的颜色信息,合成所述待重建平面的纹理图;对所述纹理图进行超像素分割,提取所述纹理边界。
11.根据权利要求7所述的电子设备,其特征在于,
所述采样单元,用于依据所述待重建平面的面积,确定分割所述纹理边界的分割间距长度;及依据所述分割间距长度,对所述纹理边界进行采样。
12.根据权利要求7所述的电子设备,其特征在于,
所述渲染单元,具体用于对所述采样点的颜色信息进行差分处理;依据所述差分处理的结果,对所述纹理边界所围成的平面区域进行颜色渲染。
CN201510319758.6A 2015-06-11 2015-06-11 信息处理方法及电子设备 Active CN106296800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510319758.6A CN106296800B (zh) 2015-06-11 2015-06-11 信息处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510319758.6A CN106296800B (zh) 2015-06-11 2015-06-11 信息处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN106296800A CN106296800A (zh) 2017-01-04
CN106296800B true CN106296800B (zh) 2020-07-24

Family

ID=57659685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510319758.6A Active CN106296800B (zh) 2015-06-11 2015-06-11 信息处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN106296800B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192208A (zh) * 2021-04-08 2021-07-30 北京鼎联网络科技有限公司 三维漫游方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
CN102708585B (zh) * 2012-05-09 2015-05-20 北京像素软件科技股份有限公司 一种渲染模型轮廓边缘的方法
CN103258344A (zh) * 2013-04-10 2013-08-21 山东华戎信息产业有限公司 一种植物三维重建中纹理的自动提取方法
CN103905812A (zh) * 2014-03-27 2014-07-02 北京工业大学 一种纹理/深度联合上采样方法
CN104915986B (zh) * 2015-06-26 2018-04-17 北京航空航天大学 一种实体三维模型自动建模方法

Also Published As

Publication number Publication date
CN106296800A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
US20180300937A1 (en) System and a method of restoring an occluded background region
EP3695384B1 (en) Point cloud meshing method, apparatus, device and computer storage media
Morell et al. Geometric 3D point cloud compression
JP6613605B2 (ja) 深度画像の深度値復元方法及びシステム
US9317970B2 (en) Coupled reconstruction of hair and skin
US11839820B2 (en) Method and apparatus for generating game character model, processor, and terminal
CN117115256A (zh) 图像处理系统
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
CN110378947B (zh) 3d模型重建方法、装置及电子设备
KR20120093063A (ko) 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들
KR20130003135A (ko) 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
US20170032580A1 (en) Edge preserving color smoothing of 3d models
DE112018006130T5 (de) Codierungsvorrichtung, codierungsverfahren, decodierungsvorrichtung und decodierungsverfahren
KR101854612B1 (ko) 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법
WO2018039936A1 (en) Fast uv atlas generation and texture mapping
CN106296800B (zh) 信息处理方法及电子设备
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
US20210241430A1 (en) Methods, devices, and computer program products for improved 3d mesh texturing
EP4040397A1 (en) Method and computer program product for producing a 3d representation of an object
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN112614190A (zh) 投影贴图的方法及装置
Gao et al. Virtual view synthesis based on DIBR and image inpainting
Lai et al. Surface-based background completion in 3D scene
RU2778288C1 (ru) Способ и устройство для определения освещенности изображения лица, устройство и носитель данных

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant