CN110717964A - 场景建模方法、终端及可读存储介质 - Google Patents

场景建模方法、终端及可读存储介质 Download PDF

Info

Publication number
CN110717964A
CN110717964A CN201910930065.9A CN201910930065A CN110717964A CN 110717964 A CN110717964 A CN 110717964A CN 201910930065 A CN201910930065 A CN 201910930065A CN 110717964 A CN110717964 A CN 110717964A
Authority
CN
China
Prior art keywords
scene
vertex
coordinates
acquiring
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910930065.9A
Other languages
English (en)
Other versions
CN110717964B (zh
Inventor
孔令伟
杨京城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen City Famous Polytron Technologies Inc
Original Assignee
Shenzhen City Famous Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Famous Polytron Technologies Inc filed Critical Shenzhen City Famous Polytron Technologies Inc
Priority to CN201910930065.9A priority Critical patent/CN110717964B/zh
Publication of CN110717964A publication Critical patent/CN110717964A/zh
Application granted granted Critical
Publication of CN110717964B publication Critical patent/CN110717964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects

Abstract

本申请公开了一种场景建模方法、终端和计算机可读存储介质,该场景建模方法包括对于场景进行数字化建模,获取场景模型的顶点数据;获取所述场景的全景图库;根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标;根据所述全景图库和所述UV坐标,获取渲染用的贴图;利用所述贴图对所述场景模型进行渲染,输出带材质的场景模型。本申请在对于场景进行简单建模后,利用场景的全景图在算法处理后得到模型的贴图材质,最后将贴图渲染到场景模型上,得到带材质的场景模型。整个过程基本由系统自动完成,能大幅提高建模速度和减少人力资源投入,同时全景图时场景模型的渲染结果更加真实。

Description

场景建模方法、终端及可读存储介质
技术领域
本发明涉及三维渲染领域,尤其涉及一种场景建模方法、终端及可读存储介质。
背景技术
传统的建模渲染方式中对于复杂场景的渲染需要专业的建模师进行,对于场景中的每一个模型,都需要设置材质、贴图以及光照参数,这个过程要耗费大量的时间,同时因为性能和效能的原因,渲染时无法使用光线追踪技术,导致渲染出来的模型还原度不够高。
发明内容
本发明的主要目的在于提供一种场景建模方法、终端及可读存储介质,旨在解决建模过程中渲染过程中效率低且人工投入成本大和渲染结果还原度不够的技术问题。
为实现上述目的,本发明实施例提供的一种场景建模方法,所述场景建模方法包括以下步骤:
对于场景进行数字化建模,获取场景模型的顶点数据;
获取所述场景的全景图库;
根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标;
根据所述全景图库和所述UV坐标,获取渲染用的贴图;
利用所述贴图对所述场景模型进行渲染,输出带材质的场景模型。
可选地,所述获取场景模型的顶点数据的步骤包括:
对每个所述顶点进行编号,获取所述顶点的序号;
在空间中建立三维坐标系;
根据所述三维坐标系,获取所述顶点的三维坐标。
可选地,所述获取所述场景的全景图库的步骤之后包括:
根据所述三维坐标系,获取拍摄所述全景图库中的全景图时摄像头的三维坐标。
可选地,所述根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标的步骤之前包括:
将所述场景模型的平面划分成三角形面,所述三角形面包含三个所述场景模型的顶点。
可选地,所述将所述场景模型的平面划分成三角形面的步骤之后包括:
对于每一个所述三角形面,从所述全景图库中全景图的摄像头作为起点,判断所述三角形面与所述摄像头间是否存在其他三角形面遮挡;
若不存在遮挡,则将所述三角形面与所述全景图标记为匹配状态。
可选地,所述根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标的步骤包括:
对于每个所述顶点,获取所述顶点所在的三角形面;
对于每个所述三角形面,获取匹配的全景图;
对于每个所述三角形面中的顶点,由所述顶点的三维坐标和所述匹配的全景图的摄像头的三维坐标,获取所述顶点相对于所述摄像头的方向角和下倾角;
根据所述方向角和所述下倾角,获取三角形面中的顶点的UV坐标。
可选地,所述根据所述全景图库和所述UV坐标,获取渲染用的贴图的步骤包括:
根据所述UV坐标,将所述全景图库中的全景图合成到一张图片中;
将所述图片作为渲染用的贴图。
可选地,所述利用所述贴图对所述场景进行渲染,输出带材质的场景模型的步骤包括:
根据所述贴图,获取所述顶点的最终UV坐标;
利用所述贴图和所述最终UV坐标,对于所述场景模型进行渲染;
输出带材质的场景模型。
本发明还提供一种终端,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的场景建模程序,所述场景建模程序被所述处理器执行时实现如上述的场景建模方法的步骤。
本发明还提供一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的场景建模方法的步骤。
本发明通过对于场景进行数字化建模,得到场景模型的顶点数据,然后获取所述场景的全景图库,全景图是现场设计拍摄得到的,记录了真实的光照信息,根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标,UV坐标可以把三维模型的顶点与全景图上的像素对应起来,根据所述全景图库和所述UV坐标,获取渲染用的贴图,利用所述贴图对所述场景模型进行渲染,输出带材质的场景模型。本发明只需简单的进行初始的场景建模,再利用全景图经算法处理后作为贴图材质,最后将得到的贴图渲染到模型上得到带材质的场景模型。整个建模过程大多由系统自动完成,建模的效率更高且能减少人力资源的投入,同时全景图的使用使得到的场景模型更加有真实感。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实现本发明的一种移动终端的硬件结构示意图;
图2为本发明场景建模方法第一实施例的流程示意图;
图3为本发明场景建模方法第二实施例中对图2步骤S10的细化流程图;
图4为本发明场景建模方法第三实施例中对图2步骤S30及其之前步骤的细化流程图;
图5为本发明场景建模方法第三实施例中计算顶点UV坐标的过程示意图;
图6为本发明场景建模方法第四实施例中对图2步骤S40的细化流程图;
图7为本发明场景建模方法第五实施例中对图2步骤S50的细化流程图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution,频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution,分时双工长期演进)等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
基于上述移动终端硬件结构,提出本发明各个实施例。
本发明提供一种场景建模方法。
参照图2,在场景建模方法第一实施例中,该方法包括:
步骤S10,对于场景进行数字化建模,获取场景模型的顶点数据;
这里的建模只需要对于场景整体进行简单建模,不需要在建模时单独设置模型的材质贴图。同时在建模完成后,选择一个参照点建立三维坐标系,对于模型中的每个顶点,对其进行编号,得到每个顶点对应的序号和三维坐标。参照点的选择是任意的,没有限制。这里的顶点指的是模型中的各边界点。
步骤S20,获取所述场景的全景图库;
使用手机或者其它能获取全景图的软硬件对于该场景进行拍摄,得到全景图。需要在不同的拍摄位置拍摄场景的多张全景图,组成全景图库。对于这些不同的拍摄位置,按照建立的坐标系,得到拍摄时摄像头的三维坐标,同时可以记录拍摄时主摄像头的方向角和下倾角。同时在整个场景建模的过程中,如果发现全景图库中已有的全景图无法完全对于场景模型的平面进行贴图渲染,需要获取新的全景图加入全景图库中形成新的全景图库。
步骤S30,根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标;
场景模型中的顶点根据模型中的平面可以与相邻的顶点组成三角形顶点组,三角形顶点组可以将模型中的平面划分成一个个更小的三角形面,对于模型中的一个顶点,该顶点可能会属于不同的几个三角形面。在计算顶点的UV坐标时,把位于同一个三角形面的三个顶点作为一个整体。
对于每一个三角形面,需要找到全景图库中可以用于渲染的全景图,判断三角形面与全景图是否匹配检索判断全景图拍摄时的摄像头与该三角形面之间是否存在其它三角形面的遮挡,若不存在遮挡,则该三角形面与该全景图是匹配的,将该三角形面标记为已匹配同时记录与它匹配的全景图。三角形面在与一个全景图匹配后不需要在与其他全景图匹配。如果有遮挡,则该三角形面与该全景图不匹配,需要继续与全景图库中的其他全景图进行匹配。
在所有的三角形面都存在匹配的全景图之后结束整个匹配过程。
计算UV坐标时,获取三角形面和与该三角形面匹配的全景图,三角形面包含三个不同的顶点,每个顶点有对应的三维坐标,全景图有对应的拍摄时的摄像头,摄像头也有对应的三维坐标,通过顶点的三维坐标和摄像头的三维坐标可以获得顶点的UV坐标。同一个顶点在不同的三角形面中的UV坐标可能不相同。
步骤S40,根据所述全景图库和所述UV坐标,获取渲染用的贴图;
这里的全景图库是与场景模型中的三角形面匹配的所有全景图的集合。UV坐标是指顶点在该三角形面中对应的UV坐标。对于模型的每一个三角形面,根据平面中顶点对应的UV坐标,在匹配的全景图中获取对应的图片内容,将所有三角形面对应的部分获取出来后整合到一张图片中。将整合后的图片作为后面渲染使用的贴图。
步骤S50,利用所述贴图对所述场景模型进行渲染,输出带材质的场景模型;
根据获得的贴图,对于场景模型的顶点重新获得对应的最终UV坐标。因为贴图本身是由模型中的三角形面匹配的全景图中的图片内容整合得到的,所以最终UV坐标也可以使顶点与图片中的内容建立对应关系。根据顶点的最终UV坐标与贴图的对应关系,将贴图渲染到场景模型上,得到了带材质的场景模型。
在本实施例中,通过对于场景进行数字化建模,得到场景模型的顶点数据,然后获取所述场景的全景图库,全景图是现场设计拍摄得到的,记录了真实的光照信息,根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标,UV坐标可以把三维模型的顶点与全景图上的像素对应起来,根据所述全景图库和所述UV坐标,获取渲染用的贴图,利用所述贴图对所述场景模型进行渲染,输出带材质的场景模型。本发明只有简单的进行初始的场景建模,再利用全景图经算法处理后作为贴图材质,最后将得到的贴图渲染到模型上得到带材质的场景模型。整个建模过程大多由系统自动完成,建模的效率更高且能减少人力资源的投入,同时全景图的使用使得到的场景模型更加有真实感。
进一步地,参照图2和图3,在本发明场景建模方法的第一实施例的基础上,提供场景建模方法第二实施例,在第二实施例中,
步骤S10包括:
步骤S11,对每个所述顶点进行编号,获取所述顶点的序号;
将模型中的每个顶点进行编号,并且记录每个顶点的序号,
步骤S12,在空间中建立三维坐标系;
步骤S13,根据所述三维坐标系,获取所述顶点的三维坐标;
三维坐标系的坐标原点可以任意选择,建立三维坐标系时,可以以正北方向为y轴正方向,竖直方向为z轴,并相应的可以确定x轴。根据建立的三维坐标系,获取模型中顶点的三维坐标。
步骤S20之后包括:
步骤A,根据所述三维坐标系,获取拍摄所述全景图库的全景图时摄像头的三维坐标;
拍摄不同的全景图时,摄像头的位置会发生变化,记录摄像头拍摄时的各个位置,并根据之前建立的三维坐标系获得摄像头位置的三维坐标。必要时还可以记录拍摄全景图时主摄像头的方向角和下倾角。
在本实施例中,通过建立三维坐标系,获得场景模型中顶点的三维坐标和拍摄时摄像头的三维坐标。将各种数据进行量化。
进一步地,参照图2、图4和图5,在本发明场景建模方法第二实施例的基础上,提供场景建模方法第三实施例,在第三实施例中,
步骤S30之前包括:
步骤S31,将所述场景模型的平面划分成三角形面,所述三角形面包含三个所述场景模型的顶点;
场景模型的平面可以划分成不同的三角形面,每个三角形面由模型中的三个顶点组成。对于同一个顶点,其可以属于不同的三角形面,而处于同一个三角形面的三个顶点构成三角形顶点组。
具体地,步骤S31之后包括:
步骤S32,对于每一个所述三角形面,从所述全景图库中全景图的摄像头作为起点,判断所述三角形面与所述摄像头间是否存在其他三角形面遮挡;
从全景图拍摄时的摄像头的位置作为起点,终点为三角形面对应的三个顶点,与原来的三角形面可以构成一个四面体,判断这个四面体与其他的三角形面是否存在重合的部分,存在重合的部分,则摄像头与三角形面间存在其他三角形面遮挡。
步骤S33,若不存在遮挡,则将所述三角形面与所述全景图标记为匹配状态;
该三角形面与摄像头间不存在其他三角形面遮挡,说明在摄像头拍摄全景图时获取的图片内容是该三角形面在实际场景中对应的真实材质,可以利用该全景图中对应的图片内容为三角形面进行贴图。将该三角形面的状态标记为已匹配,同时记录与该三角形面匹配的全景图。当三角形面的标记变为已匹配后,不需要在之后对于该三角形面与其他全景图进行匹配。若存在遮挡,则该三角形面与该全景图不匹配,需要新的全景图与该三角形面重新进行匹配。直到所有的三角形面的状态都被标记为已匹配才停止整个匹配过程。
具体地,步骤S30包括:
步骤S34,对于每个所述顶点,获取所述顶点所在的三角形面;
一个顶点可能包含在多个三角形面中,对于这种情况,分别计算在不同三角形面中该顶点的UV坐标。在不同的三角形面中,同一顶点的UV坐标可能不同。
步骤S35,对于每个所述三角形面,获取匹配的全景图;
通过顶点找到顶点所在的三角形面,再通过三角形面找到匹配的全景图。
步骤S36,对于每个所述三角形面中的顶点,由所述顶点的三维坐标和所述匹配的全景图的摄像头的三维坐标,获取所述顶点相对于所述摄像头的方向角和下倾角;
在计算UV坐标时,按照一个三角形面中的三个顶点作为一个整体,获取匹配的全景图,获取该全景图拍摄时摄像头的三维坐标,将顶点的三维坐标与摄像头的三维坐标进行运算后,可以得到顶点相对于摄像头的方向角和下倾角。
步骤S37,根据所述方向角和所述下倾角,获取三角形面中的顶点的UV坐标;
一般地,方向角的取值范围设定为[-180°,180°],下倾角的取值范围设定为[-90°,90°],根据方向角和下倾角的取值范围,把上一步计算获得的方向角和下倾角规化成在[0,1]间的数值,也就是顶点的UV坐标。
步骤S34到步骤S37是为了计算得到顶点的UV坐标的步骤。参考图5,从场景模型的顶点对应到全景图中的像素,从而获得顶点的UV坐标。
进一步地,在判断三角形面与全景图是否匹配的过程中,在确定三角形面与全景图是匹配的之后,可以直接按照上面的步骤获得三角形面中顶点的UV坐标,这时可以不用重复获取顶点的三维坐标和全景图的摄像头的三维坐标,一定程度上可以提升方法的处理效率。
在本实施例中,将模型中的平面划分成三角形面,三角形面中的三个顶点组成三角形顶点组,在找到与三角形面匹配的全景图,利用匹配的全景图的摄像头的三维坐标和三角形面中顶点的三维坐标获得顶点与匹配的全景图对应的UV坐标。如何获得三角形面中顶点的UV坐标是本发明的重要部分。
进一步地,参照图2和图6,在本发明场景建模方法第三实施例的基础上,提供场景建模方法第四实施例,在第四实施例中,
步骤S40包括:
步骤S41,根据所述UV坐标,将所述全景图库中的全景图合成到一张图片中;
利用三角形面中的顶点的UV坐标,获取在匹配的全景图中对应的图片内容作为该三角形面的贴图,一个顶点可以属于多个三角形面,通过顶点将一个个三角形面联系起来,确保所有的三角形面使用的全景图中的像素部分都在最终得到的图片中。
步骤S42,将所述图片作为渲染用的贴图;
重新获得的图片就是之后渲染用的贴图,每个三角形面都能在这张图片中找到对应的像素部分。
在本实施例中,通过三角形面中顶点的UV坐标,将全景图库中的所有全景图整合到一张总的图片中,得到渲染用的贴图。
进一步地,参照图2和图7,在本发明场景建模方法第四实施例的基础上,提供场景建模方法第五实施例,在第五实施例中,
步骤S50包括:
步骤S51,根据所述贴图,获取所述顶点的最终UV坐标;
在新获得的贴图中,之前的UV坐标在最终获取的贴图中可能是无法使用的,需要再根据新获得的贴图重新获得顶点最终的UV坐标。最终UV坐标依然是为了将三角形面中的顶点与贴图中的像素建立一一对应的关系。最终UV坐标利用顶点对应的像素在贴图中的位置确定。通过顶点与贴图的对应关系获得最终UV坐标,这里最终UV坐标的值域依然为[0,1]。
步骤S52,利用所述贴图和所述最终UV坐标,对于所述场景模型进行渲染;
将所述贴图按照新获得的最终UV坐标进行渲染,将三角形面中的三个顶点与贴图中对应的像素匹配,则三角形面中其他部分的贴图便自动相应对应。
步骤S53,输出带材质的场景模型;
贴图完成后,场景模型每个面便有了对应的材质。同时可以将获得的贴图和相应的顶点数据上传到服务器中,让用户端在需要的时候可以从服务器获取相应数据进行场景渲染。
在本实施例中,通过获得的贴图重新计算顶点在贴图中对应的UV坐标,然后将贴图按照UV坐标渲染到场景模型上,获得最终带材质的场景模型。
本发明移动终端和可读存储介质(即计算机可读存储介质)的具体实施方式的拓展内容与上述场景建模方法各实施例基本相同,在此不做赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (10)

1.一种场景建模方法,其特征在于,所述场景建模方法包括以下步骤:
对于场景进行数字化建模,获取场景模型的顶点数据;
获取所述场景的全景图库;
根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标;
根据所述全景图库和所述UV坐标,获取渲染用的贴图;
利用所述贴图对所述场景模型进行渲染,输出带材质的场景模型。
2.如权利要求1所述的场景建模方法,其特征在于,所述获取场景模型的顶点数据的步骤包括:
对每个所述顶点进行编号,获取所述顶点的序号;
在空间中建立三维坐标系;
根据所述三维坐标系,获取所述顶点的三维坐标。
3.如权利要求2所述的场景建模方法,其特征在于,所述获取所述场景的全景图库的步骤之后包括:
根据所述三维坐标系,获取拍摄所述全景图库中的全景图时摄像头的三维坐标。
4.如权利要求3所述的场景建模方法,其特征在于,所述根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标的步骤之前包括:
将所述场景模型的平面划分成三角形面,其中所述三角形面包含三个所述场景模型的顶点。
5.如权利要求4所述的场景建模方法,其特征在于,所述将所述场景模型的平面划分成三角形面的步骤之后包括:
对于每一个所述三角形面,从所述全景图库中全景图的摄像头作为起点,判断所述三角形面与所述摄像头间是否存在其他三角形面遮挡;
若不存在遮挡,则将所述三角形面与所述全景图标记为匹配状态。
6.如权利要求5所述的场景建模方法,其特征在于,所述根据所述全景图库中的全景图和所述顶点数据,获取所述顶点的UV坐标的步骤包括:
对于每个所述顶点,获取所述顶点所在的三角形面;
对于每个所述三角形面,获取匹配的全景图;
对于每个所述三角形面中的顶点,由所述顶点的三维坐标和所述匹配的全景图的摄像头的三维坐标,获取所述顶点相对于所述摄像头的方向角和下倾角;
根据所述方向角和所述下倾角,获取三角形面中的顶点的UV坐标。
7.如权利要求1所述的场景建模方法,其特征在于,所述根据所述全景图库和所述UV坐标,获取渲染用的贴图的步骤包括:
根据所述UV坐标,将所述全景图库中的全景图合成到一张图片中;
将所述图片作为渲染用的贴图。
8.如权利要求7所述的场景建模方法,其特征在于,所述利用所述贴图对所述场景进行渲染,输出带材质的场景模型的步骤包括:
根据所述贴图,获取所述顶点的最终UV坐标;
利用所述贴图和所述最终UV坐标,对于所述场景模型进行渲染;
输出带材质的场景模型。
9.一种终端,其特征在于,所述移动终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的场景建模程序,所述场景建模程序被所述处理器执行时实现如权利要求1至8中任一项所述的场景建模方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的场景建模方法的步骤。
CN201910930065.9A 2019-09-26 2019-09-26 场景建模方法、终端及可读存储介质 Active CN110717964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910930065.9A CN110717964B (zh) 2019-09-26 2019-09-26 场景建模方法、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910930065.9A CN110717964B (zh) 2019-09-26 2019-09-26 场景建模方法、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN110717964A true CN110717964A (zh) 2020-01-21
CN110717964B CN110717964B (zh) 2023-05-02

Family

ID=69212014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910930065.9A Active CN110717964B (zh) 2019-09-26 2019-09-26 场景建模方法、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN110717964B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112138386A (zh) * 2020-09-24 2020-12-29 网易(杭州)网络有限公司 一种体积渲染方法、装置、存储介质及计算机设备
CN112261400A (zh) * 2020-12-16 2021-01-22 首望体验科技文化有限公司 基于720度胶囊型屏幕的球幕视频流处理方法、装置及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254340A (zh) * 2011-07-29 2011-11-23 北京麒麟网信息科技有限公司 一种基于gpu加速的环境光遮挡图像绘制方法及系统
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2017088714A1 (zh) * 2015-11-25 2017-06-01 努比亚技术有限公司 移动终端及其三维形象的生成方法
CN106887033A (zh) * 2017-01-20 2017-06-23 腾讯科技(深圳)有限公司 场景的渲染方法和装置
US20180152682A1 (en) * 2016-11-29 2018-05-31 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
WO2018215502A1 (en) * 2017-05-23 2018-11-29 Koninklijke Kpn N.V. Coordinate mapping for rendering panoramic scene
CN109961498A (zh) * 2019-03-28 2019-07-02 腾讯科技(深圳)有限公司 图像渲染方法、装置、终端及存储介质
CN109993823A (zh) * 2019-04-11 2019-07-09 腾讯科技(深圳)有限公司 阴影渲染方法、装置、终端及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254340A (zh) * 2011-07-29 2011-11-23 北京麒麟网信息科技有限公司 一种基于gpu加速的环境光遮挡图像绘制方法及系统
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2017088714A1 (zh) * 2015-11-25 2017-06-01 努比亚技术有限公司 移动终端及其三维形象的生成方法
US20180152682A1 (en) * 2016-11-29 2018-05-31 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
CN106887033A (zh) * 2017-01-20 2017-06-23 腾讯科技(深圳)有限公司 场景的渲染方法和装置
WO2018215502A1 (en) * 2017-05-23 2018-11-29 Koninklijke Kpn N.V. Coordinate mapping for rendering panoramic scene
CN109961498A (zh) * 2019-03-28 2019-07-02 腾讯科技(深圳)有限公司 图像渲染方法、装置、终端及存储介质
CN109993823A (zh) * 2019-04-11 2019-07-09 腾讯科技(深圳)有限公司 阴影渲染方法、装置、终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吕伟龙;曾宪晖;孙亚旺;: "360全景视频渲染与压缩方法探索", 网络新媒体技术 *
潘亮;王海珍;: "三维实景建模技术及运用上", 影视制作 *
陈锦昌,詹伟杰,何正国: "虚拟校园中三维景物表面贴图的研究", 东华大学学报(自然科学版) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112138386A (zh) * 2020-09-24 2020-12-29 网易(杭州)网络有限公司 一种体积渲染方法、装置、存储介质及计算机设备
CN112261400A (zh) * 2020-12-16 2021-01-22 首望体验科技文化有限公司 基于720度胶囊型屏幕的球幕视频流处理方法、装置及产品
CN112261400B (zh) * 2020-12-16 2021-03-19 首望体验科技文化有限公司 基于720度胶囊型屏幕的球幕视频流处理方法、装置及产品

Also Published As

Publication number Publication date
CN110717964B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
CN108495029B (zh) 一种拍照方法及移动终端
CN108038825B (zh) 一种图像处理方法及移动终端
CN107248137B (zh) 一种实现图像处理的方法及移动终端
CN111050070B (zh) 视频拍摄方法、装置、电子设备及介质
CN107730460B (zh) 一种图像处理方法及移动终端
US11778304B2 (en) Shooting method and terminal
US20230014409A1 (en) Detection result output method, electronic device and medium
CN107566749A (zh) 拍摄方法及移动终端
CN107153500B (zh) 一种实现图像显示的方法及设备
CN109618218B (zh) 一种视频处理方法及移动终端
CN108174110B (zh) 一种拍照方法及柔性屏终端
CN111464746B (zh) 拍照方法及电子设备
CN110555815B (zh) 一种图像处理方法和电子设备
CN110602390B (zh) 一种图像处理方法及电子设备
CN110717964B (zh) 场景建模方法、终端及可读存储介质
CN111064888A (zh) 提示方法及电子设备
CN108335259B (zh) 一种图像处理方法、图像处理设备及移动终端
CN108156386B (zh) 一种全景拍照方法及移动终端
CN113888447A (zh) 一种图像处理方法、终端及存储介质
CN108063884B (zh) 一种图像处理方法及移动终端
CN108712604B (zh) 一种全景拍摄方法及移动终端
CN110012229B (zh) 一种图像处理方法和终端
CN109842722B (zh) 一种图像处理方法及终端设备
CN109194943B (zh) 一种图像处理方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant