CN116563505B - 虚拟形象生成方法、装置、电子设备以及存储介质 - Google Patents
虚拟形象生成方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN116563505B CN116563505B CN202310517777.4A CN202310517777A CN116563505B CN 116563505 B CN116563505 B CN 116563505B CN 202310517777 A CN202310517777 A CN 202310517777A CN 116563505 B CN116563505 B CN 116563505B
- Authority
- CN
- China
- Prior art keywords
- flight
- observation
- information
- tour
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 63
- 238000009877 rendering Methods 0.000 claims description 76
- 230000008859 change Effects 0.000 claims description 70
- 239000000463 material Substances 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 11
- 238000004040 coloring Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种虚拟形象生成方法、装置、电子设备以及存储介质,涉及计算机技术领域,尤其涉及虚拟仿真技术领域。该虚拟形象生成方法的具体实现方案为:响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与多个观测区域对应的观测视角信息,观测视角信息指示了无人机在飞行位置点的飞行角度。对多个观测视角信息进行拟合,得到巡游路径,巡游路径指示了无人机在多个候选飞行位置点的飞行角度。按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及虚拟仿真技术领域,具体涉及一种虚拟形象生成方法、装置、电子设备以及存储介质。
背景技术
数字孪生是指在信息化平台内模拟物理实体,得到与现实场景对应的数字化虚拟形象。
随着虚拟仿真技术的发展,数字孪生平台被应用到不同领域中,例如:利用数字孪生平台生成生产管线布置的虚拟场景等。
发明内容
本公开提供了一种虚拟形象生成方法、装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种虚拟形象生成方法,包括:响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与多个观测区域对应的观测视角信息,观测视角信息指示了无人机在飞行位置点的飞行角度;对多个观测视角信息进行拟合,得到巡游路径,游路径指示了无人机在多个候选飞行位置点的飞行角度;以及按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。
根据本公开的另一方面,提供了一种虚拟形象生成装置,包括:获得模块、拟合模块和生成模块。获得模块,用于响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与多个观测区域对应的观测视角信息,观测视角信息指示了无人机在飞行位置点的飞行角度。拟合模块,用于对多个观测视角信息进行拟合,得到巡游路径,游路径指示了无人机在多个候选飞行位置点的飞行角度。生成模块,用于按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如上的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如上的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如上的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的可以应用虚拟形象生成方法及装置的示例性系统架构;
图2示意性示出了根据本公开实施例的虚拟形象生成方法的流程图;
图3示意性示出了根据本公开实施例的生成预览图像的示例示意图;
图4示意性示出了根据本公开另一些实施例的生成预览图像的示例示意图;
图5示意性示出了根据本公开实施例的生成巡游路径的示例示意图;
图6示意性示出了根据本公开实施例的生成虚拟形象的示例示意图图;
图7示意性示出了根据本公开实施例的根据飞行参数选择目标观测视角的示例示意图;
图8示意性示出了根据本公开实施例的虚拟形象生成装置的框图;以及
图9示意性示出了根据本公开实施例的适于实现虚拟形象生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
相关技术中,基于数字孪生平台在生成无人机巡游路径的虚拟形象时,一般是基于用户提出的巡游需求,例如:在巡游过程中需要经过隧道,通过不断优化代码,对巡游路线的虚拟形象进行调整。但是,由于优化虚拟形象的过程不能实时呈现给用户,因此,导致优化过程周期较长,优化效率较低。
有鉴于此,本公开实施例提供了一种虚拟形象生成方法,实现在用户针对巡游场景图像的三维坐标轴执行旋转操作时,实时生成多个观测区域的预览图像和与所述多个观测区域对应的观测视角信息。再通过对多个观测视角信息进行拟合,得到巡游路径。并按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。达到了在优化虚拟形象的过程中,通过实时生成预览图像,以便用户选择符合需求的视角信息的目的。再通过对视角信息的拟合,得到更符合用户需求的巡游路径,从而缩短了虚拟形象优化的周期,提高了虚拟形象生成效率。
图1示意性示出了根据本公开实施例的可以应用虚拟形象生成方法及装置的示例性系统架构。
需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用虚拟形象生成方法及装置的示例性系统架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的虚拟形象生成方法及装置。
如图1所示,根据该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103,网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的虚拟形象生成方法一般可以由第一终端设备101、第二终端设备102、第三终端设备103执行。相应地,本公开实施例所提供的虚拟形象生成装置也可以设置于第一终端设备101、第二终端设备102、第三终端设备103中。
或者,本公开实施例所提供的虚拟形象生成方法一般也可以由服务器105执行。相应地,本公开实施例所提供的虚拟形象生成装置一般可以设置于服务器105中。本公开实施例所提供的虚拟形象生成方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的虚拟形象生成装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
例如,在用户在针对巡游场景图像的三维坐标轴的旋转操作时,第一终端设备101、第二终端设备102、第三终端设备103可以获取用户选择的多个观测区域的预览图像和与多个观测区域对应的观测视角信息,然后将获取的多个观测视角信息发送给服务器105,由服务器105对多个观测视角信息进行拟合,得到巡游路径;按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。或者由能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群对多个观测视角信息进行拟合,并最终生成虚拟形象。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
图2示意性示出了根据本公开实施例的虚拟形象生成方法的流程图。
如图2所示,该方法包括操作S210~S230。
在操作S210,响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与多个观测区域对应的观测视角信息。
在操作S220,对多个观测视角信息进行拟合,得到巡游路径。
在操作S230,按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。
在操作S210,巡游场景图像可以是无人机需要巡游区域的三维地图图像。观测区域可以是无人机上的图像采集设备的观测视野区域,该观测视野区域可以是根据图像采集设备的参数、无人机的飞行位置和飞行角度确定的。因此,与每一个观测区域可以对应一个观测视角信息,该观测视角信息指示了无人机在飞行位置点的飞行角度。
根据本公开的实施例,观测视角信息可以包括由飞行位置点的三维坐标和每一个坐标轴相对于目标对象的旋转角度。其中,飞行位置点的三维坐标表征飞行位置点的信息,每一个坐标轴相对于目标对象的旋转角度表征无人机的飞行角度的信息。
根据本公开的实施例,预览图像可以是与观测视角信息对应的观测区域内的目标对象的图像。
例如:目标对象可以是某建筑物,初始无人机位于某建筑物第10层区域的正前方,此时,无人机的观测区域是某建筑物第10层区域的正面区域。此时,巡游场景图像的三维坐标轴的旋转角度均为0。因此,初始观测视角信息可以是(x0,y0,z0,0°,0°,0°)。当在保持x轴、y轴不变的情况下,将z轴向右侧旋转90度,无人机的观测区域变为某建筑物第10层区域的侧面区域,生成某建筑物第10层区域的侧面区域的预览图像和与该侧面区域对应的观测视角信息。进行旋转操作之后的观测视角信息可以是(x0,y0,z0,0°,0°,90°)。
根据本公开的实施例,通过不断对巡游场景图像的三维坐标轴的旋转操作,生成不同观测区域的预览图像,并将符合用户需求的预览图像以及对应的观测视角信息进行存储,得到多个观测视角信息。
根据本公开的实施例,每一个观测视角信息指示了无人机在一个飞行位置点处的飞行角度。通过对多个观测视角的信息进行拟合,可以得到观测视角变化曲线,即巡游路径。巡游路径指示了无人机在多个候选飞行位置点的飞行角度。
例如:用户通过预览图像选择的符合需求的观测视角信息可以包括:观测视角Va1、观测视角Va2、…观测视角Va8,可以将上述8个观测视角作为离散点组,用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系,得到观测视角变化曲线,即得到巡游路径。
根据本公开的实施例,按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。虚拟形象可以表征无人机在虚拟巡游场景的飞行过程中采集到的动态视频。
根据本公开的实施例,预定播放模式可以对应无人机的飞行模式,例如:匀时飞行模式和匀速飞行模式。匀时飞行模式表征无人机的匀变速飞行模式。
例如:预定播放模式可以是0.5s/帧的速度播放与巡游路径中的每一个观测视角对应的每一帧图像,得到无人机在虚拟巡游场景的飞行过程中采集到的动态视频。
根据本公开的实施例,在用户针对巡游场景图像的三维坐标轴执行旋转操作时,实时生成多个观测区域的预览图像和与所述多个观测区域对应的观测视角信息。再通过对多个观测视角信息进行拟合,得到巡游路径。并按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。达到了在优化虚拟形象的过程中,通过实时生成预览图像,以便用户选择符合需求的视角信息的目的。再通过对视角信息的拟合,得到更符合用户需求的巡游路径,从而缩短了虚拟形象优化的周期,提高了虚拟形象生成效率。
根据本公开的实施例,上述操作S210可以包括如下操作:响应于针对巡游场景图像的三维坐标轴的旋转操作,获取三维坐标轴的多个旋转角度和多个旋转位置,多个旋转角度和多个旋转位置一一对应。根据多个旋转角度和多个旋转位置,得到多个观测视角信息。按照多个观测视角信息对巡游场景图像的目标对象进行渲染,生成多个观测区域的预览图像。
根据本公开的实施例,在对巡游场景图像的三维坐标轴进行旋转操作是,无人机的图像采集设备的观测位置发生变化。
例如:当对巡游场景图像的三维坐标轴进行旋转操作时,无人机的图像采集设备的观测区域由A区域变更至B区域。无人机的图像采集设备的观测位置与无人机的飞行位置和飞行角度存在关联关系。
根据本公开的实施例,根据多个旋转角度和多个旋转位置,得到多个观测视角信息,可以包括如下操作:根据多个旋转角度,确定无人机相对于目标对象的飞行角度。根据多个旋转位置,确定无人机的飞行位置。根据飞行位置和飞行角度,确定无人机的观测视角信息。
根据本公开的实施例,旋转角度可以包括x轴的旋转角度、y轴的旋转角度和z轴的旋转角度。可以以巡游场景图像中的目标对象为参照物,则根据三维坐标轴的旋转角度,可以确定无人机相对于目标对象的飞行角度。例如:三维坐标轴的旋转角度可以是(0,45,0),可以确定无人机相对于目标对象的向上飞行角度为45°。
根据本公开的实施例,旋转位置可以包括x轴坐标、y轴坐标和z轴坐标。例如:根据旋转位置,可以确定无人机相对于目标对象的向上飞行角度为45°时的飞行位置,该飞行位置中可以包括无人机飞行的经纬度信息和高度信息。
根据本公开的实施例,根据飞行位置和飞行角度,可以得到与当前观测区域对应的观测视角信息(x1,y1,z1,0°,45°,0°)。
图3示意性示出了根据本公开实施例的生成预览图像的示例示意图。
如图3所示,在实施例300中,根据多个旋转角度3101可以得到无人机相对于目标对象的多个飞行角度3103。根据多个旋转位置3102可以得到无人机的飞行位置3104。根据无人机相对于目标对象的多个飞行角度3103和无人机的飞行位置3104,得到多个观测视角信息3105。根据多个观测视角信息3105得到多个观测区域3106。根据多个观测区域3106从巡游场景图像3107中确定目标对象的素材图像3108和目标对象与无人机的相对位置关系3109。最后,根据目标对象的素材图像3108和目标对象与无人机的相对位置关系3109,生成预览图像3110。
根据本公开的实施例,通过对巡游场景图像的三维坐标轴进行旋转操作,模拟无人机飞行位置和飞行角度的变化,实时生成不同观测区域的预览图像,以便用户实时选择符合其需求的观测视角,增加了用户在虚拟形象生成过程中的参与度。在提升用户体验的同时,还可以提高虚拟形成生成结果的用户满意度,减少虚拟形象优化调整的次数。
根据本公开的实施例,按照多个观测视角信息对巡游场景图像的目标对象进行渲染,生成多个观测区域的预览图像,可以包括如下操作:根据多个观测视角信息和无人机的图像采集参数,确定多个观测区域。根据多个观测区域,从巡游场景图像中得到目标对象的素材图像和目标对象与无人机的相对位置关系。根据相对位置关系,对目标对象的素材图像进行渲染,得到预览图像。
根据本公开的实施例,无人机的图像采集参数可以包括视锥体的垂直视野角度、视锥体的长宽比、视锥体的近端面参数、视锥体的远端面参数。根据无人机的图像采集参数,可以生成用于图像采集的视锥体。
根据本公开的实施例,根据观测视角信息,可以得到无人机的飞行角度和飞行位置,可以确定无人机上的图像采集设备相对于目标对象的视锥体的视野区域,即观测区域。
根据本公开的实施例,根据观测区域,可以从巡游场景图像中得到位于观测区域内的目标对象的素材图像。目标对象可以包括建筑物B1和建筑物B2,当观测视角发生变化时,观测区域发生变化,观测区域内的目标对象的数量和/或目标对象的展示图像也可以发生变化。
例如:在巡游场景图像中,建筑物B1和建筑物B2可以平行排列,且建筑物B1和建筑物B2的体积相同。当无人机的观测区域为建筑物B1和建筑物B2的正面时,观测区域内的目标对象的数量可以是2,即在观测区域内可以同时观测到建筑物B1和建筑物B2。目标对象的展示图像可以是建筑物B1和建筑物B2的正面图像。当无人机的观测区域为建筑物B1的左侧面时,观测区域内的目标对象的数量是1,即在观测区域内仅能观测到建筑物B1,不能观测到建筑物B2。目标对象的展示图像可以是建筑物B1的左视图。
根据本公开的实施例,根据相对位置关系,对目标对象的素材图像进行渲染,得到预览图像,可以包括如下操作:根据相对位置关系,确定目标对象的预览区域。根据预览区域,从目标对象的素材图像中确定渲染位置点。按照渲染位置点,对素材图像进行渲染,得到预览图像。
根据本公开的实施例,无人机与目标对象的相对位置关系可以表征无人机上的图像采集设备与目标对象的相对位置关系。不同的相对位置关系可以对应不同的目标对象的预览区域。
例如:目标对象可以是一个长方体状的建筑物,当无人机位于建筑物的正面时,预览区域则是建筑物的主视图的区域。当无人机位于建筑物的左侧面时,预览区域则是建筑物的左视图的区域。
根据本公开的实施例,根据预览区域,可以从目标对象的素材图像中确定渲染位置点。
例如:当预览区域为建筑物的主视图的区域,可以从目标对象的素材图像中先确定建筑物的主视图,再将主视图上的点确定为渲染位置点。
根据本公开的实施例,按照渲染位置点,对素材图像进行渲染,得到预览图像,可以包括如下操作:根据渲染位置点和素材图像,得到待渲染图像元素。对待渲染图像元素进行处理,生成预览图像。
根据本公开的实施例,对待渲染图像元素进行处理,生成预览图像,可以包括如下操作:对待渲染图像元素进行光栅化处理,得到目标像素点的位置信息和目标像素点的候选颜色信息。按照候选颜色信息,对目标像素点进行着色处理,得到目标像素点的颜色信息。根据目标像素点的位置信息和目标像素点的颜色信息,生成预览图像。
根据本公开的实施例,按照渲染位置点,可以利用WebGL(Web Graphics Library)3D图形渲染技术对素材图像进行渲染。
例如:渲染位置点的信息可以包括位置坐标、法线信息、颜色信息和纹理坐标等。将渲染位置点的信息输入顶点着色模块,顶点着色模块可以对渲染位置点的信息进行变换,例如:平移、旋转和缩放,以使渲染位置点从素材图像的模型空间变换到裁剪空间,输出顶点数据。
然后,将顶点数据输入图元装配模块,利用图元装配模块将顶点数据组成任意形状的待渲染图像元素。例如:三角形、线段或点。
再将待渲染图像元素输入光栅化处理模块,对待渲染图像元素进行裁剪、投影、透视等操作,以使的3D图像元素映射到2D像素空间上,得到2D像素空间内的像素点。每个像素点可以包括像素点位置信息和像素点的候选颜色信息。
然后,将2D像素空间内的像素点输入片元着色模块,片元着色模块可以根据每个像素点的候选颜色信息,按照预定的执行逻辑计算得到每个像素点的最终颜色信息,并对每个像素点按照最终颜色信息进行着色处理,以实现每个像素点的光照、纹理映射、阴影等效果。
最后,将上述像素点经过深度测试、模板测试、像素混合等操作,筛选得到目标像素点。并根据目标像素点的位置信息和目标像素点的颜色信息,生成预览图像。
图4示意性示出了根据本公开另一些实施例的生成预览图像的示例示意图。
如图4所示,在实施例400中,根据目标对象与无人机的相对位置关系4101确定目标对象的预览区域4102。根据目标对象的预览区域4102,从目标对象的素材图像4103中确定渲染位置点4104。根据渲染位置点4104和目标对象的素材图像4103,得到待渲染图像元素4105。对待渲染图像元素4105进行光栅化处理,得到目标像素点的位置信息4106和目标像素点的候选颜色信息4107。再根据目标像素点的候选颜色信息对目标像素点进行着色处理,得到目标像素点的颜色信息4108。最后,根据目标像素点的位置信息4106和目标像素点的颜色信息4108,生成预览图像4109。
根据本公开的实施例,通过对观测区域内的目标对象进行实时渲染,生成不同观测视角的预览图像,以便向用户直观地呈现出不同观测视角的巡游效果。
由于在针对巡游场景图像的三维坐标轴的旋转操作中得到的多个观测区域对应的视角信息,是离散飞行位置的观测视角。因此,需要对离散的多个观测视角信息进行拟合,才能得到连续多个飞行位置的观测视角。
例如:对多个观测视角信息进行拟合,得到巡游路径,可以包括如下操作:根据多个观测视角信息,得到观测视角的散点序列。对散点序列进行拟合,得到观测视角变化曲线。根据观测视角变化曲线,得到无人机在巡游过程中连续多个飞行位置点的飞行角度。根据连续多个飞行位置点的飞行角度,得到巡游路径。
根据本公开的实施例,数据拟合的方式可以包括多种,例如:线性拟合、曲线拟合等。可以通过选择不同的拟合方式,确定拟合曲线类型。拟合曲线类型可以包括线性拟合和非线性拟合。
例如:非线性拟合的拟合算法可以包括以下任意一种:最小二乘法、梯度下降法(Gradient Descent)、高斯-牛顿法(Gauss-Newton),以及将梯度下降法与高斯-牛顿法结合的Levenberg-Marquardt(LM)算法。
根据本公开的实施例,按照目标拟合算法,对散点序列进行拟合,可以得到观测视角变化曲线。由于每一个观测视角信息中既包括飞行位置,又包括飞行角度,因此,可以根据观测视角变化曲线,得到无人机在巡游过程中连续多个飞行位置点的飞行角度。
根据本公开的实施例,通过对离散的多个观测区域的观测视角信息进行拟合,得到巡游路径。由于每一个观测区域的视角信息均是由用户通过查看预览图像确定的,因此,对多个观测视角信息拟合得到的巡游路径符合用户需求的几率更高,从而可以减少修改或优化巡游路径的次数。
但是,在实际应用过程中,由于观测区域是由无人机的飞行位置和飞行角度确定的,但是,在用户根据预览图像选择观测视角时,并没有考虑无人机本身是否能够达到所需变化的飞行角度。
因此,可以通过设定不同无人机机型的飞行阈值,对拟合得到的连续多个飞行角度进行判断,在确定该机型的无人机可以满足视角变化所需的飞行角度变化时,再根据连续多个飞行位置点的飞行角度,得到巡游路径。
根据本公开的实施例,根据连续多个飞行位置点的飞行角度,得到巡游路径,可以包括如下操作:根据连续多个飞行位置点的飞行角度,确定相邻飞行位置点的飞行角度变化信息。在确定飞行角度变化信息小于等于预定阈值的情况下,根据连续多个飞行位置点的飞行角度,得到巡游路径。
根据本公开的实施例,预定阈值可以表示相邻位置点的飞行角度的变化阈值。
例如:飞行位置点Sa的飞行角度可以是Aa,与飞行位置点相邻的飞行位置点Sb的飞行角度可以是Ab。相邻位置点的飞行角度的变化阈值可以是β。当相邻飞行位置点的飞行角度差的绝对值小于等于变化阈值β的情况下,可以根据连续多个飞行位置点的飞行角度,得到巡游路径。否则,需要重新通过针对巡游场景图像的旋转操作,选择观测视角信息。
根据本公开的实施例,不同机型的无人机的相邻位置点的飞行角度的变化阈值一般是不同的,因此,可以根据无人机的机型配置不同的预订阈值。
图5示意性示出了根据本公开实施例的生成巡游路径的示例示意图。
如图5所示,在实施例500中,预览图像P1~预览图像P8依次对应视角信息An1521_1~视角信息An8521_8。根据视角信息An1521_1~视角信息An8521_8,得到散点序列522。对散点序列进行拟合,得到观测视角变化曲线523。根据观测视角变化曲线523,得到无人机在巡游过程中连续多个飞行位置点的飞行角度524。根据连续多个飞行位置点的飞行角度524得到相邻飞行位置点的飞行角度变化信息525。确定相邻飞行位置点的飞行角度变化是否小于等于预定阈值526,若是,则根据连续多个飞行位置点的飞行角度524生成巡游路径527。若不是,则生成提示信息,以提示用户重新选择观测视角。
根据本公开的实施例,根据相邻位置点的飞行角度的变化阈值,可以初步判断当前的无人机机型能够在实际场景中完成目前巡游路径中的飞行动作,减少了因无人机自身参数的限制,不断对巡游路径执行的优化调整操作。
根据本公开的实施例,上述S230可以包括如下操作:根据巡游路径,确定观测区域序列。根据观测区域序列,对巡游场景图像的目标对象进行渲染,生成巡游图像序列。按照预定播放模式对巡游图像序列进行处理,生成虚拟形象。
根据本公开的实施例,根据观测区域序列,对巡游场景图像的目标对象进行渲染,生成巡游图像序列,可以包括如下操作:根据观测区域序列,从巡游场景图像中得到目标对象的素材图像序列和目标对象与无人机的相对位置关系序列。根据相对位置关系序列,依次对目标对象的素材图像序列中的每一个素材图像进行渲染,生成巡游图像序列。
根据本公开的实施例,巡游路径可以用无人机飞行位置与飞行角度的映射列表表示。在映射列表中的每一组数据可以对应一个观测区域,因此,可以根据巡游路径,得到观测区域序列。
根据本公开的实施例,可以针对每一个观测区域,从巡游场景图像中得到目标对象的素材图像和目标对象与无人机的相对位置关系。并根据相对位置关系,对目标对象的素材图像序列中的每一个素材图像进行渲染,生成与该观测区域对应的巡游图像,进而得到巡游图像序列。
根据本公开的实施例,渲染巡游图像的过程与渲染预览图像的过程是相同的,在此不做赘述。
根据本公开的实施例,巡游图像序列中可以包括多个图像帧,每一个图像帧对应巡游路径中一个飞行位置点的观测区域内的巡游图像。预定播放模式可以是对多个图像帧的播放模式,例如:可以是匀速播放。按照预定播放模式,按顺序播放巡游图像序列,生成无人机在虚拟巡游场景中飞行的巡游视频的虚拟形象。
图6示意性示出了根据本公开实施例的生成虚拟形象的示例示意图图。
如图6所示,在实施例600中,根据巡游路径631可以得到观测区域序列633。根据观测区域序列633和巡游场景图像632可以得到目标对象的素材图像序列634和目标对象与无人机的相对位置关系序列635。根据目标对象的素材图像序列634和目标对象与无人机的相对位置关系序列635,生成巡游图像序列636。按照预定播放模式637对巡游图像序列636进行处理,生成虚拟形象638。
由于用户通过预览图像选取的巡游路径,不一定符合飞行参数的要求。例如:用户要求从A点到B点飞行角度的变化速度可能大于无人机能够达到的飞行角度变化阈值;为避免生成无效的巡游飞行路径,可以先利用飞行角度变化信息,从用户选取的多个观测视角中确定满足飞行参数要求的观测视角信息。
根据本公开的实施例,上述虚拟形象生成方法还包括:获取无人机的飞行参数。根据飞行参数,从多个观测视角信息中得到目标观测视角信息。
需要说明的是,飞行角度变化阈值与前文所述的预定阈值存在一定的差异。前文所述的预定阈值表示相邻位置点的飞行角度的变化阈值,是与相邻位置点的两个飞行角度的差值的绝对值进行比较。而飞行角度变化阈值是从速度的维度进行判断,可以根据单位时间内飞行角度的差值的绝对值与飞行角度变化阈值进行比较。
根据本公开的实施例,根据飞行参数,从多个观测视角信息中得到目标观测视角信息,可以包括如下操作:根据多个观测视角信息,得到飞行角度变化信息。根据飞行参数和飞行角度变化信息,从多个观测视角信息中得到目标观测视角信息。
根据本公开的实施例,飞行角度变化信息可以包括连续多个观测区域的飞行角度。以第一观测区域的飞行角度和第二观测区域的飞行角度为例。
例如:第一观测区域的飞行位置点Sa的飞行角度可以是Aa,第二观测区域的飞行位置点Sb的飞行角度可以是Ab。飞行速度可以是v,飞行位置点Sa与飞行位置点Sb的距离是S,可以得到飞行时间t=S/v。根据飞行时间和飞行角度变化信息可以得到单位时间内的飞行角度的差值为|Aa-Ab|/t。
根据本公开的实施例,在确定|Aa-Ab|/t小于等于飞行角度的变化阈值的情况下,可以将与第二区域对应的观测视角信息确定为目标观测视角信息。
根据本公开的实施例,通过遍历巡游路径中全部观测区域中的飞行角度,从多个观测视角信息中得到目标观测视角信息。
图7示意性示出了根据本公开实施例的根据飞行参数选择目标观测视角的示例示意图。
如图7所示,在实施例700中,根据飞行参数7401得到飞行速度7403。根据巡游路径7402得到多个观测视角信息7404。多个观测视角信息7404可以包括第一观测区域的飞行角度7405和第二观测区域的飞行角度7406。根据飞行速度7403、第一观测区域的飞行角度7405和第二观测区域的飞行角度7406,得到飞行角度在单位时间内的变化信息7407。确定飞行角度在单位时间内的变化信息7407是否小于等于飞行角度变化阈值7408,若是,则将与第二区域对应的观测视角信息确定为目标观测视角信息7409,若不是,则生成提示信息7410,以提示用户重新选择观测视角。
根据本公开的实施例,通过引入无人机的飞行参数,结合飞行速度确定飞行角度在单位时间内的变化信息,从而对多个观测视角信息进行筛选,得到满足无人机飞行参数的巡游路径,提高无人机巡游过程的虚拟形象与真实场景的贴合度。
图8示意性示出了根据本公开实施例的虚拟形象生成装置的框图。
如图8所示,该虚拟形象生成装置800可以包括获得模块810、拟合模块820和生成模块830。
获得模块810,用于响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与多个观测区域对应的观测视角信息,观测视角信息指示了无人机在飞行位置点的飞行角度。
拟合模块820,用于对多个观测视角信息进行拟合,得到巡游路径,游路径指示了无人机在多个候选飞行位置点的飞行角度。
生成模块830,用于按照预定播放模式,根据巡游路径和巡游场景图像,生成虚拟形象。
根据本公开的实施例,获得模块可以包括:获取子模块、第一获得子模块和第一生成子模块。
获取子模块,用于响应于针对巡游场景图像的三维坐标轴的旋转操作,获取三维坐标轴的多个旋转角度和多个旋转位置,多个旋转角度和多个旋转位置一一对应。
第一获得子模块,用于根据多个旋转角度和多个旋转位置,得到多个观测视角信息。
第一生成子模块,用于按照多个观测视角信息对巡游场景图像的目标对象进行渲染,生成多个观测区域的预览图像。
根据本公开的实施例,第一获得子模块可以包括:第一确定单元、第二确定单元和第三确定单元。
第一确定单元,用于根据多个旋转角度,确定无人机相对于目标对象的飞行角度。
第二确定单元,用于根据多个旋转位置,确定无人机的飞行位置。
第三确定单元,用于根据飞行位置和飞行角度,确定无人机的观测视角信息。
根据本公开的实施例,第一生成子模块可以包括:第四确定单元、第一查询单元和第一渲染单元。
第四确定单元,用于根据多个观测视角信息和无人机的图像采集参数,确定多个观测区域。
第一查询单元,用于根据多个观测区域,从巡游场景图像中得到目标对象的素材图像和目标对象与无人机的相对位置关系。
第一渲染单元,用于根据相对位置关系,对目标对象的素材图像进行渲染,得到预览图像。
根据本公开的实施例,渲染单元可以包括:第一确定子单元、第二确定子单元和渲染子单元。
第一确定子单元,用于根据相对位置关系,确定目标对象的预览区域。
第二确定子单元,用于根据预览区域,从目标对象的素材图像中确定渲染位置点。
渲染子单元,用于按照渲染位置点,对素材图像进行渲染,得到预览图像。
根据本公开的实施例,渲染子单元用于:根据渲染位置点和素材图像,得到待渲染图像元素。对待渲染图像元素进行处理,生成预览图像。
根据本公开的实施例,渲染子单元用于:对待渲染图像元素进行光栅化处理,得到目标像素点的位置信息和目标像素点的候选颜色信息。按照候选颜色信息,对目标像素点进行着色处理,得到目标像素点的颜色信息。根据目标像素点的位置信息和目标像素点的颜色信息,生成预览图像。
根据本公开的实施例,生成模块可以包括:第一确定子模块、渲染子模块和第二生成子模块。
第一确定子模块,用于根据巡游路径,确定观测区域序列。
渲染子模块,用于根据观测区域序列,对巡游场景图像的目标对象进行渲染,生成巡游图像序列。
第二生成子模块,用于按照预定播放模式对巡游图像序列进行处理,生成虚拟形象。
根据本公开的实施例,渲染子模块可以包括:第二查询单元和第二渲染单元。
第二查询单元,用于根据观测区域序列,从巡游场景图像中得到目标对象的素材图像序列和目标对象与无人机的相对位置关系序列。
第二渲染单元,用于根据相对位置关系序列,依次对目标对象的素材图像序列中的每一个素材图像进行渲染,生成巡游图像序列。
根据本公开的实施例,拟合模块可以包括:第二获得子模块、拟合子模块、第三获得子模块和第四获得子模块。
第二获得子模块,用于根据多个观测视角信息,得到观测视角的散点序列。
拟合子模块,用于对散点序列进行拟合,得到观测视角变化曲线。
第三获得子模块,用于根据观测视角变化曲线,得到无人机在巡游过程中连续多个飞行位置点的飞行角度。
第四获得子模块,用于根据连续多个飞行位置点的飞行角度,得到巡游路径。
根据本公开的实施例,拟合子模块可以包括:第五确定单元、第六确定单元和拟合单元。
第五确定单元,用于确定拟合曲线类型。
第六确定单元,用于根据拟合曲线类型,确定目标拟合算法。
拟合单元,用于按照目标拟合算法,对散点序列进行处理,得到观测视角变化曲线。
根据本公开的实施例,第四获得子模块可以包括:第七确定单元和第一获得单元。
第七确定单元,用于根据连续多个飞行位置点的飞行角度,确定相邻飞行位置点的飞行角度变化信息。
第一获得单元,用于在确定飞行角度变化信息小于等于预定阈值的情况下,根据连续多个飞行位置点的飞行角度,得到巡游路径。
根据本公开的实施例,上述装置还包括:获取模块和筛选模块。获取模块,用于获取无人机的飞行参数。筛选模块,用于根据飞行参数,从多个观测视角信息中得到目标观测视角信息。
根据本公开的实施例,筛选模块可以包括:第五获得子模块和筛选子模块。第五获得子模块,用于根据多个观测视角信息,得到飞行角度变化信息。筛选子模块,用于根据飞行参数和飞行角度变化信息,从多个观测视角信息中得到目标观测视角信息。
根据本公开的实施例,飞行角度变化信息包括第一观测区域的飞行角度和第二观测区域的飞行角度;筛选子模块可以包括:第七确定单元、第二获得单元和第八确定单元。
第七确定单元,用于根据飞行参数,确定飞行角度变化阈值和飞行速度信息。
第二获得单元,用于根据飞行速度信息、第一观测区域的飞行角度和第二观测区域的飞行角度,得到飞行角度在单位时间内的变化信息。
第八确定单元,用于在确定飞行角度在单位时间内的变化信息小于等于飞行角度变化阈值的情况下,将与第二区域对应的观测视角信息确定为目标观测视角信息。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上的方法。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如虚拟形象生成方法。例如,在一些实施例中,虚拟形象生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的虚拟形象生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行虚拟形象生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (30)
1.一种虚拟形象生成方法,包括:
响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与所述多个观测区域对应的观测视角信息,所述观测视角信息指示了无人机在飞行位置点的飞行角度;
对所述多个观测视角信息进行拟合,得到巡游路径,所述巡游路径指示了所述无人机在多个候选飞行位置点的飞行角度;以及
按照预定播放模式,根据所述巡游路径和所述巡游场景图像,生成虚拟形象;
其中,所述响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与所述多个观测区域对应的观测视角信息,包括:
响应于针对巡游场景图像的三维坐标轴的旋转操作,获取所述三维坐标轴的多个旋转角度和多个旋转位置,所述多个旋转角度和所述多个旋转位置一一对应;
根据所述多个旋转角度和所述多个旋转位置,得到多个观测视角信息;以及
按照所述多个观测视角信息对所述巡游场景图像的目标对象进行渲染,生成所述多个观测区域的预览图像。
2.根据权利要求1所述的方法,其中,所述根据所述多个旋转角度和所述多个旋转位置,得到多个观测视角信息,包括:
根据所述多个旋转角度,确定所述无人机相对于所述目标对象的飞行角度;
根据所述多个旋转位置,确定所述无人机的飞行位置;以及
根据所述飞行位置和所述飞行角度,确定所述无人机的观测视角信息。
3.根据权利要求1所述的方法,其中,所述按照所述多个观测视角信息对所述巡游场景图像的目标对象进行渲染,生成所述多个观测区域的预览图像,包括:
根据所述多个观测视角信息,确定所述多个观测区域;
根据所述多个观测区域,从所述巡游场景图像中得到所述目标对象的素材图像和所述目标对象与所述无人机的相对位置关系;以及
根据所述相对位置关系,对所述目标对象的素材图像进行渲染,得到所述预览图像。
4.根据权利要求3所述的方法,其中,所述根据所述相对位置关系,对所述目标对象的素材图像进行渲染,得到所述预览图像,包括:
根据所述相对位置关系和所述无人机的图像采集参数,确定所述目标对象的预览区域;
根据所述预览区域,从所述目标对象的素材图像中确定渲染位置点;以及
按照所述渲染位置点,对所述素材图像进行渲染,得到所述预览图像。
5.根据权利要求4所述的方法,其中,所述按照所述渲染位置点,对所述素材图像进行渲染,得到所述预览图像,包括:
根据所述渲染位置点和所述素材图像,得到待渲染图像元素;以及
对所述待渲染图像元素进行处理,生成所述预览图像。
6.根据权利要求5所述的方法,其中,所述对所述待渲染图像元素进行处理,生成所述预览图像,包括:
对所述待渲染图像元素进行光栅化处理,得到目标像素点的位置信息和所述目标像素点的候选颜色信息;
按照所述候选颜色信息,对所述目标像素点进行着色处理,得到所述目标像素点的颜色信息;以及
根据所述目标像素点的位置信息和所述目标像素点的颜色信息,生成所述预览图像。
7.根据权利要求1所述的方法,其中,所述按照预定播放模式,根据所述巡游路径和所述巡游场景图像,生成虚拟形象,包括:
根据所述巡游路径,确定观测区域序列;
根据所述观测区域序列,对所述巡游场景图像的目标对象进行渲染,生成巡游图像序列;以及
按照所述预定播放模式对所述巡游图像序列进行处理,生成所述虚拟形象。
8.根据权利要求7所述的方法,其中,所述根据所述观测区域序列,对所述巡游场景图像的目标对象进行渲染,生成巡游图像序列,包括:
根据所述观测区域序列,从所述巡游场景图像中得到所述目标对象的素材图像序列和所述目标对象与所述无人机的相对位置关系序列;以及
根据所述相对位置关系序列,依次对所述目标对象的素材图像序列中的每一个素材图像进行渲染,生成所述巡游图像序列。
9.根据权利要求1所述的方法,其中,所述对所述多个观测视角信息进行拟合,得到巡游路径,包括:
根据所述多个观测视角信息,得到观测视角的散点序列;
对所述散点序列进行拟合,得到观测视角变化曲线;
根据所述观测视角变化曲线,得到所述无人机在巡游过程中连续多个飞行位置点的飞行角度;以及
根据所述连续多个飞行位置点的飞行角度,得到所述巡游路径。
10.根据权利要求9所述的方法,其中,所述对所述散点序列进行拟合,得到观测视角变化曲线,包括:
确定拟合曲线类型;
根据所述拟合曲线类型,确定目标拟合算法;以及
按照所述目标拟合算法,对所述散点序列进行处理,得到观测视角变化曲线。
11.根据权利要求9所述的方法,其中,所述根据所述连续多个飞行位置点的飞行角度,得到所述巡游路径,包括:
根据所述连续多个飞行位置点的飞行角度,确定相邻飞行位置点的飞行角度变化信息;以及
在确定所述飞行角度变化信息小于等于预定阈值的情况下,根据所述连续多个飞行位置点的飞行角度,得到所述巡游路径。
12.根据权利要求1-11任一项所述的方法,还包括:
获取所述无人机的飞行参数;以及
根据所述飞行参数,从所述多个观测视角信息中得到目标观测视角信息。
13.根据权利要求12所述的方法,其中,所述根据所述飞行参数,从所述多个观测视角信息中得到目标观测视角信息,包括:
根据所述多个观测视角信息,得到飞行角度变化信息;以及
根据所述飞行参数和飞行角度变化信息,从所述多个观测视角信息中得到目标观测视角信息。
14.根据权利要求13所述的方法,其中,所述飞行角度变化信息包括第一观测区域的飞行角度和第二观测区域的飞行角度,所述根据所述飞行参数和飞行角度变化信息,从所述多个观测视角信息中得到目标观测视角信息,包括:
根据所述飞行参数,确定飞行角度变化阈值和飞行速度信息;
根据所述飞行速度信息、所述第一观测区域的飞行角度和所述第二观测区域的飞行角度,得到飞行角度在单位时间内的变化信息;以及
在确定所述飞行角度在单位时间内的变化信息小于等于所述飞行角度变化阈值的情况下,将与所述第二观测区域对应的观测视角信息确定为所述目标观测视角信息。
15.一种虚拟形象生成装置,包括:
获得模块,用于响应于针对巡游场景图像的三维坐标轴的旋转操作,得到多个观测区域的预览图像和与所述多个观测区域对应的观测视角信息,所述观测视角信息指示了无人机在飞行位置点的飞行角度;
拟合模块,用于对所述多个观测视角信息进行拟合,得到巡游路径,所述巡游路径指示了所述无人机在多个候选飞行位置点的飞行角度;以及
生成模块,用于按照预定播放模式,根据所述巡游路径和所述巡游场景图像,生成虚拟形象;
其中,所述获得模块包括:
获取子模块,用于响应于针对巡游场景图像的三维坐标轴的旋转操作,获取所述三维坐标轴的多个旋转角度和多个旋转位置,所述多个旋转角度和所述多个旋转位置一一对应;
第一获得子模块,用于根据所述多个旋转角度和所述多个旋转位置,得到多个观测视角信息;以及
第一生成子模块,用于按照所述多个观测视角信息对所述巡游场景图像的目标对象进行渲染,生成所述多个观测区域的预览图像。
16.根据权利要求15所述的装置,其中,所述第一获得子模块包括:
第一确定单元,用于根据所述多个旋转角度,确定所述无人机相对于所述目标对象的飞行角度;
第二确定单元,用于根据所述多个旋转位置,确定所述无人机的飞行位置;以及
第三确定单元,用于根据所述飞行位置和所述飞行角度,确定所述无人机的观测视角信息。
17.根据权利要求15所述的装置,其中,所述第一生成子模块包括:
第四确定单元,用于根据所述多个观测视角信息和所述无人机的图像采集参数,确定所述多个观测区域;
第一查询单元,用于根据所述多个观测区域,从所述巡游场景图像中得到所述目标对象的素材图像和所述目标对象与所述无人机的相对位置关系;以及
第一渲染单元,用于根据所述相对位置关系,对所述目标对象的素材图像进行渲染,得到所述预览图像。
18.根据权利要求17所述的装置,其中,所述第一渲染单元包括:
第一确定子单元,用于根据所述相对位置关系,确定所述目标对象的预览区域;
第二确定子单元,用于根据所述预览区域,从所述目标对象的素材图像中确定渲染位置点;以及
渲染子单元,用于按照所述渲染位置点,对所述素材图像进行渲染,得到所述预览图像。
19.根据权利要求18所述的装置,其中,所述渲染子单元用于:
根据所述渲染位置点和所述素材图像,得到待渲染图像元素;以及
对所述待渲染图像元素进行处理,生成所述预览图像。
20.根据权利要求19所述的装置,其中,所述渲染子单元用于:
对所述待渲染图像元素进行光栅化处理,得到目标像素点的位置信息和所述目标像素点的候选颜色信息;
按照所述候选颜色信息,对所述目标像素点进行着色处理,得到所述目标像素点的颜色信息;以及
根据所述目标像素点的位置信息和所述目标像素点的颜色信息,生成所述预览图像。
21.根据权利要求15所述的装置,其中,所述生成模块包括:
第一确定子模块,用于根据所述巡游路径,确定观测区域序列;
渲染子模块,用于根据所述观测区域序列,对所述巡游场景图像的目标对象进行渲染,生成巡游图像序列;以及
第二生成子模块,用于按照所述预定播放模式对所述巡游图像序列进行处理,生成所述虚拟形象。
22.根据权利要求21所述的装置,其中,所述渲染子模块包括:
第二查询单元,用于根据所述观测区域序列,从所述巡游场景图像中得到所述目标对象的素材图像序列和所述目标对象与所述无人机的相对位置关系序列;以及
第二渲染单元,用于根据所述相对位置关系序列,依次对所述目标对象的素材图像序列中的每一个素材图像进行渲染,生成所述巡游图像序列。
23.根据权利要求15所述的装置,其中,所述拟合模块包括:
第二获得子模块,用于根据所述多个观测视角信息,得到观测视角的散点序列;
拟合子模块,用于对所述散点序列进行拟合,得到观测视角变化曲线;
第三获得子模块,用于根据所述观测视角变化曲线,得到所述无人机在巡游过程中连续多个飞行位置点的飞行角度;以及
第四获得子模块,用于根据所述连续多个飞行位置点的飞行角度,得到所述巡游路径。
24.根据权利要求23所述的装置,其中,所述拟合子模块包括:
第五确定单元,用于确定拟合曲线类型;
第六确定单元,用于根据所述拟合曲线类型,确定目标拟合算法;以及
拟合单元,用于按照所述目标拟合算法,对所述散点序列进行处理,得到观测视角变化曲线。
25.根据权利要求24所述的装置,其中,所述第四获得子模块,包括:
第七确定单元,用于根据所述连续多个飞行位置点的飞行角度,确定相邻飞行位置点的飞行角度变化信息;以及
第一获得单元,用于在确定所述飞行角度变化信息小于等于预定阈值的情况下,根据所述连续多个飞行位置点的飞行角度,得到所述巡游路径。
26.根据权利要求15-25任一项所述的装置,还包括:
获取模块,用于获取所述无人机的飞行参数;以及
筛选模块,用于根据所述飞行参数,从所述多个观测视角信息中得到目标观测视角信息。
27.根据权利要求26所述的装置,其中,所述筛选模块包括:
第五获得子模块,用于根据所述多个观测视角信息,得到飞行角度变化信息;以及
筛选子模块,用于根据所述飞行参数和飞行角度变化信息,从所述多个观测视角信息中得到目标观测视角信息。
28.根据权利要求27所述的装置,其中,所述飞行角度变化信息包括第一观测区域的飞行角度和第二观测区域的飞行角度;所述筛选子模块包括:
第七确定单元,用于根据所述飞行参数,确定飞行角度变化阈值和飞行速度信息;
第二获得单元,用于根据所述飞行速度信息、所述第一观测区域的飞行角度和所述第二观测区域的飞行角度,得到飞行角度在单位时间内的变化信息;以及
第八确定单元,用于在确定所述飞行角度在单位时间内的变化信息小于等于所述飞行角度变化阈值的情况下,将与所述第二观测区域对应的观测视角信息确定为所述目标观测视角信息。
29.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310517777.4A CN116563505B (zh) | 2023-05-09 | 2023-05-09 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310517777.4A CN116563505B (zh) | 2023-05-09 | 2023-05-09 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116563505A CN116563505A (zh) | 2023-08-08 |
CN116563505B true CN116563505B (zh) | 2024-04-05 |
Family
ID=87501328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310517777.4A Active CN116563505B (zh) | 2023-05-09 | 2023-05-09 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116563505B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271469A (zh) * | 2008-05-10 | 2008-09-24 | 深圳先进技术研究院 | 一种基于三维模型库下二维图像的识别和物体的重建方法 |
JP2009217524A (ja) * | 2008-03-11 | 2009-09-24 | Kodaira Associates Kk | 都市景観の3次元動画生成および閲覧システム |
CN110187700A (zh) * | 2019-06-10 | 2019-08-30 | 北京科技大学 | 基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法 |
CN111669518A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 多角度自由视角交互方法及装置、介质、终端、设备 |
CN111881515A (zh) * | 2020-07-17 | 2020-11-03 | 华中科技大学 | 一种基于孪生数据驱动的无人艇实时速度测量方法及系统 |
CN112287857A (zh) * | 2020-11-03 | 2021-01-29 | 北京享云智汇科技有限公司 | 一种多视角异常步态识别方法 |
CN113112413A (zh) * | 2020-01-13 | 2021-07-13 | 北京地平线机器人技术研发有限公司 | 图像生成方法、图像生成装置和车载抬头显示系统 |
CN114092675A (zh) * | 2021-11-22 | 2022-02-25 | 北京百度网讯科技有限公司 | 图像显示方法、图像显示装置、电子设备及存储介质 |
CN114511662A (zh) * | 2022-01-28 | 2022-05-17 | 北京百度网讯科技有限公司 | 渲染图像的方法、装置、电子设备及存储介质 |
CN115956259A (zh) * | 2020-06-30 | 2023-04-11 | 美国斯耐普公司 | 生成用于虚拟现实体验的基础真实数据集 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8944928B2 (en) * | 2010-08-26 | 2015-02-03 | Blast Motion Inc. | Virtual reality system for viewing current and previously stored or calculated motion data |
-
2023
- 2023-05-09 CN CN202310517777.4A patent/CN116563505B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009217524A (ja) * | 2008-03-11 | 2009-09-24 | Kodaira Associates Kk | 都市景観の3次元動画生成および閲覧システム |
CN101271469A (zh) * | 2008-05-10 | 2008-09-24 | 深圳先进技术研究院 | 一种基于三维模型库下二维图像的识别和物体的重建方法 |
CN111669518A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 多角度自由视角交互方法及装置、介质、终端、设备 |
CN110187700A (zh) * | 2019-06-10 | 2019-08-30 | 北京科技大学 | 基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法 |
CN113112413A (zh) * | 2020-01-13 | 2021-07-13 | 北京地平线机器人技术研发有限公司 | 图像生成方法、图像生成装置和车载抬头显示系统 |
CN115956259A (zh) * | 2020-06-30 | 2023-04-11 | 美国斯耐普公司 | 生成用于虚拟现实体验的基础真实数据集 |
CN111881515A (zh) * | 2020-07-17 | 2020-11-03 | 华中科技大学 | 一种基于孪生数据驱动的无人艇实时速度测量方法及系统 |
CN112287857A (zh) * | 2020-11-03 | 2021-01-29 | 北京享云智汇科技有限公司 | 一种多视角异常步态识别方法 |
CN114092675A (zh) * | 2021-11-22 | 2022-02-25 | 北京百度网讯科技有限公司 | 图像显示方法、图像显示装置、电子设备及存储介质 |
CN114511662A (zh) * | 2022-01-28 | 2022-05-17 | 北京百度网讯科技有限公司 | 渲染图像的方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
Monitoring activities from multiple video streams: establishing a common coordinate frame;L. Lee等;IEEE;第22卷(第8期);758-767 * |
基于互联网图像集的室外场景建模技术综述;沈方阳 等;计算机辅助设计与图形学学报;第24卷(第1期);29-36 * |
无人机虚拟视景显示技术研究;孔燕; 等;航空电子技术(第03期);18-22 * |
Also Published As
Publication number | Publication date |
---|---|
CN116563505A (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11270497B2 (en) | Object loading method and apparatus, storage medium, and electronic device | |
CN111340928B (zh) | 一种结合光线跟踪的Web端实时混合渲染方法、装置及计算机设备 | |
EP3211601B1 (en) | Rendering the global illumination of a 3d scene | |
US10147240B2 (en) | Product image processing method, and apparatus and system thereof | |
CN114092675A (zh) | 图像显示方法、图像显示装置、电子设备及存储介质 | |
CN114612600A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN112562043B (zh) | 图像处理方法、装置和电子设备 | |
EP4062310A1 (en) | Dual mode post processing | |
CN116563505B (zh) | 虚拟形象生成方法、装置、电子设备以及存储介质 | |
JP2023178274A (ja) | メッシュ頂点位置についての求根および反復を用いて表面を近似するポリゴンメッシュを生成する方法およびシステム | |
US20230206567A1 (en) | Geometry-aware augmented reality effects with real-time depth map | |
CN112967369A (zh) | 一种光线展示方法和装置 | |
CN114452646A (zh) | 虚拟对象透视处理方法、装置及计算机设备 | |
CN116363331B (zh) | 图像生成方法、装置、设备以及存储介质 | |
CN114820908B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN115953553B (zh) | 虚拟形象生成方法、装置、电子设备以及存储介质 | |
US11830140B2 (en) | Methods and systems for 3D modeling of an object by merging voxelized representations of the object | |
CN115578541B (zh) | 虚拟对象驱动方法及装置、设备、系统、介质和产品 | |
CN116012666B (zh) | 图像生成、模型的训练、信息重建方法、装置及电子设备 | |
US11954802B2 (en) | Method and system for generating polygon meshes approximating surfaces using iteration for mesh vertex positions | |
CN116229583B (zh) | 驱动信息生成、驱动方法、装置、电子设备以及存储介质 | |
US20230394767A1 (en) | Method and system for generating polygon meshes approximating surfaces using root-finding and iteration for mesh vertex positions | |
US20240054657A1 (en) | Frame rate up-conversion using optical flow | |
CN114004921A (zh) | 动画显示方法、装置、设备以及存储介质 | |
CN118053189A (zh) | 一种稀疏多视角动态人脸重建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |