CN109769110A - 一种3d小行星动态图的生成方法、装置及便携式终端 - Google Patents
一种3d小行星动态图的生成方法、装置及便携式终端 Download PDFInfo
- Publication number
- CN109769110A CN109769110A CN201910057169.3A CN201910057169A CN109769110A CN 109769110 A CN109769110 A CN 109769110A CN 201910057169 A CN201910057169 A CN 201910057169A CN 109769110 A CN109769110 A CN 109769110A
- Authority
- CN
- China
- Prior art keywords
- asteroid
- region
- view
- dynamic graph
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 210000000746 body region Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种3D小行星动态图的生成方法、装置及便携式终端。所述方法包括:获取全景图像;对全景图像识别并分割成天空区域、人体区域和地面区域;针对天空区域、人体区域和地面区域计算全景深度图;将全景图像和全景深度图分别变换生成小行星图像和小行星深度图;生成虚拟视点下的小行星视图;渲染生成3D小行星动态图。本发明技术方案通过自动生成虚拟视点下的小行星视图并合成渲染,实现了将一幅全景图像生成有3D效果的小行星动态图。
Description
技术领域
本发明属于图像领域,尤其涉及一种3D小行星动态图的生成方法、装置及便携式终端。
背景技术
目前,已经有一些方法可以实现将一张图像生成具有3D效果的视图,例如采用微透镜技术来生成3D视图。微透镜的透镜为放大镜阵列,该放大镜阵列被设计成当从稍微不同的角度观察时,放大不同的图像。为了生成3D视图,首先需要生成多视点图像,例如12视点或更多视点图像,接着将多视点图像混合成混合图像。混合多视点图像是一个从多视点图像中提取合适的像素合并成一个新图像的过程,新图像包含原始图像的多视点信息。微透镜的透镜用来在不同的视角显示这些多视点的视角,最后,透过微透镜板观看,观看者的左眼和右眼可以看到不同的图像,从而产生3D的效果,该方法的缺陷是需要借助微透镜板而不能裸眼观看。
另一种常用的方法是手动将2D图像转换成多视点图像,操作者通常需要创建蒙皮从目标图像中提取对象,然后根据自己的判断给这些蒙皮确定深度信息。深度信息与原始2D图像具有同样尺寸的灰度图像,灰度图像用灰色表示图像的每个部分的深度。手动创建的深度信息用来引导计算机移动原始2D图像的像素以形成新的视点图,深度图可以产生强烈3D显示效果,但采用已有的这种方法生成3D视图需要耗时数小时甚至数天的时间。
综上所述,现有的从一张图像生成3D视图的方法及系统具有需要借助工具或处理时间长等缺点,用户体验度不高。
发明内容
本发明提出一种3D小行星动态图的生成方法、装置及便携式终端,旨在通过自动生成虚拟视点下的小行星视图并合成渲染,实现将一幅全景图像生成有3D效果的小行星动态图,该方法效率高、图像质量效果好,用户体验度较高。
第一方面,本发明提供了一种3D小行星动态图的生成方法,所述方法包括:
获取全景图像;
对全景图像识别并分割成天空区域、人体区域和地面区域;
针对天空区域、人体区域和地面区域计算全景深度图;
将全景图像和全景深度图分别变换生成小行星图像和小行星深度图;
生成虚拟视点下的小行星视图;
渲染生成3D小行星动态图。
第二方面,本发明提供了一种3D小行星动态图的生成装置,所述装置包括:
获取模块,用于获取全景图像;
分割模块,用于对全景图像识别并分割成天空区域、人体区域和地面区域;
计算模块,用于根据所述天空区域、人体区域和地面区域计算全景深度图;
变换模块,用于将全景图像和全景深度图分别变换生成小行星图像和小行星深度图;
生成模块:用于生成虚拟视点下的小行星视图;
渲染模块:用于渲染生成3D小行星动态图。
第三方面,本发明提供了一种计算机可读存储介质,所述计算机程序被处理器执行时实现如上述的一种3D小行星动态图的生成方法的步骤。
第四方面,本发明提供了一种便携式终端,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述处理器执行所述计算机程序时实现如上述的一种3D小行星动态图的生成方法的步骤。
本发明技术方案通过计算图像深度图,自动生成虚拟视点下的小行星视图并合成渲染,实现了将一幅全景图像生成有3D效果的小行星动态图,不仅增强了视觉效果,还具有处理速度快等优点。
附图说明
图1是本发明实施例一提供的一种3D小行星动态图的生成方法流程图。
图2是本发明实施例一提供的一个全景深度图示例。
图3是本发明实施例一提供的小行星图像映射到全景图像的方法的流程图。
图4是本发明实施例一提供的一种生成虚拟视点下的小行星视图方法的流程图。
图5是本发明实施例二提供的一种3D小行星动态图的生成模块示意图。
图6是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
请参阅图1,本发明实施例一提供的一种3D小行星动态图的生成方法包括以下步骤:
S101.获取全景图像;
获取一幅全景图,所述全景图可以为由至少两个鱼眼镜头拍摄的多幅鱼眼图像经过光流拼接算法生成的一幅全景图像;全景图像的内容可以包括拍摄者举着全景相机拍摄的图片。
S102.对全景图像识别并分割成天空区域、人体区域和地面区域;
对全景图像内容识别出天空和人体并进行语义分割,主要分割出以下3个区域:天空区域、人体区域和地面区域;
其中识别与分割天空部分可以采用经典的天空检测算法,天空检测算法不限于论文《Sky Region Detection in a Single Image for Autonomous Ground RobotNavigation》和中国专利CN109003237A中公开的方法,识别与分割人体部分可以采用经典的图像目标检测算法,目标检测算法不限于《Cascade R-CNN:Delving into High QualityObject Detection》方法等;分割出天空区域和人体区域后,剩下的部分全部划分为地面区域,即地面区域可以包含高楼、房屋和树木等。
S103.针对天空区域、人体区域和地面区域计算全景深度图;
不同物体间的相对深度可以反映物体间的三维位置关系,物体的深度表示实际场景中物体与摄像机之间的距离,因此距离摄像机越远的物体,深度值越大,距摄像机越近的物体,深度值越小;
根据所述天空区域、人体区域和地面区域计算全景深度图,方法如下:
人体区域中像素(x1,y1)的深度值bodyDepth可由公式(1)计算得出:
公式(1)中,y1为像素(x1,y1)在全景图像中的行坐标,x∈[minRowIdx,maxRowIdx],minRowIdx为人体区域中像素行坐标的最小值,maxRowIdx为人体区域中像素横坐标的最大值,minBodyDepth为设定的人体区域像素深度值的最小值,maxBodyDepth为设定的人体区域像素深度值的最大值,bodyDepth∈[minBodyDepth,maxBodyDepth];
天空区域中所有像素的深度值设为固定值skyDepth,skyDepth∈(maxBodyDepth,255];
地面区域中像素(x2,y2)分为固定深度值区域和渐变深度值区域;
固定深度区域的行坐标的范围为[2maxRowIdx-imgH,imgH],其中imgH为图像的高度,即行坐标的最大值,令固定深度区域的像素的深度值为固定值maxBodyDepth;
地面区域中除固定深度区域外为渐变深度值区域,渐变深度值区域中像素(x2,y2)的深度值可由公式(2)计算:
公式(2)中,y2为像素(x2,y2)在全景图像中的行坐标,y2<2maxRowIdx-imgH,edgeDepth为设定的固定值,edgeDepth∈[maxBodyDepth,skyDepth)。
分别计算出人体区域深度值、天空区域深度值和地面区域深度值后,即可得全景深度图;全景深度图示例请参阅图2。
S104.将全景图像和全景深度图分别变换生成小行星图像和小行星深度图;
请参阅图3,小行星图像映射到全景图像的方法如下:
S1041:将小行星图像像素点从图像坐标系转换到物理坐标系;
以单位球的南极点为三维坐标原点,x轴向右,y轴垂直向内,Z轴向上,符合右手坐标系;设定观察者视点位置位于单位球的北极点与球心的连线上,坐标值为(0,0,d),设定投影的小行星平面与单位球相切于坐标原点(0,0,0),设定输出小行星图像尺寸(W,H),小行星视图中一个像素点(u,v)转换到物理坐标系后坐标点为(U,V);U和V计算公式分别为公式(3)和公式(4):
公式(3)和公式(4)中,L=2·Radius·tan(fov·0.5),为设定视场角为120°,单位球半径Radius=1时,弧度制的转换公式;
S1042:计算物理坐标系中像素点在球坐标系下的方位角;
的计算公式为:
公式(5)中,r为点(U,V)在球坐标系下的纬度圆半径,
S1043:计算物理坐标系中像素点在球坐标系下的天顶角θ;
利用正切定理以及正弦定理计算出点(U,V)在球坐标系下的天顶角θ,计算公式为:
θ=π-α-β (6)
公式(8)中,β=arcsin(d·sin(a));
S1044:计算球坐标系下像素点与全景图像中像素点(x,y)的转换公式;
利用经纬度展开法,将球面坐标投影到全景图像坐标(x,y),x的计算公式为:
Y的计算公式为
根据上述小行星图像映射到全景图像的方法,可以采用反向映射方法获取全景图像的小行星图像,反向映射方法具体为:
由小行星图像中的坐标值反向计算出全景图像中对应的坐标值;
因计算出的坐标值为浮点型数据,故还需采用双线性插值算法计算出小行星视图(u,v)坐标的像素值;
遍历全景图像所有像素点,可计算出生成小行星视图;
将S101步骤中获取的全景图像生成小行星图像;
将S103步骤中计算出的全景深度图生成小行星深度图。
S105.生成虚拟视点下的小行星视图;
请参阅图4,生成虚拟视点下的小行星视图方法的步骤如下:
S1051:设定虚拟视点坐标:
小行星图像的真实视点在小行星图像的正上方,设定虚拟视点在以真实视点为中心,平行于小行星图像的单位圆形轨迹上,虚拟视点坐标(x,y),有x=cos(θ),y=sin(θ),θ∈[0,2·π],虚拟视点的个数为n,n>1;
S1052:计算真实视点到虚拟视点之间的平移矩阵T;
T为3*3矩阵,由公式(9)计算得出:
S1053:计算真实视点到虚拟视点之间的旋转矩阵R;
R为3*3矩阵,由公式(10)计算得出:
S1054:利用的3D warping算法生成虚拟视点下的小行星视图;
虚拟视点下的小行星视图投影公式为公式(11)所示:
q′=K·R·K-1·q+K·T (11)
公式(11)中,其中,P是真实三维空间点,q是P投影到二维图像平面上的像素点,q=K·P,P′是虚拟三维空间点,虚拟三维空间点P′与真实三维空间点P之间的关系为P′=R·P+T;q′是P′投影到二维图像平面上的像素点,q′=K·P′,K是相机的内参矩阵,设定虚拟摄像机和真实摄像机具有相同的内参;
在利用3D warping算法生成虚拟视点下的小行星视图中,对于由原始小行星图像中物体由于前后遮挡产生的无像素信息的空洞区域,采用临近像素点进行填充。
在所述生成虚拟视点下的小行星视图中,由于虚拟视点(x,y)的个数有n个,故能生成n幅虚拟视点下的小行星视图,n>1。
S106.渲染生成3D小行星动态图;
利用单位圆轨迹上的n个虚拟视点生成的n幅虚拟视点下的小行星视图,按生成的虚拟视点下的小行星视图顺序或设定的顺序合成渲染,生成具有3D效果的小行星动态图。
实施例二:
请参阅图5,本发明实施例二提供的一种3D小行星动态图的生成装置包括:
获取模块11,用于获取全景图像;
分割模块12,用于对全景图像识别并分割成天空区域、人体区域和地面区域;
计算模块13,用于根据所述天空区域、人体区域和地面区域计算全景深度图;
变换模块14,用于将全景图像和全景深度图分别变换生成小行星图像和小行星深度图;
生成模块15:用于生成虚拟视点下的小行星视图;
渲染模块16:用于渲染生成3D小行星动态图。
本发明实施例二提供的一种一种3D小行星动态图的生成的装置及本发明实施例一提供的一种3D小行星动态图的生成方法属于同一构思,其具体实现过程详见说明书全文,此处不再赘述。
实施例三:
本发明实施例三提供了一种计算机可读存储介质,所述计算机程序被处理器执行时实现如本发明实施例一提供的一种3D小行星动态图的生成方法的步骤。
实施例四:
图6示出了本发明实施例四提供的便携式终端的具体结构框图,一种便携式终端100包括:一个或多个处理器101、存储器102、以及一个或多个计算机程序,其中所述处理器101和所述存储器102通过总线连接,所述一个或多个计算机程序被存储在所述存储器102中,并且被配置成由所述一个或多个处理器101执行,所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种3D小行星动态图的生成方法的步骤。
在本发明实施例中,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
在本发明中,通过计算图像深度图,自动生成虚拟视点下的小行星视图并合成渲染,实现了将一幅全景图像生成有3D效果的小行星动态图,不仅增强了视觉效果,还具有处理速度快等优点。
Claims (10)
1.一种3D小行星动态图的生成方法,其特征在于,包括以下步骤:
获取全景图像;
对全景图像识别并分割成天空区域、人体区域和地面区域;
针对天空区域、人体区域和地面区域计算全景深度图;
将全景图像和全景深度图分别变换生成小行星图像和小行星深度图;
生成虚拟视点下的小行星视图;
渲染生成3D小行星动态图。
2.如权利要求1所述的一种3D小行星动态图的生成方法,其特征在于:所述的对全景图像进行识别并分割成天空区域、人体区域和地面区域具体为:
识别出全景图像中的天空和人体,然后将全景图像分割出天空区域和人体区域,图像中剩余部分划分为地面区域。
3.如权利要求1所述的一种3D小行星动态图的生成方法,其特征在于所述计算全景深度图具体为分别计算出所述天空区域、人体区域和地面区域的深度值;人体区域中像素(x1,y1)的深度值bodyDepth可由公式(1)计算得出:
公式(1)中,y1为像素(x1,y1)在全景图像中的行坐标,x∈[min RowIdx,max RowIdx],min RowIdx为人体区域中像素行坐标的最小值,max RowIdx为人体区域中像素横坐标的最大值,min BodyDepth为设定的人体区域像素深度值的最小值,max BodyDepth为设定的人体区域像素深度值的最大值,bodyDepth∈[min BodyDepth,max BodyDepth];
天空区域中所有像素的深度值设为固定值skyDepth,skyDepth∈(max BodyDepth,255];
地面区域中像素(x2,y2)分为固定深度值区域和渐变深度值区域;
固定深度区域的行坐标的范围为[2max RowIdx-imgH,imgH],其中imgH为图像的高度,即行坐标的最大值,令固定深度区域的像素的深度值为固定值max BodyDepth;
地面区域中固定深度区域外的区域为渐变深度值区域,渐变深度值区域中像素(x2,y2)的深度值可由公式(2)计算:
公式(2)中,y2为像素(x2,y2)在全景图像中的行坐标,y2<2max RowIdx-imgH,edgeDepth为设定的固定值,edgeDepth∈[maxBodyDepth,skyDepth)。
4.如权利要求1所述的一种3D小行星动态图的生成方法,其特征在于,所述生成虚拟视点下的小行星视图具体包括:
设定虚拟视点坐标:
小行星图像的真实视点在小行星图像的正上方,设定虚拟视点在以真实视点为中心,平行于小行星图像的单位圆形轨迹上,虚拟视点坐标(x,y),有x=cos(θ),y=sin(θ),θ∈[0,2·π];
计算真实视点到虚拟视点之间的平移矩阵T:
T为3*3矩阵,由公式(9)计算得出:
计算真实视点到虚拟视点之间的旋转矩阵R:
R为3*3矩阵,由公式(10)计算得出:
利用3D warping算法生成虚拟视点下的小行星视图;
虚拟视点下的小行星视图投影公式为公式(11)所示:
q′=K·R·K-1·q+K·T (11)
公式(11)中,其中,P是真实三维空间点,q是P投影到二维图像平面上的像素点,q=K·P,P′是虚拟三维空间点,虚拟三维空间点P′与真实三维空间点P之间的关系为P′=R·P+T;q′是P′投影到二维图像平面上的像素点,q′=K·P′,K是相机的内参矩阵,设定虚拟摄像机和真实摄像机具有相同的内参。
5.如权利要求4所述的一种3D小行星动态图的生成方法,其特征在于,在所述生成虚拟视点下的小行星视图中,由于虚拟视点(x,y)的个数有n个,故能生成n幅虚拟视点下的小行星视图,n>1。
6.如权利要求4所述的一种3D小行星动态图的生成方法,其特征在于,在利用3Dwarping算法生成虚拟视点下的小行星视图中,对于由原始小行星图像中物体由于前后遮挡产生的无像素信息的空洞区域,采用临近像素点进行填充。
7.如权利要求1所述的一种3D小行星动态图的生成方法,其特征在于,所述渲染生成3D小行星动态图具体为:
利用单位圆轨迹上的n个虚拟视点生成的n幅虚拟视点下的小行星视图,按顺序合成渲染,生成3D小行星动态图。
8.一种3D小行星动态图的生成装置,其特征在于,包括:
获取模块,用于获取全景图像;
分割模块,用于对全景图像识别并分割成天空区域、人体区域和地面区域;
计算模块,用于根据所述天空区域、人体区域和地面区域计算全景深度图;
变换模块,用于将全景图像和全景深度图分别变换生成小行星图像和小行星深度图;
生成模块:用于生成虚拟视点下的小行星视图;
渲染模块:用于渲染生成3D小行星动态图。
9.一种计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种3D小行星动态图的生成方法的步骤。
10.一种便携式终端,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种3D小行星动态图的生成方法的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910057169.3A CN109769110B (zh) | 2019-01-22 | 2019-01-22 | 一种3d小行星动态图的生成方法、装置及便携式终端 |
PCT/CN2019/112246 WO2020151268A1 (zh) | 2019-01-22 | 2019-10-21 | 一种3d小行星动态图的生成方法及便携式终端 |
JP2021542464A JP2022518773A (ja) | 2019-01-22 | 2019-10-21 | 3d小惑星ダイナミックマップの生成方法及びポータブル型端末 |
US17/424,802 US11995793B2 (en) | 2019-01-22 | 2019-10-21 | Generation method for 3D asteroid dynamic map and portable terminal |
EP19912004.9A EP3905673A4 (en) | 2019-01-22 | 2019-10-21 | METHOD OF GENERATION OF DYNAMIC 3D ASTEROID MAP AND PORTABLE TERMINAL |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910057169.3A CN109769110B (zh) | 2019-01-22 | 2019-01-22 | 一种3d小行星动态图的生成方法、装置及便携式终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109769110A true CN109769110A (zh) | 2019-05-17 |
CN109769110B CN109769110B (zh) | 2020-07-14 |
Family
ID=66454929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910057169.3A Active CN109769110B (zh) | 2019-01-22 | 2019-01-22 | 一种3d小行星动态图的生成方法、装置及便携式终端 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11995793B2 (zh) |
EP (1) | EP3905673A4 (zh) |
JP (1) | JP2022518773A (zh) |
CN (1) | CN109769110B (zh) |
WO (1) | WO2020151268A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020151268A1 (zh) * | 2019-01-22 | 2020-07-30 | 影石创新科技股份有限公司 | 一种3d小行星动态图的生成方法及便携式终端 |
CN111536982A (zh) * | 2020-05-06 | 2020-08-14 | 北京工业大学 | 一种光照不良条件下小行星探测器光学导航图像生成方法 |
CN113112412A (zh) * | 2020-01-13 | 2021-07-13 | 株式会社理光 | 垂直校正矩阵的生成方法、装置及计算机可读存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283195B (zh) * | 2022-03-03 | 2022-07-26 | 荣耀终端有限公司 | 生成动态图像的方法、电子设备及可读存储介质 |
KR102700729B1 (ko) * | 2022-11-09 | 2024-08-28 | 네이버 주식회사 | 3차원 빌딩 모델 및 도로 모델을 이용한 3차원 거리뷰 모델 생성 방법 및 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020900A (zh) * | 2012-11-15 | 2013-04-03 | 北京小米科技有限责任公司 | 一种图像处理方法及装置 |
CN105793895A (zh) * | 2013-07-04 | 2016-07-20 | 新不伦瑞克大学 | 用于生成和显示地理区域的立体图像对的系统和方法 |
CN106162203A (zh) * | 2016-07-05 | 2016-11-23 | 实野文化传媒(上海)有限公司 | 全景视频播放方法、播放器与头戴式虚拟现实设备 |
WO2018154589A1 (en) * | 2017-02-23 | 2018-08-30 | Kshitij Marwah | An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053694A (ja) * | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 |
CN102308320B (zh) * | 2009-02-06 | 2013-05-29 | 香港科技大学 | 从图像生成三维模型 |
US8659592B2 (en) * | 2009-09-24 | 2014-02-25 | Shenzhen Tcl New Technology Ltd | 2D to 3D video conversion |
JP5250598B2 (ja) * | 2010-10-05 | 2013-07-31 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
KR101862543B1 (ko) * | 2011-09-08 | 2018-07-06 | 삼성전자 주식회사 | 깊이정보 생성장치, 깊이정보 생성방법 및 그 저장매체 |
JP5780214B2 (ja) * | 2012-06-27 | 2015-09-16 | 株式会社Jvcケンウッド | 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置 |
KR20140122054A (ko) * | 2013-04-09 | 2014-10-17 | 삼성전자주식회사 | 2차원 이미지를 3차원 이미지로 변환하는 3차원 이미지 변환 장치 및 그 제어 방법 |
KR102249831B1 (ko) * | 2014-09-26 | 2021-05-10 | 삼성전자주식회사 | 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 |
US10074161B2 (en) * | 2016-04-08 | 2018-09-11 | Adobe Systems Incorporated | Sky editing based on image composition |
CN105959665B (zh) * | 2016-05-05 | 2018-08-07 | 清华大学深圳研究生院 | 一种针对于虚拟现实设备的全景3d视频生成方法 |
CN106056139A (zh) * | 2016-05-26 | 2016-10-26 | 东华大学 | 一种基于图像分割的森林火灾烟雾检测方法 |
CN108377407B (zh) * | 2016-11-04 | 2021-03-12 | 株式会社理光 | 全景视频的处理方法、装置及电子设备 |
US10373362B2 (en) * | 2017-07-06 | 2019-08-06 | Humaneyes Technologies Ltd. | Systems and methods for adaptive stitching of digital images |
GB2564642A (en) * | 2017-07-10 | 2019-01-23 | Nokia Technologies Oy | Methods and apparatuses for panoramic image processing |
CN107590850A (zh) * | 2017-08-11 | 2018-01-16 | 深圳依偎控股有限公司 | 一种利用球形全景图的3d场景构建方法及系统 |
CN110278366B (zh) * | 2018-03-14 | 2020-12-01 | 虹软科技股份有限公司 | 一种全景图像虚化方法、终端及计算机可读存储介质 |
CN109003237A (zh) | 2018-07-03 | 2018-12-14 | 深圳岚锋创视网络科技有限公司 | 全景图像的天空滤镜方法、装置及便携式终端 |
CN109769110B (zh) * | 2019-01-22 | 2020-07-14 | 影石创新科技股份有限公司 | 一种3d小行星动态图的生成方法、装置及便携式终端 |
KR20210078813A (ko) * | 2019-12-19 | 2021-06-29 | 엘지전자 주식회사 | 이미지를 합성하는 인공 지능 장치 및 그 방법 |
TW202133118A (zh) * | 2020-02-21 | 2021-09-01 | 四葉草娛樂有限公司 | 實境模擬全景系統及其方法 |
-
2019
- 2019-01-22 CN CN201910057169.3A patent/CN109769110B/zh active Active
- 2019-10-21 JP JP2021542464A patent/JP2022518773A/ja active Pending
- 2019-10-21 EP EP19912004.9A patent/EP3905673A4/en active Pending
- 2019-10-21 US US17/424,802 patent/US11995793B2/en active Active
- 2019-10-21 WO PCT/CN2019/112246 patent/WO2020151268A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020900A (zh) * | 2012-11-15 | 2013-04-03 | 北京小米科技有限责任公司 | 一种图像处理方法及装置 |
CN105793895A (zh) * | 2013-07-04 | 2016-07-20 | 新不伦瑞克大学 | 用于生成和显示地理区域的立体图像对的系统和方法 |
CN106162203A (zh) * | 2016-07-05 | 2016-11-23 | 实野文化传媒(上海)有限公司 | 全景视频播放方法、播放器与头戴式虚拟现实设备 |
WO2018154589A1 (en) * | 2017-02-23 | 2018-08-30 | Kshitij Marwah | An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020151268A1 (zh) * | 2019-01-22 | 2020-07-30 | 影石创新科技股份有限公司 | 一种3d小行星动态图的生成方法及便携式终端 |
US11995793B2 (en) | 2019-01-22 | 2024-05-28 | Arashi Vision Inc. | Generation method for 3D asteroid dynamic map and portable terminal |
CN113112412A (zh) * | 2020-01-13 | 2021-07-13 | 株式会社理光 | 垂直校正矩阵的生成方法、装置及计算机可读存储介质 |
CN113112412B (zh) * | 2020-01-13 | 2024-03-19 | 株式会社理光 | 垂直校正矩阵的生成方法、装置及计算机可读存储介质 |
CN111536982A (zh) * | 2020-05-06 | 2020-08-14 | 北京工业大学 | 一种光照不良条件下小行星探测器光学导航图像生成方法 |
CN111536982B (zh) * | 2020-05-06 | 2023-09-19 | 北京工业大学 | 一种光照不良条件下小行星探测器光学导航图像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022518773A (ja) | 2022-03-16 |
EP3905673A4 (en) | 2022-09-28 |
EP3905673A1 (en) | 2021-11-03 |
WO2020151268A1 (zh) | 2020-07-30 |
US20220092734A1 (en) | 2022-03-24 |
US11995793B2 (en) | 2024-05-28 |
CN109769110B (zh) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109769110A (zh) | 一种3d小行星动态图的生成方法、装置及便携式终端 | |
US11748906B2 (en) | Gaze point calculation method, apparatus and device | |
CN106600686B (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
US6157385A (en) | Method of and apparatus for performing perspective transformation of visible stimuli | |
CN101422035B (zh) | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 | |
US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
KR20170005009A (ko) | 3d 라돈 이미지의 생성 및 사용 | |
Jones et al. | Interpolating vertical parallax for an autostereoscopic three-dimensional projector array | |
US11825064B2 (en) | Light field display method and system, storage medium and display panel | |
KR102049456B1 (ko) | 광 필드 영상을 생성하는 방법 및 장치 | |
US20140009570A1 (en) | Systems and methods for capture and display of flex-focus panoramas | |
Jung et al. | Flexibly connectable light field system for free view exploration | |
Lin et al. | A low-cost portable polycamera for stereoscopic 360 imaging | |
KR102399955B1 (ko) | 점군 정보 생성 장치 및 방법 | |
US6731284B1 (en) | Method of and apparatus for performing perspective transformation of visible stimuli | |
Smith et al. | Cultural heritage omni-stereo panoramas for immersive cultural analytics—from the Nile to the Hijaz | |
CN116708862A (zh) | 直播间的虚拟背景生成方法、计算机设备及存储介质 | |
Yang et al. | Real-time light-field generation based on the visual hull for the 3D light-field display with free-viewpoint texture mapping | |
US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
Ban et al. | Pixel of matter: new ways of seeing with an active volumetric filmmaking system | |
Lo et al. | Acquiring 360° Light Field by a Moving Dual-Fisheye Camera | |
CN108986183A (zh) | 一种全景地图的制作方法 | |
Stone | A Planetarium Dome Master Camera | |
US20230090732A1 (en) | System and method for real-time ray tracing in a 3d environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant after: Yingshi Innovation Technology Co., Ltd Address before: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN ARASHI VISION Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |