CN109769110B - 一种3d小行星动态图的生成方法、装置及便携式终端 - Google Patents

一种3d小行星动态图的生成方法、装置及便携式终端 Download PDF

Info

Publication number
CN109769110B
CN109769110B CN201910057169.3A CN201910057169A CN109769110B CN 109769110 B CN109769110 B CN 109769110B CN 201910057169 A CN201910057169 A CN 201910057169A CN 109769110 B CN109769110 B CN 109769110B
Authority
CN
China
Prior art keywords
asteroid
area
generating
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910057169.3A
Other languages
English (en)
Other versions
CN109769110A (zh
Inventor
高瑞东
姜文杰
朱力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN201910057169.3A priority Critical patent/CN109769110B/zh
Publication of CN109769110A publication Critical patent/CN109769110A/zh
Priority to JP2021542464A priority patent/JP2022518773A/ja
Priority to US17/424,802 priority patent/US11995793B2/en
Priority to EP19912004.9A priority patent/EP3905673A4/en
Priority to PCT/CN2019/112246 priority patent/WO2020151268A1/zh
Application granted granted Critical
Publication of CN109769110B publication Critical patent/CN109769110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种3D小行星动态图的生成方法、装置及便携式终端。所述方法包括：获取全景图像；对全景图像识别并分割成天空区域、人体区域和地面区域；针对天空区域、人体区域和地面区域计算全景深度图；将全景图像和全景深度图分别变换生成小行星图像和小行星深度图；生成虚拟视点下的小行星视图；渲染生成3D小行星动态图。本发明技术方案通过自动生成虚拟视点下的小行星视图并合成渲染，实现了将一幅全景图像生成有3D效果的小行星动态图。

Description

一种3D小行星动态图的生成方法、装置及便携式终端
技术领域
本发明属于图像领域，尤其涉及一种3D小行星动态图的生成方法、装置及便携式终端。
背景技术
目前，已经有一些方法可以实现将一张图像生成具有3D效果的视图，例如采用微透镜技术来生成3D视图。微透镜的透镜为放大镜阵列，该放大镜阵列被设计成当从稍微不同的角度观察时，放大不同的图像。为了生成3D视图，首先需要生成多视点图像，例如12视点或更多视点图像，接着将多视点图像混合成混合图像。混合多视点图像是一个从多视点图像中提取合适的像素合并成一个新图像的过程，新图像包含原始图像的多视点信息。微透镜的透镜用来在不同的视角显示这些多视点的视角，最后，透过微透镜板观看，观看者的左眼和右眼可以看到不同的图像，从而产生3D的效果，该方法的缺陷是需要借助微透镜板而不能裸眼观看。
另一种常用的方法是手动将2D图像转换成多视点图像，操作者通常需要创建蒙皮从目标图像中提取对象，然后根据自己的判断给这些蒙皮确定深度信息。深度信息与原始2D图像具有同样尺寸的灰度图像，灰度图像用灰色表示图像的每个部分的深度。手动创建的深度信息用来引导计算机移动原始2D图像的像素以形成新的视点图，深度图可以产生强烈3D显示效果，但采用已有的这种方法生成3D视图需要耗时数小时甚至数天的时间。
综上所述，现有的从一张图像生成3D视图的方法及系统具有需要借助工具或处理时间长等缺点，用户体验度不高。
发明内容
本发明提出一种3D小行星动态图的生成方法、装置及便携式终端，旨在通过自动生成虚拟视点下的小行星视图并合成渲染，实现将一幅全景图像生成有3D效果的小行星动态图，该方法效率高、图像质量效果好，用户体验度较高。
第一方面，本发明提供了一种3D小行星动态图的生成方法，所述方法包括：
获取全景图像；
对全景图像识别并分割成天空区域、人体区域和地面区域；
针对天空区域、人体区域和地面区域计算全景深度图；
将全景图像和全景深度图分别变换生成小行星图像和小行星深度图；
生成虚拟视点下的小行星视图；
渲染生成3D小行星动态图。
第二方面，本发明提供了一种3D小行星动态图的生成装置，所述装置包括：
获取模块，用于获取全景图像；
分割模块，用于对全景图像识别并分割成天空区域、人体区域和地面区域；
计算模块，用于根据所述天空区域、人体区域和地面区域计算全景深度图；
变换模块，用于将全景图像和全景深度图分别变换生成小行星图像和小行星深度图；
生成模块：用于生成虚拟视点下的小行星视图；
渲染模块：用于渲染生成3D小行星动态图。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的一种3D小行星动态图的生成方法的步骤。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的一种3D小行星动态图的生成方法的步骤。
本发明技术方案通过计算图像深度图，自动生成虚拟视点下的小行星视图并合成渲染，实现了将一幅全景图像生成有3D效果的小行星动态图，不仅增强了视觉效果，还具有处理速度快等优点。
附图说明
图1是本发明实施例一提供的一种3D小行星动态图的生成方法流程图。
图2是本发明实施例一提供的一个全景深度图示例。
图3是本发明实施例一提供的小行星图像映射到全景图像的方法的流程图。
图4是本发明实施例一提供的一种生成虚拟视点下的小行星视图方法的流程图。
图5是本发明实施例二提供的一种3D小行星动态图的生成模块示意图。
图6是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的一种3D小行星动态图的生成方法包括以下步骤：
S101.获取全景图像；
获取一幅全景图，所述全景图可以为由至少两个鱼眼镜头拍摄的多幅鱼眼图像经过光流拼接算法生成的一幅全景图像；全景图像的内容可以包括拍摄者举着全景相机拍摄的图片。
S102.对全景图像识别并分割成天空区域、人体区域和地面区域；
对全景图像内容识别出天空和人体并进行语义分割，主要分割出以下3个区域：天空区域、人体区域和地面区域；
其中识别与分割天空部分可以采用经典的天空检测算法，天空检测算法不限于论文《Sky Region Detection in a Single Image for Autonomous Ground RobotNavigation》和中国专利CN109003237A中公开的方法，识别与分割人体部分可以采用经典的图像目标检测算法，目标检测算法不限于《Cascade R-CNN:Delving into High QualityObject Detection》方法等；分割出天空区域和人体区域后，剩下的部分全部划分为地面区域，即地面区域可以包含高楼、房屋和树木等。
S103.针对天空区域、人体区域和地面区域计算全景深度图；
不同物体间的相对深度可以反映物体间的三维位置关系，物体的深度表示实际场景中物体与摄像机之间的距离，因此距离摄像机越远的物体，深度值越大，距摄像机越近的物体，深度值越小；
根据所述天空区域、人体区域和地面区域计算全景深度图，方法如下：
人体区域中像素(x1,y1)的深度值bodyDepth可由公式(1)计算得出：
Figure GDA0002478305510000051
公式(1)中，y1为像素(x1,y1)在全景图像中的行坐标，x∈[min RowIdx,maxRowIdx]，min RowIdx为人体区域中像素行坐标的最小值，max RowIdx为人体区域中像素横坐标的最大值，min BodyDepth为设定的人体区域像素深度值的最小值，max BodyDepth为设定的人体区域像素深度值的最大值，bodyDepth∈[min BodyDepth,max BodyDepth]；
天空区域中所有像素的深度值设为固定值skyDepth，skyDepth∈(maxBodyDepth,255]；
地面区域中像素(x2,y2)分为固定深度值区域和渐变深度值区域；
固定深度区域的行坐标的范围为[2max RowIdx-imgH,imgH]，其中imgH为图像的高度，即行坐标的最大值，令固定深度区域的像素的深度值为固定值max BodyDepth；
地面区域中除固定深度区域外为渐变深度值区域，渐变深度值区域中像素(x2,y2)的深度值可由公式(2)计算：
Figure GDA0002478305510000061
公式(2)中，y2为像素(x2,y2)在全景图像中的行坐标，y2＜2 max RowIdx-imgH，edgeDepth为设定的固定值，edgeDepth∈[max BodyDepth,skyDepth)。
分别计算出人体区域深度值、天空区域深度值和地面区域深度值后，即可得全景深度图；全景深度图示例请参阅图2。
S104.将全景图像和全景深度图分别变换生成小行星图像和小行星深度图；
请参阅图3，小行星图像映射到全景图像的方法如下：
S1041：将小行星图像像素点从图像坐标系转换到物理坐标系；
以单位球的南极点为三维坐标原点，x轴向右，y轴垂直向内，Z轴向上，符合右手坐标系；设定观察者视点位置位于单位球的北极点与球心的连线上，坐标值为(0,0,d)，设定投影的小行星平面与单位球相切于坐标原点(0,0,0)，设定输出小行星图像尺寸(W,H)，小行星视图中一个像素点(u,v)转换到物理坐标系后坐标点为(U,V)；U和V计算公式分别为公式(3)和公式(4)：
Figure GDA0002478305510000071
Figure GDA0002478305510000072
公式(3)和公式(4)中，L＝2·Radius·tan(fov·0.5)，
Figure GDA0002478305510000073
为设定视场角为120°，单位球半径Radius＝1时，弧度制的转换公式；
S1042:计算物理坐标系中像素点在球坐标系下的方位角
Figure GDA0002478305510000074
Figure GDA0002478305510000075
的计算公式为:
Figure GDA0002478305510000076
公式(5)中，r为点(U,V)在球坐标系下的纬度圆半径，
Figure GDA0002478305510000077
S1043：计算物理坐标系中像素点在球坐标系下的天顶角θ；
利用正切定理以及正弦定理计算出点(U,V)在球坐标系下的天顶角θ，计算公式为：
θ＝π-α-β (6)
公式(8)中，
Figure GDA0002478305510000078
β＝arcsin(d·sin(a))；
S1044：计算球坐标系下像素点
Figure GDA0002478305510000079
与全景图像中像素点(x,y)的转换公式；
利用经纬度展开法，将球面坐标
Figure GDA0002478305510000081
投影到全景图像坐标(x,y)，x的计算公式为：
Figure GDA0002478305510000082
Y的计算公式为
Figure GDA0002478305510000083
根据上述小行星图像映射到全景图像的方法，可以采用反向映射方法获取全景图像的小行星图像，反向映射方法具体为：
由小行星图像中的坐标值反向计算出全景图像中对应的坐标值；因计算出的坐标值为浮点型数据，故还需采用双线性插值算法计算出小行星视图(u,v)坐标的像素值；
遍历全景图像所有像素点，可计算出生成小行星视图；
将S101步骤中获取的全景图像生成小行星图像；
将S103步骤中计算出的全景深度图生成小行星深度图。
S105.生成虚拟视点下的小行星视图；
请参阅图4，生成虚拟视点下的小行星视图方法的步骤如下：
S1051:设定虚拟视点坐标：
小行星图像的真实视点在小行星图像的正上方，设定虚拟视点在以真实视点为中心，平行于小行星图像的单位圆形轨迹上，虚拟视点坐标(x,y)，有x＝cos(θ)，y＝sin(θ)，θ∈[0,2·π]，虚拟视点的个数为n，n>1；
S1052:计算真实视点到虚拟视点之间的平移矩阵T；
T为3*1矩阵，由公式(9)计算得出：
Figure GDA0002478305510000091
S1053:计算真实视点到虚拟视点之间的旋转矩阵R；
R为3*3矩阵，由公式(10)计算得出：
Figure GDA0002478305510000092
S1054:利用的3D warping算法生成虚拟视点下的小行星视图；
虚拟视点下的小行星视图投影公式为公式(11)所示：
q′＝K·R·K-1·q+K·T (11)
公式(11)中，其中，P是真实三维空间点，q是P投影到二维图像平面上的像素点，q＝K·P，P′是虚拟三维空间点，虚拟三维空间点P′与真实三维空间点P之间的关系为P′＝R·P+T；q′是P′投影到二维图像平面上的像素点，q′＝K·P′，K是相机的内参矩阵，设定虚拟摄像机和真实摄像机具有相同的内参；
在利用3D warping算法生成虚拟视点下的小行星视图中，对于由原始小行星图像中物体由于前后遮挡产生的无像素信息的空洞区域，采用临近像素点进行填充。
在所述生成虚拟视点下的小行星视图中，由于虚拟视点(x,y)的个数有n个，故能生成n幅虚拟视点下的小行星视图，n>1。
S106.渲染生成3D小行星动态图；
利用单位圆轨迹上的n个虚拟视点生成的n幅虚拟视点下的小行星视图，按生成的虚拟视点下的小行星视图顺序或设定的顺序合成渲染，生成具有3D效果的小行星动态图。
实施例二：
请参阅图5，本发明实施例二提供的一种3D小行星动态图的生成装置包括：
获取模块11，用于获取全景图像；
分割模块12，用于对全景图像识别并分割成天空区域、人体区域和地面区域；
计算模块13，用于根据所述天空区域、人体区域和地面区域计算全景深度图；
变换模块14，用于将全景图像和全景深度图分别变换生成小行星图像和小行星深度图；
生成模块15：用于生成虚拟视点下的小行星视图；
渲染模块16：用于渲染生成3D小行星动态图。
本发明实施例二提供的一种一种3D小行星动态图的生成的装置及本发明实施例一提供的一种3D小行星动态图的生成方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如本发明实施例一提供的一种3D小行星动态图的生成方法的步骤。
实施例四：
图6示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种3D小行星动态图的生成方法的步骤。
在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
在本发明中，通过计算图像深度图，自动生成虚拟视点下的小行星视图并合成渲染，实现了将一幅全景图像生成有3D效果的小行星动态图，不仅增强了视觉效果，还具有处理速度快等优点。

Claims (10)

1.一种3D小行星动态图的生成方法，其特征在于，包括以下步骤：
获取全景图像；
对全景图像识别并分割成天空区域、人体区域和地面区域；
针对天空区域、人体区域和地面区域计算全景深度图；
将全景图像和全景深度图分别变换生成小行星图像和小行星深度图；
生成虚拟视点下的小行星视图；
渲染生成3D小行星动态图。
2.如权利要求1所述的一种3D小行星动态图的生成方法，其特征在于：所述的对全景图像进行识别并分割成天空区域、人体区域和地面区域具体为：
识别出全景图像中的天空和人体，然后将全景图像分割出天空区域和人体区域，图像中剩余部分划分为地面区域。
3.如权利要求1所述的一种3D小行星动态图的生成方法，其特征在于所述计算全景深度图具体为分别计算出所述天空区域、人体区域和地面区域的深度值；
人体区域中像素(x1,y1)的深度值bodyDepth可由公式(1)计算得出：
Figure FDA0002478305500000011
公式(1)中，y1为像素(x1,y1)在全景图像中的行坐标，
x∈[min RowIdx,max RowIdx]，minRowIdx为人体区域中像素行坐标的最小值，maxRowIdx为人体区域中像素横坐标的最大值，min BodyDepth为设定的人体区域像素深度值的最小值，max BodyDepth为设定的人体区域像素深度值的最大值，bodyDepth∈[minBodyDepth,max BodyDepth]；
天空区域中所有像素的深度值设为固定值skyDepth，skyDepth∈(maxBodyDepth,255]；
地面区域中像素(x2,y2)分为固定深度值区域和渐变深度值区域；
固定深度区域的行坐标的范围为[2max RowIdx-imgH,imgH]，其中imgH为图像的高度，即行坐标的最大值，令固定深度区域的像素的深度值为固定值max BodyDepth；
地面区域中固定深度区域外的区域为渐变深度值区域，渐变深度值区域中像素(x2,y2)的深度值可由公式(2)计算：
Figure FDA0002478305500000021
公式(2)中，y2为像素(x2,y2)在全景图像中的行坐标，y2＜2max RowIdx-imgH，edgeDepth为设定的固定值，edgeDepth∈[max BodyDepth,skyDepth)。
4.如权利要求1所述的一种3D小行星动态图的生成方法，其特征在于，所述生成虚拟视点下的小行星视图具体包括：
设定虚拟视点坐标：
小行星图像的真实视点在小行星图像的正上方，设定虚拟视点在以真实视点为中心，平行于小行星图像的单位圆形轨迹上，虚拟视点坐标(x,y)，有x＝cos(θ)，y＝sin(θ)，θ∈[0,2·π]；
计算真实视点到虚拟视点之间的平移矩阵T，T为3*1矩阵；
计算真实视点到虚拟视点之间的旋转矩阵R，R为3*3矩阵；
利用3D warping算法生成虚拟视点下的小行星视图；
虚拟视点下的小行星视图投影公式为公式(11)所示：
q′＝K·R·K-1·q+K·T (11)
公式(11)中，其中，P是真实三维空间点，q是P投影到二维图像平面上的像素点，q＝K·P，P′是虚拟三维空间点，虚拟三维空间点P′与真实三维空间点P之间的关系为P′＝R·P+T；q′是P′投影到二维图像平面上的像素点，q′＝K·P′，K是相机的内参矩阵，设定虚拟摄像机和真实摄像机具有相同的内参。
5.如权利要求4所述的一种3D小行星动态图的生成方法，其特征在于，在所述生成虚拟视点下的小行星视图中，由于虚拟视点(x,y)的个数有n个，故能生成n幅虚拟视点下的小行星视图，n>1。
6.如权利要求4所述的一种3D小行星动态图的生成方法，其特征在于，在利用3Dwarping算法生成虚拟视点下的小行星视图中，对于由原始小行星图像中物体由于前后遮挡产生的无像素信息的空洞区域，采用临近像素点进行填充。
7.如权利要求1所述的一种3D小行星动态图的生成方法，其特征在于，所述渲染生成3D小行星动态图具体为：
利用单位圆轨迹上的n个虚拟视点生成的n幅虚拟视点下的小行星视图，按顺序合成渲染，生成3D小行星动态图。
8.一种3D小行星动态图的生成装置，其特征在于，包括：
获取模块，用于获取全景图像；
分割模块，用于对全景图像识别并分割成天空区域、人体区域和地面区域；
计算模块，用于根据所述天空区域、人体区域和地面区域计算全景深度图；
变换模块，用于将全景图像和全景深度图分别变换生成小行星图像和小行星深度图；
生成模块：用于生成虚拟视点下的小行星视图；
渲染模块：用于渲染生成3D小行星动态图。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种3D小行星动态图的生成方法的步骤。
10.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种3D小行星动态图的生成方法的步骤。
CN201910057169.3A 2019-01-22 2019-01-22 一种3d小行星动态图的生成方法、装置及便携式终端 Active CN109769110B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910057169.3A CN109769110B (zh) 2019-01-22 2019-01-22 一种3d小行星动态图的生成方法、装置及便携式终端
JP2021542464A JP2022518773A (ja) 2019-01-22 2019-10-21 ３ｄ小惑星ダイナミックマップの生成方法及びポータブル型端末
US17/424,802 US11995793B2 (en) 2019-01-22 2019-10-21 Generation method for 3D asteroid dynamic map and portable terminal
EP19912004.9A EP3905673A4 (en) 2019-01-22 2019-10-21 METHOD OF GENERATION OF DYNAMIC 3D ASTEROID MAP AND PORTABLE TERMINAL
PCT/CN2019/112246 WO2020151268A1 (zh) 2019-01-22 2019-10-21 一种3d小行星动态图的生成方法及便携式终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910057169.3A CN109769110B (zh) 2019-01-22 2019-01-22 一种3d小行星动态图的生成方法、装置及便携式终端

Publications (2)

Publication Number Publication Date
CN109769110A CN109769110A (zh) 2019-05-17
CN109769110B true CN109769110B (zh) 2020-07-14

Family

ID=66454929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910057169.3A Active CN109769110B (zh) 2019-01-22 2019-01-22 一种3d小行星动态图的生成方法、装置及便携式终端

Country Status (5)

Country Link
US (1) US11995793B2 (zh)
EP (1) EP3905673A4 (zh)
JP (1) JP2022518773A (zh)
CN (1) CN109769110B (zh)
WO (1) WO2020151268A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109769110B (zh) 2019-01-22 2020-07-14 影石创新科技股份有限公司 一种3d小行星动态图的生成方法、装置及便携式终端
CN113112412B (zh) * 2020-01-13 2024-03-19 株式会社理光 垂直校正矩阵的生成方法、装置及计算机可读存储介质
CN111536982B (zh) * 2020-05-06 2023-09-19 北京工业大学 一种光照不良条件下小行星探测器光学导航图像生成方法
CN114283195B (zh) * 2022-03-03 2022-07-26 荣耀终端有限公司 生成动态图像的方法、电子设备及可读存储介质
WO2024101776A1 (ko) * 2022-11-09 2024-05-16 네이버랩스 주식회사 3차원 빌딩 모델 및 도로 모델을 이용한 3차원 거리뷰 모델 생성 방법 및 시스템

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
WO2010088840A1 (en) 2009-02-06 2010-08-12 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
JP5250598B2 (ja) * 2010-10-05 2013-07-31 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
KR101862543B1 (ko) * 2011-09-08 2018-07-06 삼성전자 주식회사 깊이정보 생성장치, 깊이정보 생성방법 및 그 저장매체
JP5780214B2 (ja) 2012-06-27 2015-09-16 株式会社Ｊｖｃケンウッド 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
CN103020900B (zh) * 2012-11-15 2015-06-24 小米科技有限责任公司 一种图像处理方法及装置
KR20140122054A (ko) * 2013-04-09 2014-10-17 삼성전자주식회사 2차원 이미지를 3차원 이미지로 변환하는 3차원 이미지 변환 장치 및 그 제어 방법
CA2820305A1 (en) * 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US10074161B2 (en) * 2016-04-08 2018-09-11 Adobe Systems Incorporated Sky editing based on image composition
CN105959665B (zh) * 2016-05-05 2018-08-07 清华大学深圳研究生院 一种针对于虚拟现实设备的全景3d视频生成方法
CN106056139A (zh) * 2016-05-26 2016-10-26 东华大学 一种基于图像分割的森林火灾烟雾检测方法
CN106162203B (zh) * 2016-07-05 2019-10-25 实野信息科技（上海）有限公司 全景视频播放方法、播放器与头戴式虚拟现实设备
CN108377407B (zh) 2016-11-04 2021-03-12 株式会社理光 全景视频的处理方法、装置及电子设备
WO2018154589A1 (en) * 2017-02-23 2018-08-30 Kshitij Marwah An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on
US10373362B2 (en) * 2017-07-06 2019-08-06 Humaneyes Technologies Ltd. Systems and methods for adaptive stitching of digital images
GB2564642A (en) * 2017-07-10 2019-01-23 Nokia Technologies Oy Methods and apparatuses for panoramic image processing
CN107590850A (zh) 2017-08-11 2018-01-16 深圳依偎控股有限公司 一种利用球形全景图的3d场景构建方法及系统
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
CN109003237A (zh) * 2018-07-03 2018-12-14 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法、装置及便携式终端
CN109769110B (zh) 2019-01-22 2020-07-14 影石创新科技股份有限公司 一种3d小行星动态图的生成方法、装置及便携式终端
KR20210078813A (ko) * 2019-12-19 2021-06-29 엘지전자 주식회사 이미지를 합성하는 인공 지능 장치 및 그 방법
TW202133118A (zh) * 2020-02-21 2021-09-01 四葉草娛樂有限公司 實境模擬全景系統及其方法

Also Published As

Publication number Publication date
JP2022518773A (ja) 2022-03-16
EP3905673A4 (en) 2022-09-28
WO2020151268A1 (zh) 2020-07-30
US11995793B2 (en) 2024-05-28
CN109769110A (zh) 2019-05-17
EP3905673A1 (en) 2021-11-03
US20220092734A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
CN109769110B (zh) 一种3d小行星动态图的生成方法、装置及便携式终端
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
JP4803594B2 (ja) 局所領域分割による自由視点画像の生成装置およびプログラム
CN102164298B (zh) 全景成像系统中基于立体匹配的元素图像获取方法
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
WO2022222121A1 (zh) 一种全景图像的生成方法、车载图像处理装置及车辆
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
KR20120140515A (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
Lin et al. A low-cost portable polycamera for stereoscopic 360 imaging
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
Sandnes et al. Translating the viewing position in single equirectangular panoramic images
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
KR20210083745A (ko) 점군 정보 생성 장치 및 방법
US20230005213A1 (en) Imaging apparatus, imaging method, and program
Andersen et al. An AR-guided system for fast image-based modeling of indoor scenes
Yang et al. Real-time light-field generation based on the visual hull for the 3D light-field display with free-viewpoint texture mapping
CN109089100B (zh) 一种双目立体视频的合成方法
CN108986183B (zh) 一种全景地图的制作方法
Gurrieri et al. Depth consistency and vertical disparities in stereoscopic panoramas
JP7278720B2 (ja) 生成装置、生成方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Applicant after: Yingshi Innovation Technology Co., Ltd

Address before: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant