CN104778743A - 用于产生三维景象的装置及由电脑执行的产生三维景象的方法 - Google Patents

用于产生三维景象的装置及由电脑执行的产生三维景象的方法 Download PDF

Info

Publication number
CN104778743A
CN104778743A CN201410598890.0A CN201410598890A CN104778743A CN 104778743 A CN104778743 A CN 104778743A CN 201410598890 A CN201410598890 A CN 201410598890A CN 104778743 A CN104778743 A CN 104778743A
Authority
CN
China
Prior art keywords
depth
interest
area
scene
mobile route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410598890.0A
Other languages
English (en)
Other versions
CN104778743B (zh
Inventor
陈立承
李怀哲
陈之容
曾咏超
阙鑫地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN104778743A publication Critical patent/CN104778743A/zh
Application granted granted Critical
Publication of CN104778743B publication Critical patent/CN104778743B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本发明提供一种用于产生三维景象的装置及由电脑执行的产生该三维景象的方法。该装置包含一储存单元及一处理单元。该储存单元储存有一景象及该景象的多个深度数据。该处理单元用以根据这些深度数据产生一深度直方图,根据该深度直方图产生该景象的一感兴趣区域,根据该感兴趣区域决定一虚拟照相机的一移动路径,以及根据该景象及该移动路径产生该三维景象。

Description

用于产生三维景象的装置及由电脑执行的产生三维景象的方法
技术领域
本发明有关于一种用于产生一三维景象的装置及由电脑执行的产生该三维景象的方法;更具体而言,本发明有关于一种用于基于一景象的深度数据而产生一三维景象的装置及由电脑执行的产生该三维景象的方法。
背景技术
尽管显示各种内容的景象在我们的日常生活中无处不在,但人们仍不满足于此。主要原因在于,这些景象为二维(two-dimensional;2D)的,故人眼观的为平面的。
若将深度资讯(depth information)导入传统二维景象,则能开发出三维(three-dimensional;3D)景象/景象。传统上,三维景象/景象藉由以下程序产生:自二个视角捕获一景象,再藉由一专用投影装置(例如,3D眼镜)提供深度感觉。由于用于产生3维景象/景象的传统程序繁琐,因此仍亟需一种能方便地产生3维景象/景象的机制。
发明内容
本发明的一个目的在于提供一种用于产生一三维景象的装置。该装置包含一储存单元及一处理单元,其中该储存单元电性连接至该处理单元。该储存单元储存有一景象及该景象的多个深度数据。该处理单元用以根据这些深度数据产生一深度直方图(depth histogram),根据该深度直方图产生该景象的一感兴趣区域(region ofinterest;ROI),根据该感兴趣区域决定一虚拟照相机的一移动路径,以及根据该景象及该移动路径产生该三维景象。
本发明的另一个目的在于提供一种由电脑执行的产生一三维景象的方法。该由电脑执行的方法包含以下步骤:根据一景象的多个深度数据产生一深度直方图,根据该深度直方图产生该景象的一感兴趣区域;根据该感兴趣区域决定一虚拟照相机的一移动路径,以及根据该景象及该移动路径产生该三维景象。
本发明基于一景象及该景象的深度数据产生一三维景象。具体而言,本发明在产生该三维景象时,引入一虚拟照相机的一移动路径来达成该三维景象的三维感觉(three-dimensional feeling)。本发明更藉由将粒子添加至该三维景象中而增强该三维感觉。为达成该目标,本发明根据这些深度数据产生一深度直方图,根据该景象的该深度直方图产生该景象的一感兴趣区域,根据该感兴趣区域决定该虚拟照相机的该移动路径,并且根据该景象及该移动路径产生该三维景象。本发明还可进一步地将适当大小的粒子添加至该三维景象。藉由使用该移动路径及添加粒子,可形成该三维景象的视差视觉效果(parallax visual effect),并因此对人眼产生三维感觉。
在参阅附图及随后描述的实施方式后,该技术域具有通常知识者便可了解本发明的其他目的,以及本发明的技术手段及实施态样。
附图说明
图1描绘了用于产生一个三维景象的一装置的示意图;
图2描绘了以视觉化的方式所呈现的深度直方图;
图3描绘了截切(truncating)深度直方图的杂讯的概念;
图4描绘了滤除深度直方图的远侧深度数据的概念;
图5描绘了决定一水平范围及一垂直范围的概念;
图6描绘了决定一水平范围及一垂直范围并据此产生感兴趣区域的概念;
图7描绘了将一景象虚拟地划分成七个部分的概念;
图8描绘了一实例性移动路径的正视图;
图9描绘了一实例性移动路径的俯视图;
图10描绘了若干实例性移动路径的正视图;
图11描绘了产生三维景象的概念的俯视图;
图12描绘了将粒子添加至三维景象中的概念;
图13描绘了决定三维空间的概念;以及
图14A、图14B及图14C描绘了由电脑执行的产生一三维景象的方法的流程图。
符号说明
1:装置
2:虚拟照相机
10:景象
11:储存单元
12a、……、12b:深度数据
13:处理单元
14:深度图
17a:照相机视野的第一位置
17b:照相机视野的第二位置
20:三维空间
102:深度直方图
104:已更新的深度直方图
106:已更新的深度直方图
120:水平投影
140:垂直投影
160:感兴趣区域
180:移动路径
190:粒子
D:深度
dd:标准差
dh:标准差
dv:标准差
H:高度
HR:水平范围
LB:左部
LC:左部
LT:左部
M1:最大深度值
M2:最小深度值
MAX:各累积数目中的一最大值
md:平均值
mh:平均值
mv:平均值
R:深度范围
RB:右部
RC:右部
RT:右部
S101~S107:步骤
S111~S118:步骤
S121~S125:步骤
TH1:临限值
TH2:第二临限值
VR:垂直范围
W:宽度
x:x轴
y:y轴
z:y轴
具体实施方式
以下将透过实施方式来解释本发明内容。然而,本发明的实施方式并非用以限制本发明需在如实施方式所述的任何环境、应用或方式方能实施。因此,关于实施方式的说明仅为阐释本发明的目的,而非用以直接限制本发明。需说明者,以下实施方式及附图中,与本发明非直接相关的元件已省略而未绘示。
本发明的第一实施方式为一个用于产生一个三维景象的装置1,其示意图描绘于图1中。装置1包含一储存单元11及一处理单元13,其中储存单元11与处理单元13彼此电性连接。储存单元11可为一存储器、一软碟、一硬碟、一光碟(compactdisk;CD)、一随身碟、一磁带、一数据库或任何其他具有相同功能且为本发明所属技术领域中具有通常知识者所知的储存媒体或电路。处理单元13可为各种处理器、中央处理单元(central processing unit;CPU)、微处理器或本发明所属技术领域中具有通常知识者所知的其他计算装置。
储存单元11储存有一景象10及景象10的多个深度数据12a、……、12b,其中各该深度数据12a、……、12b对应至景象10的一部分(例如:一个像素或多个像素)。景象10的内容包含来自一视角(viewpoint)的真实世界景象。各该深度数据12a、……、12b具有一深度值,且各该深度值与该视角和该景象的一表面位置间的一距离相关(或相等)。深度数据12a、……、12b可藉由各种方式得到,例如:藉由双照相机(dual camera)、藉由一立体景象系统的计算以及藉由一距离测量设备(例如:雷射测量设备、红外线测量设备等)得到。
首先,处理单元13根据深度数据12a、……、12b产生一深度直方图102。深度直方图102记录各该深度值的一累积数目。图2描绘了以视觉化的方式所呈现的深度直方图102,其中水平轴表示深度数据12a、……、12b的深度值,且垂直轴表示各该深度值的累积数目。在图2中,深度值以递减方式自左至右排列;然而,在其他实施方式中,深度值可以其他方式排列。应注意,本发明并未限制如何以视觉化的方式呈现深度直方图。
接着,处理单元13根据深度直方图102产生景象10的一感兴趣区域。在本发明中,一景象的一感兴趣区域包含该景象中那些深度值处于一深度范围内且紧密地聚集于一起的像素。产生景象10的该感兴趣区域的程序可被粗略地划分成以下子程序:(a)藉由截切其杂讯而更新深度直方图102,(b)藉由滤除远侧深度数据而再次更新该深度直方图,(c)根据该已更新的深度直方图决定一深度范围,(d)根据一深度图(depth map)及该深度范围决定一水平范围及一垂直范围,以及(e)根据该垂直范围及该水平范围决定景象10的该感兴趣区域。以下,将详细阐述各该子程序。
关于藉由截切其杂讯而更新深度直方图102的子程序(即,上述子程序(a)),其概念描绘于图3中。处理单元13确定出各累积数目中的一最大值MAX,根据该最大值MAX决定一临限值TH1,并藉由根据临限值TH1截切这些累积数目而更新深度直方图102。举例而言,临限值TH1可为一等于最大值MAX的某一百分比(例如:5%)的值。在执行子程序(a)之后,得到已更新的深度直方图104。如上所述,一景象的一感兴趣区域包含该景象中那些深度值处于一深度范围内且紧密地聚集于一起的像素;因此,此子程序的主要目的在于保留那些较重要的深度值(即,保持其累积数目大于临限值TH1的深度值)。应注意,在某些其他实施方式中可省略子程序(a)。
在执行子程序(a)之后,处理单元13藉由滤除远侧深度数据而更新深度直方图104(即,执行上述子程序(b))。图4描绘了子程序(b)的概念。处理单元13滤除大于一临限值TH2的各深度值所对应的各累积数目,藉此更新深度直方图104。临限值TH2为深度直方图104所包含的这些深度值中的最大深度值M1与最小深度值M2间的一中间值。举例而言,临限值TH2可为深度直方图104所包含的这些深度值的一中位数(median value)或一中心值(central value)。在执行子程序(b)之后,得到包含近侧深度数据的已更新的深度直方图106。近侧深度数据会被保留于深度直方图106中,其原因在于对大部分景象而言,一景象的一或多个感兴趣对象(例如:一或多个人脸)在被拍摄时较背景更靠近照相机。
如上所述,在某些其他实施方式中,可省略上述子程序(a)。对于这些实施方式而言,处理单元将改为对深度直方图102执行应用子程序(b)。本发明所属技术领域中具有通常知识者基于先前段落中的说明将轻易地理解如何对深度直方图102执行应用子程序(b),故不再予以赘述。
在执行子程序(b)之后,处理单元13根据已更新的深度直方图106所包含的各深度值决定一深度范围R(即,执行前述子程序(c))。深度范围R为一范围,其落于已更新的深度直方图106的度值范围内。在一较佳实施方式中,处理单元13可藉由以下机制决定深度范围R:根据已更新的深度直方图106中仍保留的深度值计算一平均值md及一标准差dd,再根据该平均值md及该标准差dd计算该深度范围R。更具体而言,该深度范围R是自一等同于该平均值md减去该标准差dd的值至一等同于该平均值md加上该标准差dd的值。
在执行子程序(c)之后,处理单元13根据景象10的一深度图14及深度范围R决定一水平范围HR及一垂直范围VR(即,执行前述子程序(d)),如图5及图6所示。深度图14包含深度数据12a、……、12b;更具体而言,深度数据12a、……、12b是以深度图14在空间位置上对应至景象10的一方式而排列于深度图14中。处理单元13藉由将深度图14中深度值处于深度范围R内的深度数据12a、……、12b投影至一水平轴上而得到一水平投影120。类似地,处理单元13藉由将深度图14中深度值处于深度范围R内的深度数据12a、……、12b投影至一垂直轴上而得到一垂直投影140。
然后,处理单元13根据水平投影120计算水平范围HR并根据垂直投影140计算垂直范围VR。在某些其他实施方式中,处理单元13可计算水平投影120的一平均值及一标准差,然后根据该平均值mh及该标准差dh计算水平范围HR,以使水平范围HR自一等同于该平均值mh减去该标准差dh的值至一等同于该平均值mh加上该标准差dh的值。同样地,在某些其他实施方式中,处理单元13可计算垂直投影140的一平均值mv及一标准差dv,并根据该平均值mv及该标准差dv计算垂直范围VR,俾使垂直范围VR自一等同于该平均值mv减去该标准差dv的值至一等同于该平均值mv加上该标准差dv的值。
在执行子程序(d)之后,处理单元13根据垂直范围VR及水平范围HR决定景象10的感兴趣区域(即,执行前述子程序(e)),如图6所示。在某些实施方式中,将深度图14中处于垂直范围VR及水平范围HR的范围内的一区域决定为深度图14的感兴趣区域160。当深度图14与景象10的解析度相同时,处理单元13将感兴趣区域160视为景象10的感兴趣区域。当深度图14与景象10的解析度不相同时,藉由按比例缩放感兴趣区域160而得到景象10的感兴趣区域。在此实施方式中,假定感兴趣区域160同样用于景象10。
在产生景象10的感兴趣区域160之后,处理单元13根据感兴趣区域160决定一虚拟照相机的一移动路径。具体而言,处理单元13可根据感兴趣区域160的大小、感兴趣区域160的长宽比(aspect ratio)及/或感兴趣区域160的中心来决定该移动路径。在某些实施方式中,可预先界定多个预定移动路径且各该移动路径与一索引(index)相关联。对于这些实施方式,处理单元13根据该感兴趣区域的大小、该感兴趣区域的长宽比及/或该感兴趣区域的中心决定一索引,再根据该索引自这些预定移动路径选择该移动路径。
更具体而言,对于感兴趣区域的大小大于一第一临限值的情况,存在一个预定移动路径。因此,当感兴趣区域160的大小大于第一预定临限值时,处理单元13能够决定该索引并选择所对应的移动路径。此外,对于感兴趣区域的长宽比大于一第二临限值的情况,存在另一预定移动路径。因此,当感兴趣区域160的长宽比大于第二预定临限值时,处理单元13能够决定该索引并选择所对应的移动路径。
另外,对于感兴趣区域的中心位于不同位置处的情况,亦存在若干预定移动路径。更具体而言,如图7所示,一景象被虚拟地划分成七个部分LT、LC、LB、C、RT、RC及RB。对于各该部分,存在至少一个对应的预定移动路径。举例而言,当感兴趣区域160的中心位于部分LT处时,一实例性移动路径例示于图8及图9中。图8例示移动路径180(或景象10)的正视图;因此,可看到移动路径180的水平(即,x-轴方向)移动及垂直(即,y-轴方向)移动。图9例示移动路径180的俯视图;因此,可看到移动路径180的深度方向(即,z-轴方向)移动。
图10描绘了根据感兴趣区域的中心所界定的若干实例性移动路径的正视图。为达成更佳的效能,当该感兴趣区域的中心位于左侧部分LT、LC、LB其中的任一者中时,各移动路径是自左侧向右侧移动以在下一阶段产生更大视差效果。类似的,当该感兴趣区域的中心位于右侧部分RT、RC、RB其中的任一者中时,这些移动路径自右侧向左侧移动以在下一阶段产生更大视差效果。此外,图10所示的各该移动路径亦包含z-轴方向的移动,以有助于在下一阶段的视差效果。
在决定该移动路径之后,处理单元13根据景象10及该移动路径(即,移动路径180)产生一个三维景象。请参照图11,其描绘了用于产生该三维景象的概念的俯视图。更具体而言,移动路径180界定一照相机视野的一第一位置17a及该照相机视野的一第二位置17b。移动路径180的第一位置17a及第二位置17b可分别为移动路径180的开始位置及结束位置。处理单元13根据第一位置17a及景象10决定一第一关键画面(例如:由一虚拟照相机在第一位置17a处拍摄景象10的照片),根据第二位置17b及景象10决定一第二关键画面(例如:由一虚拟照相机在第二位置17b处拍摄景象10的一照片),再藉由依序结合该第一关键画面与该第二关键画面而产生该三维景象。在某些其他实施方式中,处理单元13可自移动路径180选择多于二个位置,再基于所选择的位置及景象10决定多于二个关键画面,之后再藉由依序结合所有这些关键画面而产生该三维景象。由于移动路径180沿三个方向(即,x-轴方向、y-轴方向、及z-轴方向)行进,因此包含第一关键画面、第二关键画面及甚至自移动路径180的不同位置拍摄的其他关键画面的三维景象具有视差效果。
在某些其他实施方式中,处理单元13还可将多个粒子190(例如:叶子、雨滴等)添加至三维景象中以提供更大视差视觉效果,如图12所示。较佳地,虚拟照相机2在沿移动路径180移动时,可始终看到粒子190。为达成此目的,处理单元13须恰当地决定粒子190的一个三维空间以及粒子190的大小。处理单元13可根据感兴趣区域160及移动路径180决定该三维空间。三维空间20的宽度W及高度H两者覆盖感兴趣区域160及一投影区域170。如图13所示,投影区域170为自移动路径180在移动路径180的第二位置(例如,结束位置)处所看到的区域。此外,三维空间20的深度D为移动路径180沿z轴的深度。
现在,将详述决定粒子190的大小的细节。处理单元13根据感兴趣区域160内的各数据值计算一平均深度(例如:1公尺)。之后,处理单元13根据该平均深度计算三维空间20的一粒子类型(particle type)的一大小。当此粒子类型的一粒子放置于该平均深度(例如:1公尺)处时,其大小由人眼观的是正常的。对于未被放置于该平均深度处(例如:该平均深度之前)的粒子而言,处理单元13将据此调整粒子类型的大小(例如:将针对该平均深度所计算出的大小进行按比例缩放)。
当装置1包含一显示单元(未绘示)或者当装置1电性连接至一显示单元时,该显示单元将依序地显示第一关键画面及第二关键画面,且该显示单元在三维空间20中显示该大小的粒子190。
根据以上说明可知,装置1所产生的三维景象具有视差效果,其原因在于该三维景象中所包含的各关键画面沿移动路径自各位置进行拍摄,该移动路径沿至少一个方向(即,x方向、y方向及/或z方向)行进。再者,藉由将粒子添加至该三维景象可进一步地加强该视差效果。由于具有这些视差效果,人眼观视该三维景象会具有三维感觉。
本发明的第二实施方式为一种由电脑执行的产生一个三维景象的方法,其流程描绘于图14A、图14B及图14C中。该方法可由一电子装置(例如,第一实施方式中所述的装置1)执行。
首先,执行步骤S101,根据一景象的多个深度数据产生一深度直方图。接着,执行步骤S103,根据该深度直方图产生该景象的一感兴趣区域。接着,执行步骤S105,根据该感兴趣区域决定一虚拟照相机的一移动路径。最后,执行步骤S107,根据该景象及该移动路径产生三维景象。
应注意,在某些其他实施方式中,步骤S103可藉由图14B所示的步骤来达成。具体而言,各该深度数据为一深度值,各该深度数据对应至该景象的一部分,且步骤S101中所产生的该深度直方图记录各该深度值的一累积数目。
为产生景象的感兴趣区域,执行步骤S111,确定出各累积数目中的一最大值。接着,执行步骤S112,根据该最大值决定一第一临限值。举例而言,该第一临限值可为一等同于该最大值的某一百分比之值。接着,执行步骤S113,藉由根据该临限值截切这些累积数目而更新深度直方图。需说明者,执行步骤S111至步骤S113的目的在于移除步骤S101中所产生的深度直方图中的杂讯。然而,在某些其他实施方式中,可省略步骤S111至步骤S113。
接着,执行步骤S114,藉由滤除大于一第二临限值的各深度值所对应的各累积数目而更新深度直方图,其中该第二临限值为这些深度值中的一最大深度值与一最小深度值之间的一中间值。举例而言,第二临限值TH2可为在步骤S113或步骤S111(对于省略步骤S111至步骤S113的情形)中所得到的深度直方图所包含的这些深度值的一中位数或一中心值。
接着,执行步骤S115,根据在步骤S114中已更新的深度直方图决定一深度范围。在某些其他实施方式中,步骤S115可包含:一步骤用于根据该已更新的深度直方图中仍保留的各深度值计算一平均值及一标准差(未绘示),以及另一步骤用于根据该平均值及该标准差计算该深度范围的步骤(未绘示)。对于这些实施方式,该深度范围可自一等同于该平均值减去该标准差的值至一等同于该平均值加上该标准差的值。
随后,执行步骤S116及步骤S117,根据一深度图及该深度范围分别决定一水平范围及一垂直范围。需说明者,本发明并未限制执行步骤S116及步骤S117的顺序。该深度图包含深度数据;更具体而言,这些深度数据以该深度图在空间位置上对应至景象10的一方式而排列于该深度图中。在某些其他实施方式中,步骤S116可包含:一步骤藉由将该深度范围内该深度图的这些深度数据投影至一水平轴上而得到一水平投影(未绘示),以及另一步骤根据该水平投影计算该水平范围(未绘示)。举例而言,该方法可计算该水平投影的一平均值及一标准差,并根据该平均值及该标准差计算该水平范围。类似地,在某些其他实施方式中,步骤S117可包含:一步骤藉由将该深度范围内的该深度图的这些深度数据投影至一垂直轴上而得到一垂直投影(未绘示),以及另一步骤根据该垂直投影计算该垂直范围(未绘示)。举例而言,该方法可计算该垂直投影的一平均值及一标准差,并根据该平均值及该标准差计算该垂直范围。
接着,执行步骤S118,根据该水平范围及该垂直范围决定景象的感兴趣区域。深度图中处于该垂直范围及该水平范围的范围内的一区域可被决定为该深度图的感兴趣区域。当该深度图与该景象的解析度相同时,步骤S118将该感兴趣区域视为该景象的感兴趣区域。当该深度图与该景象的这些解析度不相同时,步骤S118将针对该景象而按比例缩放该深度图的感兴趣区域。在执行步骤S118之后,步骤S103便告完成。
如上所述,在步骤S103中产生该景象的感兴趣区域之后,将执行步骤S105以决定虚拟照相机的移动路径。其可根据该感兴趣区域的大小、该感兴趣区域的长宽比及/或该感兴趣区域的一中心而被决定。在某些其他实施方式中,步骤S105可包含:一步骤用于根据该感兴趣区域的大小、该感兴趣区域的长宽比及/或该感兴趣区域的中心决定一索引(未绘示),以及另一步骤用于根据该索引自多个预定移动路径中选择该移动路径(未绘示)。
如上所述,在步骤S105中决定该移动路径之后,将执行步骤S107以据此产生三维景象。在某些其他实施方式中,步骤S107可藉由图14C中所示的各步骤而达成。该移动路径界定一照相机视野的一第一位置及该照相机视野的一第二位置。执行步骤S121,根据该第一位置及该景象决定一第一关键画面,同时执行步骤S122,根据该第二位置及该景象决定一第二关键画面。应注意,本发明并未限制执行步骤S121及步骤S122的次序。该三维景象依序包含该第一关键画面及该第二关键画面。
对于某些其他实施方式,还可执行步骤S123至步骤S125。执行步骤S123,根据该感兴趣区域及该移动路径决定一个三维空间。接着,执行步骤S124,根据该感兴趣区域内的各数据值计算一平均深度。接着,执行步骤S125,以根据该平均深度计算该三维空间的一粒子类型的大小。如此一来,该三维景象包含第一关键画面、第二关键画面及适当大小的粒子类型的粒子。
若执行该方法的电子装置包含一显示单元或连接至一显示单元,则该方法可更执行:一步骤用于依序显示第一关键画面及第二关键画面的步骤(未绘示),以及另一步骤用于在三维空间中显示多个该大小的粒子的步骤(未绘示)。
除了上述步骤,第二实施方式亦能执行针对第一实施方式中的装置1所述的所有操作及功能,所属技术领域具有通常知识者可直接了解第二实施方式如何基于上述第一实施方式以执行此等操作及功能,故不赘述。
第二实施方式的由电脑执行的产生一个三维景象的方法可藉由一电脑程序产品来执行。当经由一电子装置载入该电脑程序产品时,该电子装置执行该电脑程序产品所包含的多个程序指令,以完成该第二实施方式中所述的所有步骤。该电脑程序产品可为一常用电子装置,例如只读存储器(read only memory;ROM)、快闪存储器、软碟、硬碟、光碟(CD)、随身碟、磁带、可由网路存取的数据库或熟悉此项技术者所已知且具有相同功能的任何其它储存媒体。
综上所述,本发明的用于产生一个三维景象的装置、由电脑执行的产生该三维景象的方法及其电脑程序产品能够利用一景象及其对应的深度数据来产生具有视差效果的三维景象。将视差效果引入三维景象中具有二个关键因素。第一,自各位置沿移动路径拍摄该三维景象中所包含的关键画面,该移动路径沿至少一个方向(即,x方向、y方向及/或z方向)行进。第二,将适当大小的粒子添加至该三维景象中。由于具有视差效果,当人眼观视该三维景象,将会感受到三维感觉。
上述的实施方式仅用来例举本发明的实施态样,以及阐释本发明的技术特征,并非用来限制本发明的范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本发明所主张的范围,本发明的权利范围应以权利要求书为准。

Claims (14)

1.一种用于产生一三维景象的装置,包含:
一储存单元,储存有一景象及该景象的多个深度数据;以及
一处理单元,电性连接至该储存单元,且根据这些深度数据产生一深度直方图,根据该深度直方图产生该景象的一感兴趣区域,根据该感兴趣区域决定一虚拟照相机的一移动路径,以及根据该景象及该移动路径产生该三维景象。
2.如权利要求1所述的装置,其特征在于,中各该深度数据为一深度值,各该深度数据对应至该景象的一部分,一深度图含这些深度数据,该深度直方图记录各该深度值的一累积数目,且该处理单元藉由执行以下操作而产生该感兴趣区域:
藉由滤除这些深度值中大于一第一临限值者所对应的这些累积数目而更新该深度直方图,其中该第一临限值为这些深度值中一最大深度值与一最小深度值之间的一中间值;
根据该已更新的深度直方图决定一深度范围;
根据该深度图及该深度范围决定一水平范围;
根据该深度图及该深度范围决定一垂直范围;以及
根据该水平范围及该垂直范围决定该景象的该感兴趣区域。
3.如权利要求1所述的装置,其特征在于,该移动路径根据该感兴趣区域的一大小、该感兴趣区域的一长宽比、该感兴趣区域的中心及其组合其中之一而被决定。
4.如权利要求1所述的装置,其特征在于,该储存单元还储存有多个预定移动路径,且该处理单元藉由执行以下操作而决定该移动路径:
根据该感兴趣区域的一大小、该感兴趣区域的一长宽比、该感兴趣区域的一中心及其组合其中之一来决定一索引;以及
根据该索引自这些预定移动路径中选择该移动路径。
5.如权利要求1所述的装置,其特征在于,该移动路径界定一照相机视野的一第一位置及该照相机视野的一第二位置,且该处理单元藉由执行以下操作而产生该三维景象:
根据该第一位置及该景象决定一第一关键画面;以及
根据该第二位置及该景象决定一第二关键画面。
6.如权利要求5所述的装置,其特征在于,该处理单元藉由执行以下操作而产生该三维景象:
根据该感兴趣区域及该移动路径决定一三维空间;
根据该感兴趣区域内的这些数据值计算一平均深度;以及
根据该平均深度计算该三维空间的一粒子类型的一大小。
7.如权利要求6所述的装置,其特征在于,还包含:
一显示单元,电性连接至该处理单元,用以依序显示该第一关键画面及该第二关键画面,且显示该三维空间中该大小的多个粒子,
其中这些粒子为该粒子类型。
8.一种由电脑执行的产生一三维景象的方法,包含以下步骤:
根据一景象的多个深度数据产生一深度直方图;
根据该深度直方图产生该景象的一感兴趣区域;
根据该感兴趣区域决定一虚拟照相机的一移动路径;以及
根据该景象及该移动路径产生该三维景象。
9.如权利要求8所述的方法,其特征在于,各该深度数据为一深度值,各该深度数据对应至该景象的一部分,一深度图包含这些深度数据,该深度直方图记录各该深度值的一累积数目,且产生该感兴趣区域的该步骤包含以下步骤:
藉由滤除与这些深度值中大于一第一临限值者所对应的这些累积数目而更新该深度直方图,其中该第一临限值为这些深度值中一最大深度值与一最小深度值之间的一中间值;
根据该已更新的深度直方图决定一深度范围;
根据该深度图及该深度范围决定一水平范围;
根据该深度图及该深度范围决定一垂直范围;以及
根据该水平范围及该垂直范围决定该景象的该感兴趣区域。
10.如权利要求8所述的方法,其特征在于,该移动路径根据该感兴趣区域的一大小、该感兴趣区域的一长宽比、该感兴趣区域的一中心及其组合其中之一而被决定。
11.如权利要求8所述的方法,其特征在于,决定该移动路径的该步骤包含以下步骤:
根据该感兴趣区域的一大小、该感兴趣区域的一长宽比、该感兴趣区域的一中心及其组合其中的一来决定一索引;以及
根据该索引自多个预定移动路径中选择该移动路径。
12.如权利要求8所述的方法,其特征在于,该移动路径界定一照相机视野的一第一位置及该照相机视野的一第二位置,且产生该三维景象的该步骤包含以下步骤:
根据该第一位置及该景象决定一第一关键画面;以及
根据该第二位置及该景象决定一第二关键画面。
13.如权利要求12所述的方法,其特征在于,产生该三维景象的该步骤包含以下步骤:
根据该感兴趣区域及该移动路径决定一三维空间;
根据该感兴趣区域内的这些数据值计算一平均深度;以及
根据该平均深度计算该三维空间的一粒子类型的一大小。
14.如权利要求13所述的方法,其特征在于,还包含以下步骤:
依序显示该第一关键画面及该第二关键画面;以及
显示该三维空间中该大小的多个粒子,其中这些粒子为该粒子类型。
CN201410598890.0A 2013-10-30 2014-10-30 用于产生三维景象的装置及由电脑执行的产生三维景象的方法 Expired - Fee Related CN104778743B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361897516P 2013-10-30 2013-10-30
US201361897403P 2013-10-30 2013-10-30
US61/897,403 2013-10-30
US61/897,516 2013-10-30

Publications (2)

Publication Number Publication Date
CN104778743A true CN104778743A (zh) 2015-07-15
CN104778743B CN104778743B (zh) 2018-04-17

Family

ID=52994861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410598890.0A Expired - Fee Related CN104778743B (zh) 2013-10-30 2014-10-30 用于产生三维景象的装置及由电脑执行的产生三维景象的方法

Country Status (3)

Country Link
US (1) US9760793B2 (zh)
CN (1) CN104778743B (zh)
TW (1) TWI536316B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819237A (zh) * 2017-11-21 2019-05-28 佳能株式会社 显示控制装置、显示控制方法和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154123A2 (en) 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US10853625B2 (en) * 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map
CN114283195B (zh) * 2022-03-03 2022-07-26 荣耀终端有限公司 生成动态图像的方法、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1352781A (zh) * 1999-03-18 2002-06-05 纽约州立大学研究基金会 实行三维虚拟分割和检查的系统和方法
US20060262969A1 (en) * 2005-05-19 2006-11-23 Ziosoft, Inc. Image processing method and computer readable medium
CN101686407A (zh) * 2008-09-28 2010-03-31 新奥特(北京)视频技术有限公司 一种采样点信息的获取方法和装置
TW201244458A (en) * 2011-04-28 2012-11-01 Lg Display Co Ltd Stereoscopic image display and method of adjusting stereoscopic image thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI348120B (en) 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
TWI420413B (zh) 2010-07-15 2013-12-21 Chunghwa Picture Tubes Ltd 深度圖強化方法及其電腦可讀媒體
CN102404583A (zh) 2010-09-09 2012-04-04 承景科技股份有限公司 三维影像的深度加强系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1352781A (zh) * 1999-03-18 2002-06-05 纽约州立大学研究基金会 实行三维虚拟分割和检查的系统和方法
US20060262969A1 (en) * 2005-05-19 2006-11-23 Ziosoft, Inc. Image processing method and computer readable medium
CN101686407A (zh) * 2008-09-28 2010-03-31 新奥特(北京)视频技术有限公司 一种采样点信息的获取方法和装置
TW201244458A (en) * 2011-04-28 2012-11-01 Lg Display Co Ltd Stereoscopic image display and method of adjusting stereoscopic image thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819237A (zh) * 2017-11-21 2019-05-28 佳能株式会社 显示控制装置、显示控制方法和存储介质
CN109819237B (zh) * 2017-11-21 2021-08-24 佳能株式会社 显示控制装置、显示控制方法和存储介质

Also Published As

Publication number Publication date
CN104778743B (zh) 2018-04-17
TWI536316B (zh) 2016-06-01
US20150116317A1 (en) 2015-04-30
US9760793B2 (en) 2017-09-12
TW201516960A (zh) 2015-05-01

Similar Documents

Publication Publication Date Title
EP3487176B1 (en) Image processing apparatus, image processing method and program
US10540054B2 (en) Navigation point selection for navigating through virtual environments
US20210209836A1 (en) Damage detection from multi-view visual data
JP4964801B2 (ja) 2次元実写映像から3次元モデルを生成する方法及び装置
AU2018211217B2 (en) Virtual reality parallax correction
CN104778743A (zh) 用于产生三维景象的装置及由电脑执行的产生三维景象的方法
CN109857123A (zh) 一种基于视觉感知和激光探测的室内slam地图的融合方法
US10950032B2 (en) Object capture coverage evaluation
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
CN105359518A (zh) 图像处理装置、图像处理方法、图像处理用计算机程序以及存储有图像处理用计算机程序的信息记录媒介
KR20190138896A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP5710381B2 (ja) 表示装置、表示制御方法及びプログラム
CN104735435A (zh) 影像处理方法及电子装置
EP3309750B1 (en) Image processing apparatus and image processing method
CN105163103B (zh) 用层叠结构来表示立体图像以分析图像中的目标的技术
CN104980725B (zh) 用于形成三维景象的装置及方法
US20220254008A1 (en) Multi-view interactive digital media representation capture
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
JP6473872B2 (ja) 映像構築装置、擬似視覚体験システム、および映像構築プログラム
US20220254007A1 (en) Multi-view interactive digital media representation viewer
KR101649188B1 (ko) 입체감 측정 방법 및 장치
Azari et al. Stereo 3D mouse (S3D-Mouse): Measuring ground truth for medical data in a virtual 3D space
JP2022095102A (ja) 指標算出装置、指標算出方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417

Termination date: 20191030