CN102457736A - 提供即时三维视讯的方法与即时三维视讯系统 - Google Patents
提供即时三维视讯的方法与即时三维视讯系统 Download PDFInfo
- Publication number
- CN102457736A CN102457736A CN2010105269425A CN201010526942A CN102457736A CN 102457736 A CN102457736 A CN 102457736A CN 2010105269425 A CN2010105269425 A CN 2010105269425A CN 201010526942 A CN201010526942 A CN 201010526942A CN 102457736 A CN102457736 A CN 102457736A
- Authority
- CN
- China
- Prior art keywords
- picture
- numbering
- odd number
- even number
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种即时三维视讯的方法与即时三维视讯系统。其是在发送端分别选择拍摄自两个影像撷取单元的部分画面,并依其画面编号奇偶交错以组成来源交错画面序列,再参考上上一张画面压缩来源交错画面序列中的各画面,以进一步降低数据传输量。在接收端除了能对应地解压缩之外,另外在真正拍摄的画面之间安插虚拟画面以提升画面更新率。如此一来,在降低频宽以利即时传送三维影像的前提下,亦可提升三维视讯的画面品质。
Description
技术领域
本发明涉及一种提供即时视讯的方法,特别是涉及一种即时拍摄并播放三维视讯的方法与即时三维视讯系统。
背景技术
由于人类发展出双眼向前的头部结构,在以双眼同时观看景物时,双眼之间的距离会导致左右两眼所见到的景物有所差别,因此当大脑接收到分别来自两只眼睛且具有些微差异的影像时,脑部会结合这两张影像进而使人感受到事物的立体性,同时使人具备辨别距离远近的能力。进一步来说,当物体离双眼越近,双眼所获得的影像差异便越大,而物体的立体感也会随之增加。
三维(three-dimensional,3D)影像的显示原理便是分别让双眼见到不同角度的物面。无论是用以观看三维影像的特制眼镜、头盔,或者是三维影像显示器,都是通过让人类左眼只能看到左眼影像,而右眼仅能看到右眼影像来呈现立体的三维影像。
随着科技的进步,三维影像的应用也被广泛地使用在各种人机界面的显示效果上。举例来说,使用者能看到利用诸如三维绘图引擎所预先制作而成的三维影片,或是能利用软件将原本属于二维(two-dimensional,2D)的图形转变为三维画面。
发明内容
本发明提供一种提供即时三维视讯的方法,在传送即时撷取的三维视讯画面时,大幅降低传输数据所需的频宽,以符合即时传送的需求。
本发明提供一种提供即时三维视讯的方法,在即时接收并播放三维视讯的同时,提升视讯的平滑性以增加视讯品质。
本发明提供一种即时三维视讯系统,用以即时撷取、传送以及播放立体的三维视讯画面。
本发明提出一种提供即时三维视讯的方法,用于通过第一影像撷取单元与第二影像撷取单元拍摄三维视讯画面的电子装置。其中第一影像撷取单元是从第一角度进行拍摄,且第二影像撷取单元是从第二角度进行拍摄。此方法包括取得由第一影像撷取单元所拍摄且对应奇数画面编号(framenumber)的至少一奇数画面,并取得由第二影像撷取单元所拍摄且对应偶数画面编号的至少一偶数画面。此方法还包括依时序使上述奇数画面与上述偶数画面奇偶交错,进而组成来源交错画面序列,并通过网络将对应来源交错画面序列的影像数据传送至接收端。
在本发明的一实施例中,其中在组成来源交错画面序列的步骤之后,此方法还包括取得来源交错画面序列所包括的每一画面的画面编号,依据画面编号的奇偶性自来源交错画面序列取得一参考画面,利用参考画面压缩画面以对应地产生压缩数据,并以各画面所对应的压缩数据作为影像数据。
在本发明的一实施例中,其中当画面编号为奇数时,参考画面的参考画面编号小于且最接近画面编号的奇数,而当画面编号为偶数时,参考画面的参考画面编号小于且最接近画面编号的偶数。
从另一观点来看,本发明提出一种提供即时三维视讯的方法,用于具有显示单元的电子装置,此显示单元包括第一显示模块与第二显示模块,而电子装置通过第一显示模块与第二显示模块来显示三维视讯画面。此方法包括通过网络接收发送端所传送的影像数据。在影像数据所对应的来源交错画面序列中,对应奇数画面编号的至少一奇数画面是由发送端的第一影像撷取单元从第一角度所拍摄,且在来源交错画面序列中对应偶数画面编号的至少一偶数画面则是由发送端的第二影像撷取单元从第二角度所拍摄。此方法还包括针对上述奇数画面中每两个相邻的奇数画面,根据这两个相邻的奇数画面之间的压缩率变化量建立其间的虚拟偶数画面,并针对上述偶数画面中每两个相邻的偶数画面,根据这两个相邻的偶数画面之间的压缩率变化量建立其间的虚拟奇数画面。此方法还包括通过第一显示模块播放上述奇数画面与其间的各虚拟偶数画面,并通过第二显示模块播放上述偶数画面与其间的各虚拟奇数画面。
在本发明的一实施例中,其中建立虚拟偶数画面的步骤还包括当建立对应画面编号i的虚拟偶数画面时,计算对应画面编号i+1及画面编号i-1的两张奇数画面之间的第一压缩率变化量,其中i为大于2的偶数。在上述偶数画面中取得对应画面编号i及画面编号i-2的两张偶数画面,并计算对应画面编号i及画面编号i-2的两张偶数画面之间的第二压缩率变化量。以对应画面编号i-1的奇数画面为基础,根据第一压缩率变化量与第二压缩率变化量建立对应画面编号i的虚拟偶数画面。
在本发明的一实施例中,其中建立虚拟奇数画面的步骤还包括当建立对应画面编号j的虚拟奇数画面时,计算对应画面编号j+1及画面编号j-1的两张偶数画面之间的第一压缩率变化量,其中j为大于1的奇数。在上述奇数画面中取得对应画面编号j及画面编号j-2的两张奇数画面,计算对应画面编号j及画面编号j-2的两张奇数画面之间的第二压缩率变化量。并以对应画面编号j-1的偶数画面为基础,根据第一压缩率变化量与第二压缩率变化量建立对应画面编号j的虚拟奇数画面。
在本发明的一实施例中,其中影像数据为对应来源交错画面序列的多个压缩数据,而在接收影像数据的步骤之后,此方法还包括依据压缩数据个别对应的画面编号的奇偶性,从已解压缩的至少一先前画面中取得压缩数据个别的参考画面,并利用个别的参考画面将压缩数据解压缩为原始画面。
在本发明的一实施例中,其中当画面编号为奇数时,参考画面的参考画面编号小于且最接近画面编号的奇数,而当画面编号为偶数时,参考画面的参考画面编号小于且最接近画面编号的偶数。
从又一观点来看,本发明提出一种即时三维视讯系统,包括发送端与接收端。发送端包括第一影像撷取单元、第二影像撷取单元、影像交错模块以及发送端传输模块。其中第一影像撷取单元用以从第一角度进行拍摄,第二影像撷取单元用以从第二角度进行拍摄。影像交错模块耦接第一影像撷取单元与第二影像撷取单元,用以取得由第一影像撷取单元所拍摄且对应奇数画面编号的至少一奇数画面,并取得由第二影像撷取单元所拍摄且对应偶数画面编号的至少一偶数画面,以及依时序使上述奇数画面与上述偶数画面奇偶交错以组成来源交错画面序列。发送端传输模块耦接影像交错模块,用以通过网络将对应来源交错画面序列的影像数据传送至接收端。接收端包括接收端传输模块、显示单元以及影像分配模块。接收端传输模块用以通过网络接收发送端所传送而来的影像数据。显示单元包括第一显示模块与第二显示模块。影像分配模块耦接在接收端传输模块与显示单元之间,用以针对上述奇数画面中每两个相邻的奇数画面,根据这两个相邻的奇数画面之间的压缩率变化量建立其间的虚拟偶数画面,并针对上述偶数画面中每两个相邻的偶数画面,根据这两个相邻的偶数画面之间的压缩率变化量建立其间的虚拟奇数画面。而第一显示模块用以播放上述奇数画面与其间的各虚拟偶数画面,第二显示模块用以播放上述偶数画面与其间的各虚拟奇数画面。
在本发明的一实施例中,其中发送端还包括影像压缩模块,耦接在影像交错模块与发送端传输模块之间。影像压缩模块用以取得来源交错画面序列所包括的每一画面的画面编号,依据画面编号的奇偶性自来源交错画面序列取得参考画面,再利用参考画面压缩画面以对应产生压缩数据,并以各画面所对应的压缩数据作为影像数据。而发送端传输模块把影像数据传送至接收端。
在本发明的一实施例中,其中当画面编号为奇数时,参考画面的参考画面编号小于且最接近画面编号的奇数,而当画面编号为偶数时,参考画面的参考画面编号小于且最接近画面编号的偶数。
在本发明的一实施例中,其中影像分配模块在建立对应画面编号i的虚拟偶数画面时,计算对应画面编号i+1及画面编号i-1的两张奇数画面之间的第一压缩率变化量,其中i为大于2的偶数。影像分配模块在上述偶数画面中取得对应画面编号i及画面编号i-2的两张偶数画面,并计算对应画面编号i及画面编号i-2这两张偶数画面之间的第二压缩率变化量。影像分配模块以对应画面编号i-1的奇数画面为基础,根据第一压缩率变化量与第二压缩率变化量建立对应画面编号i的虚拟偶数画面。
在本发明的一实施例中,其中影像分配模块在建立对应画面编号j的虚拟奇数画面时,计算对应画面编号j+1及画面编号j-1的两张偶数画面之间的第一压缩率变化量,其中j为大于1的奇数。影像分配模块在上述奇数画面中取得对应画面编号j及画面编号j-2的两张奇数画面,并计算对应画面编号j及画面编号j-2这两张奇数画面间的第二压缩率变化量。影像分配模块以对应画面编号j-1的偶数画面为基础,根据第一压缩率变化量与第二压缩率变化量建立对应画面编号j的虚拟奇数画面。
在本发明的一实施例中,其中接收端还包括影像解压缩模块,耦接在接收端传输模块与影像分配模块之间。当影像数据为对应来源交错画面序列的多个压缩数据时,影像解压缩模块依据压缩数据个别对应的画面编号的奇偶性,从已解压缩的至少一先前画面中取得压缩数据个别的参考画面,并利用个别的参考画面将压缩数据解压缩为多个原始画面。
在本发明的一实施例中,其中当画面编号为奇数时,参考画面的参考画面编号小于且最接近画面编号的奇数,而当画面编号为偶数时,参考画面的参考画面编号小于且最接近画面编号的偶数。
基于上述,本发明在发送端降低三维视讯的数据量以符合即时传送三维视讯的需求,并在接收端通过安插虚拟画面的方式以提升三维视讯品质。
为使本发明的上述特征和优点能更明显易懂,下文特举实施例,并结合附图详细说明如下。
附图说明
图1是依照本发明的一实施例所绘示的即时三维视讯系统的示意图。
图2是依照本发明的一实施例所绘示的提供即时三维视讯的方法的流程图。
图3是依照本发明的一实施例所绘示的组成来源交错画面序列的示意图。
图4是依照本发明的另一实施例所绘示的提供即时三维视讯的方法的流程图。
图5是依照本发明的一实施例所绘示的建立虚拟奇数画面的示意图。
图6是依照本发明的一实施例所绘示的来源交错画面序列与虚拟奇数画面及虚拟偶数画面的示意图。
附图符号说明
100:即时三维视讯系统
110:发送端
111:第一影像撷取单元
113:第二影像撷取单元
115:影像交错模块
117:影像压缩模块
119:发送端传输模块
120:网络
130:接收端
132:接收端传输模块
134:影像解压缩模块
136:影像分配模块
137:显示单元
138:第一显示模块
139:第二显示模块
210~230:本发明的一实施例所述的提供即时三维视讯的方法的各步骤
310、320:画面序列
330:来源交错画面序列
A(1)、A(3)、A(5)、A(7)、A(9)、B(1)、B(3)、B(5):奇数画面
A(2)、A(4)、A(6)、B(2)、B(4)、B(6)、B(8):偶数画面
410~430:本发明的一实施例所述的提供即时三维视讯的方法的各步骤
B(3)’、B(5)’、B(7)’、B(9)’:虚拟奇数画面
A(2)’、A(4)’、A(6)’:虚拟偶数画面
610、620:画面序列
具体实施方式
图1是依照本发明的一实施例所绘示的即时三维视讯系统的示意图,请参阅图1,即时三维视讯系统100包括发送端110、网络120,以及接收端130。其中,发送端110与接收端130是通过网络120相互传递数据,网络120可以是有线网络或无线网络,在此并不加以限制。发送端110与接收端130例如是计算机或便携式电子产品等各种电子装置,在此同样不限制其范围。
如图1所示,发送端110包括第一影像撷取单元111、第二影像撷取单元113、影像交错模块115、影像压缩模块117,以及发送端传输模块119。
其中,第一影像撷取单元111与第二影像撷取单元113例如是摄影机或任何具备影像拍摄能力的装置。第一影像撷取单元111与第二影像撷取单元113分别从第一角度及第二角度进行拍摄,因而在拍摄一目标物时,第一影像撷取单元111与第二影像撷取单元113能拍摄到该目标物不同角度的物面。换句话说,通过第一影像撷取单元111与第二影像撷取单元113的同时运作,便能在发送端110完成三维影像的撷取。
影像交错模块115耦接至第一影像撷取单元111与第二影像撷取单元113。由于三维影像的撷取需通过两个影像撷取单元来完成,故产生的数据量将会是使用单一个影像撷取单元的两倍。因此,倘若将第一影像撷取单元111与第二影像撷取单元113所分别撷取到的画面序列直接传送出去,势必会造成相当大的数据传输量。为了避免上述情况,影像交错模块115会从第一影像撷取单元111与第二影像撷取单元113所分别撷取到的画面序列中取得部分的画面,并按照一特定机制使所取得的画面相互交错,进而组成数据量较小的来源交错画面序列。影像交错模块115组成来源交错画面序列的详细步骤容后再叙。
影像压缩模块117耦接在影像交错模块115与发送端传输模块119之间。影像压缩模块117在压缩来源交错画面序列中的任一画面时,将不会参考与该画面相邻的上一张画面,取而代之的是会参考其上上一张画面来进行压缩。影像压缩模块117压缩画面的方式将于后结合附图再作说明。
发送端传输模块119可通过网络120将对应于来源交错画面序列的影像数据传送至接收端130。影像数据可以是未经压缩的来源交错画面序列,或者是来源交错画面序列所包括的各画面的压缩数据。
在本实施例中,接收端130包括接收端传输模块132、影像解压缩模块134、影像分配模块136,以及显示单元137。其中,影像解压缩模块134耦接在接收端传输模块132与影像分配模块136之间,而影像分配模块136耦接显示单元137所包括的第一显示模块138与第二显示模块139。
接收端传输模块132通过网络120接收来自发送端110的影像数据。由于发送端110的影像压缩模块117与接收端130的影像解压缩模块134采用相对应的压缩/解压缩演算法,因此若在发送端110曾通过影像压缩模块117压缩来源交错画面序列,在接收端130则需由影像解压缩模块134将其还原后再传送给影像分配模块136。
影像分配模块136在取得来源交错画面序列后,依照来源交错画面序列中的各画面的画面编号(frame number)的奇偶性,将上述画面分配给第一显示模块138与第二显示模块139。如此一来,在接收端130的使用者便能通过显示单元137即时地观看到发送端110所撷取的三维影像。
在本实施例中,影像交错模块115、影像压缩模块117、影像解压缩模块134,以及影像分配模块136例如是具备运算处理能力的硬件(例如芯片组)、软件元件,或硬件及软件元件的组合。而以下将分别就发送端110即时拍摄并传送三维视讯的方式,以及接收端130即时接收并播放三维视讯的方式来进一步说明即时三维视讯系统100的详细运作流程。
图2是依照本发明的一实施例所绘示的提供即时三维视讯的方法的流程图。请参阅图2,假设发送端110中的第一影像撷取单元111与第二影像撷取单元113分别以第一角度及第二角度同时进行拍摄。为了方便说明,在以下称画面序列中对应于奇数画面编号的画面为奇数画面,并称对应于偶数画面编号的画面为偶数画面。
首先如步骤210所示,影像交错模块115取得由第一影像撷取单元111所拍摄且对应奇数画面编号的至少一奇数画面,并取得由第二影像撷取单元113所拍摄且对应偶数画面编号的至少一偶数画面。接着如步骤220所示,影像交错模块115依时序使所取得的奇数画面与偶数画面奇偶交错,进而组成一来源交错画面序列。
图3是依照本发明的一实施例所绘示的影像交错模块115组成来源交错画面序列的示意图。请参阅图3,画面序列310是由第一影像撷取单元111所拍摄,而在画面序列310中被标示为A(m)的画面是表示其画面编号为m。画面序列320则是由第二影像撷取单元113所拍摄,在画面序列320中被标示为B(n)的画面则表示其画面编号为n。画面被拍摄的先后顺序可反应于画面编号的大小,例如对应的画面编号越小表示该画面越早被拍摄到。在本实施例中,影像交错模块115会从画面序列310中取得对应奇数画面编号的奇数画面(例如奇数画面A(1)、A(3)、A(5)),并从画面序列320中取得对应偶数画面编号的偶数画面(例如偶数画面B(2)、B(4)、B(6)),接着依拍摄时序将所取得的奇数画面与偶数画面奇偶交错,进而产生如来源交错画面序列330所示的结果。
在本实施例中,将来自第一影像撷取单元111的奇数画面与来自第二影像撷取单元113的偶数画面奇偶交错而产生来源交错画面序列后,便将来源交错画面序列作为影像数据,并如步骤230所示,由发送端传输模块119通过网络120将影像数据传送至接收端130。值得一提的是,通过影像交错模块115的运作,发送端110所传送出的数据量会比直接将第一影像撷取单元111与第二影像撷取单元113所个别拍摄的画面序列传送出去的数据量减少约一半。
在另一实施例中,为了更进一步降低数据传输量,发送端110中的影像压缩模块117会对来源交错画面序列中的每个画面进行压缩,以产生对应的压缩数据,并且将这些需要较小传送频宽的压缩数据作为影像数据,再由发送端传输模块119通过网络120将其传送至接收端130。以下说明影像压缩模块117进行压缩时所采用的方式。
由于在来源交错画面序列中任相邻的两张画面是由不同的影像撷取单元所撷取,因拍摄角度的不同画面之间的差异性也较大,因此倘若直接参考来源交错画面序列中的第k张画面来对第K+1张画面进行压缩,势必无法产生较高的压缩率。换句话说,在任两张由同一影像撷取单元所拍摄的画面之间,会夹杂一张由不同影像撷取单元所拍摄的画面。据此,影像压缩模块117在压缩一画面时将参考其上上一张画面,进而通过参考来自同一影像撷取单元的画面以提升压缩率。
具体而言,影像压缩模块117在准备压缩来源交错画面序列中的某一画面时,首先取得该画面的画面编号,接着依据画面编号的奇偶性自来源交错画面序列中取得一参考画面。其中,当画面编号为奇数时,参考画面所对应的的参考画面编号会是小于且最接近该画面编号的奇数。当画面编号为偶数时,参考画面的参考画面编号则是小于且最接近该画面编号的偶数。
以图3所示的来源交错画面序列330为例,当影像压缩模块117准备压缩奇数画面A(3)时,由于其画面编号3为奇数,而1是小于3且最接近3的奇数,因此影像压缩模块117会以来源交错画面序列330中的奇数画面A(1)作为参考画面。当影像压缩模块117准备压缩偶数画面B(6)时,由于其画面编号6为偶数,且4是小于6但最接近6的偶数,因此影像压缩模块117会以来源交错画面序列330中的偶数画面B(4)来作为参考画面。
也就是说,影像压缩模块117在需要压缩一奇数画面时会参考来源交错画面序列中的上一张奇数画面,并在需要压缩一偶数画面时参考来源交错画面序列中的上一张偶数画面。
一旦取得参考画面后,影像压缩模块117便可利用参考画面将画面压缩为压缩数据。在本实施例中,影像压缩模块117可采用各种动态压缩技术来进行压缩,在此并不对压缩演算法加以限制。而经过压缩所产生的影像数据具有更小的频宽需求,更利于即时传送三维视讯。
以下是说明当影像数据经由网络120而被传送至接收端130后,接收端130即时接收并播放三维视讯的详细步骤。首先如图4的步骤410所示,由接收端传输模块132接收发送端110所传送而来的影像数据。
若影像数据是未经压缩的来源交错画面序列,影像数据将被传送至影像分配模块136进行处理。但若影像数据是通过压缩来源交错画面序列而成(亦即,影像数据是对应来源交错画面序列的多个压缩数据),则必须先由影像解压缩模块134进行画面解压缩,以将影像数据还原为来源交错画面序列。
以下,首先说明影像解压缩模块134的运作方式。由于发送端110的影像压缩模块117是以欲压缩画面的上上一张画面作为参考画面,因此影像解压缩模块134也必须以同样的方式选择解压缩时所要参考的画面。亦即,影像解压缩模块134是利用来自于同一影像撷取单元的画面来完成解压缩动作。
在本实施例中,影像解压缩模块134依据每一压缩数据个别对应的画面编号的奇偶性,从接收端130已所接收并解压缩成功的至少一先前画面中,取得每一压缩数据个别的一参考画面。其中,当要解压缩的压缩数据对应的画面编号为奇数时,影像解压缩模块134所取得的参考画面的参考画面编号是小于且最接近该画面编号的奇数。而当要解压缩的压缩数据对应的画面编号为偶数时,影像解压缩模块134所取得的参考画面的参考画面编号则是小于且最接近该画面编号的偶数。接着,影像解压缩模块134利用个别的参考画面将各压缩数据解压缩为对应的原始画面。
举例来说,当影像解压缩模块134准备解压缩对应于画面编号7的压缩数据时,表示对应画面编号1至6的压缩数据已被解压缩为6张先前画面,因此影像解压缩模块134会从这6张先前画面中取得对应画面编号5的先前画面作为参考画面(5是小于且最接近7的奇数),进而利用参考画面将对应画面编号7的压缩数据解压缩为其原始画面。再以上述方式对影像数据所包括的每个压缩数据进行解压缩动作后,便可得到原始的来源交错画面序列,而来源交错画面序列将被传送至影像分配模块136。
值得一提的是,发送端110所传送而来的影像数据虽具有较低的频宽需求,但相对来说影像更新率也大约降至一半。因此在取得来源交错画面序列后,影像分配模块136会利用来自同一影像撷取单元的相邻奇数画面,制造其间的一个虚拟偶数画面置放在这两个奇数画面的中间,并利用来自同一影像撷取单元的相邻偶数画面,制造其间的一个虚拟奇数画面来放在这两个偶数画面中间,以通过这些虚拟的画面来增加影像更新率。如步骤420所示,影像分配模块136在接收来源交错画面序列后,针对来源交错画面序列中任两个相邻的奇数画面,根据这两个相邻的奇数画面之间的压缩率变化量建立其间的一虚拟偶数画面,并针对每两个相邻的偶数画面,根据这两个相邻的偶数画面之间的压缩率变化量建立其间的一虚拟奇数画面。
详细地说,由于两张影像间压缩率变化量的大小会随着被拍摄的目标物移动速度的快慢而有所不同,因此利用压缩率变化量可推算目标物的移动速度,进而计算目标物在画面中应处的位置。假设要建立相邻的奇数画面A(1)与A(3)之间的虚拟偶数画面A(2)’,而奇数画面A(1)与A(3)之间的压缩率变化量增加。在本实施例中,影像分配模块136可将奇数画面A(1)与A(3)相加除以二以建立一暂时画面,且由于压缩率变化量增加,表示奇数画面A(3)与奇数画面A(1)的相似度高,说明在拍摄奇数画面A(1)与A(3)的期间目标物移动的速度不快,因此虚拟偶数画面A(2)’应较相似于奇数画面A(1)。据此,影像分配模块136会以暂时画面为基础,佐以奇数画面A(1)与A(3)之间的压缩率变化量来计算目标物在画面中的适当位置,进而建立虚拟偶数画面A(2)’来模拟真正由第一影像撷取单元111所拍摄的偶数画面A(2)。
在另一实施例中,影像分配模块136为了使建立出的虚拟偶数画面及虚拟奇数画面能更近似所要模拟的画面,当影像分配模块136要建立对应画面编号j(j为大于1的奇数)的虚拟奇数画面时,除了计算对应画面编号j+1及画面编号j-1的两张偶数画面之间的第一压缩率变化量之外,影像分配模块136还会在来源交错画面序列中取得对应画面编号j与画面编号j-2的两张奇数画面,并计算对应画面编号j及画面编号j-2这两张奇数画面之间的第二压缩率变化量。影像分配模块136将以对应画面编号j-1的偶数画面为基础,根据第一压缩率变化量与第二压缩率变化量建立对应画面编号j的虚拟奇数画面。
类似地,当影像分配模块要建立对应画面编号i(i为大于2的偶数)的虚拟偶数画面时,不仅会计算对应画面编号i+1及画面编号i-1这两张奇数画面之间的第一压缩率变化量,还将在来源交错画面序列中取得对应画面编号i及画面编号i-2的两张偶数画面,并计算这两张偶数画面之间的第二压缩率变化量,最后以对应画面编号i-1的奇数画面为基础,根据第一压缩率变化量与第二压缩率变化量建立出对应画面编号i的虚拟偶数画面。
图5是依照本发明的一实施例所绘示的建立虚拟奇数画面的示意图,本实施例中来源交错画面序列包括奇数画面A(1)、偶数画面B(2)、奇数画面A(3)、偶数画面B(4)、奇数画面A(5)、偶数画面B(6)、奇数画面A(7)、偶数画面B(8),与奇数画面A(9)。在影像分配模块136要建立对应画面编号3的虚拟奇数画面B(3)’时,计算对应画面编号4、2这两张偶数画面B(4)、B(2)之间的第一压缩率变化量。若第一压缩率变化量提高,说明偶数画面B(4)具有较高的压缩率,亦表示虚拟奇数画面B(3)’应较相似于偶数画面B(2),反之亦然。为了减少误差,影像分配模块136另外会计算对应画面编号3、1这两张奇数画面A(3)与A(1)之间的第二压缩率变化量。若第二压缩率变化量提高(即奇数画面A(3)具有较高的压缩率),表示目标物在第二影像撷取单元113所真正拍摄的奇数画面B(3)中的位置应更接近目标物在奇数画面A(1)中的位置,反之亦然。据此,影像分配模块136将以偶数画面B(2)为基础,并根据第一压缩率变化量与第二压缩率变化量计算目标物在虚拟奇数画面B(3)’中的位置,进而建立用以模拟实际被拍摄到的奇数画面B(3)的虚拟奇数画面B(3)’。
最后如步骤430所示,通过第一显示模块138播放影像分配模块136所传送而来的奇数画面与其间的各虚拟偶数画面(如图6的画面序列610所示),并通过第二显示模块139播放影像分配模块136所传送而来的偶数画面与其间的各虚拟奇数画面(如图6的画面序列620所示)。由于在来源交错画面序列中由同一影像撷取单元所拍摄的画面是连续的,且影像分配模块136所建立的各虚拟画面是对应地安插在真正被拍摄的两个画面的中间,因此在第一显示模块138与第二显示模块139播放画面时,使用者便能通过显示单元137看到平滑且连续的三维视讯。
综上所述,本发明所述的提供即时三维视讯的方法与即时三维视讯系统在发送端通过奇偶交错由两个影像撷取单元所拍摄到的部分画面,并搭配参考上上一张画面来进行压缩以大幅减少数据传输量,降低频宽以利实现即时三维视讯。而在接收端除了能将压缩的影像数据还原之外,另外在真正拍摄的影像画面之间安插虚拟画面,从而提高三维视讯的更新率来达到提升视讯品质的目的。
虽然本发明已以实施例揭示如上,然其并非用以限定本发明,本领域的技术人员,在不脱离本发明的精神和范围的前提下,可作若干的更动与润饰,故本发明的保护范围是以本发明的权利要求为准。
Claims (15)
1.一种提供即时三维视讯的方法,用于通过一第一影像撷取单元与一第二影像撷取单元拍摄三维视讯画面的一电子装置,其中该第一影像撷取单元是从一第一角度进行拍摄且该第二影像撷取单元是从一第二角度进行拍摄,该方法包括:
取得由该第一影像撷取单元所拍摄且对应奇数画面编号的至少一奇数画面;
取得由该第二影像撷取单元所拍摄且对应偶数画面编号的至少一偶数画面;
依时序使该至少一奇数画面与该至少一偶数画面奇偶交错而组成一来源交错画面序列;以及
通过一网络传送对应该来源交错画面序列的一影像数据至一接收端。
2.如权利要求1所述的提供即时三维视讯的方法,其中在组成该来源交错画面序列的步骤之后,该方法还包括:
取得该来源交错画面序列所包括的每一画面的一画面编号;
依据该画面编号的一奇偶性,从该来源交错画面序列中取得一参考画面;
利用该参考画面压缩该画面以对应产生一压缩数据;以及
以各该画面所分别对应的该压缩数据作为该影像数据。
3.如权利要求2所述的提供即时三维视讯的方法,其中当该画面编号为奇数时,该参考画面的一参考画面编号小于且最接近该画面编号的奇数,而当该画面编号为偶数时,该参考画面的该参考画面编号小于且最接近该画面编号的偶数。
4.一种提供即时三维视讯的方法,用于包括一显示单元的一电子装置,该显示单元包括一第一显示模块与一第二显示模块,该电子装置通过该第一显示模块与该第二显示模块显示三维视讯画面,该方法包括:
通过一网络接收一发送端所传送的一影像数据,在该影像数据所对应的一来源交错画面序列中,对应奇数画面编号的至少一奇数画面是由该发送端的一第一影像撷取单元从一第一角度所拍摄,且在该来源交错画面序列中对应偶数画面编号的至少一偶数画面是由该发送端的一第二影像撷取单元从一第二角度所拍摄;
针对该至少一奇数画面中每两个相邻的奇数画面,根据该两个相邻的奇数画面之间的一压缩率变化量建立其间的一虚拟偶数画面;
针对该至少一偶数画面中每两个相邻的偶数画面,根据该两个相邻的偶数画面之间的该压缩率变化量建立其间的一虚拟奇数画面;
通过该第一显示模块播放该至少一奇数画面与其间的各该虚拟偶数画面;以及
通过该第二显示模块播放该至少一偶数画面与其间的各该虚拟奇数画面。
5.如权利要求4所述的提供即时三维视讯的方法,其中建立该虚拟偶数画面的步骤还包括:
当建立对应画面编号i的该虚拟偶数画面时,计算对应画面编号i+1及画面编号i-1的两张奇数画面之间的一第一压缩率变化量,其中i为大于2的偶数;
在该来源交错画面序列中取得对应画面编号i及画面编号i-2的两张偶数画面;
计算对应画面编号i及画面编号i-2的两张偶数画面之间的一第二压缩率变化量;以及
以对应画面编号i-1的奇数画面为基础,根据该第一压缩率变化量与该第二压缩率变化量建立对应画面编号i的该虚拟偶数画面。
6.如权利要求4所述的提供即时三维视讯的方法,其中建立该虚拟奇数画面的步骤还包括:
当建立对应画面编号j的该虚拟奇数画面时,计算对应画面编号j+1及画面编号j-1的两张偶数画面之间的一第一压缩率变化量,其中j为大于1的奇数;
在该来源交错画面序列中取得对应画面编号j及画面编号j-2的两张奇数画面;
计算对应画面编号j及画面编号j-2的两张奇数画面之间的一第二压缩率变化量;以及
以对应画面编号j-1的偶数画面为基础,根据该第一压缩率变化量与该第二压缩率变化量建立对应画面编号j的该虚拟奇数画面。
7.如权利要求4所述的提供即时三维视讯的方法,其中该影像数据为对应该来源交错画面序列的多个压缩数据,而在接收该影像数据的步骤之后,该方法还包括:
依据该压缩数据个别对应的一画面编号的一奇偶性,从已解压缩的至少一先前画面中取得该压缩数据个别的一参考画面;以及
利用个别的该参考画面将该压缩数据解压缩为多个原始画面。
8.如权利要求7所述的提供即时三维视讯的方法,其中当该画面编号为奇数时,该参考画面的一参考画面编号小于且最接近该画面编号的奇数,而当该画面编号为偶数时,该参考画面的该参考画面编号小于且最接近该画面编号的偶数。
9.一种即时三维视讯系统,包括:
一发送端,该发送端包括:
一第一影像撷取单元,从一第一角度进行拍摄;
一第二影像撷取单元,从一第二角度进行拍摄;
一影像交错模块,耦接该第一影像撷取单元与该第二影像撷取单元,该影像交错模块取得由该第一影像撷取单元所拍摄且对应奇数画面编号的至少一奇数画面并取得由该第二影像撷取单元所拍摄且对应偶数画面编号的至少一偶数画面,依时序使该至少一奇数画面与该至少一偶数画面交错而组成一来源交错画面序列;以及
一发送端传输模块,耦接该影像交错模块,该发送端传输模块通过一网络传送对应该来源交错画面序列的一影像数据;以及
一接收端,该接收端包括:
一接收端传输模块,通过该网络接收该发送端所传送的该影像数据;
一显示单元,该显示单元包括一第一显示模块与一第二显示模块;以及
一影像分配模块,耦接在该接收端传输模块与该显示单元之间,该影像分配模块针对该至少一奇数画面中每两个相邻的奇数画面,根据该两个相邻的奇数画面之间的一压缩率变化量建立其间的一虚拟偶数画面,并针对该至少一偶数画面中每两个相邻的偶数画面,根据该两个相邻的偶数画面之间的该压缩率变化量建立其间的一虚拟奇数画面,
而该第一显示模块播放该至少一奇数画面与其间的各该虚拟偶数画面,该第二显示模块播放该至少一偶数画面与其间的各该虚拟奇数画面。
10.如权利要求9所述的即时三维视讯系统,其中该发送端还包括:
一影像压缩模块,耦接在该影像交错模块与该发送端传输模块之间,该影像压缩模块取得该来源交错画面序列所包括的每一画面的一画面编号,依据该画面编号的一奇偶性自该来源交错画面序列取得一参考画面,利用该参考画面压缩该画面以对应产生一压缩数据,并以各该画面所分别对应的该压缩数据作为该影像数据,以由该发送端传输模块传送该影像数据至该接收端。
11.如权利要求10所述的即时三维视讯系统,其中当该画面编号为奇数时,该参考画面的一参考画面编号小于且最接近该画面编号的奇数,而当该画面编号为偶数时,该参考画面的该参考画面编号小于且最接近该画面编号的偶数。
12.如权利要求9所述的即时三维视讯系统,其中该影像分配模块在建立对应画面编号i的该虚拟偶数画面时,计算对应画面编号i+1及画面编号i-1的两张奇数画面之间的一第一压缩率变化量,其中i为大于2的偶数,
该影像分配模块在该来源交错画面序列中取得对应画面编号i及画面编号i-2的两张偶数画面,计算对应画面编号i及画面编号i-2的两张偶数画面之间的一第二压缩率变化量,
该影像分配模块以对应画面编号i-1的奇数画面为基础,根据该第一压缩率变化量与该第二压缩率变化量建立对应画面编号i的该虚拟偶数画面。
13.如权利要求9所述的即时三维视讯系统,其中该影像分配模块在建立对应画面编号j的该虚拟奇数画面时,计算对应画面编号j+1及画面编号j-1的两张偶数画面之间的一第一压缩率变化量,其中j为大于1的奇数,
该影像分配模块在该来源交错画面序列中取得对应画面编号j及画面编号j-2的两张奇数画面,计算对应画面编号j及画面编号j-2的两张奇数画面之间的一第二压缩率变化量,
该影像分配模块以对应画面编号j-1的偶数画面为基础,根据该第一压缩率变化量与该第二压缩率变化量建立对应画面编号j的该虚拟奇数画面。
14.如权利要求9所述的即时三维视讯系统,其中该接收端还包括:
一影像解压缩模块,耦接在该接收端传输模块与该影像分配模块之间,当该影像数据为对应该来源交错画面序列的多个压缩数据时,该影像解压缩模块依据该压缩数据个别对应的一画面编号的一奇偶性,从已解压缩的至少一先前画面中取得该压缩数据个别的一参考画面,并利用个别的该参考画面将该压缩数据解压缩为多个原始画面。
15.如权利要求14所述的即时三维视讯系统,其中当该画面编号为奇数时,该参考画面的一参考画面编号小于且最接近该画面编号的奇数,而当该画面编号为偶数时,该参考画面的该参考画面编号小于且最接近该画面编号的偶数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105269425A CN102457736A (zh) | 2010-10-25 | 2010-10-25 | 提供即时三维视讯的方法与即时三维视讯系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105269425A CN102457736A (zh) | 2010-10-25 | 2010-10-25 | 提供即时三维视讯的方法与即时三维视讯系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102457736A true CN102457736A (zh) | 2012-05-16 |
Family
ID=46040329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010105269425A Pending CN102457736A (zh) | 2010-10-25 | 2010-10-25 | 提供即时三维视讯的方法与即时三维视讯系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102457736A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1470134A (zh) * | 2000-09-01 | 2004-01-21 | M��R��������˹��ŵΤ�� | 用于三维的立体视频捕获装置及带有取景器的双重接收器 |
WO2004071101A1 (ja) * | 2003-02-03 | 2004-08-19 | Sharp Kabushiki Kaisha | 立体映像記録再生装置 |
TW200425719A (en) * | 2003-05-09 | 2004-11-16 | I Art Corp | Multiple views of stereoscopic image display scheme |
CN1672431A (zh) * | 2002-05-21 | 2005-09-21 | 索尼株式会社 | 信息处理装置、信息处理系统和交谈对象显示方法 |
TWI280044B (en) * | 2002-03-20 | 2007-04-21 | Silicon Integrated Sys Corp | Methods and apparatus for generating an interleaved stereo image |
US20080151040A1 (en) * | 2006-12-26 | 2008-06-26 | Samsung Electronics Co., Ltd. | Three-dimensional image display apparatus and method and system for processing three-dimensional image signal |
CN101477299A (zh) * | 2009-02-02 | 2009-07-08 | 王常智 | 立体影视片拍摄装置 |
TW201008286A (en) * | 2008-08-15 | 2010-02-16 | Acer Inc | A video processing method and a video system |
CN101662633A (zh) * | 2009-09-14 | 2010-03-03 | 广东威创视讯科技股份有限公司 | 一种优化屏幕画面显示效果的方法及其装置 |
JP2010068121A (ja) * | 2008-09-09 | 2010-03-25 | Sony Corp | 画像データ解析装置、および画像データ解析方法、並びにプログラム |
CN101686382A (zh) * | 2008-09-24 | 2010-03-31 | 宏碁股份有限公司 | 视讯处理方法及视讯系统 |
-
2010
- 2010-10-25 CN CN2010105269425A patent/CN102457736A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1470134A (zh) * | 2000-09-01 | 2004-01-21 | M��R��������˹��ŵΤ�� | 用于三维的立体视频捕获装置及带有取景器的双重接收器 |
TWI280044B (en) * | 2002-03-20 | 2007-04-21 | Silicon Integrated Sys Corp | Methods and apparatus for generating an interleaved stereo image |
CN1672431A (zh) * | 2002-05-21 | 2005-09-21 | 索尼株式会社 | 信息处理装置、信息处理系统和交谈对象显示方法 |
WO2004071101A1 (ja) * | 2003-02-03 | 2004-08-19 | Sharp Kabushiki Kaisha | 立体映像記録再生装置 |
TW200425719A (en) * | 2003-05-09 | 2004-11-16 | I Art Corp | Multiple views of stereoscopic image display scheme |
US20080151040A1 (en) * | 2006-12-26 | 2008-06-26 | Samsung Electronics Co., Ltd. | Three-dimensional image display apparatus and method and system for processing three-dimensional image signal |
CN101212699A (zh) * | 2006-12-26 | 2008-07-02 | 三星电子株式会社 | 用于处理三维图像信号的三维图像显示装置、方法和系统 |
TW201008286A (en) * | 2008-08-15 | 2010-02-16 | Acer Inc | A video processing method and a video system |
JP2010068121A (ja) * | 2008-09-09 | 2010-03-25 | Sony Corp | 画像データ解析装置、および画像データ解析方法、並びにプログラム |
CN101686382A (zh) * | 2008-09-24 | 2010-03-31 | 宏碁股份有限公司 | 视讯处理方法及视讯系统 |
CN101477299A (zh) * | 2009-02-02 | 2009-07-08 | 王常智 | 立体影视片拍摄装置 |
CN101662633A (zh) * | 2009-09-14 | 2010-03-03 | 广东威创视讯科技股份有限公司 | 一种优化屏幕画面显示效果的方法及其装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107615338B (zh) | 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置 | |
KR100991804B1 (ko) | 이동 기기용 입체영상생성칩 및 이를 이용한입체영상표시방법 | |
US20100202535A1 (en) | Video encoding decoding method and device and video | |
Gotchev et al. | Three-dimensional media for mobile devices | |
KR20100085188A (ko) | 3차원 비디오 통신 단말기, 시스템 및 방법 | |
WO2009092233A1 (zh) | 多视角摄像及图像处理装置、系统及方法与解码处理方法 | |
CN1450816A (zh) | 一种立体视频流编码/解码器及其立体视频编解码系统 | |
CN106878764A (zh) | 一种虚拟现实的直播方法、系统及其用途 | |
EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
Ahmad | Multi-view video: get ready for next-generation television | |
US20170188007A1 (en) | Multi-view image transmitter and receiver and method of multiplexing multi-view image | |
TW201138425A (en) | Method and system for rendering 3D graphics based on 3D display capabilities | |
CN102843566B (zh) | 一种3d视频数据的通讯方法和设备 | |
US20130050183A1 (en) | System and Method of Rendering Stereoscopic Images | |
CN102523459A (zh) | 图像显示方法、装置及系统 | |
KR20190032670A (ko) | 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템 | |
CN102098500A (zh) | 一种提高八视点自由立体视频网络传输性能的纠错方法 | |
US20030174203A1 (en) | Image converter for providing flicker-free stereoscopic image based on top-down split frame sequential suitable for computer communications | |
JP2020115299A (ja) | 仮想空間情報処理装置、方法、プログラム | |
CN102457736A (zh) | 提供即时三维视讯的方法与即时三维视讯系统 | |
JP2004336104A (ja) | 立体画像圧縮装置及び立体画像伸長装置 | |
CN114040184A (zh) | 图像显示方法、系统、存储介质及计算机程序产品 | |
CN102724520A (zh) | 视频处理方法和系统 | |
CN102780894B (zh) | 一种3d图像的编解码方法 | |
CN111246274A (zh) | 确定用于显示信息的数据的方法及显示信息的方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120516 |