CN104243961A - 多视角影像的显示系统及方法 - Google Patents

多视角影像的显示系统及方法 Download PDF

Info

Publication number
CN104243961A
CN104243961A CN201410027638.4A CN201410027638A CN104243961A CN 104243961 A CN104243961 A CN 104243961A CN 201410027638 A CN201410027638 A CN 201410027638A CN 104243961 A CN104243961 A CN 104243961A
Authority
CN
China
Prior art keywords
visual angle
image
visual
interlude
those
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410027638.4A
Other languages
English (en)
Inventor
魏士尧
王荣陞
周世俊
龚仁文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN104243961A publication Critical patent/CN104243961A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本发明揭露一种多视角影像的显示系统及方法。多视角影像的显示系统包含有终端装置,终端装置包含通讯元件、使用者界面元件与处理元件。通讯元件接收影像与多面体影像模型,多面体影像模型建立每一影像与其所对应视角的关联性,且其一视角为当前视角,使用者界面元件产生使用者界面以呈现当前视角影像以及视角间的对应关系,对应关系用以供从视角中选择目的视角,处理元件依据所选的目的视角产生转换指令,令使用者界面显示过场影像后,呈现目的视角所对应的影像,过场影像为依据多面体影像模型找出目的视角影像以及当前视角影像,产生介于当前视角和目的视角间的过场视角的影像。

Description

多视角影像的显示系统及方法
技术领域
本发明是有关于一种多视角影像的显示系统、方法及其非挥发性计算机可读取记录媒体,且特别是关于一种适用于终端装置的多视角影像的显示系统及方法。
背景技术
随着科技逐渐倾向提供个人化服务的发展,数字内容与使用者的互动已日趋重要,现今大多数现有互动内容,实质上仅是既有内容加上社群互动,如评分、投票与分享等,并非真正与内容本身进行互动。媒体内容本身一直在追求更真实的临场体验,但现今媒体内容呈现多数是当媒体业者在转播或录制媒体内容时,透过导播或导演主观地筛选画面或切换画面的视角,未能提供给一般观众更弹性、更个人化的服务,因此观众只能被动接受单一且局限的画面显示。因此,若能提供观众可进行多视角互动的影像,将可让观众更贴近真实世界临场感的体验,让观众除了以往观看影像时的播放、暂停、与快转等操作外,更可自由地选取其他视角影像,进而应用至追踪其喜好的人物或场景,将可让内容选择权回归至使用者。
美国专利(US5574836)揭示一种根据使用者位置而动态变更三维图像的方法,透过感测器侦测使用者位置,并利用图像引擎将图形指令转换为数据,于显示器呈现,当使用者改变位置时,于显示器模拟呈现不同视角的三维图形,但此种做法需大量运算才能处理三维图形的模拟所模拟的影像也容易失真,且只能处理单一影像来源,无法对一连串的影像进行模拟,也无法应用于即时转播的影像。
美国公开案(US2010/0026788)揭示一种产生多视角三维影像的方法,其包含利用多支放置于同一个平面的摄影机,水平环绕并拍摄物体,与另一支摄影机放置于物体上方,即可透过处理程序根据实际摄影机所拍摄的影像,产生平行于多摄影机平面或是其他角度的虚拟视角影像,但一次只能针对某一个对象集中拍摄,因数据量庞大,影像必须经过后制处理,因此无法应用至大场景画面,无法用于即时转播的影像,也未提供操作界面,因此无法让使用者进行操作以自由选择视角。
另外,美国专利(US8189036)揭示一种结合背景影像建模与投影转换矩阵产生多视角影像的方法,为传送者通过连续影像建立场景背景模型,接收者取得当前影像、影像深度(Depth Map)、背景模型与投影转换矩阵,将当前影像经过投影转换矩阵转换后,在与背景影像合成虚拟视角影像。然而,本案并没有提供互动操作的方法,且于传送者与接收者间的数据传输未包含适应性的内容压缩与传输方法,其数据量庞大,无法使用于即时转播的影像,也无法适用于一般的终端装置。
因此,如何提供让使用者在观赏影片时可自由切换不同视角,以获得更真实的临场体验,让使用者可简单、顺畅的体验个人化的互动服务,实属当前重要研发课题之一,亦成为当前相关领域极需改进的目标。
发明内容
有鉴于此,本发明的目的为提出一种多视角影像的显示系统及方法,借以提供使用者可经由一终端装置来观赏影像时可自由选择视角。在本发明系统和方法中,经由一多面体影像模型减少多视角影像的数据传输量,因而特别适用于即时转播的影像,也可在一般的终端装置上使用。此外,本发明的系统和方法,经由一使用者界面可让使用者便利地操作和选择、切换视角,且经由一处理元件的处理,当切换视角时将产生并呈现数个过场影像来衔接切换前影像和切换后影像,因此可改善多视角影像播放的互动性、体验感与流畅度。
依据本发明的一实施例,一种多视角影像的显示系统包含终端装置,终端装置包含通讯元件、使用者界面元件与处理元件。通讯元件用以接收多个影像与多面体影像模型,其中,多面体影像模型建立这些影像中每一个影像与其对应视角的关联性,且这些影像所对应的多个视角的其一为当前视角,使用者界面元件用以产生使用者界面以呈现对应当前视角的影像,以及这些影像所对应的这些视角之间的对应关系,其中,对应关系用以供从这些视角中选择目的视角,处理元件用以依据所选择的目的视角产生转换指令,令使用者界面显示多个过场影像后,呈现目的视角所对应的影像,其中这些过场影像是依据多面体影像模型找出目的视角对应的影像以及当前视角所对应的影像,产生在将当前视角转换成目的视角的过程中,介于当前视角和目的视角之间的多个过场视角所对应的影像。
依据本发明的另一实施例,一种多视角影像的显示方法包含下列步骤:接收多个影像与多面体影像模型,其中,多面体影像模型建立这些影像中每一影像与其对应视角的关联性,且这些影像所对应的多个视角的其一为当前视角;通过使用者界面以呈现对应当前视角的影像,以及这些影像所对应的这些视角之间的对应关系,其中,对应关系提供从这些视角中选择目的视角;透过处理元件依据所选择的目的视角产生转换指令,令使用者界面显示多个过场影像后,呈现目的视角所对应的影像,其中这些过场影像是依据多面体影像模型找出目的视角对应的影像以及当前视角所对应的影像,产生在将当前视角转换成目的视角的过程中,介于当前视角和目的视角之间的多个过场视角所对应的影像。
由上述本发明实施方式可知,应用本发明具有下列优点:可减少多视角影像的数据传输量,因此对于即时转播的影像或是在一般规格的终端装置上,皆可适用。使用者可自由地选择影片的视角,且切换视角时进行流畅的影片转换,让使用者可于观看影片时体验更贴近真实世界的临场感。此外,提供简单且方便操作的使用者界面,以供使用者更直觉的互动方式。
附图说明
为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂,所附附图的说明如下:
图1是依照本发明一实施例的一种多视角影像的显示系统的方块图;
图2是依照本发明另一实施例的一种使用者界面的示意图;
图3是依照本发明另一实施例的一种多视角影像的显示系统的方块图;
图4是依照本发明又一实施例的一种立体视觉模型的示意图;
图5是依照本发明又一实施例的一种多视角影像的显示系统的方块图;以及
图6是依照本发明一实施例的一种多视角影像的显示方法的流程图。
具体实施方式
以下将以附图及详细说明本发明的精神,任何所属技术领域中具有通常知识者在了解本发明的较佳实施例后,当可由本发明所教示的技术加以改变及修饰,其并不脱离本发明的精神与范围。另一方面,众所周知的元件与步骤并未描述于实施例中,以避免对本发明造成不必要的限制。
请参照图1,图1是依照本发明一实施例的一种多视角影像的播放系统的方块图。如图1所示,多视角影像的显示系统100主要包含有终端装置110,终端装置110主要包含有通讯元件112、使用者界面元件114与处理元件116。终端装置110可以是由上述元件所组成的特定装置,也可以是一般规格的电子装置且与上述元件整合,例如智能型手机、平板电脑、笔记型电脑、或个人电脑等。
通讯元件112用以接收多个影像与多面体影像模型,其中,多面体影像模型建立这些影像中每一个影像与其对应视角的关联性,且这些影像所对应的多个视角的其一为当前视角。在一些实施例中,多面体影像影模型可以是一组记录数据,记录每一个影像所对应的视角,以及其中一个视角为当前视角。在另一些实施例中,多面体影像影模型可以是依据多个摄影机于一拍摄场景中的位置,计算这些摄影机所拍摄的这些影像的相对关系,以产生每一个影像所对应的视角及多面体影像模型。在一较佳实施例中,多个影像可以是同一内容分别从不同视角所拍摄的影像,而当前视角为目前所播放影像所对应的视角。较佳时,影像的数量等于视角的数量,但本发明不以此为限。
使用者界面元件114用以产生使用者界面以呈现对应当前视角的影像,以及这些影像所对应的视角之间的对应关系,其中,此对应关系用以供从这些视角中选择目的视角。在一些实施例中,使用者界面可以是一应用程序操作界面及终端装置110的显示器,用以显示对应当前视角的影像并提供一图型化界面,图形化界面可用来标示多个视角中每一个视角的观看方向,并且对当前视角进行特别标示,且提供一操作功能让使用者来选择其中一个视角作为目的视角。在另一些实施例中,使用者界面亦可以是触控屏幕、终端装置110的按键和其他显示器的整合、或是其他人机界面和投影机的整合等,用以显示影像、呈现多个视角、并让使用者来选择其中一个视角作为目的视角。
处理元件116用以依据所选择的目的视角产生转换指令,令使用者界面显示多个过场影像后,呈现目的视角所对应的影像,其中这些过场影像是依据多面体影像模型找出目的视角对应的影像以及当前视角所对应的影像,产生在将当前视角转换成目的视角的过程中,介于当前视角和目的视角之间的多个过场视角所对应的影像。借此,使用者可于观看影片时体验更贴近真实世界的临场感。在一些实施例中,处理元件116可以是将程序码和处理器/芯片整合成一独特硬件元件,也可以是一般市售(或设置在终端装置110)的处理器以读取特定的程序码后执行相关功能。
以下则详细说明过场影像的具体产生方式。于一实施例中,每一过场视角分别对应有一过场影像,且处理元件116是依据每一过场视角、当前视角和目的视角的角度,将对应当前视角的影像和目的视角的影像进行处理,以分别产生对应的这些过场影像。例如,当使用者界面显示了当前影像并提供操作功能让使用者选择目的视角之后,处理元件116则准备将当前影像换到目的视角所对应的影像,且产生在换过程中拟进行显示的过场影像。在一些实施例中,处理元件116依据当前视角和目的视角的角度,来决定在两个角度之间的过场视角的角度和数量,每一个过场视角对应有一过场影像。再者,当前视角、这些过场视角和目的视角之间具有一过场顺序,其顺序主要是依据当前视角、数个过场视角和目的视角的角度数值而决定,例如依顺时针方向或逆时针方向,以将从当前视角、数个过场视角、转换到目的视角时的顺序关系。之后处理元件116将依据每一个过场视角产生对应的过场影像,且使用者界面则从显示当前视角所对应的影像,依据过场顺序分别显示对应每一个过场视角所对应的过场影像之后,再显示目的视角所对应的影像。借此,让使用者于改变影片视角时,体验更流畅的影片转换。
于另一实施例中,若当前视角和目的视角之间的角度差异很大时,当前视角和目的视角之间的多个过场视角中,可能有一个过场视角相等于或接近于多面体影像影模型中的一个视角,其可作为一中间视角。也就是说,在将前视角转换到目的视角的过程中,可能会经过多面体影像影模型中这些影像所对应视角中的一个视角,将其视为中间视角。当前视角、中间视角和目的视角具有一转换顺序,且中间视角为这些过场视角中的其一,也就是说,处理元件116可以先将当前视角转换到中间视角,再从中间视角转换到目的视角。如此一来,介于当前视角和目的视角之间的这些过场视角,依据转换顺序,分别区分为当前视角和中间视角间的多个第一过场视角,以及中间视角和目的视角间的多个第二过场视角,每一第一过场视角和每一第二过场视角分别对应有过场影像。处理元件116还用以依据多面体影像模型找出中间视角对应的影像和目的视角对应的影像,再依据每一第一过场视角、当前视角和中间视角的相对角度,将对应当前视角的影像和中间视角的影像进行合成以产生对应的这些过场影像,以及依据每一第二过场视角、中间视角和目的视角的相对角度,将对应中间视角的影像和目的视角的影像进行合成以产生对应的这些过场影像。当使用者切换视角时,终端装置110不是直接跳换不同视角所对应的不同画面,而是将当前视角和目的视角的画面(依时序)整合处理产生多个过场影像,经由使用者界面来显示,模拟出好像在场内逐步移转过去的效果。
实务上,一般过场切换让使用者感觉是否平顺,和过场角度的数量、切换时所花费的时间有关。一般来说,人眼可辨识的影像频率约为16fps,因此于本发明的一实施例中,在过场切换的过程中,为了看起来平顺,处理元件116于决定过场角度的数量时,将使其可每秒显示至少16个影像,例如,当过场切换时间为0.5秒时,处理元件116可先决定需要8个影像,其中7个为过场影像,第8个为目的影像,因此,过场角度的数量为7个,再依据当前视角和目的视角之间的角度差值,切分为8等份,起点为当前视角,第1-7个角度为过场视角,第8个角度为目的视角,依此产生对应的7个过场影像,将可让过场切换看起来平顺。
在另一些实施例中,当使用者想要观看不属于多面体影像模型中所建立的视角及其影像时,本发明更进一步可提供一虚拟视角和对应的影像,还具有让使用者好像在场内任意停留观看的效果。使用者界面元件114还用以供使用者来设定虚拟视角,处理元件116还用以依据所设定虚拟视角产生虚拟视角指令,且依据虚拟视角和多面体影像模型,从这些视角中找出分别邻近虚拟视角两边的两个邻近视角及其对应影像,再依据虚拟视角和两个邻近视角的相对角度,将两个邻近视角对应的影像进行处理,以产生虚拟视角的对应影像,借以作为主要播放画面。举例来说,当设定虚拟视角之后,可从多面体影像模型中找到和虚拟视角的角度最接近的两个视角作为邻近视角,然后依据两个邻近视角所对应的影像,计算虚拟视角和两个邻近视角的相对角度,来产生对应影像,然后进行播放。
如图2所示,使用者界面200可呈现对应当前视角212的影像210以及这些影像对应的这些视角222、232、242之间的对应关系,并且于其中标示当前视角212,以方便使用者对当前的视角的位置有更清楚的认识。如此,本发明提供简单且方便操作的使用者界面200,以供使用者更直觉的互动方式。
为了对上述多视角影像的显示系统100的整体架构作更进一步的阐述,请参照图3,图3是依照本发明另一实施例的一种多视角影像的显示系统的方块图。应了解到,关于已经在上述实施例中揭示的内容,在以下叙述中将不再重复赘述。
如图3所示的一实施例中,使用者界面元件114为触控屏幕,触控屏幕包含显示模块142与触控模块144。显示模块142用以呈现使用者界面及这些视角之间的对应关系,以及显示当前视角对应的影像、这些过场影像以及目的视角所对应的影像。触控模块144用以接收使用者于显示模块142所呈现这些视角之间的对应关系上进行操作以选择目的视角的触控轨迹,且依据触控轨迹以产生转换指令。实务上,操作手势及其相应的轨迹所代表的指令,可视实际应用而弹性设计。
于图3所示的实施例中,多视角影像的显示系统100中的影像可以为从多个摄影机151、152、153、154对拍摄场景150分别进行拍摄而取得,且多视角影像的显示系统100还可包含影像建模装置130。影像建模装置130用以依据这些摄影机151、152、153、154于拍摄场景150中的位置,计算这些摄影机151、152、153、154所拍摄的这些影像的相对关系,以产生每一个影像所对应的视角及多面体影像模型。
影像建模装置130还用以依据这些影像及其对应的这些视角,建立立体视觉模型160(绘示于图4),立体视觉模型160具有符合这些影像的数量的平面161、162、163、164,且每一平面分别对应每一影像以显示影像,而每一平面的垂直向量是分别对应影像的视角。
于本发明另一实施例中,多视角影像的显示系统100还可包含服务器120与适应性网络(Adaptive networking)传输装置170,服务器120经由网络与终端装置110进行通讯。服务器120用以储存这些影像,且经由网络与终端装置110进行通讯,并传送这些影像至终端装置110,适应性网络传输装置170用以依据网络频宽,调整传送到终端装置110的这些影像的数量,且其中,终端装置110依据所传送来的这些影像及其数量,调整多面体影像模型,其仅包含所传送来的这些影像中每一影像所对应的视角,借以适应性的网络传输与影片压缩,能针对不同的网络状况采用不同的影片播放方式,以供使用者更佳的影片互动体验。
于另一实施例中,服务器120亦可整合影像建模装置130的功能。服务器120还用以依据这些摄影机151、152、153、154于拍摄场景150中的位置,计算这些摄影机151、152、153、154所拍摄的这些影像的相对位置和相对角度,以产生每一个影像所对应的视角及多面体影像模型。
关于使用者界面元件114的另一技术方案,请参照图5,图5是依照本发明又一实施例的一种多视角影像的显示系统的方块图。应了解到,关于已经在上述实施例中揭示的内容,在以下叙述中将不再重复赘述。
如图5所示,终端装置110还包含与方位感测器118。方位感测器118用以感测终端装置110于立体空间中的方位变化,以产生转换指令并传输至处理元件116。使用者界面元件114包含显示器146和至少一按键148,显示器146用以显示使用者界面,按键148用以供使用者进行操作以从这些视角中选择目的视角。实务上,方位感测器118可为电子罗盘、陀螺仪、加速度器、或上述的组合。
请参照图6,图6是依照本发明一实施例的一种多视角影像的播放方法300的流程图。多视角影像的播放方法300可经由如上所述的多视角影像的播放系统来予以实施,亦可实作为一计算机程序,并储存于一计算机可读取记录媒体中,而使计算机读取此记录媒体并配合其他相关硬件元件之后执行此方法。计算机可读取记录媒体可为只读记忆体、快闪记忆体、软盘、硬盘、光盘、随身盘、磁带、可由网络存取的数据库或熟悉此技艺者可思及的具有相同功能的计算机可读取记录媒体。
如图6所示,多视角影像的播放方法300包含步骤302~306(应了解到,在本实施例中所提及的步骤,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行),至于实施该些步骤的硬件装置,由于以上实施例已具体揭露,因此不再重复赘述。
于步骤302中,经由一通讯元件,接收多个影像与多面体影像模型,其中,多面体影像模型建立这些影像中每一个影像与其对应视角的关联性,且这些影像所对应的多个视角的其一为当前视角。
于步骤304中,经由一使用者界面元件产生一使用者界面,通过使用者界面呈现对应当前视角的影像,以及这些影像所对应的这些视角之间的对应关系,其中,对应关系提供从这些视角中选择目的视角。
于步骤306中,经由一处理元件依据所选择的目的视角产生转换指令,使使用者界面显示多个过场影像后,呈现目的视角所对应的影像,其中这些过场影像依据多面体影像模型找出目的视角对应的影像以及当前视角所对应的影像,产生在将当前视角转换成目的视角的过程中,介于当前视角和目的视角之间的多个过场视角所对应的影像。借此,使用者可于观看影片时体验更贴近真实世界的临场感。应了解到,关于已经在前述系统的实施例中揭示的内容,例如:多面体影像影模型、使用者界面与处理元件的详细说明,在方法的实施例中将不再重复赘述。
以下则详细说明过场影像的具体产生方式。于一实施例中,多视角影像的播放方法300可还包含:由处理元件依据每一个过场视角、当前视角和目的视角的角度,将对应当前视角的影像和目的视角的影像进行处理,以分别产生对应的这些过场影像。例如,当使用者界面显示了当前影像并提供操作功能让使用者选择目的视角之后,处理元件则准备将当前影像换到目的视角所对应的影像,且产生在换过程中拟进行显示的过场影像。在一些实施例中,处理元件依据当前视角和目的视角的角度,来决定在两个角度之间的过场视角的角度和数量,每一个过场视角对应有一过场影像。再者,步骤306可还包含:通过当前视角、这些过场视角和目的视角之间的一过场顺序,其顺序主要是依据当前视角、数个过场视角和目的视角的角度数值而决定,例如依顺时针方向或逆时针方向,以将从当前视角、数个过场视角、转换到目的视角时的顺序关系。之后处理元件将依据每一个过场视角产生对应的过场影像,使使用者界面从显示当前视角所对应的影像,再依据过场顺序分别显示对应每一个过场视角所对应的过场影像之后,再显示目的视角所对应的影像。借此,让使用者于改变影片视角时,体验更流畅的影片转换。
于本发明的另一实施例中,若当前视角和目的视角之间的角度差异很大时,当前视角和目的视角之间的多个过场视角中,可能有一个过场视角相等于或接近于多面体影像影模型中的一个视角,其可作为一中间视角。也就是说,在将前视角转换到目的视角的过程中,可能会经过多面体影像影模型中这些影像所对应视角中的一个视角,将其视为中间视角。多视角影像的播放方法300可包含:透过这些影像所对应的视角中所包含的中间视角,当前视角、中间视角和目的视角具有一转换顺序,且中间视角为这些过场视角的其一,也就是说,处理元件116可以先将当前视角转换到中间视角,再从中间视角转换到目的视角。如此一来,介于当前视角和目的视角之间的这些过场视角,为依据转换顺序,分别区分为当前视角和中间视角间的多个第一过场视角以及中间视角和目的视角间的多个第二过场视角,每一第一过场视角和每一第二过场视角分别对应有过场影像;以及,处理元件还依据多面体影像模型找出中间视角对应的影像和目的视角对应的影像,再依据每一第一过场视角、当前视角和中间视角的相对角度,将对应当前视角的影像和中间视角的影像进行合成以产生对应的这些过场影像,以及依据每一第二过场视角、中间视角和目的视角的相对角度,将对应中间视角的影像和目的视角的影像进行合成以产生对应的这些过场影像。当使用者切换视角时,不是直接跳换不同视角所对应的不同画面,而是将当前视角和目的视角的画面(依时序)整合处理产生多个过场影像,经由使用者界面来显示,模拟出好像在场内逐步移转过去的效果。
在另一些实施例中,当使用者想要观看不属于多面体影像模型中所建立的视角及其影像时,本发明更进一步可提供一虚拟视角和对应的影像,还具有让使用者好像在场内任意停留观看的效果。多视角影像的播放方法300可包含:透过使用者界面元件供使用者来设定虚拟视角,处理元件还依据所设定的虚拟视角产生虚拟视角指令,且依据虚拟视角和多面体影像模型,从这些视角中找出分别邻近虚拟视角两边的两个邻近视角及其对应影像,再依据虚拟视角和两个邻近视角的相对角度,将两个邻近视角对应的影像进行处理,以产生虚拟视角的对应影像,借以作为主要播放画面。举例来说,当设定虚拟视角之后,可从多面体影像模型中找到和虚拟视角的角度最接近的两个视角作为邻近视角,然后依据两个邻近视角所对应的影像,计算虚拟视角和两个邻近视角的相对角度,来产生对应影像,然后进行播放。
关于使用者界面的具体实施方式,于本发明的一实施例中,多视角影像的播放方法300可包含:呈现使用者界面及这些视角之间的对应关系,以及显示当前视角对应的影像、这些过场影像以及目的视角所对应的影像;接收使用者于显示模块所呈现这些视角之间的对应关系上进行操作以选择目的视角的触控轨迹,且依据触控轨迹以产生转换指令。实务上,操作手势及其相应的轨迹所代表的指令,可视实际应用而弹性设计。
于本发明的一实施例中,多视角影像的播放方法300可包含下列步骤:利用服务器储存这些影像,且经由网络与终端装置进行通讯,并传送这些影像至终端装置,其中终端装置包含处理元件与使用者界面元件以产生使用者界面;接着,依据网络频宽,调整传送到终端装置的这些影像的数量且终端装置依据所传送来的这些影像及其数量,调整多面体影像模型至仅包含所传送来的这些影像中每一影像所对应的视角,借以适应性的网络传输与影片压缩,能针对不同的网络状况采用不同的影片播放方式,以供使用者更佳的影片互动体验。
综上所述,本发明提供更贴近真实世界的临场感的影片观看型态,使用者可改变影片的观看视角,并体验更流畅的影片转换,且本发明提供简单且方便操作的使用者界面,以及适应性的网络传输与影片压缩,能针对不同的网络状况采用不同的影片播放方式,以供使用者更佳的影片互动体验。
虽然本发明已以实施方式揭露如上,然其并非用以限定本发明,任何熟悉此技艺者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰,因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (16)

1.一种多视角影像的显示系统,其特征在于,包含:
一终端装置,该终端装置包含:
一通讯元件,用以接收多个影像与一多面体影像模型,其中,该多面体影像模型建立该些影像中每一影像与其对应视角的关联性,且该些影像所对应的多个视角的其一为一当前视角;
一使用者界面元件,用以产生一使用者界面以呈现对应该当前视角的影像,以及该些影像所对应的该些视角之间的对应关系,其中,该对应关系用以供从该些视角中选择一目的视角;以及
一处理元件,用以依据所选择的该目的视角产生一转换指令,使该使用者界面显示多个过场影像后,呈现该目的视角所对应的影像,其中该些过场影像是依据该多面体影像模型找出该目的视角对应的影像以及该当前视角所对应的影像,产生在将该当前视角转换成该目的视角的过程中,介于该当前视角和该目的视角之间的多个过场视角所对应的影像。
2.根据权利要求1所述的多视角影像的显示系统,其中,每一过场视角分别对应有一过场影像,且该处理元件是依据每一过场视角、该当前视角和该目的视角的角度,将对应该当前视角的影像和该目的视角的影像进行处理,以分别产生对应的该些过场影像。
3.根据权利要求1所述的多视角影像的显示系统,其特征在于,该些影像所对应的该些视角中包含一中间视角,该当前视角、该中间视角和该目的视角具有一转换顺序,且该中间视角为该些过场视角中的其一;介于该当前视角和该目的视角之间的该些过场视角,是依据该转换顺序,分别区分为该当前视角和该中间视角间的多个第一过场视角以及该中间视角和该目的视角间的多个第二过场视角,每一第一过场视角和每一第二过场视角分别对应有一过场影像;以及,该处理元件还用以依据该多面体影像模型找出该中间视角对应的影像和该目的视角对应的影像,再依据每一第一过场视角、该当前视角和该中间视角的相对角度,将对应该当前视角的影像和该中间视角的影像进行合成以产生对应的该些过场影像,以及依据每一第二过场视角、该中间视角和该目的视角的相对角度,将对应该中间视角的影像和该目的视角的影像进行合成以产生对应的该些过场影像。
4.根据权利要求1所述的多视角影像的显示系统,其特征在于,该使用者界面元件还用以供设定一虚拟视角,该处理元件还用以依据所设定该虚拟视角产生一虚拟视角指令,且依据该虚拟视角和该多面体影像模型,从该些视角中找出分别邻近该虚拟视角两边的两个邻近视角及其对应影像,再依据该虚拟视角和两个邻近视角的相对角度,将两个邻近视角对应的影像进行处理,以产生该虚拟视角的对应影像。
5.根据权利要求1所述的多视角影像的显示系统,其特征在于,该使用者界面元件为一触控屏幕,该触控屏幕包含:
一显示模块,用以呈现该使用者界面及该些视角之间的对应关系,以及显示该当前视角对应的影像、该些过场影像以及该目的视角所对应的影像;以及
一触控模块,用以接收一使用者于该显示模块所呈现该些视角之间的对应关系上进行操作以选择该目的视角的一触控轨迹,且依据该触控轨迹以产生该转换指令。
6.根据权利要求1所述的多视角影像的显示系统,其特征在于,该终端装置还包含:
一方位感测器,用以感测该终端装置于立体空间中的一方位变化,以产生该转换指令并传输至该处理元件;以及其中,该使用者界面元件为一显示器和至少一按键,该显示器用以显示该使用者界面,该至少一按键用以供一使用者进行操作以从该些视角中选择该目的视角。
7.根据权利要求1所述的多视角影像的显示系统,其特征在于,该些影像是从多个摄影机对一拍摄场景分别进行拍摄而取得,且该显示系统还包含:
一影像建模装置,用以依据该些摄影机于该拍摄场景中的位置,计算该些摄影机所拍摄的该些影像的相对关系,以产生每一个影像所对应的视角及该多面体影像模型。
8.根据权利要求1所述的多视角影像的显示系统,其特征在于,还包含:
一服务器,用以储存该些影像,且经由网络与该终端装置进行通讯,并传送该些影像至该终端装置;以及
一适应性网络传输装置,用以依据网络频宽,调整传送到该终端装置的该些影像的数量;且其中,
该终端装置依据所传送来的该些影像及其数量,调整该多面体影像模型,仅包含所传送来的该些影像中每一影像所对应的视角。
9.一种多视角影像的显示方法,其特征在于,包含:
接收多个影像与一多面体影像模型,其中,该多面体影像模型建立该些影像中每一影像与其对应视角的关联性,且该些影像所对应的多个视角的其一为一当前视角;
通过一使用者界面以呈现对应该当前视角的影像,以及该些影像所对应的该些视角之间的对应关系,其中,该对应关系提供从该些视角中选择一目的视角;以及
透过一处理元件依据所选择的该目的视角产生一转换指令,使该使用者界面显示多个过场影像后,呈现该目的视角所对应的影像,其中该些过场影像是依据该多面体影像模型找出该目的视角对应的影像以及该当前视角所对应的影像,产生在将该当前视角转换成该目的视角的过程中,介于该当前视角和该目的视角之间的多个过场视角所对应的影像。
10.根据权利要求9所述的多视角影像的显示方法,其特征在于,还包含:
由该处理元件依据每一过场视角、该当前视角和该目的视角的角度,将对应该当前视角的影像和该目的视角的影像进行处理,以分别产生对应的该些过场影像。
11.根据权利要求9所述的多视角影像的显示方法,其特征在于,还包含:
透过该些影像所对应的该些视角中所包含一中间视角,该当前视角、该中间视角和该目的视角具有一转换顺序,且该中间视角为该些过场视角的其一;介于该当前视角和该目的视角之间的该些过场视角,是依据该转换顺序,分别区分为该当前视角和该中间视角间的多个第一过场视角以及该中间视角和该目的视角间的多个第二过场视角,每一第一过场视角和每一第二过场视角分别对应有一过场影像;以及,该处理元件还依据该多面体影像模型找出该中间视角对应的影像和该目的视角对应的影像,再依据每一第一过场视角、该当前视角和该中间视角的相对角度,将对应该当前视角的影像和该中间视角的影像进行合成以产生对应的该些过场影像,以及依据每一第二过场视角、该中间视角和该目的视角的相对角度,将对应该中间视角的影像和该目的视角的影像进行合成以产生对应的该些过场影像。
12.根据权利要求9所述的多视角影像的显示方法,其特征在于,还包含:
透过一使用者界面元件设定一虚拟视角,该处理元件还依据所设定的该虚拟视角产生一虚拟视角指令,且依据该虚拟视角和该多面体影像模型,从该些视角中找出分别邻近该虚拟视角两边的两个邻近视角及其对应影像,再依据该虚拟视角和两个邻近视角的相对角度,将两个邻近视角对应的影像进行处理,以产生该虚拟视角的对应影像。
13.根据权利要求9所述的多视角影像的显示方法,其特征在于,还包含:
呈现该使用者界面及该些视角之间的对应关系,以及显示该当前视角对应的影像、该些过场影像以及该目的视角所对应的影像;以及
接收一使用者于一显示模块所呈现该些视角之间的对应关系上进行操作以选择该目的视角的一触控轨迹,且依据该触控轨迹以产生该转换指令。
14.根据权利要求9所述的多视角影像的显示方法,其特征在于,还包含:
透过一方位感测器感测立体空间中的一方位变化,以产生该转换指令并传输至该处理元件,并于一显示器显示该使用者界面,且利用一按键供一使用者进行操作以从该些视角中选择该目的视角。
15.根据权利要求9所述的多视角影像的显示方法,其特征在于,还包含:
依据多个摄影机于一拍摄场景中的位置,计算该些摄影机所拍摄的该些影像的相对关系,以产生每一个影像所对应的视角及该多面体影像模型。
16.根据权利要求9所述的多视角影像的显示方法,其特征在于,还包含:
利用一服务器储存该些影像,且经由网络与一终端装置进行通讯,并传送该些影像至该终端装置,其中该终端装置包含该处理元件与一使用者界面元件以产生该使用者界面;以及
依据网络频宽,调整传送到该终端装置的该些影像的数量且该终端装置依据所传送来的该些影像及其数量,调整该多面体影像模型至仅包含所传送来的该些影像中每一影像所对应的视角。
CN201410027638.4A 2013-06-18 2014-01-21 多视角影像的显示系统及方法 Pending CN104243961A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102121560A TWI530157B (zh) 2013-06-18 2013-06-18 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
TW102121560 2013-06-18

Publications (1)

Publication Number Publication Date
CN104243961A true CN104243961A (zh) 2014-12-24

Family

ID=52018821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410027638.4A Pending CN104243961A (zh) 2013-06-18 2014-01-21 多视角影像的显示系统及方法

Country Status (3)

Country Link
US (1) US9485493B2 (zh)
CN (1) CN104243961A (zh)
TW (1) TWI530157B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104735542A (zh) * 2015-03-30 2015-06-24 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN105354874A (zh) * 2015-11-05 2016-02-24 韩东润 一种数字素材的立体显示方法及装置
CN105898138A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技(天津)有限公司 全景视频播放方法及装置
WO2017032180A1 (zh) * 2015-08-27 2017-03-02 腾讯科技(深圳)有限公司 电子终端中采集的画面的角度切换方法及装置
CN106713958A (zh) * 2015-11-18 2017-05-24 纬创资通股份有限公司 立体影像的无线传输系统、方法及其装置
CN109196860A (zh) * 2016-07-30 2019-01-11 华为技术有限公司 一种多视角图像的控制方法及相关装置
CN109889914A (zh) * 2019-03-08 2019-06-14 腾讯科技(深圳)有限公司 视频画面推送方法、装置、计算机设备及存储介质
CN110290360A (zh) * 2019-08-01 2019-09-27 浙江开奇科技有限公司 用于全景视频影像的影像拼接方法及终端设备
CN110741648A (zh) * 2017-06-29 2020-01-31 4D自由视角公司 用于多频道画像的传输系统及其控制方法、多频道画像的播放方法及其装置
CN111684795A (zh) * 2017-12-15 2020-09-18 Pcms控股公司 用于在360°视频导航中使用查看路径的方法
CN115373571A (zh) * 2022-10-26 2022-11-22 四川中绳矩阵技术发展有限公司 一种图像显示装置、方法、设备及介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106034213B (zh) * 2015-03-12 2019-02-22 株式会社理光 生成光雕投影内容的方法、设备和系统
US9848212B2 (en) * 2015-07-10 2017-12-19 Futurewei Technologies, Inc. Multi-view video streaming with fast and smooth view switch
CN105430371A (zh) * 2015-11-11 2016-03-23 朱培恒 3d、4d视频制作及播放方法
EP3777136A4 (en) * 2018-04-03 2021-05-19 Huawei Technologies Co., Ltd. MULTIMEDIA DATA PROCESSING METHOD AND APPARATUS
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
CN114097248B (zh) * 2019-12-30 2023-03-28 华为技术有限公司 一种视频流处理方法、装置、设备及介质
CN111275803B (zh) * 2020-02-25 2023-06-02 北京百度网讯科技有限公司 3d模型渲染方法、装置、设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061083A (en) * 1996-04-22 2000-05-09 Fujitsu Limited Stereoscopic image display method, multi-viewpoint image capturing method, multi-viewpoint image processing method, stereoscopic image display device, multi-viewpoint image capturing device and multi-viewpoint image processing device
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
CN1791230A (zh) * 2004-12-13 2006-06-21 三星电子株式会社 三维图像显示设备
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
US20080109729A1 (en) * 2001-06-28 2008-05-08 Amir Notea Method and apparatus for control and processing of video images
CN101742096A (zh) * 2010-01-21 2010-06-16 中华电信股份有限公司 多视角互动电视系统与方法
CN101770327A (zh) * 2009-01-06 2010-07-07 纬创资通股份有限公司 可切换启动多视角显示屏幕的执行程序的影像系统及方法
CN102157011A (zh) * 2010-12-10 2011-08-17 北京大学 利用移动拍摄设备进行动态纹理采集及虚实融合的方法
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
JP2013034085A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像表示装置及び方法、画像処理装置及び方法、プログラム、並びに画像表示システム
JP2013058950A (ja) * 2011-09-09 2013-03-28 Hitachi Consumer Electronics Co Ltd 画像表示装置及び画像表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
CN1198459C (zh) 2002-07-08 2005-04-20 视传科技股份有限公司 网络即时视频传输方法及装置
US7675540B2 (en) 2003-08-19 2010-03-09 Kddi Corporation Concealed regions complementing system of free viewpoint video images
US8466913B2 (en) * 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
JP4990852B2 (ja) 2008-07-31 2012-08-01 Kddi株式会社 3次元移動の自由視点映像生成システムおよび記録媒体
TW201125358A (en) 2010-01-11 2011-07-16 Chunghwa Telecom Co Ltd Multi-viewpoints interactive television system and method.
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
US8976224B2 (en) * 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
TWM449618U (zh) 2012-11-19 2013-04-01 Chih-Ming Tsai 用於互動遊戲的可設定手持式電子系統

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061083A (en) * 1996-04-22 2000-05-09 Fujitsu Limited Stereoscopic image display method, multi-viewpoint image capturing method, multi-viewpoint image processing method, stereoscopic image display device, multi-viewpoint image capturing device and multi-viewpoint image processing device
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
US20080109729A1 (en) * 2001-06-28 2008-05-08 Amir Notea Method and apparatus for control and processing of video images
CN1791230A (zh) * 2004-12-13 2006-06-21 三星电子株式会社 三维图像显示设备
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
CN101770327A (zh) * 2009-01-06 2010-07-07 纬创资通股份有限公司 可切换启动多视角显示屏幕的执行程序的影像系统及方法
CN101742096A (zh) * 2010-01-21 2010-06-16 中华电信股份有限公司 多视角互动电视系统与方法
CN102157011A (zh) * 2010-12-10 2011-08-17 北京大学 利用移动拍摄设备进行动态纹理采集及虚实融合的方法
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
JP2013034085A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像表示装置及び方法、画像処理装置及び方法、プログラム、並びに画像表示システム
JP2013058950A (ja) * 2011-09-09 2013-03-28 Hitachi Consumer Electronics Co Ltd 画像表示装置及び画像表示方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104735542A (zh) * 2015-03-30 2015-06-24 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN104735542B (zh) * 2015-03-30 2018-09-28 北京奇艺世纪科技有限公司 一种视频播放方法及装置
US10270963B2 (en) 2015-08-27 2019-04-23 Tencent Technology (Shenzhen) Company Limited Angle switching method and apparatus for image captured in electronic terminal
WO2017032180A1 (zh) * 2015-08-27 2017-03-02 腾讯科技(深圳)有限公司 电子终端中采集的画面的角度切换方法及装置
CN106488168A (zh) * 2015-08-27 2017-03-08 腾讯科技(深圳)有限公司 电子终端中采集的画面的角度切换方法及装置
CN105354874A (zh) * 2015-11-05 2016-02-24 韩东润 一种数字素材的立体显示方法及装置
CN105354874B (zh) * 2015-11-05 2019-11-08 韩东润 一种数字素材的立体显示方法及装置
CN106713958B (zh) * 2015-11-18 2019-08-02 纬创资通股份有限公司 立体影像的无线传输系统、方法及其装置
CN106713958A (zh) * 2015-11-18 2017-05-24 纬创资通股份有限公司 立体影像的无线传输系统、方法及其装置
CN105898138A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技(天津)有限公司 全景视频播放方法及装置
CN109196860A (zh) * 2016-07-30 2019-01-11 华为技术有限公司 一种多视角图像的控制方法及相关装置
CN110741648A (zh) * 2017-06-29 2020-01-31 4D自由视角公司 用于多频道画像的传输系统及其控制方法、多频道画像的播放方法及其装置
CN111684795A (zh) * 2017-12-15 2020-09-18 Pcms控股公司 用于在360°视频导航中使用查看路径的方法
CN111684795B (zh) * 2017-12-15 2022-08-12 Pcms控股公司 用于在360°视频导航中使用查看路径的方法
US11451881B2 (en) 2017-12-15 2022-09-20 Interdigital Madison Patent Holdings, Sas Method for using viewing paths in navigation of 360 degree videos
CN109889914A (zh) * 2019-03-08 2019-06-14 腾讯科技(深圳)有限公司 视频画面推送方法、装置、计算机设备及存储介质
CN109889914B (zh) * 2019-03-08 2021-04-02 腾讯科技(深圳)有限公司 视频画面推送方法、装置、计算机设备及存储介质
CN110290360A (zh) * 2019-08-01 2019-09-27 浙江开奇科技有限公司 用于全景视频影像的影像拼接方法及终端设备
CN115373571A (zh) * 2022-10-26 2022-11-22 四川中绳矩阵技术发展有限公司 一种图像显示装置、方法、设备及介质
CN115373571B (zh) * 2022-10-26 2023-02-03 四川中绳矩阵技术发展有限公司 一种图像显示装置、方法、设备及介质

Also Published As

Publication number Publication date
TWI530157B (zh) 2016-04-11
TW201501510A (zh) 2015-01-01
US9485493B2 (en) 2016-11-01
US20140368495A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
CN104243961A (zh) 多视角影像的显示系统及方法
CN111698390B (zh) 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
CN110276840B (zh) 多虚拟角色的控制方法、装置、设备及存储介质
US8990842B2 (en) Presenting content and augmenting a broadcast
JP7457806B2 (ja) レンズ分割の実現方法、装置および関連製品
CN109729372B (zh) 直播间切换方法、装置、终端、服务器及存储介质
CN110636353A (zh) 一种显示设备
CN104219584A (zh) 基于增强现实的全景视频交互方法和系统
US20150172634A1 (en) Dynamic POV Composite 3D Video System
CN103703772A (zh) 内容播放方法和装置
JP2019054488A (ja) 提供装置および提供方法、プログラム
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
US20170150212A1 (en) Method and electronic device for adjusting video
CN102111672A (zh) 一种在数字电视上浏览全景图像的方法、系统及终端
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
Zerman et al. User behaviour analysis of volumetric video in augmented reality
CN110174950B (zh) 一种基于传送门的场景切换方法
CN111277904B (zh) 一种视频的播放控制方法、装置及计算设备
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
CN116761009A (zh) 元宇宙全景直播场景下的视频播放方法、装置及直播系统
WO2023130815A1 (zh) 场景画面的显示方法、装置、终端及存储介质
CN115442658B (zh) 直播方法、装置、存储介质、电子设备及产品
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
JP6658799B2 (ja) 端末装置及びプログラム
Kuchelmeister et al. Immersive mixed media augmented reality applications and technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141224

WD01 Invention patent application deemed withdrawn after publication