CN109782452A - 立体影像产生方法、成像方法与系统 - Google Patents

Abstract

一种立体影像产生方法、成像方法与系统，在方法中，系统接收一立体影像信息，接着根据此立体影像信息建立反映一立体影像的参考影像，经取得与显示设备中多光学组件有关的物理信息后，可以演算对应各光学组件的一单元影像，对应多光学组件的多个单元影像将可用以形成提供显示的一集成影像，此集成影像能通过多光学组件显示立体影像。在一实施例中，光学组件为一透镜组，在呈现立体影像时，集成影像会先输入至显示驱动单元，并形成对应每个透镜组的单元影像，之后经驱动显示设备而显示集成影像，以通过一透镜矩阵显示立体影像。

Description

立体影像产生方法、成像方法与系统

技术领域

说明书公开一种影像产生与成像的方法与系统，特别是一种形成对应每个光学组件的单元影像而通过多光学组件显示立体影像的方法与系统。

背景技术

现有技术显示立体影像的方法，多数是应用了双眼看到同一个物体会产生视差的原理，因此设计出让双眼能够分别看到具有差异的两个影像的立体图案，或是循序播放两种不同影像的动态影像，常见是通过特殊眼镜观看，如红蓝眼镜、偏光眼镜或快门眼镜，如此因为双眼视差而在脑中融合成具有深度的立体视觉效果。

另有方法是提供一种立体显示设备，通过显示设备中的光学组件，在不用特殊眼镜的情况下，可使得观赏者能够在特定的观看角度让双眼分别接收到具有影像差异的影像，也能产生具有深度的立体视觉效果。

发明内容

说明书公开一种立体影像产生方法，以及相关成像方法与系统，此立体影像产生方法以一新的立体显示技术呈现一个距离显示平面一距离上的立体影像，提供使用者一个新的立体影像的观赏经验。

优选地，在立体影像产生方法中，系统先接收一立体影像信息，立体影像信息包括立体影像的色彩信息以及三维空间信息，实施例如一平面影像数据与深度图，或是一组描述立体影像的坐标值与色度值，这些信息将用以建立一立体影像，立体影像记载显示立体影像的信息，可以参考影像反映空间相对关系，在此步骤中，所述空间相对关系是要反映出立体影像，参考影像可为使用者设定最后要显示出来的立体影像所产生的影像，用来显示立体影像的显示设备则是具有多光学组件与显示面板的装置。如此，参考影像在系统取得与显示设备中多光学组件有关的物理信息之后，可以演算出对应各光学组件的单元影像，而对应多光学组件的多个单元影像形成提供显示设备显示的一集成影像，集成影像最后将显示于显示面板上，并通过多光学组件显示出立体影像。

进一步地，所述多光学组件有关的物理信息至少包括投射立体影像的空间位置与各光学组件之间的空间关系，以及各光学组件与显示设备中一显示面板的空间关系。这个物理信息将影响到如何演算出每个单位影像，另更参考一观看位置来调整参考影像，同样配合与多光学组件有关的物理信息，而演算单元影像。

优选地，根据再一实施例，提出一种成像方法，先取得前述方法产生的集成影像，输入至一显示驱动单元，形成对应显示设备中多光学组件的多个单元影像，显示驱动单元将驱动显示设备显示集成影像，使得多个单元影像经多光学组件投射，显示一立体影像。

进一步地，在一实施例中，当连续输出多张集成影像，经多光学组件投射后可显示一动态立体影像。

根据说明书实施例所公开的立体影像产生系统，系统包括一多光学组件模块，用以呈现立体影像；包括一显示单元，用以显示集成影像，能通过多光学组件模块呈现立体影像；包括一显示驱动单元，用以驱动显示单元显示集成影像；以及包括一图像处理单元，用以执行立体影像产生方法。

图像处理单元通过一输入接口单元接收立体影像信息，根据立体影像信息建立空间相对关系，根据与多光学组件模块有关的物理信息演算对应各光学组件的一单元影像，这些对应多光学组件的多个单元影像形成集成影像，集成影像通过多光学组件模块呈现出立体影像。

附图说明

图1显示立体影像产生系统中显示设备实施例示意图之一；

图2显示立体影像产生系统中显示设备实施例示意图之二；

图3显示立体影像产生系统的电路实施例方框图；

图4显示立体影像产生方法的实施例流程图之一；

图5显示立体影像产生方法的实施例流程图之二；

图6显示立体影像产生方法的实施例流程图之三；

图7显示立体影像成像方法中形成可视范围的实施例示意图之一；

图8显示立体影像成像方法中形成可视范围的实施例示意图之二；

图9显示立体影像成像方法中形成可视范围的实施例示意图之三；

图10显示立体影像产生方法的实施例流程图之四。

具体实施方式

说明书公开的实施例关于一种立体影像产生方法、成像方法与系统，所公开的立体影像产生方法适用于一设有多光学组件的显示设备用于显示立体影像的用途上，显示设备的实施例可参考图1所示的实施例示意图。

此图显示为立体影像产生系统中的显示设备结构示意图，其中显示面板1可为具有背光模块(未显示于此图中)的液晶显示面板(LCD)，亦不排除其他具有背光模块的显示器形式，或是可为具有自发光特性的有机发光二极管(OLED)。显示面板1显示的显示影像11为立体影像产生方法所产生的一种集成影像(integral image)，集成影像由多个单元影像组成，单元影像即为对应图中所示实施例所示由多个透镜组组成的多光学组件模块2的各个透镜组的影像，其中显示影像11上的每个单元影像可为一对一、一对多、多对一等方式对应到每个透镜组位置的影像。

在多光学组件模块2中，设有基部21与透镜部22，透镜部22上的各个光学组件可为一透镜组，透镜组可由一或多个凸透镜与凹透镜组成，多光学组件形成一透镜矩阵。系统即通过多光学组件模块2呈现出立体影像，然而，在此技术概念下，观看位置5所在位置与相对于显示设备的角度将影响到所述集成影像与单元影像的形成。图中显示设备的图像处理单元12除了执行一般图像处理程序外，即执行所述的立体影像产生方法，可以根据观看位置5的观看位置、立体影像显示的位置，以及多光学组件模块2中各透镜组的物理特性，以及各组件彼此之间的空间关系调整参考影像、演算单元影像，以及形成集成影像。根据立体影像产生系统实施例，若使用者改变了观看位置5，可以适应性地提供使用者在其观看位置5适当的观看内容。

图中所示的显示设备可以为手机、平板、计算机等具有平面屏幕的电子装置，显示面板1设于下层，其负责显示尚未经过光线重现的平面图像，主要为显示集成影像的显示组件；多光学组件模块2设于较上层，具有调控光场的技术效果，可以调控立体影像的光线角度，让原本尚未重组的平面影像进行重新分配和组合。在此实施例中，集成影像通过多光学组件模块2实现光线重新分配和组合，进而显示重组的立体影像。

多光学组件模块2实施例可为多个透镜组组成的透镜矩阵，组成透镜部22，其物理特性如材质与透镜曲率造成的折射率与穿透性，加上透镜矩阵的透镜组数量与排列方式，配合显示面板1的设置，能决定立体影像的高度、可视角度范围及清晰度等三维影像内容。

各透镜组可如单一透镜(single lens)、透镜数组(lens array)、双凸透镜(lenticular lens)、菲涅耳透镜(Fresnel lens)，成像时可以配合针孔(pin hole)、针孔数组(pin hole array)、光障壁(barrier)，以及特定点光源(point light source)。其中显示设备或可以一种显示器数组的形式将影像显示出来，经透镜映像在默认位置上。

图2以另一示意图描述立体影像产生系统中显示设备实施例。根据立体影像产生方法的实施例，由显示面板1显示由单元影像组成的集成影像，经由多光学组件模块2重现立体影像。

如图显示的实施例，同样见于图1，使用者从其观看位置5看到「3D」的浮空立体影像，而此立体影像是由显示面板1显示出显示影像11，这是一个由多个单元影像形成的集成影像，每个单元影像是对应到一个多光学组件模块2中的单一光学组件，也就是一个透镜组。

由于透镜部22上的每个透镜组设于不同的位置，当多光学组件模块2欲投射出一个浮空的立体影像时，而且是在某个观看位置5要看到的立体影像，显然每个位置的透镜组所投射出去的影像要投向设定好的空间位置上，因此每个位置的透镜组应要投射不一样的影像，也就涉及对应每个光学组件的单元影像彼此将具有一个差异。

举例来说，要投射一个浮空立体影像时，位于投射的立体影像左方的光学组件应该要投射出偏重立体影像左方的某个投射角度的单元影像；位于立体影像右方的光学组件应要投射较偏重立体影像右方的某个投射角度的单元影像；位于立体影像下方的光学组件应要投射较偏重立体影像下方而向上投射的单元影像。更者，所述浮空立体影像表示与显示平面相距一个距离，显示效果如同浮在空中一般，但另有实施例，并不排除有下沉在显示平面中的效果。

以上实施例所描述的立体影像产生系统可以电路系统实现，实施例可参考图3所示立体影像产生系统的电路方框图。

立体影像产生系统可以硬件并搭配软件实现的立体影像产生方法所实现，其中硬件的部分如一个显示设备，如图中显示相互电性连接的电路单元，主要组件包括一多光学组件模块301，由多个单一光学组件组成，用以呈现一立体影像，可如以上实施例所述，每个光学组件为一透镜组，透镜组则可由一或多个凸透镜与凹透镜组成，此多光学组件即形成一透镜矩阵。系统包括一显示单元303，包括一个显示面板，用以显示一集成影像，集成影像可通过多光学组件模块301投射后，可呈现出立体影像。

系统包括一显示驱动单元305，此可为显示面板的驱动电路，能够产生影像控制信号，以驱动显示单元303显示集成影像。系统包括一图像处理单元307，实施例可为一种图像处理集成电路，如一种数字信号处理器或是特定软件实现的模块，用以执行一立体影像产生方法，连接有一单元311，存储单元311如系统的内存，用以暂存影像数据、系统运行指令以及演算指令，能够提供运算用的指令集与相关影像数据，可作为缓冲器，用以暂存系统运行时产生的文件。

系统设有输入接口单元309，用以连接外部立体影像来源30，当图像处理单元307运行立体影像产生方法时，先通过输入接口单元309接收一立体影像信息。所述立体影像来源30可以为通过特定软硬件所绘制完成的立体图资，其中记载立体影像的立体坐标、色度等信息，可包括立体影像的色彩信息以及三维空间信息，另有实施例可为二维平面影像以及一张深度图(depth map)。

接着根据立体影像信息建立一空间相对关系，实际上可以一参考影像反映此空间相对关系，而此参考影像可以反映出最后显示的立体影像，此参考影像为使用者设定完成，用以设定欲呈现得到的立体影像，接着，系统根据与多光学组件模块301有关的物理信息演算对应各光学组件的单元影像，并对应多光学组件的多个单元影像形成提供显示单元303显示的集成影像，集成影像经显示驱动单元305驱动显示后，通过多光学组件模块301呈现立体影像。

所述与多光学组件模块有关的物理信息主要涉及各光学组件的物理特性，还至少包括一投射立体影像的空间位置与各光学组件之间的空间关系，例如立体影像距离每个光学组件(如透镜组)的距离与相对角度；以及各光学组件与显示单元303中一显示面板的空间关系，例如各光学组件与显示面板的间距。

以上所述的空间关系，可将系统置于同一空间坐标是中，以立体影像的空间坐标与各光学组件的相对坐标计算得出立体影像距离每个光学组件的距离与相对角度，各光学组件之间的相对位置也因此可以得出，各光学组件与显示面板之间距也能得到。空间关系亦可能包括多光学组件模块上的每一个光学组件的相对位置，以及相对显示面板的距离和像素大小的搭配。之后，可根据所述的各种空间关系在立体影像产生方法中输入要显示的立体影像信息，包括根据使用者观看位置设定立体影像显示的斜向角度，再经过光线追迹(ray tracing)，而后形成单元影像，并产生在显示面板上显示的尚未重建的集成影像。

图4接着显示立体影像产生方法的实施例流程图的一个，在实现相同结果的前提下，以下步骤顺序的简单置换并不会影响发明的实施方式。

在此实施例流程中，开始如步骤S401，系统自外部影像源接收立体影像信息，所接收的立体影像信息包括立体影像的色彩信息以及三维空间信息，实施例如一平面影像数据与一深度图，或是一组描述立体影像的坐标值与一色度值。其中平面影像的信息可以包括像素坐标(x,y)与色度值(chromatic value)，深度图记载了平面影像中每个像素的深度值(z值)，使得重现影像时描述立体影像的坐标值(x,y,z)，并加上色度值，以正确显示出影像中每个部分的正确空间位置与颜色，产生立体影像。

之后如步骤S403，系统根据接收的立体影像信息，以及使用者所设定的需求，如观看位置、立体影像投射位置，或由系统自动检测使用者观看位置，如检测使用者眼球，如此建立参考影像(reference image)。参考影像用以反映出显示影像的立体坐标值、色度值。根据实施例的一个，输入的原始立体影像经一坐标转换成为参考影像，其中将根据一坐标转换算法演算出一组转换参数。

接着，如步骤S405，系统取得与多光学组件有关的物理信息，包括光学组件(如透镜组)尺寸与特性，包括单一透镜组、多透镜矩阵的设置坐标、尺寸、曲率等，以及光学组件投射的空间位置、各光学组件与显示单元/面板的空间关系、投射位置与各光学组件之间的空间关系等。之后，如步骤S407，系统将根据原始立体影像信息与参考影像之间建立一坐标转换函式，算法可根据硬件的特性，如各光学组件各透镜的物理信息，加上坐标转换函式，将参考影像演算为对应各光学组件(如各透镜)的单元影像(elemental image)。

再如步骤S409，根据多个单元影像产生一集成影像(integral image)，集成影像为提供给系统中显示设备中显示单元(如显示面板、背光模块等)显示的影像，集成影像包括有多个单元影像，每个单元图像映射了每个光学组件。使得最终集成影像通过多光学组件显示立体影像，这个立体影像也是符合以上使用者设定或是系统自动判断的参考影像。

在此一提的是，在产生参考影像时，将涉及对应每个光学组件(包括一对一、一对多或多对一的方式)显示面板位置，在一般情况不一定要参考使用者观看位置。但是，在一实施例中，由于使用者可能以斜向观看立体影像，因此所计算的各单元影像将产生变化，并可考虑光线传出并通过多光学组件时重新汇聚成立体影像，甚至是浮空或下沉于显示设备以上、以下或前后的立体影像的各种物理信息，算法上再配合不同角度的显示设置参考影像，导致最后产生的单位影像与集成影像也有差异。

接着，如图5所示的立体影像产生方法的实施例流程图，成像于显示设备上，立体影像与显示设备的相对位置并非限制，其中发明概念还可以应用在两组(或以上)显示设备显示同一个或多个立体影像的实施方式。

当如前述实施例，系统产生反映出定最终成像的立体影像在空间上的位置与色度值的参考影像，以及演算出单元影像，并结合形成集成影像，如步骤S501，输入集成影像至系统中的显示驱动单元，这是一个驱动显示单元显示画面的驱动电路，驱动显示单元显示画面，集成影像将显示出来，通过多光学组件模块，如步骤S503，分别在各光学组件上投射出对应的单元影像，最后，如步骤S505，在多光学组件模块上的某个空间位置投射出立体影像。

在此成像的过程中，立体影像可以显示于显示设备中多光学组件形成的一显示平面之上、之下，或前后方，可参考图1与图2所示的示意图。实施例可参考图10所示的流程，若立体影像信息关于一动态立体影像，即建立连续多张反映空间相对关系的参考影像(步骤S101)，输出多张集成影像，以及最后通过多光学组件显示一动态立体影像(步骤S103)。

根据图6所示立体影像产生方法的实施例流程图，当完成前述集成影像，或是完成立体影像投影时，此方法提供使用者设定观看位置，如步骤S601，系统也可以自动方式检测使用者观看位置，进而设定系统的观看位置，再如步骤S603，根据调整的位置，系统可以调整参考影像，使得观看者的角度可以看到正确的立体影像，或是看到特定立体影像的角度。

接着，如步骤S605，系统再由参考影像，如上述实施例，根据系统各光学组件、显示设备的物理信息，演算产生单元影像，对应到光学组件的单元影像形成集成影像，如步骤S607，让显示设备可以显示集成影像，以及正确地根据调整的观看位置头射出适当的立体影像。

值得一提的是，如图1、图2显示硬件装置上的透镜矩阵，当投射某个立体影像时，特别是在具有某个角度偏向的立体影像，系统可以主动排除会产生偏差影像(deviationimage)的对应单元影像，偏差影像可以根据参考影像判断，或可预先设定排除，或是事后比对投射影像后排除，排除偏差影像的方式包括修正、取舍、删除等手段，才形成集成影像。例如边缘的单元影像，可能在经过透镜投射时，产生了会产生偏差的影像，此类单元影像可以被排除。

相关实施例如图7所示示意图，在影像成像时，影像可具有一可视范围。

如此图所示，观看位置5位于显示设备(显示面板1、多光学组件模块2)的正上方，也就是做为投射立体影像「3D」的参考，形成此立体影像时，较偏重显示面板1所显示的显示影像11的中央部分单元影像，因此系统可以根据观看位置5判断会产生偏差影像的部分，如周围，即可修正或删除相关的单元影像。

再如图8所示立体影像成像方法中形成另一可视范围的实施例示意图，此图表示观看位置5可以位于相对于显示设备的一个斜角位置，由于斜向观赏，因此所计算的单元影像将有些微不同。如图所示，但由于观赏角度不同，因此算法上配合不同角度的显示设置，使得产生对应于光学组件的单元影像可能与要投射出去的光学组件之间有一位置偏差(offset)，当投射时，可以正确向系统设定好的可视范围投射。

图9显示立体影像成像方法中形成另一可视范围的实施例示意图，此图也显示一种斜向角度观赏的方式，在显示设备的两侧皆有观赏者(观看位置5,5’)，可以分别观看从对面而来的显示数据，此例可利用有指向性的背光源模块，且演算得出的单元影像与集成影像，都是考虑了观看位置5,5’以及光学组件的物体特性演算得出，可以提供给两侧位于观看位置5,5’的观赏者同一立体影像的正面和背面影像，从而达到多视角的立体影像。其中指向性的背光源是为了提供特定角度的光线，以避免过多的发散角度而产生影像干扰的情况。

说明书所公开的立体影像产生方法与成像方法的特点的一个是可以提供不同角度的观看位置的对应立体影像。为达到斜向观赏立体影像的目的，产生的单元影像不一会要正对所对应的光学组件，而是采用一个斜向角度的显示方式，将光路径汇聚到斜向的方向上，而让观赏者可以在斜向的方向上观赏立体影像。

是以，根据公开书所载实施例，所提出的立体影像产生方法中，通过立体影像信息建立空间相对关系，配合显示设备中多光学组件有关的物理信息演算单元影像以及形成集成影像，能够通过光学组件显示立体影像，可达到多角度观赏、特定角度观赏立体影像的效果。

以上所述仅为本发明的优选可行实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种立体影像产生方法，其特征在于所述的方法包括：

接收一立体影像信息；

根据该立体影像信息建立一空间相对关系；

取得与一显示设备中多光学组件有关的物理信息；

根据该空间相对关系以及该多光学组件有关的物理信息演算对应各光学组件的一单元影像；以及

对应该多光学组件的多个单元影像形成提供该显示设备显示的一集成影像，该集成影像通过该多光学组件显示一立体影像。

2.如权利要求1所述的立体影像产生方法，其特征在于所述的多光学组件有关的物理信息至少包括一投射该立体影像的空间位置与各光学组件之间的空间关系，以及各光学组件与该显示设备中一显示面板的空间关系。

3.如权利要求2所述的立体影像产生方法，其特征在于，于建立该空间相对关系时，还参考一观看位置，以调整该空间相对关系，并配合与该多光学组件有关的物理信息，而演算该单元影像。

4.如权利要求1所述的立体影像产生方法，其特征在于所述的光学组件为一透镜组，该透镜组由一或多个凸透镜与凹透镜组成，该多光学组件形成一透镜矩阵。

5.如权利要求1所述的立体影像产生方法，其特征在于，当该立体影像信息关于一动态立体影像，即建立连续多张反映该空间相对关系的参考影像，输出多张集成影像，以及通过该多光学组件显示一动态立体影像。

6.如权利要求1至5中任一权利要求所述的立体影像产生方法，其特征在于所接收的立体影像信息包括该立体影像的色彩信息以及三维空间信息。

7.一种成像方法，用以显示如权利要求1所述的立体影像产生方法所产生的该立体影像，其特征在于所述的成像方法包括：

输入该集成影像至该显示设备中的一显示驱动单元；以及

该显示驱动单元驱动一显示单元显示该集成影像，使得该集成影像中多个单元影像经该多光学组件对应投射出来，显示该立体影像。

8.如权利要求7所述的成像方法，其特征在于所述的立体影像显示于该显示设备的该多光学组件形成的一显示平面之上、之下，或前后方。

9.一种立体影像产生系统，其特征在于所述的系统包括：

一多光学组件模块，用以呈现一立体影像；

一显示单元，用以显示一集成影像，通过该多光学组件模块呈现该立体影像；

一显示驱动单元，用以驱动该显示单元显示该集成影像；以及

一图像处理单元，用以执行一立体影像产生方法，包括：

通过一输入接口单元接收一立体影像信息；

根据该立体影像信息建立一空间相对关系；

根据该空间相对关系以及该多光学组件模块有关的物理信息演算对应各光学组件的一单元影像；以及

对应该多光学组件的多个单元影像形成提供该显示单元显示的该集成影像，该集成影像通过该多光学组件模块呈现该立体影像。

10.如权利要求9所述的立体影像产生系统，其特征在于所述的多光学组件模块有关的物理信息至少包括一投射该立体影像的空间位置与各光学组件之间的空间关系，以及各光学组件与该显示单元中一显示面板的空间关系；其中该光学组件为一透镜组，该透镜组由一或多个凸透镜与凹透镜组成，该多光学组件形成一透镜矩阵。