CN104185004A - 影像处理方法及影像处理系统 - Google Patents

Abstract

本发明揭示一种影像处理方法及影像处理系统。该影像处理方法包括撷取具有第一分辨率的第一影像与具有第二分辨率的第二影像，第一影像与第二影像对应于同一场景；将第一影像调变为具有第二分辨率的第三影像；分析第二影像与第三影像以决定介于第二影像与第三影像之间的影像偏移；复制第一影像以产生复制的第一影像；将影像偏移施加于复制的第一影像；以及提供第一影像与复制的第一影像以显示立体影像于显示单元。

Description

影像处理方法及影像处理系统

技术领域

本发明涉及一种影像处理方法与一种影像处理系统，该影像处理方法与影像处理系统用以根据具有不同分辨率的原始影像以产生立体影像。所产生的立体影像的视差（disparity）是由向下调变（scale）后具有较低分辨率的影像决定。随后则根据该已决定的视差，处理具有较高分辨率的原始影像，进而产生具有高分辨率的立体影像。

背景技术

一般而言，立体显示是这样实现的：同时显示两个影像，两个影像对应于同一场景，且两个影像之间具有固定的视差（disparities），其中右眼影像是给右眼观看，而左眼影像是给左眼观看。为了产生立体特效，右眼影像应该只能被右眼观看，而左眼影像应该只能被左眼观看。一个普通的立体显示装置包括一副立体眼镜，好让观众于观看时配戴以看见立体影像。立体眼镜的右镜片被设计成可以过滤掉左眼影像，所以观众的右眼就无法看见左眼影像，同理，观众的左眼也看不见右眼影像。在另一种常见的先前系统中，立体影像的显示幕可提供视觉壁垒（barrier），该视觉壁垒可以把右眼影像与左眼影像的视角分开，因此观众就不需要戴上立体眼镜。然而，此实现方式需要把由摄影机摄录取得的原始影像（source image）分开，以分别给左眼与右眼观看。立体影像的撷取和录摄，传统上都是利用双镜头摄影机（dual lenscamera），其中右镜头模块负责录摄与撷取右眼影像，而左镜头模块负责录摄与撷取左眼影像。左镜头模块与右镜头模块经常以一段固定的距离分开装设，因此，左眼影像与右眼影像就可以对应于相同的场景，但两者之间又具有固定的视差。然而，随着系统可支持的最高分辨率日渐提高，摄影机镜头模块的成本也随之越来越昂贵。为了制造出可撷取及产生高分辨率立体影像的影像撷取装置，会使硬件成本再度提高。因此，本领域实需一解决方案，以助于在可控制成本的目的下，产生高分辨率的立体影像。

发明内容

本发明的一实施例提供一种产生立体影像的影像处理方法，包括撷取具有第一分辨率的第一影像与具有第二分辨率的第二影像，第一影像与第二影像对应于同一场景；将第一影像调变为具有第二分辨率的第三影像；分析第二影像与第三影像以决定介于第二影像与第三影像之间的影像偏移；复制第一影像以产生复制的第一影像；将影像偏移施加于复制的第一影像；以及提供第一影像与复制的第一影像以显示于立体显示单元。其中，第一分辨率高于第二分辨率。

本发明的另一实施例提供一种用以处理立体影像的影像系统，包含第一感应器、第二感应器、影像处理单元、及显示单元。第一感应器用以撷取至少一具有第一分辨率的第一影像。第二感应器用以撷取至少一具有第二分辨率的第二影像，第二分辨率低于第一分辨率。影像处理单元用以将第一影像调变为具有第二分辨率，决定介于已调变的第一影像与第二影像之间的影像偏移，及复制第一影像以产生复制的第一影像并施加影像偏移于复制的第一影像。显示单元用以同时以立体形式显示第一影像与复制的第一影像。

附图说明

图1是本发明的一实施例的影像处理系统的示意图。

图2是本发明的一实施例中用以产生立体影像的影像处理方法流程图。

图3是本发明的另一实施例中用以产生立体影像的影像处理方法流程图。

附图符号说明

110    第一影像感应器

120    第二影像感应器

130    影像处理单元

140    调变模块

150    立体影像分析模块

160    立体影像产生模块

170    显示单元

T11    第一影像

T12                   第二影像

T13                   第三影像

T11’                 复制的第一影像

OFSI                  影像偏移

202、204、206、208、  步骤210、212、302、304、306、308

具体实施方式

为了以更低的软硬件资源实现高分辨率的立体影像显示，本发明揭示了一种影像处理系统，与一种使用该系统的影像处理方法。该影像处理系统可以根据具有不同分辨率的原始影像，据以显示立体影像。本发明藉由对于较低分辨率的影像实施影像分析，以及将分析结果进一步施加于较高分辨率的影像，可实现有效的立体影像处理方法及系统，并降低硬件成本。

请参考图1。图1是本发明的一实施例中影像处理系统100的示意图。如图1所示，影像处理系统100包括了第一影像感应器110、第二影像感应器120、影像处理单元130以及显示单元170。影像处理单元130则包括了调变模块140、立体影像分析模块150及立体影像产生模块160。

第一影像感应器110与第二影像感应器120用以撷取(capture)用来产生右眼影像与左眼影像的原始影像（source image），右眼影像与左眼影像则分别显示在显示单元170上。第一影像感应器110用以撷取具有第一分辨率的第一影像T11，而第二影像感应器120用以撷取具有第二分辨率的第二影像T12。根据本发明的实施例，第一分辨率相异于第二分辨率。但是，第一影像感应器110与第二影像感应器120所撷取的影像仍然具有相同的帧速率（frame rate）。为了便于解说，于此处的实施例中，第一分辨率被假定为高于第二分辨率。

调变模块140用以重新调变（rescale）第一影像T11与第二影像T12的分辨率和/或影像尺寸。如上所述，为了显示立体影像，必须要有两个影像，也就是左眼影像与右眼影像，且左眼影像与右眼影像之间要有适当的视差。由于分别由第一影像感应器110与第二影像感应器120撷取得到的原始影像（即第一影像T11与第二影像T12）具有不同的分辨率，两个原始影像必须被重新调变为相同的分辨率，以分析两个调变后的影像之间的视差。之后，该视差会被施加于具有较高的分辨率、且分辨率彼此相等的另两个影像，较高的分辨率是于左影线与右眼影像显示时所使用。调变模块140可以向下调变（down scale）第一影像T11以产生第三影像T13，第三影像T13的分辨率同于第二影像T12，也就是第二分辨率。根据本发明另一实施例，调变模块140亦可向下调变第一影像T11与第二影像T12以产生具有第三分辨率的两个影像，其中第三分辨率可能低于第二分辨率。也就是说，第一影像T11与第二影像T12被以不同的比例（ratio）向下调变。调变后具有第三分辨率的两个影像被传送到立体影像分析模块150做进一步的处理。

立体影像分析模块150用以对两个影像进行特征分析（feature analysis）以决定两个影像之间的影像偏移（image offset）OFSI。在图1的实施例中，立体影像分析模块150分析了具有第二分辨率的第二影像T12与第三影像T13。根据本发明的实施例，立体影像分析模块150对于第二影像T12与第三影像T13进行了特征萃取（feature extraction）和/或特征比对（featuremapping）以决定相对应的特征。影像偏移OFSI可藉由计算相对应的多个特征其彼此之间的差异而取得。此外，影像偏移OFSI可由位置偏移、深度偏移、及颜色偏移等项目中的至少一项所组成。立体影像分析模块150产生的分析结果（如影像偏移OFSI）会被传送到立体影像产生模块160。立体影像产生模块160接收了具有较高分辨率的原始影像（也就是来自本实施例的第一影像感应器撷取的第一影像T11）后，根据影像偏移OFSI产生了两个输出影像以供显示单元170的左视角（left view）与右视角（right view）所用。立体影像产生模块160复制了第一影像T11并将影像偏移OFSI施加于复制的第一影像T11’。举例来说，若第一影像感应器110被设计为用以提供右眼影像，且第二影像感应器120被设计为用以提供左眼影像，则第一影像T11被提供给显示单元170以作为右眼影像，且复制的第一影像T11’被输出到显示单元170以作为左眼影像。如此一来，即使其中一个影像感应器只能提供低分辨率的原始影像，高分辨率的立体影像仍然可以被提供与显示给观众观赏。

立体影像产生模块160可根据影像偏移调整复制的第一影像T11’的像素位置，和/或调整像素的深度与颜色，以使复制的第一影像T11’可对应地成为第二影像T12的向上调变（up-scaled）版本。也就是说，第三影像T13与第二影像T12之间的视差可被反应于第一影像T11与复制的第一影像T11’之间。在本发明另一实施例中，第一影像T11可被调变为另一较低的分辨率，此较低的分辨率低于第一分辨率但高于第二分辨率。同样地，调变后的第一影像被复制后，又被施加影像偏移以产生两个彼此之间具有理想的视差的影像。在另一情况中，影像偏移亦可根据第一影像与调变后的第一影像之间的比例，再被进一步地予以调变。分析具有较低分辨率的影像的好处在于可降低计算机计算的复杂度，因此效能可随之提高，也可以节省高分辨率影像感应器所带来的硬件成本。

请参考图2。图2是根据本发明的一实施例用以产生立体影像的影像处理方法流程图。此影像处理方法可采用图1所示的影像系统予以实现。图1的影像系统可被装设于移动电子装置中，例如移动电话、平板计算机、数字相机、数字手提摄影机、多媒体装置、游戏主机和/或其他可支持显示或产生立体影像的装置。在此处的实施例中，可藉由分辨率彼此相异的多个原始影像据以产生高分辨率的立体影像。立体视差（3D disparity）则可根据具有较低分辨率的原始影像决定，然后再藉由具有较高分辨率的原始影像得到具有较高分辨率的立体影像。如图2所示，该影像处理方法包括以下步骤：

步骤202：撷取具有第一分辨率的第一影像与具有第二分辨率的第二影像。在立体影像模式中，第一影像只对应到一场景的右视角，且第二影像只对应到同一场景的左视角。为了产生该场景的立体效果，第一影像感应器与第二影像感应器是以相同的帧速率，同步地撷取第一影像与第二影像。为了撷取影像的立体感，第一影像感应器与第二影像感应器被分开放置，并相距一段等同于人类双眼的间距的预定距离。此段预定距离可使影像感应器撷取的影像之间具有一视差。在图2的实施例中，假设第一分辨率高于第二分辨率。

步骤204：将第一影像调变为具有第二分辨率的第三影像。为了产生具高分辨率的立体影像，需先决定立体视差。因此，具有高分辨率的第一影像被向下调变为具有低分辨率。借着分析具有较低分辨率的第二影像与第三影像，计算机运算的效率也可随之提升。

步骤206：分析第三影像与第二影像以决定第三影像与第二影像之间的影像偏移。为了决定两影像间的相异处，在第二影像与（根据第一影像产生的）第三影像之间，实行特征萃取和/或特征比对。相对应的特征的像素值（pixel values）可被比较与分析以得到影像偏移。影像偏移可以是位置偏移、深度偏移、颜色偏移和/或其他形式的偏移，其可呈现出左视角与右视角之间在立体模式（3D mode）下的视差。

步骤208：复制第一影像以产生复制的第一影像。为了造出高分辨率的立体显示效果，具有高分辨率的第一影像被复制与处理，以产生出一亦可相应于低分辨率原始影像的高分辨率视觉效果（high resolution view）。

步骤210：将影像偏移施加于复制的第一影像。影像偏移可以采取下列方式施加：调整复制的第一影像的像素值以产生第二影像的放大版本。请注意，亦可在施加于复制的第一影像之前，将影像偏移依比例调变。该比例可例如是第一分辨率与第二分辨率之间的比例。由于影像偏移是分析具有第二分辨率的第二影像和第三影像所决定的，故影像偏移还需要被向上调变，才能反应在第一分辨率中相对应的偏移。

步骤212：提供第一影像与复制的第一影像以于立体影像显示单元上显示。如上所述，第一影像与第二影像对应于立体模式中的不同视角。举例而言，若第一影像对应于右视角，则复制的第一影像对应于左视角。第一影像与复制的第一影像可被同时显示，以带给观众立体特效。请注意，根据本发明的实施例，第一影像与复制的第一影像可能会被交织（interleaved）显示或隔行扫描（interlaced）显示以形成一全立体显示影像。

请参考图3。图3是本发明另一实施例中用以产生立体影像的影像处理方法流程图。如图3所示，用以产生立体影像的影像处理方法包括以下步骤：

步骤302：接收对应于立体影像显示单元的右视角与左视角的原始影像，该些原始影像具有不同的分辨率。举例来说，对应到右视角的原始影像的分辨率高于对应到左视角的原始影像的分辨率。这些原始影像是由支持不同分辨率的不同影像感应器所分别撷取而得。

步骤304：对于第一分辨率的原始影像进行影像分析以决定影像视差的信息。该些原始影像皆先被调变为相同的分辨率，此相同的分辨率其值等于具有较低分辨率的原始影像的分辨率，或甚至更低。进行特征萃取和/或特征比对以决定原始影像之间的影像视差。影像视差可以是位置偏移、深度偏移、颜色偏移和/或其他种类的视觉偏移。

步骤306：根据第二分辨率中的影像视差的信息，产生对应于右视角与左视角的输出影像。第二分辨率高于第一分辨率。根据第一分辨率与第二分辨率之间的比例，调变影像偏移，并将影像偏移施加至具有较高分辨率的原始影像。延续上述的举例，影像偏移会被施加于对应到右视角的原始影像，以产生对应于左视角的输出影像。在本发明的另一实施例中，输出影像（output image）甚至可具有比原始影像更高的分辨率，其作法为在施加影像偏移于原始影像之前，先行对原始影像进行内插修正（interpolating）以提高原始影像的清晰度。

步骤308：于立体影像显示单元上将输出影像以立体显示。具有第二分辨率的输出影像被传送到立体影像显示单元，并显示于立体影像显示单元。输出影像可能会被交织（interleaved）显示或隔行扫描（interlaced）显示，以形成全立体影像（full 3D image）。根据此实施例，对应于右视角的原始影像与对应于左视角的调整后的原始影像为输出影像。

请注意，于本发明实施例中的影像处理方法可被用于立体效果的相机拍摄、影片录影和/或影像显示。为了实现此影像处理方法，可采用适当的软件、硬件与固件的组合，例如可采用执行相关软件运算或具有特定电路的应用处理器和/或影像处理器。根据上述的诸种限制，将图2与图3中的步骤，经过合理的重新组合或重新排序所产生的实施例，也应被视为本发明的实施例。

以上所述仅为本发明的较佳实施例，凡依本发明的权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (15)

1.一种影像处理方法，包括：

撷取具有一第一分辨率的一第一影像与具有一第二分辨率的一第二影像，该第一影像与该第二影像对应于同一场景；

将该第一影像调变为具有该第二分辨率的一第三影像；

分析该第二影像与该第三影像以决定介于该第二影像与该第三影像之间的一影像偏移；

复制该第一影像以产生一复制的第一影像；

将该影像偏移施加于该复制的第一影像；以及

提供该第一影像与该复制的第一影像以显示于一立体显示单元；

其中该第一分辨率高于该第二分辨率。

2.如权利要求1所述的影像处理方法，其中该第一影像对应于该立体显示单元的一左视角及一右视角中的一视角，且该第二影像与该复制的第一影像对应于该立体显示单元的该左视角及该右视角中的另一视角。

3.如权利要求1所述的影像处理方法，其中该影像偏移包含：

位置偏移，深度偏移，和/或颜色偏移。

4.如权利要求1所述的影像处理方法，其中将该影像偏移施加于该复制的第一影像包含藉由该影像偏移调整该复制的第一影像的像素值。

5.如权利要求1所述的影像处理方法，其中分析该第二影像与该第三影像藉由特征萃取和/或特征比对实行。

6.如权利要求1所述的影像处理方法，其中撷取该第一影像藉由一第一影像感应器实行，撷取该第二影像藉由一第二影像感应器实行，且其中该第一影像感应器与该第二影像感应器被分开放置并相距一段预定距离。

7.如权利要求6所述的影像处理方法，其中撷取该第一影像与该第二影像分别藉由该第一影像感应器与该第二影像感应器同时实行。

8.一种影像处理系统，包含：

一第一感应器，用以撷取至少一具有一第一分辨率的第一影像；

一第二感应器，用以撷取至少一具有一第二分辨率的第二影像，该第二分辨率低于该第一分辨率；

一影像处理单元，用以：

将该第一影像调变为具有该第二分辨率；

决定介于该已调变的第一影像与该第二影像之间的一影像偏移；及

复制该第一影像以产生一复制的第一影像并施加该影像偏移于该复制的第一影像；以及

一显示单元，用以同时以立体形式显示该第一影像与该复制的第一影像。

9.如权利要求8所述的影像处理系统，其中该影像处理单元还包含：

一调变模块，用以将该第一影像向下调变为具有该第二分辨率；

一立体影像分析模块，用以决定该第二影像与该已调变的第一影像的影像特征，及根据该影像特征决定该影像偏移；及

一立体影像产生模块，用以复制该第一影像以产生该复制的第一影像，且施加该影像偏移于该复制的第一影像。

10.如权利要求9所述的影像处理系统，其中该立体影像分析模块实行特征萃取和/或特征比对以决定该影像特征。

11.如权利要求10所述的影像处理系统，其中该影像偏移包含位置偏移、深度偏移、和/或颜色偏移。

12.如权利要求9所述的影像处理系统，其中该立体影像产生模块根据该影像偏移调整该复制的第一影像的像素值。

13.如权利要求8所述的影像系统，其中该第一影像感应器与该第二影像感应器是以用相同的帧速率同时撷取该第一影像与该第二影像，且该第一影像感应器与该第二影像感应器被分开放置并相距一段预定距离。

14.如权利要求8所述的影像系统，其中该第一影像对应于该显示单元的一左视角与一右视角中的一视角，且该第二影像与该复制的第一影像对应于该显示单元的该左视角与该右视角中的另一视角。

15.如权利要求8所述的影像系统，其中该影像系统被安装于一便携式电子装置中。