CN107046624A - 影像缝合方法及影像处理装置 - Google Patents

Abstract

本发明涉及一种影像缝合方法，用于影像处理装置，该方法包括：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

Description

影像缝合方法及影像处理装置

技术领域

本发明有关于影像处理，特别是有关于影像缝合方法及其影像处理装置。

背景技术

随着科技发展，有许多装置可利用鱼眼镜头以撷取圆型环景影像，例如是空拍机、自拍棒、或是环景拍摄装置等等。在市面上的环景拍摄装置通常具有两个鱼眼镜头以分别撷取不同的圆型环景影像。然而在对不同的圆型环景影像进行影像缝合时，传统的影像缝合方法及相关程序往往仅能选择固定的缝合点，而且也无法对圆型环景影像的视角及影像效果任意调整，对使用者来说并不易操作。

因此，需要一种影像缝合方法及影像处理装置以解决上述问题。

发明内容

本发明要解决的技术问题在于，针对现有技术中的上述缺陷，提供影像缝合方法及影像处理装置，可将不同的鱼眼镜头所拍摄的圆型环景影像转换为二维影像，可对圆型环景影像的视角及影像效果任意调整。

本发明为解决其技术问题所采用的技术方案是，提供一种影像缝合方法，用于影像处理装置，该方法包括：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

本发明更提供一种影像处理装置，包括：存储器单元，用以储存影像缝合程序；以及处理器，用以执行该影像缝合程序，并执行下列步骤：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像，该缝合影像位于该第一影像及该第二影像之间。

实施本发明的影像缝合方法及其影像处理装置，其可将不同的鱼眼镜头所拍摄的圆型环景影像转换为二维影像，并对二维影像进行影像缝合以取得二维的全景影像。此外，本发明的影像处理装置所执行的影像缝合程序更提供了多种使用者接口，可让使用者选择影像缝合的不同影像效果，且使用者亦可利用手动的方式选择欲同步的圆型环景影像，藉以达到更好的影像缝合效果及更佳的使用者体验。

附图说明

图1是显示依据本发明一实施例中的影像处理装置的方块图。

图2是显示依据本发明一实施例中的影像处理装置的示意图。

图3是显示依据本发明一实施例中的影像处理装置的方块图。

图4A及4B是分别显示依据本发明一实施例中的第一音轨及第二音轨的示意图。

图4C及4D是分别显示依据本发明一实施例中调整时间后的第一音轨及第二音轨的示意图。

图4E及4F是分别显示依据本发明一实施例中调整时间后以同步第一音轨及第二音轨的示意图。

图5A是显示依据本发明一实施例中的第一圆型环景影像的示意图。

图5B是显示依据图5A的实施例中经过等量矩形投影所产生的第一影像的示意图。

图5C是显示依据本发明一实施例中的第二圆型环景影像的示意图。

图5D是显示依据图5C的实施例中经过等量矩形投影所产生的第二影像。

图5E是显示依据图5B及图5D缝合的缝合影像。

图6是显示未经颜色补偿前的第一影像及第二影像的示意图。

图7A、7B、7C是显示依据本发明一实施例中的影像缝合程序的使用者接口的示意图。

图7D及7E是显示在使用者接口进行左右转动的操作的示意图。

图7F及7G图是显示在使用者接口进行倾角调整的操作的示意图。

图7H、7I、7J是显示在图7B的使用者接口进行转动操作的示意图。

图7K及7L是显示在图7B的使用者接口以调整镜头距离的示意图。

图8A及8B是显示依据本发明一实施例中的影像缝合程序的使用者接口的示意图。

图9是显示依据本发明一实施例中的影像缝合方法的流程图。

图10A是显示依据本发明一实施例中的影像处理装置进行影像缝合的示意图。

图10B～10D是显示依据本发明一实施例中将第一圆型环景影像及第二圆型环景影像进行影像缝合的示意图。

图11A及11B是显示依据本发明一实施例中的以155度视角所拍摄的第一圆型环景影像及相应的二维影像的示意图。

图11C及11D是显示依据本发明一实施例中的以188度视角所拍摄的第三圆型环景影像及相应的二维影像的示意图。

图11E～11G是显示依据本发明图11A～11D的实施例以进行影像缝合的示意图。

图11H是表示在本发明图11E～11G的实施例中进行影像缝合的示意图。

图12A是显示依据本发明一实施例中的第一镜头以不同视角拍摄影像的示意图。

图12B是显示依据本发明一实施例中的第二镜头以不同视角拍摄影像的示意图。

图12C是显示依据本发明图12A中的第一镜头以不同视角拍摄影像的分割部分的示意图。

图12D是显示依据本发明图12B中的第二镜头以不同视角拍摄影像的分割部分的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合附图，作详细说明如下。

图1是显示依据本发明一实施例中的影像处理装置的方块图。影像处理装置100包括第一镜头110、第一麦克风111、第二镜头120、第二麦克风121、控制器130、存储器单元140、壳体150。在一实施例中，第一镜头110及第二镜头120为曲面镜头或鱼眼镜头，可拍摄圆型环景影像(spherical panorama image)，圆型环景影像亦可称为360度影像。举例来说，本发明的影像处理装置100可应用于空拍机(flying drone)、自拍棒(selfie stick)、或是环景拍摄装置。第一麦克风111及第二麦克风121分别依附或整合于第一镜头110及第二镜头120，用以将在第一镜头110及第二镜头120所面对的方向的音讯信号分别录制为第一音轨及第二音轨。

控制器130例如可为中央处理器(CPU)或数字信号处理器(DSP)。存储器单元140包括易失性存储器141及非易失性存储器142，其中易失性存储器141例如是静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)，非易失性存储器142例如是硬盘、固态硬盘、闪存等等，但本发明并不限于此。非易失性存储器142储存视讯编译码程序，且控制器130可将储存于非易失性存储器142的视讯编译码程序读取至易失性存储器141并执行，藉以对所撷取的圆型环景影像及音轨进行视讯编码处理。控制器130及存储器单元安置于壳体150之内，且第一镜头110及第二镜头120安置于壳体150的相对表面(opposite surfaces)。

举例来说，控制器130可将第一镜头110所拍摄的第一圆型环景影像及第一麦克风111所撷取的第一音轨录制为第一视讯文件，并将第二镜头120所拍摄的第二圆型环景影像及第二麦克风121所撷取的第二音轨录制为第二视讯文件。控制器130并将第一视讯文件及第二视讯文件储存至非易失性存储器142中，其中第一视讯文件及第二视讯文件例如可为MP4格式的视讯文件，但本发明并不限于此。

图2是显示依据本发明一实施例中的影像处理装置100的示意图。在一实施例中，第一镜头110及第二镜头120安置于壳体150的相对两侧，其中壳体150具有预定厚度d，如图2所示，其中壳体150的厚度d可视为第一镜头110及第二镜头120之间的视差(parallax)。因第一镜头110及第二镜头120为鱼眼镜头，故第一镜头110及第二镜头120所拍摄的预定俯角(angle of depression)范围可分别用区域210及区域220所表示，且第一镜头110所拍摄的第一圆型环景影像及第二镜头120所拍摄的第二圆型环景影像的缝合点会位于壳体的中心水平线215上的位置250及254，如此可有最佳的影像缝合位置。

然而，在安装第一镜头110及第二镜头120于影像处理装置100的过程中，第一镜头110及第二镜头120的俯角范围有可能并不会与区域210及区域220完全一致，意即第一镜头110及第二镜头120的俯角范围例如为区域212及区域222所示，且第一镜头110所拍摄的第一圆型环景影像及第二镜头120所拍摄的第二圆型环景影像的缝合点会产生偏移，例如位于位置252及256，并没有落于壳体150的中心水平线215上，进而造成影像缝合的效果较差。本案后述的影像处理装置可自动判断第一圆型环景影像及第二圆型环景影像的缝合点是否位于壳体的中心水平线上。若第一圆型环景影像及第二圆型环景影像的缝合点并非位于壳体150的中心水平线215上，影像处理装置更可自动调整第一圆型环景影像及第二圆型环景影像，使得调整后的第一圆型环景影像及第二圆型环景影像的缝合点位于壳体150的中心水平线215上，进而得到最佳的影像缝合位置。

图3是显示依据本发明一实施例中的影像处理装置的方块图。影像处理装置300例如是个人计算机或服务器。影像处理装置300包括处理器310、存储器单元320、及外围接口330。存储器单元320包括易失性存储器321及非易失性存储器322，其中易失性存储器321例如是静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)，非易失性存储器322例如是硬盘、固态硬盘、闪存等等，但本发明并不限于此。非易失性存储器142储存视讯编译码程序，且处理器310可将储存于非易失性存储器322的视讯编译码程序读取至易失性存储器321并执行，藉以对第一视讯文件及第二视讯文件进行视讯/音讯译码处理及对译码后的圆型环景影像进行影像缝合处理(image stitching process)。在后述段落中，将对影像缝合处理的细节进行详细说明。外围接口330可包括多媒体接口(例如HDMI)、数据传输接口(例如USB、SATA)、及/或网络传输接口(例如LAN、Wifi、Bluetooth)等等，且处理器310可经由外围接口330由影像处理装置100取得第一视讯文件及第二视讯文件。

图4A及4B分别显示依据本发明一实施例中的第一音轨及第二音轨的示意图。图4C及4D是分别显示依据本发明一实施例中调整时间后的第一音轨及第二音轨的示意图。图4E及4F是分别显示依据本发明一实施例中调整时间后以同步第一音轨及第二音轨的示意图。请同时参考图3及图4A、4B，因为第一镜头110及第二镜头120的位置有些微差异，第一麦克风111及第二麦克风121所撷取到的第一音轨及第二音轨亦会有时间差异。举例来说，第一麦克风111所撷取第一音轨如图4A所示，第二麦克风121所撷取第二音轨如图4B所示，其中第一音轨及第二音轨的波形是相当类似的，但是在时间上则会有些许差异。更进一步而言，处理器310先对第一视讯文件及第二视讯文件进行视讯/音讯译码处理，以取得第一圆型环景影像、第二圆型环景影像、第一音轨、及第二音轨。

首先，处理器310比较原始的第一音轨及第二音轨，即第一音轨及第二音轨的时间差Tdiff＝0，并计算第一比对分数。接着，处理器310将第二音轨进行延迟处理(例如延迟1ms，即Tdiff＝1)，并将原始的第一音轨(如第4C图所示)与延迟后的第二音轨(如第4D图所示)进行比较，并计算第二比对分数。类似地，处理器310可在一合理范围内逐渐增加第二音轨的延迟时间，即增加Tdiff，并计算不同Tdiff数值下所相应的比对分数。

接着，处理器310决定具有最高的比对分数的时间差Tdiff，并以该时间差做为延迟第二音轨及第二圆型环景影像的基准。例如在图4E及4F中的时间差Tdiff＝4时，具有最高的比对分数。需注意的是，上述决定时间差的方法仅用于说明，实际上可依据所决定的时间差以同步第一圆型环景影像及第二圆型环景影像，并进行后续的影像缝合处理。

在进行影像缝合处理之前，处理器310利用等量投影，等量投影可以是等量矩形投影(equirectangular projection)将第一圆型环景影像及第二圆型环景影像分别投影为具有矩形形状的第一影像及第二影像。举例来说，图5A是显示第一圆型环景影像，图5B是显示经过等量矩形投影所产生的第一影像，其中在图5B中第一影像的水平边缘表示了在第一圆型环景影像的水平方向正负90度的范围，第一影像的垂直边缘表示了在第一圆型环景影像的垂直方向正负90度的范围。

类似地，图5C是显示第二圆型环景影像，图5D是显示经过等量矩形投影所产生的第二影像。处理器310将第一影像置于中间，将第二影像的右半部份与第一影像的左侧缝合，并将第二影像的左半部份与第一影像的右侧缝合，以产生缝合影像，如图5E所示。图5E的缝合影像的水平边缘即表示了水平方向正负180度的范围，其垂直边缘即表示了垂直方向正负180度的范围。

在一些实施例中，第一镜头110及第二镜头120所分别撷取的第一圆型环景影像及第二圆型环景影像的曝光值及白平衡处理可能会有差异。因此，在进行影像缝合之前，处理器310对第一影像及第二影像进行颜色补偿(color compensation)，使得第一影像及第二影像的颜色更为自然。

图6是显示未经颜色补偿前的第一影像600及第二影像610的示意图。如图6所示，在第一影像600的右侧的方块605、以及第二影像610的左侧的方块615即为缝合影像中的重迭区域。一般而言，方块605及其对应的方块615应具有相同的颜色，因此处理器310所使用的影像缝合算法可依据其颜色差异以计算第一影像600及第二影像610的色彩补偿系数。

此外，若在方块605中的平均颜色值与相应的方块615中的平均颜色值差异很大，这可能表示在方块605及615中所撷取的影像部份会由于视差而有所不同。因此，处理器310可忽略掉该颜色差异。需注意的是，处理器310所进行的色彩补偿是在一线性空间中进行计算，例如可先经过去gamma补偿(de-gamma)，再进行色彩补偿，接着再进行gamma补偿。

图7A～7C是显示依据本发明一实施例中的影像缝合程序的使用者接口的示意图。如图7A所示，处理器310所读取的第一视讯文件及第二视讯文件的预览画面702及704是显示于使用者接口700的左侧，缝合影像的预览画面710是显示于画面右侧。需注意的是，第一视讯文件及第二视讯文件的画面帧率(frame rate)需相同才能进行影缝合。

使用者接口700更包括了调整钮711、重置钮712、影像效果按钮713、输出按钮714、音频同步按钮715、镜头方向的选项716、717、及718、以及时间调整条719。镜头方向的选项716为前后(front-back)、选项717为上下(up-down)，选项718则为反转。当使用者选择选项718后，第一镜头及第二镜头所拍摄的第一圆型环景影像及第二圆型环景影像会被反转。若使用者点击了音频同步按钮715，则影像缝合程序则会依据音频信号的特性自动调整视讯影像的输出，其细节可参考前述实施例。当使用者选择使用者接口700中的调整按钮711时，处理器310是显示使用者接口720以调整第一视讯文件及第二视讯文件。

举例来说，图7B中的使用者接口720包括搜寻条721及722、旋转钮723～726、锁定钮727、左右转动调整条(pan bar)728、倾角调整条(tilt bar)729、距离调整条(distancebar)730、以及确定钮731。搜寻条721及722可让使用者直接选定所要预览的第一视讯文件及第二视讯文件的影片时间。旋转钮723及724是分别控制第一圆型环景影像702进行逆时针转动及顺时针转动，旋转钮725及726是分别控制第二圆型环景影像704进行逆时针转动及顺时针转动。当使用者按下锁定钮727时，则可让第一视讯文件及第二视讯的操作同步进行。

当使用者按下影像效果按钮713，影像缝合程序则会显示一使用者接口750(如图7C所示)以调整影像效果，例如包括了锐利度调整条(sharpness bar)751、对比调整条(contrast bar)752、亮度调整条(brightness bar)753、饱和度调整条(saturation bar)754、混色选项755及756、默认值按钮757及确定钮758，例如选项755为平滑化、选项756为锐利化。

图7D及7E是显示在使用者接口进行左右转动的操作的示意图。图7D为第一镜头110的俯视图，当使用者对图7B中的左右转动调整条728进行调整时，则仿如第一镜头110的左右转动范围会在处于一预定范围内(例如是-10度至+10度)，对应至所撷取的第一圆型环景影像760的左右转动则如图7E所示。第二镜头亦可进行类似的左右转动的调整。

图7F及7G是显示在使用者接口进行倾角调整的操作的示意图。图7F为第一镜头110的侧视图，当使用者对图7B中的倾角调整条729进行调整时，则仿如第一镜头110的倾角范围会在处于一预定范围内(例如是-10度至+10度)，对应至所撷取的第一圆型环景影像760的倾角调整，如图7G所示。第二镜头亦可进行类似的倾角调整。

图7H、7I、7J是显示在图7B的使用者接口进行转动操作的示意图。第7H图为第一镜头110的侧视图，当使用者对图7B中的旋转钮723及724进行调整时，则仿如第一镜头110则会进行相应的逆时针转动或顺时针转动，对应至所撷取的第一圆型环景影像的转动调整，如图7I所示。若使用者已按下使用者接口720中的锁定钮727，则表示无论使用者按下旋转钮723～726的任一者，第一圆型环景影像760及第二圆型环景影像762均会同步转动，如第7J图所示使用者透过无线传输方式使显示单元与该显示单元相互连接，其中该缝合影像藉由该处理器以转换成环形影像或圆形影像；且该显示单元可显示该第一影像、第二影像或该缝合影像。

图7K及7L是显示在图7B的使用者接口以调整镜头距离的示意图。图7K为第一镜头110及第二镜头120的侧视图，当使用者对图7B中的距离调整条730进行调整时，则仿如第一镜头110及第二镜头120之间的距离会随着变化，对应至所撷取的第一圆型环景影像760及第二圆型环景影像762的距离变化，则如第7L图所示。

请同时参考图1～3及图7B，处理器310可自动判断第一圆型环景影像及第二圆型环景影像的缝合点是否位于壳体150的中心水平线上。若第一圆型环景影像及第二圆型环景影像的缝合点并非位于壳体150的中心水平线215上，处理器310更可自动调整(例如透过调整左右转动角度、倾斜角度、及第一圆型环景影像及第二圆型环景影像之间的距离)第一圆型环景影像及第二圆型环景影像，使得调整后的第一圆型环景影像及第二圆型环景影像的缝合点位于壳体150的中心水平线215上，进而得到最佳的影像缝合位置，其中处理器310依据偏移量大小，实际最佳的影像缝合位置可位于位置252及256、位置250及254之间。

更进一步而言，处理器310可自动调整第一圆型环景影像及第二圆型环景影像，使得调整后的第一圆型环景影像及第二圆型环景影像的缝合点位于壳体150的中心水平线215上。使用者亦可透过图7B中的使用者接口720的各种功能(例如旋转、左右转动、倾斜、调整距离等等)进行手动调整第一圆型环景影像及第二圆型环景影像，以达到使用者所想要的缝合影像的效果，其中处理器还可将缝合影像转换成例如环形影像、圆型影像，但本发明并不限于此。

图8A及8B图是显示依据本发明一实施例中的影像缝合程序的使用者接口的示意图。如图8A所示，使用者接口800相较于图7A的使用者接口700，更多了第一视讯文件及第二视讯文件的文件名称、目前同步时间、同步画面，如区域810所显示的信息。当锁定钮820未按下(未锁定状态)时，使用者可进行手动同步。当锁定钮820按下(锁定状态)时，使用者则无法进行手动影像同步，仅能由影像缝合程序进行自动影像同步，例如可藉由前述实施例中利用音讯信号的延迟来判断同步的画面。此外，第一视讯文件及第二视讯文件中的各影像亦分别显示于区域830，使用者可在锁定钮820处于未锁定状态时以手动选择欲同步的影像。

承上所述，当使用者在锁定钮820处于未锁定状态时已手动选择欲同步的影像，因为在区域830中的预览缩图的尺寸相当小，使用者并无法确认其画面内容。因此，影像缝合程序会显示一弹跳窗口(pop-up window)840以显示一或多个已选择的影像、或是所选择的影像及其相邻影像，如图8B所示。当使用者完成上述选择操作后，缝合影像的预览画面850则会显示于使用者接口800上。

需了解的是，藉由本发明的影像缝合程序，使用者可更方便地调整两个视讯文件的影像缝合的参数及细节，进而达到更好的缝合影像(例如全景影像)效果。

图9是显示依据本发明一实施例中的影像缝合方法的流程图。在步骤S910，由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少一第一圆型环景影像及第一音轨，且该第二视讯文件包括至少一第二圆型环景影像及第二音轨。在步骤S920，依据该第一音轨及该第二音轨的一音频特性以同步该第一圆型环景影像及该第二圆型环景影像。举例来说，该音频特性的计算可参考图4A～4F的实施例，利用第一音轨及第二音轨之间不同的延迟时间差以计算相应的比对分数，并以具有最高的比对分数的延迟时间差做为基准以同步第一圆型环景影像及第二圆型环景影像。

在步骤S930，将该第一圆型环景影像及该第二圆型环景影像转换成为第一影像及第二影像。上述第一影像及第二影像即为具有矩形形状的二维影像。在步骤S940，对该第一影像及该第二影像进行影像缝合处理以产生缝合影像。需了解的是，在步骤S940之前，可对第一影像及第二影像进行色彩补偿处理，藉以得到更自然的颜色，亦利于影像缝合算法的判断。

请再参考图2，当第一镜头110及第二镜头120均为一般性能的镜头且具有相同的视角(例如预定俯角的区域210及220均为190度)，第一镜头110及第二镜头120均无法撷取4K分辨率的影像(底下简称为4K影像)，因4K影像的范围比第一镜头110及第二镜头120的视角还要大。因此，并无法由单一镜头以取得4K影像。若欲取得4K影像，则需要背后镜头(例如第一镜头110的背后镜头即为第二镜头120)的辅助。

更进一步而言，若要从190度俯角的第一镜头110或第二镜头120取得4K影像，则第一镜头110或第二镜头120的分辨率需为2400万像素，以目前的镜头制造技术而言，其成本相当昂贵。若由第一镜头110由第二镜头120所撷取的影像所组成的影像圆(image circle)的直径由壳体150的长边所决定，则镜头的尺寸将会相当大，因为需要配合壳体150的短边的长度以符合190度的俯角。有鉴于此，本发明更提出一种影像处理装置以解决撷取4K影像会产生的问题。

图10A是显示依据本发明一实施例中的影像处理装置进行影像缝合的示意图。图10B～10D是显示依据本发明一实施例中将第一圆型环景影像及第二圆型环景影像进行影像缝合的示意图。

请同时参考图1及图10A，在另一实施例中，本发明图1中的第一镜头110及第二镜头120除了设置于壳体150的相对两侧之外，第一镜头110及第二镜头120具有不同视角。举例来说，第一镜头110及第二镜头120的视角可设定为多个预定视角的一者，例如是155度、235度、及360度，但本发明并不限于此。在一些实施例中，在第一镜头110及第二镜头120均为一般画质模式(例如All Round模式)的情况下，第一镜头110的视角范围可设定于125度～195度，且第二镜头120的视角范围可设定为235度±5度内，但本发明并不限于此。

为了便于说明，在图10A中，第一镜头110的视角设定为155度，且第二镜头120的视角设定为235度。第一镜头110所拍摄的第一圆型环景影像1010(如图10B所示)及第二镜头120所拍摄的第二圆型环景影像1020(如图10C所示)用以合成360度环景影像1030，如图10D所示。其中合成第一圆型环景影像1010及第二圆型环景影像1020以产生二维影像1031的方法可参考本案图5A～5E的实施例。需注意的是，由第一镜头110所拍摄的第一圆型环景影像1010中的物体会较窄，且第二圆型环景影像1020中的物体会较宽，因此需在进行影像缝合前对第一圆型环景影像1010或第二圆型环景影像1020进行分辨率调整，藉以让调整后的第一圆型环景影像1010及第二圆型环景影像1020的分辨率相符。亦需注意的是，在进行分辨率调整时，亦可同时进行对比度及饱和度的调整，其细节可参考本发明的前述实施例。

图11A及11B是显示依据本发明一实施例中的以155度视角所拍摄的第一圆型环景影像及相应的二维影像的示意图。图11C及11D是显示依据本发明一实施例中的以188度视角所拍摄的第三圆型环景影像及相应的二维影像的示意图。

在一实施例中，假定第一镜头110的影像传感器的分辨率为2000万像素，在前拍模式(Front Mode)进行拍摄时，仅能从所拍摄的第一圆型环景影像1110中撷取出3K分辨率的二维影像1111，如图11A所示。在前拍模式下，本发明可将第一镜头110的视角从155度扩展为188度或以上。因为第一镜头110的视角变大，所以第一镜头110以188度视角所拍摄的第三圆型环景影像1114的范围也变大，此时即可从第三圆型环景影像1114中取得4K分辨率的二维影像1115，如图11D所示。需注意的是，无论使用155度或188度以上的视角，第一镜头110的影像传感器的分辨率固定于2000万像素。

更进一步而言，在进行影像缝合时，从第一镜头110及第二镜头120所拍摄的圆型环景影像所撷取出来的二维影像的分辨率需相符。因为第二镜头120是以235度的视角进行拍摄，故可轻易地从所拍摄的第二圆型环景影像中撷取出4K影像，但若第一镜头110仅以155度视角进行拍摄，则仅能撷取出3K影像。因此，本发明将第一镜头110的视角增大，藉以从第三圆型环景影像1114中取得4K分辨率的二维影像1115。

图11E～11G是显示依据本发明图11A～11D的实施例以进行影像缝合的示意图。

需注意的是，第三圆型环景影像1114中即包括了第一圆型环景影像1110。在进行影像缝合处理时，本发明从第三圆型环景影像1114取出第一圆型环景影像1110，如图11E所示。接着，并将所取出的第一圆型环景影像1110进行分辨率调整后再与第二圆型环景影像1120进行影像缝合以产生二维影像1131，如图11F及11G所示。因为本发明的第一镜头110使用155度视角的第一圆型环景影像1110，第一镜头110仅需要2000万画素且尺寸较小的镜头即可实现4K影像，而不需使用较昂贵的2400万画素且尺寸较大的镜头。图11H是表示在本发明图11E～11G的实施例中进行影像缝合的示意图。需注意的是，本发明图11E～11G的实施例可利用图11H表示。即利用第一圆型环景影像1110与第二圆型环景影像1120进行影像缝合以产生360视角的环景影像1130，而环景影像1130则通常会映像至二维影像，即第11G图中所示的二维影像1131。

图12A是显示依据本发明一实施例中的第一镜头以不同视角拍摄影像的示意图。图12B是显示依据本发明一实施例中的第二镜头以不同视角拍摄影像的示意图。

在一实施例中，假定第一镜头110及第二镜头120均为2000万画素，若以矩形影像1212表示则为5184x3888分辨率，在图12A中，若第一镜头110以225度视角进行拍摄，则可得到圆型环景影像1210，若以165度视角进行拍摄，则可得到圆型环景影像1211。然而，若目标是欲直接输出4K影像1213，仅能使用圆型环景影像1210。

在图12B中，若第二镜头120以225度视角进行拍摄，则可得到圆型环景影像1220，若以165度视角进行拍摄，则可得到圆型环景影像1221。然而，若目标是欲直接输出4K影像1223，很明显地，圆型环景影像1221所涵盖的范围仍不足4K分辨率。此时，仅能使用圆型环景影像1220。需注意的是，在图12A及12B的实施例中，第一镜头110及第二镜头120中的影像传感器(image sensor)具有旋转90度的角度差。需注意的是，为便于说明，在图12A～12B的实施例中，仅以视角225度及165度进行说明，在此实施例中，第一镜头110及第二镜头120采用相同的视角(例如125度～235度之间)进行拍摄。

图12C是显示依据本发明图12A中的第一镜头以不同视角拍摄影像的分割部分的示意图。图12D是显示依据本发明图12B中的第二镜头以不同视角拍摄影像的分割部分的示意图。

在图12C中，第一镜头110以不同视角所拍摄的圆型环景影像1210及1211可分割为四个部份圆型环景影像12A-1、12A-2、12A-3、及12A-4。其中部份圆型环景影像12A-1及12A-2包含于圆型环景影像1211，部份圆型环景影像12A-3及12A-4包含于圆型环景影像1210。类似地，在图12D中，第二镜头120以不同视角所拍摄的圆型环景影像1220及1221可分割为四个部份圆型环景影像12B-1、12B-2、12B-3、及12B-4。其中部份圆型环景影像12B-1及12B-2包含于圆型环景影像1220，部份圆型环景影像12B-3及12B-4包含于圆型环景影像1221。更进一步而言，在进行影像缝合时，因为第一镜头110及第二镜头120之间具有90度的角度差且采用相同的视角进行拍摄，所以需采用相应位置的部份圆型环景影像进行影像缝合。

举例来说，部份圆型环景影像12A-1对应于部份圆型环景影像12B-1，故部份圆型环景影像12A-1与部份圆型环景影像12B-1进行影像缝合。类似地，部份圆型环景影像12A-2对应于部份圆型环景影像12B-2，故部份圆型环景影像12A-2与部份圆型环景影像12B-2进行影像缝合。

类似地，部份圆型环景影像12A-3对应于部份圆型环景影像12B-3，故部份圆型环景影像12A-3与部份圆型环景影像12B-3进行影像缝合。类似地，部份圆型环景影像12A-4对应于部份圆型环景影像12B-4，故部份圆型环景影像12A-4与部份圆型环景影像12B-4进行影像缝合。

更进一步而言，在各对应位置的部份圆型环景影像进行影像缝合后即产生全天球影像(omnidirectional image)，其在水平方向及垂直方向均有较高的分辨率。因此，若要从全天球影像取得前拍影像，例如是4:3或16:9的影像，均可轻易地得到4K影像。再者，第一镜头110及第二镜头120为一般画素的情况下，仍然可以得到较高分辨率的影像。

综上所述，本发明提供一种影像缝合方法及其影像处理装置，其可将不同的鱼眼镜头所拍摄的圆型环景影像转换为二维影像，并对二维影像进行影像缝合以取得二维的全景影像。此外，本发明的影像处理装置所执行的影像缝合程序更提供了多种使用者接口，可让使用者选择影像缝合的不同影像效果，且使用者亦可利用手动的方式选择欲同步的圆型环景影像，藉以达到更好的影像缝合效果及更佳的使用者体验。

本发明亦针对4K分辨率的环景影像提出较低成本的解决方法。例如本发明中的两个镜头可采用不同视角，故其撷取的圆型环景影像得以互补，也因此可不必使用成本昂贵的镜头。此外，本发明更提出了两个镜头可使用相同视角，且所拍摄的两张圆形环景影像之间具有大于90度的角度差值，且两张圆型环景影像可切割为复数个部份圆型环景影像，在转换为二维影像后，其在水平方向及垂直方向可互补并进行影像缝合，故尽管两个镜头若仅配备一般画素，亦可利用本发明所提供的方法以得到分辨率较高的环景影像。

本发明的方法，或特定型态或其部份，可以以程序代码的型态包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)储存媒体，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置或系统。本发明的方法、系统与装置也可以以程序代码型态透过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置或系统。当在一般用途处理器实作时，程序代码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。

本发明虽以较佳实施例揭露如上，但其并非用以限定本发明的范围，本领域的技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims (17)

1.一种影像缝合方法，用于影像处理装置，其特征在于，该方法包括：

由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；

依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；

将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；

对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

2.一种影像处理装置，其特征在于，包括：

存储器单元，用以储存影像缝合程序；以及

处理器，用以执行该影像缝合程序，并执行下列步骤：

由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；

依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；

将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；

对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

3.如权利要求2所述的影像处理装置，其特征在于，该缝合影像包含一缝合点位于该第一影像及该第二影像之间。

4.如权利要求3所述的影像处理装置，其特征在于，该影像处理装置包括第一镜头、第二镜头、第一麦克风、及第二麦克风，其中该第一镜头及该第二镜头置于该影像处理装置的壳体的相对两侧以分别撷取第一环景影像及第二环景影像，且该第一麦克风及该第二麦克风分别依附至该第一镜头及该第二镜头以分别撷取该第一音轨及该第二音轨。

5.如权利要求2所述的影像处理装置，其特征在于，该处理器将该第二影像的右半部份与该第一影像的左侧缝合，并将该第二影像的左半部份与该第一影像的右侧缝合以产生该缝合影像。

6.如权利要求5所述的影像处理装置，其特征在于，该处理器更对该第一影像及该第二影像进行色彩补偿处理，并对经过该色彩补偿处理后的该第一影像及该第二影像进行该影像缝合处理。

7.如权利要求4所述的影像处理装置，其特征在于，该影像缝合程序更提供使用者接口以调整该第一环景影像或该第二环景影像的左右转动角度、倾角、及/或该第一镜头及该第二镜头之间的距离。

8.如权利要求2所述的影像处理装置，其特征在于，该处理器更选择该第一音轨或该第二音轨以搭配该缝合影像，且该缝合影像藉由该处理器以转换成环形影像或圆形影像。

9.如权利要求2所述的影像处理装置，其特征在于，更包括：

显示单元，该影像处理装置透过无线传输方式与该显示单元相连接；

其中该第一影像及第二影像为圆形影像或环景影像，且该显示单元可显示该第一影像、第二影像或该缝合影像。

10.如权利要求3所述的影像处理装置，其特征在于，该处理器更自动调整该第一环景影像及该第二环景影像，使得该第一环景影像及该第二环景影像的一缝合点位于该壳体的中心水平线上。

11.如权利要求4所述的影像处理装置，其特征在于，该第一镜头具有第一视角以拍摄该第一影像或第三影像，且该第二镜头具有第二视角以拍摄该第二影像，且该第一视角不同于该第二视角。

12.如权利要求11所述的影像处理装置，其特征在于，该处理器由该第三影像中撷取相应于第三视角的该第一影像，其中该第三视角小于该第一视角。

13.如权利要求4所述的影像处理装置，其特征在于，该第一镜头具有第一视角以拍摄该第一影像，且该第二镜头具有一第二视角以拍摄该第二影像，且该第一视角等于该第二视角，该第一影像视角中心线及该第二影像视角中心线之夹角具有大于90度的角度差值，该第一影像分割为复数个第一部份影像，且该第二影像分割为复数个第二部份影像，且各第一部份影像相应于在该第二影像中相同位置的各第二部份影像，

其中该处理器将相同位置的各第一部份影像及相应的各第二部份影像进行该影像缝合处理以产生该缝合影像。

14.一种影像处理装置，其特征在于，包括：

第一镜头，具有第一视角以拍摄第一影像；

第二镜头，具有一第二视角以拍摄第二影像，其中该第一视角不同于该第二视角；

存储器单元，用以储存影像缝合程序；

处理器，用以执行该影像缝合程序，并执行下列步骤：

由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少一该第一影像及第一音轨，且该第二视讯文件包括至少一该第二影像及第二音轨；

依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；

将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；

对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

15.一种影像处理装置，其特征在于，包括：

第一镜头，具有第一视角以拍摄第一影像；

第二镜头，具有一第二视角以拍摄第二影像，其中该第一视角不同或相同于该第二视角；

存储器单元，用以储存影像缝合程序；

处理器，用以执行该影像缝合程序，并执行下列步骤：

由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少一该第一影像，且该第二视讯文件包括至少一该第二影像；

将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；

对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

16.如权利要求15所述的影像处理装置，其特征在于，利用该第一视角以拍摄第三影像，且该处理器由该第三影像中撷取相应于第三视角的该第一影像，其中该第三视角小于该第一视角。

17.如权利要求15所述的影像处理装置，其特征在于，当该第一视角相同于该第二视角时，该第一影像视角中心线及该第二影像视角中心线之夹角具有大于90度的角度差值，该第一影像分割为复数个第一部份影像，且该第二影像分割为复数个第二部份影像，且各第一部份影像相应于在该第二影像中相同位置的各第二部份影像，

其中该处理器将相同位置的各第一部份影像及相应的各第二部份影像进行该影像缝合处理以产生该缝合影像。