CN110019884A - 一种多重影像来源的处理方法 - Google Patents

Abstract

本发明公开一种多重影像来源的处理方法，首先接收第一装置的多个第一影像，根据每个第一影像拍摄的时间顺序排列多个第一影像，再接收至少一第二装置的至少一第二影像，并根据第一影像的第一拍摄定位信息与第二影像的第二拍摄定位信息，将第二影像与地理空间最接近的第一影像连线排列，接着将具有相同地理空间的第一影像与第二影像归类为同一范围群组后，再依相同静物背景归类为同一背景群组，比对每一背景群组内影像，将相同静物背景的影像由大至小或小至大的范围背景排列，并据其排列成影片播放。通过本发明的方法使用者观看影片时流畅且没有突兀感。

Description

一种多重影像来源的处理方法

技术领域

本发明涉及一种影像资料处理的方法，特别是指一种可同时整合多部装置内影像并集合成影片，使观看影片时流畅没有突兀感的多重影像来源的处理方法。

背景技术

随着科技日新月异，照相与摄影功能在各种电子产品逐渐变得普及，且目前移动通信装置中几乎都内建有照相与摄影的功能并兼具有定位服务功能，因此每一位使用者在外出旅游时，几乎都可以实时通过手边的装置取得旅途中各种景物的影像，进而将旅行中的回忆保存下来。

这些被保留的影像可提供使用者取得并加以编辑，使用者可使用计算机中的应用程序，将旅行中所拍摄的照片进行编排后，将这些影像整合制作成一个的影片，以作为旅行纪录片。当然除了可编辑单一摄影装置中的影像以外，也可加入多个摄影装置中的影像至同一个装置中，进而结合多个使用者所拍摄的影像进行观赏让内容更丰富更多元化。但目前多数的应用程序仅能单纯利用拍摄时间的顺序对照片进行排列，但仅使用时间对照片进行排序，容易导致前后照片背景的不同，导致画面不一致，令使用者在观赏照片时，易产生不协调的突兀感。

除了使用时间编排影像的顺序以外，目前也有其他应用程序，使用定位服务，如全球定位系统(Global Positioning System，GPS)、中华人民共和国的北斗卫星导航定位系统、俄罗斯的格洛纳斯(GLONASS)系统或欧盟的伽利略计划等定位信息来对影像进行排序，其中影像有包含照片及影片，然而照片包含有可交换图档格式信息(Exchangeable imagefile format，EXIF)，若拍照时有开定位服务，EXIF信息就内含定位信息，但影片中并无涵盖EXIF信息，此时影片就无法利用定位信息作排序，此时就需设定影片中多个照片中的其中一个的代表照片的定位信息或直接利用装置摄影时的位置定位信息替代，才能对影片与照片做排序。然而利用定位信息来对影像进行排序时，若是单一的拍照装置的多个影像作排序应无突兀感，但在结合多个拍摄装置的影像时，由于每一台拍摄装置的定位信息不尽相同，可能存在拍摄装置间的定位量测的误差，或者因镜头种类，如标准镜头、变焦镜头(zoom镜头)等，会让相同的定位信息拥有不同的照片景象。除此以外，过去多数生产的专业用单眼的相机并无定位功能，必需事后查询地图的定位信息如GPS信息后，才能补登录照片的定位信息，但即使依照定位信息对照片排序，因受到拍摄装置间的各种定位量测误差使相同背影照片在播放排序上不会连续，导致影像整合后影片较无连贯性，且会提高播放影片时因背景变化大所造成的残影，使得整合后影片变的不协调。

因此，为了使影像的排序据有连关性，多数使用者会选择手动排序影像顺序，但手动排序是相当费时的，例如要处理一个旅行团所有团员的照片的影像资料时，更是项大工程。

综上所述，如何整合外出旅游中使用者的影像，成为一个旅行团共有的旅游纪录片并提升旅行纪录片制作的质量增加社群互动，为目前社群网络盛行年代，相当重要的一环。

因此，本发明针对上述技术的缺点，提出一种多重影像来源处理方法，以有效克服上述的问题。

发明内容

本发明的主要目的是提供一种多重影像来源的处理方法，该方法可将多部装置中的影像组合，同时依据每张影像的位置及静物背景，将多部装置中的影像进行排序，通过静物背景排序可降低拍摄装置间的各种定位量测误差，能使最后的整合的影片，提高播放内容的连贯性，且可依据影像与下一张影像的相同静物的角度变化，在播放过程中作画面逐步旋转以降低画面切换时的晃动感，且可依据影像与下一张影像的相同静物的比例范围调整播放时间，提升各个影像的播放时间多样性，除此以外，更可增设一影像播放路径轴至播放影片中，以利使用者根据旅游地点选择所欲浏览的影像。

为实现上述目的，本发明提供一种多重影像来源的处理方法，包括下列步骤，接收一第一装置的多个第一影像与每一第一影像的拍摄时间信息以及第一拍摄定位信息；根据每一拍摄时间信息的拍摄顺序时间排列多个第一影像；接着接收至少一第二装置的至少一第二影像及其第二拍摄定位信息；根据第二影像的第二拍摄定位信息以及每一第一影像的第一拍摄定位信息，将第二影像与地理空间最接近的第一影像排列后；再将第一影像的第一拍摄定位信息与相邻的第二影像的第二拍摄定位信息或第一拍摄定位信息相减，产生距离信息，当相邻的第一影像或第二影像的距离信息小于一预设距离，则归类成同一范围群组；接着再比对每一范围群组内的第一影像与第二影像的静物背景，将具有相同静物背景的第一影像或第二影像归类为同一背景群组；最后将每一背景群组内的多个第一影像与第二影像由大范围背景到小范围背景，或小范围背景到大范围背景排列。

为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种多重影像来源的处理方法实施例1的系统架构示意图；

图2为本发明一种多重影像来源的处理方法实施例1的影像的编排顺序步骤流程图；

图3为本发明一种多重影像来源的处理方法实施例1的播放影片的播放步骤流程图；

图4为本发明一种多重影像来源的处理方法实施例1的播放影像步骤示意图；

图5为本发明一种多重影像来源的处理方法实施例1的播放影像步骤示意图；

图6为本发明一种多重影像来源的处理方法实施例1的播放影像步骤示意图；

图7为本发明一种多重影像来源的处理方法实施例1的播放影像步骤示意图；

图8为本发明一种多重影像来源的处理方法实施例1的播放影像转换为下一张播放影像的示意图；

图9为本发明一种多重影像来源的处理方法实施例1的具有影像播放路径轴播放界面示意图。

图中10-第一装置，12-第二装置，14-终端机，20、20’、20”-播放影像，22、22’-交集范围，24-影像播放路径轴，26-播放影片，A-中心点。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

请参照图1，首先说明本发明所使用的系统架构，其包括一第一装置10、一第二装置12以及一终端机14。其中第一装置10是可连接网络上传或下载影像并可播放影片的电子装置，如智能型移动通讯装置、智能型手机或计算机等，本实施例以具有摄影、拍照以及定位服务功能的智能型手机作为第一装置10的实施例，第一装置10用于拍摄画面产生第一影像，本实施例的第一影像是有影片和/或照片，在拍摄时第一装置10可同时撷取拍摄时间信息以及拍摄地点的第一拍摄位置定位信息，其中第一拍摄定位信息系可为为全球定位系统(Global Positioning System，GPS)讯号、中华人民共和国的北斗卫星导航定位系统、俄罗斯的格洛纳斯(GLONASS)系统或欧盟推出伽利略计划，但如果第一装置10没有开启定位服务，所以无法取得第一拍摄定位信息时，可通过使用者手动输入第一拍摄定位信息，用来定义每一张第一影像的位置。其中第二装置12可以是多个，但本实施例举例具有一个第二装置12，其中第二装置12可连接网络，以作为上传或下载影像并可播放影片的电子产品，本实施例举例第二装置12也与第一装置10相同具有摄影、拍照以及定位服务功能的智能型移动装置，如智能型手机或计算机等，可用来拍摄画面产生第二影像，且拍摄画面时可同时撷取拍摄地点的第二拍摄位置定位信息，第二信息亦可为全球定位系统(Global PositioningSystem，GPS)讯号、中华人民共和国的北斗卫星导航定位系统、俄罗斯的格洛纳斯(GLONASS)系统或欧盟推出伽利略计划，但如果第二装置12无法取得第二拍摄定位信息时，可通过使用者手动输入第二拍摄定位信息，以定义每一张第二影像的位置。其中上述的第一影像与第二影像都包括照片与影片，其中照片皆包含可交换图档格式信息(Exchangeable image file format，EXIF)，若拍照时有开定位服务时，EXIF信息就内含定位信息，但影片中并无包含EXIF信息，此时影片与照片就无法做排序，需通过设定影片中多个照片中的其中一个的代表照片，作定位信息设定或直接利用装置摄影时的位置定位信息替代。

终端机14为可用来处理信息的计算机，本实施例举例终端机14是作为云端所架设的计算机主机，终端机14信号连接第一装置10与第二装置12，通过网络接收第一装置10与第二装置12中的各项信息，终端机14可针对第一装置10与第二装置12的拍摄时间信息、第一拍摄定位信息以及第二拍摄位置定位信息，对第一影像与第二影像排列顺序做编排，并可将编排后第一影像与第二影像制作成播放影片，第一装置10、第二装置12或其余可连接网络的装置(图中未示)，可通过网络连接至终端机14中，用来浏览播放影片，除此以外还可通过第一装置10或第二装置12针对个别影像进行编辑，如新增文字或挑选喜欢的配乐以搭配整合后的影片，以增加社群互动。

在说明完本发明的系统架构后，接下来请配合参照图1与图2，详细说明本发明的影像的编排顺序的方法，首先请参步骤S10，首先终端机14接收一第一装置10的多个第一影像，以及每一张第一影像的拍摄时间信息与第一拍摄位置定位信息，终端机14在接收第一影像时，同时判断第一影像的画面，当画面有不清晰的情况，如画面模糊、对焦不良，或者第一影像中的人物有鬼脸的状况，如闭眼、白眼或斜脸型等状态时，终端机14就可以将具有上述这些状态的第一影像从终端机14中删除，避免终端机14中留存这些不清晰的照片。接着请参照步骤S12，终端机14根据每一拍摄时间信息的拍摄顺序的时间排列多个第一影像，先被拍摄产生的第一影像就会被排列在最前面，依据时间顺序先后依序排列第一影像，以最开始时间的第一拍摄位置定位信息的地点作为起头的地点，最后一个时间的第一拍摄位置定位信息则为终点。

终端机14将第一影像依据时间排列完成后，请参照步骤S14，终端机14再接收第二装置12中的至少一第二影像，本实施例举例第二装置12中传递多个第二影像到终端机14中，第二装置12并传递每一第二影像的第二拍摄定位信息到终端机14。同时终端机14也可以判断第二影像的画面，当画面有不清晰的情况，如画面模糊、对焦不良，或者第二影像中的人物有鬼脸的状况，如闭眼、白眼或斜脸型等状态时，终端机14就可以将具有上述这些状态的第二影像从终端机14中删除，避免终端机14中留存这些不清晰的照片；除此以外，终端机14更可在接收第二影像的步骤后，以拍摄顺序时间排列第一影像所形成的一时间拍摄路径为基准，以比对每一张第二影像的第二拍摄定位信息与拍摄路径距离超过一距离设定值时，即可将第二影像终端机14中删除，避免终端机14中留存这些离群值(outlier)影像，可降低使用者在观看影像时因地点明显不同所造成的突兀感。

接下来如步骤S15所示，终端机14根据第二影像的第二拍摄定位信息以及每一第一影像的第一拍摄定位信息，例如透过最小移动距离的计算方式将第二影像与空间最接近的多个第一影像排列，也就是说第二影像会选择距离最接近的第一影像，以作为连线排序。接着进入步骤S16，终端机14再撷取多个第一影像的多个第一拍摄定位信息，以及多个第二影像的多个第二拍摄定位信息，将具有相同地理空间的第一影像与第二影像归类为同一范围群组，其中将第一影像与第二影像归类为同一范围群组的步骤将相邻的第一影像的第一拍摄定位信息或第二影像的第二拍摄定位信息相减产生距离信息，当相减的第一影像的第一拍摄定位信息或第二影像的第二拍摄定位信息所产生的距离信息小于一预设距离时，表示这两个相减的第一影像与第二影像属于同一范围群组即可进入下列步骤S17。其中上述的预设距离的设定，由于空旷地点的景物大略都会长的一致，因此一般来说空旷草原区域所设的预设距离一般会等于或大于城市街道。举例来说，空旷地区如中国新疆的塞里木湖区域的预设距离，则可设为1,000米，而城市街道如中国新疆的乌鲁木齐市区预设距离，则设为500米即可。

将第一影像与第二影像分类成不同的范围群组后，进入步骤S17，以比对每一范围群组内第一影像与第二影像的静物背景，将具有相同静物背景的第一影像或第二影像归类为同一背景群组，其中静物背景可为物品、建筑、纹路或景物，如道路、湖泊、山脉、电线杆、明显地标等。最后进入步骤S18，将每一背景群组内的第一影像与第二影像由大范围背景到小范围背景，或小范围背景到大范围背景排列，本实施例举例系由大范围到小范围排序。其中大范围背景与小范围背景系根据影像的画面中的静物背景数量来判断，拥有较多静物背景的影像可即判断为大范围背景，较少静物背景的则可判断为小范围背景。

最后进入步骤S19，依据撷取每一背景群组中海拔高度最高的第一拍摄定位信息或第二拍摄定位信息，以成为代表背景群组的一代表高度信息，并根据每一背景群组的代表高度信息由海拔高度最高的背景群组排列到最低的背景群组，但若发现二背景群组代表高度信息的海拔高度相同时，则撷取背景群组中早的拍摄时间信息做为每一背景群组的代表，再根据拍摄时间信息将二背景群组的拍摄顺序先后排列。以拍摄影像而言，一般越高的高度所拍出的静物背景会越多，如空照图所拍出的静物背景会越多，因此以海拔高度作为排序的条件更能有效整合影像排序。因此，通过上述的方法即可使前后连续影像内容和谐且具有连续感。

终端机14在根据上述方法编排第一影像与第二影像后，还可将排列好的第一影像与第二影像编辑为多个播放影像，以成为可播放的一播放影片。请配合参照图1、图3、图4至图7以及图8，以说明本发明的播放步骤，首先进入步骤S20，终端机14先提供播放影像20的全景画面，在第一装置10或第二装置12的显示荧幕显示。接着进入步骤S21并配合参照图4，终端机14在播放影像20上撷取与下一张播放影像的交集范围22，其中交集范围22为具有相同静物背景的范围。接着进入步骤S22，终端机14判断交集范围22占张播放影像20的比例是否大于一比例值，若否，则进入步骤S24，可直接在播放影像20后直接播放下一张播放影像20’；但若是，则进入步骤S26并配合参照图4与图8，逐渐放大影像画面(Zoom in)至播放影像20上交集范围22，此时终端机14可调整播放影像20的交集范围22，以及下一张播放影像20’的交集范围22’的播放面积，以符合一播放荧幕的长宽比后，再移动至播放影像20上的交集范围22的中心点A，也就是说如的图5所示，终端机14会调整交集范围22，直到交集范围22占满播放荧幕的画面。其中播放影像20的交集范围22占播放影像的比例越小，移动至交集范围22的中心点时间当然相对的就越长。再者，上述判断交集范围22占播放影像20的比例值时，更可作为终端机14在判断逐渐放大(Zoom in)交集范围22的比例，可避免交集范围的影像放的太大时，因分辨率不良所造成的影像失真等情形。请持续参照步骤S26并配合参照图5以及图8，逐渐放大(Zoom in)播放影像的交集范围到只显示播放影像20的交集范围22的画面，如播放影像在第一装置10播放时，其交集范围22会就刚好符合第一装置10的显示荧幕的长宽比，使交集范围的画面占满第一装置10的显示荧幕；当然在放大交集范围22的同时，会同时配合旋转交集范围22的角度，使交集范围22的角度与下一张播放影像20’的交集范围22’角度相同。

最后进入步骤S28并配合参照图6以及图8，将画面跳转至显示下一张播放影像20’的交集范围22’，并参照图7以及图8，移动至下一张播放影像20’的全景画面的中心点，在这个过程中会同时逐渐缩小(Zoom out)下一张播放影像20’的交集范围22’直到整个荧幕的画面呈现出下一张播放影像20’的全景画面，接着再播放下一张播放影像20”，其播放方式与上述相同故不重复列出。其中下一张播放影像20’的交集范围22’占下一张播放影像20’的比例越小，转换成全景画面的时间就越长，例如交集范围22’的比例占播放影像20’全景画面的80％时，转换成全景画面的时间约为1.25秒，若交集范围22’的比例占播放影像20’全景画面的90％时，转换成全景画面的时间则为1.11秒，时间相对来说较少。

除此以外，请参照图9，本实施例更可产生一影像播放路径轴24到播放影片26中，其可显示在播放影片26的画面中，或者如图9所示，如同一般播放装置影片的时间轴相同，在播放影片26画面中显示。当使用者点选影像播放路径轴24中的地点时，即可播放对应地点的播放影像，可以帮助使用者得知目前的播放影像是在哪个地点拍摄，有利于网络上的社群朋友能快速了解拍摄地点。其中影像播放路径轴24通过过播放影像的第二拍摄定位信息与第一拍摄定位信息的排序所产生的一移动路径，它也可以利用一回归分析法例如最小平方法、移动平均法或最大概似法等，平滑同一范围群组内的第一拍摄定位信息与第二拍摄定位信息，平滑范围群组内移动路径的曲线，能使路径平滑，减少锯齿状，利观看影片者点选操作。

综上所述，本发明可组合多部装置中的影像，同时依据每张影像的位置定位信息以及静物背景，将多部装置中的影像进行排序，透过静物背景排序可降低摄影装置间的各种定位量测误差，能使最后的整合的影片，提高播放内容的连贯性，且降低播放影片时因背景变化大所造成的残影，且可依据影像与下一张影像的角度与比例范围调整影像播放角度与播放时间，以降低播放影片时因前后两个影像有倾斜角度以及不同影像的播放时间不同让各个影像播放时间更丰富化，除此以外，还可以增设一影像播放路径轴到播放影片中，帮助使用者根据旅游地点选择所欲浏览的影像。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多重影像来源的处理方法，其特征在于，包括下列步骤：

接收一第一装置的多个第一影像与每一所述第一影像的拍摄时间信息以及第一拍摄定位信息；

根据每一所述拍摄时间信息的拍摄顺序时间排列所述多个第一影像；

接收至少一第二装置的至少一第二影像与所述第二影像的第二拍摄定位信息；

根据所述第二影像的所述第二拍摄定位信息以及每一所述第一影像的所述第一拍摄定位信息，将所述第二影像与地理空间最接近的所述第一影像排列；

将所述第一影像的所述第一拍摄定位信息与相邻的所述第二影像的所述第二拍摄定位信息或所述第一拍摄定位信息相减，用于产生距离信息，当相邻的所述第一影像或所述第二影像的所述距离信息小于一预设距离，则归类成同一范围群组；

比对每一所述范围群组内所述第一影像与所述第二影像的静物背景，将具有相同所述静物背景的所述第一影像或所述第二影像归类为同一背景群组；以及将每一所述背景群组内的所述多个第一影像与所述第二影像由大范围背景到小范围背景，或小范围背景到大范围背景排列。

2.根据权利要求1所述的一种多重影像来源的处理方法，其特征在于，在接收所述第二影像步骤后，以所述拍摄顺序时间排列所述多个第一影像所形成的一时间拍摄路径为基准，以比对所述第二影像的所述第二拍摄定位信息与所述拍摄路径距离超过一距离设定值时，可将所述第二影像删除。

3.根据权利要求1所述的一种多重影像来源的处理方法，其特征在于，还包括在每一所述范围群组内撷取每一所述背景群组中海拔高度最高的所述第一拍摄定位信息或所述第二拍摄定位信息，以成为代表所述背景群组的一代表高度信息，在同一所述范围群组内并根据每一所述背景群组的所述代表高度信息由海拔高度最高的所述背景群组排列到最低的该背景群组，但若至少二该背景群组的所述代表高度信息的海拔高度相同时，则以所述背景群组的拍摄顺序时间的先后排列。

4.根据权利要求1所述的一种多重影像来源的处理方法，其特征在于，其中所述静物背景为物品、建筑、纹路或景物。

5.根据权利要求1所述的一种多重影像来源的处理方法，其特征在于，还包括将所述多个第一影像与所述第二影像的排列顺序依序组成多个播放影像，成为可播放的播放影片，用来播放所述播放影片，其中播放所述播放影片的步骤包括：

显示播放影像的全景画面；

在所述播放影像上撷取与下一张播放影像具有相同所述静物背景的交集范围；

判断所述交集范围占所述播放影像的比例是否大于一比例值：

若否，直接播放所述下一张播放影像；若是，进入下一步骤；

逐渐放大所述播放影像的所述交集范围，直到只显示所述播放影像的所述交集范围的画面；以及

显示所述下一张播放影像的所述交集范围，并移动至所述下一张播放影像的全景画面的中心点的过程中，逐渐缩小所述下一张播放影像的画面，直到只显示所述下一张播放影像的所述全景画面。

6.根据权利要求5所述的一种多重影像来源的处理方法，其特征在于，在移动到所述播放影像上的所述交集范围的中心点的步骤前，调整所述播放影像的所述交集范围以及所述下一张播放影像的所述交集范围的播放面积，用于符合播放荧幕的长宽比。

7.根据权利要求5所述的一种多重影像来源的处理方法，其特征在于，所述播放影像的所述交集范围占所述张播放影像的比例越小，移动到所述交集范围的时间就越长。

8.根据权利要求5所述的一种多重影像来源的处理方法，其特征在于，所述下一张播放影像的所述交集范围占所述下一张播放影像的比例越小，转换成全景画面的时间就越长。

9.根据权利要求1所述的一种多重影像来源的处理方法，其特征在于，还包括将所述多个第一影像与所述第二影像的排列顺序依序组成多个播放影像，成为可播放的播放影片，用于播放所述播放影片后，产生影像播放路径轴到所述播放影片中，当点选所述影像播放路径轴中的地点时，播放对应所述地点的所述播放影像，所述影像播放路径轴是根据每一所述播放影像的所述第一拍摄定位信息与所述第二拍摄定位信息依序产生的移动路径。

10.根据权利要求9所述的一种多重影像来源的处理方法，其特征在于，所述影像播放路径轴是透过所述播放影像的所述第二拍摄定位信息与所述第一拍摄定位信息的排序所产生的一移动路径，并利用一回归分析法平滑同一所述范围群组内的所述第一拍摄定位信息与所述第二拍摄定位信息，使所述移动路径的曲线平滑。