CN104424262B - 相关影像搜寻方法以及使用者界面控制方法 - Google Patents

Abstract

本发明揭露一种相关影像搜寻方法以及使用者界面控制方法。相关影像搜寻方法用于搜寻数据库中的多个影像文件，相关影像搜寻方法包含：根据触控输入事件由显示影像中选取目标内容区域；分析目标内容区域的内容特征；判断内容特征的意义属性；以及，根据内容特征及该意义属性搜寻数据库，以找出数据库中具有相同的内容特征或具有相同的意义属性的至少一影像文件。

Description

相关影像搜寻方法以及使用者界面控制方法

技术领域

本发明是有关于一种影像搜寻方法，尤指一种动态搜寻相关影像的方法与其使用者界面。

背景技术

在现代人繁忙紧凑的生活当中，凡事讲求便利与效率俨然已经成为一种十分普遍的生活习惯。以手机、平板电脑或个人数字助理等手持装置为例，除了必须同时兼具功能强大、操作简便及体型轻巧等特点之外，使用者多半还会希望能在电子装置智能地判断使用者的欲执行所需要的功能，并回报相关的信息。对于使用者较常使用的功能(例如检视手机或平板电脑上所储存的照片或影片)更是重要。

近来，手机或平板电脑上的相机的功能已十分成熟装置上的实体/云端储存空间快速增加，使用者已十分习惯利用手持装置来拍照、管理照片并检阅过去的拍照内容(例如寻找自己的独照、家人/朋友的照片、某旅游地点的旅游照片、与宠物的合照等)。然而，手持装置上的数据分类及检索功能较弱，经常会遇到使用者要寻找一张以往的旧照片需要在同一数据夹中长时间上下/左右卷动显示视窗来寻找目标文件。

另一方面，相较传统的桌上型电脑，手持装置上的显示界面通常较小，用以预览影像文件的缩图尺寸也相对较小，使用者在寻找自己有兴趣的目标影像时，很难从画面中大量且小尺寸的缩图中有效率地分辨哪些文件才是自己要寻找的文件。

发明内容

一般而言，目前使用者大都是利用手指或触控笔与触控感应装置之间所产生的接触或感应行为来进行点选动作，若使用者在操作手持装置浏览影像能动态指定自己感兴趣的内容，且电子装置能快速搜寻本身的影像数据库，并且快速地显示相关的影像文件内容，势必能提高手持装置在使用上的便利性。

本发明的目的在于提供一种相关影像搜寻方法以及使用者界面控制方法。

本发明的一方面是在提供一种相关影像搜寻方法，用于搜寻数据库中的多个影像文件，相关影像搜寻方法包含：根据一触控输入事件由一显示影像中选取一目标内容(context-of-interest,COI)区域；分析该目标内容区域的一内容特征；判断该内容特征的一意义属性；以及，根据该内容特征及该意义属性搜寻该数据库，以找出该数据库中具有相同的该内容特征或具有相同的该意义属性的至少一影像文件。

根据本发明的一实施例，相关影像搜寻方法还包含：分析该数据库中的这些影像文件，以找出这些影像文件中的多个已知内容特征；根据这些已知内容特征建立多个已知内容特征标签；以及，根据这些影像文件的内容各自具有的已知内容特征，储存这些影像文件各自对应的已知内容特征标签。

根据本发明的一实施例，分析该目标内容区域的该内容特征的步骤后，相关影像搜寻方法还包含：判断该内容特征是否符合这些已知内容特征标签所对应的这些已知内容特征；以及，若该内容特征符合其中一个已知内容特征，利用与其对应的其中一个已知内容特征标签搜寻该数据库，以找出该数据库中具有相同的该已知内容特征标签的至少一影像文件。

根据本发明的一实施例，在根据该触控输入事件选取该目标内容区域的步骤中，该触控输入事件包含多个触控点或一触控轨迹，相关影像搜寻方法还包含：根据该触控输入事件的这些触控点或该触控轨迹，于由该显示影像中同时选取一第一目标内容区域以及一第二目标内容区域；分析该第一目标内容区域的一第一内容特征以及该第二目标内容区域的一第二内容特征；判断该第一内容特征的一第一意义属性以及该第二内容特征的一第二意义属性；以及，根据该第一内容特征、该第一意义属性、该第二内容特征以及该第二意义属性所形成的一逻辑集合搜寻该数据库，以找出该数据库中具有相同的该逻辑集合的至少一影像文件。

根据本发明的一实施例，逻辑集合为第一内容特征、第一意义属性、第二内容特征以及第二意义属性的交集集合、联集集合或差集集合。

根据本发明的一实施例，内容特征为特定人物、特定物品、特定地点、特定场景或特定宠物。

根据本发明的一实施例，内容特征是根据演算法组合所判断的结果，演算法组合为脸部辨视演算法、物件辨视演算法、场景辨视演算法以及宠物辨视演算法其中至少一者所组成的演算法组合。

根据本发明的一实施例，内容特征所判断的意义属性包含人物类别、物品类别、地点类别、背景类别以及宠物类别中至少一者。

根据本发明的一实施例，其中根据内容特征及意义属性搜寻数据库的步骤中，相关影像搜寻方法还包含：优先寻找该数据库中具有相同的该内容特征的至少一影像文件；以及，若无法找到具有相同的该内容特征的影像文件，则寻找具有相同的该意义属性的至少一影像文件。

本发明的另一方面是在提供一种使用者界面控制方法，包含：展示一显示影像；基于该显示影像利用前述揭示内容的相关影像搜寻方法，得到与该显示影像相关的该至少一影像文件；以及，展示该至少一影像文件。

附图说明

为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图的说明如下：

图1绘示根据本发明的一实施例中一种相关影像搜寻方法的方法流程图；

图2绘示于一实际应用例中显示影像的示意图；

图3绘示于图1实施例的相关影像搜寻方法的进一步流程方块图；

图4绘示根据本发明的另一实施例中一种相关影像搜寻方法的方法流程图；

图5绘示于另一实际应用例中显示影像的示意图；

图6绘示根据本发明的一实施例中相关影像搜寻方法进一步建立已知内容特征的方法流程图；以及

图7绘示根据本发明的一实施例中一种使用者界面控制方法的方法流程图。

具体实施方式

以下将以附图揭露本发明的多个实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明部分实施方式中，这些实务上的细节是非必要的。此外，为简化附图起见，一些已知惯用的结构与元件在附图中将以简单示意的方式绘示。

请参阅图1，其绘示根据本发明的一实施例中一种相关影像搜寻方法的方法流程图。如图所示，本发明所提出的相关影像搜寻方法首先执行步骤S100，根据触控输入事件由显示影像中选取目标内容(context-of-interest,COI)区域。

以下举一个实际应用例进行说明，请一并参阅图2，其绘示于此实际应用例中显示影像100的示意图。实际应用中，显示影像100可为显示在一个电子装置上的影像内容，例如当使用者透过手机拍摄了一个新的影像、或是使用者观看手机上相片库中的既有影像时电子显示器上所呈现的显示影像100。

透过电子装置的触控输入界面(如电阻式触控感应、电容式触控感应、光学式触控感应、声波式触控感应等)，使用者可在显示影像100的范围中特定位置上形成触控输入事件。在画面上不同位置形成触控输入事件为已知触控输入的常见做法，故在此不详述。

于此实施例中，在显示影像100范围内所形成触控输入事件可为触控点或触控轨迹，如图2中所示的触控输入事件为触控点Ta,Tb，而触控输入事件为触控轨迹Tc,Td，步骤S100根据触控输入事件(Ta,Tb,Tc或Td)由显示影像中选取目标内容区域COIa,COIb,COIc或COId。

本发明中的相关影像搜寻方法用于搜寻具有多个影像文件的数据库，用以找出数据库内与使用者选定的目标内容区域COIa,COIb,COIc或COId相关的影像文件。也就是说，使用者可以动态由显示影像100中指定自己感兴趣的部份，透过相关影像搜寻方法自动由数据库(例如电子装置的数字相本、相片储存数据夹、多媒体数据夹或影像储存空间)中检索得到关联的其他影像文件。

举例来说，使用者用手指点选触控点Ta的触控点位置时，便由显示影像100中选取目标内容区域COIa；使用者用手指点选触控点Tb的触控点位置时，便由显示影像100中选取目标内容区域COIb；依此类推。

接着，执行步骤S120分析目标内容区域COIa,COIb,COIc或COId的内容特征。步骤S120分析目标内容区域COIa,COIb,COIc或COId的内容特征可是根据演算法或多个演算法的组合所判断的结果。

举例来说，演算法可为脸部辨视演算法，当触控输入事件为Ta时，便由显示影像100中选取目标内容区域COIa，目标内容区域COIa的内容特征为一个特定人物面孔(如此例中的特定成年男性)。当触控输入事件为Tb时，便由显示影像100中选取目标内容区域COIb，目标内容区域COIa的内容特征为另一个特定人物面孔(如此例中的戴眼镜的小孩)。但本发明中的目标内容区域的内容特征并不以特定人物为限，演算法亦不以脸部辨视演算法为限。

于一实施例中，内容特征可为特定人物、特定物品、特定地点、特定场景或特定宠物。此外步骤S120所得的内容特征是根据演算法组合所判断的结果，演算法组合为脸部辨视演算法、物件辨视演算法、场景辨视演算法以及宠物辨视演算法其中至少一者所组成的演算法组合。

如图2的实际应用例，当触控输入事件为触控轨迹Tc时，便由显示影像100中选取目标内容区域COIc，目标内容区域COIc的内容特征为一特定地点(如此例中的特定高山)。当触控输入事件为触控轨迹Td时，便由显示影像100中选取目标内容区域COId，目标内容区域COId的内容特征为特定场景(如此例中的晴天场景)。

接着，执行步骤S140，判断内容特征的意义属性。其中，上述步骤S120目标内容区域COIa,COIb,COIc或COId所判断的内容特征通常分析为特定人物、特定物品、特定地点、特定场景或特定宠物，其影像分析上具有特定性。步骤S140进一步判断上述内容特征的意义属性。

例如，步骤S120分析得知目标内容区域COIa的内容特征为一个某位特定人物的面孔，步骤S140可进一步判断得到其意义属性为非特定男性、非特定成年人或非特定人物面孔等。

步骤S120分析得知目标内容区域COIb的内容特征为一个某位特定人物的面孔，步骤S140可进一步判断得到其意义属性为非特定小孩、非特定戴眼镜人物或非特定人物面孔等。

步骤S120分析得知目标内容区域COIc的内容特征为一特定地点，步骤S140可进一步判断得到其意义属性为非特定高山或非特定户外地点。

也就是说，于此实施例中步骤S140中由内容特征所判断的意义属性可包含人物类别、物品类别、地点类别、背景类别以及宠物类别中至少一者。

接着，执行步骤S160，根据内容特征及意义属性搜寻数据库，借此，以找出该数据库中具有相同的内容特征或具有相同的意义属性的至少一影像文件。

此外，请一并参阅图3，其绘示于图1实施例的相关影像搜寻方法的进一步流程方块图。如图3所示，本实施例所示的相关影像搜寻方法进行步骤S160根据内容特征及意义属性搜寻数据库后，进一步执行步骤S161，优先寻找数据库中具有相同的内容特征的影像文件。若步骤S161无法找到目标文件时，例如无法找到具有相同的内容特征的影像文件时(或是于其他实施例中可根据使用者的指示决定是否已找到使用者的目标文件，或是由系统本身设定继续执行步骤S162)，继续执行步骤S162。

通过步骤S162寻找具有相同的意义属性的影像文件。如此一来，可由步骤S161优先找出相关性较高(即内容特征相同)的搜寻结果，当搜寻结果未能找到使用者实际想找的文件时，再由步骤S162进一步寻找较广泛的搜寻范围。

此外，在上述实施例及图1与图3所示的相关影像搜寻方法主要描述依触控输入事件由显示影像100中选取单一个目标内容区域，进而进行后续搜寻，但本发明并不以此为限。于其他实施例中，触控输入事件可包含同时包含多个触控点或圈选范围较大的触控轨迹，多个触控点或较大的触控轨迹可同时指定两个以上的目标内容区域。

请一并参阅图4以及图5，图4绘示根据本发明的另一实施例中一种相关影像搜寻方法的方法流程图，图5绘示于一实际应用例中显示影像400的示意图。根据该触控输入事件选取该目标内容区域的步骤中，触控输入事件同时包含多个触控点(例如同时包含图5中的触控点Ta及Tb)，此时步骤S400可根据触控输入事件的两个触控点，于由显示影像400中同时选取第一目标内容区域以及第二目标内容区域(如COIa与COIb)。

或是另一方面，触控输入事件包含一个圈选范围较大的触控轨迹(例如图5中的触控轨迹Tc)，此时步骤S400亦可根据触控输入事件的触控轨迹Tc，于由显示影像400中同时选取第一目标内容区域以及第二目标内容区域(如COIa与COIb)。

但本发明并不以此选取目标内容区域COIa与COIb为限，实际应用中，可根据使用者感兴趣的内容同时选取多个目标内容区域，作为后续的检索条件。

接着，执行步骤S420，分析第一目标内容区域的第一内容特征以及第二目标内容区域的第二内容特征。执行步骤S440，判断该第一内容特征的一第一意义属性以及该第二内容特征的一第二意义属性。其中，于此实施例中步骤S420与S440的运作方式大致与先前实施例中的步骤S120与S140相似，不同之处仅在于同时对影两个(或两个以上的)目标内容区域进行分析与判断。

接着，执行步骤S460，根据第一内容特征、第一意义属性、第二内容特征以及第二意义属性所形成的逻辑集合搜寻数据库，以找出数据库中具有相同的逻辑集合的影像文件。逻辑集合为第一内容特征、第一意义属性、第二内容特征以及第二意义属性的交集集合、联集集合或差集集合。

以图5的例子来举例，当第一目标内容区域以及第二目标内容区域分别为COIa与COIb时，第一目标内容区域COIa的内容特征为一个某位特定人物的面孔(某甲)，其意义属性为非特定男性、非特定成年人或非特定人物面孔等；目标内容区域COIb的内容特征为另一个特定人物的面孔(某乙)，其意义属性为非特定小孩、非特定戴眼镜人物或非特定人物面孔等。

步骤S460可根据第一内容特征、第一意义属性、第二内容特征以及第二意义属性所形成的逻辑集合找出多种的检索结果，例如：某甲与某乙的合照(第一内容特征与第二内容特征的交集集合)、有某甲且没有某乙的照片(第一内容特征与第二内容特征的差集集合)、有某甲或某乙的照片(第一内容特征与第二内容特征的联集集合)、某甲与非特定小孩的合照(第一内容特征与第二意义属性的交集集合)、某甲与非特定戴眼镜人物的合照(第一内容特征与第二意义属性的交集集合)、非特定成年男性与某乙的合照(第一意义属性与第二内容特征的交集集合)等。

此外，依此类推，透过图4所示的相关影像搜寻方法，亦可用来找出某甲在特定地点(特定高山)上的照片、某甲与特定物品的照片、某甲与非特定女性的合照、非特定女性的独照等。上述搜寻结果可透过步骤S400选取各种不同的目标内容区域，并设定多个目标内容区域之间不同的逻辑集合加以完成。

此外，上述实施例(如图1、图3与图4的实施例)中的相关影像搜寻方法并不限于每一次检索时，都动态地将目标内容区域的内容特征/意义属性与数据库中所有已存在影像文件的内容特征/意义属性进行比对，如此一来会浪费大量的运算时间以及运算资源。

因此，上述实施例相关影像搜寻方法可进一步包含建立已知内容特征的流程，请参阅图6，其绘示根据本发明的一实施例中相关影像搜寻方法进一步建立已知内容特征的方法流程图。

如图6所示，图1、图3与图4的实施例中的相关影像搜寻方法的实施例中，可进一步执行步骤S601，分析数据库中所储存的多个影像文件，以找出这些影像文件各自的多个已知内容特征。接着执行步骤S602，根据上述的已知内容特征建立多个已知内容特征标签。接着执行步骤S603，根据影像文件的内容各自具有的已知内容特征，储存影像文件各自对应的已知内容特征标签。

如此一来，数据库中已存在的现有影像文件已各自具备相对应的已知内容特征标签。接着，便可进行步骤S604，根据触控输入事件由显示影像中选取目标内容区域(可参照先前实施例中步骤S100、S400)，接着便执行步骤S620分析目标内容区域的内容特征(可参照先前实施例中步骤S100、S400)。

当完成分析目标内容区域的内容特征的步骤S620后，还包含执行步骤S630，判断内容特征是否符合这些已知内容特征标签所对应的这些已知内容特征。

若步骤S630判断得到，目标内容区域的内容特征符合其中一个已知内容特征，便执行步骤S640，利用与其对应的其中一个已知内容特征标签搜寻该数据库，以找出数据库中具有相同的已知内容特征标签的影像文件。

如此一来，透过已知内容特征的目标内容区域的内容特征的比对，可跳过逐一比对数据库中所有影像文件的内容的繁复运算，直接将具有相同的已知内容特征标签的影像文件找出，作为检索结果，借此可有效降低影像运算的负荷。

另一方面，若步骤S630判断目标内容区域的内容特征未符合任一个已知内容特征，则可进行步骤S640与步骤S660(可参见先前实施例的步骤S140、S160、S440、S460)。

此外，请参阅图7，其绘示根据本发明的一实施例中一种使用者界面控制方法的方法流程图。如图所示，使用者界面控制方法首先执行步骤S701，在使用者界面上展示一幅显示影像。接着，执行步骤S702，基于显示影像利用上述各实施例中所揭露的相关影像搜寻方法(请参照先前实施例各段落以及图1至图6所示的相关影像搜寻方法)，搜寻数据库中的其他影像文件，得到与显示影像相关的影像文件。执行步骤S703，展示基于相关影像搜寻方法所搜寻到的影像文件。

综上所述，本发明揭露了一种相关影像搜寻方法及采用此方法的使用者界面控制方法，当使用者在电子装置上浏览影像时能透过使用者界面(如触控输入面板)动态指定自己感兴趣的内容，且电子装置能快速搜寻本身的影像数据库，并且快速地显示数据库中相关的影像文件内容，进而提高使用上的便利性，并可让使用者方便的找到较相关的/可能感兴趣的其他影像文件内容。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (7)

1.一种相关影像搜寻方法，其特征在于，用于搜寻一数据库中的多个影像文件，该相关影像搜寻方法包含：

根据一触控输入事件由一显示影像中选取一目标内容区域，该触控输入事件包含多个触控点或一触控轨迹；

分析该目标内容区域的一内容特征；该内容特征为一特定人物、一特定物品、一特定地点、一特定场景或一特定宠物，且是根据一演算法组合所判断的结果，该演算法组合为一脸部辨视演算法、一物件辨视演算法、一场景辨视演算法以及一宠物辨视演算法其中至少一者所组成的演算法组合；

判断该内容特征的一意义属性；以及

根据该内容特征及该意义属性搜寻该数据库，以找出该数据库中具有相同的该内容特征或具有相同的该意义属性的至少一影像文件；该相关影像搜寻方法还包含：

根据该触控输入事件的这些触控点或该触控轨迹，由该显示影像中同时选取一第一目标内容区域以及一第二目标内容区域；

分析该第一目标内容区域的一第一内容特征以及该第二目标内容区域的一第二内容特征；

判断该第一内容特征的一第一意义属性以及该第二内容特征的一第二意义属性；以及

根据该第一内容特征、该第一意义属性、该第二内容特征以及该第二意义属性所形成的一逻辑集合搜寻该数据库，以找出该数据库中具有相同的该逻辑集合的至少一影像文件。

2.根据权利要求1所述的相关影像搜寻方法，其特征在于，还包含：

分析该数据库中的这些影像文件，以找出这些影像文件中的多个已知内容特征；

根据这些已知内容特征建立多个已知内容特征标签；以及

根据这些影像文件的内容各自具有的已知内容特征，储存这些影像文件各自对应的已知内容特征标签。

3.根据权利要求2所述的相关影像搜寻方法，其特征在于，分析该目标内容区域的该内容特征的步骤后，还包含：

判断该内容特征是否符合这些已知内容特征标签所对应的这些已知内容特征；以及

若该内容特征符合其中一个已知内容特征，利用与其对应的其中一个已知内容特征标签搜寻该数据库，以找出该数据库中具有相同的该已知内容特征标签的至少一影像文件。

4.根据权利要求1所述的相关影像搜寻方法，其特征在于，该逻辑集合为该第一内容特征、该第一意义属性、该第二内容特征以及该第二意义属性的一交集集合、一联集集合或一差集集合。

5.根据权利要求1所述的相关影像搜寻方法，其特征在于，该内容特征所判断的该意义属性包含一人物类别、一物品类别、一地点类别、一背景类别以及一宠物类别中至少一者。

6.根据权利要求1所述的相关影像搜寻方法，其特征在于，根据该内容特征及该意义属性搜寻该数据库的步骤中，该相关影像搜寻方法还包含：

优先寻找该数据库中具有相同的该内容特征的至少一影像文件；以及

若无法找到具有相同的该内容特征的影像文件，则寻找具有相同的该意义属性的至少一影像文件。

7.一种使用者界面控制方法，其特征在于，包含：

展示一显示影像；

基于该显示影像利用一种如权利要求1至6所述的相关影像搜寻方法，得到与该显示影像相关的该至少一影像文件；以及

展示该至少一影像文件。