CN109074369B - 用于基于图像的对象识别的图像特征组合 - Google Patents

Abstract

本发明为一种用于基于图像的对象识别的图像特征组合。本发明的方法包括：通过生成计算机自对象的第一图像产生合成图像，合成图像为预测出现于第二图像撷取状态下，第二图像撷取状态为不同于与对象的第一影像相关联的第一影像撷取状态；通过推导电脑以利用特征侦测算法从合成图像推导出第二组图像特征；于特征组合装置处得到从第一图像推导得的第一组图像特征；于特征组合装置处指定包括第一组图像特征及第二组图像特征的组合特征集；以及链接组合特征集及元数据来辨识该对象，藉以储存在用来作为计算机对象识别检索的电子数据库内。

Description

用于基于图像的对象识别的图像特征组合

技术领域

本发明涉及一种基于图像的对象识别。

背景技术

现今各种特征检测算法已被用于基于图像的对象识别上。在最基础的层面上，特征检测算法是一种为了基于图像的对象识别、搜索和检索的目的，而对图像的区分特征(例如形状、对象等)提供表征、总结和索引等手段的描述符。其中一个基于图像的对象识别的特征检测算法的实施例是尺度不变特征转换(SIFT)特征检测算法，就如同Lowe于美国专利号US 6,711,293中所述。举例来说，SIFT特征检测算法可以应用于图像以生成该图像内具有许多特征的描述符。

基于机器的对象识别通常包括两个不同的步骤。首先，使用产生与图像数据中的特征有相关联的描述符的特征检测算法(例如SIFT特征检测算法)来分析已知对象的训练图像。与许多不同对象相关联的描述符可被包装成用在识别设备(例如智能型手机)中设置的识别库或数据库内。与已知对象相关联的图像及/或描述符数据有时在本说明书中被称为「文件图像」。其为指任何图像信息的卷标，例如与已知对象有相关联的特征描述符。第二，该识别装置撷取一对象的一新「查询」图像。该识别装置对该查询图像使用相同的图像处理算法，藉以生成查询图像描述符。然后，该识别装置将该查询图像描述符与识别库中的训练图像描述符进行比较。如果有足够的匹配度，通常是最相近的匹配，则查询图像为被认为包括至少一个已知对象。

发明内容

尽管最佳识别算法旨在对横跨一个或多个图像参数下仍可维持不变，但实际上计算出的特征描述符会根据照明、方向和其他因素而有变化。这对于要获得准确、快速的识别造成了挑战，因为包括特定对象的查询图像可能在有将图像特征存储在对象识别数据库中的同一对象的图像在不同的条件下被撷取。因此，相同的特征描述符可能会因为在不同条件下对同一对象的不同图像进行撷取而具有不同的值。目前为将相同的已知对象的不同图像存储在相同的对象识别数据库中，不同的图像为指已知对象在不同条件下被撷取的情况，例如照明、方向等。本案发明人认为为了获得反映相同对象的各种潜在撷取条件的对象识别数据库的优点，相同的对象不需要具有不同的撷取图像。本案发明人认为，用于合成地生成变化的多个图像的现有技术可以用于填充图像识别数据库中的对象模型，该多个图像为对应到与图像撷取相关联的条件中的现实世界的可能变化。

因此，本发明的一些实施例中为包括使用已知对象的第一图像(本文也称为文件图像)来生成一个或多个已知对象的其它文件图像的方法、系统和制品，其为通过一种或多种使第一文件图像可合成生成图像的技术来实现。一个或多个合成生成的其他文件图像为对应于可以撷取到的潜在查询图像的各条件的不同变化。该些变化的例子包括但不限于照明条件的变化(例如由时间变化及/或天气变化引起的)和有利位置的变化(即从不同视角拍摄的同一对象的图像)。某些变化可能是特定的对象脉络。举例来说，在医学图像的对象脉络中，组织密度的变化可能影响相同已知对象的不同图像。其变化还可以包括图像模态的变化(例如，X射线、MRI、断层扫描、超音波等)。从已知对象的初始图像提取的特征和从一个或多个合成地生成的图像提取的特征为与其位置一起存储，以作为已知对象的一共同模型的一部分。在较佳实施例中，合成生成的文件图像中的特征的位置为与初始文件图像中的特征的位置在相同的坐标系统中表示，其初始文件图像的该合成文件图像不需要执行几何变换就可生成。

本发明人亦认为，当相同已知对象的两个或多个独立撷取的文件图像可使用时，可以通过将多个图像的特征的位置变换为公共坐标系的方式来提高图像识别检索的有效性。因此，在本发明的其他实施例中，从多个撷取的文件图像中提取的特征的位置为被变换成与多个文件图像的一有相关联的坐标系统。该提取的特征及其在该共同坐标系统中的位置为被存储为已知对象的模型的一部分。这可以提高现有图像检索或识别技术在某些方面的准确性，例如几何验证。

本发明的标的的各式实施方式将于以下说明书以及附图中明确说明，其中相同的图式标号为代表相同的组件。

附图说明

图1为本发明在图像识别网络的对象脉络中的特征组合装置的一实施例的示意图。

图2为本发明的已知对象的撷取第一文件图像及合成生成的第二文件图像的示意图。

图3为本发明的特征组合装置与一个或多个图像捕获设备及对象识别系统的组合的工作的第一实施方式的步骤流程图。

图4为本发明的不同特征组合处理以组合来自相同的已知对象的两个独立撷取(或独立产生的)的图像特征的一实施例的概念示意图。

图5为本发明的特征组合装置与一个或多个图像捕获设备及对象识别系统的组合的工作的第二实施方式的步骤流程图。

图6为本发明的一种可执行包含于计算机程序产品内的指定码的计算机系统的一实施例的架构示意图。

具体实施方式

为能让贵审查委员能更了解本发明的技术内容，特举较佳具体实施例说明如下。

图1为显示出了在图像识别网络1000的对象脉络中的特征组合装置110。文件图像数据103为由图像捕获设备101提供给特征组合装置110。文件图像数据103包括的已知对象的图像数据，亦包括其元数据图像。在一些实施例中，文件图像数据包括可显示的图像档案以及元数据。然而，在其他实施例中，图像数据可以包括从可显示的数字图像导出的图像数据，但其图像数据本身为无法显示，例如根据一个或多个可用于图像识别检索的识别特征算法的图像特征的描述符。

在一些实施例中，对应于文件图像数据103的文件图像为表现为对象的二维图像，如可以在一般的照片、图像或影片画格中找到的。或者，该对应的文件图像可以是通过利用非典型滤光器或透镜(例如鱼眼镜头)所产生的失真图像。此外，文件图像可以是基于红外线(IR)滤波器、X射线、360度透视图等中的一个或多个的对象机器或机器人视图(robot-view)。藉此，对应于文件图像数据103的文件图像可以是非失真图像、红外线滤波图像、X射线图像、360度视图图像、机器视图图像、影片数据的一画格、三维对象的渲染图及透视图等，且可以为通过如本发明的图像捕获设备101之类的捕获设备所撷取的影片串流的影片画格来获得。

于某些实施例中，其中的一图像捕获设备101可为特征组合装置110的外部(图未示)或内部装置。举例来说，图像捕获设备101可包括一远程服务器(例如平台即服务(Platform-as-a-Service，PaaS)服务器、基础设施即服务(Infrastructure-as-a-Service，IaaS)服务器、软件即服务(Software-as-a-Service，SaaS)服务器或云端服务器，或是可经由一通讯网络与特征组合装置110耦接的一远程图像数据库。在另一实施例中，图像捕获设备101可包括用来撷取图像及/或影片数据的画格的一数字静止图像或影片照相机。在另一个例子中，图像捕获设备101包括图形渲染引擎(例如一游戏系统、图像渲染软件等)，其中文件图像为依照对象生成的图像，而不是撷取的图像。

图像特征的描述符可以是对应于图像的一个或多个可区分特征的向量(如形状、对象等)。为了方便描述，此处所使用的「图像特征」有时为隐含地指与图像特征相对应的描述符的集合，而非单纯地在可显示图像中所出现的特征。有许多方法用以侦测图像特征及产生描述符。例如尺度不变特征转换(SIFT)是一种目前常用的图像识别算法，用以侦测及描述图像的特征。SIFT描述符为128个维度，以便能高度区别(也就是可以区别匹配目的)及容忍至少如照明、三维视点等部分的变化。例如，与生成SIFT描述符有关的技术可参考书目资料「Distinctive Image Features from Scale-Invariant Keypoints」，D.Lowe，International Journal of Computer Vision 60(2)，页码91-110(2004)。除了SIFT描述符，其他种描述符也可包括快速视网膜关键点(FREAK)描述符、方向梯度直方图(HOG)描述符、加速稳健特征(SURF)描述符、数字自动辨识系统(DAISY)描述符、二进制稳健性尺度不变关键点(BRISK)描述符、FAST描述符、二进制稳健性独立基本特征(BRIEF)描述符、哈里斯角点侦测描述符、边缘描述符、梯度位置及方向直方图(GLOH)描述符、图像特度能量(EOG)描述符及转换不变低级文本(TILT)描述符。

特征组合装置110为组合相同已知对象的不同图像的特征以储存该特征为已知对象的一共同模型的一部分。在一些实施例中，由特征所导出的不同文件图像包括第一图像(即被撷取的图像)及一或多个第二图像(即从撷取的图像合成生成的图像，其技术在之后会有详细的说明)。在其他实施例中，由特征所导出的不同图像包括从相同的已知对象得到的一第一撷取图像及一或多个第二独立撷取图像。在其他实施例中，一个或多个第二独立撷取图像的特征的位置为通过已知对象的三维模型转换成第一撷取图像的坐标系统，其技术在之后会有详细的说明。相同对象的不同独立撷取图像的特征(更精确地说，该些特征的描述符)，以及与一公共坐标系统(即第一撷取图像的坐标系统)有关的特征位置信息，为储存为一对象识别系统120内的一对象识别数据库121内的一组合特征数据106，作为已知对象的一共同模型的一部分。

图像捕获设备102为撷取查询图像并且提交查询图像数据104到对象辨别系统120。对象识别系统120为将影像特征描述符加入查询图像数据104或从查询图像数据104取出以检索对象识别数据库，来试着辨识在图像捕获设备102所撷取的一图像内所配合一个或多个对象的一个或多个潜在配对。一个或多个潜在配对为再回到图像捕获设备102，以作为检索结果107。在其他的实施方式中，查询图像数据可以从撷取图像设备以外的设备来提供。

图2为显示由已知对象200撷取的第一文件图像201及合成生成的第二文件图像202。合成生成的第二图像202为由第一文件图像201利用对应影像数据的算法产生或由第一影像201推导得到。所选择的算法旨在复制图像于撷取的情况下的预见变化的影响。如图2所示，图像202为表示图像201于一天内不同时间的外观的预测，所以通过不同的光照情况以作为一天内不同时间的预测结果。一个用于产生对应于一天内不同时间的修正图像的已知算法为揭示于书目数据「Data Driven Hallucination of Different Times of dayfrom a Single Outdoor Photo」，YiChang Shih、Sylvain Paris、Frédo Durand及WilliamT.Freeman，2013年11月第200号，ACM Transactions on Graphics(TOG)发行的Proceedings of ACM SIGGRAPH Asia 2013的第32卷第6期内。如图2所示，对象200的图像202为由图像201使用如Shih等人提出的算法而得。

众多已知的算法可以用来让一撷取图像产生合成图像，其合成图像为有效地复制众多图像撷取状态下的可预测变化的效果。该些变化的例子包括光照情况的变化(例如因为一天的时间变化及/或天气变化)与有利点(也就是同一对象于不同视角撷取的图像)，以及图像模态的变化，特别是有关于医疗图像对象脉络(如X光、核磁共振、断层扫描、超音波等)，但本发明并不限于此。在医疗图像对象脉络中，已知技术为允许从第一模态内的图像来合成生成第二模态内的图像。例如可见于书目数据「Using image synthesis formulti-channel registration of different image modalities」，Min Chen等人所著，Proc SPIE Int Soc Opt Eng，2015年2月21日；以及「Unsupervised Cross-modalSynthesis of Subject-specific Scans」，Raviteja Vemulapalli等人所著，2015年IEEEInternational Conference on Computer Vision(ICCV)发表。

在部分实施例中，组合特征集的子集可以选择用于储存作为通用对象模型的一部分，例如通过从具有共享像素位置的第一图像及一个或多个合成的第二图像特征(为由第一图像导出)确认共享位置以辨识出组合特征集的稳健性特征，并仅选择已识别的稳健性特征以存储和使用于计算机化对象识别检索。辨识稳健性特征可进一步包括辨识通过从共享位置特征所选择得来的高稳健性特征，其特征为在特征检测算法的多维特征空间中的预定义距离内，特征检测算法为用以从第一图像和一个或多个合成的第二图像提取特征。于本实施例中，已辨识的高稳健性特征为选择用于计算机化对象识别搜索。识别和使用稳健性特征以实现更高效的存储和检索方式为揭示于2015年4月24日申请的美国专利申请号14/696,202的「IDENTIFICATION FOR IMAGE-BASED OBJECT RECOGNITION」。本文为引用包括该申请的全部内容。

图3为显示特征组合装置110作用于一个或多个图像捕获设备101及对象识别系统120的组合的处理流程300。步骤301为接收第一文件图像。于部分实施例中，第一文件图像为已知对象的撷取图像。而于其他实施例中，为其他种已知对象的图像，就如同之前所描述。步骤302为通过从第一文件图像生成一个或多个合成图像来产生已知对象的一个或多个第二文件图像。一个或多个第二图像为被合成生成以复制在预期内的图像撷取的状态所能具有的预测变化。步骤303为用以从第一文件图像(如撷取图像)及从一个或多个合成生成的第二文件图像提取出图像特征。步骤304将来自第一文件图像及一个或多个合成生成的图像特征存储，以成为文件图像中的已知对象相对应的通用模型的一部分。

图4为概念性地显示出了用于组合来自相同已知对象400(于此实施例为艾菲尔铁塔)的两个独立撷取(或独立生成的)图像的特征的不同特征组合处理。第一文件图像410为第二文件图像430的独立撷取图像。已知技术可用以辨识每一图档内有兴趣的潜在辨别特征。该些特征为期望能够有用地区分对象400的图像及其他对象的图像。例如图像410内所识别出的一些特征为包括特征411、412、414，但本发明并不以此图所示的特征为限。图像430内所识别出的一些特征为包括特征431、432、433。使用先前讨论的已知算法，特征描述符可以为了基于图像的对象识别搜索的目的而计算和存储。

图像内的该些特征的位置也可以储存于描述符内。位置可储存为相对于特定像素的坐标参考。独立撷取(或独立生成)的图像会通常具有独立的像素坐标参考系统。就如同图像410旁边显示的“X-Y”坐标和图像430旁边显示的“V-W”坐标。

于本发明的实施例中，已知对象的第二独立图像的特征位置为表示在用以呈现第一独立图像的特征的相同坐标系统内。且两个独立图像的特征为组合并储存为对象的通用模型的一部分。通过一三维模型的几何转换可以将第二图像内的特征转换到第一图像的坐标系统的适当位置。于图式的例子中，三维模型420为呈现在三维坐标系A-B-C内的对象400(艾菲尔铁塔)。通过坐标系V-W所表示的图像430内的位置可以通过已知技术来被投影到三维模型420内的位置，其为通过坐标系A-B-C来表示。接着，通过坐标系A-B-C所表示的三维模型420内的位置可以通过已知技术来被投影到使用坐标系X-Y来表示的图像410内的位置。例如，在图像430内，特征431具有一个位置L1，其在坐标系V-W内的坐标为(V1,W1)。当位置L1被投影入三维模型420内时，在其模型内会有一个位置L1'，其在坐标系A-B-C内的坐标可表示为(A1,B1,C1)。接着，当三维模型420内的位置L1'为被投影到图像410内时，图像410内就会有一位置L1”，也就是可以在坐标系X-Y内表示成(X1,Y1)。在此情况下，相同已知对象内的复数的独立图像内具有的特征的位置可以被表示为单一坐标系统内，在此实施例中为图像410的X-Y坐标系统。因此，当图像430内的特征431的描述符在计算时，为储存为X-Y坐标系统的坐标位置(X1,Y1)。两个图像410及430的特征皆利用相同方式储存，也就是使用图像410的坐标系统，以作为对象识别数据库121内对象400的通用模型的一部分，藉以供对象识别系统120使用。对应到对象400内的任何数量的其他额外独立图像内的位置的特征位置，可依照以下的类似流程而被转换为图像410的坐标系X-Y：(1)投射额外独立图像内的特征的位置到通过坐标系A-B-C所表示的三维模型420内的位置，接着(2)投射三维模型420内的位置到通过坐标系X-Y所表示的图像410内的位置。

图5为显示作用于一个或多个图像捕获设备101及对象识别系统120的组合的特征组合装置110所执行的流程500。流程500为通过将特征位置从一第二图像的一坐标系统转换成用来表示一第一图像的坐标系统的方式，以实行将相同已知对象的两个或多个独立撷取影像的特征进行组合(就如图4的概念)。步骤501为接收相同已知对象的两个或多个独立撷取或生成的影像。步骤502为识别每一个图像内的区分特征(为了让描述符能够被计算)。每一特征的对应位置亦同样被确认。步骤503为使用已知对象的三维模型以将第二独立图像之一的特征的位置转换成第一独立图像之一的坐标系统内的位置。举例来说，如果相同已知对象内具有第一、第二及第三图像，且第一、第二及第三图像为表示在第一、第二及第三坐标系统内，接着第二图像内的特征位置为通过三维模型转换为第一图像的坐标系统内的位置。同样地，第三图像内的特征位置也同样通过三维模型转换为第一图像的坐标系统内的位置。步骤504用以从复数个独立图像储存所有的特征(更精确地来说是该些特征的计算描述符)，作为已知对象的通用模型的一部份，该特征位置为表示在通用坐标系统内。该方法可以适用于组合相同已知对象内任何数量的独立撷取(或生成)的图像的特征。

图3的方法300及图5的方法500可用独立使用或是共同使用。换句话说，本发明的部分实施例可以用方法300来从第一图像及一个或多个第二图像的特征来组合得到特征。本发明的另外实施例可以利用方法500通过转换特征位置到通用坐标系统的方式来组合相同已知对象的独立撷取图像的特征。并且其他的实施例可以同时使用两种方法以建构相同已知对象的通用模型，并储存及用于基于图像的对象识别。例如一个模型可能包括从五个不同图像得到的特征描述符：如相同已知对象的图像1、图像2、图像3、图像4及图像5。图像1、图像2、图像3可能是被互相独立撷取(或生成)。图像2及图像3的特征可以利用方法500来与图像1的特征进行组合，藉以从该些图像的特征位置转换到对应图像1的通用坐标系统的特征位置来表示。但是，图像4与图像5可能通过图像1合成生成，且该些图像的特征位置为已经表示成图像1的坐标系统。该些五个图像的特征可以利用方法300及方法500的组合来储存为相同对象模型的一部份。

本说明书描述的系统、装置和方法可以使用数字电路或使用一个或多个具有常用的计算机处理器、内存单元、存储设备、计算机程序和其他组件的计算机系统来实现。通常，计算机为包括用于执行指令的处理器和用于存储指令和数据的一个或多个内存。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移动式硬盘、磁光盘、光盘等。

本说明书所描述的系统、装置和方法可以使用以客户端-服务器端关系操作的计算机来实现。通常，在这样的系统中，客户端计算机为远离服务器端计算机以经由网络进行互动。客户端-服务器端关系可以通过在相对应的客户端和服务器端的计算机上运行的计算机程序来定义和控制。

本说明书描述的系统、装置和方法可以使用有形地实施在讯息载体中的计算机程序产品来实现，例如在非瞬时的机器可读取存储装置中，以供可程序化处理器执行；以及本说明书描述的方法步骤，包括图3及/或图5的一个或多个步骤，可以通过该处理器执行的一个或多个计算机程序来实现。计算机程序为一组可以直接或间接地在计算机中用以执行某些活动或产生一定的结果计算机程序指令。计算机程序可以用任何形式的程序语言编写，包括编译式语言或直译式语言，并且可以以任何形式设置，包括作为独立程序或作为模块、组件、子程序或其他适合使用在计算机环境中的单元。

图6为显示计算机系统6000(即一或多个可以提供一个或多个图1的组件网络1000，包括特征组合装置110、图像捕获设备101、图像捕获设备102及/或对象识别系统120)的一实施例，藉此其可以用于执行根据本发明的实施例中所述包含在计算机程序产品6060中的指令代码。计算机程序产品6060包括电子可读取媒体中的可执行代码，其可以指示诸如计算机系统6000的一个或多个计算机的计算，以执行完成由本文参考的实施例所执行方法步骤。电子可读取媒体可为非挥发性媒体，并可于本地端或远程储存电子信息，如经由网络连接。在另外的实施例中，该媒体也可以为暂时性的。该媒体可以包括多个地理上分散的媒体，每个媒体被配置为在不同位置及/或在不同时间存储可执行代码的不同部分。计算机系统6000所示的电子可读取媒体中的可执行指令代码为执行本文所述的各种示例性任务。用于实施执行本说明书所描述的工作的可执行代码通常以软件形式实现。然而，本发明所属领域的技术人员应可理解，在不脱离本发明的情况下，计算机或其他电子设备可以在硬件中通过程序代码来执行许多或所有识别的工作。本发明所属领域的技术人员应可理解，在本发明的精神和范围内，可执行程序代码的实施方式可具有许多变化。

包含在计算机程序产品6060中的代码或代码的副本可以储存在与计算机6000通讯耦合的一个或多个存储持久性媒体(未单独示出)中，以用于由处理器6020执行持久存储装置6070及/或内存6010的加载和存储。计算机系统6000还包括I/O子系统6030和周边装置6040。I/O子系统6030、周边装置6040、处理器6020、内存6010和持久存储装置6070为经由总线6050耦合。如持久存储装置6070或其他可能包括计算机程序产品6060、内存6010的储存设备为一非挥发性媒体(即使为典型的易失性计算机记忆装置)。此外，本发明所属技术领域者应理解，除了存储用于执行本说明书所述的处理的计算机程序产品6060之外，内存6010及/或持久存储装置6060可以被用来存储本说明书所参考和示出的各种数据组件。

本领域技术人员应可理解计算机系统6000仅显示出了本发明可以据以实施的一个计算机程序产品的实施例。于其他的实施例的例子中，本发明的一实施例的计算机程序产品中的指令可以分布在复数的计算机上执行，例如通过具有分布式计算网络的计算机。

本领域技术人员应可理解，实际的计算机或计算机系统可以具有其他结构，并且还可以包含其他组件。图6为显示说明该计算机的一些组件的高阶表示法。

于整个说明书和权利要求中，以下术语具有本文明确相关的含义，除非上下文另有明确指示。

本说明书的用语「在一实施例中」可以但并不限定于指相同的实施例。因此，如以下所述，在不脱离本发明的范围或精神的情况下，可以容易地组合本发明的各种实施例。

如本文所使用的，用语「或」是包含「或」的运算符，并且等同于用语「及/或」，除非上下文另有明确指示。

如本文所使用的，用语「基于」不是排他的，并且允许未描述的其他因素，除非上下文另有明确指示。

如本文所使用的且除非上下文另有明确指示，用语「耦接到」旨在包括直接耦接(其中彼此耦接的两个组件彼此接触)和间接耦接(其中至少一个附加组件位于两个组件之间)。所以用语「耦接到」及「耦接于」具有相同含意。在两个或多个组件或装置能够交换数据的网络环境的对象脉络中，用语「耦接到」及「耦接于」也可以用于表示「通讯地耦接」，其中可能通过一个或多个中介设备。

此外，在整个说明书中，「一」和「该」的含义为包括复数引用。

虽然本文呈现的各种实施例构成了本发明组件的单一组合，但是应可理解本发明的标的为包括所已知组件的所有可能的组合。因此，如果一个实施例包括组件A、B和C，并且另一个实施例包括组件B和D，则本发明标的也被认为包括A、B、C或D的其他剩余组合，即使本说明书并未明确讨论。

如在本说明书的描述和全部权利要求中所使用的，当描述系统、引擎、服务器、设备、模块或其他计算组件被设置为执行存储器中的数据时，其用语「配置为」或「可程序化为」为定义为计算组件的一个或多个处理器或核心为被存储在计算组件的内存中的一组程序指令所编程，用以执行储存于内存内的目标数据或数据对象上的一组功能。

需注意的是，任何用于计算机的程序语言都应当被读取，以包括计算机装置的任何合适的组合，包括服务器、接口、系统、数据库、代理程序、对等体、引擎、控制器、模块或其他类型的单独或集体运行的计算机设备。需注意的是，计算机设备包括的处理器为用以执行储存在有形的、非暂存的计算机可读取存储媒体(例如，硬盘、FPGA，PLA、固态硬盘、RAM、闪存、ROM等)上的软件指令。软件指令为配置或可程序化计算机设备以提供关于以下所揭示的设备所讨论的角色、责任或其他功能。此外，此揭示的技术可以通过计算机程序产品来实现，其包括储存软件指令的非暂时性计算机可读取媒体，藉以使处理器执行用于计算机的算法、流程、方法或其他的指令以实现所揭示的相关联步骤。于某些实施例中，各式服务器、系统、数据库或接口间使用标准化协议或算法的交换数据可能会根据HTTP、HTTPS、AES、公开-私人密钥交换、web服务API、已知金融交易协议或其他电子信息交换方法。装置之间的数据交换可以通过分封交换网络、因特网、LAN、WAN、VPN或其他类型的分封交换网络、电路交换网络、小区交换网络或其他类型的网络进行。

所揭示的发明标的重点是能够使计算机装置的构造或配置对大量的数字数据进行操作，超越一般人的能力。尽管在某些实施例中，数字数据为表示图像，但是应可理解数字数据可以是表示为图像的一个或多个数字模型，而不一定是图像本身。通过在计算机装置的内存中实例化这样的数字模型，计算机装置可以通过一种来管理数字数据或模型的方式，而可在使用者没有工具的情况下提供效用给用户的计算机装置。因此，所揭示的装置能够根据所公开的技术以更有效的方式处理这样的数字数据。

应当理解的是所公开的技术为提供许多有益的技术效果，包括改进基于数字图像的对象识别和检索技术的范围、精度、紧凑性、效率和速度。且需注意的是，本说明书不旨在作为广泛的概述，因此为了清楚和简明起见，其概念可以被简化。

需注意的是，上述实施方式仅例示本发明的较佳实施例，为避免赘述，并未详加记载所有可能的变化组合。然而，本领域的通常知识者应可理解，上述各模块或组件未必皆为必要。且为实施本发明，亦可能包含其他较细节的现有模块或组件。各模块或组件皆可能视需求加以省略或修改，且任两模块间未必不存在其他模块或组件。只要不脱离本发明基本架构者，皆应为本专利所主张的权利范围，而应以专利申请范围为准。

Claims (19)

1.一种产生储存于一计算机图像识别数据库内的图像特征组合的方法，为用于一计算机对象识别系统，该方法包括：

通过一个或多个生成计算机自该对象的一第一图像产生一对象的一合成图像，其中该合成图像为对应到该对象的一图像，该合成图像为预测出现于一第二图像撷取状态下，该第二图像撷取状态为不同于与该对象的该第一图像相关联的一第一图像撷取状态，所述对象的所述第一图像包括一撷取图像；

通过一个或多个推导电脑以利用一特征侦测算法从该合成图像推导出一第二组图像特征；

于一特征组合装置处得到从该第一图像推导得的一第一组图像特征；

于该特征组合装置处指定包括该第一组图像特征及该第二组图像特征的一组合特征集；

链接该组合特征集及一元数据来辨识该对象，藉以储存在用来作为一计算机对象识别检索的一电子数据库内；

从具有一共享像素位置的该第一图像及该合成图像来确认的一共享位置特征，藉以辨识出该组合特征集的一稳健性特征；以及

只选择已辨识出的该稳健性特征来做为该计算机对象识别检索；

其中辨识该稳健性特征的步骤包括：通过从该共享位置特征中选择在一特征检测算法的一多维特征空间中的一预定义距离内的特征来辨识高稳健性特征，该特征检测算法为用以从一第一数字表示和一第二数字表示提取特征；且其中只选择该已辨识出的高稳健性特征以用于该计算机对象识别检索。

2.如权利要求第1项所述的方法，其中该第一图像撷取状态为对应一第一光照情况，该第二图像撷取状态为对应一第二光照情况。

3.如权利要求第2项所述的方法，其中该第一光照情况为对应该对象所在处的白天的一第一时间，该第二光照情况为对应该对象所在处的白天的一第二时间。

4.如权利要求第1项所述的方法，其中该第一图像撷取状态为对应一第一对象视图，该第二图像撷取状态为对应一第二对象视图。

5.如权利要求第1项所述的方法，其中该第一图像撷取状态为对应一第一成像模式，该第二图像撷取状态为对应一第二成像模式。

6.如权利要求第5项所述的方法，其中该第一成像模式为选自于一照片、一红外线图像、一失真图像及一过滤图像的其中之一，该第二成像模式为不同于该第一成像模式。

7.如权利要求第5项所述的方法，其中该第一成像模式为选自于一X光图像、一核磁共振图像、一断层扫描图像及一超音波图像的其中之一，该第二成像模式为不同于该第一成像模式。

8.如权利要求第1项所述的方法，其中该第一组图像特征及该第二组图像特征为通过该特征侦测算法以分别从该第一图像及该合成图像而得到。

9.如权利要求第8项所述的方法，其中该特征侦测算法至少包括一尺度不变特征转换(SIFT)、一快速视网膜关键点(FREAK)、方向梯度直方图(HOG)、加速稳健特征(SURF)、数字自动辨识系统(DAISY)、二进制稳健性尺度不变关键点(BRISK)、FAST、二进制稳健性独立基本特征(BRIEF)、哈里斯角点侦测、边缘、梯度位置及方向直方图(GLOH)、图像特度能量(EOG)或转换不变低级文本(TILT)的特征算法。

10.如权利要求第1项所述的方法，其中该特征组合装置包括一个或多个生成计算机及一个或多个推导电脑。

11.如权利要求第1项所述的方法，其中该一个或多个生成计算机、该一个或多个推导电脑及该特征组合装置为一单一计算机。

12.一种产生储存于一计算机图像识别数据库内的结合图像特征组的方法，为用于一计算机对象识别系统，该方法包括：

于一特征组合装置处对一表现在一第一二维坐标系中的一第一组图像特征进行一几何转换以获得表现在一公共三维坐标系中的第一组图像特征的每个特征的一特征位置，其中该第一组图像特征为自一对象的一第一图像推导而来，该第一组图像特征为对应到一第一对象视图；

在该特征组合装置处获得表现在一第二二维坐标系中的一第二组图像特征，其中该第二组图像特征为自该对象的一第二图像推导而来，该第二组图像特征为对应到与该第一对象视图不同的一第二对象视图，所述公共坐标系具有与所述第一图像或所述第二图像的至少其中之一对应的坐标系相同的维数；

于该特征组合装置处指定包括具有表现在该第二二维坐标系中的该特征位置的该第一组图像特征及该第二组图像特征的一组合特征集，其中该指定包括将表现在该公共三维坐标系中的特征位置投影到表现在该第二二维坐标系中的位置；以及

链接该组合特征集及该对象的一标识符以储存在该计算机图像识别数据库内。

13.如权利要求第12项所述的方法，其中该第一组图像特征及该第二组图像特征为通过一特征侦测算法以分别从该第一图像及该第二图像而得到。

14.如权利要求第13项所述的方法，其中该特征侦测算法至少包括一尺度不变特征转换(SIFT)、一快速视网膜关键点(FREAK)、方向梯度直方图(HOG)、加速稳健特征(SURF)、数字自动辨识系统(DAISY)、二进制稳健性尺度不变关键点(BRISK)、FAST、二进制稳健性独立基本特征(BRIEF)、哈里斯角点侦测、边缘、梯度位置及方向直方图(GLOH)、图像特度能量(EOG)、转换不变低级文本(TILT)的特征算法。

15.如权利要求第12项所述的方法，其中该特征组合装置包括一个或多个生成计算机及一个或多个推导电脑。

16.如权利要求第12项所述的方法，其中一个或多个生成计算机、一个或多个推导电脑及该特征组合装置为一单一计算机。

17.一种产生储存于一计算机图像识别数据库内的图像特征组合的系统，为用于一计算机对象识别系统，该系统包括：

一个或多个生成计算机，用以自一对象的一第一图像产生该对象的一合成图像，其中该合成图像于被预测出现在一第二图像撷取状态下时为对应到该对象的一图像，该第二图像撷取状态为不同于与该对象的该第一图像相关联的一第一图像撷取状态，所述对象的所述第一图像包括一撷取图像；

一个或多个推导电脑，用以利用一特征侦测算法从该合成图像中产生一第二组图像特征；

一特征组合装置，用以得到从该第一图像推导得的一第一组图像特征，且用以指定包括该第一组图像特征及该第二组图像特征的一组合特征集；以及

一计算机对象识别系统，用以链接该组合特征集及一元数据以储存在用于一计算机对象识别检索的一电子数据库内，来辨识该对象；从具有一共享像素位置的该第一图像及该合成图像来确认的一共享位置特征，藉以辨识出该组合特征集的一稳健性特征；以及只选择已辨识出的该稳健性特征来做为该计算机对象识别检索；

其中辨识该稳健性特征包括：通过从该共享位置特征中选择在一特征检测算法的一多维特征空间中的一预定义距离内的特征来辨识高稳健性特征，该特征检测算法为用以从一第一数字表示和一第二数字表示提取特征；且其中只选择该已辨识出的高稳健性特征以用于该计算机对象识别检索。

18.如权利要求第17项所述的系统，其中该特征组合装置包括一个或多个生成计算机及一个或多个推导电脑。

19.如权利要求第17项所述的系统，其中该一个或多个生成计算机、该一个或多个推导电脑及该特征组合装置为一单一计算机。

Images