CN103996016A - 电子设备及其确定描述符的方法 - Google Patents

Abstract

提供了一种确定电子设备的亮度梯度的装置和方法。所述方法包括：识别数字图像上的至少一个对象；确定用于识别对象的描述符，其中，确定描述符包括：通过使用数字图像上特征点的位置、方向和标度中的至少一个来确定描述符；确定位于特征点周围区域内的像素的亮度梯度；以及基于两个或更多个非正交固定方向来确定像素的亮度梯度。

Description

电子设备及其确定描述符的方法

技术领域

本公开涉及电子设备及其确定描述符的方法。更具体地，本公开涉及电子设备及其确定描述符的方法，可以在电子设备中有效率地计算用于识别图像数据上对象的描述符。

背景技术

增强现实是一种与虚拟对象交叠地示出用户用眼睛观看到的真实世界的技术。增强现实也被称作混合现实(MR)，这是因为增强现实将真实世界与具有附加信息的虚拟世界相组合，并且实时地作为一个图像示出了该组合。尽管用虚拟世界补充真实世界的增强现实使用通过计算机图形产生的虚拟环境，但是真实环境在增强现实中起到了主导作用。计算机图形服务用于附加地提供真实环境所需的信息。虚拟现实技术使得用户专注于虚拟环境，使得用户不能观看到真实环境。然而，将真实环境与虚拟对象混合的增强现实技术使得用户能够观看到真实环境，从而提供更好的现实和附加信息。

相应地，需要一种电子设备及其确定描述符的方法，可以在电子设备中有效率地计算用于识别图像数据上的对象的描述符。

以上信息仅被提供用作辅助对本公开的理解的背景信息。任何以上信息未被确定或断言为本公开的现有技术。

发明内容

本公开的多个方面意在解决至少上述问题和／或缺点，以及提供至少下述优点。因此，本公开的一个方面提供了一种用于提供增强现实的装置和方法，可以检测图像数据上的特征点，可以通过使用检测到的特征点来计算描述符，并且可以通过使用描述符来识别图像数据上的对象。

在用于检测图像数据中的特征点的技术中，一种根据梯度方向创建描述符的技术在多种应用中具有卓越的能力，但是降低了速度。

此外，在用于检测图像数据中的特征点的技术之中，一种根据强度改变来创建描述符的技术可以快速地检测标度空间，但是由于补片(patch)围绕特征点旋转而降低了速度。

根据本公开的一个方面，提供了一种电子设备及其确定描述符的方法，可以在电子设备中有效率地计算用于识别图像数据上的对象的描述符。

根据本公开的另一方面，提供了一种确定电子设备的亮度梯度的方法。该方法包括：识别数字图像上的至少一个对象；并且确定用于识别对象的描述符，其中，确定描述符包括：通过使用数字图像上特征点的位置、方向和标度中的至少一个来确定描述符，确定位于特征点周围区域内的像素的亮度梯度，并且基于两个或更多个非正交固定方向来确定像素的亮度梯度。

根据本公开的另一方面，提供了一种确定电子设备的亮度梯度的设备，所述设备包括：用于识别数字图像上的至少一个对象的装置；用于确定用于识别对象的描述符的装置，其中，用于确定描述符的装置包括：用于通过使用数字图像上特征点的位置、方向和标度中的至少一个来确定描述符的装置；用于确定位于特征点周围区域内的像素的亮度梯度的装置；以及用于基于两个或更多个非正交固定方向来确定像素的亮度梯度的装置。

通过以下结合附图公开了本公开多个实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将显而易见。

附图说明

通过结合附图的以下描述，本发明的特定示例实施例的以上和其他方面、特征和优点将变得更加清楚，在附图中：

图1是根据本公开多个实施例的电子设备的框图；

图2是根据本公开多个实施例的增强现实(AR)系统的配置；

图3是根据本公开多个实施例的AR处理单元的框图；

图4是根据本公开实施例的在电子设备中计算描述符的操作的流程图；

图5是示出了根据本公开另一实施例的在电子设备中计算描述符的操作的流程图；

图6是示出了根据本公开多个实施例的在电子设备中针对特征点的区域设置操作的视图；

图7A和7B示出了根据本公开多个实施例的在电子设备中分别用于计算描述符的非正交滤波器；以及

图8是示出了根据本公开多个实施例的在电子设备中特征点的方向改变的视图。

应当理解，所有附图中类似的附图标记指示相同或类似的元件、特征和结构。

具体实施方式

提供参考附图的以下描述来辅助由权利要求及其等同物限定的本公开多个实施例的全面理解。以下描述包括各种具体细节以辅助理解，但这些具体细节应仅被示为示例性的。因此，本领域普通技术人员将认识到，可以在不脱离本公开范围和精神的情况下对这里描述的多个实施例进行各种改变和修改。此外，为了清楚和简明起见，省略了公知功能和结构的描述。

以下描述和权利要求中使用的术语和词语不限于其字面含义，而是仅由发明人用于使能对本公开的清楚一致的理解。因此，本领域技术人员应当清楚，对本公开多个实施例的以下描述仅被提供用于说明目的，而不意在限制由所附权利要求及其等同物限定的本公开。

应当理解，单数形式的不定冠词和定冠词包括多个特征的情况，除非上下文明示相反情况。因此，例如，“部件表面”包括一个或多个这种表面。

根据本公开多个实施例的电子设备可以包括具有通信功能的设备。电子设备可以包括一个或更多个多种设备的组合，多种设备例如是，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌面PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、电子腕带、电子智能配件(appcessory)、摄像机、可佩带设备、电子钟、手表、家用电器(例如，冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器等)、人造智能机器人、电视(TV)、数字视频盘(DVD)播放器、音频、多种医疗设备(例如，磁共振血管造影术(MRA)、磁共振成像(MRI)、计算层析术(CT)、电影摄像机、超声波设备等)、导航设备、全球定位系统(GPS)接收机、事件数据记录器(EDR)、飞行数据记录器(FDR)、机顶盒、TV盒(例如，三星HomeSyncTM、苹果TVTM或谷歌TVTM)、电子字典、车辆信息娱乐设备、船上电子设备(例如，船上导航设备、罗经等)、航空电子设备、安全设备、电子工作服、电子钥匙、可携式摄像机、游戏控制台、头戴式显示器(HMD)、平板显示器、电子相框、电子相册、包括通信功能的家具或建筑或结构的一部分、电子板、电子签名接收设备、可佩戴设备或投影仪等。对于本领域技术人员显而易见的是，本公开的多个实施例不限于上述设备。

图1是根据本公开多个实施例的电子设备100的框图。

参照图11，供电单元110可以在供电管理单元111的控制下，向布置在电子设备100的壳体中的一个电池或多个电池(未示出)供应电力。一个电池或多个电池(未示出)可以向电子设备100供电。此外，供电单元110可以向电子设备100供应通过与电子设备的连接器连接的有线缆线从外部电源(未示出)输入的电力。此外，供电单元110也可以向电子设备100供应通过无线充电技术从外部电源无线输入的电力。

供电管理单元111可以在处理器115的控制下，向电子设备100供应来自供电单元110的电力，或者向供电单元110供应从外部电源输入的电力。

通信单元112可以在处理器115的控制下，允许电子设备100通过使用至少一个天线或多个天线经由移动通信与外部设备连接。

通信单元112可以包括无线局域网(LAN)单元和短距离通信单元中的至少一个。例如，通信单元可以仅包括无线LAN单元或者仅包括短距离通信单元。备选地，通信单元可以包括无线LAN单元和短距离通信单元二者。无线LAN单元可以在处理器115的控制下，在安装了无线接入点(AP)(未示出)的位置中访问互联网。无线LAN单元可以支持电气和电子工程师协会(IEEE)的无线LAN协议(IEEE802.11x)。短距离通信单元可以在处理器115的控制下无线地进行短距离通信。短距离通信方案可以包括蓝牙、红外数据协会(IrDA)通信、WiFi直连通信、近场通信(NFC)等。

通信单元112可以包括GPS单元，并且GPS单元可以从地球轨道中的多个GPS卫星(未示出)接收电子波，并且可以通过使用从GPS卫星(未示出)到电子设备100的到达时间来计算电子设备100的位置。

射频(RF)单元113可以向便携式电话(未示出)、智能电话(未示出)、平板PC或电话号码被输入到电子设备100的其他设备(未示出)发送或从其接收针对语音呼叫、视频呼叫、文本消息(SMS)或多媒体消息(MMS)的无线信号。

处理器115可以包括中央处理器单元(CPU)、图形处理单元(GPU)、存储用于控制电子设备100的控制程序的只读存储器(ROM)、以及用作用于存储从电子设备100的外部输入的信号或数据或者针对电子设备100中执行的工作的存储区的随机存取存储器(RAM)。CPU可以包括单核、双核、三核或四核。CPU、RAM和ROM可以通过内部总线彼此连接。

处理器115可以控制供电单元110、供电管理单元111、通信单元112、RF单元113、第一存储器116、第二存储器117、音频处理单元118、输入单元119、显示单元120、摄像机单元121和传感器单元122。

处理器115可以包括：增强现实(AR)单元200，可以对输入数据进行处理，以提供经处理的数据作为增强现实数据。另一方面，AR单元200可以分开配置，而不包括在处理器115中。以下参照图2和3详细描述AR的配置。

根据本公开的多个实施例，处理器115可以将第一存储器116中存储的图像数据处理成可以在增强现实模式下示出的三维(3D)图像数据。

根据本公开的多个实施例，处理器115可以配置为识别数字图像上的至少一个对象，并且可以确定要用于识别对象的描述符。

处理器115可以通过使用图像上特征点的位置、方向和／或标度中的至少一个来确定描述符，以便确定要用于识别对象的描述符。

处理器115可以确定位于特征点周围区域内的像素的亮度梯度，以便确定要用于识别对象的描述符。处理器115可以基于与特征点的方向不同的两个或更多个非正交固定方向来确定像素的亮度梯度。处理器115可以根据特征点的方向来转换基于固定方向确定的亮度梯度。

处理器115设置特征点周围区域。特征点周围区域包括基于特征点方向和特征点方向的正交方向而划分的区域，并且所划分区域在其边界处彼此交叠。

处理器115可以沿着针对特征点周围区域的至少一个部分中包括的像素的经转换亮度梯度的第一方向，对正值求和并且对负值求和，并且可以沿着针对经转换亮度梯度的第二方向，对正值求和并且对负值求和。第一方向和第二方向之间的角度可以对应于固定方向之间的角度。

处理器115可以使用至少一对滤波器来确定像素的亮度梯度。可以基于固定方向之一与垂直或水平方向之间的角度α或β来至少部分地确定滤波器的相对位置。

根据本公开的多个实施例，处理器115可以设置特征点周围区域，并且可以考虑特征点的方向将该区域划分成多个子区域，以便确定描述符。处理器115可以向每个子区域的像素应用具有与特征点的方向非正交的固定方向的两个滤波器，来检测通过相应两个滤波器输出的d1值和2d值。处理器115可以将d1值和d2值分别转换到与特征点的方向一致的d1’值和d2’值。

处理器115可以针对多个子区域中的每个子区域的像素，分别计算d1值的正数之和与d2值的正数之和，以及分别计算d1值的负数之和与d2值的负数之和。处理器115可以针对多个子区域中的每个子区域的像素，创建包括正数之和与负数之和的向量。

此外，处理器115可以针对多个子区域中的每一个子区域的像素，计算d1’值之和以及d2’值之和，并且针对每个子区域使用d1’值之和以及d2’值之和来创建向量。

处理器115可以通过使用相应多个子区域的多个向量，确定位于特征点周围区域内的像素的亮度梯度。

第一存储器116可以在处理器115的控制下，存储输入和输出的信号或数据，以对应于通信单元112、RF单元113、输入单元119、摄像机单元121、传感器单元122和用作触摸屏单元的显示单元120的操作。第一存储器116可以存储用于控制电子设备100或处理器115的控制程序以及应用。第一存储器116可以存储数字通信数据。

第二存储器117是可以插入到电子设备100中或从电子设备100拆卸的外部存储器，并且可以在处理器115的控制下，存储输入或输出的信号或数据，以对应于通信单元112、RF单元113、输入单元119、摄像机单元121、传感器单元122和用作触摸屏单元的显示单元120的操作。

音频处理单元118可以包括对发射信号进行编码和调制的发射机以及对接收信号进行解调和解码的接收机，并且可以配置有调制解调器和编解码器。编解码器可以包括用于处理分组数据的数据编解码器以及用于处理包括语音的音频信号的音频编解码器。音频处理单元118可以向与电子设备连接的扬声器或耳机输出从音频编解码器输出的接收音频信号，或者可以通过音频编解码器向处理器115发送从麦克风或接收机产生的发射音频信号。

输入单元119可以包括用户的触摸输入和通过触摸笔的触摸输入。用户的触摸输入和通过触摸笔的触摸输入分别均输入到用作触摸屏幕单元的显示单元。

输入单元119可以从用户接收用于控制电子设备100的键输入。输入单元119可以包括在电子设备100中形成的物理键区(未示出)或者在可以用作触摸屏单元的显示单元120上显示的虚拟键区(未示出)。根据电子设备100的容量或结构，可以不包括在电子设备100中形成的物理键区(未示出)。

显示单元120可以使用液晶显示器(LCD)，在这种情况下，显示单元120可以包括LCD控制器、可以存储图像数据的存储器、LCD显示元件等。当LCD以触摸屏类型实现时，显示单元也可以作为输入单元操作，并且虚拟键区可以显示在显示单元120上。此外，在显示单元120以触摸屏类型实现并因此用作触摸屏单元的情况下，触摸屏单元配置有包括多个传感器面板的触摸屏面板(TSP)，并且多个传感器面板可以包括能够识别手触摸的电容型传感器面板以及能够检测诸如触摸笔等细触摸的电磁感应型传感器面板。

摄像机单元121是图像产生设备，并且可以包括在处理器的控制下拍摄静止图像或运动图像的第一和第二摄像机中的至少一个。此外，第一摄像机或第二摄像机可以包括提供拍摄所需光的辅助光源(例如，闪光灯(未示出))。第一摄像机布置在电子设备100的正面，第二摄像机布置在电子设备的背面。按照不同方式，第一和第二摄像机彼此邻近布置(例如，第一摄像机和第二摄像机之间的间隔大于1cm或小于8cm)来拍摄3D静止图像或3D运动图像。

传感器单元122可以包括用于检测电子设备100的状态的至少一个传感器。例如，传感器单元122可以包括用于检测用户是否接近电子设备100的接近度传感器、用于检测电子设备100的环境光量的照度传感器(未示出)、用于检测电子设备100的操作(例如，电子设备100的旋转、对电子设备100施加的加速度或振动)的运动传感器(未示出)、用于通过使用地球磁场检测罗盘指向的地磁传感器(未示出)、用于检测重力作用方向的重力传感器、以及用于通过测量大气压来检测高度的高度计。至少一个传感器可以检测状态，产生与检测相对应的信号，并且向处理器115发送产生的信号。可以根据电子设备的能力添加或省略传感器单元122的传感器。

图2是根据本公开多个实施例的增强现实(AR)系统的配置。

参照图2，该系统可以包括AR单元200，AR单元200包括AR处理单元210和AR内容管理单元220。

作为系统的主单元的AR处理单元210可以从电子设备100中包括的摄像机单元、媒体单元、音频单元和传感器单元中的至少一个接收输入数据。AR处理单元210可以使用电子设备100的另一配置(即，存储器、CPU或GPU)来对输入数据进行AR处理。AR处理单元210可以通过使用存储了参考数据的高速缓存230、本地参考数据库(DB)250来、或者用于从输入数据识别目标的远程参考DB270来处理输入数据，并且可以向AR内容管理单元220输出针对输入数据的处理结果数据。

AR处理单元210可以将从摄像机单元121接收到的图像数据、从媒体单元接收到的运动图像的图像数据和音频数据、以及从音频单元接收到的音频数据处理成针对增强现实的数据。根据从传感器单元122接收到的传感器数据类型，AR处理单元210可以通过检测电子设备100的运动来将电子设备100改变到增强现实模式，或者可以在增强现实模式下在输出图像数据和音频数据的同时产生振动。

针对输入数据的处理结果数据可以包括针对输入数据的目标的识别信息和本地信息。本地信息可以用于在目标对应于图像数据时确定二维和／或三维姿态，识别信息可以用于确定目标类型。

AR内容管理单元220可以基于从AR处理单元210接收到的针对输入数据的处理结果数据，从本地内容DB260或远程内容DB280中检测与针对输入数据的处理结果数据相对应的内容，并且可以基于检测到内容来配置和输出视频和音频输出数据。

在本公开的多个实施例中，可以作为示例描述AR处理单元提供通过摄像机单元接收到的输入图像数据作为增强现实图像数据的情况。

图3是根据本公开多个实施例的AR处理单元的框图。

参照图3，AR处理单元210可以包括识别单元311、初始姿态计算单元312、和跟踪单元313。可以将输入图像数据输出至识别单元311或跟踪单元313，并且识别单元311或跟踪单元313可以并行地执行.

识别单元311可以至少部分地基于参考图像数据，识别输入图像数据上的对象的类型。识别单元311可以使用电子设备100内部存储设备或外部存储设备中存储的参考图像数据来识别对象。例如，脸部识别需要外部参考脸部数据库来识别与经认证的脸部不同的脸部。同时，快速响应(QR)码可以具有电子设备的内部参考数据，这是因为QR码通常仅需要特性特定规则来识别数据库中的QR码，并且在一般情况下不必动态更新。

识别单元311可以包括特征点检测单元311a、描述符计算单元311b和图像搜索单元311c。

当从摄像机单元121接收到输入图像数据时，特征点检测单元311a可以从输入图像数据中检测特征点。特征点检测单元311a可以向描述符计算单元311b发送检测到的特征点。

描述符计算单元311b可以通过使用从特征点检测单元311a接收的检测到的特征点来计算并产生描述符，并且可以向图像搜索单元311c发送产生的描述符。

根据本公开的多个实施例，描述符计算单元311b可以配置为识别数字图像上的至少一个对象，并且可以确定要用于识别对象的描述符。

描述符计算单元311b可以通过使用图像上特征点的位置、方向和／或标度中的至少一个来确定描述符，以便确定要用于识别对象的描述符。

描述符计算单元311b可以确定位于每个特征点周围区域内的像素的亮度梯度，以便确定要用于识别对象的对应描述符。描述符计算单元311b可以基于与特征点的方向不同的两个或更多个非正交固定方向，确定像素的亮度梯度。描述符计算单元311b可以根据特征点的方向，转换基于固定方向确定的亮度梯度。

描述符计算单元311b设置特征点周围区域。特征点周围区域包括基于特征点的方向和与特征点的方向正交的方向而划分的区域，并且所划分区域在其边界处彼此交叠。

描述符计算单元311b可以沿着特征点周围区域的至少一个部分中包括的像素的经转换亮度梯度的第一方向，对正值求和并且对负值求和，并且可以沿着针对经转换亮度梯度的第二方向，对正值求和并且对负值求和。第一方向和第二方向之间的角度可以对应于固定方向之间的角度。

描述符计算单元311b可以使用至少一对滤波器来确定像素的亮度梯度。可以基于固定方向之一与垂直或水平方向之间的角度α或β来至少部分地确定滤波器的相对位置。

根据本公开的多个实施例，描述符计算单元311b可以设置特征点周围区域，并且可以考虑特征点的方向将该区域划分成多个子区域，以便确定描述符。描述符计算单元311b可以向每个子区域的像素应用具有与特征点的方向非正交的方向的两个滤波器，来检测通过相应两个滤波器输出的d1值和2d值。处理器115可以将值d1和值d2分别转换到与特征点的方向一致的值d1’和值d2’。

描述符计算单元311b可以针对多个子区域中的每个子区域的像素，分别计算d1值的正数之和与d2值的正数之和，以及分别计算d1值的负数之和与d2值的负数之和。描述符计算单元311b可以针对多个子区域中的每个子区域，创建包括正数之和与负数之和的向量。

此外，描述符计算单元311b可以针对多个子区域中的每一个子区域的像素，计算d1’值之和以及d2’值之和，并且针对每个子区域通过使用d1’值之和以及d2’值之和来创建向量。

描述符计算单元311b可以通过使用相应多个子区域的多个向量，确定位于特征点周围区域内的像素的亮度梯度。

图像搜索单元311c可以通过使用从描述符计算单元311b接收到的所计算描述符，在本地参考DB250或远程参考DB270中检测与输入图像数据相对应的参考图像数据，并且可以通过至少一个检测到的参考图像数据，识别输入图像数据上的对象。

初始姿态计算单元412可以计算针对通过检测输入图像数据中的特征点而识别的对象的初始姿态。

初始姿态计算单元312可以包括特征点匹配单元312a和初始姿态估计单元312b。

特征点匹配单元312a可以通过使用从识别单元311接收到的所计算描述符来执行特征点的匹配操作，并且可以向初始姿态估计单元312b发送与特征点有关的匹配信息。

初始姿态估计单元312b可以通过从特征点匹配单元312a接收到的特征点的匹配信息，估计输入图像数据的对象的初始姿态。

跟踪单元313可以动态地跟踪通过摄像机单元121顺序接收的至少一个输入图像数据中对象的姿态改变。

跟踪单元313可以从初始姿态计算单元312中获取初始信息，通过该初始信息可以估计输入图像数据的对象的初始姿态；连续跟踪顺序接收到的每一个输入图像数据中的对象；并且动态地计算对象的姿态改变。跟踪单元313可以输出识别信息和本地信息，识别信息表示对象的类型，本地信息表示顺序接收到的每一个输入图像数据中的对象的姿态。

跟踪单元313可以包括姿态预测单元313a、特征点检测单元313b、描述符计算单元313c、特征点匹配单元313d和姿态估计单元313e。

姿态预测单元313a可以通过先前已输入的至少一个输入图像数据中对象的估计姿态，预测下个输入图像数据上对象的姿态。

特征点检测单元313b可以检测在估计输入图像数据的对象的初始姿态之后顺序接收到的输入图像数据中的特征点，并且可以向描述符计算单元313c发送检测到的特征点。

描述符计算单元313c可以通过使用从特征点检测单元313c接收到的输入图像数据的特征点来计算描述符，并且可以向特征点匹配单元313d发送所计算描述符。

特征点匹配单元313d可以通过使用从描述符计算单元313c接收到的所计算描述符，对特征点执行匹配操作，并且可以向姿态估计单元313e发送特征点的匹配信息。

姿态估计单元313e可以通过使用与特征点匹配单元313d接收到的与特征点有关的匹配信息，动态地估计至少一个顺序接收到的输入图像数据中的对象姿态改变，并且可以输出识别信息和本地信息，识别信息表示对象的类型，本地信息表示每个输入图像数据上的对象的姿态。

尽管根据本公开的多个实施例处理器中包括的AR单元在电子设备中执行AR处理，但是处理器可以执行与AR单元的功能相同的功能。

以下参照图4至8详细描述上述电子设备中计算描述符的操作。

图4是根据本公开实施例的在电子设备中计算描述符的操作的流程图，图6是示出了根据本公开多个实施例的在电子设备中针对特征点的区域设置操作的视图，图7A和7B示出了根据本公开多个实施例的在电子设备中分别用于计算描述符的非正交滤波器，以及图8是示出了根据本公开多个实施例的在电子设备中特征点的方向改变的视图。

在下文中，可以参照图4和6至8以及图1至3详细描述本公开的多个实施例。

参照图4，当在操作401中电子设备100改变到增强现实模式并且从摄像机单元121输入图像数据时，在操作403中，识别单元311的特征点检测单元311a可以检测输入图像数据上的至少一个特征点、特征点的方向以及特征点标度。

当在操作403中检测到特征点的方向和标度中的至少一个时，在操作405中，识别单元311的描述符计算单元311b可以考虑特征点的方向来设置每个特征点周围的区域。

在操作407中，描述符计算单元311b可以基于特征点的方向以及与特征点的方向正交的方向，将特征点周围设置的区域划分成多个子区域。描述符计算单元311b可以在将特征点周围设置的区域划分成多个子区域时使得多个子区域在它们的边界处彼此交叠。

在参照图6描述操作405和407时，描述符计算单元311b可以设置特征点(a)周围区域A，基于特征点的方向X₁和与特征点的方向正交的方向Y₁，将区域A划分成多个子区域601至604，并且使得多个子区域601至604在它们的边界a1至a4处彼此交叠，如图6所示。

在图4的操作409中，描述符计算单元311b可以对多个子区域中的每一个子区域的像素应用具有与特征点的方向非正交的固定方向的两个滤波器，例如，针对Y轴斜率(slope)的第一滤波器和针对X轴斜率的第二滤波器，并且可以检测从相应两个滤波器输出的d1值和d2值。

在参照图7A描述第一滤波器时，针对Y轴斜率的第一滤波器可以包括加(+)滤波器701和减(-)滤波器702，并且加(+)滤波器701和减(-)滤波器702中的任一个可以根据第一滤波器的非正交方向而移动。

加(+)滤波器701和减(-)滤波器702中的任一个可以根据第一滤波器的非正交方向而移动的移动距离S可以通过方程1计算如下。

$S=-\frac{w}{1}\mathrm{ctg}\∝$

方程1

其中，w表示滤波器的宽度，α表示固定方向与垂直方向之间的角度。

在参照图7B描述第二滤波器时，针对X轴斜率的第二滤波器可以包括加(+)滤波器711和减(-)滤波器712，并且加(+)滤波器711和减(-)滤波器712中的任一个可以根据第二滤波器的非正交方向而移动。

加(+)滤波器711和减(-)滤波器712中的任一个根据第二滤波器的非正交方向而移动的移动距离S可以通过方程2计算如下。

$S-\frac{h}{2}\mathrm{ctg\β}$

方程2

其中，h表示滤波器的高度，13表示固定方向与水平方向之间的角度。

如图7A和7B所示，可以至少部分地基于固定方向之一与垂直或水平方向之间的角度(α或β)来确定至少一对滤波器(例如，第一滤波器和第二滤波器)的相对位置。

在图4的操作411中，描述符计算单元311b可以将从相应两个滤波器输出的d1值和d值转换到与特征点的方向一致的d1’值和d2’值。

在参照图8描述操作411中，当检测特征点的方向(X₁，Y₁)时，描述符计算单元311b可以对特征点周围设置的区域的像素应用两个滤波器，同时在沿着与特征点的方向(X₁，Y₁)非正交的相应两个滤波器的固定方向(X₂，Y₂)移动两个滤波器。当根据两个滤波器的应用分别通过两个滤波器检测到d1值和d2值时，描述符计算单元311b可以将检测到的d1和d2值分别转换到与特征点的方向(X₁，Y₁)一致的d1’值和d2’值。

在图4的操作413中，描述符计算单元311b可以针对多个子区域中的每一个子区域的像素，计算分别针对d1’值的正数之和与d2’值的正数之和(d1’_d1’>0，d2’_d2’>0)和分别针对d1’值的负数之和与d2’值的负数之和(d1’_d1’<0，d2’_d2’<0)。

在操作415中，描述符计算单元311b针对多个子区域中的每一个子区域，如下创建包括正数之和以及负数之和的向量。

v=[∑d1′_(d1′>0)，Σd1′_(d1′<0)，Σd2′_(d2′>0)∑d2′_(d2′<0)]

d1’：通过转换从针对Y轴斜率的第一滤波器检测到的d1值以与特征点的方向一致而获得的值。

d2’：通过转换从针对X轴斜率的第二滤波器检测到的d2值以与特征点的方向一致而获得的值。

在操作417中，描述符计算单元311b可以通过使用相应多个子区域的多个向量，计算并确定特征点的描述符。

图5是示出了根据本公开另一实施例的在电子设备中计算描述符的操作的流程图。

在下文中，参照图5和图1至3详细描述本公开的多个实施例。

参照图5，操作501、503、505、507、509和511分别与图4的操作401、403、405、407、409和411相同。因此省略其描述。

在操作513中，描述符计算单元311b可以针对多个子区域中的每一个子区域的像素，计算d1’值之和以及d2’值之和。

在操作515中，描述符计算单元311b可以通过使用针对子区域的d1’值之和以及d2’值之和，如下计算向量。

$v=[\mathrm{\&Sigma;}{d1}^{\text{'}},\mathrm{\&Sigma;}{d2}^{\text{'}},\mathrm{\&Sigma;}\sqrt{({d1}^{\text{'}2}+{d2}^{\text{'}2})}]$

d1’：通过转换从针对Y轴斜率的第一滤波器检测到的d1值以与特征点的方向一致而获得的值。

d2’：通过转换从针对X轴斜率的第二滤波器检测到的d2值以与特征点的方向一致而获得的值。

操作517与图4的操作417相同，因此省略其描述。

通过图4和5的操作，描述符计算单元311b可以通过使用具有与特征点的方向非正交的固定方向的两个滤波器，确定特征点周围区域的像素的亮度梯度。描述符计算单元311b可以通过使用像素的亮度梯度来计算用于识别输入图像数据上的一个或更多个对象所需的描述符。

根据本公开多个实施例的电子设备和电子设备的描述符确定方法可以实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括其中存储了计算机系统可读数据的所有类型记录设备。对于这样的记录介质，可以使用ROM、RAM、光盘、磁带、软盘、硬盘或非易失性存储器。

尽管已参考本公开的多个实施例示出和描述了本公开，但是本领域技术人员应当理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以做出形式和细节的各种改变。

Claims (14)

1.一种确定电子设备的亮度梯度的方法，所述方法包括：

识别数字图像上的至少一个对象；

确定用于识别对象的描述符，

其中，确定描述符包括：

通过使用数字图像上特征点的位置、方向和标度中的至少一个来确定描述符；

确定位于特征点周围区域内的像素的亮度梯度；并且

基于两个或更多个非正交固定方向来确定像素的亮度梯度。

2.根据权利要求1所述的方法，其中，确定描述符还包括：

根据特征点的方向，转换基于固定方向确定的亮度梯度。

3.根据权利要求2所述的方法，还包括：

沿着特征点周围区域的至少一个部分中包含的像素的经转换亮度梯度的第一方向，对正值求和并且对负值求和；并且

沿着经转换亮度梯度的第二方向，对正值求和并且对负值求和，

其中，第一方向和第二方向之间的角度对应于固定方向之间的角度。

4.根据权利要求1所述的方法，其中，确定描述符包括：

设置特征特征点周围区域，

其中，特征点周围区域包括基于特征点的方向和与特征点的方向正交的方向划分的区域，并且所划分区域在所划分区域的边界处彼此交叠。

5.根据权利要求1所述的方法，其中，确定描述符包括：

使用至少一对滤波器来确定像素的亮度梯度，

其中，滤波器的相对位置是至少部分地基于固定方向之一与垂直方向和水平方向之一之间的角度α和角度β之一来确定的。

6.根据权利要求1所述的方法，其中，固定方向与特征点的方向不同。

7.根据权利要求1所述的方法，其中，确定描述符包括：

设置特征点周围区域；

将特征点周围区域划分成多个子区域；

对每个子区域的像素应用具有与特征点的方向非正交的固定方向的两个滤波器；

分别检测通过两个滤波器输出的d1值和d2值；

将d1值和d2值转换成与特征点的方向一致的d1’值和d2’值；

针对子区域的像素分别计算d1’值的正数之和与d2’值的正数之和并且分别计算d1’值的负数之和与d2’值的负数之和；

创建包括子区域的正数之和以及负数之和在内的向量；并且

通过使用相应多个子区域的多个向量来确定位于特征点周围区域内的像素的亮度梯度。

8.一种确定电子设备的亮度梯度的设备，所述设备包括：

用于识别数字图像上的至少一个对象的装置；

用于确定用于识别对象的描述符的装置，

其中，用于确定描述符的装置包括：

用于通过使用数字图像上特征点的位置、方向和标度中的至少一个来确定描述符的装置；

用于确定位于特征点周围区域内的像素的亮度梯度的装置；以及

用于基于两个或更多个非正交固定方向来确定像素的亮度梯度的装置。

9.根据权利要求8所述的方法，其中，用于确定描述符的装置还包括：

用于根据特征点的方向转换基于固定方向确定的亮度梯度的装置。

10.根据权利要求9所述的设备，还包括：

用于沿着特征点周围区域的至少一个部分中包含的像素的经转换亮度梯度的第一方向对正值求和并且对负值求和的装置；以及

用于沿着经转换亮度梯度的第二方向对正值求和并且对负值求和的装置，

其中，第一方向和第二方向之间的角度对应于固定方向之间的角度。

11.根据权利要求8所述的设备，其中，用于确定描述符的装置包括：

用于设置特征特征点周围区域的装置，

其中，特征点周围区域包括基于特征点的方向和与特征点的方向正交的方向划分的区域，并且所划分区域在所划分区域的边界处彼此交叠。

12.根据权利要求8所述的方法，其中，用于确定描述符的装置包括：

用于使用至少一对滤波器来确定像素的亮度梯度的装置，

其中，滤波器的相对位置是至少部分地基于固定方向之一与垂直方向和水平方向之一之间的角度α和角度β之一来确定的。

13.根据权利要求8所述的方法，其中，固定方向与特征点的方向不同。

14.根据权利要求8所述的方法，其中，用于确定描述符的装置包括：

用于设置特征点周围区域的装置；

用于将特征点周围区域划分成多个子区域的装置；

用于对每个子区域的像素应用具有与特征点的方向非正交的固定方向的两个滤波器的装置；

用于分别检测通过两个滤波器输出的d1值和d2值的装置；

用于将d1值和d2值转换成与特征点的方向一致的d1’值和d2’值的装置；

用于针对子区域的像素分别计算d1’值的正数之和与d2’值的正数之和并且分别计算d1’值的负数之和与d2’值的负数之和的装置；

用于创建包括子区域的正数之和以及负数之和在内的向量的装置；以及

用于通过使用相应多个子区域的多个向量来确定位于特征点周围区域内的像素的亮度梯度的装置。