CN110245667A - 物件辨识方法及其装置 - Google Patents

物件辨识方法及其装置 Download PDF

Info

Publication number
CN110245667A
CN110245667A CN201810190398.8A CN201810190398A CN110245667A CN 110245667 A CN110245667 A CN 110245667A CN 201810190398 A CN201810190398 A CN 201810190398A CN 110245667 A CN110245667 A CN 110245667A
Authority
CN
China
Prior art keywords
key point
characteristic information
testing image
arithmetic unit
neighbouring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810190398.8A
Other languages
English (en)
Inventor
邱俊杰
林享昙
谢珮琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chunghwa Picture Tubes Ltd
Original Assignee
Chunghwa Picture Tubes Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chunghwa Picture Tubes Ltd filed Critical Chunghwa Picture Tubes Ltd
Priority to CN201810190398.8A priority Critical patent/CN110245667A/zh
Priority to US15/978,199 priority patent/US20190279022A1/en
Publication of CN110245667A publication Critical patent/CN110245667A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种物件辨识方法及其装置，所述方法包括以下步骤：取得待测图像的多个关键点与每一关键点的灰阶特征信息，其中，灰阶特征信息是根据由待测图像的灰阶变化取得；取得每一关键点的色相特征信息，其中，根据关键点的多个邻近画素的色相值(Hue)，将多个邻近画素分成多个组，并将多个组的其中之一记录为色相特征信息；以及根据灰阶特征信息与色相特征信息，判断待测图像与参考图像是否匹配。

Description

物件辨识方法及其装置
技术领域
本发明涉及图像辨识技术领域，尤其涉及一种物件辨识方法及其装置。
背景技术
近年来，图像辨识的功能被广泛的应用在不同的领域上，例如机器人的视觉辨识能力、手势辨识或是图像追踪的技术上。一般而言，在进行图像特征辨识的过程中，目前常见的技术是尺度不变特征转换法(Scale-invariant feature transform，SIFT)。尺度不变特征转换是一种计算机视觉的算法，其用来检测与描述图像中的局部性特征，通过此算法可在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。尺度不变特征转换法具备不受尺度缩放、几何旋转、亮度变化的影响的优势，能够准确的辨识出具有相同图像特征的物件，然而，一般的尺度不变特征转换法无法辨识颜色的差异，因此在辨识特征雷同但颜色不同的物件时，例如瓶装饮料，容易产生辨识错误的问题。此外，一般的尺度不变特征转换法在进行关键点比对时，也没有考虑彼此之间相关关键点的对应关系，也会导致雷同的图征容易识别错误，因此如何提升物件辨识的准确度，成为目前待解决的问题之一。
发明内容
有鉴于此，本发明提供一种物件辨识方法及其装置，可以提高物件的辨识准确率。
根据本发明的实施例，一种物件辨识方法，包括以下步骤：取得待测图像的多个关键点与每一关键点的灰阶特征信息，其中，灰阶特征信息是根据由待测图像的灰阶变化取得；取得每一关键点的色相特征信息，其中，根据关键点的多个邻近画素的色相值(Hue)，将多个邻近画素分成多个组，并将多个组的其中之一记录为色相特征信息；以及根据灰阶特征信息与色相特征信息，判断待测图像与参考图像是否匹配。
在本发明的一实施例中，物件辨识方法包括：比对待测图像与参考图像的每一关键点的灰阶特征信息，并根据比对结果判断关键点的灰阶特征信息是否匹配；当比对结果为匹配时，进一步判断关键点的色相特征信息是否吻合，其中，当色相特征信息吻合时，判断关键点匹配，且当比对结果或色相特征信息为不匹配或不吻合时，判断关键点不匹配；以及当匹配的关键点数目大于匹配值时，判断待测图像与参考图像匹配，反之，判断待测图像与参考图像不匹配。
在本发明的一实施例中，物件辨识方法包括：记录每一关键点的多个邻近关键点，其中，每一关键点的周围空间划分为多个象限(Quandrant)，且记录每一象限中最接近关键点的另一关键点作为多个邻近关键点的其中之一；以及当多个关键点的其中之一的比对结果与色相特征信息都匹配时，进一步判断关键点的多个邻近关键点的至少其中之一是否匹配，其中，当多个邻近关键点的至少其中之一匹配时，判断关键点匹配，反之，判断关键点不匹配。
在本发明的一实施例中，物件辨识方法包括将具有最多邻近画素的组记录为色相特征信息，或计算多个邻近画素的平均色相值，并将对应平均色相值的组记录为色相特征信息。
根据本发明的实施例，一种物件辨识装置包括：存储装置与运算装置。存储装置储存多个参考图像以及多个指令。运算装置耦接存储装置，并接收待测图像，经配置以执行多个指令以：取得待测图像的多个关键点与每一关键点的灰阶特征信息，其中，灰阶特征信息是根据由待测图像的灰阶变化取得；取得每一关键点的色相特征信息，其中，根据关键点的多个邻近画素的色相值，将多个邻近画素分成多个组，并将多个组的其中之一记录为色相特征信息；以及根据灰阶特征信息与色相特征信息，判断待测图像与多个参考图像的其中之一是否匹配。
根据本发明的另一实施例，一种物件辨识方法，包括：取得待测图像的多个关键点与每一关键点的特征信息；记录每一关键点的多个邻近关键点，其中，每一关键点的周围空间划分为多个象限(Quandrant)，且记录每一象限中最接近关键点的另一关键点作为多个邻近关键点的其中之一；以及根据特征信息与多个邻近关键点，判断待测图像与参考图像是否匹配。
在根据本发明的另一实施例的物件辨识方法中，包括：比对待测图像与参考图像的每一关键点的特征信息，并根据比对结果判断关键点的特征信息是否匹配；当比对结果为匹配时，进一步判断关键点的多个邻近关键点的至少其中之一是否匹配，其中，当多个邻近关键点的至少其中之一匹配时，判断关键点匹配，反之或当比对结果不匹配时，判断关键点不匹配；以及当匹配的关键点数目大于匹配值时，判断待测图像与参考图像匹配，反之，判断待测图像与参考图像不匹配。
在根据本发明的另一实施例的物件辨识方法中，特征信息包括灰阶特征信息与色相特征信息，其中，灰阶特征信息是根据由待测图像的灰阶变化取得，且根据关键点的多个邻近画素的色相值，将多个邻近画素分成多个组，并将多个组的其中之一记录为色相特征信息；比对待测图像与参考图像的每一关键点的灰阶特征信息与多个邻近关键点的至少其中之一是否都匹配，并产生比对结果；当比对结果为都匹配时，进一步判断关键点的色相特征信息是否吻合，其中，当色相特征信息吻合时，判断关键点匹配，且当比对结果为不全部匹配或色相特征信息不吻合时，判断关键点不匹配；以及当匹配的关键点数目大于匹配值时，判断待测图像与参考图像匹配，反之，判断待测图像与参考图像不匹配。
根据本发明的实施例，一种物件辨识装置包括：存储装置与运算装置。存储装置储存多个参考图像以及多个指令。运算装置耦接存储装置，并接收待测图像，经配置以执行多个指令以：记录每一关键点的多个邻近关键点，其中，每一关键点的周围空间划分为多个象限，且记录每一象限中最接近关键点的另一关键点作为多个邻近关键点的其中之一；以及根据特征信息与多个邻近关键点，判断待测图像与多个参考图像的其中之一是否匹配。
附图说明
图1为本发明一实施例的物件辨识装置的功能方块图。
图2是依据本发明的一实施例示出的物件辨识方法流程图。
图3是依据本发明的一实施例示出的通过SIFT法找出关键点的实施方式示意图。
图4是依据本发明的一实施例示出的通过SIFT法取得关键点的灰阶特征信息的实施方式示意图。
图5是依据本发明的一实施例示出的通过SIFT法计算关键点的色相特征信息的实施方式示意图
图6是依据本发明的另一实施例示出的物件辨识方法流程图。
图7是依据本发明的另一实施例示出的空间象限示意图。
附图标记说明
10：物件辨识装置；
20、30：物件辨识方法；
110：运算装置；
120：存储装置；
122：参考图像数据库；
130：图像获取装置；
410：直方图；
S210、S220、S230、S310、S320、S330：物件辨识方法的步骤；
C：中心画素；
REFIM：参考图像；
TIM：待测图像；
MD：主方向；
KP、KP1、KP2、KP3、KP4、KP5：关键点；
I：第一象限；
II：第二象限；
III：第三象限；
IV：第四象限。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
图1为本发明一实施例的物件辨识装置的功能方块图。请参照图1，物件辨识装置10包括运算装置110、存储装置120与图像获取装置130。
运算装置110耦接存储装置120与图像获取装置130。运算装置110例如是一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(Application Specific Integrated Circuit，ASIC)、场可程序门阵列电路(FieldProgrammable Gate Array，FPGA)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(Advanced RISC Machine，ARM)的处理器以及类似品。
存储装置120例如是任意型式的固定式或可移动式随机存取内存(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或其他类似装置或这些装置的组合。在本实施例中，存储装置120包括参考图像数据库122，参考图像数据库122储存有多个参考图像REFIM，此外存储装置120还储存可由运算装置110执行的多个指令。因此，运算装置110可执行存储装置120中的这些指令来执行多个步骤，从而实现本发明的物件辨识装置10内部硬件组件的硬件信息的功能。
图像获取装置130用以获取图像并提供待测图像TIM给运算装置110。图像获取装置130例如是任何具有电荷耦合组件(Charge coupled device，CCD)镜头、互补式金属氧化半导体(Complementary metal oxide semiconductor，CMOS)镜头或红外线镜头的摄影机，也可以是可取得深度信息的图像获取设备，例如是深度摄影机(depth camera)或立体摄影机，但本发明的可实施方式不限于此。
需说明的是，图像获取装置130并非必要，在其它的实施例中，物件辨识装置10可以不具备图像获取装置130，运算装置110可通过输入输出界面(未显示)或存储装置120接收待测图像TIM。
图2是依据本发明的一实施例示出的物件辨识方法流程图。本实施例提出的物件辨识方法20可由图1的物件辨识装置10执行，以下即搭配图1的各个组件来说明本方法的详细步骤。
在步骤S210中，运算装置110取得待测图像TIM的多个关键点与每一个关键点的灰阶特征信息，其中灰阶特征信息是根据由待测图像TIM的灰阶变化取得。运算装置110可以利用尺度不变特征转换(Scale-invariant feature transform，SIFT)法或加速强健特征(speeded-up robust features，SURF)法等等运算方式来寻找需要的关键点与每一个关键点的灰阶特征信息，本发明并不限制其实施方式。
图3是依据本发明的一实施例示出的通过SIFT法找出关键点的实施方式示意图，图4是依据本发明的一实施例示出的通过SIFT法取得关键点的灰阶特征信息的实施方式示意图。请参照图3与图4，在本实施例中，运算装置110利用尺度不变特征转换(SIFT)法来检测并扫描待测图像TIM中的局部性特征，例如在空间尺度中寻找出极值点作为关键点。具体而言，运算装置110会针对不同的空间尺度倍率的待测图像TIM，进行不同程度(scale)的高斯处理，即用不同的高斯滤波器(Gaussian filters)进行卷积(convolved)，以形成高斯金字塔(Gaussian Pyramid)，然后前后相减以形成高斯差(Difference of Gaussian，DOG)，然后DOG图像中的每个画素，例如图3的中心画素C，会跟以自己为中心周围的邻近画素，以及在同一组DOG图像中相邻程度但相同位置的邻近画素作比较，以找出之中的具有极值的画素以作为关键点KP。
运算装置110还可以计算出每一个关键点所在区块的待测图像TIM的灰阶梯度变化，并将之分类以定位出旋转主方向来取得该区块关键点的灰阶特征信息，举例来说，在图4的实施例中，首先针对关键点KP，在每个4*4的子区域内建立一个8方向的直方图410，在关键点KP周围的区域中，例如共计16个子区域，计算每个画素的梯度量值大小与方向后加入此直方图410中，以找定位主方向MD，因此关键点KP的灰阶特征信息具有128个关于灰阶梯度量值的特征值。本发明对于如何计算关键点、灰阶特征信息或特征值的数目并不限制，此外，关于如何计算待测图像的多个关键点以及对应的灰阶特征信息的详细实施方式，本领域的技术人员可从公知常识获致足够的教示与建议，在此不加以赘述。
在步骤S220中，运算装置110取得每一关键点的色相特征信息。具体而言，运算装置110会计算每一个关键点周围的邻近画素的色相值(Hue)。运算装置110会根据关键点的多个邻近画素的色相值，将多个邻近画素分成多个组，并将多个组的其中之一记录为色相特征信息，其中可以选择将具有最多邻近画素的组设置为色相特征信息或是将这些邻近画素的平均色相值属于的组设置为色相特征信息。
图5是依据本发明的一实施例示出的通过SIFT法计算关键点的色相特征信息的实施方式示意图，在图5的实施例中，依照色相值，将关键点KP的邻近画素分成8组，例如0～45度为A组，46～90度为B组，91～135度为C组等等，以此类推。在一实施例中，运算装置110在计算每一个关键点的色相值时，所采用的邻近画素的个数会等于计算关键点时的画素的个数，例如在图4与图5的实施例中，计算灰阶特征信息与计算色相特征信息时，使用相同的16个子区域，所采用的邻近画素的个数相同。
在本实施例中，运算装置110进一步统计出邻近画素最多的色相值为那一组，且将其编号作为色相特征信息。以最多邻近画素的色相值是落在0～45度范围内的A组为例，此关键点的色相特征信息记录为A组，并储存于存储装置120中，因此此关键点的特征信息包括具有128个特征值的灰阶特征信息与1个特征值的色相特征信息。
而在另一实施例中，运算装置110可以选择将这些邻近画素的平均色相值属于的组的编号作为色相特征信息。运算装置110进一步计算出平均色相值，以这些邻近画素的平均色相值是落在0～45度范围内的A组为例，此关键点的色相特征信息记录为A组，并储存于存储装置120中，因此此关键点的特征信息同样包括具有128个特征值的灰阶特征信息与1个特征值的色相特征信息。
在步骤S230中，运算装置110可以根据灰阶特征信息与色相特征信息，判断待测图像TIM与储存在存储装置120中的多个参考图像REFIM的其中之一是否匹配。
详而言之，运算装置110接收待测图像TIM并取得关键点与特征信息(例如包括灰阶特征信息与色相特征信息)后，可以比对待测图像TIM与参考图像数据库122中的参考图像REFIM的每一关键点的灰阶特征信息以产生比对结果，并根据比对结果判断待测图像TIM与所比对的参考图像REFIM的灰阶特征信息是否匹配。
运算装置110可以根据待测图像TIM与参考图像REFIM间的灰阶特征信息差异是否不大于阈值来决定比对结果是否匹配，上述的阈值可以是根据图像的图像特征来调整，例如可以根据待测图像TIM的类型而设定，比如风景类型图像、人像类型图像、静物类型图像等等，也可以是预设的固定值，或用户依据实际情况作适当调整，本发明对此并不限制。
在一实施例中，运算装置110可以采用欧式距离(Euclidean Distance)计算方式，但不限于此，来判断待测图像TIM的灰阶特征信息与参考图像数据库122中的哪张参考图像REFIM的关键点最接近。例如，当两张图像间对应的关键点的灰阶特征信息的最小平方差不大于阈值时，比对结果被判断为匹配，而最小平方差大于阈值时，比对结果被判断为不匹配。
当比对结果为匹配时，运算装置110可以进一步判断灰阶特征信息匹配的关键点的色相特征信息是否匹配。例如参考图像REFIM的某个关键点的灰阶特征信息与待测图像TIM的比对结果为匹配，进一步比对该关键点的色相特征信息，如果两者都是A组，则表示色相特征信息吻合，如果一者为A组令一者为C组，表示两者的颜色不同，色相特征信息不吻合。因此，当色相特征信息吻合时，运算装置110判断此关键点匹配，且当比对结果不匹配或色相特征信息不吻合时，运算装置110判断此关键点不匹配。
当愈多关键点被判定为匹配，表示待测图像TIM与参考图像REFIM的匹配度愈高，当匹配的关键点数目大于匹配值时，运算装置110判断待测图像TIM与参考图像REFIM匹配，反之，判断待测图像TIM与参考图像REFIM不匹配。而用户可根据实际应用情况与需求决定匹配值大小，因此在一实施例中，可以仅部分关键点被判断为匹配，即可表示图像匹配，在另一实施例中，可以要求当全部关键点被判断为匹配，才可以表示图像匹配，本发明对此并不加此限制。因此，在此实施例中，物件辨识装置10与物件辨识方法20具有能够进一步辨识出是否具有相同颜色的效果。
图6是依据本发明的另一实施例示出的物件辨识方法流程图。本实施例提出的物件辨识方法30可由图1的物件辨识装置10执行，以下即搭配图1至图4的实施例来说明本方法的详细步骤。
在步骤S310中，运算装置110取得待测图像TIM的多个关键点与每一个关键点的特征信息，在此的特征信息例如是上述实施例中的灰阶特征信息。在此，如何取得关键点与灰阶特征信息的实施方式不再重述。
在步骤S320中，运算装置110记录每一关键点的多个邻近关键点。运算装置110在取得每一关键点的特征信息的过程中，可以以此关键点为中心，将此关键点的周围空间划分为多个象限(Quandrant)，且记录每一象限中最接近此关键点的另一关键点，以作为多个邻近关键点的其中之一。
图7是依据本发明的另一实施例示出的空间象限示意图。在图7的实施例中，以关键点KP为中心将周围空间划分为4个象限，第一象限I、第二象限II、第三象限III与第四象限IV，本发明对于象限的数目并不限制。运算装置110会找出在每个象限中，最接近关键点KP的其它关键点并记录为邻近关键点。例如，在第一象限I具有其它关键点KP1与KP5，在第二象限II具有关键点KP2，在第三象限III具有关键点KP3与KP4，在第四象限IV刚好没有关键点，因此运算装置110在第一象限I中会选取最接近关键点KP的关键点KP1作为邻近关键点，在第二象限II中会选取关键点KP2，在第三象限III会选取最接近的关键点KP3，在第四象限IV则不选取，运算装置110会记录上述已被选取的邻近关键点的编号来作为关键点KP的相邻特征信息。在第四象限IV没有邻近关键点的状况中，可以将第四象限IV所对应的邻近关键点的编号设置为默认值(default value)，例如0。
在步骤S330中，运算装置110可以根据特征信息与这些相邻关键点，判断待测图像TIM与储存在存储装置120中的多个参考图像REFIM的其中之一是否匹配。
运算装置110会比对待测图像TIM与参考图像REFIM的每一关键点的特征信息，并根据比对结果判断关键点的特征信息是否匹配。在此的特征信息是以灰阶特征信息为例，如何判断比对结果的方式已在上述的实施例有详细说明，在此不再重述。
当比对结果为匹配时，运算装置110进一步判断此关键点的多个邻近关键点的至少其中之一是否匹配，其中，当多个邻近关键点的至少其中之一匹配时，判断此关键点匹配，反之或当比对结果不匹配时，判断此关键点不匹配。举例来说，运算装置110可以先比对关键点KP的灰阶特征信息的128个特征值，当比对结果为匹配时，进一步比对关键点KP的4个邻近关键点(在图7的实施例有四个象限)，如果有其中一个相邻关键点被判定为匹配，例如第一象限I的关键点KP1，则运算装置110判断关键点KP匹配，反之，关键点KP被判断为不匹配。
具体来说，由于相邻特征信息记录了邻近关键点的编号，因此运算装置110可以根据编号从存储装置120中找出每一个邻近关键点的特征信息(以灰阶特征信息为例)，因此运算装置110可以比对邻近关键点的灰阶特征信息来决定邻近关键点是否匹配。通过灰阶特征信息来决定是否匹配的详细实施方式可参照上述实施例的说明，在此不再赘述。由于本实施例的相邻特征信息仅记录了邻近关键点的编号，因此不需要重复记录邻近关键点的灰阶特征信息，能够在不增加额外的内存负担的条件下，进一步进行邻近关键点的比对。
在另一实施例中，运算装置110可以要求至少两个邻近关键点(这些邻近关键点的至少二分之一)匹配时，才判断关键点KP匹配，在另一实施例中，运算装置110可以要求至少3个邻近关键点匹配时，甚至是要求全部的邻近关键点匹配，才判断关键点KP匹配。本发明对此并不限制。
同样的，当被判断为匹配的关键点数目大于匹配值时，运算装置110才能判断待测图像TIM与参考图像REFIM匹配，反之，运算装置110判断两者不匹配。因此，本实施例的物件辨识装置10与物件辨识方法30具有能够考虑彼此之间相应的关键点的对应关系，提升辨识的正确率。
在另一实施例中，特征信息除了灰阶特征信息还包括色相特征信息，因此运算装置110可先比对灰阶特征信息与色相特征信息后，当此特征点的灰阶特征信息被判断为匹配且色相特征信息也吻合后，再比对这些邻近关键点来判断此关键点是否匹配。
在另一实施例中，特征信息除了灰阶特征信息还包括色相特征信息，但是与上面的实施例差别在于，运算装置110可先比对灰阶特征信息与这些邻近关键点后，当此特征点的灰阶特征信息与邻近关键点的至少其中之一被判断为匹配后，再比对色相特征信息是否吻合。本发明对于比对的顺序先后并无限制，本领域的技术人员可依据实际情况与需求作适当调整。
综上所述，本发明一实施例的物件辨识方法及其装置，除了取得待测图像的多个关键点以及根据待测图像的灰阶变化取得每个关键点的灰阶特征信息，还根据每个关键点的邻近画素取得色相特征信息，上述的色相特征信息是记录这些邻近画素的主要色相值或平均色相值的类别，因此本发明实施例的物件辨识方法及其装置可以辨识物件的颜色，此外，由于仅记录跟比对色相值的类别，因此运算量低并且记忆容量需求也低，使得辨识速度快而且运算负担低，能够提供有效率且准确度高的辨识功能。本发明另一实施例的物件辨识方法及其装置除了取得待测图像的多个关键点以及特征信息外，还对应每个空间象限来记录每个关键点的邻近关键点，此外，由于仅记录邻近关键点的编号，因此记忆容量需求也低，因此本发明实施例的物件辨识方法及其装置可以进一步考虑到关键点彼此之间的对应关系，提升辨识效率与准确度。
在本发明的一实施例中，上述的物件辨识方法还包括：根据待测图像的类型设定阈值，且根据待测图像与参考图像间的灰阶特征信息差异是否不大于阈值来判断比对结果是否匹配。
在本发明的一实施例中，上述的物件辨识装置还包括图像获取装置，耦接所述运算装置，用以提供所述待测图像。
在根据本发明的另一实施例的物件辨识方法中，上述的物件辨识方法包括：比对待测图像与参考图像的每一关键点的特征信息，并根据比对结果判断关键点的特征信息是否匹配；当比对结果为匹配时，进一步判断关键点的多个邻近关键点的至少二分之一是否匹配，其中，当多个邻近关键点的至少二分之一匹配时，判断关键点匹配，反之或当比对结果不匹配时，判断关键点不匹配；以及当匹配的关键点数目大于匹配值时，判断待测图像与参考图像匹配，反之，判断待测图像与参考图像不匹配。
在根据本发明的另一实施例的物件辨识方法中，上述的物件辨识方法包括：比对待测图像与参考图像的每一关键点的特征信息，并根据比对结果判断关键点的特征信息是否匹配；当比对结果为匹配时，进一步判断关键点的多个邻近关键点是否全部匹配，其中，当多个邻近关键点全部匹配时，判断关键点匹配，当多个邻近关键点的至少其中之一或比对结果不匹配时，判断关键点不匹配；以及当匹配的关键点数目大于匹配值时，判断待测图像与参考图像匹配，反之，判断待测图像与参考图像不匹配。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种物件辨识方法，其特征在于，包括：
取得待测图像的多个关键点与每一所述关键点的灰阶特征信息，其中，所述灰阶特征信息是根据由所述待测图像的灰阶变化取得；
取得每一所述关键点的色相特征信息，其中，根据所述关键点的多个邻近画素的色相值，将所述多个邻近画素分成多个组，并将所述多个组的其中之一记录为所述色相特征信息；以及
根据所述灰阶特征信息与所述色相特征信息，判断所述待测图像与参考图像是否匹配。
2.根据权利要求1所述的物件辨识方法，其特征在于，所述的判断所述待测图像与所述参考图像是否匹配的步骤包括：
比对所述待测图像与所述参考图像的每一所述关键点的所述灰阶特征信息，并根据比对结果判断所述关键点的所述灰阶特征信息是否匹配；
当所述比对结果为匹配时，进一步判断所述关键点的所述色相特征信息是否吻合，其中，当所述色相特征信息吻合时，判断所述关键点匹配，且当所述比对结果或所述色相特征信息为不匹配或不吻合时，判断所述关键点不匹配；以及
当匹配的所述关键点数目大于匹配值时，判断所述待测图像与所述参考图像匹配，反之，判断所述待测图像与所述参考图像不匹配。
3.根据权利要求2所述的物件辨识方法，其特征在于，所述的判断所述待测图像与所述参考图像是否匹配的步骤还包括：
记录每一所述关键点的多个邻近关键点，其中，每一所述关键点的周围空间划分为多个象限，且记录每一所述象限中最接近所述关键点的另一关键点作为所述多个邻近关键点的其中之一；以及
当所述多个关键点的其中之一的所述比对结果与所述色相特征信息都匹配时，进一步判断所述关键点的所述多个邻近关键点的至少其中之一是否匹配，其中，当所述多个邻近关键点的至少其中之一匹配时，判断所述关键点匹配，反之，判断所述关键点不匹配。
4.根据权利要求1所述的物件辨识方法，其特征在于，所述的将所述多个组的其中之一记录为所述色相特征信息的步骤包括：
将具有最多所述邻近画素的组记录为所述色相特征信息或计算所述多个邻近画素的平均色相值，并将对应所述平均色相值的组记录为所述色相特征信息。
5.一种物件辨识装置，其特征在于，包括：
存储装置，储存多个参考图像以及多个指令；以及
运算装置，耦接所述存储装置，并接收待测图像，经配置以执行所述多个指令以：
取得所述待测图像的多个关键点与每一所述关键点的灰阶特征信息，其中，所述灰阶特征信息是根据由所述待测图像的灰阶变化取得；
取得每一所述关键点的色相特征信息，其中，根据所述关键点的多个邻近画素的色相值，将所述多个邻近画素分成多个组，并将所述多个组的其中之一记录为所述色相特征信息；以及
根据所述灰阶特征信息与所述色相特征信息，判断所述待测图像与所述多个参考图像的其中之一是否匹配。
6.根据权利要求5所述的物件辨识装置，其特征在于，
所述运算装置比对所述待测图像与所述参考图像的每一所述关键点的所述灰阶特征信息，并根据比对结果判断所述关键点的所述灰阶特征信息是否匹配；
当所述比对结果为匹配时，所述运算装置进一步判断所述关键点的所述色相特征信息是否吻合，其中，当所述色相特征信息吻合时，所述运算装置判断所述关键点匹配，且当所述比对结果或所述色相特征信息为不匹配或不吻合时，所述运算装置判断所述关键点不匹配；以及
当匹配的所述关键点数目大于匹配值时，所述运算装置判断所述待测图像与所述参考图像匹配，反之，所述运算装置判断所述待测图像与所述参考图像不匹配。
7.根据权利要求6所述的物件辨识装置，其特征在于，
所述运算装置将所述待测图像的每一所述关键点的多个邻近关键点记录于所述存储装置，其中，每一所述关键点的周围空间划分为多个象限，且所述运算装置将每一所述象限中最接近所述关键点的另一关键点记录为所述多个邻近关键点的其中之一；以及
当所述待测图像与所述参考图像的所述比对结果与所述色相特征信息都匹配时，所述运算装置进一步判断所述关键点的所述多个邻近关键点的至少其中之一是否匹配，其中，当所述多个邻近关键点的至少其中之一匹配时，所述运算装置判断所述关键点匹配，反之，所述运算装置判断所述关键点不匹配。
8.一种物件辨识方法，其特征在于，包括
取得待测图像的多个关键点与每一所述关键点的特征信息；
记录每一所述关键点的多个邻近关键点，其中，每一所述关键点的周围空间划分为多个象限，且记录每一所述象限中最接近所述关键点的另一关键点作为所述多个邻近关键点的其中之一；以及
根据所述特征信息与所述多个邻近关键点，判断所述待测图像与参考图像是否匹配。
9.根据权利要求8所述的物件辨识方法，其特征在于，所述的判断所述待测图像与所述参考图像是否匹配的步骤包括：
比对所述待测图像与所述参考图像的每一所述关键点的所述特征信息，并根据比对结果判断所述关键点的所述特征信息是否匹配；
当所述比对结果为匹配时，进一步判断所述关键点的所述多个邻近关键点的至少其中之一是否匹配，其中，当所述多个邻近关键点的至少其中之一匹配时，判断所述关键点匹配，反之或当所述比对结果不匹配时，判断所述关键点不匹配；以及
当匹配的所述关键点数目大于匹配值时，判断所述待测图像与所述参考图像匹配，反之，判断所述待测图像与所述参考图像不匹配。
10.根据权利要求8所述的物件辨识方法，其特征在于，所述的判断所述待测图像与所述参考图像是否匹配的步骤包括：
所述特征信息包括灰阶特征信息与色相特征信息，其中，所述灰阶特征信息是根据由所述待测图像的灰阶变化取得，且根据所述关键点的多个邻近画素的色相值，将所述多个邻近画素分成多个组，并将所述多个组的其中之一记录为所述色相特征信息；
比对所述待测图像与所述参考图像的每一所述关键点的所述灰阶特征信息与所述多个邻近关键点的至少其中之一是否都匹配，并产生比对结果；
当所述比对结果为都匹配时，进一步判断所述关键点的所述色相特征信息是否吻合，其中，当所述色相特征信息吻合时，判断所述关键点匹配，且当所述比对结果为不全部匹配或所述色相特征信息不吻合时，判断所述关键点不匹配；以及
当匹配的所述关键点数目大于匹配值时，判断所述待测图像与所述参考图像匹配，反之，判断所述待测图像与所述参考图像不匹配。
11.一种物件辨识装置，其特征在于，包括：
存储装置，储存多个参考图像以及多个指令；以及
运算装置，耦接所述存储装置，并接收待测图像，经配置以执行所述多个指令以：
取得待测图像的多个关键点与每一所述关键点的特征信息；
记录每一所述关键点的多个邻近关键点，其中，每一所述关键点的周围空间划分为多个象限，且记录每一所述象限中最接近所述关键点的另一关键点作为所述多个邻近关键点的其中之一；以及
根据所述特征信息与所述多个邻近关键点，判断所述待测图像与所述多个参考图像的其中之一是否匹配。
12.根据权利要求11所述的物件辨识装置，其特征在于，
所述运算装置比对所述待测图像与所述参考图像的每一所述关键点的所述特征信息，并根据比对结果判断所述关键点的所述特征信息是否匹配；
当所述比对结果为匹配时，所述运算装置进一步判断所述关键点的所述多个邻近关键点的至少其中之一是否匹配，其中，当所述多个邻近关键点的至少其中之一匹配时，所述运算装置判断所述关键点匹配，反之或当所述比对结果不匹配时，所述运算装置判断所述关键点不匹配；以及
当匹配的所述关键点数目大于匹配值时，所述运算装置判断所述待测图像与所述参考图像匹配，反之，所述运算装置判断所述待测图像与所述参考图像不匹配。
13.根据权利要求11所述的物件辨识装置，其特征在于，所述特征信息包括灰阶特征信息或所述灰阶特征信息与色相特征信息，其中，所述灰阶特征信息是根据由所述待测图像的灰阶变化取得，且根据所述关键点的多个邻近画素的色相值，将所述多个邻近画素分成多个组，并将所述多个组的其中之一记录为所述色相特征信息；
所述运算装置比对所述待测图像与所述参考图像的每一所述关键点的所述灰阶特征信息与所述多个邻近关键点的至少其中之一是否都匹配，并产生比对结果；
当所述比对结果为都匹配时，所述运算装置进一步判断所述关键点的所述色相特征信息是否吻合，其中，当所述色相特征信息吻合时，所述运算装置判断所述关键点匹配，且当所述比对结果为不全部匹配或所述色相特征信息不吻合时，所述运算装置判断所述关键点不匹配；以及
当匹配的所述关键点数目大于匹配值时，所述运算装置判断所述待测图像与所述参考图像匹配，反之，所述运算装置判断所述待测图像与所述参考图像不匹配。
CN201810190398.8A 2018-03-08 2018-03-08 物件辨识方法及其装置 Pending CN110245667A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810190398.8A CN110245667A (zh) 2018-03-08 2018-03-08 物件辨识方法及其装置
US15/978,199 US20190279022A1 (en) 2018-03-08 2018-05-14 Object recognition method and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810190398.8A CN110245667A (zh) 2018-03-08 2018-03-08 物件辨识方法及其装置

Publications (1)

Publication Number Publication Date
CN110245667A true CN110245667A (zh) 2019-09-17

Family

ID=67843286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810190398.8A Pending CN110245667A (zh) 2018-03-08 2018-03-08 物件辨识方法及其装置

Country Status (2)

Country Link
US (1) US20190279022A1 (zh)
CN (1) CN110245667A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087481B2 (en) * 2020-01-08 2021-08-10 Himax Technologies Limited Method for detecting dimension of box based on depth map
US20230005112A1 (en) * 2021-06-30 2023-01-05 V5 Technologies Co., Ltd. Image matching method
CN114494469A (zh) * 2022-01-29 2022-05-13 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
CN114598553A (zh) * 2022-03-29 2022-06-07 中国工商银行股份有限公司 一种灰度发布方法及灰度发布装置
CN116543188B (zh) * 2023-07-06 2023-10-13 深圳市睿达科技有限公司 一种基于灰度匹配的机器视觉匹配方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
CN102012939A (zh) * 2010-12-13 2011-04-13 中国人民解放军国防科学技术大学 综合颜色和局部不变特征匹配的动画场景自动标注方法
CN102629328A (zh) * 2012-03-12 2012-08-08 北京工业大学 融合颜色的显著特征概率潜在语义模型物体图像识别方法
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术（中国）有限公司 一种图像的多特征提取与融合方法及系统
CN102799859A (zh) * 2012-06-20 2012-11-28 北京交通大学 一种交通标志识别方法
CN103325101A (zh) * 2012-03-20 2013-09-25 日电（中国）有限公司 彩色特征的提取方法及装置
US20160092742A1 (en) * 2014-09-29 2016-03-31 Yuan Ze University Method for instant recognition of traffic lights countdown image
US20170132451A1 (en) * 2015-11-06 2017-05-11 Fanuc Corporation Image processing device and method for detecting image of object to be detected from input data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
GB9810771D0 (en) * 1998-05-19 1998-07-15 Active Silicon Limited Method of detecting colours
JP3345350B2 (ja) * 1998-05-27 2002-11-18 富士通株式会社 文書画像認識装置、その方法、及び記録媒体
US8270709B2 (en) * 2006-08-31 2012-09-18 Corel Corporation Color selection and/or matching in a color image
WO2012018149A1 (en) * 2010-08-06 2012-02-09 Bizmodeline Co., Ltd. Apparatus and method for augmented reality
US8941673B2 (en) * 2011-11-08 2015-01-27 Red Hat, Inc. Rendering images in a remote web browser
US20140201180A1 (en) * 2012-09-14 2014-07-17 Broadbandtv, Corp. Intelligent Supplemental Search Engine Optimization
TW201603556A (zh) * 2014-07-01 2016-01-16 中華映管股份有限公司 透明顯示系統的影像處理方法
US10298841B2 (en) * 2015-11-20 2019-05-21 Sony Corporation Device and method for generating a panoramic image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
CN102012939A (zh) * 2010-12-13 2011-04-13 中国人民解放军国防科学技术大学 综合颜色和局部不变特征匹配的动画场景自动标注方法
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术（中国）有限公司 一种图像的多特征提取与融合方法及系统
CN102629328A (zh) * 2012-03-12 2012-08-08 北京工业大学 融合颜色的显著特征概率潜在语义模型物体图像识别方法
CN103325101A (zh) * 2012-03-20 2013-09-25 日电（中国）有限公司 彩色特征的提取方法及装置
CN102799859A (zh) * 2012-06-20 2012-11-28 北京交通大学 一种交通标志识别方法
US20160092742A1 (en) * 2014-09-29 2016-03-31 Yuan Ze University Method for instant recognition of traffic lights countdown image
US20170132451A1 (en) * 2015-11-06 2017-05-11 Fanuc Corporation Image processing device and method for detecting image of object to be detected from input data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈龙龙: "基于内容的文物图像检索系统", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Also Published As

Publication number Publication date
US20190279022A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN110245667A (zh) 物件辨识方法及其装置
Cozzolino et al. Splicebuster: A new blind image splicing detector
CN108010036B (zh) 一种基于rgb-d相机的物体对称轴检测方法
US8705876B2 (en) Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching
Noh et al. A new framework for background subtraction using multiple cues
CN106355188B (zh) 图像检测方法及装置
CN108230237B (zh) 一种用于电气设备在线检测的多光谱图像重构方法
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
TWI687689B (zh) 球狀體之旋轉之測定裝置、測定方法以及非暫時性資訊記錄媒體
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
JP2013541119A (ja) オブジェクト認識における特徴生成を改善するためのシステム及び方法
JP2011508323A (ja) 不変の視覚場面及び物体の認識
CN108229500A (zh) 一种基于函数拟合的sift误匹配点剔除法
CN111126412A (zh) 基于特征金字塔网络的图像关键点检测方法
CN117474918B (zh) 异常检测方法和装置、电子设备以及存储介质
Ekekrantz et al. Adaptive iterative closest keypoint
CN113095385B (zh) 一种基于全局和局部特征描述的多模图像匹配方法
US11023781B2 (en) Method, apparatus and device for evaluating image tracking effectiveness and readable storage medium
Sharma et al. Feature-level fusion for object segmentation using mutual information
CN116415210A (zh) 图像侵权检测方法、装置及存储介质
JP2011113360A (ja) 物体識別装置
Wang et al. Efficient iris localization via optimization model
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration
Burget et al. Automated localization of temporomandibular joint disc in mri images
CN105074729A (zh) 光度边缘描述

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190917

WD01 Invention patent application deemed withdrawn after publication