CN110458875B - 异常点对的检测方法、图像拼接方法、相应装置及设备 - Google Patents

异常点对的检测方法、图像拼接方法、相应装置及设备 Download PDF

Info

Publication number
CN110458875B
CN110458875B CN201910696884.1A CN201910696884A CN110458875B CN 110458875 B CN110458875 B CN 110458875B CN 201910696884 A CN201910696884 A CN 201910696884A CN 110458875 B CN110458875 B CN 110458875B
Authority
CN
China
Prior art keywords
point pair
matrix
point
pair set
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910696884.1A
Other languages
English (en)
Other versions
CN110458875A (zh
Inventor
陈伟
朱飞
吴腾
杜凌霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201910696884.1A priority Critical patent/CN110458875B/zh
Publication of CN110458875A publication Critical patent/CN110458875A/zh
Priority to PCT/CN2020/098110 priority patent/WO2021017699A1/zh
Application granted granted Critical
Publication of CN110458875B publication Critical patent/CN110458875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了异常点对的检测方法、图像拼接方法、相应装置及设备。该检测方法包括：根据第一矩阵筛选待检测图像之间的特征点对集合，得到待检测图像之间的正常点对集合，第一矩阵与正常点对集合中的点对满足第一约束条件；根据第二矩阵筛选正常点对集合，得到待检测图像之间的异常点对集合，第二矩阵与正常点对集合中除异常点对集合外的点对满足第二约束条件，第二约束条件的约束力强于第一约束条件的约束力。利用该方法，采用了多个约束条件对特征点对集合进行筛选，由此能够有效检测出待检测图像之间的异常点对集合，从而保证待检测图像之间所匹配特征点对的准确性，进而降低整个图像处理的负面影响，提高整个图像处理应用的鲁棒性。

Description

异常点对的检测方法、图像拼接方法、相应装置及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及异常点对的检测方法、图像拼接方法、相应装置及设备。
背景技术
在图像处理技术领域的常见应用中，如图像的拼接处理、即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)以及三维重建等不同的处理场景，其技术实现一个关键环节均在于图像间特征点的匹配。
然而，现有的实现图像间特征点匹配的方法如基于特征点描述子匹配的方式以及基于光流追踪的方法等，都会不可避免的引入匹配异常的特征点，即特征点匹配的结果中存在错误匹配，这些异常匹配的特征点会影响整个图像处理的结果，为图像处理带来负面影响，降低图像处理应用的鲁棒性。
传统的去除匹配异常特征点的方法，大多通过一个图像中的点与另一视角所对应投影图像中的线形成对应关系的方式来排除匹配异常特征点，但是该种方式仍然无法有效的排除所有异常的特征点对，仍然会为图像处理中的后续操作提供错误的特征点匹配信息，影响图像处理结果。
发明内容
本发明实施例提供了异常点对的检测方法、图像拼接方法、相应装置及设备，准确有效的实现了图像间所匹配特征点对中异常点对的检测。
第一方面，本发明实施例提供了一种异常点对的检测方法，包括：
根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，所述第一矩阵与所述正常点对集合中的点对满足第一约束条件；
根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力。
第二方面，本发明实施例提供了一种图像拼接方法，包括：
将待拼接图像之间的特征点对集合执行本发明实施例第一方面提供的异常点对的检测方法，得到所述待拼接图像之间的异常点对集合；
根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。
第三方面，本发明实施例提供了一种异常点对的检测装置，包括：
第一集合确定模块，用于根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，所述第一矩阵与所述正常点对集合中的点对满足第一约束条件；
第二集合确定模块，用于根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力。
第四方面，本发明实施例提供一种图像拼接装置，包括：
异常集合确定模块，用于设置如本发明实施例第三方面提供的异常点对的检测装置，用于根据待拼接图像之间的特征点对集合得到所述待拼接图像之间的异常点对集合；
目标图像确定模块，用于根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像
第五方面，本发明实施例提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明上述实施例提供的方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明上述实施例提供的方法。
在上述异常点对的检测方法、图像拼接方法、相应装置及设备中，该异常点对的检测方法首先根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，第一矩阵与所述正常点对集合中的点对满足第一约束条件，然后根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力。上述技术方案，与现有的异常点对检测方案相比，采用了多个约束条件对特征点对集合进行筛选，且不同约束条件的约束力度逐渐加大，由此能够有效检测出待检测图像之间的异常点对集合，从而保证待检测图像之间所匹配特征点对的准确性，进而降低整个图像处理的负面影响，提高图像处理应用的鲁棒性。
附图说明
图1为本发明实施例一提供的一种异常点对的检测方法的流程示意图；
图2为本发明实施例二提供的一种异常点对的检测方法的流程示意图；
图3给出了本发明实施例二中确定第一候选矩阵的示例流程图；
图4给出了本发明实施例二中确定第二候选矩阵的示例流程图；
图5为本发明实施例二提供的另一种异常点对的检测方法的流程示意图；
图6为本发明实施例三提供的一种图像拼接方法的流程示意图；
图7给出了本发明实施例三进行图像拼接前的原始示例图；
图8给出了本发明实施例三进行异常点对检测后的效果示例图；
图9给出了本发明实施例三进行图像拼接处理后的效果展示图；
图10为本发明实施例四提供的一种异常点对的检测装置的结构框图；
图11为本发明实施例五提供的一种图像拼接装置的结构框图；
图12为本发明实施例六提供的一种计算机设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
需要说明的是，本发明实施例的应用场景为各种涉及到特征点匹配处理的图像处理领域中，适用于对特征点匹配后的点对集合进行异常点对检测的情况，基于本发明实施例提供的方法，能够有效的对特征点对集合中的异常点对进行准确的检测。具体地，该方法可以由异常点对的检测装置实现，其中，该装置可以由软件和/或硬件实现，并一般可集成在计算机设备中，该计算机设备具体可以是具备图像处理功能的图像处理服务器。
图1为本发明实施例一提供的一种异常点对的检测方法的流程示意图，如图1所示，该方法具体包括如下操作：
S101、根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合。
在本实施例中，所述待检测图像具体可理解为图像处理中的处理对象，在执行本步骤之前，可以通过特征点识别以及特征点匹配算法分别获得两待检测图像中的特征点以及两待检测图像之间相匹配的特征点对集合。因此，本步骤中所述特征点对集合具体可看作对两待检测图像的特征点进行特征点匹配后获得的相匹配点对的点对集合。示例性地，可认为所述特征点对集合中的任一点对分别由两待检测图像中的一个特征点构成，且点对中特征点具备相应的特征点信息。
在本实施例中，所述第一矩阵具体可理解为验证特征点对集合中的点对是否属于正常匹配的点对的矩阵，具体地，本步骤可以在特征点对集合中的点对与第一矩阵满足第一约束条件时，将点对确定为正常匹配的点对，即正常点对，由此构成正常点对集合，由此可认为，上述第一矩阵与正常点对集合中的点对满足第一约束条件，其中，该第一矩阵可以通过特征点对集合结合第一矩阵参数模型及随机采样一致性的采样策略确定。
S102、根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合。
需要说明的是，上述S101可以获得与第一矩阵满足第一约束条件的正常点对集合，在常规的图像处理中，已经可以将经上述S101处理后获得的正常点对集合作为两待检测图像中相匹配特征点的点对集合，本实施例考虑仅通过上述第一矩阵及对应的第一约束条件进行筛选的约束力度相对较弱，其获得正常点对集合中可能包括实际并不匹配的异常点对，由此，本实施例采用了本步骤进一步对正常点对集合中的点对进行匹配判定，进而从正常点对集合中获得实际并不匹配的异常点对集合。
在本实施例中，所述第二矩阵具体可理解为验证正常点对集合中的点对是否属于真正匹配的点对的矩阵，具体地，本步骤可以在正常点对集合中正常点对与第二矩阵满足第二约束条件时，将该正常点对确定为真正匹配的点对，可以从正常点对集合中删除，本步骤可以对正常点对集合中的所有点对进行操作，由此可在对所有正常点对都进行操作后，将未删除的点对确定为异常点对。
由此可认为，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，其中，该第二约束条件的约束力强于所述第一约束条件的约束力，且本实施例中也可以通过正常点对集合结合第二矩阵参数模型及随机采样一致性的采样策略来确定第二矩阵。
进一步地，所述第一约束条件可以为：点对中第一特征点P1和第二特征点P2与所述第一矩阵H1满足P1 TH1P2＝0；所述第二约束条件可以为：点对中第三特征点P3和第四特征点P4与所述第二矩阵H2满足P4＝H2P3。
在本实施例中，所述第一约束条件可理解为对极约束，对于两待检测图像中正常匹配的点对(P1,P2)，相当于满足第一待检测图像中的第一特征点P1在第二待检测图像中存在一条相对应的极线，且第二检测图像中的第二特征点P2处于该极线上，用数学式就可表示为：P1 TH1P2＝0，即P1的转置与第一矩阵的乘积再与第二特征点P2相乘的值为0，其中，可认为上述第一矩阵的行列值均为3且秩为2。
在本实施例中，所述第二约束条件可理解为对点约束，对于两待检测图像中真正匹配的点对(P3,P4)，相当于满足第一待检测图像中的第三特征点P3在第二待检测图像中存在一个映射点，且该映射点为第二待检测图像中的第四特征点P4，用数学式就可表示为：P4＝H2P3，即第二矩阵与第三特征点P3的乘积等于第四特征点P4，该第二矩阵行列值均为3且第3行第3列的元素值为1。其中，第一矩阵可优选为一个基础矩阵，第二矩阵可优选为一个单应矩阵。
本发明实施例一提供的一种异常点对的检测方法，首先根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，第一矩阵与该正常点对集合中的点对满足第一约束条件，然后根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，第二矩阵与该正常点对集合中除所述异常点对集合外的点对满足第二约束条件，第二约束条件的约束力强于第一约束条件的约束力。利用该方法，与现有的异常点对检测方案相比，采用了多个约束条件对特征点对集合进行筛选，且不同约束条件的约束力度逐渐加大，由此能够有效检测出待检测图像之间的异常点对集合，从而保证待检测图像之间所匹配特征点对的准确性，进而降低整个图像处理的负面影响，提高整个图像处理应用的鲁棒性。
实施例二
图2为本发明实施例二提供的一种异常点对的检测方法的流程示意图，本发明实施例二以上述实施例一为基础进行优化，在本实施例中，根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，具体可优化为：基于待检测图像之间特征点对集合中的点对，确定至少一个第一候选矩阵；针对每个第一候选矩阵，确定所述特征点对集合中与所述第一候选矩阵满足所述第一约束条件的匹配点对的点对数量；比较各所述第一候选矩阵对应的点对数量，将最大点对数量对应的第一候选矩阵确定为第一矩阵；基于对应所述第一矩阵的各匹配点对形成所述待检测图像之间的正常点对集合。
进一步地，本实施例还可将根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，具体优化为：基于所述正常点对集合中的点对，确定至少一个第二候选矩阵；针对每个第二候选矩阵，确定所述正常点对集合中与所述第二候选矩阵满足所述第二约束条件的匹配点对的点对数量；比较各所述第二候选矩阵对应的点对数量，将最大点对数量对应的第二候选矩阵确定为第二矩阵；从所述正常点对集合中删除对应所述第二矩阵的各匹配点对，获得所述待测图像之间的异常点对集合。
需要说明的是，本实施例中进行第一矩阵筛选获得正常点对集合的过程以及第二矩阵筛选获得异常点对集合的过程中均分为两个阶段，对于正常点对集合的获得，其主要包括第一矩阵的确定以及对应第一矩阵确定出正常点对集合；对于异常点对集合的获得，其主要包括第二矩阵的确定以及对应第二矩阵确定异常点对集合。
具体地，如图2所示，本发明实施例二提供的一种异常点对的检测方法的流程示意图，主要包括如下操作：
其中，可认为本实施例下述步骤中的S201至S204为第一矩阵及其相应正常点对集合的确定操作；S205至S208为第二矩阵及其相应异常点对集合的确定操作。
S201、基于待检测图像之间特征点对集合中的点对，确定至少一个第一候选矩阵。
在本实施例中，主要采取随机采样一致性的方式结合特征点对集合确定出多个第一候选矩阵，然后再从第一候选矩阵中选出一个满足选定条件的第一矩阵。
具体地，基于上述实施例的描述，分析第一矩阵的特性，可知第一矩阵为一个行列值均为3秩为2的矩阵，同时第一矩阵受第一约束条件的约束，由此可根据上述特性形成一个第一候选矩阵模型，该模型中存在9个未知参数值，为确定出每个未知参数值，需要选取至少8个点对作为已知信息，结合第一约束条件的约束，最终可以获得第一候选矩阵模型中的未知参数值，获得一个第一候选矩阵。该第一候选矩阵具体可理解为一个满足上述第一矩阵特性的候选矩阵。
本步骤中具体可以从特征点对集合中随机选取作为第一候选矩阵确定的8个已知点对，然后确定出对应当前所选取的8个已知点对的多个未知参数的参数值，由此形成对应当前随机选取操作的一个第一候选矩阵。理论上，基于一次随机的点对选取确定的第一候选矩阵就可以看作第一矩阵，但是在实际应用中，考虑到随机选取的8个点对缺少全局性，本步骤将进行第一候选矩阵的循环确定，即每次随机选取与之前所选取不完全相同的8个点对，重新进行第一候选矩阵的确定，由此循环执行设定次数，获得至少一个已确定的第一候选矩阵。
进一步地，图3给出了本发明实施例二中确定第一候选矩阵的示例流程图，如图3所示，所述基于待检测图像之间特征点对集合中的点对，确定至少一个第一候选矩阵，具体包括如下步骤：
S2011、获取已确定的当前循环次数。
在本实施例中，可以初始化设定当前循环次数的值为0，本步骤初次执行时，可以获取到已确定的值为0的当前循环次数。
S2012、比较当前循环次数是否小于或等于第一阈值，若是，则执行S2013；若否，则执行S2016。
在本实施例中，所述第一阈值可以是一个基于历史经验设定的用来限定循环次数以及结束第一候选矩阵的循环确定的阈值。本步骤可以在当前循环次数小于或等于第一阈值时，进行第一候选矩阵的确定操作，并在当前循环次数大于第一阈值时结束第一候选矩阵的确定。
S2013、从所述待检测图像之间特征点对集合中随机选取第一预设数量的第一样本点对。
本步骤相当于进行第一候选矩阵确定的其中一步，具体可以从已获得的特征点对集合中随机选取第一预设数量的第一样本点对。优选地，所述第一预设数量大于或等于8。
S2014、基于各所述第一样本点对中特征点的特征点信息，确定第一候选矩阵模型中各待定参数的参数值，形成当前的第一候选矩阵。
具体地，本实施例可认为该第一候选矩阵模型为行列均为3，秩为2的参数矩阵模型，该参数矩阵模型中包含了进行第一候选矩阵确定的多个待定参数，本步骤可以结合所选定第一预设数量的第一样本点对的特征点信息，形成一组包含8个独立参数方程的方程组，其中，每个独立方程可以基于一个特征点对与第一候选矩阵模型形成，最终通过求解方程组，可以获得第一候选矩阵模型中的每个待定参数的参数值，将确定的参数值代入第一候选矩阵模型，便获得了当前循环下的第一候选矩阵。
S2015、将所述当前循环次数加1作为新的当前循环次数，返回执行S2011。
在本实施例中，为保证循环的正常进行，可以在确定当前循环下的第一候选矩阵后，将当前循环次数加1，并返回进行新一轮第一候选矩阵的确定操作。
S2016、获取已确定的各第一候选矩阵。
在本实施例中，在当前循环次数大于第一阈值时，可认为达到了循环结束条件，此时可获得循环过程中确定出的各第一候选矩阵。
S202、针对每个第一候选矩阵，确定所述特征点对集合中与所述第一候选矩阵满足所述第一约束条件的匹配点对的点对数量。
在本实施例中，确定出用于选取第一矩阵的各第一候选矩阵后，本实施例可以通过各第一候选矩阵与特征点对集合中满足第一约束条件的点对的点对数量来选取一个第一候选矩阵作为第一矩阵，本步骤具体用于确定各第一候选矩阵所对应的点对数量，其中，所述匹配点对具体可理解为特征点对集合中与第一候选矩阵满足第一约束条件的点对。
具体地，针对每一个第一候选矩阵而言，本步骤可以基于第一约束条件的数学表达式，从特征点对集合中找出与该第一候选矩阵满足该数学表达式的匹配点对，即，匹配点对中第一特征点的转置与第一候选矩阵的乘积再与第二特征点相乘后为一个零矩阵；之后本步骤可以统计满足上述表达式的匹配点对的点对数量，由此获得各第一候选矩阵对应的点对数量。
进一步地，确定所述特征点对集合中与所述第一候选矩阵满足所述第一约束条件的匹配点对的点对数量，可以包括：针对所述特征点对集合中的每个第一点对，将所述第一点对中第一特征点的转置与所述第一候选矩阵的乘积作为第一乘积矩阵；如果所述第一乘积矩阵与所述点对中第二特征点的乘积为零矩阵，则将所述第一点对作为对应所述第一候选矩阵的匹配点对；统计所述特征点对集合中相对所述第一候选矩阵的各匹配点对的点数数量。
可以理解的是，本实施例中与第一候选矩阵进行相乘的主要为特征点对集合的任一点对中第一特征点以及第二特征点根据相应的特征点信息形成的特征向量。
S203、比较各所述第一候选矩阵对应的点对数量，将最大点对数量对应的第一候选矩阵确定为第一矩阵。
在本实施例中，当第一候选矩阵对应的点对数量最大时，可认为该第一候选矩阵最能描述特征点对集合中各点对的匹配关系，因此，本步骤可以从上述各第一候选矩阵中确定出最大点对数量对应的第一候选矩阵，并将此作为第一矩阵。
S204、基于对应所述第一矩阵的各匹配点对形成所述待检测图像之间的正常点对集合。
在本实施例中，进行第一矩阵确定时，可以确定出第一矩阵对应了哪些匹配点对，本步骤可认为其对应的匹配点对为特征点对集合中正常匹配的点对，由此可从特征点对集合中筛选出第一矩阵的各匹配点对构成正常点对集合。
可以理解的是，基于上述步骤确定出的正常点对集合中可能包括有实际不匹配的点对，本实施例可以基于下述步骤再次从正常点对集合中进行异常点对的检测。
S205、基于所述正常点对集合中的点对，确定至少一个第二候选矩阵。
在本实施例中，同样采取随机采样一致性的方式结合正常点对集合首先来确定出多个第二候选矩阵，然后再从第二候选矩阵中选出一个满足选定条件的第二矩阵。
具体地，基于上述实施例的描述，分析第二矩阵的特性，可知第二矩阵为一个行列值均为3且第三行第三列的元素值1的矩阵，同时第二矩阵受第二约束条件的约束，由此可根据上述特性形成一个第二候选矩阵模型，该模型中存在8个未知参数值，为确定出每个未知参数值，需要选取至少需要4个点对作为已知信息，结合第二约束条件的约束，最终可以获得第二候选矩阵模型中的未知参数值，获得一个第二候选矩阵。所述第二候选矩阵具体可理解为一个满足上述第二矩阵特性的候选矩阵。
本步骤中具体可以从正常点对集合中随机选取作为第二候选矩阵确定的4个已知点对，然后确定出对应当前所选取的4个已知点对的多个未知参数的参数值，由此形成对应当前随机选取操作的一个第二候选矩阵。理论上，基于一次随机的点对选取确定的第二候选矩阵就可以看作第二矩阵，但是在实际应用中，考虑到随机选取的4个点对缺少全局性，本步骤将进行第二候选矩阵的循环确定，即每次随机选取与之前所选取不完全相同的4个点对，重新进行第二候选矩阵的确定，由此循环执行设定次数，获得至少一个已确定的第二候选矩阵。
进一步地，图4给出了本发明实施例二中确定第二候选矩阵的示例流程图，如图4所示，所述基于待检测图像之间特征点对集合中的点对，确定至少一个第一候选矩阵，具体可以包括如下步骤：
S2051、获取已确定的当前执行次数。
在本实施例中，可以初始化设定当前执行次数的值为0，本步骤初次执行时，可以获取到已确定的值为0的当前执行次数。
S2052、比较所述当前执行次数是否小于或等于第二阈值，若是，则执行S2053；若否，则执行S2054。
在本实施例中，所述第二阈值可以是一个基于历史经验设定的用来限定执行次数以及结束第二候选矩阵的循环确定的阈值。本步骤可以在当前执行次数小于或等于第二阈值时，进行第二候选矩阵的确定操作，并在当前执行次数大于第二阈值时结束第二候选矩阵的确定。
S2053、从所述待检测图像之间特征点对集合中随机选取至少第二预设数量的第二样本点对。
本步骤相当于进行第二候选矩阵确定的其中一步，具体可以从已获得的正正常点对集合中随机选取第二预设数量的第二样本点对。优选地，所述第二预设数量大于或等于4。
S2054、基于各所述第二样本点对中特征点的特征点信息，确定第二候选矩阵模型中各待定参数的参数值，形成当前的第二候选矩阵。
具体地，本实施例可认为所述第二候选矩阵模型为一个行列值均为3且第三行第三列的元素值为1的参数矩阵模型，该参数矩阵模型中包含了进行第二候选矩阵确定所需的多个待定参数，本步骤可以结合所选定第二预设数量的第二样本点对的特征点信息，形成一个由至少4对匹配点与第二候选矩阵模型构成的方程组，最终通过求解该方程组，可以获得第二候选矩阵模型中的每个待定参数的参数值，将确定的参数值代入第二候选矩阵模型，便获得了当前循环下的第二候选矩阵。
S2055、将所述当前执行次数加1作为新的当前执行次数，返回S2051。
在本实施例中，为保证循环的正常进行，可以在确定当前循环下的第二候选矩阵后，将当前执行次数加1，并返回进行新一轮第二候选矩阵的确定操作。
S2056、获取已确定的各第二候选矩阵。
在本实施例中，在当前执行次数大于第二阈值时，可认为达到了循环结束条件，此时可获得循环过程中确定出的各第二候选矩阵。
S206、针对每个第二候选矩阵，确定所述正常点对集合中与所述第二候选矩阵满足所述第二约束条件的匹配点对的点对数量。
在本实施例中，确定出用于选取第二矩阵的各第二候选矩阵后，本实施例可以通过各第二候选矩阵与正常点对集合中满足第二约束条件的点对的点对数量来选取一个第二候选矩阵作为第二矩阵，本步骤具体用于确定各第二候选矩阵所对应的点对数量，其中，所述匹配点对具体可理解为正常点对集合中与第二候选矩阵满足第二约束条件的点对。
具体地，针对每一个第二候选矩阵而言，本步骤可以基于第二约束条件的数学表达式，从正常点对集合中找出与该第二候选矩阵满足该数学表达式的匹配点对，即，匹配点对中第三特征点与第二候选矩阵的乘积等于第四特征点；之后本步骤可以统计满足上述表达式的匹配点对的点对数量，由此获得各第二候选矩阵对应的点对数量。
进一步地，所述确定所述正常点对集合中与所述第二候选矩阵满足所述第二约束条件的匹配点对的点对数量，具体可包括：针对所述正常点对集合中的每个第二点对，如果第二候选矩阵与所述第二点对中第三特征点的乘积等于所述第二点对中的第四特征点，则将所述第二点对作为对应所述第二候选矩阵的匹配点对；统计所述正常点对集合中对应所述第二候选矩阵的各匹配点对的点对数量。
可以理解的是，本实施例中与第二候选矩阵进行相乘的主要为正常点对集合的任一点对中第三特征点以及第四特征点根据相应的特征点信息形成的特征向量。
S207、比较各所述第二候选矩阵对应的点对数量，将最大点对数量对应的第二候选矩阵确定为第二矩阵。
在本实施例中，当第二候选矩阵对应的点对数量最大时，可认为第二候选矩阵最能够描述正常点对集合中各点对的匹配关系，因此本步骤可以从上述各第二候选矩阵中确定出最大点对数量对应的第二候选矩阵，并将此作为第二矩阵。
S208、从所述正常点对集合中删除对应所述第二矩阵的各匹配点对，获得所述待测图像之间的异常点对集合。
在本实施例中，进行第二矩阵确定时，可以确定出第二矩阵对应了哪些匹配点对，本步骤可认为其对应的匹配点对为正常点对集合中真正匹配的点对，由此可从正常点对集合中删除第二矩阵的各匹配点对，删除后余下的则可认为是特征点异常匹配的点对，本步骤将正常点对集合删除第二矩阵的各匹配点对后的点对记为异常点对集合。
本发明实施例二提供的一种异常点对的检测方法，具体化了第一矩阵筛选特征点对集合的筛选操作，同时还具体化了第二矩阵筛选正常点对集合的筛选操作，通过对特征点对集合基于多个约束条件的层层筛选，最终检测出了异常匹配的各异常点对，从而获得了待检测图像之间真正匹配的各匹配点对。利用该方法，与现有技术相比，采用了多个约束条件实现了特征点集合的筛选，且不同约束条件的约束力度逐渐加大，由此能够有效检测出待检测图像之间的异常点对集合，从而保证待检测图像之间所匹配特征点对的准确性，进而降低整个图像处理的负面影响，提高整个图像处理应用的鲁棒性。
在本发明实施例二的一个可选实施例中，还可以将根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，具体优化为：确定所述正常点对集合所包含点对的点对总数；如果所述点数总数大于设定基准值，则基于确定的第二矩阵筛选所述正常点对集合，获得对应所述第二矩阵的中间点对集合，并将所述中间点对集合作为新的正常点对集合，返回继续确定所述正常点对集合所包含点对的点对总数；如果所述点数总数小于或等于所述设定基准值，则将所述正常点对集合中包含的点对确定为异常点对，形成包含各所述异常点对的异常点对集合；其中，所述中间点对集合包含了所述正常点对集合中与所述第二矩阵不满足第二约束条件的点对。
需要说明的是，本实施例二提供了异常点对检测的两种实现方式，其中上述S201至S208给出的异常点对的一种实现方式，相当于通过第一矩阵的一次筛选以及第二矩阵的一次筛选获得了异常点对集合，为了进一步保证异常点对检测的精准度，本实施例二在上述实施例的基础上，进一步提出了另一种异常点对检测的实现方式，该实现方式可看作对特征点对集合以及第一矩阵进行一次筛选获得一个正常点对集合，后续则采用了多次基于正常点对集合循环确定新的第二矩阵，并多次基于新的第二矩阵进行异常点对检测的方案，该种实现方式，相比与本实施例二上述提供的实现方式，进一步增强了异常点对的检测精度。
具体地，图5为本发明实施例二提供的另一种异常点对的检测方法的流程示意图，如图5所示，该异常点对的检测方法具体包括如下步骤：
S210、根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合。
本步骤具体可以基于上述实施例一或实施例二中S201至S204的描述来实现，这里不再赘述。下述S220至S250给出了从正常点对集合检测异常点对的另一种实现。
S220、确定所述正常点对集合所包含点对的点对总数。
具体地，在确定出正常点对集合后，本步骤可以统计出正常点对集合中包含的点对的总数量，记为点对总数。
S230、判定所述点数总数是否大于设定基准值，若是，则执行S240；若否，则执行S250。
本实施例考虑根据正常点对集合中点对的点对总数来确定是否继续基于第二矩阵进行点对筛选，具体地，可以在点对总数大于设定基准值时，认为正常点对集合中还包括足够多的特征匹配点，由此可以继续通过S240执行异常点对的检测操作，否则，可认为正常点对集合中的点对少于一定数量，不适合再次筛选异常点对，可以跳转至S250，所述设定基准值具体可看做基于历史经验设定的下限阈值，以作为循环的结束条件。
S240、采用所述正常点对集合确定第二矩阵，并基于所述第二矩阵筛选所述正常点对集合，获得对应所述第二矩阵的中间点对集合，将所述中间点对集合作为新的正常点对集合，返回执行S220。
具体地，本步骤基于第二矩阵进行正常点对集合的筛选时，同样需要确定所采用的第二矩阵，这里可以采用上述S201及其进一步具体化的方法基于每次循环后确定的正常点对集合来确定对应的第二矩阵，之后，可以将正常点对集合中第二矩阵对应的匹配点对作为真正匹配的点对，并可将正常点对集合中删除各真正匹配点对后余下的点对集合作为中间点对集合。
之后可将确定的中间点对集合作为新的正常点对集合返回S220执行新一轮循环判定，以确定是否再次进行第二矩阵的确定及相应匹配点对的确定。
S250、将所述正常点对集合中包含的点对确定为异常点对，形成包含各所述异常点对的异常点对集合。
在本实施例中，当正常点对集合中的点对总数小于设定基准值时，可认为当前的正常点对集合中包含的点对就是异常点对。
本实施例二上述可选实施例提供的异常点对的检测方法，采用了循环基于第二矩阵筛选正常点对集合的方式，由此进一步提高了异常点对检测时的对匹配点对的约束力度，从而更好的提高了异常点对检测的检测精度，有效保证了图像处理应用的鲁棒性，降低了图像处理的负影响。
实施例三
图6为本发明实施例三提供的一种图像拼接方法的流程示意图，该方法适用于对两张图像进行拼接处理的情况，该方法可以由图像拼接装置实现，其中，该装置可以由软件和/或硬件实现，并一般可集成在计算机设备中，该计算机设备具体可以是用于图像处理的服务器或终端。
需要说明的是，本实施例三提出了一种图像处理的应用场景，该应用场景下可以先采用本发明上述实施例提供的异常点对检测方法对图像中的异常点对进行检测，与现有方式相比，增强了该应用场景下图像处理的处理精度及鲁棒性。
如图6所示，该图像拼接方法包括：
S301、将待拼接图像之间的特征点对集合执行本发明实施例提供的异常点对的检测方法，得到所述待拼接图像之间的异常点对集合。
在本实施例中，本步骤具体给出了基于两个待拼接图像之间的特征点对集合，进行异常点对检测的实现操作，本步骤的具体实现可以参考上述实施例一和/或实施例二提供的异常点对的检测方法来实现，这里不再赘述。
S302、根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。
在本实施例中，可以基于上述步骤从特征点对集合中筛选出正常点对集合，还可从正常点对集合中检测出异常点对集合，由此，可认为从正常点对集合中除去各异常点对后余下的点对相当于两待拼接图像中真正匹配的特征点对，本步骤可以从各待拼接图像中找出真正匹配的各特征点，然后基于待拼接图像中的各特征点进行两待拼接图像的拼接处理，最终获得目标图像。
示例性地，图7给出了本发明实施例三进行图像拼接前的原始示例图，如图7所示，主要包括了第一待拼接图像31和第二待拼接图像32，各待拼接图像中相应展示了进行特征点匹配后所获得特征点对集合中的各特征点，图中尽管未示出两图像中哪些点构成特征点对，但还是可以看出图7两待拼接图像中所展示的特征点存在匹配异常的问题。图8给出了本发明实施例三进行异常点对检测后的效果示例图，与图7相比，可以看出图8中第一待拼接图像31和第二待拼接图像32之间分别展示的特征点呈现出真正匹配的效果。图9给出了本发明实施例三进行图像拼接处理后的效果展示图，如图9所示，图中形成了一张将第一待拼接图像和第二待拼接图像合并后的目标效果图。
本发明实施例三提供的一种图像拼接方法，首先将待拼接图像之间的特征点对集合执行本发明实施例提供的异常点对的检测方法，得到所述待拼接图像之间的异常点对集合；然后根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。该图像拼接方法采用了本发明上述实施例提供的异常点对检测的方法进行异常点对检测，提高了异常点对的检测精度，进而基于检测后的特征点对进行图像拼接，由此提高了图像拼接处理时的拼接精度。
在本发明实施例三的一个可选实施例中，该图像拼接方法在将待拼接图像之间的特征点对集合执行本发明实施例提供的异常点对的检测方法之前，还优化包括了：分别提取所述待拼接图像中的特征点；将所述待拼接图像之间的特征点进行匹配，得到所述待拼接图像之间的特征点对集合。
在本实施例中，图像拼接之前，需要对两待拼接图像进行特征点的提取处理，以及特征点的匹配处理，由此获得初始的特征点对集合。示例性地，可以采用基于边缘、灰度或者模板的方式来进行特征提取，也可以基于光流追踪或特征信息匹配的方式来进行特征点匹配。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。
实施例四
图10为本发明实施例四提供的一种异常点对的检测装置的结构框图，如图10所示，该异常点对的检测装置包括：第一集合确定模块41和第二集合确定模块42。
其中，第一集合确定模块41用于根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，所述第一矩阵与所述正常点对集合中的点对满足第一约束条件；
第二集合确定模块42用于根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力。
本发明实施例四提供的一种异常点对的检测装置，与现有的异常点对检测装置相比，采用了多个约束条件对特征点对集合进行筛选，且不同约束条件的约束力度逐渐加大，由此能够有效检测出待检测图像之间的异常点对集合，从而保证待检测图像之间所匹配特征点对的准确性，进而降低整个图像处理的负面影响，提高整个图像处理应用的鲁棒性。
进一步地，第二集合确定模块42具体可用于：确定所述正常点对集合所包含点对的点对总数；如果所述点数总数大于设定基准值，则基于确定的第二矩阵筛选所述正常点对集合，获得对应所述第二矩阵的中间点对集合，并将所述中间点对集合作为新的正常点对集合，返回继续确定所述正常点对集合所包含点对的点对总数；如果所述点数总数小于或等于所述设定基准值，则将所述正常点对集合中包含的点对确定为异常点对，形成包含各所述异常点对的异常点对集合；其中，所述中间点对集合包含了所述正常点对集合中与所述第二矩阵不满足第二约束条件的点对。
进一步地，所述第一约束条件可以为：点对中第一特征点P1和第二特征点P2与所述第一矩阵H1满足P1 TH1P2＝0；所述第二约束条件可以为：点对中第三特征点P3和第四特征点P4与所述第二矩阵H2满足P4＝H2P3。
进一步地，所述第一矩阵的行列值均为3且秩为2；所述第二矩阵行列值均为3且第3行第3列的元素值为1。
进一步地，第一集合确定模块41可以包括：
第一候选确定单元，用于基于待检测图像之间特征点对集合中的点对，确定至少一个第一候选矩阵；
第一数量确定单元，用于针对每个第一候选矩阵，确定所述特征点对集合中与所述第一候选矩阵满足所述第一约束条件的匹配点对的点对数量；
第一矩阵确定单元，用于比较各所述第一候选矩阵对应的点对数量，将最大点对数量对应的第一候选矩阵确定为第一矩阵；
第一集合确定单元，用于基于对应所述第一矩阵的各匹配点对形成所述待检测图像之间的正常点对集合。
进一步地，第一候选确定单元具体可用于：将已确定的当前循环次数与第一阈值进行比较；如果所述当前循环次数小于或等于所述第一阈值，则从所述待检测图像之间特征点对集合中随机选取第一预设数量的第一样本点对；基于各所述第一样本点对中特征点的特征点信息，确定第一候选矩阵模型中各待定参数的参数值，形成当前的第一候选矩阵；将所述当前循环次数加1作为新的当前循环次数，返回继续进行当前循环次数与所述第一阈值的比较操作；如果所述当前循环次数大于所述第一阈值，则获取已确定的各第一候选矩阵。
进一步地，第一数量确定单元具体可用于：针对所述特征点对集合中的每个第一点对，将所述第一点对中第一特征点的转置与所述第一候选矩阵的乘积作为第一乘积矩阵；如果所述第一乘积矩阵与所述点对中第二特征点的乘积为零矩阵，则将所述第一点对作为对应所述第一候选矩阵的匹配点对；统计所述特征点对集合中相对所述第一候选矩阵的各匹配点对的点数数量。
进一步地，第二集合确定模块可以包括：
第二候选确定单元，用于基于所述正常点对集合中的点对，确定至少一个第二候选矩阵；
第二数量确定单元，用于针对每个第二候选矩阵，确定所述正常点对集合中与所述第二候选矩阵满足所述第二约束条件的匹配点对的点对数量；
第二矩阵确定单元，用于比较各所述第二候选矩阵对应的点对数量，将最大点对数量对应的第二候选矩阵确定为第二矩阵；
第二集合确定单元，用于从所述正常点对集合中删除对应所述第二矩阵的各匹配点对，获得所述待测图像之间的异常点对集合。
进一步地，第二候选确定单元具体可用于：将已确定的当前执行次数与第二阈值进行比较；如果所述当前执行次数小于或等于所述第二阈值，则从所述待检测图像之间特征点对集合中随机选取至少第二预设数量的第二样本点对；基于各所述第二样本点对中特征点的特征点信息，确定第二候选矩阵模型中各待定参数的参数值，形成当前的第二候选矩阵；将所述当前执行次数加1作为新的当前执行次数，返回继续进行当前执行次数与所述第二阈值的比较操作；如果所述当前执行次数大于所述第二阈值，则获取已确定的各第二候选矩阵。
进一步地，第二数量确定单元具体可用于：针对所述正常点对集合中的每个第二点对，如果第二候选矩阵与所述第二点对中第三特征点的乘积等于所述第二点对中的第四特征点，则将所述第二点对作为对应所述第二候选矩阵的匹配点对；统计所述正常点对集合中对应所述第二候选矩阵的各匹配点对的点对数量。
实施例五
图11为本发明实施例五提供的一种图像拼接装置的结构框图，该图像拼接装置适用于对两个待拼接图像进行拼接处理的情况，该装置包括：异常集合确定模块51和目标图像确定模块52。
其中，异常集合确定模块51设置如本发明实施例四所述的异常点对的检测装置，用于根据待拼接图像之间的特征点对集合得到所述待拼接图像之间的异常点对集合；
目标图像确定模块52用于根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。
本发明实施例二提供的图像拼接装置，采用了本发明上述实施例提供的异常点对检测的方法进行异常点对检测，提高了异常点对的检测精度，进而基于检测后的特征点对进行图像拼接，由此提高了图像拼接处理时的拼接精度。
进一步地，该装置还可包括：特征点提取模块，用于分别提取所述待拼接图像中的特征点；特征点匹配模块，用于将所述待拼接图像之间的特征点进行匹配，得到所述待拼接图像之间的特征点对集合。
实施例六
图12为本发明实施例六提供的一种计算机设备的硬件结构示意图。如图12所示，该计算机设备具体可以包括：处理器60、存储装置61、显示屏62、输入装置63、输出装置64以及通信装置65。该计算机设备中处理器60的数量可以是一个或者多个，图12中以一个处理器60为例。该计算机设备中存储装置61的数量可以是一个或者多个，图9中以一个存储装置61为例。该计算机设备的处理器60、存储装置61、显示屏62、输入装置63、输出装置64以及通信装置65可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储装置61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的异常点对的检测方法和/或图像拼接方法对应的程序指令/模块(例如，异常点对的检测装置中的第一集合确定模块41和第二集合确定模块42等，又如，图像拼接装置中的异常集合确定模块51和目标图像确定模块52)。存储装置61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储装置61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏62为具有触摸功能的显示屏62，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏62用于根据处理器60的指示显示数据，还用于接收作用于显示屏62的触摸操作，并将相应的信号发送至处理器60或其他装置。可选的，当显示屏62为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏62的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器60或者其他计算机设备。
输入装置63可用于接收输入的数字或者字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取视频数据中音频的拾音计算机设备。输出装置64可以包括显示屏等视频计算机设备以及扬声器等音频计算机设备。需要说明的是，输入装置63和输出装置64的具体组成可以根据实际情况设定。
通信装置65可用于与其他计算机设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
处理器60通过运行存储在存储装置61中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的异常点对的检测方法和/或图像拼接方法。
具体的，实施例中，处理器60执行存储装置61中存储的一个或多个程序时，具体实现如下操作：根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，所述第一矩阵与所述正常点对集合中的点对满足第一约束条件；根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力。
此外，处理器60执行存储装置61中存储的一个或多个程序时，具体也实现如下操作：将待拼接图像之间的特征点对集合执行本发明实施例提供的异常点对的检测方法，得到所述待拼接图像之间的异常点对集合；根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。
本发明实施例还提供一种计算机可读存储介质，该存储介质中的程序由计算机设备的处理器执行时，使得计算机设备能够执行如上述方法实施例所述的异常点对的检测方法和/或图像拼接方法。示例性的，该异常点对的检测方法包括：根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，所述第一矩阵与所述正常点对集合中的点对满足第一约束条件；根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力。或者，该图像拼接方法包括：将待拼接图像之间的特征点对集合执行本发明实施例提供的异常点对的检测方法，得到所述待拼接图像之间的异常点对集合；根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。
需要说明的是，对于装置、计算机设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的异常点对的检测方法和/或图像拼接方法。
值得注意的是，上述异常点对的检测装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种异常点对的检测方法，其特征在于，包括：
根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，所述第一矩阵与所述正常点对集合中的点对满足第一约束条件；
根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力；
所述根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，包括：
确定所述正常点对集合所包含点对的点对总数；
如果所述点对总数 大于设定基准值，则基于确定的第二矩阵筛选所述正常点对集合，获得对应所述第二矩阵的中间点对集合，并将所述中间点对集合作为新的正常点对集合，返回继续确定所述正常点对集合所包含点对的点对总数；
如果所述点对总数 小于或等于所述设定基准值，则将所述正常点对集合中包含的点对确定为异常点对，形成包含各所述异常点对的异常点对集合；
其中，所述中间点对集合包含了所述正常点对集合中与所述第二矩阵不满足第二约束条件的点对。
2.根据权利要求1所述的方法，其特征在于，所述第一约束条件为：点对中第一特征点P1和第二特征点P2与所述第一矩阵H1满足P1 TH1P2=0；
所述第二约束条件为：点对中第三特征点P3和第四特征点P4与所述第二矩阵H2满足P4=H2P3。
3.根据权利要求1所述的方法，其特征在于，所述第一矩阵的行列值均为3且秩为2；所述第二矩阵行列值均为3且第3行第3列的元素值为1。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，包括：
基于待检测图像之间特征点对集合中的点对，确定至少一个第一候选矩阵；
针对每个第一候选矩阵，确定所述特征点对集合中与所述第一候选矩阵满足所述第一约束条件的匹配点对的点对数量；
比较各所述第一候选矩阵对应的点对数量，将最大点对数量对应的第一候选矩阵确定为第一矩阵；
基于对应所述第一矩阵的各匹配点对形成所述待检测图像之间的正常点对集合。
5.根据权利要求4所述的方法，其特征在于，基于待检测图像之间特征点对集合中的点对，确定至少一个第一候选矩阵，包括：
将已确定的当前循环次数与第一阈值进行比较；
如果所述当前循环次数小于或等于所述第一阈值，则从所述待检测图像之间特征点对集合中随机选取第一预设数量的第一样本点对；
基于各所述第一样本点对中特征点的特征点信息，确定第一候选矩阵模型中各待定参数的参数值，形成当前的第一候选矩阵；
将所述当前循环次数加1作为新的当前循环次数，返回继续进行当前循环次数与所述第一阈值的比较操作；
如果所述当前循环次数大于所述第一阈值，则获取已确定的各第一候选矩阵。
6.根据权利要求4所述的方法，其特征在于，所述确定所述特征点对集合中与所述第一候选矩阵满足所述第一约束条件的匹配点对的点对数量，包括：
针对所述特征点对集合中的每个第一点对，将所述第一点对中第一特征点的转置与所述第一候选矩阵的乘积作为第一乘积矩阵；
如果所述第一乘积矩阵与所述点对中第二特征点的乘积为零矩阵，则将所述第一点对作为对应所述第一候选矩阵的匹配点对；
统计所述特征点对集合中相对所述第一候选矩阵的各匹配点对的点数数量。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述基于确定的第二矩阵筛选所述正常点对集合，获得对应所述第二矩阵的中间点对集合，包括：
基于所述正常点对集合中的点对，确定至少一个第二候选矩阵；
针对每个第二候选矩阵，确定所述正常点对集合中与所述第二候选矩阵满足所述第二约束条件的匹配点对的点对数量；
比较各所述第二候选矩阵对应的点对数量，将最大点对数量对应的第二候选矩阵确定为第二矩阵；
从所述正常点对集合中删除对应所述第二矩阵的各匹配点对，获得对应所述第二矩阵的中间点对集合。
8.根据权利要求7所述的方法，其特征在于，所述基于所述正常点对集合中的点对，确定至少一个第二候选矩阵，包括：
将已确定的当前执行次数与第二阈值进行比较；
如果所述当前执行次数小于或等于所述第二阈值，则从所述待检测图像之间特征点对集合中随机选取至少第二预设数量的第二样本点对；
基于各所述第二样本点对中特征点的特征点信息，确定第二候选矩阵模型中各待定参数的参数值，形成当前的第二候选矩阵；
将所述当前执行次数加1作为新的当前执行次数，返回继续进行当前执行次数与所述第二阈值的比较操作；
如果所述当前执行次数大于所述第二阈值，则获取已确定的各第二候选矩阵。
9.根据权利要求7所述的方法，其特征在于，确定所述正常点对集合中与所述第二候选矩阵满足所述第二约束条件的匹配点对的点对数量，包括：
针对所述正常点对集合中的每个第二点对，如果第二候选矩阵与所述第二点对中第三特征点的乘积等于所述第二点对中的第四特征点，则将所述第二点对作为对应所述第二候选矩阵的匹配点对；
统计所述正常点对集合中对应所述第二候选矩阵的各匹配点对的点对数量。
10.一种图像拼接方法，其特征在于，包括：
将待拼接图像之间的特征点对集合执行如权利要求1-9任一项所述的异常点对的检测方法，得到所述待拼接图像之间的异常点对集合；
根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。
11.根据权利要求10所述的方法，其特征在于，在得到所述待拼接图像之间的异常点对集合之前，还包括：
分别提取所述待拼接图像中的特征点；
将所述待拼接图像之间的特征点进行匹配，得到所述待拼接图像之间的特征点对集合。
12.一种异常点对的检测装置，其特征在于，包括：
第一集合确定模块，用于根据第一矩阵筛选待检测图像之间的特征点对集合，得到所述待检测图像之间的正常点对集合，所述第一矩阵与所述正常点对集合中的点对满足第一约束条件；
第二集合确定模块，用于根据第二矩阵筛选所述正常点对集合，得到所述待检测图像之间的异常点对集合，所述第二矩阵与所述正常点对集合中除所述异常点对集合外的点对满足第二约束条件，所述第二约束条件的约束力强于所述第一约束条件的约束力；
所述第二集合确定模块，具体用于：确定所述正常点对集合所包含点对的点对总数；如果所述点对总数 大于设定基准值，则基于确定的第二矩阵筛选所述正常点对集合，获得对应所述第二矩阵的中间点对集合，并将所述中间点对集合作为新的正常点对集合，返回继续确定所述正常点对集合所包含点对的点对总数；如果所述点对总数 小于或等于所述设定基准值，则将所述正常点对集合中包含的点对确定为异常点对，形成包含各所述异常点对的异常点对集合；其中，所述中间点对集合包含了所述正常点对集合中与所述第二矩阵不满足第二约束条件的点对。
13.一种图像拼接装置，其特征在于，包括：
异常集合确定模块，其中设置如权利要求12所述的异常点对的检测装置，用于根据待拼接图像之间的特征点对集合得到所述待拼接图像之间的异常点对集合；
目标图像确定模块，用于根据所述待拼接图像之间的特征点对集合及异常点对集合拼接所述待拼接图像，获得目标图像。
14.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11任一项所述的方法。
CN201910696884.1A 2019-07-30 2019-07-30 异常点对的检测方法、图像拼接方法、相应装置及设备 Active CN110458875B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910696884.1A CN110458875B (zh) 2019-07-30 2019-07-30 异常点对的检测方法、图像拼接方法、相应装置及设备
PCT/CN2020/098110 WO2021017699A1 (zh) 2019-07-30 2020-06-24 异常点对的检测方法、图像拼接方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910696884.1A CN110458875B (zh) 2019-07-30 2019-07-30 异常点对的检测方法、图像拼接方法、相应装置及设备

Publications (2)

Publication Number Publication Date
CN110458875A CN110458875A (zh) 2019-11-15
CN110458875B true CN110458875B (zh) 2021-06-15

Family

ID=68484158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910696884.1A Active CN110458875B (zh) 2019-07-30 2019-07-30 异常点对的检测方法、图像拼接方法、相应装置及设备

Country Status (2)

Country Link
CN (1) CN110458875B (zh)
WO (1) WO2021017699A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458875B (zh) * 2019-07-30 2021-06-15 广州市百果园信息技术有限公司 异常点对的检测方法、图像拼接方法、相应装置及设备
CN112365521B (zh) * 2020-12-08 2021-08-27 萱闱(北京)生物科技有限公司 终端设备的速度监测方法、装置、介质和计算设备
CN112907540B (zh) * 2021-02-22 2024-05-14 浙江大华技术股份有限公司 一种拼接异常检测方法、装置、设备及介质
CN113689555B (zh) * 2021-09-09 2023-08-22 武汉惟景三维科技有限公司 一种双目图像特征匹配方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819680A (zh) * 2010-05-12 2010-09-01 上海交通大学 图像匹配点对的检测方法
CN105761206A (zh) * 2014-12-16 2016-07-13 富泰华工业（深圳）有限公司 点云拼接方法及系统
CN107507226A (zh) * 2017-09-26 2017-12-22 中国科学院长春光学精密机械与物理研究所 一种图像匹配的方法及装置
CN108335319A (zh) * 2018-02-06 2018-07-27 中南林业科技大学 一种基于自适应阈值及ransac的图像角点匹配方法
CN108470324A (zh) * 2018-03-21 2018-08-31 深圳市未来媒体技术研究院 一种鲁棒的双目立体图像拼接方法
CN109741245A (zh) * 2018-12-28 2019-05-10 杭州睿琪软件有限公司 平面信息的插入方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361626B (zh) * 2014-09-29 2017-12-15 北京理工大学 基于混合匹配策略的皮下静脉三维重建方法
CN104574421B (zh) * 2015-01-29 2017-05-24 北方工业大学 一种大幅面小重合区域高精度多光谱图像配准方法及装置
CA3012721C (en) * 2016-02-03 2022-04-26 Sportlogiq Inc. Systems and methods for automated camera calibration
CN107993193B (zh) * 2017-09-21 2021-06-11 沈阳工业大学 基于光照均衡化和改进surf算法的隧道衬砌图像拼接方法
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质
CN110458875B (zh) * 2019-07-30 2021-06-15 广州市百果园信息技术有限公司 异常点对的检测方法、图像拼接方法、相应装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819680A (zh) * 2010-05-12 2010-09-01 上海交通大学 图像匹配点对的检测方法
CN105761206A (zh) * 2014-12-16 2016-07-13 富泰华工业（深圳）有限公司 点云拼接方法及系统
CN107507226A (zh) * 2017-09-26 2017-12-22 中国科学院长春光学精密机械与物理研究所 一种图像匹配的方法及装置
CN108335319A (zh) * 2018-02-06 2018-07-27 中南林业科技大学 一种基于自适应阈值及ransac的图像角点匹配方法
CN108470324A (zh) * 2018-03-21 2018-08-31 深圳市未来媒体技术研究院 一种鲁棒的双目立体图像拼接方法
CN109741245A (zh) * 2018-12-28 2019-05-10 杭州睿琪软件有限公司 平面信息的插入方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于自定义视觉路标的车辆自定位方法研究;冯琦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150515;第I138-1192页 *

Also Published As

Publication number Publication date
WO2021017699A1 (zh) 2021-02-04
CN110458875A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458875B (zh) 异常点对的检测方法、图像拼接方法、相应装置及设备
US11055516B2 (en) Behavior prediction method, behavior prediction system, and non-transitory recording medium
CN108073519B (zh) 测试用例生成方法和装置
Pascoal et al. Theoretical evaluation of feature selection methods based on mutual information
CN111816312B (zh) 基于模型解释的健康状态检测方法、设备及可读存储介质
CN109598250B (zh) 特征提取方法、装置、电子设备和计算机可读介质
CN110263733B (zh) 图像处理方法、提名评估方法及相关装置
KR102042168B1 (ko) 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치
CN112131274B (zh) 时间序列异常点的检测方法、装置、设备及可读存储介质
CN112633077B (zh) 一种基于层内多尺度特征增强的人脸检测方法、系统、存储介质及终端
CN111027412A (zh) 一种人体关键点识别方法、装置及电子设备
CN110300008A (zh) 一种确定网络设备的状态的方法及装置
CN115495615A (zh) 视频与文本的互检方法、装置、设备、存储介质及终端
CN112801070B (zh) 一种目标检测方法、装置、设备及存储介质
CN114998679A (zh) 深度学习模型的在线训练方法、装置、设备及存储介质
CN111222558A (zh) 图像处理方法及存储介质
CN109656810A (zh) 一种图像算法的调试方法、调试系统及终端设备
CN109829471A (zh) 随机森林的训练方法、装置、存储介质和电子设备
CN111104339B (zh) 基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质
CN110852384B (zh) 医学影像质量检测方法、装置和存储介质
CN112906554A (zh) 基于视觉图像的模型训练优化方法、装置及相关设备
CN110795993A (zh) 一种构建模型的方法、装置、终端设备及介质
US11676050B2 (en) Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees using leaf nodes
US11430488B2 (en) System and method for generating a compression invariant motion timeline
CN110738638A (zh) 视觉显著性检测算法适用性预测与性能盲评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220608

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511400 floor 5-13, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right