CN113642565B - 对象检测方法、装置、设备及计算机可读存储介质 - Google Patents

对象检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113642565B
CN113642565B CN202111202307.6A CN202111202307A CN113642565B CN 113642565 B CN113642565 B CN 113642565B CN 202111202307 A CN202111202307 A CN 202111202307A CN 113642565 B CN113642565 B CN 113642565B
Authority
CN
China
Prior art keywords
candidate object
element information
image
information
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111202307.6A
Other languages
English (en)
Other versions
CN113642565A (zh
Inventor
包利强
吴文龙
张天亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111202307.6A priority Critical patent/CN113642565B/zh
Publication of CN113642565A publication Critical patent/CN113642565A/zh
Application granted granted Critical
Publication of CN113642565B publication Critical patent/CN113642565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种对象检测方法、装置、设备及计算机可读存储介质。其中方法包括：遍历待检对象的多视角图像集中的各个视角图像，若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为待检对象的候选对象元素，并确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息；基于当前视角图像与关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素；根据检索结果和初始元素信息，生成候选对象元素的目标元素信息，以检测候选对象元素的真实性，提升了对象检测的准确度。

Description

对象检测方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种对象检测方法、装置、设备及计算机可读存储介质。
背景技术
在日常生活中，存在许多对象元素检测的场景；例如，缺陷检测、病灶检测、动作检测等等。以对象元素为缺陷检测为例，在工业生产过程中，由于各种原因（如操作失误、磕碰、擦挂等）会导致部分产品（如零件）存在缺陷，这些存在缺陷的产品往往不能正常投入使用。因此在生产出产品后，通常需要对产品进行缺陷检测，来确保产品是可以投入使用的。实际发现，目前大多数的对象元素检测场景中主要是通过人工检测的方式来对待检对象进行对象元素检测，这样的检测方式会导致准确度不高。
发明内容
本申请实施例提供了一种对象检测方法、装置、设备及计算机可读存储介质，能够较好地提升对象检测的准确度。
一方面，本申请实施例提供了一种对象检测方法，包括：
遍历待检对象的多视角图像集中的各个视角图像，不同的视角图像是采用不同的拍摄视角对待检对象进行拍摄得到的；
若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为待检对象的候选对象元素，并确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息；
从多视角图像集中除当前视角图像以外的剩余视角图像中，获取当前视角图像的关联视角图像，当前视角图像和关联视角图像之间存在投影关系；
基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素；
根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，并基于目标元素信息检测候选对象元素的真实性。
一方面，本申请实施例提供了一种对象检测装置，该对象检测装置包括：
处理单元，用于遍历待检对象的多视角图像集中的各个视角图像，不同的视角图像是采用不同的拍摄视角对待检对象进行拍摄得到的；以及用于若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为待检对象的候选对象元素，并确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息；
获取单元，用于从多视角图像集中除当前视角图像以外的剩余视角图像中，获取当前视角图像的关联视角图像，当前视角图像和关联视角图像之间存在投影关系；
处理单元，还用于基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素；以及用于根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，并基于目标元素信息检测候选对象元素的真实性。
在一种实施方式中，当前视角图像和关联视角图像之间的投影关系，是多视角图像集的多视角联合建模结果中的其中一个投影关系；
其中，多视角联合建模结果中的任一投影关系的构建方式如下：
从待检对象的多视角图像集中选取一个视角图像作为基准视角图像，并从多视角图像集中选取与基准视角图像存在重叠区域的视角图像，作为参考视角图像；
在基准视角图像中确定多个基准标定点，以及在参考视角图像中确定多个参考标定点；一个基准标定点对应一个参考标定点，标定点是指：对待检对象的一个特征点在视角图像中的位置进行标定所得到的点；
根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算基准视角图像和参考视角图像之间的投影关系。
在一种实施方式中，处理单元用于，根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算基准视角图像和参考视角图像之间的投影关系，具体用于：
获取待求解的透视变换矩阵，待求解的透视变换矩阵中包括待求解的多个参数；
采用待求解的透视变换矩阵，将每个基准标定点的位置坐标从基准视角图像所在的二维空间，投影至三维空间以得到每个基准标定点的三维空间坐标，每个基准标定点的三维空间坐标中包括多个参数；
将每个基准标定点的三维空间坐标投影至参考视角图像所在的二维空间，得到每个基准标定点的投影坐标，每个基准标定点的投影坐标中包括多个参数；
按照每个基准标定点的投影坐标等于对应的参考标定点的位置坐标的约束条件，求解出透视变换矩阵中的各个参数的值，得到求解后的透视变换矩阵；
采用求解后的透视变换矩阵，作为基准视角图像和参考视角图像之间的投影关系。
在一种实施方式中，处理单元用于，基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素，具体用于：
基于当前视角图像和关联视角图像之间的投影关系，将候选对象元素在当前视角图像中的位置，投影至关联视角图像中以得到投影位置；
若在关联视角图像中检测到K个对象元素，则确定K个对象元素中的每个对象元素在关联视角图像中的位置，K为正整数；
计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度；以及，在计算得到的位置匹配度中检索大于匹配度阈值的位置匹配度；
若检索成功，则确定在关联视角图像中检索到候选对象元素；若检索失败，则确定未在关联视角图像中检索到候选对象元素。
在一种实施方式中，每个对象元素在关联视角图像中的位置采用标注框进行标识，投影位置采用投影框进行标识；
处理单元用于，计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度，具体用于：
计算第k个对象元素在关联视角图像中的位置，与投影位置之间的交并比，k∈[1，K]；
将计算得到的交并比，确定为第k个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度。
在一种实施方式中，初始元素信息包括候选对象元素的置信度，处理单元用于，根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，具体用于：
若检索结果指示未在关联视角图像中检索到候选对象元素，则对初始元素信息中的置信度进行减小处理；
将减小处理后所得到的对象元素信息，作为候选对象元素的目标元素信息。
在一种实施方式中，处理单元用于，根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，具体用于：
若检索结果指示在关联视角图像中检索到候选对象元素，则将在关联视角图像中检测到的候选对象元素的对象元素信息作为关联元素信息；
对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息。
在一种实施方式中，初始元素信息包括候选对象元素的置信度，关联元素信息包括候选对象元素的置信度；
处理单元用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
获取初始元素信息的第一权重，以及关联元素信息的第二权重；
采用第一权重和第二权重，对初始元素信息中的置信度和关联元素信息中的置信度进行加权求和，得到目标置信度；
将目标置信度添加至候选对象元素的目标元素信息。
在一种实施方式中，初始元素信息包括候选对象元素的元素类别，关联视角图像的数量为N个，每个关联视角图像的关联元素信息均包括候选对象元素的元素类别，N为大于1的整数；
处理单元用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
若初始元素信息中的元素类别和各个关联元素信息中的元素类别均相同，则将元素类别作为目标元素类别，添加至候选对象元素的目标元素信息；
若存在至少一个关联元素信息中的元素类别和初始元素信息中的元素类别不同，则统计各个元素类别的数量，将数量最多的元素类别确定为目标元素类别，添加至候选对象元素的目标元素信息。
在一种实施方式中，初始元素信息包括候选对象元素的置信度以及候选对象元素的元素类别，关联元素信息包括候选对象元素的元素类别；
处理单元用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
若初始元素信息中的元素类别和关联元素信息中的元素类别相同，则对初始元素信息中的置信度进行增大处理，并将增大处理后所得到的元素信息，作为候选对象元素的目标元素信息；
若初始元素信息中的元素类别和关联元素信息中的元素类别不同，则对初始元素信息中的置信度进行减小处理，并将减小处理后所得到的元素信息，作为候选对象元素的目标元素信息。
在一种实施方式中，关联视角图像的数量为N，N为大于1的整数，一个关联视角图像对应一个关联元素信息；
处理单元用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
对候选对象元素的初始元素信息和N个关联元素信息进行投票处理，得到初始元素信息的支持票数，以及每个关联元素信息的支持票数；
在初始元素信息和N个关联元素信息中，选取支持票数最大的对象元素信息作为候选对象元素的目标元素信息。
在一种实施方式中，处理单元用于，基于目标元素信息检测候选对象元素的真实性，具体用于：
若目标元素信息中的置信度大于或等于置信度阈值，则判定候选对象元素具有真实性；
若目标元素信息中的置信度小于置信度阈值，则判定候选对象元素不具有真实性。
在一种实施方式中，处理单元还用于：
在多视角图像集中的全部视角图像均被遍历后，得到从全部视角图像中检测到的H个候选对象元素的真实性检测结果，H为正整数；
根据H个候选对象元素的真实性校测结果，判定待检对象的对象检测结果，对象检测结果用于指示待检对象是否通过检测。
相应地，本申请提供了一种对象检测设备，该设备包括：
处理器，用于加载并执行计算机程序；
计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时，实现上述对象检测方法。
相应地，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行上述对象检测方法。
相应地，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述对象检测方法。
本申请实施例在当前遍历的当前视角图像中检测到需检测的对象元素时，可将检测到的对象元素作为待检对象的候选对象元素，并进一步基于当前视角图像和相关的关联视角图像之间的投影关系，以及候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素，从而根据检索结果和从当前视角图像中检索到的候选对象元素的初始元素信息，生成候选对象元素的目标元素信息以基于目标元素信息检测候选对象元素的真实性。通过关联视角图像对当前视角图像中的候选对象元素进行联合对象元素检测的方式，可较为准确地判定候选对象元素是真实的对象元素还是误检测到的对象元素，这样可以有效地降低对象元素检测的误差，提升对象元素检测的准确性，进而提升对象检测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种对象检测的场景示意图；
图1b为本申请实施例提供的一种对象检测方案的流程图；
图1c为本申请实施例提供的一种工件检测的流程示意图；
图2为本申请实施例提供的一种对象检测方法的流程图；
图3为本申请实施例提供的另一种对象检测方法的流程图；
图4a为本申请实施例提供的一种投影关系示意图；
图4b为本申请实施例提供的一种各个视角图像的投影关系示意图；
图4c为本申请实施例提供的一种投影示意图；
图5为本申请实施例提供的一种对象检测装置的结构示意图；
图6为本申请实施例提供的一种对象检测设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请实施例涉及的各术语进行阐述：
人工智能（Artificial Intelligence，AI）：所谓AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大应用程序的处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统；其通常包括图像处理、视频处理、视频语义理解、视频内容/行为识别等技术。本申请中，主要涉及通过AI模型对待检对象的图像进行对象元素检测，进而判断出待检对象是否存在对象元素。
本申请实施例提供了一种对象检测方案和对象检测系统，以提升对象检测的准确度。如图1a所示，该对象检测系统可至少包括：检测人员所使用的终端设备101和对象检测设备102。本申请实施例提供的对象检测方案可由对象检测设备102执行，此处的对象检测设备102可以是终端设备或者服务器。其中，终端设备可以包括但不限于：智能手机（如Android手机、IOS手机等）、平板电脑、便携式个人计算机、移动互联网设备（MobileInternetDevices，简称MID）、智能语音交互设备、智能家电、车载终端等设备，本申请实施例对此不做限定。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例对此不做限定。
在具体实现中，该对象检测方案的大致原理如图1b所示，具体地：
（1）对象检测设备102在获取到待检对象的多视角图像集中的各个视角图像后，分别对各个视角图像单独进行对象元素检测，以检测各个视角图像中是否存在需检测的对象元素；例如，设待检对象的多视角图像集中包括待检对象在N（N为正整数）个不同视角下的视角图像：{X1…XN}，则对象检测设备102在获取到待检对象在N（N为正整数）个不同视角下的视角图像后，分别对X1…XN单独进行对象元素检测。其中，待检对象的多视角图像集中的各个视角图像可以是由终端设备101向对象检测设备102发送的，也可以是对象检测设备102通过搭载的图像采集装置（如摄像头）采集的。对不同视角下的视角图像单独进行检测可以通过人工智能（Artificial Intelligence，AI）算法实现；例如，通过样本集（标注有对象元素的图像集合）对初始模型进行训练：将样本图像输入初始模型，并根据初始模型的预测结果与样本图像的标注结果之间的损失值调整初始模型的参数，得到对象元素检测模型，从而通过对象元素检测模型实现对各个视角图像进行对象元素检测。
（2）若X1…XN的对象元素检测结果均为不存在需检测的对象元素，则结束本次操作，并判定待检对象通过检测。相应地，若Xi中（i为正整数，且i小于等于N）检测到需检测的对象元素，则对象检测设备102可将在Xi中检测到的对象元素作为候选对象元素，候选对象元素可以理解成是可疑的对象元素。然后，从X1…Xi-1，Xi-1…XN中获取至少一张与Xi相关联的关联视角图像，基于Xi和关联视角图像之间的投影关系，和候选对象元素在Xi中的位置，在关联视角图像中检索候选对象元素，得到检索结果；例如，从X1…Xi-1，Xi-1…XN中获取Xj，Xj和Xi存在投影关系（基于Xj和Xi之间的重叠区域构建），对象检测设备102将候选对象元素在Xi中的位置按照投影关系进行投影，得到候选对象元素在Xj中的投影位置，若在Xj中检测K个对象元素，则确定K个对象元素中的每个对象元素在Xj中的位置，K为正整数；计算Xj中每个对象元素在Xj中的位置与投影位置的位置匹配度，并基于位置匹配度得到检索结果；又例如，从X1…Xi-1，Xi-1…XN中获取多张与Xi存在目标投影关系的关联视角图像，将候选对象元素在Xi中的位置按照投影关系进行投影，得到候选对象元素在各个关联视角图像中的投影位置，再确定每个关联视角图像中每个对象元素在该关联视角图像中的位置与投影位置的位置匹配度，进而得到候选对象元素在各个关联视角图像中的检索结果。在一个实施例中，对象检测设备102计算各个关联视角图像中的投影位置区域和该关联视角图像中的各个对象元素区域的交并比，若交并比大于比例阈值则判定该关联视角图像中可以检测到候选对象元素，若交并比小于或等于比例阈值则判定该关联视角图像中未检测到候选对象元素。
（3）对象检测设备102对多个视角下的检索结果以及候选对象元素的初始元素信息进行对象元素信息融合，得到该候选对象元素的目标元素信息，并根据该目标元素信息检测Xi中候选对象元素的真实性；在一个实施例中，各个视角下的检索结果包括关联元素信息，关联元素信息中包括候选对象元素的置信度，Xi中候选对象元素的初始元素信息包括该候选对象元素的置信度，若检索结果指示检测到候选对象元素，则对关联元素信息中的候选对象元素的置信度和初始元素信息中的候选对象元素的置信度进行加权求和，得到该候选对象元素的目标元素信息；若检索结果指示未检测到候选对象元素，则减小该候选对象元素的置信度，得到该候选对象元素的目标元素信息；并根据该目标元素信息检测Xi中候选对象元素的真实性（若目标元素信息中的置信度大于或等于置信度阈值，则判定候选对象元素具有真实性；若目标元素信息中的置信度小于置信度阈值，则判定候选对象元素不具有真实性）。在另一个实施例中，关联视角图像的数量为N，N为大于1的整数，每个关联视角图像的检索结果包括关联元素信息；对候选对象元素的初始元素信息和N个关联元素信息进行投票处理，得到初始元素信息的支持票数，以及每个关联元素信息的支持票数；在初始元素信息和N个关联元素信息中，选取支持票数最大的对象元素信息作为候选对象元素的目标元素信息，并根据该目标元素信息检测Xi中候选对象元素的真实性。
（4）若Xi中候选对象元素不具有真实性，则继续对Xi+1进行对象元素检测，若X1…XN中不存在具有真实性的候选对象元素，则判定待检对象通过检测；若Xi中候选对象元素具有真实性，则判定待检对象未通过检测。
需要说明的是，本申请提供的对象检测方法可应用于各类对象元素检测场景中。例如，待检对象可以是工件、面部、手部、待进行医学检测的机体或车辆等；那么相应的，对象元素可以是缺陷、表情、手势、病灶或车辆故障，等等；进一步的，对象元素检测场景具体可以是：缺陷检测场景、表情检测场景、手势检测场景、病灶检测场景、车辆故障检测场景等。
图1c为本申请实施例提供的一种工件检测的流程示意图，如图1c所示，首先从多个视角采集待检工件的图像，得到待检工件的多视角图像集，若当前视角图像中检测到缺陷，则可将在当前视角图像中检测到的缺陷作为候选缺陷（或称为可疑缺陷）。然后，基于各个视角图像之间的投影关系，从多视角图像集中获取当前视角图像的至少一张关联视角图像，并在关联视角图像中对候选缺陷进行检索，得到检索结果；根据检索结果和候选缺陷的初始缺陷信息，生成候选缺陷的目标缺陷信息，并基于目标缺陷信息检测候选缺陷的真实性；基于各个视角图像中检测到的候选缺陷的真实性，得到待检工件的检测结果；例如，若待检工件的各个视角图像中检测到具有真实性的候选缺陷的数量超过2个，则判定待检工件不合格；相应地，若待检工件的各个视角图像中检测到具有真实性的候选缺陷的数量不超过2个，则判定待检工件合格。可见，本申请提供的对象检测方案可应用于工业自动化质检中，工业自动化质检指的是使用计算机算法在工业产品的生产过程中进行自动化质量检测的过程。相比于传统的人工质检过程，工业自动化质检具有智能、高效、稳定的特点，是未来工业质检的发展方向。进一步地，工业自动化质检中算法的性能可以通过漏检率和过杀率进行衡量；其中，漏检率是工业质检中衡量算法性能常用的指标之一，它反映的是对于一批有缺陷（NG）工件，算法判定为无缺陷（OK）的工件比率，计算公式为：
Figure 325482DEST_PATH_IMAGE001
在工业质检过程中，漏检率越低说明算法的性能越好。
过杀率和漏检率一样，是工业质检中常用的另一个指标。它反映的是对于一批无缺陷（OK）的工件，算法判定为有缺陷（NG）的比率，计算公式为：
Figure 711464DEST_PATH_IMAGE002
在工业质检过程中，过杀率越低说明算法的性能越好。
类似地，对于表情检测来说，若在当前视角图像中检测到需检测的表情（如微笑表情），则可将在当前视角图像中检测到的表情作为候选表情（或称为可疑表情），然后基于各个视角图像之间的投影关系，从多视角图像集中获取当前视角图像的至少一张关联视角图像，并在关联视角图像中对候选表情进行检索；在得到检索结果后，根据检索结果判断候选表情的真实性；例如，若关联视角图像中检测到候选表情，则判定当前视角图像中候选表情具有真实性；若关联视角图像中未检测到候选表情，则判定当前视角图像中候选表情不具有真实性。进一步地，基于各个视角图像中检测到的候选表情的真实性，得到表情检测结果；例如，若各个视角图像中检测到具有真实性的候选表情的数量与各个视角图像的数量的比值大于比例阈值，则判定检测到需检测的表情；相应地，若各个视角图像中检测到具有真实性的候选表情的数量与各个视角图像的数量的比值小于等于比例阈值，则判定未检测到需检测的表情。
对于手势检测来说，若当前视角图像中检测到需检测的手势（如OK手势），则可将在当前视角图像中检测到的手势作为候选手势（或称为可疑手势），基于各个视角图像之间的投影关系，从多视角图像集中获取与当前视角图像的至少一张关联视角图像，并在关联视角图像中对候选目标手势进行检索；在得到检索结果后，根据检索结果判断候选手势的真实性；例如，若关联视角图像中检测到候选手势，则判定当前视角图像中候选手势具有真实性；若关联视角图像中未检测到候选手势，则判定当前视角图像中候选手势不具有真实性。进一步地，基于各个视角图像中检测到的候选手势的真实性，得到手势检测结果；例如，若各个视角图像中检测到具有真实性的候选手势的数量与各个视角图像的数量的比值大于比例阈值，则判定检测到需检测的手势；相应地，若各个视角图像中检测到具有真实性的候选手势的数量与各个视角图像的数量的比值小于等于比例阈值，则判定未检测到需检测的手势。
对于病灶检测来说，若当前视角图像中检测到需检测的病灶，则可将当前视角图像中检测到的病灶作为候选病灶（或称为可疑病灶），基于各个视角图像之间的投影关系，从多视角图像集中获取与当前视角图像的至少一张关联视角图像，并在关联视角图像中对候选病灶进行检索；在得到检索结果后，根据检索结果判断候选病灶的真实性；例如，若关联视角图像中检测到候选病灶，则判定当前视角图像中候选病灶具有真实性；若关联视角图像中未检测到候选病灶，则判定当前视角图像中候选病灶不具有真实性。进一步地，基于各个视角图像中检测到的候选病灶的真实性，得到病灶检测结果；例如，若各个视角图像中检测到具有真实性的候选病灶的数量大于3，则判定检测到病灶；相应地，若各个视角图像中检测到具有真实性的候选病灶的数量小于或等于3，则判定未检测到病灶。
对于车辆故障检测来说，若当前视角图像中检测到需检测的车辆故障，则可将当前视角图像中检测到的车辆故障作为候选车辆故障（或称为可疑车辆故障），基于各个视角图像之间的投影关系，从多视角图像集中获取与当前视角图像的至少一张关联视角图像，并在关联视角图像中对候选车辆故障进行检索；在得到检索结果后，根据检索结果判断候选车辆故障的真实性；例如，若关联视角图像中检测到候选车辆故障，则判定当前视角图像中候选车辆故障具有真实性；若关联视角图像中未检测到候选车辆故障，则判定当前视角图像中候选车辆故障不具有真实性。进一步地，基于各个视角图像中检测到的候选车辆故障的真实性，得到故障检测结果；例如，若各个视角图像中检测到具有真实性的候选车辆故障的数量大于3，则判定检测到车辆故障；相应地，若各个视角图像中检测到具有真实性的候选车辆故障的数量小于或等于3，则判定未检测到车辆故障。
本申请实施例中，对待检对象的各个视角图像（X1…XN）单独进行对象元素检测，若检测到Xi中存在候选对象元素，则获取至少一张与Xi相关联的关联视角图像，并在每张关联视角图像中检索该候选对象元素，根据每张关联视角图像的检索结果和候选对象元素的初始元素信息，检测Xi中候选对象元素的真实性。可见，通过多视角的检索结果对候选对象元素进行检索，可以有效地降低对象元素检测的误差，进而提升对象检测的准确度。
基于上述对象检测方法的相关描述，本申请实施例提出了一种对象检测方法，该对象检测方法可由图1a中所提及的对象检测设备102执行。参见图2所示，该对象检测方法可包括如下步骤S201-S205：
S201、遍历待检对象的多视角图像集中的各个视角图像。
对象检测设备对待检对象的多视角图像集中的各个视角图像逐一进行对象元素检测，不同的视角图像是采用不同的拍摄视角对待检对象进行拍摄得到的。在一种实施方式中，对各个视角图像进行对象元素检测是指：通过对象元素检测模型对各个视角图像进行对象元素检测，得到各个视角图像的对象元素检测结果；其中，对象元素检测模型通过样本集（标注有对象元素的图像集合）对初始模型进行训练得到的。具体地，将样本图像输入初始模型，并根据初始模型的预测结果与样本图像的标注结果之间的损失值调整初始模型的参数，得到对象元素检测模型。
S202、若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为待检对象的候选对象元素，并确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息。
其中，候选对象元素的初始元素信息用于指示候选对象元素的相关信息，候选对象元素的初始元素信息可以包括但不限于候选对象元素的置信度，以及该候选对象元素的元素类别；例如，设候选对象元素为候选缺陷，候选缺陷的初始元素信息可以包括但不限于该候选缺陷的置信度，以及该候选缺陷的元素类别（如缺失类别、划伤类别等）；又例如，设候选对象元素为候选病灶，候选病灶的初始元素信息可以包括但不限于该候选病灶的置信度，该候选病灶的元素类别（如感染类别、损伤类别等），该候选病灶的危险级别（如一级、二级、三级等）等；再例如，设候选对象元素为候选手势，候选手势的初始元素信息可以包括但不限于该候选手势的置信度，该候选手势对应的手的元素类别（如左手，或者右手），以及该候选手势对应的手指数量等。
若对象检测设备在当前遍历的当前视角图像中检测到对象元素（如对象元素检测模型输出当前视角图像中检测到对象元素），则将检测到的对象元素作为待检对象的候选对象元素，根据对象元素检测结果确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息；例如，对象元素检测结果中携带有对象元素的坐标，对象检测设备根据该坐标确定候选对象元素在当前视角图像中的位置，并将候选对象元素的置信度、元素类别等相关信息打包为候选对象元素的初始元素信息。
S203、从多视角图像集中除当前视角图像以外的剩余视角图像中，获取当前视角图像的关联视角图像。
当前视角图像的关联视角图像是指：多视角图像集中除当前视角图像以外的剩余视角图像中，与当前视角图像存在投影关系的视角图像。其中，投影关系是通过多视角图像集的多视角联合建模确定的,当前视角图像和关联视角图像之间的投影关系，是多视角图像集的多视角联合建模结果中的其中一个投影关系。在一种实施方式中，多视角联合建模结果中的任一投影关系的构建方式如下：
从待检对象的多视角图像集中选取一个视角图像作为基准视角图像，并从多视角图像集中选取与基准视角图像存在重叠区域的视角图像，作为参考视角图像（重叠区域是指的同时出现在两个视角图像中的图像区域）；在基准视角图像中确定多个基准标定点，以及在参考视角图像中确定多个参考标定点；一个基准标定点对应一个参考标定点，标定点是指：对待检对象的一个特征点在视角图像中的位置进行标定所得到的点；例如，设基准视角图像和参考视角图像中均包括待检对象的特征点1-特征点4，则将特征点1在基准视角图像中的位置标定为基准标定点1，将特征点1在参考视角图像中的位置标定为参考标定点1，基准标定点1与参考标定点1相对应；同理，可以基于特征点2-特征点4在基准视角图像中的位置标定出基准标定点2-基准标定点4，基于特征点2-特征点4在参考视角图像中的位置标定出参考标定点2-参考标定点4。根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算基准视角图像和参考视角图像之间的投影关系；例如，可以通过多个基准标定点的位置坐标以及各个基准点对应的参考标定点的位置坐标求解基准视角图像和参考视角图像之间的透视变换矩阵，得到基准视角图像和参考视角图像之间的投影关系。
S204、基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素。
对象检测设备基于当前视角图像和关联视角图像之间的投影关系，将候选对象元素在当前视角图像中的位置，投影至关联视角图像中以得到投影位置。对象检测设备基于投影位置对关联视角图像进行检索，以确定关联视角图像中是否可以检索到候选对象元素，具体地：
若在关联视角图像中检测到K个对象元素，则确定K个对象元素中的每个对象元素在关联视角图像中的位置，K为正整数；计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度；其中，位置匹配度具体可以通过计算每个对象元素在关联视角图像中的位置与投影位置之间的位置的交并比（每个对象元素在关联视角图像中的位置所对应的区域与投影位置所对应区域的相交面积除以合并面积）、重合度（每个对象元素在关联视角图像中的位置所对应的区域与投影位置所对应区域的相交面积除以投影位置所对应区域的面积）、中心点距离（每个对象元素在关联视角图像中的位置的中心点与投影位置的中心点的距离）等计算得到。在得到每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度后，对象检测设备在计算得到的位置匹配度中检索大于匹配度阈值的位置匹配度；若检索成功，则确定在关联视角图像中检索到候选对象元素；若检索失败，则确定未在关联视角图像中检索到候选对象元素。
相应地，若在关联视角图像中未检测到对象元素（即关联视角图像中不存在对象元素），则确定未在关联视角图像中检索到候选对象元素。
S205、根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，并基于目标元素信息检测候选对象元素的真实性。
检索结果用于指示是否在关联视角图像中检索到候选对象元素，若检索结果指示在关联视角图像中检索到候选对象元素，则检索结果中还可以包括该候选对象元素的对象元素信息（如候选对象元素的置信度、元素类别等）。
在一种实施方式中，初始元素信息包括候选对象元素的置信度，若检索结果指示未在关联视角图像中检索到候选对象元素，则对象检测设备对初始元素信息中的置信度进行减小处理（如减小0.1），并将减小处理后所得到的对象元素信息，作为候选对象元素的目标元素信息。相应地，若检索结果指示在关联视角图像中检索到候选对象元素，则对象检测设备将在关联视角图像中检测到的候选对象元素的初始元素信息作为目标元素信息，并对候选对象元素的初始元素信息和关联元素信息进行信息融合（如对候选对象元素的置信度进行融合），得到候选对象元素的目标元素信息。
在另一种实施方式中，初始元素信息包括候选对象元素的元素类别，关联视角图像的数量为N，N为大于1的整数，每个关联视角图像的检索结果包括关联元素信息；对候选对象元素的初始元素信息和N个关联元素信息进行投票处理，得到初始元素信息的支持票数，以及每个关联元素信息的支持票数；在初始元素信息和N个关联元素信息中，选取支持票数最大的对象元素信息作为候选对象元素的目标元素信息。
在得到候选对象元素的目标元素信息后，对象检测设备判断目标元素信息中的置信度是否大于置信度阈值。若目标元素信息中的置信度大于或等于置信度阈值，则判定候选对象元素具有真实性；若目标元素信息中的置信度小于置信度阈值，则判定候选对象元素不具有真实性。
本申请实施例在当前遍历的当前视角图像中检测到对象元素时，可将检测到的对象元素作为待检对象的候选对象元素，并进一步基于当前视角图像和相关的关联视角图像之间的投影关系，以及候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素，从而根据检索结果和从当前视角图像中检索到的候选对象元素的初始元素信息，生成候选对象元素的目标元素信息以基于目标元素信息检测候选对象元素的真实性。通过关联视角图像对当前视角图像中的候选对象元素进行联合对象元素检测的方式，可较为准确地判定候选对象元素是真实的对象元素还是误检测到的对象元素，这样可以有效地降低对象元素检测的误差，提升对象元素检测的准确性，进而提升对象检测的准确度。
基于上述对象检测方法的相关描述，本申请实施例提出了另一种对象检测方法，该对象检测方法可由图1a中所提及的对象检测设备102执行。参见图3所示，该对象检测方法可包括如下步骤S301-S308：
S301、对待检对象的多视角图像集进行多视角联合建模。
对待检对象的多视角图像集中的各个视角图像进行单应性估计，进而将多视角图像关联。其中，单应性估计是指是在射影几何中估计不同射影空间之间的同构关系，即空间中一个平面到另一个平面上的映射关系；多视角图像关联指的是对一个待检对象（如工件）采集不同视角下的多张图片，然后利用单应性估计建模这些图片之间的映射关系。
在一种实施方式中，从待检对象的多视角图像集中选取一个视角图像作为基准视角图像，并从多视角图像集中选取与基准视角图像存在重叠区域的视角图像，作为参考视角图像；在基准视角图像中确定多个基准标定点，以及在参考视角图像中确定多个参考标定点；一个基准标定点对应一个参考标定点，标定点是指：对待检对象的一个特征点在视角图像中的位置进行标定所得到的点；例如，设基准视角图像和参考视角图像中均包括待检对象的特征点1-特征点4，则将特征点1在基准视角图像中的位置标定为基准标定点1，将特征点1在参考视角图像中的位置标定为参考标定点1，基准标定点1与参考标定点1相对应；同理，可以基于特征点2-特征点4在基准视角图像中的位置标定出基准标定点2-基准标定点4，基于特征点2-特征点4在参考视角图像中的位置标定出参考标定点2-参考标定点4。
在基准视角图像中确定多个基准标定点，以及在参考视角图像中确定多个参考标定点后，对象检测设备获取待求解的透视变换矩阵，待求解的透视变换矩阵中包括待求解的多个参数；采用待求解的透视变换矩阵，将每个基准标定点的位置坐标从基准视角图像所在的二维空间，投影至三维空间以得到每个基准标定点的三维空间坐标，每个基准标定点的三维空间坐标中包括多个参数；将每个基准标定点的三维空间坐标投影至参考视角图像所在的二维空间，得到每个基准标定点的投影坐标，每个基准标定点的投影坐标中包括多个参数；按照每个基准标定点的投影坐标等于对应的参考标定点的位置坐标的约束条件，求解出透视变换矩阵中的各个参数的值，得到求解后的透视变换矩阵，采用求解后的透视变换矩阵，作为基准视角图像和参考视角图像之间的投影关系。
图4a为本申请实施例提供的一种投影关系示意图。如图4a所示，对基准视角图像的重叠区域中的特征点进行标定得到基准标定点1-基准标定点4，对参考视角图像的重叠区域中的特征点进行标定得到参考标定点a-参考标定点d；其中基准标定点1与参考标定点a对应，基准标定点2与参考标定点b对应，基准标定点3与参考标定点c对应，基准标定点4与参考标定点d对应；基于各个基准标定点和该基准标定点对应的参考标定点求解基准视角图像和参考视角图像之间的投影变换矩阵，得到基准视角图像和参考视角图像之间的投影关系。
具体地，透视变换(Perspective Transformation)是将基准视角图像中的基准标定点投影到参考视角图像中，也称作投影映射(Projective Mapping)。具体可以分为两个部分：首先将基准视角图像中的基准标定点投影到三维空间中，然后再将三维空间坐标投影到参考视角图像所在的二维空间，得到每个基准标定点的投影坐标。将基准视角图像中的基准标定点投影到三维空间中的变换公式为：
Figure 225622DEST_PATH_IMAGE003
其中，（x，y）为基准视角图像中的基准标定点的位置坐标，M[x y 1]T表示通过透视变换矩阵M将基准标定点映射至三维空间中，映射后的三维空间坐标表示为（X，Y，Z），M可以表示为：
Figure 338940DEST_PATH_IMAGE004
基于上述描述，总的来说，将基准视角图像中的基准标定点投影到三维空间中的过程可采用下述公式进行表示：
Figure 825416DEST_PATH_IMAGE005
进一步地，可将三维空间中的三维空间坐标投影到参考视角图像所在的二维空间，得到每个基准标定点的投影坐标；然后，按照每个基准标定点的投影坐标等于对应的参考标定点的位置坐标的约束条件，建立如下等式：
Figure 116720DEST_PATH_IMAGE006
其中，（x’，y’）为基准视角图像的基准标定点（x，y）所对应的参考标定点在参考视角图像中的位置坐标。为了便于求解M中的各个参数的值，可将M中的m33的值设置为1，这样可使得M中只包含有8个未知数，从而可通过基准视角图像和参考视角图像相互对应的4组点（每组点包括一个基准视角图像中的基准标定点，以及该基准标定点在参考视角图像中对应的一个参考标定点；基准视角图像中的至少3个基准标定点不共线，参考视角图像中的至少3个参考标定点不共线）对M进行求解，进而得到从基准视角图像到参考视角图像的透视变换矩阵，类似地，通过逆运算可以得到从参考视角图像到基准视角图像的透视变换矩阵，进而确定基准视角图像和参考视角图像之间的映射关系。
在一个实施例中，对象检测设备可以通过调用OpenCV（一个用于图像处理、分析、机器视觉方面的开源函数库）的内置函数来实现上述透视变化矩阵的求解。具体的实现代码如下：
#对基准视角图像和参考视角图像中的特征点进行标定；
import cv2;
importnumpy as np;
#为基准视角图像中基准标定点的坐标和参考视角图像中参考标定点的坐标（数值仅用于举例）；
points_m = np.float32([[1000,100],[800,120],[650,400],[900,700]])；
points_n = np.float32([[500,20],[250,50],[200,400],[400,700]])；
#计算透视变换矩阵；
M = cv2.getPerspectiveTransform(points_m,points_n).
基于上述步骤S301的相关描述，假设待检对象的多视角图像集中包括视角图像1-视角图像5。图4b为本申请实施例提供的一种各个视角图像的投影关系示意图。如图4b所示，在完成多视角联合建模后，待检对象的多视角图像集中的视角图像1-视角图像5可以通过透视变换矩阵进行关联；例如，可以通过透视变换矩阵M12将视角图像1中的点投影至视角图像2中，也可以通过透视变换矩阵M21将视角图像2中的点投影至视角图像1中。
S302、遍历待检对象的多视角图像集中的各个视角图像。
在一种实施方式中，设对象检测设备当前对多视角图像集中的视角图像Xi进行检测，以确定视角图像Xi中是否存在需要检测的对象元素，则通过检测算法对视角图像Xi进行检测得到的检测结果可以表示为：
Figure 865977DEST_PATH_IMAGE007
其中，f(Xi)表示采用检测算法f(x)对视角图像Xi进行检测，K表示从视角图像Xi中检测到的候选对象元素的数量（K≥0）；Bik为视角图像Xi中所检到的候选对象元素k的包围框，Cik为候选对象元素k的元素类别，confik为候选对象元素k的置信度。
S303、若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为待检对象的候选对象元素，并确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息。
S304、从多视角图像集中除当前视角图像以外的剩余视角图像中，获取当前视角图像的关联视角图像。
步骤S304和步骤S305的具体实施方式可参考图2中步骤S202和步骤S203的实施方式，在此不再赘述。
S305、基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素。
对象检测设备基于当前视角图像和关联视角图像之间的投影关系，将候选对象元素在当前视角图像中的位置，投影至关联视角图像中以得到投影位置。图4c为本申请实施例提供的一种投影示意图。如图4c所示，将候选对象元素在当前视角图像中的位置，按照当前视角图像和关联视角图像之间的投影关系进行投影，得到该对象元素在关联视角图像中投影位置。
对象检测设备基于投影位置对关联视角图像进行检索，以确定关联视角图像中是否可以检索到候选对象元素，具体地：
若在关联视角图像中检测到K个对象元素，则确定K个对象元素中的每个对象元素在关联视角图像中的位置，K为正整数；计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度；其中，位置匹配度具体可以通过计算每个对象元素在关联视角图像中的位置与投影位置之间的位置的交并比（每个对象元素在关联视角图像中的位置所对应的区域与投影位置所对应区域的相交面积除以合并面积）、重合度（每个对象元素在关联视角图像中的位置所对应的区域与投影位置所对应区域的相交面积除以投影位置所对应区域的面积）、中心点距离（每个对象元素在关联视角图像中的位置的中心点与投影位置的中心点的距离）等计算得到。
在一个实施例中，K个对象元素中每个对象元素在关联视角图像中的位置采用标注框进行标识，投影位置采用投影框进行标识，对象检测设备计算投影框与各个标注框的交并比，并将投影框与各个标注框的交并比确定为该对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度。
在另一个实施例中，K个对象元素中每个对象元素在关联视角图像中的位置采用标注框进行标识，投影位置采用投影框进行标识，对象检测设备计算投影框与各个标注框的重合度，并将投影框与各个标注框的重合度确定为该对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度。
在再一个实施例中，对象检测设备获取每个对象元素在关联视角图像中的中心点坐标，以及投影位置的中心点坐标，计算各个对象元素的中心点坐标与投影位置的中心点坐标的距离，并将投影位置的中心点坐标与各个对象元素的中心点坐标的距离确定为该对象元素在在关联视角图像中的位置，与投影位置之间的位置匹配度。
在得到每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度后，若位置匹配度是根据投影框与各个标注框的交并比，或者投影框与各个标注框的重合度确定的，则对象检测设备在计算得到的位置匹配度中检索大于匹配度阈值的位置匹配度；若检索成功，则确定在关联视角图像中检索到候选对象元素；若检索失败，则确定未在关联视角图像中检索到候选对象元素。
若位置匹配度是根据投影位置的中心点坐标与各个对象元素的中心点坐标的距离确定的，则对象检测设备在计算得到的位置匹配度中检索小于匹配度阈值的位置匹配度；若检索成功，则确定在关联视角图像中检索到候选对象元素；若检索失败，则确定未在关联视角图像中检索到候选对象元素。
以缺陷检测为例，基于当前视角图像和关联视角图像之间的投影关系，将候选缺陷在当前视角图像中的位置，投影至关联视角图像中以得到候选缺陷的投影位置；若在关联视角图像中检测到候选缺陷，则确定候选缺陷在关联视角图像中的位置；并计算候选缺陷在关联视角图像中的位置，与投影位置之间的位置匹配度，得到检索结果；例如，若候选缺陷在关联视角图像中的位置，与投影位置之间的位置匹配度大于匹配度阈值，则检索成功，判定在关联视角图像中检测到候选缺陷；相应地，若候选缺陷在关联视角图像中的位置，与投影位置之间的位置匹配度小于或等于匹配度阈值，则检索失败，判定在关联视角图像中未检测到候选缺陷。
此外，若在关联视角图像中未检测到对象元素（即关联视角图像中不存在对象元素），则确定未在关联视角图像中检索到候选对象元素。
S306、根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，并基于目标元素信息检测候选对象元素的真实性。
检索结果用于指示是否在关联视角图像中检索到候选对象元素，若检索结果指示在关联视角图像中检索到候选对象元素，则检索结果中还可以包括该候选对象元素的对象元素信息（如候选对象元素的置信度、元素类别等）。
在一种实施方式中，初始元素信息包括候选对象元素的置信度，若检索结果指示未在关联视角图像中检索到候选对象元素，则对象检测设备对初始元素信息中的置信度进行减小处理（如减小0.1），并将减小处理后所得到的对象元素信息，作为候选对象元素的目标元素信息。相应地，若检索结果指示在关联视角图像中检索到候选对象元素，则对象检测设备将在关联视角图像中检测到的候选对象元素的对象元素信息作为关联元素信息，并对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息。具体地，初始元素信息和关联元素信息中均包括候选对象元素的置信度，对象检测设备获取初始元素信息的第一权重，以及关联元素信息的第二权重，采用第一权重和第二权重，对初始元素信息中的置信度和关联元素信息中的置信度进行加权求和，得到目标置信度，并将目标置信度添加至候选对象元素的目标元素信息；例如，设初始元素信息中候选对象元素的置信度为0.8，第一权重为1；关联元素信息中候选对象元素的置信度为0.4，第二权重为0.2，则目标置信度=0.8*1+0.4*0.2=0.88。
在另一种实施方式中，关联视角图像的数量为N，N为大于1的整数,初始元素信息和每个关联视角图像的关联元素信息中还包括候选对象元素的元素类别，若初始元素信息中的元素类别和各个关联元素信息中的元素类别均相同，则将初始元素信息中的元素类别作为目标元素类别，添加至候选对象元素的目标元素信息；若存在至少一个关联元素信息中的元素类别和初始元素信息中的元素类别不同，则统计各个元素类别的数量，将数量最多的元素类别确定为目标元素类别，添加至候选对象元素的目标元素信息；例如，设关联视角图像的数量为9，中指示工件A的元素类别为类别1，关联视角图像1-关联视角图像7的关联元素信息中指示工件A的元素类别为类别2，关联视角图像8和关联视角图像9的关联元素信息中指示工件A的元素类别为类别1，由于类别1的数量7>类别2的数量3，因此将工件A的目标元素类别确定为类别2。
可选的，综合上述两种实施方式，初始元素信息和每个关联视角图像的关联元素信息中既包括置信度，还包括元素类别，对初始元素信息和关联元素信息进行融合得到目标元素信息，即目标元素信息既包括目标置信度，又包括目标元素类别。
在再一种实施方式中，初始元素信息包括候选对象元素的置信度以及候选对象元素的元素类别，关联元素信息包括候选对象元素的元素类别。若初始元素信息中的元素类别和关联元素信息中的元素类别相同，则对初始元素信息中的置信度进行增大处理（如将置信度增加0.1），并将增大处理后所得到的描述信息（包括增大后的置信度，以及候选对象元素的元素类别），作为候选对象元素的目标元素信息；若初始元素信息中的元素类别和关联元素信息中的元素类别不同，则对初始元素信息中的置信度进行减小处理（如将置信度减少0.1），并将减小处理后所得到的元素信息（包括减小后的置信度，以及候选对象元素的元素类别），作为候选对象元素的目标元素信息；例如，设当前视角图像的初始元素信息中，候选对象元素1的置信度为0.7，元素类别为类别1；若关联元素信息中候选对象元素1的元素类别为类别1，则候选对象元素1的置信度=0.7+0.1=0.8；若关联元素信息中候选对象元素1的元素类别为类别1，则候选对象元素1的置信度=0.7-0.1=0.6。将候选对象元素1更新后的置信度作为候选对象元素1的目标元素信息。需要说明的是，上述数值仅用于举例，并不构成本申请的实际限定。
在又一种实施方式中，初始元素信息包括候选对象元素的元素类别，关联视角图像的数量为N，N为大于1的整数，每个关联视角图像的检索结果包括关联元素信息；对候选对象元素的初始元素信息和N个关联元素信息进行投票处理，得到初始元素信息的支持票数，以及每个关联元素信息的支持票数；在初始元素信息和N个关联元素信息中，选取支持票数最大的对象元素信息作为候选对象元素的目标元素信息。
在一个实施例中，初始元素信息和关联元素信息中均包括候选对象元素的置信度，若初始元素信息或者关联元素信息中候选对象元素的置信度大于等于置信度阈值，则投赞成候选对象元素具有真实性；若初始元素信息或者关联元素信息中候选对象元素的置信度小于置信度阈值，则投反对候选对象元素具有真实性，根据投票结果生成候选对象元素的目标元素信息；例如，设置信度阈值为0.6，且初始元素信息中候选对象元素的置信度为0.7，则基于初始元素信息投赞成票；若关联元素信息1中候选对象元素的置信度为0.3，则基于关联元素信息1投反对票。在得到候选对象元素的目标元素信息后，若赞成候选对象元素具有真实性的得票大于等于反对候选对象元素具有真实性的得票，则判定候选对象元素具有真实性；若赞成候选对象元素具有真实性的得票小于反对候选对象元素具有真实性的得票，则判定候选对象元素不具有真实性。
在另一个实施例中，初始元素信息和关联元素信息中均包括候选对象元素的元素类别，统计各个元素类别的得票，将得票最多的元素类别确定为目标元素类别，将目标元素类别以及该目标元素类别的得票率作为候选对象元素的目标元素信息；例如，设元素类别1的得票为10票，元素类别2的得票为30票，则将元素类别2确定为目标元素类别。进一步地，若目标元素类别的得票率大于等于得票率阈值，则判定候选对象元素具有真实性，且将候选对象元素的类别确定为目标元素类别；若目标元素类别的得票率小于得票率阈值，则判定候选对象元素不具有真实性；例如，假设得票率阈值为60%，若目标元素类别的得票率为75%，则则判定候选对象元素具有真实性，该候选对象元素的类别为目标元素类别；相应地，若目标元素类别的得票率为55%，则则判定候选对象元素不具有真实性。
在再一个实施例中，初始元素信息和关联元素信息中既包括候选对象元素的置信度，又包括候选对象元素的元素类别，综合初始元素信息或者关联元素信息中候选对象元素的置信度和元素类别进行投票（例如，候选对象元素的置信度大于置信度阈值且元素类别属于预设元素类别，则投赞成候选对象元素具有真实性；否则反对候选对象元素具有真实性），根据投票结果生成候选对象元素的目标元素信息。在得到候选对象元素的目标元素信息后，若赞成候选对象元素具有真实性的得票大于等于反对候选对象元素具有真实性的得票，则判定候选对象元素具有真实性；若赞成候选对象元素具有真实性的得票小于反对候选对象元素具有真实性的得票，则判定候选对象元素不具有真实性。
S307、统计从全部视角图像中检测到的H个候选对象元素的真实性检测结果，H为正整数。
统计从多视角图像集合中的各个视角图像中检测到的候选对象元素的数量，并通过上述步骤S302-步骤S306得到各个候选对象元素的真实性。
S308、根据H个候选对象元素的真实性校测结果，判定待检对象的对象检测结果。
在一种实施方式中，若存在h个候选对象元素的真实性校测结果为该候选对象元素具有真实性，则判定待检对象未通过检测；否则判定待检对象通过检测；h为正整数，且h小于等于H；例如，对于工件A来说，假设h=5（即当工件的具有真实性的候选缺陷的数量小于5时，判定工件检测合格），且从工件A的多视角图像集中总共检测10个候选缺陷，其中6个候选缺陷的真实性校验结果为具有真实性，则判定工件A检测不合格。
本申请实施例中，对于待检对象上的每个候选对象元素，在多个视角下都能找到对应的关联元素信息，那么漏检率就会随之低；同样的，即使在个别视角下未检测到候选对象元素，但是在其他多数视角下都能检测到该候选对象元素，那么过杀率也会随之降低。通过对多个视角下的对象元素信息进行综合判断，如投票、权重融合等方式，可以有更大的几率找到真正的对象元素，改善对象检测过程中出现过杀和漏检的情况。可见，使用单应性估计技术对工业自动化质检过程中的待检对象进行多视角关联建模，利用多张图片中不同视角的形态信息对待检对象的质检结果进行联合推断，可以有效地降低对象元素检测的误差，进而提升对象检测的准确度，同时使得检测结果具有鲁棒性。
上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。
请参见图5，图5为本申请实施例提供的一种对象检测装置的结构示意图，该装置可以搭载在图1a所示的对象检测设备102上。图5所示的对象检测装置可以用于执行上述图2和图3所描述的方法实施例中的部分或全部功能。请参见图5，各个单元的详细描述如下：
处理单元501，用于遍历待检对象的多视角图像集中的各个视角图像，不同的视角图像是采用不同的拍摄视角对待检对象进行拍摄得到的；以及用于若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为待检对象的候选对象元素，并确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息；
获取单元502，用于从多视角图像集中除当前视角图像以外的剩余视角图像中，获取当前视角图像的关联视角图像，当前视角图像和关联视角图像之间存在投影关系；
处理单元501，还用于基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素；以及用于根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，并基于目标元素信息检测候选对象元素的真实性。
在一种实施方式中，当前视角图像和关联视角图像之间的投影关系，是多视角图像集的多视角联合建模结果中的其中一个投影关系；
其中，多视角联合建模结果中的任一投影关系的构建方式如下：
从待检对象的多视角图像集中选取一个视角图像作为基准视角图像，并从多视角图像集中选取与基准视角图像存在重叠区域的视角图像，作为参考视角图像；
在基准视角图像中确定多个基准标定点，以及在参考视角图像中确定多个参考标定点；一个基准标定点对应一个参考标定点，标定点是指：对待检对象的一个特征点在视角图像中的位置进行标定所得到的点；
根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算基准视角图像和参考视角图像之间的投影关系。
在一种实施方式中，处理单元501用于，根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算基准视角图像和参考视角图像之间的投影关系，具体用于：
获取待求解的透视变换矩阵，待求解的透视变换矩阵中包括待求解的多个参数；
采用待求解的透视变换矩阵，将每个基准标定点的位置坐标从基准视角图像所在的二维空间，投影至三维空间以得到每个基准标定点的三维空间坐标，每个基准标定点的三维空间坐标中包括多个参数；
将每个基准标定点的三维空间坐标投影至参考视角图像所在的二维空间，得到每个基准标定点的投影坐标，每个基准标定点的投影坐标中包括多个参数；
按照每个基准标定点的投影坐标等于对应的参考标定点的位置坐标的约束条件，求解出透视变换矩阵中的各个参数的值，得到求解后的透视变换矩阵；
采用求解后的透视变换矩阵，作为基准视角图像和参考视角图像之间的投影关系。
在一种实施方式中，处理单元501用于，基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素，具体用于：
基于当前视角图像和关联视角图像之间的投影关系，将候选对象元素在当前视角图像中的位置，投影至关联视角图像中以得到投影位置；
若在关联视角图像中检测到K个对象元素，则确定K个对象元素中的每个对象元素在关联视角图像中的位置，K为正整数；
计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度；以及，在计算得到的位置匹配度中检索大于匹配度阈值的位置匹配度；
若检索成功，则确定在关联视角图像中检索到候选对象元素；若检索失败，则确定未在关联视角图像中检索到候选对象元素。
在一种实施方式中，每个对象元素在关联视角图像中的位置采用标注框进行标识，投影位置采用投影框进行标识；
处理单元501用于，计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度，具体用于：
计算第k个对象元素在关联视角图像中的位置，与投影位置之间的交并比，k∈[1，K]；
将计算得到的交并比，确定为第k个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度。
在一种实施方式中，初始元素信息包括候选对象元素的置信度，处理单元501用于，根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，具体用于：
若检索结果指示未在关联视角图像中检索到候选对象元素，则对初始元素信息中的置信度进行减小处理；
将减小处理后所得到的对象元素信息，作为候选对象元素的目标元素信息。
在一种实施方式中，处理单元501用于，根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，具体用于：
若检索结果指示在关联视角图像中检索到候选对象元素，则将在关联视角图像中检测到的候选对象元素的对象元素信息作为关联元素信息；
对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息。
在一种实施方式中，初始元素信息包括候选对象元素的置信度，关联元素信息包括候选对象元素的置信度；
处理单元501用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
获取初始元素信息的第一权重，以及关联元素信息的第二权重；
采用第一权重和第二权重，对初始元素信息中的置信度和关联元素信息中的置信度进行加权求和，得到目标置信度；
将目标置信度添加至候选对象元素的目标元素信息。
在一种实施方式中，初始元素信息包括候选对象元素的元素类别，关联视角图像的数量为N个，每个关联视角图像的关联元素信息均包括候选对象元素的元素类别，N为大于1的整数；
处理单元501用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
若初始元素信息中的元素类别和各个关联元素信息中的元素类别均相同，则将元素类别作为目标元素类别，添加至候选对象元素的目标元素信息；
若存在至少一个关联元素信息中的元素类别和初始元素信息中的元素类别不同，则统计各个元素类别的数量，将数量最多的元素类别确定为目标元素类别，添加至候选对象元素的目标元素信息。
在一种实施方式中，初始元素信息包括候选对象元素的置信度以及候选对象元素的元素类别，关联元素信息包括候选对象元素的元素类别；
处理单元501用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
若初始元素信息中的元素类别和关联元素信息中的元素类别相同，则对初始元素信息中的置信度进行增大处理，并将增大处理后所得到的元素信息，作为候选对象元素的目标元素信息；
若初始元素信息中的元素类别和关联元素信息中的元素类别不同，则对初始元素信息中的置信度进行减小处理，并将减小处理后所得到的元素信息，作为候选对象元素的目标元素信息。
在一种实施方式中，关联视角图像的数量为N，N为大于1的整数，一个关联视角图像对应一个关联元素信息；
处理单元501用于，对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息，具体用于：
对候选对象元素的初始元素信息和N个关联元素信息进行投票处理，得到初始元素信息的支持票数，以及每个关联元素信息的支持票数；
在初始元素信息和N个关联元素信息中，选取支持票数最大的对象元素信息作为候选对象元素的目标元素信息。
在一种实施方式中，处理单元501用于，基于目标元素信息检测候选对象元素的真实性，具体用于：
若目标元素信息中的置信度大于或等于置信度阈值，则判定候选对象元素具有真实性；
若目标元素信息中的置信度小于置信度阈值，则判定候选对象元素不具有真实性。
在一种实施方式中，处理单元501还用于：
在多视角图像集中的全部视角图像均被遍历后，得到从全部视角图像中检测到的H个候选对象元素的真实性检测结果，H为正整数；
根据H个候选对象元素的真实性校测结果，判定待检对象的对象检测结果，对象检测结果用于指示待检对象是否通过检测。
根据本申请的一个实施例，图2和图3所示的对象检测方法所涉及的部分步骤可由图5所示的对象检测装置中的各个单元来执行。例如，图2中所示的步骤S201，步骤S202，步骤S204和步骤S205可由图5所示的处理单元501执行，步骤S203可由图5所示的获取单元502执行。图3中所示的步骤S301-步骤S303和步骤S305-步骤S308可由图5所示的处理单元501执行，步骤S304可由图5所示的获取单元502执行。图5所示的对象检测装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，对象检测装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行如图2和图3中所示的相应方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图5中所示的对象检测装置，以及来实现本申请实施例的对象检测方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。
基于同一发明构思，本申请实施例中提供的对象检测装置解决问题的原理与有益效果与本申请方法实施例中对象检测方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
请参阅图6，图6为本申请实施例提供的一种对象检测设备的结构示意图，如图6所示，对象检测设备至少包括处理器601、通信接口602和存储器603。其中，处理器601、通信接口602和存储器603可通过总线或其他方式连接。其中，处理器601（或称中央处理器（Central Processing Unit，CPU））是终端的计算核心以及控制核心，其可以解析终端内的各类指令以及处理终端的各类数据，例如：CPU可以用于解析用户向终端所发送的开关机指令，并控制终端进行开关机操作；再如：CPU可以在终端内部结构之间传输各类交互数据，等等。通信接口602可选的可以包括标准的有线接口、无线接口（如WI-FI、移动通信接口等），受处理器601的控制可以用于收发数据；通信接口602还可以用于终端内部数据的传输以及交互。存储器603（Memory）是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器603既可以包括终端的内置存储器，当然也可以包括终端所支持的扩展存储器。存储器603提供存储空间，该存储空间存储了终端的操作系统，可包括但不限于：Android系统、iOS系统、Windows Phone系统等等，本申请对此并不作限定。
本申请实施例还提供了一种计算机可读存储介质（Memory），计算机可读存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的处理系统。并且，在该存储空间中还存放了适于被处理器601加载并执行的一条或多条的指令，这些指令可以是一个或多个的计算机程序（包括程序代码）。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中，该计算机可读存储介质中存储有一条或多条指令；由处理器601加载并执行计算机可读存储介质中存放的一条或多条指令，以实现上述对象检测方法实施例中的相应步骤；具体实现中，计算机可读存储介质中的一条或多条指令由处理器601加载并执行如下操作：
遍历待检对象的多视角图像集中的各个视角图像，不同的视角图像是采用不同的拍摄视角对待检对象进行拍摄得到的；
若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为待检对象的候选对象元素，并确定候选对象元素在当前视角图像中的位置，以及从当前视角图像中检测到的候选对象元素的初始元素信息；
从多视角图像集中除当前视角图像以外的剩余视角图像中，获取当前视角图像的关联视角图像，当前视角图像和关联视角图像之间存在投影关系；
基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素；
根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息，并基于目标元素信息检测候选对象元素的真实性。
作为一种可选的实施例，当前视角图像和关联视角图像之间的投影关系，是多视角图像集的多视角联合建模结果中的其中一个投影关系；
其中，多视角联合建模结果中的任一投影关系的构建方式如下：
从待检对象的多视角图像集中选取一个视角图像作为基准视角图像，并从多视角图像集中选取与基准视角图像存在重叠区域的视角图像，作为参考视角图像；
在基准视角图像中确定多个基准标定点，以及在参考视角图像中确定多个参考标定点；一个基准标定点对应一个参考标定点，标定点是指：对待检对象的一个特征点在视角图像中的位置进行标定所得到的点；
根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算基准视角图像和参考视角图像之间的投影关系。
作为一种可选的实施例，处理器601根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算基准视角图像和参考视角图像之间的投影关系的具体实施例为：
获取待求解的透视变换矩阵，待求解的透视变换矩阵中包括待求解的多个参数；
采用待求解的透视变换矩阵，将每个基准标定点的位置坐标从基准视角图像所在的二维空间，投影至三维空间以得到每个基准标定点的三维空间坐标，每个基准标定点的三维空间坐标中包括多个参数；
将每个基准标定点的三维空间坐标投影至参考视角图像所在的二维空间，得到每个基准标定点的投影坐标，每个基准标定点的投影坐标中包括多个参数；
按照每个基准标定点的投影坐标等于对应的参考标定点的位置坐标的约束条件，求解出透视变换矩阵中的各个参数的值，得到求解后的透视变换矩阵；
采用求解后的透视变换矩阵，作为基准视角图像和参考视角图像之间的投影关系。
作为一种可选的实施例，处理器601基于当前视角图像和关联视角图像之间的投影关系，和候选对象元素在当前视角图像中的位置，在关联视角图像中检索候选对象元素的具体实施例为：
基于当前视角图像和关联视角图像之间的投影关系，将候选对象元素在当前视角图像中的位置，投影至关联视角图像中以得到投影位置；
若在关联视角图像中检测到K个对象元素，则确定K个对象元素中的每个对象元素在关联视角图像中的位置，K为正整数；
计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度；以及，在计算得到的位置匹配度中检索大于匹配度阈值的位置匹配度；
若检索成功，则确定在关联视角图像中检索到候选对象元素；若检索失败，则确定未在关联视角图像中检索到候选对象元素。
作为一种可选的实施例，每个对象元素在关联视角图像中的位置采用标注框进行标识，投影位置采用投影框进行标识；处理器601计算每个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度的具体实施例为：
计算第k个对象元素在关联视角图像中的位置，与投影位置之间的交并比，k∈[1，K]；
将计算得到的交并比，确定为第k个对象元素在关联视角图像中的位置，与投影位置之间的位置匹配度。
作为一种可选的实施例，初始元素信息包括候选对象元素的置信度；处理器601根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息的具体实施例为：
若检索结果指示未在关联视角图像中检索到候选对象元素，则对初始元素信息中的置信度进行减小处理；
将减小处理后所得到的对象元素信息，作为候选对象元素的目标元素信息。
作为一种可选的实施例，处理器601根据检索结果和候选对象元素的初始元素信息，生成候选对象元素的目标元素信息的具体实施例为：
若检索结果指示在关联视角图像中检索到候选对象元素，则将在关联视角图像中检测到的候选对象元素的对象元素信息作为关联元素信息；
对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息。
作为一种可选的实施例，初始元素信息包括候选对象元素的置信度，关联元素信息包括候选对象元素的置信度；
处理器601对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息的具体实施例为：
获取初始元素信息的第一权重，以及关联元素信息的第二权重；
采用第一权重和第二权重，对初始元素信息中的置信度和关联元素信息中的置信度进行加权求和，得到目标置信度；
将目标置信度添加至候选对象元素的目标元素信息。
作为一种可选的实施例，初始元素信息包括候选对象元素的元素类别，关联视角图像的数量为N个，每个关联视角图像的关联元素信息均包括候选对象元素的元素类别，N为大于1的整数；
处理器601对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息的具体实施例为：
若初始元素信息中的元素类别和各个关联元素信息中的元素类别均相同，则将元素类别作为目标元素类别，添加至候选对象元素的目标元素信息；
若存在至少一个关联元素信息中的元素类别和初始元素信息中的元素类别不同，则统计各个元素类别的数量，将数量最多的元素类别确定为目标元素类别，添加至候选对象元素的目标元素信息。
作为一种可选的实施例，初始元素信息包括候选对象元素的置信度以及候选对象元素的元素类别，关联元素信息包括候选对象元素的元素类别；
处理器601对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息的具体实施例为：
若初始元素信息中的元素类别和关联元素信息中的元素类别相同，则对初始元素信息中的置信度进行增大处理，并将增大处理后所得到的元素信息，作为候选对象元素的目标元素信息；
若初始元素信息中的元素类别和关联元素信息中的元素类别不同，则对初始元素信息中的置信度进行减小处理，并将减小处理后所得到的元素信息，作为候选对象元素的目标元素信息。
作为一种可选的实施例，关联视角图像的数量为N，N为大于1的整数，一个关联视角图像对应一个关联元素信息；
处理器601对候选对象元素的初始元素信息和关联元素信息进行信息融合，得到候选对象元素的目标元素信息的具体实施例为：
对候选对象元素的初始元素信息和N个关联元素信息进行投票处理，得到初始元素信息的支持票数，以及每个关联元素信息的支持票数；
在初始元素信息和N个关联元素信息中，选取支持票数最大的对象元素信息作为候选对象元素的目标元素信息。
作为一种可选的实施例，处理器601基于目标元素信息检测候选对象元素的真实性的具体实施例为：
若目标元素信息中的置信度大于或等于置信度阈值，则判定候选对象元素具有真实性；
若目标元素信息中的置信度小于置信度阈值，则判定候选对象元素不具有真实性。
作为一种可选的实施例，处理器601通过运行存储器603中的可执行程序代码，还执行如下操作：
在多视角图像集中的全部视角图像均被遍历后，得到从全部视角图像中检测到的H个候选对象元素的真实性检测结果，H为正整数；
根据H个候选对象元素的真实性校测结果，判定待检对象的对象检测结果，对象检测结果用于指示待检对象是否通过检测。
基于同一发明构思，本申请实施例中提供的对象检测设备解决问题的原理与有益效果与本申请方法实施例中对象检测方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有一条或多条指令，一条或多条指令适于由处理器加载并执行上述方法实施例的对象检测方法。
本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例的对象检测方法。
本申请实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述对象检测的方法。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，可读存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（RandomAccess Memory，RAM）、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于申请所涵盖的范围。

Claims (16)

1.一种对象检测方法，其特征在于，所述方法包括：
遍历待检对象的多视角图像集中的各个视角图像，不同的视角图像是采用不同的拍摄视角对所述待检对象进行拍摄得到的；
若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为所述待检对象的候选对象元素，并确定所述候选对象元素在所述当前视角图像中的位置，以及从所述当前视角图像中检测到的所述候选对象元素的初始元素信息；
从所述多视角图像集中除所述当前视角图像以外的剩余视角图像中，获取所述当前视角图像的关联视角图像，所述当前视角图像和所述关联视角图像之间存在投影关系；
基于所述当前视角图像和所述关联视角图像之间的投影关系，和所述候选对象元素在所述当前视角图像中的位置，在所述关联视角图像中检索所述候选对象元素；
根据检索结果和所述候选对象元素的初始元素信息，生成所述候选对象元素的目标元素信息，并基于所述目标元素信息检测所述候选对象元素的真实性；
其中，在所述关联视角图像中检索到所述候选对象元素的情况下，在所述关联视角图像中检测到的所述候选对象元素的对象元素信息为关联元素信息；当所述初始元素信息包括所述候选对象元素的置信度，所述关联元素信息包括所述候选对象元素的置信度时，所述目标元素信息包括：对所述初始元素信息中的置信度和所述关联元素信息中的置信度进行加权求和所得到的目标置信度。
2.如权利要求1所述的方法，其特征在于，所述当前视角图像和所述关联视角图像之间的投影关系，是所述多视角图像集的多视角联合建模结果中的其中一个投影关系；
其中，所述多视角联合建模结果中的任一投影关系的构建方式如下：
从所述待检对象的多视角图像集中选取一个视角图像作为基准视角图像，并从所述多视角图像集中选取与所述基准视角图像存在重叠区域的视角图像，作为参考视角图像；
在所述基准视角图像中确定多个基准标定点，以及在所述参考视角图像中确定多个参考标定点；一个基准标定点对应一个参考标定点，标定点是指：对所述待检对象的一个特征点在视角图像中的位置进行标定所得到的点；
根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算所述基准视角图像和所述参考视角图像之间的投影关系。
3.如权利要求2所述的方法，其特征在于，所述根据每个基准标定点的位置坐标以及对应的参考标定点的位置坐标，计算所述基准视角图像和所述参考视角图像之间的投影关系，包括：
获取待求解的透视变换矩阵，所述待求解的透视变换矩阵中包括待求解的多个参数；
采用所述待求解的透视变换矩阵，将每个基准标定点的位置坐标从所述基准视角图像所在的二维空间，投影至三维空间以得到所述每个基准标定点的三维空间坐标，所述每个基准标定点的三维空间坐标中包括所述多个参数；
将所述每个基准标定点的三维空间坐标投影至所述参考视角图像所在的二维空间，得到所述每个基准标定点的投影坐标，所述每个基准标定点的投影坐标中包括所述多个参数；
按照所述每个基准标定点的投影坐标等于对应的参考标定点的位置坐标的约束条件，求解出所述透视变换矩阵中的各个参数的值，得到求解后的透视变换矩阵；
采用所述求解后的透视变换矩阵，作为所述基准视角图像和所述参考视角图像之间的投影关系。
4.如权利要求1所述的方法，其特征在于，所述基于所述当前视角图像和所述关联视角图像之间的投影关系，和所述候选对象元素在所述当前视角图像中的位置，在所述关联视角图像中检索所述候选对象元素，包括：
基于所述当前视角图像和所述关联视角图像之间的投影关系，将所述候选对象元素在所述当前视角图像中的位置，投影至所述关联视角图像中以得到投影位置；
若在所述关联视角图像中检测到K个对象元素，则确定所述K个对象元素中的每个对象元素在所述关联视角图像中的位置，K为正整数；
计算所述每个对象元素在所述关联视角图像中的位置，与所述投影位置之间的位置匹配度；以及，在计算得到的位置匹配度中检索大于匹配度阈值的位置匹配度；
若检索成功，则确定在所述关联视角图像中检索到所述候选对象元素；若检索失败，则确定未在所述关联视角图像中检索到所述候选对象元素。
5.如权利要求4所述的方法，其特征在于，所述每个对象元素在所述关联视角图像中的位置采用标注框进行标识，所述投影位置采用投影框进行标识；所述计算所述每个对象元素在所述关联视角图像中的位置，与所述投影位置之间的位置匹配度，包括：
计算第k个对象元素在所述关联视角图像中的位置，与所述投影位置之间的交并比，k∈[1，K]；
将计算得到的交并比，确定为所述第k个对象元素在所述关联视角图像中的位置，与所述投影位置之间的位置匹配度。
6.如权利要求1所述的方法，其特征在于，所述初始元素信息包括所述候选对象元素的置信度，所述根据检索结果和所述候选对象元素的初始元素信息，生成所述候选对象元素的目标元素信息，包括：
若所述检索结果指示未在所述关联视角图像中检索到所述候选对象元素，则对所述初始元素信息中的置信度进行减小处理；
将减小处理后所得到的对象元素信息，作为所述候选对象元素的目标元素信息。
7.如权利要求1所述的方法，其特征在于，所述根据检索结果和所述候选对象元素的初始元素信息，生成所述候选对象元素的目标元素信息，包括：
若所述检索结果指示在所述关联视角图像中检索到所述候选对象元素，则将在所述关联视角图像中检测到的所述候选对象元素的对象元素信息作为关联元素信息；
对所述候选对象元素的初始元素信息和所述关联元素信息进行信息融合，得到所述候选对象元素的目标元素信息。
8.如权利要求7所述的方法，其特征在于，所述初始元素信息包括所述候选对象元素的置信度，所述关联元素信息包括所述候选对象元素的置信度；所述对所述候选对象元素的初始元素信息和所述关联元素信息进行信息融合，得到所述候选对象元素的目标元素信息，包括：
获取所述初始元素信息的第一权重，以及所述关联元素信息的第二权重；
采用所述第一权重和所述第二权重，对所述初始元素信息中的置信度和所述关联元素信息中的置信度进行加权求和，得到目标置信度；
将所述目标置信度添加至所述候选对象元素的目标元素信息。
9.如权利要求7或8所述的方法，其特征在于，所述初始元素信息包括所述候选对象元素的元素类别，所述关联视角图像的数量为N个，每个关联视角图像的关联元素信息均包括所述候选对象元素的元素类别，N为大于1的整数；
所述对所述候选对象元素的初始元素信息和所述关联元素信息进行信息融合，得到所述候选对象元素的目标元素信息，包括：
若所述初始元素信息中的元素类别和各个关联元素信息中的元素类别均相同，则将所述元素类别作为目标元素类别，添加至所述候选对象元素的目标元素信息；
若存在至少一个关联元素信息中的元素类别和所述初始元素信息中的元素类别不同，则统计各个元素类别的数量，将数量最多的元素类别确定为目标元素类别，添加至所述候选对象元素的目标元素信息。
10.如权利要求7所述的方法，其特征在于，所述初始元素信息包括所述候选对象元素的置信度以及所述候选对象元素的元素类别，所述关联元素信息包括所述候选对象元素的元素类别，所述对所述候选对象元素的初始元素信息和所述关联元素信息进行信息融合，得到所述候选对象元素的目标元素信息，包括：
若所述初始元素信息中的元素类别和所述关联元素信息中的元素类别相同，则对所述初始元素信息中的置信度进行增大处理，并将增大处理后所得到的元素信息，作为所述候选对象元素的目标元素信息；
若所述初始元素信息中的元素类别和所述关联元素信息中的元素类别不同，则对所述初始元素信息中的置信度进行减小处理，并将减小处理后所得到的元素信息，作为所述候选对象元素的目标元素信息。
11.如权利要求7所述的方法，其特征在于，所述关联视角图像的数量为N，N为大于1的整数，一个关联视角图像对应一个关联元素信息；
所述对所述候选对象元素的初始元素信息和所述关联元素信息进行信息融合，得到所述候选对象元素的目标元素信息，包括：
对所述候选对象元素的初始元素信息和N个关联元素信息进行投票处理，得到所述初始元素信息的支持票数，以及每个关联元素信息的支持票数；
在所述初始元素信息和N个关联元素信息中，选取支持票数最大的对象元素信息作为所述候选对象元素的目标元素信息。
12.如权利要求1所述的方法，其特征在于，所述基于所述目标元素信息检测所述候选对象元素的真实性，包括：
若所述目标元素信息中的置信度大于或等于置信度阈值，则判定所述候选对象元素具有真实性；
若所述目标元素信息中的置信度小于所述置信度阈值，则判定所述候选对象元素不具有真实性。
13.如权利要求1所述的方法，其特征在于，所述方法还包括：
在所述多视角图像集中的全部视角图像均被遍历后，得到从所述全部视角图像中检测到的H个候选对象元素的真实性检测结果，H为正整数；
根据所述H个候选对象元素的真实性校测结果，判定所述待检对象的对象检测结果，所述对象检测结果用于指示所述待检对象是否通过检测。
14.一种对象检测装置，其特征在于，包括：
处理单元，用于遍历待检对象的多视角图像集中的各个视角图像，不同的视角图像是采用不同的拍摄视角对所述待检对象进行拍摄得到的；以及用于若在当前遍历的当前视角图像中检测到需检测的对象元素，则将检测到的对象元素作为所述待检对象的候选对象元素，并确定所述候选对象元素在所述当前视角图像中的位置，以及从所述当前视角图像中检测到的所述候选对象元素的初始元素信息；
获取单元，用于从所述多视角图像集中除所述当前视角图像以外的剩余视角图像中，获取所述当前视角图像的关联视角图像，所述当前视角图像和所述关联视角图像之间存在投影关系；
所述处理单元，还用于基于所述当前视角图像和所述关联视角图像之间的投影关系，和所述候选对象元素在所述当前视角图像中的位置，在所述关联视角图像中检索所述候选对象元素；以及用于根据检索结果和所述候选对象元素的初始元素信息，生成所述候选对象元素的目标元素信息，并基于所述目标元素信息检测所述候选对象元素的真实性；
其中，在所述关联视角图像中检索到所述候选对象元素的情况下，在所述关联视角图像中检测到的所述候选对象元素的对象元素信息为关联元素信息；当所述初始元素信息包括所述候选对象元素的置信度，所述关联元素信息包括所述候选对象元素的置信度时，所述目标元素信息包括：对所述初始元素信息中的置信度和所述关联元素信息中的置信度进行加权求和所得到的目标置信度。
15.一种计算机设备，其特征在于，包括：存储装置和处理器；
所述存储装置中存储有计算机程序；
处理器，执行计算机程序，实现如权利要求1-13任一项所述的对象检测方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，如权利要求1-13任一项所述的对象检测方法被实现。
CN202111202307.6A 2021-10-15 2021-10-15 对象检测方法、装置、设备及计算机可读存储介质 Active CN113642565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111202307.6A CN113642565B (zh) 2021-10-15 2021-10-15 对象检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111202307.6A CN113642565B (zh) 2021-10-15 2021-10-15 对象检测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113642565A CN113642565A (zh) 2021-11-12
CN113642565B true CN113642565B (zh) 2022-02-11

Family

ID=78427065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111202307.6A Active CN113642565B (zh) 2021-10-15 2021-10-15 对象检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113642565B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931185A (zh) * 2016-04-20 2016-09-07 中国矿业大学 一种多视角图像自动拼接方法
CN111489433A (zh) * 2020-02-13 2020-08-04 北京百度网讯科技有限公司 车辆损伤定位的方法、装置、电子设备以及可读存储介质
CN111798486A (zh) * 2020-06-16 2020-10-20 浙江大学 基于人体运动预测的多视角人体运动捕捉方法
CN113361354A (zh) * 2021-05-28 2021-09-07 国能朔黄铁路发展有限责任公司 轨道部件巡检方法、装置、计算机设备和存储介质
CN113450457A (zh) * 2021-08-31 2021-09-28 腾讯科技（深圳）有限公司 道路重建方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619691B2 (en) * 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
CN109215082B (zh) * 2017-06-30 2021-06-22 杭州海康威视数字技术股份有限公司 一种相机参数标定方法、装置、设备及系统
CN111709471B (zh) * 2020-06-12 2022-09-23 腾讯科技（深圳）有限公司 对象检测模型的训练方法以及对象检测方法、装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931185A (zh) * 2016-04-20 2016-09-07 中国矿业大学 一种多视角图像自动拼接方法
CN111489433A (zh) * 2020-02-13 2020-08-04 北京百度网讯科技有限公司 车辆损伤定位的方法、装置、电子设备以及可读存储介质
CN111798486A (zh) * 2020-06-16 2020-10-20 浙江大学 基于人体运动预测的多视角人体运动捕捉方法
CN113361354A (zh) * 2021-05-28 2021-09-07 国能朔黄铁路发展有限责任公司 轨道部件巡检方法、装置、计算机设备和存储介质
CN113450457A (zh) * 2021-08-31 2021-09-28 腾讯科技（深圳）有限公司 道路重建方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113642565A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN109556596A (zh) 基于地面纹理图像的导航方法、装置、设备及存储介质
CN113362382A (zh) 三维重建方法和三维重建装置
CN114667540A (zh) 物品识别及追踪系统
CN113449570A (zh) 图像处理方法和装置
US20220207266A1 (en) Methods, devices, electronic apparatuses and storage media of image processing
CN115311618A (zh) 一种基于深度学习和对象匹配的装配质量检查方法
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN110135304A (zh) 人体位姿识别方法及装置
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
CN111967527A (zh) 一种基于人工智能牡丹品种识别方法及识别系统
CN115131437A (zh) 位姿估计方法及相关模型的训练方法、装置、设备、介质
CN113557546B (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN112991343B (zh) 眼底图像黄斑区域的识别检测方法和装置及设备
CN108447092B (zh) 视觉定位标识物的方法及装置
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN112233161B (zh) 手部图像深度确定方法、装置、电子设备及存储介质
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
CN112149528A (zh) 一种全景图目标检测方法、系统、介质及设备
CN113642565B (zh) 对象检测方法、装置、设备及计算机可读存储介质
CN117237681A (zh) 图像处理方法、装置及相关设备
Paletta et al. FACTS-a computer vision system for 3D recovery and semantic mapping of human factors
CN116958021A (zh) 基于人工智能的产品缺陷识别方法、相关装置和介质
CN113537407B (zh) 基于机器学习的图像数据评价处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055309

Country of ref document: HK