CN111553915A - 物品识别检测方法、装置、设备和可读存储介质 - Google Patents

物品识别检测方法、装置、设备和可读存储介质 Download PDF

Info

Publication number
CN111553915A
CN111553915A CN202010385754.9A CN202010385754A CN111553915A CN 111553915 A CN111553915 A CN 111553915A CN 202010385754 A CN202010385754 A CN 202010385754A CN 111553915 A CN111553915 A CN 111553915A
Authority
CN
China
Prior art keywords
time frame
index value
key
preset
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010385754.9A
Other languages
English (en)
Inventor
何元钦
张潮宇
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010385754.9A priority Critical patent/CN111553915A/zh
Publication of CN111553915A publication Critical patent/CN111553915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种物品识别检测方法、装置、设备和可读存储介质，所述物品识别检测方法包括：获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系，进而确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值，进而基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧，进而基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。本申请解决了物品识别检测准确率低的技术问题。

Description

物品识别检测方法、装置、设备和可读存储介质
技术领域
本申请涉及金融科技(Fintech)的人工智能领域，尤其涉及一种物品识别检测方法、装置、设备和可读存储介质。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
目前，在很多领域中需要对图像中的目标检测物进行识别检测，例如，智能仓管系统中，需要拍摄货物的图像，识别图像中货物的数量和类别。要对图像中的目标检测物进行识别，需要图像拍摄角度合适，图像中目标检测物清晰可见，才能够得到好的识别结果。然而在实际应用场景中，由于很多因素导致难以拍摄到处于静止状态的目标检测物，只能在目标检测物经过摄像头时进行抓拍，但由于目标检测物的运动速度、环境光线变化、不明物遮挡等各种不确定因素，使得抓拍到的图像大部分存在不清晰、角度不合适等问题，而不适合用于识别目标检测物，因此，目前基于拍摄的图像，很难选出一个最合适的图像(关键帧)来用于进行目标检测物识别，从而导致对目标检测物的识别检测的准确率较低。
发明内容
本申请的主要目的在于提供一种物品识别检测方法、装置、设备和可读存储介质，旨在解决现有技术中物品识别检测准确率低的技术问题。
为实现上述目的，本申请提供一种物品识别检测方法，所述物品识别检测方法包括：
获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系；
确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值；
基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧；
基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。
可选地，所述变换关系包括坐标转换关系，
所述基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系的步骤包括：
在各所述预设摄像头中选取基准摄像头，并确定所述基准摄像头对应的基准坐标系；
基于所述坐标转换关系，将各所述时间帧图像中的待确定检测物转换至所述基准坐标系中，并在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值；
基于各所述相似度指标值，确定所述物品对应关系。
可选地，所述在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值的步骤包括：
在所述基准坐标系中确定各所述待确定检测物两两之间的交集部分和并集部分；
基于各所述交集部分和各所述并集部分，计算各所述相似度指标值。
可选地，所述基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果的步骤包括：
将各所述关键帧分别输入预设物品识别检测模型，分别对各所述关键帧中的所述目标检测物进行识别检测，获得各所述关键帧对应的识别检测结果；
基于各所述关键帧对应的关键帧置信度，在各所述识别检测结果中确定目标识别检测结果。
可选地，所述计算各所述时间帧图像针对于所述目标检测物的质量指标值的步骤包括：
分别对各所述时间帧图像进行识别，得到各所述时间帧图像中所述目标检测物的轮廓关键信息；
根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值。
可选地，所述轮廓关键信息包括关键点信息，所述质量指标值包括轮廓面指标值和距离指标值，
所述根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值的步骤包括：
根据各所述关键点信息，分别确定各所述时间帧图像中由各个关键点所构成的轮廓面区域和所述目标检测物在各所述时间帧图像中的实际位置；
分别计算各所述轮廓面区域在预设轮廓面质量指标下的所述轮廓面指标值；
分别计算各所述实际位置与预设的最优位置之间的距离，获得各所述时间帧图像对应的所述距离指标值。
可选地，所述质量指标值包括轮廓面指标值和距离指标值，各所述时间帧图像包括当前时间帧图像，
所述基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧的步骤包括：
确定各所述预设摄像头的当前关键帧，并分别获取各所述当前关键帧对应的关键帧轮廓面指标值和关键帧距离指标值；
分别检测各所述当前时间帧图像的所述距离指标值与对应的所述关键帧距离指标值的距离比例是否小于预设比例，以及检测所述当前时间帧图像的所述轮廓面指标值是否大于对应的所述关键帧轮廓面指标值；
若所述距离比例小于所述预设比例，且所述轮廓面指标值大于所述关键帧轮廓面指标值，则将所述当前时间帧图像更新为所述当前关键帧，直至各所述时间帧图像均检测完毕，获得各所述关键帧。
本申请还提供一种物品识别检测装置，所述物品识别检测装置为虚拟装置，所述物品识别检测装置包括：
获取模块，用于获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系；
第一确定模块，用于确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值；
第二确定模块，用于基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧；
识别检测模块，用于基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。
可选地，所述获取模块包括：
选取单元，用于在各所述预设摄像头中选取基准摄像头，并确定所述基准摄像头对应的基准坐标系；
转换单元，用于基于所述坐标转换关系，将各所述时间帧图像中的待确定检测物转换至所述基准坐标系中，并在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值；
第一确定单元，用于基于各所述相似度指标值，确定所述物品对应关系。
可选地，所述转换单元包括：
第一确定子单元，用于在所述基准坐标系中确定各所述待确定检测物两两之间的交集部分和并集部分；
第一计算子单元，用于基于各所述交集部分和各所述并集部分，计算各所述相似度指标值。
可选地，所述识别检测模块包括：
识别检测单元，用于将各所述关键帧分别输入预设物品识别检测模型，分别对各所述关键帧中的所述目标检测物进行识别检测，获得各所述关键帧对应的识别检测结果；
第二确定单元，用于基于各所述关键帧对应的关键帧置信度，在各所述识别检测结果中确定目标识别检测结果。
可选地，所述第一确定模块包括：
识别单元，用于分别对各所述时间帧图像进行识别，得到各所述时间帧图像中所述目标检测物的轮廓关键信息；
计算单元，用于根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值。
可选地，所述计算单元包括：
第二确定子单元，用于根据各所述关键点信息，分别确定各所述时间帧图像中由各个关键点所构成的轮廓面区域和所述目标检测物在各所述时间帧图像中的实际位置；
第二计算子单元，用于分别计算各所述轮廓面区域在预设轮廓面质量指标下的所述轮廓面指标值；
第三计算子单元，用于分别计算各所述实际位置与预设的最优位置之间的距离，获得各所述时间帧图像对应的所述距离指标值。
可选地，所述第二确定模块包括：
获取单元，用于确定各所述预设摄像头的当前关键帧，并分别获取各所述当前关键帧对应的关键帧轮廓面指标值和关键帧距离指标值；
检测单元，用于分别检测各所述当前时间帧图像的所述距离指标值与对应的所述关键帧距离指标值的距离比例是否小于预设比例，以及检测所述当前时间帧图像的所述轮廓面指标值是否大于对应的所述关键帧轮廓面指标值；
更新单元，用于若所述距离比例小于所述预设比例，且所述轮廓面指标值大于所述关键帧轮廓面指标值，则将所述当前时间帧图像更新为所述当前关键帧，直至各所述时间帧图像均检测完毕，获得各所述关键帧。
本申请还提供一种物品识别检测设备，所述物品识别检测设备为实体设备，所述物品识别检测设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述物品识别检测方法的程序，所述物品识别检测方法的程序被处理器执行时可实现如上述的物品识别检测方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质上存储有实现物品识别检测方法的程序，所述物品识别检测方法的程序被处理器执行时实现如上述的物品识别检测方法的步骤。
本申请通过获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系，进而确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值，进而基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧，进而基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。也即，本申请提供了一种基于多摄像头的物品识别检测方法，也即，在获取各预设摄像头分别在各时间帧拍摄的时间帧图像之后，基于各所述预设摄像头之间的转换关系，进行各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系的确定，其中，由于各所述预设摄像头可布置在不同位置和角度对所述目标检测物进行拍摄，进而降低了抓拍目标检测物时物品被遮挡、环境光线差等因素而导致图像质量差的概率，提高了抓拍图像的整体质量，进而提高了用于进行物品识别检测的图像质量，进而确定所述物品对应关系对应的目标检测物，并基于计算获得的各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧，也即，实现了以图像质量为指标，分别在各所述预设摄像头分别对应的各所述时间帧图像中选取高质量的关键帧的目的，进一步提高了用于进行物品识别检测的图像质量，进而基于关键帧，进行对目标检测物的识别检测，可实现基于高质量的图像进行物品识别检测的目的，进而提高了物品识别检测的准确率，所以，解决了物品识别检测准确率低的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请物品识别检测方法第一实施例的流程示意图；
图2为本申请物品识别检测方法第二实施例的流程示意图；
图3为本申请物品识别检测方法第三实施例的流程示意图；
图4为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种物品识别检测方法，在本申请物品识别检测方法的第一实施例中，参照图1，所,所述物品识别检测方法包括：
步骤S10，获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系；
在本实施例中，需要说明的是，所述时间帧图像为所述预设摄像头在对应的时间帧拍摄的目标检测物的图像，其中，所述目标检测物为需要进行识别检测的物品，且所述时间帧图像中至少包括一个目标检测物，各所述预设摄像头布置在不同拍摄位置和拍摄角度。
另外地，需要说明的是，所述变换关系为各所述预设摄像头之间的位姿关系，例如，假设预设摄像头A的相机坐标系为C，预设摄像头B的相机坐标系为W，则Xc＝R*Xw+t，Yc＝R*Yw+t，Zc＝R*Zw+t，其中，Xc为相机坐标系C的X坐标，Yc为相机坐标系C的Y坐标，Zc为相机坐标系C的Z坐标，Xw为相机坐标系W的X坐标，Yw为相机坐标系W的Y坐标，Zw为相机坐标系W的Z坐标，R代表相机坐标系C和相机坐标系W之间的旋转，t代表相机坐标系C和相机坐标系W之间的平移。
获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系，具体地，获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并在各所述预设摄像头选取基准摄像头，并将所述基准摄像头对应的相机坐标系作为基准坐标系，其中，所述基准坐标系包括三维空间坐标系和平面坐标，例如，取所述待确认检测物与地面的接触面建立所述平面坐标系等，进而确定每一所述时间帧对应的分别由各所述预设摄像头拍摄的时间帧图像，并针对于每一所述时间帧，均执行以下步骤：
将所述时间帧对应的各所述时间帧图像中的待确认检测物分别转换至所述基准坐标系中，进而计算各所述待确认检测物之间的相似度指标值，并基于各相似度指标值，确定各所述待确认检测物之间的一一对应关系，也即，获得各所述待识别图像集合对应的物品对应关系，其中，所述待确认检测物为疑似目标检测物的物品，每一所述时间帧图像中至少包括一个所述待确认检测物，所述相似度指标值包括IoU值(Intersection over Union，检测结果区域与真值区域的交集比)等。
其中，所述变换关系包括坐标转换关系，
所述基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系的步骤包括：
步骤S21，在各所述预设摄像头中选取基准摄像头，并确定所述基准摄像头对应的基准坐标系；
在本实施例中，需要说明的是，所述基准坐标系为所述基准摄像头的相机坐标系，其中，所述相机坐标系包括三维空间坐标系和平面坐标系等。
步骤S22，基于所述坐标转换关系，将各所述时间帧图像中的待确定检测物转换至所述基准坐标系中，并在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值；
在本实施例中，需要说明的是，所述坐标转换关系为各所述预设摄像头对应的拍摄地面之间的平面坐标系之间的转换关系。
基于所述坐标转换关系，将各所述时间帧图像中的待确定检测物转换至所述基准坐标系中，并在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值，具体地，基于所述坐标转换关系，将每一所述时间帧对应的各所述时间帧图像中的待确定检测物的底面转换至所述基准坐标系中，获得各所述待确定检测物在所述基准坐标系中的转换位置，进一步地，分别将每一所述时间帧对应的各所述转换位置进行比较，计算每一所述时间帧对应的各所述待确定检测物两两之间的相似度指标值。
步骤S23，基于各所述相似度指标值，确定所述物品对应关系。
在本实施例中，需要说明的是，所述时间帧图像可能包括多个待确定检测物，所述物品对应关系为各所述时间帧图像中的待确定检测物之间的一一对应关系，假如，摄预设像头A在当前时间帧拍摄的时间帧图像中包括物品A和物品B，预设摄像头B在当前时间帧拍摄的时间帧图像中包括物品A1和物品B1，则且物品A与物品A1之间的相似度指标值为0.99，物品A与物品B1之间的相似度指标值为0.2，则判定物品A与物品A1一一对应，物品B与物品B1一一对应，也即获得了所述物品对应关系，也即，判定物品A与物品A1属于同一目标检测物，物品B与物品B1属于同一目标检测物。
基于各所述相似度指标值，确定所述物品对应关系，具体地，分别判断每一所述时间帧中各所述相似度指标值是否达到预设相似度条件，若所述相似度指标值达到预设相似度条件，则判定所述相似度指标值对应的两个待确定检测物为同一目标检测物，进而确定每一所述目标检测物在各所述时间帧图像对应的待确定检测物，也即，获得每一时间帧对应的各所述时间帧图像中各待确定检测物之间的一一对应关系，也即，获得各所述物品对应关系，其中，所述预设相似度条件包括两个所述待确定检测物连续预设个数的时间帧的IoU值均大于或者等于预设IoU值阀值。
其中，所述在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值的步骤包括：
步骤S231，在所述基准坐标系中确定各所述待确定检测物两两之间的交集部分和并集部分；
在本实施例，需要说明的是，所述交集部分为各所述待确定检测物之间的交集体积或者与地面接触面的交集面积，所述并集部分为各所述待确定检测物之间的并集体积或者与地面接触面的并集面积。
在所述基准坐标系中确定各所述待确定检测物两两之间的交集部分和并集部分，具体地，在所述基准坐标系中计算各所述待确定检测物的与地面接触的底面两两之间的相交面积和相并面积，获得各所述交集面积和对应的各所述并集面积，其中，一所述交集面积对应一所述并集面积。
步骤S232，基于各所述交集部分和各所述并集部分，计算各所述相似度指标值。
在本实施例中，基于各所述交集部分和各所述并集部分，计算各所述相似度指标值，具体地，分别计算每一所述交集面积和对应的并集面积之间的比值，分别将各所述比值作为对应的所述相似度指标值。
步骤S20，确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值；
在本实施例中，确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值，具体地，确定所述物品对应关系对应的目标检测物，并针对于每一所述时间帧图像均执行以下步骤：基于预设目标检测模型，对所述时间帧图像进行识别，获得所述时间帧图像中所述目标检测物的轮廓关键信息，进而根据各所述轮廓关键信息所限定的轮廓面区域的轮廓面参数，各所述时间帧图像的质量指标值，其中，所述轮廓面参数包括轮廓面面积、轮廓面的清晰度和轮廓面的可见度等。
步骤S30，基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧；
在本实施例中，基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧，具体地，基于预设质量条件，在每一所述预设摄像头对应的各所述质量指标值中分别选取目标质量指标值，并分别将所述目标指令指标值对应的时间帧图像作为各所述预设摄像头对应的关键帧，其中，所述关键帧为用于进行物品识别检测的时间帧图像。
步骤S40，基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。
在本实施例中，基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果，具体地，将各所述关键帧分别输入预设识别检测模型中，分别对所述关键帧中目标检测物品的图像区域进行识别检测，获得各所述关键帧对应的识别检测结果，进而基于各所述识别检测结果，确定所述目标检测物对应的目标识别检测结果，其中，所述识别检测结果包括对所述目标检测物品的数量和类别的识别检测结果等，例如假设存在10个所述识别检测结果，其中，9个所述识别检测结果表明所述目标检测物品为苹果，1个所述识别检测结果表明所述目标检测物品为梨，则所述目标识别检测结果为目标检测物品存在90％的可能性为苹果，存在10％的可能性为梨。
其中，所述基于各所述关键帧，对各所述待识别图像集合对应的目标检测物进行识别检测的步骤包括：
步骤S41，将各所述关键帧分别输入预设物品识别检测模型，分别对各所述关键帧中的所述目标检测物进行识别检测，获得各所述关键帧对应的识别检测结果；
在本实施例中，将各所述关键帧分别输入预设物品识别检测模型，分别对各所述关键帧中的所述目标检测物进行识别检测，获得各所述关键帧对应的识别检测结果，具体地，将各所述关键帧分别输入预设识别检测模型，分别对各所述关键帧对应的像素矩阵进行预设次数的卷积和池化交替处理，获得各所述关键帧对应的卷积和交替处理结果，对所述卷积和交替处理结果进行全连接，获得各所述关键帧对应的识别检测向量，其中，所述识别检测向量包括所述关键帧中的所有特征信息，进而分别从各所述识别检测向量中提取识别检测结果。
步骤S42，基于各所述关键帧对应的关键帧置信度，在各所述识别检测结果中确定目标识别检测结果。
在本实施例中，需要说明的是，所述关键帧置信度为所述关键帧的可信赖程度。
基于各所述关键帧对应的关键帧置信度，在各所述识别检测结果中确定目标识别检测结果，具体地，基于所述关键帧对应的轮廓面参数，通过预设关键帧置信度计算公式，分别计算各所述关键帧对应的关键帧置信度，并选取关键帧置信度最高的识别检测结果作为目标识别检测结果，其中，所述预设关键帧置信度计算公式如下所示，
G＝sum(Si*Ci*Vi)
其中，G为所述关键帧置信度，Si为所述目标检测物第i面的面积，Ci为所述目标检测物第i面的可见度，Vi为所述目标检测物第i面的清晰度。
本实施例通过获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系，进而确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值，进而基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧，进而基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。也即，本实施例提供了一种基于多摄像头的物品识别检测方法，也即，在获取各预设摄像头分别在各时间帧拍摄的时间帧图像之后，基于各所述预设摄像头之间的转换关系，进行各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系的确定，其中，由于各所述预设摄像头可布置在不同位置和角度对所述目标检测物进行拍摄，进而降低了抓拍目标检测物时物品被遮挡、环境光线差等因素而导致图像质量差的概率，提高了抓拍图像的整体质量，进而提高了用于进行物品识别检测的图像质量，进而确定所述物品对应关系对应的目标检测物，并基于计算获得的各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧，也即，实现了以图像质量为指标，分别在各所述预设摄像头分别对应的各所述时间帧图像中选取高质量的关键帧的目的，进一步提高了用于进行物品识别检测的图像质量，进而基于关键帧，进行对目标检测物的识别检测，可实现基于高质量的图像进行物品识别检测的目的，进而提高了物品识别检测的准确率，所以，解决了物品识别检测准确率低的技术问题。
进一步地，参照图2，基于本申请中第一实施例，在本申请的另一实施例中，所述计算各所述时间帧图像针对于所述目标检测物的质量指标值的步骤包括：
步骤S21，分别对各所述时间帧图像进行识别，得到各所述时间帧图像中所述目标检测物的轮廓关键信息；
在本实施例中，在获取各所述预设摄像头对应的时间帧图像后，判断是否将该时间帧图像作为关键帧，其中，关键帧即确定的适合用于识别检测目标检测物的图像。其中，结合具体的应用场景不同，目标检测物不同。例如，在智能仓储中需要对来往货物进行数量和品类的识别，在这种应用场景下目标检测物为货物，时间帧图像可以是智能仓储场所设置的摄像设备所拍摄的货物图像。那么在其他的应用场景下，目标检测物还可以是车辆、人脸或植被等等。
在获取到各时间帧图像后，可以分别对各所述时间帧图像进行识别，得到各所述时间帧图像中目标检测物的轮廓关键信息。其中，轮廓关键信息可以包括目标检测物的轮廓点、轮廓线等与轮廓相关的关键特征的信息，如关键特征在图像中的位置、是否可见等信息。预先可以设置一个目标检测模型，通过该目标检测模型来识别时间帧图像中目标检测物的轮廓关键信息。该目标检测模型可以是采用现有常用的目标检测模型，如Yolov3网络(一种目标检测网络)，并在目标检测模型中增加轮廓关键信息检测分支，通过对目标检测模型的预先训练，得到能够识别出时间帧图像中目标检测物的轮廓关键信息的目标检测模型。例如，可以大量采集拍摄有货物的图像，各个图像预先标记了其中货物的轮廓关键信息，采用这些图像来对目标检测模型进行训练，通过标记信息来监督模型识别轮廓关键信息的准确性，从而获得能够识别出货物的轮廓关键信息的目标检测模型。
需要说明的是，时间帧图像中可能包括多个目标检测物，可以通过轮廓关键信息中轮廓关键特征的位置，将距离较远的轮廓关键特征划分开，从而区别出多个目标检测物的轮廓关键信息。针对其中的一个目标检测物，按照后续的处理流程，采用该目标检测物的轮廓关键信息，来确定该时间帧图像是否可以作为用于识别检测该目标检测物的关键帧。也就是说，对于一个时间帧图像而言，该时间帧图像中可能包括多个目标检测物，该时间帧图像可能适合作为其中一部分目标检测物的关键帧，而不适合作为另一部分目标检测物的关键帧。
步骤S22，根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值；
在本实施例中，在获取得到时间帧图像中目标检测物的轮廓关键信息后，可以根据轮廓关键信息计算时间帧图像的质量指标值。其中，可以预先设置一些用于评价时间帧图像是否适合作为关键帧的质量指标，质量指标可以有多个，例如，可包括清晰度、可见度等指标。基于轮廓关键信息来计算质量指标值，具体可以是基于轮廓关键信息所限定的区域来计算质量指标值，例如，当质量指标包括清晰度时，可以计算时间帧图像中轮廓关键信息所限定的区域的清晰度。清晰度的计算方法可以采用现有的图像清晰度计算方法，在此不作详细赘述。确定轮廓关键信息所限定的区域的方式有多种，例如，可以是根据轮廓关键信息中各个轮廓关键特征的位置，将处于各个轮廓关键特征边缘的各个轮廓关键特征相连接，得到一个区域，将该区域作为轮廓关键信息所限定的区域。
在计算得到时间帧图像的质量指标值后，可检测时间帧图像的质量指标值是否满足预设质量条件。具体地，预设质量条件可以是预先设置的一个条件，根据具体需要不同，预设质量条件可以不同，例如，可以设置为时间帧图像的质量指标值需要大于预设阈值；当需要在多张图像中选取一个图像作为关键帧时，预设质量条件还可以设置为该时间帧图像的质量指标值是多张图像中最高的；当需要跟当前的关键帧作比较，确定是否用该时间帧图像来更新当前关键帧时，预设质量条件还可以设置为该时间帧图像的质量指标值需要大于当前关键帧的质量指标值。
其中，所述轮廓关键信息包括关键点信息，所述质量指标值包括轮廓面指标值和距离指标值，
所述根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值的步骤包括：
步骤S221，根据各所述关键点信息，分别确定各所述时间帧图像中由各个关键点所构成的轮廓面区域和所述目标检测物在各所述时间帧图像中的实际位置；
在本实施例中，需要说明的是轮廓关键信息可包括目标检测物的关键点信息。可调用预设目标检测模型对时间帧图像进行识别，得到时间帧图像中目标检测物的关键点信息。其中，预设目标检测模型可以是预先设置并训练好的一个模型，该模型结构可以采用现有常用的目标检测模型，并在目标检测模型中增加关键点检测分支，即用于提取图像中目标检测物的关键点的分支。预先可以获取大量包含目标检测物的图像，对图像中目标检测物的关键点进行标记；关键点可以取该类型的目标检测物大都具备的关键点，例如，目标检测物是长方体形状的货物时，关键点可以是长方体货物的8个角点，需要说明的是，图像中货物的8个点其中最多只有7个点同时可见，因此，对图像中目标检测物关键点的标记可以包括关键点的位置和是否可见的标签；采用获取到图像和图像的标记信息，对目标检测模型进行训练，得到能够识别出时间帧图像中目标检测物的关键点信息的目标检测模型。那么调用该目标检测模型识别到的关键点信息可包括图像中目标检测物的关键点的位置和是否可见等信息。
根据各所述关键点信息，分别确定各所述时间帧图像中由各个关键点所构成的轮廓面区域和所述目标检测物在各所述时间帧图像中的实际位置，具体地，基于时间帧图像中目标检测物的关键点信息，可以确定目标检测物在图像中的位置，即所在的区域。在一种可行的实施方式中，可以根据关键点信息中各个关键点的位置以及是否可见的信息，确定各个可见的关键点之间的距离和位置关系，基于距离和位置关系，将各个可见的关键点中处于边缘的关键点进行顺次连接，从而得到各个可见的关键点在图像中所限定的区域，根据关键点信息确定时间帧图像中各个关键点所构成的轮廓面区域，另外地，可以根据关键点信息确定各个关键点是否可见，以及可见的关键点在图像中的位置；确定了可见的关键点在图像中的位置后，可以确定各个关键点之间的距离和位置关系，根据距离和位置关系，可以哪几个关键点之间能够构成目标检测物的轮廓面区域，以及将能够确定包含几个轮廓面区域。例如，当目标检测物是长方体形状的货物时，从时间帧图像中识别出货物的7个角点是可见的，根据7个角点的位置，确定7个角点之间的距离和位置关系，根据7个点的距离和位置关系，可确定货物的三个轮廓面区域，即正视面、俯视面和一个侧视面，进一步地，基于各所述关键点的位置，确定目标检测物在时间帧图像中的实际位置，在一种可行的实施方案中，可将各所述关键点的几何中心点的位置作为所述目标检测物在所述时间帧图像中的实际位置，或者在各所述关键点中选取一目标关键点作为所述目标检测物的实际位置。
步骤S222，分别计算各所述轮廓面区域在预设轮廓面质量指标下的所述轮廓面指标值；
在本实施例中，预先可以设置轮廓面质量指标，例如，预设轮廓面质量指标可至少包括轮廓面区域的面积、轮廓面区域的清晰度和轮廓面区域的可见度中的一项或多项。在确定了轮廓面区域后，可计算各所述时间帧图像中轮廓面区域在预设轮廓面质量指标下的轮廓面指标值。具体地，当所述时间帧图像中存在多个轮廓面区域时，分别计算各个轮廓面区域的轮廓面指标值，也可以将各个轮廓面区域作为一整个区域，计算轮廓面指标值。例如，可以计算每个轮廓面区域的清晰度、可见度和面积等，将计算得到的结果作为轮廓面指标值。其中，清晰度、可见度和面积得计算方式可采用现有常见得计算方式，在此不进行详细赘述。
在一可行实施方式中，若确定了各所述时间帧图像中目标检测物的多个轮廓面，计算得到了每个轮廓面的各个指标值，则可以根据预先设置的一个图像质量计算公式，将每一所述时间帧图像中的目标检测物的每一轮廓面的各个指标值代入该公式中，计算各所述时间帧图像的一个图像质量值；然后分别检测图像质量值是否大于一个预设的质量值，若大于，则将该时间帧图像作为关键帧；或者分别检测图像质量值是否当前的关键帧的图像质量值，若大于，则将该时间帧图像作为新的关键帧，更新原来的关键帧。其中，图像质量计算公式可以根据具体的应用场景不同，根据具体的需求不同进行设置，例如，可以设置为将每个轮廓面的各个指标值相乘得到每个轮廓面的质量值，然后将每个轮廓面的质量值相加，得到的结果作为时间帧图像的图像质量值。
步骤S223，分别计算各所述实际位置与预设的最优位置之间的距离，获得各所述时间帧图像对应的所述距离指标值。
在本实施例中，需要说明的是，可以通过预先架设好摄像设备，根据摄像设备拍摄的图像，确定目标检测物处于图像中哪个位置时，最利于目标检测物的识别，将该位置设置为最优位置，例如，根据摄像设备架设的角度，当目标检测物处于摄像设备所拍摄到的图像的最中间时，最利于目标检测物识别，则将该最中间的位置确定为最优位置。在计算得到图像中目标检测物的实际位置与最优位置之间的距离后，可将该距离作为时间帧图像的距离指标值。可以理解的是，当距离指标值越小时，时间帧图像越适合作为关键帧。
进一步地，当质量指标值包括距离指标值和轮廓面指标值时，可以根据距离指标值和轮廓面指标值来判断时间帧图像是否合适作为关键帧。具体地，预设质量条件可以是当距离指标值小于一个阈值，且轮廓面指标值大于一个阈值时，确定质量指标值满足预设质量条件，其中，两个阈值可以根据具体需要进行设置。
此外，在一可行实施方式中，质量指标值也可以只包括也距离指标值，即可以仅根据时间帧图像的距离指标值来判断时间帧图像是否适合作为关键帧，则预设质量条件可以是当时间帧图像的距离指标值小于一个阈值是确定质量指标值满足预设质量条件，或者预设质量条件可以是当时间帧图像的距离指标值比当前关键帧的距离指标值小时，确定质量指标值满足预设质量条件。
在本实施例中，通过根据时间帧图像中目标检测物的关键点信息确定各个关键点所构成的轮廓面区域，将轮廓面区域在预设轮廓面质量指标下的轮廓面指标值，作为时间帧图像的质量指标值，实现对图像细化到目标检测物的各个轮廓面，根据轮廓面的指标值来确定时间帧图像是否适合作为关键帧，使得最终确定的关键帧更加合适、准确。
进一步地，参照图3，基于本申请中第一实施例和第二实施例，在本申请的另一实施例中，所述质量指标值包括轮廓面指标值和距离指标值，各所述时间帧图像包括当前时间帧图像，
所述基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧的步骤包括：
步骤A10，确定各所述预设摄像头的当前关键帧，并分别获取各所述当前关键帧对应的关键帧轮廓面指标值和关键帧距离指标值；
在本实施例中，可以确定与时间帧图像对应的当前关键帧，并获取当前关键帧对应的关键帧质量值和关键帧距离指标值。其中，当前关键帧即在该时间帧图像之前拍摄的，已暂时被确定为用于识别目标检测物的关键帧，关键帧轮廓面指标值即当前关键帧的轮廓面指标值，关键帧距离指标值即当前关键帧的距离指标值。
其中，所述确定各所述预设摄像头的当前关键帧的步骤包括：
对于每一所述时间帧图像均可执行以下步骤，用于确定所述时间帧图像对应的当前关键帧：
步骤A11，将所述时间帧图像的关键点信息分别与对应的在前图像中的各在前关键点信息输入预设追踪算法，得到所述关键点信息与各所述在前关键点信息之间对应的匹配度；
在本实施例中，需要说明的是，当时间帧图像中有多个目标检测物时，对于其中一个目标检测物，为确定该目标检测物所对应得当前关键帧，可以获取该时间帧图像的一张在前图像，该在前图像可以是同一预设摄像头在连续抓拍的图像中，在邻近该时间帧图像之前拍摄的一张图像。可以理解的是，已对该在前图像进行了是否能够替代当前关键帧的判断。将时间帧图像中该目标检测物的关键点信息，分别同该在前图像中的各个在前关键点信息输入预设追踪算法中，得到该关键点信息与各个在前关键点之间对应的匹配度。其中，预设追踪算法可以是预先设置的一个追踪算法，例如，sort算法(一种多目标追踪算法)。追踪算法的原理是基于关键点信息中关键点的位置，确定两个关键点信息对应的目标检测物是否为同一个。
步骤A12，基于各所述匹配度，确定与所述关键点信息匹配度最大的目标在前关键点信息；
在本实施例中，在得到该目标检测物的关键点信息与各在前关键点信息之间的匹配度后，从各个在前关键点信息中选出与该目标检测物的关键点信息的匹配度最高的在前关键点信息，作为目标在前关键点信息。需要说明的是，匹配度最高的在前关键点所对应的目标检测物，最可能与该目标检测物是同一个目标检测物。
步骤A13，将所述目标在前关键点信息对应的当前时间帧图像作为所述当前关键帧。
在本实施例中，将目标在前关键点信息对应的当前关键帧，作为时间帧图像对应的当前关键帧。也即，在前已经计算得到了各个在前图像中目标检测物的对应关系，以及各个目标检测物的当前关键帧，对于最新拍摄的时间帧图像，通过追踪算法确定该时间帧图像中的某个目标检测物，与前面的哪一个目标检测物是对应的，即可确定该目标检测物对应的当前关键帧，也即确定了时间帧图像的当前关键帧。
步骤A20，分别检测各所述当前时间帧图像的所述距离指标值与对应的所述关键帧距离指标值的距离比例是否小于预设比例，以及检测所述当前时间帧图像的所述轮廓面指标值是否大于对应的所述关键帧轮廓面指标值；
在本实施例中，所述当前时间帧图像为对应的预设摄像头在当前时间帧拍摄的时间帧图像，分别检测各所述当前时间帧图像的距离指标值与关键帧距离指标值的距离比例，是否小于预设比例。也即该时间帧图像的距离指标值与关键帧距离指标值的比例，并检测该比例是否小于预设比例。其中，预设比例可以是根据需要设置，例如，设置为1.2，也即需要时间帧图像的距离指标值不能超过关键帧距离指标值的1.2倍。并分别检测各所述时间帧图像的轮廓面指标值是否大于关键帧轮廓面指标值。
步骤A30，若所述距离比例小于所述预设比例，且所述轮廓面指标值大于所述关键帧轮廓面指标值，则将所述当前时间帧图像更新为所述当前关键帧，直至各所述时间帧图像均检测完毕，获得各所述关键帧。
在本实施例中，若所述距离比例小于所述预设比例，且所述轮廓面指标值大于所述关键帧轮廓面指标值，进而可以将该时间帧图像作为用于识别目标检测物的关键帧，以替换当前关键帧，完成关键帧的更新。更新后的关键帧比更新前的关键帧更适合用于识别目标检测物，进而能够提升关键帧选取的准确度，提升目标检测物识别检测的准确度。若检测到距离比例不小于预设比例，或者检测到轮廓面指标值不大于关键帧轮廓面指标值，则仍然将保留当前关键帧，进而在每一所述预设摄像头拍摄的各时间帧图像均检测完毕后，则确定各所述预设摄像头对应的关键帧。
也即，各所述预设摄像头可以对要识别的目标检测物连续拍摄多张图像，按照拍摄的时间顺序，依次处理各个时间帧图像；对于第一张时间帧图像，可将该时间帧图像作为关键帧，对于后续的时间帧图像，若比当前关键帧的轮廓面指标值更大，距离指标值又不超过当前关键帧的距离指标值的预设倍数，就可以将该时间帧图像替换当前关键帧，否则保留当前关键帧，进而在每一所述预设摄像头对应的各所述时间帧图像在根据对应各时间帧的时间先后顺序均检测完毕后，获得各所述摄像头对应的关键帧。
本实施例基于确定各所述预设摄像头的当前关键帧，并分别获取各所述当前关键帧对应的关键帧轮廓面指标值和关键帧距离指标值，进而分别检测各所述当前时间帧图像的所述距离指标值与对应的所述关键帧距离指标值的距离比例是否小于预设比例，以及检测所述当前时间帧图像的所述轮廓面指标值是否大于对应的所述关键帧轮廓面指标值，进而若所述距离比例小于所述预设比例，且所述轮廓面指标值大于所述关键帧轮廓面指标值，则将所述当前时间帧图像更新为所述当前关键帧，直至各所述时间帧图像均检测完毕，获得各所述关键帧。也即，本实施例提供了一种关键帧选取方法，也即，同时从目标检测物的轮廓面和目标检测物在图像中过的实际位置，对所述目标检测物对应的时间帧图像进行筛选，最后获得的关键帧既符合轮廓面指标，又符合距离指标值，实现了从多方面评估时间帧图像的图像质量的目的，使得最终确定的关键帧更加利于对目标检测物的识别，为关键帧的选取提供了一个稳定可行的方案，进而为提高物品识别检测的准确率奠定了基础。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示，该物品识别检测设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该物品识别检测设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图4中示出的物品识别检测设备结构并不构成对物品识别检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及物品识别检测方法程序。操作系统是管理和控制物品识别检测设备硬件和软件资源的程序，支持物品识别检测方法程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与物品识别检测方法系统中其它硬件和软件之间通信。
在图4所示的物品识别检测设备中，处理器1001用于执行存储器1005中存储的物品识别检测方法程序，实现上述任一项所述的物品识别检测方法的步骤。
本申请物品识别检测设备具体实施方式与上述物品识别检测方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种物品识别检测装置，所述物品识别检测装置包括：
获取模块，用于获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系；
第一确定模块，用于确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值；
第二确定模块，用于基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧；
识别检测模块，用于基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。
可选地，所述获取模块包括：
选取单元，用于在各所述预设摄像头中选取基准摄像头，并确定所述基准摄像头对应的基准坐标系；
转换单元，用于基于所述坐标转换关系，将各所述时间帧图像中的待确定检测物转换至所述基准坐标系中，并在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值；
第一确定单元，用于基于各所述相似度指标值，确定所述物品对应关系。
可选地，所述转换单元包括：
第一确定子单元，用于在所述基准坐标系中确定各所述待确定检测物两两之间的交集部分和并集部分；
第一计算子单元，用于基于各所述交集部分和各所述并集部分，计算各所述相似度指标值。
可选地，所述识别检测模块包括：
识别检测单元，用于将各所述关键帧分别输入预设物品识别检测模型，分别对各所述关键帧中的所述目标检测物进行识别检测，获得各所述关键帧对应的识别检测结果；
第二确定单元，用于基于各所述关键帧对应的关键帧置信度，在各所述识别检测结果中确定目标识别检测结果。
可选地，所述第一确定模块包括：
识别单元，用于分别对各所述时间帧图像进行识别，得到各所述时间帧图像中所述目标检测物的轮廓关键信息；
计算单元，用于根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值。
可选地，所述计算单元包括：
第二确定子单元，用于根据各所述关键点信息，分别确定各所述时间帧图像中由各个关键点所构成的轮廓面区域和所述目标检测物在各所述时间帧图像中的实际位置；
第二计算子单元，用于分别计算各所述轮廓面区域在预设轮廓面质量指标下的所述轮廓面指标值；
第三计算子单元，用于分别计算各所述实际位置与预设的最优位置之间的距离，获得各所述时间帧图像对应的所述距离指标值。
可选地，所述第二确定模块包括：
获取单元，用于确定各所述预设摄像头的当前关键帧，并分别获取各所述当前关键帧对应的关键帧轮廓面指标值和关键帧距离指标值；
检测单元，用于分别检测各所述当前时间帧图像的所述距离指标值与对应的所述关键帧距离指标值的距离比例是否小于预设比例，以及检测所述当前时间帧图像的所述轮廓面指标值是否大于对应的所述关键帧轮廓面指标值；
更新单元，用于若所述距离比例小于所述预设比例，且所述轮廓面指标值大于所述关键帧轮廓面指标值，则将所述当前时间帧图像更新为所述当前关键帧，直至各所述时间帧图像均检测完毕，获得各所述关键帧。
本申请物品识别检测装置的具体实施方式与上述物品识别检测方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的物品识别检测方法的步骤。
本申请可读存储介质具体实施方式与上述物品识别检测方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种物品识别检测方法，其特征在于，所述物品识别检测方法包括：
获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系；
确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值；
基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧；
基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。
2.如权利要求1所述物品识别检测方法，其特征在于，所述变换关系包括坐标转换关系，
所述基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系的步骤包括：
在各所述预设摄像头中选取基准摄像头，并确定所述基准摄像头对应的基准坐标系；
基于所述坐标转换关系，将各所述时间帧图像中的待确定检测物转换至所述基准坐标系中，并在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值；
基于各所述相似度指标值，确定所述物品对应关系。
3.如权利要求2所述物品识别检测方法，其特征在于，所述在所述基准坐标系中计算各所述待确定检测物两两之间的相似度指标值的步骤包括：
在所述基准坐标系中确定各所述待确定检测物两两之间的交集部分和并集部分；
基于各所述交集部分和各所述并集部分，计算各所述相似度指标值。
4.如权利要求1所述物品识别检测方法，其特征在于，所述基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果的步骤包括：
将各所述关键帧分别输入预设物品识别检测模型，分别对各所述关键帧中的所述目标检测物进行识别检测，获得各所述关键帧对应的识别检测结果；
基于各所述关键帧对应的关键帧置信度，在各所述识别检测结果中确定所述目标识别检测结果。
5.如权利要求1所述物品识别检测方法，其特征在于，所述计算各所述时间帧图像针对于所述目标检测物的质量指标值的步骤包括：
分别对各所述时间帧图像进行识别，得到各所述时间帧图像中所述目标检测物的轮廓关键信息；
根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值。
6.如权利要求5所述物品识别检测方法，其特征在于，所述轮廓关键信息包括关键点信息，所述质量指标值包括轮廓面指标值和距离指标值，
所述根据各所述轮廓关键信息所限定的区域，分别计算各所述时间帧图像的质量指标值的步骤包括：
根据各所述关键点信息，分别确定各所述时间帧图像中由各个关键点所构成的轮廓面区域和所述目标检测物在各所述时间帧图像中的实际位置；
分别计算各所述轮廓面区域在预设轮廓面质量指标下的所述轮廓面指标值；
分别计算各所述实际位置与预设的最优位置之间的距离，获得各所述时间帧图像对应的所述距离指标值。
7.如权利要求1所述物品识别检测方法，其特征在于，所述质量指标值包括轮廓面指标值和距离指标值，各所述时间帧图像包括当前时间帧图像，
所述基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧的步骤包括：
确定各所述预设摄像头的当前关键帧，并分别获取各所述当前关键帧对应的关键帧轮廓面指标值和关键帧距离指标值；
分别检测各所述当前时间帧图像的所述距离指标值与对应的所述关键帧距离指标值的距离比例是否小于预设比例，以及检测所述当前时间帧图像的所述轮廓面指标值是否大于对应的所述关键帧轮廓面指标值；
若所述距离比例小于所述预设比例，且所述轮廓面指标值大于所述关键帧轮廓面指标值，则将所述当前时间帧图像更新为所述当前关键帧，直至各所述时间帧图像均检测完毕，获得各所述关键帧。
8.一种物品识别检测装置，其特征在于，所述物品识别检测装置包括：
获取模块，用于获取各预设摄像头分别在各时间帧拍摄的时间帧图像，并基于各所述预设摄像头之间的变换关系，确定各所述时间帧分别对应的各所述时间帧图像之间的物品对应关系；
第一确定模块，用于确定所述物品对应关系对应的目标检测物，并计算各所述时间帧图像针对于所述目标检测物的质量指标值；
第二确定模块，用于基于各所述质量指标值，分别在各所述预设摄像头分别对应的各所述时间帧图像中确定关键帧；
识别检测模块，用于基于各所述关键帧，对所述目标检测物进行识别检测，获得目标识别检测结果。
9.一种物品识别检测设备，其特征在于，所述物品识别检测设备包括：存储器、处理器以及存储在存储器上的用于实现所述物品识别检测方法的程序，
所述存储器用于存储实现物品识别检测方法的程序；
所述处理器用于执行实现所述物品识别检测方法的程序，以实现如权利要求1至7中任一项所述物品识别检测方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有实现物品识别检测方法的程序，所述实现物品识别检测方法的程序被处理器执行以实现如权利要求1至7中任一项所述物品识别检测方法的步骤。
CN202010385754.9A 2020-05-08 2020-05-08 物品识别检测方法、装置、设备和可读存储介质 Pending CN111553915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010385754.9A CN111553915A (zh) 2020-05-08 2020-05-08 物品识别检测方法、装置、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010385754.9A CN111553915A (zh) 2020-05-08 2020-05-08 物品识别检测方法、装置、设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN111553915A true CN111553915A (zh) 2020-08-18

Family

ID=72001518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010385754.9A Pending CN111553915A (zh) 2020-05-08 2020-05-08 物品识别检测方法、装置、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111553915A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991280A (zh) * 2021-03-03 2021-06-18 望知科技(深圳)有限公司 视觉检测方法、系统及电子设备
CN113076907A (zh) * 2021-04-16 2021-07-06 青岛海尔电冰箱有限公司 冰箱内物品信息标识方法、冰箱和计算机存储介质
CN113139492A (zh) * 2021-04-30 2021-07-20 百度在线网络技术（北京）有限公司 物品识别方法、装置、电子设备及存储介质
CN113177917A (zh) * 2021-04-25 2021-07-27 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN114386156A (zh) * 2022-03-23 2022-04-22 四川新迎顺信息技术股份有限公司 基于bim的隐蔽构件显示方法、装置、设备及可读存储介质
WO2022217935A1 (zh) * 2021-04-16 2022-10-20 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376484A (zh) * 2015-11-04 2016-03-02 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN106408950A (zh) * 2016-11-18 2017-02-15 北京停简单信息技术有限公司 停车场出入口车牌识别系统及方法
CN106791655A (zh) * 2016-12-24 2017-05-31 深圳云天励飞技术有限公司 一种视频处理方法及装置
WO2017204571A1 (ko) * 2016-05-26 2017-11-30 주식회사 골프존 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机系统
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统
CN108388885A (zh) * 2018-03-16 2018-08-10 南京邮电大学 面向大型直播场景的多人特写实时识别与自动截图方法
CN110428449A (zh) * 2019-07-31 2019-11-08 腾讯科技（深圳）有限公司 目标检测跟踪方法、装置、设备及存储介质
CN110929605A (zh) * 2019-11-11 2020-03-27 中国建设银行股份有限公司 视频关键帧的保存方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376484A (zh) * 2015-11-04 2016-03-02 深圳市金立通信设备有限公司 一种图像处理方法及终端
WO2017204571A1 (ko) * 2016-05-26 2017-11-30 주식회사 골프존 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치
CN106408950A (zh) * 2016-11-18 2017-02-15 北京停简单信息技术有限公司 停车场出入口车牌识别系统及方法
CN106791655A (zh) * 2016-12-24 2017-05-31 深圳云天励飞技术有限公司 一种视频处理方法及装置
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机系统
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统
CN108388885A (zh) * 2018-03-16 2018-08-10 南京邮电大学 面向大型直播场景的多人特写实时识别与自动截图方法
CN110428449A (zh) * 2019-07-31 2019-11-08 腾讯科技（深圳）有限公司 目标检测跟踪方法、装置、设备及存储介质
CN110929605A (zh) * 2019-11-11 2020-03-27 中国建设银行股份有限公司 视频关键帧的保存方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. B. GADICHA ET AL: "Empirical Approach Towards Video Analysis Using Shot Frontier Detection and Key-Frame Mining", 《2018 SECOND INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTING AND CONTROL SYSTEMS》, 31 December 2018 (2018-12-31), pages 1844 - 1848 *
孙云云等: "最优距离聚类和特征融合表达的关键帧提取", 《南京理工大学学报》, vol. 42, no. 4, 31 December 2018 (2018-12-31), pages 416 - 423 *
朱同辉等: "多摄像机协同的最优人脸采集算法", 《计算机工程》, vol. 39, no. 10, 31 December 2013 (2013-12-31), pages 212 - 216 *
陈超等: "一种基于三维视觉的移动机器人定位与建图方法", 《现代电子技术》, vol. 43, no. 6, 15 March 2020 (2020-03-15), pages 34 - 42 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991280A (zh) * 2021-03-03 2021-06-18 望知科技(深圳)有限公司 视觉检测方法、系统及电子设备
CN112991280B (zh) * 2021-03-03 2024-05-28 望知科技(深圳)有限公司 视觉检测方法、系统及电子设备
CN113076907A (zh) * 2021-04-16 2021-07-06 青岛海尔电冰箱有限公司 冰箱内物品信息标识方法、冰箱和计算机存储介质
WO2022217935A1 (zh) * 2021-04-16 2022-10-20 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱
CN113076907B (zh) * 2021-04-16 2023-03-21 青岛海尔电冰箱有限公司 冰箱内物品信息标识方法、冰箱和计算机存储介质
CN113177917A (zh) * 2021-04-25 2021-07-27 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113177917B (zh) * 2021-04-25 2023-10-13 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113139492A (zh) * 2021-04-30 2021-07-20 百度在线网络技术（北京）有限公司 物品识别方法、装置、电子设备及存储介质
CN114386156A (zh) * 2022-03-23 2022-04-22 四川新迎顺信息技术股份有限公司 基于bim的隐蔽构件显示方法、装置、设备及可读存储介质
CN114386156B (zh) * 2022-03-23 2022-06-03 四川新迎顺信息技术股份有限公司 基于bim的隐蔽构件显示方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111553915A (zh) 物品识别检测方法、装置、设备和可读存储介质
CN110427905B (zh) 行人跟踪方法、装置以及终端
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN110443210B (zh) 一种行人跟踪方法、装置以及终端
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
CN109033985B (zh) 商品识别的处理方法、装置、设备、系统及存储介质
KR20120087952A (ko) 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
CN111047626A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111553302B (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
CN109961472B (zh) 3d热力图生成的方法、系统、存储介质及电子设备
EP2410467A1 (en) System and method for identifying image locations showing the same person in different images
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
CN112686178B (zh) 一种多视角目标轨迹生成方法、装置和电子设备
CN113038001A (zh) 显示方法、装置及电子设备
CN115063454A (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN112435223A (zh) 目标检测方法、装置及存储介质
CN113689475A (zh) 跨境头轨迹跟踪方法、设备及存储介质
US20220129669A1 (en) System and Method for Providing Multi-Camera 3D Body Part Labeling and Performance Metrics
Zhang et al. Target tracking for mobile robot platforms via object matching and background anti-matching
CN113763466A (zh) 一种回环检测方法、装置、电子设备和存储介质
Dihl et al. Robust adaptive patch-based object tracking using weighted vector median filters
US20190171909A1 (en) Selecting keypoints in images using descriptor scores
Yu et al. Registration Based on ORB and FREAK Features for Augmented Reality Systems
CN114758124A (zh) 目标对象的遮挡检测方法、装置、设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination