CN111291654A - 传送带的出料检测方法及设备、电路和介质 - Google Patents

传送带的出料检测方法及设备、电路和介质 Download PDF

Info

Publication number
CN111291654A
CN111291654A CN202010070973.8A CN202010070973A CN111291654A CN 111291654 A CN111291654 A CN 111291654A CN 202010070973 A CN202010070973 A CN 202010070973A CN 111291654 A CN111291654 A CN 111291654A
Authority
CN
China
Prior art keywords
image
conveyor belt
time
picture
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010070973.8A
Other languages
English (en)
Other versions
CN111291654B (zh
Inventor
周骥
庄捍卫
冯歆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NextVPU Shanghai Co Ltd
Original Assignee
NextVPU Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NextVPU Shanghai Co Ltd filed Critical NextVPU Shanghai Co Ltd
Priority to CN202010070973.8A priority Critical patent/CN111291654B/zh
Publication of CN111291654A publication Critical patent/CN111291654A/zh
Application granted granted Critical
Publication of CN111291654B publication Critical patent/CN111291654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Conveyors (AREA)

Abstract

提供一种传送带的出料检测方法,包括:获取第一时刻传送带上的物料的第一图像,以及第二时刻传送带上的物料的第二图像;对所述第一图像和所述第二图像进行匹配运算,得到与所述第一图像中的第一匹配图片相匹配的所述第二图像中的第二匹配图片;以及根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算所述第一时刻与所述第二时刻之间的出料参数。

Description

传送带的出料检测方法及设备、电路和介质
技术领域
本公开涉及测量控制技术领域,特别涉及传送带的出料检测方法及设备、电路和介质。
背景技术
散状物料一般是指块状、粒状、粉状物料,例如煤、砂、谷物、水泥和糖块等。散状物料的主要输送方式之一为:在传送带上布料,利用传送带将散状物料输送至出料口以输出。在相关技术中,利用传送带的理论传送速度来计算从出料口输出的物料对应的出料参数。但是,存在因传送带与滚筒之间打滑发生滚筒空转的问题,导致利用传送带的理论传送速度获得的出料参数与实际出料参数之间存在误差。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开的一方面,提供一种传送带的出料检测方法,包括:获取第一时刻传送带上的物料的第一图像,以及第二时刻传送带上的物料的第二图像;对所述第一图像和所述第二图像进行匹配运算,得到与所述第一图像中的第一匹配图片相匹配的所述第二图像中的第二匹配图片;以及根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算所述第一时刻与所述第二时刻之间的出料参数。
本公开的另一方面,提供另一种传送带的出料检测方法,包括:获取第一出料状态传送带上的所有物料的第一图像,获取第二出料状态传送带上的所有物料的第二图像,所述第一图像和所述第二图像均为包括物料的深度数据的深度图像;根据对应的深度数据,计算所述第一图像中的所有物料的第一体积和所述第二图像中的所有物料的第二体积;以及计算所述第一体积和所述第二体积之间的差值以获得所述第一出料状态与所述第二出料状态之间的出料体积。
本公开的另一方面,提供一种电子电路,包括:被配置为执行上述的出料检测方法的步骤的电路。
本公开的另一方面,提供一种传送带的出料检测设备,包括:上述的电子电路;摄像机,被配置为拍摄传送带上的物料的图像;以及传送带,所述传送带的一端位于出料口的上方,所述传送带被配置为将物料出料口输出。
本公开的另一方面,提供一种电子设备,包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行上述的出料检测方法。
本公开的另一方面,提供一种存储程序的非暂态计算机可读存储介质,所述程序包括指令,所述指令在由出料检测设备的处理器执行时,致使所述电子设备执行上述的出料检测方法。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1是示出根据示例性实施例的传送带的出料检测方法的流程图;
图2和图3是示出根据示例性实施例的根据所述第一位置和第二位置来计算第一时刻与第二时刻之间的出料长度的原理示意图;
图4和图5是示出根据示例性实施例的传送带的出料检测方法的流程图;
图6~图9是示出根据示例性实施例的根据出料长度从所述整体图像中获取输出物料图像的原理示意图;
图10是示出根据示例性实施例的根据对应的深度数据来计算与传送带的传送方向垂直的物料截面的面积的原理示意图;
图11是示出根据示例性实施例的计算传送带上的物料的密度的方法流程图;
图12和图13是示出根据示例性实施例的在自第一时刻开始出料且出料一段时间后停止出料的情况下获取第二时刻传送带上的物料的第二图像的原理示意图;
图14是示出根据示例性实施例的获取第二时刻传送带上的物料的第二图像的方法流程图;
图15是示出根据示例性实施例的获取第一时刻传送带上的物料的第一图像以及第二时刻传送带上的物料的第二图像的方法流程图;
图16是示出根据示例性实施例的通过匹配运算自动获取第一图像的方法流程图;
图17是示出根据示例性实施例的对第一图像和第二图像进行匹配运算的算法流程图;
图18是示出根据示例性实施例的传送带的出料检测方法的流程图;
图19是示出根据本公开的示例性实施例的出料检测设备的结构示意图;
图20~图22是示出根据本公开的示例性实施例的出料检测设备的俯视图;
图23是示出根据本公开的示例性实施例的电子设备的示例的框图。
具体实施方式
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个元件与另一元件区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
传送带可以作为物料承载件和牵引件来输送物料。根据一些实施例,环形传送带可以绕过并张紧于两个滚筒上,可设置其中一个滚筒为驱动滚筒。传送带与驱动滚筒之间的摩擦力能够带动传送带连续运动,传送带与物料之间的摩擦力能够带动传送带上的物料与传送带一起运动,从而实现输送物料。
所述物料可以为块状、粒状或粉状等散状物料,例如:煤、砂、谷物、水泥、糖块、烟草、烟丝等。
根据一些实施例,可以在传送带的一端进行布料,利用传送带将物料输送至位于相对的另一端的出料口,从而可以一边布料一边出料。根据另一些实施例,也可以在传送带上先进行布料,在布料完成后再驱动传送带运动来输送物料。可根据实际的应用场景来设置一边布料一边出料或在布料完成后再出料。
根据相关技术,可以根据驱动滚筒的转速来计算传送带的理论传送速度,并可以利用传送带的理论传送速度来计算从出料口输出的物料的出料参数。但是,存在因传送带与滚筒之间打滑而发生滚筒空转的问题,导致利用传送带的理论传送速度计算得到的出料参数与实际的出料参数之间存在误差。传送带的理论传送速度例如可以小于0.2m/s。
针对以上相关技术,本公开分别获取两个时刻传送带上的物料的图像。可以对所述两个时刻对应的物料图像进行匹配运算,并根据所述两个时刻的物料图像中相匹配的匹配图片对应的位置,来计算所述两个时刻之间的出料参数。由于本公开的技术方案是利用两个时刻传送带上的物料的图像进行匹配来计算对应的出料参数,不会受到传送带因打滑而发生滚筒空转的影响。因此,本公开的技术方案能够准确检测两个时刻之间的出料参数。
本公开中,某一时刻传送带上的物料的图像并不限定为在所述某一时刻控制摄像机执行拍摄所获取的图像。根据一些实施例,在所述某一时刻,传送带可以连续运动以输出物料,处于出料状态。根据另一些实施例,在所述某一时刻,传送带也可以停止运动,处于停止出料状态。只要能够获得所述某一时刻对应的出料状态下传送带上的物料的图像即可,并不限定必须在所述某一时刻控制摄像机执行拍摄以获取所述某一时刻传送带上的图像。
根据一些实施例,在所述某一时刻之前传送带为停止出料状态的情况下,所述某一时刻传送带上的物料的图像可以为在所述某一时刻或在所述某一时刻之前控制摄像机执行拍摄所获取的图像。根据另一些实施例,在所述某一时刻之后传送带为停止出料状态的情况下,所述某一时刻传送带上的物料的图像可以为在所述某一时刻或所述某一时刻之后控制摄像机执行拍摄所获取的图像。根据另一些实施例,在所述某一时刻位于一出料时间段内的情况下,所述某一时刻传送带上的物料的图像可以为在所述某一时刻控制摄像机执行拍摄所获取的图像。
某一时刻对应的出料状态可以包括:在传送带上布料完成之后且在传送带未执行出料之前,某一时刻对应的出料状态可以包括传送带上的布料长度、布料质量和布料体积中的至少其中之一。在所述传送带执行出料之后,某一时刻对应的出料状态可以包括传送带上剩余的物料长度、物料质量和物料体积中的至少其中之一。例如:若两个时刻之间传送带为停止出料状态,则所述两个时刻对应的出料状态相同。而若两个时刻之间包括至少一个出料时间段,则所述两个时刻对应的出料状态不同。在所述两个时刻之间包括至少两个出料时间段的情况下,相邻的两个出料时间段之间的时间段传送带为停止出料状态。
本公开中,出料时间段是指该出料时间段内传送带连续运动,不间断地持续从出料口输出物料。
根据一些实施例,控制摄像机执行拍摄可以为控制摄像机执行拍照或控制摄像机执行录像。
本公开中涉及的各个时刻,每一时刻传送带可以为出料状态,也可以为停止出料状态。例如:第一时刻传送带可以为出料状态,所述第二时刻传送带可以为停止出料状态;或,第一时刻传送带可以为出料状态,所述第二时刻传送带也可以为出料状态;或第一时刻传送带可以为停止出料状态,所述第二时刻传送带可以为出料状态;或第一时刻传送带可以为停止出料状态,所述第二时刻传送带也可以为停止出料状态。
根据一些实施例,某一时刻传送带为出料状态可以为自所述某一时刻开始出料。某一时刻传送带为停止出料状态可以为自所述某一时刻开始停止出料。
根据另一些实施例,某一时刻传送带为出料状态也可以为自所述某一时刻之前的一初始时刻开始持续出料。某一时刻传送带为停止出料状态也可以为自所述某一时刻之前的一初始时刻即开始停止出料。
根据一些实施例,两个时刻之间的出料参数可以但不限于包括以下参数中的至少一个:两个时刻之间的物料前进速度、两个时刻之间从出料口输出的物料的体积(即出料体积)、两个时刻之间从出料口输出的物料的质量(即出料质量)等。
根据一些实施例,传送带的工作状态可以包括出料状态和停止出料状态。根据两个时刻传送带上的物料的图像中相匹配的匹配图片对应的位置,能够计算得到的所述两个时刻之间的出料参数可以由两个时刻以及两个时刻之间对应的传送带的工作状态决定。例如:若两个时刻之间传送带不间断地持续出料,则可以根据所述两个时刻传送带上的物料的图像中相匹配的匹配图片对应的位置,计算得到所述两个时刻之间的物料前进速度、出料体积和出料质量中的至少其中之一。若两个时刻之间传送带间断出料,即两个时刻之间具有传送带停止出料的时间段,则可以根据所述两个时刻传送带上的物料的图像中相匹配的匹配图片对应的位置,计算得到所述两个时刻之间的出料体积和/或出料质量。其中,物料前进速度、出料体积和出料质量的计算方法将在以下内容具体描述。
需要说明的是,在此仅是以物料前进速度、出料体积和出料质量为例,来说明利用本公开的技术方案能够计算得到的出料参数是如何受到传送带的工作状态的影响,并不限定利用本公开的技术方案计算得到的出料参数仅能为物料前进速度、出料体积和出料质量中的至少其中之一。
以下将结合附图对本公开的传送带的出料检测方法进行进一步描述。
图1是示出根据本公开示例性实施例的传送带的出料检测方法的流程图。如图1所示,所述出料检测方法,包括:步骤S101、获取第一时刻传送带上的物料的第一图像,以及第二时刻传送带上的物料的第二图像;步骤S102、对所述第一图像和所述第二图像进行匹配运算,得到与所述第一图像中的第一匹配图片相匹配的所述第二图像中的第二匹配图片;以及步骤S103、根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算所述第一时刻与所述第二时刻之间的出料参数。
所述第一时刻和所述第二时刻之间可以包括至少一个出料时间段,从而所述第一时刻和第二时刻对应的出料状态不同,利用上述技术方案能够计算得到所述第一时刻与所述第二时刻之间的出料参数。
根据一些实施例,所述第一时刻与所述第二时刻之间传送带可以不间断地持续出料,从而能够获得实时的出料参数。实时的出料参数例如可以包括物料前进速度、出料体积和出料质量中的至少其中之一。
根据另一些实施例,所述第一时刻与第二时刻之间传送带也可以不持续地间断出料,从而可以获取第一时刻和第二时刻对应的两个出料状态之间的出料参数。间断出料获取的两个出料状态之间的出料参数例如可以包括出料体积和/或出料质量。
所述第一图像和第二图像可以是通过摄像机获取的电子图像数据。所述摄像机可以是独立装置(例如照相机、视频摄像机、摄像头等),也可以包括在各类电子设备(例如移动电话、计算机、个人数字助理、平板电脑等)中。根据一些实施例,所述摄像机的拍摄区域的长度可以为1~2m。
根据一些实施例,所述第一图像和第二图像也可以是经过了一些预处理的图像,所述预处理例如可以包括但不限于灰度处理、模糊去除等等。根据一些实施例,所述第一图像和第二图像也可以在被摄像机获取之后存储在存储设备或存储介质中,并可被读出以供处理。
根据一些实施例,所述第一图像和第二图像可以是平面图像(不包含深度数据),对应的匹配运算可以利用第一图像和第二图像的表面特征来实现。所述第一图像和第二图像也可以是包括物料的深度数据的深度图像,对应的匹配运算可以利用深度数据来实现。根据一些实施例,可以利用基于双目立体视觉的深度摄像机或基于结构光法的深度摄像机来拍摄物料的深度图像。
所述第一图像和第二图像不限定为在第一时刻和第二时刻控制摄像机执行拍摄所获取的传送带上的物料的图像。若所述第一时刻(第二时刻)位于一出料时间段内,则所述第一图像(第二图像)可以为在第一时刻(第二时刻)控制摄像机执行拍摄所获取的传送带上的物料的图像。若所述第一时刻(第二时刻)之前为停止出料状态,则所述第一图像(第二图像)可以为在所述第一时刻(第二时刻)或所述第一时刻(第二时刻)之前控制摄像机执行拍摄所获取的传送带上的物料的图像。若所述第一时刻(第二时刻)之后为停止出料状态,则所述第一图像(第二图像)可以为在所述第一时刻(第二时刻)或所述第一时刻(第二时刻)之后控制摄像机执行拍摄所获取的传送带上的物料的图像。
所述第一图像和第二图像中的每一个可以均为传送带上的物料的录像视频中的一帧图像。所述第一图像和第二图像也可以为间隔拍摄的传送带上的物料的照片。
在一个示例性实施例中,所述第一图像和第二图像可以为传送带上的不同区域内的物料的图像,则步骤S103可以包括:根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置以及拍摄第一图像的摄像机的位置和拍摄第二图像的摄像机的位置,计算第一时刻与第二时刻之间的出料参数。
根据一些实施例,上述示例性实施例中的所述第一图像和所述第二图像可以由同一摄像机拍摄得到,则所述摄像机在拍摄得到所述第一图像之后,可以移动所述摄像机以拍摄所述第二图像。所述第一图像和所述第二图像也可以由不同摄像机拍摄得到。所述第一图像和所述第二图像为同一摄像机拍摄得到或不同摄像机拍摄得到均可,只要能够在第一时刻和第二时刻分别拍摄得到所述第一图像和第二图像即可。
根据一些实施例,根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置以及拍摄第一图像的摄像机的位置和拍摄第二图像的摄像机的位置,计算第一时刻至第二时刻对应的出料参数可以包括:基于拍摄第一图像的摄像机和拍摄第二图像的摄像机分别在世界坐标系中的位置以及所述第一位置和所述第二位置,计算所述第一图像中的第一匹配图片在世界坐标系中的第一世界坐标位置,以及所述第二图像中的第二匹配图片在世界坐标系中的第二世界坐标位置;根据所述第一世界坐标位置和所述第二世界坐标位置,计算第一时刻与第二时刻之间的出料参数。
如上所述的所述第一世界坐标位置和所述第二世界坐标位置之间的距离值,或者第一匹配图片和第二匹配图片在世界坐标系之间的距离值,即为第一时刻与第二时刻之间传送带实际输出的物料的长度(出料长度)。
图2中示出根据本公开示例性实施例的根据所述第一位置和第二位置来计算第一时刻与第二时刻之间的出料长度的原理示意图。图2中带单向箭头的直线用于指示传送带的传送方向。图2中示出的第一图像11和第二图像12为传送带上的不同区域中的物料的图像。第一图像11中的第一匹配图片111为长条形(也可以为其它形状),传送带20上的与该第一匹配图片111对应的第一物料区域112的长度延伸方向与传送带的传送方向垂直。第一匹配图片111在世界坐标系中的第一世界坐标位置P1表示第一时刻传送带上的与第一匹配图片111对应的第一物料区域112的位置。第二匹配图片121是第二图像12中的与第一匹配图片111匹配的图片。第二匹配图片121在世界坐标系中的第二世界坐标位置P2表示第二时刻传送带上的与第二匹配图片121对应的第二物料区域122的位置。第一匹配图片111与第二匹配图片121可以被认为是同样一块物料区域在不同时刻的图片。第二物料区域122可以被认为是移动了一段时间(例如,对应于第一时刻与第二时刻之间的时间)之后的第一物料区域112,其对应于基本上相同的一块物料。在这里,可以将各匹配图片或各物料区域的中心点、边缘或任一等位点的位置作为各匹配图片或各物料区域的位置。因此,可以计算第一物料区域112的位置和第二物料区域122的位置之间的距离,以获得第一时刻与第二时刻之间传送带输出的物料的长度L=|P1-P2|。
在第一时刻与第二时刻之间传送带为持续出料的情况下,可以利用公式
Figure BDA0002377313640000081
来计算第一时刻t1与第二时刻t2之间的物料前进速度v。
根据一些实施例,所述出料检测方法还可以包括:计算所述物料前进速度与传送带的理论传送速度之间的差值,当所述差值大于设定的第三阈值时,控制摄像机重新拍摄所述第一图像和第二图像。从而能够判断检测的物料前进速度是不是误检,并在确定误检后,重新拍摄第一图像和第二图像再次进行检测,提升检测结果的准确性。如果多次重新拍摄后所述差值仍大于所述第三阈值,可以确定滚筒与传送带之间的摩擦系数小于预设值,提示对传送带或滚筒进行维修等等。需要说明的是,也可以根据传送带的理论传送速度计算其它出料参数(例如出料体积、出料质量)的理论值,以对检测的出料参数进行误检判断。
需要说明的是,在此仅是以物料前进速度为例来介绍如何利用所述第一位置和第二位置来计算第一时刻与第二时刻之间的出料参数。也可以根据第一匹配图片在世界坐标系中的第一坐标位置和第二匹配图片在世界坐标系中的第二坐标位置,来计算其它出料参数,例如:出料体积和/或出料质量,将在以下内容中详细描述。
根据一些实施例,如图2所示,在拍摄所述第一图像时,传送带上的与所述第一图像对应的物料区域与出料口可以位于相对于所述传送带上的物料的中心的相对两侧,即传送带上的与所述第一图像对应的物料区域远离出料口。从而在传送带朝向出料口移动输送物料的过程中,基本上可以一直能够拍摄传送带上的远离出料口的物料区域中的物料以得到第一图像。根据一些实施例,所述第一图像可以包括传送带上的物料的远离出料口一端的图像。也就是说,传送带上的与所述第一图像对应的物料区域可以尽量远离出料口。
上述示例性实施例可以适用于第一时刻与第二时刻之间传送带为持续出料的情况,也可以适用于第一时刻与第二时刻之间传送带为间断出料的情况,通过控制摄像机移动均能够实现获取第一时刻和第二时刻传送带上的不同区域中的物料的第一图像和第二图像。
在另一个示例性实施例中,所述第一图像和第二图像也可以分别为第一时刻和第二时刻传送带上的一设定区域中的物料的图像。例如可以将摄像机固定在对应传送带上的该设定区域的位置,使得所述设定区域位于摄像机的拍摄范围中。由于无需驱动摄像机移动,可以简化出料参数的检测过程。并且,由于不会引入摄像机移动带来的误差,可以提升检测结果的准确性。根据一些实施例,可以在间隔较短的第一时刻和第二时刻分别获取所述设定区域中的物料的第一图像和第二图像,能够更准确得获得第一时刻与第二时刻之间的出料参数,具有更高的检测精度。
根据一些实施例,在所述第一图像和第二图像分别为第一时刻和第二时刻传送带上的所述设定区域中的物料的图像的情况下,所述第一图像和第二图像可以由位置固定的同一摄像机拍摄得到。在这种情况下,步骤S103可以包括:基于所述摄像机在世界坐标系中的位置以及所述第一位置和所述第二位置,计算所述第一图像中的第一匹配图片在世界坐标系中的第一世界坐标位置,以及所述第二图像中的第二匹配图片在世界坐标系中的第二世界坐标位置;以及根据所述第一世界坐标位置和所述第二世界坐标位置,计算第一时刻至第二时刻的出料参数。根据一些实施例,可以将摄像机所处的相机坐标系转换为世界坐标系,从而能够计算摄像机拍摄得到的第一图像中的第一匹配图片和第二图像中的第二匹配图片在世界坐标系中的世界坐标位置。
如上所述的所述第一世界坐标位置和所述第二世界坐标位置之间的距离值,或者第一匹配图片和第二匹配图片在世界坐标系之间的距离值,即为第一时刻与第二时刻之间传送带实际输出的物料的长度(出料长度)。
图3中示出根据本公开示例性实施例的根据所述第一位置和第二位置来计算第一时刻与第二时刻之间的出料长度的原理示意图。图3中示出的第一图像11和第二图像12分别为第一时刻和第二时刻传送带上的一设定区域中的物料的图像。根据第一匹配图片111在第一图像11中的第一位置和第二匹配图片121在第二图像12中的第二位置,来计算第一时刻与第二时刻之间的出料参数的方法与图2中对应的计算方法相同,在此不再详述。
上述示例性实施例中,步骤S103中并不局限于基于摄像机在世界坐标系中的位置以及所述第一位置和第二位置来计算第一时刻与第二时刻之间的出料参数。例如:还可以根据所述第一位置将第一匹配图片直接映射到所述第二图像中,以计算第二图像中所述第一匹配图片和第二匹配图片之间的第一距离。然后对该第一距离进行预设比例的放大,可以得到传送带上的与所述第一匹配图片对应的第一物料区域和传送带上的与所述第二匹配图片对应的第二物料区域之间的第二距离(第一时刻与第二时刻之间传送带输出的物料的长度),可以根据输出物料的长度以及第一时刻与第二时刻来计算物料前进速度。所述预设比例可以通过预定位置的摄像机拍摄的图像中的距离与真实距离(世界坐标系中的距离)之间的缩放关系来确定。
根据一些实施例,所述设定区域可以与出料口位于相对于所述传送带的中心的同一侧,即所述设定区域靠近出料口。从而在摄像机的位置固定的情况下,可以使得在传送带朝向出料口移动输送物料的过程中,更多的物料能够通过该设定区域以位于摄像机的拍摄范围内,从而摄像机能够拍摄所述设定区域中的物料的第一图像和第二图像以用于检测出料参数。根据一些实施例,所述第一图像和第二图像可以分别包括第一时刻和第二时刻的出料口处的物料的图像。也就是说,所述设定区域可以尽量靠近出料口,只要能够实现第一时刻获取的设定区域中的物料的第一图像和第二时刻获取的设定区域中的物料的第二图像具有相匹配的第一匹配图片和第二匹配图片即可。另外,所述第一时刻与第二时刻之间的时间间隔可以小于所述设定区域的长度(可以为所述设定区域在传送带的传送方向上的延伸距离)除以传送带的理论传送速度得到的时长,以能够从第二时刻拍摄的所述设定区域中的物料的第二图像中得到与所述第一图像中的第一匹配图片相匹配的第二匹配图片。
根据一些实施例,如图4所示,在所述第一图像和第二图像分别为第一时刻和第二时刻传送带上的一设定区域中的物料的图像的情况下,所述出料检测方法还可以包括:步骤S201、获取第三时刻传送带上的所述设定区域中的物料的第三图像,所述第三时刻位于所述第二时刻之后;步骤S202、对所述第二图像和第三图像进行匹配运算,得到与第二图像中的第四匹配图片相匹配的第三图像中的第五匹配图片;步骤S203、根据所述第四匹配图片在所述第二图像中的第四位置和所述第五匹配图片在所述第三图像中的第五位置,计算第二时刻与第三时刻之间的出料参数;以及步骤S204、根据所述第一时刻与第二时刻之间的出料参数以及所述第二时刻与第三时刻之间的出料参数,计算所述第一时刻与第三时刻之间的出料参数。所述出料参数例如可以为出料体积或出料质量。第一时刻与第三时刻之间的出料体积(出料质量)可以为所述第一时刻与第二时刻之间的出料体积(出料质量)和所述第二时刻与第三时刻之间的出料体积(出料质量)之和。所述第一时刻与第三时刻之间的出料长度可以为所述第一时刻与第二时刻之间的出料长度和所述第二时刻与第三时刻之间的出料长度之和。由此,通过将第一时刻与第三时刻之间的时间段分割为第一时刻与第二时刻之间的子时间段以及第二时刻与第三时刻之间的子时间段,可以分别获取较短的子时间段的出料参数,能够更准确得获得每一子时间段的出料参数,从而具有更高的检测精度。
根据一些实施例,所述第二时刻与第三时刻之间的时间间隔均可以小于所述设定区域的长度(可以为所述设定区域在传送带的传送方向上的延伸距离)除以传送带的理论传送速度得到的时长,以能够从所述第三时刻拍摄的所述设定区域中的物料的第三图像中得到与所述第二图像中的第四匹配图片相匹配的第五匹配图片。
根据一些实施例,所述第二图像中的第四匹配图片与所述第二匹配图片可以为同一图片,也可以为不同图片。
根据一些实施例,所述第三图像也并不限定为在所述第三时刻控制摄像机执行拍摄所获取的传送带上的物料的图像。第三图像的获取方法与第一图像和第二图像相同,在此不再详述。
所述第二时刻与第三时刻之间传送带可以持续出料,从而可以获得实时的出料参数。所述第二时刻与第三时刻之间传送带也可以间断出料,从而可以获取第一时刻对应的出料状态和第二时刻对应的出料状态之间的出料参数。
上述示例性实施例可以适用于传送带为持续出料的情况,也可以适用于传送带为间断出料的情况。
根据一些实施例,在传送带为持续出料的情况下,可以获取任意一出料时间段内的三个不同时刻(例如上述的第一时刻、第二时刻、第三时刻,第一时刻和第三时刻可以对应所述出料时间段的两个时间端点,第二时刻可以位于所述第一时刻和第三时刻之间)对应的传送带上的物料图像,可以利用步骤S101~步骤S103以及步骤S201~步骤S204来计算该出料时间段内的出料参数。
需要说明的是,还可以获取所述出料时间段内的除所述第一时刻、第二时刻、第三时刻以外的至少一个其它时刻对应的传送带上的物料图像。同样地,可以利用步骤S101~步骤S103以及步骤S201~步骤S204计算所述出料时间段内的多个相邻时刻中的每两个相邻时刻之间的出料参数,然后可以根据多个相邻时刻对应的多个出料参数以获得所述出料时间段内的出料参数。
根据一些实施例,在传送带为间断出料的情况下,可以单独获取每一出料时间段内的出料参数,然后根据所有出料时间段内的出料参数以获得一时间段内的出料参数。该时间段内传送带为间断出料,包括至少两个出料时间段,相邻的两个出料时间段之间传送带停止出料。每一出料时间段内的出料参数的获取方法可以与上述实施例相同。
以下内容中将结合一个示例性实施例来描述如何根据所述第一图像和第二图像中相匹配的匹配图片对应的位置来计算第一时刻与第二时刻之间的出料参数。
在一个示例性实施例中,结合图1和图5所示,所述出料检测方法还可以包括:步骤S104、获取所述第一时刻之前传送带上的物料的整体图像。在这种情况下,步骤S103可以包括:步骤S1031、根据所述第一位置和第二位置,从所述整体图像中获取输出物料图像,所述输出物料图像为第一时刻与第二时刻之间从出料口输出的一段物料的图像;以及步骤S1032、根据所述输出物料图像的图像特征计算第一时刻与第二时刻之间的出料参数。由于本公开的技术方案利用两个时刻传送带上的物料的图像进行匹配运算能够准确获取第一时刻与第二时刻之间从出料口输出的一段物料的图像,不会受到传送带因打滑而发生滚筒空转的影响。从而能够根据取第一时刻与第二时刻之间的输出物料图像的图像特征准确计算第一时刻与第二时刻之间的出料参数。
根据一些实施例,所述整体图像可以为包括物料的深度数据的深度图像,则步骤S1032、根据所述输出物料图像的图像特征计算第一时刻与第二时刻之间的出料参数可以包括:根据所述输出物料图像的深度数据,计算第一时刻与第二时刻之间的出料参数。
根据一些实施例,步骤S104可以但并不局限于包括:在所述第一时刻之前,在不同位置获取传送带上的物料的多个局部深度图像,利用点云匹配算法对所述多个局部深度图像进行拼接,得到所述第一时刻之前传送带上的所有物料的整体图像。根据一些实施例,可以在所述第一时刻之前且传送带处于停止出料状态的一初始时刻控制多个摄像机在不同位置获取传送带上的物料的多个局部深度图像,能够便于获取所有物料的整体图像。也可以在所述第一时刻之前且传送带处于停止出料状态下,控制摄像机从传送带的远离出料口的一端移动至靠近出料口的移动,摄像机在移动过程中在不同位置执行拍照获取传送带上的多个局部深度图像。
根据一些实施例,步骤S1031中可以根据所述第一位置和第二位置计算第一时刻与第二时刻之间的从出料口输出的一段物料的长度,并根据输出物料的长度(即出料长度)从所述整体图像中获取输出物料图像。
根据一些实施例,若在所述第一时刻之前所述传送带为停止出料状态,所述整体图像可以为所述第一时刻传送带上的所有物料的图像。相应地,所述输出物料图像可以为所述整体图像中的对应出料口处的一段图像,也即为第一时刻与第二时刻之间传送带从出料口输出的一段物料的图像。在这种情况下,步骤S104可以但并不局限于在第一时刻之前的一初始时刻控制摄像机执行拍摄以获取第一时刻传送带上的所有物料的整体图像。所述初始时刻传送带可以为停止出料状态,能够便于在所述初始时刻控制摄像机执行拍摄以获取传送带上的所有物料的整体图像。
图6和图7中示出根据本公开一个示例性实施例的根据出料长度从所述整体图像中获取输出物料图像的原理示意图。图6和图7中带单向箭头的直线用于指示传送带的传送方向。图6和图7中示出的第一时刻之前传送带为停止出料状态。图6中第一图像11和第二图像12为传送带上的不同区域中的物料的图像。图7中第一图像11和第二图像12为第一时刻和第二时刻传送带上的一设定区域中的物料的图像。上述两种情况中,根据第一匹配图片111在第一图像11中的第一位置和第二匹配图片121在第二图像12中的第二位置,来计算第一时刻与第二时刻之间的输出物料200的长度(即出料长度)L的原理和方法已在上面内容中描述,在此不再详述。其中,出料长度L=|P1-P2|。由于所述整体图像即为第一时刻传送带上的所有物料的图像,因此,输出物料图像211即为所述整体图像21中的对应出料口处的一段图像,也即为第一时刻与第二时刻之间从出料口输出的一段物料的图像。
为了便于理解,图6和图7中输出物料图像211的长度用L表示,仅是为了示意输出物料图像211与长度为L的输出物料200的对应关系。实际上输出物料图像211的长度可以不为L,而是按照一预设比例对L进行缩小。所述预设比例可以通过预定位置的摄像机拍摄的图像中的距离与真实距离(世界坐标系中的距离)之间的缩放关系来确定。
上述实施例中以所述第一时刻之前传送带为停止出料状态为例来说明如何从整体图像中获取第一时刻与第二时刻之间的输出物料图像。
根据一些实施例,所述第一时刻之前所述传送带也可以为出料状态。若在所述第一时刻之前所述传送带为出料状态,可以自一初始时刻开始持续出料,所述第一时刻为出料状态。所述整体图像可以为所述初始时刻传送带上的物料的图像。根据一些实施例,步骤S104可以在所述初始时刻之前控制摄像机执行拍摄以获取初始时刻传送带上的所有物料的图像,由于所述初始时刻之前传送带为停止出料状态,能够便于获取传送带上的所有物料的图像。在这种情况下,步骤S1031可以包括:根据所述第一位置和第二位置、所述初始时刻和第一时刻之间的出料时长以及所述第一时刻和第二时刻之间的出料时长,从所述整体图像中获取第一时刻与第二时刻之间的输出物料图像。
图8和图9中示出根据本公开另一个示例性实施例的根据出料长度从所述整体图像中获取输出物料图像的原理示意图。图8和图9中带单向箭头的直线用于指示传送带的传送方向。图8和图9中示出的第一时刻之前传送带为出料状态,可以自第一时刻之前的一初始时刻开始持续出料。图8中示出的第一图像11和第二图像12为传送带上的不同区域内的物料的图像。图9中示出的第一图像11和第二图像12为第一时刻和第二时刻传送带上的一设定区域中的物料的图像。上述两种情况中,根据第一匹配图片111在第一图像11中的第一位置和第二匹配图片121在第二图像12中的第二位置,来计算第一时刻与第二时刻之间的输出物料200的长度L的原理和方法已在上面内容中描述,在此不再详述。其中,出料长度L=|P1-P2|。
根据一些实施例,可以利用公式
Figure BDA0002377313640000141
来计算第一时刻t1与第二时刻t2之间的物料前进速度v。可以利用公式L'=v(t1-t0)计算初始时刻t0与第一时刻t1之间输出的物料201的长度L'。初始时刻t0与第二时刻t2之间输出的物料的长度为L+L'。
由于所述整体图像即为初始时刻传送带上的所有物料的图像,因此,初始时刻t0与第二时刻t2之间输出的物料的中间图像即为所述整体图像21中的对应出料口处的一段图像,也即为初始时刻与第二时刻之间从出料口输出的一段物料的图像。根据一些实施例,可以根据初始时刻t0与第一时刻t1之间的出料长度L'以及第一时刻t1与第二时刻t2之间的出料长度L之间的比例关系,从所述中间图像中获取第一时刻t1与第二时刻t2之间的输出物料图像211。
与图6和图7中相同,为了便于理解,图8和图9中第一时刻t1与第二时刻t2之间的输出物料图像211的长度用L表示,初始时刻t0与第二时刻t2之间的中间图像的长度用L+L'表示。
图6~图9中示出的第一时刻和第二时刻传送带为出料状态,MS1表示第一时刻传送带输出物料的出料截面(与传送带的传送方向垂直,对应在图6~图9中实际为一条线段,为了便于理解,以窄条形图形示意),MS2表示第二时刻传送带输出物料的出料截面。可以理解的是,并不限定第一时刻和第二时刻传送带为出料状态,第一时刻和/或第二时刻传送带也可以为停止出料状态。
在从整体图像中获取第一时刻与第二时刻之间的输出物料图像之后,可以执行步骤S1032、根据所述输出物料图像的图像特征计算第一时刻与第二时刻之间的出料参数。
根据一些实施例,步骤S1032中的出料参数例如可以包括出料体积。根据一些实施例,在步骤S104获取的整体图像为包括物料的深度数据的深度图像的情况下,所述输出物料图像也包括物料的深度数据。步骤S1032可以包括:根据所述输出物料图像的深度数据来计算第一时刻与第二时刻之间的出料体积。由于所述输出物料图像为第一时刻与第二时刻之间从出料口实际输出的一段物料的图像,从而能够准确算第一时刻与第二时刻之间的出料体积。
根据一些实施例,根据所述输出物料图像的深度数据计算第一时刻与第二时刻之间的出料体积可以包括:从所述输出物料图像中获取与传送带的传送方向垂直的多个物料截面所对应的深度数据;根据对应的深度数据计算所述多个物料截面中每一个物料截面的面积;以及根据所述多个物料截面中的其中之一的面积和所述多个物料截面的面积的平均值中的一个以及所述第一位置和第二位置,计算第一时刻与第二时刻之间的出料体积。
需要说明的是,上述仅是举例说明如何根据所述输出物料图像的深度数据计算第一时刻与第二时刻之间的出料体积,并不作为一种限定。例如,也可以设置从所述输出物料图像中获取的所述多个物料截面等间隔分布,则可以根据所述多个物料截面中的相邻两个物料截面中的其中之一的面积乘以该相邻两个物料截面之间的距离以获得乘积,并将所述多个物料截面所对应的多个乘积相加以获得第一时刻与第二时刻之间的出料体积。在所述第一时刻与第二时刻之间为不间断地持续出料的情况下,也可以根据插值法获取所述多个物料截面中的相邻两个物料截面之间对应的出料时长,则可以根据所述多个物料截面中每一个物料截面的面积、相邻的两个物料截面之间对应的出料时长以及所述第一时刻和第二时刻之间的物料前进速度,来计算第一时刻与第二时刻之间的出料体积。
本公开中,可以基于拍摄所述整体图像的摄像机在世界坐标系中的位置以及一物料截面图片在所述输出物料图像中的位置,计算该物料截面图片在世界坐标系中的位置。从而可以将一物料截面的深度数据确定为在世界坐标系中位置对应的物料截面图片的深度数据。
根据一些实施例,深度图像中的深度数据可以为拍摄深度图像的摄像机与传送带上的物料的表面之间的距离。在这种情况下,可以将拍摄整体图像的摄像机与传送带的表面的距离与物料截面的深度数据之差确定为物料截面所对应的高度数据。即,物料截面的高度为物料的表面相对传送带的表面的高度。如图10所示,可以但并不局限于根据公式
Figure BDA0002377313640000151
Figure BDA0002377313640000152
来计算物料截面的面积S。其中,n为物料截面对应的物料截面图片中的深度数据的数量,hi为在与传送方向垂直的方向上从物料截面的一侧至相对的另一侧的第i个高度数据,Di为物料截面的表面与第i个高度数据对应的点ki和与第i+1个高度数据对应的点ki+1在传送带的表面上的正投影之间的间隔距离,D为传送带表面的宽度。图10中示出的物料截面具有12个高度数据(即该物料截面对应的物料截面图片具有12个深度数据),物料截面的高度数据的数量并不局限于为12个。
根据一些实施例,所述输出物料图像可以为包括物料的深度数据以及物料的位于一二维坐标系中的二维坐标的深度图像,所述二维坐标系位于传送带的表面所在的平面内。在这种情况下,根据所述输出物料图像的深度数据计算第一时刻与第二时刻之间的出料体积可以包括:根据所述输出物料图像的多个深度数据,计算第一时刻与第二时刻之间输出的物料表面的多个高度数据;获取所述输出的物料表面上的与所述多个高度数据一一对应的多个点;针对所述多个点中的所有相邻的三个点,计算以相邻的每三个点在传送带的表面上的投影(可以为正投影)作为顶点的三角形的面积;针对所述多个点中的所有相邻的三个点,将相邻的每三个点对应的三个高度数据中的其中之一和三个高度数据的平均值中的一个,与对应的三角形的面积相乘以获得乘积;以及将所有相邻的三个点对应的多个乘积求和以获得出料体积。
本公开中,根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算得到的第一时刻与第二时刻之间的出料参数还可以包括出料质量。
根据一些实施例,如图11所示,在传送带上完成布料后,且在传送带出料之前,还可以包括:步骤S201、在不同位置获取传送带上的物料的多个局部深度图像,利用点云匹配运算拼接得到传送带上的所有物料的初始物料图像;步骤S202、根据所述初始物料图像的深度数据,计算传送带上的物料的初始体积;以及步骤S203、根据所述初始体积和在传送带上布料的质量,计算传送带上物料的密度。
步骤S202中可以利用上述根据输出物料图像的深度数据来计算出料体积的方法来计算所述初始体积。
根据一些实施例,步骤S1032、根据所述输出物料图像的图像特征计算第一时刻与第二时刻之间的出料参数可以包括:根据所述输出物料图像的深度计算第一时刻与第二时刻的出料体积;以及根据所述出料体积和所述密度,来计算第一时刻与第二时刻之间的出料质量。
需要说明的是,还可以根据所述第一位置和第二位置以及在传送带上的布料长度和质量,来计算第一时刻与第二时刻之间的出料质量。或者,还可以根据所述出料体积、初始体积以及在传送带上的布料质量,来计算第一时刻与第二时刻之间的出料质量。
传送带上的布料长度和质量是指在传送带上布料完成之后且在传送带未执行出料之前,传送带上的物料的长度和质量。其中,传送带上的布料长度可以为传送带的表面覆盖有物料的长度。
以上内容描述了如何根据所述第一图像和第二图像中相匹配的所述第一匹配图片和所述第二匹配图片对应的位置来计算第一时刻与第二时刻之间的出料参数。以下内容中将结合附图来描述如何获取第一图像和第二图像,以及如何通过匹配运算得到第一图像中的所述第一匹配图片和第二图像中的所述第二匹配图片。
在一个示例性实施例中,在第一时刻之前获取传送带上的所有物料的整体图像的情况下,所述第一图像可以为所述整体图像的一部分或全部。由此,不需要单独拍摄以获得所述第一图像,能够简化检测方法。
根据一些实施例,第一时刻之前传送带可以为停止出料状态。在这种情况下,可以在第一时刻之前获取传送带上的所有物料的整体图像,将所述整体图像的全部或一部分作为第一图像。所述整体图像的获取方法已在上面内容中描述,在此不再详述。图6和图7中示出的第一图像11为整体图像21的一部分,在第一时刻之前的初始时刻获取所述整体图像。由于初始时刻与第一时刻的出料状态未发送变化,因此,所述第一图像可以为所述整体图像的一部分(也可以为全部)。在与传送带的传送方向垂直的方向上,第一图像11可以与整体图像21的宽度一致,为了便于理解,图6和图7中示出的第一图像11的宽度略小于整体图像21的宽度。可以理解的是,所述第一图像与所述整体图像也可以为第一时刻和初始时刻分别控制摄像机执行拍摄所获取的图像。
若所述第一图像为在第一时刻之前获取的传送带上的所有物料的整体图像的一部分,则所述第二图像与所述第一图像可以为传送带上不同区域中的物料的图像(如图6所示),也可以为传送带上同一设定区域中的物料的图像(如图7所示)。而,若所述第一图像为第一时刻之前获取的传送带上的物料的整体图像的全部,则所述第一图像和第二图像可以分别为第一时刻与第二时刻传送带上的所有物料的图像。在所述第一图像为所述整体图像的情况下,所述第二图像也可以为传送带上的某一区域中的物料的图像,只要具有与所述第一图像中的第一匹配图片相匹配的第二匹配图片即可。
根据一些实施例,所述第一时刻之前传送带可以为停止出料状态,并可以自所述第一时刻开始出料,而且可以在出料一时间段后自所述第一时刻与第二时刻之间的一中间时刻开始停止出料,所述第二时刻传送带为停止出料状态,如图12和图13所示。根据一些实施例,所述传送带的上方可以设置有布料车,所述布料车被配置为在所述传送带上布料。可以在所述布料车上设置有用于拍摄物料图像的至少一个摄像机。根据一些实施例,如图14所示,步骤S101中获取第二时刻传送带上的物料的第二图像可以包括:步骤S111、在自所述第一时刻开始出料且出料一时间段后停止出料之后(所述中间时刻之后)驱动布料车以传送带的理论传送速度朝向出料口移动;步骤S112、获取所述至少一个摄像机在布料车的移动过程中拍摄的至少两个第二待匹配图像;以及步骤S113、将所述至少两个第二待匹配图像依次与所述整体图像进行匹配运算,直至得到一个具有与所述整体图像中的第一匹配图片相匹配的第二匹配图片的第二待匹配图像,并将该第二待匹配图像作为第二图像。
上述示例性实施例中,在所述第一时刻之前传送带为停止出料状态的情况下,可以将第一时刻之前传送带上的所有物料的整体图像的全部或一部分作为第一图像,从而能够通过一次匹配运算自动获取具有与第一图像的第一匹配图片相匹配的第二匹配图片和第二图像。
在另一个示例性实施例中,所述第一时刻之前传送带可以为出料状态,可以自所述第一时刻之前的一初始时刻开始持续出料,即,所述第一时刻也为出料状态。在这种情况下,由于初始时刻与第一时刻的出料状态发生变化,第一图像11与整体图像21可以为第一时刻和初始时刻分别控制摄像机执行拍摄所获取的图像,如图8和图9所示。
根据一些实施例,结合图8和图9所示,若第一时刻之前传送带为出料状态,并自一初始时刻开始出料,则可以在所述初始时刻之前获取传送带上的所有物料的整体图像21。在这种情况下,如图15所示,步骤S101中获取第一时刻传送带上的物料的第一图像可以包括:步骤S123、获取第一时刻传送带上的至少两个第一待匹配图像;以及步骤S124、将所述至少两个第一待匹配图像与所述整体图像进行匹配运算,将具有与所述整体图像中的初始匹配图片相匹配的第三匹配图片的第一待匹配图像作为第一图像。从而能够通过与整体图像的匹配运算自动获取所述第一图像。另外,在传送带持续出料的情况下,可以在出料之前获取传送带上的所有物料的整体图像。并且在出料过程中,可以获取任意第一时刻传送带上的至少两个第一待匹配图像,并将具有与所述整体图像中的初始匹配图片相匹配的第三匹配图片的第一待匹配图像作为第一图像。从而能够在持续出料过程中自动获取所需的第一图像,以用于后续的匹配运算,计算任意两个时刻之间的出料参数。
根据一些实施例,所述整体图像的初始匹配图片在传送带上对应的物料可以与出料口位于相对于传送带上的物料的中心的相对两侧。从而在传送带的出料过程中,能够保证始终获得具有与所述初始匹配图片相匹配的第三匹配图片的第一待匹配图像,即能够保证始终获取得到第一图像。
根据一些实施例,可以在所述传送带的上方设置有布料车,所述布料车被配置为在所述传送带上布料。所述布料车上设置有用于拍摄物料图像的至少两个摄像机,所述至少两个摄像机的拍摄范围能够覆盖布料车下方的所有区域。根据一些实施例,如图15所示,所述出料检测方法还可以包括:步骤S121、在出料过程中,驱动布料车以传送带的理论传送速度朝向出料口移动;步骤S122、控制所述至少两个摄像机在布料车移动过程中拍摄的图像。其中,步骤S123中的所述至少两个第一待匹配图像分别由所述至少两个摄像机中对应的其中一个在第一时刻拍摄得到。从而在传送带持续出料的情况下,可以通过至少两个摄像机来拍摄图像以覆盖布料车下方的所有区域,能够保证在布料车的移动过程中一定能够拍摄得到具有与整体图像的初始匹配图片相匹配的第三匹配图片的第一待匹配图像(第一图像)。
根据一些实施例,如图15所示,步骤S101中获取第二时刻传送带上的物料的第二图像可以包括:步骤S125、获取第二时刻所述至少两个摄像机拍摄的至少两个第二待匹配图像;以及步骤S126、将所述至少两个第二待匹配图像依次与所述第一图像进行匹配运算,直至得到一个具有与所述第一图像中的第一匹配图片相匹配的第二匹配图片的第二待匹配图像,并将该第二待匹配图像作为第二图像。
上述示例性实施例中,在所述第一时刻之前传送带为出料状态的情况下,可以在第一时刻之前获取传送带上的所有物料的整体图像,能够通过两次匹配运算分别自动获取具有相匹配图片的第一图像和第二图像。
上述两个示例性实施例中的匹配运算均可以通过从一个图像中截取图片与至少两个待匹配图像进行匹配运算的方式,来确定与所述一个图像具有相匹配的图片的待匹配图像。下面将结合附图对上述两个示例性实施例中涉及的匹配运算进一步描述。
根据一些实施例,在自所述第一时刻之前的一初始时刻开始持续出料的情况下,可以在初始时刻之前获取传送带上的物料的整体图像。在这种情况下,可以执行上述步骤S121-步骤S123,以获取在第一时刻摄像机拍摄得到的至少两个第一待匹配图像。并且,可以通过以下匹配运算自动确定其中一个第一待匹配图像作为第一图像。如图16所示,步骤S124、将所述至少两个第一待匹配图像与所述整体图像进行匹配运算,将具有与所述整体图像中的初始匹配图片相匹配的第三匹配图片的第一待匹配图像,并将该第一待匹配图像作为第一图像可以包括:步骤S1241、从所述整体图像中截取初始匹配图片;步骤S1242、将所述初始匹配图片与其中一个第一待匹配图像进行匹配运算;步骤S1243、判断该第一待匹配图像是否具有与所述初始匹配图片匹配的第三匹配图片;以及步骤S1244、如果该第一待匹配图像具有与所述初始匹配图片匹配的第三匹配图片,则将匹配的第一待匹配图像作为第一图像。
如图8和图9所示,第一图像11具有与初始匹配图片212匹配的第三匹配图片。所述第三匹配图片与第一匹配图片111为同一图片(也可以为不同图片)。整体图像中初始匹配图片212为长条形(也可以为其它形状),传送带20上的与初始匹配图片212对应的初始物料区域213的长度延伸方向与传送带的传送方向垂直。初始匹配图片212在世界坐标系中的初始世界坐标位置P0表示初始时刻传送带上的与初始匹配图片212对应的初始物料区域213的位置。传送带上的与第一图像11的第一匹配图片111(即第三匹配图片)对应的第一物料区域112可以被认为是移动了一段时间(例如,对应于初始时刻与第一时刻之间的时间段)之后的初始物料区域213,其对应于基本上相同的一块物料。因此,能够通过匹配算法从整体图像和第一图像中得到相匹配的初始匹配图片与第三匹配图片。可以计算第一物料区域112的位置和初始物料区域213的位置之间的距离,以获得初始时刻与第一时刻之间传送带输出的物料的长度L'=|P0-P1|。
所述初始匹配图片的形状可以为条形、圆形、方形、环形、三角形等规则形状,也可以为不规则形状,在此不作限定。
根据一些实施例,在所述初始匹配图片为条形图片的情况下,所述传送带上的与该初始匹配图片对应的物料所在的条形区域的长度延伸方向可以与传送带的传送方向垂直。由此,初始匹配图片的宽度和长度均较小,比较容易获得具有与所述初始匹配图片相匹配的第三匹配图片的第一图像。
根据一些实施例,如图16所示,步骤S124还可以包括:步骤S1245、如果该第一待匹配图像不具有与所述初始匹配图片匹配的第三匹配图片,则将所述初始匹配图片与另一个第一待匹配图像进行匹配运算。可以进行迭代,直至得到具有与所述初始匹配图片匹配的第三匹配图片的第一待匹配图像,并将匹配的第一待匹配图像作为第一图像。
根据一些实施例,如图17所示,步骤S102、对所述第一图像和第二图像进行匹配运算,得到与第一图像的第一匹配图片相匹配的第二图像的第二匹配图片可以包括:步骤S1021、从所述第一图像中截取一个第一图片;步骤S1022将该第一图片与所述第二图像进行匹配运算;步骤S1023、判断所述第二图像中是否具有与该第一图片匹配的第二图片;以及步骤S1024、如果所述第二图像中具有与该第一图片匹配的第二图片,将匹配的第一图片作为所述第一匹配图片,将匹配的第二图片作为所述第二匹配图片。第一匹配图片与第二匹配图片可以被认为是同样一块物料区域在不同时刻的图片。传送带上的与第二匹配图片对应的第二物料区域可以被认为是移动了一段时间(例如,对应于第一时刻与第二时刻之间的时间段)之后的第一物料区域(第一物料区域为传送带上的与第一匹配图片对应的物料区域),其对应于基本上相同的一块物料。因此,能够通过匹配算法从第一图像和第二图像中得到相匹配的第一匹配图片与第二匹配图片。
所述第一匹配图片的形状可以为条形、圆形、方形、环形、三角形等规则形状,也可以为不规则形状,在此不作限定。根据一些实施例,所述第一匹配图片可以靠近所述第一图像的中心,因为中心的图像质量较好,能够获得更好的匹配精度和准确度。图5-图8以及图10和图11中示出的第一图像11中的第一匹配图片111为条形图片。相应地,第二图像12中的与第一匹配图片111相匹配的第二匹配图片121也为条形图片。
所述第一匹配图片靠近所述第一图像的中心可以是:所述第一匹配图片的中心与所述第一图像的中心之间的距离和所述第一图像的尺寸(例如长度)的比值小于预定比例,所述预定比例例如可以为1/5~1/3。
根据一些实施例,在所述第一图片为条形图片的情况下,所述传送带上的与该第一图片对应的物料所在的条形区域的长度延伸方向可以与传送带的传送方向垂直。由此,第一图片的宽度和长度均较小,比较容易获得具有与所述第一图片相匹配的第二图片的第二图像。
根据一些实施例,如图17所示,步骤S102还可以包括:步骤S1025、如果所述第二图像中不具有与该第一图片匹配的第二图片,从所述第一图像中截取另一个第一图片,以与所述第二图像再次进行匹配运算。可以进行迭代,直至得到与截取的一个第一图片相匹配的第二图像中的第二图片。
根据一些实施例,在自所述第一时刻之前的一初始时刻开始持续出料的情况下,可以在初始时刻之前获取传送带上的物料的整体图像。在这种情况下可以先利用上述步骤S1241~1245自动获取第一图像,所述第一图像中具有与所述整体图像中的初始匹配图片相匹配的第三匹配图片。然后再通过利用步骤S1021~1025自动获取第二图像,所述第二图像具有与所述第一图像中的第一匹配图片匹配的第二匹配图片。根据一些实施例,步骤S1021中截取的第一图片可以为第三匹配图片,若所述第二图像中具有与所述第三匹配图片相匹配的第二图片,则可以将匹配的第三匹配图片作为第一匹配图片,将匹配的第二图片作为第二匹配图片。也就是说,所述第一匹配图片可以为所述第三匹配图片。所述第一匹配图片也可以不为所述第三匹配图片,取决于实际匹配运算过程中所述第二图像中是否具有与所述第三匹配图片相匹配的第二图片。
根据一些实施例,若传送带为间断出料,所述第一时刻之前为停止出料状态,可以在所述第一时刻之前获取第一时刻传送带上的所有物料的整体图像。在这种情况下,所述第一图像可以为所述整体图像的一部分或全部。由此,可以利用步骤S1021~1025自动获取第二图像,从而能够通过一次匹配运算即可获得第一图像和第二图像。根据一些实施例,可以利用上述步骤S121、122、125在第二时刻获取至少两个第二待匹配图像,则步骤S126中可以利用上述步骤S1021~1025将所述至少两个第二待匹配图像依次与所述第一图像进行匹配运算,直至得到具有与所述第一图像的第一图片相匹配的第二图片的第二待匹配图像,并将匹配的第一图片作为第一匹配图片,将匹配的第二图片作为第二匹配图片,将匹配的第二待匹配图像作为第二图像。
可以根据获取的第一图像和第二图像来选择对应的匹配运算,下面以两个示例性实施例来描述对所述第一图像和第二图像进行匹配的过程。
在一个示例性实施例中,所述第一图像和第二图像中的每一个可以均为深度图像。在这种情况下,将该第一图片与所述第二图像进行匹配运算,并判断所述第二图像中是否具有与该第一图片匹配的第二图片包括:将该第一图片与所述第二图像进行滑动对比,计算该第一图片的像素单元与所述第二图像的多个滑动窗口中的像素单元之间的深度数据的匹配误差;以及将最小匹配误差对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。需要说明的是,在此并不是限定仅能通过第一图片与所述第二图像进行滑动对比的方式来获取第二图片,例如:还可以根据第一图片在第一图像中的位置(例如靠近第一图像的中心的位置),从第二图像中的等位位置的周边选取多个匹配区域,然后将第一图片与所述多个匹配区域中的图片进行匹配,并将与所述第一图片相匹配的匹配区域中给的图片作为第二图片。
根据一些实施例,计算该第一图片的像素单元与所述第二图像的多个滑动窗口中的像素单元之间的深度数据的匹配误差可以包括:采用基于灰度的模板匹配算法计算该第一图片的像素单元与所述第二图像的所有滑动窗口中的像素单元之间的深度数据的匹配误差。
基于灰度的模板匹配算法例如可以选择以下算法中的其中之一:平均绝对差算法、绝对误差和算法、误差平方和算法、平均误差平方和算法。
根据一些实施例,将所述最小匹配误差对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片可以包括:判断所述最小匹配误差是否小于第一阈值;如果是,将所述最小匹配误差对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。从而能够提高第一图片和第二图片的匹配精度,以提升检测的出料参数的准确性。根据一些实施例,如果所述最小匹配误差不小于所述第一阈值,可以从所述第一图像中截取另一个第一图片以与所述第二图像再次进行匹配运算。
在另一个示例性实施例中,所述第一图像和第二图像中的每一个可以均为平面图像(不包含深度数据)。在这种情况下,将该第一图片与所述第二图像进行匹配运算,并判断所述第二图像中是否具有与该第一图片匹配的第二图片包括:将该第一图片与所述第二图像进行滑动对比,计算该第一图片的表面特征与该第二图像的多个滑动窗口中的图片的表面特征之间的匹配程度;以及将最高匹配程度对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。需要说明的是,在此也并不限定仅能通过第一图片与所述第二图像进行滑动对比的方式来获取第二图片。
所述表面特征可以包括以下特征中至少一种:纹理特征、形态特征、边缘特征、颜色特征。
根据一些实施例,计算该第一图片的表面特征与该第二图像的多个滑动窗口中的图片的表面特征之间的匹配程度可以包括:采用基于特征的匹配算法计算该第一图片的表面特征与该第二图像的多个滑动窗口中的图片的表面特征之间的匹配程度。
基于特征的匹配算法例如可以选择以下算法中的其中之一:BRISK、ORB、FAST、SURF或SIFT算法。
根据一些实施例,将最高匹配程度对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片可以包括:判断所述最高匹配程度是否大于第二阈值;如果是,将最高匹配程度对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。从而,能够提高第一图片和第二图片的匹配精度,以提升检测的出料参数的准确性。根据一些实施例,如果所述最高匹配程度不大于所述第二阈值,可以从所述第一图像中截取另一个第一图片以与所述第二图像再次进行匹配运算。
根据一些实施例,也可以同时获取第一图像和第二图像的平面图像和深度图像,分别计算对应的出料参数,可以根据两个出料参数来互检检测结果的准确性。
本公开的技术方案通过分别获取两个时刻传送带上的物料的图像,并根据所述两个时刻的物料图像中相匹配的匹配图片对应的位置,来计算所述两个时刻之间的出料参数。在传送带上的物料较少的情况下,可能存在获取的两个时刻的物料图像中不具有相匹配的匹配图片的情况。
基于此,根据一些实施例,如图18所示,所述出料检测方法还可以包括:步骤S301、获取传送带上的物料的远离出料口的一端与出料口之间的距离;步骤S302、当所述距离小于预设值时,获取传送带上的尾料的图像;以及步骤S302、根据所述尾料图像的图像特征计算尾料参数。从而在传送带上物料较少(剩余的物料长度小于所述预设值)时,能够根据剩余的物料(尾料)的图像特征计算尾料参数,克服了可能存在获取的两个时刻的物料图像中不具有相匹配的匹配图片的情况而导致无法获取出料参数的问题。
根据一些实施例,结合图6和图7所示,所述第一时刻之前传送带可以为停止出料状态。可以在第一时刻之前的一初始时刻获取传送带上的所有物料的整体图像21。对所述第一时刻和第二时刻传送带的工作状态不作限定,只要第一时刻与第二时刻之间包括至少一个出料时间段,第一时刻与第二时刻对应的出料状态发生变化即可。在这种情况下,所述第一图像11可以为整体图像21的一部分(或全部)。可以根据第一图像11和第二图像12中相匹配的第一匹配图片111和第二匹配图片121的位置,计算第一时刻与第二时刻之间输出的物料200的长度L(具体方法已在上面内容中描述)。由此,整体图像对应的物料的长度和出料长度L之间的差值即为传送带上的物料的远离出料口的一端与出料口之间的距离。
根据另一些实施例,结合图8和图9所示,所述第一时刻之前传送带可以为出料状态,并可以自所述第一时刻之前的一初始时刻开始持续出料,所述第一时刻传送带为出料状态。所述第二时刻传送带可以为出料状态,也可以为停止出料状态,在此不作限定。可以在所述初始时刻或在初始时刻之前获取传送带上的所有物料的整体图像21。可以根据整体图像21和第一图像11中相匹配的初始匹配图片212和第一匹配图片111的位置,计算初始时刻与第一时刻之间输出的物料201的长度L';以及根据第一图像11和第二图像12中相匹配的第一匹配图片111和第二匹配图片121的位置,计算第一时刻与第二时刻之间输出的物料200的长度L。出料长度L和L'的具体的计算方法已在上面内容中描述。从而,可以将整体图像对应的物料的长度减去出料长度L和L'之和以获得传送带上的物料的远离出料口的一端与出料口之间的距离。
根据一些实施例,可以按照一预设比例对整体图像的长度进行放大,以获得整体图像对应的物料的长度。所述预设比例可以通过预定位置的摄像机拍摄的图像中的距离与真实距离(世界坐标系中的距离)之间的缩放关系来确定。需要说明的是,还可以根据在拍摄整体图像时整体图像的两相对端在传送带上对应的物料截面的世界坐标位置来计算整体图像的长度,在此不作限定。
可以理解的是,还可以通过其它方法来获取传送带上的物料的远离出料口的一端与出料口之间的距离,在此不一一列举。
根据一些实施例,在所述尾料图像为包括物料的深度数据的深度图像的情况下,步骤S303可以包括根据所述尾料图像的图像特征计算传送带上的尾料参数包括:以及根据所述尾料图像的深度数据,计算传送带上的尾料体积。可以利用上述根据输出物料图像的深度数据计算第一时刻与第二时刻之间的出料体积的方法来计算所述尾料体积。
根据本公开的另一方面,不同于上述出料检测方法,还提供另一种传送带的出料检测方法。该出料检测方法可以包括:获取第一出料状态传送带上的所有物料的第一图像,获取第二出料状态传送带上的所有物料的第二图像,所述第一图像和所述第二图像均为包括物料的深度数据的深度图像;根据对应的深度数据,计算所述第一图像中的所有物料的第一体积和所述第二图像中的所有物料的第二体积;以及计算所述第一体积和所述第二体积之间的差值以获得所述第一出料状态与所述第二出料状态之间的出料体积。
根据一些实施例,所述第一出料状态和第二出料状态传送带可以为停止出料状态,能够便于获取两个出料状态传送带上的所有物料的图像。所述第一出料状态和第二出料状态传送带也可以为出料状态,此时,可以设置多个摄像机,在不同位置获取传送带上的物料的多个局部深度图像,利用点云匹配运算拼接得到传送带上的所有物料的图像。
根据本公开的另一方面,还提供一种电子电路,可以包括:被配置为执行根据权利要求上述的出料检测方法的步骤的电路。
根据本公开的另一方面,还提供一种传送带的出料检测设备,可以包括:上述的电子电路;摄像机,被配置为拍摄传送带20上的物料100的图像;以及传送带20,所述传送带20的一端位于出料口300的上方,所述传送带20被配置为将物料100从所述出料口300输出,结合图19~图22所示。图19~图22中带单向箭头的直线均示意传送带的传送方向。
根据一些实施例,如图22所示,所述出料检测设备还可以包括:布料车30,被配置为在所述传送带20上布料。其中,所述摄像机可以固定在所述布料车30上。根据一些实施例,所述出料检测设备还可以包括驱动机构,被配置为驱动布料车30移动。
根据一些实施例,可以获取第一时刻之前传送带上的所有物料的整体图像,从所述整体图像中获取第一时刻与第二时刻之间输出的物料的图像。根据一些实施例,可以在第一时刻之前,驱动布料车30从传送带的远离出料口的一端移动至靠近出料口的一端。在布料车30的移动过程中,所述摄像机可以在不同位置拍摄传送带上的物料的多个局部图像,可以利用点云匹配算法对所述多个局部图像进行拼接,得到第一时刻之前传送带上的所有物料的整体图像。在得到整体图像后,可以将布料车重新驱动至传送带的远离出料口的一端。所述整体图像例如可以为包括深度数据的深度图像,从而能够根据输出物料图像对应的深度数据,来计算第一时刻与第二时刻之间的出料体积。
根据一些实施例,所述第一时刻之前传送带可以为出料状态,并可以自一初始时刻开始持续出料,所述第一时刻为出料状态。在这种情况下,在获取所述整体图像后,可以在出料过程中驱动布料车30向靠近出料口的方向移动,所述摄像机在布料车30移动的过程中执行拍摄,可以在第一时刻拍摄至少两个第一待匹配图像。可以通过匹配运算确定与所述整体图像匹配的第一待匹配图像(作为第一图像)。而,若所述第一时刻之前传送带为停止出料状态,所述第一图像可以为所述整体图像的一部分或全部。
根据一些实施例,所述第二时刻之前传送带可以为出料状态,可以在出料过程中驱动布料车30向靠近出料口的方向移动,所述摄像机在布料车30移动的过程中执行拍摄,可以在第二时刻拍摄至少两个第二待匹配图像。可以通过匹配运算获得与所述整体图像中的第一图像匹配的第二待匹配图像(作为第二图像)。而,所述第二时刻之前传送带可以为停止出料状态,在出料过程中布料车可以不动,在停止出料后,驱动布料车30向靠近出料口的方向移动,所述摄像机在布料车30移动的过程中拍摄至少两个第二待匹配图像。
根据一些实施例,所述摄像机可以包括至少两个摄像机,所述至少两个摄像机沿传送带的传送方向分布,所述至少两个摄像机的拍摄范围可以覆盖位于布料车下方的所有物料。例如:所述摄像机可以包括第一摄像机101和第二摄像机102。在传送带的传送方向上,第一摄像机101和第二摄像机102可以固定在布料车30的相对两端。从而在布料车30的移动过程中,可以使得第一摄像机101或第二摄像机102分别在第一时刻和第二时刻拍摄传送带上的不同区域中的物料的第一图像和第二图像。在拍摄第一图像时,传送带上的与第一图像对应的物料区域可以与出料口位于相对于传送带上的物料的中心的相对侧。由于第一摄像机101和第二摄像机102的拍摄范围可以覆盖位于布料车下方的所有物料,从而可以通过第一摄像机101或第二摄像机102拍摄得到具有与第一图像中的第一匹配图片相匹配的第二匹配图片的第二图像。
根据一些实施例,在间断出料时,可以在出料之前,通过第一摄像机101或第二摄像机102拍摄得到第一图像。在出料过程中,布料车可以停止不动。在传送带停止出料后,驱动布料车移动,并将在移动过程中第一摄像机101和第二摄像机102拍摄的第二待匹配图像依次与第一图像进行匹配,直至得到一个与第一图像匹配的第二待匹配图像,并将该匹配的第二待匹配图像作为第二图像。
根据另一些实施例,在持续出料时,可以在出料之前,获取传送带上的所有物料的整体图像。在出料过程中,可以驱动布料车以传送带的理论传送速度朝向出料口,将第一时刻第一摄像机101和第二摄像机102拍摄的第一待匹配图像依次与整体图像的初始匹配图片进行匹配,将具有与所述初始匹配图片相匹配的第三匹配图片的第一待匹配图像作为第一图像。将第二时刻第一摄像机101和第二摄像机102拍摄的第二待匹配图像依次与第一图像进行匹配,将具有与第一图像中的第一匹配图片相匹配的第二匹配图片的第二待匹配图像作为第二图像。
根据一些实施例,结合图20和图21所示,所述出料检测设备还可以包括:贮柜40,所述贮柜40的一端具有出料口300,所述传送带20设置在在所述贮柜40内;布料车30,所述布料车30固定在所述贮柜40上,所述布料车40被配置为能够在所述贮柜40上往复运动,以在所述传送带20上布料;以及固定横梁31,设置在所述贮柜40上对应于传送带上的一设定区域的位置。其中,摄像机10可以固定在所述固定横梁31上,以拍摄不同时刻所述设定区域中的物料的图像,以得到第一图像和第二图像。即,所述第一图像和第二图像分别为第一时刻和第二时刻传送带上的所述设定区域中的图像。根据一些实施例,如图20所示,摄像机10也可以固定在布料车30上,在布料车完成布料后,将布料车固定在所述设定区域对应的位置,以使得固定在布料车上的摄像机10能够拍摄不同时刻所述设定区域中的物料的图像,以得到第一图像和第二图像。
根据一些实施例,在垂直于传送带的传送方向上,拍摄传送带上的物料的图像的摄像机可以位于传送带的一侧,且所述摄像机的光轴倾斜可以设置,以使得在垂直于传送带的传送方向上摄像机的拍摄范围能够覆盖传送带的表面。根据另一些实施例,也可以将拍摄传送带上的物料的图像的摄像机设置在对应传送带的中心线(与传送方向平行)的位置附近,只需选择拍摄范围足够大的摄像机,以使得在垂直于传送带的传送方向上拍摄范围能够覆盖传送带的表面即可。根据另一些实施例,还可以设置至少两个视角范围较小的摄像机用于拍摄传送带上的物料的图像,以使得在垂直于传送带的传送方向上所述至少两个摄像机的拍摄范围能够覆盖传送带的表面。
根据本公开的另一方面,还提供一种电子设备,包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据上述的出料检测方法。
根据本公开的另一方面,还提供一种存储程序的非暂态计算机可读存储介质,所述程序包括指令,所述指令在由出料检测设备的处理器执行时,致使所述电子设备执行根据上述的出料检测方法。
图23是示出根据本公开的示例性实施例的电子设备的示例的框图。要注意的是,图23所示出的结构仅是一个示例,根据具体的实现方式,本公开的电子设备可以仅包括图23所示出的组成部分中的一种或多个。
电子设备2000例如可以是通用计算机(例如膝上型计算机、平板计算机等等各种计算机)。
电子设备2000可被配置为拍摄图像,对所拍摄的图像进行处理,并且可响应于所述处理所获得的数据而提供声音提示。
电子设备2000可以包括摄像机2004,用于获取图像。摄像机2004可以包括但不限于摄像头或照相机等。电子设备2000还可以包括声音输出电路2007,所述声音输出电路2007被配置为输出声音提示。所述声音输出电路2005可以包括但不限于耳机、扬声器、或振动器等,及其相应驱动电路。电子设备2000还可以包括电子电路2100,所述电子电路2100包括被配置为执行如前所述的出料检测方法的步骤(例如图1、图4和图5、图11、图14~图18的流程图中所示的方法步骤)的电路。
根据一些实施方式,所述电子设备2000还可以包括图像处理电路2006,所述图像处理电路2006可以包括被配置为对图像进行各种图像处理的电路。图像处理电路2008例如可以包括但不限于以下中的一个或多个:被配置为对图像进行降噪的电路、被配置为对图像进行去模糊化的电路、被配置为对图像进行几何校正的电路,等等。
上述的各种电路(例如声音输出电路2005、图像处理电路2006、电子电路2100)中的一个或多个可以使用定制硬件,和/或可以用硬件、软件、固件、中间件、微代码,硬件描述语言或其任何组合来实现。例如,上述的各种电路中的一个或多个可以通过使用根据本公开的逻辑和算法,用汇编语言或硬件编程语言(诸如VERILOG,VHDL,C++)对硬件(例如,包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
根据一些实施方式,电子设备2000还可以包括通信电路2010,所述通信电路2010可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组,例如蓝牙设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
根据一些实施方式,电子设备2000还可以包括输入设备2011,所述输入设备2011可以是能向电子设备2000输入信息的任何类型的设备,并且可以包括但不限于各种传感器、鼠标、键盘、触摸屏、按钮、控制杆、麦克风和/或遥控器等等。
根据一些实施方式,电子设备2000还可以包括输出设备2012,所述输出设备2012可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、视觉输出终端、振动器和/或打印机等。基于视觉的输出终端可以方便用户或维修工作人员等从电子设备2000获得输出信息。
根据一些实施方式,电子设备2000还可以包括处理器2001。所述处理器2001可以是任何类型的处理器,并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。处理器2001例如可以是但不限于中央处理单元CPU或微处理器MPU等等。电子设备2000还可以包括工作存储器2002,所述工作存储器2002可以存储对处理器2001的工作有用的程序(包括指令)和/或数据(例如图像、文字、声音,以及其他中间数据等)的工作存储器,并且可以包括但不限于随机存取存储器和/或只读存储器设备。电子设备2000还可以包括存储设备2003,所述存储设备2003可以包括任何非暂时性存储设备,非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备,并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质,光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。工作存储器2002和存储设备2003可以被集合地称为“存储器”,并且在有些情况下可以相互兼用。
根据一些实施方式,处理器2001可以对摄像机2004、声音输出电路2005、图像处理电路2006、通信电路2010、电子电路2100以及电子设备2000包括的其他各种装置和电路中的至少一个进行控制和调度。根据一些实施方式,图19中所述的各个组成部分中的至少一些可通过总线2013而相互连接和/或通信。
软件要素(程序)可以位于所述工作存储器2002中,包括但不限于操作系统2002a、一个或多个应用程序2002b、驱动程序和/或其他数据和代码。
根据一些实施方式,用于进行前述的控制和调度的指令可以被包括在操作系统2002a或者一个或多个应用程序2002b中。
根据一些实施方式,执行本公开所述的方法步骤(例如图1和图2、图5和图6、图8、图11和图12以及图14的流程图中所示的方法步骤)的指令可以被包括在一个或多个应用程序2002b中,并且上述电子设备2000的各个模块可以通过由处理器2001读取和执行一个或多个应用程序2002b的指令来实现。换言之,电子设备2000可以包括处理器2001以及存储程序的存储器(例如工作存储器2002和/或存储设备2003),所述程序包括指令,所述指令在由所述处理器2001执行时使所述处理器2001执行如本公开各种实施例所述的方法。
根据一些实施方式,声音输出电路2005、图像处理电路2006、电子电路2100中的至少一个所执行的操作中的一部分或者全部可以由处理器2001读取和执行一个或多个应用程序2002的指令来实现。
软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如所述存储设备2003)中,并且在执行时可以被存入工作存储器2001中(可能被编译和/或安装)。因此,本公开提供存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行如本公开各种实施例所述的方法。根据另一种实施方式,软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解,可以根据具体要求而进行各种变型。例如,也可以使用定制硬件,和/或可以用硬件、软件、固件、中间件、微代码,硬件描述语言或其任何组合来实现各个电路、单元、模块或者元件。例如,所公开的方法和设备所包含的电路、单元、模块或者元件中的一些或全部可以通过使用根据本公开的逻辑和算法,用汇编语言或硬件编程语言(诸如VERILOG,VHDL,C++)对硬件(例如,包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
根据一些实施方式,电子设备2000中的处理器2001可以分布在网络上。例如,可以使用一个处理器执行一些处理,而同时可以由远离该一个处理器的另一个处理器执行其他处理。电子设备2001的其他模块也可以类似地分布。这样,电子设备2001可以被解释为在多个位置执行处理的分布式计算系统。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
以下描述本公开的一些示例性方面。
方面1.一种传送带的出料检测方法,包括:
获取第一时刻传送带上的物料的第一图像,以及第二时刻传送带上的物料的第二图像;
对所述第一图像和所述第二图像进行匹配运算,得到与所述第一图像中的第一匹配图片相匹配的所述第二图像中的第二匹配图片;以及
根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算所述第一时刻与所述第二时刻之间的出料参数。
方面2.如方面1所述的出料检测方法,还包括:
获取所述第一时刻之前传送带上的物料的整体图像;
其中,根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算所述第一时刻与所述第二时刻之间的出料参数包括:
根据所述第一位置和所述第二位置,从所述整体图像中获取输出物料图像,所述输出物料图像为所述第一时刻与所述第二时刻之间从出料口输出的一段物料的图像;以及
根据所述输出物料图像的图像特征计算所述第一时刻与所述第二时刻之间的出料参数。
方面3.如方面2所述的出料检测方法,其中,所述整体图像为包括物料的深度数据的深度图像;
根据所述输出物料图像的图像特征计算所述第一时刻与所述第二时刻之间的出料参数包括:
根据所述输出物料图像的深度数据,计算所述第一时刻与所述第二时刻之间的出料参数。
方面4.如方面3所述的出料检测方法,其中,获取第一时刻之前传送带上的物料的整体图像包括:
在所述第一时刻之前,在不同位置获取传送带上的物料的多个局部深度图像,利用点云匹配算法对所述多个局部深度图像进行拼接,得到所述第一时刻之前传送带上的所有物料的整体图像。
方面5.如方面2所述的出料检测方法,其中,在所述第一时刻之前所述传送带为停止出料状态,所述整体图像为所述第一时刻传送带上的所有物料的图像;
所述输出物料图像为所述整体图像中的对应出料口处的一段图像。
方面6.如方面2所述的出料检测方法,其中,在所述第一时刻之前所述传送带为出料状态,并自一初始时刻开始持续出料,所述整体图像为所述初始时刻传送带上的物料的图像;
根据所述第一位置和第二位置,从所述整体图像中获取输出物料图像包括:
根据所述第一位置和第二位置、所述初始时刻和第一时刻之间的出料时长以及所述第一时刻和第二时刻之间的出料时长,从所述整体图像中获取第一时刻与第二时刻之间的输出物料图像。
方面7.如方面1所述的出料检测方法,其中,所述第一图像和第二图像为传送带上的不同区域内的物料的图像;
根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算第一时刻与第二时刻之间的出料参数包括:
根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置以及拍摄第一图像的摄像机的位置和拍摄第二图像的摄像机的位置,计算第一时刻与第二时刻之间的出料参数。
方面8.如方面7所述的出料检测方法,其中,根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置以及拍摄第一图像的摄像机的位置和拍摄第二图像的摄像机的位置,计算第一时刻与第二时刻对应的出料参数包括:
基于拍摄第一图像的摄像机和拍摄第二图像的摄像机分别在世界坐标系中的位置以及所述第一位置和所述第二位置,计算所述第一图像中的第一匹配图片在世界坐标系中的第一世界坐标位置,以及所述第二图像中的第二匹配图片在世界坐标系中的第二世界坐标位置;
根据所述第一世界坐标位置和所述第二世界坐标位置,计算第一时刻与第二时刻之间的出料参数。
方面9.如方面7所述的出料检测方法,其中,在拍摄所述第一图像时,传送带上的与所述第一图像对应的物料区域与出料口位于相对于所述传送带上的物料的中心的相对两侧。
方面10.如方面1所述的出料检测方法,其中,所述第一图像和第二图像分别为第一时刻和第二时刻传送带上的一设定区域中的物料的图像。
方面11.如方面10所述的出料检测方法,还包括:
获取第三时刻传送带上的所述设定区域中的物料的第三图像,所述第三时刻位于所述第二时刻之后;
对所述第二图像和第三图像进行匹配运算,得到与第二图像中的第四匹配图片相匹配的第三图像中的第五匹配图片;
根据所述第四匹配图片在所述第二图像中的第四位置和所述第五匹配图片在所述第三图像中的第五位置,计算第二时刻与第三时刻之间的出料参数;
根据所述第一时刻与第二时刻之间的出料参数以及所述第二时刻与第三时刻之间的出料参数,计算所述第一时刻与第三时刻之间的出料参数。
方面12.如方面2所述的出料检测方法,其中,所述第一图像为所述整体图像的一部分或全部。
方面13.如方面12所述的出料检测方法,其中,所述第一时刻之前传送带为停止出料状态,并自所述第一时刻开始出料且出料一时间段后停止出料,所述第二时刻传送带为停止出料状态;所述传送带的上方设置有布料车,所述布料车被配置为在所述传送带上布料;所述布料车上设置有用于拍摄物料图像的至少一个摄像机;
获取第二时刻传送带上的物料的第二图像包括:
在自所述第一时刻开始出料且出料一时间段后停止出料之后驱动布料车以传送带的理论传送速度朝向出料口移动;
获取所述至少一个摄像机在布料车的移动过程中拍摄的至少两个第二待匹配图像;
将所述至少两个第二待匹配图像依次与所述整体图像进行匹配运算,直至得到一个具有与所述整体图像中的第一匹配图片相匹配的第二匹配图片的第二待匹配图像,并将该第二待匹配图像作为第二图像。
方面14.如方面2所述的出料检测方法,其中,获取第一时刻传送带上的物料的第一图像包括:
获取第一时刻传送带上的至少两个第一待匹配图像;
将所述至少两个第一待匹配图像与所述整体图像进行匹配运算,将具有与所述整体图像中的初始匹配图片相匹配的第三匹配图片的第一待匹配图像作为第一图像。
方面15.如方面14所述的出料检测方法,其中,自所述第一出料时刻之前的一初始时刻开始持续出料,所述整体图像为所述初始时刻传送带上的物料的图像;
所述传送带的上方设置有布料车,所述布料车被配置为在所述传送带上布料;所述布料车上设置有用于拍摄物料图像的至少两个摄像机,所述至少两个摄像机的拍摄范围能够覆盖布料车下方的所有区域;
所述出料检测方法还包括:
在出料过程中,驱动布料车以传送带的理论传送速度朝向出料口移动;
控制所述至少两个摄像机在布料车移动过程中拍摄的图像;
其中,所述至少两个第一待匹配图像分别由所述至少两个摄像机中对应的其中一个在第一时刻拍摄得到。
方面16.如方面15所述的出料检测方法,其中,获取第二时刻传送带上的物料的第二图像包括:
获取第二时刻所述至少两个摄像机拍摄的至少两个第二待匹配图像;
将所述至少两个第二待匹配图像依次与所述第一图像进行匹配运算,直至得到一个具有与所述第一图像中的第一匹配图片相匹配的第二匹配图片的第二待匹配图像,并将该第二待匹配图像作为第二图像。
方面17.如方面14所述的出料检测方法,其中,将所述至少两个第一待匹配图像与所述整体图像进行匹配运算,将具有与所述整体图像中的初始匹配图片相匹配的第三匹配图片的第一待匹配图像,并将该第一待匹配图像作为第一图像包括:
从所述整体图像中截取初始匹配图片;
将所述初始匹配图片与其中一个第一待匹配图像进行匹配运算;
判断该第一待匹配图像是否具有与所述初始匹配图片匹配的第三匹配图片;
如果该第一待匹配图像具有与所述初始图片匹配的第三匹配图片,则将匹配的第一待匹配图像作为第一图像。
方面18.如方面17所述的出料检测方法,其中,将所述至少两个第一待匹配图像与所述整体图像进行匹配运算,将具有与所述整体图像中的初始匹配图片相匹配的第三匹配图片的第一待匹配图像,并将该第一待匹配图像作为第一图像还包括:
如果该第一待匹配图像不具有与所述初始匹配图片匹配的第三匹配图片,则将所述初始匹配图片与另一个第一待匹配图像进行匹配运算。
方面19.如方面18所述的出料检测方法,其中,所述初始匹配图片为条形图片,所述传送带上的与所述初始匹配图片对应的物料所在的条形区域的长度延伸方向与传送带的传送方向垂直。
方面20.如方面1所述的出料检测方法,其中,对所述第一图像和第二图像进行匹配运算,得到与第一图像的第一匹配图片相匹配的第二图像的第二匹配图片包括:
从所述第一图像中截取一个第一图片;
将该第一图片与所述第二图像进行匹配运算;
判断所述第二图像中是否具有与该第一图片匹配的第二图片;
如果所述第二图像中具有与该第一图片匹配的第二图片,将匹配的第一图片作为所述第一匹配图片,将匹配的第二图片作为所述第二匹配图片。
方面21.如方面20所述的出料检测方法,其中,对所述第一图像和第二图像进行匹配运算,得到与第一图像的第一匹配图片相匹配的第二图像的第二匹配图片还包括:
如果所述第二图像中不具有与该第一图片匹配的第二图片,从所述第一图像中截取另一个第一图片,以与所述第二图像再次进行匹配运算。
方面22.如方面20所述的出料检测方法,其中,所述第一图片为条形图片,所述传送带上的与该第一图片对应的物料所在的条形区域的长度延伸方向与传送带的传送方向垂直。
方面23.如方面20所述的出料检测方法,其中,所述第一图像和第二图像中的每一个均为深度图像;
将该第一图片与所述第二图像进行匹配运算,并判断所述第二图像中是否具有与该第一图片匹配的第二图片包括:
将该第一图片与所述第二图像进行滑动对比,计算该第一图片的像素单元与所述第二图像的多个滑动窗口中的像素单元之间的深度数据的匹配误差;
将最小匹配误差对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。
方面24.如方面23所述的出料检测方法,其中,计算该第一图片的像素单元与所述第二图像的多个滑动窗口中的像素单元之间的深度数据的匹配误差包括:
采用基于灰度的模板匹配算法计算该第一图片的像素单元与所述第二图像的所有滑动窗口中的像素单元之间的深度数据的匹配误差。
方面25.如方面23所述的出料检测方法,其中,将所述最小匹配误差对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片包括:
判断所述最小匹配误差是否小于第一阈值;
如果是,将所述最小匹配误差对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。
方面26.如方面20所述的出料检测方法,其中,所述第一图像和第二图像中的每一个均为平面图像;
将该第一图片与所述第二图像进行匹配运算,并判断所述第二图像中是否具有与该第一图片匹配的第二图片包括:
将该第一图片与所述第二图像进行滑动对比,计算该第一图片的表面特征与该第二图像的多个滑动窗口中的图片的表面特征之间的匹配程度;
将最高匹配程度对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。
方面27.如方面26所述的出料检测方法,其中,计算该第一图片的表面特征与该第二图像的多个滑动窗口中的图片的表面特征之间的匹配程度包括:
采用基于特征的匹配算法计算该第一图片的表面特征与该第二图像的多个滑动窗口中的图片的表面特征之间的匹配程度。
方面28.如方面26所述的出料检测方法,其中,将最高匹配程度对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片包括:
判断所述最高匹配程度是否大于第二阈值;
如果是,将最高匹配程度对应的滑动窗口中的图片确定为与该第一图片匹配的第二图片。
方面29.如方面20所述的出料检测方法,其中,所述第一图片靠近所述第一图像的中心。
方面30.如方面1所述的出料检测方法,还包括:
获取传送带上的物料的远离出料口的一端与出料口之间的距离;
当所述距离小于预设值时,获取传送带上的尾料的图像;
根据所述尾料图像的图像特征计算尾料参数。
方面31.如方面30所述的出料检测方法,其中,所述尾料图像为包括物料的深度数据的深度图像;
根据所述尾料图像的图像特征计算传送带上的尾料参数包括:
根据所述尾料图像的深度数据计算传送带上的尾料体积。
方面32.如方面1所述的出料检测方法,其中,所述第一图像和第二图像中的每一个均为传送带上的物料的录像视频中的一帧图像,或
所述第一图像和第二图像为间隔拍摄的传送带上的物料的照片。
方面33.如方面2~29中任一项所述的出料检测方法,其中,所述出料参数包括出料体积。
方面34.如方面33所述的出料检测方法,其中,所述整体图像为包括物料的深度数据的深度图像;
根据所述输出物料图像的图像特征计算所述第一时刻与所述第二时刻之间的出料参数包括:
根据所述输出物料图像的深度数据计算所述第一时刻与所述第二时刻之间的出料体积。
方面35.如方面34所述的出料检测方法,其中,根据所述输出物料图像的深度数据计算所述第一时刻与所述第二时刻之间的出料体积包括:
从所述输出物料图像中获取与传送带的传送方向垂直的多个物料截面所对应的深度数据;
根据对应的深度数据计算所述多个物料截面中每一个物料截面的面积;以及
根据所述多个物料截面中的其中之一的面积和所述多个物料截面的面积的平均值中的一个以及所述第一位置和第二位置,计算所述第一时刻与第二时刻之间的出料体积。
方面36.如方面34所述的出料检测方法,其中,所述输出物料图像为还包括物料的位于一二维坐标系中的二维坐标的深度图像,所述二维坐标系位于传送带的表面所在的平面内;
根据所述输出物料图像的深度数据计算第一时刻与第二时刻之间的出料体积包括:
根据所述输出物料图像的多个深度数据,计算第一时刻与第二时刻之间输出的物料表面的多个高度数据;
获取所述输出的物料表面上的与所述多个高度数据一一对应的多个点;
针对所述多个点中的所有相邻的三个点,计算以相邻的每三个点在传送带的表面上的投影作为顶点的三角形的面积;
针对所述多个点中的所有相邻的三个点,将相邻的每三个点对应的三个高度数据中的其中之一和三个高度数据的平均值中的一个,与对应的三角形的面积相乘以获得乘积;以及
将所有相邻的三个点对应的多个乘积求和以获得出料体积。
方面37.如方面1所述的出料检测方法,在传送带上完成布料后,且在传送带出料之前,还包括:
在不同位置获取传送带上的物料的多个局部深度图像,利用点云匹配运算拼接得到传送带上的所有物料的初始物料图像;
根据初始物料图像的深度数据,计算传送带上的物料的初始体积;以及
根据所述初始体积和在传送带上布料的质量,计算传送带上物料的密度;
其中,根据所述输出物料图像的图像特征计算第一时刻至第二时刻之间的出料参数包括:
根据所述输出物料图像的图像特征计算第一时刻与第二时刻的出料体积,并根据所述出料体积和所述密度,来计算第一时刻与第二时刻之间的出料质量。
方面38.一种传送带的出料检测方法,包括:
获取第一出料状态传送带上的所有物料的第一图像,获取第二出料状态传送带上的所有物料的第二图像,所述第一图像和所述第二图像均为包括物料的深度数据的深度图像;
根据对应的深度数据,计算所述第一图像中的所有物料的第一体积和所述第二图像中的所有物料的第二体积;以及
计算所述第一体积和所述第二体积之间的差值以获得所述第一出料状态与所述第二出料状态之间的出料体积。
方面39.一种电子电路,包括:
被配置为执行根据方面1~38中任一项所述的出料检测方法的步骤的电路。
方面40.一种传送带的出料检测设备,包括:
方面39所述的电子电路;
摄像机,被配置为拍摄传送带上的物料的图像;以及
传送带,所述传送带的一端位于出料口的上方,所述传送带被配置为将物料出料口输出。
方面41.如方面40所述的出料检测设备,还包括:
布料车,被配置为在所述传送带上布料;
其中,所述摄像机固定在所述布料车上。
方面42.如方面41所述的出料检测设备,所述出料检测设备包括至少两个摄像机,所述至少两个摄像机沿传送带的传送方向分布;
还包括:
驱动机构,被配置为能够在出料过程中驱动所述布料车以传送带的理论传送速度朝向出料口方向移动。
方面43.如方面40所述的出料检测设备,在垂直于传送带的传送方向上,所述摄像机位于所述传送带的一侧,且所述摄像机的光轴倾斜设置,以使得在垂直于传送带的传送方向上摄像机的拍摄范围能够覆盖所述传送带的表面。
方面44.一种电子设备,包括:
处理器;以及
存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据方面1~38中任一项所述的出料检测方法。
方面45.一种存储程序的非暂态计算机可读存储介质,所述程序包括指令,所述指令在由出料检测设备的处理器执行时,致使所述电子设备执行根据方面1~38中任一项所述的出料检测方法。

Claims (10)

1.一种传送带的出料检测方法,包括:
获取第一时刻传送带上的物料的第一图像,以及第二时刻传送带上的物料的第二图像;
对所述第一图像和所述第二图像进行匹配运算,得到与所述第一图像中的第一匹配图片相匹配的所述第二图像中的第二匹配图片;以及
根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算所述第一时刻与所述第二时刻之间的出料参数。
2.如权利要求1所述的出料检测方法,还包括:
获取所述第一时刻之前传送带上的物料的整体图像;
其中,根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算所述第一时刻与所述第二时刻之间的出料参数包括:
根据所述第一位置和所述第二位置,从所述整体图像中获取输出物料图像,所述输出物料图像为所述第一时刻与所述第二时刻之间从出料口输出的一段物料的图像;以及
根据所述输出物料图像的图像特征计算所述第一时刻与所述第二时刻之间的出料参数。
3.如权利要求2所述的出料检测方法,其中,在所述第一时刻之前所述传送带为停止出料状态,所述整体图像为所述第一时刻传送带上的所有物料的图像;
所述输出物料图像为所述整体图像中的对应出料口处的一段图像。
4.如权利要求1所述的出料检测方法,其中,所述第一图像和第二图像为传送带上的不同区域内的物料的图像;
根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置,计算第一时刻与第二时刻之间的出料参数包括:
根据所述第一匹配图片在所述第一图像中的第一位置和所述第二匹配图片在所述第二图像中的第二位置以及拍摄第一图像的摄像机的位置和拍摄第二图像的摄像机的位置,计算第一时刻与第二时刻之间的出料参数。
5.如权利要求1~4中任一项所述的出料检测方法,其中,所述出料参数包括出料体积。
6.一种传送带的出料检测方法,包括:
获取第一出料状态传送带上的所有物料的第一图像,获取第二出料状态传送带上的所有物料的第二图像,所述第一图像和所述第二图像均为包括物料的深度数据的深度图像;
根据对应的深度数据,计算所述第一图像中的所有物料的第一体积和所述第二图像中的所有物料的第二体积;以及
计算所述第一体积和所述第二体积之间的差值以获得所述第一出料状态与所述第二出料状态之间的出料体积。
7.一种电子电路,包括:
被配置为执行根据权利要求1~6中任一项所述的出料检测方法的步骤的电路。
8.一种传送带的出料检测设备,包括:
权利要求7所述的电子电路;
摄像机,被配置为拍摄传送带上的物料的图像;以及
传送带,所述传送带的一端位于出料口的上方,所述传送带被配置为将物料出料口输出。
9.一种电子设备,包括:
处理器;以及
存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1~6中任一项所述的出料检测方法。
10.一种存储程序的非暂态计算机可读存储介质,所述程序包括指令,所述指令在由出料检测设备的处理器执行时,致使所述电子设备执行根据权利要求1~6中任一项所述的出料检测方法。
CN202010070973.8A 2020-01-21 2020-01-21 传送带的出料检测方法及设备、电路和介质 Active CN111291654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010070973.8A CN111291654B (zh) 2020-01-21 2020-01-21 传送带的出料检测方法及设备、电路和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010070973.8A CN111291654B (zh) 2020-01-21 2020-01-21 传送带的出料检测方法及设备、电路和介质

Publications (2)

Publication Number Publication Date
CN111291654A true CN111291654A (zh) 2020-06-16
CN111291654B CN111291654B (zh) 2023-10-17

Family

ID=71026486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070973.8A Active CN111291654B (zh) 2020-01-21 2020-01-21 传送带的出料检测方法及设备、电路和介质

Country Status (1)

Country Link
CN (1) CN111291654B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857219A (zh) * 2021-01-14 2021-05-28 青岛大学威海创新研究院 基于tof深度相机的体积测量方法及装置
CN114136419A (zh) * 2021-10-29 2022-03-04 江苏中烟工业有限责任公司 储柜剩料量的计量方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103230957A (zh) * 2013-03-28 2013-08-07 广东永利坚铝业有限公司 检测型材速度的方法及其加工监测系统
CN103557917A (zh) * 2013-10-28 2014-02-05 天津华宁电子有限公司 基于运输设备上的煤量计算方法
CN104019857A (zh) * 2014-06-21 2014-09-03 辽宁工程技术大学 一种测量盾构机出料体积的系统及其方法
CN105491349A (zh) * 2015-12-31 2016-04-13 天津市三特电子有限公司 皮带群组异常状态自动巡视检测系统及其检测方法
CN107980138A (zh) * 2016-12-28 2018-05-01 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
WO2019051961A1 (zh) * 2017-09-18 2019-03-21 深圳大学 一种管道检测方法、装置以及存储介质
CN110520694A (zh) * 2017-10-31 2019-11-29 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103230957A (zh) * 2013-03-28 2013-08-07 广东永利坚铝业有限公司 检测型材速度的方法及其加工监测系统
CN103557917A (zh) * 2013-10-28 2014-02-05 天津华宁电子有限公司 基于运输设备上的煤量计算方法
CN104019857A (zh) * 2014-06-21 2014-09-03 辽宁工程技术大学 一种测量盾构机出料体积的系统及其方法
CN105491349A (zh) * 2015-12-31 2016-04-13 天津市三特电子有限公司 皮带群组异常状态自动巡视检测系统及其检测方法
CN107980138A (zh) * 2016-12-28 2018-05-01 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
WO2019051961A1 (zh) * 2017-09-18 2019-03-21 深圳大学 一种管道检测方法、装置以及存储介质
CN110520694A (zh) * 2017-10-31 2019-11-29 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁娜;宋伟刚;姜涛;: "散状物料输送机称重的图像处理方法初步研究", no. 12 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857219A (zh) * 2021-01-14 2021-05-28 青岛大学威海创新研究院 基于tof深度相机的体积测量方法及装置
US11335018B1 (en) 2021-01-14 2022-05-17 Weihai Innovation Institute, Qingdao University Volumetric measuring method and apparatus based on time-of-flight depth camera
CN114136419A (zh) * 2021-10-29 2022-03-04 江苏中烟工业有限责任公司 储柜剩料量的计量方法及装置
CN114136419B (zh) * 2021-10-29 2023-05-23 江苏中烟工业有限责任公司 储柜剩料量的计量方法及装置

Also Published As

Publication number Publication date
CN111291654B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN111252497B (zh) 传送带的出料检测方法及设备、电路和介质
CN106796657B (zh) 用于多目标对象跟踪的自动目标选择
US10531069B2 (en) Three-dimensional image sensors
KR102150776B1 (ko) 얼굴 위치 추적 방법, 장치 및 전자 디바이스
US9589362B2 (en) System and method of three-dimensional model generation
US9646389B2 (en) Systems and methods for image scanning
CN111291654A (zh) 传送带的出料检测方法及设备、电路和介质
US20140218569A1 (en) Imaging apparatus, control method therefor, and storage medium
EP3115935B1 (en) A method, apparatus, computer program and system for image analysis
US10187607B1 (en) Systems and methods for using a variable capture frame rate for video capture
US11882380B2 (en) Systems and methods for generating time-lapse videos
WO2019183914A1 (en) Dynamic video encoding and view adaptation in wireless computing environments
CN108764078A (zh) 一种事件数据流的处理方法及计算设备
WO2013093807A2 (en) Method and apparatus for tracking an area of interest in a captured image sequence
JP2006115323A5 (zh)
CN105791703A (zh) 一种拍摄方法及终端
EP3109695A1 (en) Method and electronic device for automatically focusing on moving object
US8965045B2 (en) Image capture
US9204047B2 (en) Imaging
CN210694144U (zh) 摄像机安装装置及物料检测设备
KR102174808B1 (ko) 픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어
CN107852461B (zh) 用于执行图像捕获的方法和设备
US9888169B2 (en) Method, apparatus and computer program for automatically capturing an image
EP2929328B1 (en) Counting gemstones using image processing
JP7176719B2 (ja) 検出装置、検出システム、検出方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant