CN114820773B - 基于计算机视觉的筒仓运输车辆车厢位置检测方法 - Google Patents
基于计算机视觉的筒仓运输车辆车厢位置检测方法 Download PDFInfo
- Publication number
- CN114820773B CN114820773B CN202210730828.7A CN202210730828A CN114820773B CN 114820773 B CN114820773 B CN 114820773B CN 202210730828 A CN202210730828 A CN 202210730828A CN 114820773 B CN114820773 B CN 114820773B
- Authority
- CN
- China
- Prior art keywords
- image
- window
- obtaining
- fidelity
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 25
- 239000003245 coal Substances 0.000 claims abstract description 13
- 230000001788 irregular Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及一种基于计算机视觉的筒仓运输车辆车厢位置检测方法。该方法包括:获取运输车运煤过程中的多帧运输过程图像的模糊区域图像;初始化任意大小的第一模糊核和第二模糊核,从而根据第一模糊核和第二模糊核获取模糊区域图像中每个像素点对应的灰度差异性和结构相似性,基于每个像素点的灰度差异性和结构相似性得到该模糊区域图像的去模糊图像;进而获取每个去模糊图像对应的最优模糊核,基于最优模糊核对对应的去模糊图像进行去卷积处理得到优化图像;通过优化图像判断运输车的位置。减少了由于图像模糊对车厢检测的误差,保证了分析的准确性。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于计算机视觉的筒仓运输车辆车厢位置检测方法。
背景技术
煤炭是我国重要的能源之一,素有“工业粮食”之称,而我国煤炭资源十分丰富,储量居世界之首;运输车承担着全国大部分煤炭的运输,因此运输车运输调配煤炭是煤炭产业的重中之重。
对于运输车在煤场筒仓装载煤炭时,运输车到了筒仓下方,司机是无法查看车厢位置是否停正的,只能靠现场工人帮助指挥才能停准位置。而传统的方法中,可以依靠光栅进行测量,通过不同出光栅的测量值进行对比,判断车厢的位置是否准确到位;但是这种方法所用光栅数量较多,且光栅造价较高,极大的提高了生产成本,并且这种测量方法极易受到光栅安装位置的影响,若光栅安装不齐,就会产生较大误差。因此出现了利用机器视觉进行识别的方法,但是在进行车厢识别时往往会存在聚焦不准、车辆运动以及环境因素的影响,从而导致图像变得模糊不清,使得基于图像的车厢检测出现较大的误差。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,所采用的技术方案具体如下:
获取运输车运煤过程中的多帧运输过程图像,根据相邻两帧所述运输过程图像差分得到所述运输车的模糊区域图像;
初始化任意大小的第一模糊核和第二模糊核;选取所述模糊区域图像中任意像素点为待处理点,利用所述第一模糊核对所述待处理点去卷积得到第一窗口,利用所述第二模糊核对所述待处理点去卷积得到第二窗口;基于所述第一窗口与所述第二窗口得到所述待处理点的灰度差异性和结构相似性;
根据所有像素点对应的所述灰度差异性和所述结构相似性得到边角区域,根据所述边角区域内像素点的位置得到所述模糊区域图像的多个去模糊图像;
基于任意所述去模糊图像中所有像素点对应的灰度差异性和结构相似性得到所述去模糊图像的调整参数,根据所述调整参数对所述第一模糊核调整得到优化小模糊核,根据所述调整参数对所述第二模糊核调整得到优化大模糊核;
获取所述优化小模糊核对所述去模糊图像处理的第一保真度与所述优化大模糊核对所述去模糊图像处理的第二保真度,根据所述第一保真度与第二保真度与预设阈值进行比较得到最优模糊核;根据所述最优模糊核对对应的去模糊图像进行去卷积处理得到优化图像;
获取所述优化图像中运输车的车厢边缘区域,基于所述车厢边缘区域判断所述运输车的位置。
优选的,所述基于所述第一窗口与所述第二窗口得到所述待处理点的灰度差异性的步骤,包括:
获取第一窗口内每一行对应的代表值,基于相邻行之间代表值的差异得到每行的行差异度;获取第一窗口内每一列对应的代表值,基于相邻列之间代表值的差异得到每列的列差异度;
获取所述第一窗口内所有行对应的行差异度与所有列对应的列差异度的求和,基于求和结果得到所述第一窗口的第一灰度差异性;
获取第二窗口内每一行对应的代表值,基于相邻行之间代表值的差异得到每行的行差异度;获取第二窗口内每一列对应的代表值,基于相邻列之间代表值的差异得到每列的列差异度;
获取所述第二窗口内所有行对应的行差异度与所有列对应的列差异度的求和,基于求和结果得到所述第二窗口的第二灰度差异性;
所述第一灰度差异性与所述第二灰度差异性的比值为所述灰度差异性。
优选的,所述基于所述第一窗口与所述第二窗口得到所述待处理点的结构相似性的步骤,包括:
获取第一窗口内所有像素点像素值的平均值和方差,获取第二窗口内所有像素点像素值的平均值和方差,获取第一窗口与第二窗口的协方差,根据平均值、方差以及协方差得到所述待处理点的结构相似性。
优选的,所述根据所有像素点对应的所述灰度差异性和所述结构相似性得到边角区域的步骤,包括:
根据每个像素点对应的结构相似性与灰度差异性的比值得到所述像素点为边角区域的隶属度,所有所述隶属度大于预设阈值的像素点构成点集合;
将所述点集合中所有的像素点基于欧式距离聚类得到4个类别,每个所述类别为一个边角区域。
优选的,所述根据所述边角区域内像素点的位置得到所述模糊区域图像的多个去模糊图像的步骤,包括:
以所述运输过程图像左下角为原点构建二维坐标系,获取每个所述边角区域中y轴的最小值和最大值,以及x轴的最小值和最大值,分别表示为:
其中,表示第一个边角区域中像素点在轴的最小值;表示第一个边角区域中像素点在轴的最大值;表示第一个边角区域中像素点在轴的最小值;表示第一个边角区域中像素点在轴的最大值;以此类推,表示第四个边角区域中像素点在轴的最大值;
由、、以及构成的不规则区域图像为第一个边角区域与第二个边角区域之间的去模糊图像;由、、以及构成的不规则区域图像为第二个边角区域与第三个边角区域之间的去模糊图像;由、、以及构成的不规则区域图像为第三个边角区域与第四个边角区域之间的去模糊图像;由、、以及构成的不规则区域图像为第四个边角区域与第一个边角区域之间的去模糊图像。
优选的,所述基于任意所述去模糊图像中所有像素点对应的灰度差异性和结构相似性得到所述去模糊图像的调整参数的步骤,包括:
所述调整参数的计算公式为:
优选的,所述获取所述优化小模糊核对所述去模糊图像处理的第一保真度的步骤,包括:
获取所述运输车辆在标准位置静止时的清晰图像;
基于所述优化小模糊核对所述去模糊图像中每个像素点进行去模糊处理得到新的像素值,根据每个像素点新的像素值与所述清晰图像中对应位置像素点的像素值之间的差异计算第一保真度,所述第一保真度的计算方法为:
优选的,所述根据所述第一保真度与第二保真度与预设阈值进行比较得到最优模糊核的步骤,包括:
当优化小模糊核与优化大模糊核对应的第一保真度或者第二保真度里任意一个大于预设阈值时,则大于预设阈值的保真度对应的模糊核为最优模糊核;
当优化小模糊核与优化大模糊核对应的第一保真度和第二保真度均大于预设阈值时,选择保真度较大时对应的模糊核为最优模糊核;
当优化小模糊核与优化大模糊核对应的第一保真度和第二保真度均小于预设阈值时,对优化小模糊核的大小与优化大模糊核的大小继续调整,所述调整的方法为利用重新计算的调整参数进行调整,基于调整后的模糊核计算对应的保真度,直至存在所述保真度大于预设阈值时停止调整,所述保真度对应的模糊核为最优模糊核。
本发明具有如下有益效果:本发明实施例通过获取车辆的运输过程图像中的模糊区域图像,得到模糊区域图像中的去模糊图像,进一步对每个去模糊图像自适应设定最优模糊核进行去模糊操作,在确定最优模糊核时结合每个模糊核处理后的灰度差异性以及结构相似性等特征进行分析;从而基于最优模糊核得到优化图像,根据最优图像得到车辆车厢的实际位置,减少了由于图像模糊对车厢检测的误差,保证了分析的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于计算机视觉的筒仓运输车辆车厢位置检测的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例适用于对车辆车厢运动过程中图像的去模糊处理,为了解决由于图像模糊造成车厢位置判断不准确的问题,本实施例通过获取去模糊图像,然后对每个去模糊图像进行自适应模糊核的选取,基于最优的模糊核进行去模糊操作得到最终的优化图像,基于优化图像对车辆车厢的位置进行分析,使得车厢位置识别的结果更加准确,极大减少了分析的误差。
下面结合附图具体的说明本发明所提供的一种基于计算机视觉的筒仓运输车辆车厢位置检测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于计算机视觉的筒仓运输车辆车厢位置检测的方法流程图,该方法包括以下步骤:
步骤S100,获取运输车运煤过程中的多帧运输过程图像,根据相邻两帧运输过程图像差分得到运输车的模糊区域图像。
在运输车辆进行运煤时,需要将该运输车辆停进筒仓中并确保筒仓的仓口对准运输车辆的车厢位置,以使得煤块可以准确的倒入运输车辆的车厢中;为了保证筒仓的仓口对准运输车辆车厢位置,对运输车辆的车厢位置进行识别并分析其位移量。
本发明实施例中在运输车辆进入筒仓时进行图像采集,在筒仓内设置CCD相机进行采集,该相机的灵敏度高且可以进行高速拍摄,由于运输车一直处于移动过程中,因此采集该运输车的多帧运输过程图像;并且由于运输车的运动可能会造成CCD相机聚焦不准确,从而会使得CCD相机采集的运输过程图像模糊不清,因此需要对运输过程图像的模糊区域图像进行处理。
获取模糊区域图像的方法具体为:对相邻两帧运输过程图像进行差分得到的运输车的移动区域,即对当前帧的运输过程图像与前一帧的运输过程图像进行差分得到的结果为该运输车的移动区域。由于模糊区域主要是运输车的移动产生的,因此运输车的移动区域即为模糊区域,其他区域为非模糊区域,从而得到该运输过程图像中的模糊区域图像。
步骤S200,初始化任意大小的第一模糊核和第二模糊核;选取模糊区域图像中任意像素点为待处理点,利用第一模糊核对待处理点去卷积得到第一窗口,利用第二模糊核对待处理点去卷积得到第二窗口;基于第一窗口与第二窗口得到待处理点的灰度差异性和结构相似性。
由步骤S100中得到运输过程图像中的模糊区域图像,进一步需要对模糊区域图像中的模糊情况进行消除,本发明实施例中采用非盲去卷积方法进行模糊区域的消除,而在采用非盲去卷积方法时需要设置特定大小的模糊核,模糊核过大时,会使得除目标像素之外的其他像素也被去模糊,从而导致统计去模糊的像素性质过多,造成图像去模糊效果不好;模糊核过小时,会使得较少的目标像素参与去模糊过程,同样造成图像去模糊效果不佳。传统获取模糊核的方法往往是通过不断的迭代去计算得到最优的模糊核,但该方法的计算量较大,从而导致效率较低;因此本发明实施例对模糊核的大小进行自适应调整。
具体的,首先初始化任意两个大小的模糊核记为第一模糊核和第二模糊核,第一模糊核与第二模糊核的大小不同,且第一模糊核与第二模糊核的边长均为奇数;本发明实施例中第一模糊核设置为最小模糊核,即该第一模糊核的大小为;利用这两个模糊核分别在模糊区域图像上滑窗进行去模糊处理,即利用第一模糊核和第二模糊核分别在模糊区域图像上对同一个像素点进行去模糊处理。
任意选取一个像素点为待处理点,利用第一模糊核与第二模糊核分别对该待处理点进行去卷积处理,分别得到处理之后的第一窗口和第二窗口,第一窗口的大小与第一模糊核大小一致,第二窗口的大小与第二模糊核大小一致;基于第一窗口与第二窗口内所有像素点的信息获取该待处理点对应的灰度差异性和结构相似性。
(1)灰度差异性的获取。
获取第一窗口内每一行对应的代表值,基于相邻行之间代表值的差异得到每行的行差异度;获取第一窗口内每一列对应的代表值,基于相邻列之间代表值的差异得到每列的列差异度;获取第一窗口内所有行对应的行差异度与所有列对应的列差异度的求和,基于求和结果得到第一窗口的第一灰度差异性;获取第二窗口内每一行对应的代表值,基于相邻行之间代表值的差异得到每行的行差异度;获取第二窗口内每一列对应的代表值,基于相邻列之间代表值的差异得到每列的列差异度;获取第二窗口内所有行对应的行差异度与所有列对应的列差异度的求和,基于求和结果得到第二窗口的第二灰度差异性;第一灰度差异性与第二灰度差异性的比值为灰度差异性。
具体的,以待处理点的第一窗口为例,获取该第一窗口内每行的代表值,该代表值由对应行内像素点的像素值得到,即代表值的计算为:
以此类推,获取第一窗口内每一行的代表值,基于相邻行的代表值计算行差异度为:
进一步的,计算每一列的代表值,即每列所有像素点的灰度均值;基于每列的代表值计算每列的列差异度,计算方法与行差异度一致。基于第一窗口内每行的行差异度、每列的列差异度计算该第一窗口的第一灰度差异性为:
相应的,基于上述计算第一窗口的第一灰度差异性相同的方法,获取第二窗口的第二灰度差异性,基于第一灰度差异性与第二灰度差异性得到该待处理点对应的灰度差异性为:
(2)结构相似性的获取。
基于第一窗口以及第二窗口内像素点的灰度值进行分析,获取第一窗口内所有像素点像素值的平均值以及第二窗口内所有像素点像素值的平均值,进一步获取第一窗口内所有像素点的方差、第二窗口内所有像素点的方差以及第一窗口与第二窗口的协方差;根据平均值、方差以及协方差得到该待处理点对应的结构相似性为:
步骤S300,根据所有像素点对应的灰度差异性和结构相似性得到边角区域,根据边角区域内像素点的位置得到模糊区域图像的多个去模糊图像。
一般在对图像进行去模糊处理时,往往只需要对关注的模糊区域进行处理,但本发明实施例中目的是为了准确找到车厢的位置,因此仅需要对运输车车厢的边缘区域进行去模糊处理即可,通过运输车车厢边缘的边角点区域获取去模糊图像,该去模糊图像即为对模糊区域图像进行去模糊的路径。
根据每个像素点对应的结构相似性与灰度差异性的比值得到像素点为边角区域的隶属度,所有隶属度大于预设阈值的像素点构成点集合;将点集合中所有的像素点基于欧式距离聚类得到4个类别,每个类别为一个边角区域。
具体的,因为运输车车厢的四个边角区域都为明显的直角结构,因此在不同大小的模糊核进行滑动的过程中,边角区域的的结构相似性基本相同;并且因为边角区域相较于车厢中间边缘线的实际结构比较稳定,因此在边角区域的灰度差异性也较小。获取模糊区域图像中每个像素点通过第一模糊核与第二模糊核处理之后的第一窗口和第二窗口,进一步获取模糊区域图像中每个像素点对应的灰度差异性和结构相似性,基于每个像素点对应的灰度差异性和结构相似性得到该像素点可能为边角区域的隶属度为:
结构相似性越大,灰度差异性越小时,像素点为边角区域的隶属度越大;由实施者基于实际情况设置预设阈值,当像素点隶属度大于该预设阈值时,将像素点进行标记从而得到被标记的像素点的点集合。
进一步的,对得到的点集合中所有的像素点进行分类,基于像素点在图像中实际坐标位置计算每两个像素点之间的欧式距离,以欧式距离作为聚类距离进行聚类得到多个类别,由于车厢有4个边角区域,因此本发明实施例中设置聚类类别为4个类别,聚类方法可由实施者自行设置。将聚类获取的4个类别中的像素点区域对应边角区域,统计每个边角区域内像素点在图像构成的二维坐标系中轴的最小值、轴的最大值、轴的最小值以及轴的最大值分别表示为:
其中,表示第一个边角区域中像素点在轴的最小值;表示第一个边角区域中像素点在轴的最大值;表示第一个边角区域中像素点在轴的最小值;表示第一个边角区域中像素点在轴的最大值;以此类推,表示第四个边角区域中像素点在轴的最大值。
以此类推,由、、以及构成的不规则区域图像为第二个边角区域与第三个边角区域之间的去模糊图像;由、、以及构成的不规则区域图像为第三个边角区域与第四个边角区域之间的去模糊图像;由、、以及构成的不规则区域图像为第四个边角区域与第一个边角区域之间的去模糊图像;后续对运输过程图像进行去模糊处理时,只需要对这四个去模糊图像进行去模糊处理即可。
步骤S400,基于任意去模糊图像中所有像素点对应的灰度差异性和结构相似性得到去模糊图像的调整参数,根据调整参数对第一模糊核调整得到优化小模糊核,根据调整参数对第二模糊核调整得到优化大模糊核。
由步骤S300中得到对模糊区域图像进行去模糊处理的去模糊图像,然后通过自适应大小的模糊核按照该去模糊图像进行去模糊处理,对初始化设置的第一模糊核与第二模糊核的大小进行初步调整,第一模糊核为最小尺寸的模糊核,即尺寸为,第二模糊核根据去模糊图像中的坐标调整为:
考虑到运输车辆在进入筒仓的过程中,可能由于筒仓内部环境例如路况不平整等原因的影响,从而导致运输车辆车厢边缘的抖动情况不同,即模糊程度不同,因此对每条去模糊图像选取自适应模糊核。
进一步的,基于调整后的第一模糊核与第二模糊核对任意去模糊图像中同一个像素点进行去模糊处理,即可得到该像素点对应的第一模糊核和第二模糊核之间的灰度差异性和结构相似性,基于得到的所有像素点的灰度差异性和结构相似性再次对第一模糊核和第二模糊核进行调整,调整参数为:
基于得到的调整参数对调整后的第一模糊核与第二模糊核再次调整,调整之前仍然判断该调整参数是否为奇数,若不为奇数则。然后将第一模糊核调整为;其中为第一模糊核的大小,即;第二模糊核调整为;其中,表示第二模糊核的大小;将再次调整后的第一模糊核记为优化小模糊核,第二模糊核记为优化大模糊核。
以此类推,获取每个去模糊图像对应的优化小模糊核和优化大模糊核。
步骤S500,获取优化小模糊核对去模糊图像处理的第一保真度与优化大模糊核对去模糊图像处理的第二保真度,根据第一保真度与第二保真度与预设阈值进行比较得到最优模糊核;根据最优模糊核对对应的去模糊图像进行去卷积处理得到优化图像。
由步骤S400中获取到每个去模糊图像对应的优化小模糊核和优化大模糊核,基于优化小模糊核与优化大模糊核再次对对应的去模糊图像中每个像素点进行去模糊处理,以优化小模糊核为例对该去模糊图像中每个像素点进行去模糊处理,得到该去模糊图像中每个像素点去模糊之后的像素值,基于去模糊之后的像素点的像素值与清晰图像中对应位置区域之间的差异得到该优化小模糊核的第一保真度。清晰图像为事先采集到的运输车在标准位置时的静止图像,不存在模糊区域。因此基于去模糊图像在去模糊之后的图像与清晰图像中相同区域图像之间的差异得到该优化小模糊核的第一保真度为:
以此类推,获取优化大模糊核对该去模糊图像处理的第二保真度,判断优化小模糊核对应的第一保真度与优化大模糊核对应的第二保真度是否大于预设阈值,当存在任意模糊核的保真度大于预设阈值时,表明此时的对去模糊图像的去模糊效果较好,保留该模糊核作为最终对该去模糊图像处理的最优模糊核;当优化小模糊核与优化大模糊核对应的第一保真度和第二保真度均大于预设阈值时,选择保真度较大时对应的模糊核为最优模糊核;当优化小模糊核与优化大模糊核对应的第一保真度和第二保真度均小于预设阈值时,对优化小模糊核的大小与优化大模糊核的大小继续调整,调整的方法即为计算对应的调整参数,然后基于调整参数对优化小模糊核与优化大模糊核进行调整,对调整之后的模糊核计算对应的保真度,直至存在模糊核的保真度大于预设阈值时停止调整,得到最优模糊核。
基于上述获取一个去模糊图像的最优模糊核的相同方法,获取另外三个去模糊图像的最优模糊核,基于最优模糊核对相应的去模糊图像进行非盲去卷积的去模糊操作,从而得到去模糊后的优化图像。
步骤S600,获取优化图像中运输车的车厢边缘区域,基于车厢边缘区域判断运输车的位置。
由步骤S500中获取到该运输过程图像去模糊之后的优化图像,对获取得到优化图像进行Canny边缘检测,得到该运输车的车厢边缘图像及边缘的坐标点,然后根据CCD相机的相机参数以及CCD相机的实际位置,进行位移量测定;所用的相机参数包括:相机焦距、相机传感器尺寸、有效像素;相机实际位置参数包括:高度、相机距离筒仓口的距离;根据相机参数以及实际位置参数可以计算出图像位置校正量,即图像中各个像素点之间的实际距离,根据实际位置校正量和车厢边缘坐标点,得到实际的运输车的车厢所处位置。
进一步的,本发明实施例中还可根据神经网络得到运输车应该移动的位移量,该神经网络的具体训练过程为:
(1)网络的输入为实际的运输车的车厢所处位置、运输车的长以及运输车的宽;
(2)由专业人员根据车厢位置、运输车的长和宽给出对应的位移量;
(3)损失函数采用均方误差损失函数;
(4)网络的输出为运输车应该移动的位移量。
因此,可根据运输车的车厢实时位置利用神经网络得到该运输车的位移量,将该位移量发送至LED灯上显示,以提醒运输车司机对运输车的位置进行调整。
综上所述,本发明实施例提出一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,通过获取运输车移动过程中的图像进行实时分析,将实时采集的图像利用自适应的最优模糊核进行去模糊处理得到优化图像,进一步基于优化图像判断运输车辆在筒仓中的实际位置,还可以基于实际位置得到该运输车辆需要移动的位移量,提高了对车辆车厢位置识别的准确性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,其特征在于,该方法包括以下步骤:
获取运输车运煤过程中的多帧运输过程图像,根据相邻两帧所述运输过程图像差分得到所述运输车的模糊区域图像;
初始化任意大小的第一模糊核和第二模糊核;选取所述模糊区域图像中任意像素点为待处理点,利用所述第一模糊核对所述待处理点去卷积得到第一窗口,利用所述第二模糊核对所述待处理点去卷积得到第二窗口;基于所述第一窗口与所述第二窗口得到所述待处理点的灰度差异性和结构相似性;
根据所有像素点对应的所述灰度差异性和所述结构相似性得到边角区域,根据所述边角区域内像素点的位置得到所述模糊区域图像的多个去模糊图像;
基于任意所述去模糊图像中所有像素点对应的灰度差异性和结构相似性得到所述去模糊图像的调整参数,根据所述调整参数对所述第一模糊核调整得到优化小模糊核,根据所述调整参数对所述第二模糊核调整得到优化大模糊核;
获取所述优化小模糊核对所述去模糊图像处理的第一保真度与所述优化大模糊核对所述去模糊图像处理的第二保真度,根据所述第一保真度与第二保真度与预设阈值进行比较得到最优模糊核;根据所述最优模糊核对对应的去模糊图像进行去卷积处理得到优化图像;
获取所述优化图像中运输车的车厢边缘区域,基于所述车厢边缘区域判断所述运输车的位置。
2.根据权利要求1所述的一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,其特征在于,所述基于所述第一窗口与所述第二窗口得到所述待处理点的灰度差异性的步骤,包括:
获取第一窗口内每一行对应的代表值,基于相邻行之间代表值的差异得到每行的行差异度;获取第一窗口内每一列对应的代表值,基于相邻列之间代表值的差异得到每列的列差异度;
获取所述第一窗口内所有行对应的行差异度与所有列对应的列差异度的求和,基于求和结果得到所述第一窗口的第一灰度差异性;
获取第二窗口内每一行对应的代表值,基于相邻行之间代表值的差异得到每行的行差异度;获取第二窗口内每一列对应的代表值,基于相邻列之间代表值的差异得到每列的列差异度;
获取所述第二窗口内所有行对应的行差异度与所有列对应的列差异度的求和,基于求和结果得到所述第二窗口的第二灰度差异性;
所述第一灰度差异性与所述第二灰度差异性的比值为所述灰度差异性。
3.根据权利要求1所述的一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,其特征在于,所述基于所述第一窗口与所述第二窗口得到所述待处理点的结构相似性的步骤,包括:
获取第一窗口内所有像素点像素值的平均值和方差,获取第二窗口内所有像素点像素值的平均值和方差,获取第一窗口与第二窗口的协方差,根据平均值、方差以及协方差得到所述待处理点的结构相似性。
4.根据权利要求1所述的一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,其特征在于,所述根据所有像素点对应的所述灰度差异性和所述结构相似性得到边角区域的步骤,包括:
根据每个像素点对应的结构相似性与灰度差异性的比值得到所述像素点为边角区域的隶属度,所有所述隶属度大于预设阈值的像素点构成点集合;
将所述点集合中所有的像素点基于欧式距离聚类得到4个类别,每个所述类别为一个边角区域。
5.根据权利要求1所述的一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,其特征在于,所述根据所述边角区域内像素点的位置得到所述模糊区域图像的多个去模糊图像的步骤,包括:
以所述运输过程图像左下角为原点构建二维坐标系,获取每个所述边角区域中y轴的最小值和最大值,以及x轴的最小值和最大值,分别表示为:
其中,表示第一个边角区域中像素点在轴的最小值;表示第一个边角区域中像素点在轴的最大值;表示第一个边角区域中像素点在轴的最小值;表示第一个边角区域中像素点在轴的最大值;以此类推,表示第四个边角区域中像素点在轴的最大值;
8.根据权利要求1所述的一种基于计算机视觉的筒仓运输车辆车厢位置检测方法,其特征在于,所述根据所述第一保真度与第二保真度与预设阈值进行比较得到最优模糊核的步骤,包括:
当优化小模糊核与优化大模糊核对应的第一保真度或者第二保真度里任意一个大于预设阈值时,则大于预设阈值的保真度对应的模糊核为最优模糊核;
当优化小模糊核与优化大模糊核对应的第一保真度和第二保真度均大于预设阈值时,选择保真度较大时对应的模糊核为最优模糊核;
当优化小模糊核与优化大模糊核对应的第一保真度和第二保真度均小于预设阈值时,对优化小模糊核的大小与优化大模糊核的大小继续调整,所述调整的方法为利用重新计算的调整参数进行调整,基于调整后的模糊核计算对应的保真度,直至存在所述保真度大于预设阈值时停止调整,所述保真度对应的模糊核为最优模糊核。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210730828.7A CN114820773B (zh) | 2022-06-26 | 2022-06-26 | 基于计算机视觉的筒仓运输车辆车厢位置检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210730828.7A CN114820773B (zh) | 2022-06-26 | 2022-06-26 | 基于计算机视觉的筒仓运输车辆车厢位置检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114820773A CN114820773A (zh) | 2022-07-29 |
CN114820773B true CN114820773B (zh) | 2022-09-27 |
Family
ID=82521538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210730828.7A Active CN114820773B (zh) | 2022-06-26 | 2022-06-26 | 基于计算机视觉的筒仓运输车辆车厢位置检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820773B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115330878B (zh) * | 2022-10-18 | 2023-01-24 | 山东特联信息科技有限公司 | 一种罐车罐口视觉定位方法 |
CN116128877B (zh) * | 2023-04-12 | 2023-06-30 | 山东鸿安食品科技有限公司 | 一种基于温度检测的排汽回收智能监测系统 |
CN116128769B (zh) * | 2023-04-18 | 2023-06-23 | 聊城市金邦机械设备有限公司 | 摇摆运动机构的轨迹视觉记录系统 |
CN116309189B (zh) * | 2023-05-17 | 2023-07-28 | 中国人民解放军海军青岛特勤疗养中心 | 一种船舶烧伤伤员紧急转运分类的图像处理方法 |
CN116645297B (zh) * | 2023-07-24 | 2023-11-07 | 济宁龙纳智能科技有限公司 | 基于人工智能的agv叉车控制方法 |
CN117542003B (zh) * | 2024-01-08 | 2024-04-02 | 大连天成电子有限公司 | 基于图像特征分析的货运列车车型判断方法 |
CN117557626B (zh) * | 2024-01-12 | 2024-04-05 | 泰安大陆医疗器械有限公司 | 一种气雾喷雾器喷头安装辅助定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104867111A (zh) * | 2015-03-27 | 2015-08-26 | 北京理工大学 | 一种基于分块模糊核集的非均匀视频盲去模糊方法 |
CN112819723A (zh) * | 2021-02-05 | 2021-05-18 | 河海大学 | 一种高能x射线图像盲复原方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292842B (zh) * | 2017-06-15 | 2020-08-07 | 北京大学深圳研究生院 | 基于先验约束和离群值抑制的图像去模糊方法 |
-
2022
- 2022-06-26 CN CN202210730828.7A patent/CN114820773B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104867111A (zh) * | 2015-03-27 | 2015-08-26 | 北京理工大学 | 一种基于分块模糊核集的非均匀视频盲去模糊方法 |
CN112819723A (zh) * | 2021-02-05 | 2021-05-18 | 河海大学 | 一种高能x射线图像盲复原方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114820773A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114820773B (zh) | 基于计算机视觉的筒仓运输车辆车厢位置检测方法 | |
CN115082467B (zh) | 基于计算机视觉的建材焊接表面缺陷检测方法 | |
CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
CN115690105B (zh) | 一种基于计算机视觉的铣刀划痕检测方法 | |
CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
CN115797354B (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
CN104794502A (zh) | 一种基于图像处理和模式识别技术的稻瘟病孢子显微图像识别方法 | |
CN115294099B (zh) | 一种钢板轧制过程发纹缺陷的检测方法及系统 | |
CN115578374A (zh) | 一种机械零件铸造质量评估方法与系统 | |
CN112330593A (zh) | 基于深度学习网络的建筑物表面裂缝检测方法 | |
CN107832674B (zh) | 一种车道线检测方法 | |
CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
CN111753749A (zh) | 一种基于特征匹配的车道线检测方法 | |
CN113252103A (zh) | 一种基于matlab图像识别技术计算物料堆体积及质量的方法 | |
CN105069778A (zh) | 基于目标特征显著图构建的工业产品表面缺陷检测方法 | |
CN116862910B (zh) | 基于自动化裁切生产的视觉检测方法 | |
CN114820625A (zh) | 一种汽车顶块缺陷检测方法 | |
CN111738114A (zh) | 基于无锚点精确采样遥感图像车辆目标检测方法 | |
CN109978916B (zh) | 基于灰度图像特征匹配的Vibe运动目标检测方法 | |
CN117593193B (zh) | 一种基于机器学习的钣金图像增强方法及系统 | |
CN113221739B (zh) | 基于单目视觉的车距测量方法 | |
CN108805854B (zh) | 一种复杂环境下药片快速计数与完整性检测方法 | |
CN117611571A (zh) | 一种基于改进yolo模型的带钢表面缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |