CN116499420B - 一种半挂车与牵引车之间的夹角的测量方法及系统 - Google Patents
一种半挂车与牵引车之间的夹角的测量方法及系统 Download PDFInfo
- Publication number
- CN116499420B CN116499420B CN202310580622.5A CN202310580622A CN116499420B CN 116499420 B CN116499420 B CN 116499420B CN 202310580622 A CN202310580622 A CN 202310580622A CN 116499420 B CN116499420 B CN 116499420B
- Authority
- CN
- China
- Prior art keywords
- semitrailer
- image
- sequence
- tractor
- tire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000009434 installation Methods 0.000 claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000000605 extraction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Radar, Positioning & Navigation (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种半挂车与牵引车之间的夹角的测量方法及系统,该方法涉及图像处理技术领域,该方法为:拍摄半挂车与牵引车安装方位侧的序列图像;从序列图像中提取序列特征信息,并根据序列特征信息提取半挂车位于安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理轮胎轮廓图像,以得到半挂车与牵引车之间的夹角。本方案中,采集得到半挂车与牵引车安装方位侧的序列图像后,通过序列图像即可确定半挂车与牵引车之间的夹角,不需要在半挂车和牵引车上分别安装相对运动的部件就能够测量夹角,降低测量夹角的局限性。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种半挂车与牵引车之间的夹角的测量方法及系统。
背景技术
在车辆运动过程中牵引车与半挂车之间的夹角会实时变化,可以利用该夹角对半挂车的制动力、驱动力和侧向力等进行调节,从而避免前后运动不协调的情况。
目前测量半挂车与牵引车之间的夹角的方式为:在半挂车加装特征物,利用设置在牵引车上的固定感知装置对该特征物进行识别,从而测量半挂车与牵引车之间的夹角。但是,前述测量方式需要在半挂车和牵引车上分别安装相对运动的部件,不利于半挂车经常需要更换不同牵引车的运输方式,半挂车和牵引车上所安装的部件无法保证每次都适配,这样就无法测量得到半挂车与牵引车之间的夹角,前述测量方式测量夹角的局限性较高。
发明内容
有鉴于此,本发明实施例提供一种半挂车与牵引车之间的夹角的测量方法及系统,以解决目前测量半挂车与牵引车之间的夹角的局限性较高等问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开一种半挂车与牵引车之间的夹角的测量方法,所述方法包括:
拍摄半挂车与牵引车安装方位侧的序列图像,所述安装方位侧包含:所述半挂车与所述牵引车的左侧,和/或,所述半挂车与所述牵引车的右侧;
从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,所述夹角识别模型基于样本数据训练自竞争神经网络得到。
优选的,所述安装方位侧包含:所述半挂车与所述牵引车的左侧,或,所述半挂车与所述牵引车的右侧;
拍摄半挂车与牵引车安装方位侧的序列图像,包括:
调用第一摄像头拍摄半挂车与牵引车安装方位侧的序列图像,拍摄得到的序列图像包含第一序列图像。
优选的,从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,包括:
从所述第一序列图像中提取第一序列特征信息;
根据所述第一序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的第一轮胎轮廓图像;
将所述第一轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别,以得到所述半挂车与所述牵引车之间的夹角。
优选的,根据所述第一序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的第一轮胎轮廓图像,包括:
将所述第一序列特征信息输入预设卷积神经网络中进行处理,所述预设卷积神经网络包含交错设置的多级卷积层和多级池化层;
根据第N级池化层输出的图生成第一特征图像,以及根据第n级池化层输出的图生成第二特征图像,n大于等于2且小于N;
基于所述第一特征图像确定所述第一序列图像中所述半挂车轮胎的边界线;
将所述第一序列图像中由所述边界线构成的区域的分辨率调整为所述第二特征图像对应的分辨率,以提取得到所述半挂车位于所述安装方位侧的轮胎的第一轮胎轮廓图像。
优选的,所述安装方位侧包含:所述半挂车与所述牵引车的左侧,或,所述半挂车与所述牵引车的右侧;
拍摄半挂车与牵引车安装方位侧的序列图像,包括:
调用第二摄像头和第三摄像头拍摄半挂车与牵引车安装方位侧的序列图像,所述第二摄像头和所述第三摄像头设置在所述安装方位侧,拍摄得到的序列图像包含:由所述第二摄像头拍摄得到的第二序列图像和由所述第三摄像头拍摄得到的第三序列图像。
优选的,从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,包括:
从所述第二序列图像中提取第二序列特征信息,以及从所述第三序列图像中提取第三序列特征信息;
根据所述第二序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的第二轮胎轮廓图像,以及根据所述第三序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的第三轮胎轮廓图像;
基于所述第二轮胎轮廓图像和所述第三轮胎轮廓图像,获取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓视差图像;
将所述轮胎轮廓视差图像输入预先训练得到的夹角识别模型进行夹角识别,以得到所述半挂车与所述牵引车之间的夹角。
优选的,所述安装方位侧包含:所述半挂车与所述牵引车的左侧,和,所述半挂车与所述牵引车的右侧;
拍摄半挂车与牵引车安装方位侧的序列图像,包括:
调用第四摄像头和第五摄像头拍摄半挂车与牵引车安装方位侧的序列图像,所述第四摄像头设置在所述半挂车与所述牵引车的左侧,所述第五摄像头设置在所述半挂车与所述牵引车的右侧,拍摄得到的序列图像包含:由所述第四摄像头拍摄得到的第四序列图像和由所述第五摄像头拍摄得到的第五序列图像。
优选的,从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,包括:
从所述第四序列图像中提取第四序列特征信息,以及从所述第五序列图像中提取第五序列特征信息;
根据所述第四序列特征信息提取所述半挂车左侧轮胎的第四轮胎轮廓图像,以及根据所述第五序列特征信息提取所述半挂车右侧轮胎的第五轮胎轮廓图像;
将所述第四轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第一夹角,以及将所述第五轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第二夹角;
利用所述第二夹角对所述第一夹角进行修正以得到所述半挂车与所述牵引车之间的夹角。
优选的,所述方法还包括:
显示所述半挂车与所述牵引车之间的夹角。
本发明实施例第二方面公开一种半挂车与牵引车之间的夹角的测量系统,所述系统包括:
拍摄单元,用于拍摄半挂车与牵引车安装方位侧的序列图像,所述安装方位侧包含:所述半挂车与所述牵引车的左侧,和/或,所述半挂车与所述牵引车的右侧;
处理单元,用于从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,所述夹角识别模型基于样本数据训练自竞争神经网络得到。
基于上述本发明实施例提供的一种半挂车与牵引车之间的夹角的测量方法及系统,该方法为:拍摄半挂车与牵引车安装方位侧的序列图像;从序列图像中提取序列特征信息,并根据序列特征信息提取半挂车位于安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理轮胎轮廓图像,以得到半挂车与牵引车之间的夹角。本方案中,采集得到半挂车与牵引车安装方位侧的序列图像后,通过序列图像即可确定半挂车与牵引车之间的夹角,不需要在半挂车和牵引车上分别安装相对运动的部件就能够测量夹角,降低测量夹角的局限性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种半挂车与牵引车之间的夹角的测量方法的流程图;
图2为本发明实施例提供的预设卷积神经网络的结构示意图;
图3为本发明实施例提供的第一轮胎轮廓图像的示意图;
图4为本发明实施例提供的轮胎轮廓视差图像的示意图;
图5为本发明实施例提供的夹角测量装置的结构示意图;
图6为本发明实施例提供的夹角测量装置的另一结构示意图;
图7为本发明实施例提供的夹角测量装置的又一结构示意图;
图8为本发明实施例提供的一种半挂车与牵引车之间的夹角的测量系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,目前测量半挂车与牵引车之间的夹角的方式为:在半挂车加装特征物,利用设置在牵引车上的固定感知装置对该特征物进行识别,从而测量半挂车与牵引车之间的夹角。但是,前述测量方式需要在半挂车和牵引车上分别安装相对运动的部件,不利于半挂车经常需要更换不同牵引车的运输方式,半挂车和牵引车上所安装的部件无法保证每次都适配,这样就无法测量得到半挂车与牵引车之间的夹角,前述测量方式测量夹角的局限性较高。
因此,本发明实施例提供一种半挂车与牵引车之间的夹角的测量方法及系统,采集得到半挂车与牵引车安装方位侧的序列图像后,通过序列图像即可确定半挂车与牵引车之间的夹角,不需要在半挂车和牵引车上分别安装相对运动的部件就能够测量夹角,降低测量夹角的局限性。
本方案具有以下优点:1、本方案不需要在半挂车和牵引车上分别安装相对运动的部件,仅需要在牵引车上安装摄像头(安装位置也可以根据实际情况调整)即可测量半挂车与牵引车之间的夹角,方便牵引车和半挂车的灵活组合运输。2、本方案不需要承担机械拉压力的牵引销及鞍座,避免潜在的油污、重度受力等情况。3、本方案可以基于神经网络模型架构的前期训练结果,多类型的半挂车(如平板半挂车、搅拌罐半挂车、危化品半挂车、骨架半挂车)都能够起到较好的夹角识别。以下通过各个实施例对本方案进行详细说明。
参见图1,示出了本发明实施例提供的一种半挂车与牵引车之间的夹角的测量方法的流程图,该测量方法包括:
步骤S101:拍摄半挂车与牵引车安装方位侧的序列图像。
在具体实现步骤S101的过程中,通过摄像头拍摄半挂车与牵引车安装方位侧的序列图像,该安装方位侧包含:半挂车与牵引车的左侧,和/或,半挂车与牵引车的右侧。
也就是说,通过摄像头拍摄半挂车与牵引车左侧和/或右侧的序列图像;该摄像头可以设置在牵引车上,也可以根据实际情况选择摄像头的设定位置。
需要说明的是,所拍摄的序列图像至少包含:半挂车位于安装方位侧的轮胎和牵引车位于安装方位侧的部分车体。
例如:通过摄像头拍摄半挂车与牵引车左侧的序列图像,则该序列图像至少包含:半挂车的左侧轮胎,牵引车左侧的部分车体。
步骤S102:从序列图像中提取序列特征信息,并根据序列特征信息提取半挂车位于安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理轮胎轮廓图像,以得到半挂车与牵引车之间的夹角。
需要说明的是,夹角识别模型基于样本数据训练自竞争神经网络得到。
在具体实现步骤S102的过程中,在拍摄得到半挂车与牵引车安装方位侧的序列图像之后,从该序列图像中提取序列特征信息,序列特征信息至少包含颜色直方图;颜色直方图包括:灰度直方图,红绿蓝(red、green、blue)通道的直方图。
根据所提取的序列特征信息,提取半挂车位于安装方位侧的轮胎的轮胎轮廓图像。例如:如果安装方位侧为左侧,则根据所提取的序列特征信息,提取半挂车左侧轮胎的轮胎轮廓图像。
具体来说,提取轮胎轮廓图像的具体方式为:将序列特征信息输入预设卷积神经网络中进行处理,该预设卷积神经网络包含交错设置的多级卷积层和多级池化层,具体来说,该预设卷积神经网络包含多层交错设置的第1-N级卷积层和第1-N级池化层。
根据第N级池化层输出的图生成第一特征图像,以及根据第n级池化层输出的图生成第二特征图像,n大于等于2且小于N。
基于第一特征图像确定上述拍摄得到的序列图像中半挂车轮胎的边界线。将该序列图像中由边界线构成的区域的分辨率调整为第二特征图像对应的分辨率,以提取得到半挂车位于安装方位侧的轮胎的轮胎轮廓图像。
基于预先训练得到的夹角识别模型处理提取得到的轮胎轮廓图像,从而得到半挂车与牵引车之间的夹角。
一些实施例中,得到半挂车与牵引车之间的夹角之后,显示半挂车与牵引车之间的夹角。
在本发明实施例中,采集得到半挂车与牵引车安装方位侧的序列图像后,通过序列图像即可确定半挂车与牵引车之间的夹角,不需要在半挂车和牵引车上分别安装相对运动的部件就能够测量夹角,降低测量夹角的局限性。
通过上述图1步骤S101的内容可见,安装方位侧包含左侧和/或右侧;在拍摄序列图像时,可以仅拍摄左侧或右侧的序列图像,也可以拍摄左侧和右侧的序列图像;根据所拍摄的序列图像的不同方式,本方案给出至少三种确定半挂车与牵引车之间的夹角的具体实施方式,以下分别详细说明三种确定夹角的具体实施方式。
关于第一种确定夹角的具体实施方式的说明:
一些实施例中,安装方位侧包含:半挂车与牵引车的左侧,或,半挂车与牵引车的右侧;调用第一摄像头拍摄半挂车与牵引车安装方位侧的序列图像,拍摄得到的序列图像包含第一序列图像。
也就是说,调用第一摄像头拍摄半挂车与牵引车左侧或右侧的序列图像,所拍摄得到的序列图像包含第一序列图像。
需要说明的是,在拍摄半挂车与牵引车左侧的序列图像时,第一序列图像至少包括半挂车左侧轮胎和牵引车左侧部分车体;在拍摄半挂车与牵引车右侧的序列图像时,第一序列图像至少包括半挂车右侧轮胎和牵引车右侧部分车体。
第一摄像头可以安装在牵引车位于安装方位侧的后视镜的支架上,例如:安装方位侧为左侧时,第一摄像头可以安装在牵引车左后视镜的支架上,安装方位侧为右侧时,第一摄像头可以安装在牵引车右后视镜的支架上;第一摄像头也可以安装在牵引车其它能够全程拍摄到半挂车轮胎的位置。
拍摄得到第一序列图像后,从第一序列图像中提取第一序列特征信息;根据第一序列特征信息提取半挂车位于安装方位侧的轮胎的第一轮胎轮廓图像。
需要说明的是,在拍摄半挂车与牵引车左侧的序列图像时,第一序列图像可以称为第一左序列图像,第一序列特征信息可以称为第一左序列特征信息,第一轮胎轮廓图像为半挂车左侧轮胎的轮胎轮廓图像;在拍摄半挂车与牵引车右侧的序列图像时,第一序列图像可以称为第一右序列图像,第一序列特征信息可以称为第一右序列特征信息,第一轮胎轮廓图像为半挂车右侧轮胎的轮胎轮廓图像。
一些具体实施例中,根据第一序列特征信息提取第一轮胎轮廓图像的具体方式为:将第一序列特征信息输入预设卷积神经网络中进行处理,该预设卷积神经网络包含交错设置的多级卷积层和多级池化层,具体来说,该预设卷积神经网络包含多层交错设置的第1-N级卷积层和第1-N级池化层。
根据第N级池化层输出的图生成第一特征图像,以及根据第n级池化层输出的图生成第二特征图像,n大于等于2且小于N。基于第一特征图像确定第一序列图像中半挂车轮胎的边界线;将第一序列图像中由边界线构成的区域的分辨率调整为第二特征图像对应的分辨率,以提取得到半挂车位于安装方位侧的轮胎的第一轮胎轮廓图像;具体来说,将第一序列图像中边界线之间的图像的分辨率调整为第二特征图像对应的分辨率,从而提取得到半挂车位于安装方位侧的轮胎的第一序列信息,该第一序列信息的每个信息至少包含第一轮胎轮廓图像(轮胎的椭圆形轮廓图像)。
例如图2提供的预设卷积神经网络的结构示意图,该卷积神经网络包含多层交错设置的第1-N级卷积层和第1-N级池化层;该卷积神经网络的第1级卷积层输入第一序列特征信息,第一特征图选择单元使用第N级池化层输出的图生成第一特征图像,第二特征图选择单元使用第n级池化层输出的图生成第二特征图像,n大于等于2且小于N;校正单元从第一特征图像中确定第一序列图像中半挂车轮胎的边界线,使第一序列图像中边界线之间的图像的分辨率调整为第二特征图像对应的分辨率,从而得到如图3示出的半挂车位于安装方位侧的轮胎的第一轮胎轮廓图像。
可以理解的是,图2示出的预设卷积神经网络的结构示意图中,可以设置一选择开关,该选择开关一端连接第二特征图选择单元,该选择开关另一端连接第2到第N-1级池化层的输出端;用户可以通过该选择开关来选择第一轮胎轮廓图像的分辨率。具体来说,由于第一轮胎轮廓图像的分辨率与第二特征图像相关,因此可以通过选择开关来调整第二特征图像的分辨率,进而调整第一轮胎轮廓图像的分辨率。
将第一轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别,以得到半挂车与牵引车之间的夹角;即夹角识别模型根据第一轮胎轮廓图像识别出半挂车与牵引车之间的夹角。
通过上述提取得到第一轮胎轮廓图像的处理过程,可以获得低分辨率的轮胎轮廓图像(第一轮胎轮廓图像),从而降低夹角识别模型的数据处理量,提高了夹角识别模型的处理速度;同时也能获取得到高分辨率的轮胎轮廓之间的图像(第一特征图像),这样就可以通过高分辨率的轮胎轮廓之间的图像辨别轮胎的细节,如辨别轮胎是否被尖锐物(如钉子)扎伤。上述所提及的“半挂车的轮胎的第一序列信息”即包含低分辨率的轮胎轮廓图像(第一轮胎轮廓图像)和高分辨率的轮胎轮廓之间的图像(第一特征图像)。
一些具体实施例中,在利用夹角识别模型处理第一轮胎轮廓图像以识别夹角之前,预先构建自竞争神经网络,该自竞争神经网络包括多层神经元,该自竞争神经网络的输入层输入半挂车左侧轮胎或右侧轮胎的轮胎轮廓图像(也可称为序列椭圆形轮廓图像),该自竞争神经网络的输出层输出半挂车与牵引车之间的夹角(也可称为序列夹角),该自竞争神经网络的中间层组成二维神经网络。
在训练自竞争神经网络之前,预先处理得到样本数据,该样本数据包含:半挂车左侧轮胎对应的不同拍摄视角的样本轮胎轮廓图像及与该样本轮胎轮廓图像对应的夹角(半挂车与牵引车之间的夹角),半挂车右侧轮胎对应的不同拍摄视角的样本轮胎轮廓图像及与该样本轮胎轮廓图像对应的夹角(半挂车与牵引车之间的夹角),即不同样本轮胎轮廓图像与不同夹角相对应。
自竞争神经网络事先将上述提及的样本数据学习到中间层中从而得到夹角识别模型。
在通过输入层将第一轮胎轮廓图像输入夹角识别模型后,将该第一轮胎轮廓图像分别与不同拍摄视角的样本轮胎轮廓图像进行聚类,计算得到第一轮胎轮廓图像和各个样本轮胎轮廓图像之间的欧拉距离。与第一轮胎轮廓图像之间欧拉距离最小的那个中间层的样本轮胎轮廓图像,可以视同为第一轮胎轮廓图像。夹角识别模型的输出层输出与第一轮胎轮廓图像之间欧拉距离最小的样本轮胎轮廓图像所对应的夹角;与第一轮胎轮廓图像之间欧拉距离最小的样本轮胎轮廓图像所对应的夹角,即为夹角识别模型识别出的半挂车与牵引车之间的夹角。
通过以上内容可见,已预先将摄像头获取的样本轮胎轮廓图像及其相应的夹角学习到夹角识别模型的中间层中;因此在实际应用中,只需要将当前提取得到的第一轮胎轮廓图像输入到夹角识别模型中,夹角识别模型将第一轮胎轮廓图像与各个样本轮胎轮廓图像进行聚类,根据聚类结果(图像之间的欧拉距离)找出与第一轮胎轮廓图像最为接近的样本轮胎轮廓图像,输出与第一轮胎轮廓图像最为接近的样本轮胎轮廓图像对应的夹角,以作为识别得到的半挂车与牵引车之间的夹角。
以上内容是关于第一种确定夹角的具体实施方式的相关说明。
关于第二种确定夹角的具体实施方式的说明:
一些实施例中,安装方位侧包含:半挂车与所述牵引车的左侧,或,半挂车与牵引车的右侧;调用第二摄像头和第三摄像头拍摄半挂车与牵引车安装方位侧的序列图像,第二摄像头和第三摄像头设置在安装方位侧,第二摄像头和第三摄像头相距预设距离,拍摄得到的序列图像包含:由第二摄像头拍摄得到的第二序列图像和由第三摄像头拍摄得到的第三序列图像。
例如:第二摄像头和第三摄像头设置在半挂车与牵引车的左侧以拍摄左侧的序列图像;第二摄像头和第三摄像头也可以设置在半挂车与牵引车的右侧以拍摄右侧的序列图像。
也就是说,调用第二摄像头和第三摄像头拍摄半挂车与牵引车左侧的序列图像,或者,调用第二摄像头和第三摄像头拍摄半挂车与牵引车右侧的序列图像,拍摄得到的序列图像包含:由第二摄像头拍摄得到的第二序列图像和由第三摄像头拍摄得到的第三序列图像。
第二摄像头和第三摄像头可以安装在牵引车位于安装方位侧的后视镜的支架上,例如:安装方位侧为左侧时,第二摄像头和第三摄像头可以安装在牵引车左后视镜的支架上,安装方位侧为右侧时,第二摄像头和第三摄像头可以安装在牵引车右后视镜的支架上;第二摄像头和第三摄像头也可以安装在牵引车其它能够全程拍摄到半挂车轮胎的位置。
拍摄得到第二序列图像和第三序列图像后,从第二序列图像中提取第二序列特征信息,以及从第三序列图像中提取第三序列特征信息。根据第二序列特征信息提取半挂车位于安装方位侧的轮胎的第二轮胎轮廓图像,以及根据第三序列特征信息提取半挂车位于安装方位侧的轮胎的第三轮胎轮廓图像。
需要说明的是,在拍摄半挂车与牵引车左侧的序列图像时,第二序列图像和第三序列图像可以分别称为第二左序列图像和第三左序列图像,第二序列特征信息和第三序列特征信息可以分别称为第二左序列特征信息和第三左序列特征信息,第二轮胎轮廓图像和第三轮胎轮廓图像为半挂车左侧轮胎的轮胎轮廓图像;在拍摄半挂车与牵引车右侧的序列图像时,第二序列图像和第三序列图像可以分别称为第二右序列图像和第三右序列图像,第二序列特征信息和第三序列特征信息可以分别称为第二右序列特征信息和第三右序列特征信息,第二轮胎轮廓图像和第三轮胎轮廓图像为半挂车右侧轮胎的轮胎轮廓图像。
进一步需要说明的是,提取第二轮胎轮廓图像和第三轮胎轮廓图像的具体方式,可以参见上述关于如何提取得到第一轮胎轮廓图像的相关内容,在此不再赘述。在提取第二轮胎轮廓图像和第三轮胎轮廓图像的过程中,半挂车位于安装方位侧的轮胎的第二序列信息至少包含第二轮胎轮廓图像,半挂车位于安装方位侧的轮胎的第三序列信息至少包含第三轮胎轮廓图像。
基于第二轮胎轮廓图像和第三轮胎轮廓图像,获取半挂车位于安装方位侧的轮胎的轮胎轮廓视差图像(序列视差图像中的图像)。
例如:安装方位侧为左侧时,根据基于第二轮胎轮廓图像和第三轮胎轮廓图像,获取半挂车左侧轮胎的轮胎轮廓视差图像。安装方位侧为右侧时,根据基于第二轮胎轮廓图像和第三轮胎轮廓图像,获取半挂车右侧轮胎的轮胎轮廓视差图像。
具体来说,根据上述提及的第二序列信息和第三序列信息,获取半挂车位于安装方位侧的轮胎的序列视差图像,该序列视差图像包括轮胎轮廓视差图像;该序列视差图像中的每个轮胎轮廓视差图像包含如图4示出的椭圆形轮廓视差图像。
例如:当安装方位侧为左侧时,根据第二序列信息和第三序列信息,获取半挂车左侧轮胎的序列视差图像;当安装方位侧为右侧时,根据第二序列信息和第三序列信息,获取半挂车右侧轮胎的序列视差图像。
将轮胎轮廓视差图像输入预先训练得到的夹角识别模型进行夹角识别,以得到半挂车与牵引车之间的夹角;即夹角识别模型根据轮胎轮廓视差图像识别出半挂车与牵引车之间的夹角。
一些具体实施例中,在利用夹角识别模型处理轮胎轮廓视差图像以识别夹角之前,预先构建自竞争神经网络,该自竞争神经网络包括多层神经元,该自竞争神经网络的输入层输入半挂车左侧轮胎或右侧轮胎的轮胎轮廓视差图像,该自竞争神经网络的输出层输出半挂车与牵引车之间的夹角,该自竞争神经网络的中间层组成二维神经网络。
在训练自竞争神经网络之前,预先处理得到样本数据,该样本数据包含:半挂车左侧轮胎对应的多种拍摄视角的样本轮胎轮廓视差图像及与该样本轮胎轮廓视差图像对应的夹角(半挂车与牵引车之间的夹角),半挂车右侧轮胎对应的多种拍摄视角的样本轮胎轮廓视差图像及与该样本轮胎轮廓视差图像对应的夹角(半挂车与牵引车之间的夹角),即不同样本轮胎轮廓视差图像对应不同夹角。
自竞争神经网络事先将上述提及的样本数据学习到中间层中从而得到夹角识别模型。
在通过输入层将轮胎轮廓视差图像输入夹角识别模型后,将该轮胎轮廓视差图像分别与多种拍摄视角的样本轮胎轮廓视差图像进行聚类,计算得到该轮胎轮廓视差图像和各个样本轮胎轮廓视差图像之间的欧拉距离。具体来说,当轮胎轮廓视差图像为半挂车左侧轮胎的轮胎轮廓视差图像时,将该轮胎轮廓视差图像与半挂车左侧轮胎的样本轮胎轮廓视差图像进行聚类;当轮胎轮廓视差图像为半挂车右侧轮胎的轮胎轮廓视差图像时,将该轮胎轮廓视差图像与半挂车右侧轮胎的样本轮胎轮廓视差图像进行聚类。
与该轮胎轮廓视差图像之间欧拉距离最小的那个中间层的样本轮胎轮廓视差图像,可以视同为该轮胎轮廓视差图像。夹角识别模型的输出层输出与该轮胎轮廓视差图像之间欧拉距离最小的样本轮胎轮廓视差图像所对应的夹角;与该轮胎轮廓视差图像之间欧拉距离最小的样本轮胎轮廓视差图像所对应的夹角,即为夹角识别模型识别出的半挂车与牵引车之间的夹角。
通过以上内容可见,已预先将摄像头获取的半挂车轮胎的椭圆形状的样本轮胎轮廓视差图像及其相应的夹角学习到夹角识别模型的中间层中;因此在实际应用中,只需要将当前提取得到轮胎轮廓视差图像输入到夹角识别模型中,夹角识别模型将输入的轮胎轮廓视差图像和样本轮胎轮廓视差图像进行聚类,根据聚类结果找出与轮胎轮廓视差图像最为接近的样本轮胎轮廓视差图像,输出与轮胎轮廓视差图像最为接近的样本轮胎轮廓视差图像对应的夹角,以作为识别得到的半挂车与牵引车之间的夹角。
以上内容是关于第二种确定夹角的具体实施方式的相关说明。
关于第三种确定夹角的具体实施方式的说明:
一些实施例中,安装方位侧包含:半挂车与牵引车的左侧,和,半挂车与牵引车的右侧;调用第四摄像头和第五摄像头拍摄半挂车与牵引车安装方位侧的序列图像,第四摄像头设置在半挂车与牵引车的左侧,第五摄像头设置在半挂车与牵引车的右侧,拍摄得到的序列图像包含:由第四摄像头拍摄得到的第四序列图像和由第五摄像头拍摄得到的第五序列图像。
也就是说,调用第四摄像头(相当于左摄像头)拍摄半挂车与牵引车的左侧得到第四序列图像,调用第五摄像头(相当于右摄像头)拍摄半挂车与牵引车的右侧得到第五序列图像。
第四摄像头可以安装在牵引车左后视镜的支架上,第五摄像头可以安装在牵引车右后视镜的支架上;或者说,第四摄像头可以固定安装在牵引车其它任何能够拍摄到半挂车左侧轮胎的位置,第五摄像头可以固定安装在牵引车其它任何能够拍摄到半挂车右侧轮胎的位置。
拍摄得到第四序列图像和第五序列图像后,从第四序列图像中提取第四序列特征信息,以及从第五序列图像中提取第五序列特征信息。
根据第四序列特征信息提取半挂车左侧轮胎的第四轮胎轮廓图像,以及根据第五序列特征信息提取半挂车右侧轮胎的第五轮胎轮廓图像。
需要说明的是,提取第四轮胎轮廓图像和第五轮胎轮廓图像的具体方式,可以参见上述关于如何提取得到第一轮胎轮廓图像的相关内容,在此不再赘述。在提取第四轮胎轮廓图像和第五轮胎轮廓图像的过程中,半挂车左侧轮胎的第四序列信息至少包含第四轮胎轮廓图像,半挂车右侧轮胎的第五序列信息至少包含第五轮胎轮廓图像。
将第四轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第一夹角(相当于左侧夹角),以及将第五轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第二夹角(相当于右侧夹角)。
需要说明的是,第一夹角和第二夹角为互补的,当第一夹角为锐角时第二夹角为钝角,当第一夹角为钝角时第二夹角为锐角,实际测量会存在误差;因此在确定半挂车与牵引车之间的夹角时,需要利用第二夹角对第一夹角进行修正以得到半挂车与牵引车之间的夹角,修正后的第一夹角即为半挂车与牵引车之间的夹角。
一些具体实施例中,在利用夹角识别模型处理第四轮胎轮廓图像和第五轮胎轮廓图像以识别夹角之前,预先构建自竞争神经网络,该自竞争神经网络包括多层神经元。当该自竞争神经网络的输入层输入半挂车左侧轮胎的轮胎轮廓图像时,该自竞争神经网络的输出层输出第一夹角,当该自竞争神经网络的输入层输入半挂车右侧轮胎的轮胎轮廓图像时,该自竞争神经网络的输出层输出第二夹角,该自竞争神经网络的中间层组成二维神经网络。
在训练自竞争神经网络之前,预先处理得到样本数据,该样本数据包含:半挂车左侧轮胎对应的不同拍摄视角的样本轮胎轮廓图像及与该样本轮胎轮廓图像对应的夹角(半挂车与牵引车之间的夹角),半挂车右侧轮胎对应的不同拍摄视角的样本轮胎轮廓图像及与该样本轮胎轮廓图像对应的夹角(半挂车与牵引车之间的夹角),即不同样本轮胎轮廓图像对应不同夹角。
自竞争神经网络事先将上述提及的样本数据学习到中间层中从而得到夹角识别模型。
在通过输入层将第四轮胎轮廓图像输入夹角识别模型后,将该第四轮胎轮廓图像分别与不同拍摄视角的半挂车左侧轮胎对应的样本轮胎轮廓图像进行聚类,计算得到第四轮胎轮廓图像和各个半挂车左侧轮胎对应的样本轮胎轮廓图像之间的欧拉距离。与第四轮胎轮廓图像之间欧拉距离最小的那个中间层的样本轮胎轮廓图像,可以视同为第四轮胎轮廓图像。夹角识别模型的输出层输出与第四轮胎轮廓图像之间欧拉距离最小的样本轮胎轮廓图像所对应的夹角;与第四轮胎轮廓图像之间欧拉距离最小的样本轮胎轮廓图像所对应的夹角,即为夹角识别模型识别出的半挂车与牵引车之间的第一夹角。
同理,在通过输入层将第五轮胎轮廓图像输入夹角识别模型后,将该第五轮胎轮廓图像分别与不同拍摄视角的半挂车右侧轮胎对应的样本轮胎轮廓图像进行聚类,计算得到第五轮胎轮廓图像和各个半挂车右侧轮胎对应的样本轮胎轮廓图像之间的欧拉距离。与第五轮胎轮廓图像之间欧拉距离最小的那个中间层的样本轮胎轮廓图像,可以视同为第五轮胎轮廓图像。夹角识别模型的输出层输出与第五轮胎轮廓图像之间欧拉距离最小的样本轮胎轮廓图像所对应的夹角;与第五轮胎轮廓图像之间欧拉距离最小的样本轮胎轮廓图像所对应的夹角,即为夹角识别模型识别出的半挂车与牵引车之间的第二夹角。
以上内容是关于第三种确定夹角的具体实施方式的相关说明。
通过上述各个实施例的内容,已对三种确定半挂车与牵引车之间的夹角的具体实施方式进行详细说明;在实际应用中,可以通过不同夹角测量装置来分别实现上述提及的“三种确定半挂车与牵引车之间的夹角的具体实施方式”,以下分别基于不同夹角测量装置的结构进行举例说明。
参见图5,示出了夹角测量装置的结构示意图,图5示出的夹角测量装置可用于实现上述提及的“第一种确定夹角的具体实施方式”。图5示出的夹角测量装置包括:设置在牵引车外部的图像获取装置和安装在牵引车车厢内的图像处理装置。
图5中的图像获取装置包括:安装在牵引车左侧或右侧的第一摄像头501、第一处理器502、第一收发信器503、第一存储器504。图5中的图像处理装置包括:第二收发信器505、第二处理器506、第一显示器507、第二存储器508。
第一摄像头501拍摄半挂车与牵引车左侧或右侧的序列图像,所拍摄得到的序列图像包含第一序列图像。第一处理器502对第一序列图像进行图像压缩编码等图像处理后,通过第一收发信器503将经过图像处理后的第一序列图像发送给图像处理装置。第一存储器504存储用于对第一序列图像进行图像处理的图像处理程序,以及存储第一处理器502在进行图像处理过程中所产生的数据。
第二收发信器505接收第一收发信器503发送的经过图像处理后的第一序列图像,对该经过图像处理后的第一序列图像进行图像解压缩译码等处理,将第一序列图像发送给第二处理器506。
第二处理器506处理第一序列图像以得到半挂车与牵引车之间的夹角,具体如何得到半挂车与牵引车之间的夹角,可参见上述“第一种确定夹角的具体实施方式”的相关内容,在此不再赘述。
第一显示器507显示半挂车与牵引车之间的夹角。由上述内容可见,在拍摄半挂车与牵引车左侧的序列图像时,第一序列图像至少包括半挂车左侧轮胎和牵引车左侧部分车体;在拍摄半挂车与牵引车右侧的序列图像时,第一序列图像至少包括半挂车右侧轮胎和牵引车右侧部分车体。因此,第一显示器507还可以显示半挂车左侧和牵引车左侧的部分图像(相当于显示半挂车和牵引车安装方位侧的部分车体图像),或者,还可以显示半挂车右侧和牵引车右侧的部分图像。
第二存储器508存储可供第二处理器506执行的计算机程序,该计算机程序可以用于实现上述“第一种确定夹角的具体实施方式”的相关内容。
参见图6,示出了夹角测量装置的另一结构示意图,图6示出的夹角测量装置可用于实现上述提及的“第二种确定夹角的具体实施方式”。图6示出的夹角测量装置包括:设置在牵引车外部的图像获取装置和安装在牵引车车厢内的图像处理装置。
图6中的图像获取装置包括:设置在牵引车安装方位侧(左侧或右侧)的第二摄像头601、设置在牵引车安装方位侧的第三摄像头602、第三处理器603、第三收发信器604、第三存储器605。图6中的图像处理装置包括:第四收发信器606、第四处理器607、第二显示器608、第四存储器609。
第二摄像头601拍摄第二序列图像,第三摄像头602拍摄第三序列图像。第三处理器603对第二序列图像和第三序列图像进行压缩编码等处理后,通过第三收发信器604将处理后的第二序列图像和第三序列图像发送给图像处理装置。
第三存储器605存储用于对第二序列图像和第三序列图像进行图像处理的图像处理程序,以及存储第三处理器603在进行图像处理过程中所产生的数据。
第四收发信器606接收第三收发信器604发送的第二序列图像和第三序列图像,对该第二序列图像和第三序列图像进行处理后发送给第四处理器607,第四收发信器606对该第二序列图像和第三序列图像的处理包括:信号放大、解调、信道解码、信道译码、图像解压缩译码等。
第四处理器607处理第二序列图像和第三序列图像以得到半挂车与牵引车之间的夹角,具体如何得到半挂车与牵引车之间的夹角,可参见上述“第二种确定夹角的具体实施方式”的相关内容,在此不再赘述。
第二显示器608显示半挂车与牵引车之间的夹角。第二显示器608还可以显示半挂车左侧和牵引车左侧的部分图像(相当于显示半挂车和牵引车安装方位侧的部分车体图像),或者,还可以显示半挂车右侧和牵引车右侧的部分图像。
第四存储器609存储可供第四处理器607执行的计算机程序,该计算机程序可以用于实现上述“第二种确定夹角的具体实施方式”的相关内容。
需要说明的是,第三收发信器604和第四收发信器606可以采用近场电路(如蓝牙电路)进行匹配。图6中的图像处理装置可以采用驾驶员的手持终端,也可以采用牵引车自身的图像装置。测量半挂车与牵引车之间的夹角的计算机程序可以是应用程序,用户可将该应用程序安装在手持终端或牵引车自身的图像装置中;在实际使用时,使设置在牵引车外部的图像获取装置和安装在牵引车车厢内的图像处理装置进行配对,以进行通信连接。
参见图7,示出了夹角测量装置的又一结构示意图,图7示出的夹角测量装置可用于实现上述提及的“第三种确定夹角的具体实施方式”。图7示出的夹角测量装置包括:设置在牵引车外部的第一图像获取装置、设置在牵引车外部的第二图像获取装置、安装在牵引车车厢内的图像处理装置。
图7中的第一图像获取装置包括:设置在牵引车左侧的第四摄像头701、第五处理器702、第五收发信器703、第五存储器704。第二图像获取装置包括:设置在牵引车右侧的第五摄像头705、第六处理器706、第六收发信器707、第六存储器708。图像处理装置包括:第七收发信器709、第七处理器710、第三显示器711、第七存储器712。
第四摄像头701拍摄第四序列图像,第五处理器702对第四序列图像进行图像处理(如图像压缩编码)后通过第五收发信器703发送给图像处理装置。第五存储器704存储用于对第四序列图像进行图像处理的图像处理程序,以及存储第五处理器703在进行图像处理过程中所产生的数据。
第五摄像头705拍摄第五序列图像,第六处理器706对第五序列图像进行图像处理(如图像压缩编码)后通过第六收发信器707发送给图像处理装置。第六存储器708存储用于对第五序列图像进行图像处理的图像处理程序,以及存储第六处理器706在进行图像处理过程中所产生的数据。
第七收发信器709接收由第五收发信器703和第六收发信器707发送的第四序列图像和第五序列图像,对该第四序列图像和第五序列图像进行处理后发送给第七处理器710,第七收发信器709对该第四序列图像和第五序列图像的处理包括:信号放大、解调、信道解码、信道译码、图像解压缩译码等。
第七处理器710处理第四序列图像和第五序列图像以得到半挂车与牵引车之间的夹角,具体如何得到半挂车与牵引车之间的夹角,可参见上述“第三种确定夹角的具体实施方式”的相关内容,在此不再赘述。
第三显示器711显示半挂车与牵引车之间的夹角。第二显示器608还可以显示半挂车左侧和牵引车左侧的部分图像,以及显示半挂车右侧和牵引车右侧的部分图像。
第七存储器712存储可供第七处理器710执行的计算机程序,该计算机程序可以用于实现上述“第三种确定夹角的具体实施方式”的相关内容。
需要说明的是,第五收发信器703、第六收发信器707和第七收发信器709可以采用近场电路(如蓝牙电路)进行匹配,第五收发信器703、第六收发信器707需要同时与第七收发信器709进行匹配。
图7中的图像处理装置可以采用驾驶员的手持终端,也可以采用牵引车自身的图像装置。测量半挂车与牵引车之间的夹角的计算机程序可以是应用程序,用户可将该应用程序安装在手持终端或牵引车自身的图像装置中;在实际使用时,使设置在牵引车外部的图像获取装置和安装在牵引车车厢内的图像处理装置进行配对,以进行通信连接。
以上各个实施例的内容,是关于半挂车与牵引车之间的夹角的测量方法的说明;与上述本发明实施例提及的一种半挂车与牵引车之间的夹角的测量方法相对应,参见图8,本发明实施例还提供了一种半挂车与牵引车之间的夹角的测量系统的结构框图,该测量系统包括:拍摄单元801和处理单元802;
拍摄单元801,用于拍摄半挂车与牵引车安装方位侧的序列图像,安装方位侧包含:半挂车与牵引车的左侧,和/或,半挂车与牵引车的右侧。
处理单元802,用于从序列图像中提取序列特征信息,并根据序列特征信息提取半挂车位于安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理轮胎轮廓图像,以得到半挂车与牵引车之间的夹角,夹角识别模型基于样本数据训练自竞争神经网络得到。
优选的,结合图8示出的内容,该测量系统还包括:
显示单元,用于显示半挂车与牵引车之间的夹角。
在本发明实施例中,采集得到半挂车与牵引车安装方位侧的序列图像后,通过序列图像即可确定半挂车与牵引车之间的夹角,不需要在半挂车和牵引车上分别安装相对运动的部件就能够测量夹角,降低测量夹角的局限性。
优选的,结合图8示出的内容,一些实施例中,安装方位侧包含:半挂车与牵引车的左侧,或,半挂车与牵引车的右侧;拍摄单元801具体用于:调用第一摄像头拍摄半挂车与牵引车安装方位侧的序列图像,拍摄得到的序列图像包含第一序列图像。
相应的,处理单元802包括第一提取模块、第二提取模块和第一识别模块;各个模块的执行原理如下:
第一提取模块,用于从第一序列图像中提取第一序列特征信息。
第二提取模块,用于根据第一序列特征信息提取半挂车位于安装方位侧的轮胎的第一轮胎轮廓图像。
在具体实现中,第二提取模块具体用于:将第一序列特征信息输入预设卷积神经网络中进行处理,预设卷积神经网络包含交错设置的多级卷积层和多级池化层;根据第N级池化层输出的图生成第一特征图像,以及根据第n级池化层输出的图生成第二特征图像,n大于等于2且小于N;基于第一特征图像确定第一序列图像中半挂车轮胎的边界线;将第一序列图像中由边界线构成的区域的分辨率调整为第二特征图像对应的分辨率,以提取得到半挂车位于安装方位侧的轮胎的第一轮胎轮廓图像。
第一识别模块,用于将第一轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别,以得到半挂车与牵引车之间的夹角。
优选的,结合图8示出的内容,一些实施例中,安装方位侧包含:半挂车与牵引车的左侧,或,半挂车与牵引车的右侧;拍摄单元801具体用于:调用第二摄像头和第三摄像头拍摄半挂车与牵引车安装方位侧的序列图像,第二摄像头和第三摄像头设置在安装方位侧,拍摄得到的序列图像包含:由第二摄像头拍摄得到的第二序列图像和由第三摄像头拍摄得到的第三序列图像。
相应的,处理单元802包括第三提取模块、第四提取模块、获取模块和第二识别模块;各个模块的执行原理如下:
第三提取模块,用于从第二序列图像中提取第二序列特征信息,以及从第三序列图像中提取第三序列特征信息。
第四提取模块,用于根据第二序列特征信息提取半挂车位于安装方位侧的轮胎的第二轮胎轮廓图像,以及根据第三序列特征信息提取半挂车位于安装方位侧的轮胎的第三轮胎轮廓图像。
获取模块,用于基于第二轮胎轮廓图像和第三轮胎轮廓图像,获取半挂车位于安装方位侧的轮胎的轮胎轮廓视差图像。
第二识别模块,用于将轮胎轮廓视差图像输入预先训练得到的夹角识别模型进行夹角识别,以得到半挂车与牵引车之间的夹角。
优选的,结合图8示出的内容,一些实施例中,安装方位侧包含:半挂车与牵引车的左侧,和,半挂车与牵引车的右侧;拍摄单元801具体用于:调用第四摄像头和第五摄像头拍摄半挂车与牵引车安装方位侧的序列图像,第四摄像头设置在半挂车与牵引车的左侧,第五摄像头设置在半挂车与牵引车的右侧,拍摄得到的序列图像包含:由第四摄像头拍摄得到的第四序列图像和由第五摄像头拍摄得到的第五序列图像。
相应的,处理单元802包括第五提取模块、第六提取模块、第三识别模块、修正模块;各个模块的执行原理如下:
第五提取模块,用于从第四序列图像中提取第四序列特征信息,以及从第五序列图像中提取第五序列特征信息。
第六提取模块,用于根据第四序列特征信息提取半挂车左侧轮胎的第四轮胎轮廓图像,以及根据第五序列特征信息提取半挂车右侧轮胎的第五轮胎轮廓图像。
第三识别模块,用于将第四轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第一夹角,以及将第五轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第二夹角。
修正模块,用于利用第二夹角对第一夹角进行修正以得到半挂车与牵引车之间的夹角。
综上所述,本发明实施例提供一种半挂车与牵引车之间的夹角的测量方法及系统,采集得到半挂车与牵引车安装方位侧的序列图像后,通过序列图像即可确定半挂车与牵引车之间的夹角,不需要在半挂车和牵引车上分别安装相对运动的部件就能够测量夹角,降低测量夹角的局限性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种半挂车与牵引车之间的夹角的测量方法,其特征在于,所述方法包括:
拍摄半挂车与牵引车安装方位侧的序列图像,包括:调用第一摄像头拍摄半挂车与牵引车安装方位侧的序列图像,拍摄得到的序列图像包含第一序列图像;所述安装方位侧包含:所述半挂车与所述牵引车的左侧,或,所述半挂车与所述牵引车的右侧;
从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,包括:
从所述第一序列图像中提取第一序列特征信息;
将所述第一序列特征信息输入预设卷积神经网络中进行处理,所述预设卷积神经网络包含交错设置的多级卷积层和多级池化层;
根据第N级池化层输出的图生成第一特征图像,以及根据第n级池化层输出的图生成第二特征图像,n大于等于2且小于N;
基于所述第一特征图像确定所述第一序列图像中所述半挂车轮胎的边界线;
将所述第一序列图像中由所述边界线构成的区域的分辨率调整为所述第二特征图像对应的分辨率,以提取得到所述半挂车位于所述安装方位侧的轮胎的第一轮胎轮廓图像;
将所述第一轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别,以得到所述半挂车与所述牵引车之间的夹角;所述夹角识别模型基于样本数据训练自竞争神经网络得到。
2.一种半挂车与牵引车之间的夹角的测量方法,其特征在于,所述方法包括:
拍摄半挂车与牵引车安装方位侧的序列图像,包括:调用第二摄像头和第三摄像头拍摄半挂车与牵引车安装方位侧的序列图像,所述第二摄像头和所述第三摄像头设置在所述安装方位侧,拍摄得到的序列图像包含:由所述第二摄像头拍摄得到的第二序列图像和由所述第三摄像头拍摄得到的第三序列图像;所述安装方位侧包含:所述半挂车与所述牵引车的左侧,或,所述半挂车与所述牵引车的右侧;
从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,包括:
从所述第二序列图像中提取第二序列特征信息,以及从所述第三序列图像中提取第三序列特征信息;
根据所述第二序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的第二轮胎轮廓图像,以及根据所述第三序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的第三轮胎轮廓图像;
基于所述第二轮胎轮廓图像和所述第三轮胎轮廓图像,获取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓视差图像;
将所述轮胎轮廓视差图像输入预先训练得到的夹角识别模型进行夹角识别,以得到所述半挂车与所述牵引车之间的夹角;所述夹角识别模型基于样本数据训练自竞争神经网络得到。
3.一种半挂车与牵引车之间的夹角的测量方法,其特征在于,所述方法包括:
拍摄半挂车与牵引车安装方位侧的序列图像,包括:调用第四摄像头和第五摄像头拍摄半挂车与牵引车安装方位侧的序列图像,所述第四摄像头设置在所述半挂车与所述牵引车的左侧,所述第五摄像头设置在所述半挂车与所述牵引车的右侧,拍摄得到的序列图像包含:由所述第四摄像头拍摄得到的第四序列图像和由所述第五摄像头拍摄得到的第五序列图像;所述安装方位侧包含:所述半挂车与所述牵引车的左侧,和,所述半挂车与所述牵引车的右侧;
从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,包括:
从所述第四序列图像中提取第四序列特征信息,以及从所述第五序列图像中提取第五序列特征信息;
根据所述第四序列特征信息提取所述半挂车左侧轮胎的第四轮胎轮廓图像,以及根据所述第五序列特征信息提取所述半挂车右侧轮胎的第五轮胎轮廓图像;
将所述第四轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第一夹角,以及将所述第五轮胎轮廓图像输入预先训练得到的夹角识别模型进行夹角识别以得到第二夹角;所述夹角识别模型基于样本数据训练自竞争神经网络得到;
利用所述第二夹角对所述第一夹角进行修正以得到所述半挂车与所述牵引车之间的夹角。
4.根据权利要求1-3中任一所述的方法,其特征在于,所述方法还包括:
显示所述半挂车与所述牵引车之间的夹角。
5.一种半挂车与牵引车之间的夹角的测量系统,其特征在于,所述系统用于执行权利要求1-4任一所述的半挂车与牵引车之间的夹角的测量方法,所述系统包括:
拍摄单元,用于拍摄半挂车与牵引车安装方位侧的序列图像,所述安装方位侧包含:所述半挂车与所述牵引车的左侧,和/或,所述半挂车与所述牵引车的右侧;
处理单元,用于从所述序列图像中提取序列特征信息,并根据所述序列特征信息提取所述半挂车位于所述安装方位侧的轮胎的轮胎轮廓图像;利用预先训练得到的夹角识别模型处理所述轮胎轮廓图像,以得到所述半挂车与所述牵引车之间的夹角,所述夹角识别模型基于样本数据训练自竞争神经网络得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310580622.5A CN116499420B (zh) | 2023-05-23 | 2023-05-23 | 一种半挂车与牵引车之间的夹角的测量方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310580622.5A CN116499420B (zh) | 2023-05-23 | 2023-05-23 | 一种半挂车与牵引车之间的夹角的测量方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116499420A CN116499420A (zh) | 2023-07-28 |
CN116499420B true CN116499420B (zh) | 2023-10-17 |
Family
ID=87330303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310580622.5A Active CN116499420B (zh) | 2023-05-23 | 2023-05-23 | 一种半挂车与牵引车之间的夹角的测量方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116499420B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020047739A (ko) * | 2000-12-14 | 2002-06-22 | 조충환 | 타이어 트레드의 프로파일 측정방법 |
CN104648250A (zh) * | 2015-02-05 | 2015-05-27 | 倪一翔 | 一种用于半挂车的多功能可视系统及其工作方法 |
CN106274907A (zh) * | 2016-08-12 | 2017-01-04 | 浙江零跑科技有限公司 | 一种基于卡尔曼滤波的多列车铰接角视觉测量优化方法 |
CN110363085A (zh) * | 2019-06-10 | 2019-10-22 | 浙江零跑科技有限公司 | 一种基于铰接角补偿的重型铰接车环视实现方法 |
CN110378201A (zh) * | 2019-06-05 | 2019-10-25 | 浙江零跑科技有限公司 | 一种基于侧环视鱼眼相机输入的多列车铰接角测量方法 |
CN111222639A (zh) * | 2018-11-26 | 2020-06-02 | 福特全球技术公司 | 使用端到端学习的挂车角度检测 |
CN111288930A (zh) * | 2018-11-20 | 2020-06-16 | 北京图森智途科技有限公司 | 一种挂车夹角的测量方法、装置及车辆 |
CN114735011A (zh) * | 2022-04-27 | 2022-07-12 | 北京经纬恒润科技股份有限公司 | 车辆轨迹预测方法及相关设备 |
CN115546463A (zh) * | 2022-11-08 | 2022-12-30 | 东风汽车集团股份有限公司 | 一种基于机器学习的换胎识别方法及自动换胎系统 |
CN116080531A (zh) * | 2023-02-15 | 2023-05-09 | 陕西重型汽车有限公司 | 基于视觉传感器的半挂牵引车内轮差区域防碰撞预警方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6772351B1 (ja) * | 2019-09-18 | 2020-10-21 | Toyo Tire株式会社 | タイヤ物理情報推定システム |
-
2023
- 2023-05-23 CN CN202310580622.5A patent/CN116499420B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020047739A (ko) * | 2000-12-14 | 2002-06-22 | 조충환 | 타이어 트레드의 프로파일 측정방법 |
CN104648250A (zh) * | 2015-02-05 | 2015-05-27 | 倪一翔 | 一种用于半挂车的多功能可视系统及其工作方法 |
CN106274907A (zh) * | 2016-08-12 | 2017-01-04 | 浙江零跑科技有限公司 | 一种基于卡尔曼滤波的多列车铰接角视觉测量优化方法 |
CN111288930A (zh) * | 2018-11-20 | 2020-06-16 | 北京图森智途科技有限公司 | 一种挂车夹角的测量方法、装置及车辆 |
CN111222639A (zh) * | 2018-11-26 | 2020-06-02 | 福特全球技术公司 | 使用端到端学习的挂车角度检测 |
CN110378201A (zh) * | 2019-06-05 | 2019-10-25 | 浙江零跑科技有限公司 | 一种基于侧环视鱼眼相机输入的多列车铰接角测量方法 |
CN110363085A (zh) * | 2019-06-10 | 2019-10-22 | 浙江零跑科技有限公司 | 一种基于铰接角补偿的重型铰接车环视实现方法 |
CN114735011A (zh) * | 2022-04-27 | 2022-07-12 | 北京经纬恒润科技股份有限公司 | 车辆轨迹预测方法及相关设备 |
CN115546463A (zh) * | 2022-11-08 | 2022-12-30 | 东风汽车集团股份有限公司 | 一种基于机器学习的换胎识别方法及自动换胎系统 |
CN116080531A (zh) * | 2023-02-15 | 2023-05-09 | 陕西重型汽车有限公司 | 基于视觉传感器的半挂牵引车内轮差区域防碰撞预警方法 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的货车盲区障碍目标检测算法研究;韦昊;硕士电子期刊;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116499420A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20110037595A1 (en) | Driver state monitoring system | |
CN108345855B (zh) | 一种车道压线检测方法及系统 | |
CN108860045B (zh) | 驾驶辅助方法、驾驶辅助装置及存储介质 | |
US20100284569A1 (en) | Lane recognition system, lane recognition method, and lane recognition program | |
JP2014215877A (ja) | 物体検出装置 | |
US20220194434A1 (en) | Apparatus for controlling autonomous, system having the same, and method thereof | |
CN105190687A (zh) | 图像处理装置以及图像处理方法 | |
JP2020060550A (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
EP3650267B1 (en) | Control device for vehicle, system, method and storage medium | |
CN116499420B (zh) | 一种半挂车与牵引车之间的夹角的测量方法及系统 | |
CN110606032A (zh) | 车辆驾驶设备的参数配置方法、装置和车辆 | |
JP6847709B2 (ja) | カメラ装置、検出装置、検出システムおよび移動体 | |
US10664997B1 (en) | Method, camera system, computer program product and computer-readable medium for camera misalignment detection | |
EP4012656A1 (en) | Method for real-time tow ball detection | |
JP4704998B2 (ja) | 画像処理装置 | |
JP6789151B2 (ja) | カメラ装置、検出装置、検出システムおよび移動体 | |
CN117671020A (zh) | 鱼眼相机的标定方法、全景影像的获取方法及车辆 | |
CN115115531A (zh) | 图像去噪方法、装置、车辆及存储介质 | |
CN108847085B (zh) | 一种驾驶培训智能教练机器人 | |
CN112183413A (zh) | 一种车位检测方法、装置、存储介质及车辆 | |
US11941843B2 (en) | Method and device for detecting a trailer | |
CN117631091A (zh) | 用于利用相机确定雨量级别的方法和系统 | |
CN114521180B (zh) | 物体检测装置、行驶控制系统以及行驶控制方法 | |
CN117622322B (zh) | 转角检测方法、装置、设备及存储介质 | |
US20230368345A1 (en) | Viewing system to dynamic real time optimize image quality for every customer viewport |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |