CN101454814A - 车型判定装置、程序、方法 - Google Patents
车型判定装置、程序、方法 Download PDFInfo
- Publication number
- CN101454814A CN101454814A CNA2007800193430A CN200780019343A CN101454814A CN 101454814 A CN101454814 A CN 101454814A CN A2007800193430 A CNA2007800193430 A CN A2007800193430A CN 200780019343 A CN200780019343 A CN 200780019343A CN 101454814 A CN101454814 A CN 101454814A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- straight line
- hood
- type determination
- determination device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明的课题是提供一种可以与摄影设备的设置条件无关地、高精度地判定车辆的类型的车型判定装置、程序、方法。为了解决该课题,车型判定装置(100)具有:从识别对象的图像中提取车辆部分的车辆部分提取部(112);识别由车辆部分提取部(112)提取的车辆部分中相当于机罩的区域的机罩识别部(114);以及根据由机罩识别部(114)识别的机罩区域的侧面的斜率的大小来判定类型的车型判定部(113)。
Description
技术领域
本发明涉及一种使用拍摄车辆的图像来判定该车辆的类型的车型判定装置、车型判定程序和车型判定方法,尤其涉及可以与摄影设备的设置条件无关地、高精度地判定车辆类型的车型判定装置、车型判定程序和车型判定方法。
背景技术
以往,在车辆管理业务等中,采用了分析利用在路上设置的摄影设备拍摄的车辆的图像并判定车辆的类型的系统。作为其代表,分析图像中的车牌部分并判定车辆的类型的系统已广为人知。这种系统不仅利用车牌的车辆号码,还利用车牌的颜色等进行车型的判定(例如专利文献1)。
但是,在分析车牌的方式中,在车牌较脏的情况下等,不能高精度地判定车辆的类型。因此,在需要无论在哪种情况下都能高精度地判定车辆类型的情况下,组合多种方式进行车型判定。关于与车牌部分的分析无关地判定车辆的类型的方式,例如有专利文献2公开的方式。
专利文献2公开的车型判定方式按照预定的规则识别图像中的车辆的机罩部分和前车窗玻璃部分,根据这些部分的宽度和高度,进行对象是普通车还是大型车的大致的车型判定。
专利文献1:日本特开2003—331384号公报
专利文献2:日本特开平11—353581号公报
但是,专利文献2公开的车型判定方式根据机罩部分和前车窗玻璃部分的高度等判定车辆的类型,所以根据车辆的形状、在路上设置的摄影设备的设置角度的组合,有时将导致错误地判定车型。
一般,图像中的普通车的机罩部分的高度在摄影设备越以接近水平的角度设置时越低,在设置角度越接近垂直时越高。因此,根据摄影设备的设置角度,特定类型的普通车的机罩部分的高度被拍摄为与大型车的机罩部分的高度大致相同,有时会将普通车错误地判定为大型车。车辆根据车型具有各自的特征形状,所以即使调整摄影设备的设置角度,也很难彻底防止这种错误判定。
发明内容
本发明就是为了解决上述现有技术的问题而提出的,其目的在于,提供一种可以与摄影设备的设置条件无关地、高精度地判定车辆的类型的车型判定装置、车型判定程序和车型判定方法。
为了解决上述问题并达到上述目的,在本发明的一个方式中,提供一种使用拍摄车辆的图像来判定该车辆的类型的车型判定装置,该车型判定装置的特征在于,该车型判定装置具有:执行如下处理的单元:从所述图像中提取水平方向的直线和侧面的直线,其中,所述水平方向的直线和侧面的直线构成所述车辆的车型判定区域的轮廓;求出所述水平方向的直线与所述侧面的直线之间的角度的单元;以及车型判定单元,其根据所述角度,判定所述车辆的类型。
并且,在本发明的一个方式中,其特征在于,使用距离摄影装置的设置位置远的一侧的侧面,其中,所述摄影装置用于拍摄所述图像。
并且,在本发明的一个方式中,其特征在于,具有定义了所述角度与车型之间的关系的存储区域,所述车型判定单元通过参照所述存储区域来判定所述车辆的类型。
并且,在本发明的一个方式中,其特征在于,所述车型判定区域是车辆的机罩。
并且,在本发明的一个方式中,其特征在于,所述车型判定区域是车辆的前车窗玻璃。
另外,把本发明的构成要素、表述或构成要素的任意组合适用于方法、装置、系统、计算机程序、记录介质、数据结构等得到的发明,作为本发明的方式也是有效的。
根据本发明,其构成为识别图像中的车辆的预定区域(例如机罩),根据构成该区域的轮廓的水平方向的直线与侧面的直线之间的角度进行车型的判定,所以在根据机罩的高度等其他信息不能正确判定车型的情况下,也发挥可以高精度地判定车辆的类型的效果。
附图说明
图1是表示背景图像的一例的图。
图2是表示识别图像的一例的图。
图3是表示车辆部分的提取结果的一例的图。
图4是表示纵向边缘的检测示例的图。
图5是表示基于边缘的边界设定示例的图。
图6是表示车辆部分的区域分割示例的图。
图7是表示获取机罩的斜率和高度的示例的图。
图8是表示获取货车机罩的斜率和高度的示例的图。
图9是表示本实施例涉及的车型判定装置的结构的功能方框图。
图10是表示车型的判定规则的一例的图。
图11是表示由车辆部分提取部提取车辆部分的图像的一例的图。
图12是表示机罩识别部根据图11所示的图像生成的轮廓图像的一例的图。
图13是表示构成图11中的区域A的各个像素的像素值的图。
图14是表示构成图12中的区域A的各个像素的像素值的图。
图15是表示车辆所处区域的宽度W的范围的图。
图16是表示M=4时的分割线的一例的图。
图17是表示边缘信息的一例的图。
图18是表示机罩的斜率的图。
图19是表示相当于机罩的区域的侧面的坐标的图。
图20是表示基于颜色的机罩区域的推测规则的一例的图。
图21是表示基于区域的高度的机罩区域的推测规则的一例的图。
图22是表示车型判定装置的处理步骤的流程图。
图23是表示车型判定处理的处理步骤的流程图。
图24是表示机罩识别处理的处理步骤的流程图。
图25是表示执行车型判定程序的计算机的功能方框图。
符号说明
100 车型判定装置;110 控制部;111 图像输入部;112 车辆部分提取部;113 车型判定部;114 机罩识别部;115 黄色号码判定部;120 存储部;121 图像数据存储区域;122 判定规则存储区域;123 设定信息存储区域;130 显示部;1000 计算机;1010 CPU;1020 输入装置;1030 监视器;1040 介质读取装置;1050 网络接口装置;1060 RAM;1061 车型判定步骤;1070 硬盘装置;1071 车型判定程序;1072 车型判定用数据;1080 总线。
具体实施方式
以下,参照附图具体说明本发明涉及的车型判定装置、车型判定程序和车型判定方法的优选实施方式。
实施例
首先,说明本实施例涉及的车型判定方法的概况。本实施例涉及的车型判定方法从识别图像中提取识别对象的车辆部分,再根据所提取的车辆部分的机罩部分(车型判定区域)的高度和斜率,判定车辆的大致类型。不仅利用机罩部分的高度,通过把斜率也设为判定因素,可以与摄影设备的设置角度等无关地、高精度地进行车型判定。
在本实施例涉及的车型判定方法中,为了从识别图像中提取识别对象的车辆部分,进行背景图像与识别图像的比较。图1是表示背景图像的一例的图,图2是表示识别图像的一例的图。如这些附图所示,背景图像和识别图像是利用同一摄影设备在同一位置以同一角度拍摄的图像。并且,背景图像是没有拍摄任何车辆的图像,识别图像是拍摄了识别对象车辆的一部分或全部的图像。
比较这两个图像并生成差分图像,按照图3所示,从识别图像中只提取车辆部分。这样,在完成车辆部分的提取后,为了识别机罩,将所提取的车辆部分分割为几个区域。
车辆部分的区域分割是以通过沿纵向扫描包括车辆部分的中央在内的多处而检测到的边缘作为基准来进行的。图4是表示纵向边缘的检测示例的图。该图表示通过沿纵向扫描包括车辆部分的中央在内的三处来检测边缘的示例。图5是表示基于边缘的边界设定示例的图。该图表示利用最小平方法等获取通过大致处于同一水平线上的各个边缘的中心的直线,并把其作为边界的示例。
另外,在该图所示的示例中,忽略了前护栅的区域及其下方的边缘。前护栅的区域虽然可以通过检测许多边缘来识别,但通常位于机罩的下方。本实施例涉及的车型判定方法如后面所述,采用通过与上方区域比较来识别机罩部分的逻辑,不需要机罩下方的区域,所以不使用前护栅的区域及其下方的边缘。另外,在变更识别机罩部分的逻辑时,可以使用前护栅的区域及其下方的边缘。
图6是表示车辆部分的区域分割示例的图。该图表示根据在图5中设定的边界线把车辆部分分割为3个区域的示例。这样,在进行区域分割后,从上方区域调查各个区域的颜色的变化模式和纵向长度的变化模式,将其结果与预定的推测规则对照,推测相当于机罩的区域。
并且,在推测相当于机罩的区域后,获取机罩的斜率和高度,将它们与预定的阈值比较,由此进行车型判定。图7是表示获取机罩的斜率和高度的示例的图。如该图所示,机罩的斜率θ求出为如下的角度:区域的下方边界线与距摄影装置远的侧面的轮廓线之间的角度。并且,机罩的高度H求出为区域的上方边界线与下方边界线之间的距离。另外,严格地讲,θ不是机罩的斜率本身,而是根据机罩的斜率和摄像机的拍摄位置确定的角度,但由于摄像机的拍摄位置是一定的,所以在本说明书中把θ称呼为机罩的斜率。
为了求出机罩的斜率θ,需要获取距摄影装置远的侧面的轮廓线,该线例如可以在相当于机罩的区域中距摄影装置远的侧面中,获取作为车辆部分提取的区域的边界线上的几个点作为样本,并作为通过这些点的中心的直线,利用最小平方法求出。并且,在不能精密提取车辆部分时,也可以对横向边缘检测几点,并把其作为基准来获取轮廓线。
图8是表示获取货车机罩的斜率和高度的示例的图。如该图所示,货车的机罩的斜率大于图7所示的普通车的斜率。并且,货车机罩的高度低于图7所示的普通车的高度。
即,通过获取机罩的斜率和高度,并将它们与预定的阈值比较,可以容易判定识别对象是普通车还是货车。万一,由于摄影装置的设置角度,在普通车的机罩的高度被拍摄为与货车相同的高度时,由于不会同时将机罩的斜率拍摄为与货车相同的斜率,所以能够避免错误判定。
图2等所示的图像是从斜上方拍摄车辆得到的,这样从斜上方拍摄车辆的方法具有不会使驾驶员注意到摄像机的存在的优点。并且,图2等所示的图像容易进行基于车牌的车型判定,所以不是拍摄整个车辆,而是将车辆的前半部分拍摄得比较大。本实施例涉及的车型判定方法对于这样倾斜拍摄车辆的一部分得到的图像,只要能够识别到机罩的斜率程度的不同,就能够正确进行车型判定。
下面,说明使用本实施例涉及的车型判定方法进行车型判定的车型判定装置的结构。图9是表示本实施例涉及的车型判定装置100的结构的图。如该图所示,车型判定装置100具有控制部110、存储部120和显示部130。显示部130是显示各种信息的装置,利用液晶显示装置等构成。
控制部110是控制整个车型判定装置100的控制部,具有图像输入部111、车辆部分提取部112、车型判定部113、机罩识别部114和黄色号码判定部115。图像输入部111是受理识别图像和背景图像的输入,将所输入的识别图像和背景图像存储在存储部120的图像数据存储区域121中的处理部。
车辆部分提取部112是对存储在图像数据存储区域121中的识别图像和背景图像进行比较,从识别图像中提取车辆部分作为差分图像的处理部。车辆部分提取部112在比较识别图像和背景图像时,获取识别图像中拍摄路面的可能性较大的几个点的周边像素的RGB(Red、Green andBlue)值,并与背景图像的相同位置的周边像素的RGB值进行比较。
并且,差分较大的点由于拍摄车辆的可能性较大而被排除,求出被推测为路面的其他点的差分的平均值。并且,使用所求出的差分的平均值进行背景图像的拉伸,使明亮度与识别图像吻合。这样,通过在提取差分之前调整背景图像的明亮度,可以提高车辆部分的提取精度。
然后,车辆部分提取部112按照被细分的每个区域或每个像素,比较识别图像和背景图像,求出R、G、B各个值的差分的绝对值。并且,把差分的绝对值中R、G、B任一方在阈值以上的部分识别为车辆部分。
这样,通过比较识别图像和背景图像并提取车辆部分,即使存在像路面上的白线那样与背景中的其他部分色度等大不相同的部分,也能够删除该部分并正确提取车辆部分。另外,在上述说明中,把RGB值作为基准来比较识别图像和背景图像,但也可以利用明度和亮度等其他值来取代RGB值,或者与RGB值并用进行比较。
并且,在上述说明中,示出了通过与背景图像的比较来提取车辆部分的示例,但也可以利用其他已知的方法来提取车辆部分,即,使用微分滤波等提取识别图像中的轮廓,并对所提取的轮廓进行模式匹配。
车型判定部113是对由车辆部分提取部112提取的车辆部分进行分析,并判定车辆的大致类型的处理部。具体地讲,车型判定部113把所提取的车辆部分划分为“摩托车”、“路面及其他”、“轻型汽车”、“大型车(卡车)”、“货车”和“普通车”六种类型。另外,所说“轻型汽车”,在日本指排气量在660cc以下的被分类为小型汽车的车型,排气量在1000~3000cc左右的“普通车”被赋予白色车牌,相对于此,“轻型汽车”被赋予黄色车牌。
车型判定部113在所提取的车辆部分的面积和宽度在预定的阈值以下时,如果高度大于阈值,则把对象判定为“摩托车”,如果高度在阈值以下,则把对象判定为“路面及其他”。并且,在通过黄色号码判定部115的分析,判明所提取的车辆部分映有黄色车牌时,把对象判定为“轻型汽车”。
并且,车型判定部113在所提取的车辆部分的面积和宽度在预定的阈值以上时,把对象判定为“大型车”。在上述之外的情况下,使用已经说明的本实施例涉及的车型判定方法,根据机罩的斜率和高度,判定对象是“货车”还是“普通车”。
另外,上述的车型判定的区分和判定逻辑仅是一例,可以根据目的进行变更。例如,在需要把“轻型汽车”再划分为“轻型轿车”和“轻型卡车”时,也可以使用本实施例涉及的车型判定方法判别两者。具体地讲,在识别到黄色车牌时,如果机罩的斜率的大小在预定的阈值以上、而且机罩的高度在预定的阈值以下,则把对象判定为“轻型卡车”,否则,判定为“轻型轿车”。
并且,“大型车”的判别也可以使用本实施例涉及的车型判定方法。具体地讲,在机罩具有接近垂直的斜率、而且高度在预定的阈值以上时,可以判定为“大型车”。图10表示根据机罩的斜率判定“普通车”、“货车”和“大型车”时的判定规则的一例。在该图所示的判定规则被存储在存储部120的判定规则存储区域122中时,车型判定部113参照该规则,如果机罩的斜率θ为45°~75°,则把对象判定为“普通车”,如果θ为75°~85°,则把对象判定为“货车”,如果θ为85°~105°,则把对象判定为“大型车”。
机罩识别部114是根据由车辆部分提取部112提取的车辆部分识别相当于机罩的部分,并获取该部分的高度和斜率的处理部。由机罩识别部114获取的机罩的斜率和高度,也在车型判定部113的车型判定中使用。
机罩识别部114首先对由车辆部分提取部112提取了车辆部分的图像执行轮廓提取处理。具体地讲,对复制的图像数据的各个像素的RGB值进行HSI(Hue、Saturation、Intensity)转换或HSV(Hue、Saturation、Value)转换,生成把所得到的各个像素的明亮度或亮度作为该像素的像素值的灰度图像。并且,对所生成的灰度图像施加Sobel和Prewitt等已知的微分滤波器来强调轮廓,然后进行基于阈值处理的二值化等,生成轮廓图像。
图11是表示由车辆部分提取部112提取车辆部分的图像的一例的图,图12是表示机罩识别部114根据图11所示的图像生成的轮廓图像的一例的图。并且,图13是表示构成图11中的区域A的各个像素的像素值的图,图14是表示构成图12中的区域A的各个像素的像素值的图。在图14的示例中,进行使轮廓部分的像素的像素值为225、使其他部分的像素的像素值为0的二值化。
然后,机罩识别部114沿横向扫描轮廓图像,获取相当于轮廓的像素出现的最左侧的坐标和最右侧的坐标,把它们之间视为车辆所在的区域,并获取其宽度W。在轮廓图像是图12所示的图像时,车辆所在区域的宽度W表示图15所示的范围。
并且,机罩识别部114设定把车辆所在的区域分割为W/M的宽度的M—1个纵向分割线。M必须是至少3以上的整数,在本实施例中,设为M=4。在M=4时,如图16所示,设定3个纵向分割线、即线A~C。
在设定分割线后,机罩识别部114获取相邻的上下像素的像素值的差分,同时从上向下地扫描各个分割线上的像素。并且,每当检测到差分大于阈值的部分时,把上侧的像素的坐标作为边缘记录在边缘信息中。边缘信息是按照每个分割线保存位于边缘即轮廓边界的像素的坐标的信息,并与处理对象的图像相对应地存储在存储部120的图像数据存储区域121中。图17表示边缘信息的一例。如该图所示,在边缘信息中按照每个分割线记录着位于轮廓边界的像素的坐标。另外,各个分割线通过车辆的不同部分,所以边缘信息中记录的坐标的数量有时因每个分割线而不同。
然后,机罩识别部114参照边缘信息,提取大致水平位置的坐标的组合。关于坐标的组合的提取,例如通过从各个分割线上的坐标中逐个选出Y轴的值的差收敛在预定值以内的坐标来进行。在假设选出Y轴的值的差在10以内的坐标时,从图17所示的边缘信息的示例中提取线A的(146、12)与线B的(190、17)与线C的(216、16)的组合、和线A的(146、36)与线B的(190、37)与线C的(216、35)的组合等。
并且,机罩识别部114对所提取的每个组合使用最小平方法等,求出通过组合内的各个坐标的中心的水平方向的直线,把这些直线作为边界,对由车辆部分提取部112提取了车辆部分的图像分割区域。通过以上处理,如图6所示,可以把由车辆部分提取部112提取的车辆部分分割为车辆的每个部位的区域。
这样,在将车辆部分分割区域后,机罩识别部114推测这些区域中的哪个相当于机罩。为了推测相当于机罩的区域,机罩识别部114求出各个区域的颜色、宽度和高度。关于颜色,可以获取区域中的各个像素的颜色的平均,也可以根据区域中的各个像素的颜色的分布求出。并且,机罩识别部114将所求出的各个区域的颜色、宽度和高度,与存储在存储部120的判定规则存储区域122中的推测规则对照,由此推测相当于机罩的区域。
图20是表示基于颜色的机罩区域的推测规则的一例的图。如该图所示,该规则对相邻的两个区域的上位区域的颜色和下位区域的颜色的每种组合,定义下位区域是相当于机罩的区域的概率。
例如,在上位区域的颜色是“银色”、下位区域的颜色是“白色”时,由于上位区域是前车窗玻璃、下位区域是机罩的可能性较大,所以相对于该组合的概率为“30”。并且,在上位区域的颜色是“白色”、下位区域的颜色是“银色”时,由于上位区域是车顶、下位区域是前车窗玻璃的可能性较大,所以相对于该组合的概率为“0”。
图21是表示基于区域的高度的机罩区域的推测规则的一例的图。如该图所示,该规则对相邻的两个区域的上位区域的高度占总体的比率和下位区域的高度占总体的比率的每种组合,定义下位区域是相当于机罩的区域的概率。
例如,在上位区域的高度的比率为“25%”、下位区域的高度的比率为“40%”时,由于上位区域是前车窗玻璃、下位区域是机罩的可能性较大,所以相对于该组合的概率为“40”。并且,在上位区域的高度的比率为“30%”、下位区域的高度的比率为“20%”时,由于上位区域是车顶、下位区域是前车窗玻璃的可能性较大,所以相对于该组合的概率为“0”。
机罩识别部114对相邻的两个区域的全部组合进行与这些规则的对照,对每种组合累计下位区域是机罩的概率。例如,在上位区域的颜色是“银色”、高度为“25%”,而且下位区域的颜色是“白色”、高度为“40%”时,该组合中的下位区域是机罩的概率累计值为30+40=70。并且,机罩识别部114把能够获得最高概率的组合中的下位区域推测为机罩。另外,此时,为了防止把宽度狭小、不可能是机罩的区域错误地推测为机罩,也可以把机罩宽度的下限值存储在判定规则存储区域122中,将下位区域的宽度小于该下限值的组合排除外后,进行判定。
另外,在上述示例中,根据相邻的两个区域的颜色和高度的变化模式来推测相当于机罩的区域,但也可以根据相邻的三个以上区域的颜色和高度的变化模式来推测相当于机罩的区域。
这样,在推测相当于机罩的区域后,机罩识别部114求出该区域的高度和斜率。关于斜率,通过如下方法求出:两条直线所成的角度,其中,一条直线是相当于机罩的区域的下端的线,即是在根据边缘信息求出的边界线中、成为被推测为机罩的区域与其正下方区域之间的边界的线(图18中的线D),另一条直线是被推测为机罩的区域中距摄像机远的一侧的侧面的直线(图18中的线F)。
表示被推测为机罩的区域的侧面中哪个是距摄像机远的一侧的信息,被预先存储在存储部120的设定信息存储区域123中。并且,机罩识别部114按照图19所示提取距摄像机远的一侧的侧面与背景之间的边界部分的坐标,使用最小平方法等求出通过这些坐标的中心的直线,把该直线作为距摄像机远的一侧的侧面的直线。
另外,为了防止相当于机罩的区域的斜率和高度因摄像机的设置角度和高度而变化,机罩识别部114也可以根据存储在存储部120的设定信息存储区域123中的有关摄影设备的设置角度的信息、和整个识别图像中的机罩部分的位置等,校正机罩的斜率和高度。
黄色号码判定部115是判定由车辆部分提取部112提取的车辆部分是否映有黄色车牌的处理部。该判定例如可以使用专利文献1公开的技术实现。黄色号码判定部115的判定结果还在车型判定部113的车型判定中使用。
存储部120是存储各种信息的存储部,具有图像数据存储区域121、判定规则存储区域122和设定信息存储区域123。图像数据存储区域121是存储通过图像输入部受理输入的识别图像及其关联信息和背景图像的区域。
判定规则存储区域122是存储用于使车型判定部113和机罩识别部114进行各种判定的规则和阈值的区域。设定信息存储区域123是存储像摄影设备的设置角度那样的设定信息的区域。
下面,说明图9所示的车型判定装置100的处理步骤。图22是表示车型判定装置100的处理步骤的流程图。如该图所示,首先,图像输入部111受理背景图像的输入,并将其存储在图像数据存储区域中(步骤S101),还受理识别图像的输入,并将其存储在图像数据存储区域中(步骤S102)。
并且,车辆部分提取部112调整背景图像的明亮度,使识别图像与背景图像的路面部分的明亮度相同(步骤S103),比较识别图像和背景图像,从识别图像中提取车辆部分(步骤S104)。
并且,车型判定部113对由车辆部分提取部112提取的车辆部分进行后面叙述的车型判定处理,判定车辆的类型(步骤S105),将判定结果输出给显示部130(步骤S106)。
图23是表示车型判定处理的处理步骤的流程图。如该图所示,首先,车型判定部113获取由车辆部分提取部112提取的车辆部分的面积、宽度和高度(步骤S201)。
并且,当面积和宽度在阈值以下时(步骤S202:肯定),如果高度在阈值以下(步骤S211:肯定),则把识别对象判定为“路面及其他”(步骤S213),否则(步骤S211:否定),把识别对象判定为“摩托车”(步骤S212)。
当由车辆部分提取部112提取的车辆部分的面积和宽度不在阈值以下时(步骤S202:否定),进行后面叙述的机罩识别处理,获取机罩的斜率和高度(步骤S203)。
并且,当通过黄色号码判定部115确认存在黄色车牌时(步骤S204:肯定),把识别对象判定为“轻型汽车”(步骤S210),如果车辆部分的面积和宽度在阈值以上(步骤S205:肯定),则把识别对象判定为“大型车”(步骤S209)。
并且,当判定识别对象既不是“轻型汽车”也不是“大型车”时(步骤S204:否定,而且步骤S205:否定),在通过机罩识别处理得到的机罩的斜率在阈值以上、而且高度在阈值以下的情况下(步骤S206:肯定),把识别对象判定为“货车”(步骤S208),否则(步骤S206:否定),把识别对象判定为“普通车”(步骤S207)。
图24是表示机罩识别处理的处理步骤的流程图。如该图所示,首先,车型判定部113检测由车辆部分提取部112提取的车辆部分的纵向边缘(步骤S301),把所检测的边缘作为基准,把车辆部分分割为多个区域(步骤S302)。
并且,获取通过分割得到的各个区域的颜色、宽度和高度(步骤S303),并将其与推测规则对照,推测相当于机罩的区域(步骤S304)。并且,检测机罩的侧面的轮廓线(步骤S305),获取机罩的斜率和高度(步骤S306),进行所获取的斜率和高度的校正(步骤S307)。
另外,图9所示的本实施例涉及的车型判定装置100的结构可以在不脱离本发明宗旨的范围内进行各种变更。例如,把车型判定装置100的控制部110的功能安装为软件,并由计算机执行该软件,由此可以实现与车型判定装置100相同的功能。以下,表示执行把控制部110的功能安装为软件的车型判定程序1071的计算机的一例。
图25是表示执行车型判定程序1071的计算机1000的功能方框图。该计算机1000通过利用总线1080连接以下各部分而构成:执行各种运算处理的CPU(Central Processing Unit)1010;受理来自用户的数据输入的输入装置1020;显示各种信息的监视器1030;从记录了各种程序等的记录介质读取程序等的介质读取装置1040;通过网络与其他计算机之间进行数据的收发的网络接口装置1050;临时存储各种信息的RAM(Random Access Memory)1060;和硬盘装置1070。
并且,在硬盘装置1070中存储有:具有与图9所示控制部110相同的功能的车型判定程序1071、和与存储在图9所示存储部120中的各种数据对应的车型判定用数据1072。另外,也可以将车型判定用数据1072适当分散存储在通过网络连接的其他计算机中。
并且,CPU1010从硬盘装置1070读出车型判定程序1071并展开到RAM1060中,由此车型判定程序1071发挥车型判定步骤1061的作用。并且,车型判定步骤1061把从车型判定用数据1072读出的信息等适当展开到RAM1060中分配给自身的区域中,并根据该展开的数据等执行各种数据处理。
另外,上述车型判定程序1071未必一定要存储在硬盘装置1070中,也可以由计算机1000读出存储在CD—ROM等存储介质中的该程序并执行。并且,还可以在通过公共线路、因特网、LAN(Local Area Network)、WAN(Wide Area Network)等连接到计算机1000上的其他计算机(或服务器)等中存储该程序,计算机1000从这些设备中读出程序并执行。
如上所述,在本实施例中构成为识别图像中的车辆的机罩,除其高度外,还根据侧面的斜率的大小来进行车型的判定,所以在由于摄影设备的设置条件而不能根据机罩的高度等正确判定车型时,也能够高精度地判定车辆的类型。
另外,上述实施例中的词--机罩,如果是在车辆前部具有发动机的车辆,则指车辆前部的发动机的防护罩,如果是在车辆后部具有发动机的车辆,则指车辆前部的后备箱的防护罩。
并且,在上述实施例中,说明了根据识别图像中的机罩的侧面部分的斜率的大小来判定车辆的类型的示例,但也可以根据机罩的侧面部分的倒角的大小来判定车辆的类型。该情况时,例如求出机罩的侧面部分的近时曲线,计算表示倒角大小的系数,并将其与阈值比较来进行车型判定。该方式在判定机罩具有倒角的特殊形状的车辆时比较有效。
并且,也可以取代识别图像中的机罩,或者除此之外,获取能够获取斜率的大小作为任一个角的角度的部位(例如前车窗玻璃部分和车顶部分)的斜率的大小,并判定车辆的类型。例如,在前车窗玻璃部分的斜率大于阈值时,可以判定识别对象是大型车。
并且,在上述实施例中,说明了使用这些车型判定区域的下边与侧面的直线之间的角度来判定车型的示例,但也可以取代该示例,使用车型判定区域的上边与侧面的直线之间的角度也能够获得相同结果。
产业上的可利用性
如上所述,本发明涉及的车型判定装置、车型判定程序和车型判定方法,在使用拍摄车辆的图像来判定该车辆的类型时比较有用,尤其适合于需要与摄影设备的设置条件无关地、高精度地判定车辆的类型的情况。
Claims (9)
1.一种使用拍摄车辆的图像来判定该车辆的类型的车型判定装置,其特征在于,
该车型判定装置具有:
执行如下处理的单元:从所述图像中提取水平方向的直线和侧面的直线,其中,所述水平方向的直线和侧面的直线构成所述车辆的车型判定区域的轮廓;
求出所述水平方向的直线与所述侧面的直线之间的角度的单元;以及
车型判定单元,其根据所述角度,判定所述车辆的类型。
2.根据权利要求1所述的车型判定装置,其特征在于,所述侧面的直线使用距离摄影装置的设置位置远的一侧的侧面,其中,所述摄影装置用于拍摄所述图像。
3.根据权利要求1所述的车型判定装置,其特征在于,该车型判定装置具有定义了所述角度与车型之间的关系的存储区域,
所述车型判定单元通过参照所述存储区域来判定所述车辆的类型。
4.根据权利要求1所述的车型判定装置,其特征在于,所述车型判定区域是车辆的机罩。
5.根据权利要求1所述的车型判定装置,其特征在于,所述车型判定区域是车辆的前车窗玻璃。
6.根据权利要求1所述的车型判定装置,其特征在于,该车型判定装置具有车型判定区域提取单元,该车型判定区域提取单元以通过沿纵向扫描所述图像得到的边缘作为基准,把所述车辆分割为多个区域,根据这些区域的颜色的变化参数,识别所述车型判定区域。
7.根据权利要求1所述的车型判定装置,其特征在于,该车型判定装置具有车型判定区域提取单元,该车型判定区域提取单元以通过沿纵向扫描所述图像得到的边缘作为基准,把所述车辆分割为多个区域,根据这些区域的高度的变化参数,识别所述车型判定区域。
8.一种车型判定程序,其特征在于,该车型判定程序使得使用拍摄车辆的图像来判定该车辆的类型的车型判定装置作为以下单元而动作:
执行如下处理的单元:从所述图像中提取水平方向的直线和侧面的直线,其中,所述水平方向的直线和侧面的直线构成所述车辆的车型判定区域的轮廓;
求出所述水平方向的直线与所述侧面的直线之间的角度的单元;以及
车型判定单元,其根据所述角度,判定所述车辆的类型。
9.一种使用拍摄车辆的图像来判定该车辆的类型的车型判定装置的车型判定方法,其特征在于,
该车型判定方法包括:
执行如下处理的步骤:从所述图像中提取水平方向的直线和侧面的直线,其中,所述水平方向的直线和侧面的直线构成所述车辆的车型判定区域的轮廓;
求出所述水平方向的直线与所述侧面的直线之间的角度的步骤;以及
车型判定步骤,根据所述角度,判定所述车辆的类型。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006146775A JP4567630B2 (ja) | 2006-05-26 | 2006-05-26 | 車種判別プログラムおよび車種判別装置 |
JP146775/2006 | 2006-05-26 | ||
PCT/JP2007/060733 WO2007139035A1 (ja) | 2006-05-26 | 2007-05-25 | 車両種別判定装置、プログラム、方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101454814A true CN101454814A (zh) | 2009-06-10 |
CN101454814B CN101454814B (zh) | 2012-11-07 |
Family
ID=38778556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800193430A Expired - Fee Related CN101454814B (zh) | 2006-05-26 | 2007-05-25 | 车型判定装置以及车型判定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8229171B2 (zh) |
EP (1) | EP2031571B1 (zh) |
JP (1) | JP4567630B2 (zh) |
CN (1) | CN101454814B (zh) |
WO (1) | WO2007139035A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104584076A (zh) * | 2012-08-31 | 2015-04-29 | 富士通株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN107615346A (zh) * | 2015-08-04 | 2018-01-19 | 欧姆龙株式会社 | 车辆确定装置及包括所述车辆确定装置的车辆确定系统 |
CN109785634A (zh) * | 2017-11-13 | 2019-05-21 | 厦门雅迅网络股份有限公司 | 基于基站切换的车型识别方法及计算机可读存储介质 |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4640857B2 (ja) | 2005-09-26 | 2011-03-02 | 富士通株式会社 | 色抽出方法及び装置 |
JP5299025B2 (ja) * | 2009-03-30 | 2013-09-25 | 富士通株式会社 | 車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法 |
US20120249795A1 (en) * | 2009-12-16 | 2012-10-04 | Pioneer Corporation | Signal recognizing device, signal recognizing method and signal recognizing program |
JP2012128669A (ja) * | 2010-12-15 | 2012-07-05 | Sumitomo Electric Ind Ltd | 車色判定装置、コンピュータプログラム及び車色判定方法 |
BR112013023734A2 (pt) * | 2011-03-14 | 2016-12-13 | Univ California | método e sistema para classificação de veículo |
CN103164958B (zh) * | 2011-12-15 | 2015-01-07 | 无锡中星微电子有限公司 | 车辆监控方法及系统 |
WO2016033252A2 (en) * | 2014-08-26 | 2016-03-03 | Cellepathy Ltd. | Transportation-related mobile device context inferences |
DE102012113009A1 (de) * | 2012-12-21 | 2014-06-26 | Jenoptik Robot Gmbh | Verfahren zum automatischen Klassifizieren von sich bewegenden Fahrzeugen |
JP5957403B2 (ja) * | 2013-03-15 | 2016-07-27 | 株式会社東芝 | 車両番号撮像装置 |
KR101407658B1 (ko) | 2013-04-16 | 2014-06-27 | 정영창 | 이미지기반 차량인식방법 및 시스템 |
US9317752B2 (en) * | 2013-06-20 | 2016-04-19 | Xerox Corporation | Method for detecting large size and passenger vehicles from fixed cameras |
CN103324958B (zh) * | 2013-06-28 | 2016-04-27 | 浙江大学苏州工业技术研究院 | 一种复杂背景下基于投影法和svm的车牌定位方法 |
CN105493141B (zh) | 2013-08-23 | 2018-09-14 | 哈曼国际工业有限公司 | 非结构化道路边界检测 |
US20170279957A1 (en) * | 2013-08-23 | 2017-09-28 | Cellepathy Inc. | Transportation-related mobile device context inferences |
US9607236B1 (en) * | 2014-06-27 | 2017-03-28 | Blinker, Inc. | Method and apparatus for providing loan verification from an image |
US9558419B1 (en) * | 2014-06-27 | 2017-01-31 | Blinker, Inc. | Method and apparatus for receiving a location of a vehicle service center from an image |
US9818154B1 (en) | 2014-06-27 | 2017-11-14 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US10867327B1 (en) | 2014-06-27 | 2020-12-15 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US9589201B1 (en) * | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle value from an image |
US10733471B1 (en) | 2014-06-27 | 2020-08-04 | Blinker, Inc. | Method and apparatus for receiving recall information from an image |
US9594971B1 (en) * | 2014-06-27 | 2017-03-14 | Blinker, Inc. | Method and apparatus for receiving listings of similar vehicles from an image |
US10540564B2 (en) | 2014-06-27 | 2020-01-21 | Blinker, Inc. | Method and apparatus for identifying vehicle information from an image |
US9600733B1 (en) * | 2014-06-27 | 2017-03-21 | Blinker, Inc. | Method and apparatus for receiving car parts data from an image |
US9892337B1 (en) | 2014-06-27 | 2018-02-13 | Blinker, Inc. | Method and apparatus for receiving a refinancing offer from an image |
US10515285B2 (en) | 2014-06-27 | 2019-12-24 | Blinker, Inc. | Method and apparatus for blocking information from an image |
US10572758B1 (en) | 2014-06-27 | 2020-02-25 | Blinker, Inc. | Method and apparatus for receiving a financing offer from an image |
US9563814B1 (en) * | 2014-06-27 | 2017-02-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle identification number from an image |
US9779318B1 (en) | 2014-06-27 | 2017-10-03 | Blinker, Inc. | Method and apparatus for verifying vehicle ownership from an image |
US9754171B1 (en) | 2014-06-27 | 2017-09-05 | Blinker, Inc. | Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website |
US9589202B1 (en) * | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for receiving an insurance quote from an image |
US10579892B1 (en) * | 2014-06-27 | 2020-03-03 | Blinker, Inc. | Method and apparatus for recovering license plate information from an image |
US9760776B1 (en) | 2014-06-27 | 2017-09-12 | Blinker, Inc. | Method and apparatus for obtaining a vehicle history report from an image |
US9773184B1 (en) | 2014-06-27 | 2017-09-26 | Blinker, Inc. | Method and apparatus for receiving a broadcast radio service offer from an image |
GB2547809A (en) * | 2014-08-26 | 2017-08-30 | Cellepathy Ltd | Transportation-related mobile device context inferences |
KR101596017B1 (ko) * | 2014-10-22 | 2016-02-19 | 한국생산기술연구원 | 재활용을 위한 폐차 부품 수거 시스템 |
JP6562648B2 (ja) * | 2015-02-16 | 2019-08-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN104966049B (zh) * | 2015-06-01 | 2018-06-05 | 江苏航天大为科技股份有限公司 | 基于图像的货车检测方法 |
KR101711931B1 (ko) * | 2015-06-22 | 2017-03-03 | 삼성중공업 주식회사 | 선박 이미지 검출 방법 |
CN107924469B (zh) | 2015-08-21 | 2022-04-12 | 3M创新有限公司 | 对设置在光学活性制品上的符号中的数据进行编码 |
EP3392830B1 (en) | 2015-12-14 | 2023-09-06 | Ricoh Company, Ltd. | Image processing device, object recognition device, apparatus control system, image processing method and program |
WO2017197223A1 (en) | 2016-05-13 | 2017-11-16 | 3M Innovative Properties Company | Counterfeit detection of an optically active article using security elements |
CN106200496A (zh) * | 2016-08-29 | 2016-12-07 | 南京晓庄学院 | 一种基于加速度传感器的智能车模控制系统及其控制方法 |
JP6825432B2 (ja) * | 2017-03-13 | 2021-02-03 | 富士通株式会社 | 解析プログラム、解析方法および解析装置 |
JP6818626B2 (ja) * | 2017-04-28 | 2021-01-20 | 株式会社東芝 | 車種判別装置、車種判別方法、および車種判別システム |
EP3506153A1 (en) * | 2017-12-28 | 2019-07-03 | Canon Kabushiki Kaisha | Information processing apparatus, system, method, and non-transitory computer-readable storage medium |
US10706721B2 (en) * | 2018-07-20 | 2020-07-07 | Denso International America, Inc. | Toll road detection and reporting system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3243747B2 (ja) * | 1992-05-07 | 2002-01-07 | 日本電信電話株式会社 | 車種認識装置 |
US5886648A (en) * | 1998-02-02 | 1999-03-23 | Proto-Vest, Inc. | Automated vehicle wash system with vehicle type recognition |
JPH11259792A (ja) * | 1998-03-06 | 1999-09-24 | Omron Corp | 車輌認識方法およびその装置 |
JPH11353581A (ja) * | 1998-06-09 | 1999-12-24 | Anritsu Corp | 昼間における車種判別装置及び方法 |
JP4035910B2 (ja) * | 1999-01-29 | 2008-01-23 | 三菱電機株式会社 | 車色判別装置 |
DE10011263A1 (de) * | 2000-03-08 | 2001-09-13 | Bosch Gmbh Robert | Objektdetektionssystem |
JP3926673B2 (ja) | 2002-05-15 | 2007-06-06 | 富士通株式会社 | 車種識別装置 |
CN100357765C (zh) * | 2003-02-19 | 2007-12-26 | 住友电气工业株式会社 | 车辆探测系统 |
US20050267657A1 (en) * | 2004-05-04 | 2005-12-01 | Devdhar Prashant P | Method for vehicle classification |
-
2006
- 2006-05-26 JP JP2006146775A patent/JP4567630B2/ja not_active Expired - Fee Related
-
2007
- 2007-05-25 WO PCT/JP2007/060733 patent/WO2007139035A1/ja active Application Filing
- 2007-05-25 CN CN2007800193430A patent/CN101454814B/zh not_active Expired - Fee Related
- 2007-05-25 EP EP07744167A patent/EP2031571B1/en not_active Expired - Fee Related
-
2008
- 2008-11-12 US US12/292,119 patent/US8229171B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104584076A (zh) * | 2012-08-31 | 2015-04-29 | 富士通株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN104584076B (zh) * | 2012-08-31 | 2017-05-10 | 富士通株式会社 | 图像处理装置以及图像处理方法 |
CN107615346A (zh) * | 2015-08-04 | 2018-01-19 | 欧姆龙株式会社 | 车辆确定装置及包括所述车辆确定装置的车辆确定系统 |
CN107615346B (zh) * | 2015-08-04 | 2021-07-16 | 欧姆龙株式会社 | 车辆确定装置及包括所述车辆确定装置的车辆确定系统 |
CN109785634A (zh) * | 2017-11-13 | 2019-05-21 | 厦门雅迅网络股份有限公司 | 基于基站切换的车型识别方法及计算机可读存储介质 |
CN109785634B (zh) * | 2017-11-13 | 2021-06-29 | 厦门雅迅网络股份有限公司 | 基于基站切换的车型识别方法及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2007139035A1 (ja) | 2007-12-06 |
EP2031571A1 (en) | 2009-03-04 |
EP2031571A4 (en) | 2010-02-24 |
JP2007316997A (ja) | 2007-12-06 |
US8229171B2 (en) | 2012-07-24 |
CN101454814B (zh) | 2012-11-07 |
US20090074250A1 (en) | 2009-03-19 |
JP4567630B2 (ja) | 2010-10-20 |
EP2031571B1 (en) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101454814B (zh) | 车型判定装置以及车型判定方法 | |
CN107798335B (zh) | 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法 | |
US7362883B2 (en) | Lane marker recognition method | |
US8184859B2 (en) | Road marking recognition apparatus and method | |
US8902053B2 (en) | Method and system for lane departure warning | |
US8155381B2 (en) | Vehicle headlight detecting method and apparatus, and region-of-interest segmenting method and apparatus | |
US11482016B2 (en) | Division line recognition apparatus | |
CN111382704B (zh) | 基于深度学习的车辆压线违章判断方法、装置及存储介质 | |
US20080069402A1 (en) | Method for identifying vehicles in electronic images | |
US8385601B2 (en) | In-vehicle white line recognition apparatus | |
US9830518B2 (en) | Lane mark recognition device | |
US10726277B2 (en) | Lane line detection method | |
CN111488808B (zh) | 基于交通违法图像数据的车道线检测方法 | |
CN112597846A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN114663859A (zh) | 灵敏准确的复杂路况车道偏移实时预警系统 | |
JP4676978B2 (ja) | 顔検出装置、顔検出方法、及び、顔検出プログラム | |
CN108090425B (zh) | 一种车道线检测方法、装置及终端 | |
CN110619335A (zh) | 一种车牌定位与车牌字符分割方法 | |
CN106845488B (zh) | 一种车牌图像处理方法及装置 | |
CN108182376B (zh) | 一种基于车窗角点检测的车窗定位方法 | |
CN112001344A (zh) | 机动车目标检测装置及方法 | |
JP2000357287A (ja) | ナンバープレート認識方法および認識装置 | |
US20230410318A1 (en) | Vehicle and method of controlling the same | |
KR101156145B1 (ko) | 차량의 이미지 처리 방법과 장치, 및 상기 방법을 이용한 차량용 제어 장치 | |
JPH09240397A (ja) | 後側方車両の報知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121107 Termination date: 20190525 |