CN104205170A - 物体检测装置及程序 - Google Patents
物体检测装置及程序 Download PDFInfo
- Publication number
- CN104205170A CN104205170A CN201380014828.6A CN201380014828A CN104205170A CN 104205170 A CN104205170 A CN 104205170A CN 201380014828 A CN201380014828 A CN 201380014828A CN 104205170 A CN104205170 A CN 104205170A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- symmetry
- value
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
Abstract
本发明的课题在于,以少的运算量检测物体的重要的信息。物体检测部(22A)根据彩色图像生成边缘图像。物体检测部(22A)考虑注目像素的像素位置来评价包括于边缘图像的图像的对称性。物体检测部(22A)确定具有对称性的物体的对称中心像素。物体检测部(22)按每个对称中心像素检测物体宽度。物体检测部(22A)根据对称中心像素的垂直方向的宽度来确定物体的垂直方向的宽度,根据按每个对称中心像素确定的物体宽度来确定物体的水平方向的宽度。
Description
技术领域
本发明涉及包括于图像的具有对称性的物体的检测装置及检测方法。
背景技术
存在利用物体的对称性的图像处理技术。在下述专利文献1中,通过计算注目像素的左右的相关来评价注目像素的左右的图像区域的相关。然后,将相关最高的注目像素检测为具有对称性的物体的中央位置。
现有技术文献
专利文献
专利文献1:特开2010-267257号公报。
发明内容
发明要解决的课题
物体的检测技术被利用于各种领域,其用途广泛。对于利用物体的检测信息的应用程序而言,不仅是物体的位置,而且物体的大小也成为重要的信息。
然而,在不使处理负荷增大的情况下,精度良好地获取包括在图像中的物体的位置和大小这两个信息是困难的。
于是,鉴于上述课题,本发明的目的在于,提供一种以少的运算量检测物体的重要的信息(例如,关于物体的位置和大小的信息)的技术。
用于解决课题的方案
为了解决上述课题,作为第1发明的物体检测装置具备:输入图像的图像输入部;从所述图像提取规定的图像特征量而生成特征量提取图像的图像特征量提取部;按作为处理对象的注目像素的每一个,基于所述注目像素的周边像素的图像特征量,对所述特征量提取图像评价所述注目像素的周边的图像区域关于第1方向的对称性,并且算出关于所述第1方向的对称宽度的对称性评价部;在对所述注目像素评价的对称性大于规定的基准的情况下,将该注目像素检测为对称中心像素的中心检测部;以及基于所述对称中心像素的所述对称宽度来检测包括于所述图像的具有对称性的物体的关于所述第1方向的物体宽度,基于所述对称中心像素的关于与所述第1方向正交的第2方向的分布来检测所述物体关于所述第2方向的物体宽度的物体区域检测部。
在该物体检测装置中,由对称性评价部按每个注目像素评价注目像素的周边的图像区域(注目像素也可以包括在该图像区域。)关于第1方向的对称性,并且算出关于所述第1方向的对称宽度,由中心检测部检测对称中心像素。然后,在该物体检测装置中,由物体区域检测部基于对称中心像素的对称宽度来检测包括于图像的具有对称性的物体的关于第1方向的物体宽度,基于对称中心像素的关于与第1方向正交的第2方向的分布来检测物体关于第2方向的物体宽度。即,在该物体检测装置中,能通过利用输入图像上的物体的对称性来检测物体的位置和大小,从而以少的运算量检测关于物体的重要的信息(例如,关于物体的位置和大小的信息)。
第2发明是,在第1发明中,所述中心检测部将对关于所述第1方向的对称性的变化给出极大的点检测为所述对称中心像素。
由此,在该物体检测装置中,能将位于在第1方向上对称性高的图像区域的中心附近的点检测为对称中心像素。因而,在该物体检测装置中,能更高精度地检测对称中心像素。然后,在该物体检测装置中,能通过使用所检测的对称中心像素来检测第1方向的物体宽度和第2方向的物体宽度,从而更高精度地检测关于物体的重要的信息(例如,关于物体的位置和大小的信息)。
第3发明是,在第1或第2发明中,所述对称性评价部基于各注目像素的周边的像素的图像特征量的相似性来评价对称性。
在该物体检测装置中,因为按每个注目像素基于该注目像素的周边的像素的图像特征量的相似性来评价对称性,所以能考虑注目像素的周边像素的图像特征量来评价图像上的物体的对称性。而且,在该物体检测装置中,能通过基于评价的对称性来检测第1方向的物体宽度和第2方向的物体宽度,从而更高精度地检测关于物体的重要的信息(例如,关于物体的位置和大小的信息)。
第4发明是,在第1至第3发明的任一个发明中,所述对称性评价部对各注目像素将对称性最高的宽度检测为所述对称宽度。
在该物体检测装置中,按每个注目像素,将该注目像素的周边的图像区域中的对称性最高的宽度检测为对称宽度。而且,在该物体检测装置中,能通过基于检测的对称宽度来检测第1方向的物体宽度和第2方向的物体宽度,从而更高精度地检测关于物体的重要的信息(例如,关于物体的位置和大小的信息)。
第5发明是,在第1至第4发明的任一个发明中,所述物体区域检测部将所述对称中心像素的所述对称宽度的最大值或平均值检测为关于所述第1方向的物体宽度。
在该物体检测装置中,因为根据对称中心像素的所述对称宽度的最大值或平均值来检测第1方向的物体宽度,所以能确切地检测图像上的物体的第1方向的宽度(物体宽度)。
第6发明是,在第1至第4发明的任一个发明中,所述物体区域检测部将所述对称中心像素的各对称宽度检测为关于所述第1方向的物体宽度。
在该物体检测装置中,因为将对称中心像素的各对称宽度检测为第1方向的物体宽度,所以无论具有对称性的图像上的物体是何形状,都能确切且高精度地检测物体宽度。
第7发明是,在第1至第6发明的任一个发明中,所述物体区域检测部将关于所述第2方向连续地配置的所述对称中心像素的一端和另一端检测为关于所述第2方向的物体宽度的一端和另一端。
在该物体检测装置中,因为将关于第2方向连续地配置的对称中心像素的一端和另一端检测为关于第2方向的物体宽度的一端和另一端,所以能确切地检测图像上的第2方向的物体宽度。
第8发明是,在第1至第7发明的任一个发明中,所述对称性评价部将像素的边缘强度用作像素的特征量。
第9发明是,在第1至第7发明的任一个发明中,所述对称性评价部将像素的规定的颜色成分的强度用作像素的特征量。
第8发明是,在第1至第7发明的任一个发明中,所述对称性评价部通过评价将所述第1方向设为水平方向的对称性和将所述第1方向设为垂直方向的对称性来确定仅在水平方向具有对称性的像素,所述中心检测部将被判定为对所述注目像素评价的对称性大于规定的基准且仅在水平方向具有对称性的注目像素检测为对称中心像素。
由此,在该物体检测装置中,能确切且高精度地检测仅在水平方向具有对称性的图像上的物体。
第9发明是,在第1至第8发明的任一个发明中,检测作为具有所述对称性的物体而包括于所述图像的车辆。
第10发明是,在第1发明中,对称性评价部对从输入的图像提取规定的图像特征量而生成的特征量提取图像,按作为处理对象的注目像素的每一个,以将与第1方向正交的第2方向的中心轴作为中心而对称的方式设定图像上的作为用于评价关于第1方向的对称性的区域的对称性评价区域,一边使对称性评价区域的大小变化,一边导出对存在于包括在对称性评价区域、关于中心轴对称的位置的像素组的图像特征量的相关值进行了根据像素组的图像特征量的加权的值,由此,获取示出第1方向的对称性的程度的对称性评价值。
由此,在该物体检测装置中,基于对存在于关于中心轴对称的位置的像素组的图像特征量的相关值进行了根据像素组的图像特征量的加权的值,获取对称性评价值,因此,能以高精度进行第1方向的对称性的评价。
因而,能通过使用由该物体检测装置获取的对称性评价值来以少的运算量精度良好地进行对称性高的物体的检测。
另外,“对称性评价区域”的第2方向(与第1方向正交的方向)的宽度可以是1个像素的量的宽度,此外,也可以是多个像素的量的宽度。此外,所谓“存在于关于中心轴对称的位置的像素组”,是如下的概念,即,在图像上包括:
(1)从中心轴向互相反方向分开相等距离的两个像素(例如,当将第1方向设为水平方向时,从中心轴在水平方向上向左分开距离k的像素P1和从中心轴在水平方向上向右分开距离k的像素P2的合计两个像素);或
(2)从中心轴向互相反方向分开相等距离的多个像素(例如,当将第1方向设为水平方向时,从中心轴在水平方向上向左分开距离k的n个像素组和从中心轴在水平方向上向右分开距离k的n个像素组)。
此外,所谓“图像特征量的相关值”是示出图像特征量的相关的程度的值,例如,在特征量提取图像上的两个像素的像素值的相关较高的情况(例如,该两个像素值之差小的情况、该两个像素值之比接近于“1”的情况)下,取示出相关高的值。
第11发明是,在第10发明中,对称性评价部基于对称性评价值是示出关于第1方向的对称性是最大的值的情况下的对称性评价区域的大小来决定关于第1方向的对称宽度。
在该物体检测装置中,为了对提取了输入图像的图像特征量的图像评价关于第1方向的对称性,一边使对称性评价区域的大小(例如,第1方向的宽度)变化一边进行对称性的评价。因而,在该物体检测装置中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的大小(例如,第1方向的宽度)。即,在该物体检测装置中,能利用包括于图像的物体的对称性同时提取物体的位置和大小。
因而,在该物体检测装置中,能以少的运算量精度良好地进行对称性高的物体的检测。
第12发明是,在第10或第11发明中,设特征量提取图像上的像素值取0或正值,图像特征量越大,取值就越大,设特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,设特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设从注目像素在作为第1方向的一个方向的第1探索方向(例如,在设第1方向为水平方向时,第1探索方向是水平方向上的左方向。)上分开k个像素(k是自然数)的像素的像素值为Pi-k,设从注目像素在作为第1方向的第1探索方向的反方向的第2探索方向(例如,在设第1方向为水平方向时,第2探索方向是水平方向上的右方向。)上分开k个像素的像素的像素值为Pi+k,设对称性评价区域的第1方向的宽度为2w+1,此时,对称性评价部一边使对称性评价区域的第1方向的宽度2w+1(w是自然数)变化,一边基于下述(数学式1)算出注目像素的对称性评价值。
[数学式1]
…(1)
由此,在该物体检测装置中,利用(数学式1),基于对存在于关于中心轴对称的位置的像素组的图像特征量的相关值(Pmax-|Pi-k-Pi+k|)进行了根据像素组的图像特征量的加权(Pi-k×Pi+k)的值,获取对称性评价值,因此,能以高精度进行第1方向的对称性的评价。
因而,能通过使用由该物体检测装置获取的对称性评价值来以少的运算量精度良好地进行对称性高的物体的检测。
另外,在相当于上述(数学式1)的处理中,为了调整SYMw(i,j)能取的范围,也可以进行增益调整(系数调整)、归一化处理、用规定的值的削波处理等(也可以进行修正上述(数学式1)的处理)。
此外,关于Pmax的值,既可以是特征量提取图像上的像素值能取的最大值,也可以是该最大值以上的规定的值。
第13发明是,在第10或第11发明中,设特征量提取图像上的像素值取0或正值,图像特征量越大,取值就越大,设特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,设特征量提取图像上的坐标为(i,j)的像素的像素值设为Pi,j,设对称性评价区域的第1方向的宽度为2w+1,设对称性评价区域的第2方向的宽度为2n+1,设规定的加权函数为d(m),此时,对称性评价部一边使对称性评价区域的第1方向的宽度w(w是自然数)变化,一边基于下述(数学式2)算出注目像素的对称性评价值。
[数学式2]
…………(2)
或
[数学式3]
……(3)
由此,在该物体检测装置中,利用(数学式2)或者(数学式3),基于将对存在于关于中心轴对称的位置的像素组的图像特征量的相关值(Pmax-|Pi-k-Pi+k|)进行了根据像素组的图像特征量的加权(Pi-k×Pi+k)的值在第2方向进行累计而获取的平均值,获取对称性评价值,因此,能以高精度进行第1方向的对称性的评价。
因而,能通过使用由该物体检测装置获取的对称性评价值来以少的运算量精度良好地进行对称性高的物体的检测。
另外,关于Pmax的值,既可以是特征量提取图像上的像素值能取的最大值,也可以是该最大值以上的规定的值。
第14发明是,在第13发明中,加权函数d(m)是以下函数中的任一个:
(1)d(m)=1;
(2)d(m)=n+1-|m-j|;以及
(3)d(m)=c1×exp(-c2×(m-j)^2),(c1和c2是规定的正的系数)。
由此,在该物体检测装置中,能将在第2方向累计的情况下的加权设定为所希望的加权。例如,(1)在d(m)=1的情况下,在第2方向累计的情况下的加权是均等的;(2)在d(m)=n+1-|m-j|的情况下,在第2方向累计的情况下的加权在对称性评价区域的第2方向的中央附近时变强(在m=j时,加权最强。);(3)在d(m)=c1×exp(-c2×(m-j)^2)的情况下,在第2方向累计的情况下的加权在关于对称性评价区域的第2方向的中央附近时变强(在m=j时,加权最强。)。
第15发明是,在第12至第14发明的任一个发明中,对称性评价部获取SYMw(i,j)的最大值maxSYM,并且基于SYMw(i,j)成为最大值时的对称性评价区域的第1方向的宽度2w+1,决定对称宽度。
由此,在该物体检测装置中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的大小(例如,第1方向的宽度)。即,在该物体检测装置中,能利用包括于图像的物体的对称性同时提取物体的位置和大小。
因而,在该物体检测装置中,能以少的运算量精度良好地进行对称性高的物体的检测。
第16发明是,在第10至第15发明的任一个发明中,当设图像的第1方向的像素数为H(H是自然数)时,对称性评价部
(1)在示出注目像素的第1方向的位置的列i是(H/2)以下的情况下,使作为对称性评价区域的第1方向的宽度的一半的w在1≤w≤(i-1)的范围变化而算出对称性评价值;
(2)在示出注目像素的第1方向的位置的列i比(H/2)大的情况下,使作为对称性评价区域的第1方向的宽度的一半的w在1≤w≤(H-i)的范围变化而算出对称性评价值。
由此,在该物体检测装置中,能保证对称性评价区域是以注目像素为中心的左右对称的区域,并且能使用以注目像素为中心的左右对称的区域中的最大的区域算出对称性评价值。
第17发明是,在第1发明中,对称性评价部对特征量提取图像按作为处理对象的注目像素的每一个以将作为与第1方向正交的第2方向的规定的轴的中心轴作为中心而对称的方式设定作为用于评价图像上的关于第1方向的对称性的区域的对称性评价区域,一边使对称性评价区域的大小变化,一边导出对存在于包括在对称性评价区域、关于中心轴对称的位置的像素组的图像特征量的相关值进行了基于像素组距中心轴的距离的加权的值,由此,获取示出第1方向的对称性的程度的对称性评价值。
由此,在该物体检测装置中,因为基于对存在于关于中心轴对称的位置的像素组的图像特征量的相关值进行了基于像素组距中心轴的距离的加权的值来获取对称性评价值,所以能以高精度进行第1方向的对称性的评价。
因而,能通过使用由该物体检测装置获取的对称性评价值来以少的运算量精度良好地进行对称性高的物体的检测。
另外,关于“对称性评价区域”的第2方向(与第1方向正交的方向)的宽度,可以是1个像素的量的宽度,此外,也可以是多个像素的量的宽度。此外,所谓“存在于关于中心轴对称的位置的像素组”,是如下的概念,即,在图像上包括:
(1)从中心轴向互相反方向分开等距离的两个像素(例如,当将第1方向设为水平方向时,从中心轴在水平方向上向左分开距离k的像素P1和从中心轴在水平方向上向右分开距离k的像素P2的合计两个像素);或
(2)从中心轴向互相反方向分开等距离的多个像素(例如,当将第1方向设为水平方向时,从中心轴在水平方向上向左分开距离k的n个像素组和从中心轴在水平方向上向右分开距离k的n个像素组)。
此外,所谓“图像特征量的相关值”,是示出图像特征量的相关的程度的值,例如,在特征量提取图像上的两个像素的像素值的相关较高的情况(例如,该两个像素值之差小的情况、该两个像素值之比接近于“1”的情况)下,取示出相关高的值。
第18发明是,在第17发明中,对称性评价部基于对称性评价值是示出关于第1方向的对称性是最大的值的情况下的对称性评价区域的大小,决定关于第1方向的对称宽度。
在该物体检测装置中,为了对提取了输入图像的图像特征量的图像评价关于第1方向的对称性,一边使对称性评价区域的大小(例如,第1方向的宽度)变化一边进行对称性的评价。因而,在该物体检测装置中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的大小(例如,第1方向的宽度)。即,在该物体检测装置中,能利用包括于图像的物体的对称性同时提取物体的位置和大小。
因而,在该物体检测装置中,能以少的运算量精度良好地进行对称性高的物体的检测。
第19发明是,在第17发明中,设特征量提取图像上的像素值取0或正值,图像特征量越大,取越就越大,设特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,设特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设从注目像素在作为第1方向的一个方向的第1探索方向(例如,在设第1方向为水平方向时,第1探索方向是水平方向上的左方向。)上分开k个像素(k是自然数)的像素的像素值为Pi-k,设从注目像素在作为第1方向的第1探索方向的反方向的第2探索方向(例如,在设第1方向为水平方向时,第2探索方向是水平方向上的右方向。)上分开k个像素的像素的像素值为Pi+k,设对称性评价区域的第1方向的宽度为2w+1,设规定的阈值为Th,设关于距注目像素的距离k的加权函数为c(k),此时,对称性评价部一边使对称性评价区域的第1方向的宽度2w+1(w是自然数)变化,一边基于下述(数学式4)算出注目像素的对称性评价值。
[数学式4]
……(4)
由此,在该物体检测装置中,利用(数学式4),基于对存在于关于中心轴对称的位置的像素组的图像特征量的相关值(Pmax-fi(k))进行了基于距像素组的中心轴的距离的加权(根据c(k)的加权)的值,获取对称性评价值,因此,能以高精度进行第1方向的对称性的评价。
因而,能通过使用由该物体检测装置获取的对称性评价值以少的运算量精度良好地进行对称性高的物体的检测。
另外,在相当于上述(数学式4)的处理中,为了调整SYMw(i,j)能取的范围,也可以进行增益调整(系数调整)、归一化处理、用规定的值的削波处理等(也可以进行修正上述(数学式4)的处理)。
此外,关于Pmax的值,可以是特征量提取图像上的像素值能取的最大值,也可以是该最大值以上的规定的值。
第20发明是,在第19发明中,对称性评价部获取SYMw(i,j)的最大值maxSYM,并且基于SYMw(i,j)成为最大值时的对称性评价区域的第1方向的宽度2w+1决定对称宽度。
由此,在该物体检测装置中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的大小(例如,第1方向的宽度)。即,在该物体检测装置中,能利用包括于图像的物体的对称性同时提取物体的位置和大小。
因而,在该物体检测装置中,能以少的运算量精度良好地进行对称性高的物体的检测。
第21发明是,在第17或第18发明中,对称性评价部导出对存在于包括在对称性评价区域、关于中心轴对称的位置的像素组的图像特征量的相关值进行了基于距像素组的中心轴的距离和像素组的图像特征量的加权的值,由此,获取示出第1方向的对称性的程度的对称性评价值,从而获取示出第1方向的对称性的程度的对称性评价值。
由此,在该物体检测装置中,能基于包括在对称性评价区域的像素的图像特征量和图像上的位置这两者来获取示出第1方向的对称性的程度的对称性评价值。
第22发明是,在第21发明中,设特征量提取图像上的像素取0或正值,图像特征量越大,取值就越大,设特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,设特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设从注目像素在作为第1方向的一个方向的第1探索方向上分开k个像素(k是自然数)的像素的像素值为Pi-k,设从注目像素在作为第1方向的第1探索方向的反方向的第2探索方向上分开k个像素的像素的像素值为Pi+k,设对称性评价区域的第1方向的宽度为2w+1,设规定的阈值为Th,设关于距注目像素的距离k的加权函数为c(k),此时,对称性评价部一边使对称性评价区域的第1方向的宽度2w+1(w是自然数)变化,一边基于下述(数学式5)算出注目像素的对称性评价值。
[数学式5]
……(5)
由此,在该物体检测装置中,利用(数学式5),基于对存在于关于中心轴对称的位置的像素组的图像特征量的相关值(Pmax-|Pi-k-Pi+k|)进行了根据像素组的图像特征量(Pi-k×Pi+k)和距像素组的中心轴的距离(c(k))的加权的值来获取对称性评价值,因此,能以高精度进行第1方向的对称性的评价。
因而,能通过使用由该物体检测装置获取的对称性评价值以少的运算量精度良好地进行对称性高的物体的检测。
另外,关于Pmax的值,可以是特征量提取图像上的像素值能取的最大值,也可以是该最大值以上的规定的值。
第23发明是,在第22发明中,对称性评价部获取SYMw(i,j)的最大值maxSYM,并且基于SYMw(i,j)成为最大值时的对称性评价区域的第1方向的宽度2w+1决定对称宽度。
由此,在该物体检测装置中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的大小(例如,第1方向的宽度)。即,在该物体检测装置中,能利用包括于图像的物体的对称性同时提取物体的位置和大小。
因而,在该物体检测装置中,能以少的运算量精度良好地进行对称性高的物体的检测。
第24发明是,在第17或第18发明中,设特征量提取图像上的像素值取0或正值,图像特征量越大,取值就越大,设特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,设特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设从注目像素在作为第1方向的一个方向的第1探索方向上分开k个像素(k是自然数)的像素的像素值为Pi-k,设从注目像素在作为第1方向的第1探索方向的反方向的第2探索方向上分开k个像素的像素的像素值为Pi+k,设对称性评价区域的第1方向的宽度为2w+1,设对称性评价区域的第2方向的宽度为2n+1,设规定的阈值为Th,设关于距注目像素的距离k的加权函数为c(k),此时,对称性评价部一边使对称性评价区域的第1方向的宽度2w+1(w是自然数)变化,一边基于下述(数学式6)或(数学式7)算出注目像素的对称性评价值。
[数学式6]
……(6)
[数学式7]
……(7)
另外,关于Pmax的值,可以是特征量提取图像上的像素值能取的最大值,也可以是该最大值以上的规定的值。
第25发明是,在第24发明中,对称性评价部获取SYMw(i,j)的最大值maxSYM,并且基于SYMw(i,j)成为最大值时的对称性评价区域的第1方向的宽度2w+1决定对称宽度。
由此,在该物体检测装置中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的大小(例如,第1方向的宽度)。即,在该物体检测装置中,能利用包括于图像的物体的对称性同时提取物体的位置和大小。
因而,在该物体检测装置中,能以少的运算量精度良好地进行对称性高的物体的检测。
第26的发明是,在第17或第18发明中,设特征量提取图像上的像素值取0或正值,图像特征量越大,取值就越大,设特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,设特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设从注目像素在作为第1方向的一个方向的第1探索方向上分开k个像素(k是自然数)的像素的像素值为Pi-k,设从注目像素在作为第1方向的第1探索方向的反方向的第2探索方向上分开k个像素的像素的像素值为Pi+k,设对称性评价区域的第1方向的宽度为2w+1,设对称性评价区域的第2方向的宽度为2n+1,设规定的阈值为Th,设关于距注目像素的距离k的加权函数设为c(k),此时,对称性评价部一边使对称性评价区域的第1方向的宽度2w+1(w是自然数)变化,一边基于下述(数学式8)或(数学式9)算出注目像素的对称性评价值。
[数学式8]
……(8)
[数学式9]
……(9)
另外,关于Pmax的值,可以是特征量提取图像上的像素值能取的最大值,也可以是该最大值以上的规定的值。
第27发明是,在第26发明中,对称性评价部获取SYMw(i,j)的最大值maxSYM,并且基于SYMw(i,j)成为最大值时的对称性评价区域的第1方向的宽度2w+1决定对称宽度。
由此,在该物体检测装置中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的大小(例如,第1方向的宽度)。即,在该物体检测装置中,能利用包括于图像的物体的对称性同时提取物体的位置和大小。
因而,在该物体检测装置中,能以少的运算量精度良好地进行对称性高的物体的检测。
第28发明是,在第19、第20、第22至第26的任一个发明中,加权函数c(k)是关于k的单调递增函数。
由此,在该物体检测装置中,距注目像素的距离越大,就进行越大的加权而算出对称性评价值。因而,在该物体检测装置中,能精度良好地检测存在于从对称轴分开的位置的对称性高的区域(物体)。
另外,所谓“单调递增函数”,是如下的概念,即,不限定于严格的单调递增函数,包括例如可以对一部分非单调的区间k成为恒定(例如,可以在一部分存在不变区间(取恒定值的区间)、从全局来看时增加的函数(例如,在进行平滑化处理(LPF处理等)时成为单调递增函数的函数)。
第29的发明是,在第19、第20、第22至第26的任一个发明中,加权函数c(k)是关于k的单调递减函数。
由此,在该物体检测装置中,距注目像素的距离越小,就进行越大的加权而算出对称性评价值。因而,在该物体检测装置中,能精度良好地检测存在于对称轴近旁的对称性高的区域(物体)。
另外,所谓“单调递减函数”,是如下的概念,即,不限定于严格的单调递减函数,包括例如可以对一部分非单调的区间k成为恒定(例如,可以在一部分存在不变区间(取恒定值的区间)、从全局来看时减少的函数(例如,在进行平滑化处理(LPF处理等)时成为单调递减函数的函数)。
第30发明是,在第17至第29的任一个发明中,当设图像的第1方向的像素数为H(H是自然数)时,对称性评价部
(1)在示出注目像素的第1方向的位置的列i为(H/2)以下的情况下,使作为对称性评价区域的第1方向的宽度的一半的w在1≤w≤(i-1)的范围变化,算出对称性评价值;
(2)在示出注目像素的第1方向的位置的列i比(H/2)大的情况下,使作为对称性评价区域的第1方向的宽度的一半的w在1≤w≤(H-i)的范围变化,算出对称性评价值。
由此,在该物体检测装置中,能保证对称性评价区域是以注目像素为中心的左右对称的区域,并且能使用以注目像素为中心的左右对称的区域中的最大的区域算出对称性评价值。
第31发明是,在第1至第30发明中,图像特征量是图像的边缘强度。
在该物体检测装置中,因为能考虑图像的边缘成分来检测对称性高的物体,所以能精度良好地检测关于物体的轮廓(外框)的对称性高的物体。
第32发明是,在第1至第30发明中,图像特征量是图像的特定的颜色成分的强度。
在该物体检测装置中,因为能考虑图像的特定颜色成分(例如,红色成分)来检测对称性高的物体,所以能对特定的颜色精度良好地检测对称性高的物体。
第33发明是用于使计算机执行物体检测方法的程序,所述物体检测方法具备:图像输入步骤、图像特征量提取步骤、对称性评价步骤、中心检测步骤、以及物体区域检测步骤。
在图像输入步骤中输入图像。
在图像特征量提取步骤中,从图像提取规定的图像特征量而生成特征量提取图像。
在对称性评价步骤中,对特征量提取图像按作为处理对象的注目像素的每一个评价图像上的关于第1方向的对称性,并且算出关于第1方向的对称宽度。
在中心检测步骤中,将多个评价像素中的对称性大于规定的基准的像素检测为对称中心像素。
在物体区域检测步骤中,基于对称中心像素的对称宽度来检测包括于所述图像的具有对称性的物体的关于第1方向的物体宽度,基于对称中心像素的关于与第1方向正交的第2方向的分布来检测物体关于第2方向的物体宽度。
由此,能实现用于使计算机执行实现与第1发明同样的效果的物体检测方法的程序。
第34发明是,在第33发明中,在对称性评价步骤中,对特征量提取图像按作为处理对象的注目像素的每一个以将与第1方向正交的第2方向的中心轴作为中心而对称的方式设定作为用于评价图像上的关于第1方向的对称性的区域的对称性评价区域,一边使对称性评价区域的大小变化,一边导出对存在于包括在对称性评价区域、关于中心轴对称的位置的像素组的图像特征量的相关值进行了根据像素组的图像特征量的加权的值,由此,获取示出第1方向的对称性的程度的对称性评价值。
由此,能实现用于使计算机执行实现与第10发明同样的效果的物体检测方法的程序。
第35发明是,在第33发明中,在对称性评价步骤中,对特征量提取图像按作为处理对象的注目像素的每一个以将作为与第1方向正交的第2方向的规定的轴的中心轴作为中心而对称的方式设定作为用于评价图像上的关于第1方向的对称性的区域的对称性评价区域,一边使对称性评价区域的大小变化,一边导出对存在于包括在对称性评价区域、关于中心轴对称的位置的像素组的图像特征量的相关值进行了基于像素组距中心轴的距离的加权的值,由此,获取示出第1方向的对称性的程度的对称性评价值。
由此,能实现用于使计算机执行实现与第17发明同样的效果的物体检测方法的程序。
发明效果
根据本发明,能实现通过利用输入图像上的物体的对称性检测物体的位置和大小,从而以少的运算量检测关于物体的重要的信息(例如,关于物体的位置和大小的信息)的技术。
附图说明
图1是示出包括具有对称性的车辆的摄影图像100的图。
图2是第1实施方式的物体检测系统10的框图。
图3A是示出包括具有对称性的物体的彩色图像100A的图。
图3B是示出从彩色图像100A提取亮度成分而生成的亮度图像100B的图。
图3C是示出根据亮度图像100B生成的边缘图像100C的图。
图3D是示出对称性映射100D的图。
图3E是示出对称宽度映射100E的图。
图3F是示出对称中心映射100F的图。
图3G是示出合成了区域框130的合成图像100G的图。
图4是示出配置在注目像素Pi的左右的像素的图。
图5是示出对称性映射100D的水平方向的变化的图。
图6是示出合成了区域框130的合成图像100G的图。
图7是第5实施方式的物体检测系统1000的框图。
图8是第5实施方式的物体检测部22的框图。
图9是示出在第5实施方式的物体检测系统1000中执行的物体检测处理的各阶段中获取的图像的一个例子的图。
图10A是示出包括具有对称性的物体的输入图像101的图。
图10B是示出从输入图像101提取亮度成分而生成的亮度图像102的图。
图10C是示出根据亮度图像102生成的边缘图像103的图。
图10D是示出对称性评价映射图像104的图。
图10E是示出对称宽度映射图像105的图。
图10F是示出对称中心映射图像106的图。
图10G是示出合成了区域框130的合成图像(输出图像)107的图。
图11是示出配置在注目像素Pi的左右的像素的图。
图12是用于说明获取对称宽度wa的方法的图。
图13是示出对称性评价映射图像104的水平方向的变化(一个例子)的图。
图14是用于说明获取对称宽度wa的方法的图。
图15是示出第5实施方式的第1变形例中的高对称性物体的检测区域的图。
图16是示出加权函数c(k)的例子的图。
图17A是示出在第6实施方式的物体检测系统中执行的物体检测处理的各阶段中获取的图像的一个例子的图。
图17B是示出从输入图像101提取Cr成分而生成的Cr成分图像202的图。
图17C是示出特征量提取图像(R成分图像(Cr成分强调图像))203的图。
图17D是示出对称性评价映射图像204的图。
图17E是示出对称宽度映射图像205的图。
图17F是示出对称中心映射图像206的图。
图17G是示出合成了区域框230的合成图像(输出图像)207的图。
图18是示出第6实施方式的第1变形例中的(a)输入图像301、(b)特征量提取图像(R成分(Cr成分)提取图像)302、以及(c)输出图像(合成图像)303的图。
具体实施方式
[第1实施方式]
<1.1:物体检测系统>
以下,一边参照附图一边对本发明的第1实施方式进行说明。图1是示出作为被摄体而包括车辆110的摄影图像100的图。车辆110具备左右的尾灯111L、111R。左右的尾灯111L、111R相对于车辆110的关于车宽度方向的中心轴112呈左右对称地配置。在本实施方式中,能利用包括于图像的左右对称性来检测车辆110等物体。
图2是示出第1实施方式的物体检测系统10的框图。物体检测系统10具备摄像装置1、物体检测装置2、以及监视器3。
摄像装置1具备例如CCD等摄像元件。由摄像装置1进行摄像的图像输入到物体检测装置2。
例如,物体检测装置2搭载于车辆。在摄像装置1装备在车辆的前部的情况下,摄像装置1对车辆的前方的图像进行摄像。或者,摄像装置1装备在车辆的后部而对车辆的后方的图像进行摄像。监视器3装备在驾驶座。例如,监视器3兼用为导航系统用的监视器。
如图2所示,物体检测装置2具备图像输入部21、存储器22、以及物体检测部23。
图像输入部21输入从摄像装置1输出的图像。例如,在摄像装置1是具备RGB Bayer排列的滤色器的CCD的情况下,图像输入部21输入包括R信号、G信号、或B信号的像素信号序列。图像输入部21将输入的图像储存在存储器22。
物体检测部23对储存在存储器22的图像执行图像处理,检测包括在图像的具有对称性的物体。物体检测部23具备特征区域提取部231、对称性评价部232、对称宽度检测部233、中心检测部234、物体宽度检测部235、以及合成部236。
特征区域提取部231、对称性评价部232、对称宽度检测部233、中心检测部234、物体宽度检测部235以及合成部236由硬件电路构成。但是,这些各处理部的全部或一部分也可以由软件处理来实现。即,这些各处理部也可以由软件和能执行软件的CPU以及存储器等硬件构成。
从物体检测部23输出的图像显示在监视器3。在显示于监视器3的图像中,合成示出物体的区域的区域框。由此,驾驶者能容易地识别物体。
<1.2:物体检测处理>
接下来,一边参照图2和图3A~图3G一边说明物体检测处理的流程。图3A是示出在摄像装置1中进行摄像的彩色图像100A的图。在彩色图像100A中包括车辆110。车辆110在车辆后部安装有尾灯111L、111R。
图像输入部21输入彩色图像100A,将其储存在存储器22。例如,在摄像装置1以15fps对图像进行摄像的情况下,在存储器22中储存15fps的彩色图像100A。彩色图像100A例如是RGB色空间的图像。
特征区域提取部231从存储器22获取彩色图像100A,根据彩色图像100A生成亮度图像100B。
图3B是示出亮度图像100B的图。例如,如果彩色图像100A是RGB色空间的图像,那么特征区域提取部231对彩色图像100A进行YCbCr变换,从YCbCr色空间的图像提取Y信号的图像,生成亮度图像100B。
或者,也可以利用RGB色空间的G信号生成亮度图像100B。对具有R、B成分的像素,通过内插处理来生成G信号即可。
接着,特征区域提取部231对亮度图像100B执行边缘检测处理,生成边缘图像100C。
图3C是示出边缘图像100C的图。特征区域提取部231通过对亮度图像100B施行微分处理而生成边缘图像100C。
接下来,对称性评价部232评价边缘图像100C的对称性。以下,对对称性的评价方法进行说明。
对称性评价部232关于图4所示的注目像素Pi评价对称性。注目像素Pi是包括在边缘图像100C的像素。注目像素Pi示出了边缘图像100C中的坐标为(i,j)的像素。在以下的说明中,像素Px这样的标记示出边缘图像100C中的坐标为(x,j)的像素。即,像素Px这样的标记示出了水平方向第x列、垂直方向第j行的像素。此外,在数学式中,使Px示出像素Px中的像素值。在本实施方式中,Px取0~255的范围的值。
在图4中,描绘了位于像素的注目像素Pi的左侧的w个像素(Pi-w~Pi-1)和位于注目像素Pi的右侧的w个像素(Pi+1~Pi+w)。在(数学式10)中示出评价该2w+1个像素(Pi-w~Pi+w)的对称性的运算式。
[数学式10]
…(10)
在(数学式10)中,SYMw(i,j)示出对称性的评价值。在(数学式10)中,k是取1~w的值的整数。
像素Pi-k和像素Pi+k是以注目像素Pi为中心而处于左右对称的位置的像素。在像素Pi-k和像素Pi+k的像素值相等时,其差分|Pi-k-Pi+k|成为最小值0。此时,(255-|Pi-k-Pi+k|)成为最大值255。即,在(数学式10)中,对称性越高,SYMw(i,j)的取值越大。在注目像素Pi的左侧w个像素值与右侧w个像素值完全相等时,SYMw(i,j)取最大值255。
对称性评价部232关于注目像素Pi使w变化,对全部的w算出SYMw(i,j)。然后,如(数学式11)所示,对称性评价部232对注目像素Pi算出SYMw(i,j)的最大值maxSYM。
[数学式11]
……(11)
在(数学式11)中,N是w的最大值。当设边缘图像100C的水平方向的像素数为H时,在示出注目像素的水平方向的位置的列i为(H/2)以下的情况下,N是(i-1)。在示出注目像素的水平方向的位置的列i比(H/2)大的情况下,N是(H-i)。
此外,对称宽度检测部233获取给出最大值maxSYM的w作为对称宽度wa。即,SYMw(i,j)在w=wa时,取最大值maxSYM。使用对称宽度wa,maxSYM能表示为(数学式12)。
[数学式12]
……(12)
对称性评价部232对成为评价对称性的对象的全部的评价像素,进行(数学式10)和(数学式11)的运算,生成图3D所示的对称性映射100D。在本实施方式中,利用边缘图像100C的全部的像素作为评价像素。即,对包括在边缘图像100C的全部的像素,算出SYMw(i,j),并且算出maxSYM。
但是,为了减少运算量,或者,为了使处理速度提高,也可以利用包括在边缘图像100C的一部分的像素作为评价像素。例如,作为评价像素,也可以只利用水平(或垂直)方向的奇数排或偶数排。或者,也可以以3排间隔来选择评价像素等,使评价像素的数量减少。
对称性映射100D是对各评价像素将对该评价像素算出的maxSYM值作为成分的映射。也可以想成是对各评价像素将对该评价像素算出的maxSYM的值作为像素值的图像。图3D将对称性映射100D描画为图像。
在本实施方式中,因为利用边缘图像100C的全部的像素作为评价像素,所以对称性映射100D是将边缘图像100C的全部像素的像素值置换为maxSYM的灰度(grey scale)图像。
如上所述,在本实施方式中,SYMw(i,j)能取0~255的值。因而,对称性映射100D的各成分能分别取0~255的值。在图3D中,接近于白色的颜色示出SYMw(i,j)的值大(接近于255)。即,在图3D中,偏白色的区域是评价为称性高的区域,示出成对称的物体的中心附近。另一方面,在图3D中,偏黑色的区域是对称性不高的区域。
对称宽度检测部233对成为评价对称性的对象的全部的评价像素生成图3E所示的对称宽度映射100E。
对称宽度映射100E是将对各评价像素给出maxSYM的对称宽度wa作为成分的映射。也可以想成是对各评价像素将对称宽度wa作为像素值的图像。图3E将对称宽度映射100E描绘为图像。在本实施方式中,因为利用边缘图像100C的全部的像素作为评价像素,所以对称宽度映射100E是将边缘图像100C的全部像素置换为对称宽度wa的灰度图像。
如上所述,在本实施方式中,对称宽度wa能取1至N的值。因而,对称宽度映射100E的各成分能分别取1~N的值。N的值根据像素位置而异。在图3E中,颜色接近于白色的区域示出对称宽度wa大的区域。在图3E中,颜色接近于黑色的区域示出对称宽度wa小的区域。
接着,中心检测部234参照对称性映射100D生成对称中心映射100F。中心检测部234对对称性映射100D的水平方向的各排,选择给出maxSYM的极大点的像素作为对称中心像素。
图5是示出对称性映射100D的水平方向的变化的图。图5是对对称性映射100D的水平方向的一排表示maxSYM的变化的图。在该图中,示出了如下的例子,即,示出水平方向位置的列(i坐标)在330、331以及332这三个坐标中,对称性映射100D成为极大点。中心检测部234对水平方向的全部的排确定给出极大点的坐标。
图3F是绘制了由中心检测部234确定的对称中心像素的对称中心映射100F。在对称中心映射100F中,能视为对被确定为对称中心像素的坐标给出成分“1”、对未被确定为对称中心像素的坐标给出成分“0”的图像。在图3F中,白色的部分示出被确定为对称中心像素的像素。另外,将成为极大点的像素值与预先设定的阈值进行比较,仅在大于阈值的情况下确定为对称中心像素即可。由此,能排除由细微的变动产生的极大点。
接着,物体宽度检测部235检测包括在边缘图像100C的具有对称性的物体的水平方向的宽度和垂直方向的宽度。
物体宽度检测部235利用对称中心映射100F和对称宽度映射100E作为物体的水平方向的宽度。在对称中心映射100F中,对构成具有对称性的物体的中心轴的像素给出像素值“1”。物体宽度检测部235在对称中心映射100F中提取具有像素值“1”的像素,从对称宽度映射100E获取该提取的像素的对称宽度。在本实施方式中,对全部的对称中心像素获取对称宽度。在同一水平方向的排存在多个对称中心像素的情况下,将其平均值作为关于该水平方向排的对称宽度。然后,对全部的水平方向的排获取对称宽度,将其最大宽度检测为物体宽度。在同一水平方向的排存在多个对称中心像素的情况下,也可以将其最大值作为关于该水平方向的对称宽度。
作为其它的方法,物体宽度检测部235也可以在对各水平方向的排决定对称宽度之后,将其平均值作为物体宽度。在将对称宽度的最大值或平均值作为物体的水平方向的宽度的情况下,成为用一个值示出物体的宽度。对此,也可以按水平方向的每个排决定物体宽度。
物体宽度检测部235利用对称中心像素的垂直方向的宽度作为物体的垂直方向的宽度。即,物体宽度检测部235将在垂直方向连续排列的对称中心像素的上端确定为物体的上端,将在垂直方向连续排列的对称中心像素的下端确定为物体的下端。
合成部236生成示出在物体宽度检测部235中确定的物体的水平方向的宽度和垂直方向的宽度的矩形图像,与彩色图像100A进行合成。图3G示出了示出作为具有对称性的物体的车辆110的区域的区域框130合成在彩色图像100A的合成图像100G。另外,在按水平方向的每个排决定物体宽度的情况下,区域框不是矩形,成为沿着物体的外形的形状。
像这样,根据本实施方式,能利用包括在图像的物体的对称性同时提取物体的位置和大小。
[第2实施方式]
在第1实施方式中,特征区域提取部231利用边缘成分作为物体的特征量。然后,基于作为特征量而提取的边缘成分进行了对称性的评价。
在第2实施方式中,特征区域提取部231利用特定的颜色成分作为物体的特征量。例如,特征区域提取部231提取红色成分作为特征量。特征区域提取部231例如将储存在存储器22的RGB色空间的图像变换为YCbCr色空间的图像。特征区域提取部231从YCbCr色空间的图像提取Cr成分而生成Cr图像。特征区域提取部231进一步对Cr图像进行红色成分的强调处理而生成R成分图像。
此后的处理与第1实施方式相同。在将第1实施方式中的边缘图像置换为R成分图像之后,执行同样的处理,检测具有对称性的物体。像这样,在本实施方式中,也能利用图像的特定的颜色成分,利用包括在图像的物体的对称性同时检测物体的位置和大小。
图6是示出在第2实施方式中显示在监视器3的合成图像100G的图。在第1实施方式中,因为根据边缘成分来评价物体的对称性,所以提取车辆的整体作为物体的大小。与此相对地,可知在第2实施方式中,因为以尾灯的红色为中心来评价物体的对称性,所以提取了包括尾灯的区域。
也可以组合第1实施方式和第2实施方式这两者。对边缘图像确定物体的垂直方向和水平方向的宽度和位置。进而,利用特定的颜色成分图像来确定物体的垂直方向和水平方向的宽度和位置。然后,能通过取它们的平均值来确定物体的位置和大小。或者,也可以对基于边缘图像求出的值和基于颜色成分求出的值的任一个进行加权而确定物体的位置和大小。
[第3实施方式]
在第1实施方式中,检测了关于水平方向具有对称性的物体。同样地,也可以检测关于垂直方向具有对称性的物体。即,也可以通过将第1实施方式中的水平方向的处理与垂直方向的处理反过来而检测关于垂直方向具有对称性的物体。
[第4实施方式]
在第1实施方式中,检测了关于水平方向具有对称性的物体。与此相对地,也可以从检测对象中除去关于水平方向和垂直方向这两者具有对称性的物体,检测仅在水平方向具有对称性的物体。
对水平方向和垂直方向这两者运算(数学式10)所示的对称性的评价值。然后,将算出的水平方向的评价值设为SYMwH(i,j),将垂直方向的评价值设为SYMwV(i,j)。
然后,进行(数学式13)所示的运算,算出加进了水平方向和垂直方向这两者的对称性的比较值SYMwC(i,j)。
[数学式13]
……(13)
然后,在将第1实施方式中的SYMw(i,j)置换为SYMwC(i,j)之后,执行与第1实施方式同样的处理,检测物体的位置和大小。
[第5实施方式]
以下,一边参照附图,一边对第5实施方式进行说明。
<5.1:物体检测系统的结构>
图7是示出第5实施方式的物体检测系统1000的框图。物体检测系统1000具备摄像装置1、物体检测装置2A、以及显示装置3。
摄像装置1具备对来自被摄体的光进行聚光的光学系统(未图示)和通过对由该光学系统进行聚光的被摄体光进行光电变换而获取图像信号(电信号)的摄像元件(例如,CCD图像传感器、CMOS图像传感器)(未图示)。摄像装置1将由摄像元件进行摄像的图像(图像信号)输出到物体检测装置2A。
物体检测装置2A将从摄像装置1输出的图像信号作为输入,检测包括在由输入的图像信号形成的图像中的具有对称性的物体,将示出检测的结果的图像(图像信号)输出到显示装置3。
例如,物体检测装置2A搭载于车辆。在摄像装置1装备在车辆的前部的情况下,摄像装置1对车辆的前方的图像(场景)进行摄像。或者,摄像装置1装备在车辆的后部,对车辆的后方的图像(场景)进行摄像。
显示装置(监视器)3例如装备在车辆的驾驶座。显示装置3也可以兼用为导航系统用的监视器。
如图7所示,物体检测装置2A具备图像输入部21A、物体检测部22A、以及合成部23A。
图像输入部21A输入从摄像装置1输出的图像(图像信号)。例如,在摄像装置1是使用具备RGB Bayer排列的滤色器的CCD图像传感器的摄像装置的情况下,在图像输入部21A中例如输入包括R成分信号、G成分信号以及B成分信号的像素信号序列。图像输入部21A根据需要将输入的图像信号变换为规定的形式,将变换的图像信号(在未进行变换的情况下,将未经变换的图像信号)输出到物体检测部22A。此外,图像输入部21A将输入的图像信号输出到合成部23A。
另外,所谓“向规定的形式的变换”例如是色空间的变换(例如,从RGB色空间向YCbCr色空间的变换)。图像输入部21A根据需要将输入的RGB色空间的图像信号(R成分信号、G成分信号以及B成分信号)变换为例如YCbCr色空间的信号(Y成分信号、Cb成分信号以及Cr成分信号)。
另外,以下为了说明的便利,以在图像输入部21A中将输入的RGB色空间的图像信号(R成分信号、G成分信号以及B成分信号)变换为YCbCr色空间的信号(Y成分信号、Cb成分信号以及Cr成分信号)的情况为例进行说明。
物体检测部22A将从图像输入部21A输出的图像(图像信号)作为输入,对输入的图像执行规定的图像处理,检测包括在图像(由图像信号形成的图像(例如,帧图像))的具有对称性的物体(确定相当于具有对称性的物体的图像区域)。然后,物体检测部22A将检测结果(例如,用于确定相当于具有对称性的物体的图像区域的信息)输出到合成部23A。
如图8所示,物体检测部22A具备图像特征量提取部221、对称性评价部222、中心检测部223、以及物体区域检测部224。
图像特征量提取部221根据从图像输入部21A输出的图像算出(提取)图像特征量。具体地说,图像特征量提取部221例如根据由从图像输入部21A输出的Y成分信号(亮度成分信号)形成的Y成分图像(亮度成分图像)通过使用了索贝尔滤波器(Sobel filter)等的微分运算处理来提取边缘成分作为图像特征量。然后,图像特征量提取部221将把提取的边缘成分作为各像素的像素值的图像(特征量提取图像)作为图像特征量提取图像,输出到对称性评价部222和物体区域检测部224。
另外,以下为了说明的便利,将特征量提取图像的各像素的像素值设为如下的像素值进行说明,即,提取对象的图像特征量的程度越大,则取值越大。
对称性评价部222将图像特征量提取部221提取的图像(特征量提取图像)作为输入。然后,对称性评价部222根据该特征量提取图像,在各像素中评价(判定)图像上的规定的方向(例如,水平方向)的对称性,并且决定(推断)对称性高的图像区域的宽度(上述规定的方向(例如,水平方向)的宽度)。然后,对称性评价部222获取按每像素将确定该像素(处理对象像素)的信息(例如,像素的坐标)与示出评价(判定)的对称性的程度的值(或与该值相关的值)对应起来的对称性评价映射数据。
进而,对称性评价部222获取按每像素将确定该像素(处理对象像素)的信息(例如,像素的坐标)与示出决定(推断)的对称性高的图像区域的宽度(上述规定的方向(例如,水平方向)的宽度)的值(或与该值相关的值)对应起来的对称宽度映射数据。
然后,对称性评价部222将获取的对称性评价映射数据输出到中心检测部223。此外,对称性评价部222将获取的对称宽度映射数据输出到物体区域检测部224。
中心检测部223将由对称性评价部222获取的对称性评价映射数据作为输入。中心检测部223在将对称性评价映射数据作为二维图像(将对称性评价值映射为各像素的像素值而生成的图像)时,确定在该图像上的规定的方向(例如,水平方向)取极大值(或极大值附近的值)的像素或像素区域,基于确定的像素或像素区域,决定(推断)对称性高的物体的中心轴的位置。然后,中心检测部223将关于决定(推断)的对称性高的物体的中心轴的(图像上的)位置的信息输出到物体区域检测部224。
物体区域检测部224将由对称性评价部222获取的对称宽度映射数据和从中心检测部223输出的关于对称性高的物体的中心轴的(图像上的)位置的信息作为输入。物体区域检测部224基于对称宽度映射数据和关于对称性高的物体的中心轴的(图像上的)位置的信息,检测对称性高的物体,确定所检测的对称性高的物体的图像上的区域。然后,物体区域检测部224将关于所确定的对称性高的物体的图像上的区域的信息输出到合成部23A。
合成部23A将从图像输入部21A输出的图像和从物体检测部22A的物体区域检测部224输出的确定所检测的对称性高的物体的图像上的区域的信息作为输入。合成部23A基于从物体区域检测部224输出的确定所检测的对称性高的物体的图像上的区域的信息,在从图像输入部21A输出的图像上生成(合成)明示相当于对称性高的物体的图像区域的图像。合成部23A例如以在从图像输入部21A输出的图像上显示明示相当于对称性高的物体的图像区域的四边形框的方式生成(合成)图像。然后,合成部23A将合成的图像输出到显示装置3。
显示装置3将从物体检测装置2的合成部23A输出的图像作为输入,显示该图像。
<5.2:物体检测系统的动作>
以下,一边使用附图一边对像上述那样构成的物体检测系统1000的动作进行说明。
图9是示出在物体检测系统1000中执行的物体检测处理的各阶段中获取的图像的一个例子的图。
图10A是示出由摄像装置1进行摄像而输入到物体检测装置2的摄像图像101的图。
如图10A所示,摄像图像101作为被摄体而包括车辆110。车辆110具备左右的尾灯111L、111R。左右的尾灯111L、111R相对于关于车辆110的车宽度方向的中心轴112呈左右对称地配置。
以下,以在摄像装置1中获取图10A所示的摄像图像101而在物体检测装置2中处理摄像图像101的情况为例进行说明。
在摄像装置1中获取的摄像图像101(形成摄像图像101的图像信号)输入到物体检测装置2的图像输入部21A。另外,使摄像图像101为由R成分信号、G成分信号以及B成分信号形成的图像。
图像输入部21A对输入的摄像图像进行色空间变换处理。具体地说,图像输入部21A进行将RGB色空间变换为例如YCbCr色空间的处理,将形成摄像图像101的R成分信号、G成分信号以及B成分信号变换为Y成分信号、Cb成分信号以及Cr成分信号。
然后,图像输入部21A将由Y成分信号(亮度信号)形成的Y图像(亮度图像)输出到物体检测部22A的图像特征量提取部221。此外,图像输入部21将输入的摄像图像输出到合成部23A。
在图10B示出由图像输入部21A获取的Y图像(亮度图像)102。
另外,图像输入部21A中的色空间的变换处理不限定于以上所述,例如,也可以将RGB色空间变换为Lab色空间、YPbPr色空间等其它色空间。
或者,也可以利用RGB色空间的G信号生成亮度图像102。对具有R、B成分的像素,通过内插处理生成G信号即可。
另外,色空间处理也可以使用帧存储器等能存储图像信号的存储器(未图示)来执行。
图像特征量提取部221对由图像输入部21A获取的Y图像(亮度图像)102执行算出(提取)图像特征量的处理。另外,在本实施方式中,利用与亮度的边缘成分相关的物理量作为图像特征量。
即,在本实施方式中,图像特征量提取部221对亮度图像102执行边缘检测处理,生成特征量提取图像(边缘图像)103。
图10C是示出由图像特征量提取部221获取的特征量提取图像(边缘图像)103的图。图像特征量提取部221通过对亮度图像102实施例如微分运算处理(例如,使用Sobel滤波器的滤波处理)而生成特征量提取图像(边缘图像)103。
接下来,对称性评价部222评价由图像特征量提取部221获取的边缘图像103的对称性。以下,对对称性的评价方法进行说明。
(5.2.1:对称性的评价方法)
对称性评价部222关于图11所示的注目像素Pi评价对称性。注目像素Pi是包括在边缘图像103的像素。注目像素Pi示出边缘图像103中的坐标为(i,j)的像素。在以下的说明中,像素Px这样的标记示出边缘图像103中的坐标为(x,j)的像素。即,像素Px这样的标记示出水平方向第x列、垂直方向第j行的像素。此外,在数学式中,使Px示出像素Px中的像素值。在本实施方式中,Px取0~255的范围的值。另外,关于Px,设为图像特征量(在本实施方式中是边缘成分量)越大(注目的图像特征量的程度越强),则取值越大。
在图11中,描绘了位于像素的注目像素Pi的左侧的w个像素(Pi-w~Pi-1)和位于注目像素Pi的右侧的w个(w是自然数)像素(Pi+1~Pi+w)。在下述(数学式14)示出评价该2w+1个像素(Pi-w~Pi+w)的对称性的运算式。
[数学式14]
……(14)
在(数学式14)中,SYMw(i,j)示出对称性的评价值(对称性评价值)。在(数学式14)中,k是取1~w的值的整数。此外,在(数学式14)中,上述Th是规定的阈值。
函数fi(k)
(1)在Pi-k>Th或Pi+k>Th的情况下,是|Pi-k-Pi+k|,
(2)在除此以外的情况(即,Pi-k≤Th且Pi+k≤Th的情况)下,是“255”(Px能取的最大值)。
因而,SYMw(i,j)在Pi-k和Pi+k这两者都在阈值Th以下的情况下,(因为255-fi(k)=0)成为“0”。即,通过上述(数学式14),对于图像特征量小的像素(在特征量提取图像(边缘图像)103中,像素值(相当于图像特征量)小的像素),将从对称性评价的对象中除去。
像素Pi-k和Pi+k是以注目像素Pi为中心而处于左右对称的位置的像素。在像素Pi-k和像素Pi+k的像素值相等且Pi-k>Th或Pi+k>Th时,其差分|Pi-k-Pi+k|成为最小值0,因此,成为fi(k)=0。因而,(255-fi(k))成为最大值255。
然后,关于(255-fi(k)),通过乘以距注目像素(i,j)的距离k(从注目像素(i,j)到像素(i,j+k)(或像素(i,j-k))为止的像素数(相当于图像上的距离)),从而用水平方向的位置信息(距注目像素的距离信息)进行加权。即,在水平方向距注目像素越远,对对称性的评价的加权就变得越大。因而,在以注目像素为中心而从注目像素向左右分开的区域中存在具有高(左右)对称性(关于注目的图像特征量(在本实施方式中是边缘成分量)的对称性)的区域的情况下,对称性评价值SYMw(i,j)成为大的值。
对称性评价部222关于注目像素Pi使w变化,对w算出SYMw(i,j)。然后,对称性评价部222如下述(数学式15)所示,对注目像素Pi算出SYMw(i,j)的最大值maxSYM。
[数学式15]
……(15)
在(数学式15)中,N是w的最大值。当设边缘图像103的水平方向的像素数为H时,在示出注目像素的水平方向的位置的列i是(H/2)以下的情况下,N是(i-1)。在示出注目像素的水平方向的位置的列i比(H/2)大的情况下,N是(H-i)。
此外,在(数学式15)中,max()是获取元素的最大值的函数。即,根据(数学式15),SYM1(i,j)~SYMN(i,j)中的最大值进入到maxSYM。
此外,对称性评价部222获取给出最大值maxSYM的w作为对称宽度wa。即,在w=wa时,SYMw(i,j)取最大值maxSYM。使用对称宽度wa,maxSYM能表示为下式。
在此,使用图12,对相当于上述(数学式14)和(数学式15)的处理进行说明。图12(a)~(f)示出了特征量提取图像的一个例子,是示意性地示出对将轴C1作为对称轴的左右对称的物体进行摄像的图像的特征量提取图像的图。此外,在图12(a)~(f)中,区域R1示出成为(数学式14)的算出对称的区域。另外,为了说明的便利,在图12(a)~(f)中,设包括在白色部分的像素的图像特征量(像素值)Px是“255”,除此以外的包括在黑色部分的像素的图像特征量Px是“0”。
此外,在图12(a)~(f)中,将包括在区域R1的图像特征量(像素值)Px是“255”的像素的比例rw设为以下的比例。
此外,(1)在区域R1之中,将包括在图像特征量(像素值)Px是“255”的像素组的区域与注目像素位置(图12的轴C1的位置)之间的区域的图像特征量(像素值)Px是“0”的像素的比例设为rb0,(2)在区域R之中,将包括在比图像特征量(像素值)Px是“255”的像素组的区域外侧的区域的图像特征量(像素值)Px是“0”的像素的比例设为rb1。另外,rw+rb0+rb1=1。
此外,在图12(a)~(f)中,将w的值设为以下的值。
在图12(a)的情况下:rw=0.0,rb0=1.0,rb1=0.0,w=10;
在图12(b)的情况下:rw=0.2,rb0=0.8,rb1=0.0,w=20;
在图12(c)的情况下:rw=0.4,rb0=0.6,rb1=0.0,w=30;
在图12(d)的情况下:rw=0.6,rb0=0.4,rb1=0.0,w=40;
在图12(e)的情况下:rw=0.4,rb0=0.3,rb1=0.3,w=50;
在图12(f)的情况下:rw=0.3,rb0=0.2,rb1=0.5,w=60。
在图12(a)的情况下,因为包括在算出对称区域R1的像素的图像特征量(像素值)都是“0”,所以根据(数学式14),成为SYMw(i,j)=0。
在图12(b)的情况下,因为在算出对称区域R1中,图像特征量(像素值)是“255”的像素的比例是“0.2”,所以根据(数学式14),成为
。
在图12(c)的情况下,因为在算出对称区域R1中,图像特征量(像素值)是“255”的像素的比例是“0.4”,所以根据(数学式14),成为
。
在图12(d)的情况下,因为在算出对称区域R1中,图像特征量(像素值)是“255”的像素的比例是“0.6”,所以根据(数学式14),成为
。
在图12(e)的情况下,因为在算出对称区域R1中,图像特征量(像素值)是“255”的像素的比例是“0.4”,所以根据(数学式14),成为
。
在图12(f)的情况下,因为在算出对称区域R1中,图像特征量(像素值)是“255”的像素的比例是“0.3”,所以根据(数学式14),成为
。
像这样,在图12所示的特征量提取图像中,当使区域R1像从图12(a)到(d)所示的那样扩大时,因为根据位置的加权系数k增加且像素值是“255”的像素的比例增加,所以作为对称性评价值的SYMw(i,j)单调递增。
进而,当使区域R1像从图12(d)到(f)所示的那样扩大时,因为像素值是“255”的像素的比例减少,所以作为对称性评价值的SYMw(i,j)单调递减。
即,在图12(d)时,对称性评价值SYMw(i,j)取最大值。即,在图12(d)的情况下,因为SYMw(i,j)取最大值,所以图12(d)的情况下的SYMw(i,j)(=672×255)成为maxSYM,此时的w(图12(d)的情况下的w)成为wa。因而,对称性评价部222在将图12所示的特征量提取图像作为处理对象的情况下,获取图12(d)的情况下的SYMw(i,j)(=672×255)作为maxSYM,获取此时的w(图12(d)的情况下的w)作为wa。
对称性评价部222对成为评价对称性的对象的全部的像素进行相当于(数学式14)和(数学式15)的处理,生成(获取)
(1)将处理对象像素和与该像素对应的maxSYM的值(或,与maxSYM的值相关的值)对应起来的对称性评价映射数据;以及
(2)将处理对象像素和wa的值(取最大值maxSYM时的w的值)(或,与wa的值相关的值)对应起来的对称宽度映射数据。
图10D是根据对称性评价映射数据导出的对称性评价映射图像104。对称性评价映射图像104是将各像素的像素值作为对应的maxSYM的值(或,与maxSYM的值相关的值)的图像。
此外,图10E是根据对称宽度映射数据导出的对称宽度映射图像105。对称宽度映射图像105是将各像素的像素值作为对应的wa的值(取最大值maxSYM时的w的值)(或,与wa的值相关的值)的图像。
另外,在本实施方式中,对称性评价部222利用边缘图像103的全部的像素作为评价对称性的对象像素(评价像素)。即,对称性评价部222对包括在边缘图像103的全部的像素算出SYMw(i,j),并且算出maxSYM。
但是,为了减少运算量,或为了使处理速度提高,对称性评价部222也可以通过使用包括在边缘图像103的一部分的像素(稀疏化像素)进行上述同样的处理,从而获取对称性评价映射数据和对称宽度映射数据。对称性评价部222例如也可以仅将水平(或垂直)方向的奇数排或偶数排利用为作为对称性的评价对象的像素(评价像素)。或者,也可以以3排间隔选择评价像素等,使评价像素的数量减少。
对称性评价映射数据是对各评价像素将对该评价像素算出的maxSYM的值(或,与maxSYM的值相关的值)作为成分的映射数据。也可以想成是对各评价像素将对该评价像素算出的maxSYM的值(或,与maxSYM的值相关的值)作为像素值的图像。在图10D中,将对称性评价映射数据描画为图像(对称性评价映射图像104)。另外,对称性评价部222只要获取对各评价像素算出的maxSYM的值(或与maxSYM的值相关的值)即可,而不一定获取为如图10D所示的图像(对称性评价映射图像104)。即,对称性评价部222只要获取将各评价像素及其maxSYM的值关联起来的数据即可。
在本实施方式中,因为利用边缘图像103的全部的像素作为评价像素,所以对称性评价映射图像104是将边缘图像103的全部像素的像素值置换为maxSYM的值(或与maxSYM的值相关的值)的灰度图像。
另外,在对称性评价值SYMw(i,j)是根据上述(数学式14)算出的情况下,是取值范围根据w的值而变化的数据,虽然可以获取直接将maxSYM的值作为像素值的对称性评价映射图像104,但是,例如也可以进行动态范围变换而获取对称性评价映射图像104。即,例如,也可以以使从对1个帧的量的输入图像算出的maxSYM的值的最小值到最大值所决定的范围成为例如0~255的范围(8比特的范围)的方式,进行动态范围调整(或者,也可以进行相当于归一化处理、用规定的值的削波处理、增益调整处理的处理等)。
像这样,在以使SYMw(i,j)取0~255的值的方式进行调整的情况下,对称性评价映射图像104的各成分能分别取0~255的值。在图10D中,接近于白色的颜色示出SYMw(i,j)的值大(接近于255)。即,在图10D中,偏白色的区域是评价为对称性高的区域,示出对称的物体的中心附近。另一方面,在图10D中,偏黑色的区域是对称性不高的区域。另外,上述动态范围变换是一个例子,也可以将SYMw(i,j)动态范围变换到0~255的范围以外的范围。
此外,对称性评价部222对成为评价对称性的对象的全部的评价像素生成(获取)对称宽度映射数据。
对称宽度映射数据是对各评价像素将给出maxSYM的对称宽度wa作为成分的映射数据。也可以想成是对各评价像素将对称宽度wa作为像素值的图像。在图10E中,将对称宽度映射数据描画为图像(对称宽度映射图像105)。在本实施方式中,因为利用边缘图像103的全部的像素作为评价像素,所以对称宽度映射图像105是将边缘图像103的全部像素置换为对称宽度wa的灰度图像。
如上所述,在本实施方式中,对称宽度wa能取从1到N的值。因而,对称宽度映射图像105的各成分能分别取1~N的值。N的值根据像素位置而异。在图9E中,颜色接近于白色的区域示出对称宽度wa大的区域。在图9E中,颜色接近于黑色的区域示出对称宽度小的区域。
接着,中心检测部223参照对称性评价部222生成的对称性评价映射数据(对称性评价映射图像104),生成对称中心映射数据(对称中心映射图像106)。中心检测部223对对称性评价映射图像104的水平方向的各排决定(推断)给出maxSYM的极大点的像素(或,极大点附近的像素组)。
图13是示出对称性评价映射图像104的水平方向的变化的图。具体地说,图13是对对称性评价映射图像104的水平方向的一排表示maxSYM的变化的图。
在图13中,在示出水平方向位置的列(i坐标)是330~332的三个像素(i=330的像素、i=331的像素、以及i=332的像素)中,像素值即对称性的评价值(maxSYM的值)成为极大。因而,中心检测部223对图13所示的水平方向的一排判定为i=330的像素、i=331的像素、以及i=332的像素这三个像素是对称性的评价值(maxSYM的值)的极大点(极大点附近区域)。
同样地,中心检测部223对水平方向的全部的排确定(推断)给出极大点(极大点附近区域)的区域(像素或像素组)。另外,将由中心检测部223确定(推断)的区域称为“对称中心像素区域”。
图10F是明示了由中心检测部223确定(推断)的对称中心像素区域的对称中心映射图像106。对称中心映射图像106例如能视为通过如下方式获取的图像,即,对判定为包括在对称中心像素区域的像素设定成分(像素值)“1”、对判定为未包括在对称中心像素区域的像素设定成分(像素值)“0”。在图10F中,白色的部分示出被确定为对称中心像素区域的像素。
另外,处理对象像素(注目像素)是否包括在对称中心像素区域的判定例如也可以与以下的处理一同进行。
(1)关于对称性评价映射图像104的各像素,将像素值与预先设定的阈值进行比较,仅在大于阈值的情况下,作为极大点的后补。
(2)在对称性评价映射图像104的水平方向进行平滑化处理(对处理对象的水平排进行平滑化处理)后,确定极大点的位置(水平方向的位置)。
由此,能排除由细微的变动产生的极大点。其结果是,能获取精度良好的对称中心映射图像。
接着,物体区域检测部224检测包括在输入图像的具有对称性的物体的水平方向的宽度和垂直方向的宽度。
物体区域检测部224利用对称中心映射数据(对称中心映射图像106)和对称宽度映射数据(对称宽度映射图像105)检测物体的水平方向的宽度。
具体地说,物体区域检测部224例如通过以下的(1)~(5)的处理来检测物体的水平方向的宽度。另外,为了说明便利,在对称中心映射图像106中,设最初包括像素值“1”的像素的水平排是第j行的排而进行说明。
(1)在对称中心映射图像106中,对构成具有对称性的物体的中心轴的像素给出像素值“1”。因而,物体区域检测部224在对称中心映射图像106中提取具有像素值“1”的像素,从对称宽度映射图像105获取该提取的像素的对称宽度。
(1A):
在水平方向单独地(在水平方向不连续地)检测到像素值“1”的像素的情况下,物体区域检测部224从对称宽度映射数据提取所提取的像素值“1”的像素(设该像素的坐标为(i,j))的对称宽度W(i,j)。
(1B):
在水平方向连续地检测到像素值“1”的像素的情况下,将该多个像素(在水平方向连续地存在的像素)的对称宽度的平均值作为对称宽度。例如,在像素(i-1,j)、像素(i,j)以及像素(i+1,j)这三个像素的像素值是“1”的情况下,当设对称宽度分别为W(i-1,j)、W(i,j)以及W(i+1,j)时,也可以设为
或
。另外,AVRG()是取元素的平均值的函数,MAX()是取元素的最大值的函数。
此外,在第j行的水平排中,将根据上述(1A)或(1B)算出的对称宽度W(i,j)标记为W(i0,j)。
(2)接下来,在第j+1行的水平排中,在存在水平方向的位置与在上述(1)中提取的像素大致相等(例如,包括在坐标位置(i-a,j+1)~坐标位置(i+a,j+1)的范围的像素。a是规定的阈值(用于判断水平方向是否大致相等的值))且其像素值是“1”的像素的情况下,与处理(1)同样地从对称宽度映射数据提取该像素的对称宽度。
在第j+1行的水平排中,当设像素值是“1”的像素位置(在水平方向的像素值“1”的像素连续地存在多个的情况下,是该像素组的中心位置的像素)为(i1,j+1)时,物体区域检测部224与处理(1)同样地算出像素(i1,j+1)的对称宽度W(i1,j)。
(3)对于第j+2行以后的水平排,也重复与上述同样的处理。
另外,直到在水平方向的位置与在上述(1)中提取的像素大致相等(例如,包括在坐标位置(i-a,j+1)~坐标位置(i+a,j+1)的范围的像素。a是规定的阈值(用于判断水平方向是否大致相等的值))的范围不再出现像素值“1”的像素为止,重复上述处理。
(4)物体区域检测部224求出通过上述(1)~(3)的处理算出的对称宽度的最大值maxW。即,物体区域检测部224通过执行相当于下述(数学式16)的处理来求取对称宽度的最大值maxW。
另外,在(数学式16)中,设在水平方向的位置与在上述(1)中提取的像素大致相等(例如,包括在坐标位置(i-a,j+1)~坐标位置(i+a,j+1)的范围的像素。a是规定的阈值(用于判断水平方向是否大致相等的值))的范围中,出现像素值“1”的像素的水平排是从第j行到第j+m-1行。
[数学式16]
……(16)
(5)然后,物体区域检测部224将算出的对称宽度的最大值maxW检测为物体宽度(从物体的水平方向的中心到一端为止的距离)。在图10F中,对在第j+k1行的水平排中对称宽度成为最大的情况进行了例示。即,例示了maxW=W(ik1,j+k1)的情况。
物体区域检测部224利用对称中心像素区域的垂直方向的宽度(长度)来检测物体的垂直方向的宽度。即,物体区域检测部224将在垂直方向连续地排列的对称中心像素的上端确定为物体的上端,将在垂直方向连续地排列的对称中心像素的下端确定为物体的下端。
如图10F所示,在例如在垂直方向连续地排列的对称中心像素的上端存在于第j行的水平排位置、在垂直方向连续地排列的对称中心像素的下端存在于第j+m-1行的水平排位置、取maxW(=W(ik1,j+k1))的水平排的像素的中心位置为(ik1,j+k1)时,物体区域检测部224将用左上方的顶点的坐标为(ik1-maxW,j)、右下方的顶点的坐标为是(ik1+maxW,j+m-1)的四边形包围的区域R1判定(确定)为相当于对称性高的物体的图像区域。
然后,物体区域检测部224将示出所确定的物体(对称性高的物体)的图像区域的信息(例如,用于确定上述区域R1的信息(例如,矩形区域的坐标信息等))输出到合成部23A。
另外,虽然在上述中对物体区域检测部224用矩形区域来确定对称性高的物体的图像区域的情况进行了说明,但是,不限定于此。例如,物体区域检测部224也可以按每个水平排基于从对称宽度映射数据提取的对称宽度来确定对称性高的物体的图像区域。即,在该情况下,按每个水平排,将从对称中心像素(包括在对称中心像素区域的像素)起向左右相当于对称宽度的长度的区域确定为对称性高的物体的图像区域。因此,最终检测的对称性高的物体的图像区域成为与该对称性高的物体的形状大致一致的形状(例如,成为与图10A的车辆110的外框的形状大致一致的形状)。
合成部23A基于从物体区域检测部224输出的确定所检测的对称性高的物体的图像上的区域的信息,在从图像输入部21A输出的图像(输入图像101)上生成(合成)明示相当于对称性高的物体的图像区域的图像。合成部23A例如以在从图像输入部21A输出的图像上显示明示相当于对称性高的物体的图像区域的四边形框的方式来生成(合成)图像。然后,合成部23A将合成的图像输出到显示装置3。
显示装置3显示从物体检测装置2的合成部23A输出的、明示了相当于对称性高的物体的图像区域的图像。图9G示出在输入图像101合成了示出作为具有对称性的物体的车辆110的区域的区域框130的合成图像107。另外,在按每个水平方向排决定物体宽度的情况下,区域框不是矩形,成为沿着物体的外形那样的形状(与车辆110的外框的形状大致一致的形状)。
如上所述,在本实施方式的物体检测系统1000中,为了对提取了输入图像(摄像图像)的图像特征量的图像评价关于规定的方向(水平方向)的对称性,一边使宽度(规定方向(水平方向)的宽度)变化一边进行对称性的评价。因而,在本实施方式的物体检测系统1000中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的规定方向(水平方向)的宽度。即,在本实施方式的物体检测系统1000中,能利用包括在图像的物体的对称性同时提取物体的位置和大小。
此外,在本实施方式的物体检测系统1000中,能使用关于规定的方向(水平方向)的对称性的评价数据来检测对称性高的物体的中心轴。因而,在本实施方式的物体检测系统1000中,能以少的运算量精度良好地进行对称性高的物体的检测。
进而,在本实施方式的物体检测系统1000中,因获取进行了根据距注目像素(物体的中心轴(对称轴))的距离的加权的对称性评价值,进行使用该对称性评价值的处理,因此,能精度良好地检测存在于从中心轴(对称轴)分开的位置的对称性高的物体。
《第1变形例》
接下来,对本实施方式的第1变形例进行说明。
本变形例的物体检测系统和物体检测装置具有分别与第1实施方式的物体检测系统1000和物体检测装置2相同的结构。
在本变形例的物体检测装置中,对称性评价部222进行根据下述(数学式17)或(数学式18)的处理来代替上述(数学式14)。除此以外,本变形例与第5实施方式相同。
[数学式17]
……(17)
对称性评价部222对特征量提取图像(边缘图像)103进行根据上述(数学式17)的处理。在(数学式17)中,利用(w-k)进行加权。即,在特征量提取图像(边缘图像)103上,越是存在于接近注目像素的位置的区域,就进行越强的加权。其结果是,在接近注目像素的区域而且在左右对称性高的区域中,对称性评价值SYMw(i,j)成为大的值。
此外,对称性评价部222也可以对特征量提取图像(边缘图像)103进行根据下述(数学式18)的处理。在(数学式18)中,利用在k≥a0(a0是满足a0≤w的规定的值)的区间中成为单调递减的函数c(k)进行加权。即,在特征量提取图像(边缘图像)103上,越是存在于接近注目像素的位置的区域,就进行越强的加权。其结果是,在接近于注目像素的区域,而且在左右对称性高的区域中,对称性评价值SYMw(i,j)成为大的值。
[数学式18]
……(18)
在此,使用图14对相当于(数学式18)的处理进行说明。图14是示意性地示出特征提取图像的一个例子的图,设在包括于白色部分的区域的像素中,其像素值(图像特征量)是能取的最大值(例如,“255”(8比特数据)),在包括于黑色部分的区域的像素中,其像素值(图像特征量)是能取的最小值(例如,“0”(8比特数据))。此外,设(数学式18)的值a0如图14所示地(图14所示的)取比w1略大的值。
在注目像素的水平方向的位置(i坐标)在轴C2上的情况下,如图14(a)所示,在区域R2的水平方向的宽度w1时,对称性评价值SYMw(i,j)取最大值。即,因为区域BC在轴C2附近左右对称性高,所以区域BC中的利用c(k)的加权大,因此,图14(a)所示的区域R2的水平方向的宽度w1成为wa(对称性评价值SYMw(i,j)取最大值时的对称宽度w)。
另一方面,如图14(b)所示,在区域R2的水平方向的宽度是w2时,因为关于w比a0大的区域的加权c(k)关于w成为单调递减,所以对区域BL和BR的加权c(k)的值变成小的值。因而,在区域R2的水平方向的宽度是w2时,对称性评价值SYMw(i,j)成为比水平方向的宽度w1时的对称性评价值SYMw(i,j)小的值。
像这样,本变形例的物体检测系统的对称性评价部222进行相当于(数学式18)的处理,获取对称性评价值SYMw(i,j),并且获取对称性评价值SYMw(i,j)成为最大时的对称宽度wa。
另外,在称轴(中心轴)近旁检测左右对称区域的情况下,在存在多个取对称性评价值SYMw(i,j)的最大值的w的情况下,也可以将最大的w作为wa。例如,在对称轴(中心轴)近旁连续存在取对称性评价值SYMw(i,j)的最大值的w的情况下,可认为w的值最大时的对称宽度与存在于对称轴近旁的对称性高的物体的宽度的值接近的可能性高。因而,在对称轴(中心轴)近旁检测左右对称区域的情况下,在存在多个取对称性评价值SYMw(i,j)的最大值的w的情况下,将最大的w作为wa即可。
然后,通过在中心检测部223和物体区域检测部224中进行与第5实施方式同样的处理,从而能在对称轴近旁确切地检测左右对称性高的物体(区域)。例如,在特征量提取图像是图15所示的图像的情况下,能通过本变形例的物体检测系统在对称轴近旁将左右对称性高的物体(区域)BC确切地检测为检测区域DA1。
另外,根据图像上的距离的加权函数c(k)不限定于上述(数学式18)中示出的函数,也可以设定为任意的函数。
例如,也可以如图16(a)、(b)所示,将根据图像上的距离的加权函数c(k)设为单调递减函数(包括存在对一部分k而言c(k)取恒定值的区间的情况等)。在将加权函数c(k)设定为单调递减函数的情况下,能在对称轴附近检测到具有高的对称性的物体。另外,图16(a)对应于本变形例的(数学式18)的处理。
另一方面,也可以如图16(c)、(d)所示,将根据图像上的距离的加权函数c(k)设为单调递增函数(包括存在对一部分k而言c(k)取恒定值的区间的情况等)。在将加权函数c(k)设定为单调递增函数的情况下,能在从对称轴分开的区域检测到具有高的对称性的物体。另外,图16(a)对应于第5实施方式的(数学式14)的处理(设c(k)=k的情况下的处理)。
另外,根据图像上的距离的加权函数c(k)不限定于上述,例如,也可以通过使用指数函数、S型函数等的函数、利用折线的函数等来设定基于图像上的距离的加权函数c(k)。
如上所述,在本变形例的物体检测系统中,能通过将根据图像上的距离的加权函数c(k)设定为单调递减函数(也可以包括一部分非单调的部分),从而确切地检测对称轴附近的对称性高的物体。
[第6实施方式]
接下来,对第6实施方式进行说明。
本实施方式的物体检测系统的结构与第5实施方式相同。以下,在本实施方式中,对与第5实施方式不同的点进行说明。另外,对于与上述实施方式相同的部分,对于与上述实施方式相同的部分,标注相同附图标记,省略详细的说明。
在第5实施方式中,图像特征量提取部221利用边缘成分作为物体的图像特征量。然后,基于作为图像特征量而提取的边缘成分进行对称性的评价。
在第6实施方式中,图像特征量提取部221利用特定的颜色成分作为物体的图像特征量。例如,图像特征量提取部221提取红色成分作为图像特征量。
以下,对本实施方式的物体检测系统的动作进行说明。
图17A是示出在本实施方式的物体检测系统中执行的物体检测处理的各阶段中获取的图像的一个例子的图。
另外,在本实施方式中,也以在摄像装置1中获取图10A所示的摄像图像101而在物体检测装置2中处理摄像图像101的情况为例进行说明。
图像输入部21A将从摄像装置1输入的RGB色空间的图像信号(R成分信号、G成分信号以及B成分信号)变换为YCbCr色空间的信号(Y成分信号、Cb成分信号以及Cr成分信号)。然后,图像输入部21A将Cr成分信号(Cr成分图像202)输出到图像特征量提取部221。
图像特征量提取部221对由图像输入部21A所获取的Cr成分图像(色差红色成分图像)202执行提取图像特征量的处理。另外,在本实施方式中,利用与Cr成分相关的物理量作为图像特征量。
即,在本实施方式中,图像特征量提取部221对Cr成分图像202执行Cr成分强调处理(增强处理)而生成特征量提取图像(R成分图像(Cr成分强调图像))203。
此后的处理与第5实施方式相同。在将第5实施方式中的边缘图像置换为R成分图像之后,执行同样的处理,检测有对称性的物体。
即,对称性评价部222对图17C所示的特征量提取图像(R成分图像(Cr成分强调图像))203执行与第5实施方式同样的处理,获取对称性评价映射数据(对应于图17D所示的对称性评价映射图像204。)和对称宽度映射数据(对应于图17E所示的对称宽度映射图像205。)。
然后,中心检测部223对对称性评价映射数据(对应于图17D所示的对称性评价映射图像204。)执行与第5实施方式同样的处理,获取对称中心映射数据(对应于图17F所示的对称中心映射图像206。)。
物体区域检测部224按与第5实施方式同样的处理利用对称中心映射数据(对应于图17F所示的对称中心映射图像206。)和对称宽度映射数据(对称宽度图像205)检测物体的水平方向的宽度,进而检测物体的垂直方向的宽度。
合成部23A与第5实施方式同样地基于从物体区域检测部224输出的确定所检测的对称性高的物体的图像上的区域的信息,在从图像输入部21A输出的图像(输入图像101)上生成(合成)明示相当于对称性高的物体的图像区域的图像。
然后,由显示装置3显示由合成部23A生成(合成)的图像。图17G示出由合成部23A获取的图像(输出图像207)的一个例子。如图17G所示,确切地检测出在左右对称的位置具有红色的图像区域(图像区域230)的区域。
图17G是示出在第6实施方式中显示装置3显示的合成图像207的图。在第5实施方式中,因为利用边缘成分来评价物体的对称性,所以提取车辆的整体作为物体的大小。与此相对地,可知在第6实施方式中,因为以车辆的尾灯的红色为中心评价物体的对称性,所以提取了包括尾灯的区域(图像区域230)。
如上所述,在本实施方式的物体检测系统中,为了对提取了输入图像(摄像图像)的图像特征量的图像(提取了特定的颜色成分的图像)评价关于规定的方向(水平方向)的对称性,一边使宽度(规定方向(水平方向)的宽度)变化一边评价对称性。因而,在本实施方式的物体检测系统中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的规定方向(水平方向)的宽度。即,在本实施方式的物体检测系统中,能利用包括在图像的物体的对称性同时提取物体的位置和大小。
此外,在本实施方式的物体检测系统中,能使用关于规定的方向(水平方向)的对称性的评价数据来检测对称性高的物体的中心轴。因而,在本实施方式的物体检测系统中,能以少的运算量精度良好地进行对称性高的物体的检测。进而,在本实施方式的物体检测系统中,因为使用对特定的颜色成分进行提取的图像来进行处理,所以能精度良好地检测包括较多特定的颜色成分的对称性高的物体。
进而,在本实施方式的物体检测系统中,因为获取进行了根据距注目像素(物体的中心轴(对称轴))的距离的加权的对称性评价值而进行使用该对称性评价值的处理,所以能精度良好地检测存在于从中心轴(对称轴)分开的位置的、关于特定的颜色成分的对称性高的物体。
另外,也可以组合第5实施方式和第6实施方式这两者。对边缘图像确定物体的垂直方向和水平方向的宽度和位置。进而,利用特定的颜色成分图像来确定物体的垂直方向和水平方向的宽度和位置。然后,通过取其平均值,从而能确定物体的位置和大小。或者,也可以对基于边缘图像求出的值和基于颜色成分求出的值的任一个进行加权而确定物体的位置和大小。
此外,虽然在上述中对注目红色成分进行处理的情况进行了说明,但是不限定于此,也可以注目其它颜色成分(例如,绿色成分、蓝色成分)进行处理而检测关于规定的颜色的对称性高的物体。
此外,用于提取图像特征量的色空间变换不限定于在本实施方式中说明的色空间变换,为了提取特定的颜色成分的信号,也可以进行其它色空间变换而提取所需的颜色成分信号(颜色成分图像)。
《第1变形例》
接下来,对本实施方式的第1变形例进行说明。
本变形例的物体检测系统和物体检测装置分别与第5实施方式的物体检测系统和物体检测装置具有相同的结构。
在本变形例的物体检测装置中,与第5实施方式的变形例同样地,对称性评价部222进行根据(数学式17)或(数学式18)的处理来代替(数学式14)。在本变形例的物体检测装置中,与第6实施方式同样地,图像特征量提取部221利用特定的颜色成分作为物体的图像特征量。例如,图像特征量提取部221提取红色成分作为图像特征量。
在此,对在本变形例的物体检测系统中输入图18所示的图像的情况进行说明。
图18(a)是从背后对摩托车进行摄像的图像301。设在摄像图像(输入图像)301中摩托车的尾灯311是红色的。
在图18(a)所示的图像输入到本变形例的物体检测装置的情况下,物体检测部22A的图像特征量提取部221获取图18(b)所示的特征量提取图像(R成分(Cr成分)提取图像)302。在图18(b)所示的特征量提取图像(R成分(Cr成分)提取图像)302中,相当于摩托车的尾灯311的区域存在于轴C3近旁,而且相当于摩托车的尾灯311的区域的像素的像素值(图像特征量(红色成分量))大。因此,由对称性评价部222算出的对称性评价值SYMw(i,j)在注目像素的水平方向的位置(i坐标)是对称轴附近的情况下取最大值。然后,此时的对称宽度成为图18(b)所示的w3。即,wa(对称性评价值SYMw(i,j)取最大值时的对称宽度w)成为w3。
然后,在本变形例的中心检测部223和物体区域检测部224中,通过与前述的实施方式同样地执行处理而获取图18(c)所示的输出图像。在图18(c)的输出图像中,确切地检测出红色且在对称轴近旁的左右对称性高的区域(物体)(摩托车的尾灯部分)。
如上所述,在本变形例的物体检测系统中,通过由对称性评价部222执行根据(数学式17)或(数学式18)的处理,从而能在特定的颜色成分(在本变形例中是红色成分)的对称轴近旁确切地检测出对称性高的区域(物体)。
另外,与在第5实施方式的变形例中说明的同样地,在本变形例中,根据图像上的距离的加权函数c(k)也不限定于在(数学式18)中示出的函数,还可以设定为任意的函数(例如,相当于图16所示的曲线的函数)。
[第7实施方式]
接下来,对第7实施方式进行说明。
本实施方式的物体检测系统的结构与第5实施方式相同。以下,在本实施方式中,对与第5实施方式不同的点进行说明。另外,对于与上述实施方式相同的部分,对于与上述实施方式相同的部分,标注相同附图标记,省略详细的说明。
本实施方式的对称性评价部222执行相当于下述(数学式19)的处理来代替(数学式14)。
[数学式19]
……(19)
与前述的实施方式同样地,在(数学式19)中,SYMw(i,j)示出对称性的评价值。在(数学式19)中,k是取1~w的值的整数。
像素Pi-k和像素Pi+k是以注目像素Pi为中心处于左右对称的位置的像素。在像素Pi-k与像素Pi+k的像素值相等时,其差分|Pi-k-Pi+k|成为最小值0。此时,(255-|Pi-k-Pi+k|)成为最大值255。
然后,(255-|Pi-k-Pi+k|)通过与Pi-k和Pi+k相乘而用从注目像素Pi向左右分开k个像素的像素的图像特征量进行加权。由此,能从对称性的评价中除去图像特征量小的像素。即,例如,在使特征量提取图像为边缘图像103时,在边缘图像103中,非边缘的部分的Pi-k和Pi+k取接近于“0”的值,因此,在非边缘的部分中,(255-|Pi-k-Pi+k|)×Pi-k×Pi+k取接近于“0”的值。
即,在(数学式19)中,关于注目的图像特征量(例如,边缘成分量、特定的颜色成分量(例如,红色成分量))的对称性越高,SYMw(i,j)取值就越大。
本实施方式的对称性评价部222与前述的实施方式同样地进行相当于(数学式15)的处理,获取给出最大值maxSYM的w作为对称宽度wa。
然后,本实施方式的中心检测部223、物体区域检测部224、以及合成部23A进行与前述同样的处理。
像这样,在本实施方式的物体检测系统中,为了对提取了输入图像(摄像图像)的图像特征量的图像评价关于规定的方向(水平方向)的对称性,一边使宽度(规定方向(水平方向)的宽度)变化一边进行对称性的评价。因而,在本实施方式的物体检测系统中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的规定方向(水平方向)的宽度。即,在本实施方式的物体检测系统中,能利用包括在图像的物体的对称性同时提取物体的位置和大小。
此外,在本实施方式的物体检测系统中,能使用关于规定的方向(水平方向)的对称性的评价数据来检测对称性高的物体的中心轴。因而,在本实施方式的物体检测系统中,能以少的运算量精度良好地进行对称性高的物体的检测。
另外,在本实施方式的物体检测系统中,图像特征量提取部221例如也可以获取将边缘成分作为图像特征量而提取了输入图像的边缘成分的边缘图像。在该情况下,在本实施方式的物体检测系统中,能取得与图9同样的处理结果(类似的处理结果)。
此外,在本实施方式的物体检测系统中,图像特征量提取部221例如也可以获取将特定的颜色成分(例如,红色成分(R成分、Cr成分等))作为图像特征量而提取了输入图像的特定的颜色成分的图像(例如,红色成分图像(R成分图像、Cr成分图像等))。在该情况下,在本实施方式的物体检测系统中,能取得与图17A同样的处理结果(类似的处理结果)。
[第8实施方式]
接下来,对第8实施方式进行说明。
本实施方式的物体检测系统的结构与前述的实施方式相同。以下,在本实施方式中,对与前述的实施方式不同的点进行说明。另外,对与前述的实施方式相同的部分标注相同的附图标记,省略详细的说明。
本实施方式的对称性评价部222执行相当于下述(数学式20)的处理来代替(数学式14)。
[数学式20]
……(20)
与前述的实施方式同样地,在(数学式20)中,SYMw(i,j)示出对称性的评价值。在(数学式20)中,k是取1~w的值的整数。
像素Pi-k和像素Pi+k是以注目像素Pi为中心而处于左右对称的位置的像素。在像素Pi-k与像素Pi+k的像素值相等时,其差分|Pi-k-Pi+k|成为最小值0。此时,(255-|Pi-k-Pi+k|)成为最大值255。
然后,(255-|Pi-k-Pi+k|)通过与Pi-k和Pi+k相乘而用从注目像素Pi向左右分开k个像素的像素的图像特征量进行加权。由此,能从对称性的评价中除去图像特征量小的像素。即,例如,在使特征量提取图像为边缘图像103时,在边缘图像103中,非边缘的部分的Pi-k和Pi+k取接近于“0”的值,因此,在非边缘的部分中,(255-|Pi-k-Pi+k|)×Pi-k×Pi+k取接近于“0”的值。
即,在(数学式20)中,关于注目的图像特征量(例如,边缘成分量、特定的颜色成分量(例如,红色成分量))的对称性越高,SYMw(i,j)的取值就越大。
进而,在(数学式20)中,通过乘以从注目像素(i,j)到距离k(从注目像素(i,j)到像素(i,j+k)(或像素(i,j-k))的像素数(相当于图像上的距离),从而进行根据水平方向的位置信息(距注目像素的距离信息)的加权。即,在水平方向距注目像素越远,对对称性的评价的加权越大。因而,在以注目像素为中心而从注目像素向左右分开的区域中存在具有高(左右)对称性(关于注目的图像特征量(在本实施方式中是边缘成分量)的对称性)的区域的情况下,对称性评价值SYMw(i,j)成为大的值。
即,对称性评价部222能通过执行根据(数学式20)的处理,从而获取进行了根据图像特征量(Pi-k和Pi+k)和水平方向的位置信息(距注目像素的距离信息)的加权的对称性评价值SYMw(i,j)。
本实施方式的对称性评价部222与前述的实施方式同样地进行相当于(数学式20)的处理,获取给出最大值maxSYM的w作为对称宽度wa。
然后,本实施方式的中心检测部223、物体区域检测部224、以及合成部23执行与前述同样的处理。
像这样,在本实施方式的物体检测系统中,为了对提取了输入图像(摄像图像)的图像特征量的图像评价关于规定的方向(水平方向)的对称性,一边使宽度(规定方向(水平方向)的宽度)变化一边进行对称性的评价。因而,在本实施方式的物体检测系统中,在判定为规定的图像区域的对称性高的情况下,还能同时获取判定为对称性高的图像区域的规定方向(水平方向)的宽度。即,在本实施方式的物体检测系统中,能利用包括在图像的物体的对称性同时提取物体的位置和大小。
此外,在本实施方式的物体检测系统中,能使用关于规定的方向(水平方向)的对称性的评价数据来检测对称性高的物体的中心轴。因而,在本实施方式的物体检测系统中,能以少的运算量精度良好地进行对称性高的物体的检测。
进而,在本实施方式的物体检测系统中,因为获取进行了根据距注目像素(物体的中心轴(对称轴))的距离的加权的对称性评价值而进行使用该对称性评价值的处理,所以能精度良好地检测存在于从中心轴(对称轴)分开的位置的对称性高的物体。
另外,在本实施方式的物体检测系统中,图像特征量提取部221例如也可以获取将边缘成分作为图像特征量而提取了输入图像的边缘成分的边缘图像。在该情况下,在本实施方式的物体检测系统中,能取得与图9同样的处理结果(类似的处理结果)。
此外,在本实施方式的物体检测系统中,图像特征量提取部221例如也可以获取将特定的颜色成分(例如,红色成分(R成分、Cr成分等))作为图像特征量而提取了输入图像的特定的颜色成分的图像(例如,红色成分图像(R成分图像、Cr成分图像等))。在该情况下,在本实施方式的物体检测系统中,能取得与图17A同样的处理结果(类似的处理结果)。
《第1变形例》
接下来,对第8实施方式的第1变形例进行说明。
本变形的物体检测系统的结构与前述的实施方式相同。以下,在本实施方式中,对与前述的实施方式不同的点进行说明。另外,关于与前述的实施方式相同的部分,标注相同的附图标记,省略详细的说明。
本变形例的对称性评价部222执行相当于下述(数学式21)的处理来代替(数学式20)。即,虽然在(数学式20)中关于像素位置(距离)的加权是k,但是,在(数学式21)中,关于像素位置(距离)的加权成为关于k的任意的函数c(k)。
[数学式21]
……(21)
在本变形例中,能通过将函数c(k)设定为规定的函数(例如,图16所示的函数),从而使从对称轴分开规定的距离的区域中的对称性评价值的加权变化为所需的加权。
例如,在想要在中心轴(对称轴)附近检测具有高对称性的区域的情况下,只要设定为c(k)=w-k或下述(数学式22)即可。
[数学式22]
……(22)
如上所述,在本变形例的物体检测系统中,能通过由对称性评价部222执行根据(数学式21)的处理,从而在规定的区域(从对称轴分开规定的距离的区域)中确切地检测对称性高的区域(物体)。
另外,与在第5实施方式的变形例中说明的同样地,在本变形例中,根据图像上的距离的加权函数c(k)也不限定于在上述中示出的函数,还可以设定为任意的函数(例如,相当于图16所示的曲线的函数)。
[第9实施方式]
接下来,对第9实施方式进行说明。
本实施方式的物体检测系统的结构与前述的实施方式相同。以下,在本实施方式中,对与前述的实施方式不同的点进行说明。另外,对于与前述的实施方式相同的部分,标注相同的附图标记,省略详细的说明。
本实施方式的对称性评价部222执行相当于下述(数学式23)的处理来代替(数学式21)。即,在(数学式21)中,用于算出对称性评价值的图像上的区域是由1个水平排构成的区域。与此相对地,在(数学式23)中,用于算出对称性评价值的图像上的区域是由(2n+1)个水平排(以注目像素存在的水平排为中心的(2n+1)个水平排)(n是自然数)构成的区域。
即,本实施方式的对称性评价部222根据(数学式23)对(2n+1)个水平排分别算出对称性评价值,对算出的各水平排的对称性评价值进行累计,将累计的值除以水平排数,由此,获取平均值。然后,对称性评价部222将获取的平均值作为注目像素(i,j)的对称性评价值SYMw(i,j)。
[数学式23]
……(23)
另外,在(数学式23)中,c(k)是任意的函数。
例如,在图像上检测到存在于从中心轴(对称轴)分开的位置的、对称性高的区域的情况下,设定为c(k)=k即可。另外,也可以将函数c(k)设定为如图16(d)所示的函数。
此外,例如,在图像上检测到存在于中心轴(对称轴)近旁的、对称性高的区域的情况下,设定为c(k)=w-k即可。另外,也可以将函数c(k)设定为如图16(a)、(b)所示的函数。
另外,虽然如(数学式23)所示,对称性评价部222将算出对称性评价值的对象区域的垂直方向的宽度作为相当于包括注目像素的水平排、位于包括注目像素的水平排的上方的n排和位于其下方的n排的合计(2n+1)排的宽度而算出对称性评价值,但是,在注目像素是图像上端附近或下端附近且不能在包括注目像素的水平排的上下各确保n排的情况下,也可以使算出对称性评价值的对象区域的垂直方向的宽度变化。例如,在注目像素是图像上端附近、在包括注目像素的水平排的上方(到图像上端为止)存在n1排(设n1<n)的情况下,也可以将从(j-n1)排到(j+n)排为止的合计(n1+n+1)排的区域作为算出对称性评价值的对象区域。
本实施方式的对称性评价部222与前述的实施方式同样地进行相当于(数学式23)的处理,获取给出最大值maxSYM的w作为对称宽度wa。
然后,本实施方式的中心检测部223、物体区域检测部224、以及合成部23进行与前述同样的处理。
像这样,在本实施方式的物体检测系统中,本实施方式的对称性评价部222根据(数学式23)对(2n+1)个水平排分别算出对称性评价值,对算出的各水平排的对称性评价值进行累计,将累计的值除以水平排数,根据由此获取的平均值算出注目像素(i,j)的对称性评价值SYMw(i,j)。即,在本实施方式的物体检测系统中,因为将在垂直方向具有规定的宽度的图像区域作为对称性评价的对象,所以能精度良好地检测在垂直方向具有高的相关性的对称区域(例如,具有对称轴(中心轴)和平行的边的四边形的物体等)。
另外,对称性评价部222也可以代替(数学式23)而使用(数学式24)算出对称性评价值SYMw(i,j)。另外,关于c(k),与(数学式23)相同。
[数学式24]
……(24)
即,在(数学式23)的处理中,对称性评价部222首先在水平方向进行对称性评价,接下来在垂直方向进行累计而求出平均值,由此,算出注目像素(i,j)的对称性评价值SYMw(i,j)。
另一方面,在(数学式24)的处理中,对称性评价部222首先进行各项的垂直方向的累计处理(平均值算出处理),接下来在水平方向上进行对称性评价,由此,算出注目像素(i,j)的对称性评价值SYMw(i,j)。
通过对称性评价部222进行根据(数学式24)的处理,从而能取得与(数学式23)的处理同样的处理结果。
《第1变形例》
接下来,对第9实施方式的第1变形例进行说明。
本变形的物体检测系统的结构与前述的实施方式相同。以下,在本实施方式中,对与前述的实施方式不同的点进行说明。另外,关于与前述的实施方式相同的部分,标注相同的附图标记,省略详细的说明。
本变形例的对称性评价部222执行相当于下述(数学式25)的处理来代替(数学式23)。即,在(数学式23)中,垂直方向的加权在全部的水平排中都是“1”(无加权),但是,在(数学式25)中,根据垂直方向的加权函数d(m),按每个水平排进行由函数d(m)决定的加权处理。另外,关于c(k),与(数学式23)相同。
[数学式25]
……(25)
例如,能通过设
d(m)=n+1-|m-j|
或
d(m)=c1×exp(-c2×(m-j)^2)
(c1是用于决定d(m)的最大值的系数。c2是垂直方向的范围调整用的系数。),从而使注目像素(i,j)存在的水平排的加权增大,距注目像素(i,j)存在的水平排越远,使加权越小。
由此,能在注目像素(i,j)存在的水平排附近存在左右对称性高的区域的情况下,使对称性评价值变高。
另外,对称性评价部222也可以代替(数学式21)而使用(数学式26)算出对称性评价值SYMw(i,j)。另外,关于c(k),与(数学式21)相同。
[数学式26]
……(26)
即,在(数学式21)的处理中,对称性评价部222首先在水平方向进行对称性评价,接下来在垂直方向进行累计,求出平均值,由此,算出注目像素(i,j)的对称性评价值SYMw(i,j)。
另一方面,在(数学式26)的处理中,对称性评价部222首先进行各项的垂直方向的累计处理(平均值算出处理),接下来在水平方向进行对称性评价,由此,算出注目像素(i,j)的对称性评价值SYMw(i,j)。
通过对称性评价部222进行根据(数学式26)的处理,从而能取得与(数学式25)的处理同样的处理结果。
[其它实施方式]
还可以组合上述的实施方式和变形例的一部分或全部。
在上述的实施方式中,检测了关于水平方向具有对称性的物体。同样地,也可以检测关于垂直方向具有对称性的物体。即,也可以将上述的实施方式中的水平方向的处理和垂直方向的处理倒过来,执行上述的实施方式的处理,由此,检测关于垂直方向具有对称性的物体。
此外,在上述的实施方式的物体检测装置2中,各功能部的全部或一部分也可以使用共有的存储器(例如,帧存储器)进行处理。
此外,在上述的实施方式的物体检测系统中,如果是摄像装置以规定的帧频(例如,15fps)对彩色图像进行摄像的情况,优选上述共有的存储器为具有物体检测装置能处理该规定的帧频(例如,15fps)的彩色图像的存储器容量的存储器。
此外,在上述实施方式中,有以8比特的数据(0~255的数据)为前提进行处理(用数学式示出的处理等)的部分,但是,显然比特数不限定于在上述中说明的比特数(数据能取的范围)。此外,在上述的实施方式中,为了使数据为规定的范围的数据,也可以进行范围变换处理、归一化处理、利用规定的阈值的削波处理等。
此外,在上述实施方式中说明的物体检测系统或物体检测装置中,各模块既可以通过LSI等半导体装置(包括集成电路、可编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)等。)个别地进行单片(one chip)化,也可以以包括一部分或全部的方式进行单片化。此外,在上述实施方式中说明的物体检测系统或物体检测装置中,各模块也可以由多个芯片(LSI等半导体装置)实现。
此外,上述个各实施方式的各功能模块的处理的一部分或全部也可以由程序来实现。而且,上述各实施方式的各功能模块的处理的一部分或全部在计算机中由中央运算装置(CPU)进行。此外,用于进行各处理的程序储存在硬盘、ROM等存储装置,读出到ROM或RAM而被执行。
此外,上述实施方式的各处理既可以由硬件实现,也可以由软件(包括与OS(操作系统)、中间设备(middleware)、或规定的库(library)一起实现的情况。)实现。进而,也可以由软件和硬件的混合处理来实现。另外,显然,在上述实施方式的物体检测系统或物体检测装置由硬件来实现的情况下,需要进行用于进行各处理的定时调整。在上述实施方式中,为了说明的便利,省略了对在实际的硬件设计中产生的各种信号的定时调整的细节。
此外,上述实施方式中的处理方法的执行顺序不一定限制于上述实施方式的记载,在不脱离发明的要旨的范围中,能更换执行顺序。
使计算机执行前述的方法的计算机程序和记录有该程序的计算机可读的记录介质包括在本发明的范围。在此,作为计算机可读的记录介质,例如,能举出软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(蓝光盘)(注册商标))、半导体存储器。
上述计算机程序不限于记录在上述记录介质的程序,也可以是经由电通信线路、无线或有线通信线路、以互联网为代表的网络等传送的程序。
另外,本发明的具体的结构不限于前述的实施方式,能在不脱离发明的要旨的范围内进行各种变更和修正。
[附记]
此外,本发明也能表现为如下所述。
(附记1)
一种物体检测装置,具备:
图像输入部,输入图像;
对称性评价部,对包括在所述图像的多个评价像素,基于各评价像素周边的像素的特征量,评价各评价像素周边的关于第1方向的对称性;
对称宽度检测部,对所述多个评价像素算出关于所述第1方向的对称宽度;
中心检测部,将所述多个评价像素中的对称性大于规定的基准的像素检测为对称中心像素;以及
物体宽度检测部,基于所述对称中心像素的所述对称宽度来检测包括在所述图像的具有对称性的物体的关于所述第1方向的物体宽度,基于所述对称中心像素的关于与所述第1方向正交的第2方向的分布来检测所述物体的关于所述第2方向的物体宽度。
(附记2)
根据附记1所述的物体检测装置,其中,
所述中心检测部将对关于所述第1方向的对称性的变化给出极大的点检测为所述对称中心像素。
(附记3)
根据附记1或附记2所述的物体检测装置,其中,
所述对称性评价部基于各评价像素周边的像素的特征量的相似性来评价对称性。
(附记4)
根据附记1至附记3的任一项所述的物体检测装置,其中,
所述对称宽度检测部对各评价像素将对称性最高的宽度检测为所述对称宽度。
(附记5)
根据附记1至附记4的任一项所述的物体检测装置,其中,
所述物体宽度检测部将所述对称中心像素的所述对称宽度的最大值或平均值检测为关于所述第1方向的物体宽度。
(附记6)
根据附记1至附记4的任一项所述的物体检测装置,其中,
所述物体宽度检测部将所述对称中心像素的各对称宽度检测为关于所述第1方向的物体宽度。
(附记7)
根据附记1至附记6的任一项所述的物体检测装置,其中,
所述物体宽度检测部将关于所述第2方向连续配置的所述对称中心像素的一端和另一端检测为关于所述第2方向的物体宽度的一端和另一端。
(附记8)
根据附记1至附记7的任一项所述的物体检测装置,其中,
所述对称性评价部使用像素的边缘强度作为像素的特征量。
(附记9)
根据附记1至附记7的任一项所述的物体检测装置,其中,
所述对称性评价部使用像素的规定的颜色成分的强度作为像素的特征量。
(附记10)
根据附记1至附记9的任一项所述的物体检测装置,其中,
所述对称性评价部通过评价使所述第1方向为水平方向的对称性和使所述第1方向为垂直方向的对称性,从而确定仅在水平方向具有对称性的像素,
所述中心检测部将所述多个评价像素中的对称性大于规定的基准且仅在水平方向具有对称性的像素检测为对称中心像素。
(附记11)
根据附记1至附记10的任一项所述的物体检测装置,其中,
将包括在所述图像的车辆检测为具有所述对称性的物体。
附图标记说明
1000:物体检测系统;
1:摄像装置;
2:物体检测装置;
3:显示装置(监视器);
21A:图像输入部;
22A:物体检测部;
23A:合成部;
221:图像特征量提取部;
222:对称性评价部;
223:中心检测部;
224:物体区域检测部;
23A:合成部。
Claims (35)
1.一种物体检测装置,具备:
图像输入部,输入图像;
图像特征量提取部,从所述图像提取规定的图像特征量而生成特征量提取图像;
对称性评价部,对所述特征量提取图像按作为处理对象的每个注目像素基于所述注目像素的周边像素的图像特征量来评价所述注目像素的周边的图像区域的关于第1方向的对称性,并且算出关于所述第1方向的对称宽度;
中心检测部,在对所述注目像素评价的对称性大于规定的基准的情况下,将该注目像素检测为对称中心像素;
物体区域检测部,基于所述对称中心像素的所述对称宽度来检测包括在所述图像的具有对称性的物体的关于所述第1方向的物体宽度,基于所述对称中心像素的关于与所述第1方向正交的第2方向的分布来检测所述物体的关于所述第2方向的物体宽度。
2.根据权利要求1所述的物体检测装置,其中,
所述中心检测部将对关于所述第1方向的对称性的变化给出极大的点检测为所述对称中心像素。
3.根据权利要求1或2所述的物体检测装置,其中,
所述对称性评价部基于各注目像素的周边的像素的图像特征量的相似性来评价对称性。
4.根据权利要求1至3的任一项所述的物体检测装置,其中,
所述对称性评价部对各注目像素将对称性最高的宽度检测为所述对称宽度。
5.根据权利要求1至4的任一项所述的物体检测装置,其中,
所述物体区域检测部将所述对称中心像素的所述对称宽度的最大值或平均值检测为关于所述第1方向的物体宽度。
6.根据权利要求1至4的任一项所述的物体检测装置,其中,
所述物体区域检测部将所述对称中心像素的各对称宽度检测为关于所述第1方向的物体宽度。
7.根据权利要求1至6的任一项所述的物体检测装置,其中,
所述物体区域检测部将关于所述第2方向连续配置的所述对称中心像素的一端和另一端检测为关于所述第2方向的物体宽度的一端和另一端。
8.根据权利要求1至7的任一项所述的物体检测装置,其中,
所述对称性评价部通过评价使所述第1方向为水平方向的对称性和使所述第1方向为垂直方向的对称性,从而确定仅在水平方向具有对称性的像素,
所述中心检测部将判定为对所述注目像素评价的对称性大于规定的基准且仅在水平方向具有对称性的注目像素检测为对称中心像素。
9.根据权利要求1至8的任一项所述的物体检测装置,其中,
将包括在所述图像的车辆检测为具有所述对称性的物体。
10.根据权利要求1所述的物体检测装置,其中,
对称性评价部对所述特征量提取图像,按作为处理对象的每个注目像素,以将与所述第1方向正交的第2方向的中心轴作为中心而对称的方式设定作为用于评价所述图像上的关于第1方向的对称性的区域的对称性评价区域,一边使所述对称性评价区域的大小变化,一边导出对存在于包括在所述对称性评价区域、关于所述中心轴对称的位置的像素组的图像特征量的相关值进行了根据所述像素组的图像特征量的加权的值,由此,获取示出所述第1方向的对称性的程度的对称性评价值。
11.根据权利要求10所述的物体检测装置,其中,
所述对称性评价部基于所述对称性评价值是示出关于第1方向的对称性是最大的值的情况下的所述对称性评价区域的大小,决定关于所述第1方向的对称宽度。
12.根据权利要求10或11所述的物体检测装置,其中,
设所述特征量提取图像上的像素值取0或正值,所述图像特征量越大,取值就越大,设所述特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,
设所述特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设在作为所述第1方向的一个方向的第1探索方向从所述注目像素分开k个像素的像素的像素值为Pi-k,设在作为所述第1方向的所述第1探索方向的反方向的第2探索方向从所述注目像素分开k个像素的像素的像素值为Pi+k,
设所述对称性评价区域的所述第1方向的宽度为2w+1,此时,
所述对称性评价部一边使所述对称性评价区域的所述第1方向的宽度2w+1变化,一边基于
算出所述注目像素的所述对称性评价值,其中,k、w是自然数。
13.根据权利要求10或11所述的物体检测装置,其中,
设所述特征量提取图像上的像素值取0或正值,所述图像特征量越大,取值就越大,设所述特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,
设所述特征量提取图像上的坐标为(i,j)的像素的像素值为Pi,j,
设所述对称性评价区域的所述第1方向的宽度为2w+1,
设所述对称性评价区域的所述第2方向的宽度为2n+1,
设规定的加权函数为d(m),此时,
所述对称性评价部一边使所述对称性评价区域的所述第1方向的宽度2w+1变化,一边基于
或
算出所述注目像素的所述对称性评价值,其中,w是自然数。
14.根据权利要求13所述的物体检测装置,其中,
所述加权函数d(m)是
(1)d(m)=1;
(2)d(m)=n+1-|m-j|;以及
(3)d(m)=c1×exp(-c2×(m-j)^2),
中的任一个,其中,c1和c2是规定的正的系数。
15.根据权利要求12至14的任一项所述的物体检测装置,其中,
所述对称性评价部获取所述SYMw(i,j)的最大值maxSYM,并且基于所述SYMw(i,j)成为最大值时的所述对称性评价区域的所述第1方向的宽度2w+1决定所述对称宽度。
16.根据权利要求10至15的任一项所述的物体检测装置,其中,
当设所述图像的所述第1方向的像素数为H时,所述对称性评价部
(1)在示出所述注目像素的所述第1方向的位置的列i为H/2以下的情况下,使作为所述对称性评价区域的所述第1方向的宽度的一半的w在1≤w≤(i-1)的范围变化而算出所述对称性评价值,
(2)在示出所述注目像素的第1方向的位置的列i比H/2大的情况下,使作为所述对称性评价区域的所述第1方向的宽度的一半的w在1≤w≤(H-i)的范围变化而算出所述对称性评价值,
其中,H是自然数。
17.根据权利要求1所述的物体检测装置,其中,
所述对称性评价部对所述特征量提取图像,按作为处理对象的每个注目像素,以将作为与所述第1方向正交的第2方向的规定的轴的中心轴作为中心而对称的方式设定作为用于评价所述图像上的关于第1方向的对称性的区域的对称性评价区域,一边使所述对称性评价区域的大小变化,一边导出对存在于包括在所述对称性评价区域、关于中心轴对称的位置的像素组的图像特征量的相关值进行了基于所述像素组的距所述中心轴的距离的加权的值,由此,获取示出所述第1方向的对称性的程度的对称性评价值。
18.根据权利要求17所述的物体检测装置,其中,
所述对称性评价部基于所述对称性评价值是示出关于第1方向的对称性是最大的值的情况下的所述对称性评价区域的大小,决定关于所述第1方向的对称宽度。
19.根据权利要求17所述的物体检测装置,其中,
设所述特征量提取图像上的像素值取0或正值,所述图像特征量越大,取值就越大,设所述特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,
设所述特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设在作为所述第1方向的一个方向的第1探索方向从所述注目像素分开k个像素的像素的像素值为Pi-k,设在作为所述第1方向的所述第1探索方向的反方向的第2探索方向从所述注目像素分开k个像素的像素的像素值为Pi+k,
设所述对称性评价区域的第1方向的宽度为2w+1,
设规定的阈值为Th,设关于距所述注目像素的距离k的加权函数为c(k),此时,
所述对称性评价部一边使所述对称性评价区域的第1方向的宽度2w+1变化,一边基于
算出所述注目像素的所述对称性评价值,其中,k、w是自然数。
20.根据权利要求19所述的物体检测装置,其中,
所述对称性评价部获取所述SYMw(i,j)的最大值maxSYM,并且基于所述SYMw(i,j)成为最大值时的所述对称性评价区域的第1方向的宽度2w+1,决定所述对称宽度。
21.根据权利要求17或18所述的物体检测装置,其中,
所述对称性评价部导出对存在于包括在所述对称性评价区域、关于所述中心轴对称的位置的像素组的图像特征量的相关值进行了基于所述像素组距所述中心轴的距离和所述像素组的图像特征量的加权的值,由此,获取示出所述第1方向的对称性的程度的对称性评价值,由此,获取示出所述第1方向的对称性的程度的对称性评价值。
22.根据权利要求21所述的物体检测装置,其中,
设所述特征量提取图像上的像素值取0或正值,所述图像特征量越大,取值就越大,设所述特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,
设所述特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设在作为所述第1方向的一个方向的第1探索方向从所述注目像素分开k个像素的像素的像素值设为Pi-k,设在作为所述第1方向的所述第1探索方向的反方向的第2探索方向从所述注目像素分开k个像素的像素的像素值为Pi+k,
设所述对称性评价区域的所述第1方向的宽度为2w+1,
设规定的阈值为Th,设关于距注目像素的距离k的加权函数为c(k),此时,
所述对称性评价部一边使所述对称性评价区域的所述第1方向的宽度2w+1变化,一边基于
算出所述注目像素的所述对称性评价值,其中,k、w是自然数。
23.根据权利要求22所述的物体检测装置,其中,
所述对称性评价部获取所述SYMw(i,j)的最大值maxSYM,并且基于所述SYMw(i,j)成为最大值时的所述对称性评价区域的所述第1方向的宽度2w+1,决定所述对称宽度。
24.根据权利要求17或18所述的物体检测装置,其中,
设所述特征量提取图像上的像素值取0或正值,所述图像特征量越大,取值就越大,设所述特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,
设所述特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设在作为所述第1方向的一个方向的第1探索方向从所述注目像素分开k个像素的像素的像素值为Pi-k,设在作为所述第1方向的所述第1探索方向的反方向的第2探索方向从所述注目像素分开k个像素的像素的像素值为Pi+k,
设所述对称性评价区域的第1方向的宽度为2w+1,
设所述对称性评价区域的所述第2方向的宽度为2n+1,
设规定的阈值为Th,设关于距所述注目像素的距离k的加权函数为c(k),此时,
所述对称性评价部一边使所述对称性评价区域的第1方向的宽度2w+1变化,一边基于
或
算出所述注目像素的所述对称性评价值,其中,k、w是自然数。
25.根据权利要求24所述的物体检测装置,其中,
所述对称性评价部获取所述SYMw(i,j)的最大值maxSYM,并且基于所述SYMw(i,j)成为最大值时的所述对称性评价区域的所述第1方向的宽度2w+1,决定所述对称宽度。
26.根据权利要求17或18所述的物体检测装置,其中,
设所述特征量提取图像上的像素值取0或正值,所述图像特征量越大,取值就越大,设特征量提取图像上的像素值能取的最大值以上的规定的值为Pmax,
设所述特征量提取图像上的坐标为(i,j)的注目像素的像素值为Pi,设在作为所述第1方向的一个方向的第1探索方向从所述注目像素分开k个像素的像素的像素值为Pi-k,设在作为所述第1方向的所述第1探索方向的反方向的第2探索方向从所述注目像素分开k个像素的像素的像素值为Pi+k,
设所述对称性评价区域的第1方向的宽度为2w+1,
设所述对称性评价区域的所述第2方向的宽度为2n+1,
设规定的阈值为Th,设关于距所述注目像素的距离k的加权函数为c(k),此时,
所述对称性评价部一边使所述对称性评价区域的第1方向的宽度2w+1变化,一边基于
或
算出所述注目像素的所述对称性评价值,其中,k、w是自然数。
27.根据权利要求26所述的物体检测装置,其中,
所述对称性评价部获取所述SYMw(i,j)的最大值maxSYM,并且基于所述SYMw(i,j)成为最大值时的所述对称性评价区域的所述第1方向的宽度2w+1,决定所述对称宽度。
28.根据权利要求19、20、22~26的任一项所述的物体检测装置,其中,
所述加权函数c(k)是关于k的单调递增函数。
29.根据权利要求19、20、22~26的任一项所述的物体检测装置,其中,
所述加权函数c(k)是关于k的单调递减函数。
30.根据权利要求17至29的任一项所述的物体检测装置,其中,
当设所述图像的所述第1方向的像素数为H时,所述对称性评价部
(1)在示出所述注目像素的所述第1方向的位置的列i为H/2以下的情况下,使作为所述对称性评价区域的所述第1方向的宽度的一半的w在1≤w≤(i-1)的范围变化而算出所述对称性评价值,
(2)在示出所述注目像素的所述第1方向的位置的列i比H/2大的情况下,使作为所述对称性评价区域的所述第1方向的宽度的一半的w在1≤w≤(H-i)的范围变化而算出所述对称性评价值,
其中,H是自然数。
31.根据权利要求1至30的任一项所述的物体检测装置,其中,
图像特征量是所述图像的边缘强度。
32.根据权利要求1至30的任一项所述的物体检测装置,其中,
图像特征量是所述图像的特定的颜色成分的强度。
33.一种用于使计算机执行物体检测方法的程序,所述物体检测方法具备:
图像输入步骤,输入图像;
图像特征量提取步骤,从所述图像提取规定的图像特征量而生成特征量提取图像;
对称性评价步骤,对所述特征量提取图像按作为处理对象的每个注目像素评价图像上的关于第1方向的对称性,并且算出关于所述第1方向的对称宽度;
中心检测步骤,将所述多个评价像素中的对称性大于规定的基准的像素检测为对称中心像素;以及
物体区域检测步骤,基于所述对称中心像素的所述对称宽度来检测包括在所述图像的具有对称性的物体的关于所述第1方向的物体宽度,基于所述对称中心像素的关于与所述第1方向正交的第2方向的分布来检测所述物体的关于所述第2方向的物体宽度。
34.根据权利要求33所述的用于使计算机执行物体检测方法的程序,其中,
在对称性评价步骤中,对所述特征量提取图像按作为处理对象的每个注目像素以将与所述第1方向正交的第2方向的中心轴作为中心而对称的方式设定作为用于评价所述图像上的关于第1方向的对称性的区域的对称性评价区域,一边使所述对称性评价区域的大小变化,一边导出对存在于包括在所述对称性评价区域、关于所述中心轴对称的位置的像素组的图像特征量的相关值进行了根据所述像素组的图像特征量的加权的值,由此,获取示出所述第1方向的对称性的程度的对称性评价值。
35.根据权利要求33所述的用于使计算机执行物体检测方法的程序,其中,
在对称性评价步骤中,对所述特征量提取图像按作为处理对象的每个注目像素以将作为与所述第1方向正交的第2方向的规定的轴的中心轴作为中心而对称的方式设定作为用于评价所述图像上的关于第1方向的对称性的区域的对称性评价区域,一边使所述对称性评价区域的大小变化,一边导出对存在于包括在所述对称性评价区域、关于所述中心轴对称的位置的像素组的图像特征量的相关值进行了基于所述像素组距所述中心轴的距离的加权的值,由此,获取示出所述第1方向的对称性的程度的对称性评价值。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-073854 | 2012-03-28 | ||
JP2012073854 | 2012-03-28 | ||
JP2012229095A JP6008367B2 (ja) | 2012-03-28 | 2012-10-16 | 物体検出装置およびプログラム |
JP2012-229095 | 2012-10-16 | ||
PCT/JP2013/056587 WO2013146206A1 (ja) | 2012-03-28 | 2013-03-11 | 物体検出装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104205170A true CN104205170A (zh) | 2014-12-10 |
CN104205170B CN104205170B (zh) | 2018-03-09 |
Family
ID=49259474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380014828.6A Expired - Fee Related CN104205170B (zh) | 2012-03-28 | 2013-03-11 | 物体检测装置及物体检测方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9514545B2 (zh) |
EP (1) | EP2819094B1 (zh) |
JP (1) | JP6008367B2 (zh) |
CN (1) | CN104205170B (zh) |
WO (1) | WO2013146206A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209942A (zh) * | 2015-04-20 | 2017-09-26 | 株式会社日立制作所 | 对象检测方法和图像检索系统 |
CN118485668A (zh) * | 2024-07-16 | 2024-08-13 | 领视科技成都有限公司 | 接触网几何参数走行式智能测量装置及方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163221B (zh) * | 2019-05-28 | 2022-12-09 | 腾讯科技(深圳)有限公司 | 在图像中进行物体检测的方法、装置、车辆、机器人 |
US20230046397A1 (en) * | 2019-12-23 | 2023-02-16 | Kyocera Corporation | Information processing apparatus, sensing apparatus, mobile object, and method for processing information |
KR102702961B1 (ko) * | 2021-12-29 | 2024-09-04 | 경일대학교산학협력단 | 이미지로부터 객체를 식별하기 위한 전자 장치 및 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101029824A (zh) * | 2006-02-28 | 2007-09-05 | 沈阳东软软件股份有限公司 | 基于车辆特征的车辆定位方法和装置 |
CN101281651A (zh) * | 2007-04-05 | 2008-10-08 | 奥多比公司 | 图像中对称性的自动检测和映射 |
US20090066490A1 (en) * | 2006-11-29 | 2009-03-12 | Fujitsu Limited | Object detection system and method |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0356727A3 (en) * | 1988-08-09 | 1991-06-05 | Schlumberger Technologies Inc | Symmetrie-based target position measurement |
JPH10162118A (ja) * | 1996-11-29 | 1998-06-19 | Canon Inc | 画像処理装置及び方法 |
JP3307335B2 (ja) * | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | 車両領域検出装置及び車両領域検定方法 |
EP1474782B1 (en) * | 2002-01-18 | 2008-05-07 | Agency for Science, Technology and Research (A*STAR) | Method and apparatus for determining symmetry in 2d and 3d images |
JP4172236B2 (ja) * | 2002-09-19 | 2008-10-29 | 株式会社豊田中央研究所 | 顔画像処理装置及びプログラム |
JP2005157648A (ja) * | 2003-11-25 | 2005-06-16 | Toyota Motor Corp | 運転者認識装置 |
US8331637B2 (en) * | 2006-03-03 | 2012-12-11 | Medic Vision-Brain Technologies Ltd. | System and method of automatic prioritization and analysis of medical images |
US8204278B2 (en) * | 2006-11-28 | 2012-06-19 | Fujitsu Limited | Image recognition method |
JP4917961B2 (ja) | 2007-05-22 | 2012-04-18 | 株式会社日本自動車部品総合研究所 | 車載用車両灯検出装置および車両用照明装置 |
JP2010177780A (ja) | 2009-01-27 | 2010-08-12 | Toyota Motor Corp | 撮像装置 |
JP5127735B2 (ja) * | 2009-01-30 | 2013-01-23 | セコム株式会社 | 画像監視装置 |
JP2010267257A (ja) | 2009-04-16 | 2010-11-25 | Panasonic Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5316337B2 (ja) | 2009-09-17 | 2013-10-16 | 日本電気株式会社 | 画像認識システム、方法、及び、プログラム |
-
2012
- 2012-10-16 JP JP2012229095A patent/JP6008367B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-11 EP EP13768099.7A patent/EP2819094B1/en not_active Not-in-force
- 2013-03-11 CN CN201380014828.6A patent/CN104205170B/zh not_active Expired - Fee Related
- 2013-03-11 US US14/382,654 patent/US9514545B2/en not_active Expired - Fee Related
- 2013-03-11 WO PCT/JP2013/056587 patent/WO2013146206A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101029824A (zh) * | 2006-02-28 | 2007-09-05 | 沈阳东软软件股份有限公司 | 基于车辆特征的车辆定位方法和装置 |
US20090066490A1 (en) * | 2006-11-29 | 2009-03-12 | Fujitsu Limited | Object detection system and method |
CN101281651A (zh) * | 2007-04-05 | 2008-10-08 | 奥多比公司 | 图像中对称性的自动检测和映射 |
Non-Patent Citations (2)
Title |
---|
M.B. VAN LEEUWEN: "Motion Estimation and Interpretation for In-car Systems", 《ASCI DISSERTATION》 * |
高磊 等: "基于边缘对称性的视频车辆检测算法", 《北京航空航天大学学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209942A (zh) * | 2015-04-20 | 2017-09-26 | 株式会社日立制作所 | 对象检测方法和图像检索系统 |
CN118485668A (zh) * | 2024-07-16 | 2024-08-13 | 领视科技成都有限公司 | 接触网几何参数走行式智能测量装置及方法 |
CN118485668B (zh) * | 2024-07-16 | 2024-09-17 | 领视科技成都有限公司 | 走行式接触网几何参数智能测量装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2819094B1 (en) | 2018-04-18 |
JP2013228995A (ja) | 2013-11-07 |
WO2013146206A1 (ja) | 2013-10-03 |
EP2819094A4 (en) | 2015-12-09 |
CN104205170B (zh) | 2018-03-09 |
US20150030251A1 (en) | 2015-01-29 |
JP6008367B2 (ja) | 2016-10-19 |
US9514545B2 (en) | 2016-12-06 |
EP2819094A1 (en) | 2014-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2833288B1 (en) | Face calibration method and system, and computer storage medium | |
JP5432714B2 (ja) | 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体 | |
CN104205170A (zh) | 物体检测装置及程序 | |
KR101368715B1 (ko) | 화상 처리장치, 화상 처리방법 및 기억매체 | |
CN103324927A (zh) | 图像处理装置以及文字识别方法 | |
JP2011188496A (ja) | 逆光検知装置及び逆光検知方法 | |
US9036922B2 (en) | Image classification program, image classification device, and electronic camera | |
US8175335B2 (en) | Content adaptive detection of images with stand-out object | |
US20100215266A1 (en) | Image processing device and method, and program recording medium | |
EP2830020B1 (en) | Object detection device and program | |
CN106558044A (zh) | 影像模组的解像力测量方法 | |
Chen et al. | An integrated color and hand gesture recognition approach for an autonomous mobile robot | |
CN109492544A (zh) | 一种通过增强光学显微镜对动物纤维进行分类的方法 | |
US9245184B2 (en) | Object detection apparatus and storage medium | |
CN106993111A (zh) | 摄像装置、摄像方法、摄像程序及记录介质 | |
JP5240305B2 (ja) | 被写体特定用プログラム、およびカメラ | |
KR100996797B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 | |
JP6467823B2 (ja) | 撮像装置 | |
WO2017168889A1 (en) | Object detection device and vehicle having the object detection device | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
JP2013191966A (ja) | 撮像装置 | |
JP2006172381A (ja) | 画像観測方法およびこの方法を実施する装置 | |
JP6405638B2 (ja) | 被写体検出装置、撮像装置及びプログラム | |
JP2013161286A (ja) | マスク抽出プログラム、画像処理装置および撮像装置 | |
WO2013035951A1 (ko) | 실시간 차선 검출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180309 Termination date: 20210311 |
|
CF01 | Termination of patent right due to non-payment of annual fee |