CN107735826A - 信号机检测装置及信号机检测方法 - Google Patents

信号机检测装置及信号机检测方法 Download PDF

Info

Publication number
CN107735826A
CN107735826A CN201580080785.0A CN201580080785A CN107735826A CN 107735826 A CN107735826 A CN 107735826A CN 201580080785 A CN201580080785 A CN 201580080785A CN 107735826 A CN107735826 A CN 107735826A
Authority
CN
China
Prior art keywords
detection zone
semaphore
image
detection
signal machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080785.0A
Other languages
English (en)
Other versions
CN107735826B (zh
Inventor
山井大贵
松尾治夫
冲孝彦
铃木章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN107735826A publication Critical patent/CN107735826A/zh
Application granted granted Critical
Publication of CN107735826B publication Critical patent/CN107735826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明的信号机检测装置(100)具备:信号机位置推定部(13),其基于包含在车辆(5)的周围存在的信号机的位置信息在内的地图信息(D02)和车辆(5)的自己位置,推定信号机相对于车辆(5)的相对位置;第一检测区域设定部(21),其对于由信号机的相对位置预测为存在于拍摄部(11)取得的图像上的信号机的每一个,在图像上设定第一检测区域;第二检测区域设定部(14),其在预测到在图像上存在多个信号机的情况下,将包含所预测的多个信号机在内的第二检测区域设定在图像上;第三检测区域设定部(23),其通过基于从第二检测区域检测到的信号机的候补灯来修正第一检测区域,从而设定第三检测区域;信号机检测部(17),其从第三检测区域检测信号机。

Description

信号机检测装置及信号机检测方法
技术领域
本发明涉及检测交通信号机的信号机检测装置及信号机检测方法。
背景技术
目前提出有如下系统,基于根据车辆行驶的道路形状及车辆的当前位置预测到的信号机的位置,对拍摄车辆前方所得到的图像数据,确定图像处理区域,从图像处理区域检测信号机(参照专利文献1)。这种系统通过限定图像处理的对象区域来减轻图像处理的处理负荷,并且降低对非信号机的物体的误检测。
专利文献1:(日本)特开2007-241469号公报
但是,专利文献1记载的技术在确定图像处理区域时,未对检测到的车辆的当前位置所包含的误差进行考虑。由于车辆的当前位置的误差会随着车辆的行驶状况或周围环境而发生较大的变化,因此在专利文献1记载的技术中,在有车辆的当前位置的误差的情况下,会导致信号机脱离图像处理区域,有可能不能检测到信号机。
发明内容
本发明是鉴于上述问题点而设立的,其目的在于提供一种能够提高信号机的检测精度的信号机检测装置及信号机检测方法。
信号机检测装置通过基于从实际环境检测到的候补灯来修正基于信号机的相对位置设定的第一检测区域,设定第三检测区域,从第三设定区域检测信号机。
附图说明
图1是对本发明实施方式的信号机检测装置的基本构成进行说明的示意框图;
图2是对本发明实施方式的信号机检测装置的构成及数据流进行说明的框图;
图3是对本发明实施方式的信号机检测装置使用的第二检测区域进行说明的图;
图4是对本发明实施方式的信号机检测装置使用的候补灯进行说明的图;
图5是对本发明实施方式的信号机检测装置具备的信号机检测区域设定部的构成及数据流进行说明的框图;
图6是对本发明实施方式的信号机检测装置使用的第一检测区域进行说明的图;
图7是对本发明实施方式的信号机检测装置的信号检测方法之一例进行说明的流程图;
图8是对本发明实施方式的信号机检测装置具备的修正算出部的处理之一例进行说明的流程图;
图9是对本发明实施方式的信号机检测装置具备的修正算出部的全部信号机灯作为候补灯被检测到的处理之一例进行说明的图;
图10是对在本发明实施方式的信号机检测装置具备的修正算出部的拍摄到的图像上产生了滚动旋转时的处理之一例进行说明的图;
图11是仅检测到本发明实施方式的信号机检测装置具备的修正算出部的两个候补灯时的处理之一例进行说明的图;
图12是对候补灯的检测数比本发明实施方式的信号机检测装置具备的修正算出部的第一检测区域的数多时的处理之一例进行说明的图;
图13是对候补灯的检测数比本发明实施方式的信号机检测装置具备的修正算出部的第一检测区域的数多时的处理之一例进行说明的图;
图14是对候补灯的检测数比本发明实施方式的信号机检测装置具备的修正算出部的第一检测区域的数多时的处理之一例进行说明的图;
图15是对候补灯的检测数比本发明实施方式的信号机检测装置具备的修正算出部的第一检测区域的数少时的处理之一例进行说明的图;
图16是对本发明实施方式的信号机检测装置具备的第三检测区域设定部相对于图像整体的比例尺也发生变更时的处理之一例进行说明的图。
标记说明
5:车辆(移动体)
11:拍摄部(摄像机)
12:自己位置检测部
13:信号机位置推定部
14:第二检测区域设定部
17:信号机检测部
21:第一检测区域设定部
23:第三检测区域设定部
100:信号机检测装置
具体实施方式
参照附图对本发明的实施方式进行说明。在附图的记载中,对同一或类似的部分标注同一或类似的标记并省略重复的说明。
(信号机检测装置)
如图1所示,本实施方式的信号机检测装置100从由搭载于车辆(移动体)5的拍摄部(摄像机)拍摄到的图像,检测设置在车辆5行驶的道路周边的信号机。信号机检测装置100将地标信息D01、地图信息D02、摄像机信息D03输入。信号机检测装置100基于地标信息D01、地图信息D02及摄像机信息D03,作为信号机信息D04,输出信号机的检测结果。
地标信息D01用于检测在实际环境中行驶的车辆5的地图上的当前位置(自己位置)。地标包含发送设置于地面的特征物(地面地标)及车辆5可接收的GPS信号的GPS卫星。地标信息D01例如包含地图上的地面地标的位置信息。地图信息D02包含车辆5行驶的道路形状等位置信息、可预先在实际环境和地图之间一一对应的地面地标等位置信息。摄像机信息D03用于从拍摄部抽取车辆周围(例如,前方)的图像。例如,设定决定拍摄方向的缩放、平移及倾斜的信息、决定图像的分辨率的信息等。
如图2所示,信号机检测装置100具备拍摄部(摄像机)11、自己位置检测部12、信号机位置推定部13、第二检测区域设定部14、灯检测部15、信号机检测区域设定部16、信号机检测部17。
拍摄部11搭载于车辆5上,对车辆5的周围进行拍摄而取得图像。拍摄部11具备CCD、CMOS等固体拍摄元件,取得可进行图像处理的数字图像。拍摄部11基于摄像机信息D03设定摄像机的视角、垂直及水平方向的角度、分辨率等,将对车辆5周围的必要区域进行拍摄所得的图像作为图像数据D08而输出。
自己位置检测部12基于地标信息D01及地图信息D02检测车辆5在地图上的当前位置(自己位置)。地标信息D01例如是由车载的摄像机或激光雷达等传感器检测到的地面地标(店铺、名胜、景点等)相对于车辆5的相对位置的信息。自己位置检测部12通过将地标信息D01的地面地标的位置信息和地图信息D02的地面地标的位置信息进行对照,能够检测车辆5在地图上的当前位置(自己位置)。
在此,在本实施方式中,“位置”包含坐标及姿势。具体地,地面地标的位置包含地面地标的坐标及姿势,车辆5的当前位置包含车辆5在地图上的坐标及姿势。自己位置检测部12将成为基准的直角坐标系中的坐标及各坐标轴的旋转方向即姿势作为自己位置信息D05而输出。
例如,自己位置检测部12使用地标信息D01及地图信息D02来检测车辆5在地图上的初始位置,通过初始位置上累加车辆5的移动量来检测车辆5在地图上的当前位置(自己位置)。自己位置检测部12可使用里程计、雷达装置、陀螺仪传感器、横摆率传感器、转向角传感器等来推定每单位时间的车辆5的移动量、即坐标及姿势的变化量。
信号机位置推定部13根据地图信息D02和自己位置信息D05来推定信号机相对于车辆5的相对位置。信号机位置推定部13根据在车辆5周围存在的信号机在地图上的坐标信息和车辆在地图上的当前位置的坐标及姿势信息,推定信号机相对于车辆5的相对坐标。信号机位置推定部13将所推定的信号机的相对坐标作为相对位置信息D06而输出。相对位置信息D06所示的信号机是对车辆5提示交通信号的信号机、即车辆应遵循的信号机。
第二检测区域设定部14在根据相对位置信息D06所示的信号机的相对位置,预测到在拍摄部11拍摄的图像上存在多个信号机的情况下,将包含所预测的多个信号机在内的第二检测区域设定在图像上。由于拍摄部11固定在车辆上,故而若规定拍摄部11的视角及拍摄方向,则第二检测区域设定部14能够根据相对位置信息D06预测图像上的信号机的区域。第二检测区域设定部14基于所预测的图像上的信号机的区域设定包含多个信号机在内的第二检测区域,并且作为第二检测区域信息D07而输出。
第二检测区域设定部14以即使车辆5的行为或自己位置信息D05含有误差,各信号机也不脱离第二检测区域的方式,考虑这些误差量来设定包含所预测的图像上的信号机的全部区域在内的第二检测区域。例如,如图3所示,在预测在图像数据D08所示的图像上存在多个信号机TS1~TS4的情况下,第二检测区域信息D07以相对于多个信号机TS1~TS4的区域在上下左右端具有考虑了误差量所得的规定边距而设定的。
灯检测部15通过对由拍摄部11拍摄到的图像的第二检测区域实施用于检测信号机的灯的图像处理,从第二检测区域检测具有信号机的灯的特征的候补灯。例如,灯检测部15抽取以基于商用电源的交流周期的特定周期进行闪烁的像素,将其区域作为后部灯而检测。或者,灯检测部15可使用色相及形状的类似判定处理来检测候补灯。这样,灯检测部15利用各种图像处理方法或其组合就能够检测候补灯。灯检测部15将检测到的候补灯的图像上的位置及区域作为候补灯信息D09而输出。
此外,灯检测部15通过不对拍摄部11拍摄到的图像的整个区域,而仅对在图像的局部设定的第二检测区域实施图像处理,能够降低用于候补灯检测的处理负荷及处理时间。但是,第二检测区域也可以通过第二检测区域设定部14设定为由拍摄部11拍摄到的图像的整个区域。例如,在图3所示例中,当灯检测部15从第二检测区域检测到候补灯时,如图4所示,在点亮的各信号机TS1~TS4的灯的区域设定候补灯信息D09。
信号机检测区域设定部16基于相对位置信息D06及候补灯信息D09,在由拍摄部11拍摄到的图像上,设定比第二检测区域狭窄且对应于各信号机的第三检测区域,作为第三检测区域信息D10而输出。关于信号机检测区域设定部16的详细说明,在后文进行描述。
信号机检测部17通过对由拍摄部11拍摄到的图像的第三检测区域实施用于检测信号机的图像处理,从第三检测区域检测信号机,并作为信号机信息D04而输出。例如,信号机检测部17预存储包含信号机的框体、灯在内的整体图像的特征图案,通过将第三检测区域内的图像进行图案匹配,来检测类似度高的图像作为信号机。也可以将与灯检测部15同样的方法组合起来,可使用各种图像处理方法或其组合,从第三检测区域检测信号机。即使是与灯检测部15同样的方法,也因为第三检测区域比第二检测区域狭窄,所以除了能够检测到在第二检测区域检测到的候补灯中的信号机的灯以外的候补灯以外,还能够检测到信号机。
自己位置检测部12、信号机位置推定部13、第二检测区域设定部14、灯检测部15、信号机检测区域设定部16及信号机检测部17例如使用中央运算处理装置(CPU)、具备存储器及输入输出部的微控制器而实现。在这种情况下,通过CPU执行预安装于微控制器的计算机程序,分别构成多个信息处理部(12~17)。微控制器例如也可以兼用作自动驾驶控制等关于车辆5的其他控制所使用的电子控制单元(ECU)。
如图5所示,信号机检测区域设定部16具备第一检测区域设定部21、修正算出部22、第三检测区域设定部23。
第一检测区域设定部21根据相对位置信息D06所示的信号机的相对位置,对于预测为在拍摄部11拍摄的图像上存在的信号机的每一个,在图像上设定第一检测区域。由于拍摄部11固定在车辆上,故而若规定拍摄部11的视角及拍摄方向,则第一检测区域设定部21能够根据相对位置信息D06预测图像上的信号机的区域。第二检测区域设定部14对所预测的信号机的每一个,设定第一检测区域,将第一检测区域信息D11输出。
第一检测区域设定部21例如也可以按照也包含信号机的框体的方式设定第一检测区域,即使信号机具有的任意的灯点亮,信号机也包含在第一检测区域中。
或者,第一检测区域设定部21也可以考虑自己位置信息D05在车辆5的行进方向上会偏离的可能性来设定第一检测区域。例如,在基于自己位置信息D05算出从车辆5到信号机的距离为60m的情况下,实际的从车辆5到信号机的距离为50m。此时,实际的图像上的信号机的尺寸成为根据自己位置信息D05预测的图像上的信号机的尺寸的60/50倍。另外,当从车辆5到信号机的距离偏离时,相对位置信息D06也偏离。例如,在图3所示例中,在算出直到位于50m处的信号机的距离为60m的情况下,导致进深处的信号机TS1~TS3向左上偏离,跟前的信号机TS4向右上偏离。这样,第一检测区域设定部21也可以考虑会在自己位置信息D05上产生的误差,设定为加上能够补偿信号机的图像上的偏离的区域所得的第一检测区域。
第一检测区域设定部21在如图3所示地预测到信号机TS1~TS4的情况下,如图6所示,在对应于各信号机TS1~TS4的区域设定第一检测区域,除了设定第一检测区域以外,还生成遮蔽图像的屏蔽图像M。第一检测区域设定部21将屏蔽图像M作为第一检测区域信息D11而输出。
修正算出部22基于候补灯信息D09及第一检测区域信息D11算出对第一检测区域的修正量(修正值)。修正算出部22将在第二检测区域检测到的候补灯的位置和屏蔽图像M的第一检测区域进行对照,寻找候补灯的位置和屏蔽图像M的第一检测区域最对应的位置。修正算出部22算出需要将屏蔽图像M修正到候补灯的位置和屏蔽图像M的第一检测区域最对应的位置的修正值,并作为修正信息D12而输出。关于修正算出部22的详细说明在后文中进行描述。
第三检测区域设定部23基于修正信息D12表示的修正值,修正由第一检测区域信息D11表示的第一检测区域在图像上的位置,通过将修正后的第一检测区域的图像上的位置设为第三检测区域,在由拍摄部11拍摄到的图像上设定第三检测区域,并作为第三检测区域信息D10而输出。
(信号机检测方法)
以下,利用图7的流程图对本实施方式的信号机检测装置的信号机检测方法之一例进行说明。
在步骤S1,第二检测区域设定部14在基于相对位置信息D06而预测到在图像上存在多个信号机的情况下,将包含所预测的多个信号机在内的第二检测区域设定在由拍摄部11拍摄的图像上。
在步骤S2,灯检测部15通过对第二检测区域的图像实施用于检测信号机的灯的图像处理,从第二检测区域检测具有信号机的灯的特征的候补灯。将检测到的候补灯在图像上的位置及区域作为候补灯信息D09而输出。
在步骤S3,第一检测区域设定部21基于信号机的相对位置信息D06,对预测为在由拍摄部11拍摄到的图像上存在的信号机的每一个,都在图像上设定第一检测区域。
在步骤S4,修正算出部22寻找在第二检测区域检测到的候补灯的位置和屏蔽图像M的第一检测区域最对应的位置。通过使屏蔽图像M在图像上移动而进行对照,寻找第一检测区域与候补灯的位置最重合对应的位置。修正算出部22算出此时的屏蔽图像M向候补灯的位置和屏蔽图像M的第一检测区域最对应的位置的移动量,以此作为需要修正到候补灯的位置和屏蔽图像M的第一检测区域最对应的位置的修正值。
在步骤S5,第三检测区域设定部23通过使第一检测区域移动由修正算出部22算出的修正值那么多的量来进行修正,将修正后的第一检测区域在图像上的位置设定为第三检测区域。
在步骤S6,信号机检测部17通过对由拍摄部11拍摄到的图像的第三检测区域实施用于检测信号机的图像处理,从第三检测区域检测信号机。
(修正算出部22的处理)
以下,利用图8所示的流程图对图7的流程图的步骤S4的修正算出部22的处理进行说明。
在步骤S41,修正算出部22将第一检测区域的数量设为N,并将计数值i的初始值设定为N。在步骤S42,修正算出部22判定计数值i是否为1。在计数值i为1的情况下,修正算出部22使处理移至步骤S43,将修正值设为0。在计数值i不为1的情况下,修正算出部22使处理移至步骤S44。
在步骤S44,修正算出部22将在屏蔽图像M的第一检测区域和第二检测区域检测到的候补灯的位置进行对照,判定候补灯的位置是否位于与第一检测区域对应的(重合的)数量为i的位置。修正算出部22在寻找到了数量为i的位置的情况下,使处理移至步骤S45,并算出从第一检测区域到数量为i的位置的移动量作为修正值。修正算出部22在未寻找到数量为i的位置的情况下,使计数值i递减,使处理返回步骤S42。修正值设为在最后的步骤S44中候补灯的位置和屏蔽图像M的第一检测区域最对应时的第一检测区域的移动坐标(x,y)及旋转角(θ)。
例如,图9是第一检测区域的数N为4且全部信号机的点亮的灯都被检测为候补灯时的修正值的算出例。全部的第一检测区域都与候补灯的位置重合。在这种情况下,修正算出部22以全部候补灯接近各第一检测部的中央的位置作为候补灯的位置和第一检测区域最对应的位置而算出修正值。在图10所示例中,修正算出部22通过使各第一检测区域向右下平行移动来计算屏蔽图像M的移动量。修正值以移动坐标(像素)(x,y)、旋转角θ(=0)的方式算出。
图10是第一检测区域的数量N为4且全部信号机的点亮的灯都被检测为候补灯,但在由拍摄部11拍摄到的图像上产生了滚动旋转时的修正值的算出例。第一检测区域与候补灯的位置对应的数量不满足4。滚动旋转会通过车辆5的行为而产生。在这种情况下,修正算出部22通过使屏蔽图像M以旋转角θ的量旋转,设为i=4。进而,修正算出部22寻找如各候补灯的位置接近第一检测区域的中央那样的位置,并算出修正值。此时,修正值以移动坐标(x,y)、旋转角θ的方式算出。
图11是相对于第一检测区域的数量N为4而言,因拍摄部11的视角的阻碍等而仅检测到两个候补灯时的修正值的算出例。在这种情况下,修正算出部22通过使屏蔽图像M向右下平行移动,寻找两个候补灯的位置与屏蔽图像M的各第一检测区域重合的位置(i=2)。进而,修正算出部22在计数值i为2的状态下,寻找如两个候补灯的位置变成屏蔽图像M的各第一检测区域的中央附近那样的位置,并算出修正值。修正值以移动坐标(x,y)、旋转角θ(=0)的方式算出。
图12是候补灯的检测数比第一检测区域的数量多时的修正值的算出例。例如,相对于第一检测区域的数量N为4而言,因车辆5周围的物体等而检测到包含误检测在内的七个候补灯。在这种情况下,修正算出部22通过使屏蔽图像M向右下平行移动,以四个候补灯的位置变成屏蔽图像M的各第一检测区域的中央附近的位置为候补灯的位置和屏蔽图像M的第一检测区域最对应的位置而算出修正值(i=4)。修正值以移动坐标(x,y)、旋转角θ(=0)的方式算出。
图13是候补灯的检测数比第一检测区域的数量多时的修正值的算出例。例如,相对于第一检测区域的数量N为4而言,因视角的阻碍或周围的物体等而检测到了包含三个误检测在内的五个候补灯。在这种情况下,修正算出部22通过使屏蔽图像M向右下平行移动,以两个候补灯的位置变成屏蔽图像M的各第一检测区域的中央附近的位置为候补灯的位置和屏蔽图像M的第一检测区域最对应的位置而算出修正值(i=2)。修正值以移动坐标(x,y)、旋转角θ(=0)的方式算出。
图14是候补灯的检测数比第一检测区域的数量多时的修正值的算出例。例如,相对于第一检测区域的数量N为4而言,因视角的阻碍或周围的物体等而检测到了五个候补灯。此时,修正算出部22通过使屏蔽图像M向右上或右下平行移动,以候补灯的位置和屏蔽图像M的第一检测区域最对应的方式算出修正值。当将屏蔽图像M的第一检测区域向右上修正而假定第三检测区域为A时,成为i=2,当将屏蔽图像M的第一检测区域向右下修正而假定第三检测区域为B时,成为i=3。在这种情况下,由于候补灯中的一个有可能为误检测,故而修正算出部22只要选择较小的修正值(屏蔽图像M的移动量)即可。修正值以移动坐标(x,y)、旋转角θ(=0)的方式算出。
或者,作为其他的选择方法,也可以是修正算出部22在可算出多个修正值的情况下,将检测到了候补灯的帧的图像废弃,使灯检测部15对下一帧的图像检测候补灯。由此,修正算出部22能够防止输出错误的信号机的检测结果。
图15是候补灯的检测数比第一检测区域的数量少时的修正值的算出例。例如,相对于第一检测区域的数量N为4而言,因视角的阻碍或周围的物体等而检测到了三个候补灯。另外,在未修正屏蔽图像M的第一检测区域的状态下,第一检测区域与候补灯相对应的数量为1,不管使一个屏蔽图像M如何移动,都不会使第一检测区域与候补灯的位置相对应的数量超过1。此时,修正算出部22将修正值设为0(移动坐标(0,0)、旋转角θ(=0))。即,信号机检测部17从第一检测区域信息D11表示的第一检测区域检测信号机。此外,修正算出部22也与所检测到的候补灯的数量为1的情况同样地将修正值设为0。
在图9~图15所示例中,第三检测区域设定部23通过不对第一检测区域信息D11表示的第一检测区域变更相对于图像整体的比例尺而使坐标(x,y)平行移动,且根据情况而以旋转角θ旋转,设定第三检测区域,但第三检测区域也可以对第一检测区域变更相对于图像整体的比例尺。
第三检测区域设定部23也可以通过以平行移动的修正后的各第一检测区域的中心点或与修正后的第一检测区域重合的候补灯的中心点为基准,变更第一检测区域相对于图像整体的比例尺,从而设定第三检测区域。第三检测区域的比例尺可通过基于候补灯的大小而预测信号机的框体的大小,在图像上以信号机的框体包含在第三检测区域内的方式设定。由此,也能够应对车辆的行进方向的当前位置的推定误差较大的情况。
例如,图16是也变更相对于图像整体的比例尺时的修正值的算出例。通过随着使第一检测区域平行移动而变更相对于图像整体的比例尺,也能够应对车辆的行进方向的当前位置的推定误差较大的情况。图16A是在接近信号机的方向上出现了车辆的行进方向的当前位置的推定误差的情况下,随着使第一检测区域平行移动,减小相对于图像整体的比例尺,设定第三检测区域。图16B是假定信号机的某个灯点亮或不亮的情况并在以包含信号机的框体的方式随着使第一检测区域平行移动而变更了相对于图像整体的比例尺以后再扩大横向宽度的例子。在以包含信号机的框体的方式进行设定的情况下,在灯的排列方向上,至少设为信号机的2倍的图像上的大小。由此,在信号机的某个灯点亮或不亮的情况下,也容易寻找候补灯的位置和第一检测区域最对照的位置。
根据本实施方式的信号机检测装置100,通过基于在实际环境中检测到的候补灯,对基于信号机的相对位置而设定的第一检测区域进行修正,从而设定用于信号机检测的第三检测区域。由此,本实施方式的信号机检测装置能够在图像上使信号机包含在第三检测区域中的可能性升高,能够提高信号机的检测精度。
另外,根据本实施方式的信号机检测装置100,在第三检测区域相对于图像整体的比例尺与第一检测区域相等的情况下,第三检测区域通过基于候补灯的位置来设定,从而在信号机的检测中以与第一检测区域相同的大小设定在适当的位置。因此,信号机检测装置100能够降低信号机的误检测,进一步提高信号机的检测精度。
另外,根据本发明实施方式的信号机检测装置100,在第三检测区域的面积小于第一检测区域的情况下,第三检测区域能够基于候补灯的位置来设定,且能够小面积地进行信号机的检测处理。因此,信号机检测装置100能够降低信号机的误检测,且提高信号机的检测精度,进一步降低信号机的检测处理的运算量。
另外,根据本实施方式的信号机检测装置100,即使在仅检测到一个候补灯,且不能适当地修正第一检测区域的情况下,也以第一检测区域为第三检测区域来检测信号机。由此,信号机检测装置100能够从基于信号机的相对位置而设定的检测区域检测信号机,且能够防止检测精度变差。
另外,根据本实施方式的信号机检测装置100,即使在第一检测区域与候补灯相对应的数为1个,且不能适当地修正第一检测区域的情况下,也以第一检测区域为第三检测区域而检测信号机。由此,信号机检测装置100能够从基于信号机的相对位置而设定的检测区域检测信号机,且能够防止检测精度变差。
另外,根据本实施方式的信号机检测装置100,通过将第一检测区域修正到第一检测区域和候补灯最对应的位置,从而设定第三检测区域。由此,信号机检测装置100能够在图像上使第三检测区域包含信号机的可能性提高,且进一步提高信号机的检测精度。
如上所述,通过上述的实施方式而记载了本发明,但构成该公开的一部分的论述及附图不应理解为限定了本发明。对于本领域技术人员来说,由该公开中即可明白各种替代实施方式、实施例及运用技术。显然,除此之外,相互应用上述各构成而成的构成等包含本发明未在此记载的各种实施方式等。因此,本发明的技术范围是从上述说明中仅通过妥当的权利要求书的发明特定事项而规定的。
产业上的可利用性
根据本发明,能够提供一种信号机检测装置及信号机检测方法,其通过基于实际环境来修正基于信号机的相对位置设定的检测区域,可提高信号机的检测精度。

Claims (7)

1.一种信号机检测装置,其特征在于,具备:
拍摄部(11),其对移动体的周围进行拍摄,取得图像;
自己位置检测部,其检测所述移动体的自己位置;
信号机位置推定部,其基于包含在所述移动体的周围存在的信号机的位置信息在内的地图信息和所述自己位置,推定所述信号机相对于所述移动体的相对位置;
第一检测区域设定部,其对于由所述信号机的相对位置预测为存在于所述图像上的信号机的每一个,在所述图像上设定第一检测区域;
第二检测区域设定部,其在预测到在所述图像上存在多个信号机的情况下,将包含所预测的所述多个信号机在内的第二检测区域设定在所述图像上;
第三检测区域设定部,其通过基于从所述第二检测区域检测到的信号机的候补灯来修正所述第一检测区域,从而设定第三检测区域;
信号机检测部,其从所述第三检测区域检测信号机。
2.如权利要求1所述的信号机检测装置,其特征在于,
所述第三检测区域设定部设定相对于图像整体的比例尺与所述第一检测区域相等的所述第三检测区域。
3.如权利要求1所述的信号机检测装置,其特征在于,
所述第三检测区域设定部设定比所述第一检测区域的面积小的所述第三检测区域。
4.如权利要求1~3中任一项所述的信号机检测装置,其特征在于,
所述信号机检测部在从所述第二检测区域检测到的所述候补灯的数量为1的情况下,从所述第一检测区域检测信号机。
5.如权利要求1~4中任一项所述的信号机检测装置,其特征在于,
所述信号机检测部在所述图像上所述第一检测区域与所述候补灯对应的数量为1的情况下,从所述第一检测区域检测信号机。
6.如权利要求1~5中任一项所述的信号机检测装置,其特征在于,
所述第三检测区域设定部通过在所述图像上将所述第一检测区域修正到所述第一检测区域和所述候补灯最对应的位置,设定第三检测区域。
7.一种信号机检测方法,其特征在于,包含如下步骤:
基于包含在移动体的周围存在的信号机的位置信息在内的地图信息和所述移动体的自己位置,推定所述信号机相对于所述移动体的相对位置;
对于由所述信号机的相对位置预测为存在于拍摄部取得的图像上的信号机的每一个,在所述图像上设定第一检测区域,所述拍摄部对所述移动体的周围进行拍摄;
在预测为在所述图像上存在多个信号机的情况下,将包含所预测的所述多个信号机在内的第二检测区域设定在所述图像上;
通过基于从所述第二检测区域检测到的信号机的候补灯来修正所述第一检测区域,从而设定第三检测区域;
从所述第三检测区域检测信号机。
CN201580080785.0A 2015-06-09 2015-06-09 信号机检测装置及信号机检测方法 Active CN107735826B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066615 WO2016199225A1 (ja) 2015-06-09 2015-06-09 信号機検出装置及び信号機検出方法

Publications (2)

Publication Number Publication Date
CN107735826A true CN107735826A (zh) 2018-02-23
CN107735826B CN107735826B (zh) 2019-07-23

Family

ID=57503325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080785.0A Active CN107735826B (zh) 2015-06-09 2015-06-09 信号机检测装置及信号机检测方法

Country Status (10)

Country Link
US (1) US10210407B2 (zh)
EP (1) EP3309767B1 (zh)
JP (1) JP6432680B2 (zh)
KR (1) KR101974772B1 (zh)
CN (1) CN107735826B (zh)
BR (1) BR112017026297B1 (zh)
CA (1) CA2988843C (zh)
MX (1) MX363873B (zh)
RU (1) RU2700646C2 (zh)
WO (1) WO2016199225A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877269A (zh) * 2018-08-20 2018-11-23 清华大学 一种交叉路口车辆状态检测及v2x广播方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740627B2 (en) * 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
JP7040399B2 (ja) * 2018-10-23 2022-03-23 トヨタ自動車株式会社 情報処理システム及び情報処理方法
BR112022009207A2 (pt) 2019-11-12 2022-07-26 Nissan Motor Método de reconhecimento de sinal de trânsito e dispositivo de reconhecimento de sinal de trânsito
KR102214022B1 (ko) * 2020-01-07 2021-02-09 주식회사 에프에스솔루션 교통 신호의 식별 방법, 이를 이용하는 교통 신호 식별 장치 및 프로그램
US12073632B2 (en) * 2020-05-11 2024-08-27 Toyota Research Institute, Inc. Structural object detector for hierarchical ontology for traffic light handling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
CN102800207A (zh) * 2011-05-10 2012-11-28 通用汽车环球科技运作有限责任公司 交通信号检测系统和方法
JP2013045176A (ja) * 2011-08-22 2013-03-04 Pioneer Electronic Corp 信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法
WO2014162797A1 (ja) * 2013-04-04 2014-10-09 日産自動車株式会社 信号認識装置
US20150012200A1 (en) * 2012-02-13 2015-01-08 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099789A (ja) * 2001-09-20 2003-04-04 Mitsubishi Electric Corp 車両検出装置
JP4475015B2 (ja) * 2004-06-01 2010-06-09 トヨタ自動車株式会社 車両周辺監視装置及び車両周辺監視方法
RU115114U1 (ru) * 2011-11-22 2012-04-20 Общество с ограниченной ответственностью Научно-производственная фирма "Мета" Автоматизированная система обучения управлению транспортным средством
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
RU144555U1 (ru) * 2014-05-05 2014-08-27 Павел Юрьевич Михайлов Устройство для повышения безопасности движения транспортного средства

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
CN102800207A (zh) * 2011-05-10 2012-11-28 通用汽车环球科技运作有限责任公司 交通信号检测系统和方法
JP2013045176A (ja) * 2011-08-22 2013-03-04 Pioneer Electronic Corp 信号機認識装置、候補点パターン送信装置、候補点パターン受信装置、信号機認識方法、及び候補点パターン受信方法
US20150012200A1 (en) * 2012-02-13 2015-01-08 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
WO2014162797A1 (ja) * 2013-04-04 2014-10-09 日産自動車株式会社 信号認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877269A (zh) * 2018-08-20 2018-11-23 清华大学 一种交叉路口车辆状态检测及v2x广播方法
CN108877269B (zh) * 2018-08-20 2020-10-27 清华大学 一种交叉路口车辆状态检测及v2x广播方法

Also Published As

Publication number Publication date
JPWO2016199225A1 (ja) 2018-05-10
CA2988843C (en) 2019-04-23
RU2017146241A (ru) 2019-07-09
CA2988843A1 (en) 2016-12-15
JP6432680B2 (ja) 2018-12-12
KR20180009786A (ko) 2018-01-29
RU2700646C2 (ru) 2019-09-18
BR112017026297B1 (pt) 2023-01-17
US10210407B2 (en) 2019-02-19
EP3309767A4 (en) 2018-06-06
US20180349717A1 (en) 2018-12-06
EP3309767A1 (en) 2018-04-18
KR101974772B1 (ko) 2019-05-02
WO2016199225A1 (ja) 2016-12-15
BR112017026297A2 (pt) 2018-09-11
MX363873B (es) 2019-04-05
MX2017015718A (es) 2018-04-24
RU2017146241A3 (zh) 2019-07-17
EP3309767B1 (en) 2020-01-01
CN107735826B (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN107735826A (zh) 信号机检测装置及信号机检测方法
CN107836017B (zh) 信号机识别装置及信号机识别方法
WO2018179616A1 (ja) 車両位置推定装置
JP6070206B2 (ja) 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
WO2015125298A1 (ja) 自己位置算出装置及び自己位置算出方法
JP2017226270A (ja) 車両制御装置
JP6708730B2 (ja) 移動体
JP2009074859A (ja) 運動計測装置及び位置計測装置
JP2010191661A (ja) 走行路認識装置、自動車及び走行路認識方法
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20190078876A1 (en) Road surface displacement detection device and suspension control method
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
JP2019185599A (ja) 経路シミュレーション装置
JP2007181129A (ja) 車載用移動体検出装置
CN111316322B (zh) 路面区域检测装置
JP2014195170A (ja) 運転支援装置
JP2013092820A (ja) 距離推定装置
US9827906B2 (en) Image processing apparatus
JPH07119606B2 (ja) 追尾式車間距離検出装置
US9014964B2 (en) Navigation apparatus capable of providing real-time navigation images
JP2017032356A (ja) ステレオ画像処理装置
JP2020006845A (ja) 線路曲率推定装置及び方法
JP2015001812A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2018120303A (ja) 物体検出装置
JP6451544B2 (ja) 道路境界検出装置、自己位置推定装置及び道路境界検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant