CN102450005B - 校正目标检测装置、检测校正目标的校正目标检测方法 - Google Patents
校正目标检测装置、检测校正目标的校正目标检测方法 Download PDFInfo
- Publication number
- CN102450005B CN102450005B CN201080023236.7A CN201080023236A CN102450005B CN 102450005 B CN102450005 B CN 102450005B CN 201080023236 A CN201080023236 A CN 201080023236A CN 102450005 B CN102450005 B CN 102450005B
- Authority
- CN
- China
- Prior art keywords
- correction target
- photometry
- curve
- photometry region
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Measurement Of Optical Distance (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
能够不增加存储容量而以低成本实现的校正目标检测装置200,具有:测光区域设定部22,设定长条形状的测光区域;测光部21,检测测光区域的测光信息;亮度曲线生成部23,使将规定的一个方向作为长边方向的长条形状的测光区域,沿与一个方向正交的另一方向进行扫描,由此生成表示在该另一方向上的测光信息的变化的第一曲线,并且,使将另一方向作为长边方向的长条形状的测光区域,沿一个方向进行扫描,由此生成表示在该一个方向上的测光信息的变化的第二曲线;位置计算部30,基于第一曲线及第二曲线的特征点,来计算由车载照相机20获取的拍摄图像所含的用于校正车载照相机的校正目标的位置或该校正目标的规定部位的位置。
Description
技术领域
本发明涉及校正目标检测装置、用于检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序。
背景技术
近年来,安装有照相机的车辆正在增加,该照相机能够使车辆的驾驶人员通过车内的监视器来视认(以肉眼确认)车辆的侧方及后方等的情景。进一步,还开发出了利用由该照相机获取的拍摄图像进行图像处理等并以此支援驻车(停车辅助)等的驾驶的装置。在这样的装置中,用于获取拍摄图像的照相机需要特别高的光轴精度,所述拍摄图像作为用于计算特定信息的基础,所述特定信息是指用于决定车辆的位置等的信息。这样的高的光轴精度是不容易在其安装时容易实现的,而是在将照相机安装到车辆上后,通过以高精度对光轴进行校正来实现的。为了进行这样的校正,需要恰当地检测用于校正的校正目标。作为用于检测这样的校正目标的技术,例如具有在下述中示出资料来源的专利文献1所记载的技术。
在专利文献1中公开了一种光轴偏差检测装置,该光轴偏差检测装置用于检测安装在车辆上的车载照相机的光轴的偏差。该光轴偏差检测装置利用模板匹配处理,来检测在检测光轴偏差时使用的检测基准。更具体而言,一边将检测基准的模板图像从包含车载照相机的靶图像的拍摄图像的中心移动至周围,一边重复进行模板匹配处理。并且,将与拍摄图像上的模板图像相匹配的图像的位置,确定为靶图像的位置。
现有技术文献
专利文献
专利文献1:日本特开2007-253699号公报
发明内容
发明要解决的问题
在专利文献1中记载的光轴偏差检测装置,需存储用于模板匹配处理的模板图像。另外,为了高精度地进行该模板匹配处理,优选存储高分辨率的模板图像。于是,由于模板图像的容量变大,因而用于存储该模板图像的存储容量会增加。另外,由于模板匹配处理的计算负荷变大,因而需要高性能的计算处理装置而会成为成本上升的主要原因。
本发明是鉴于上述问题而做出的,其目的在于,提供一种能够不增加存储容量而以低成本实现的校正目标检测装置、检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序。
用于解决问题的手段
为达成上述目的本发明的校正目标检测装置的特征结构在于,具有:测光区域设定部,其用于设定长条形状的测光区域;检测部,其用于检测所述测光区域的测光信息;曲线生成部,其用于使将规定的一个方向作为长边方向的长条形状的测光区域,沿与所述一个方向正交的另一方向进行扫描,由此生成表示在所述另一方向上的测光信息的变化的第一曲线,并且,使将所述另一方向作为长边方向的长条形状的测光区域,沿所述一个方向进行扫描,由此生成表示在所述一个方向上的测光信息的变化的第二曲线;位置计算部,其基于所述第一曲线及所述第二曲线的特征点,来计算由车载照相机获取的拍摄图像所含的用于校正所述车载照相机的校正目标的位置或该校正目标的规定部位的位置。
若采用这样的特征结构,则由于不需预先存储如用于进行模板匹配那样的模板图像,因而不需增加存储容量。在这里,一般的车载照相机具有如下功能:设定测光区域,并对所设定的该测光区域的测光信息进行检测。因此,若采用本特征结构,则即使不具备新的功能部,也能够基于第一曲线及第二曲线的特征点,来确定校正目标的位置或该校正目标的规定部位的位置。从而,能够以低成本实现校正目标检测装置。
另外,优选地,所述测光区域的测光信息是测光区域的亮度。
若采用这样的结构,则由于由检测部检测测光区域的亮度,因而能够根据第一曲线及第二曲线来容易地检测亮度变化。从而,能够基于该亮度变化 来容易地确定校正目标的位置。
另外,优选地,所述测光区域的测光信息是测光区域的颜色信息。
若采用这样的结构,则由于由检测部检测测光区域的颜色信息,因而能够根据第一曲线及第二曲线来容易地检测颜色变化。从而,能够基于该颜色变化来容易地确定校正目标的位置。
另外,优选地,所述校正目标,相对于所述车载照相机的视场的水平面及与该水平面相垂直的垂直面而形成有角度,且由形成交点的至少两条直线分割的区域被涂色成不同颜色相间图案。
若采用这样的结构,则在校正车载照相机的场所,同样的形状少,因此能够防止误检测校正目标。另外,在不同颜色相间图案的边界,因测光信息大幅变化而容易检测边界。因此,由于能够减轻检测的计算负荷,因而不需要高性能的计算处理装置。从而,在减轻计算负荷的基础上提高校正目标的检测精度的同时,能够以低成本实现校正目标检测装置。
另外,优选地,所述检测部基于预先设定的规定的阈值来进行曝光调整。
若采用这样的结构,则能够使测光信息的差异明确。从而,能够提高校正目标的检测精度。
另外,优选地,所述特征点是包含在所述第一曲线及所述第二曲线上的边缘及两个边缘的中点中的至少任意一方。
由于根据第一曲线及第二曲线能够容易地确定这样的边缘或边缘的中点,因而不需使用高性能的计算处理装置。从而,能够以低成本实现。
另外,优选地,所述检测部所检测的区域,是作为所述车载照相机的拍摄图像的一部分的校正目标存在区域。
若采用这样的结构,则不需要对车载照相机的取景图像显示的全范围进行检测,因而能够缩短检测所需的时间。另外,还能够减轻检测所需的计算处理负荷。从而,由于能够使用非高性能的检测部,因而能够以低成本实现。
另外,优选地,基于所述车载照相机的安装公差来设定所述校正目标存在区域。
若采用这样的结构,则在安装车载照相机的工厂等中,以预先设定的规定的误差范围内的误差将车载照相机安装到车辆上的情况下,即使校正目标的位置在校正目标存在区域内产生偏差,也能够使校正目标位于校正目标存 在区域内。
另外,本发明的校正目标检测方法的特征结构在于,具有:测光区域设定工序,设定长条形状的测光区域;检测工序,检测所述测光区域的测光信息;曲线生成工序,使将规定的一个方向作为长边方向的长条形状的测光区域,沿与所述一个方向正交的另一方向进行扫描,由此生成表示在所述另一方向上的测光信息的变化的第一曲线,并且,使将所述另一方向作为长边方向的长条形状的测光区域,沿所述一个方向进行扫描,由此生成表示在所述一个方向上的测光信息的变化的第二曲线;位置计算工序,其基于所述第一曲线及所述第二曲线的特征点,来计算由车载照相机获取的拍摄图像所含的用于校正所述车载照相机的校正目标的位置或该校正目标的规定部位的位置。
若采用这样的方法,则与上述的校正目标检测装置同样地,能够可靠地确定校正目标的位置或该校正目标的规定部位的位置,而不需增加存储容量。
进一步,在本发明中,优选地用于校正目标检测装置的程序也在权利范围内,所述校正目标检测装置用于检测校正目标,该程序的特征结构在于,使计算机执行以下功能:测光区域设定功能,设定长条形状的测光区域;检测功能,检测所述测光区域的测光信息;曲线生成功能,使将规定的一个方向作为长边方向的长条形状的测光区域,沿与所述一个方向正交的另一方向进行扫描,由此生成表示在所述另一方向上的测光信息的变化的第一曲线,并且,使将所述另一方向作为长边方向的长条形状的测光区域,沿所述一个方向进行扫描,由此生成表示在所述一个方向上的测光信息的变化的第二曲线;位置计算功能,其基于所述第一曲线及所述第二曲线的特征点,来计算由车载照相机获取的拍摄图像所含的用于校正所述车载照相机的校正目标的位置或该校正目标的规定部位的位置。
与作为上述的本发明的对象的用于检测校正目标的校正目标检测方法同样地,用于这样的校正目标检测装置的程序,也能够得到上述的作用及效果,且也能够具有上述的各种付加的特征结构。
附图说明
图1是示出了本实施方式的校正目标的图。
图2是示出了车辆和校正目标的位置关系的图。
图3是示出了本实施方式的校正目标检测装置和车载照相机校正装置的概略的框图,该车载照相机校正装置是指,利用由该校正目标检测装置确定的校正目标来对车载照相机进行校正的装置。
图4是示出了车载照相机的偏差的图。
图5是示出了校正目标存在区域的图。
图6是示出了校正目标存在区域内中的校正目标的偏差的图。
图7是示出了校正目标存在区域、测光区域及第一亮度曲线的关系的图。
图8是示出了校正目标存在区域、测光区域及第二亮度曲线的关系的图。
图9是示出了校正目标检测装置及校正装置的处理的流程图。
图10是示出了另一实施方式的校正目标和亮度曲线的图。
图11是示出了另一实施方式的校正目标和亮度曲线的图。
图12是示出了另一实施方式的校正目标和亮度曲线的图。
图13是示出了另一实施方式的校正目标和亮度曲线的图。
图14是另一实施方式的校正目标。
具体实施方式
下面,对本发明的实施方式进行详细说明。安装在车辆100上的车载照相机20用于获取车辆100的后方图像,其中,车辆100的该后方图像例如用于后退行驶时以及对用户的驻车操作进行支援(停车辅助)的情况等。由车载照相机20获取这样的后方图像作为拍摄图像,但该后方图像还用在利用图像识别处理来求出特定距离的计算中,该特定距离是指车辆100和包含在拍摄图像中的障碍物之间的距离。然而,在车载照相机20的光轴与预先设定的设定值(例如设计值)之间发生偏差的情况下,在对从车辆100到障碍物之间的距离进行计算而求出的结果和实际的距离之间也会发生偏差。在这样的状况下,若基于所述计算来行驶车辆100,则存在与障碍物碰撞的可能性。因此,将车载照相机20安装在车辆100上之后,例如在工厂对光轴进行校正。
本发明的校正目标检测装置200用于确定校正目标10的位置,其中, 在工厂对车载照相机20进行那样校正时使用该校正目标10。下面,利用附图进行说明。此外,本实施方式的车载照相机20进行的校正是指,基于配设了车载照相机20的位置及角度与预先设定的设定值之间的差分,来计算车载照相机20的光轴偏差,由此对其进行校正(修正),而不是变更车载照相机20的物理位置(在实际空间中的位置)来进行校正的处理。
图1是示出了本实施方式的校正目标10的图。校正目标10由形成为同一平面状的至少两条直线2和外围图形4构成。在本实施方式中,说明至少两条直线2是直线2a及2b两条的情况。另外,外围图形4是指,包围上述的两条直线2的周围的图形,在本实施方式中,该外围图形4相当于四角形4a。这样的四角形4a内的两条直线2a及2b,被规定为相对于车载照相机20的视场的水平面及与该水平面相垂直的垂直面而形成有角度。另外,配设为两条直线2形成交点6。
另外,详细内容如后所述,在本校正目标检测装置200中,由车载照相机20所具有的检测部21检测每个规定的区域的测光信息,并基于该测光信息的差异来确定校正目标10的位置。校正目标10使用由两条直线2分割的区域8被涂色成不同颜色相间图案的图形,以使每个区域的测光信息的差异醒目。在图1中,区域8分割为四个区域8a-8d。如图1所示,这些区域8a-8d被涂色成使这些区域8a-8d中各自邻接的区域成为不同的颜色。对于该不同颜色相间图案,不特别限定,但优选例如使用白色与黑色的组合、绿色和红色的组合这样的浓淡鲜明的颜色组合。当然,显然也能够涂色成其他颜色的组合。如上述那样,由车载照相机20(即,由车载照相机20的检测部21),检测这样构成的校正目标10的测光信息。因此,校正目标10构成为具有适度的大小,使得能够由车载照相机20的检测部21检测该校正目标10的测光信息。例如,优选地,校正外围图形6的四角形6a的一个边的长度是400mm。
接着,对使用本实施方式的校正目标10的车载照相机20的校正方法进行说明。图2的(a)部分是示出了车辆100和校正目标10的位置关系的鸟瞰图。另外,图2的(b)部分是示出了车辆100和校正目标10的位置关系的立视图。在这里,本实施方式的校正对象的车载照相机20,是用于拍摄车辆100的后方的后视照相机。如图2所示,这样的车载照相机20配设在设 在车辆100的外侧后部的汽车牌照附近或者设在车辆100外侧后部的汽车标志的附近等。此外,在图2中,为了更加明确地示出本发明的校正目标10,忽略了车辆100和校正指标10的尺寸的比率。
校正目标10配设为,与车载照相机20相对,且一对该校正指标10各自分开。即,如图2的(a)部分及(b)部分所示,在车载照相机20的视场范围内配设两个校正指标10。关于这样的校正目标10,一对校正指标10a、10b配设在假想平面上,并使得这些校正指标与车辆100的后端面100a之间的正交距离分别为规定距离L1、L2。例如,优选配设为屏风形状。另外,分开配设各校正指标10a、10b。在本实施方式中,校正指标10a、10b配设为各自的中心与车辆100的中心线100b相距W1、W2。进一步,将校正目标10a、10b配设为各自中心(交点6)与车辆100驻车的地面100c相距H1、H2。
对车载照相机20进行校正时,如上述那样配设校正指标10a、10b。此外,能够将W1及W2、L1及L2、H1及H2分别配设为相同的值,也可以配设为分别不同的值。通过利用这样的校正指标10,在对车载照相机20进行校正的情况下,在检测过程中能够确保不误检测。
在这里,在本实施方式中,上述的测光信息相当于亮度。即,测光区域RM的测光信息相当于测光区域RM的亮度。因此,在本实施方式中,说明上述检测部21是测光部21的情况。图3是示意示出了本发明的校正目标检测装置200以及校正装置300的结构的框图,所述校正装置300是指,利用由该校正目标检测装置200检测出的校正目标10来对车载照相机20进行校正的装置。校正目标检测装置200由车载照相机20和位置计算部30构成。车载照相机20具有测光部21、测光区域设定部22及亮度曲线生成部23(相当于本申请的曲线生成部)的各功能部。另外,校正装置300具有校正目标检测装置200、照相机修正角度计算部40、描画部41及显示器42。具有这样结构的校正目标检测装置200的校正装置300,以CPU作为核心构件,利用硬件、软件或这两者来构建用于对车载照相机20进行校正等各种处理的上述的功能部。
如上述,测光部21、测光区域设定部22及亮度曲线生成部23安装在车载照相机20上。测光区域设定部22设定长条形状的测光区域RM。测光区 域RM是被检测(测光)亮度的区域,且被设定在车载照相机20的视场范围内。另外,测光区域RM设定为长条形状,且测光区域设定部22在车载照相机20的视场范围内以对应的坐标设定该测光区域RM。本实施方式的视场范围相当于作为由车载照相机20在取景(finder)状态下拍摄而得到的取景图像来显示的范围。另外,具体而言,对应的坐标是测光区域RM的对角线上的两点(例如第一坐标及第二坐标),且测光区域设定部22在视场范围内设定第一坐标及第二坐标。将这样设定的两个坐标传送至后述的测光部21。此外,针对由测光区域设定部22设定的测光区域RM,在重新指定了两个坐标的情况下,能够将其再次设定在其他位置,而不是将其固定于车载照相机20的视场范围内的特定位置。
这样的测光区域设定部22能够由车载照相机22所具有的CPU(Central Processing Unit:中央处理单元)或ECU(Electronic Control Unit:电子控制单元)等构成。此外,如图2所示,在本实施方式中,使用两个校正目标10a、10b。从而,在对校正目标10a、10b的亮度进行检测的情况下,测光区域设定部22设定分别与各校正目标10a、10b对应的测光区域RM。
检测部21对测光区域RM的测光信息进行检测。即,测光部21对测光区域RM的亮度进行检测(测光)。由上述测光区域设定部22设定作为测光部21的测光对象的测光区域RM。亮度是表示亮的程度(暗的程度)的指标。从而,测光区域RM的亮度是指,由测光区域设定部22设定的区域的亮的程度(暗的程度)。此外,就这样的区域的亮度而言,例如可以用单纯平均的方法求出区域内的亮度,也可以用加权平均的方法求出区域内的亮度。另外,在本实施方式中,测光部21相当于车载照相机20所具有的曝光表。从而,由于不需要具有测光功能的新功能部,因而能够以低成本实现校正目标检测装置200。
另外,测光部21优选基于预先设定的规定阈值进行曝光调整。若采用这样的结构,则对测光场所暗的情况特别有效。即,在测光场所暗的情况下,进行曝光调整,使得预先设定的规定阈值以上的亮度更亮。另外,也可以进行曝光调整,使得小于预先设定的规定阈值的亮度更暗。将由这样测光部21检测的亮度传送至后述的亮度曲线生成部23。
亮度曲线生成部23生成第一亮度曲线(相当于本申请的第一曲线)。 第一亮度曲线(profile)是指,使将规定的一个方向作为长边方向的长条形状的测光区域RM,沿与一个方向正交的另一方向进行扫描,由此生成的表示在该另一方向上的亮度变化的曲线。在本实施方式中,规定的一个方向是铅垂方向。另外,与一个方向正交的另一方向是水平方向。另外,长边方向是长边的长度方向。从而,本实施方式的第一亮度曲线相当于如下的曲线,该曲线表示,使将铅垂方向作为长度方向的长条形状的测光区域RM,沿水平方向进行扫描而得到的在水平方向上的亮度变化。此外,在下面的说明中,除非事先有特别的说明,均将一个方向作为铅垂方向,且将另一方向作为水平方向来进行说明。
这样,在生成第一亮度曲线时,描测光区域RM沿水平方向扫描。从而,测光区域设定部22进行设定,使得测光区域RM的坐标依次沿水平方向移动(shift)。另外,如上述那样,将测光区域RM设定为以铅垂方向作为长度方向的长条形状。此时,将测光区域RM的在长度方向上的长度设定为,至少比作为亮度的检测对象的检测对象区域(在本实施方式中是后述的校正目标存在区域F)在铅垂方向上的长度更长。依次变更这样设定的测光区域RM的位置,并利用在每次变更该位置时检测得到的亮度来进行曲线化,由此得出的曲线成为第一亮度曲线。
另外,亮度曲线生成部23还生成第二亮度曲线(相当于本申请的第二曲线)。在本实施方式中,获取上述第一亮度曲线之后,生成第二亮度曲线。第二亮度曲线是指,使将另一方向作为长边方向的长条形状的测光区域RM,沿一个方向进行扫描,由此生成的表示该一个方向的亮度变化的曲线。如上所述,在本实施方式中,一个方向是铅垂方向,另一方向是水平方向。从而,本实施方式的第二亮度曲线相当于如下的曲线,该曲线表示,使将水平方向作为长度方向的长条形状的测光区域RM,沿铅垂方向进行扫描而得到的在铅垂方向上的亮度变化。
这样,在生成第二亮度曲线时,测光区域RM沿铅垂方向扫描。从而,测光区域设定部22进行设定,使得测光区域RM的坐标依次沿铅垂方向移动。另外,如上述那样,将测光区域RM设定为以水平方向作为长度方向的长条形状。此时,将测光区域RM在长度方向上的长度设定为,至少比作为亮度的检测对象的检测对象区域(在本实施方式中是后述的校正目标存在区域F)在水平方向上的长度更长。依次变更这样设定的测光区域RM的位置,并利用在每次变更该位置时检测得到的亮度来进行曲线化,由此得出的曲线成为第二亮度曲线。
用于生成这样的第一亮度曲线及第二亮度曲线的亮度曲线生成部23,能够由车载照相机20所具有的DSP(Digital Signal Processor:数字信号处理器)构成。此外,如图2所示,在本实施方式中,使用两个校正目标10a、10b。从而,亮度曲线生成部23分别生成各校正目标10a、10b的第一亮度曲线及第二亮度曲线。
亮度曲线生成部23若接收到由测光部21检测出的亮度,则将表示该信息的信号传送至测光区域设定部22。测光区域设定部22若接收到所述信号,则重新设定测光区域RM。由此,能够一边依次变更测光区域RM的位置,一边检测亮度。
位置计算部30基于第一亮度曲线及第二亮度曲线的特征点,来计算出拍摄图像中所含的校正目标10的位置,其中,该校正目标10用于校正车载照相机20,该拍摄图像是由车载照相机20获取的。由上述亮度曲线生成部23生成并存储第一亮度曲线及第二亮度曲线。在本实施方式中,由车载照相机20获取的拍摄图像是指,车载照相机20在取景状态下拍摄而得到的取景图像。因此,在本实施方式中,获取拍摄图像,使得用于校正车载照相机20的校正目标10被包含在该取景图像中。位置计算部30参照由亮度曲线生成部23存储的第一亮度曲线及第二亮度曲线,分别提取各曲线的特征点,来计算出校正目标10的位置。
该特征点相当于,包含在第一亮度曲线及第二亮度曲线中的边缘和两个边缘中点中的至少任意一方。在校正车载照相机20的时间点(时刻),已知校正目标10的特征。这是因为,在对车载照相机20进行校正的情况下,预先选择用于该校正的校正目标10,并将该校正目标10配设在如图2示出那样的位置。若校正目标10的特征是线与线的边界,则位置计算部30使用第一亮度曲线及第二亮度曲线的边缘作为特征点。另外,若校正目标10的特征是线与线的中间点,则位置计算部30使用第一亮度曲线及第二亮度曲线的两个边缘的中点作为特征点。当然,也能够采用利用边缘及两个边缘中点的双方来提取特征点的方式,显然也能够利用第一亮度曲线和第二亮度曲线的分别不同的方法提取特征点。由用户预先设定这样的校正目标10的特征,并将其例如存储至位置计算部30。
位置计算部30基于如上述那样的校正目标10的特征点来计算校正目标10的位置。如图2所示,在本实施方式中,使用两个校正目标10a、10b。从而,位置计算部30计算校正目标10a、10b双方的位置。将由位置确定部30计算出的校正目标10的位置,传送至后述的照相机修正角度计算部40。此外,在对车载照相机20进行校正情况下,确定如图2示出那样的两个校正目标10a及10b的位置。本发明的校正目标检测装置200这样检测校正目标10,并确定该校正目标10的位置。
照相机修正角度计算部40根据已知的车载照相机20的安装位置、安装车载照相机20的安装角度的设定值、校正目标10a、10b的配设位置,来计算与在假想图像中的左右的校正目标10a、10b相对应的对应点,并根据该对应点与由上述位置计算部30计算出的校正目标10a、10b(特别是各自的交点6)之间的差分,来计算照相机修正参数。照相机修正参数表示照相机参数的设计值与实际值之差。从而,利用照相机修正参数来修正设计值,将其修正为实际值。
在计算照相机修正角度时,根据基于车载照相机20的安装位置预先设定的一对设定点以及包含在拍摄图像中的一对校正目标10a、10b,来计算用于修正光轴偏差的照相机修正角度,所述光轴偏差是指将车载照相机20安装到车辆100上时所产生的光轴偏差,所述一对设定点与根据一对校正目标10a、10b设定的一对校正点(例如一对交点6)相对应。与根据一对校正目标10a、10b设定的一对校正点相对应的、根据车载照相机20的安装位置预先设定的一对设定点,相当于与假想图像中左右校正点相对应的一对对应点。计算该一对对应点和一对校正点之间的差分,并基于该差分来计算用于修正光轴偏差的照相机修正角度,所述光轴偏差是指将车载照相机20安装到车辆100时产生的光轴偏差。
对车载照相机20的角度进行修正时使用照相机修正角度。在这里,将由车载照相机20获取的拍摄图像显示在显示器42上,并由描画部41在该拍摄图像上重叠规定的描画图像(例如,在将车辆100停在驻车位上或者在后退行驶时,在对驾驶员的驾驶进行支援的公知驻车支援装置或驾驶支援装 置等中对车辆100的路线预想出的预想行进路线等)时,优选使用该照相机修正角度。即,在车载照相机20的角度与设计值之间发生偏差的情况下,若重叠该车载照相机20的拍摄图像和根据所述设计值描画的描画图像,则拍摄图像和描画图像之间发生偏差,导致驾驶员会误识别。在此情况下,基于该照相机修正角度来将其修正为与实际拍摄图像(利用以特定照相机角度设置的车载照相机20拍摄而得到的拍摄图像,特定照相机角度是指与设计值存在偏差的照相机角度)相符的描画图像。因此,能够在由车载照相机20获取的拍摄图像上,准确地重叠所述规定的描画图像。
另外,在计算出用于对车载照相机20的角度进行修正的角度,来对拍摄图像进行修正时,也能够使用照相机修正角度。沿着车载照相机20的镜头铅垂方向的车载照相机20的角度(旋转角)、车载照相机20的铅垂方向的角度(仰角)以及车载照相机20的在水平方向上的角度(方位角)相当于车载照相机20的角度。在这样的情况下,用于对上述的车载照相机20的角度进行修正的角度,由用于对沿车载照相机20的镜头铅垂方向的车载照相机20的角度进行修正的旋转角(转角(Roll角))、用于对车载照相机20的铅垂方向的角度进行修正的仰角(倾斜角(Tilt角))、用于对车载照相机20的水平方向的角度进行修正的方位角(水平角(Pan角))构成,若使用照相机修正角度,则能够对车载照相机20的各角度进行修正。
在这里,例如,假设在由如图4示出那样的X轴、Y轴及Z轴构成的坐标系上,以使车载照相机20的镜头的铅垂方向朝向Z轴方向的方式,将车载照相机20配设在中心O。在这样的情况下,转角(Roll角)相当于对图4的围绕Z轴旋转的角度(θR)进行修正的旋转角。另外,倾斜角(Tilt角)相当于对图4的围绕Y轴旋转的角度(θT)进行修正的角度。另外,水平角(Pan角)相当于对图4的围绕X轴旋转的角度(θP)进行修正的角度。
从而,使由车载照相机20拍摄而得到的拍摄图像按照转角(Roll角)旋转(面旋转)之后,按照倾斜角(Tilt角)对按照该转角(Roll角)旋转的拍摄图像调整仰角,再按照水平角(Pan角)调整水平方向的角度。通过使用这样的角度,能够如上述那样在拍摄图像上准确地重叠所述规定的描画图像,另外,能够抑制每个产品的拍摄范围的偏差。若采用这样本校正装置300,通过由本发明的校正目标检测装置200确定的校正目标10的位置, 能够优选地校正(修正)将车载照相机20安装到车辆100上时产生的光轴的偏差。
进一步,作为除了对上述规定的描画图像进行修正的例子以外的使用例,也能够使用用于修正上述的车载照相机20的角度的旋转角、仰角及方位角,来对由车载照相机20获取的拍摄图像自身进行修正之后将其显示在显示器42上。或者,能够使用用于修正上述的照相机20的角度的旋转角、仰角、方位角,来对包含在由车载照相机20获取的拍摄图像中的显示物(例如,车道线或物体等)的位置进行修正,由此能够在确定正确位置的处理中使用。
另外,在车载照相机20未配设在中心O的情况下,除了对用于修正车载照相机20的角度的旋转角、仰角、方位角进行修正以外,显然还能够对沿在图4中用黑色实心箭头X1、Y1及Z1示出的X轴、Y轴及Z轴的车载照相机20的位置自身进行修正。
在这里,如上述那样,测光区域设定部22将测光部21进行检测的测光区域RM设定为长条形状的形状。在本实施方式中,测光区域设定部22并不设定为对由车载照相机20能够拍摄的全拍摄范围进行测光的区域。在校正目标存在区域F内设定测光区域设定部22,该校正目标存在区域F是指,根据已知的车载照相机20的安装位置、车载照相机20的安装角度的设定值、校正目标10a及10b的配设位置以及车载照相机20的安装角度的偏差,能够预测出存在校正目标10的区域。下面,对车载照相机20检测校正目标10的处理进行具体的说明。
若由校正装置300开始校正车载照相机20,则车载照相机20拍摄如图5示出那样的情景。如图5所示,校正目标10a及10b存在于校正目标存在区域F内。这是因为,基于车载照相机20的安装公差(考虑车载照相机20的安装公差等)来设定校正指标存在区域F。从而,在安装车载照相机20的工厂等中,在以预先设定的规定误差范围内的误差安装到车辆100上的情况下,如图6的空心箭头示出那样,即使校正目标10a及10b的位置在校正目标存在区域F内发生偏差,也基本上位于校正目标存在区域F的内部。
因此,测光部21所检测的区域(扫描的区域)可以是作为车载照相机20的拍摄图像一部分的校正目标存在区域F。即,测光部21所检测(测光) 的测光区域RM也可以仅是校正目标存在区域F的内部。从而,测光区域设定部22设定测光区域RM,使得测光部21能够通过扫描校正目标存在区域F内部来进行检测。若采用这样的结构,则由于不需对显示为车载照相机20的取景图像的全范围进行测光,因而能够缩短测光所需要的时间,并且能够减轻测光所需的计算处理负荷。从而,由于能够使用非高性能的测光部21,因而能够以低成本实现。
接着,对测光部21进行检测的处理进行说明。如上述那样,测光区域设定部22设定测光区域RM,使得测光部21通过扫描校正目标存在区域F内部来进行检测。如图7所示,测光区域设定部22设定测光区域RM,使得使用该测光区域RM在水平方向上对校正目标存在区域F的内部进行扫描。在测光部21沿水平方向进行扫描的情况下,测光区域RM设定为将铅垂方向作为长度方向的长条形状。此时,将测光区域RM在铅垂方向上的长度设定为,至少在校正目标存在区域F的铅垂方向上的长度以上。另外,根据车载照相机20的分辨率来设定测光区域RM的在水平方向上的长度。更具体而言,设定为数像素。例如在图7所示出的校正目标存在区域F是100像素×100像素的区域的情况下,将在铅垂方向上的长度设定为100像素,将在水平方向上的长度设定为8像素。
测光部21对这样由测光区域设定部22设定的测光区域RM的亮度进行检测。此外,在本实施方式中,测光部21对由车载照相机20在取景状态的时间点的亮度进行检测,而不是对由车载照相机20拍摄而存储的拍摄图像的亮度进行检测。从而,在检测亮度的状态下,仅显示以取景功能拍摄而得到的拍摄图像。
若测光部21对设定的测光区域RM(在例如图7的(a)部分所示出的测光区域RM)的亮度检测结束,则测光区域设定部22设定下一次检测的测光区域RM。此时,与图7的(a)部分同样地,将设定的测光区域RM在铅垂方向上的长度设定为,在校正目标存在区域F的铅垂方向上的长度以上。另外,将测光区域RM在水平方向上的位置设定为,从如在图7的(a)部分所示出的位置开始移动1像素。从而,长条形状的测光区域RM在水平方向上滑动移动了1个像素。在这样使测光区域RM在水平方向上滑动移动的情况下,使滑动移动的移位量(例如1个像素)至少在水平方向上的长度(例 如8像素)以下,由此能够检测平均亮度变化。
重复进行这样如下两个处理(在图7的(b)部分示出了途中经过的情况),最终如图7的(c)部分所示,进行至校正目标存在区域F的在水平方向上的终端为止,所述两个处理分别是,由测光区域设定部22通过逐个像素滑动移动来设定测光区域RM的处理,以及由测光部21检测亮度的处理。从而,测光区域RM在水平方向上进行扫描,由此能够获取在水平方向上的亮度变化。将这样获取的亮度变化传送至亮度曲线生成部23,并在该亮度曲线生成部23中,生成表示在水平方向上的亮度变化的第一亮度曲线。在图7还示出了这样的第一亮度曲线。
纵轴表示亮度的强度,横轴则表示获取检测到的亮度的间隔(相当于在水平方向的位置)。如图7的(c)部分所示,对于在本实施方式中使用的校正目标10,由于在最初检测时仅是亮的部分(白色部分),因而亮度恒定(P1)。接着,若测光区域RM到达校正目标10,则因暗的部分(黑色部分)急剧增加而亮度变得小于P1。并且,若测光区域RM在水平方向上的整体宽度与校正目标10完全重叠,则因亮度开始变大而成为有峰值PH的形状。再接着,亮度变小至测光区域RM与校正目标10开始分开为止。此时的亮度是P2。在测光区域RM与校正目标10开始分开时亮度变大,且在测光区域RM与校正目标10完全分开时,亮度成为恒定值。
位置计算部30能够根据这样的第一亮度曲线,基于特征点即峰值PH来确定两条直线2a及2b的交点6。在这里,在本实施方式中,将测光区域RM设定为在水平方向上具有8像素的宽度。从而,峰值PH是在测光区域RM在水平方向上的中心部到达交点6的情况下得到的,而不是在测光区域RM到达交点6的时间点得到的。从而,位置计算部30确定如下特定位置为校正目标10的中心点,该特定位置是指,从得到了峰值PH的时间点(位置坐标)开始仅返回测光区域RM在水平方向上的宽度的一半(在本实施方式中是4像素)的位置。另外,确定校正目标10位于如下特定位置,该特定位置位于亮度从恒定值(P1)开始减少的位置与检测到亮度P2的位置之间。
若测光区域设定部22对水平方向上的亮度检测结束,则接着设定测光区域RM,使其在与该水平方向正交的方向上移动,即,在铅垂方向上移动。图8的(a)部分示出了该检测处理开始时的状态。测光部21与上述处理(测光区域设定部22的该设定处理)相对应地检测亮度。将在铅垂方向上的测光区域RM的长度设定为,至少在校正目标存在区域F的水平方向上的长度以上。另外,与上述的在水平方向上的扫描同样地,将测光区域RM的在铅垂方向上的长度设定为数像素(例如8像素)。
若测光区域设定部22设定测光区域RM的处理以及测光部21检测测光区域RM的亮度的处理结束,则与上述的在水平方向上的扫描同样地,由测光区域设定部22使测光区域RM逐个像素地在铅垂方向上滑动移动,并由测光部21检测亮度。这样在使测光区域RM在铅垂方向上滑动移动的情况下,使滑动移动的移位量(例如1个像素)至少在铅垂方向上的长度(例如8像素)以下,由此能够检测平均亮度变化。
如图8的(b)部分所示,持续进行这样的设定测光区域RM的处理和检测亮度的处理,最终进行至在图8的(c)部分示出的铅垂方向上的终端为止。将这样获取的亮度变化传送至亮度曲线生成部23,并在该亮度曲线生成部23中,生成表示在铅垂方向上的亮度变化的第二亮度曲线。
在图8中还示出了这样生成的第二亮度曲线。纵轴表示亮度的强度,横轴则表示获取检测到的亮度的间隔(相当于在铅垂方向上的位置)。由于在最初检测时仅是亮的部分(白色部分),因而亮度恒定(P3)。接着,若测光区域RM到达校正目标10,则因暗部分(黑色部分)逐渐增加而亮度从P3开始变小。并且,与暗部分增加的同时亮度变小,由此亮度曲线成为有峰值PV的形状。再接着,亮度变大,并在测光区域RM与校正目标10完全分开时成为恒定值(P4)。
位置计算部30能够根据这样的第二亮度曲线,基于特征点即峰值PV来确定两条直线2a及2b的交点6。在这里,在本实施方式中,将测光区域RM设定为在铅垂方向上具有8像素的宽度。从而,峰值PV是在测光区域RM的在铅垂方向上的中心部到达交点6的情况下得到的,而不是在测光区域RM到达交点6的时间点得到的。从而,位置计算部30确定如下特定位置为校正目标10的中心点,该特定位置是指,从得到了峰值PV的时间点(位置坐标)开始仅返回测光区域RM的铅垂方向上的宽度一半(在本实施方式中是4像素)的位置。另外,在本实施方式的第二亮度曲线中,在测光区域RM与校正目标10的铅垂方向完全分开时成为恒定值。因此,从再次成为恒定 值的位置(P4)返回了8个像素的位置,相当于校正目标10的端部。从而,位置计算部30确定校正目标10位于如下特定位置,该特定位置位于亮度从恒定值(P3)开始减少的位置与从再次成为恒定值(P4)的位置开始返回了8像素的位置之间。
接着,利用流程图,对由本发明的校正目标检测装置200检测校正目标10的流程进行说明。图9是由校正目标检测装置200检测校正目标10的流程图。此外,在图9中,还示出了利用由校正目标检测装置200检测出的校正目标10的位置来对车载照相机20进行校正的校正装置300的流程。
在开始测定亮度的情况下(步骤#01:“是”),对校正目标存在区域F进行曝光调整(步骤#02)。根据校正目标存在区域F的亮度来进行该曝光调整,调整为使预先设定的规定阈值以上的亮部分醒目。测光区域设定部22设定水平方向用的测光区域RM(步骤#03)。这样的测光区域RM相当于测光部21所检测(测光)的区域,且设定为长条形状的测光区域RM。将这样设定长条形状的测光区域RM的工序,称为测光区域设定工序。
接着,测光部21检测测光区域RM内的亮度(步骤#04)。将这样由测光部21对测光区域RM的亮度(测光信息)进行测光(检测)的工序,称为测光工序(检测工序)。将由测光部21检测出的亮度传送至亮度曲线生成部23,并由该亮度曲线生成部23进行存储(步骤#05)。在这里,在进行检测的该测光区域RM未到达校正目标存在区域F内的在水平方向上的终端的情况下(步骤#06:“否”),测光区域设定部22将测光区域RM设定为使其在水平方向上移动规定量(步骤#07)。接着,继续从步骤#04开始进行处理。
另一方面,在测光区域RM到达了校正目标存在区域F内的水平方向上的终端的情况下(步骤#06:“是”),结束在水平方向上的检测,并开始进行在铅垂方向上的检测处理。首先,测光区域设定部22设定铅垂方向用的测光区域RM(步骤#08)。这样的测光区域RM相当于测光部21所检测的区域,且设定为长条形状的测光区域。将这样设定长条形状的测光区域RM的工序,称为测光区域设定工序。
接着,测光部21检测测光区域RM内的亮度(步骤#09)。将这样由测光部21对测光区域RM的亮度(测光信息)进行测光(检测)的工序,称 为测光工序(检测工序)。将由测光部21检测出的亮度信息传送至亮度曲线生成部23,并由该亮度曲线生成部23进行存储(步骤#10)。在这里,在进行检测的该测光区域RM未到达校正目标存在区域F内的铅垂方向上的终端的情况下(步骤#11:“否”),测光区域设定部22将测光区域RM设定为使其在铅垂方向上移动规定量(步骤#12)。接着,继续从步骤#09开始进行处理。
另一方面,在测光区域RM到达了校正目标存在区域F内的铅垂方向上的终端的情况下(步骤#11:“是”),结束在铅垂方向上的检测处理。经过这样的处理,生成表示在水平方向上的亮度变化的第一亮度曲线(第一曲线)和表示在铅垂方向上的亮度变化的第二亮度曲线(第二曲线)。将这样的生成第一亮度曲线和第二亮度曲线的工序,称为亮度曲线生成工序(曲线生成工序)。
接着,位置计算部30基于第一亮度曲线及第二亮度曲线的特征点,来计算由车载照相机20获取的拍摄图像所含的用于校正该车载照相机20的校正目标10及其交点(中心点)6的位置(步骤#13)。将这样的工序,称为位置计算工序。本发明的校正目标检测装置200这样确定了校正目标10的位置。
若除了如上述那样计算出位置的校正目标10以外,还有校正目标10(步骤#14:“否”),则返回步骤#03,对另一校正目标10的位置进行计算。另一方面,若没有另一校正目标10(步骤#14:“是”),则车载照相机20的校正装置300基于由校正目标检测装置200确定的校正目标10的位置来检测偏差量(步骤#15)。该偏差量相当于用于修正照相机20角度的旋转角、仰角及方位角,将该偏差量存储至规定的存储部(步骤#16)。按照这样的流程进行处理。
<其他的实施方式>
在上述实施方式中,对如下情况进行了说明,该情况是指,校正目标10相对于车载照相机20的视场的水平面及与该水平面相垂直的垂直面而形成有角度,且由形成交点6的至少两条直线2所分割的区域8被涂色成不同颜色相间图案。然而,本发明的适用范围并不限定于此。例如,也可以使用如图10示出那样的校正目标10,在该校正目标10中,由多条直线2a-2h分割 的区域被涂色成不同颜色相间的图案,所述多条直线2a-2h相对于车载照相机20的视场水平面及与该水平面垂直的垂直面而未形成角度。
在图10中示出了其他实施方式的校正目标10。另外,在校正目标10的下部示出了表示在水平方向上的亮度变化的第一亮度曲线,在校正目标10的左部则示出了表示在铅垂方向上的亮度变化的第二亮度曲线。即使是如图10示出那样的由多条直线2a-2h构成的校正目标10,也能够恰当地生成亮度曲线,所述多条直线2a-2h相对于车载照相机20的视场水平面及与该水平面相垂直的垂直面而未形成角度。根据在图10中示出的第一亮度曲线,能够确定校正目标10位于第一特定位置,该第一特定位置位于亮度从恒定值(P1)开始减少的位置和在最终成为恒定值之前得到亮度(P2)的位置之间。另外,根据在图10中示出的第二亮度曲线,能够确定校正目标10位于第二特定位置,该第二特定位置位于亮度从恒定值(P3)开始减少的位置和在最终成为恒定值之前得到亮度(P4)的位置之间。
另外,在使用这样的校正目标10的情况下,能够确定直线2b、2c、2f及2g的中心为校正目标10的中心点6。在此情况下,确定第一亮度曲线上的两个边缘P11及P21的中点为直线2b及2c的中心。另外,确定第二亮度曲线上的两个边缘P31及P41的中点为直线2f及2g的中心。这样,即使是由多条直线2a-2h构成的校正目标10,本发明的校正目标检测装置200也能够恰当地检测该校正目标10,所述多条直线2a-2h相对于车载照相机20的视场水平面及与该水平面相垂直的垂直面而未形成角度。
进一步,也可以使用如图11示出那样的如下的校正目标10,该校正目标10由多条直线2a及2b和四角形3构成,所述多条直线2a及2b相对于车载照相机20的视场水平面及与该水平面相垂直的垂直面形成有角度。在图11中,在校正目标10的下部示出了表示在水平方向上的亮度变化的第一亮度曲线,在校正目标10的左部则示出了表示在铅垂方向上的亮度变化的第二亮度曲线。与上述第一实施方式同样地,能够确定校正目标10位于第一特定位置,该第一特定位置位于在第一亮度曲线上亮度从恒定值(P1)开始减少的位置和从最终成为恒定值(P2)的位置开始仅返回测光区域RM的宽度的位置之间。另外,根据第二亮度曲线,能够确定校正目标10位于第二特定位置,该第二特定位置位于亮度从恒定值(P3)开始减少的位置和在最 终成为恒定值之前得到亮度(P4)的位置之间。
进一步,能够确定在图11中示出的校正目标10的交点(中心点)6位于以下位置,这些位置是指,在第一亮度曲线上从得到峰值PH位置开始仅返回测光区域RM的宽度一半(在本实施方式中是4像素)的位置、在第二亮度曲线上从得到峰值PV的位置开始仅返回测光区域RM的宽度一半(在本实施方式中是4像素)的位置。这样,即使是由两条直线2a、2b和四角形3构成的校正目标10,也能够恰当地确定校正目标10的位置及交点(中心点)6。另外,四角形3例如也可以是圆形。即使是这样的校正目标10,也能够恰当地确定校正目标10的位置及交点(中心点)6(校正目标10的规定部位的位置)。
在上述实施方式中,说明了测光区域设定部22将测光区域RM设定为使该测光区域RM在校正目标存在区域F内部滑动移动的情况。即,对于在图12中示出的校正指标10,说明了如下的情况,将Y1作为长条形状的长度方向,来在X1的范围内检测在水平方向上的亮度,且将X1作为长条形状的长度方向,来在Y1的范围内检测在铅垂方向上的亮度。然而,本发明的适用范围并不限定于此。位置计算部30能够基于表示在水平方向上的亮度变化的第一亮度曲线来确定校正目标10在水平方向上的位置。即,在图12中,位置计算部30能够基于第一亮度曲线,来确定校正目标10处于由X2示出的范围内。因此,针对在检测水平方向上的亮度之后进行的检测铅垂方向上的亮度的处理,还能够进行校正,使得将X2作为长条形状的长度方向来在Y1的范围内进行该处理(检测铅垂方向上的亮度的处理)。若采用这样的方法,则根据通过先进行的检测在水平方向上的亮度的处理生成的第一亮度曲线,能够确定水平方向上在除了X2以外的区域内不存在校正目标10,因此无需对不需要的区域(在水平方向上的X2的外侧的区域)进行测光。从而,能够减轻计算处理负荷的同时,能够缩短检测校正目标10所需的时间。
在图12中示出了这样获取的第一亮度曲线(在校正目标10的下部示出的亮度曲线)及第二亮度曲线(在校正目标10的左部示出的亮度曲线)。特别地,在图12示出的表示在铅垂方向上的亮度变化的第二亮度曲线,是将长条形状的长度方向作为X2而检测出的亮度曲线。即使是这样的检测处理,也与在图10中示出的亮度曲线同样地,能够确定校正目标10位于第一 特定位置,该第一特定位置位于亮度从恒定值(P1)开始减少的位置和在最终成为恒定值之前得到亮度(P2)的位置之间。另外,根据在图12中示出的第二亮度曲线,能够确定校正目标10位于第二特定位置,该第二特定位置是位于最初得到亮度的位置(P3)和最终得到亮度的位置(P4)之间。另外,能够将以下的点确定为校正目标10的中心,这些点是指,第一亮度曲线的两个边缘P11及P21的中点、第二亮度曲线的两个边缘峰值P31及P41的中点。
另外,作为单纯的校正目标10之一,能够使用在图13中示出的校正目标10。在校正目标10的下部示出了表示在水平方向上亮度变化的第一亮度曲线,在校正目标10的左部则示出了表示在铅垂方向上亮度变化的第二亮度曲线。即使是在图13中示出那样的单纯的校正目标10,也能够恰当地生成亮度曲线。根据在图13中示出的第一亮度曲线,能够确定校正目标10位于第一特定位置,该第一特定位置位于亮度从恒定值(P11)开始减少的位置和在最终成为恒定值之前得到亮度(P21)的位置之间。另外,根据在图13示出的第二亮度曲线,能够确定校正目标10位于第二特定位置,该第二特定位置位于亮度从恒定值(P31)开始减少的位置和在最终成为恒定值之前得到亮度(P41)的位置之间。
另外,在使用这样的校正目标10的情况下,能够确定校正目标10的中心点6。在此情况下,确定第一亮度曲线上的两个边缘P11及P21的中点为水平方向上的中心。另外,确定第二亮度曲线上的两个边缘P31及P41的中点为铅垂方向上的中心。这样,即使是在图13中示出那样的单纯的校正目标10,本发明的校正目标检测装置200也能够恰当地对其进行检测。另外,对于在图13中示出的校正目标10,该校正目标10的内部的四角形也可以是圆形,显然也可以是其他形状。即使是这样的校正目标10,也能够恰当地确定校正目标10的位置及中心点6。
在上述实施方式中,说明了测光部21对设在车载照相机20的取景图像内的测光区域RM的亮度进行检测的情况。即,说明了使用暂时存储在车载照相机20的缓存器等中的拍摄图像来检测亮度的情况。然而,本发明的适用范围并不限定于此。也能够采用如下结构,即,对特定拍摄图像设定测光区域RM并检测亮度,该特定拍摄图像是由车载照相机20暂时获取的拍摄图像,即,保存在车载照相机20的存储器等中的拍摄图像。这样进行校正 的校正目标检测装置200,也显然在本申请的发明的权利范围内。
在上述实施方式中,说明了测光区域设定部22将测光区域RM的宽度方向上的长度设定为8像素的情况。另外,说明了设定滑动移动的移动量是1个像素的情况。这些只不过是例示。从而,也可以设定为其他的量,并且在滑动移动的情况下,显然也可以采用设定成先检测的测光区域RM和之后设定的测光区域RM完全不重复的结构。
在上述实施形方式中,对校正目标检测装置200以及对校正目标10进行检测的方法进行了说明。在本发明中,除了这些发明以外,还将优选用在校正目标检测装置200中的校正指标目标检测装置200的程序作为权利范围。该程序的特征结构在于,使计算机执行测光区域设定功能和检测功能,进一步,使计算机执行曲线生成功能和位置计算功能。所述测光区域设定功能是指设定长条形状的测光区域RM的功能;所述检测功能是指检测测光区域RM的测光信息的功能;所述曲线生成功能是指,使将规定的一个方向作为长边方向的长条形状的测光区域RM,沿与一个方向正交的另一方向进行扫描,由此生成表示在该另一方向上的测光信息的变化的第一曲线,并且,使将另一方向作为长边方向的长条形状的测光区域RM,沿一个方向进行扫描,由此生成表示在该一个方向上的测光信息的变化的第二曲线的功能;所述位置计算功能是指,基于第一曲线及第二曲线的特征点,来计算由车载照相机20获取的拍摄图像所含的用于校正车载照相机20校正目标10的位置的功能。与作为上述的本发明的对象的用于检测校正目标10的校正目标检测方法同样地,用于这种校正目标检测装置200的程序,也能够得到上述的作用及效果,且也能够具有上述的各种附加的特征结构。
在上述实施方式中,说明了一个方向是铅垂方向且另一方向是水平方向的情况。然而,本发明的适用范围并不限定于此。显然也可以将一个方向作为水平方向,并将另一方向作为铅垂方向。另外,显然也可以将一个方向及另一方向作为除了水平方向及铅垂方向以外的方向。即,只要一个方向和另一方向是相互正交的方向即可。
在上述实施方式中,说明了以如下技术设定测光区域RM的情况,即,测光区域设定部22使用坐标来设定该测光区域RM,使得测光区域RM在校正目标存在区域F内滑动移动。然而,本发明的适用范围并不限定于此。显 然也可以例如使测光区域设定部22基于用户的外部输入来设定测光区域RM。若采用这样的结构,对车载照相机20进行校正的用户能够任意地设定测光区域RM。
在上述实施方式中,说明了将校正目标10配设在屏风形状的情况。然而,本发明的适用范围并不限定于此。例如即使是喷涂在地面上的校正目标10,显然也能够由本校正目标检测装置200对校正目标10进行检测。
在上述实施方式中,说明了如下情况,即,在基于第一亮度曲线及第二亮度曲线的特征点来确定校正目标10的位置及中心时,考虑测光区域RM的宽度来进行确定。然而,本发明的适用范围并不限定于此。在测光区域RM的宽度小的情况下,显然也可以忽略该宽度而确定校正目标10的位置及中心。
即,针对在图7中示出的第一亮度曲线,能够确定校正目标10存在于亮度从恒定值(P1)开始变小的位置和最终亮度成为恒定值的位置之间,且能够将得到了峰值PH的位置确定为校正目标10的交点6。另外,针对在图8中示出的第二亮度曲线,能够确定校正目标10存在于亮度从恒定值(P3)开始变小的位置和最终亮度成为恒定值的位置之间,且能够将得到了峰值PV的位置确定为校正目标10的交点6。显然也能够这样忽略测光区域RM的宽度而确定校正目标10的位置及中心。
在上述实施方式中,说明了检测部21是测光部21且测光区域RM的测光信息是测光区域RM的亮度的情况。然而,本发明的适用范围并不限定于此。显然也可以将测光区域RM的颜色信息作为测光区域RM的测光信息。在此情况下,优选例如在装置一侧将校正目标10的颜色区分为已知的蓝色和红色,由此检测测光区域RM的平均颜色信息。这样的结构,也能够恰当地确定校正目标10的位置。
在上述实施方式中,通过在水平方向上及在铅垂方向上分别扫描一次来确定了校正目标10,但本发明的适用范围并不限定于此。也可以通过在水平方向上及在铅垂方向上分别扫描一次,来首先大体上确定校正目标10的存在区域,接着在确定的区域内再次在水平方向上及在铅垂方向上分别进行扫描。即,也可以重复进行扫描。通过这样重复进行,能够更加高精度地确定校正目标10。
在上述实施方式中,说明了通过在水平方向上及在铅垂方向上扫描一个校正目标10来确定该校正目标10的中心点6的情况。然而,本发明的适用范围并不限定于此。例如,图14如所示,也可以使用上下排列配置的水平方向用的校正目标10和铅垂方向用的校正目标10。在此情况下,如图14所示,首先,在铅垂方向上扫描配置在上侧的铅垂方向用的校正目标10,由此检测在铅垂方向上的基准线(在图14中用横向虚线示出)。接着,如图14所示,在水平方向上扫描配置在下侧的水平方向用的校正目标10,由此检测在水平方向上的基准线(在图14中用纵向虚线示出)。然后,根据上述在铅垂方向上的基准线和在水平方向上的基准线,能够确定交差的点为中心点6。使用这样的校正目标10的情况,显然也能够恰当地确定校正目标10的位置。
产业上的可利用性
本发明能够用于以不增加存储容量的低成本来实现的校正目标检测装置、检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序。
附图标记的说明
20:车载照相机
21:测光部(检测部)
22:测光区域设定部
23:亮度曲线生成部(曲线生成部)
30:位置计算部
40:照相机修正角度计算部
41:描画部
42:显示器
200:校正目标检测装置
300:校正装置
Claims (9)
1.一种校正目标检测装置,其特征在于,
具有:
测光区域设定部,其用于设定长条形状的测光区域;
检测部,其用于检测所述测光区域的测光信息;
曲线生成部,其用于使将规定的一个方向作为长边方向的长条形状的测光区域,沿与所述一个方向正交的另一方向进行扫描,由此生成表示在所述另一方向上的测光信息的变化的第一曲线,并且,使将所述另一方向作为长边方向的长条形状的测光区域,沿所述一个方向进行扫描,由此生成表示在所述一个方向上的测光信息的变化的第二曲线;
位置计算部,其基于所述第一曲线及所述第二曲线的特征点,来计算由车载照相机获取的拍摄图像所包含的用于校正所述车载照相机的校正目标的位置或该校正目标的规定部位的位置。
2.根据权利要求1记载的校正目标检测装置,其特征在于,所述测光区域的测光信息是测光区域的亮度。
3.根据权利要求1记载的校正目标检测装置,其特征在于,所述测光区域的测光信息是测光区域的颜色信息。
4.根据权利要求1至3中的任一项记载的校正目标检测装置,其特征在于,所述校正目标,相对于所述车载照相机的视场的水平面及与该水平面相垂直的垂直面而形成有角度,且由形成交点的至少两条直线分割的区域被涂色成不同颜色相间的图案。
5.根据权利要求1至3中的任一项记载的校正目标检测装置,其特征在于,所述检测部基于预先设定的规定的阈值来进行曝光调整。
6.根据权利要求1至3中的任一项记载的校正目标检测装置,其特征在于,所述特征点是包含在所述第一曲线及所述第二曲线中的边缘及两个边缘的中点中的至少任意一方。
7.根据权利要求1至3中的任一项记载的校正目标检测装置,其特征在于,所述检测部所检测的区域,是作为所述车载照相机的拍摄图像的一部分的校正目标存在区域。
8.根据权利要求7记载的校正目标检测装置,其特征在于,基于所述车载照相机的安装公差来设定所述校正目标存在区域。
9.一种校正目标检测方法,其特征在于,
具有:
测光区域设定工序,设定长条形状的测光区域;
检测工序,检测所述测光区域的测光信息;
曲线生成工序,使将规定的一个方向作为长边方向的长条形状的测光区域,沿与所述一个方向正交的另一方向进行扫描,由此生成表示在所述另一方向上的测光信息的变化的第一曲线,并且,使将所述另一方向作为长边方向的长条形状的测光区域,沿所述一个方向进行扫描,由此生成表示在所述一个方向上的测光信息的变化的第二曲线;
位置计算工序,基于所述第一曲线及所述第二曲线的特征点,来计算由车载照相机获取的拍摄图像所包含的用于校正所述车载照相机的校正目标的位置或该校正目标的规定部位的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009128206A JP5471038B2 (ja) | 2009-05-27 | 2009-05-27 | 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム |
JP2009-128206 | 2009-05-27 | ||
PCT/JP2010/052448 WO2010137364A1 (ja) | 2009-05-27 | 2010-02-18 | 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102450005A CN102450005A (zh) | 2012-05-09 |
CN102450005B true CN102450005B (zh) | 2014-08-20 |
Family
ID=43222490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080023236.7A Expired - Fee Related CN102450005B (zh) | 2009-05-27 | 2010-02-18 | 校正目标检测装置、检测校正目标的校正目标检测方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8605156B2 (zh) |
EP (1) | EP2437495B1 (zh) |
JP (1) | JP5471038B2 (zh) |
KR (1) | KR101419721B1 (zh) |
CN (1) | CN102450005B (zh) |
WO (1) | WO2010137364A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5091902B2 (ja) * | 2009-03-31 | 2012-12-05 | アイシン精機株式会社 | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム |
FR2979989B1 (fr) * | 2011-09-13 | 2016-01-08 | Fb Technology | Equipement mobile de controle des feux de balisage aeroportuaire |
JP5959311B2 (ja) * | 2012-05-25 | 2016-08-02 | 富士通テン株式会社 | データ導出装置、及び、データ導出方法 |
JP5820787B2 (ja) * | 2012-08-30 | 2015-11-24 | 株式会社デンソー | 画像処理装置、及びプログラム |
JP6009894B2 (ja) * | 2012-10-02 | 2016-10-19 | 株式会社デンソー | キャリブレーション方法、及びキャリブレーション装置 |
US9648249B2 (en) * | 2013-11-20 | 2017-05-09 | Canon Kabushiki Kaisha | Image capturing apparatus, method of controlling the same, and storage medium |
FR3015660B1 (fr) * | 2013-12-19 | 2020-06-05 | Continental Automotive France | Procede, support et systeme de calibration d'une camera d'un vehicule |
CN104019752B (zh) * | 2014-05-29 | 2015-11-25 | 京东方科技集团股份有限公司 | 显示屏的厚度均匀性检测方法、装置及系统 |
KR101594740B1 (ko) | 2015-09-08 | 2016-02-26 | 김종길 | 충돌물체 좌표산정용 디스플레이 시스템 및 그 구동방법 |
EP3174007A1 (en) * | 2015-11-30 | 2017-05-31 | Delphi Technologies, Inc. | Method for calibrating the orientation of a camera mounted to a vehicle |
EP3173979A1 (en) | 2015-11-30 | 2017-05-31 | Delphi Technologies, Inc. | Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern |
JP6319670B2 (ja) * | 2016-03-11 | 2018-05-09 | パナソニックIpマネジメント株式会社 | 監視カメラおよびこれを備えた監視カメラシステム |
CN107590877A (zh) * | 2016-07-08 | 2018-01-16 | 昆山研达电脑科技有限公司 | 行车记录仪拍摄角度的自动检测系统及方法 |
JP6211157B1 (ja) | 2016-09-01 | 2017-10-11 | 三菱電機株式会社 | キャリブレーション装置およびキャリブレーション方法 |
EP3534333A1 (en) | 2018-02-28 | 2019-09-04 | Aptiv Technologies Limited | Method for calibrating the position and orientation of a camera relative to a calibration pattern |
EP3534334B1 (en) | 2018-02-28 | 2022-04-13 | Aptiv Technologies Limited | Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern |
WO2019176391A1 (ja) * | 2018-03-15 | 2019-09-19 | 株式会社Jvcケンウッド | ドライブレコーダ、表示制御方法およびプログラム |
JP6956051B2 (ja) * | 2018-09-03 | 2021-10-27 | 株式会社東芝 | 画像処理装置、運転支援システム、画像処理方法及びプログラム |
KR20200050612A (ko) * | 2018-11-02 | 2020-05-12 | 현대자동차주식회사 | 차량용 레이더의 영점 조절 장치 및 그 방법 |
JP7215231B2 (ja) * | 2019-03-04 | 2023-01-31 | トヨタ自動車株式会社 | 情報処理装置、検知方法及びプログラム |
US20210150757A1 (en) * | 2019-11-20 | 2021-05-20 | Nvidia Corporation | Training and inferencing using a neural network to predict orientations of objects in images |
WO2022254629A1 (ja) * | 2021-06-02 | 2022-12-08 | 三菱電機株式会社 | エレベーターのカメラの調整支援システム |
GB2623505A (en) * | 2022-10-14 | 2024-04-24 | Belron Int Ltd | Method for assessing illumination set-up for vehicle system calibration |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101014119A (zh) * | 2006-02-08 | 2007-08-08 | 财团法人工业技术研究院 | 车辆辅助监视装置与方法 |
CN101340565A (zh) * | 2007-07-04 | 2009-01-07 | 索尼株式会社 | 摄像系统和校正摄像机装配误差的方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09153139A (ja) * | 1995-11-30 | 1997-06-10 | Sanyo Electric Co Ltd | 映像信号処理装置 |
JPH09189513A (ja) * | 1996-01-10 | 1997-07-22 | Kawasaki Heavy Ind Ltd | マーカ重心計測方法および装置 |
US6137893A (en) | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
JP3565749B2 (ja) * | 1999-09-22 | 2004-09-15 | 富士重工業株式会社 | 車載カメラの撮像方向の検査方法およびその検査装置 |
JP2002288661A (ja) * | 2001-03-27 | 2002-10-04 | Advantest Corp | 画像検出方法、画像検出装置及びウェハ処理装置 |
JP4015051B2 (ja) * | 2002-04-22 | 2007-11-28 | 松下電器産業株式会社 | カメラ補正装置 |
JP4767052B2 (ja) | 2006-03-22 | 2011-09-07 | ダイハツ工業株式会社 | 光軸ずれ検出装置 |
JP4803449B2 (ja) * | 2006-11-17 | 2011-10-26 | アイシン精機株式会社 | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 |
US9007478B2 (en) * | 2007-01-09 | 2015-04-14 | Capso Vision, Inc. | Methods to compensate manufacturing variations and design imperfections in a capsule camera |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
WO2009067121A1 (en) * | 2007-11-23 | 2009-05-28 | Hewlett-Packard Development Company, L.P. | Camera sensor system self-calibration |
-
2009
- 2009-05-27 JP JP2009128206A patent/JP5471038B2/ja active Active
-
2010
- 2010-02-18 US US13/265,103 patent/US8605156B2/en not_active Expired - Fee Related
- 2010-02-18 EP EP10780324.9A patent/EP2437495B1/en not_active Not-in-force
- 2010-02-18 KR KR1020117030887A patent/KR101419721B1/ko active IP Right Grant
- 2010-02-18 CN CN201080023236.7A patent/CN102450005B/zh not_active Expired - Fee Related
- 2010-02-18 WO PCT/JP2010/052448 patent/WO2010137364A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101014119A (zh) * | 2006-02-08 | 2007-08-08 | 财团法人工业技术研究院 | 车辆辅助监视装置与方法 |
CN101340565A (zh) * | 2007-07-04 | 2009-01-07 | 索尼株式会社 | 摄像系统和校正摄像机装配误差的方法 |
Non-Patent Citations (2)
Title |
---|
JP特开2008-131177A 2008.06.05 |
JP特开平9-189513A 1997.07.22 |
Also Published As
Publication number | Publication date |
---|---|
KR101419721B1 (ko) | 2014-07-17 |
JP5471038B2 (ja) | 2014-04-16 |
CN102450005A (zh) | 2012-05-09 |
KR20120036317A (ko) | 2012-04-17 |
WO2010137364A1 (ja) | 2010-12-02 |
EP2437495A4 (en) | 2013-06-12 |
US8605156B2 (en) | 2013-12-10 |
EP2437495B1 (en) | 2016-11-02 |
JP2010276429A (ja) | 2010-12-09 |
US20120033087A1 (en) | 2012-02-09 |
EP2437495A1 (en) | 2012-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102450005B (zh) | 校正目标检测装置、检测校正目标的校正目标检测方法 | |
EP3367677B1 (en) | Calibration apparatus, calibration method, and calibration program | |
US8842181B2 (en) | Camera calibration apparatus | |
WO2021259151A1 (zh) | 一种激光标定系统的标定方法、装置以及激光标定系统 | |
EP1343332B1 (en) | Stereoscopic image characteristics examination system | |
JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
JP4725391B2 (ja) | 車両用視程測定装置、及び運転支援装置 | |
US8401274B2 (en) | Image processing apparatus and method | |
CN101770646B (zh) | 基于Bayer RGB图像的边缘检测方法 | |
LU502288B1 (en) | Method and system for detecting position relation between vehicle and lane line, and storage medium | |
KR101205428B1 (ko) | 타겟 위치 특정 장치 | |
EP2416558A1 (en) | Calibration indicator used for calibration of onboard camera, calibration method of onboard camera using calibration indicator, and program for calibration device of onboard camera using calibration indicator | |
JP2010085186A (ja) | 車載カメラの校正装置 | |
CN111508027A (zh) | 摄像机外参标定的方法和装置 | |
US10955235B2 (en) | Distance measurement apparatus and distance measurement method | |
CN108537730A (zh) | 一种图像拼接方法 | |
US11403770B2 (en) | Road surface area detection device | |
US20200366883A1 (en) | Stereo camera device | |
JP2011228857A (ja) | 車載カメラ用キャリブレーション装置 | |
CN102713511A (zh) | 车辆用距离计算装置 | |
JP2000321039A (ja) | 塗装欠陥検査装置及び方法 | |
JP2005159436A (ja) | 車両用画像処理装置 | |
CN109565544B (zh) | 位置指定装置及位置指定方法 | |
JP5278352B2 (ja) | 車両用画像処理装置 | |
JP4340868B2 (ja) | 位置検出装置及び位置検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140820 Termination date: 20210218 |
|
CF01 | Termination of patent right due to non-payment of annual fee |