CN105765963B - 照相机校正装置 - Google Patents

照相机校正装置 Download PDF

Info

Publication number
CN105765963B
CN105765963B CN201480064709.6A CN201480064709A CN105765963B CN 105765963 B CN105765963 B CN 105765963B CN 201480064709 A CN201480064709 A CN 201480064709A CN 105765963 B CN105765963 B CN 105765963B
Authority
CN
China
Prior art keywords
mentioned
camera
mark
image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480064709.6A
Other languages
English (en)
Other versions
CN105765963A (zh
Inventor
坂野盛彦
青木利幸
冈田司
佐藤启二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN105765963A publication Critical patent/CN105765963A/zh
Application granted granted Critical
Publication of CN105765963B publication Critical patent/CN105765963B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

一种照相机校正装置，其通过至少2个照相机拍摄至少1个标识，根据至少2个照相机的拍摄图像对至少2个照相机的设置状态进行校正，该照相机校正装置具备：提取部，其根据至少2个照相机的拍摄图像提取至少1个标识的特征量；一次校正部，其根据特征量，在标识坐标系中分别计算出至少2个照相机的各位置；以及二次校正部，其将通过一次校正部计算出的标识坐标系中的各照相机的位置坐标变换为车辆坐标系中的各照相机的位置。

Description

照相机校正装置
技术领域
本发明涉及一种照相机校正装置。
背景技术
为了使驾驶员等识别车辆周围的状况，已知如下的俯视显示装置，其通过多个照相机拍摄车辆的全部周围，将从各照相机得到的拍摄图像变换为俯视图像，将合成多个俯视图像而得的合成图像显示在监视器上。在这样的俯视显示装置中，需要在俯视图像之间细致地进行对位，因此要求高精度地校正(校准)照相机的设置状态、例如照相机的设置位置和设置角度。在专利文献1中公开了如下的照相机调整装置，其判别是否恰当地拍摄了配置在车辆周围的预定位置的校正用标识，在判别为没有恰当地拍摄时，引导输出不恰当的校正用标识的状态和恰当的对策。
现有技术文献
专利文献1：日本特开2011-25840号公报
发明内容
发明要解决的问题
本发明高精度地校正拍摄俯视图像合成用拍摄图像的至少2个照相机的设置状态。
用于解决课题的方案
根据本发明的第一方式，一种照相机校正装置，其通过至少2个照相机拍摄至少1个标识，根据至少2个照相机的拍摄图像对至少2个照相机的设置状态进行校正，该照相机校正装置具备：提取部，其根据至少2个照相机的拍摄图像提取至少1个标识的特征量；一次校正部，其根据特征量，在标识坐标系中分别计算出至少2个照相机的各位置；以及二次校正部，其将通过一次校正部计算出的标识坐标系中的各照相机的位置坐标变换为车辆坐标系中的各照相机的位置。
发明效果
根据本发明，不物理地调整拍摄俯视图像合成用拍摄图像的至少2个照相机的设置状态，而能够根据至少2个拍摄图像生成俯视图像，因此在车辆出厂后，能够在销售商的修理工厂、用户的停车场，或在交付目的地组装大型车辆的现场等高精度地进行校正。
附图说明
图1是表示使用本发明的第一实施方式的照相机校正装置进行照相机的校正的环境的一个例子的图。
图2是表示通过本发明的第一实施方式的照相机校正装置进行的校正而高精度地合成的俯视图像的一个例子的图。
图3是表示本发明的第一实施方式的照相机校正装置的一个结构例子的框图。
图4是表示图像恰当判定部的一个结构例子的框图。
图5是表示修正图像的一个例子的图。
图6是表示校正部的一个结构例子的图。
图7是表示标识坐标系的一个例子的图。
图8是表示校正恰当判定部的一个结构例子的图。
图9是表示状态解析部的一个结构例子的图。
图10是与照相机校正装置的动作例子有关的流程图。
图11是与图像恰当判定部有关的流程图的一个例子。
图12是与本发明的第一实施方式的照相机校正装置的校正部有关的流程图。
图13是与校正恰当判定部有关的流程图。
图14是与状态解析部有关的流程图。
图15是表示使用本发明的第二实施方式的照相机校正装置进行照相机的校正的环境的一个例子的图。
图16是表示通过本发明的第二实施方式的照相机校正装置进行的校正而高精度地合成的俯视图像的一个例子的图。
图17是与本发明的第二实施方式的照相机校正装置的校正部有关的流程图。
具体实施方式
(第一实施方式)
图1表示使用本发明的第一实施方式的照相机校正装置进行照相机的校正的环境的一个例子。在图1中，车辆201例如是轿车，停放在销售商的工厂或用户的自家的停车场等。在车辆201上设置有照相机102a、102b、102c、102d。
车载装置100被安装在车辆201上，与照相机102a～102d连接。照相机102a～102d例如由鱼眼照相机等广角照相机构成，朝向车辆201周边的地面。照相机102a被设置在车辆201的前部，每一帧地拍摄车辆201前方的拍摄范围202a，向车载装置100输出拍摄图像A1。照相机102b被设置在车辆201的后部，每一帧地拍摄车辆201后方的拍摄范围202b，向车载装置100输出拍摄图像B1。照相机102c被设置在车辆201的左侧，每一帧地拍摄车辆201左侧方的拍摄范围202c，向车载装置100输出拍摄图像C1。照相机102d被设置在车辆201的右侧，每一帧地拍摄车辆201的右侧方的拍摄范围202d，向车载装置100输出拍摄图像D1。照相机102a被设置在车辆前部中央，其光轴朝向车辆前方，照相机102b被设置在车辆后部中央，其光轴朝向车辆后方。在车辆前后方向，照相机102c的光轴朝向车辆左侧方，照相机102d的光轴朝向车辆右侧方。
车载装置100根据照相机102a～102d的拍摄图像A1～D1，生成图2所示那样的车辆201周围的俯视图像250，并显示在设置于驾驶座的显示部中。具体地，图2所示的俯视图像250具有图像区域250a、图像区域250b、图像区域250c、图像区域250d。根据照相机102a输出的拍摄图像A1生成图像区域250a的图像。根据照相机102b输出的拍摄图像B1生成图像区域250b的图像。根据照相机102c输出的拍摄图像C1生成图像区域250c的图像。根据照相机102d输出的拍摄图像D1生成图像区域250d的图像。此外，图2的X1轴和Y1轴是车辆坐标系，坐标原点是车辆前部中央的预定地上高度位置。在设计上，将照相机102a的中心位置设定为坐标原点。用Z1轴的坐标值表示车辆的高度方向，但在图2中省略了图示。用车辆坐标系的坐标值(x，y，z)规定照相机102a～102d的设置位置，用角度(θroll，θpitch，θyaw)规定设置角度。θroll是照相机光轴的滚转(roll)角度，θpitch是照相机光轴的俯仰(pitch)角度，θyaw是照相机光轴的偏航(yaw)角度。
车载装置100例如在停放车辆201时显示俯视图像250，由此向驾驶员提供与车辆201的周围环境有关的信息。车载装置100为了恰当地生成俯视图像250，而校正照相机102a～102d的设置状态。
在图1中，服务人员为了校正照相机102a～102d的设置状态，而将预定的校正用标识101a、101b、101c、101d分别设置在车辆201的右侧前方、左侧前方、右侧后方、左侧后方的地面。校正用标识101a～101d例如是矩形的薄平板，在各自的表面具有涂黑的矩形形状的图形。此外，在图1中，以影线表现矩形形状图形的涂黑。
对于拍摄范围202a和拍摄范围202d，其一部分在车辆201的右侧前方重合，将它们重合的范围称为公共拍摄范围203a。对于拍摄范围202a和拍摄范围202c，其一部分在车辆201的左侧前方重合，将它们重合的范围称为公共拍摄范围203b。对于拍摄范围202b和拍摄范围202d，其一部分在车辆201的右侧后方重合，将它们重合的范围称为公共拍摄范围203c。对于拍摄范围202b和拍摄范围202c，其一部分在车辆201的左侧后方重合，将它们重合的范围称为公共拍摄范围203d。在图1中，用粗线图示了各个公共拍摄范围203a～203d。
为了恰当地校正照相机102a～102d的设置状态，即照相机102a～102d的设置位置和设置角度，如图1所示，需要将校正用标识101a、101b、101c、101d分别设置在公共拍摄范围203a、203b、203c、203d的内侧。
公共拍摄范围203a～203d的位置与照相机102a～102d的设置状态对应地变化。校正手册记载了以车辆201为基准的表示公共拍摄范围203a～203d的大致位置的概要范围。服务人员依照校正手册，将校正用标识101a～101d设置在该概要范围的内侧。另外，还将该概要范围预先存储在车载装置100中。此外，如果使具有矩形形状的图形的表面朝向铅垂上方(纸面垂直方向)，则可以向任意的方向设置校正用标识101a～101d。
校正用标识101a～101d的矩形形状的图形的4边的长度L被记载在校正手册中，是服务人员可知的已知数据。以后，将矩形上的图形的四个角称为特征点。
图3是本发明的第一实施方式的照相机校正装置即车载装置100的模块结构图。车载装置100具备图像取得部103、输入部104、图像恰当判定部105、校正部106、校正恰当判定部107、状态解析部108、显示部109、俯视图像生成部110以及微调整部111。
图像取得部103从照相机102a～102d分别取得拍摄图像A1、B1、C1、D1，并将该拍摄图像A1～D1存储在未图示的存储器中。
输入部104例如是鼠标、键盘、触摸屏等输入装置。服务人员使用输入部104依照校正手册输入照相机102a～102d的校正所需要的参数，进行用于开始校正的操作。照相机102a～102d的校正所需要的参数例如是校正用标识101a～101d的矩形形状的图形的四边的长度L、照相机102a～102d的照相机镜头的特性等。将与输入操作对应的信息输入到图像恰当判定部105、校正部106、微调整部111。
图像恰当判定部105判定通过图像取得部103取得的拍摄图像A1～D1是否恰当。图像恰当判定部105针对拍摄图像A1～D1修正因照相机102a～102d的照相机镜头的特性产生的失真，生成修正图像A2～D2(后述)。然后，图像恰当判定部105根据修正图像A2～D2检测校正用标识101a～101d的特征点，计算拍摄图像A1～D1的特征点的坐标。以后，将修正图像A2～D2中的特征点的坐标称为特征点坐标。图像恰当判定部105根据特征点坐标是否位于上述概要范围内，来判定图像是否恰当。
校正部106根据图像恰当判定部105计算出的校正用标识101a～101d的特征点坐标，来计算俯视图像250的车辆坐标系中的照相机102a～102d的设置位置和设置角度。然后，校正部106调整设置位置和设置角度的各设定值以便通过俯视图像生成部110恰当地生成俯视图像250。
校正恰当判定部107根据后述的方法判定校正部106进行的校正结果是否恰当。校正恰当判定部107的判定结果被输出到状态解析部108。另外，校正恰当判定部107使显示部109显示该判定结果。
状态解析部108根据图像恰当判定部105、校正部106、校正恰当判定部107的输出，解析照相机102a～102d的设置状态的校正失败的原因。状态解析部108向显示部109输出用于消除解析结果所判明的原因的对策方法，向服务人员进行指示。
俯视图像生成部110根据修正图像A2～D2生成俯视图像250。将存储有修正图像A2～D2的像素与俯视图像250上的像素之间的对应关系的映射表存储在车载装置100中。俯视图像生成部110参照该映射表，将修正图像A2～D2坐标变换为俯视图像250。根据校正后的照相机102a～102d的设置位置和设置角度，通过校正部106调整映射表。
微调整部111在显示部109中显示俯视图像和调整照相机的设置位置、设置角度的调整画面，使服务人员实施照相机的设置位置和设置角度的微调整。微调整部111与服务人员经由输入部104的输入的操作对应地，调整照相机102a～102d的设置位置和设置角度。
如果服务人员设置校正用标识101a～101d，使用输入部104指示车载装置100的校正的开始，则在显示部109中显示用于输入照相机102a～102d的校正所需要的参数的输入画面。如果服务人员完成了参数的输入，则开始图像取得部103进行的拍摄图像A1～D1的取得。与拍摄图像A1～D1的取得开始对应地，图像恰当判定部105也开始动作，判定拍摄图像A1～D1是否恰当。在判定为拍摄图像A1～D1恰当的情况下，校正部106动作，计算照相机102a～102d的设置位置和设置角度。校正恰当判定部107判定校正部106进行的校正是否恰当。
在通过图像恰当判定部105判定为拍摄图像不恰当的情况下，或通过校正恰当判定部107判定为校正不恰当的情况下，状态解析部108解析照相机102a～102d的设置状态的校正失败的原因。例如，状态解析部108解析校正用标识101a～101d的设置位置从公共拍摄范围203a～203d脱离的原因。状态解析部108将与解析结果对应的对策方法显示在显示部109中。服务人员进行显示在显示部109中的对策，再次尝试照相机102a～102d的校正。
(图像恰当判定部105)
如图4所示，图像恰当判定部105具备修正图像生成部151、校正标识识别部152、特征点坐标计算部153、图像判定部154以及特征点输入请求部155。
修正图像生成部151针对拍摄图像A1～D1修正因照相机102a～102d的照相机镜头的特性产生的失真，生成修正图像A2～D2。预先设定与因照相机102a～102d的照相机镜头的特性产生的失真有关的信息。照相机102a～102d的镜头是鱼眼镜头那样的焦距短的镜头，拍摄图像失真。因此，为了作为俯视图像而显示在显示监视器上，需要修正失真。因此，修正图像生成部151利用上述的映射表进行失真修正。
图5是表示修正图像A2的一个例子的图。在修正图像A2中包含如图1所示那样位于拍摄范围202a的内侧的校正用标识101a和101b的像。另外，用多个像素描绘修正图像A2，但通过正交坐标系即XA2轴-YA2轴修正图像坐标系来表示这些像素。
校正标识识别部152应用模版匹配、SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)等公知的图像识别单元，根据修正图像A2～D2检测校正用标识101a～101d。在图5的例子中，校正标识识别部152根据修正图像A2，检测校正用标识101a和校正用标识101b。具体地，校正标识识别部152按如下方式检测校正用标识101a～101d。即，根据修正图像A2和修正图像D2分别检测校正用标识101a。根据修正图像A2和修正图像C2分别检测校正用标识101b。根据修正图像B2和修正图像D2分别检测校正用标识101c。根据修正图像B2和修正图像C2分别检测校正用标识101d。
特征点坐标计算部153计算检测出的校正用标识101a～101d的特征点作为修正图像坐标系上的坐标值。即，特征点坐标计算部153计算校正用标识101a～101d的特征点坐标。在图5的例子中，分别计算校正用标识101a的特征点P(a，i)(i是四个角的编号，是1～4的整数)的修正图像坐标系上的坐标和校正用标识101b的特征点P(b，i)的修正图像坐标系上的坐标即特征点坐标。
根据检测出校正用标识101a～101d的2个修正图像分别计算校正用标识101a～101d的各特征点坐标。即，在修正图像A2的修正图像坐标系上和修正图像D2的修正图像坐标系上分别计算校正用标识101a的特征点坐标。同样，在修正图像A2的修正图像坐标系上和修正图像C2的修正图像坐标系上分别计算校正用标识101b的特征点坐标。在修正图像B2的修正图像坐标系上和修正图像D2的修正图像坐标系上分别计算校正用标识101c的特征点坐标。在修正图像B2的修正图像坐标系上和修正图像C2的修正图像坐标系上分别计算校正用标识101d的特征点坐标。
图像判定部154判定校正用标识101a～101d的全部特征点坐标是否位于上述概要范围内。图像恰当判定部105在判定为校正用标识101a～101d的全部特征点坐标位于概要范围内的情况下，判定为拍摄图像A1～D1恰当。另一方面，图像恰当判定部105例如在校正用标识101a～101d中的任意一个特征点坐标位于概要范围外的情况下，判定为拍摄图像A1～D1不恰当。
图像恰当判定部105在通过图像判定部154判定为拍摄图像A1～D1恰当的情况下，向校正部106和状态解析部108输出校正用标识101a～101d的特征点坐标。
图像恰当判定部105在通过图像判定部154判定为拍摄图像A1～D1不恰当的情况下，向状态解析部108输出与校正用标识101a～101d的特征点坐标有关的信息以及与没有检测出特征点坐标的校正用标识有关的信息。
在拍摄图像A1～D1过亮而产生发白的情况下，校正标识识别部152有可能无法识别校正用标识101a～101d。另外，在拍摄图像A1～D1过暗而产生发黑的情况等下，校正标识识别部152也有可能无法识别校正用标识101a～101d。特征点输入请求部155在校正标识识别部152无法识别校正用标识101a～101d的情况下，使服务人员指定特征点的位置。例如，特征点输入请求部155将无法识别校正用标识101a～101d的修正图像显示在显示部109中，并且经由输入部104接受特征点的输入。特征点输入请求部155针对服务人员指定的特征点，计算特征点坐标。
(校正部106)
图6是校正部106的模块结构图。图6所示的校正部106具备一次校正部160a、二次校正部160b、映射表更新部166。一次校正部160a根据修正图像坐标系中的校正用标识101a～101d的特征点坐标，分别计算被称为标识坐标系的坐标系中的照相机102a～102d的位置。二次校正部160b将通过一次校正部160a计算出的标识坐标系中的各照相机的位置坐标变换为车辆坐标系中的各照相机的位置。一次校正部160a具备单应矩阵计算部161、最佳化处理部162。二次校正部160b具备坐标系综合部163、误差分配部164以及参数修正部165。
如图7所示，标识坐标系是对每个校正用标识101a～101d设置的坐标系，在校正用标识101a～101d的表面的预定位置具有原点，在校正用标识101a～101d的表面具有平行并且相互正交的2个轴。图7所示的标识坐标系是设置在校正用标识101a的表面的坐标系，以特征点P(a，1)为原点，以相互正交的方式设定有XA3轴和YA3轴。
单应(homography)矩阵计算部161运算单应矩阵，其中，该单应矩阵是用于将修正图像坐标系中的校正用标识101a～101d的特征点坐标坐标变换为被称为标识坐标系的坐标系。
对于单应矩阵，对每个修正图像A2～D2个别地运算，并且对每个校正用标识101a～101d个别地运算。即，校正部106运算如下的8个单应矩阵。
(1.1)将修正图像A2的修正图像坐标系中的校正用标识101a的特征点坐标变换为校正用标识101a的标识坐标系中的坐标的单应矩阵H(A2，a)。
(1.2)将修正图像A2的修正图像坐标系中的校正用标识101b的特征点坐标变换为校正用标识101b的标识坐标系中的坐标的单应矩阵H(A2，b)。
(1.3)将修正图像B2的修正图像坐标系中的校正用标识101c的特征点坐标变换为校正用标识101c的标识坐标系中的坐标的单应矩阵H(B2，c)。
(1.4)将修正图像B2的修正图像坐标系中的校正用标识101d的特征点坐标变换为校正用标识101d的标识坐标系中的坐标的单应矩阵H(B2，d)。
(1.5)将修正图像C2的修正图像坐标系中的校正用标识101b的特征点坐标变换为校正用标识101b的标识坐标系中的坐标的单应矩阵H(C2，b)。
(1.6)将修正图像C2的修正图像坐标系中的校正用标识101d的特征点坐标变换为校正用标识101d的标识坐标系中的坐标的单应矩阵H(C2，d)。
(1.7)将修正图像D2的修正图像坐标系中的校正用标识101a的特征点坐标变换为校正用标识101a的标识坐标系中的坐标的单应矩阵H(D2，a)。
(1.8)将修正图像D2的修正图像坐标系中的校正用标识101c的特征点坐标变换为校正用标识101c的标识坐标系中的坐标的单应矩阵H(D2，c)。
说明单应矩阵H(A2，a)的计算方法和校正用标识101a的标识坐标系中的照相机的设置位置和设置角度的计算方法。
将世界坐标系坐标变换为修正图像A2的修正图像坐标系的方式为(公式1)。(u，v)表示修正图像A2的修正图像坐标系中的坐标，(x，y，z)表示世界坐标系中的坐标。世界坐标系的原点与标识坐标系的原点一致。世界坐标系的坐标轴具有标识坐标系的XA3轴和YA3轴、与这些2个轴正交的ZA3轴。R11、R12、R13、R21、R22、R23、R31、R32、R33是旋转矩阵的要素。以后计算S的值。
[式1]
(公式1)
如果将(公式1)的矩阵的和变形为矩阵的积的形式，则成为(公式2)所示。
[式2]
(公式2)
校正用标识101a～101d被设置在地面(z＝0)，因此将校正用标识101a的标识坐标系坐标变换为修正图像A2的修正图像坐标系的公式，可以如(公式3)那样进行变形。
[式3]
(公式3)
在此，如(公式4)那样定义单应矩阵H(A2，a)的逆矩阵H-1 (A2，a)。此外，该逆矩阵H-1 (A2，a)也是单应矩阵。
[式4]
(公式4)
如果将(公式4)的各要素置换为h11、h12、h13、h21、h22、h23、h31、h32、h33，则成为(公式5)所示。
[式5]
(公式5)
为了表现齐次坐标(Homogeneous Coordinate)，单应矩阵具有常数倍的任意性。在此，例如h33＝1。代入h33＝1后的(公式5)与以下的联立方程式等价。
su＝h11x+h12y+h13
sv＝h21x+h22y+h23
s＝h31x+h32y+1
如果从该联立方程式消去s，针对h11、h12、h13、h21、h22、h23、h31、h32进行整理并进行矩阵表示，则成为(公式6)所示。
[式6]
(公式6)
将通过图像恰当判定部105计算出的修正图像坐标系的校正用标识101a的4个特征点P(a，1)、P(a，2)、P(a，3)、P(a，4)的坐标设为(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)。将根据校正用标识101a～101d的矩形形状的图形的4边的长度L计算出的标识坐标系中的4个特征点P(a，1)、P(a，2)、P(a，3)、P(a，4)的坐标设为(x1，y1)、(x2，y2)、(x3，x3)、(x4，x4)。这时，(u1，v1)和(x1，y1)之间的关系、(u2，v2)和(x2，y2)之间的关系、(u3，v3)和(x3，y3)之间的关系、(u4，v4)和(x4，y4)之间的关系分别为(公式6)的关系。因此，通过求解(公式7)所示的联立方程式，能够计算出单应矩阵H(A2，a)的逆矩阵H-1 (A2，a)的要素h11、h12、h13、h21、h22、h23、h31、h32。
[式7]
(公式7)
单应矩阵计算部161根据单应矩阵H(A2，a)的逆矩阵H-1 (A2，a)，计算出单应矩阵H(A2，a)。单应矩阵计算部161还通过同样的计算生成其他7个单应矩阵。
单应矩阵计算部161根据h11、h12、h13、h21、h22、h23、h31、h32，计算出(公式8a)、(公式8b)、(公式8c)，计算出标识坐标系中的照相机102a的设置位置(t1，t2，t3)。此外，使用(公式9)来计算出s。
t1＝s·h13(公式8a)
t2＝s·h23(公式8b)
t3＝s(公式8c)
[式8]
(公式9)
另外，单应矩阵计算部161根据h11、h12、h13、h21、h22、h23、h31、h32，计算(公式10a)、(公式10b)、(公式10c)，计算标识坐标系中的照相机102a的设置角度。θpitch表示照相机102a的设置角度的俯仰方向分量。θroll表示照相机10a的设置角度的滚动方向分量。θyaw表示照相机102a的设置角度的偏航方向分量。
θpitch＝sin-1(h32) (公式10a)
θroll＝tan-1(-h21/h22) (公式10b)
θyaw＝tan-1(-h13/h33) (公式10c)
最佳化处理部162针对单应矩阵计算部161计算出的照相机102a～102d的设置位置和设置角度进行最佳化处理，降低误差。例如最佳化处理部162针对单应矩阵H(A2，a)进行如下的运算。
最佳化处理部162针对校正用标识101a的4个特征点P(a，1)、P(a，2)、P(a，3)、P(a，4)，根据单应矩阵H(A2，a)，计算表示将修正图像坐标系的坐标(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)坐标变换为标识坐标系后的各坐标(xu1，yv1)、(xu2，yv2)、(xu3，yv3)、(xu4，yv4)与已知的标识坐标系的各坐标(x1，y1)、(x2，y2)、(x3，x3)、(x4，x4)之间的误差的总和的目标函数。最佳化处理部162使用最快下降法、其他大全局的最佳解搜索法等，搜索该目标函数的值极小的单应矩阵H(A2，a)。然后，最佳化处理部162将根据搜索出的单应矩阵H(A2，a)计算出的设置位置和设置角度的值作为最佳值。
通过单应矩阵计算部161和最佳化处理部162的计算，计算出如下的8个设置位置和设置角度。坐标系综合部163使这些照相机102a～102d的设置位置和设置角度的基准与车辆坐标系一致。
(2.1)校正用标识101a的标识坐标系中的照相机102a的设置位置和设置角度
(2.2)校正用标识101b的标识坐标系中的照相机102a的设置位置和设置角度
(2.3)校正用标识101c的标识坐标系中的照相机102b的设置位置和设置角度
(2.4)校正用标识101d的标识坐标系中的照相机102b的设置位置和设置角度
(2.5)校正用标识101b的标识坐标系中的照相机102c的设置位置和设置角度
(2.6)校正用标识101d的标识坐标系中的照相机102c的设置位置和设置角度
(2.7)校正用标识101c的标识坐标系中的照相机102d的设置位置和设置角度
(2.8)校正用标识101a的标识坐标系中的照相机102d的设置位置和设置角度
坐标系综合部163从(2.7)的设置位置和设置角度分别减去(2.8)的设置位置和设置角度，由此能够计算出校正用标识101c相对于校正用标识101a的相对位置和相对角度。坐标系综合部163从(2.3)的设置位置和设置角度分别减去该计算结果，由此能够分别计算出校正用标识101a的标识坐标系中的照相机102b的设置位置和设置角度。
坐标系综合部163从(2.4)的设置位置和设置角度分别减去(2.3)的设置位置和设置角度，由此能够计算出校正用标识101d相对于校正用标识101c的相对位置和相对角度。坐标系综合部163从校正用标识101d相对于校正用标识101c的相对位置和相对角度分别减去校正用标识101c相对于校正用标识101a的相对位置和相对角度，由此能够计算出校正用标识101d相对于校正用标识101a的相对位置和相对角度。坐标系综合部163从(2.6)的设置位置和设置角度分别减去该计算结果，由此能够分别计算出校正用标识101a的标识坐标系中的照相机102c的设置位置和设置角度。
坐标系综合部163从(2.5)的设置位置和设置角度分别减去(2.6)的设置位置和设置角度，由此能够计算出校正用标识101b相对于校正用标识101d的相对位置和相对角度。坐标系综合部163从校正用标识101b相对于校正用标识101d的相对位置和相对角度分别减去校正用标识101d相对于校正用标识101a的相对位置和相对角度，由此能够计算出校正用标识101b相对于校正用标识101a的相对位置和相对角度。坐标系综合部163从(2.2)的设置位置和设置角度分别减去该计算结果，由此能够分别计算出校正用标识101a的标识坐标系中的照相机102a的设置位置和设置角度。将该校正用标识101a的标识坐标系中的照相机102a的设置位置和设置角度识别为(2.1)的设置位置和设置角度，因此称为第二次的照相机102a的设置位置和设置角度。
坐标系综合部163从校正用标识101a的标识坐标系中的照相机102b的设置位置和设置角度分别减去(2.1)的设置值和设置角度。由此，计算出照相机102b相对于照相机102a的相对位置和相对角度。同样，坐标系综合部163计算出照相机102c相对于照相机102a的相对位置和相对角度、照相机102d相对于照相机102a的相对位置和相对角度。
坐标系综合部163根据照相机102b、102c、102d相对于照相机102a的相对位置和相对角度，计算出车辆坐标系中的照相机102a～102d的设置位置和设置角度。
在第二次的照相机102a的设置位置和设置角度与(2.1)的设置位置和设置角度之间，累积计算误差等而产生了误差(闭合差)。误差分配部164将车辆坐标系中的照相机102a的设置位置的误差和设置角度的误差分别分配到车辆坐标系中的照相机102a～102d的设置位置和设置角度。例如，误差分配部164针对设置位置的误差，使用均等法、圆规(compass)法、经纬(transit)法等进行分配，针对设置角度的误差进行等分配。通过分配误差，在车辆坐标系中照相机102a的设置位置和设置角度中计算误差变得均匀。但是，通过闭合差的分配，在俯视图像250的图像区域的边界附近，被摄体像有可能产生偏差。
参数修正部165通过误差分配部164的闭合差的分配，修正在俯视图像250中产生的偏差。
参数修正部165通过使用了如下的8种特征点坐标的车辆坐标系中的位置的计算，来减轻由于闭合差的分配而产生的偏差。
(3.1)修正图像A2中的校正用标识101a的4个特征点的坐标
(3.2)修正图像D2中的校正用标识101a的4个特征点的坐标
(3.3)修正图像A2中的校正用标识101b的4个特征点的坐标
(3.4)修正图像C2中的校正用标识101b的4个特征点的坐标
(3.5)修正图像B2中的校正用标识101c的4个特征点的坐标
(3.6)修正图像D2中的校正用标识101c的4个特征点的坐标
(3.7)修正图像B2中的校正用标识101d的4个特征点的坐标
(3.8)修正图像C2中的校正用标识101d的4个特征点的坐标
参数修正部165计算(3.1)的重心和(3.2)的重心，计算该2个重心的平均坐标Ga。参数修正部165计算(3.3)的重心和(3.4)的重心，计算该2个重心的平均坐标Gb。参数修正部165计算(3.5)的重心和(3.6)的重心，计算该2个重心的平均坐标Gc。参数修正部165计算(3.7)的重心和(3.8)的重心，计算该2个重心的平均坐标Gd。
参数修正部165对车辆坐标系中的照相机102a的设置位置和设置角度进行微调整，以便使(3.1)的重心移动到平均坐标Ga，使(3.3)的重心移动到平均坐标Gb。
参数修正部165对车辆坐标系中的照相机102b的设置位置和设置角度进行微调整，以便使(3.5)的重心移动到平均坐标Gc，使(3.7)的重心移动到平均坐标Gd。
参数修正部165对车辆坐标系中的照相机102c的设置位置和设置角度进行微调整，以便使(3.4)的重心移动到平均坐标Gb，使(3.8)的重心移动到平均坐标Gd。
参数修正部165对车辆坐标系中的照相机102d的设置位置和设置角度进行微调整，以便使(3.2)的重心移动到平均坐标Ga，使(3.6)的重心移动到平均坐标Gc。
以上的微调整表示修正通过坐标系综合部163计算出的设置位置和设置角度。
映射表更新部166根据微调整后的车辆坐标系中的照相机102a～102d的设置位置和设置角度，更新映射表。映射表更新部166根据在映射表的初始值中假定的照相机102a～102d的设置位置和设置角度与微调整后的照相机102a～102d的设置位置和设置角度之间的误差，更新映射表的初始值。
(校正恰当判定部107)
如图8所示，校正恰当判定部107具备一致度检查部171、形状检查部172、大小检查部173、评价值计算部174以及校正判定部175。
一致度检查部171针对将校正用标识101a～101d的各个特征点坐标坐标变换为该校正用标识的标识坐标系的2个单应矩阵，检查坐标变换后的特征点坐标的一致度。具体地，一致度检查部171计算出如下的4个坐标误差。
(4.1)根据单应矩阵H(A2，a)对包含在修正图像A2中的校正用标识101a的特征点坐标进行坐标变换而得的坐标与根据单应矩阵H(D2，a)对包含在修正图像D2中的校正用标识101a的特征点坐标进行坐标变换而得的坐标之间的坐标误差
(4.2)根据单应矩阵H(A2，b)对包含在修正图像A2中的校正用标识101b的特征点坐标进行坐标变换而得的坐标与根据单应矩阵H(C2，b)对包含在修正图像C2中的校正用标识101b的特征点坐标进行坐标变换而得的坐标之间的坐标误差
(4.3)根据单应矩阵H(B2，c)对包含在修正图像B2中的校正用标识101c的特征点坐标进行坐标变换而得的坐标与根据单应矩阵H(D2，a)对包含在修正图像D2中的校正用标识101c的特征点坐标进行坐标变换而得的坐标之间的坐标误差
(4.4)根据单应矩阵H(B2，d)对包含在修正图像B2中的校正用标识101d的特征点坐标进行坐标变换而得的坐标与根据单应矩阵H(C2，d)对包含在修正图像C2中的校正用标识101d的特征点坐标进行坐标变换而得的坐标之间的坐标误差
形状检查部172在使用更新后的映射表生成的俯视图像250中，检查根据校正用标识101a～101d的特征点坐标描绘的形状。形状检查部172针对包含在修正图像A2中的校正用标识101a，计算车辆坐标系中的如下的4边的斜率。
(5.1)将坐标变换为车辆坐标系后的特征点P(a，1)和特征点P(a，2)连接起来的边E(A2，a，1)
(5.2)将坐标变换为车辆坐标系后的特征点P(a，2)和特征点P(a，3)连接起来的边E(A2，a，2)
(5.3)将坐标变换为车辆坐标系后的特征点P(a，3)和特征点P(a，4)连接起来的边E(A2，a，3)
(5.4)将坐标变换为车辆坐标系后的特征点P(a，4)和特征点P(a，1)连接起来的边E(A2，a，4)
如果通过校正部106恰当地校正了照相机102a～102d的设置位置和设置角度，则边E(A2，a，1)和边E(A2，a，3)平行，边E(A2，a，2)和边E(A2，a，4)也平行。另外，边E(A2，a，2)和边E(A2，a，4)与边(A2，a，1)垂直，边E(A2，a，2)和边E(A2，a，4)也与边(A2，a，3)垂直。
形状检查部172计算边E(A2，a，1)和边E(A2，a，3)构成的角度，计算从该角度减去180度而得的角度误差。形状检查部172计算边E(A2，a，2)和边E(A2，a，4)构成的角度，计算从该角度减去180度而得的角度误差。形状检查部172计算边E(A2，a，1)和边E(A2，a，2)构成的角度，计算从该角度减去90度而得的角度误差。形状检查部172计算边E(A2，a，1)和边E(A2，a，4)构成的角度，计算从该角度减去90度而得的角度误差。形状检查部172计算边E(A2，a，3)和边E(A2，a，2)构成的角度，计算从该角度减去90度而得的角度误差。形状检查部172计算边E(A2，a，3)和边E(A2，a，4)构成的角度，计算从该角度减去90度而得的角度误差。
形状检查部172对每个修正图像、对包含在修正图像中的每个校正用标识，进行同样的处理。
大小检查部173根据车辆坐标系中的校正用标识101a～101d的特征点坐标，检查俯视图像250中的校正用标识101a～101d的大小。大小检查部173使用包含在修正图像A2中的校正用标识101a的特征点坐标，计算出如下的4个距离。
(6.1)坐标变换为车辆坐标系后的特征点P(a，1)和特征点P(a，2)之间的距离
(6.2)坐标变换为车辆坐标系后的特征点P(a，2)和特征点P(a，3)之间的距离
(6.3)坐标变换为车辆坐标系后的特征点P(a，3)和特征点P(a，4)之间的距离
(6.4)坐标变换为车辆坐标系后的特征点P(a，4)和特征点P(a，1)之间的距离
理想的是，(6.1)、(6.2)、(6.3)、(6.4)的距离与校正手册等所记载的校正用标识101a～101d的矩形形状的图形的4边的长度L一致。形状检查部172计算出从(6.1)的距离减去距离L而得的距离误差。形状检查部172计算出从(6.2)的距离减去距离L而得的距离误差。形状检查部172计算出从(6.3)的距离减去距离L而得的距离误差。形状检查部172计算出从(6.4)的距离减去距离L而得的距离误差。
大小检查部173对每个修正图像、对包含在修正图像中的每个校正用标识，进行同样的处理。
评价值计算部174计算一致度检查部171计算出的坐标误差的最大值δ1、形状检查部172计算出的角度误差的最大值δ2、大小检查部173计算出的距离误差的最大值δ3作为照相机102a～102d的校正的评价值(δ1，δ2，δ3)。
校正判定部175根据评价值计算部174计算出的坐标误差的最大值δ1、角度误差的最大值δ2、距离误差的最大值δ3，来判定照相机102a～102d的校正是否恰当。校正判定部175在坐标误差的最大值δ1不到预定阈值T1，且角度误差的最大值δ2不到预定阈值T2，且距离误差的最大值δ3不到预定阈值T3时，判定为照相机102a～102d的校正恰当。
校正恰当判定部107向状态解析部108输出与该判定结果有关的信息。即，校正恰当判定部107在判定为照相机102a～102d的校正恰当的情况下，向状态解析部108发送表示是恰当的信息。另外，校正恰当判定部107在判定为照相机102a～102d的校正不恰当的情况下，向状态解析部108输出表示不恰当的信息、校正恰当判定部107计算出的坐标误差、形状检查部172计算出的角度误差、大小检查部173计算出的距离误差、评价值计算部174计算出的评价值。
(状态解析部108)
状态解析部108根据图像恰当判定部105的判定结果、校正恰当判定部107的判定结果、最佳化处理部162计算出的目标函数的极小值、坐标系综合部163计算出的照相机102a的设置位置的闭合差和设置角度的闭合差、拍摄图像A1～D1，解析照相机102a～102d的校正状态。如图9所示，状态解析部108具备特征点精度判定部181、校正状态解析部182、图像状态解析部183以及作业内容生成部184。
特征点精度判定部181在校正部106对照相机102a～102d的校正失败的情况下，判定其原因是否是特征点坐标的精度。状态解析部108根据特征点精度判定部181的判定结果，区分照相机102a～102d的校正失败的原因。
如本实施方式所示，在校正用标识101a～101d的设置位置和设置姿势、照相机102a～102d的设置位置和设置角度存在任意性的情况下，难以通过是否在特定的位置检测的方法来判定特征点坐标的精度。另外，特征点坐标要求子像素水平的精度，因此也难以根据通过在子像素水平下检测的边缘的状态等来进行判定。
特征点精度判定部181根据校正部106的最佳化处理部162计算出的目标函数的极小值，判定特征点坐标的精度。在图像恰当判定部105中恰当地计算出特征点坐标的情况下，通过校正部106的最佳化处理部162，能够使其与特征点坐标的理论值一致。与此相对，在图像恰当判定部105中没有恰当地计算出特征点坐标的情况下，通过校正部106的最佳化处理，无法使其与特征点坐标的理论值一致，目标函数的值不变小。特征点精度判定部181在目标函数的收敛值为预定阈值以上的情况下，判定为特征点坐标的精度不恰当，在目标函数的收敛值不到预定阈值的情况下，判定为特征点坐标的精度恰当。预先通过设计阶段的实验等确定预定阈值的值。
校正状态解析部182具备推定照相机参数检查部701和坐标综合时误差检查部702。
推定照相机参数检查部701判定服务人员输入的照相机102a～102d的校正所需要的参数是否不恰当。推定照相机参数检查部701计算校正部106计算出的照相机102a～102d的设置位置和设置角度与预先设定的照相机102a～102d的设置位置和设置角度之间的误差。在服务人员输入的照相机102a～102d的校正所需要的参数不恰当的情况下，有只针对照相机102a～102d的高度方向的设置位置产生大的误差的倾向。推定照相机参数检查部701在只有针对照相机102a～102d的高度方向的设置位置产生大误差的情况下，判定为服务人员输入的照相机102a～102d的校正所需要的参数不恰当。
坐标综合时误差检查部702检查校正部106进行以照相机102a的设置位置和设置角度为基准的坐标系的综合时所产生的误差。在服务人员输入的照相机102a～102d的设置位置的初始值有很大错误的情况下，存在坐标系综合部163处理时计算出的闭合差变大的倾向。因此，坐标综合时误差检查部702判定在坐标系综合部163处理时计算出的闭合差是否为预定值以上。
图像状态解析部183具备校正用标识位置计算部703、亮度特征计算部704以及形状特征计算部705。校正用标识位置计算部703从修正图像A2～D2中检测出校正用标识101a～101d，并且使用更新前的映射表生成基于修正图像A2～D2的俯视图像250。校正用标识位置计算部703计算出该俯视图像250中的校正用标识101a～101d的重心位置。图像状态解析部183能够根据计算出的校正用标识101a～101d的重心位置，检查服务人员设置校正用标识101a～101d的位置是否恰当。
在亮度特征计算部704中，从拍摄图像A1～D1的各像素取得亮度信号，计算出亮度信号的平均值、亮度信号的最大值、相邻像素之间的亮度信号的变化量等信息。图像状态解析部183能够根据与计算出的拍摄图像A1～D1的亮度有关的信息，检查拍摄图像A1～D1的亮度是否恰当。
在形状特征计算部705中，提取与校正用标识101a～101d的特征点坐标的位置关系相关的各种特征量。形状特征计算部705进行单应矩阵计算处理、最佳化处理，计算综合坐标系前的照相机102a～102d的设置位置和设置角度。然后，形状特征计算部705针对综合坐标系前的照相机102a～102d的设置位置和设置角度，应用与校正恰当判定部107同样的处理。图像状态解析部183能够检查拍摄图像A1～D1不恰当的原因是否是综合坐标系前的处理。
作业内容生成部184使用校正状态解析部182和图像状态解析部183计算出的各种信息，判断服务人员校正失败的原因，向服务人员提示其对策。作业内容生成部184例如判断如下的校正失败的原因。
原因1.拍摄图像A1～D1不恰当，图像过暗。
原因2.拍摄图像A1～D1不恰当，图像过亮。
原因3.拍摄图像A1～D1不恰当，校正用标识101a～101d的设置位置不正确。
原因4.拍摄图像A1～D1不恰当，在特征点输入请求部155中服务人员指定的特征点的坐标从真正的特征点大幅度偏离。
原因5.拍摄图像A1～D1不恰当，在校正开始时服务人员输入的参数不正确。
原因6.校正不恰当，特征点的精度不充分，图像过亮。
原因7.校正不恰当，特征点的精度不充分，图像过暗。
原因8.校正不恰当，特征点的精度不充分，图像产生影子。
原因9.校正不恰当，特征点的精度不充分，在特征点输入请求部155中服务人员指定的特征点的坐标从真正的特征点大幅度偏离。
原因10.校正不恰当，特征点的精度不充分，校正用标识101a～101d的设置位置不正确。
原因11.校正不恰当，特征点的精度不充分，在校正开始时服务人员输入的参数不正确。
原因12.校正不恰当，特征点的精度充分，但校正用标识的大小不同。
原因13.校正不恰当，特征点的精度充分，但在校正开始时服务人员输入的参数不正确。
此外，作业内容生成部184在无法确定原因为一个的情况下，能够从原因1～原因13中在不产生矛盾的范围内判断多个原因。产生矛盾的判断例如是同时判断出图像过暗这样的原因和图像过亮这样的原因的情况、同时判断出包含特征点的精度不充分这样的条件的原因和包含特征点的精度充分这样的条件的原因的情况等。
作业内容生成部184在通过图像恰当判定部105判定为拍摄图像不恰当的情况下，将校正失败的原因缩小为原因1～原因5。
另外，作业内容生成部184根据与亮度特征计算部704计算出的拍摄图像A1～D1的各像素的亮度信号有关的信息，判断是否与原因1、原因2对应。例如，在拍摄图像A1～D1的各像素的亮度信号的平均值、最大值都比预定阈值I1高的情况下，判断为与原因2对应。另外，拍摄图像A1～D1的各像素的亮度信号的平均值、最大值都比预定阈值l2(<I1)低的情况下，判断为与原因1对应。
作业内容生成部184在通过校正用标识位置计算部703输出的俯视图像中的校正用标识101a～101d的重心位置从预定范围脱离时，判断为与原因3对应。
作业内容生成部184根据亮度特征计算部704计算出的拍摄图像A1～D1的各像素的亮度信号，计算出特征点坐标近旁的亮度的最大值与特征点坐标近旁的亮度的最小值之间的差。作业内容生成部184在该差小于预定值的情况下，与特征点输入请求部155的请求对应地服务人员输入的特征点坐标从真正的特征点坐标大幅度偏离的可能性高，因此判断为与原因4对应。
作业内容生成部184在拍摄图像A1～D1中校正用标识101a～101d的矩形形状的各图形的4边的长度的最大值与最小值之间的差为预定阈值以上的情况下，判断为是原因5。在此，预定阈值是理论上可能因照相机102a～102d的设置角度引起的差的最大值，在车载装置100的设计阶段预先被设定。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，并且，在特征点精度判定部181中判断为特征点精度恰当的情况下，判断为与原因12或原因13对应。
作业内容生成部184在校正状态解析部182的推定照相机参数检查部701判定为服务人员设定的照相机102a～102d的设置位置和设置角度的初始值不恰当的情况下，判断为与原因12对应。
作业内容生成部184在坐标系综合部163的处理时计算出的闭合差为预定值以上的情况下，判断为与原因13对应。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，并且在特征点精度判定部181中判断为特征点精度不恰当的情况下，判断为与原因6、原因7、原因8、原因9、原因10、原因11中的至少某一个对应。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，在特征点精度判定部181中判断为特征点精度不恰当的情况下，在拍摄图像A1～D1的各像素的亮度信号的平均值、最大值都比预定阈值I1高的情况下，判断为与原因6对应。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，在特征点精度判定部181中判断为特征点精度不恰当的情况下，在拍摄图像A1～D1的各像素的亮度信号的平均值、最大值都比预定阈值I2(<I1)低的情况下，判断为与原因7对应。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，在特征点精度判定部181中判断为特征点精度不恰当的情况下，在校正用标识位置计算部703从预定范围脱离时，判断为与原因10对应。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，在特征点精度判定部181中判断为特征点精度不恰当的情况下，根据亮度特征计算部704计算出的拍摄图像A1～D1的各像素的亮度信号，计算出特征点坐标近旁的亮度的最大值与特征点坐标近旁的亮度的最小值之间的差。作业内容生成部184在该差小于预定值的情况下，与特征点输入请求部155的请求对应地服务人员输入的特征点坐标从真正的特征点坐标大幅度偏离的可能性高，因此判断为与原因9对应。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，在特征点精度判定部181中判断为特征点精度不恰当的情况下，在对修正图像A2～D2执行边缘检测处理而检测出的同一边缘上的亮度信号列的亮度的平均值比预定阈值相比大幅度变动，并且该亮度的变动在高亮度和低亮度之间往返的情况下，判断为与原因8对应。
作业内容生成部184在图像恰当判定部105中判断为恰当，但在校正恰当判定部107中判定为不恰当，并且在特征点精度判定部181中判断为特征点精度不恰当的情况下，在拍摄图像A1～D1中校正用标识101a～101d的矩形形状的各图形的4边的长度的最大值与最小值之间的差为预定阈值以上的情况下，判断为与原因11对应。
作业内容生成部184在与原因1、原因2、原因6、原因7中的某一个对应的情况下，在显示部109中显示催促服务人员调整照明的消息。
另外，作业内容生成部184在与原因1、原因7的某一个对应的情况下，考虑在室外实施校正的可能性，在显示部109中显示催促在明亮的时刻进行校正的消息。
作业内容生成部184在与原因3、原因10的某一个对应的情况下，向服务人员指示使校正用标识101a～101d移动。这时，优选的是，作业内容生成部184根据校正用标识101a～101d的特征点坐标、图像判定部154进行判定所使用的恰当图像区域，进一步指示使校正用标识101a～101d移动的方向。
作业内容生成部184在与原因5、原因11的某一个对应的情况下，存在照相机102a～102d异常的可能性，因此指示照相机102a～102d的更换等。
作业内容生成部184在与原因8对应的情况下，指示将校正用标识101a～101d移动到没有影子的位置。
作业内容生成部184在与原因12对应的情况下，催促服务人员确认正在使用的校正用标识101a～101d、或经由输入部104输入的信息的某一个是否没有错误。
作业内容生成部184在原因13的情况下，催促确认服务人员输入的校正用标识101a～101d的矩形形状的图形的4边的长度L等输入值是否没有错误。
图10是表示车载装置100与照相机102a～102d连接，在车载装置100的电源接通时车载装置100开始的动作的流程图。车载装置100的CPU(未图示)执行存储在未图示的存储器中的程序来进行该动作。
在步骤S1中，车载装置100在显示部109中显示“请在设置校正用标识后进行校正开始操作”等消息。
在步骤S2中，车载装置100判定是否通过输入部104尤其进行了开始照相机102a～102d的校正的操作。车载装置100直到进行开始校正的操作为止重复进行步骤S2的处理，在进行了开始校正的操作时前进到步骤S3的处理。
在步骤S3中，车载装置100在显示部109中显示用于使服务人员输入照相机102a～102d的校正所需要的参数的输入画面。
在步骤S4中，车载装置100判定照相机102a～102d的校正所需要的参数的输入是否完成。车载装置100直到输入完成为止重复进行步骤S4的处理，在输入完成时前进到步骤S5的处理。
在步骤S5中，车载装置100开始来自照相机102a～102d的拍摄图像A1～D1的取得。由此，图像恰当判定部105开始判定拍摄图像A1～D1是否恰当。
在步骤S6中，车载装置100判定拍摄图像A1～D1是否恰当。在图像恰当判定部105判定为拍摄图像A1～D1恰当的情况下，前进到步骤S7的处理，在图像恰当判定部105判定为拍摄图像A1～D1不恰当的情况下，前进到步骤S10的处理。
在步骤S7中，车载装置100执行校正部106的处理，校正照相机102a～102d的设置位置和设置角度。
在步骤S8中，车载装置100判定照相机102a～102d的设置状态的校正是否成功。在校正恰当判定部107判定为照相机102a～102d的校正恰当的情况下，前进到步骤S9的处理，在校正恰当判定部107判定为照相机102a～102d的校正不恰当的情况下，前进到步骤S10的处理。
在步骤S9中，车载装置100在显示部109中显示“照相机的校正成功”等的消息。然后，车载装置100结束图10所示的处理。
在步骤S10中，车载装置100执行状态解析部108的处理，解析照相机102a～102d的校正失败的原因。车载装置100在显示部109中显示基于状态解析部108的解析结果的对策，结束图10所示的处理。
图11是与图像恰当判定部105的处理有关的流程图。
在步骤S300中，车载装置100开始基于修正图像生成部151的处理的修正图像A2～D2的生成。
在步骤S301中，车载装置100根据修正图像A2～D2，进行校正标识识别部152的处理，识别校正用标识101a～101d。
在步骤S302中，车载装置100判定是否能够识别校正用标识101a～101d。车载装置100在能够通过校正标识识别部152的处理识别校正用标识101a～101d的情况下，前进到步骤S303的处理。车载装置100在通过校正标识识别部152的处理无法识别校正用标识101a～101d的情况下，例如拍摄图像A1～D1的亮度过亮的情况下或过暗的情况下，前进到步骤S306的处理。
在步骤S303中，车载装置100针对识别出的校正用标识101a～101d计算出特征点坐标。
在步骤S304中，车载装置100执行图像判定部154的处理，判定拍摄图像A1～D1是否恰当。
在步骤S305中，车载装置100向状态解析部108输出与步骤S304的判定结果对应的信息。
在步骤S306中，车载装置100执行特征点输入请求部155的处理。
在步骤S307中，车载装置100判定服务人员进行的特征点的输入是否完成。车载装置100例如直到服务人员进行表示输入完成的预定操作为止重复进行步骤S307的处理，在进行了表示服务人员输入完成的预定操作的情况下，判定为特征点的输入完成，前进到步骤S308的处理。
在步骤S308中，车载装置100针对服务人员输入的特征点，计算出特征点坐标。然后，车载装置100前进到步骤S304的处理。
图12是与校正部106的处理有关的流程图。
在步骤S401中，车载装置100执行单应矩阵计算部161的处理，运算用于将校正用标识101a～101d的特征点坐标坐标变换为标识坐标系的8个单应矩阵。车载装置100根据计算出的单应矩阵，计算出照相机102a～102d的设置位置和设置角度。
在步骤S402中，车载装置100执行最佳化处理部162的处理，针对使用单应矩阵的要素计算出的照相机102a～102d的设置位置和设置角度，进行最佳化处理。
在步骤S403中，车载装置100执行坐标系综合部163的处理，使在步骤S402的处理中被最佳化的照相机102a～102d的设置位置和设置角度的基准与车辆坐标系一致。
在步骤S404中，车载装置100执行误差分配部164的处理，将车辆坐标系中的照相机102a的设置位置的闭合差和设置角度的闭合差分别分配到车辆坐标系中的照相机102a～102d的设置位置和设置角度。
在步骤S405中，车载装置100执行参数修正部165的处理，修正因误差分配部164进行的闭合差的分配而在俯视图像250中产生的偏差。
在步骤S406中，车载装置100根据步骤S405的处理后的车辆坐标系中的照相机102a～102d的设置位置和设置角度，更新映射表。
在步骤S407中，车载装置100使用在步骤S406中更新后的映射表，将修正图像A2～D2坐标变换为俯视图像250。
在步骤S408中，车载装置100向状态解析部108输出在步骤S407中生成的俯视图像250、在步骤S402的最佳化处理中计算出的目标函数、在步骤S404的误差分配处理中分配的校正用标识101a的标识坐标系中的照相机102a的设置位置的闭合差和设置角度的闭合差。另外，车载装置100向校正恰当判定部107输出在步骤S407中生成的俯视图像250、在步骤S401中计算出的单应矩阵，结束图12的处理。
图13是与校正恰当判定部107的处理有关的流程图。
在步骤S501中，车载装置100执行一致度检查部171、形状检查部172、大小检查部173的处理。这些处理既可以以任意的顺序执行，也可以并行地执行。
在步骤S502中，车载装置100执行评价值计算部174的处理，计算出基于一致度检查部171、形状检查部172、大小检查部173的计算结果的评价值。
在步骤S503中，车载装置100执行校正判定部175的处理。在步骤S504中，车载装置100与步骤S503的判定结果对应地，向状态解析部108输出信息，结束图13的处理。
图14是与状态解析部108的处理有关的流程图。
在步骤S601中，车载装置100判定在图11的步骤S304中是否判定为拍摄图像A1～D1恰当。车载装置100在步骤S304中判定为拍摄图像A1～D1恰当的情况下，使处理前进到步骤S602，在步骤S304中判定为拍摄图像A1～D1不恰当的情况下，使处理前进到步骤S606。
在步骤S602中，车载装置100判定在图13的步骤S503中是否判定为照相机102a～102d的设置状态的校正恰当。车载装置100在步骤S503中判定为照相机102a～102d的设置状态的校正恰当的情况下，结束图14的处理。车载装置100在步骤S503中判定为照相机102a～102d的设置状态的校正不恰当的情况下，前进到步骤S603的处理。
在步骤S603中，车载装置100执行特征点精度判定部181的处理。在步骤S604中，车载装置100判定在步骤S603中特征点精度判定部181是否判定为特征点坐标的精度恰当。车载装置100在特征点精度判定部181判定为特征点坐标的精度恰当的情况下，前进到步骤S605的处理，在特征点精度判定部181判定为特征点坐标的精度不恰当的情况下，前进到步骤S606的处理。
在步骤S605中，车载装置100执行校正状态解析部182的处理。在步骤S606中，车载装置100执行图像状态解析部183的处理。在步骤S607中，车载装置100执行作业内容生成部184的处理。在步骤S608中，车载装置100在显示部109中显示通过作业内容生成部184生成的服务人员的操作内容，结束图14的处理。
(第二实施方式)
说明本发明的第二实施方式。
图15表示使用本发明的第二实施方式的照相机校正装置进行照相机的校正的环境的一个例子。在图15中，车辆201例如是大型翻斗机、采矿机械等大型车辆。在图15中示出了交付目的地组装车辆201，分别将照相机102b和照相机102d设置在车辆201的后方和右侧方的状态。
车载装置100生成如图16所示那样的俯视图像，并显示在设置于驾驶座上的显示部中，由此提供与成为驾驶员的死角的周围环境有关的信息。服务人员在车辆201的交付目的地校正照相机102b和照相机102d的设置状态，设定车载装置100以便恰当地生成俯视图像。
车载装置100被设置在车辆201上，与照相机102b和照相机102d连接。照相机102b向车载装置100输出与拍摄范围202b有关的拍摄图像B1。照相机102d向车载装置100输出与拍摄范围202d有关的拍摄图像D1。在图16所示的俯视图像中包含根据照相机102b输出的拍摄图像B1生成的图像区域250b、根据照相机102d输出的拍摄图像D1生成的图像区域250d。
服务人员将校正用标识101c设置在车辆201的右侧方后方。为了使照相机102b和照相机102d的设置状态的校正成功，需要如图15那样将校正用标识101c设置在照相机102b的拍摄范围202b与照相机102d的拍摄范围202b重合的公共拍摄范围203c中。
第二实施方式的车载装置100的结构与第一实施方式相同。即，第二实施方式的车载装置100具备图像取得部103、输入部104、图像恰当判定部105、校正部106、校正恰当判定部107、状态解析部108、显示部109以及俯视图像生成部110。在第二实施方式的车载装置100中，校正部106的处理与第一实施方式不同。
图17是与本发明的第二实施方式的校正部106有关的流程图。比较图17和图12可知，第二实施方式的校正部106与第一实施方式的校正部106不同点在于，不执行步骤S404的误差分配处理和步骤S405的参数修正处理。
根据以上说明的实施方式，能够得到如下的作用效果。
(1)参照作为第二实施方式的图15～图17、第一实施方式的图3、图4、图6进行说明。照相机校正装置100通过至少2个照相机102b、102d至少拍摄1个标识101c，根据至少2个照相机102b、102d的拍摄图像，针对至少2个照相机102b、102d的设置状态进行校正。并且，该校正装置100具备：提取部，例如图像恰当判定部105，其根据至少2个照相机102b、102d的拍摄图像提取至少1个标识101c的特征量；一次校正部160a，其根据特征量，在标识坐标系中，分别计算出至少2个照相机102的各位置；以及二次校正部160b，其将通过一次校正部160a计算出的标识坐标系中的各照相机102b、102d的位置坐标变换为车辆坐标系中的各照相机102的位置。因此，不物理地调整拍摄俯视图像合成用的拍摄图像的至少2个照相机102b、102d的设置状态，而是能够根据至少2个拍摄图像生成俯视图像，因此，在车辆出厂后，能够在销售商的修理工厂、用户的停车场、或在交付目的地组装大型车辆的现场等高精度地进行校正。当然，在组装车辆的工厂内的最终调整工序中使用本发明的校正装置，也能够得到同样的效果。
(2)第二实施方式的照相机校正装置100是针对照相机102b和102d的照相机校正装置，在来自2个照相机102b和102d的拍摄图像中，在2个照相机102b和102d的拍摄范围重合的范围内包含1个标识101c的图像。提取部、例如图像恰当判定部105针对1个标识101c提取特征点坐标。一次校正部160a计算出将特征点坐标坐标变换为标识坐标系的单应矩阵，根据单应矩阵计算出标识坐标系中的2个照相机102b和102d的位置。二次校正部160b具备：坐标系综合部163，其将通过一次校正部160a计算出的标识坐标系中的照相机102b和102d的各位置变换为车辆坐标系中的位置。因此，可以不物理地调整拍摄俯视图像合成用的拍摄图像的2个照相机102b、102d的设置状态，就能够根据2个拍摄图像生成俯视图像，因此在车辆出厂后，能够在交付目的地组装大型车辆的现场等高精度地进行校正。
(3)第一实施方式的照相机校正装置是针对4个照相机102a～102d的校正装置。4个照相机102a～102d的各个照相机的拍摄范围与4个照相机102a～102d中的其他2个照相机的拍摄范围重合，在来自4个照相机102a～102d的拍摄图像中，在4个照相机102a～102d的拍摄范围相互重合的范围内分别包含1个标识的图像。提取部、例如图像恰当判定部105针对4个标识101a～101d中的各个标识提取特征点坐标。一次校正部160a针对4个标识101a～101d中的各个标识，在拍摄范围中包含该标识的每个照相机102a～102d计算出将该标识的特征点坐标坐标变换为该标识的标识坐标系的单应矩阵，根据单应矩阵，分别计算出基于单应矩阵的变换目标的标识坐标系中的该照相机的位置。因此，不物理地调整拍摄俯视图像合成用拍摄图像的4个照相机102a～102d的设置状态，就能够根据4个拍摄图像生成俯视图像，因此在车辆出厂后，能够在销售商的修理工厂、用户的停车场等高精度地进行校正。
可以如下这样变形地实施以上说明的实施方式。
(变形例1)图像恰当判定部105也可以在修正图像生成部151生成修正图像A2～D2之前，判定拍摄图像A1～D1的亮度是否恰当，在不恰当的情况下，也可以通过图像处理来修正拍摄图像A1～D1的亮度。通过这样进行修正，能够降低因原因1、原因2、原因6、原因7造成的校正失败的频率。
(变形例2)在根据特征点输入请求部155的处理服务人员指定了特征点的位置的情况下，特征点输入请求部155计算的特征点坐标有可能因输入误差而从真正的特征点坐标偏离。也可以通过以下的处理，修正特征点输入请求部155计算出的特征点坐标的偏差。车载装置100利用线性放大法等图像处理，生成放大由服务人员指定了特征点的校正用标识101的周围的修正图像而得的放大修正图像。在放大修正图像中，在真正的特征点的近旁，亮度信号不急剧地变化，而斜坡状地平缓地变化。因此，车载装置100将该斜坡的中央部分连接起来，检测在特征点近旁相交的2个直线，计算出这些2个直线的交点作为真正的特征点坐标。通过这样进行修正，能够降低因原因4和原因9造成的校正失败的频率。
(变形例3)状态解析部108的作业内容生成部184想要从原因1～原因13中判断出服务人员校正失败的原因，但作业内容生成部184判断的原因并不限定于原因1～原因13。例如也可以判断因没有将校正用标识101a～101d设置在平坦的地面上而校正失败。
(变形例4)在上述实施方式中，在校正用标识101a～101d的表面描绘的图形是涂黑的矩形，但也可以是其他图形。例如可以是砖格图案。另外，在上述实施方式中，以特征点P(a，1)为标识坐标系的原点，但也可以是其他特征点，能够对在校正用标识101a～101d的表面描绘的每个图形适当地进行选择。
(变形例5)坐标系综合部163使照相机102a～102d的设置位置和设置角度的基准与车辆坐标系一致的方法并不限于上述说明的方法。例如，也可以通过以下的方法分别计算出校正用标识101a的标识坐标系中的照相机102c的设置位置和设置角度。
[1]坐标系综合部163从(2.2)的设置位置和设置角度分别减去(2.5)的设置位置和设置角度。由此，能够分别计算出校正用标识101b的标识坐标系中的照相机102c相对于照相机102a的设置位置和设置角度。
[2]坐标系综合部163从(2.1)的设置位置和设置角度分别减去[1]的计算结果。
(变形例6)一次校正部160a和二次校正部160b的具体步骤也可以是上述实施方式所示的步骤以外的步骤。例如，一次校正部160a也可以采用不使用单应矩阵的方法，而根据修正图像坐标系中的校正用标识的特征点坐标，计算出标识坐标系中的多个照相机的设置位置和设置角度。
(变形例7)上述实施方式的照相机校正装置被安装在车辆201中，是具备俯视图像生成部110的车载装置100。但是，本发明的照相机校正装置也可以不是安装在车辆201中的车载装置，可以是能够与具有俯视图像生成部110的车载装置连接的外部信息终端。例如，也可以是服务人员携带的笔记本型个人计算机。
以上说明的实施方式、变形例只不过是示例，在不损害发明的特征的情况下，本发明并不限于这些内容。另外，也可以在不损害发明的特征的情况下组合执行以上说明的实施方式或变形例。
将以下的优先权基础申请的公开内容作为引用文组合于此。
日本专利申请2013年第247261号(2013年11月29日申请)
符号说明
100：车载装置；101a、101b、101c、101d：校正用标识；102a、102b、102c、102d：照相机；105：图像恰当判定部；106：校正部；107：校正恰当判定部；108：状态解析部；151：修正图像生成部；152：校正标识识别部；153：特征点坐标计算部；154：图像判定部；155：特征点输入请求部；160a：一次校正部；160b：二次校正部；161：单应矩阵计算部；162：最佳化处理部；163：坐标系综合部；164：误差分配部；165：参数修正部；166：映射表更新部；201：车辆。

Claims (9)

1.一种照相机校正装置，其通过至少2个照相机拍摄至少1个标识，根据上述至少2个照相机的拍摄图像对上述至少2个照相机的设置状态进行校正，该照相机校正装置的特征在于，具备：
提取部，其根据上述至少2个照相机的拍摄图像提取上述至少1个标识的特征点的位置作为特征量；
一次校正部，其根据上述特征量，在标识坐标系中分别计算出上述至少2个照相机的各位置，上述标识坐标系是以上述标识的表面的预定位置为原点的坐标系；以及
二次校正部，其将通过上述一次校正部计算出的上述标识坐标系中的各照相机的位置坐标变换为车辆坐标系中的各照相机的位置，所述车辆坐标系是以车辆前部中央的预定地上高度位置为原点的坐标系，
该照相机校正装置具备：
图像恰当判定部，其根据上述特征量，判定是否恰当地拍摄了图像；
校正恰当判定部，其根据上述二次校正部进行校正后生成的俯视图像，判定上述车辆坐标系中的多个上述照相机中各个照相机的位置是否恰当；以及
状态解析部，其根据上述图像恰当判定部的判定结果和上述校正恰当判定部的判定结果，解析上述校正失败的原因，
上述状态解析部具备：
特征量精度判定部，其判定上述一次校正部进行校正处理后的上述特征量的精度是否恰当；
校正状态解析部，其在上述特征量精度判定部判定为恰当的情况下，解析上述二次校正部的校正状态；以及
图像状态解析部，其在上述特征量精度判定部判定为不恰当的情况下，解析上述拍摄图像。
2.根据权利要求1所述的照相机校正装置，其特征在于，
上述校正恰当判定部将上述判定结果显示在显示部中。
3.根据权利要求1所述的照相机校正装置，其特征在于，
上述至少2个照相机是拍摄范围相互重合的2个照相机，
在来自上述2个照相机的上述拍摄图像中，在上述2个照相机的拍摄范围重合的范围内包含1个标识的图像，
上述提取部针对上述1个标识提取特征点的位置作为上述特征量，
上述一次校正部计算出将上述特征点的位置坐标变换为上述标识坐标系的单应矩阵，根据上述单应矩阵计算出上述标识坐标系中的上述2个照相机的位置，
上述二次校正部具备：坐标系综合部，其将通过上述一次校正部计算出的上述标识坐标系中的各照相机的位置变换为上述车辆坐标系中的位置。
4.根据权利要求3所述的照相机校正装置，其特征在于，
该照相机校正装置是针对上述2个照相机和进一步追加的2个照相机的校正装置，
4个照相机中的各个照相机与上述4个照相机中的其他2个照相机的拍摄范围重合，
在来自上述4个照相机的拍摄图像中，在上述4个照相机的拍摄范围相互重合的范围内分别包含1个标识的图像，
上述提取部提取4个标识各自的特征点的位置作为上述特征量，
上述一次校正部针对上述4个标识中的各个标识，对在拍摄范围内包含该标识的每个照相机，计算出将该标识的上述特征点的位置坐标变换为该标识的上述标识坐标系的单应矩阵，根据上述单应矩阵，分别计算出上述单应矩阵的变换目标的上述标识坐标系中的该照相机的位置。
5.根据权利要求4所述的照相机校正装置，其特征在于，
上述4个照相机是第一、第二、第三、第四照相机，
上述第一照相机的拍摄范围与上述第三、第四照相机的拍摄范围重合，
上述第二照相机的拍摄范围与上述第三、第四照相机的拍摄范围重合，
在上述第一照相机的拍摄范围与上述第四照相机的拍摄范围重合的范围内包含第一标识的图像，
在上述第一照相机的拍摄范围与上述第三照相机的拍摄范围重合的范围内包含第二标识的图像，
在上述第二照相机的拍摄范围与上述第四照相机的拍摄范围重合的范围内包含第三标识的图像，
在上述第二照相机的拍摄范围与上述第三照相机的拍摄范围重合的范围内包含第四标识的图像，
上述车辆坐标系是以上述第一照相机的设置位置为基准的坐标系，
上述坐标系综合部针对上述4个照相机中拍摄范围重合的多个照相机，根据上述一次校正部计算出的位置，计算出上述第一标识的上述标识坐标系中的上述4个照相机的位置，根据上述第一标识的上述标识坐标系中的上述第一照相机的位置，将上述第一标识的上述标识坐标系中的上述4个照相机的位置变换为上述车辆坐标系。
6.根据权利要求5所述的照相机校正装置，其特征在于，
上述一次校正部计算出上述第一标识的标识坐标系中的上述第一照相机的位置和上述第四照相机的位置、上述第二标识的标识坐标系中的上述第三照相机的位置和上述第一照相机的位置、上述第三标识的标识坐标系中的上述第四照相机的位置和上述第二照相机的位置、上述第四标识的标识坐标系中的上述第二照相机的位置和上述第三照相机的位置，
上述坐标系综合部进行如下计算：
根据不同的2个标识坐标系中的同一照相机的位置，计算出该2个标识坐标系之间的相对位置关系，
根据不同的2个标识坐标系之间的相对位置关系，计算出上述第一标识的上述标识坐标系中的上述第二、第三、第四标识的标识坐标系的相对位置关系，
根据上述第一标识的上述标识坐标系中的上述第二、第三、第四标识的标识坐标系的相对位置关系和上述一次校正部计算出的各照相机的位置，计算出上述第一标识的标识坐标系中的各照相机的位置。
7.根据权利要求6所述的照相机校正装置，其特征在于，
上述坐标系综合部根据上述第一标识的标识坐标系中的上述第二标识的位置和上述第二标识的标识坐标系中的上述第一照相机的位置，计算出上述第一标识的标识坐标系中的上述第一照相机的位置，
上述二次校正部还具备：误差分配部，其向上述第一标识的标识坐标系中的各照相机的位置分配通过上述一次校正部计算出的上述第一标识的标识坐标系中的上述第一照相机的位置与上述坐标系综合部计算出的上述第一标识的标识坐标系中的上述第一照相机的位置之间的误差。
8.根据权利要求7所述的照相机校正装置，其特征在于，
上述二次校正部还具备：修正部，其在通过上述误差分配部分配上述误差后，根据如下位置修正上述车辆坐标系中的各照相机的位置：(1)将上述第一照相机和第四照相机的各拍摄图像中的上述第一标识的上述特征点的位置变换为上述车辆坐标系后的上述第一标识的上述特征点的重心位置、(2)将上述第三照相机和第一照相机的各拍摄图像中的上述第二标识的上述特征点的位置变换为上述车辆坐标系后的上述第二标识的上述特征点的重心位置、(3)将上述第四照相机和第二照相机的各拍摄图像中的上述第三标识的上述特征点的位置变换为上述车辆坐标系后的上述第三标识的上述特征点的重心位置、(4)将上述第二照相机和第三照相机的各拍摄图像中的上述第四标识的上述特征点的位置变换为上述车辆坐标系后的上述第四标识的上述特征点的重心位置。
9.根据权利要求1所述的照相机校正装置，其特征在于，
该照相机校正装置还具备：输入部，其输入与上述至少1个标识的大小有关的信息，
上述特征量精度判定部根据目标函数的极小值，判定上述特征量的精度，其中，目标函数表示通过上述一次校正部计算出的上述标识坐标系中的上述至少2个照相机的各位置与基于上述至少1个标识的大小有关的信息的上述标识坐标系中的上述至少2个照相机各自的理论位置之间的误差的总和。
CN201480064709.6A 2013-11-29 2014-11-18 照相机校正装置 Expired - Fee Related CN105765963B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013247261A JP6034775B2 (ja) 2013-11-29 2013-11-29 カメラ校正装置
JP2013-247261 2013-11-29
PCT/JP2014/080530 WO2015079980A1 (ja) 2013-11-29 2014-11-18 カメラ校正装置

Publications (2)

Publication Number Publication Date
CN105765963A CN105765963A (zh) 2016-07-13
CN105765963B true CN105765963B (zh) 2019-04-12

Family

ID=53198925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480064709.6A Expired - Fee Related CN105765963B (zh) 2013-11-29 2014-11-18 照相机校正装置

Country Status (5)

Country Link
US (1) US10192309B2 (zh)
EP (1) EP3076654A4 (zh)
JP (1) JP6034775B2 (zh)
CN (1) CN105765963B (zh)
WO (1) WO2015079980A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US10750080B2 (en) * 2015-04-28 2020-08-18 Sony Corporation Information processing device, information processing method, and program
EP3125196B1 (en) * 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
JP6541590B2 (ja) * 2016-02-03 2019-07-10 クラリオン株式会社 カメラキャリブレーション装置
JP6736414B2 (ja) * 2016-08-10 2020-08-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6699902B2 (ja) 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
KR102466305B1 (ko) * 2017-01-12 2022-11-10 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
KR102433824B1 (ko) * 2017-01-12 2022-08-17 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
TWI636425B (zh) * 2017-06-21 2018-09-21 晶睿通訊股份有限公司 介面運作方法及其手持裝置
CN107621278B (zh) * 2017-08-04 2021-01-29 驭势科技（北京）有限公司 自主校准方法及装置
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP2019092002A (ja) 2017-11-13 2019-06-13 ヤマハ発動機株式会社 船舶用俯瞰画像生成装置およびそのキャリブレーション方法
KR102470298B1 (ko) * 2017-12-01 2022-11-25 엘지이노텍 주식회사 카메라 보정 방법 및 장치
CN110070582B (zh) * 2018-01-23 2021-04-23 舜宇光学（浙江）研究院有限公司 多摄模组参数自校准系统和校准方法及其电子设备
EP3531376B1 (en) * 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
US20210405654A1 (en) * 2018-03-22 2021-12-30 Infinium Robotics Pte Ltd Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform
DE102018206190A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform
DE102018111776B4 (de) * 2018-05-16 2024-01-25 Motherson Innovations Company Limited Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
WO2019227079A1 (en) 2018-05-25 2019-11-28 Aquifi, Inc. Systems and methods for multi-camera placement
JP7203105B2 (ja) * 2018-06-29 2023-01-12 株式会社小松製作所 撮像装置の校正装置、監視装置、作業機械および校正方法
CN109191525B (zh) * 2018-09-03 2022-04-15 佛亚智能装备（苏州）有限公司 一种偏差预警方法及装置
CN110969664B (zh) * 2018-09-30 2023-10-24 北京魔门塔科技有限公司 一种相机外部参数的动态标定方法
JP7148064B2 (ja) * 2018-10-25 2022-10-05 株式会社アイシン カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
US10930155B2 (en) * 2018-12-03 2021-02-23 Continental Automotive Systems, Inc. Infrastructure sensor detection and optimization method
JP2020147962A (ja) * 2019-03-12 2020-09-17 日立建機株式会社 周囲表示システム及びそれを備えた作業機械
JP7317531B2 (ja) * 2019-03-14 2023-07-31 ヤマハ発動機株式会社 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
KR102277828B1 (ko) * 2019-08-13 2021-07-16 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN110610524B (zh) * 2019-08-30 2022-06-17 广东奥普特科技股份有限公司 一种相机标定点坐标计算方法
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
CN117152273B (zh) * 2023-11-01 2024-02-23 安徽中科星驰自动驾驶技术有限公司 一种用于自动驾驶车辆的相机标定设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011025840A (ja) * 2009-07-27 2011-02-10 Alpine Electronics Inc カメラ調整方法及び装置
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像系统及其校准方法和校准程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009104323A (ja) * 2007-10-22 2009-05-14 Alpine Electronics Inc マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
WO2010052772A1 (ja) * 2008-11-05 2010-05-14 富士通株式会社 カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム
WO2010109730A1 (ja) * 2009-03-26 2010-09-30 アイシン精機株式会社 カメラ校正装置
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011025840A (ja) * 2009-07-27 2011-02-10 Alpine Electronics Inc カメラ調整方法及び装置
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像系统及其校准方法和校准程序

Also Published As

Publication number Publication date
JP6034775B2 (ja) 2016-11-30
WO2015079980A1 (ja) 2015-06-04
US20160275683A1 (en) 2016-09-22
JP2015106785A (ja) 2015-06-08
EP3076654A1 (en) 2016-10-05
CN105765963A (zh) 2016-07-13
EP3076654A4 (en) 2018-04-25
US10192309B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
CN105765963B (zh) 照相机校正装置
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
CN111210468B (zh) 一种图像深度信息获取方法及装置
CN105453546B (zh) 图像处理装置、图像处理系统和图像处理方法
EP2745504B1 (en) Image projector, image processing method, computer program and recording medium
CN110146869A (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
JP7480882B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
US20220277478A1 (en) Positioning Method and Apparatus
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
CN109690622A (zh) 多相机系统中的相机登记
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
JP2022528301A (ja) キャリブレーション方法、位置確定方法、装置、電子機器及び記憶媒体
CN108989794B (zh) 基于抬头显示系统的虚像信息测量方法及系统
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
CN110660105A (zh) 一种全景环视系统的标定参数优化方法及装置
KR20160070874A (ko) 모바일 기기를 이용한 위치기반 시설물 관리 시스템
CN110807431A (zh) 对象定位方法、装置、电子设备及存储介质
CN109308714A (zh) 基于分类惩罚的摄像头和激光雷达信息配准方法
CN110232676B (zh) 飞机线缆支架的安装状态检测方法、装置、设备及系统
JP2010258897A (ja) 判定プログラムおよびキャリブレーション装置
JP2022011818A (ja) 情報処理装置およびその制御方法
KR20200063898A (ko) 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법
JP6452638B2 (ja) 台帳生成装置および台帳生成プログラム
JP2020057298A (ja) 判定装置、判定方法及び判定プログラム
CN113034585B (zh) 偏移状态测试方法、测试设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190412

CF01 Termination of patent right due to non-payment of annual fee