JP2015106785A - カメラ校正装置 - Google Patents

カメラ校正装置 Download PDF

Info

Publication number
JP2015106785A
JP2015106785A JP2013247261A JP2013247261A JP2015106785A JP 2015106785 A JP2015106785 A JP 2015106785A JP 2013247261 A JP2013247261 A JP 2013247261A JP 2013247261 A JP2013247261 A JP 2013247261A JP 2015106785 A JP2015106785 A JP 2015106785A
Authority
JP
Japan
Prior art keywords
index
camera
calibration
coordinate system
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013247261A
Other languages
English (en)
Other versions
JP6034775B2 (ja
Inventor
盛彦 坂野
Morihiko Sakano
盛彦 坂野
青木　利幸
Toshiyuki Aoki
利幸 青木
岡田　司
Tsukasa Okada
司 岡田
啓二 佐藤
Keiji Sato
啓二 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2013247261A priority Critical patent/JP6034775B2/ja
Priority to US15/033,941 priority patent/US10192309B2/en
Priority to PCT/JP2014/080530 priority patent/WO2015079980A1/ja
Priority to EP14865838.8A priority patent/EP3076654A4/en
Priority to CN201480064709.6A priority patent/CN105765963B/zh
Publication of JP2015106785A publication Critical patent/JP2015106785A/ja
Application granted granted Critical
Publication of JP6034775B2 publication Critical patent/JP6034775B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

【課題】俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラの設置状態を精度よく校正する。【解決手段】カメラ校正装置は、少なくとも二つのカメラで少なくとも一つの指標を撮像し、少なくとも二つのカメラの撮像画像に基づいて、少なくとも二つのカメラの設置状態について校正を行うカメラ校正装置であって、少なくとも二つのカメラの撮像画像に基づいて少なくとも一つの指標の特徴量を抽出する抽出部と、特徴量に基づいて、指標座標系において、少なくとも二つのカメラの各位置をそれぞれ算出する一次校正部と、一次校正部により算出された指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する二次校正部と、を備える。【選択図】図３

Description

本発明は、カメラ校正装置に関する。
運転者等に車両周囲の状況を視認させるために、車両の全周囲を複数のカメラで撮影し、各カメラから得られた撮像画像を俯瞰画像に変換し、複数の俯瞰画像を合成した合成画像をモニタに表示する俯瞰表示装置が知られている。このような俯瞰表示装置においては、俯瞰画像間で精緻に位置合わせを行う必要があるため、カメラの設置状態、たとえばカメラの設置位置や設置角度を精度よく校正（キャリブレーション）することが求められている。特許文献１には、車両の周囲の所定箇所に配置した校正用指標が適正に撮影されているか否かを判別して、適正に撮影されていないと判別したときには、適正ではない校正用指標の状態と、適正にする対策を案内出力するカメラ調整装置が開示されている。
特開２０１１−２５８４０号公報
本発明は、俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラの設置状態を精度よく校正することを目的とする。
本発明によるカメラ校正装置は、少なくとも二つのカメラで少なくとも一つの指標を撮像し、少なくとも二つのカメラの撮像画像に基づいて、少なくとも二つのカメラの設置状態について校正を行うカメラ校正装置であって、少なくとも二つのカメラの撮像画像に基づいて少なくとも一つの指標の特徴量を抽出する抽出部と、特徴量に基づいて、指標座標系において、少なくとも二つのカメラの各位置をそれぞれ算出する一次校正部と、一次校正部により算出された指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する二次校正部と、を備えることを特徴とする。
本発明によれば、俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラの設置状態を物理的に調整することなく、少なくとも二つの撮影画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、ディーラの修理工場、ユーザの駐車場、あるいは納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。
本発明の第１の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す図である。 本発明の第１の実施の形態に係るカメラ校正装置による校正により、精度よく合成される俯瞰画像の一例を示す図である。 本発明の第１の実施の形態に係るカメラ校正装置の一構成例を示すブロック図である。 画像適正判定部の一構成例を示すブロック図である。 補正画像の一例を示す図である。 校正部の一構成例を示す図である。 指標座標系の一例を示す図である。 校正適正判定部の一構成例を示す図である。 状態解析部の一構成例を示す図である。 カメラ校正装置の動作例に関するフローチャートである。 画像適正判定部に関するフローチャートの一例である。 本発明の第１の実施の形態に係るカメラ校正装置の校正部に関するフローチャートである。 校正適正判定部に関するフローチャートである。 状態解析部に関するフローチャートである。 本発明の第２の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す図である。 本発明の第２の実施の形態に係るカメラ校正装置による校正により、精度よく合成される俯瞰画像の一例を示す図である。 本発明の第２の実施の形態に係るカメラ校正装置の校正部に関するフローチャートである。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す。図１では、車両２０１は、たとえば乗用車であって、カーディーラの工場やユーザの自宅の駐車場などに駐車されている。車両２０１には、カメラ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが設置されている。
車載装置１００は、車両２０１に搭載されており、カメラ１０２ａ〜１０２ｄに接続されている。カメラ１０２ａ〜１０２ｄは、たとえば、魚眼カメラなどの広角カメラで構成され、車両２０１の周辺の地面に向けられている。
カメラ１０２ａは、車両２０１の前部に設けられ、車両２０１の前方の撮像範囲２０２ａを毎フレームごとに撮影し、撮像画像Ａ１を車載装置１００へ出力する。
カメラ１０２ｂは、車両２０１の後部に設けられ、車両２０１の後方の撮像範囲２０２ｂを毎フレームごとに撮影し、撮像画像Ｂ１を車載装置１００へ出力する。
カメラ１０２ｃは、車両２０１の左部に設けられ、車両２０１の左側方の撮像範囲２０２ｃを毎フレームごとに撮影し、撮像画像Ｃ１を車載装置１００へ出力する。
カメラ１０２ｄは、車両２０１の右部に設けられ、車両２０１の右側方の撮像範囲２０２ｄを毎フレームごとに撮影し、撮像画像Ｄ１を車載装置１００へ出力する。
カメラ１０２ａは車両前部中央に設置され、その光軸は車両前方を向き、カメラ１０２ｂは車両後部中央に設置され、その光軸は車両後方を向く。車両前後方向にカメラ１０２ｃの光軸は車両左側方を向き、カメラ１０２ｄの光軸は車両右側方を向く。
車載装置１００は、カメラ１０２ａ〜１０２ｄの撮像画像Ａ１〜Ｄ１に基づいて、図２に示すような車両２０１の周囲の俯瞰画像２５０を生成し、運転席に設けられた表示部に表示する。具体的には、図２に示す俯瞰画像２５０は、画像領域２５０ａと、画像領域２５０ｂと、画像領域２５０ｃと、画像領域２５０ｄとを有する。画像領域２５０ａの画像は、カメラ１０２ａが出力する撮像画像Ａ１に基づいて生成される。画像領域２５０ｂの画像は、カメラ１０２ｂが出力する撮像画像Ｂ１に基づいて生成される。画像領域２５０ｃの画像は、カメラ１０２ｃが出力する撮像画像Ｃ１に基づいて生成される。画像領域２５０ｄの画像は、カメラ１０２ｄが出力する撮像画像Ｄ１に基づいて生成される。
なお、図２のＸ１軸とＹ１軸は車両座標系であり、座標原点は、車両前部の中央の所定地上高さ位置である。設計上、カメラ１０２ａの中心位置が座標原点に設定される。車両の高さ方向はＺ１軸の座標値で表されるが、図２では図示を省略している。カメラ１０２ａ〜１０２ｄの設置位置は、車両座標系の座標値（ｘ，ｙ、ｚ）で規定され、設置角度は、角度（θroll, θpitch, θyaw）で規定される。θrollはカメラ光軸のロール角度、θpitchはカメラ光軸のピッチ角度、θyawはカメラ光軸のヨー角度である。
車載装置１００は、例えば、車両２０１を駐車するときに俯瞰画像２５０を表示することにより、車両２０１の周囲環境に関する情報を運転者に提供する。車載装置１００は俯瞰画像２５０を適正に生成するため、カメラ１０２ａ〜１０２ｄの設置状態を校正する。
図１では、サービスマンは、カメラ１０２ａ〜１０２ｄの設置状態を校正するため、車両２０１の右側前方、左側前方、右側後方、左側後方の地面に所定の校正用指標１０１ａ、１０１ｂ、１０１ｃ、１０１ｄをそれぞれ設置している。校正用指標１０１ａ〜１０１ｄは、たとえば、矩形の薄い平板であって、各々の表面には、黒く塗りつぶされた矩形形状の図形を有する。なお、図１では、矩形形状の図形の塗りつぶしをハッチングで表現している。
撮像範囲２０２ａと撮像範囲２０２ｄは、車両２０１の右側前方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ａと呼ぶ。
撮像範囲２０２ａと撮像範囲２０２ｃは、車両２０１の左側前方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ｂと呼ぶ。
撮像範囲２０２ｂと撮像範囲２０２ｄは、車両２０１の右側後方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ｃと呼ぶ。
撮像範囲２０２ｂと撮像範囲２０２ｃは、車両２０１の左側後方で一部が重なり合い、それらが重なり合う範囲を共通撮像範囲２０３ｄと呼ぶ。
図１では、共通撮像範囲２０３ａ〜２０３ｄの各々を太線で図示している。
カメラ１０２ａ〜１０２ｄの設置状態、すなわちカメラ１０２ａ〜１０２ｄの設置位置と設置角度を適正に校正するためには、図１に示すように、校正用指標１０１ａ、１０１ｂ、１０１ｃ、１０１ｄを共通撮像範囲２０３ａ、２０３ｂ、２０３ｃ、２０３ｄの内側にそれぞれ設置する必要がある。
共通撮像範囲２０３ａ〜２０３ｄの位置は、カメラ１０２ａ〜１０２ｄの設置状態に応じて変化する。校正マニュアルには、車両２０１を基準とした共通撮像範囲２０３ａ〜２０３ｄの大まかな位置を示す概略範囲が掲載されている。サービスマンは、校正マニュアルに従い、この概略範囲の内側に校正用指標１０１ａ〜１０１ｄを設置する。また、この概略範囲は、車載装置１００にも予め記憶されている。なお、校正用指標１０１ａ〜１０１ｄは、矩形形状の図形を有する表面を鉛直上向き（紙面垂直方向）に向けていれば、任意の向きで設置してよい。
校正用指標１０１ａ〜１０１ｄの矩形形状の図形の４辺の長さＬは、校正マニュアルに掲載されており、サービスマンが知り得る既知のデータである。以降、矩形上の図形の四つの角を特徴点と呼ぶ。
図３は、本発明の第１の実施の形態に係るカメラ校正装置である車載装置１００のブロック構成図である。車載装置１００は、画像取得部１０３と、入力部１０４と、画像適正判定部１０５と、校正部１０６と、校正適正判定部１０７と、状態解析部１０８と、表示部１０９と、俯瞰画像生成部１１０と、微調整部１１１とを備える。
画像取得部１０３は、カメラ１０２ａ〜１０２ｄからそれぞれ撮像画像Ａ１、Ｂ１、Ｃ１、Ｄ１を取得し、その撮像画像Ａ１〜Ｄ１を不図示のメモリに記憶する。
入力部１０４は、たとえば、マウス、キーボード、タッチパネルなどの入力装置である。サービスマンは、入力部１０４を用いて、カメラ１０２ａ〜１０２ｄの校正に必要なパラメータを校正マニュアルに従い入力し、校正を開始するための操作を行う。カメラ１０２ａ〜１０２ｄの校正に必要なパラメータとは、たとえば、校正用指標１０１ａ〜１０１ｄの矩形形状の図形の４辺の長さＬ、カメラ１０２ａ〜１０２ｄのカメラレンズの特性などである。入力操作に応じた情報は、画像適正判定部１０５、校正部１０６、微調整部１１１に入力される。
画像適正判定部１０５は、画像取得部１０３により取得された撮像画像Ａ１〜Ｄ１が適正か否かを判定する。画像適正判定部１０５は、撮像画像Ａ１〜Ｄ１に対して、カメラ１０２ａ〜１０２ｄのカメラレンズの特性によって生じる歪みを補正して、補正画像Ａ２〜Ｄ２（後述）を生成する。そして、画像適正判定部１０５は、補正画像Ａ２〜Ｄ２に基づいて校正用指標１０１ａ〜１０１ｄの特徴点を検出して、撮像画像Ａ１〜Ｄ１の特徴点の座標を算出する。以降、補正画像Ａ２〜Ｄ２における特徴点の座標のことを特徴点座標と呼ぶ。画像適正判定部１０５は、特徴点座標が上述した概略範囲内にあるか否かに基づいて、画像が適正か否かを判定する。
校正部１０６は、画像適正判定部１０５が算出した校正用指標１０１ａ〜１０１ｄの特徴点座標に基づいて、俯瞰画像２５０の車両座標系におけるカメラ１０２ａ〜１０２ｄの設置位置と設置角度とを算出する。そして、校正部１０６は、俯瞰画像生成部１１０により俯瞰画像２５０が適正に生成されるように設置位置と設置角度の各設定値を調整する。
校正適正判定部１０７は、後述する方法により校正部１０６による校正結果が適正か否かを判定する。校正適正判定部１０７の判定結果は、状態解析部１０８へ出力される。また、校正適正判定部１０７は、その判定結果を表示部１０９に表示させる。
状態解析部１０８は、画像適正判定部１０５と校正部１０６と校正適正判定部１０７の出力に基づいて、カメラ１０２ａ〜１０２ｄの設置状態の校正が失敗した原因を解析する。状態解析部１０８は、解析の結果判明した原因を解消するための対策方法を表示部１０９に出力して、サービスマンに指示する。
俯瞰画像生成部１１０は、補正画像Ａ２〜Ｄ２に基づいて俯瞰画像２５０を生成する。車載装置１００には、補正画像Ａ２〜Ｄ２の画素と俯瞰画像２５０上の画素との対応関係が記憶されたマッピングテーブルが記憶されている。俯瞰画像生成部１１０は、このマッピングテーブルを参照して、補正画像Ａ２〜Ｄ２を俯瞰画像２５０に座標変換する。マッピングテーブルは、校正後のカメラ１０２ａ〜１０２ｄの設置位置と設置角度とに基づいて、校正部１０６により調整される。
微調整部１１１は、表示部１０９に俯瞰画像と、カメラの設置位置と設置角度とを調整する調整画面とを表示して、サービスマンにカメラの設置位置と設置角度の微調整を実施させる。微調整部１１１は、サービスマンによる入力部１０４を介した入力操作に応じて、カメラ１０２ａ〜１０２ｄの設置位置と設置角度を調整する。
サービスマンが校正用指標１０１ａ〜１０１ｄを設置して、入力部１０４を用いて車載装置１００の校正の開始を指示すると、カメラ１０２ａ〜１０２ｄの校正に必要なパラメータを入力するための入力画面が表示部１０９に表示される。サービスマンがパラメータの入力を完了すると、画像取得部１０３による撮像画像Ａ１〜Ｄ１の取得が開始される。撮像画像Ａ１〜Ｄ１の取得開始に応じて、画像適正判定部１０５も動作を開始し、撮像画像Ａ１〜Ｄ１が適正か否かを判定する。撮像画像Ａ１〜Ｄ１が適正と判定された場合、校正部１０６が動作し、カメラ１０２ａ〜１０２ｄの設置位置と設置角度が算出される。校正適正判定部１０７は、校正部１０６による校正が適正か否かを判定する。
画像適正判定部１０５により撮像画像が不適正と判定された場合、または校正適正判定部１０７により校正が不適正と判定された場合、状態解析部１０８がカメラ１０２ａ〜１０２ｄの設置状態の校正が失敗した原因を解析する。たとえば、状態解析部１０８は、校正用指標１０１ａ〜１０１ｄの設置位置が共通撮像範囲２０３ａ〜２０３ｄから逸脱しているといった原因を解析する。状態解析部１０８は、解析結果に応じた対策方法を表示部１０９に表示する。サービスマンは、表示部１０９に表示された対策を行い、再びカメラ１０２ａ〜１０２ｄの校正を試みる。
（画像適正判定部１０５）
図４に示すように、画像適正判定部１０５は、補正画像生成部１５１と、校正指標認識部１５２と、特徴点座標算出部１５３と、画像判定部１５４と、特徴点入力要求部１５５とを有する。
補正画像生成部１５１は、撮像画像Ａ１〜Ｄ１に対して、カメラ１０２ａ〜１０２ｄのカメラレンズの特性によって生じる歪みを補正して、補正画像Ａ２〜Ｄ２を生成する。カメラ１０２ａ〜１０２ｄのカメラレンズの特性によって生じる歪みに関する情報は、予め設定されている。
カメラ１０２ａ〜１０２ｄのレンズは魚眼レンズのような焦点距離が短いレンズであり、撮像画像は歪んでいる。そのため、表示モニタに俯瞰画像として表示するためには歪みを補正する必要がある。そこで、補正画像生成部１５１は、上述したマッピングテーブルを利用して歪み補正を行う。
図５は、補正画像Ａ２の一例を示す図である。補正画像Ａ２には、図１で示したように撮像範囲２０２ａの内側に位置する校正用指標１０１ａおよび１０１ｂの像が含まれる。また、補正画像Ａ２は複数の画素で描画されるが、これらの画素は直交座標系であるＸＡ２軸−ＹＡ２軸補正画像座標系で表される。
校正指標認識部１５２は、テンプレートマッチングやＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などの公知の画像認識手段を適用して、補正画像Ａ２〜Ｄ２に基づいて校正用指標１０１ａ〜１０１ｄを検出する。図５の例では、校正指標認識部１５２は、補正画像Ａ２に基づいて、校正用指標１０１ａと校正用指標１０１ｂを検出する。具体的には、校正指標認識部１５２は以下のようにして校正用座標１０１ａ〜１０１ｄを検出する。すなわち、
校正用指標１０１ａは、補正画像Ａ２と補正画像Ｄ２に基づいてそれぞれ検出される。
校正用指標１０１ｂは、補正画像Ａ２と補正画像Ｃ２に基づいてそれぞれ検出される。
校正用指標１０１ｃは、補正画像Ｂ２と補正画像Ｄ２に基づいてそれぞれ検出される。
校正用指標１０１ｄは、補正画像Ｂ２と補正画像Ｃ２に基づいてそれぞれ検出される。
特徴点座標算出部１５３は、検出された校正用指標１０１ａ〜１０１ｄの特徴点を補正画像座標系上の座標値として算出する。すなわち、特徴点座標算出部１５３は、校正用指標１０１ａ〜１０１ｄの特徴点座標を算出する。図５の例では、校正用指標１０１ａの特徴点Ｐ（ａ，ｉ）（ｉは四つの角の通し番号で１〜４の整数）の補正画像座標系上の座標と、校正用指標１０１ｂの特徴点Ｐ（ｂ，ｉ）の補正画像座標系上の座標、すなわち特徴点座標をそれぞれ算出する。
校正用指標１０１ａ〜１０１ｄの各特徴点座標は、校正用指標１０１ａ〜１０１ｄが検出された二つの補正画像からそれぞれ算出される。すなわち、校正用指標１０１ａの特徴点座標は、補正画像Ａ２の補正画像座標系上と補正画像Ｄ２の補正画像座標系上にそれぞれ算出される。同様に、校正用指標１０１ｂの特徴点座標は、補正画像Ａ２の補正画像座標系上と補正画像Ｃ２の補正画像座標系上にそれぞれ算出される。校正用指標１０１ｃの特徴点座標は、補正画像Ｂ２の補正画像座標系上と補正画像Ｄ２の補正画像座標系上にそれぞれ算出される。校正用指標１０１ｄの特徴点座標は、補正画像Ｂ２の補正画像座標系上と補正画像Ｃ２の補正画像座標系上にそれぞれ算出される。
画像判定部１５４は、校正用指標１０１ａ〜１０１ｄのすべての特徴点座標が前述した概略範囲内に位置するか否かを判定する。画像適正判定部１０５は、校正用指標１０１ａ〜１０１ｄのすべての特徴点座標が概略範囲内に位置すると判定した場合、撮像画像Ａ１〜Ｄ１が適正であると判定する。一方で、画像適正判定部１０５は、たとえば、校正用指標１０１ａ〜１０１ｄのうちのいずれかの特徴点座標が概略範囲外に位置する場合、撮像画像Ａ１〜Ｄ１が不適正であると判定する。
画像適正判定部１０５は、画像判定部１５４により撮像画像Ａ１〜Ｄ１が適正と判定された場合、校正用指標１０１ａ〜１０１ｄの特徴点座標を校正部１０６と状態解析部１０８へ出力する。
画像適正判定部１０５は、画像判定部１５４により撮像画像Ａ１〜Ｄ１が不適正と判定された場合、校正用指標１０１ａ〜１０１ｄの特徴点座標に関する情報と、特徴点座標が検出されなかった校正用指標に関する情報とを状態解析部１０８へ出力する。
撮像画像Ａ１〜Ｄ１が明る過ぎて白とびが発生している場合には、校正指標認識部１５２は校正用指標１０１ａ〜１０１ｄを認識できないおそれがある。また、撮像画像Ａ１〜Ｄ１が暗すぎて黒つぶれが発生している場合などにも校正指標認識部１５２は校正用指標１０１ａ〜１０１ｄを認識できないおそれがある。特徴点入力要求部１５５は、校正指標認識部１５２が校正用指標１０１ａ〜１０１ｄを認識できなかった場合に、サービスマンに特徴点の位置を指定させる。たとえば、特徴点入力要求部１５５は、校正用指標１０１ａ〜１０１ｄを認識できなかった補正画像を表示部１０９に表示すると共に、入力部１０４を介して特徴点の入力を受け付ける。特徴点入力要求部１５５は、サービスマンが指定した特徴点について、特徴点座標を算出する。
（校正部１０６）
図６は、校正部１０６のブロック構成図である。図６に示す校正部１０６は、一次校正部１６０ａと、二次校正部１６０ｂと、マッピングテーブル更新部１６６とを有する。一次校正部１６０ａは、補正画像座標系における校正用指標１０１ａ〜１０１ｄの特徴点座標に基づいて、指標座標系と称する座標系におけるカメラ１０２ａ〜１０２ｄの位置をそれぞれ算出する。二次校正部１６０ｂは、一次校正部１６０ａにより算出された指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する。一次校正部１６０ａは、ホモグラフィ行列算出部１６１と、最適化処理部１６２とを有する。二次校正部１６０ｂは、座標系統合部１６３と、誤差配分部１６４と、パラメータ補正部１６５とを有する。
指標座標系とは、図７に示すように、校正用指標１０１ａ〜１０１ｄごとに設けられた座標系であって、校正用指標１０１ａ〜１０１ｄの表面の所定の位置に原点を有し、校正用指標１０１ａ〜１０１ｄの表面に平行で互いに直交する２軸を有する。図７に示す指標座標系は、校正用指標１０１ａの表面に設けられた座標系であって、特徴点Ｐ（ａ，１）を原点として、互いに直交するようにＸＡ３軸とＹＡ３軸とが設定されている。
ホモグラフィ行列算出部１６１は、補正画像座標系における校正用指標１０１ａ〜１０１ｄの特徴点座標を指標座標系と称する座標系に座標変換するためのホモグラフィ行列を演算する。
ホモグラフィ行列は、補正画像Ａ２〜Ｄ２ごとに個別に演算されると共に、校正用指標１０１ａ〜１０１ｄごとに個別に演算される。すなわち、校正部１０６は、以下の八つのホモグラフィ行列を演算する。
（１．１）補正画像Ａ２の補正画像座標系における校正用指標１０１ａの特徴点座標を校正用指標１０１ａの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ａ２，ａ）
（１．２）補正画像Ａ２の補正画像座標系における校正用指標１０１ｂの特徴点座標を校正用指標１０１ｂの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ａ２，ｂ）
（１．３）補正画像Ｂ２の補正画像座標系における校正用指標１０１ｃの特徴点座標を校正用指標１０１ｃの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｂ２，ｃ）
（１．４）補正画像Ｂ２の補正画像座標系における校正用指標１０１ｄの特徴点座標を校正用指標１０１ｄの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｂ２，ｄ）
（１．５）補正画像Ｃ２の補正画像座標系における校正用指標１０１ｂの特徴点座標を校正用指標１０１ｂの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｃ２，ｂ）
（１．６）補正画像Ｃ２の補正画像座標系における校正用指標１０１ｄの特徴点座標を校正用指標１０１ｄの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｃ２，ｄ）
（１．７）補正画像Ｄ２の補正画像座標系における校正用指標１０１ａの特徴点座標を校正用指標１０１ａの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｄ２，ａ）
（１．８）補正画像Ｄ２の補正画像座標系における校正用指標１０１ｃの特徴点座標を校正用指標１０１ｃの指標座標系における座標に変換するホモグラフィ行列Ｈ（Ｄ２，ｃ）
ホモグラフィ行列Ｈ（Ａ２，ａ）の算出方法と、校正用指標１０１ａの指標座標系におけるカメラの設置位置と設置角度の算出方法について説明する。
世界座標系を補正画像Ａ２の補正画像座標系に座標変換する式は、（式１）のようになる。（ｕ，ｖ）は補正画像Ａ２の補正画像座標系における座標を表し、（ｘ，ｙ，ｚ）は、世界座標系における座標を表す。世界座標系の原点は、指標座標系の原点と一致する。世界座標系の座標軸は、指標座標系のＸＡ３軸およびＹＡ３軸と、それらの2軸に直交するＺＡ３軸とを有する。Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３は、回転行列の要素である。ｓの値は後に算出する。
Figure 2015106785
 （式１）
（式１）の行列の和を行列の積の形に変形すると、（式２）のようになる。
Figure 2015106785
 （式２）
校正用指標１１０ａ〜１１０ｄは、地面（ｚ＝０）に設置されているから、校正用指標１０１ａの指標座標系を補正画像Ａ２の補正画像座標系に座標変換する式は（式３）のように変形できる。
Figure 2015106785
 （式３）
ここで、ホモグラフィ行列Ｈ（Ａ２，ａ）の逆行列Ｈ−１ （Ａ２，ａ）は、（式４）のように定義される。なお、この逆行列Ｈ−１ （Ａ２，ａ）もホモグラフィ行列である。
Figure 2015106785
 （式４）
（式４）の各要素をｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２、ｈ３３に置き換えると、（式５）のようになる。
Figure 2015106785
 （式５）
斉次座標表現のため、ホモグラフィ行列は、定数倍の任意性を有する。ここでは例えばｈ３３＝１とする。ｈ３３＝１を代入した（式５）は、以下の連立方程式と等価である。
ｓｕ＝ｈ１１ｘ＋ｈ１２ｙ＋ｈ１３
ｓｖ＝ｈ２１ｘ＋ｈ２２ｙ＋ｈ２３
ｓ＝ｈ３１ｘ＋ｈ３２ｙ＋１
この連立方程式からｓを消して、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２に関して整理して、行列表記すると、（式６）のようになる。
Figure 2015106785
 （式６）
画像適正判定部１０５により算出された補正画像座標系の校正用指標１０１ａの四つの特徴点Ｐ（ａ，１）、Ｐ（ａ，２）、Ｐ（ａ，３）、Ｐ（ａ，４）の座標を（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）とする。
校正用指標１０１ａ〜１０１ｄの矩形形状の図形の４辺の長さＬに基づいて算出される指標座標系における四つの特徴点Ｐ（ａ，１）、Ｐ（ａ，２）、Ｐ（ａ，３）、Ｐ（ａ，４）の座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）とする。
このとき、（ｕ１，ｖ１）と（ｘ１，ｙ１）の間の関係、（ｕ２，ｖ２）と（ｘ２，ｙ２）の間の関係、（ｕ３，ｖ３）と（ｘ３，ｙ３）の間の関係、（ｕ４，ｖ４）と（ｘ４，ｙ４）の間の関係は、それぞれ（式６）の関係となる。したがって、ホモグラフィ行列Ｈ（Ａ２，ａ）の逆行列Ｈ−１ （Ａ２，ａ）の要素ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２は、（式７）で表される連立方程式を解くことにより算出することができる。
Figure 2015106785
 （式７）
ホモグラフィ行列算出部１６１は、ホモグラフィ行列Ｈ（Ａ２，ａ）の逆行列Ｈ−１ （Ａ２，ａ）に基づいて、ホモグラフィ行列Ｈ（Ａ２，ａ）を算出する。ホモグラフィ行列算出部１６１は、他の七つのホモグラフィ行列も同様の計算により生成する。
ホモグラフィ行列算出部１６１は、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２に基づいて、（式８ａ）、（式８ｂ）、（式８ｃ）を算出して指標座標系におけるカメラ１０２ａの設置位置（ｔ１，ｔ２，ｔ３）を算出する。なお、ｓは、（式９）を用いて算出される。
ｔ１＝ｓ・ｈ１３ （式８ａ）
ｔ２＝ｓ・ｈ２３ （式８ｂ）
ｔ３＝ｓ （式８ｃ）
Figure 2015106785
 ・・・（式９）
また、ホモグラフィ行列算出部１６１は、ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２に基づいて、（式１０ａ）、（式１０ｂ）、（式１０ｃ）を算出して、指標座標系におけるカメラ１０２ａの設置角度を算出する。θpitchは、カメラ１０２ａの設置角度のピッチ方向成分を表す。θrollは、カメラ１０２ａの設置角度のロール方向成分を表す。θyawは、カメラ１０２ａの設置角度のヨー方向成分を表す。
θpitch＝ｓｉｎ−１（ｈ３２） （式１０ａ）
θroll＝ｔａｎ−１（−ｈ２１／ｈ２２） （式１０ｂ）
θyaw＝ｔａｎ−１（−ｈ１３／ｈ３３） （式１０ｃ）
最適化処理部１６２は、ホモグラフィ行列算出部１６１が算出したカメラ１０２ａ〜１０２ｄの設置位置と設置角度に対して、最適化処理を行い、誤差を低減する。例えば最適化処理部１６２は、ホモグラフィ行列Ｈ（Ａ２，ａ）に関して、次のような演算を行う。
最適化処理部１６２は、校正用指標１０１ａの四つの特徴点Ｐ（ａ，１）、Ｐ（ａ，２）、Ｐ（ａ，３）、Ｐ（ａ，４）について、ホモグラフィ行列Ｈ（Ａ２，ａ）に基づいて補正画像座標系の座標（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）を指標座標系に座標変換した各座標（ｘｕ１，ｙｖ１）、（ｘｕ２，ｙｖ２）、（ｘｕ３，ｙｖ３）、（ｘｕ４，ｙｖ４）と、既知の指標座標系の各座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）との誤差の総和を表す目的関数を算出する。最適化処理部１６２は、その目的関数の値が極小となるようなホモグラフィ行列Ｈ（Ａ２，ａ）を最急効果法や他の大域的最適解探索法などを用いて探索する。そして、最適化処理部１６２は、探索されたホモグラフィ行列Ｈ（Ａ２，ａ）に基づいて算出される設置位置と設置角度の値を最適値とする。
ホモグラフィ行列算出部１６１と最適化処理部１６２の演算により、以下の八つの設置位置と設置角度とが算出される。座標系統合部１６３は、これらのカメラ１０２ａ〜１０２ｄの設置位置と設置角度の基準を車両座標系に合わせる。
（２．１）校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置と設置角度
（２．２）校正用指標１０１ｂの指標座標系におけるカメラ１０２ａの設置位置と設置角度
（２．３）校正用指標１０１ｃの指標座標系におけるカメラ１０２ｂの設置位置と設置角度
（２．４）校正用指標１０１ｄの指標座標系におけるカメラ１０２ｂの設置位置と設置角度
（２．５）校正用指標１０１ｂの指標座標系におけるカメラ１０２ｃの設置位置と設置角度
（２．６）校正用指標１０１ｄの指標座標系におけるカメラ１０２ｃの設置位置と設置角度
（２．７）校正用指標１０１ｃの指標座標系におけるカメラ１０２ｄの設置位置と設置角度
（２．８）校正用指標１０１ａの指標座標系におけるカメラ１０２ｄの設置位置と設置角度
座標系統合部１６３は、（２．７）の設置位置と設置角度から（２．８）の設置位置と設置角度をそれぞれ減ずることにより、校正用指標１０１ａに対する校正用指標１０１ｃの相対位置と相対角度とを算出することができる。座標系統合部１６３は、その算出結果を（２．３）の設置位置と設置角度からそれぞれ減ずることにより、校正用指標１０１ａの指標座標系におけるカメラ１０２ｂの設置位置と設置角度とをそれぞれ算出することができる。
座標系統合部１６３は、（２．４）の設置位置と設置角度から（２．３）の設置位置と設置角度をそれぞれ減ずることにより、校正用指標１０１ｃに対する校正用指標１０１ｄの相対位置と相対角度とを算出することができる。座標系統合部１６３は、校正用指標１０１ｃに対する校正用指標１０１ｄの相対位置と相対角度から校正用指標１０１ａに対する校正用指標１０１ｃの相対位置と相対角度をそれぞれ減ずることにより、校正用指標１０１ａに対する校正用指標１０１ｄの相対位置と相対角度とを算出することができる。座標系統合部１６３は、その算出結果を（２．６）の設置位置と設置角度からそれぞれ減ずることにより、校正用指標１０１ａの指標座標系におけるカメラ１０２ｃの設置位置と設置角度とをそれぞれ算出することができる。
座標系統合部１６３は、（２．５）の設置位置と設置角度から（２．６）の設置位置と設置角度をそれぞれ減ずることにより、校正用指標１０１ｄに対する校正用指標１０１ｂの相対位置と相対角度とを算出することができる。座標系統合部１６３は、校正用指標１０１ｄに対する校正用指標１０１ｂの相対位置と相対角度から校正用指標１０１ａに対する校正用指標１０１ｄの相対位置と相対角度をそれぞれ減ずることにより、校正用指標１０１ａに対する校正用指標１０１ｂの相対位置と相対角度とを算出することができる。座標系統合部１６３は、その算出結果を（２．２）の設置位置と設置角度からそれぞれ減ずることにより、校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置と設置角度とをそれぞれ算出することができる。この校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置と設置角度のことを、（２．１）の設置位置と設置角度と識別するため、２回目のカメラ１０２ａの設置位置と設置角度と呼ぶ。
座標系統合部１６３は、校正用指標１０１ａの指標座標系におけるカメラ１０２ｂの設置位置と設置角度とから（２．１）の設置値と設置角度をそれぞれ減ずる。これにより、カメラ１０２ａに対するカメラ１０２ｂの相対位置と相対角度とが算出される。同様にして、座標系統合部１６３は、カメラ１０２ａに対するカメラ１０２ｃの相対位置および相対角度と、カメラ１０２ｄの相対位置および相対角度とを算出する。
座標系統合部１６３は、カメラ１０２ａに対するカメラ１０２ｂ、１０２ｃ、１０２ｄの相対位置と相対角度に基づいて、車両座標系におけるカメラ１０２ａ〜１０２ｄの設置位置および設置角度を算出する。
２回目のカメラ１０２ａの設置位置と設置角度と、（２．１）の設置位置と設置角度との間には、計算誤差等が累積して誤差（閉合差）が生じている。誤差配分部１６４は、車両座標系におけるカメラ１０２ａの設置位置の誤差と設置角度の誤差をそれぞれ車両座標系におけるカメラ１０２ａ〜１０２ｄの設置位置と設置角度に配分する。たとえば、誤差配分部１６４は、設置位置の誤差については均等法、コンパス法、トランシット法などを用いて配分し、設置角度の誤差については等配分する。誤差を配分することにより、車両座標系におけるカメラ１０２ａの設置位置と設置角度に計算誤差が偏在しなくなる。しかし、閉合差の配分により、俯瞰画像２５０の画像領域の境界近傍で被写体像にずれが生じるおそれがある。
パラメータ補正部１６５は、誤差配分部１６４による閉合差の配分によって俯瞰画像２５０に生じるずれを補正する。
パラメータ補正部１６５は、以下の８種類の特徴点座標の車両座標系における位置を用いた演算により、閉合差の配分により発生したずれを軽減する。
（３．１）補正画像Ａ２における校正用指標１０１ａの四つの特徴点の座標
（３．２）補正画像Ｄ２における校正用指標１０１ａの四つの特徴点の座標
（３．３）補正画像Ａ２における校正用指標１０１ｂの四つの特徴点の座標
（３．４）補正画像Ｃ２における校正用指標１０１ｂの四つの特徴点の座標
（３．５）補正画像Ｂ２における校正用指標１０１ｃの四つの特徴点の座標
（３．６）補正画像Ｄ２における校正用指標１０１ｃの四つの特徴点の座標
（３．７）補正画像Ｂ２における校正用指標１０１ｄの四つの特徴点の座標
（３．８）補正画像Ｃ２における校正用指標１０１ｄの四つの特徴点の座標
パラメータ補正部１６５は、（３．１）の重心と（３．２）の重心とを算出して、その二つの重心の平均座標Ｇａを算出する。
パラメータ補正部１６５は、（３．３）の重心と（３．４）の重心とを算出して、その二つの重心の平均座標Ｇｂを算出する。
パラメータ補正部１６５は、（３．５）の重心と（３．６）の重心とを算出して、その二つの重心の平均座標Ｇｃを算出する。
パラメータ補正部１６５は、（３．７）の重心と（３．８）の重心とを算出して、その二つの重心の平均座標Ｇｄを算出する。
パラメータ補正部１６５は、（３．１）の重心が平均座標Ｇａに移動し、（３．３）の重心が平均座標Ｇｂに移動するように、車両座標系におけるカメラ１０２ａの設置位置と設置角度を微調整する。
パラメータ補正部１６５は、３．５）の重心が平均座標Ｇｃに移動し、（３．７）の重心が平均座標Ｇｄに移動するように、車両座標系におけるカメラ１０２ｂの設置位置と設置角度を微調整する。
パラメータ補正部１６５は、（３．４）の重心が平均座標Ｇｂに移動し、（３．８）の重心が平均座標Ｇｄに移動するように、車両座標系におけるカメラ１０２ｃの設置位置と設置角度とを微調整する。
パラメータ補正部１６５は、（３．２）の重心が平均座標Ｇａに移動し、（３．６）の重心が平均座標Ｇｃに移動するように、車両座標系におけるカメラ１０２ｄの設置位置と設置角度とを微調整する。
以上の微調整とは、座標統合部１６３で算出された設置位置と設置角度を補正することを意味する。
マッピングテーブル更新部１６６は、微調整後の車両座標系におけるカメラ１０２ａ〜１０２ｄの設置位置と設置角度とに基づいて、マッピングテーブルを更新する。マッピングテーブル更新部１６６は、マッピングテーブルの初期値において想定されていたカメラ１０２ａ〜１０２ｄの設置位置と設置角度と、微調整後のカメラ１０２ａ〜１０２ｄの設置位置と設置角度との誤差に基づいて、マッピングテーブルの初期値を更新する。
（校正適正判定部１０７）
図８に示すように、校正適正判定部１０７は、一致度検査部１７１と、形状検査部１７２と、サイズ検査部１７３と、評価値算出部１７４と、校正判定部１７５とを有する。
一致度検査部１７１は、校正用指標１０１ａ〜ｄの各々の特徴点座標を該校正用指標の指標座標系に座標変換する二つのホモグラフィ行列について、座標変換後の特徴点座標の一致度を検査する。具体的には、一致度検査部１７１は、以下の四つの座標誤差を算出する。
（４．１）補正画像Ａ２に含まれる校正用指標１０１ａの特徴点座標をホモグラフィ行列Ｈ（Ａ２，ａ）で座標変換した座標と、補正画像Ｄ２に含まれる校正用指標１０１ａの特徴点座標をホモグラフィ行列Ｈ（Ｄ２，ａ）で座標変換した座標との座標誤差
（４．２）補正画像Ａ２に含まれる校正用指標１０１ｂの特徴点座標をホモグラフィ行列Ｈ（Ａ２，ｂ）で座標変換した座標と、補正画像Ｃ２に含まれる校正用指標１０１ｂの特徴点座標をホモグラフィ行列Ｈ（Ｃ２，ｂ）で座標変換した座標との座標誤差
（４．３）補正画像Ｂ２に含まれる校正用指標１０１ｃの特徴点座標をホモグラフィ行列Ｈ（Ｂ２，ｃ）で座標変換した座標と、補正画像Ｄ２に含まれる校正用指標１０１ｃの特徴点座標をホモグラフィ行列Ｈ（Ｄ２，ｃ）で座標変換した座標との座標誤差
（４．４）補正画像Ｂ２に含まれる校正用指標１０１ｄの特徴点座標をホモグラフィ行列Ｈ（Ｂ２，ｄ）で座標変換した座標と、補正画像Ｃ２に含まれる校正用指標１０１ｄの特徴点座標をホモグラフィ行列Ｈ（Ｃ２，ｄ）で座標変換した座標との座標誤差
形状検査部１７２は、更新後のマッピングテーブルを用いて生成された俯瞰画像２５０において、校正用指標１０１ａ〜１０１ｄの特徴点座標によって描かれる形状を検査する。形状検査部１７２は、補正画像Ａ２に含まれる校正用指標１０１ａについては、車両座標系における以下の４辺の傾きを算出する。
（５．１）車両座標系に座標変換された特徴点Ｐ（ａ，１）と特徴点Ｐ（ａ，２）とを結んだ辺Ｅ（Ａ２，ａ，１）
（５．２）車両座標系に座標変換された特徴点Ｐ（ａ，２）と特徴点Ｐ（ａ，３）とを結んだ辺Ｅ（Ａ２，ａ，２）
（５．３）車両座標系に座標変換された特徴点Ｐ（ａ，３）と特徴点Ｐ（ａ，４）とを結んだ辺Ｅ（Ａ２，ａ，３）
（５．４）車両座標系に座標変換された特徴点Ｐ（ａ，４）と特徴点Ｐ（ａ，１）とを結んだ辺Ｅ（Ａ２，ａ，４）
校正部１０６によりカメラ１０２ａ〜１０２ｄの設置位置と設置角度が適正に校正されていれば、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，３）は平行であり、辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）も平行である。また、辺Ｅ（Ａ２，ａ，１）に対して辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）は垂直であり、辺Ｅ（Ａ２，ａ，３）に対しても辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）は垂直である。
形状検査部１７２は、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，３）の成す角度を算出して、その角度から１８０度を減じた角度誤差を算出する。
形状検査部１７２は、辺Ｅ（Ａ２，ａ，２）と辺Ｅ（Ａ２，ａ，４）の成す角度を算出して、その角度から１８０度を減じた角度誤差を算出する。
形状検査部１７２は、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，２）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。
形状検査部１７２は、辺Ｅ（Ａ２，ａ，１）と辺Ｅ（Ａ２，ａ，４）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。
形状検査部１７２は、辺Ｅ（Ａ２，ａ，３）と辺Ｅ（Ａ２，ａ，２）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。
形状検査部１７２は、辺Ｅ（Ａ２，ａ，３）と辺Ｅ（Ａ２，ａ，４）の成す角度を算出して、その角度から９０度を減じた角度誤差を算出する。
形状検査部１７２は、同様の処理を補正画像ごと、補正画像に含まれる校正用指標ごとに行う。
サイズ検査部１７３は、車両座標系における校正用指標１０１ａ〜１０１ｄの特徴点座標に基づいて、俯瞰画像２５０における校正用指標１０１ａ〜１０１ｄの大きさを検査する。サイズ検査部１７３は、補正画像Ａ２に含まれる校正用指標１０１ａの特徴点座標を用いて、以下の四つの距離を算出する。
（６．１）車両座標系に座標変換された特徴点Ｐ（ａ，１）と特徴点Ｐ（ａ，２）との間の距離
（６．２）車両座標系に座標変換された特徴点Ｐ（ａ，２）と特徴点Ｐ（ａ，３）との間の距離
（６．３）車両座標系に座標変換された特徴点Ｐ（ａ，３）と特徴点Ｐ（ａ，４）との間の距離
（６．４）車両座標系に座標変換された特徴点Ｐ（ａ，４）と特徴点Ｐ（ａ，１）との間の距離
（６．１）、（６．２）、（６．３）、（６．４）の距離は、理想的には、校正マニュアル等に記載されている校正用指標１０１ａ〜１０１ｄの矩形形状の図形の４辺の長さＬと一致する。
形状検査部１７２は、（６．１）の距離から距離Ｌを減じた距離誤差を算出する。
形状検査部１７２は、（６．２）の距離から距離Ｌを減じた距離誤差を算出する。
形状検査部１７２は、（６．３）の距離から距離Ｌを減じた距離誤差を算出する。
形状検査部１７２は、（６．４）の距離から距離Ｌを減じた距離誤差を算出する。
サイズ検査部１７３は、同様の処理を補正画像ごと、補正画像に含まれる校正用指標ごとに行う。
評価値算出部１７４は、一致度検査部１７１が算出した座標誤差の最大値δ１と、形状検査部１７２が算出した角度誤差の最大値δ２と、サイズ検査部１７３が算出した距離誤差の最大値δ３とをカメラ１０２ａ〜１０２ｄの校正の評価値（δ１，δ２，δ３）として算出する。
校正判定部１７５は、評価値算出部１７４が算出した座標誤差の最大値δ１、角度誤差の最大値δ２、距離誤差の最大値δ３に基づいて、カメラ１０２ａ〜１０２ｄの校正が適正か否かを判定する。校正判定部１７５は、座標誤差の最大値δ１が所定の閾値Ｔ１未満であり、かつ角度誤差の最大値δ２が所定の閾値Ｔ２未満であり、かつ距離誤差の最大値δ３が所定の閾値Ｔ３未満であるとき、カメラ１０２ａ〜１０２ｄの校正が適正であると判定する。
校正適正判定部１０７は、その判定結果に関する情報を状態解析部１０８へ出力する。すなわち、校正適正判定部１０７は、カメラ１０２ａ〜１０２ｄの校正が適正と判定した場合、適正であることを表す情報を状態解析部１０８へ送信する。また、校正適正判定部１０７は、カメラ１０２ａ〜１０２ｄの校正が不適正と判定した場合、不適正であることを表す情報と、一致度検査部１０７が算出した座標誤差と、形状検査部１７２が算出した角度誤差と、サイズ検査部１７３が算出した距離誤差と、評価値算出部１７４が算出した評価値を状態解析部１０８へ出力する。
（状態解析部１０８）
状態解析部１０８は、画像適正判定部１０５の判定結果と、校正適正判定部１０７の判定結果と、最適化処理部１６２が算出した目的関数の極小値と、座標系統合部１６３が算出したカメラ１０２ａの設置位置の閉合差と設置角度の閉合差と、撮像画像Ａ１〜Ｄ１とに基づいて、カメラ１０２ａ〜１０２ｄの校正状態を解析する。
状態解析部１０８は、図９に示すように、特徴点精度判定部１８１と、校正状態解析部１８２と、画像状態解析部１８３と、作業内容生成部１８４とを有する。
特徴点精度判定部１８１は、校正部１０６がカメラ１０２ａ〜１０２ｄの校正に失敗した場合に、その原因が特徴点座標の精度にあるか否かを判定する。状態解析部１０８は、特徴点精度判定部１８１の判定結果に基づいて、カメラ１０２ａ〜１０２ｄの校正に失敗した原因を切り分ける。
本実施の形態のように、校正用指標１０１ａ〜１０１ｄの設置位置や設置姿勢、カメラ１０２ａ〜１０２ｄの設置位置や設置角度に任意性がある場合、特定の位置に検出されているか否かといった方法で特徴点座標の精度を判定することは困難である。また、特徴点座標はサブピクセルレベルでの精度が求められるため、ピクセルレベルで検出されるエッジの状態などから判定することも難しい。
特徴点精度判定部１８１は、校正部１０６の最適化処理部１６２が算出した目的関数の極小値に基づいて、特徴点座標の精度を判定する。画像適正判定部１０５において特徴点座標が適正に算出されている場合、校正部１０６の最適化処理部１６２により、特徴点座標の理論値と一致させることができる。それに対して、画像適正判定部１０５において特徴点座標が適正に算出されていない場合、校正部１０６の最適化処理により、特徴点座標の理論値と一致させることができず、目的関数の値が小さくならない。特徴点精度判定部１８１は、目的関数の収束値が所定閾値以上の場合は、特徴点座標の精度が不適正であると判定し、目的関数の収束値が所定閾値未満の場合は、特徴点座標の精度が適正であると判定する。所定閾値の値は、予め設計段階における実験などによって定められる。
校正状態解析部１８２は、推定カメラパラメータ検査部７０１と座標統合時誤差検査部７０２とを有する。
推定カメラパラメータ検査部７０１は、サービスマンが入力したカメラ１０２ａ〜１０２ｄの校正に必要なパラメータが不適切であるか否かを判定する。推定カメラパラメータ検査部７０１は、校正部１０６が算出したカメラ１０２ａ〜ｄの設置位置および設置角度と、予め設定されたカメラ１０２ａ〜１０２ｄの設置位置および設置角度との誤差を算出する。サービスマンが入力したカメラ１０２ａ〜１０２ｄの校正に必要なパラメータが不適切な場合、カメラ１０２ａ〜１０２ｄの高さ方向の設置位置についてのみ大きな誤差が生じる傾向があることがわかっている。推定カメラパラメータ検査部７０１は、カメラ１０２ａ〜１０２ｄの高さ方向の設置位置についてのみ大きな誤差が生じた場合、サービスマンが入力したカメラ１０２ａ〜１０２ｄの校正に必要なパラメータが不適切であると判定する。
座標統合時誤差検査部７０２は、校正部１０６がカメラ１０２ａの設置位置と設置角度の基準とする座標系の統合を行う際に発生した誤差を検査する。サービスマンが入力したカメラ１０２ａ〜ｄの設置位置の初期値が大きく間違っている場合、座標系統合部１６３の処理時に算出する閉合差が大きくなる傾向にある。そこで、座標統合時誤差検査部７０２は、座標系統合部１６３の処理時に算出する閉合差が所定値以上か否かを判定する。
画像状態解析部１８３は、校正用指標位置算出部７０３と、輝度特徴算出部７０４と、形状特徴算出部７０５とを有する。
校正用指標位置算出部７０３は、補正画像Ａ２〜Ｄ２から校正用指標１０１ａ〜１０１ｄを検出すると共に、更新前のマッピングテーブルを用いて補正画像Ａ２〜Ｄ２に基づく俯瞰画像２５０を生成する。校正用指標位置算出部７０３は、その俯瞰画像２５０における校正用指標１０１ａ〜１０１ｄの重心位置を算出する。画像状態解析部１８３は、算出された校正用指標１０１ａ〜１０１ｄの重心位置に基づいて、サービスマンが校正用指標１０１ａ〜１０１ｄを設置した位置が適正か否かを検査することができる。
輝度特徴算出部７０４では、撮像画像Ａ１〜Ｄ１の各画素から輝度信号を取得して、輝度信号の平均値、輝度信号の最大値、隣接画素間における輝度信号の変化量などの情報を算出する。画像状態解析部１８３は、算出した撮像画像Ａ１〜Ｄ１の輝度に関する情報によって、撮像画像Ａ１〜Ｄ１の輝度が適正か否かを検査することができる。
形状特徴算出部７０５では、校正用指標１０１ａ〜１０１ｄの特徴点座標の位置関係に関わるさまざまな特徴量を抽出する。形状特徴算出部７０５は、ホモグラフィ算出処理と、最適化処理とを行い、座標系を統合する前のカメラ１０２ａ〜１０２ｄの設置位置と設置角度を算出する。そして、形状特徴算出部７０５は、座標系を統合する前のカメラ１０２ａ〜１０２ｄの設置位置と設置角度に対して、校正適正判定部１０７と同様の処理を適用する。画像状態解析部１８３は、撮像画像Ａ１〜Ｄ１が不適正となった原因が座標系を統合する前の処理か否かを検査することができる。
作業内容生成部１８４は、画像状態解析部１８２と校正状態解析部１８３が算出した各種情報を用いて、サービスマンに校正が失敗した原因を判断して、その対策をサービスマンに提示する。作業内容生成部１８４は、たとえば、以下に示すような校正失敗の原因を判断する。
原因１．撮像画像Ａ１〜Ｄ１が不適正で、画像が暗すぎる。
原因２．撮像画像Ａ１〜Ｄ１が不適正で、画像が明るすぎる。
原因３．撮像画像Ａ１〜Ｄ１が不適正で、校正用指標１０１ａ〜１０１ｄの設置位置が不正である。
原因４．撮像画像Ａ１〜Ｄ１が不適正で、特徴点入力要求部１５５においてサービスマンが指定した特徴点の座標が真の特徴点から大きくずれている。
原因５．撮像画像Ａ１〜Ｄ１が不適正で、校正開始時にサービスマンが入力したパラメータが不正である。
原因６．校正が不適正で、特徴点の精度が不十分で、画像が明るすぎる。
原因７．校正が不適正で、特徴点の精度が不十分で、画像が暗すぎる。
原因８．校正が不適正で、特徴点の精度が不十分で、画像に影が差している。
原因９．校正が不適正で、特徴点の精度が不十分で、特徴点入力要求部１５５においてサービスマンが指定した特徴点の座標が真の特徴点から大きくずれている。
原因１０．校正が不適正で、特徴点の精度が不十分で、校正用指標１０１ａ〜１０１ｄの設置位置が不正である。
原因１１．校正が不適正で、特徴点の精度が不十分で、校正開始時にサービスマンが入力したパラメータが不正である。
原因１２．校正が不適正で、特徴点の精度は十分だが、校正用指標のサイズが異なる
原因１３．校正が不適正で、特徴点の精度は十分だが、校正開始時にサービスマンが入力したパラメータが不正である。
なお、作業内容生成部１８４は、原因を一つに特定できない場合には、原因１〜原因１３の中から矛盾が生じない範囲内で複数の原因を判断することができる。矛盾が生じる判断とは、たとえば、画像が暗すぎるという原因と画像が明るすぎるという原因とを同時に判断した場合や、特徴点の精度が不十分という条件を含む原因と、特徴点の精度が十分という条件を含む原因とを同時に判断した場合などである。
作業内容生成部１８４は、画像適正判定部１０５によって撮像画像が不適正と判定された場合、校正失敗の原因を原因１〜原因５に絞り込む。
また、作業内容生成部１８４は、輝度特徴算出部７０４が算出した撮像画像Ａ１〜Ｄ１の各画素の輝度信号に関する情報に基づいて、原因１や原因２に該当するか否かを判断する。たとえば、撮像画像Ａ１〜Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ１よりも高い場合、原因２に該当すると判断する。また、撮像画像Ａ１〜Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ２（＜Ｉ１）よりも低い場合、原因１に該当すると判断する。
作業内容生成部１８４は、校正用指標位置検査部７０３によって出力される俯瞰画像における校正用指標１０１ａ〜１０１ｄの重心位置が所定の範囲から逸脱しているとき、原因３に該当すると判断する。
作業内容生成部１８４は、輝度特徴算出部７０４が算出した撮像画像Ａ１〜Ｄ１の各画素の輝度信号に基づいて、特徴点座標近傍の輝度の最大値と特徴点座標近傍の輝度の最小値との差を算出する。作業内容生成部１８４は、その差が所定値よりも小さい場合、特徴点入力要求部１５５の要求に応じてサービスマンが入力した特徴点座標が真の特徴点座標から大きく外れている疑いが強いため、原因４に該当すると判断する。
作業内容生成部１８４は、撮像画像Ａ１〜Ｄ１において、校正用指標１０１ａ〜１０１ｄの矩形形状の各図形の４辺の長さの最大値と最小値の差が所定閾値以上である場合は、原因５と判断する。ここで、所定閾値は、カメラ１０２ａ〜１０２ｄの設置角度に起因して理論上起こり得る差の最大値であって、車載装置１００の設計段階において予め設定されている。
作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、さらに、特徴点精度判定部１８１において特徴点精度が適正と判断された場合、原因１２または原因１３に該当すると判断する。
作業内容生成部１８４は、サービスマンが設定したカメラ１０２ａ〜ｄの設置位置および設置角度の初期値が不適切であると校正状態解析部１８２の推定カメラパラメータ検査部７０１が判定した場合、原因１２に該当すると判断する。
作業内容生成部１８４は、座標系統合部１６３の処理時に算出する閉合差が所定値以上の場合は、原因１３に該当すると判断する。
作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、さらに、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合、原因６、原因７、原因８、原因９、原因１０、原因１１のいずれか少なくとも一つに該当すると判断する。
作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、撮像画像Ａ１〜Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ１よりも高い場合、原因６に該当すると判断する。
作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、撮像画像Ａ１〜Ｄ１の各画素の輝度信号の平均値、最大値が共に所定閾値Ｉ２（＜Ｉ１）よりも低い場合、原因７に該当すると判断する。
作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、校正用指標位置検査部７０３が所定の範囲から逸脱しているとき、原因１０に該当すると判断する。
作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、輝度特徴算出部７０４が算出した撮像画像Ａ１〜Ｄ１の各画素の輝度信号に基づいて、特徴点座標近傍の輝度の最大値と特徴点座標近傍の輝度の最小値との差を算出する。作業内容生成部１８４は、その差が所定値よりも小さい場合、特徴点入力要求部１５５の要求に応じてサービスマンが入力した特徴点座標が真の特徴点座標から大きく外れている疑いが強いため、原因９に該当すると判断する。
作業内容生成部１８４は画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、補正画像Ａ２〜Ｄ２に対してエッジ検出処理を実行して検出した同一エッジ上の輝度信号列の輝度の平均値が所定閾値よりも大きく変動し、かつその輝度の変動が高輝度と低輝度との間を往復する物である場合、原因８に該当すると判断する。
作業内容生成部１８４は、画像適正判定部１０５では適正と判断されたが、校正適正判定部１０７において不適正と判定され、特徴点精度判定部１８１において特徴点精度が不適正と判断された場合に、撮像画像Ａ１〜Ｄ１において、校正用指標１０１ａ〜１０１ｄの矩形形状の各図形の４辺の長さの最大値と最小値の差が所定閾値以上である場合、原因１１に該当すると判断する。
作業内容生成部１８４は、原因１、原因２、原因６、原因７のいずれかに該当する場合は、サービスマンに照明の調整するように促すメッセージを表示部１０９に表示する。
また、作業内容生成部１８４は、原因１、原因７のいずれかに該当する場合は、屋外で校正を実施している可能性を考慮して、明るい時刻に校正を行うことを促すメッセージを表示部１０９に表示する。
作業内容生成部１８４は、原因３、原因１０のいずれかに該当する場合は、校正用指標１０１ａ〜１０１ｄを移動させるようにサービスマンに指示する。このとき、作業内容生成部１８４は、校正用指標１０１ａ〜１０１ｄの特徴点座標と、画像判定部１５４が判定に用いる適正画像領域とに基づいて、校正用指標１０１ａ〜１０１ｄを移動させる方向をさらに指示することが好ましい。
作業内容生成部１８４は、原因５、原因１１のいずれかに該当する場合は、カメラ１０２ａ〜１０２ｄの異常の可能性があるため、カメラ１０２ａ〜１０２ｄの交換などを指示する。
作業内容生成部１８４は、原因８に該当する場合は、校正用指標１０１ａ〜１０１ｄを影がない位置に移動させるように指示する。
作業内容生成部１８４は、原因１２に該当する場合は、使用している校正用指標１０１ａ〜１０１ｄ、または入力部１０４を介して入力した情報のいずれかに誤りがないか確認することをサービスマンに促す。
作業内容生成部１８４は、原因１３の場合は、サービスマンが入力した校正用指標１０１ａ〜１０１ｄの矩形形状の図形の４辺の長さＬなどの入力値が誤っていないか確認することを促す。
図１０は、車載装置１００がカメラ１０２ａ〜１０２ｄに接続され、車載装置１００の電源がオンになったときに車載装置１００が開始する動作を示すフローチャートである。この動作は、図示しないメモリに記憶されたプログラムを車載装置１００のＣＰＵ（不図示）が実行して行われる。
ステップＳ１では、車載装置１００は、「校正用指標を設置した後、校正開始操作を行ってください。」等のメッセージを表示部１０９に表示する。
ステップＳ２では、車載装置１００は、入力部１０４により、特にカメラ１０２ａ〜１０２ｄの校正を開始する操作が行われたか否かを判定する。車載装置１００は、校正を開始する操作が行われるまでステップＳ２の処理を繰り返し、校正を開始する操作が行われたときステップＳ３の処理に進む。
ステップＳ３では、車載装置１００は、カメラ１０２ａ〜１０２ｄの校正に必要なパラメータをサービスマンに入力させるための入力画面を表示部１０９に表示する。
ステップＳ４では、車載装置１００は、カメラ１０２ａ〜１０２ｄの校正に必要なパラメータの入力が完了したか否かを判定する。車載装置１００は、入力が完了するまでステップＳ４の処理を繰り返し、入力が完了したときステップＳ５の処理に進む。
ステップＳ５では、車載装置１００は、カメラ１０２ａ〜１０２ｄからの撮像画像Ａ１〜Ｄ１の取得を開始する。これにより、画像適正判定部１０５が撮像画像Ａ１〜Ｄ１が適正か否かの判定を開始する。
ステップＳ６では、車載装置１００は、撮像画像Ａ１〜Ｄ１が適正か否かを判定する。撮像画像Ａ１〜Ｄ１が適正と画像適正判定部１０５が判定した場合はステップＳ７の処理に進み、撮像画像Ａ１〜Ｄ１が不適正と画像適正判定部１０５が判定した場合はステップＳ１０の処理に進む。
ステップＳ７では、車載装置１００は、校正部１０６の処理を実行して、カメラ１０２ａ〜１０２ｄの設置位置と設置角度の校正を行う。
ステップＳ８では、車載装置１００は、カメラ１０２ａ〜１０２ｄの設置状態の校正に成功したか否かを判定する。カメラ１０２ａ〜１０２ｄの校正が適正と校正適正判定部１０７が判定した場合はステップＳ９の処理に進み、カメラ１０２ａ〜１０２ｄの校正が不適正と校正適正判定部１０７が判定した場合はステップＳ１０の処理に進む。
ステップＳ９では、車載装置１００は、「カメラの校正に成功しました。」などのメッセージを表示部１０９に表示する。その後、車載装置１００は、図１０に示す処理を終了する。
ステップＳ１０では、車載装置１００は、状態解析部１０８の処理を実行して、カメラ１０２ａ〜１０２ｄの校正に失敗した原因を解析する。車載装置１００は、状態解析部１０８の解析結果に基づく対策を表示部１０９に表示して、図１０に示す処理を終了する。
図１１は、画像適正判定部１０５の処理に関するフローチャートである。
ステップＳ３００では、車載装置１００は、補正画像生成部１５１の処理による補正画像Ａ２〜Ｄ２の生成を開始する。
ステップＳ３０１では、車載装置１００は、補正画像Ａ２〜Ｄ２に基づいて、校正指標認識部１５２の処理を行い、校正用指標１０１ａ〜１０１ｄを認識する。
ステップＳ３０２では、車載装置１００は、校正用指標１０１ａ〜１０１ｄを認識することができたか否かを判定する。車載装置１００は、校正指標認識部１５２の処理により校正用指標１０１ａ〜１０１ｄを認識することができた場合はステップＳ３０３の処理に進む。車載装置１００は、校正指標認識部１５２の処理により校正用指標１０１ａ〜１０１ｄを認識することができなかった場合、たとえば、撮像画像Ａ１〜Ｄ１の輝度が明るすぎる場合や暗すぎる場合には、ステップＳ３０６の処理に進む。
ステップＳ３０３では、車載装置１００は、認識した校正用指標１０１ａ〜１０１ｄについて、特徴点座標を算出する。
ステップＳ３０４では、車載装置１００は、画像判定部１５４の処理を実行して、撮像画像Ａ１〜Ｄ１が適正か否かを判定する。
ステップＳ３０５では、車載装置１００は、ステップＳ３０４の判定結果に応じた情報を情報解析部１０８へ出力する。
ステップＳ３０６では、車載装置１００は、特徴点入力要求部１５５の処理を実行する。
ステップＳ３０７では、車載装置１００は、サービスマンによる特徴点の入力が完了したか否かを判定する。車載装置１００は、たとえば、サービスマンが入力完了を表す所定の操作を行うまでステップＳ３０７の処理を繰り返し、サービスマンが入力完了を表す所定の操作を行った場合、特徴点の入力が完了したと判定して、ステップＳ３０８の処理に進む。
ステップＳ３０８では、車載装置１００は、サービスマンが入力した特徴点について、特徴点座標を算出する。その後、車載装置１００は、ステップＳ３０４の処理に進む。
図１２は、校正部１０６の処理に関するフローチャートである。
ステップＳ４０１では、車載装置１００は、ホモグラフィ算出部１６１の処理を実行して、校正用指標１０１ａ〜１０１ｄの特徴点座標を指標座標系に座標変換するための八つのホモグラフィ行列を演算する。車載装置１００は、算出したホモグラフィ行列に基づいて、カメラ１０２ａ〜１０２ｄの設置位置と設置角度を算出する。
ステップＳ４０２では、車載装置１００は、最適化処理部１６２の処理を実行して、ホモグラフィ行列の要素を用いて算出したカメラ１０２ａ〜１０２ｄの設置位置と設置角度に対して、最適化処理を行う。
ステップＳ４０３では、車載装置１００は、座標系統合部１６３の処理を実行して、ステップＳ４０２の処理で最適化されたカメラ１０２ａ〜１０２ｄの設置位置と設置角度の基準を車両座標系に合わせる。
ステップＳ４０４では、車載装置１００は、誤差配分部１６４の処理を実行して、車両座標系におけるカメラ１０２ａの設置位置の閉合差と設置角度の閉合差をそれぞれ車両座標系におけるカメラ１０２ａ〜１０２ｄの設置位置と設置角度に配分する。
ステップＳ４０５では、車載装置１００は、パラメータ補正部１６５の処理を実行して誤差配分部１６４による閉合差の配分によって俯瞰画像２５０に生じるずれを補正する。
ステップＳ４０６では、車載装置１００は、ステップＳ４０５の処理後の車両座標系におけるカメラ１０２ａ〜１０２ｄの設置位置と設置角度とに基づいて、マッピングテーブルを更新する。
ステップＳ４０７では、車載装置１００は、ステップＳ４０６で更新したマッピングテーブルを用いて、補正画像Ａ２〜Ｄ２を俯瞰画像２５０に座標変換する。
ステップＳ４０８では、車載装置１００は、ステップＳ４０７で生成した俯瞰画像２５０と、ステップＳ４０２の最適化処理で算出された目的関数と、ステップＳ４０４の誤差配分処理で配分した校正用指標１０１ａの指標座標系におけるカメラ１０２ａの設置位置の閉合差と設置角度の閉合差を状態解析部１０８へ出力する。また、車載装置１００は、ステップＳ４０７で生成した俯瞰画像２５０と、ステップＳ４０１で算出したホモグラフィ行列とを校正適正判定部１０７へ出力して、図１２の処理を終了する。
図１３は、校正適正判定部１０７の処理に関するフローチャートである。
ステップＳ５０１では、車載装置１００は、一致度検査部１７１と形状検査部１７２とサイズ検査部１７３の処理を実行する。これらの処理は、任意の順番で実行することにしてもよく、並列に実行することにしてもよい
ステップＳ５０２では、車載装置１００は、評価値算出部１７４の処理を実行して、一致度検査部１７１と形状検査部１７２とサイズ検査部１７３の算出結果に基づく評価値を算出する。
ステップＳ５０３では、車載装置１００は、校正判定部１７５の処理を実行する。
ステップＳ５０４では、車載装置１００は、ステップＳ５０３の判定結果に応じて、情報を状態解析部１０８へ出力して、図１３の処理を終了する。
図１４は、状態解析部１０８の処理に関するフローチャートである。
ステップＳ６０１では、車載装置１００は、図１１のステップＳ３０４で撮像画像Ａ１〜Ｄ１が適正と判定されたか否かを判定する。車載装置１００は、ステップＳ３０４で撮像画像Ａ１〜Ｄ１が適正と判定された場合は処理をステップＳ６０２に進め、ステップＳ３０４で撮像画像Ａ１〜Ｄ１が不適正と判定された場合は処理をステップＳ６０６に進める。
ステップＳ６０２では、車載装置１００は、図１３のステップＳ５０３でカメラ１０２ａ〜１０２ｄの設置状態の校正が適正と判定されたか否かを判定する。車載装置１００は、ステップＳ５０３でカメラ１０２ａ〜１０２ｄの設置状態の校正が適正と判定された場合は図１４の処理を終了する。車載装置１００は、ステップＳ５０３でカメラ１０２ａ〜１０２ｄの設置状態の校正が不適正と判定された場合はステップＳ６０３の処理に進む。
ステップＳ６０３では、車載装置１００は、特徴点精度判定部１８１の処理を実行する。
ステップＳ６０４では、車載装置１００は、ステップＳ６０３において、特徴点座標の精度が適正であると特徴点精度判定部１８１が判定したか否かを判定する。車載装置１００は、特徴点座標の精度が適正であると特徴点精度判定部１８１が判定した場合はステップＳ６０５の処理に進み、特徴点座標の精度が不適正であると特徴点精度判定部１８１が判定した場合はステップＳ６０６の処理に進む。
ステップＳ６０５では、車載装置１００は、校正状態解析部１８２の処理を実行する。
ステップＳ６０６では、車載装置１００は、画像状態解析部１８３の処理を実行する。
ステップＳ６０７では、車載装置１００は、作業内容生成部１８４の処理を実行する。
ステップＳ６０８では、車載装置１００は、作業内容生成部１８４により生成されたサービスマンの作業内容を表示部１０９に表示して、図１４の処理を終了する。
（第２の実施の形態）
本発明の第２の実施の形態について説明する。
図１５は、本発明の第２の実施の形態に係るカメラ校正装置を用いてカメラの校正を行う環境の一例を示す。図１５において、車両２０１は、たとえば、大型ダンプトラック、マイニング機械などの大型車両である。図１５には、車両２０１が納入先で組み立てられ、車両２０１の後方と右側方にそれぞれカメラ１０２ｂとカメラ１０２ｄが設置された状態が示されている。
車載装置１００は、図１６に示すような俯瞰画像を生成して、運転席に設けられた表示部に表示することで、運転者の死角となる周囲環境に関する情報を提供する。サービスマンは、車両２０１の納入先でカメラ１０２ｂとカメラ１０２ｄの設置状態を校正して、俯瞰画像が適正に生成されるように車載装置１００を設定する。
車載装置１００は、車両２０１に設けられており、カメラ１０２ｂとカメラ１０２ｄに接続されている。カメラ１０２ｂは、撮像範囲２０２ｂに関する撮像画像Ｂ１を車載装置１００へ出力する。カメラ１０２ｄは、撮像範囲２０２ｄに関する撮像画像Ｄ１を車載装置１００へ出力する。図１６に示す俯瞰画像には、カメラ１０２ｂが出力する撮像画像Ｂ１に基づいて生成される画像領域２５０ｂと、カメラ１０２ｄが出力する撮像画像Ｄ１に基づいて生成される画像領域２５０ｄとが含まれている。
サービスマンは、車両２０１の右側方後方に校正用指標１０１ｃを設置している。カメラ１０２ｂとカメラ１０２ｄの設置状態の校正を成功させるためには、図１５のように校正用指標１０１ｃがカメラ１０２ｂの撮像範囲２０２ｂとカメラ１０２ｄの撮像範囲２０２ｂとが重なり合う共通撮像範囲２０３ｃに設置されている必要がある。
第２の実施の形態における車載装置１００の構成は、第１の実施の形態と同一である。すなわち、第２の実施の形態における車載装置１００は、画像取得部１０３と、入力部１０４と、画像適正判定部１０５と、校正部１０６と、校正適正判定部１０７と、状態解析部１０８と、表示部１０９と、俯瞰画像生成部１１０とを備える。第２の実施の形態における車載装置１００は、校正部１０６の処理が第１の実施の形態と異なる。
図１７は、本発明の第２の実施の形態における校正部１０６に関するフローチャートである。図１７と図１２とを比較すると明らかなように、第２の実施の形態における校正部１０６は、ステップＳ４０４の誤差配分処理と、ステップＳ４０５のパラメータ補正処理とを実行しない点が第１の実施の形態における校正部１０６と異なる。
以上で説明した実施の形態によれば、以下の作用効果が得られる。
（１）第２の実施の形態である図１５〜図１７と、第１の実施の形態の図３、図４、図６を参照して説明する。カメラ校正装置１００は、少なくとも二つのカメラ１０２ｂ、１０２ｄで少なくとも一つの指標１０１ｃを撮像し、少なくとも二つのカメラ１０２ｂ、１０２ｄの撮像画像に基づいて、少なくとも二つのカメラ１０２ｂ、１０２ｄの設置状態について校正を行う。そして、この校正装置１００、少なくとも二つのカメラ１０２ｂ、１０２ｄの撮像画像に基づいて少なくとも一つの指標１０１ｃの特徴量を抽出する抽出部、たとえば画像適正判定部１０５と、特徴量に基づいて、指標座標系において、少なくとも二つのカメラ１０２の各位置をそれぞれ算出する一次校正部１６０ａと、一次校正部１６０ａにより算出された指標座標系における各カメラ１０２ｂ、１０２ｄの位置を車両座標系における各カメラ１０２の位置に座標変換する二次校正部１６０ｂと、を備える。したがって、俯瞰画像合成用の撮像画像を撮影する少なくとも二つのカメラ１０２ｂ、１０２ｄの設置状態を物理的に調整することなく、少なくとも２つの撮影画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、ディーラの修理工場、ユーザの駐車場、あるいは納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。
もちろん、車両を組み立て工場内での最終調整工程において本発明の校正装置を使用しても同様の効果が得られる。
（２）第２の実施の形態におけるカメラ校正装置１００は、カメラ１０２ｂおよび１０２ｄに対するカメラ校正装置であって、二つのカメラ１０２ｂおよび１０２ｄからの撮像画像には、二つのカメラ１０２ｂおよび１０２ｄの撮像範囲の重なる範囲に一つの指標１０１ｃの画像が含まれている。抽出部、たとえば画像適正判定部１０５は、一つの指標１０１ｃについて特徴点座標を抽出する。一次校正部１６０ａは、特徴点座標を指標座標系に座標変換するホモグラフィ行列を算出し、ホモグラフィ行列に基づいて指標座標系における二つのカメラ１０２ｂおよび１０２ｄの位置を算出する。二次校正部１６０ｂは、一次校正部１６０ａにより算出された指標座標系におけるカメラ１０２ｂおよび１０２ｄの各位置を車両座標系における位置に変換する座標系統合部１６３を有する。
したがって、俯瞰画像合成用の撮像画像を撮影する二つのカメラ１０２ｂ、１０２ｄの設置状態を物理的に調整することなく、二つの撮像画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、納品先で大型車両を組み立てる現場などにおいて、精度よく校正することができる。
（３）第１の実施の形態におけるカメラ校正装置は、四つのカメラ１０２ａ〜１０２ｄに対する校正装置である。四つのカメラ１０２ａ〜１０２ｄの各々は、四つのカメラ１０２ａ〜１０２ｄのうち他の二つのカメラと撮像範囲が重なり、四つカメラ１０２ａ〜１０２ｄからの撮像画像には、四つのカメラ１０２ａ〜１０２ｄの撮像範囲が互いに重なる範囲にそれぞれ一つの指標の画像が含まれている。抽出部、たとえば画像適正判定部１０５は、四つの指標１０１ａ〜１０１ｄの各々について特徴点座標を抽出する。一次校正部１６０ａは、四つの指標１０１ａ〜１０１ｄの各々について、当該指標を撮像範囲に含むカメラ１０２ａ〜１０２ｄごとに、当該指標の特徴点座標を当該指標の指標座標系に座標変換するホモグラフィ行列を算出し、ホモグラフィ行列に基づいて、ホモグラフィ行列による変換先の指標座標系における当該カメラの位置をそれぞれ算出する。したがって、俯瞰画像合成用の撮像画像を撮影する四つのカメラ１０２ａ〜１０２ｄの設置状態を物理的に調整することなく、四つの撮像画像に基づいて俯瞰画像を生成することができるので、車両が出荷された後に、ディーラの修理工場、ユーザの駐車場などで精度よく校正することができる。
以上で説明した実施形態は、以下のように変形して実施できる。
（変形例１） 画像適正判定部１０５は、補正画像生成部１５１が補正画像Ａ２〜Ｄ２を生成するより前に、撮像画像Ａ１〜Ｄ１の明るさが適正か否かを判定して、不適正の場合は撮像画像Ａ１〜Ｄ１の明るさを画像処理により補正することにしてもよい。このように補正することにより、原因１、原因２、原因６、原因７による校正失敗の頻度を低減することができる。
（変形例２） 特徴点入力要求部１５５の処理に応じてサービスマンが特徴点の位置を指定した場合に、特徴点入力要求部１５５が算出する特徴点座標は、入力誤差により、真の特徴点座標からずれているおそれがある。以下の処理により、特徴点入力要求部１５５が算出した特徴点座標のずれを補正することにしてもよい。車載装置１００は、サービスマンが特徴点を指定した校正用指標１０１の周囲の補正画像を拡大した拡大補正画像を線形拡大法などの画像処理を用いて生成する。拡大補正画像では、真の特徴点の近傍において輝度信号が急峻に変化しておらず、スロープ状になだらかに変化する。そこで、車載装置１００は、そのスロープの中央部分を結んで、特徴点近傍で交わる二つの直線を検出して、それら二つの直線の交点を真の特徴点座標として算出する。このように補正することにより、原因４および原因９による校正失敗の頻度を低減することができる。
（変形例３） 状態解析部１０８の作業内容生成部１８４は、サービスマンに校正が失敗した原因を原因１〜原因１３の中から判断することとしたが、作業内容生成部１８４が判断する原因は原因１〜原因１３だけに限定しない。たとえば、校正用指標１０１ａ〜１０１ｄが平坦な地面に設置されていないことによって校正に失敗したことを判断することにしてもよい。
（変形例４） 上記の実施の形態では、校正用指標１０１ａ〜１０ｄの表面に描かれた図形は、黒く塗りつぶされた矩形としたが、他の図形でもよい。たとえば、市松模様でもよい。また、上記の実施の形態では、特徴点Ｐ（ａ，１）を指標座標系の原点としたが、他の特徴点でもよく、校正用指標１０１ａ〜１０ｄの表面に描かれた図形ごとに適宜選択することができる。
（変形例５） 座標系統合部１６３がカメラ１０２ａ〜１０２ｄの設置位置と設置角度の基準を車両座標系に合わせる方法は、上記で説明した方法だけに限定されない。たとえば、次の方法で校正用指標１０１ａの指標座標系におけるカメラ１０２ｃの設置位置と設置角度とをそれぞれ算出することにしてもよい。
［１］座標系統合部１６３は、（２．２）の設置位置と設置角度から（２．５）の設置位置と設置角度をそれぞれ減ずる。これにより、校正用指標１０１ｂの指標座標系におけるカメラ１０２ａに対するカメラ１０２ｃの設置位置と設置角度とをそれぞれ算出することができる。
［２］座標系統合部１６３は、［１］の算出結果を（２．１）の設置位置と設置角度からそれぞれ減ずる。
（変形例６） 一次校正部１６０ａおよび二次校正部１６０ｂの具体的な手順は、上記の実施の形態で示した手順以外のものでもよい。たとえば、一次校正部１６０ａは、ホモグラフィ行列を用いない手法を採用して、補正画像座標系における校正用指標の特徴点座標に基づいて、指標座標系における複数のカメラの設置位置および設置角度を算出することにしてもよい。
（変形例７） 上記の実施の形態におけるカメラ校正装置は、車両２０１に搭載され、俯瞰画像生成部１１０を有する車載装置１００であった。しかし、本発明によるカメラ校正装置は、車両２０１に搭載された車載装置でなくてもよく、俯瞰画像生成部１１０を有する車載装置に接続可能な外部情報端末であってもよい。たとえば、サービスマンが携帯するノート型パーソナルコンピュータであってもよい。
以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。
１００ 車載装置
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ 校正用指標
１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ カメラ
１０５ 画像適正判定部
１０６ 校正部
１０７ 校正適正判定部
１０８ 状態解析部
１５１ 補正画像生成部
１５２ 校正指標認識部
１５３ 特徴点座標算出部
１５４ 画像判定部
１５５ 特徴点入力要求部
１６０ａ 一次校正部
１６０ｂ 二次校正部
１６１ ホモグラフィ行列算出部
１６２ 最適化処理部
１６３ 座標系統合部
１６４ 誤差配分部
１６５ パラメータ補正部
１６６ マッピングテーブル更新部
２０１ 車両

Claims (10)

  1. 少なくとも二つのカメラで少なくとも一つの指標を撮像し、前記少なくとも二つのカメラの撮像画像に基づいて、前記少なくとも二つのカメラの設置状態について校正を行うカメラ校正装置であって、
    前記少なくとも二つのカメラの撮像画像に基づいて前記少なくとも一つの指標の特徴量を抽出する抽出部と、
    前記特徴量に基づいて、指標座標系において、前記少なくとも二つのカメラの各位置をそれぞれ算出する一次校正部と、
    前記一次校正部により算出された前記指標座標系における各カメラの位置を車両座標系における各カメラの位置に座標変換する二次校正部と、
    を備えることを特徴とするカメラ校正装置。
  2. 請求項１に記載のカメラ校正装置において、
    前記少なくとも二つのカメラは、互いに撮像範囲が重なる二つのカメラであり、
    前記二つのカメラからの前記撮像画像には、前記二つのカメラの撮像範囲の重なる範囲に一つの指標の画像が含まれており、
    前記抽出部は、前記一つの指標について特徴点の位置を前記特徴量として抽出して、
    前記一次校正部は、前記特徴点の位置を前記指標座標系に座標変換するホモグラフィ行列を算出し、前記ホモグラフィ行列に基づいて前記指標座標系における前記二つのカメラの位置を算出し、
    前記二次校正部は、
    前記一次校正部により算出された前記指標座標系における各カメラの位置を前記車両座標系における位置に変換する座標系統合部を有することを特徴とするカメラ校正装置。
  3. 請求項２に記載のカメラ校正装置において、
    前記二つのカメラと、さらに追加された二つのカメラとに対する校正装置であって、
    四つのカメラの各々は、前記四つのカメラのうち他の二つのカメラと撮像範囲が重なり、
    前記四つカメラからの撮像画像には、前記四つのカメラの撮像範囲が互いに重なる範囲にそれぞれ一つの指標の画像が含まれており、
    前記抽出部は、四つの指標の各々の特徴点の位置を前記特徴量として抽出して、
    前記一次校正部は、前記四つの指標の各々について、当該指標を撮像範囲に含むカメラごとに、当該指標の前記特徴点の位置を当該指標の前記指標座標系に座標変換するホモグラフィ行列を算出し、前記ホモグラフィ行列に基づいて、前記ホモグラフィ行列による変換先の前記指標座標系における当該カメラの位置をそれぞれ算出することを特徴とするカメラ校正装置。
  4. 請求項３に記載のカメラ校正装置において、
    前記四つのカメラは、第１、第２、第３、および第４のカメラであって、
    前記第１のカメラは、前記第３および第４のカメラと撮像範囲が重なり合い、
    前記第２のカメラは、前記第３および第４のカメラと撮像範囲が重なり合い、
    前記第１のカメラの撮像範囲と前記第４のカメラの撮像範囲とが重なり合う範囲内に第１の指標の画像が含まれ、
    前記第１のカメラの撮像範囲と前記第３のカメラの撮像範囲とが重なり合う範囲内に第２の指標の画像が含まれ、
    前記第２のカメラの撮像範囲と前記第４のカメラの撮像範囲とが重なり合う範囲内に第３の指標の画像が含まれ、
    前記第２のカメラの撮像範囲と前記第３のカメラの撮像範囲とが重なり合う範囲内に第４の指標の画像が含まれ、
    前記車両座標系は、前記第１のカメラの設置位置を基準とした座標系であって、
    前記座標系統合部は、
    前記四つのカメラのうち撮像範囲が重なり合う複数のカメラについて前記一次校正部が算出した位置に基づいて、前記第１の指標の前記指標座標系における前記四つのカメラの位置を算出して、
    前記第１の指標の前記指標座標系における前記第１のカメラの位置に基づいて前記第１の指標の前記指標座標系における前記四つのカメラの位置を前記車両座標系に変換することを特徴とするカメラ校正装置。
  5. 請求項４に記載のカメラ校正装置において、
    前記一次校正部は、
    前記第１の指標の指標座標系における前記第１のカメラの位置と前記第４のカメラの位置と、
    前記第２の指標の指標座標系における前記第３のカメラの位置と前記第１のカメラの位置と、
    前記第３の指標の指標座標系における前記第４のカメラの位置と前記第２のカメラの位置と、
    前記第４の指標の指標座標系における前記第２のカメラの位置と前記第３のカメラの位置と、を算出し、
    前記座標系統合部は、
    異なる二つの指標座標系における同一のカメラの位置に基づいて、当該二つの指標座標系間の相対位置関係を算出し、
    異なる二つの指標座標系間の相対位置関係に基づいて、前記第１の指標の前記指標座標系における前記第２、第３、および第４の指標の指標座標系の相対位置関係を算出し、
    前記第１の指標の前記指標座標系における前記第２、第３、および第４の指標の指標座標系の相対位置関係と、前記一次校正部が算出した各カメラの位置とに基づいて、前記第１の指標の指標座標系における各カメラの位置を算出することを特徴とするカメラ校正装置。
  6. 請求項５に記載のカメラ校正装置において、
    前記座標系統合部は、前記第１の指標の指標座標系における前記第２の指標の位置と前記第２の指標の指標座標系における前記第１のカメラの位置とに基づいて、前記第１の指標の指標座標系における前記第１のカメラの位置を算出して、
    前記二次校正部は、
    前記一次校正部で算出された前記第１の指標の指標座標系における前記第１のカメラの位置と、前記座標系統合部が算出した前記第１の指標の指標座標系における前記第１のカメラの位置との誤差を前記第１の指標の指標座標系における各カメラの位置に配分する誤差配分部をさらに備えることを特徴とするカメラ校正装置。
  7. 請求項６に記載のカメラ校正装置において、
    前記二次校正部は、前記誤差配分部により前記誤差が配分された後に、（１）前記第１および第４のカメラの各撮像画像中の前記第１の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、（２）前記第３および第１のカメラの各撮像画像中の前記第２の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、（３）前記第４および第２のカメラの各撮像画像中の前記第３の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、（４）前記第２および第３のカメラの各撮像画像中の前記第４の指標の前記特徴点の位置を前記車両座標系に変換した各位置の重心位置と、に基づいて前記車両座標系における各カメラの位置を補正する補正部をさらに備えることを特徴とするカメラ校正装置。
  8. 請求項１乃至７のいずれか一項に記載のカメラ校正装置において、
    前記特徴量に基づいて、画像が適正に撮影されているか否かを判定する画像適正判定部と、
    前記二次校正部による校正の後に生成された俯瞰画像に基づいて、前記車両座標系における前記複数のカメラの各々の位置が適正か否かを判定する校正適正判定部と、
    前記画像適正判定部の判定結果と、前記校正適正判定部の判定結果とに基づいて、前記校正に失敗した原因を解析する状態解析部と、
    を備えることを特徴とするカメラ校正装置。
  9. 請求項８に記載のカメラ校正装置において、
    前記状態解析部は、
    前記一次校正部による校正処理後の前記特徴量の精度が適正か否かを判定する特徴量精度判定部と、
    前記特徴量精度判定部が適正と判定した場合に、前記二次校正部による校正状態を解析する校正状態解析部と、
    前記特徴量精度判定部が不適正と判定した場合に、前記撮像画像を解析する画像解析部と、
    を有することを特徴とするカメラ校正装置。
  10. 請求項９に記載のカメラ校正装置において、
    前記少なくとも一つの指標の寸法に関する情報を入力する入力部をさらに備え、
    前記特徴量精度判定部は、前記一次校正部で算出される前記指標座標系における前記少なくとも二つのカメラの各位置と、前記少なくとも一つの指標の寸法に関する情報に基づく前記指標座標系における前記少なくとも二つのカメラの各々の理論位置との間の誤差の総和を表す目的関数の極小値に基づいて、前記特徴量の精度を判定することを特徴とするカメラ校正装置。
JP2013247261A 2013-11-29 2013-11-29 カメラ校正装置 Expired - Fee Related JP6034775B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013247261A JP6034775B2 (ja) 2013-11-29 2013-11-29 カメラ校正装置
US15/033,941 US10192309B2 (en) 2013-11-29 2014-11-18 Camera calibration device
PCT/JP2014/080530 WO2015079980A1 (ja) 2013-11-29 2014-11-18 カメラ校正装置
EP14865838.8A EP3076654A4 (en) 2013-11-29 2014-11-18 Camera calibration device
CN201480064709.6A CN105765963B (zh) 2013-11-29 2014-11-18 照相机校正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013247261A JP6034775B2 (ja) 2013-11-29 2013-11-29 カメラ校正装置

Publications (2)

Publication Number Publication Date
JP2015106785A true JP2015106785A (ja) 2015-06-08
JP6034775B2 JP6034775B2 (ja) 2016-11-30

Family

ID=53198925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013247261A Expired - Fee Related JP6034775B2 (ja) 2013-11-29 2013-11-29 カメラ校正装置

Country Status (5)

Country Link
US (1) US10192309B2 (ja)
EP (1) EP3076654A4 (ja)
JP (1) JP6034775B2 (ja)
CN (1) CN105765963B (ja)
WO (1) WO2015079980A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026724A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20180083091A (ko) * 2017-01-12 2018-07-20 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
WO2019038901A1 (ja) * 2017-08-25 2019-02-28 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
KR20200047488A (ko) * 2017-01-12 2020-05-07 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
US10726528B2 (en) 2016-12-27 2020-07-28 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method for image picked up by two cameras
JP2020147962A (ja) * 2019-03-12 2020-09-17 日立建機株式会社 周囲表示システム及びそれを備えた作業機械
JP2020150459A (ja) * 2019-03-14 2020-09-17 株式会社ザクティ 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US10750080B2 (en) * 2015-04-28 2020-08-18 Sony Corporation Information processing device, information processing method, and program
EP3125196B1 (en) * 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
JP6541590B2 (ja) * 2016-02-03 2019-07-10 クラリオン株式会社 カメラキャリブレーション装置
TWI636425B (zh) * 2017-06-21 2018-09-21 晶睿通訊股份有限公司 介面運作方法及其手持裝置
CN107621278B (zh) * 2017-08-04 2021-01-29 驭势科技（北京）有限公司 自主校准方法及装置
JP2019092002A (ja) 2017-11-13 2019-06-13 ヤマハ発動機株式会社 船舶用俯瞰画像生成装置およびそのキャリブレーション方法
KR102470298B1 (ko) * 2017-12-01 2022-11-25 엘지이노텍 주식회사 카메라 보정 방법 및 장치
CN110070582B (zh) * 2018-01-23 2021-04-23 舜宇光学（浙江）研究院有限公司 多摄模组参数自校准系统和校准方法及其电子设备
EP3531376B1 (en) * 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
US20210405654A1 (en) * 2018-03-22 2021-12-30 Infinium Robotics Pte Ltd Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform
DE102018206190A1 (de) 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform
DE102018111776B4 (de) * 2018-05-16 2024-01-25 Motherson Innovations Company Limited Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
US10805535B2 (en) * 2018-05-25 2020-10-13 Aquifi, Inc. Systems and methods for multi-camera placement
DE112018007660T5 (de) * 2018-06-29 2021-03-18 Komatsu Ltd. Kalibriervorrichtung für eine abbildungsvorrichtung, überwachungsvorrichtung, arbeitsmaschine und kalibrierverfahren
CN109191525B (zh) * 2018-09-03 2022-04-15 佛亚智能装备（苏州）有限公司 一种偏差预警方法及装置
JP7148064B2 (ja) * 2018-10-25 2022-10-05 株式会社アイシン カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
US10930155B2 (en) * 2018-12-03 2021-02-23 Continental Automotive Systems, Inc. Infrastructure sensor detection and optimization method
CN110610524B (zh) * 2019-08-30 2022-06-17 广东奥普特科技股份有限公司 一种相机标定点坐标计算方法
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
CN117152273B (zh) * 2023-11-01 2024-02-23 安徽中科星驰自动驾驶技术有限公司 一种用于自动驾驶车辆的相机标定设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009104323A (ja) * 2007-10-22 2009-05-14 Alpine Electronics Inc マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法
WO2010052772A1 (ja) * 2008-11-05 2010-05-14 富士通株式会社 カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2413282B1 (en) * 2009-03-26 2013-04-10 Aisin Seiki Kabushiki Kaisha Camera calibrator
JP5483945B2 (ja) * 2009-07-27 2014-05-07 アルパイン株式会社 カメラ調整方法及び装置
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009104323A (ja) * 2007-10-22 2009-05-14 Alpine Electronics Inc マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法
WO2010052772A1 (ja) * 2008-11-05 2010-05-14 富士通株式会社 カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026724A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10726528B2 (en) 2016-12-27 2020-07-28 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method for image picked up by two cameras
KR20180083091A (ko) * 2017-01-12 2018-07-20 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
KR20200047488A (ko) * 2017-01-12 2020-05-07 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
KR102466305B1 (ko) 2017-01-12 2022-11-10 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
KR102433824B1 (ko) * 2017-01-12 2022-08-17 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
US11082684B2 (en) 2017-08-25 2021-08-03 Socionext Inc. Information processing apparatus and recording medium
WO2019038901A1 (ja) * 2017-08-25 2019-02-28 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JPWO2019038901A1 (ja) * 2017-08-25 2020-10-15 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
CN110969664B (zh) * 2018-09-30 2023-10-24 北京魔门塔科技有限公司 一种相机外部参数的动态标定方法
JP2020147962A (ja) * 2019-03-12 2020-09-17 日立建機株式会社 周囲表示システム及びそれを備えた作業機械
JP2020150459A (ja) * 2019-03-14 2020-09-17 株式会社ザクティ 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法
JP7317531B2 (ja) 2019-03-14 2023-07-31 ヤマハ発動機株式会社 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法

Also Published As

Publication number Publication date
US10192309B2 (en) 2019-01-29
US20160275683A1 (en) 2016-09-22
JP6034775B2 (ja) 2016-11-30
CN105765963B (zh) 2019-04-12
WO2015079980A1 (ja) 2015-06-04
EP3076654A1 (en) 2016-10-05
EP3076654A4 (en) 2018-04-25
CN105765963A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
JP6034775B2 (ja) カメラ校正装置
JP5339124B2 (ja) 車載カメラの校正装置
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
US10922559B2 (en) Automatic surround view homography matrix adjustment, and system and method for calibration thereof
US10171802B2 (en) Calibration method and calibration device
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
JP3983573B2 (ja) ステレオ画像特性検査システム
US20090299684A1 (en) Method for calibrating cameras installed on vehicle
KR20190102665A (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
CN108052910A (zh) 一种车辆全景成像系统的自动调整方法、装置及存储介质
JP2004132870A (ja) ステレオカメラの調整装置およびステレオカメラの調整方法
CN111508027A (zh) 摄像机外参标定的方法和装置
CN103546678A (zh) 用于校正后置摄像机的图像畸变的装置和方法
EP3617937A1 (en) Image processing device, driving assistance system, image processing method, and program
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
CN115797467B (zh) 车辆相机标定结果检测方法、装置、设备及存储介质
KR20180127671A (ko) Avm 시스템의 자동 캘리브레이션 방법
KR102585556B1 (ko) 카메라 영상 왜곡 검사 장치 및 그 동작 방법
JP2011228857A (ja) 車載カメラ用キャリブレーション装置
WO2022014215A1 (ja) 処理装置及び車載カメラ装置
KR20200063898A (ko) 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법
US10054421B2 (en) Apparatus for measuring three-dimensional position of target object
KR100945144B1 (ko) 연속적인 이미지 배열이 가능한 카메라
CN114636546B (zh) 用于成像同步性检测的系统
JP5648255B2 (ja) 輝度測定装置、および輝度測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161028

R150 Certificate of patent or registration of utility model

Ref document number: 6034775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees