JP2014158075A

JP2014158075A - パラメータ取得装置、パラメータ取得方法及びプログラム

Info

Publication number: JP2014158075A
Application number: JP2013026642A
Authority: JP
Inventors: Minoru Fujioka; 稔藤岡; Tomohito Inoue; 智仁井上
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2013-02-14
Filing date: 2013-02-14
Publication date: 2014-08-28
Anticipated expiration: 2033-02-14
Also published as: JP6081216B2

Abstract

【課題】車両の振動を考慮しつつ精度の高いパラメータを取得する。
【解決手段】車載装置では、パラメータ導出部が、車両が備えるカメラで得られた撮影画像に基いてカメラの設置に関する設置パラメータを導出するパラメータ導出処理を実行する（ステップＳ１３）。また、振動判定部は、パラメータ導出処理を実行する際の車両の振動の有無を判定し（ステップＳ１４）、記憶部は車両の振動が無いと判定されたパラメータ導出処理において導出された設置パラメータを記憶する（ステップＳ１６）。このため、車両の振動を考慮しつつ精度の高いパラメータを取得できる。
【選択図】図９

Description

本発明は、カメラに関するパラメータを取得する技術に関する。

従来より、自動車などの車両に搭載されたカメラで得られた車両の周辺の画像を、車室内のディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。

カメラを車両に設置した場合においては、通常、カメラの光軸の方向は設計上の方向とは僅かに異なっている。このようなカメラの光軸の方向の誤差に起因して、当該カメラで取得された撮影画像に含まれる被写体の像の位置は、理想的な位置からズレることになる。

このような問題に対応するため、従来より、カメラの設置に関する設置パラメータ（例えば、ロール角、チルト角、パン角など）を取得するキャリブレーション処理がなされている（例えば、特許文献１参照。）。車載装置は、このようなキャリブレーション処理で取得された設置パラメータを用いることで、撮影画像中の被写体の像の位置を補正することができる。

特開２０１０−２３９４０８号公報

ところで近年、キャリブレーション処理において、設置パラメータを取得する精度をより向上することが求められている。例えば近年、車両に複数のカメラを設け、これら複数のカメラで得られた複数の撮影画像を合成して、仮想視点からみた車両の周辺の様子を示す合成画像（俯瞰画像）を生成する技術が普及してきている。このような合成画像を生成する場合において各カメラの設置パラメータの精度が低いときには、複数の撮影画像が整合なく合成される。その結果、撮影画像同士の境界部分において同一の被写体の像が分断されるなどの不自然な合成画像が生成されることになる。このため、適切な合成画像を生成するためには、精度の高い設置パラメータが必要となる。

一般に、キャリブレーション処理においては、車両の外部に配置された所定の模様あるいは形状のマークの撮影画像をカメラで取得し、その撮影画像に含まれるマークの像の位置に基いて設置パラメータが導出される。このようなキャリブレーション処理の実行中において、作業員の行為などに起因して車両の振動が生じることがある。このような車両の振動が生じた場合には、撮影画像に含まれるマークの像の位置が本来の位置から変動するため、精度の高い設置パラメータを取得できなくなる。

本発明は、上記課題に鑑みてなされたものであり、車両の振動を考慮しつつ精度の高いパラメータを取得できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、カメラに関するパラメータを取得するパラメータ取得装置であって、車両が備えるカメラで得られた撮影画像に基いて前記カメラの設置に関するパラメータを導出する導出処理を実行する導出手段と、前記導出処理を実行する際の前記車両の振動の有無を判定する判定手段と、前記車両の振動が無いと判定された前記導出処理において導出されたパラメータを記憶する記憶手段と、を備えている。

また、請求項２の発明は、請求項１に記載のパラメータ取得装置において、前記判定手段は、互いに異なる時点に得られた複数の前記撮影画像を比較して、前記車両の振動の有無を判定する。

また、請求項３の発明は、請求項２に記載のパラメータ取得装置において、前記判定手段は、前記複数の撮影画像それぞれに含まれる同一の被写体の像の位置を比較して、前記車両の振動の有無を判定する。

また、請求項４の発明は、請求項２に記載のパラメータ取得装置において、前記判定手段は、前記複数の撮影画像それぞれの同一の位置にある一部の領域を比較して、前記車両の振動の有無を判定する。

また、請求項５の発明は、請求項１ないし４のいずれかに記載のパラメータ取得装置において、前記判定手段は、前記導出手段が前記導出処理を実行した後に、前記車両の振動の有無を判定する。

また、請求項６の発明は、請求項１ないし４のいずれかに記載のパラメータ取得装置において、前記判定手段は、前記導出手段が前記導出処理を実行する前に、前記車両の振動の有無を判定する。

また、請求項７の発明は、請求項１ないし６のいずれかに記載のパラメータ取得装置において、前記判定手段が、前記車両の振動がしていると判定した場合は、ユーザに情報を報知する報知手段、をさらに備えている。

また、請求項８の発明は、カメラに関するパラメータを取得するパラメータ取得方法であって、（ａ）車両が備えるカメラで得られた撮影画像に基いて前記カメラの設置に関するパラメータを導出する導出処理を実行する工程と、（ｂ）前記導出処理を実行する際の前記車両の振動の有無を判定する工程と、（ｃ）前記車両の振動が無いと判定された前記導出処理において導出されたパラメータを記憶する工程と、を備えている。

また、請求項９の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）車両が備えるカメラで得られた撮影画像に基いて前記カメラの設置に関するパラメータを導出する導出処理を実行する工程と、（ｂ）前記導出処理を実行する際の前記車両の振動の有無を判定する工程と、（ｃ）前記車両の振動が無いと判定された前記導出処理において導出されたパラメータを記憶する工程と、を実行させる。

請求項１ないし９の発明によれば、導出処理を実行する際の車両の振動の有無を判定し、車両の振動が無いと判定された導出処理において導出されたパラメータを記憶するため、精度の高いパラメータを取得できる。

また、特に請求項２の発明によれば、複数の撮影画像を比較して車両の振動の有無を判定するため、特別なセンサを必要とせずに車両の振動の有無を判定できる。

また、特に請求項３の発明によれば、被写体の像の位置を比較して車両の振動の有無を判定するため、比較的簡便な手法で車両の振動の有無を判定できる。

また、特に請求項４の発明によれば、複数の撮影画像それぞれの一部の領域を比較して車両の振動の有無を判定するため、比較的少ない演算量で車両の振動の有無を判定できる。

また、特に請求項５の発明によれば、導出処理を実行した後に車両の振動の有無を判定するため、導出処理で取得した撮影画像を利用して車両の振動の有無を判定できる。

また、特に請求項６の発明によれば、導出処理を実行する前に車両の振動の有無を判定するため、車両の振動が生じた場合に導出処理を繰り返す必要がない。

また、特に請求項７の発明によれば、ユーザは車両が振動していることを把握できる。

図１は、パラメータ取得装置を含むキャリブレーションシステムを示す図である。図２は、標識体の外観を示す図である。図３は、複数のカメラの位置を示す図である。図４は、車載装置の構成を示す図である。図５は、合成画像を生成する手法を説明する図である。図６は、投影面の部分と撮影画像との対応関係を示す図である。図７は、撮影画像における投影面に投影する領域を説明する図である。図８は、設置パラメータの導出に用いる撮影画像の一例を示す図である。図９は、第１の実施の形態のキャリブレーション処理の流れを示す図である。図１０は、実行画面の一例を示す図である。図１１は、パラメータ導出処理の流れを示す図である。図１２は、第１の実施の形態の振動判定処理の流れを示す図である。図１３は、第１の実施の形態の振動判定処理の概要を示す図である。図１４は、警告メッセージを含む実行画面の一例を示す図である。図１５は、第２の実施の形態の振動判定処理の流れを示す図である。図１６は、第２の実施の形態の振動判定処理の概要を示す図である。図１７は、第３の実施の形態のキャリブレーション処理の流れを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１は、本実施の形態のパラメータ取得装置を含むキャリブレーションシステム１０を示す図である。このキャリブレーションシステム１０は、車両（本実施の形態では自動車）９に搭載される複数のカメラ５それぞれのパラメータを取得するために用いられる。

キャリブレーションシステム１０は、キャリブレーション処理を実行し、各カメラ５の設置に関する設置パラメータを取得する。各カメラ５の実際の光軸の方向は、設計上の方向とは僅かに異なっている。このため、キャリブレーションシステム１０は、パン角、チルト角及びロール角などの各カメラ５の設置に関する設置パラメータを取得する。この設置パラメータは、カメラの設置上の誤差（光軸の方向の設計上の方向に対する誤差）を表すものとなる。

キャリブレーションシステム１０は、車両９に搭載される複数のカメラ５及び車載装置２、並びに、車両９の外部に配置される４つの標識体７を備えている。車載装置２は、複数のカメラ５で得られた複数の撮影画像を用いて合成画像を生成し、車両９の車室内に表示する機能を有している。また、車載装置２は、カメラ５の設置パラメータを取得するパラメータ取得装置としても機能する。

４つの標識体７はそれぞれ、車両工場や車両整備場などキャリブレーション処理を実行する作業場の所定位置に配置される。図２に示すように、４つの標識体７はそれぞれ、直立可能な立体形状となっている。標識体７は、直立させたプラスチック板などの板状体７９を有している。板状体７９における車両９に対向する側の主面には、所定の模様のマーク７０が形成されている。マーク７０の模様は、例えば、二色の正方形を交互に配した市松模様である。この模様を形成する二色のうちの一方は相対的に暗い色（例えば、黒）、他方は相対的に明るい色（例えば、白）となっている。

キャリブレーション処理を実行する場合には、図１に示すように、作業場の所定位置に略正確に車両９が正対装置などにより停車される。これにより、車両９に対する４つの標識体７の相対的な位置は略一定となる。４つの標識体７は、車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４にそれぞれ配置された状態となる。この状態で、車両９に搭載されたカメラ５が、標識体７を含む車両９の周囲の撮影画像を取得する。

車載装置２は、このようにして得られた撮影画像に基づいて、カメラ５の設置パラメータを取得する。車載装置２は、撮影画像に含まれるマーク７０の像の位置を特定し、このマーク７０の像の位置に基づいて設置パラメータを導出する。

このようなキャリブレーション処理は、車両９にカメラ５を取り付けた際に実行される。車載装置２は、キャリブレーション処理で取得した設置パラメータを、内部の記憶部に記憶し、以降、合成画像を生成するなどの画像処理において利用する。

＜１−２．車載カメラ＞
図３は、車両９における複数のカメラ５の位置を示す図である。複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺の撮影画像を電子的に取得する。複数のカメラ５はそれぞれ、車載装置２とは別に車両９の適位置に配置され、取得した撮影画像を車載装置２に入力する。

複数のカメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、互いに異なる位置に配置され、車両９の周辺の異なる方向の撮影画像を取得する。

フロントカメラ５Ｆは、車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは車両９の前後方向に沿って前方に向けられる。バックカメラ５Ｂは、車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左右方向に沿って左側方に向けられる。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の左右方向に沿って右側方に向けられる。

これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角αを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影対象とすることが可能である。車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４は、４つのカメラ５のうちの２つのカメラ５において重複して撮影対象となる。このように重複して撮影対象となる４つの領域Ａ１，Ａ２，Ａ３，Ａ４に、４つの標識体７がそれぞれ配置される（図１参照。）。これにより、４つのカメラ５それぞれは、２つのマーク７０の像を含む撮影画像を取得できる。

＜１−３．車載装置＞
図４は主に、車載装置２の構成を示す図である。図に示すように、車載装置２は、４つのカメラ５と通信可能に接続されている。車載装置２は、４つのカメラ５でそれぞれ得られた４つの撮影画像を合成して仮想視点からみた車両９の周辺の様子を示す合成画像を生成し、この合成画像を表示する。車載装置２は、この合成画像を生成する際に、キャリブレーション処理で得られた設置パラメータを利用する。

車載装置２は、ディスプレイ２６と、操作部２５と、画像取得部２２と、画像合成部２３と、記憶部２４と、制御部２１とを備えている。

ディスプレイ２６は、例えば、液晶パネルなどを備えた薄型の表示装置であり、各種の情報や画像を表示する。ディスプレイ２６は、その画面がユーザから視認可能なように、車両９の車室内のインストルメントパネルなどに配置される。

操作部２５は、ユーザの操作を受け付ける部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２６の画面に重ねて設けられ、操作ボタンはディスプレイ２６の画面の周囲に設けられる。ユーザが操作部２５を操作した場合は、その操作の内容を示す信号が制御部２１に入力される。

画像取得部２２は、４つのカメラ５から、各カメラ５で得られた撮影画像を取得する。画像取得部２２は、アナログの撮影画像をデジタルの撮影画像に変換するＡ／Ｄ変換機能などの基本的な画像処理機能を有している。画像取得部２２は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部２３及び制御部２１に入力する。

画像合成部２３は、例えばハードウェア回路であり、所定の画像処理を実行する。画像合成部２３は、４つのカメラ５でそれぞれ取得された４つの撮影画像を用いて、任意の仮想視点からみた車両９の周辺の様子を示す合成画像（俯瞰画像）を生成する。画像合成部２３が合成画像を生成する手法については後述する。

記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、設置パラメータ２４ａとプログラム２４ｂとを記憶している。

設置パラメータ２４ａは、カメラ５の設置に関するパラメータである。設置パラメータ２４ａは、パン角、チルト角及びロール角など、カメラ５の光軸の実際の方向を示すパラメータを含んでいる。このような設置パラメータ２４ａはカメラ５ごとに異なっているため、記憶部２４は、４つのカメラ５それぞれの設置パラメータ２４ａを記憶する。記憶部２４に記憶された設置パラメータ２４ａは、画像合成部２３が合成画像を生成する際に利用される。設置パラメータ２４ａはキャリブレーション処理によって取得されるため、キャリブレーション処理の実行前は記憶部２４に設置パラメータ２４ａは記憶されていない。

また、プログラム２４ｂは、車載装置２のファームウェアである。このようなプログラム２４ｂは、該プログラム２４ｂを記録したコンピュータ読み取り可能な記録媒体からの読み取りや、ネットワークを介した通信などによって取得し、記憶部２４に記憶させることができる。

制御部２１は、車載装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１の各種の機能は、記憶部２４に記憶されたプログラム２４ｂの実行（プログラム２４ｂに従ったＣＰＵの演算処理）によって実現される。図中に示すパラメータ導出部２１ａ、振動判定部２１ｂ、パラメータ記録部２１ｃ及びユーザ報知部２１ｄは、プログラム２４ｂの実行により実現される機能部の一部である。これらの機能部は、キャリブレーション処理に係る処理を実行する。

パラメータ導出部２１ａは、カメラ５の設置パラメータを導出するパラメータ導出処理を実行する。パラメータ導出部２１ａは、カメラ５で得られた撮影画像に基いて設置パラメータを導出する。振動判定部２１ｂは、パラメータ導出部２１ａがパラメータ導出処理を実行する際の車両９の振動の有無を判定する。パラメータ記録部２１ｃは、車両９の振動が無いと判定されたパラメータ導出処理において導出された設置パラメータ２４ａを、記憶部２４に記録する。また、ユーザ報知部２１ｄは、ディスプレイ２６にメッセージを表示させて、車載装置２のユーザである作業員に情報を報知する。これらの機能部の処理の詳細については後述する。

＜１−４．合成画像の生成＞
次に、画像合成部２３が合成画像を生成する手法について説明する。図５は、画像合成部２３が合成画像を生成する手法を説明する図である。

車載装置２が備えるフロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒは、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲを取得する。これら４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、車両９の全周囲のデータが含まれている。

画像合成部２３は、これら４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。一方、車両領域Ｒ０の外側の領域である投影領域Ｒ１は、撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられている。画像合成部２３は、撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータを投影領域Ｒ１に投影する。

図６に示すように、画像合成部２３は、投影領域Ｒ１において車両９の前方に相当する部分に、フロントカメラ５Ｆの撮影画像ＧＦのデータを投影する。また、画像合成部２３は、投影領域Ｒ１において車両９の後方に相当する部分に、バックカメラ５Ｂの撮影画像ＧＢのデータを投影する。さらに、画像合成部２３は、投影領域Ｒ１において車両９の左側方に相当する部分に左サイドカメラ５Ｌの撮影画像ＧＬのデータを投影し、投影領域Ｒ１において車両９の右側方に相当する部分に右サイドカメラ５Ｒの撮影画像ＧＲのデータを投影する。

４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲのそれぞれにおいて、投影面ＴＳに投影すべきデータを含む領域は、４つのカメラ５それぞれの設置上の誤差に応じて変化する。このため、画像合成部２３は、記憶部２４に記憶された４つのカメラ５それぞれの設置パラメータ２４ａ（ロール角、チルト角、パン角など）を用いて、撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲそれぞれの投影面ＴＳに投影する領域を修正する。

このような投影面ＴＳに投影する領域について、図７に示す撮影画像Ｇを例に説明する。仮にこの撮影画像Ｇを取得したカメラ５に関して設置上の誤差がない場合は、投影面ＴＳに投影すべきデータを含む領域はデフォルトの領域ＵＡ１となる。通常はカメラ５には設置上の誤差が存在することから、画像合成部２３は、当該カメラ５の設置パラメータ２４ａに基づいて、投影面ＴＳに投影する領域を領域ＵＡ１から領域ＵＡ２に修正する。そして、画像合成部２３は、この修正後の領域ＵＡ２に含まれるデータを投影面ＴＳに投影することになる。

図５に戻り、このように投影面ＴＳの各部分にデータを投影すると、次に、画像合成部２３は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、投影面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。

次に、画像合成部２３は、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２３は、三次元空間における任意の視点位置に任意の視線方向に向けて仮想視点ＶＰを設定できる。そして、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部２３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２３は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。

例えば図５に示すように、視点位置を車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、画像合成部２３は、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰａを生成できる。また、視点位置を車両９の左後方、視線方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、画像合成部２３は、車両９の左後方からみた車両９及び車両９の周辺を示す合成画像ＣＰｂを生成できる。

このような合成画像ＣＰの生成において設置パラメータ２４ａの精度が低い場合には、４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲが整合なく合成されてしまう。その結果、撮影画像同士の境界部分Ｂ（図６参照。）で同一の被写体の像が分断されるなどの不自然な合成画像ＣＰが生成されることになる。このため、適切な合成画像ＣＰを生成するためには、精度の高い設置パラメータ２４ａが必要となる。

＜１−５．キャリブレーション処理＞
次に、車載装置２が設置パラメータ２４ａを取得するキャリブレーション処理の概要について説明する。キャリブレーション処理は、図１に示すように４つの標識体７が予め配置された作業場の所定位置に車両９を停車させた状態で、作業員が操作部２５を介して所定の操作を車載装置２に行うことで実行される。そして、キャリブレーション処理に含まれるパラメータ導出処理においては、カメラ５が、標識体７のマーク７０を含む車両９の周辺の領域を被写体として撮影画像を取得する。

図８は、パラメータ導出処理において取得された撮影画像ＧＣの一例を示す図である。図に示すように撮影画像ＧＣには、左側及び右側にそれぞれマーク７０の像（以下、「マーク像」という。）７１が含まれる。

パラメータ導出処理においては、パラメータ導出部２１ａは、この撮影画像ＧＣに含まれる２つのマーク像７１それぞれの位置７１ａを特定する。そして、パラメータ導出部２１ａは、特定した２つのマーク像７１の位置７１ａに基いて、所定の演算を行なって該撮影画像ＧＣを取得したカメラ５の設置パラメータ２４ａを導出する。キャリブレーション処理では、４つのカメラ５のそれぞれに関してこのようなパラメータ導出処理が行われる。これにより、４つのカメラ５の全ての設置パラメータ２４ａが導出される。

このようなパラメータ導出処理の実行中において、作業員の行為などに起因して、車両９の振動が生じることがある。このような場合は例えば、数秒間にわたって車両９のサスペンションが周期的に伸縮する。このように車両９の振動が生じている状態において撮影画像ＧＣを取得したとすると、撮影画像ＧＣに含まれるマーク像７１の位置７１ａが本来の位置から変動する。その結果、マーク像７１の位置７１ａに基いて演算を行うパラメータ導出部２１ａは、精度の高い設置パラメータ２４ａを取得できなくなる。

このため、本実施の形態の車載装置２のキャリブレーション処理では、振動判定部２１ｂが、パラメータ導出処理の実行中における車両９の振動の有無を判定する。そして、パラメータ導出処理の実行中に車両９の振動が生じた場合は、パラメータ記録部２１ｃは、そのパラメータ導出処理で導出された設置パラメータ２４ａを記憶部２４に記録しない。したがって、記憶部２４は、車両９の振動が無いと判定されたパラメータ導出処理において導出された設置パラメータ２４ａのみを記憶することになる。これにより、車載装置２は、車両９の振動が生じた場合であっても、精度の高い設置パラメータ２４ａを取得できるようになっている。

図９は、キャリブレーション処理の流れを示す図である。以下、このようなキャリブレーション処理の流れについて説明する。

まず、ユーザ報知部２１ｄが、キャリブレーション処理の実行画面をディスプレイ２６に表示させる（ステップＳ１１）。図１０は、この実行画面の例を示す図である。図に示すように、実行画面には、キャリブレーション処理の進行状況を表すプログレスバーＰＢとともに、注意メッセージＭ１が含まれている。この注意メッセージＭ１は、パラメータ導出処理の実行中における車両９の振動を防止するため、作業中に動かないように作業員に注意を与えるものとなっている。

次に、パラメータ導出部２１ａが、４つのカメラ５のうち一のカメラ５を処理の対象とする「注目カメラ」として選択する（ステップＳ１１）。続いて、この注目カメラ５の設置パラメータ２４ａを導出するためのパラメータ導出処理が実行される（ステップＳ１３）。

図１１は、パラメータ導出処理（ステップＳ１３）の詳細な流れを示す図である。パラメータ導出処理では、まず、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域の撮影画像ＧＣを取得する（ステップＳ２１）。

次に、パラメータ導出部２１ａが、注目カメラ５で得られた撮影画像ＧＣ中の２つのマーク像７１それぞれの位置７１ａを特定する（ステップＳ２２）。図８に示すように撮影画像ＧＣ中において２つのマーク像７１が含まれる位置は、該撮影画像ＧＣを取得した注目カメラ５の設置上の精度に依存するものの、おおよそ一定となる。このため、パラメータ導出部２１ａは、２つのマーク像７１が含まれるべき位置それぞれの近傍の領域を、演算の対象とする対象領域ＴＡとして撮影画像ＧＣから切り出す。そして、パラメータ導出部２１ａは、例えば、ハリスオペレータなどの周知の手法を用いて対象領域ＴＡに含まれるエッジやコーナーを検出し、これらエッジやコーナーに基いてマーク像７１を検出する。これにより、パラメータ導出部２１ａは、マーク像７１の中心位置（市松模様の二色の境界線が交差する位置）をマーク像７１の位置７１ａとして特定する。

次に、パラメータ導出部２１ａは、２つのマーク像７１の位置７１ａに基いて注目カメラ５の設置に関する設置パラメータ２４ａを導出する（ステップＳ２３）。パラメータ導出部２１ａは、周知の手法を用いて注目カメラ５の設置パラメータ２４ａを導出できる。例えば、パラメータ導出部２１ａは、撮影画像ＧＣ中の２つのマーク像７１の左右方向の位置に基づいてパン角、２つのマーク像７１の上下方向の位置に基づいてチルト角、撮影画像ＧＣ中の２つのマーク像７１の高さの差に基づいてロール角をそれぞれ導出する。なお、パラメータ導出部２１ａは、特許文献１に記載の手法など他の周知の手法を採用して設置パラメータ２４ａを導出してもよい。

このようにしてパラメータ導出処理が完了すると、次に、このパラメータ導出処理における車両９の振動が生じたか否かを判定する振動判定処理が実行される（図９のステップＳ１４）。振動判定処理では、パラメータ導出処理のステップＳ２１で取得された撮影画像と、パラメータ導出処理の後の時点で取得する撮影画像とを比較することによって車両９の振動の有無が判定される。

図１２は、振動判定処理（ステップＳ１４）の詳細な流れを示す図である。また、図１３は、振動判定処理の概要を示す図である。なお、図１３では、説明の便宜上、撮影画像に含まれる２つのマーク像７１のうちの一方のマーク像７１の近傍の領域のみを示している。

振動判定処理においても、まず、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域の撮影画像を取得する（ステップＳ３１）。このように新たに取得された撮影画像ＧＣ２が、図１３に示すように、パラメータ導出処理で取得された撮影画像ＧＣ１と比較される。以下、パラメータ導出処理で取得された撮影画像を「第１画像」ＧＣ１といい、その後の振動判定処理で取得された撮影画像を「第２画像」ＧＣ２という。

パラメータ導出処理において車両９の振動がなければ、パラメータ導出処理で取得された第１画像ＧＣ１と、パラメータ導出処理の後に取得された第２画像ＧＣ２とのそれぞれに含まれる同一の被写体の像の位置は一致するはずである。したがって、互いに異なる時点に得られた２つの撮影画像ＧＣ１，ＧＣ２それぞれに含まれる同一のマーク７０に関するマーク像７１の位置７１ａが異なる場合は、パラメータ導出処理において車両９の振動が生じていたと判定できることになる。この原理により、振動判定部２１ｂは、車両９の振動の有無を判定する。

振動判定部２１ｂは、まず、第２画像ＧＣ２中のマーク像７１の位置７１ａを特定する（ステップＳ３２）。振動判定部２１ｂは、ステップＳ２１と同様の手法を用いて、マーク像７１の中心位置をマーク像７１の位置７１ａとして特定する。

そして、振動判定部２１ｂは、第１画像ＧＣ１及び第２画像ＧＣ２それぞれに含まれる同一のマーク７０に関するマーク像７１の位置７１ａを比較する。具体的には、振動判定部２１ｂは、第１画像ＧＣ１のマーク像７１の位置７１ａと、第２画像ＧＣ２のマーク像７１の位置７１ａとの間の距離（以下、「像間距離」という。）を導出する（ステップＳ３３）。次に、振動判定部２１ｂは、像間距離が所定の閾値（例えば、１ピクセル）以上であるか否かを判定する（ステップＳ３４）。そして、振動判定部２１ｂは、像間距離が閾値以上の場合は「車両９の振動あり」と判定し（ステップＳ３５）、像間距離が閾値未満の場合は「車両９の振動なし」と判定する（ステップＳ３６）。

なお、閾値は、求める精度やノイズを考慮して１ピクセルより大きな値としてもよい。また、マーク像７１の位置７１ａの比較は、撮影画像に含まれる左右２つのマーク像７１のうちの一方のみで行なってもよく、双方で行なってもよい。

このようにして振動判定処理が完了すると、以降、振動判定処理の判定結果に応じた処理が実行される（図９のステップＳ１５）。

振動判定処理において「車両９の振動なし」と判定された場合は（ステップＳ１５にてＮｏ）、パラメータ記録部２１ｃが、パラメータ導出処理で導出された設置パラメータ２４ａを、注目カメラ５に関連付けて記憶部２４に記録する（ステップＳ１６）。これにより、記憶部２４は、車両９の振動が無いと判定されたパラメータ導出処理において導出された設置パラメータ２４ａを記憶する。その結果、記憶部２４は、精度の高い設置パラメータ２４ａを記憶できる。そして、処理はステップＳ１２に戻り、注目カメラ５に設定されていない他のカメラ５が新たな注目カメラ５に設定されて、上述した処理が繰り返される。

一方、振動判定処理において「車両９の振動あり」と判定された場合は（ステップＳ１５にてＹｅｓ）、パラメータ記録部２１ｃは、パラメータ導出処理で導出された設置パラメータ２４ａを記憶部２４に記録せずに破棄する。また、図１４に示すように、ユーザ報知部２１ｄが、車両９が振動していることを示す警告メッセージＭ２を含む実行画面をディスプレイ２６に表示させる（ステップＳ１７）。これにより、振動判定処理の判定結果が作業員に報知され、作業員は車両９が振動していることを把握できる。なお、ビープ音などの所定の音を出力することで、振動判定処理の判定結果を作業員に報知してもよい。

また、この実行画面においてはリトライボタンＣＢが含まれている。作業員はこのリトライボタンＣＢにタッチすることで、車載装置２に対してリトライ指示を行うことができる。作業員は、車両９の振動が収まったと判断した後にこのリトライボタンＣＢにタッチする。

リトライ指示がなされた場合は（ステップＳ１８にてＹｅｓ）、処理はステップＳ１３に戻る。これにより、注目カメラ５を変更せずに上述した処理が繰り返され、設置パラメータ２４ａが再導出される。この場合は、車両９の振動が無い状態でパラメータ導出処理が実行されるため、導出された設置パラメータ２４ａが記憶部２４に記憶されることになる。

このような処理が繰り返されることにより、４つのカメラ５の全ての精度の高い設置パラメータ２４ａが記憶部２４に記憶される。４つのカメラ５の全ての設置パラメータ２４ａが記憶部２４に記憶されると（ステップＳ１９にてＹｅｓ）、キャリブレーション処理が終了する。

以上のように、本実施の形態の車載装置２では、パラメータ導出部２１ａが、車両９が備えるカメラ５で得られた撮影画像に基いてカメラ５の設置に関する設置パラメータ２４ａを導出するパラメータ導出処理を実行する。また、振動判定部２１ｂは、パラメータ導出処理を実行する際の車両９の振動の有無を判定し、記憶部２４は車両９の振動が無いと判定されたパラメータ導出処理において導出された設置パラメータ２４ａを記憶する。このため、車両９の振動を考慮しつつ精度の高いパラメータを取得できる。

また、振動判定部２１ｂは、互いに異なる時点に得られた複数の撮影画像を比較して、車両９の振動の有無を判定する。このため、加速度センサなどの特別なセンサを必要とせずに、車両９の振動の有無を判定することができる。

また、振動判定部２１ｂは、複数の撮影画像それぞれに含まれる同一のマーク７０のマーク像７１の位置７１ａを比較して、車両９の振動の有無を判定する。このため、比較的簡便な手法で車両９の振動の有無を判定できる。

また、振動判定部２１ｂは、パラメータ導出部２１ａがパラメータ導出処理を実行した後に、車両９の振動の有無を判定する。このため、振動判定部２１ｂは、パラメータ導出処理で取得した撮影画像を利用して、車両９の振動の有無を判定できる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の車載装置２の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態の車載装置２の振動判定部２１ｂは、第１の実施の形態とは異なる手法で、車両９の振動の有無を判定する。このため、第２の実施の形態は、振動判定処理（図９のステップＳ１４）のみが第１の実施の形態と異なっている。

パラメータ導出処理において車両９の振動がなければ、パラメータ導出処理で取得された第１画像ＧＣ１と、パラメータ導出処理の後に取得された第２画像ＧＣ２とのそれぞれの同一位置にある領域に含まれる被写体の像は一致するはずである。この原理により、第２の実施の形態の振動判定部２１ｂは、互いに異なる時点に得られた２つの撮影画像ＧＣ１，ＧＣ２それぞれの同一位置にある一部の領域を比較して、車両９の振動の有無を判定する。

図１５は、第２の実施の形態の振動判定処理の詳細な流れを示す図である。また、図１６は、第２の実施の形態の振動判定処理の概要を示す図である。なお、図１６においても、説明の便宜上、撮影画像に含まれる２つのマーク像７１のうちの一方のマーク像７１の近傍の領域のみを示している。

まず、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域の撮影画像を取得する（ステップＳ４１）。この撮影画像は、パラメータ導出処理の後に取得された第２画像ＧＣ２となる。

次に、振動判定部２１ｂは、第１画像ＧＣ１及び第２画像ＧＣ２それぞれの同一位置にある一部の領域を、比較に利用する代表領域ＲＡ１，ＲＡ２に設定する（ステップＳ４２）。振動判定部２１ｂは、パラメータ導出処理において特定された第１画像ＧＣ１中のマーク像７１の位置７１ａを中心とする所定サイズ（例えば、水平１０画素×垂直１０画素）の領域を、第１画像ＧＣ１の代表領域ＲＡ１に設定する。そして、この第１画像ＧＣ１の代表領域ＲＡ１と同一位置となる第２画像ＧＣ１中の領域を、第２画像ＧＣ２の代表領域ＲＡ２に設定する。

次に、振動判定部２１ｂは、第１画像ＧＣ１の代表領域ＲＡ１と、第２画像ＧＣ２の代表領域ＲＡ２とを比較する。具体的には、振動判定部２１ｂは、第１画像ＧＣ１の代表領域ＲＡ１と、第２画像ＧＣ２の代表領域ＲＡ２との輝度差（平均輝度の差）を導出する（ステップＳ４３）。次に、振動判定部２１ｂは、輝度差の絶対値が所定の閾値（例えば、１）以上であるか否かを判定する（ステップＳ４４）。そして、振動判定部２１ｂは、輝度差が閾値以上の場合は「車両９の振動あり」と判定し（ステップＳ４５）、輝度差が閾値未満の場合は「車両９の振動なし」と判定する（ステップＳ４６）。

このように第２の実施の形態においては、振動判定部２１ｂは、複数の撮影画像それぞれの同一の位置にある一部の領域を比較して、車両９の振動の有無を判定する。このため、比較的少ない演算量で車両９の振動の有無を判定できる。

なお、閾値は、求める精度やノイズを考慮して１より大きな値としてもよい。また、代表領域ＲＡ１，ＲＡ２は、２つの撮影画像ＧＣ１，ＧＣ２それぞれの同一位置となる一部の領域であればよく、マーク像７１の位置７１ａとは無関係な位置の領域であってもよい。また、上記では振動判定部２１ｂは、代表領域ＲＡ１，ＲＡ２の輝度を比較して車両９の振動の有無を判定していたが、代表領域から得られる他の特性を比較してもよい。例えば、代表領域に含まれる被写体の形状などを比較してもよい。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の車載装置２の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態では、振動判定部２１ｂは、パラメータ導出部２１ａがパラメータ導出処理を実行した後に車両９の振動の有無を判定していた。これに対して、第３の実施の形態では、振動判定部２１ｂは、パラメータ導出部２１ａがパラメータ導出処理を実行する前に車両９の振動の有無を判定する。すなわち、パラメータ導出部２１ａは、車両９の振動が無いことが確認された後に、パラメータ導出処理を実行することになる。これによっても、記憶部２４は、車両９の振動が無いと判定されたパラメータ導出処理において導出された設置パラメータ２４ａを記憶できる。

図１７は、第３の実施の形態のキャリブレーション処理の流れを示す図である。以下、第３の実施の形態のキャリブレーション処理の流れについて説明する。

まず、ユーザ報知部２１ｄが、キャリブレーション処理の実行画面をディスプレイ２６に表示させる（ステップＳ５１）。次に、パラメータ導出部２１ａが、４つのカメラ５のうち一のカメラ５を処理の対象とする「注目カメラ」として選択する（ステップＳ５２）。

次に、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域の撮影画像ＧＣを取得する（ステップＳ５３）。そして、この撮影画像を取得してから所定時間（例えば、０．５秒）経過すると（ステップＳ５４にてＹｅｓ）、振動判定処理が実行される（ステップＳ５５）。この振動判定処理の手法は、第１の実施の形態の手法（図１２参照。）、及び、第２の実施の形態の手法（図１５参照。）のいずれを採用してもよい。ただし、この振動判定処理においては、上記の第１画像ＧＣ１に代えて、ステップＳ５３で取得された撮影画像を用いることになる。この場合も、振動判定部２１ｂは、互いに異なる時点に得られた２つの撮影画像を比較することで車両９の振動の有無を判定する。

このようにして振動判定処理が完了すると、以降、振動判定処理の判定結果に応じた処理が実行される（ステップＳ５６）。

振動判定処理において「車両９の振動なし」と判定された場合は（ステップＳ５６にてＮｏ）、注目カメラ５の設置パラメータ２４ａを導出するためのパラメータ導出処理が実行される（ステップＳ５７）。このパラメータ導出処理の手法は第１の実施の形態と同様の手法（図１１参照。）を採用できる。ただし、設置パラメータの導出に用いる撮影画像は、ステップＳ５３及び振動判定処理（ステップＳ５５）のいずれかで得られた撮影画像を用いることができる。このため、新たに撮影画像を取得する必要はない。このパラメータ導出処理は、車両９の振動が無いと判定された後に実行されることから、精度の高い設置パラメータを導出できる。

次に、パラメータ記録部２１ｃが、パラメータ導出処理で導出された設置パラメータ２４ａを、注目カメラ５に関連付けて記憶部２４に記録する（ステップＳ５８）。これにより、記憶部２４は、車両９の振動が無いと判定されたパラメータ導出処理において導出された設置パラメータ２４ａを記憶する。その結果、記憶部２４は、精度の高い設置パラメータ２４ａを記憶できる。そして、処理はステップＳ５２に戻り、注目カメラ５に設定されていない他のカメラ５が新たな注目カメラ５に設定されて、上述した処理が繰り返される。

一方、振動判定処理において「車両９の振動あり」と判定された場合は（ステップＳ５６にてＹｅｓ）、ユーザ報知部２１ｄが、車両９が振動していることを示す警告メッセージＭ２を含む実行画面（図１４参照。）をディスプレイ２６に表示させる（ステップＳ５９）。

そして、リトライ指示がなされた場合は（ステップＳ６０にてＹｅｓ）、処理はステップＳ５３に戻る。これにより、振動判定処理が再実行され、その振動判定処理の結果によって車両９の振動が無いことが確認された後にパラメータ導出処理が実行されることになる。

このような処理が繰り返されることにより、４つのカメラ５の全ての精度の高い設置パラメータ２４ａが記憶部２４に記憶される。４つのカメラ５の全ての設置パラメータ２４ａが記憶部２４に記憶されると（ステップＳ６１にてＹｅｓ）、キャリブレーション処理が終了する。

このように第３の実施の形態においては、振動判定部２１ｂは、パラメータ導出部２１ａがパラメータ導出処理を実行する前に車両９の振動の有無を判定する。このため、車両９の振動が生じた場合に、パラメータ導出処理を繰り返す必要がない。

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記第１の実施の形態では、振動判定部２１ｂは、２つの撮影画像ＧＣ１，ＧＣ２それぞれに含まれる同一のマーク７０に関するマーク像７１の位置７１ａを比較して、車両９の振動の有無を判定していた。これに対して、振動判定部２１ｂは、２つの撮影画像ＧＣ１，ＧＣ２に基いてオプティカルフローを導出し、オプティカルフローの長さ（平均の長さ）が閾値以上の場合に「車両９の振動あり」と判定してもよい。オプティカルフローは、２つの撮影画像ＧＣ１，ＧＣ２間での特徴点（すなわち、同一の被写体上の点）の動きを示すベクトルである。このため、この場合も、振動判定部２１ｂは、複数の撮影画像それぞれに含まれる同一の被写体の像の位置を比較して車両９の振動の有無を判定することになる。

また、上記実施の形態では、４つのカメラ５のそれぞれに関して振動判定処理を実行していた。これに対して、第１の実施の形態では、４つのカメラ５の全ての設置パラメータを導出した後に、これらの導出に用いた４つの撮影画像を利用して振動判定処理を実行してもよい。また、第３の実施の形態では、振動判定処理で車両９の振動が無いと一度判定された場合は、その後に振動判定処理を実行することなく、４つのカメラ５の全ての設置パラメータを導出してもよい。

また、上記実施の形態では、マーク７０は直立可能な標識体７に形成されていた。これに対して、マーク７０は、例えば、直立できない板状の標識体の主面に形成してもよく、また、作業場の床面に形成してもよい。

また、上記実施の形態では、設置パラメータは、カメラ５の光軸の方向を示すパラメータを含むものとして説明したが、カメラ５の設置の位置を示すパラメータを含んでいてもよい。

また、上記実施の形態では、振動判定部２１ｂは、互いに異なる時点に得られた複数の撮影画像を比較して車両９の振動の有無を判定していたが、他の手法によって車両９の振動の有無を判定してもよい。例えば、加速度センサを利用して車両９にかかる力を検出し、検出した力に基いて車両９の振動の有無を判定してもよい。

また、上記実施の形態では、「車両９の振動あり」と判定された場合はユーザのリトライ指示が出てから同一の処理を繰り返すようにしていたが、ユーザの指示とは無関係に自動的に同一の処理を繰り返すようにしてもよい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

２車載装置
５カメラ
９車両
１０キャリブレーションシステム
７１マーク像
２１ａパラメータ導出部
２１ｂ振動判定部
２４記憶部
２４ａ設置パラメータ

Claims

カメラに関するパラメータを取得するパラメータ取得装置であって、
車両が備えるカメラで得られた撮影画像に基いて前記カメラの設置に関するパラメータを導出する導出処理を実行する導出手段と、
前記導出処理を実行する際の前記車両の振動の有無を判定する判定手段と、
前記車両の振動が無いと判定された前記導出処理において導出されたパラメータを記憶する記憶手段と、
を備えることを特徴とするパラメータ取得装置。
請求項１に記載のパラメータ取得装置において、
前記判定手段は、互いに異なる時点に得られた複数の前記撮影画像を比較して、前記車両の振動の有無を判定することを特徴とするパラメータ取得装置。
請求項２に記載のパラメータ取得装置において、
前記判定手段は、前記複数の撮影画像それぞれに含まれる同一の被写体の像の位置を比較して、前記車両の振動の有無を判定することを特徴とするパラメータ取得装置。
請求項２に記載のパラメータ取得装置において、
前記判定手段は、前記複数の撮影画像それぞれの同一の位置にある一部の領域を比較して、前記車両の振動の有無を判定することを特徴とするパラメータ取得装置。
請求項１ないし４のいずれかに記載のパラメータ取得装置において、
前記判定手段は、前記導出手段が前記導出処理を実行した後に、前記車両の振動の有無を判定することを特徴とするパラメータ取得装置。
請求項１ないし４のいずれかに記載のパラメータ取得装置において、
前記判定手段は、前記導出手段が前記導出処理を実行する前に、前記車両の振動の有無を判定することを特徴とするパラメータ取得装置。
請求項１ないし６のいずれかに記載のパラメータ取得装置において、
前記判定手段が、前記車両の振動がしていると判定した場合は、ユーザに情報を報知する報知手段、
をさらに備えることを特徴とするパラメータ取得装置。
カメラに関するパラメータを取得するパラメータ取得方法であって、
（ａ）車両が備えるカメラで得られた撮影画像に基いて前記カメラの設置に関するパラメータを導出する導出処理を実行する工程と、
（ｂ）前記導出処理を実行する際の前記車両の振動の有無を判定する工程と、
（ｃ）前記車両の振動が無いと判定された前記導出処理において導出されたパラメータを記憶する工程と、
を備えることを特徴とするパラメータ取得方法。
コンピュータによって実行可能なプログラムであって、
前記コンピュータに、
（ａ）車両が備えるカメラで得られた撮影画像に基いて前記カメラの設置に関するパラメータを導出する導出処理を実行する工程と、
（ｂ）前記導出処理を実行する際の前記車両の振動の有無を判定する工程と、
（ｃ）前記車両の振動が無いと判定された前記導出処理において導出されたパラメータを記憶する工程と、
を実行させることを特徴とするプログラム。