JP2021135174A - 測距センサの校正システム、及び測距センサの校正方法 - Google Patents
測距センサの校正システム、及び測距センサの校正方法 Download PDFInfo
- Publication number
- JP2021135174A JP2021135174A JP2020031771A JP2020031771A JP2021135174A JP 2021135174 A JP2021135174 A JP 2021135174A JP 2020031771 A JP2020031771 A JP 2020031771A JP 2020031771 A JP2020031771 A JP 2020031771A JP 2021135174 A JP2021135174 A JP 2021135174A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- calibration
- distance measuring
- sensors
- ranging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 53
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Optics & Photonics (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
Abstract
【課題】特別な構成を追加することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システムを提供する。【解決手段】この測距センサの校正システムは、少なくとも車両の進行方向に沿った第1方向、及び第1方向とは反対方向の第2方向に向けて設置され、距離を測定可能に構成された複数の測距センサと、複数の測距センサを構成する校正処理部とを備える。校正処理部は、車両の走行路の近傍に配置される複数の校正用ターゲットの間の距離、複数の測距センサの間の距離、及び複数の測距センサの各々により計測される距離に基づいて、複数の測距センサの校正を行うよう構成される。【選択図】図4
Description
本発明は、車両に搭載されて車両と物体との間の測距を行う測距センサの校正システム及び校正方法に関するものである。
ステレオカメラ等の測距センサを用いて、自動車や列車等の車両と他の物体との間の距離を算出する測距システムが、例えば特許文献1により知られている。この特許文献1には、ステレオカメラに加え、投光により距離を測定するアクティブレンジファインダ(ARF)を搭載したシステムが開示されている。具体的には、ARFの出射光を用いてステレオカメラの補助光とすること、ARFの測距結果を用いてステレオカメラの測距結果を補正することが開示されている。
測距システムにおいては、物体までの距離を正確に測定することが求められる。しかし、物体までの距離を測定する測距センサでは、経時変化や環境(温度、湿度、気圧など)の変化に伴い測定誤差が生じる。このため、測距センサにおいて定期的に測定誤差を検出し、測距センサを校正する必要がある。
特許文献1のように、高精度な測距が可能な別個の測距手段(ARF等)を別個に設け、高精度測距手段の測距結果に基づいて校正対象の測距センサ(ステレオカメラ等)の校正を実行することは可能である。しかし、校正のために別途の測距手段を設けることは、コストの増加に繋がる。また、高精度の測距手段と、校正対象の測距手段との間で、測距可能距離が一致しないことがあり得る。例えば、ARFの最大測距範囲は、一般にステレオカメラの最大測距範囲より短い。このため、校正対象であるステレオカメラを、全測距範囲に亘って校正することができないという問題がある。
また、従来公知の多くのシステムでは、走行中に校正動作を行うことが困難である。停止中のみ校正が可能なシステムでは、校正動作の実行頻度が低下して適切なタイミングで校正が出来ず、その間に測距センサの誤差が許容限度を超えてしまうことが生じ得る。
本発明は、上記の問題に鑑みてなされたものであり、特別な構成を追加することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システムを提供することを目的とする。
上記の課題を解決するために、本発明に係る測距センサの校正システムは、少なくとも車両の進行方向に沿った第1方向、及び前記第1方向とは反対方向の第2方向に向けて設置され、距離を測定可能に構成された複数の測距センサと、前記複数の測距センサを構成する校正処理部とを備える。前記校正処理部は、前記車両の走行路の近傍に配置される複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測される距離に基づいて、前記複数の測距センサの校正を行うよう構成される。
また、本発明に係る測距センサの校正方法は、少なくとも車両の進行方向に沿った第1方向、及び前記第1方向とは反対方向の第2方向に向けて、複数の測距センサを設置し、前記複数の測距センサの各々により、前記車両の走行路の近傍に配置される複数の校正用ターゲットまでの距離を算出し、前記複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測された距離に基づいて、前記複数の測距センサの校正を行うことを特徴とする。
本発明によれば、特別な構成装置を使用することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システム及び校正方法を提供することができる。
以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
[第1の実施の形態]
図1〜図3を参照して、第1の実施の形態に係る測距センサの校正システムを説明する。図1は、第1の実施の形態の測距センサの校正システム11の構成を示すブロック図である。この校正システム11は、後述するように、車両、例えば鉄道の車両に搭載される。車両には、後述するように測距センサの一例としてのステレオカメラが複数台、例えば2台(110、120)搭載されている。本校正システム11は、このステレオカメラ110、120の校正を実行するため、車両に搭載される。また、ステレオカメラ110、120のうちの一方は、車両の進行方向を向くように配置され、他方は車両の進行方向とは異なる方向(例えば反対方向)を向くように配置される。すなわち、複数台のステレオカメラは、全て進行方向を向くように配置されているのではなく、少なくとも1台は進行方向とは異なる方向(例えば反対方向)を向くように配置される。
図1〜図3を参照して、第1の実施の形態に係る測距センサの校正システムを説明する。図1は、第1の実施の形態の測距センサの校正システム11の構成を示すブロック図である。この校正システム11は、後述するように、車両、例えば鉄道の車両に搭載される。車両には、後述するように測距センサの一例としてのステレオカメラが複数台、例えば2台(110、120)搭載されている。本校正システム11は、このステレオカメラ110、120の校正を実行するため、車両に搭載される。また、ステレオカメラ110、120のうちの一方は、車両の進行方向を向くように配置され、他方は車両の進行方向とは異なる方向(例えば反対方向)を向くように配置される。すなわち、複数台のステレオカメラは、全て進行方向を向くように配置されているのではなく、少なくとも1台は進行方向とは異なる方向(例えば反対方向)を向くように配置される。
本校正システム11は、ハードウエア構成として、例えば、CPU12、FPGA(Field Programmable Grid Array)13、ROM14、RAM15、通信制御部16、及び表示制御部17を備える。このCPU12、及びFPGA13は、ステレオカメラ110及び120と接続されており、ステレオカメラ110及び120の出力信号を受信し、各種演算処理を可能に構成されている。
ROM14には、本校正システム11の動作を規定する校正プログラムが格納されている。この校正用プログラムが実行されることにより、距離算出部18と校正処理部19とが実現する。また、RAM15は、各種演算の結果や、その他動作に必要なデータを格納する。
通信制御部16は、例えば外部のコンピュータと各種データやコマンドの送受信を制御可能に構成されている。また、表示制御部17は、図示しないディスプレイ等において、計測結果を含む各種情報の表示を制御可能に構成されている。
図2にステレオカメラ110、120の概略構成の一例を示す。ステレオカメラ110及び120は、例えばレンズ101、102、撮像素子103、104(例えばCCDカメラ)、及び筐体105を備えて構成される。ステレオカメラ110、120は、三角法の原理より対象物体までの距離を測定する。
具体的にステレオカメラ110、120は、対象物体が撮像素子103、104の一方に投影される画素の位置と、撮像素子103、104の他方に投影される画素の位置との差を視差として求め、左右の撮像素子の基線長、焦点距離、画素ピッチに基づき、対象物体までの距離を算出する。例えば、無限遠にある物体は、左右の撮像素子103、104に投影される画像の位置は等しく、視差は0である。したがって、環境(温度、湿度、圧力等)の変化、レンズ形状の経年変化、レンズ101、102と撮像素子103、104との間の相対的な位置関係の変化、レンズ101、102の光軸のズレ、基線長のズレなどを含む構造の変化が生じた場合には、その変化は測距結果に影響を与え、測定誤差の原因となる。
図3は、ステレオカメラ110、及び120の配置位置を含む、車両200の全体像を示している。ステレオカメラ110、及び120は、車両200の最前部と、最後部とにそれぞれ配置され、互いに車両200の進行方向に関し反対方向を撮像可能に配置されている。ステレオカメラ110と120は、例えば車両200を構成する列車が直線に沿って配置されている場合において、距離Lsをあけて配置される。
車両200は、例えば図3の右から左に向けて走行する場合と、逆に図3の左から右に向かって走行する場合とがある。右から左に走行する場合、進行方向に向いているステレオカメラ120が対象物との距離を計測する。逆に、左から右に走行する場合、進行方向に向いているステレオカメラ110が対象物との距離を計測する。
車両200が左右のいずれの方向に進行する場合でも、ステレオカメラ110又は120の測距結果に応じ、表示部(ディスプレイ)や警報部(図示せず)を介した報知・警告や、列車の走行制御(減速制御、又は停止制御)が行われる。なお、進行方向とは反対側を向いたステレオカメラは、車両200が既に通過した後の画像を撮像するので、動作していたとしても、車両200の事故を防止するための情報を提供しない。従って、車両200の進行方向と反対側を向いたステレオカメラ(例えば、図3の右から左に走行する場合におけるステレオカメラ110)は、通常状態では電源をOFFとされているか、又はスタンバイモードとしておくことができる。ただし、進行方向と反対側を向いたステレオカメラは、後述する校正動作を行う場合において電源投入され又は動作を開始し、校正の動作のために必要な距離情報を提供することができる。
図4を参照して、第1の実施の形態の校正システム11の動作を、同システムの一部を構成する校正用ターゲット310及び320とともに説明する。この校正システム11は、車両200の走行路(線路)に沿って、校正用ターゲット310及び320を用いて校正動作を実行可能とされている。
校正用ターゲット310及び320は、車両200の走行路(線路)に沿った位置において、既知の距離Ltをあけて配置されている。走行路が線路の場合、校正用ターゲット310及び320は、線路から近接した位置、例えば線路から数m離れた位置に配置され得る。距離Ltは予め計測され、その距離データは、例えばROM14などに記憶されていてもよい。なお、校正用ターゲット310及び320は、線路のいずれの位置に配置されていてもよいが、ステレオカメラ110及び120の測定を高精度に行う観点、及び、校正動作を高精度に行う観点から、車両200の長さよりも十分に長い直線路に配置されているのが好適である。
図4を参照して、第1の実施の形態の校正システムにおける校正動作の原理を説明する。校正用ターゲット310と320の間の距離Ltが既知であり、更にステレオカメラ110と120の間の距離Lsが既知であるとする。この状況において、ステレオカメラ110により、ステレオカメラ110から校正用ターゲット310までの距離S1が測定され、更にステレオカメラ120により、ステレオカメラ120から校正用ターゲット320までの距離S2が測定されたとする。
このとき、距離S1及びS2に測定誤差が無ければ、Lt=Ls+S1+S2…(式1)が成立する。しかし、実際には、距離S1及びS2は測定誤差を含んでおり、合計の測定誤差がΔであるとすると、測定誤差Δは、Δ=S2−(Lt−Ls−S1)…(式2)となる。
第1の実施の形態の校正システムは、この(式2)に従って計測された測定誤差Δに基づき、ステレオカメラ110及び120のうち、より遠い距離を検出したステレオカメラの校正を実行するよう構成されている。以下、この点を図5〜図9を参照して説明する。
図5は、ステレオカメラにより計測される物体までの距離と、その計測値の誤差(誤差比)との関係を説明するグラフである。物体までの距離(計測値)が大きくなるほど、誤差は大きくなる。また、ステレオカメラでは、温度や湿度、径時変化によりレンズ101、102と撮像素子103、104の位置がずれる場合があるが(画素ずれ)、この画素ずれによって視差に一定のオフセット誤差が生じ、視差から算出する計測距離の誤差(誤差比)は、画素ずれが大きくなるほど大きくなる。
図5に示すように、物体までの距離が小さい場合には、誤差は小さい。例えば、ステレオカメラ110、120が、それぞれ距離S1、S2を計測する場合において、S1<S2であれば、ステレオカメラ110の測定結果(距離S1)は、ステレオカメラ120(距離S2)に比べ、誤差が少ないと考えられる。このため、第1の実施の形態では、上記の(式2)により特定された測定誤差Δを、より長い距離を計測したステレオカメラ120の校正に用いる。
以下、第1の実施の形態による校正システムの校正動作の実行手順を、図6〜図9の概略図、及び図10のフローチャートを参照して説明する。図6〜図9において、車両200は、紙面の右側から左側に向かって走行しているものとする。
校正動作が開始されると、進行方向(前方)を向いているステレオカメラ120が測距動作を開始する(ステップS11)。ステレオカメラ120は、所定の周期で前方(紙面左方向)を監視する。左側に向かって車両200が走行を継続すると、車両200は校正用ターゲット310に接近する(図6では、校正用ターゲット320は更に校正用ターゲット310の左方向にあり、図示されていない)。校正用ターゲット310とステレオカメラ120との間の距離S2が所定距離以下(例えば50m以下)となると(ステップS12のYes)、電源OFF状態にされていた進行方向とは反対側のステレオカメラ110にも電源が投入(ON)され、校正動作のための測定動作が開始される(ステップS13)。なお、ステレオカメラ110は、校正動作の開始前には電源OFF状態とされる代わりに、省電力モード等に設定されていてもよい。また、ステレオカメラ110も、ステレオカメラ120と同様に、常時電源ONとされ、連続して撮像が可能な状態とされていてもよい。
図7に示すように、車両200が校正用ターゲット310と320との間まで移動すると(ステップS14)、CPU12は、ステレオカメラ110及び120に対し同期信号を送信する。ステレオカメラ110及び120は、この同期信号に従い、略同時(略同時刻)に校正用ターゲット310及び320の画像を取得し、距離S1及びS2を略同時に計測する(ステップS15)。どのタイミングでステレオカメラ110及び120が画像を取得するかは任意であるが、ステレオカメラ110及び120において略同時に画像を取得するのが好適である。一例として、ステレオカメラ110が計測する距離S1が50mとなった場合に、画像取得のための同期信号をCPU12から出力させることができる。なお、ステレオカメラ110の測定結果、及びステレオカメラ120の測定結果の間の時間的関連性に関するデータが得られるのであれば、ステレオカメラ110と120の測定タイミングは必ずしも同時でなくてもよく、僅かに異なっていても良い。
ステレオカメラ110及び120で得られた画像に基づき、距離算出部18で距離S1及びS2を算出する。そして、この距離S1及びS2を上記の(式2)に代入して誤差Δを演算する。この演算された誤差Δにより、ステレオカメラ120の校正動作が実行される。すなわち、ステレオカメラ110及び120のうち、より長い距離を計測したステレオカメラ120を、演算された誤差Δに基づいて校正する(ステップS16)。
図7の状態から更に車両が左方向に進み、図8のようにステレオカメラ120から校正用ターゲット320までの距離S2が所定値以下、例えば50m以下になると(ステップS17のYes)、CPU12は、再びステレオカメラ110及び120に対し同期信号を送信する。ステレオカメラ110及び120は、この同期信号に従い、同時に校正用ターゲット310及び320の画像を取得し、距離S1及びS2を略同時に計測する(ステップS18)。得られたS1及びS2を(式2)に代入して、誤差Δを再度演算する。このとき、S1>S2であるため、この誤差Δは、長い距離S1を計測したステレオカメラ110の校正に用いられる(ステップS19)。
車両200が校正用ターゲット320を通過すると(ステップS20)、図9に示すように、進行方向の後方のステレオカメラ110は、校正用ターゲット320の測定を継続する。そして、ステレオカメラ110と校正用ターゲット320の間の距離S1が所定値(例えば50m)以上となったとき(ステップS21のYes)、校正用動作が終了したと判断し、ステレオカメラ110の電源をOFFし、測定動作を停止する。以上により、ステレオカメラ110及び120の校正動作が終了する。
なお、校正用ターゲット310及び320の間の距離Ltは、ステレオカメラ110及び120の最短測定可能距離R1min、R2min、及び最長測定可能距離R1max、R2maxに従って決定される必要がある。前後のステレオカメラ110、120が、いずれも対応する校正用ターゲット310、320までの距離を測定する必要があるためである。具体的には、次の(式3)を満たすよう、距離Ltを設定する必要がある。
Ls+R1min+R2min<Lt<Ls+R1max+R2max…(式3)
Ls+R1min+R2min<Lt<Ls+R1max+R2max…(式3)
なお、2つのステレオカメラ110、120の最短測定可能距離、最長測定可能距離が互いに等しい場合(R1min=R2min=Rmin、R1max=R2max=Rmax)、距離Ltは、距離Lsに、RmaxとRminとを加算した値に略等しいのが好ましい。すなわち、次の(式4)が成り立つように距離Ltを設定するのが好ましい。
Lt≒Ls+Rmax+Rmin…(式4)。
Lt≒Ls+Rmax+Rmin…(式4)。
校正用ターゲット310及び320は、本実施の形態の校正動作の実施のために特別に設定されるターゲットであってもよいが、既存の複数の構造物(例えば電柱、標識など)を、それらの間の距離を予め計測することで校正用ターゲット310及び320とすることもできる。又は、既存の構造物を加工(例えば、既存の構造物に本校正動作のためのターゲットを取り付けるか、又は描画)しても良い。既存の構造物等を校正用ターゲットとする場合には、例えば試験走行を実行して校正用ターゲットとして好適な物体を、ステレオカメラ110又は120を用いて探索することができる。校正用ターゲットとしては、ステレオカメラ110又は120の撮像素子の中央付近に結像し、当該物体の視差を安定して得られる物体が好ましい。具体的には、当該物体の範囲内でより多くの視差が得られること、得られた視差の分散値が小さい物体が、校正用ターゲットとして好適である。
以上説明したように、第1の実施の形態では、距離が既知の校正用ターゲット310及び320を、車両200の前後に配置されたステレオカメラ110及び120で撮像することで、ステレオカメラ110及び/又は120の校正が実行される。このとき、校正用ターゲットまでの距離が近いステレオカメラの計測値(測距値)が、校正用ターゲットまでの距離がより遠いステレオカメラの計測値よりも誤差が少ないことに鑑み、図7及び図8で示した手順を実行し、校正動作を行う。この第1の実施の形態によれば、ステレオカメラ110及び120のみで校正を実行することが可能になり、それ以外の測距手段を必要としない。すなわち、本実施の形態によれば、特別な装置を使用することなく、低コストで、走行中でも校正動作が実行可能な測距センサの校正システム及び校正方法を提供することができる。なお、本実施形態の校正動作は、車両200の通常の走行中(高速走行中)に行うこともできるが、低速走行中、又は停止中に行うことも可能である。また、車両の走行路に限らず、車両の車庫に同等の校正用ターゲットを設置し、車庫への駐車中に校正動作を実行することもできる。
[第2の実施の形態]
次に、図11を参照して、第2の実施の形態に係る測距センサの校正システムを説明する。第2の実施の形態の基本的な構造は第1の実施の形態と同一である。ただし、校正動作が第1の実施の形態と異なっている。図11は、第2の実施の形態の校正システムにおける校正動作の順序を説明するフローチャートである。
次に、図11を参照して、第2の実施の形態に係る測距センサの校正システムを説明する。第2の実施の形態の基本的な構造は第1の実施の形態と同一である。ただし、校正動作が第1の実施の形態と異なっている。図11は、第2の実施の形態の校正システムにおける校正動作の順序を説明するフローチャートである。
第1の実施の形態では、まず進行方向を向いたステレオカメラ120の校正を実行し、次いで進行方向とは反対方向を向いたステレオカメラ110の校正を実行したが、この第2の実施の形態では、図10のステップS17〜S19は省略している。すなわち、進行方向を向いたステレオカメラ120の校正のみを実行し、進行方向とは反対方向を向いたステレオカメラ110の校正は省略している。ステレオカメラ110の校正は、車両200の進行方向が右方向に変った場合において実行することができる。
[第3の実施の形態]
次に、図12を参照して、第3の実施の形態に係る測距センサの校正システムを説明する。第3の実施の形態の基本的な構造は第1の実施の形態と同一であり、また動作も図6〜図9で説明したのと同様である。ただし、この第3の実施の形態では、校正用ターゲット310及び320の配置位置が第1の実施の形態と異なっている。
次に、図12を参照して、第3の実施の形態に係る測距センサの校正システムを説明する。第3の実施の形態の基本的な構造は第1の実施の形態と同一であり、また動作も図6〜図9で説明したのと同様である。ただし、この第3の実施の形態では、校正用ターゲット310及び320の配置位置が第1の実施の形態と異なっている。
この第3の実施の形態では、図12に示すように、校正用ターゲット310及び320は、線路の直線部分L1と曲線部分L2、L2’の境界付近であって、直線部分L1の略延長線上に配置される。図12では、校正用ターゲット310及び320がいずれも直線部分L1の略延長線上に配置されている。これに代えて、校正用ターゲット310及び320のいずれか一方を、直線部分L1の位置に配置することも可能である。すなわち、校正用ターゲット310及び320は、少なくともいずれか一方を直線部分の略延長線上に配置することもできる。
校正用ターゲット310及び320は、ステレオカメラ110及び120の撮像素子の中心付近で撮像されるのが好ましい。これは、レンズ101及び102の周辺はより歪が大きく、画像ズレの要因が複数存在するためである。例えば画像周辺ではレンズの温度特性により拡大縮小が発生し、これによる像位置のずれが生じる。一方画像中心で発生している画像位置のずれは光軸の角度ずれと考えられる。校正用ターゲット310及び320を撮像素子中心付近で結像させるためには、図12のような位置に校正用ターゲット310及び320を配置することが好適である。または、同条件の既存の構造物を校正用ターゲットとして選択することが好ましい。
(校正用ターゲットの具体例)
図13〜図17を参照して、校正用ターゲット310、320の具体例を説明する。
図13〜図17を参照して、校正用ターゲット310、320の具体例を説明する。
図13は、校正用ターゲット310、320の第1の具体例である。校正用ターゲット310、320は、ステレオカメラ110、120により安定的に測距可能とするため、
高く適切な空間周波数を有することが好ましい。図13の第1の具体例の校正用ターゲット310、320は、この観点から、白地に黒丸で等間隔に配置された複数の円形マークを有している。
高く適切な空間周波数を有することが好ましい。図13の第1の具体例の校正用ターゲット310、320は、この観点から、白地に黒丸で等間隔に配置された複数の円形マークを有している。
図14は、校正用ターゲット310、320の第2の具体例であり、黒い矩形マークを所謂市松模様となるように配置している。図15は、校正用ターゲット310、320の第3の具体例であり、黒い矩形マーク、灰色の矩形マーク、及び白い矩形マークを、マトリクス状に配列したモザイク模様を有している。
図16は、校正用ターゲット310、320の第4の具体例であり、空間周波数が低い大きな模様と、空間周波数が高い小さな模様とを重畳した形で有している。図示の例では、2種類の異なる空間周波数の模様が含まれているが、これは一例であり、3種類以上の空間周波数の模様が含まれていても良い。図17は、校正用ターゲット310、320の第5の具体例であり、空間周波数が低い大きな模様と、空間周波数が高い小さな模様とを異なる領域(上下)に分割した形で有している。
(変形例)
以上、発明の実施の形態を説明したが、本発明はこれらの実施の形態に限定されるものではない。例えば、上記の実施の形態では、車両200の前方及び後方に配置した複数のステレオカメラ(測距センサ)の検出結果を用いて校正動作を実行するが、これらステレオカメラに加え、別の測距センサ、例えばLIDARのような高精度の測距センサを搭載するフュージョンセンサを別途設けてもよいことは言うまでもない。この場合、被校正センサと校正用センサとで各々の測距範囲が異なっても校正を行うことができ、同等の効果が得ることができる。
以上、発明の実施の形態を説明したが、本発明はこれらの実施の形態に限定されるものではない。例えば、上記の実施の形態では、車両200の前方及び後方に配置した複数のステレオカメラ(測距センサ)の検出結果を用いて校正動作を実行するが、これらステレオカメラに加え、別の測距センサ、例えばLIDARのような高精度の測距センサを搭載するフュージョンセンサを別途設けてもよいことは言うまでもない。この場合、被校正センサと校正用センサとで各々の測距範囲が異なっても校正を行うことができ、同等の効果が得ることができる。
また、上記実施の形態では、一のステレオカメラを校正するために、他方の(反対方向を向いた)ステレオカメラからの測距情報を使用しているが、本発明はこれに限ったものではない。例えば、GPS(Global Positioning System)やATS(Automatic Train Stop)を用いて車両200の位置及び校正用ターゲットの位置を検出し、自己位置と校正用ターゲットとの距離を算出し、これを正解値とすることができる。また、車両200の高速走行にてGPSやATSの計測誤差が増大する場合は、停止時や低速走行中に計測を行い、正解値を得ることができる。正解値の検出精度がステレオカメラ110と同等であれば、校正結果も同等の精度が得られる。
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
11…校正システム、 12…CPU、 13…FPGA、 14…ROM、 15…RAM、 16…通信制御部、 17…表示制御部、 101、102…レンズ、 103、104… 撮像素子、 110、120…ステレオカメラ、 200…車両、 310、320…校正用ターゲット。
Claims (17)
- 少なくとも車両の進行方向に沿った第1方向、及び前記第1方向とは反対方向の第2方向に向けて設置され、距離を測定可能に構成された複数の測距センサと、
前記複数の測距センサを構成する校正処理部と
を備え、
前記校正処理部は、前記車両の走行路の近傍に配置される複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測される距離に基づいて、前記複数の測距センサの校正を行うよう構成された、測距センサの校正システム。 - 前記複数の校正用ターゲットの間の距離をLt、前記複数の測距センサの間の距離をLs、前記複数の測距センサのうちの第1の測距センサの測距結果をS1、前記複数の測距センサのうちの第2の測距センサの測距結果をS2、誤差をΔとするとき、
前記校正処理部は、誤差ΔをΔ=S2−(Lt−Ls−S1)により算出する、請求項1に記載の測距センサの校正システム。 - 前記複数の測距センサの測距結果は、略同時刻に取得される、請求項1に記載の測距センサの校正システム。
- 前記校正処理部は、前記複数の測距センサのうち、前記校正用ターゲットまでの距離が第1の距離である測距センサの測定結果に基づいて、前記校正用ターゲットまでの距離が前記第1の距離よりも長い第2の距離である測距センサの校正を実行する、請求項1に記載の測距センサの校正システム。
- 前記複数の測距センサはステレオカメラである、請求項1に記載の測距センサの校正システム。
- 前記校正処理部は、前記車両が前記複数の校正用ターゲットの間を走行中において、前記複数の測距センサのうち、前記第1方向を向いた第1の測距センサを、前記第2方向を向いた第2の測距センサの測距結果に基づいて校正し、次いで前記第2の測距センサを、前記第1の測距センサの測距結果に基づいて校正するよう構成された、請求項1に記載の測距センサの校正システム。
- 前記複数の測距センサのうち、前記第2の測距センサは、前記車両が前記校正用ターゲットの付近に位置する場合に電源投入され、又は測距動作を開始するよう構成されている、請求項6に記載の測距センサの校正システム。
- 前記複数の校正用ターゲットの間の距離をLt、前記複数の測距センサの間の距離をLs、前記複数の測距センサのうちの第1の測距センサの最短測定可能距離をR1min、前記第1の測距センサの最長測定可能距離をR1max、前記複数の測距センサのうちの第2の測距センサの最短測定可能距離をR2min、前記第2の測距センサの最長測定可能距離をR2maxとしたとき、
Ltは、
Ls+R1min+R2min<Lt<Ls+R1max+R2max
を満たすよう設定される、請求項1に記載の測距センサの校正システム。 - 前記複数の校正用ターゲットの間の距離をLt、前記複数の測距センサの間の距離をLs、前記複数の測距センサの測距可能範囲が互いに等しく、最短測定可能距離がRmin、最長測定可能範囲がRmaxである場合、
Ltは、
Lt≒Ls+Rmin+Rmax
を満たすように設定される、請求項1に記載の測距センサの校正システム。 - 前記複数の校正用ターゲットは、前記車両の走行路のうちの直線部分に設置される
ことを特徴とする請求項1に記載の測距センサの校正システム。 - 前記複数の校正用ターゲットの少なくとも1つは、前記車両の走行路のうちの直線部分と曲線部分との境界付近であって、前記直線部分の略延長線上に位置する
ことを特徴とする請求項1に記載の測距センサの校正システム。 - 前記校正処理部は、電柱を含む既存の設備、又は前記既存の設備を加工して生成されたターゲットを前記複数の校正用ターゲットとして得られた前記複数の測距センサによる測定結果を用いて校正処理を実行する、請求項1に記載の測距センサの校正システム。
- 少なくとも車両の進行方向に沿った第1方向、及び前記第1方向とは反対方向の第2方向に向けて、複数の測距センサを設置し、
前記複数の測距センサの各々により、前記車両の走行路の近傍に配置される複数の校正用ターゲットまでの距離を算出し、
前記複数の校正用ターゲットの間の距離、前記複数の測距センサの間の距離、及び前記複数の測距センサの各々により計測された距離に基づいて、前記複数の測距センサの校正を行う
ことを特徴とする、測距センサの校正方法。 - 前記複数の校正用ターゲットの間の距離をLt、前記複数の測距センサの間の距離をLs、前記複数の測距センサのうちの第1の測距センサの測距結果をS1、前記複数の測距センサのうちの第2の測距センサの測距結果をS2、誤差をΔとするとき、
誤差ΔをΔ=S2−(Lt−Ls−S1)により算出する、請求項13に記載の測距センサの校正方法。 - 前記複数の測距センサの測距結果は、略同時刻に取得される、請求項13に記載の測距センサの校正方法。
- 前記複数の測距センサのうち、前記校正用ターゲットまでの距離が第1の距離である測距センサの測定結果に基づいて、前記校正用ターゲットまでの距離が前記第1の距離よりも長い第2の距離である測距センサの校正を実行する、請求項13に記載の測距センサの校正方法。
- 前記車両が前記複数の校正用ターゲットの間を走行中において、前記複数の測距センサのうち、前記第1方向を向いた第1の測距センサを、前記第2方向を向いた第2の測距センサの測距結果に基づいて校正し、次いで前記第2の測距センサを、前記第1の測距センサの測距結果に基づいて校正する、請求項13に記載の測距センサの校正方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031771A JP7386098B2 (ja) | 2020-02-27 | 2020-02-27 | 測距センサの校正システム、及び測距センサの校正方法 |
US17/796,161 US20230103773A1 (en) | 2020-02-27 | 2020-12-20 | Ranging Sensor Calibration System and Ranging Sensor Calibration Method |
AU2020431041A AU2020431041B2 (en) | 2020-02-27 | 2020-12-22 | Ranging sensor calibration system and ranging sensor calibration method |
EP20922346.0A EP4113058A4 (en) | 2020-02-27 | 2020-12-22 | SYSTEM AND METHOD FOR CALIBRATING A DISTANCE SENSOR |
PCT/JP2020/047794 WO2021171758A1 (ja) | 2020-02-27 | 2020-12-22 | 測距センサの校正システム、及び測距センサの校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031771A JP7386098B2 (ja) | 2020-02-27 | 2020-02-27 | 測距センサの校正システム、及び測距センサの校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021135174A true JP2021135174A (ja) | 2021-09-13 |
JP7386098B2 JP7386098B2 (ja) | 2023-11-24 |
Family
ID=77490888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020031771A Active JP7386098B2 (ja) | 2020-02-27 | 2020-02-27 | 測距センサの校正システム、及び測距センサの校正方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230103773A1 (ja) |
EP (1) | EP4113058A4 (ja) |
JP (1) | JP7386098B2 (ja) |
AU (1) | AU2020431041B2 (ja) |
WO (1) | WO2021171758A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10341458A (ja) * | 1997-06-10 | 1998-12-22 | Toyota Motor Corp | 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ |
JP2009294109A (ja) * | 2008-06-05 | 2009-12-17 | Fujitsu Ltd | キャリブレーション装置 |
WO2017209015A1 (ja) * | 2016-06-03 | 2017-12-07 | Kyb株式会社 | ステレオカメラの設置パラメータ校正方法 |
WO2018173907A1 (ja) * | 2017-03-23 | 2018-09-27 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP2020113908A (ja) * | 2019-01-11 | 2020-07-27 | パナソニックIpマネジメント株式会社 | 乗り物用カメラの校正方法及び校正用マーカのセット |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4402400B2 (ja) | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
DE102008042018A1 (de) * | 2008-09-12 | 2010-03-18 | Robert Bosch Gmbh | Verfahren zum Justieren oder Kalibrieren eines Fahrzeugumfeldsensors sowie Fahrzeugumfeldsensor-Justier- oder Kalibrier-Anordnung |
JP5440461B2 (ja) * | 2010-09-13 | 2014-03-12 | 株式会社リコー | 校正装置、距離計測システム、校正方法および校正プログラム |
JP6182866B2 (ja) * | 2012-03-21 | 2017-08-23 | 株式会社リコー | 校正装置、距離計測装置及び車両 |
JP6427984B2 (ja) * | 2013-06-27 | 2018-11-28 | 株式会社リコー | 測距装置、車両、測距装置の校正方法 |
JP6620869B2 (ja) * | 2014-01-28 | 2019-12-18 | 株式会社リコー | 校正方法、校正装置、及びプログラム |
WO2017057042A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム、および、物体検出システム |
EP3550326A1 (en) * | 2018-04-03 | 2019-10-09 | Continental Automotive GmbH | Calibration of a sensor arrangement |
-
2020
- 2020-02-27 JP JP2020031771A patent/JP7386098B2/ja active Active
- 2020-12-20 US US17/796,161 patent/US20230103773A1/en active Pending
- 2020-12-22 WO PCT/JP2020/047794 patent/WO2021171758A1/ja active Application Filing
- 2020-12-22 EP EP20922346.0A patent/EP4113058A4/en active Pending
- 2020-12-22 AU AU2020431041A patent/AU2020431041B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10341458A (ja) * | 1997-06-10 | 1998-12-22 | Toyota Motor Corp | 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ |
JP2009294109A (ja) * | 2008-06-05 | 2009-12-17 | Fujitsu Ltd | キャリブレーション装置 |
WO2017209015A1 (ja) * | 2016-06-03 | 2017-12-07 | Kyb株式会社 | ステレオカメラの設置パラメータ校正方法 |
WO2018173907A1 (ja) * | 2017-03-23 | 2018-09-27 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP2020113908A (ja) * | 2019-01-11 | 2020-07-27 | パナソニックIpマネジメント株式会社 | 乗り物用カメラの校正方法及び校正用マーカのセット |
Also Published As
Publication number | Publication date |
---|---|
EP4113058A1 (en) | 2023-01-04 |
WO2021171758A1 (ja) | 2021-09-02 |
AU2020431041A1 (en) | 2022-08-25 |
US20230103773A1 (en) | 2023-04-06 |
JP7386098B2 (ja) | 2023-11-24 |
AU2020431041B2 (en) | 2023-11-09 |
EP4113058A4 (en) | 2024-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3100002B1 (en) | Camera calibration method | |
JP6458439B2 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
US7697029B2 (en) | Image display apparatus and method | |
JP3263699B2 (ja) | 走行環境監視装置 | |
JPH07280563A (ja) | 車間距離検出装置 | |
KR101915363B1 (ko) | Gps 음영 지역에서 차량을 측위하는 장치 및 그 방법 | |
JP2011118482A (ja) | 車載装置および認知支援システム | |
JP2008249666A (ja) | 車両位置特定装置および車両位置特定方法 | |
JP2010044009A (ja) | 車両周辺監視装置 | |
JP2010139275A (ja) | 車両用複眼距離測定装置及び複眼距離測定方法 | |
KR20120105761A (ko) | 외부 환경 가시화 장치 및 그 방법 | |
CN105809669A (zh) | 一种用于校准图像检测设备的方法和装置 | |
JP2009014481A (ja) | 距離計測装置とそのキャリブレーション方法 | |
JP2009243963A (ja) | 物体検出装置 | |
JPH09218265A (ja) | レーダ中心軸自動補正装置 | |
WO2021171758A1 (ja) | 測距センサの校正システム、及び測距センサの校正方法 | |
US20220365193A1 (en) | Method for estimating correction angles in a radar sensor for motor vehicles | |
US11473906B2 (en) | Method and device for aligning a calibration device | |
US10384608B2 (en) | Vehicle-mounted stereo camera device and method for correcting the same | |
US11914028B2 (en) | Object detection device for vehicle | |
JP2007267231A (ja) | 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 | |
US20240094363A1 (en) | Method for Calibrating a Gated Camera, Control Unit for Carrying Out Such a Method, Calibrating Device Having Such a Control Unit and Motor Vehicle Having Such a Calibrating Device | |
WO2017042995A1 (ja) | 車載用ステレオカメラ装置、およびその補正方法 | |
EP3974771A1 (en) | Stereo camera system and distance measurement method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7386098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |