JP2021004729A - 状態計測装置 - Google Patents
状態計測装置 Download PDFInfo
- Publication number
- JP2021004729A JP2021004729A JP2019116990A JP2019116990A JP2021004729A JP 2021004729 A JP2021004729 A JP 2021004729A JP 2019116990 A JP2019116990 A JP 2019116990A JP 2019116990 A JP2019116990 A JP 2019116990A JP 2021004729 A JP2021004729 A JP 2021004729A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- facing surface
- vehicle speed
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、このような実情に鑑みてなされたもので、その目的は、簡単な撮影条件で撮影された撮影画像に基づいて対象物の状態を計測することのできる状態計測装置を提供することにある。
好ましい構成として、前記計測部は、前記楕円の短径の方向、及び短径の逆数と長径の逆数との間の差から前記速度ベクトルを取得し、この取得した前記速度ベクトルの大きさから速度を算出し、該速度ベクトルの向きから移動方向を算出する。
好ましい構成として、前記計測部は、前記2次元FFT処理に先立ち、前記対向面画像を画素数が2のべき乗となるようにトリミング及びビニングの少なくとも一方の加工をしてから、この加工した前記対向面画像を前記2次元FFT処理する。
好ましい構成として、前記移動方向に対する大きさと、前記楕円の短径と長径との間の比が所定の範囲を超えることに応じて露光時間を調整する調整部をさらに備える。
好ましい構成として、前記モーションブラーが示す変位量は、前記撮影部から前記対向面までの距離を考慮して算出される。
このような構成によれば、ステレオカメラ等の単眼カメラ以外のカメラを対向面撮影部として利用でき、ステレオカメラから得られる対向面までの距離を用いて、画素あたりの長さ換算値の算出に利用することができる。
好ましい構成として、前記計測部は、前記複数のカメラのうちの一方のカメラの撮影タイミングが他方のカメラの撮影タイミングに含まれることを条件にそれぞれ相違する撮影条件で撮影するとともに、空間的に同一の領域を切り出した2つの対向面画像を有し、前記移動体の速度ベクトルを、前記2つの対向面画像に対応する2つのモーションブラーの向きと大きさの逆数の差と、前記2つの対向面画像に対応する2つの露光時間の差とに基づいて求める。
図1〜図7を参照して、状態計測装置の第1の実施形態について説明する。本実施形態の状態計測装置は、移動体に用いられる状態計測装置である。本実施形態の移動体は、自動車等の車両10である。
また、GPS車速算出部31は、GPS信号に基づいて車速を計測する。本実施形態では、高精度に車速が計測される構成の一例として、GPS車速算出部31は、GPS衛星から出力されている搬送波のドップラー効果から車速を求める。
画像車速算出部32は、路面100の撮影画像に基づいて車速を計測する。路面100の撮影画像に基づいて算出された車速を画像車速とする。さらに詳述すると、画像車速算出部32は、観測位置のトラッキングに基づき計測される車速である複画像車速を算出するトラッキング部としての複画像車速算出部322と、撮影画像のモーションブラーに基づいて計測される車速である単画像車速を算出する計測部としての単画像車速算出部321とを備える。トラッキングは、撮影タイミングの相違する2つの画像において同一位置を検出することであり、撮影タイミングの間に移動した移動量を取得可能にする。モーションブラーは、いわゆる画像に生じたぶれであり、画像上の所定の位置が、露光開始タイミングから露光終了タイミングまでの間に画像上に移動軌跡として写ったものである。
単画像車速算出部321は、所定の露光時間で撮影された1つの画像に含まれるモーションブラーの大きさに基づいて単画像車速を計測する。
なお、画像車速算出部32の複画像車速算出部322による車速計測では、2枚の第1カメラ画像の両方に同一の観測領域が含まれる必要がある。車速が低ければ、両方に含まれる同一領域は多くなり、逆に、車速が高ければ、両方に含まれる同一領域が少なくなる。また、撮影間隔は、カメラ性能や処理能力の制約により最短間隔が定まる。よって、車速が高くなることで2つの第1カメラ画像P11,P12での重複範囲が減少し、車速の計測精度が低下するおそれがある。仮に、重複範囲がなくなる程度に車速が高くなると車速を計測することができなくなる。
そこで、図1及び図4〜図8を参照して、車載制御装置25が画像車速算出部32の単画像車速算出部321で単画像車速を計測する態様について説明する。
時間領域の画像データを周波数領域で表現するには、離散的フーリエ変換(DFT:Discrete Fourier Transform)、あるいは高速フーリエ変換(FFT:Fast Fourier Transform)を用いて演算することになる。2次元データに対するFFTは、いわゆる2次元FFT処理であって、2次元信号を、(x,y)空間から(u,v)空間へ変換するアルゴリズムで、式(2)で表される。
手順2:点群に対して2×2の分散共分散行列Σを計算
手順3:分散共分散行列Σの固有値を算出
手順4:2つの固有値から長径と短径の大きさを算出
手順5:短径に対応する固有値から分散共分散行列Σの固有ベクトルを算出
あるいは、楕円形の長径及び短径は、手順1〜5に代えて以下の代替手段で得られる。
なお、手順1では、3次元情報となる2次元FFTの結果を、2次元点群情報へ変換することで楕円形状を取得しやすいようにしている。手順4では、例えば、固有値の逆数の平方根を2倍して長径と短径の大きさを得るようにしてもよい。
図7を参照して、状態計測装置1における車速計測の動作について説明する。状態計測装置1は、車速の計測を、車両10のエンジンが始動されたことや、状態計測装置1のスタートボタンが押されたこと等で計測可能になると開始し、状態計測装置1のストップボタンが押されたことや、車両10のエンジンが停止されたこと等、計測不可能な状態になることで終了する。ここでは、説明の便宜上、車載制御装置25は、単画像車速算出部321の計測した「画像車速」のみを選択するものとする。車載制御装置25は、単画像車速算出部321で「画像車速」を一定周期で算出するとともに、算出された「画像車速」は常に取得可能であるものとする。よって、複画像車速算出部322が計測する「画像車速」、及び、「GPS車速」についての説明は割愛する。
画像車速算出部32は、2次元FFT処理して得られた第1カメラ画像P11の空間周波数スペクトルについて楕円形状決定を行う(ステップS15)。楕円形状決定には、分散共分散行列の主軸問題を解く処理が含まれ、低周波数成分の点群分布領域を楕円形とみなしたときの長径と短径、及び短径の方向が得られる。
(1)所定の撮影タイミングで路面100を撮影した1つの第1カメラ画像に生じるモーションブラーに基づいて車両10の路面100に対する相対速度ベクトルを計測できる。1つの第1カメラ画像から相対速度ベクトルを計測できることから、撮影タイミングの相違する複数の第1カメラ画像を要する場合に比べて、撮影の制約が少なくなり撮影が容易になる。つまり、構造が簡単である安価なカメラで実現可能な撮影条件での計測上限の拡張が可能になる。
(5)速度と移動方向が、低周波数成分の抽出領域にフィッティングされた楕円に基づいて算出される。
(7)車両10と路面100との間の距離を計測するので、モーションブラーが示す変位量に対応する、画素当たりの長さ換算値s[mm/画素]が得られる。
以下、図8及び図9を参照して、状態計測装置の第2の実施形態について説明する。この実施形態の状態計測装置は、低周波数成分の分布領域をフィッティングした楕円形の長径及び短径の「比」に基づいてシャッター速度を設定する機能を有する点が上記第1の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明する。また、説明の便宜上、同様の構成については同じ符号を付し、説明を割愛する。
(車速計測の動作)
図9を参照して、状態計測装置1における車速計測の動作について説明する。
(9)モーションブラーが大きくなったとき、パラメータ設定部33によってモーションブラーが小さくなるように露光時間が調整され、2次元FFT処理によって検知できる範囲にモーションブラーの大きさが抑えられる。逆に、モーションブラーが小さくなったとき、パラメータ設定部33によってモーションブラーが大きくなるように露光時間が調整され、周波数成分の分布において一定強度を超える点群楕円領域の短径と長径との比が適切な大きさに調整される。これらのことから、モーションブラーの大小が大きく変化したとしても、速度の計測精度の低下が抑制されるとともに、計測速度限界を適切に制御することができる。
状態計測装置の第3の実施形態について説明する。この実施形態の状態計測装置は、撮影条件が相違する第1カメラ画像P11と、第2カメラ画像とに基づいて速度を測定する点が上記第1の実施形態と相違する。
モーションブラーから速度を求める基本原理は、周波数成分の分布において一定強度を超える点群楕円領域の「長径の逆数−短径の逆数」をピクセル値に変換して得ることである。そこで、上述のようにゼロ速度の特性がわかっているのであれば、「短径(2msのとき)の逆数−短径(0msのとき)の逆数」で算出した値に、二値化した閾値に応じたスケール係数をかけたピクセル値に基づいて速度を算出することができる。
(10)同じタイミングで撮影を開始した第1カメラ画像P11と第2カメラ画像とに基づいて速度を算出するので、路面模様に特別な特性(例えば、白線)があったとしても特別な特性も相殺されるので速度を適切に求めることができる。
なお上記実施形態は、以下の態様で実施することもできる。
・車載制御装置25は、信号処理部30や、切替部35や、出力部40の処理を実行するプログラムを有するパーソナルコンピュータ(PC)等であってもよい。
・上記各実施形態では、第1カメラ22及び第2カメラ23が記憶部にパラメータ22G,23Gを保持している場合を示した。これに限らず、車載制御装置からの信号操作が可能ならば、カメラにパラメータを保持する記憶部が備えられていなくてもよい。この場合、パラメータは車載制御装置に保持される。
・上記第1の実施形態等に対して、シャッター速度を設定する機能を設けてもよい。これにより、単画像車速算出部321が画像速度を計測することのできる速度範囲の拡大が図られるとともに、低周波数成分のある閾値を超える点群が分布する楕円形の領域の長径の逆数と短径の逆数との差の分解能が高まり、速度を高い精度で計測できる。
(イ)前記モーションブラーの大きさは、前記低周波数領域の周波数成分を二値化した点群分布に対する分散共分散行列の主成分分析により得られた直交する主成分から求められる請求項1に記載の状態計測装置。
(ロ)前記計測部は、前記複数のカメラがそれぞれ相違する撮影条件で撮影した複数の対向面画像を有し、前記移動体の速度を、前記複数の対向画像がそれぞれ有しているモーションブラー毎の大きさの逆数の差と、前記撮影条件としての露光時間の差とに基づいて求められる請求項11に記載の状態計測装置。
Claims (13)
- 撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、
前記移動体に固定されて、前記移動体が相対移動する対向面を撮影する1つの撮影部を有する対向面撮影部と、
前記1つの撮影部が前記対向面を撮影するときの露光時間を記憶する記憶部と、
前記1つの撮影部が前記露光時間を撮影条件に含んで撮影した前記対向面の画像である対向面画像の有しているモーションブラーから前記移動体の移動方向及び大きさ、及び前記露光時間に基づいて前記移動体の速度ベクトルを計測する計測部とを備える
状態計測装置。 - 前記計測部は、前記対向面画像の前記モーションブラーの方向と大きさとを、前記対向面画像の空間に対する2次元FFT処理で得られる周波数成分の分布に基づいて求める
請求項1に記載の状態計測装置。 - 前記計測部は、前記速度ベクトルを、前記周波数成分の分布から得られた一定強度を超える点群の集まる抽出領域の最小幅をとる方向を前記移動方向とし、前記一定強度を超える抽出領域の前記移動方向に対する長さの逆数と、前記一定強度を超える抽出領域の前記移動方向と直交する方向に対する長さの逆数との間の差に基づいて計測する
請求項2に記載の状態計測装置。 - 前記モーションブラーの方向は、前記抽出領域に対しモデルフィッティングして得られた楕円の短径の方向から求められ、前記モーションブラーの大きさは、前記楕円の短径の逆数と長径の逆数との差から求められる
請求項3に記載の状態計測装置。 - 前記計測部は、前記楕円の短径の方向、及び短径の逆数と長径の逆数との間の差から前記速度ベクトルを取得し、この取得した前記速度ベクトルの大きさから速度を算出し、該速度ベクトルの向きから移動方向を算出する
請求項4に記載の状態計測装置。 - 前記計測部は、前記2次元FFT処理に先立ち、前記対向面画像を画素数が2のべき乗となるようにトリミング及びビニングの少なくとも一方の加工をしてから、この加工した前記対向面画像を前記2次元FFT処理する
請求項2〜5のいずれか一項に記載の状態計測装置。 - 前記移動方向に対する大きさと、前記楕円の短径と長径との間の比が所定の範囲を超えることに応じて露光時間を調整する調整部をさらに備える
請求項4又は5に記載の状態計測装置。 - 前記計測部は、前記対向面画像の全体を前記2次元FFT処理する第1のモードと、前記対向面画像の一部を前記2次元FFT処理する第2のモードとを備え、所定の条件に応じて前記第1のモードと前記第2のモードとを切り替える
請求項2〜6のいずれか一項に記載の状態計測装置。 - 前記モーションブラーが示す変位量は、前記撮影部から前記対向面までの距離を考慮して算出される
請求項1〜8のいずれか一項に記載の状態計測装置。 - 前記対向面撮影部は、複数のカメラを有し、
前記1つの撮影部は、前記対向面撮影部を構成するカメラのうちの1つのカメラである
請求項1〜9のいずれか一項に記載の状態計測装置。 - 前記計測部は、前記複数のカメラがそれぞれ相違する撮影条件で撮影した複数の前記対向面画像のうちから、速度ベクトルの計測に適した対向面画像を選択して速度ベクトルを計測する
請求項10に記載の状態計測装置。 - 前記計測部は、前記複数のカメラのうちの一方のカメラの撮影タイミングが他方のカメラの撮影タイミングに含まれることを条件にそれぞれ相違する撮影条件で撮影するとともに、空間的に同一の領域を切り出した2つの対向面画像を有し、前記移動体の速度ベクトルを、前記2つの対向面画像に対応する2つのモーションブラーの向きと大きさの逆数の差と、前記2つの対向面画像に対応する2つの露光時間の差とに基づいて求める
請求項10又は11に記載の状態計測装置。 - 前記対向面画像の所定の観測点をトラッキングすることで速度ベクトルを計測するトラッキング部をさらに備え、
前記計測部は、前記トラッキング部による速度ベクトルの計測限度を超える速度領域において、前記トラッキング部に代わって前記移動体の速度ベクトルを計測する
請求項1〜12のいずれか一項に記載の状態計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116990A JP7182520B2 (ja) | 2019-06-25 | 2019-06-25 | 状態計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116990A JP7182520B2 (ja) | 2019-06-25 | 2019-06-25 | 状態計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021004729A true JP2021004729A (ja) | 2021-01-14 |
JP7182520B2 JP7182520B2 (ja) | 2022-12-02 |
Family
ID=74097666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019116990A Active JP7182520B2 (ja) | 2019-06-25 | 2019-06-25 | 状態計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7182520B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023102585A1 (de) * | 2021-12-06 | 2023-06-15 | Avl List Gmbh | Verfahren zur bestimmung der geschwindigkeit und/oder bewegungsrichtung eines fahrzeugs |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1888913A (zh) * | 2006-07-27 | 2007-01-03 | 上海交通大学 | 基于转动模糊图像的转速测量方法 |
JP2007195141A (ja) * | 2005-12-20 | 2007-08-02 | Nissan Motor Co Ltd | 画像速度算出装置及び画像速度算出方法 |
JP2007278951A (ja) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | 車体挙動測定装置 |
WO2017090458A1 (ja) * | 2015-11-26 | 2017-06-01 | ソニー株式会社 | 撮影装置、および撮影方法、並びにプログラム |
-
2019
- 2019-06-25 JP JP2019116990A patent/JP7182520B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195141A (ja) * | 2005-12-20 | 2007-08-02 | Nissan Motor Co Ltd | 画像速度算出装置及び画像速度算出方法 |
JP2007278951A (ja) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | 車体挙動測定装置 |
CN1888913A (zh) * | 2006-07-27 | 2007-01-03 | 上海交通大学 | 基于转动模糊图像的转速测量方法 |
WO2017090458A1 (ja) * | 2015-11-26 | 2017-06-01 | ソニー株式会社 | 撮影装置、および撮影方法、並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023102585A1 (de) * | 2021-12-06 | 2023-06-15 | Avl List Gmbh | Verfahren zur bestimmung der geschwindigkeit und/oder bewegungsrichtung eines fahrzeugs |
Also Published As
Publication number | Publication date |
---|---|
JP7182520B2 (ja) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2529594C1 (ru) | Устройство калибровки, система измерения расстояния, способ калибровки и программа калибровки | |
CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
JP4918676B2 (ja) | 校正装置および校正方法 | |
EP2491340B1 (en) | Ranging camera apparatus | |
JP4926127B2 (ja) | 移動体搭載用前方撮像制御装置 | |
US20130322697A1 (en) | Speed Calculation of a Moving Object based on Image Data | |
JP3850541B2 (ja) | 高度計測装置 | |
CN112419385B (zh) | 一种3d深度信息估计方法、装置及计算机设备 | |
WO2018227576A1 (zh) | 地面形态检测方法及系统、无人机降落方法和无人机 | |
JP2020528134A (ja) | 自然光景中での統合センサの較正 | |
NL2004996C2 (nl) | Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto. | |
JP5844454B2 (ja) | カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置 | |
JP2010537331A (ja) | ビデオ画像のオンライン較正方法およびシステム | |
JP6251142B2 (ja) | 測定対象物の非接触検知方法及びその装置 | |
JP6712775B2 (ja) | 路面推定装置、車両制御装置、路面推定方法、およびプログラム | |
JP2008298533A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP6881917B2 (ja) | 距離計測装置、撮像制御装置 | |
JP2007318460A (ja) | 車両上方視点画像表示装置 | |
JP2005091298A (ja) | 画像処理を用いたグローバル座標取得装置 | |
JP7182520B2 (ja) | 状態計測装置 | |
KR101409802B1 (ko) | 3차원 3d 스캐너를 활용한 최적의 공간정보 분석 시스템 | |
JP3501841B2 (ja) | 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法 | |
JP7213158B2 (ja) | 状態計測装置及び状態計測方法 | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
WO2023026517A1 (ja) | 物体距離検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7182520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |