JP2021092996A - 計測システム、車両、計測方法、計測装置及び計測プログラム - Google Patents

Abstract

【課題】対象物の突然の出現等にも対応することができる、周囲の対象物の計測システム、車両、計測方法、計測装置及び計測プログラムを提供する。【解決手段】計測システムは、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含む対象物の画像を１００ｆｐｓ以上で撮像する撮像装置２と、第１の画像において対象物に係る特徴点である第１の特徴点を複数抽出するとともに、そのオプティカルフローを演算し、第２の画像において前記対象物に係る特徴点である第２の特徴点を複数抽出し、第１の特徴点の第２の画像における推定移動先をオプティカルフローに基づいて算出するとともに、これらの推定移動先と第２の特徴点とを比較することで、特徴点の新たな出現又は消滅を含む特徴点情報を算出し、特徴点情報に基づいて、対象物の移動に関する物理量を計測する情報処理装置３とを備える。【選択図】図１

Description

本発明は、計測システム、車両、計測方法、計測装置及び計測プログラムに関する。

産業界において、自動車や移動ロボット等を周囲の対象物（障害物又は移動体）と衝突しないように制御することが求められている。そのために、周囲の対象物の変位・速度・加速度といった物理量の計測が求められている。特許文献１には、対象物の速度を計測可能な物体速度算出装置が開示されている。

特開２０１９−５３０１１号公報

ところで、例えば自動車の隊列走行を考慮すると、衝突回避を担保しつつ車間距離を詰めて走行することができれば経済的なメリットが大きい。しかしながら、特許文献１に記載される装置では、前方等特定方向に位置する対象物の速度（物理量）を計測することはできるが、システムの応答性から側方からの突然の割り込み等には対処できない。また、ドローン等の３次元に移動可能な移動体を周囲の対象物と衝突回避を担保しつつ制御する場合等でも、任意の位置からの突然の出現等に対処できないと考えられる。

本発明は、かかる事情を鑑みてなされたものであり、対象物の突然の出現等にも対応することができる、周囲の対象物の計測システム、車両、計測方法、計測装置及び計測プログラムを提供することを目的とする。

本発明の一態様によれば、対象物を計測する計測システムであって、撮像装置と、情報処理装置とを備え、前記撮像装置は、画角に含まれる前記対象物の画像を１００ｆｐｓ以上で撮像可能に構成され、ここで前記画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含み、前記情報処理装置は、受付部と、特徴点抽出部と、特徴点情報算出部と、計測部とを備え、前記受付部は、前記撮像装置によって撮像された前記画像を受け付けるように構成され、前記特徴点抽出部は、前記第１の画像において前記対象物に係る特徴点である第１の特徴点を複数抽出するとともに、そのオプティカルフローを演算するように構成され、続いて、前記第２の画像において前記対象物に係る特徴点である第２の特徴点を複数抽出するように構成され、前記特徴点情報算出部は、前記第１の特徴点の前記第２の画像における推定移動先を前記オプティカルフローに基づいて算出するとともに、これらの推定移動先と前記第２の特徴点とを比較することで、前記特徴点の新たな出現又は消滅を含む特徴点情報を算出するように構成され、前記計測部は、前記特徴点情報に基づいて、前記対象物の移動に関する物理量を計測するように構成されるものが提供される。

かかる計測システムによれば、対象物の突然の出現等も含めて周囲の対象物の物理量を高速に計測することができる、という有利な効果を奏する。

計測システム１の全体構成を示す概要図である。 情報処理装置３のハードウェア構成を示すブロック図である。 第１の実施形態に係る情報処理装置３（制御部３３）の機能構成を示すブロック図である。 左画像ＩＭａ及び右画像ＩＭｂにおいて設定された矩形領域Ｒａ，Ｒｂを示す概要図である。 矩形領域Ｒａ，Ｒｂにおける対象物の特徴点の対応を示す概要図である。 特徴点がクラスタリングされ、各クラスタＣに分類された態様を示している。 第１の特徴点Ｆ１のオプティカルフローＯＦを示す概要図である。 推定移動先ＥＰ（図８Ａ）と、第２の特徴点Ｆ２（図８Ｂ）とを比較した概要図である。 逆透視投影変換の概要図である。 ＩＰＭ変換部３３１による処理の流れを示す概要図である。 計測方法の流れを示すアクティビティ図である。 割り込み判断に関する概要図である。 割り込み判断に関する概要図である。 第２の実施形態に係る情報処理装置３（制御部３３）の機能構成を示すブロック図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

また、実施形態中に登場するプログラムは、サーバからダウンロード可能な態様であってもよいし、不揮発性又は揮発性の記憶媒体に記憶させて、このようなプログラムが頒布されてもよい。

１．ハードウェア構成（第１の実施形態）
本節では、第１の実施形態に係る計測システム１のハードウェア構成について説明する。

１．１ 計測システム１
図１は、計測システム１の全体構成を示す概要図である。対象物を計測する計測システム１は、撮像装置２と、情報処理装置３とを備え、これらが電気的に接続されたシステムである。計測システム１は、移動体に設置して使用することが好ましい。移動体とは、例えば、自動車、列車（公共交通機関だけでなく遊戯用等も含む）、船舶、移動型ロボット、ヒト、動物等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム１が搭載された自動車を「本自動車」と定義する。すなわち、計測システム１は、車両に載置されたもの（車両が計測システム１を備える）で、対象物が車両に対する障害物又は他の車両である。

１．２ 撮像装置２
撮像装置２は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称する撮像レートが高いものが採用されることが好ましい。すなわち、撮像装置２は、画角に含まれる対象物の画像（左画像ＩＭａ，右画像ＩＭｂ）を１００ｆｐｓ以上で撮像可能に構成される。

撮像レートは、具体的には例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００ｆｐｓ（ヘルツ）であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。

撮像装置２は、左カメラ２ａ及び右カメラ２ｂからなる、いわゆる２眼の撮像装置である。また、左カメラ２ａの画角及び右カメラ２ｂの画角は、互いに重複する領域があることに留意されたい。また、撮像装置２において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係る計測システム１を用いた計測を実施することができる、という有利な効果を奏する。

（左カメラ２ａ）
左カメラ２ａは、計測システム１において、右カメラ２ｂと並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、左カメラ２ａの画角に、本自動車の前方に延在する路面又は前方に位置する障害物（例えば、前方車両、歩行者、動物等）がとらえられる。また、左カメラ２ａは、後述の情報処理装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を情報処理装置３に転送可能に構成される。

（右カメラ２ｂ）
右カメラ２ｂは、計測システム１において、左カメラ２ａと並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、右カメラ２ｂの画角に、本自動車の前方に延在する路面又は前方に位置する前方車両（すなわち障害物）がとらえられる。また、右カメラ２ｂは、後述の情報処理装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を情報処理装置３に転送可能に構成される。

換言すると、左カメラ２ａ及び右カメラ２ｂの画角に含まれる対象物を、左画像ＩＭａ及び右画像ＩＭｂとして時系列に撮像可能に構成される。

１．３ 情報処理装置３
図２は、情報処理装置３のハードウェア構成を示すブロック図である。図２に示されるように、情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。

（通信部３１）
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置２における左カメラ２ａ及び右カメラ２ｂとは、所定の高速通信規格（例えば、ＵＳＢ３．０やカメラリンク等）において通信することで、画像を受信可能に構成されることが好ましい。また、計測システム１が計測する対象物の物理量や本自動車の速度等の計測結果を表示するためのモニター（不図示）や、計測結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置（不図示）が接続されてもよい。

（記憶部３２）
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。

特に、記憶部３２は、撮像装置２における左カメラ２ａ及び右カメラ２ｂによって撮像され、且つ通信部３１が受信した左画像ＩＭａ及び右画像ＩＭｂを記憶する。記憶部３２は、左画像ＩＭａより変換された左ＩＰＭ画像ＩＭ’ａ及び右画像ＩＭｂより変換された右ＩＰＭ画像ＩＭ’ｂを記憶する。ここで、画像やＩＰＭ画像は、例えばＲＧＢ各８ビットのピクセル情報を具備する配列情報である。

また、記憶部３２は、次に説明する制御部３３が読み出し可能な、受付プログラムと、ＩＰＭ変換プログラムと、矩形領域設定プログラムと、特徴点抽出プログラムと、計測プログラムとを記憶している。

（制御部３３）
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的には受付機能と、ＩＰＭ変換機能と、矩形領域設定機能と、特徴点抽出機能と、特徴点情報算出機能と、計測機能とが該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、図３に示されるように、受付部３３０、ＩＰＭ変換部３３１、矩形領域設定部３３２、特徴点抽出部３３３、特徴点情報算出部３３４、及び計測部３３５として実行されうる。これらについては、第２節において詳述する。

なお、図２においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。

２．機能構成
本節では、本実施形態の機能構成について説明する。図３は、情報処理装置３（制御部３３）の機能構成を示すブロック図である。前述の制御部３３に関して、情報処理装置３は、受付部３３０と、ＩＰＭ変換部３３１と、矩形領域設定部３３２と、特徴点抽出部３３３と、特徴点情報算出部３３４と、計測部３３５とを備える。以下、各構成要素についてさらに説明する。

（受付部３３０）
受付部３３０は、撮像装置２によって撮像された画像を受け付けるように構成される。具体的には、受付部３３０は、通信部３１を介して左画像ＩＭａ及び右画像ＩＭｂを受信し、これらを記憶部３２に記憶させる。

（ＩＰＭ変換部３３１）
ＩＰＭ変換部３３１は、受付部３３０が受け付けた画像を逆透視投影変換してＩＰＭ画像（左ＩＰＭ画像ＩＭ’ａ，右ＩＰＭ画像ＩＭ’ｂ）を生成するように構成される。ここでＩＰＭ画像とは、対象物を含む所定平面を俯瞰するように描画された画像である。換言すると、左画像ＩＭａを逆透視投影変換することによって、左ＩＰＭ画像ＩＭ’ａが生成され、右画像ＩＭｂを逆透視投影変換することによって、右ＩＰＭ画像ＩＭ’ｂが生成される。また、ＩＰＭ変換部３３１は、左ＩＰＭ画像ＩＭ’ａ及び右ＩＰＭ画像ＩＭ’ｂに基づいて、対象物の相対的位置を大略的に把握することができる。これらについては、第３節において補足する。

（矩形領域設定部３３２）
図４は、左画像ＩＭａ及び右画像ＩＭｂにおいて設定された矩形領域Ｒａ，Ｒｂを示す概要図である。このように、矩形領域設定部３３２は、画像中において、対象物の少なくとも一部を包含する矩形領域を設定するように構成される。より詳細には、矩形領域設定部３３２は、左ＩＰＭ画像ＩＭ’ａ及び右ＩＰＭ画像ＩＭ’ｂに基づいて矩形領域Ｒａ，Ｒｂを設定するように構成される。このように矩形領域を設定することによって、画像全体で画像処理を施す場合に比べて、計算コストを削減することができる。また、範囲を限定しているため、次の特徴点抽出部３３３による各特徴点の対応付けに際しても誤対応（図５におけるＮＧと記載された組合せ）が低減される。特に、本実施形態では、撮像装置２の撮像レートが高いことから、１フレームあたりの対象物の移動距離が小さく、このような手法が極めて有効に機能する。

（特徴点抽出部３３３）
図５は、矩形領域Ｒａ，Ｒｂにおける対象物の特徴点の対応を示す概要図である。撮像装置２によって撮像された画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含む。特徴点抽出部３３３は、時刻ｔ−１の第１の画像において対象物に係る特徴点である第１の特徴点Ｆ１を複数抽出する。特に、矩形領域設定部３３２が矩形領域Ｒａ，Ｒｂを設定しているため、特徴点抽出部３３３は、矩形領域Ｒａ，Ｒｂの範囲で特徴点を抽出するように構成されるとよい。そして、矩形領域Ｒａにおける各特徴点と、矩形領域Ｒｂにおける各特徴点との対応付けが行われる。このとき、計算コストを考慮して、所定の幾何的な条件を考慮して誤対応（図５におけるＮＧと記載された組合せ）を除外するように実施することが好ましい。

図６は、特徴点がクラスタリングされ、各クラスタＣに分類された態様を示している。このように、特徴点は、クラスタＣに分類されたものであることが好ましい。クラスタリングの手法は、特に限定されず、例えば重心法が採用されうる。また、特徴点の数は多い方が好ましい。其の結果、統計的な処理が可能となり、精度向上に寄与すると解する。

また、特徴点抽出部３３３は、抽出した第１の特徴点Ｆ１のオプティカルフローＯＦを演算するように構成される。図７は、第１の特徴点Ｆ１のオプティカルフローＯＦを示す概要図である。ここでは、第１の特徴点Ｆ１ａ，Ｆ１ｂ，Ｆ１ｃ，Ｆ１ｄの４つの特徴点が例示されている。これらの特徴点は、クラスタＣに分類されたものから任意に選んだ一点であるとする。そして、オプティカルフローＯＦａ，ＯＦｂ，ＯＦｃ，ＯＦｄが演算されている。ここで、第１の特徴点Ｆ１のオプティカルフローＯＦとは、時刻ｔ−１における第１の特徴点Ｆ１を始点とし、時刻ｔにおいて第１の特徴点Ｆ１と比較して所定の条件を満たす点（推定移動先ＥＰ）を終点としたベクトルである。オプティカルフローＯＦは、画像中における対象物の動きを表す指標として一般的に用いられる。特に、Ｌｕｃａｓ Ｋａｎａｄｅ法によって計算コストを抑えて演算することが可能である。

そして、特徴点抽出部３３３は、前述の時刻ｔ−１の第１の画像と同様に、時刻ｔの第２の画像において対象物に係る特徴点である第２の特徴点Ｆ２を複数抽出するように構成される。

（特徴点情報算出部３３４）
特徴点情報算出部３３４は、第１の特徴点Ｆ１の第２の画像における推定移動先ＥＰをオプティカルフローＯＦに基づいて算出する。つまり、第１の特徴点Ｆ１に係る位置ベクトルに、オプティカルフローＯＦ（ベクトル）を足し合わせることによって、推定移動先ＥＰに係る位置ベクトルが求められる。ここでは、第１の特徴点Ｆ１ａ，Ｆ１ｂ，Ｆ１ｃ，Ｆ１ｄの推定移動先ＥＰａ，ＥＰｂ，ＥＰｃ，ＥＰｄがオプティカルフローＯＦａ，ＯＦｂ，ＯＦｃ，ＯＦｄによって求められている。

図８は、推定移動先ＥＰ（図８Ａ）と、第２の特徴点Ｆ２（図８Ｂ）とを比較した概要図である。特徴点情報算出部３３４は、これらの推定移動先ＥＰと、特徴点抽出部３３３によって抽出された第２の特徴点Ｆ２とを比較することで、特徴点の新たな出現又は消滅を含む特徴点情報を算出するように構成される。より具体的には、推定移動先ＥＰと第２の特徴点Ｆ２との距離を計算し、既定値以下に収まるもとを対応付けて、これに当てはまらないものがあれば、新たな特徴点の出現又は特徴点の消滅とみなすことができる。例えば、図８Ａにおける推定移動先ＥＰｄに対応する第２の特徴点Ｆ２が図８Ｂにおいて存在しないことから、推定移動先ＥＰｄの元となる第１の特徴点Ｆ１ｄが消滅したと解する。一方、図８Ｂにおける第２の特徴点Ｆ２ｅは、これに対応する推定移動先ＥＰが存在しないことから、新たに出現したものであると解する。

本自動車という立場で考えれば、新たな特徴点の出現は、本自動車と前方車両との間に側方からの新たな車両が割り込んで（例えば車線変更）、その側面が見え始めていることを意味すると解する。特徴点の消滅は、前方車両が側方に車線変更しようとしていることを意味すると解する。このような状況に際して、高い推定精度を実現することができる。なお、図８Ａ及び図８Ｂでは、ある１点の出現とある１点の消滅の例が示されているが、実際には、クラスタＣに含まれる特徴点の数は複数である。特に、対象物を各々認識させて、同一対象物中における特徴点のクラスタリングにおいて、あるクラスタＣに含まれる特徴点の数が閾値よりも小さい場合は、アウトライアと判断してそのクラスタＣを除去することが好ましい。このような構成によって、対象物が突然出現した場合でも、これを素早く認識することができるという有利な効果を奏する。

なお、前述の通り、第１の特徴点Ｆ１は、各クラスタＣの代表点であることから、特徴点情報は、クラスタＣの新たな出現又は消滅を含む情報であるともいえる。

（計測部３３５）
計測部３３５は、特徴点情報算出部３３４によって算出された特徴点情報に基づいて、対象物の移動に関する物理量を計測するように構成される。すなわち、こうして得られたフレーム間の２つの点群（第１の特徴点Ｆ１及び第２の特徴点Ｆ２）から、対象物のダイナミクス変化を捉える。つまり、オプティカルフローＯＦにより得られた点の移動を表す変換行列を繰り返し演算による最適化により求めることが好ましい。ところで、計測システム１によって直接計測される対象物の物理量は、本自動車に対する相対的なものであるから、本自動車の物理量（速度等）を別途計測することで、対象物の絶対的な物理量を計測するように実施してもよい。このような事情を鑑みると、ここでの物理量は、対象物までの距離と、対象物の奥行き方向の変位と、対象物の横方向の変位と、対象物の速度と、対象物の姿勢とのうち少なくとも１つを含む。なお、外れ値等を除外してより正確に物理量を計測するために、計測部３３５は、フィルタを用いて、物理量を推定的に計測するように構成されることが好ましい。このフィルタは、例えば、カルマンフィルタやベイズフィルタ等、制御系の状態空間を推定するものであれば特に限定されるものではない。

物理量を速度とするならば、本自動車から見て、自身の絶対速度と、その周辺に位置する対象物の相対速度及び絶対速度とを高い時間分解能で且つ高い精度で把握することで、今後の自動運転技術等の発展に大きく貢献すると期待される。特に、車線変更等に伴う新たな車両の出現や消滅をも素早く認識することができるため、衝突回避を担保しつつ車間距離を詰めた隊列走行をすることが可能となり、経済的な効果が大きいと考えられる。このように、車両及び移動体の姿勢、速度、加速度が計測できることから、図１２及び図１３に示されるような割り込み判断までできるようになる。

３．逆透視投影変換
本節では、逆透視投影変換について説明する。図９は、逆透視投影変換の概要図である。図１０は、ＩＰＭ変換部３３１による処理の流れを示す概要図である。ここではモデルとして、ピンホールカメラを仮定するとともに、カメラのピッチ角のみを考慮して表式化していることにも留意されたい。もちろん、魚眼カメラやオムニディレクショナルカメラを仮定してもよいし、ロール角を考慮して表式化してもよい。図２に示されるように、世界座標系Ｏ＿Ｗで表された点（Ｘ＿Ｗ、Ｙ＿Ｗ，Ｚ＿Ｗ）をカメラ画像平面π＿Ｃに投影したときの点（ｘ，ｙ）は［数１］のように表される。

ただし、Ｋはカメラ（左カメラ２ａ及び右カメラ２ｂ）の内部行列、Πはカメラ座標系Ｏ＿Ｃからカメラ画像平面π＿Ｃへの射影行列、Ｒ∈ＳＯ（３）及びＴ∈Ｒ＾３は、世界座標系Ｏ＿Ｗからカメラ座標系Ｏ＿Ｃへの回転行列、及び並進ベクトルをそれぞれ表す。

いま、左カメラ２ａ及び右カメラ２ｂに写っている対象物がある平面π上にのみ存在する場合を考える。このとき、画像平面上の点とπ上の点の間には１対１対応があるため、画像平面からπへの１対１の写像を考えることができる。この写像を逆透視投影（Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ）という。Ｒ、Ｔがそれぞれ、

と表されるとき、画像上の点（ｘ，ｙ）の逆透視投影像であるπ上の点（Ｘ＿Ｗ，Ｙ＿Ｗ，Ｚ＿Ｗ）は、（ｘ，ｙ）を用いて、［数３］のように計算される。

ここで、ｆ＿ｘ、ｆ＿ｙはそれぞれｘ、ｙ方向の焦点距離、（ｏ＿ｘ，ｏ＿ｙ）は光学中心である。本実施形態では、この写像によって、撮像装置２によって撮像された画像を射影した画像をＩＰＭ画像と呼ぶ。２台のカメラ（左カメラ２ａ及び右カメラ２ｂ）が同じ平面を撮像している場合、計算されるＩＰＭ画像の対（左ＩＰＭ画像ＩＭ’ａ及び右ＩＰＭ画像ＩＭ’ｂ）で、平面上のある１点に対応する画素の輝度値は同一となる。しかし、平面上にない対象物が視野内に存在する場合、ＩＰＭ画像の対に輝度の差が生じる。この差（差分Ｄ）を検出することにより、視野内に存在する前方車両等の対象物を検知することができる。この手法は、平面のテクスチャに対してロバストであるため、影が写り込んでいるような単眼カメラが不得意とする状況でも、対象物を正確に検知することができる。

これらの流れが図１０に示されている。まず、左カメラ２ａによる左画像ＩＭａと、右カメラ２ｂによる右画像ＩＭｂとが撮像される。続いて、左画像ＩＭａを変換して得られた左ＩＰＭ画像ＩＭ’ａと、右画像ＩＭｂを変換して得られた右ＩＰＭ画像ＩＭ’ｂとが生成される。さらに、左ＩＰＭ画像ＩＭ’ａ及び右ＩＰＭ画像ＩＭ’ｂの差分Ｄ（所定のしきい値をもって２値化したもの）が得られる。差分Ｄにおいて、対象物のエッジ部分が白色のピクセルとして検出される。このようにして、対象物の位置を大略的に把握し、これに基づいて、矩形領域設定部３３２が適切な矩形領域Ｒａ，Ｒｂを設定することとなる。

４．計測方法
本節では、対象物を計測する計測方法について詳述する。対象物を計測する計測方法は、撮像ステップと、受付ステップと、特徴点抽出ステップと、特徴点情報産出ステップと、計測ステップとを備える。撮像ステップでは、画角に含まれる対象物の画像を１００ｆｐｓ以上で撮像する。ここで画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含む。受付ステップでは、撮像ステップで撮像された画像を受け付ける。特徴点抽出ステップでは、第１の画像において対象物に係る特徴点である複数の第１の特徴点Ｆ１を抽出するとともに、そのオプティカルフローＯＦを演算する。続いて、第２の画像において対象物に係る特徴点である複数の第２の特徴点Ｆ２を抽出する。特徴点情報算出ステップでは、第１の特徴点Ｆ１の第２の画像における推定移動先ＥＰをオプティカルフローＯＦに基づいて算出するとともに、これらの推定移動先ＥＰと第２の特徴点Ｆ２とを比較することで、特徴点の新たな出現又は消滅を含む特徴点情報を算出す。計測ステップでは、特徴点情報に基づいて、対象物の移動に関する物理量を計測する。

図１１は、計測方法の流れを示すアクティビティ図である。以下、図１１における各アクティビティに沿ってこの計測方法を具体的に説明する。なお、図示の通り、アクティビティＡ１〜Ａ１０は、時系列で繰り返される。

［ここから］
（アクティビティＡ１）
撮像装置２（左カメラ２ａ及び右カメラ２ｂ）が対象物を１００ｆｐｓ以上の撮像レートで画像（左画像ＩＭａ及び右画像ＩＭｂ）として撮像する。

（アクティビティＡ２）
アクティビティＡ１に続いて、ＩＰＭ変換部３３１が画像に対して逆透視投影変換を行って、ＩＰＭ画像（左ＩＰＭ画像ＩＭ’ａ及び右ＩＰＭ画像ＩＭ’ｂ）を生成する。

（アクティビティＡ３）
アクティビティＡ２に続いて、ＩＰＭ変換部３３１が対象物の位置を大略的に把握する。

（アクティビティＡ４）
アクティビティＡ３に続いて、矩形領域設定部３３２がアクティビティＡ３で大略的に把握された対象物の位置に基づいて、左画像ＩＭａに矩形領域Ｒａを、右画像ＩＭｂに矩形領域Ｒｂをそれぞれ設定する。

（アクティビティＡ５）
アクティビティＡ４に続いて、特徴点抽出部３３３が矩形領域Ｒａ，Ｒｂにおいて複数の特徴点を抽出し、その位置の対応関係を把握する。

（アクティビティＡ６）
アクティビティＡ５に続いて、特徴点抽出部３３３が抽出した特徴点をクラスタリングする。各クラスタＣの代表点を第１の特徴点Ｆ１とする。

（アクティビティＡ７）
アクティビティＡ６に続いて、特徴点抽出部３３３が各クラスタＣにおける第１の特徴点Ｆ１に対するオプティカルフローＯＦを算出する。

（アクティビティＡ８）
アクティビティＡ７に続いて、特徴点抽出部３３３が第１の特徴点Ｆ１とオプティカルフローＯＦとに基づいて、第１の特徴点Ｆ１の推定移動先ＥＰを算出する。

（アクティビティＡ９）
アクティビティＡ８に続いて、特徴点情報算出部３３４が推定移動先ＥＰと第２の特徴点Ｆ２とを比較することで、特徴点の出現又は消滅に関する情報を含む特徴点情報を算出する。

（アクティビティＡ１０）
アクティビティＡ９に続いて、計測部３３５がアクティビティＡ９において算出された特徴点情報に基づいて、対象物の物理量を計測する。
［ここまで］

このような計測方法によれば、新たな対象物の出現や既存の対象物の状態変化等を素早く認識し、且つこれらの物理量を、オフラインに限らずリアルタイムにも計測することができるという有利な効果を奏する。

５．変形例
本節では、計測システム１の変形例について説明する。すなわち、次のような態様によって、本実施形態に係る計測システム１をさらに創意工夫してもよい。

（１）例えば計測システム１を搭載した本自動車であれば、計測された対象物の物理量に基づいて、一部又は全部について自動運転がなされてもよい。例えば、衝突を回避するためのブレーキ動作や、ハンドル動作が考えられうる。また、計測された対象物の認識状況を、本自動車の運転者が認知できるように、本自動車内に取り付けられたモニターに表示されるように実施してもよい。
（２）前述の実施形態では、左カメラ２ａ及び右カメラ２ｂからなる２眼の撮像装置２を用いているが、３つ以上のカメラを用いた３眼以上の撮像装置２を実施してもよい。この際、異なる種類のカメラ（例えば、可視光カメラ及び赤外線カメラ）を組み合わせて実施してもよい。カメラの個数を増やすことで、計測システム１による計測に係るロバスト性が向上するという、有利な効果を奏する。
（３）前述の実施形態では、時刻ｔ−１及び時刻ｔを用いて特徴点情報が算出されているが、これ以外の時刻も含めた複数時刻の画像を合わせて処理してもよい。処理する時系列の画像を増やすことで、さらなる精度向上が期待される。
（４）ＩＰＭ変換部３３１及び矩形領域設定部３３２に係る対象物の認識に関する処理と、特徴点抽出部３３３、特徴点情報算出部３３４及び計測部３３５に係る対象物のトラッキングに関する処理とを並列化することが好ましい。このような構成によれば、処理の高速化に寄与すると解する。
（５）撮像装置２及び情報処理装置３を、計測システム１としてではなく、これらの機能を有する１つの計測装置として実現してもよい。具体的には例えば、３次元計測装置、画像処理装置、投影表示装置、３次元シミュレータ装置等が挙げられる。かかる場合、対象物を計測する計測装置は、受付部３３０と、特徴点抽出部３３３と、特徴点情報算出部３３４と、計測部３３５とを備える。受付部３３０は、対象物を含む画像を受け付けるように構成される。ここで画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含む。特徴点抽出部３３３は、第１の画像において対象物に係る特徴点である複数の第１の特徴点Ｆ１を抽出するとともに、そのオプティカルフローＯＦを演算するように構成される。続いて、第２の画像において対象物に係る特徴点である複数の第２の特徴点Ｆ２を抽出するように構成される。特徴点情報算出部３３４は、第１の特徴点Ｆ１の第２の画像における推定移動先ＥＰをオプティカルフローＯＦに基づいて算出するとともに、これらの推定移動先ＥＰと第２の特徴点Ｆ２とを比較することで、特徴点の新たな出現又は消滅を含む特徴点情報を算出するように構成される。計測部３３５は、特徴点情報に基づいて、対象物の移動に関する物理量を計測するように構成される。
（６）コンピュータを計測装置として機能させる計測プログラムを実施してもよい。この計測プログラムは、サーバからダウンロード可能な態様であってもよいし、不揮発性又は揮発性の記憶媒体に記憶させて、このようなプログラムが頒布されてもよい。
（７）撮像装置２が撮像した画像ＩＭを直接画像処理して位置合わせを行ってもよいし、撮像装置２以外のセンサ、例えば、レーザ変位センサ、赤外線センサ等を用いる態様であってもよい。
（８）本自動車に代えて、ドローン等３次元に移動可能な移動体に計測システム１を搭載してもよい。

６．第２の実施形態
本節では、第２の実施形態に係る計測システム１について説明する。なお、第１の実施形態に係る計測システム１との共通部分についてはその記載を省略する。

図１４は、第２の実施形態に係る情報処理装置３（制御部３３）の機能構成を示すブロック図である。第２の実施形態に係る計測システム１は、対象物を含む矩形領域Ｒａ，Ｒｂを設定する上で、ＩＰＭ変換部３３１による逆透視投影変換に代えて、機械学習部３３１ａによる機械学習を採用する。かかる場合、記憶部３２は、種々の対象物とこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶する。矩形領域設定部３３２は、学習済みモデルに基づいて矩形領域を設定するように構成される。具体的には、情報処理装置３（制御部３３）が、重畳対象物分離部３３２ａと、サイズ変更部３３２ｂとをさらに備える。

特に、対象物が複数ある場合、情報処理装置３がそれぞれを分離的に認識可能に構成される。より詳細には、複数の対象物それぞれの囲う所定領域が機械学習によって予め学習されていることにより、対象物それぞれを分離的に認識可能に構成される。例えば、対象物として、本自動車に対する前方車両及び前々方車両の移動に関する物理量を計測することに留意されたい。以下詳細を説明する。

（重畳対象物分離部３３２ａ）
重畳対象物分離部３３２ａは、前々方車両を含む画像に対して、前方車両に係る領域を単色で塗って特徴を消す消去処理を実行するように構成される。これにより前方車両学習の抑制を行う。このとき、視差による前方車両の情報が残らないように、左画像ＩＭａ及び右画像ＩＭｂのそれぞれの矩形領域Ｒａ，Ｒｂの重畳領域を内包する最小の長方形を単色塗付領域として設定する。

（サイズ変更部３３２ｂ）
サイズ変更部３３２ｂは、矩形領域のサイズを変更するように構成される。画像中における車両を含む面積は、時間とともに変化することが想定される。このような変化に対する頑健性を維持するために、サイズ変更部３３２ｂは、車間距離を用いて矩形領域の大きさをスケーリングし、各矩形領域が占める車両面積の割合がほとんど変化しないように矩形領域のサイズを変更する。

また、矩形領域のサイズ変化に伴う計算量増加を回避するため、矩形領域内の画像を特定の固定サイズにリサイズしてトラッキングする。これにより、矩形領域が大きい場合でも計算時間が伸びることなくトラッキングのアルゴリズムが適用可能となる。

このような構成によれば、対象物が複数の場合においても、より頑健に対象物を分離して区別しつつ、第１の実施形態に係る計測システム１が有する効果をさらに奏することができる。

７．結言
以上のように、本実施形態によれば、対象物の突然の出現等にも対応することができる、周囲の対象物の計測システム、車両、計測方法、計測装置及び計測プログラムを実施することができる。

次に記載の各態様で提供されてもよい。
前記計測システムにおいて、矩形領域設定部をさらに備え、前記矩形領域設定部は、前記画像中において、前記対象物の少なくとも一部を包含する矩形領域を設定するように構成され、前記特徴点抽出部は、前記矩形領域の範囲で前記特徴点を抽出するように構成されるもの。
前記計測システムにおいて、ＩＰＭ変換部をさらに備え、前記ＩＰＭ変換部は、前記受付部が受け付けた前記画像を逆透視投影変換してＩＰＭ画像を生成するように構成され、ここで前記ＩＰＭ画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像で、前記矩形領域設定部は、前記ＩＰＭ画像に基づいて前記矩形領域を設定するように構成されるもの。
前記計測システムにおいて、記憶部をさらに備え、前記記憶部は、種々の対象物とこれらに対する前記矩形領域との相関を予め学習させた学習済みモデルを記憶し、前記矩形領域設定部は、前記学習済みモデルに基づいて前記矩形領域を設定するように構成されるもの。
前記計測システムにおいて、前記特徴点は、クラスタに分類されたもので、前記特徴点情報は、前記クラスタの新たな出現又は消滅を含む情報であるもの。
前記計測システムにおいて、前記物理量は、前記対象物までの距離と、前記対象物の奥行き方向の変位と、前記対象物の横方向の変位と、前記対象物の速度と、前記対象物の姿勢とのうち少なくとも１つを含むもの。
前記計測システムにおいて、前記計測部は、フィルタを用いて、前記物理量を推定的に計測するように構成されるもの。
前記計測システムにおいて、車両に載置されたもので、前記対象物が前記車両に対する障害物又は他の車両であるもの。
車両であって、前記計測システムを備えるもの。
対象物を計測する計測方法であって、撮像ステップと、受付ステップと、特徴点抽出ステップと、特徴点情報産出ステップと、計測ステップとを備え、前記撮像ステップでは、画角に含まれる前記対象物の画像を１００ｆｐｓ以上で撮像し、ここで前記画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含み、前記受付ステップでは、前記撮像ステップで撮像された前記画像を受け付け、前記特徴点抽出ステップでは、前記第１の画像において前記対象物に係る特徴点である複数の第１の特徴点を抽出するとともに、そのオプティカルフローを演算し、続いて、前記第２の画像において前記対象物に係る特徴点である複数の第２の特徴点を抽出し、前記特徴点情報算出ステップでは、前記第１の特徴点の前記第２の画像における推定移動先を前記オプティカルフローに基づいて算出するとともに、これらの推定移動先と前記第２の特徴点とを比較することで、前記特徴点の新たな出現又は消滅を含む特徴点情報を算出し、前記計測ステップでは、前記特徴点情報に基づいて、前記対象物の移動に関する物理量を計測するもの。
対象物を計測する計測装置であって、受付部と、特徴点抽出部と、特徴点情報算出部と、計測部とを備え、前記受付部は、前記対象物を含む画像を受け付けるように構成され、ここで前記画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含み、前記特徴点抽出部は、前記第１の画像において前記対象物に係る特徴点である複数の第１の特徴点を抽出するとともに、そのオプティカルフローを演算するように構成され、続いて、前記第２の画像において前記対象物に係る特徴点である複数の第２の特徴点を抽出するように構成され、前記特徴点情報算出部は、前記第１の特徴点の前記第２の画像における推定移動先を前記オプティカルフローに基づいて算出するとともに、これらの推定移動先と前記第２の特徴点とを比較することで、前記特徴点の新たな出現又は消滅を含む特徴点情報を算出するように構成され、前記計測部は、前記特徴点情報に基づいて、前記対象物の移動に関する物理量を計測するように構成されるもの。
計測プログラムであって、コンピュータを前記計測装置として機能させるもの。
もちろん、この限りではない。

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ ：計測システム
２ ：撮像装置
２ａ ：左カメラ
２ｂ ：右カメラ
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３０ ：受付部
３３１ ：ＩＰＭ変換部
３３１ａ ：機械学習部
３３２ ：矩形領域設定部
３３２ａ ：重畳対象物分離部
３３２ｂ ：サイズ変更部
３３３ ：特徴点抽出部
３３４ ：特徴点情報算出部
３３５ ：計測部
Ｃ ：クラスタ
Ｄ ：差分
ＥＰ ：推定移動先
Ｆ１ ：第１の特徴点
Ｆ２ ：第２の特徴点
ＩＭ ：画像
ＩＭ’ａ ：左ＩＰＭ画像
ＩＭ’ｂ ：右ＩＰＭ画像
ＩＭａ ：左画像
ＩＭｂ ：右画像
ＯＦ ：オプティカルフロー
Ｏ＿Ｃ ：カメラ座標系
Ｏ＿Ｗ ：世界座標系
Ｒａ ：矩形領域
Ｒｂ ：矩形領域

Claims (12)

1. 対象物を計測する計測システムであって、
   撮像装置と、情報処理装置とを備え、
   前記撮像装置は、画角に含まれる前記対象物の画像を１００ｆｐｓ以上で撮像可能に構成され、ここで前記画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含み、
   前記情報処理装置は、受付部と、特徴点抽出部と、特徴点情報算出部と、計測部とを備え、
   前記受付部は、前記撮像装置によって撮像された前記画像を受け付けるように構成され、
   前記特徴点抽出部は、
   前記第１の画像において前記対象物に係る特徴点である第１の特徴点を複数抽出するとともに、そのオプティカルフローを演算するように構成され、
   続いて、前記第２の画像において前記対象物に係る特徴点である第２の特徴点を複数抽出するように構成され、
   前記特徴点情報算出部は、前記第１の特徴点の前記第２の画像における推定移動先を前記オプティカルフローに基づいて算出するとともに、これらの推定移動先と前記第２の特徴点とを比較することで、前記特徴点の新たな出現又は消滅を含む特徴点情報を算出するように構成され、
   前記計測部は、前記特徴点情報に基づいて、前記対象物の移動に関する物理量を計測するように構成されるもの。
2. 請求項１に記載の計測システムにおいて、
   矩形領域設定部をさらに備え、
   前記矩形領域設定部は、前記画像中において、前記対象物の少なくとも一部を包含する矩形領域を設定するように構成され、
   前記特徴点抽出部は、前記矩形領域の範囲で前記特徴点を抽出するように構成されるもの。
3. 請求項２に記載の計測システムにおいて、
   ＩＰＭ変換部をさらに備え、
   前記ＩＰＭ変換部は、前記受付部が受け付けた前記画像を逆透視投影変換してＩＰＭ画像を生成するように構成され、ここで前記ＩＰＭ画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像で、
   前記矩形領域設定部は、前記ＩＰＭ画像に基づいて前記矩形領域を設定するように構成されるもの。
4. 請求項２に記載の計測システムにおいて、
   記憶部をさらに備え、
   前記記憶部は、種々の対象物とこれらに対する前記矩形領域との相関を予め学習させた学習済みモデルを記憶し、
   前記矩形領域設定部は、前記学習済みモデルに基づいて前記矩形領域を設定するように構成されるもの。
5. 請求項１〜請求項４の何れか１つに記載の計測システムにおいて、
   前記特徴点は、クラスタに分類されたもので、
   前記特徴点情報は、前記クラスタの新たな出現又は消滅を含む情報であるもの。
6. 請求項１〜請求項５の何れか１つに記載の計測システムにおいて、
   前記物理量は、前記対象物までの距離と、前記対象物の奥行き方向の変位と、前記対象物の横方向の変位と、前記対象物の速度と、前記対象物の姿勢とのうち少なくとも１つを含むもの。
7. 請求項１〜請求項６の何れか１つに記載の計測システムにおいて、
   前記計測部は、フィルタを用いて、前記物理量を推定的に計測するように構成されるもの。
8. 請求項１〜請求項７の何れか１つに記載の計測システムにおいて、
   車両に載置されたもので、前記対象物が前記車両に対する障害物又は他の車両であるもの。
9. 車両であって、
   請求項１〜請求項８の何れか１つに記載の計測システムを備えるもの。
10. 対象物を計測する計測方法であって、
    撮像ステップと、受付ステップと、特徴点抽出ステップと、特徴点情報産出ステップと、計測ステップとを備え、
    前記撮像ステップでは、画角に含まれる前記対象物の画像を１００ｆｐｓ以上で撮像し、ここで前記画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含み、
    前記受付ステップでは、前記撮像ステップで撮像された前記画像を受け付け、
    前記特徴点抽出ステップでは、
    前記第１の画像において前記対象物に係る特徴点である複数の第１の特徴点を抽出するとともに、そのオプティカルフローを演算し、
    続いて、前記第２の画像において前記対象物に係る特徴点である複数の第２の特徴点を抽出し、
    前記特徴点情報算出ステップでは、前記第１の特徴点の前記第２の画像における推定移動先を前記オプティカルフローに基づいて算出するとともに、これらの推定移動先と前記第２の特徴点とを比較することで、前記特徴点の新たな出現又は消滅を含む特徴点情報を算出し、
    前記計測ステップでは、前記特徴点情報に基づいて、前記対象物の移動に関する物理量を計測するもの。
11. 対象物を計測する計測装置であって、
    受付部と、特徴点抽出部と、特徴点情報算出部と、計測部とを備え、
    前記受付部は、前記対象物を含む画像を受け付けるように構成され、ここで前記画像は、時刻ｔ−１における第１の画像と時刻ｔにおける第２の画像とを含み、
    前記特徴点抽出部は、
    前記第１の画像において前記対象物に係る特徴点である複数の第１の特徴点を抽出するとともに、そのオプティカルフローを演算するように構成され、
    続いて、前記第２の画像において前記対象物に係る特徴点である複数の第２の特徴点を抽出するように構成され、
    前記特徴点情報算出部は、前記第１の特徴点の前記第２の画像における推定移動先を前記オプティカルフローに基づいて算出するとともに、これらの推定移動先と前記第２の特徴点とを比較することで、前記特徴点の新たな出現又は消滅を含む特徴点情報を算出するように構成され、
    前記計測部は、前記特徴点情報に基づいて、前記対象物の移動に関する物理量を計測するように構成されるもの。
12. 計測プログラムであって、
    コンピュータを請求項１１に記載の計測装置として機能させるもの。

Images