JP2021067649A

JP2021067649A - 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム

Info

Publication number: JP2021067649A
Application number: JP2019195548A
Authority: JP
Inventors: 健一米司; Kenichi Yoneshi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-10-28
Filing date: 2019-10-28
Publication date: 2021-04-30
Anticipated expiration: 2039-10-28
Also published as: JP7147729B2; CN114599999A; WO2021084891A1; US20220244394A1

Abstract

【課題】移動量の推定精度を確保され易くする移動量推定装置等の提供。【解決手段】画像処理ＥＣＵ３０は、画像取得部４１及び画像処理ブロック４２を備えており、移動量推定装置として機能する。画像取得部４１は、光照射に応じた反射光を受光素子１２ａが検出することにより得られる距離情報を含んだ反射光画像ＩｍＲ、反射光に対する背景光を受光素子１２ａにて検出する輝度情報を含んだ背景光画像ＩｍＬを取得する。加えて画像取得部４１は、受光素子１２ａとは異なるカメラ素子２２ａにて撮像されるカメラ画像ＩｍＣを取得する。画像処理ブロック４２は、反射光画像ＩｍＲ、背景光画像ＩｍＬ及びカメラ画像ＩｍＣに共通して検出される被写対象の情報を用いて、推定対象の移動量を推定する。【選択図】図３

Description

この明細書による開示は、移動量推定の技術に関する。

例えば特許文献１には、ＬｉＤＡＲ（Light Detection and Ranging）を距離センサとして使用する自己位置推定装置が開示されている。ＬｉＤＡＲは、自律的に移動可能な移動体に設けられ、移動体の周囲にある物体までの距離を計測する。自己位置推定装置は、ＬｉＤＡＲにて検出された測距情報を用いて、移動体の移動量、ひいては移動体の自己位置を推定する。

特開２０１９−１２８７０５号公報

特許文献１のＬｉＤＡＲは、検出した測距情報を繰り返し出力する。しかし、単位時間あたりに出力される測距情報の数は、限られている。そのため、測距情報のみを用いて移動体の移動量を推定すると、単位時間あたりの測距情報のフレーム数、即ち、フレームレートの不足に起因して、移動量の推定精度が確保され難くなり得た。

本開示は、移動量の推定精度を確保され易くすることが可能な移動量推定装置等の提供を目的とする。

上記目的を達成するため、開示された１つの態様は、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）、及び受光素子とは異なるカメラ素子（２２ａ）にて撮像されるカメラ画像（ＩｍＣ）、を取得する画像取得部（４１）と、反射光画像、背景光画像及びカメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定する推定部（４２）と、を備える移動量推定装置とする。

また開示された１つの態様は、少なくとも１つのプロセッサ（３１）にて実行される処理に、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）、及び受光素子とは異なるカメラ素子（２２ａ）にて撮像されるカメラ画像（ＩｍＣ）、を取得すること（Ｓ１０２）、反射光画像、背景光画像及びカメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定すること（Ｓ１０５，Ｓ１０６）、を含む移動量推定方法とする。

また開示された１つの態様は、少なくとも１つのプロセッサ（３１）に、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）、及び受光素子とは異なるカメラ素子（２２ａ）にて撮像されるカメラ画像（ＩｍＣ）、を取得し（Ｓ１０２）、反射光画像、背景光画像及びカメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定する（Ｓ１０５，Ｓ１０６）、ことを含む処理を実行させる移動量推定プログラムとされる。

また開示された１つの態様は、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を生成する測距装置（１０）と、受光素子とは異なるカメラ素子（２２ａ）の撮像によりカメラ画像（ＩｍＣ）を生成するカメラ装置（２０）と、反射光画像、背景光画像及びカメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定する演算装置（３０）と、を備える移動量推定システムとされる。

これらの態様では、反射光画像だけでなく背景光画像及びカメラ画像が、推定対象の移動量の推定に用いられる。以上によれば、反射光画像のみから移動量を推定する場合と比較して、移動量の推定は、高いフレームレートで実施され得る。したがって、移動量の推定精度が確保され易くなる。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

本開示の第１実施形態によるセンサパッケージ及び自動運転システムの全体像を示す図である。測距センサ及び外界カメラの車両への搭載状態を示す図である。画像処理ＥＣＵでの画像処理の過程を説明するためのブロック図である。センサ画像及びカメラ画像の撮影タイミングの一例を示す図である。移動量推定に関連する処理の詳細を模式的に示す図である。画像処理ＥＣＵにて実施される移動量推定処理のフローチャートである。第２実施形態におけるセンサ画像及びカメラ画像の撮影タイミングを示す図である。

以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

＜第１実施形態＞
図１に示す本開示の第１実施形態による画像処理ＥＣＵ（Electronic Control Unit）３０は、移動体としての車両Ａにおいて用いられる。図１及び図２に示すように、画像処理ＥＣＵ３０は、測距センサ１０及び外界カメラ２０等と共に、センサパッケージ１００を構成している。こうしたセンサパッケージ１００は、自動運転ＥＣＵ５０及び電源装置６０等と共に、自動運転システム１１０を構成可能である。自動運転システム１１０において、画像処理ＥＣＵ３０及びセンサパッケージ１００は、測距センサ１０及び外界カメラ２０の測定結果を統合し、車両Ａの移動量を推定する移動量推定装置及び移動量推定システムとして機能する。

図１及び図３に示す自動運転システム１１０は、例えばドライバーレスでの車両Ａの自律走行を可能にするシステムパッケージである。自動運転システム１１０にて中核をなす自動運転ＥＣＵ５０は、プロセッサ、ＲＡＭ（Random Access Memory）、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む高速演算装置である。自動運転ＥＣＵ５０は、自律走行を実現するための機能部として、認知判断部５１及び経路生成部５２を備えている。認知判断部５１は、センサパッケージ１００からの提供情報に基づき、車両Ａの周囲の走行環境を認知し、車両Ａの次の動作を決定する。経路生成部５２は、認知判断部５１の決定に基づき、車両Ａを走行させる走行経路を生成する。尚、自動運転システム１１０は、無人運転を可能にする完全な自動運転機能ではなく、運転者の運転支援を行う高度運転支援機能を提供可能なシステムであってもよい。

図１〜図３に示すセンサパッケージ１００は、上述したように測距センサ１０、外界カメラ２０及び画像処理ＥＣＵ３０を含んでいる。

測距センサ１０は、一例として、ＳＰＡＤ（Single Photon Avalanche Diode）ＬｉＤＡＲである。測距センサ１０は、車両Ａの前端部又は車両Ａのルーフ等に配置されている。測距センサ１０の測定範囲ＭＡ１は、車両Ａの周辺のうち少なくとも前方範囲を含むように設定されている。

測距センサ１０は、発光部１１、受光部１２及び制御ユニット１３等を含む構成である。発光部１１は、光源から発光された光ビームを、可動光学部材（例えばポリゴンミラー）を用いて走査することにより、測定範囲ＭＡ１へ向けて照射する。光源は、例えば半導体レーザ（Laser diode）であり、制御ユニット１３からの電気信号に応じて、乗員及び外界の人間から視認不能な可視外領域（例えば、近赤外域）の光ビームを、パルス状に照射する。

受光部１２は、集光レンズ及び受光素子１２ａを有している。集光レンズは、測定範囲ＭＡ１内の物体によって反射された光ビームの反射光、及び反射光に対する背景光を集光し、受光素子１２ａに入射させる。受光素子１２ａは、光電変換により光を電気信号に変換する素子である。受光素子１２ａは、光ビームの反射光を効率的に検出するため、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサとされている。受光素子１２ａの各波長域に対する感度は、光学フィルタによって調整されてよい。受光素子１２ａは、１次元方向又は２次元方向にアレイ状に配列された複数の受光画素を有している。個々の受光画素は、ＳＰＡＤを用いた構成であり、フォトンの入射で発生した電子をアバランシェ倍増によって増幅することにより、高感度な光検出を可能にしている。

制御ユニット１３は、発光部１１及び受光部１２を制御する。制御ユニット１３は、例えば受光素子１２ａと共通の基板上に配置されている。制御ユニット１３は、例えばマイクロコントローラ又はＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体に構成されている。制御ユニット１３は、走査制御機能、反射光測定機能及び背景光測定機能を実現している。

走査制御機能は、発光部１１による光ビームの走査を制御する機能である。制御ユニット１３は、測距センサ１０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させる。加えて制御ユニット１３は、光ビームの照射に同期させて、可動光学部材を動作させる。

反射光測定機能は、光ビームの走査のタイミングに合わせて、個々の受光画素にて受光された反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。制御ユニット１３は、受光素子１２ａの出力パルスにおけるピークの発生タイミングにより、反射光の到来時刻を感知する。制御ユニット１３は、光源からの光ビームの射出時刻と反射光の到来時刻との時間差を計測することにより、光の飛行時間（Time of Flight）を測定する。

以上の走査制御機能及び反射光測定機能の連携により、画像状のデータである反射光画像ＩｍＲが生成される。制御ユニット１３は、ローリングシャッター方式で反射光を測定し、反射光画像ＩｍＲを生成する。詳記すると、制御ユニット１３は、例えば水平方向への光ビームの走査に合わせて、測定範囲ＭＡ１に対応した画像平面上にて横方向に並ぶ画素群の情報を、一行又は複数行ずつ生成する。制御ユニット１３は、行毎に順次生成した画素情報を縦方向に合成し、１つの反射光画像ＩｍＲを生成する。

反射光画像ＩｍＲは、発光部１１からの光照射に応じた反射光を受光素子１２ａが検出（感知）することにより得られる距離情報を含む画像データである。反射光画像ＩｍＲの各画素には、光の飛行時間を示す値が含まれている。光の飛行時間を示す値は、言い換えれば、測距センサ１０から測定範囲ＭＡ１にある物体の反射点までの距離を示す距離値である。加えて反射光画像ＩｍＲの各画素には、反射光の強度を示す値が含まれている。即ち、反射光画像ＩｍＲは、反射光の輝度分布を表す画像データとなる。

背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲ＭＡ１から受光素子１２ａへ入射する入射光を意味する。入射光には、自然光、外界の表示等から入射する表示光等が含まれる。制御ユニット１３は、反射光画像ＩｍＲと同様に、ローリングシャッター方式で背景光を測定し、背景光画像ＩｍＬを生成する。背景光画像ＩｍＬは、光照射前での背景光の輝度分布を表す画像データであり、反射光画像ＩｍＲと同一の受光素子１２ａにより検出される背景光の輝度情報を含んでいる。即ち、背景光画像ＩｍＬにおいて２次元状に並ぶ各画素の値は、測定範囲ＭＡ１の対応する箇所における背景光の強度を示す輝度値である。

反射光画像ＩｍＲ及び背景光画像ＩｍＬは、共通の受光素子１２ａにより感知され、当該受光素子１２ａを含む共通の光学系から取得される。故に、反射光画像ＩｍＲの座標系と背景光画像ＩｍＬの座標系とは、互いに一致する同座標系とみなすことができる。加えて、反射光画像ＩｍＲと背景光画像ＩｍＬとの間にて、測定タイミングのずれも殆どない（例えば１ｎｓ未満）。故に、連続的に取得された一組の反射光画像ＩｍＲと背景光画像ＩｍＬとは、同期もとれているとみなし得る。加えて、反射光画像ＩｍＲ及び背景光画像ＩｍＬは、個々の画素同士の対応を一義的に取ることが可能となっている。反射光画像ＩｍＲ及び背景光画像ＩｍＬは、各画素に対応して、反射光の強度、物体までの距離、及び背景光の強度の３チャンネルのデータを含む一体的な画像データとして、画像処理ＥＣＵ３０へ逐次出力される。尚、ひと纏まりの反射光画像ＩｍＲ及び背景光画像ＩｍＬは、以下の説明において、「センサ画像ＩｍＳ」と記載することがある。

外界カメラ２０は、例えば車両Ａのフロントウインドシールドの車室内側に配置されている。外界カメラ２０は、車両Ａの外界のうち少なくとも前方の測定範囲ＭＡ２を測定可能である。外界カメラ２０の測定範囲ＭＡ２は、測距センサ１０の測定範囲ＭＡ１と少なくとも一部が重複するように規定されている。

外界カメラ２０は、受光部２２及び制御ユニット２３を含む構成である。受光部２２は、カメラ外部の測定範囲ＭＡ２から入射する入射光（背景光）を例えば受光レンズにより集光して、カメラ素子２２ａへ入射させる。

カメラ素子２２ａは、光電変換により光を電気信号に変換する素子であって、測距センサ１０の受光素子１２ａとは異なる構成である。カメラ素子２２ａには、例えばＣＣＤセンサ又はＣＭＯＳセンサが採用可能である。カメラ素子２２ａでは、可視域の自然光を効率的に受光するために、近赤外域に対して可視領域の感度が高く設定されている。カメラ素子２２ａは、アレイ状に２次元配列された複数の受光画素を有している。カメラ素子２２ａの受光画素は、いわゆるサブ画素に相当する。互いに隣接する受光画素には、例えば赤色、緑色、青色のカラーフィルタが配置されている。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。カメラ素子２２ａは、各受光画素にて、赤色の強度、緑色の強度、及び青色の強度をそれぞれ測定し、カメラ画像ＩｍＣを撮像する。カメラ画像ＩｍＣは、可視域のカラー画像であって、反射光画像ＩｍＲ及び背景光画像ＩｍＬよりも高解像の画像となる。

制御ユニット２３は、受光部２２を制御する。制御ユニット２３は、例えばカメラ素子２２ａと共通の基板上に配置され、マイクロコントローラ又はＦＰＧＡ等の広義のプロセッサを主体に構成されている。制御ユニット２３は、撮影機能を実現している。

撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット２３は、外界カメラ２０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、入射光量に対応する各受光画素の電圧値を読み出す。このクロック発振器は、測距センサ１０のクロック発振器とは別に、独立して設けられている。制御ユニット２３は、グローバルシャッター方式でカメラ素子２２ａによる背景光の測定を全受光画素にて実質同時に実施し、画像状のデータであるカメラ画像ＩｍＣを生成する。

カメラ画像ＩｍＣは、カメラ素子２２ａにより感知された可視領域の背景光の輝度分布を表す画像である。ここまで説明した各画像において、輝度分布は、対応する光（反射光又は背景光、或いは可視外領域光又は可視領域光）の強度分布を階調値化したものである。即ち、カメラ画像ＩｍＣにおいて２次元状に並ぶ各画素の値は、測定範囲ＭＡ２からカメラ素子２２ａに入射する各色の入射光の強度を示す輝度値となる。こうしたカメラ画像ＩｍＣが、画像処理ＥＣＵ３０へ逐次出力される。

画像処理ＥＣＵ３０は、処理部３１、ＲＡＭ３２、記憶部３３、入出力インターフェース３４及びこれらを接続するバス等を備えた演算回路を主体として含む電子制御装置である。処理部３１は、ＲＡＭ３２と結合された演算処理のためのハードウェアである。処理部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ等の演算コアを少なくとも１つ含んでいる。処理部３１は、他の専用機能を備えたＩＰコア等をさらに含んでなる画像処理チップとして構成可能である。こうした画像処理チップは、自動運転用途専用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）であってよい。処理部３１は、ＲＡＭ３２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部３３は、不揮発性の記憶媒体を含む構成である。記憶部３３には、処理部３１によって実行される種々のプログラム（移動量推定プログラム等）が格納されている。

画像処理ＥＣＵ３０は、測距センサ１０の画像情報及び外界カメラ２０の画像情報を処理し、自動運転ＥＣＵ５０に提供する提供情報を生成する。画像処理ＥＣＵ３０にて生成される提供情報には、センサパッケージ１００を搭載する車両Ａの移動量（以下、「自己移動量」）の推定結果が含まれている。画像処理ＥＣＵ３０は、自己移動量推定のため、記憶部３３に記憶された移動量推定プログラムを処理部３１によって実行し、画像取得部４１、キャリブレーション部４３、距離値取得部４４、移動量推定部４５及び自己移動量演算部４６等の機能部を備える。これらの機能部のうちで、キャリブレーション部４３、距離値取得部４４、移動量推定部４５及び自己移動量演算部４６等は、画像処理を実行する画像処理ブロック４２である。

画像取得部４１は、反射光画像ＩｍＲ及び背景光画像ＩｍＬを測距センサ１０から取得する。加えて画像取得部４１は、カメラ画像ＩｍＣを外界カメラ２０から取得する。第１実施形態では、反射光画像ＩｍＲ及び背景光画像ＩｍＬのフレームレートが、カメラ画像ＩｍＣのフレームレートと実質同一に設定されている。一方で、測距センサ１０における反射光画像ＩｍＲ及び背景光画像ＩｍＬの撮影タイミングは、外界カメラ２０におけるカメラ画像ＩｍＣの撮影タイミングと異なっている。故に、反射光画像ＩｍＲ及び背景光画像ＩｍＬの撮影タイミングと、カメラ画像ＩｍＣの撮影タイミングとが、交互に到来する（図４参照）。その結果、画像取得部４１は、反射光画像ＩｍＲ及び背景光画像ＩｍＬの取得と、カメラ画像ＩｍＣの取得とを交互に実施する。

ここで便宜的に、反射光画像ＩｍＲ及び背景光画像ＩｍＬを生成するための検出が受光素子１２ａにて実施される検出期間をフレーム期間とし、当該フレーム期間の開始時刻を、反射光画像ＩｍＲ及び背景光画像ＩｍＬのシャッター開始時刻Ｔｆとする。一方、カメラ画像ＩｍＣを撮像するための露光がカメラ素子２２ａにて実施される露光期間の開始時刻を、カメラ画像ＩｍＣのシャッター開始時刻Ｔｅとする。

背景光画像ＩｍＬ及び反射光画像ＩｍＲは、上述したように、実質同一（ほぼ時差のない）のシャッター開始時刻Ｔｆ（図４時刻Ｔ１，Ｔ３参照）にて撮影を開始される。一方、カメラ画像ＩｍＣのシャッター開始時刻Ｔｅ（図４時刻Ｔ２参照）は、背景光画像ＩｍＬ及び反射光画像ＩｍＲのシャッター開始時刻Ｔｆに対してずらされている。

加えて、受光素子１２ａにおけるフレーム期間の全体が、カメラ素子２２ａにおける露光期間の全体に対してずれた設定とされている。即ち、受光素子１２ａのフレーム期間の終了後に、カメラ素子２２ａの露光期間が開始される。そして、この露光期間の終了後に、受光素子１２ａにて次のフレーム期間が開始される。以上により、画像取得部４１は、時刻Ｔ１の背景光画像ＩｍＬ及び反射光画像ＩｍＲ、時刻Ｔ２のカメラ画像ＩｍＣ、時刻Ｔ３の背景光画像ＩｍＬ及び反射光画像ＩｍＲ・・・といった順序で、測距センサ１０及び外界カメラ２０から交互に画像データを取得する。

図４に示すように、車両Ａの状態は、移動体姿勢を示す回転系の座標情報Ｒ（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）と、移動体位置を示す並進系の座標情報ｔ（ｘ，ｙ，ｚ）との合計６軸の座標情報によって規定される。時刻Ｔ１から時刻Ｔ２の間では、ΔＲ１の姿勢変化とΔｔ１の位置変化とが車両Ａに生じている。同様に、時刻Ｔ２から時刻Ｔ３の間では、ΔＲ２の姿勢変化とΔｔ２の位置変化とが車両Ａに生じている。こうした各時刻間の差分（ΔＲ１，Δｔ１）及び（ΔＲ２，Δｔ２）が、図１及び図３に示す画像処理ＥＣＵ３０にて推定される車両Ａの移動量に相当する。

キャリブレーション部４３は、測距センサ１０の内部パラメータ、外界カメラ２０の内部パラメータ、並びに測距センサ１０及び外界カメラ２０の間の外部パラメータを設定する。キャリブレーション部４３は、事前に設定された各パラメータの値を記憶部３３から読み出し、ＲＡＭ３２の特定の記憶領域にセットする。ＲＡＭ３２上に準備された内部パラメータの各値は、移動量推定部４５によって参照される。一方、外部パラメータの各値は、自己移動量演算部４６によって参照される。

図３及び図５に示す距離値取得部４４は、１つのセンサ画像ＩｍＳを構成する反射光画像ＩｍＲ及び背景光画像ＩｍＬを参照し、これらの画像ＩｍＲ，ＩｍＬを用いてセンサ素子情報を準備する。詳記すると、距離値取得部４４は、背景光画像ＩｍＬの各画素位置に対応する反射光画像ＩｍＲの距離値を取得する。距離値取得部４４は、画像上にて隣接する画素間での輝度値及び距離値の変化の程度（勾配）から、反射光画像ＩｍＲ及び背景光画像ＩｍＬに共通して写る被写対象ＰＯを特定する。距離値取得部４４は、例えば反射光画像ＩｍＲに含まれる反射光の強度値が一定以上の画素に相当する位置の背景光画像ＩｍＬ上の画素を特徴点Ｆｐａとして設定する。距離値取得部４４は、被写対象ＰＯに関する特徴点Ｆｐａ及びその近傍の画素の距離値及び輝度値を、センサ素子情報とする。

移動量推定部４５は、反射光画像ＩｍＲ及び背景光画像ＩｍＬと、カメラ画像ＩｍＣとに共通して検出される被写対象ＰＯの情報を用いて、推定対象ＥＴの移動量を推定する。具体的に、移動量推定部４５は、時間的に連続するセンサ画像ＩｍＳとカメラ画像ＩｍＣとの間で、被写対象ＰＯに関連する複数の特徴点Ｆｐａとその近傍を追跡し、被写対象ＰＯの移動ベクトルを算出する。被写対象ＰＯは、静止した立体構造物であることが望ましい。被写対象ＰＯが静止物体であれば、画像上での被写対象ＰＯの移動量から、車両Ａの移動量が容易に推定可能となる。

具体的に、移動量推定部４５は、センサ画像ＩｍＳと共通する被写対象ＰＯをカメラ画像ＩｍＣからも特定し、当該被写対象ＰＯに関連する画素の輝度値を、カメラ素子情報として準備する。さらに、移動量推定部４５は、センサ画像ＩｍＳ及びカメラ画像ＩｍＣを連続するフレーム画像とみなした処理を実施するため、距離値取得部４４にて準備されたセンサ素子情報を、カメラ素子情報と直接的に比較可能な情報に変換する。移動量推定部４５は、センサ画像ＩｍＳ及びカメラ画像ＩｍＣ間の解像度の差、可視光域及び近赤外域での背景光強度の差（輝度差）等も適宜調整する。移動量推定部４５は、カメラ素子情報を基準とし、カメラ素子情報の輝度値と、センサ素子情報の輝度値とを比較する。一例として、移動量推定部４５は、下記の数式（１）の左辺を最小にするΔＲ，Δｔを、例えばＬｕｃａｓ−Ｋａｎａｄｅの勾配法などを用いて求める。

上記の数式（１）において、Ｗは、ΔＲ及びΔｔと外界カメラ２０の内部パラメータとで決定される変換関数である。この変換関数Ｗは、画像に対して一般的な回転、並進、及び透視投影（変形）等の処理を行う関数である。また、Ｉ＿ｓｐａｄは背景光画像ＩｍＬの輝度値であり、ｄ＿ｓｐａｄは反射光画像ＩｍＲの距離値であり、Ｉ＿ｉｍａｇｅはカメラ画像ＩｍＣの輝度値である。移動量推定部４５は、上記の数式（１）に基づき、微小時間における被写対象ＰＯの回転移動量ΔＲと並進移動量Δｔとを推定する。

自己移動量演算部４６は、移動量推定部４５にて推定された移動量ΔＲ，Δｔから、外部パラメータを除く演算処理を行い、推定対象ＥＴである車両Ａの回転移動量ΔＲ＿ｅｇｏ及び並進移動量Δｔ＿ｅｇｏを算出する。具体的に、自己移動量演算部４６は、測距センサ１０及び外界カメラ２０の間の外部パラメータとして、これら構成間における姿勢及び位置の各差分（図２参照）に相当するＲ＿ｃａｍ，ｔ＿ｃａｍを取得する。自己移動量演算部４６は、移動量ΔＲ，Δｔと外部パラメータＲ＿ｃａｍ，ｔ＿ｃａｍとを、下記の数式（２）に適用し、車両Ａの自己移動量ΔＲ＿ｅｇｏ，Δｔ＿ｅｇｏを算出する。自己移動量演算部４６は、算出した自己移動量ΔＲ＿ｅｇｏ，Δｔ＿ｅｇｏを、自動運転ＥＣＵ５０へ向けて逐次出力する。

以上の自己移動量推定を実現する移動量推定方法の詳細を、図６に示すフローチャートに基づき、図１，図３及び図５を参照しつつ、以下説明する。図６に示す移動量推定処理は、電源装置６０による自動運転システム１１０の各構成への電力供給実施に基づき、初期の起動処理等を終えた画像処理ＥＣＵ３０によって開始される。

Ｓ１０１では、測距センサ１０及び外界カメラ２０に関する内部パラメータ及び外部パラメータを記憶部３３より読み出し、ＲＡＭ３２の参照可能な領域に各パラメータの値を設定して、Ｓ１０２に進む。Ｓ１０２では、測距センサ１０及び外界カメラ２０の一方から、画像データを取得する処理を実施し、Ｓ１０３に進む。Ｓ１０２では、実質同時刻に撮影された反射光画像ＩｍＲ及び背景光画像ＩｍＬを測距センサ１０から取得するか、又はカメラ画像ＩｍＣを外界カメラ２０から取得する。

Ｓ１０３では、Ｓ１０２にて取得する画像が測距センサ１０によるセンサ画像ＩｍＳか否かを判定する。Ｓ１０３にて、カメラ画像ＩｍＣを外界カメラ２０から取得したと判定した場合、Ｓ１０５に進む。一方で、Ｓ１０３にて、センサ画像ＩｍＳを測距センサ１０から取得したと判定した場合、Ｓ１０４に進む。

Ｓ１０４では、同一座標系で生成された反射光画像ＩｍＲ及び背景光画像ＩｍＬのマッチング処理を行い、背景光画像ＩｍＬの各画素位置に対応する反射光画像ＩｍＲの距離値を取得する。さらにＳ１０４では、被写対象ＰＯに関する特徴点Ｆｐａ等の距離値及び輝度値を含んだセンサ素子情報を準備し、Ｓ１０５に進む。

Ｓ１０５では、背景光画像ＩｍＬ及び反射光画像ＩｍＲを用いて準備されたセンサ素子情報と、カメラ画像ＩｍＣを用いて準備されたカメラ画素情報との比較を実施する。直前のＳ１０２にてカメラ画像ＩｍＣを取得していた場合、前回のＳ１０４にて準備させたセンサ素子情報を読み出し、今回のカメラ画像ＩｍＣより準備したカメラ素子情報と比較する。一方で、直前のＳ１０２にて、センサ画像ＩｍＳを取得していた場合、直前のＳ１０４にて準備したセンサ素子情報を、前回のＳ１０２にて取得した最新のカメラ画像ＩｍＣに基づくカメラ素子情報と比較する。Ｓ１０５では、カメラ素子情報を基準として、各素子情報の輝度値を比較する処理（上記の数式（１）参照）により、移動量ΔＲ，Δｔを推定し、Ｓ１０６に進む。

Ｓ１０６では、Ｓ１０５にて推定された移動量から外部パラメータを除く処理（数式（２）参照）を実施し、車両Ａの自己移動量ΔＲ＿ｅｇｏ，Δｔ＿ｅｇｏを演算する。Ｓ１０７では、推定した最新の自己移動量を外部の自動運転ＥＣＵ５０等へ向けて出力し、Ｓ１０７に進む。

Ｓ１０７では、自動運転システム１１０がオフ状態に遷移したか否かを判定する。Ｓ１０７にて、システムの作動が継続していると判定した場合、Ｓ１０２に戻り、自己移動の推定を継続する。一方で、Ｓ１０７にて、システムがオフ状態に遷移すると判定した場合、Ｓ１０８に進む。そして、Ｓ１０８にて、センサパッケージ１００の終了処理を実行し、一連の移動量推定処理を終了する。

ここまで説明した第１実施形態では、反射光画像ＩｍＲだけでなく背景光画像ＩｍＬ及びカメラ画像ＩｍＣが、推定対象ＥＴの移動量の推定に用いられる。以上によれば、反射光画像ＩｍＲのみから移動量を推定する場合と比較して、移動量の推定は、高いフレームレートで実施され得る。したがって、移動量の推定精度が確保され易くなる。

加えて第１実施形態では、反射光画像ＩｍＲの距離値に基づく被写対象ＰＯの形状情報だけでなく、背景光画像ＩｍＬ及びカメラ画像ＩｍＣの輝度値に基づく被写対象ＰＯのテクスチャ情報も、移動量推定に使用される。以上によれば、各測定範囲ＭＡ１，ＭＡ２に静止した立体構造物が少ないシーンにおいても、画像処理ＥＣＵ３０は、推定対象ＥＴの移動量を精度良く推定し得る。

また第１実施形態では、受光素子１２ａ及びカメラ素子２２ａを搭載する車両Ａが推定対象ＥＴとされ、自己移動量演算部４６は、車両Ａの自己移動量を推定する。上述したように、センサ画像ＩｍＳ及びカメラ画像ＩｍＣの組み合わせによるフレームレートの向上によれば、推定対象ＥＴが車両Ａであっても、その自己移動量について高い推定精度が確保され易くなる。

さらに第１実施形態では、反射光画像ＩｍＲ及び背景光画像ＩｍＬを生成するシャッター開始時刻Ｔｆが、カメラ画像ＩｍＣのシャッター開始時刻Ｔｅに対してずれている。故に、時間的に連続するセンサ画像ＩｍＳとカメラ画像ＩｍＣとは、推定対象ＥＴの位置が相互に異なる状態下で取得された画像となる。以上によれば、フレームレートを高めたことによる移動量の推定精度の向上効果が、より確実に発揮され得る。

加えて第１実施形態では、受光素子１２ａにおけるフレーム期間の全体が、カメラ素子２２ａにおける露光期間の全体に対してずれている。以上のように、フレーム期間と露光期間とを大きくずらし、これら期間が重複しないようにすれば、画像処理ＥＣＵ３０による画像の取得間隔が、安定的となる。その結果、推定される移動量の精度も、変動を抑制され、高い状態に安定的に維持され易くなる。

また第１実施形態では、センサ画像ＩｍＳを用いて準備される被写対象ＰＯに関するセンサ素子情報と、カメラ画像ＩｍＣを用いて準備される被写対象ＰＯに関するカメラ素子情報とが比較される。以上のように、各画像データ全体の画素の値を比較するのではなく、被写対象ＰＯに関連する画素に絞った比較を行うことで、画像処理ブロック４２は、移動量の推定を高速に行うことができる。

さらに第１実施形態では、変換関数Ｗの適用により、センサ素子情報は、カメラ素子情報と比較可能な情報に変換される。そして、移動量推定部４５は、カメラ素子情報を基準とし、センサ素子情報に含まれる輝度値と、カメラ素子情報に含まれる輝度値とを比較して、移動量を推定する。以上のように、移動量を推定するための画像間の差分演算には、各画像ＩｍＳ，ＩｍＣに共通して含まれる輝度値が主に使用される。換言すれば、カメラ素子情報から、センサ素子情報の距離値と比較するための値を生成するような処理は、実施されない。その結果、移動量の推定処理に必要な演算負荷の軽減が可能になる。

加えて第１実施形態では、センサ画像ＩｍＳにおける被写対象ＰＯ及び特徴点Ｆｐａの特定に、背景光画像ＩｍＬの輝度値だけでなく、反射光画像ＩｍＲの距離値が利用されている。以上によれば、カメラ画像ＩｍＣに対してセンサ画像ＩｍＳが相対的に低解像であっても、輝度値の比較対象とされる画像中の画素の位置が、センサ画像ＩｍＳにて精度良く設定され得る。その結果、勾配法にて推定される移動量ΔＲ，Δｔの精度も、確保され易くなる。

尚、第１実施形態において、測距センサ１０が「測距装置」に相当し、外界カメラ２０が「カメラ装置」に相当し、画像処理ＥＣＵ３０が「演算装置」及び「移動量推定装置」に相当する。また、処理部３１が「プロセッサ」に相当し、画像処理ブロック４２が「推定部」に相当し、車両Ａが「移動体」に相当し、センサパッケージ１００が「移動量推定システム」に相当する。

＜第２実施形態＞
図７に示す第２実施形態では、外界カメラ２０におけるカメラ画像ＩｍＣの撮影周期が、測距センサ１０におけるセンサ画像ＩｍＳの撮影周期と異なっている。具体的には、カメラ画像ＩｍＣのフレームレートが、センサ画像ＩｍＳのフレームレートよりも高く設定されている。一例として、第２実施形態では、カメラ画像ＩｍＣのフレームレートは、センサ画像ＩｍＳの３倍程度とされている。そして、センサ画像ＩｍＳの撮影タイミングである時刻Ｔ１，Ｔ５の間に、カメラ画像ＩｍＣの撮影タイミングが３回発生する（時刻Ｔ２，Ｔ３，Ｔ４参照）。図３及び図７に示すように、画像取得部４１は、時刻Ｔ１のセンサ画像ＩｍＳ、時刻Ｔ２〜Ｔ４の各カメラ画像ＩｍＣ、時刻Ｔ５のセンサ画像ＩｍＳを、測距センサ１０及び外界カメラ２０から順次取得する。

画像処理ブロック４２は、センサ画像ＩｍＳ及びカメラ画像ＩｍＣを組み合わせた移動量推定に加えて、時間的に連続する複数のカメラ画像ＩｍＣを用いた移動量推定を実施する。具体的に、画像処理ブロック４２は、時刻Ｔ２〜Ｔ４等にてカメラ画像ＩｍＣを取得したとき、各時刻のカメラ画像ＩｍＣを、最新（時刻Ｔ１）のセンサ画像ＩｍＳと組み合わせて、移動量推定を実施する。加えて画像処理ブロック４２は、時刻Ｔ３，Ｔ４において、各時刻の最新のカメラ画像ＩｍＣを、１つ前のフレームのカメラ画像ＩｍＣ（時刻Ｔ２，Ｔ３）と組み合わせて、移動量推定を実施する。

さらに画像処理ブロック４２は、センサ画像ＩｍＳを取得したとき、複数のカメラ画像ＩｍＣと個別に対比する処理を行い、移動量を推定可能である。具体的に、画像処理ブロック４２は、時刻Ｔ５のセンサ画像ＩｍＳを取得すると、このセンサ画像ＩｍＳを、時刻Ｔ４のカメラ画像ＩｍＣに加えて、時刻Ｔ３のカメラ画像ＩｍＣとも比較する。画像処理ブロック４２は、複数の比較結果を統合し、移動量を推定する。

ここまで説明した第２実施形態でも、第１実施形態と同様の効果を奏し、高いフレームレートでの移動量推定によって、推定精度の確保が実現され得る。加えて第２実施形態では、カメラ画像ＩｍＣ及びセンサ画像ＩｍＳから複数フレームが構成されているとみなした場合に、時間的に隣り合うフレーム間での輝度値比較だけではなく、１つ飛ばしたフレーム間での輝度値比較も実施される。こうした処理の採用によれば、移動量の推定精度は、いっそう確保され易くなる。

＜他の実施形態＞
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態の変形例１では、測距センサ１０のフレームレートが、外界カメラ２０のフレームレートよりも高く設定されている。また変形例２では、測距センサ１０及び外界カメラ２０のフレームレートが可変とされている。以上の変形例１，２のように、測距センサ１０及び外界カメラ２０のフレームレートは、適宜変更されてよい。

加えて、センサ画像ＩｍＳのシャッター開始時刻Ｔｆとカメラ画像ＩｍＣのシャッター開始時刻Ｔｅとは、全ての撮影タイミングにおいて、悉くずれていなくてもよい。言い換えれば、測距センサ１０及び外界カメラ２０のフレームレートが互いに異なっている形態では、特定のタイミングで、相互のシャッター開始時刻Ｔｆ，Ｔｅが偶発的に一致してもよい。変形例３の画像処理ブロック４２は、各画像ＩｍＳ，ＩｍＣのシャッター開始時刻Ｔｆ，Ｔｅを把握し、相互の開始時刻Ｔｆ，Ｔｅが実質同一である場合に、これらの画像間での輝度値比較を中止する機能を有している。

ここで、フレーム期間の全体と露光期間の全体とが前後にずれており、且つ、フレーム期間及び露光期間の一方の終了時刻と他方の開始時刻とが近いセンサ画像ＩｍＳ及びカメラ画像ＩｍＣが、移動量推定に適した画像セットとなる。画像処理ブロック４２は、フレームレートが互いに異なっている場合、上記の条件に合致する画像セットを選択して、移動量推定を実施してもよい。

上記実施形態の変形例４では、測距センサ１０及び外界カメラ２０は、静止構造物に固定されている。画像処理ブロック４２は、センサ画像ＩｍＳ及びカメラ画像ＩｍＣに共通して検出される被写対象ＰＯを推定対象ＥＴとし、当該被写対象ＰＯの移動量を推定する。以上の変形例４のように、推定対象ＥＴは、車両Ａ等の自己の移動体に限定されない。さらに、測距センサ１０及び外界カメラ２０は、移動しない構造物に設置されてもよい。

変形例５の画像処理ブロック４２は、測距センサ１０のシャッター開始時刻Ｔｆ及びフレーム期間と、外界カメラ２０のシャッター開始時刻Ｔｅ及び露光期間とを、正確に把握している。画像処理ブロック４２は、自己の並進移動量Δｔ＿ｅｇｏを推定したうえで、シャッター開始時刻Ｔｆ，Ｔｅ間の差分時間を用いて、移動体である車両Ａの移動速度を演算する。即ち、画像処理ブロック４２は、移動量推定機能に加えて、移動速度推定機能を備えていてもよい。尚、移動速度の演算機能を備えない場合、画像処理ブロック４２は、各シャッター開始時刻Ｔｆ，Ｔｅの対応関係を正確に把握しなくてもよい。

変形例６の画像処理ブロック４２は、特定の基準点（例えば移動開始地点）からの移動量を積算して、車両Ａの現在位置を推定する演算を実施する。即ち、画像処理ブロック４２は、移動量推定機能に加えて、位置推定機能を備えていてもよい。

上記実施形態では、実質同一時刻に撮影された反射光画像ＩｍＲ及び背景光画像ＩｍＬの画素情報を組み合わせ、距離値及び輝度値を含むセンサ素子情報が生成されていた。そして、こうしたセンサ素子情報を変換関数Ｗによって変換して、カメラ素情報と比較する処理により、移動量の推定が実施されていた。

対して、上記実施形態の変形例７の画像処理ブロック４２では、反射光画像ＩｍＲ及びカメラ画像ＩｍＣの比較と、背景光画像ＩｍＬ及びカメラ画像ＩｍＣの比較とが、個別に実施される。そして、画像処理ブロック４２は、それぞれの比較結果を統合することにより、移動量を推定する。このように、反射光画像ＩｍＲ、背景光画像ＩｍＬ及びカメラ画像ＩｍＣを用いた移動量推定の具体的な処理プロセスは、適宜変更されてよい。加えて、反射光画像ＩｍＲ及び背景光画像ＩｍＬは、実質的に同一時刻に撮影された画像でなくてもよい。さらに、反射光画像ＩｍＲの距離値と比較できるように、カメラ画像ＩｍＣの輝度値に対して変換関数を適用する等のデータ処理が実施されてもよい。即ち、センサ画像ＩｍＳを基準とした移動量推定処理が実施されてもよい。

上記実施形態の変形例８において、測距センサ１０及び外界カメラ２０は、一体型とされたセンサユニットを構成している。また変形例９では、センサユニットと画像処理ＥＣＵ３０とが一体型とされ、センサパッケージユニットを構成している。さらに、変形例１０では、画像処理ＥＣＵ３０及び自動運転ＥＣＵ５０の各機能が、１つの統合制御ＥＣＵに纏めて実装されている。また変形例１１では、画像処理ＥＣＵ３０の移動量推定に関連する処理の少なくとも一部が、ネットワーク上に設けられたコンピュータによって実行される。こうした変形例１１では、移動量推定の結果がネットワークを通じて、車両Ａの自動運転ＥＣＵ５０に提供される。

上記実施形態の変形例１２では、複数の測距センサ１０又は複数の外界カメラ２０が、画像処理ＥＣＵ３０に画像データを逐次出力する。画像処理ＥＣＵ３０は、取得した画像データの中から、共通の被写対象ＰＯを含む画像を適宜組み合わせて、移動量推定を実施できる。こうした変形例１２のように、移動によって同一の被写対象ＰＯを検出できるのであれば、各測定範囲は、必ずしも重なっていなくてもよい。また、測距センサ１０及び外界カメラ２０の各測定範囲は、車両Ａの前方範囲に限定されず、側方範囲や後方範囲であってもよい。

変形例１３の測距センサ１０は、ポリゴンミラー等の可動光学部材を備えない非走査側のライダ装置である。さらに、反射光画像ＩｍＲ及び背景光画像ＩｍＬは、グローバルシャッター方式で撮像されてもよい。また、変形例１４の外界カメラ２０によって出力されるカメラ画像ＩｍＣは、カラー画像でなく、グレースケール画像である。こうしたカメラ画像ＩｍＣは、ローリングシャッター方式で撮像されてもよい。
変形例１５の画像処理ＥＣＵ３０には、測距センサ１０及び外界カメラ２０に加えて、例えばレーダ装置及びソナー装置等の自律センサが電気的に接続されている。画像処理ＥＣＵ３０は、各装置の検出情報をさらに組み合わせて、自己移動量等を推定できる。

上記実施形態において、画像処理ＥＣＵ３０により提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。

さらに、上記の移動量推定方法を実現可能な移動量推定プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、画像処理ＥＣＵ３０の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、画像処理ＥＣＵ３０のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１０測距センサ（測距装置）、１２ａ受光素子、２０外界カメラ（カメラ装置）、２２ａカメラ素子、３０画像処理ＥＣＵ（演算装置，移動量推定装置）、３１処理部（プロセッサ）、４１画像取得部、４２画像処理ブロック（推定部）、１００センサパッケージ（移動量推定システム）、Ａ車両（移動体）、ＥＴ推定対象、ＩｍＣカメラ画像、ＩｍＬ背景光画像、ＩｍＲ反射光画像、ＰＯ被写対象、Ｔｆシャッター開始時刻（検出期間の開始時刻）、Ｔｅシャッター開始時刻（露光期間の開始時刻）

Claims

光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）、及び前記受光素子とは異なるカメラ素子（２２ａ）にて撮像されるカメラ画像（ＩｍＣ）、を取得する画像取得部（４１）と、
前記反射光画像、前記背景光画像及び前記カメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定する推定部（４２）と、
を備える移動量推定装置。
前記推定部は、前記受光素子及び前記カメラ素子が設けられた移動体（Ａ）を前記推定対象とし、当該移動体の移動量を推定する請求項１に記載の移動量推定装置。
前記反射光画像及び前記背景光画像を生成するための検出が前記受光素子にて実施される検出期間の開始時刻（Ｔｆ）は、前記カメラ画像を撮像するための露光が前記カメラ素子にて実施される露光期間の開始時刻（Ｔｅ）に対しずれている請求項１又は２に記載の移動量推定装置。
前記受光素子における前記検出期間の全体が、前記カメラ素子における前記露光期間の全体に対してずれている請求項３に記載の移動量推定装置。
前記推定部は、前記反射光画像及び前記背景光画像を用いて準備される前記被写対象に関するセンサ素子情報と、前記カメラ画像を用いて準備される前記被写対象に関するカメラ素子情報との比較により、前記被写対象の移動量を推定する請求項１〜４のいずれか一項に記載の移動量推定装置。
前記推定部は、前記センサ素子情報に含まれる輝度値と、前記カメラ素子情報に含まれる輝度値との比較する請求項５に記載の移動量推定装置。
少なくとも１つのプロセッサ（３１）にて実行される処理に、
光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）、及び前記受光素子とは異なるカメラ素子（２２ａ）にて撮像されるカメラ画像（ＩｍＣ）、を取得すること（Ｓ１０２）、
前記反射光画像、前記背景光画像及び前記カメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定すること（Ｓ１０５，Ｓ１０６）、
を含む移動量推定方法。
少なくとも１つのプロセッサ（３１）に、
光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）、及び前記受光素子とは異なるカメラ素子（２２ａ）にて撮像されるカメラ画像（ＩｍＣ）、を取得し（Ｓ１０２）、
前記反射光画像、前記背景光画像及び前記カメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定する（Ｓ１０５，Ｓ１０６）、
ことを含む処理を実行させる移動量推定プログラム。
光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を生成する測距装置（１０）と、
前記受光素子とは異なるカメラ素子（２２ａ）の撮像によりカメラ画像（ＩｍＣ）を生成するカメラ装置（２０）と、
前記反射光画像、前記背景光画像及び前記カメラ画像に共通して検出される被写対象（ＰＯ）の情報を用いて、推定対象（ＥＴ）の移動量を推定する演算装置（３０）と、
を備える移動量推定システム。