JP2021012133A - 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム - Google Patents

Abstract

【課題】人間が融合の論理を設定しなくても異なる形式の２つ以上の信号を融合できる測距装置を提供すること。【解決手段】形式が異なる複数の信号に基づいて物体までの距離を測定する測距装置１００において、物体までの距離に関する第二の信号の形式を、画像に関する第一の信号の形式に合わせる信号変換部２２と、前記第一の信号及び前記信号変換部により形式が合わせられた前記第二の信号に基づいて距離情報を出力する距離情報出力部２４と、を有し、前記信号変換部は、前記第一の信号が有する複数次元の方向の長さ情報と、形式が合わせられた前記第二の信号が有する複数次元の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換することを特徴とする。【選択図】図１１

Description

本発明は、測距装置、情報処理装置、測距方法、車載装置、移動体、及び、測距システムに関する。

ステレオカメラの視差計算アルゴリズムとして、特徴点のブロックマッチング方式が知られている。この方式は、左又は右の画像をシフトさせながら特徴点を探索しシフト量を視差として視差ごとにコストを算出する方式であり、探索視差空間においてコスト最小を与える視差を検出して、視差値ｄと距離Ｚの対応式（Ｚ=ＢＦ/ｄ）により各画素に対応する距離を計算する方式である（Ｂは基線長、Ｆは焦点距離）。また、テクスチャが弱い物体に対しても適切に視差値を導き出すＳＧＭ（Semi−Global−Matching）伝播方式も知られている。

しかし、これらの視差計算アルゴリズムで決定された視差から計算される距離は、遠方領域の距離分解能を確保することが難しく、また、測距値のばらつき（分散）も大きくなる傾向がある。

例えば車載業界では、自動運転に代表されるように遠方での測距性能の向上が求められている。そこで、空間分解能は低いが距離分解能は高いＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）で測定した距離情報で、視差計算アルゴリズムで算出される距離を補足することが検討されている。なお、ＬｉＤＡＲは、物体にレーザ光を照射して反射信号が戻ってくるまでの時間により物体までの距離を算出する測定方法である。時系列の反射信号から物体の反射信号を特定する方法の一例として反射信号のピークを検出する方法がある。

従来から、空間分解能は低いが距離分解能は高いＬｉＤＡＲの測定結果と空間分解能は高いが遠方の距離分解能が低いステレオカメラの測定結果を融合（これをフュージョンと呼ぶ場合がある）する試みが知られている（例えば、特許文献１参照。）。特許文献１には、ＬｉＤＡＲの距離情報を、撮像画像を構成する画素と関連付けておき、画素に関連付けられた距離情報に基づく値を、撮像画像を構成する画素の視差演算に用いて視差画像を生成する視差演算システムが開示されている。このようなフュージョンにより、３次元高分解能測距結果出力、測距値の低分散化、不連続面の検出高度化、小型化、及び、環境ロバスト性の向上等を図ることができる。

しかしながら、ＬｉＤＡＲの測定結果とカメラの測定結果などのように、異なる形式の信号をどのように融合するかという論理を人間が考え出すには限界があるという問題がある。例えば、距離を測定する広範なシーン（周囲の明るさ、天候等）に対するロバスト性を得るためには、これら全ての（又は大部分の）シーンに適した論理が必要だが、広範なシーンに適合する論理を設定することが容易でない。このため、あるシーンでは所望の測距性能が得られても別のシーンでは所望の測距性能が得られないなどの不都合が生じる場合があった。

本発明は、上記課題に鑑み、人間が融合の論理を設定しなくても異なる形式の２つ以上の信号を融合できる測距装置を提供することを目的とする。

上記課題に鑑み、本発明は、形式が異なる複数の信号に基づいて物体までの距離を測定する測距装置において、物体までの距離に関する第二の信号の形式を、画像に関する第一の信号の形式に合わせる信号変換部と、前記第一の信号及び前記信号変換部により形式が合わせられた前記第二の信号に基づいて距離情報を出力する距離情報出力部と、を有し、前記信号変換部は、前記第一の信号が有する複数次元の方向の長さ情報と、形式が合わせられた前記第二の信号が有する複数次元の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換することを特徴とする。

人間が融合の論理を設定しなくても異なる形式の２つ以上の信号を融合できる測距装置を提供することができる。

機械学習を用いたカメラの信号とLiDARの信号の融合を説明する概略図である。 測距装置の外観構成及び取り付け例を説明する図の一例である。 測距装置の全体的な構成図の一例を示す図である。 測距装置のハードウェア構成例を示す図である。 三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置から物体までの距離を測定する原理について説明する図である。 照射されたレーザ光が物体で反射して受光される時系列な強度を模式的に示す図である。 ステレオ画像演算部が有する機能をブロックに分けて説明する機能ブロック図の一例である。 情報処理装置の一例の概略斜視図である。 情報処理装置のハードウェア構成例を示す図である。 情報処理装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。 画像データと反射信号の関係を説明する図である。 測距装置の一例の全体構成図である。 入力層から出力層までＬ層が全結合されたニューラルネットワークである。 ニューラルネットワークの学習時の処理を説明するフローチャート図の一例である。 情報処理装置が距離情報出力部を生成する手順を示すフローチャート図の一例である。 測距装置が距離画像を生成する手順を示すフローチャート図の一例である。 ＣＮＮの構成例を示す図である。 フィルタと演算結果の関係を説明する図である。 畳み込み演算に活性化関数を適用した畳み込み層を説明する図である。 測距装置及び情報処理装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。 次元拡張を説明する図である。 特徴画像ブロックと強度データブロックから距離画像を出力する測距装置又は情報処理装置の全体構成図の一例である。 情報処理装置が距離情報出力部を生成する手順を示すフローチャート図の一例である。 測距装置が距離画像を生成する手順を示すフローチャート図の一例である。 情報処理装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。 損失関数の設計方法を模式的に説明する図の一例である。 特徴画像ブロックと強度データブロックから距離画像を出力する情報処理装置の一例の全体構成図である。 特徴画像ブロックと強度データブロックから距離画像を出力する測距装置の一例の全体構成図である。 情報処理装置が距離情報出力部を生成する手順を示すフローチャート図の一例である。 測距装置が距離画像を生成する手順を示すフローチャート図の一例である。 ステレオカメラとレーザレーダ測距部の組み合わせで測距する測距装置の構成例を示す図である。 カメラとレーダーの組み合わせで測距する測距装置の構成例を示す図である。 ステレオカメラとレーダーの組み合わせで測距する測距装置の構成例を示す図である。 カメラとソナーの組み合わせで測距する測距装置の構成例を示す図である。 ステレオカメラとソナーの組み合わせで測距する測距装置の構成例を示す図である。 測距装置が搭載された車両の構成例を示す図である。

以下、本発明を実施するための形態の一例として測距装置と測距装置が行う測距方法について説明する。

本実施例では、距離を測定できる複数のセンサ（カメラとLiDAR）によってそれぞれ得られる信号を、機械学習を利用して融合する。

まず、機械学習を利用することの利点を説明する。機械学習の中でも、入力に対しその正解出力である教師データを用意して、両者の関係を表現する特徴量を抽出するアプローチを教師あり学習と呼ぶ。教師あり学習である場合、入力に対して、教師データを事前に用意しているため、入力から出力を導く特徴を抽出することができれば、技術者が入力データから適切と思われる特徴量を設計するよりも、より精度が高い出力データを出力するように入力と出力を対応付けることができる。特徴量を多層に渡って抽出する機械学習の一手法である深層学習（ディープラーニング）の場合、深層化して各層で抽出した特徴量を組み合わせることにより、より複雑な特徴量を抽出できるようになる。これにより、異なる形式の信号をどのように融合するかという論理を人間が考え出した事前設定論理を超える特徴量を抽出できると共に、広範なシーンに対するロバスト性を獲得できる。

また、本実施例では、LiDARの生信号を使用する。従来の測距を目的とした深層学習の研究の多くでは、LiDAR側の入力として、LiDARで受光した距離値を埋め込んだ距離画像(深度画像)を使うことが多い。しかし、この場合、遠距離の物体に反射して返ってきた微弱信号は、コンパレータなどのLiDAR内の機構で除去されてしまい信号として取得できない（取得できなかった信号は画素値に距離として含まれない)。これに対し、本実施例ではLiDAR側の入力としてLiDARの生信号を使う。生信号とは時間に対して変化する強度を全てサンプリングした信号である。実際には全ての信号をサンプリングすることは困難なので、信号波形を再生できる程度に短い一定時間間隔で強度を測距装置が取得する。

生信号にはノイズも含まれるが正しい微弱信号も含まれているため、それらを多数収集して、ノイズから真値を抽出できるネットワークを深層学習で構築することができれば、遠距離の測距も可能となる。

図１は、機械学習を用いたカメラの信号とLiDARの信号の融合を説明する概略図である。左カメラ１１１又は右カメラ１１２が出力する信号は二次元の画像データ１３（第一の信号の一例）である。一方、LiDARを有するレーザレーダ測距部１２０が出力する信号は時間に対する一次元の反射信号１４（第二の信号の一例）である。このように信号の形成が異なっていると、後述するように学習の収束などに時間がかかるおそれがある。そこで、測距装置は一次元の反射信号１４を二次元の強度データ１２に変換する。これにより、異なる形式の信号の次元数が一致する。

次元数が一致した上で例えば深層学習などの機械学習の手法を使って、入力データと教師データの対応をニューラルネットワーク１１で学習する。深層化することで人間が考え出した事前設定論理を超える特徴量を抽出できる。つまり、異なる形式の信号が入力されても正解距離画像に近い出力データをニューラルネットワーク１１が出力することができる。したがって、左カメラ１１１又は右カメラ１１２の信号とレーザレーダ測距部１２０の信号の形式が異なっていても、異なる形式の信号をどのように融合するかという論理を人間が考え出さずに、広範なシーンに対しロバスト性が高い測距が可能になる。

＜用語について＞
機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

信号の形式とは、数値以外の、信号の構造、型式、枠組みなどを言う。例えば、信号の数、信号の次元数などである。

次元とは、一般的な空間の広がり方の度合いを表す。

＜測距装置の外観構成及び取り付け例＞
図２を用いて、測距装置１００の外観構成及び取り付け例について説明する。図２は、測距装置の外観構成及び取り付け例を説明する図の一例である。図２では、測距装置１００がステレオカメラを有する場合を説明するが、これはステレオカメラによる測距を別途行ってもよいためである。また、ステレオカメラの画像をカメラ側の入力とすることもできるためである。しかし、本実施例ではカメラは１つあればよい。

測距装置１００は、ステレオカメラ部１１０と、レーザレーダ測距部１２０とを有する。ステレオカメラ部１１０は、右カメラ（第１の撮像装置）１１１と左カメラ（第２の撮像装置）１１２とを備え、レーザレーダ測距部１２０は、右カメラ１１２と左カメラ１１１との間に配置される。レーザレーダ測距部１２０とステレオカメラ部１１０との測定結果を融合（フュージョン）すれば、周囲環境の３次元情報をより高精度に取得することが可能になる。

右カメラ１１２と左カメラ１１１は、所定のフレーム周期で同期を取りそれぞれが撮像を行い、撮像画像を生成する。

レーザレーダ測距部１２０は、レーザ光を照射しその反射光を受光することで、ＴＯＦ（Time Of Flight）方式で照射位置（照射方向にある物体）までの距離を測定する。レーザレーダ測距部１２０はいわゆるLiDARにより距離を測定する。

測距装置１００は、例えば、車両１４０のフロントウィンドウの内側の天井よりの中央部分に取り付けられる。このとき、ステレオカメラ部１１０及びレーザレーダ測距部１２０は、いずれも車両１４０の前方方向に向かって取り付けられる。つまり、車両１４０において、測距装置１００は、ステレオカメラ部１１０の光軸と、レーザレーダ測距部１２０のレーザ光の照射方向の中心とが、同じ方向になるように取り付けられる。

なお、図２の取り付け位置は一例に過ぎず、車両のダッシュボード、ルーフ、又は、バンパ内などに取り付けられてもよい。また、図２の取り付け位置は車両の前方の３次元情報を取得するためのものであり、車両の右側方、左側方、又は後方の３次元情報を取得できるように取り付けられてもよい。

また、測距装置１００は図２のように１つの筐体に格納される他、いくつかの装置が分離して存在し各装置が通信して実現する測距システムでもよい。

＜測距装置のハードウェア構成＞
続いて、図３に基づき測距装置１００の全体的な構成例について説明する。図３は、測距装置１００の全体的な構成図の一例を示す図である。

測距装置１００は、レーザレーダ測距部１２０とステレオカメラ部１１０とが相互に必要な情報を送受信できるように構成される。ステレオカメラ部１１０は上記のように右カメラと左カメラに加え、基準画像と比較画像を処理して距離画像を出力するステレオカメラ部１１０を有している。

レーザレーダ測距部１２０は照射方向ごとの生信号をステレオカメラ部１１０に出力する。ステレオカメラ部１１０は照射方向ごとの生信号とカメラの画像を融合して詳細な距離画像を生成し、ＥＣＵ１９０（Electronic Control Unit：電子制御ユニット）に出力する。このように、レーザレーダ測距部１２０とステレオカメラ部１１０がフュージョンされることでより高精度な３次元情報の取得が可能になる。

図３では一例として、距離画像と基準画像がＥＣＵ１９０に送出されている。ＥＣＵ１９０は車両の電子制御ユニットである。なお、車載された測距装置１００を車載装置という。ＥＣＵ１９０は、測距装置１００が出力する距離画像と基準画像を用いて各種の運転支援を行う。基準画像については種々のパターンマッチングを行い先行車両、歩行者、白線、信号機の状態の認識等を行う。

運転支援は車両によって様々であるが、例えば、対象物の横位置が自車両の車幅と重なる場合、距離と相対速度から算出されるＴＴＣ(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。

また、ＥＣＵ１９０は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、ＥＣＵ１９０が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御や走行レーンから逸脱するおそれがあると走行方向を走行レーンに向けて変更する逸脱防止制御等を行うことができる。

また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報したりすることで被害を軽減する。

図４は、測距装置１００のハードウェア構成例を示す図である。測距装置１００は、センサステイ２０１と制御基板収納部２０２とを有する。センサステイ２０１には、左カメラ１１１、右カメラ１１２及び光学処理部１２１が取り付けられている。左カメラ１１１と右カメラ１１２に挟まれるこれらの直線上に光学処理部１２１が配置されることで、測距装置１００の小型化及び低コスト化を実現している。左カメラ１１１と右カメラ１１２の間隔を基線長というが、基線長が長い方が視差を稼ぎやすい。測距装置１００を小型化するには基線長を短くする必要があり、基線長を短くしながら精度を損なわないことが求められる。

制御基板収納部２０２には、レーザ信号処理部２４０、ステレオ画像演算部２５０、メモリ２６０、及び、ＭＰＵ（Micro Processing Unit）２７０が収納されている。レーザ信号処理部２４０と光学処理部１２１とを別体とすることで、測距装置１００の設計の自由度が増しサイズを小さくすることができる。

これにより、本実施形態では、光学処理部１２１とレーザ信号処理部２４０を有するレーザレーダ測距部１２０を左カメラ１１１と右カメラ１１２との間へ配置されている。

なお、図４の例では、レーザ信号処理部２４０とステレオ画像演算部２５０とを、別の回路基板として構成しているが、レーザ信号処理部２４０とステレオ画像演算部２５０とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。

続いて、センサステイ２０１側の各部について説明する。図４に示すように、左カメラ１１１は、カメラレンズ２１１と、撮像素子２１２と、センサ基板２１３とを備える。カメラレンズ２１１を介して入射された外部の光は、撮像素子２１２に受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板２１３において処理され、１フレームごとの撮像画像が生成される。生成された撮像画像は、比較画像として、順次、ステレオ画像演算部２５０に送信される。

なお、右カメラ１１２も、左カメラ１１１と同様の構成を有しており、同期制御信号に基づいて左カメラ１１１と同期して撮像する。撮像画像は、基準画像として、順次、ステレオ画像演算部２５０に送信される。

光学処理部１２１は、光源駆動回路２３１と、レーザ光源２３２と、照射レンズ２３３とを備える。光源駆動回路２３１は、レーザ信号処理部２４０からの同期制御信号に基づいて動作し、レーザ光源２３２に対して変調電流（光源発光信号）を印加する。これにより、レーザ光源２３２ではレーザ光を照射する。レーザ光源２３２より照射されたレーザ光は、照射レンズ２３３を介して外部に照射される。

なお、本実施形態では、レーザ光源２３２として、赤外半導体レーザダイオード（ＬＤ：Laser Diode）が用いられ、レーザ光として波長８００ｎｍ〜９５０ｎｍの近赤外光が照射されるものとする。また、レーザ光源２３２は、光源駆動回路２３１により印加された変調電流（光源発光信号）に応じて、パルス状の波形を有するレーザ光を周期的に照射するものとする。更に、レーザ光源２３２は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に照射するものとする。ただし、レーザ光の波長やパルス幅をこれらに限定するものではない。

レーザ光源２３２から照射されたパルス状のレーザ光は、照射レンズ２３３を介して照射ビームとして外部に照射された後、レーザ光の照射方向にある物体に照射される。なお、レーザ光源２３２から照射されるレーザ光は、照射レンズ２３３によって略平行光にコリメートされているため、照射された物体（オブジェクト）における照射範囲は、予め設定された微小面積に抑えられる。

光学処理部１２１は、更に、受光レンズ２３４と、受光素子２３５（受光部の一例）と、受光信号増幅回路２３６とを備える。照射方向の物体に照射されたレーザ光は、一様な方向に散乱する。そして、光学処理部１２１から照射されたレーザ光と同じ光路をたどって反射してくる光成分のみが、反射光として受光レンズ２３４を介して受光素子２３５に導かれる。

本実施形態では、受光素子２３５として、シリコンＰＩＮフォトダイオードやアバランシェフォトダイオードが用いられる。受光素子２３５は、反射光を光電変換することで反射信号を生成し、受光信号増幅回路２３６は、生成された反射信号を増幅した後、レーザ信号処理部２４０に送信する。

続いて、制御基板収納部２０２側の各部について説明する。レーザ信号処理部２４０は、光学処理部１２１より送信された反射信号に基づいて、照射方向と生信号（一次元の反射信号１４）をステレオ画像演算部２５０に送信する。

ステレオ画像演算部２５０は、例えば、ＦＰＧＡ（Field−Programmable gate array）や、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路により構成される。また、一般的なコンピュータの機能（ＣＰＵ、ＲＡＭ、ＲＯＭ、ＳＳＤ(Solid State Drive等）を有している。ステレオ画像演算部２５０は、左カメラ１１１、右カメラ１１２及びレーザ信号処理部２４０に対して、撮像タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。

また、ステレオ画像演算部２５０は、左カメラ１１１より送信された比較画像、又は、右カメラ１１２より送信された基準画像、及び、レーザ信号処理部２４０より送信された生信号を、学習の結果、得られた距離情報出力部（後述する）に入力して距離画像を生成する。なお、比較画像及び基準画像の両方を入力してもよい。ステレオ画像演算部２５０は、生成した距離画像をメモリ２６０に格納する。

メモリ２６０は、ステレオ画像演算部２５０にて生成された距離画像を格納する。また、メモリ２６０は、ステレオ画像演算部２５０及びＭＰＵ２７０が各種処理を実行する際のワークエリアを提供する。

ＭＰＵ２７０は、制御基板収納部２０２に収納された各部を制御すると共に、メモリ２６０に格納された距離画像を解析する解析処理を行う。

＜ステレオカメラによる測距原理＞
本実施例では、ステレオカメラによる測距はかならずしも必要ないが、図５を用いて、ステレオカメラによる測距原理について説明する。図５は、三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置１００から物体までの距離を測定する原理について説明する図である。

まず、右カメラ１１２，左カメラ１１１が平行等位に設置されているものとする。３次元空間内の物体Ｑ上のＳ点は、右カメラ１１２，左カメラ１１１の同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、比較画像Ｉａ中の点Ｓａ（ｘ，ｙ）及び基準画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）において撮像される。このとき、視差値ｄ（ここでは整数視差値）は、Ｓａ（ｘ，ｙ）とＳｂ（ｘ'，ｙ）とを用いて、式（１）のように表される。
ｄ＝ｘ'−ｘ …式（１）
図５に示すように、比較画像Ｉａ中の点Ｓａ（ｘ，ｙ）と右カメラ１１２から撮像面上におろした垂線の交点との距離をΔａにし、基準画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）と左カメラ１１１から撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄ＝Δａ＋Δｂとなる。

また、視差値ｄを用いることで、右カメラ１１２、左カメラ１１１と物体Ｑとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、カメラレンズ２１１の焦点位置とカメラレンズ２２１の焦点位置とを含む面から物体Ｑ上の特定点Ｓまでの距離である。カメラレンズ２１１及びカメラレンズ２２１の焦点距離Ｆ、カメラレンズ２１１及びカメラレンズ２２１の間の長さである基線長Ｂ、及び視差値ｄを用いて、式（２）により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×Ｆ）／ｄ …式（２）
この式（２）により、視差値ｄが大きいほど距離Ｚは小さく、視差値ｄが小さいほど距離Ｚは大きくなる。式（２）から明らかなように、カメラが小さくなるほど（基線長Ｂが小さくなるほど）、１整数視差に対応する距離が大きくなる（分解能が悪くなる）。

＜レーザ信号処理部による時間計測＞
次に、図６を用いてレーザ信号処理部２４０による時間計測の原理を説明する。図６は照射されたレーザ光が物体で反射して受光される時系列な強度を模式的に示す図である。図６に示すように反射信号は時間に対し強度が対応付けられた一次元のデータ（一次元信号）である。横軸は時間、縦軸は強度であるが、時間は物体までの距離に比例するため、時間と距離は同等の情報を有する。反射信号を検出するまでの時間によって距離が算出される。

物体までの距離を示す反射信号はピーク部８１、８２であり、それ以外はノイズである。従来は、最大ピーク位置を検出する、又は、閾値以上の位置を複数検出する（マルチ検出）などの方法でピーク付近の反射信号のみを抽出していた。これに対し、本実施例では図６に示す時系列な強度（＝生信号）そのものを使用する。これによりノイズも含まれるが正しい微弱信号も測距に使用できる。

＜機能について＞
次に、図７を用いて、ステレオ画像演算部２５０が有する機能について説明する。図７は、ステレオ画像演算部２５０が有する機能をブロックに分けて説明する機能ブロック図の一例である。ステレオ画像演算部２５０は画像データ取得部２１、信号変換部２２、反射信号取得部２３、及び距離情報出力部２４を有している。ステレオ画像演算部２５０が有する各機能は、ステレオ画像演算部２５０が有するＣＰＵが、ＳＳＤからＲＡＭに展開されたプログラムを実行することで実現される機能又は手段である。

画像データ取得部２１は、右カメラ１１２又は左カメラ１１１から基準画像又は比較画像を取得する。本実施例では視差演算を行わないので、右カメラ１１２又は左カメラ１１１から取得した基準画像又は比較画像を、単に画像データという。

反射信号取得部２３は、レーザ信号処理部２４０が出力するレーザ光の反射信号の生信号を取得する。生信号はすでにデジタル信号になっていてもよいし、反射信号取得部２３がデジタル信号に変換してもよい。

信号変換部２２はレーザ光の反射信号を二次元の強度データ１２に変換する。これにより、画像データと反射信号の次元数を合わせることができる。変換の詳細は後述する。

距離情報出力部２４は、画像データと強度データを入力として距離画像を出力する。この距離情報出力部２４は機械学習により構築された、例えば回帰モデルである。距離画像とは、画素ごとに距離情報を有する画像データであるが、本実施例では映像としての画素値は含まない（含んでいても構わない）。したがって、距離画像は２次元配列に距離情報が配置されたデータである。

＜学習時の構成例＞
続いて、図８、図９を用いて、学習時に使用される情報処理装置３０について説明する。図８は情報処理装置３０の概略斜視図である。情報処理装置３０はＨＤＤ（Hard Disk Drive）等に学習データを記憶しており、学習データを学習して距離情報出力部２４を構築する。

学習に使用する情報処理装置３０は例えばＰＣ（Personal Computer）やワークステーションなどであるが、情報処理装置３０は、ある程度の処理能力を備えたコンピュータであればよい。好ましくはＧＰＵ（Graphics Processing Unit）を有するとよい。ただし、タブレット装置、スマートフォンなどでもよい。

また、情報処理装置３０に、スタンドアローン形式でなくクライアント・サーバ形式が採用されていてもよい。この場合、クライアントが学習データをサーバに送信し、サーバが学習データを学習して距離情報出力部２４を構築する。

図９は、情報処理装置３０のハードウェア構成例を示す図である。図９に示されているように、情報処理装置３０は、コンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理装置３０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図９に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

図１０は、情報処理装置３０が有する機能をブロックに分けて説明する機能ブロック図の一例である。情報処理装置３０は、記憶部４９、学習部４２、及び距離情報出力部２４を有している。このうち距離情報出力部２４は学習により構築されるため点線で示した。情報処理装置３０が有する学習部４２、及び距離情報出力部２４は、情報処理装置３０が有するＣＰＵ５０１が、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムを実行することで実現される機能又は手段である。また、記憶部４９は、情報処理装置３０が有するＨＤ５０４又はＲＡＭ５０３の少なくとも一方に形成されている。

記憶部４１には、学習データ記憶部４３が構築されている。学習データ記憶部４３は、学習データを記憶している。本実施形態の学習データは、入力データとなる１つの画像データ及びｘ個の反射信号（生信号）、並びに、教師データとなる１つの正解距離画像、を１セットとする。この１セットの学習データが想定される広範なシーンを想定して複数個、用意されている。反射信号がｘ個とは、後述するようにレーザレーダ測距部１２０がｘ方向（ｘ軸に沿った方向。ｙ、ｚについても同じ。）をカバーするために走査した回数（ｘ方向にｘ画素あって１ピクセルずつ走査するとｘ個）である。

学習部４２は、深層学習を初めとする各種の機械学習のアプローチで、入力データと教師データの対応を学習する。学習部４２は、ステレオ画像演算部２５０と同様に、一次元の反射信号１４を二次元の強度データ１２に変換するため、信号変換部２２を有している。

教師データが正解距離画像なので、入力データに対し距離画像を推定する（出力する）距離情報出力部２４が学習の結果、得られる。上記のように、深層学習を採用すると、深層化することで距離情報出力部２４が複雑な特徴量を抽出できるようになる。学習方法の詳細は後述する。

＜信号変換部による反射信号の強度データへの変換＞
異なる形式の信号を単純に入力して学習しただけでは、下記の不都合が生じるおそれがある。
1. 入力データ同士の意味合いが異なることで、学習の収束(学習が完了するタイミング)が遅延する可能性がある
2. 1に加えて、学習が好適に進行しない(入力と出力の対応関係を学習できない)可能性がある
3. 深層学習は人間の認識を越える表現を獲得するため、内部がブラックボックスになるが、その「説明性(深層学習が出力した結果の判断根拠の説明)」をより複雑化し、より理解しづらいものとする。

そこで、本実施例では、以下に説明するように、学習の前段階で、所定の処理によりデータ整形を実施する。ここでいうデータの整形は、形式の異なる信号の次元数を一致させることである。

図１１を用いて、信号変換部２２による反射信号の強度データへの変換方法を説明する。図１１は、画像データと反射信号の関係を説明する図である。信号変換部２２は、一次元の反射信号１４を二次元の形式に変換して二次元の強度データ１２を生成する。これにより二次元の画像データ１３のｘ軸と強度データのｘ軸が対応付く。対応付くとは２つの信号の同じ軸同士が同じ方向の距離を表すことをいう。以下、詳細に説明する。

図１１（ａ）はレーザレーダ測距部１２０のスポット光が照射される実空間上の二次元領域を示す。レーザレーダ測距部１２０の照射方向（ｘ方向とｙ方向）は制御値であるため、二次元領域は計算で求められる。図１１（ａ）ではスポット光８６をｙ方向に縦長の形状とした。スポット光８６は横長でもよいし、点形状のスポット光を縦又は横に走査してもよい。

二次元領域には人８４と車８５が存在している。人８４と車８５が存在するあるｘ座標においてスポット光８６で得られる反射信号は、図１１（ｂ）に示すようになる。すなわち、横軸を距離（時間から算出された）、縦軸を強度とする散布図となり、一次元のデータとして表現できる。図１１（ａ）ではスポット光８６が複数の物体で反射するため、２つのピーク部８１，８２が存在する。

これに対し、左カメラ１１１又は右カメラ１１２が撮像する画像データは二次元データであるため、レーザレーダ測距部１２０の一次元の反射信号１４とは対応付いていない（信号の形式が異なる）。

そこで、図１１（ｃ）に示すように、レーザレーダ測距部１２０が、縦長のスポット光８６の上方向を画像データの上端に、下方向を画像データの下端に対応させて、スポット光８６を照射する。つまり、上下の照射範囲を画像データの高さと同じにする。レーザレーダ測距部１２０はスポット光８６を好ましくは1[pix]ずつ横方向に走査していく。つまり、実空間上の二次元領域が、縦長のスポット光８６でｘ方向に走査される。スポット光８６は重ねながら走査してよい。

そして、図１１（ｄ）に示すように、取得した反射信号の距離を画像データの縦軸（ｙ軸）に対応させて、複数の反射信号をｘ座標に対応付けて配置する（複数の反射信号をｘ方向に敷き詰める）。また、各スポット光で得られた強度がｘ座標とｚ座標に対応付けて保持される。ｚ座標は下ほど距離が小さく、上ほど距離が大きい。すなわち、反射信号が有する物体までの距離を二次元のうち高さ方向に、物体を水平に走査した場合の走査位置を二次元のうち横方向にそれぞれ対応させ、高さ方向（ｙ方向）と横方向（ｘ方向）に対応づけて反射信号の強度を配置する。

図１１(ｄ)の距離範囲８３は図１１(ｃ)のスポット光８６で測定される距離を示している。距離範囲８３は、任意の縦幅（ｙ）のスポット内に照射したレーザ光が物体で反射して返ってくることで得られた信号を意味しており、距離範囲８３は、所定の距離までの信号(波)データである。例えば、スポット光８６が画像単位系で[横×縦=1×10]の範囲に照射されたとして、その範囲に最長１２０[m]までの物体が存在すれば、変換後のzの最大値(図の場合、上端)は１２０[m]になり、その距離に至るまでの信号データ(ノイズ混入の可能性あり)が取得される。図１１（ｄ）に示すように二次元マップに変換する場合、最長の距離を所定の分解能(例えば、１[m]等)で離散化する。この場合、図１１（ｄ）の縦幅ｚは１２０となる。

したがって、図１１（ｄ）の横軸はｘ軸に相当し、縦軸は距離であり実空間ではｚ軸に相当する。図１１（ｄ）は、あるｘとｚに対し反射信号の強度が対応付けられた二次元の強度データ１２となる。このように、画像データのｘ軸と二次元に変換された反射信号の横方向が水平方向の長さ情報を表すように反射信号が変換される。

なお、これは俯瞰図（ｘｚ平面のどこに物体があるか）に相当する。図１１（ｄ）では人８４と車８５が存在する領域が示されているが、車８５の方が人８４よりも遠方でかつｘ方向に大きいという結果が得られている。図１１（ｄ）では明記されていないが、車と人以外にも反射信号の強度がｘとｚに対応付けて記録されている。

なお、強度データではｙ方向の情報が失われている。つまり、y座標は消えるが、一次元の反射信号１４を二次元データとして表現できたことになる。なお、縦長のスポット光８６を横方向に走査させながら俯瞰図を作成したが、横長のスポット光を縦方向に走査してもよい。その場合、画像データと強度データとでy軸同士が対応するようになる。この場合、画像データのｙ軸と二次元に変換された反射信号の高さ方向が高さ方向の長さ情報を表すように反射信号が変換される。

したがって、信号変換部２２は、画像データが有する複数次元（ここでは二次元）の方向の長さ情報と、形式が合わせられた反射信号が有する複数次元（ここでは二次元）の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換する。

また、最終結果として軸が揃っていれば任意の処理、パラメータを適用可能である。例えば、測距装置１００又は情報処理装置３０は後述する畳み込み演算を画像データに行ってよい。また、例えば、画像データと強度データのサイズは一致している必要がないため、ＲＧＢ画像の畳み込み演算時に、ストライドを２以上に設定してよい。また、畳み込み演算を複数適用することも可能である(サイズの異なるフィルタを使い、二回、畳み込みを行うなど)。同様に、強度データに関しても、畳込み演算を実施してから、学習してもよいし、距離画像の出力に使用してよい。

このように、本実施例の測距装置は、異なる形式の信号を学習部４２が学習しやすくなるように、まず次元数を合わせることで、二次元の画像データ１３と一次元の反射信号１４を二次元表現に統一する。統一する際、異なる形式の信号の同じ軸が同じ方向の距離を表すように、画像データ１３と一次元の反射信号１４の軸を対応付ける。これにより、学習の収束速度短縮、及び、学習確度の向上(入力に対する出力のより正確な対応付)が可能となる。

＜全体構成例＞
図１２は本実施例の測距装置１００の全体構成図を示す。図１１で説明したように、左カメラ１１１又は右カメラ１１２はｘ×ｙの二次元の画像データ１３を出力し、レーザレーダ測距部１２０が出力した一次元の反射信号１４は、ｘ×ｚの二次元の強度データ１２となる。二次元の画像データ１３と強度データ１２は、例えば、ニューラルネットワーク１１（本実施例では距離情報出力部２４がニューラルネットワーク１１に基づく演算を行う）に入力され、高精度高密度距離画像を出力する。

すなわち、距離情報出力部２４は、横方向がｘ軸で高さ方向がｙ軸の二次元の画像データと、横方向がｘ軸（又はｚ軸）で高さ方向がｚ軸（又はｙ軸）の二次元に変換された反射信号の強度を、高精度高密度距離画像に変換する。

なお、本実施例では、２つの異なる信号の形式の融合について説明しているが、二次元の各軸の少なくとも１つの次元の意味（ここではどの方向の距離を示すか）を合わせることができれば異なる信号の数に制限はない。例えば、左カメラ１１１又は右カメラ１１２が撮像した画像データ、レーザレーダ測距部１２０による反射信号、及び、音声データを融合することも可能である。

＜学習の一例＞
機械学習には、教師あり学習、教師なし学習及び強化学習の３つの手法がある。本実施例では教師あり学習が使用される。また、教師あり学習のうち主に深層学習について説明する。なお、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、本実施形態で説明する手法には限られない。

深層学習では、まず、パラメータをランダムに初期化したニューラルネットワーク１１を用意しておき、ニューラルネットワーク１１の入力層に対して入力データを入力する。パラメータとは後述するノード間の結合の重みである。入力層に入力された入力データは出力層に向けて伝達される。以後、この方向をforward又は順伝播と呼ぶ。次に、学習部４２は、ニューラルネットワーク１１の出力層が出力した出力データと正解として用意した画像データ（正解画像データ）、二クラスのどちらかを示す正解データ（１又は０）、又は、多クラス分類の正解データ（正解クラスのみが１のデータ）、との差異（Loss）を学習する。多クラス分類について補足すると、正解データとは、例えば猫の画像に対して、猫というラベルが学習データに付されていることをいう。そして、学習部４２は、最適化手法を用いて、入力方向とは逆方向に差異を伝播させる。以後、この方向をbackward又は逆伝播と呼ぶ。差異はパラメータの値に応じたものとなるため、差異の伝達量に応じてパラメータを更新する。

学習初期状態ではパラメータの学習が進んでいないため、ニューラルネットワーク１１はforward結果として正しい値を出力できない。例えば、１０個の多クラスに分類するニューラルネットワーク１１を考えた場合(ラベル1:猫、ラベル2:犬、ラベル3:鳥、…、ラベル10:魚)、ラベル1を付けておいた猫画像を入力データとしても出力結果としては、ラベル1以外のクラスに高い数値を出力する可能性がある。

出力データの最大値が1.0だとした場合に、[1.0、0.0、0.0、0.0、0.0、0.0、0.0、0.0、0.0、0.0]となる場合が最良ケース(正解)だが、学習できていないニューラルネットワーク１１の場合、他のクラスに対する数値が高くなる可能性がある。そこで、パラメータの学習では、各クラスに対する出力データと上記の正解データ（１又は０の値）の差異を所定の関数式(損失関数と呼ぶ)で評価し、この差異をLossとする。そして、その結果を、ニューラルネットワーク１１の出力層から入力層に流してパラメータを更新する。この時の流し方を決めるのが最適化関数であり、最も効果が大きい方向に対してbackwardする。これにより、次に同じ画像が入力された時に、より正確な出力結果を出力できるようにする。

上記手順を様々な画像を使って繰り返し行うことで、学習データに対して、徐々に正しい正解ラベルを出力できるニューラルネットワーク１１へ鍛えられていく。

なお、深層学習（Deep Neural Network）のうち、畳み込み（Convolutional）演算を使用する機械学習をＣＮＮ（Convolutional Neural Network）という。本実施形態では主にＣＮＮを使用するが、ＣＮＮの説明に当たって本実施例では深層学習（ＤＮＮ：Deep Neural Network）で特徴を学習する例を説明する。図１３は、入力層３１から出力層３３までＬ層が全結合されたニューラルネットワーク１１である。階層が深いニューラルネットワークをＤＮＮという。入力層３１と出力層３３の間の層を中間層３２という。階層数やノード３５の数等はあくまで一例である。

入力層３１には、これまで説明したように、画像データと強度データが入力される。したがって、入力層３１のノードの数は「ｘ×ｙ＋ｘ×ｚ」である。一方、出力層３３のノード数は、正解距離画像の画素数と等しい。仮に正解距離画像の画素数をＭ×Ｎとすると、出力層３３のノードの数は「Ｍ×Ｎ」である。

ニューラルネットワーク１１では、第ｌ層（ｌ(エル)：２〜Ｌ）の１つのノード３５に第ｌ−１層の全てのノード３５が接続され、第ｌ−１層のノード３５の出力ｚと結合の重みｗの積が第ｌ層のノードに入力される。数１はノード３５の出力信号の算出方法を示す。

数１において、w_ji ^(l,l−1)は第ｌ層ｊ番目と第l−1層ｉ番目のノード間の重みであり、u_j ^(l)は第ｌ層j番目のノードの値であり、z_i ^(l−1)は第l−1層i番目のノードの出力である。ｂはバイアスである。Iは第ｌ−1層のノードの数である。fはノードの活性化関数を意味する。活性化関数としては、ReLU、tanh、シグモイドなどが知られている。なお、入力層３１のノードは特徴ベクトルを第２層に伝えるだけでよく活性化されない。

数１に示すように、第ｌ層のノード３５では活性化関数で入力を０〜１の間の値に変換して第ｌ+1層のノード３５に出力する。この処理を入力層３１から出力層３３まで繰り返す。

本実施例では、出力層３３のノードの出力を正解距離画像の画素値に近づけるので、定量データを予測する回帰問題を扱う。したがって、出力層３３のノードの活性化関数は恒等写像（何も変換しない）でよい。出力層の各ノードは正解距離画像の対応する画素の画素値（ここでは距離情報）に近い値を出力するように学習される。

図１４はニューラルネットワーク１１の学習時の処理を説明するフローチャート図の一例である。

ニューラルネットワーク１１の学習時には、画像データと強度データ、及び、この２つのデータが得られた時の正解距離画像（教師データ）が用意されている。なお、図１３では正解距離画像の画素値を０〜２５５としているが、一般に０〜１に正規化されている。

出力層３３の各ノードの出力と教師データの差異を評価する損失関数が知られており、回帰モデルの場合の損失関数Ｅは数２で示すように二乗誤差が使用される場合が多い。

ニューラルネットワークは誤差逆伝播法と呼ばれる学習方法で学習される。学習の手順は以下のようになる。
Ｓ１．学習部４２は出力層のδ_j ^(L)を求める（Lは出力層を表す）。δ_j ^(L)は損失関数Ｅをu_j ^(L)で微分したものである。通常、δ_j ^(L)＝z_j−d_j でよい。なお、djはj番目のノードの正解の画素値（本実施例では距離）である。
Ｓ２．学習部４２は中間層ｌ（＝L−1、L−2、…2）のδ_j ^(l)を数３にしたがって求める。

Ｓ３．学習部４２は、数４を使って、各層の重みw_ji ^(l,l−1)による損失関数Ｅの微分を求める。

Ｓ４．学習部４２は、数５を使って、損失関数Ｅの微分でw_ji ^(l,l−1)を更新する。ηは１回の学習の学習量を示す学習計数である。

このように出力層３３の誤差（z_j−d_j）を出力層３３から入力層３１まで逆方向に伝播して重みw_ji ^(l,l−1)を更新する。この更新が学習に相当する。

＜動作手順＞
図１５は、情報処理装置３０が距離情報出力部２４を生成する手順を示すフローチャート図の一例である。

学習部４２が学習データ記憶部４３から画像データを取得する（Ｓ１１）。学習部４２が学習データ記憶部４３から反射信号を取得する（Ｓ１２）。

学習部４２の信号変換部２２はｘ個の反射信号を二次元の強度データ１２に変換する（Ｓ１３）。すなわち、１次元の反射信号をｚ方向に配置することを各ｘ座標で行う。

学習部４２の距離情報出力部２４がニューラルネットワーク１１に画像データと強度データを入力して距離画像を出力する（Ｓ１４）。

学習部４２がニューラルネットワーク１１の出力と正解距離画像との差異をニューラルネットワーク１１に逆伝播して距離情報出力部２４を生成する（Ｓ１５）。

図１５のフローチャート図は一度の更新のみについて記載されているが、実際には学習データに対して繰り返し実施される。

図１６は、本実施例の測距装置１００が距離画像を生成する手順を示すフローチャート図の一例である。図１６の処理は測距装置１００が距離画像を生成する際に繰り返し実行される。

画像データ取得部２１が左カメラ１１１又は右カメラ１１２から画像データを取得する（Ｓ２１）。反射信号取得部２３がレーザレーダ測距部１２０から反射信号を取得する（Ｓ２２）。ステップＳ２１とＳ２２は並行に実行されるとよいが、画像データ取得部２１が１つの画像データを取得する間に、反射信号取得部２３は、ｘ方向に縦長のスポット光８６がｘ回走査されたｘ個の反射信号を取得する。

信号変換部２２はｘ個の反射信号を二次元の強度データ１２に変換する（Ｓ２３）。すなわち、１次元の反射信号をｚ方向に配置することを各ｘ座標で行う。

機械学習で得られた距離情報出力部２４が画像データと強度データから距離画像を推定する（Ｓ２４）。

＜まとめ＞
以上説明したように、本実施例の測距装置は、一次元の反射信号１４を二次元の強度データ１２に変換する。これにより、異なる形式の信号の次元数を一致させ、少なくとも１つの次元の各データがどの方向の距離を示すかを一致させる。二次元の画像データ１３と一次元の反射信号１４を二次元表現に統一することができ、学習の収束速度短縮、及び、学習確度の向上(入力に対する出力のより正確な対応付)が可能となる。

次元数が一致し、更に、少なくとも１つの次元の各データがどの方向の距離を示すかを一致させた上で、例えば深層学習などの機械学習の手法を使って、入力データと出力データの対応を学習するが、深層化することで人間が考え出した事前設定論理を超える特徴量を抽出できる。つまり、異なる形式の信号が入力されても正解距離画像に近い出力データを得ることができる。したがって、左カメラ１１１又は右カメラ１１２の信号とレーザレーダ測距部１２０の信号の形式が異なっていても、異なる形式の信号をどのように融合するかという論理を人間が考え出さずに、広範なシーンに対しロバスト性が高い測距が可能になる。

実施例２では、画像データから特徴を抽出した特徴画像を生成して、強度データを重ね合わせて、画像データと強度データのx、y軸を対応付ける測距装置について説明する。x、y軸の二軸分の対応が担保されるため、より学習の収束速度短縮、及び、学習確度の向上に寄与する。

＜畳み込み演算について＞
本実施例では畳み込み演算を行うためまず、畳み込み演算について補足する。ただし、実施例１においても畳み込み演算を適用できる。

図１７はＣＮＮの構成例を示す。複数の学習データに、畳み込み層１でフィルタを使った畳み込みが行われ、畳み込み層２で畳み込み層１の結果にフィルタを使った畳み込みが行われている。同様の計算が出力層に向けて行われ、出力層３３の手前には全結合層８７が設けられている。このように、ＣＮＮはフィルタによる畳込み演算を行うことで例えばエッジ抽出フィルタをかけるような特徴抽出が可能になる。

出力層３３はここでは画像データの画素を出力する。なお、図１７は、物体認識用のネットワーク例であり、本実施形態の場合、画像を入力として、画像を出力するネットワーク構造となる。従って、入力数＝任意の画素数、出力数＝任意の画素数のような構成となり、本構成に限定されない。

全結合層８７は図１３に示したニューラルネットワークと同じ構造である。なお、ＣＮＮでは畳み込み層と畳み込み層の間にプーリング層が含まれる場合がある。プーリング層とは特徴画像のブロックごとに最大値や平均値等を抽出して新たな画像を生成する層である。

図１８を用いて、畳み込み演算について補足する。図１８は、フィルタと演算結果の関係を説明する図である。図１８（ａ）に示すように、畳み込み層１では、フィルタ８８と画像データ１３の所定領域間で畳み込み演算が実行される。畳み込み演算とは、画像データ１３とフィルタ８８の対応する画素間の積を計算し、それをフィルタサイズ分加算する計算である(例えば、3×3のフィルタを使って畳み込む場合、９つの積の加算値となる)。したがって、一つのフィルタで畳み込み演算した結果は、１つの数値８９となる。図１８（ａ）ではフィルタを底面とするピラミッドの頂点がその数値８９であり、図１８（ｂ）では右図の１点の画素の画素値となる。

これを画像左上から順に所定量だけフィルタをずらしていき、画像データ１３の全面に対して実行する。その結果、出力は二次元の特徴画像９０となり、これをfeature mapと呼ぶ。なお、フィルタをずらす量をストライドと呼び、ストライドの数を大きくすることで間引きと同じ効果を有するため、特徴画像のサイズはより小さくなる。

以上より、特徴画像９０はフィルタ数分生成されるため、畳み込み演算して得られる特徴画像９０の数は、フィルタ数と同じになる。フィルタ８８がＣ枚あれば、Ｃ個の特徴画像９０が得られる。図１８（ａ）では、特徴画像９０がフィルタ数であるＣ枚分重ねたブロック状となっている。

図１９は畳み込み演算に活性化関数を適用した畳み込み層を説明する図である。まず、カラー画像に対応するためにチャネル数Ｋの画像データが入力されるものとする。ＲＧＢの場合、Ｋ＝３である。この畳み込み層が第ｌ層であるとすると、入力される画像データ１３の画素はz_ijk ^(l−1)と表すことができる。

フィルタの種類（数）を３個とした場合、チャネル数Ｋと同じ数のフィルタ８８がそれぞれｃ個用意されている。ｃ＝０〜２でそれぞれフィルタによる演算が行われ、u_ijcを算出する。演算は下式の通りであり、チャネル内の画像データ１３とフィルタ８８の畳み込みを行った後、画素ごとに全チャネルにわたって加算する。

したがって、チャネル数Ｋに関わらず、あるフィルタについて出力されるのは１チャネルとなる。u_ijcが得られたので、活性化関数f()で活性化してz_ijcを得る。この値が畳み込み層の出力であり、特徴画像９０（feature map）となる。

畳み込み層の出力は、入力のサイズがW×W×Kの場合に、W×W×cとなる（ストライド１の場合）。これから、畳み込み層は、W×W×K個のノードをW×W×c個のノードに接続する単一層のニューラルネットワークと見なすことができる。ノードの重みはh_pqkcである。ただし、同一チャネルのノードで重みは共通になる。このように、畳み込み層の重みはフィルタそのものなので、誤差逆伝播によりファイルを最適化することができる。

＜機能について＞
図２０は、測距装置１００又は情報処理装置３０が有する機能をブロックに分けて説明する機能ブロック図の一例である。まず、図２０（ａ）は、ステレオ画像演算部２５０が有する機能をブロックに分けて説明する機能ブロック図の一例である。図２０（ａ）の説明では主に図６との相違を説明する。本実施例のステレオ画像演算部２５０はフィルタ処理部２５と積層部２６を新たに有している。フィルタ処理部２５は画像データに畳み込み演算を施し、特徴画像を生成すると共に特徴画像ブロックを生成する。積層部２６は信号変換部２２が変換した二次元の強度データ１２をコピーして積層することで、強度データブロックを生成する。これらの詳細は後述する。

図２０（ｂ）は情報処理装置３０が有する機能をブロックに分けて説明する機能ブロック図の一例である。図２０（ｂ）の説明では主に図１０との相違を説明する。学習部４２がフィルタ処理部２５と積層部２６を有している。学習部４２も学習時に測距装置１００と同じ処理を行うためこれらの機能は図２０（ａ）と同様でよい。

＜画像データ及び強度データのブロック化＞
実施例１では、一次元の反射信号１４を二次元の強度データ１２に変換し、画像データと次元数を統一し、少なくとも１つの次元の距離が同じ方向の距離となるように強度データ１２と画像データとを対応付けた。しかし、縦方向に関しては、画像データがｙ座標、強度データがｚ座標となり別の次元となっている。そこで、実施例２では、更に、強度データと画像データの縦方向のデータが何を表すかを対応させる。

ｘ、ｙの二軸分を揃える場合、二次元データのままでは揃えることができないため、本実施例では、次元拡張を行う。具体的には、x×yの画像データ(RGB各1枚と仮定するが形式、枚数は問わない)に対して、フィルタ処理部２５がc枚のフィルタ８８で畳み込み演算する。なお、フィルタ８８は、学習によって獲得してもよいし、事前に定義しておいてもよい。

図２１は、次元拡張を説明する図である。フィルタ処理部２５がx×yの画像データ１３をc枚のフィルタ８８で畳み込みすることで、ｃ枚の特徴画像９０が得られるので、図２１（ａ）に示すように、x×y×cの特徴画像ブロック９１に変換する。

次に、強度データ１２に関しては、図２１（ｂ）に示すように、積層部２６がx×zの強度データ１２をy個分、コピーして（複写して）縦方向（ｙ方向）に積み上げ、強度データブロック９４を生成する。したがって、強度データブロック９４のサイズは、x×y×zとなる。

なお、画像データ１３の高さｙに対し、スポット光８６の高さの方がより小さい場合、スポット光８６のｙよりも下と上の領域は未知領域(LiDARの照射光が当たっていない)であるため、強度データブロック９４を生成する際、強度データ１２は単にコピーするのではなく、スポット光８６の高さ以下及び高さ以上のｙ値の強度データ１２では全ての画素をゼロとしてもよい。こうすることで、単にコピーするよりも正解距離画像と近い強度データブロック９４を生成できる。

図２１（ａ）と図２１（ｂ）を比較すると分かるように、特徴画像ブロック９１と強度データブロック９４のx、yの二次元分の距離が同じ方向の距離を表すように対応付けることができた。なお、強度データ１２を横長のスポット光の縦方向の走査によって生成した場合、強度データ１２はy×zとなっているため、積み上げ方向は横方向（ｘ方向）となる。また、ｚとｃの大きさは一致する必要はない。

このように、積層部は、横方向がｘ軸で高さ方向がｚ軸の二次元の強度の横方向を画像データのｘ軸、高さ方向を画像データのｙ軸と対応させ、ｃ個の特徴画像が重ねて配置された奥行き方向と、二次元の強度のｚ軸とが対応するように二次元の強度を積層する。

最終結果として二次元分の情報が対応付けられていれば任意の処理、パラメータを適用可能である。例えば、両ブロックのサイズ（ｘとｘ、ｙとｙ、ｃとｚ）は一致している必要がないため、ＲＧＢの画像データ１３の畳み込み演算時に、ストライドを２以上に設定してもよい。また、畳み込み演算を複数適用することも可能である(サイズの異なるフィルタを使い、畳み込みを二回適用するなど)。同様に、強度データ１２に関しても、畳込み演算を実施した上で、y方向の積み上げを行っても良い。

＜機械学習に適用した場合の構成例＞
図２２は特徴画像ブロック９１と強度データブロック９４から距離画像を出力する測距装置１００又は情報処理装置３０の全体構成図である。図２２（ａ）は畳み込み層９２のフィルタも学習により最適化する場合の構成例である。左カメラ１１１又は右カメラ１１２が撮像する画像データ１３は畳み込み層９２（フィルタ処理部２５）により特徴画像ブロック９１に変換される。畳み込み層９２は上記のように単一層のニューラルネットワークとして扱え、ｘ×ｙの画像データ１３の入力に対し、ｘ×ｙ×ｃの画像データ（特徴画像ブロック９１）を出力する。ｘ×ｙ×ｃの特徴画像ブロック９１がニューラルネットワーク１１の入力層に入力される。

一方、レーザレーダ測距部１２０が測定する反射信号はｘ×ｙの強度データ１２に変換され、積層によりｘ×ｙ×ｚの強度データブロック９４が生成される。ｘ×ｙ×ｚの強度データがニューラルネットワーク１１の入力層に入力される。

学習時には、損失関数で求めた正解距離画像とニューラルネットワーク１１の出力層の差異がニューラルネットワーク１１の入力層まで逆伝播される。また、入力層まで伝播された差異が畳み込み層９２に伝達され、畳み込み層９２のフィルタが最適化される。

しかし、畳み込み層９２まで誤差逆伝播したとしても、奥行方向（ｃ方向）が距離ごとに並ぶ保証はない。ただし、奥行方向（ｃ方向）が距離ごと並ばなくても、距離の推定精度が向上する可能性はある。この点については実施例３で説明する。

図２２（ｂ）は畳み込み層９２のフィルタが事前に用意されている場合の構成例である。左カメラ１１１又は右カメラ１１２が撮像する画像データ１３は予め用意した畳み込み層９２のフィルタにより特徴画像ブロック９１に変換される。ｘ×ｙの画像データの入力に対し、ｘ×ｙ×ｃの画像データ（特徴画像ブロック９１）を出力する。ｘ×ｙ×ｃの特徴画像ブロック９１がニューラルネットワーク１１の入力層に入力される。レーザレーダ測距部１２０側の信号の流れは図２２（ａ）と同様である。

学習時には、損失関数で求めた正解距離画像とニューラルネットワーク１１の出力層の差異がニューラルネットワーク１１の入力層まで逆伝播される。

＜動作手順＞
図２３は、情報処理装置３０が距離情報出力部２４を生成する手順を示すフローチャート図の一例である。

学習部４２が学習データ記憶部４３から画像データを取得する（Ｓ３１）。学習部４２が学習データ記憶部４３から反射信号を取得する（Ｓ３２）。

学習部４２の信号変換部２２はｘ個の反射信号を二次元の強度データ１２に変換する（Ｓ３３）。すなわち、１次元の反射信号をｚ方向に配置することを各ｘ座標で行う。

学習部４２の積層部２６が強度データをｙ方向に積層して強度データブロック９４を生成する（Ｓ３４）。

学習部４２のフィルタ処理部２５が画像データを畳み込んで特徴画像ブロック９１を生成する（Ｓ３５）。

学習部４２の距離情報出力部２４がニューラルネットワークに特徴画像ブロック９１と強度データブロック９４を入力して距離画像を出力する（Ｓ３６）。

学習部４２がニューラルネットワーク１１の出力と正解距離画像との差異をニューラルネットワーク１１に逆伝播して距離情報出力部２４を生成する（Ｓ３７）。図２２（ａ）の構成では畳み込み層９２のフィルタ係数も学習する。図２３のフローチャート図は一度の更新のみについて記載されているが、実際には学習データに対して繰り返し実施される。

図２４は、本実施例の測距装置が距離画像を生成する手順を示すフローチャート図の一例である。図２４の処理は測距装置が距離画像を生成する際に繰り返し実行される。

画像データ取得部２１が左カメラ１１１又は右カメラ１１２から画像データを取得する（Ｓ４１）。反射信号取得部２３がレーザレーダ測距部１２０から反射信号を取得する（Ｓ４２）。ステップＳ４１とＳ４２は並行に実行されるとよいが、画像データ取得部２１が１つの画像データを取得する間に、反射信号取得部２３は、ｘ方向に縦長のスポット光がｘ回走査されたｘ個の反射信号を取得する。

信号変換部２２はｘ個の反射信号を二次元の強度データ１２に変換する（Ｓ４３）。すなわち、１次元の反射信号をｚ方向に配置することを各ｘ座標で行う。

積層部２６が強度データを積層して強度データブロック９４を生成する（Ｓ４４）。フィルタ処理部２５が画像データを畳み込んで特徴画像ブロック９１を生成する（Ｓ４５）。フィルタ処理部２５は機械学習で得られる場合がある。

機械学習で得られた距離情報出力部２４が特徴画像ブロック９１と強度データブロック９４から距離画像を推定する（Ｓ４６）。

＜まとめ＞
以上説明したように、画像データから特徴画像ブロック９１を生成し、強度データから強度データブロック９４を生成することで、画像データと強度データのx、y軸のそれぞれで同じ軸が同じ方向の距離を表すように対応付けることができる。y軸の二軸分の対応が担保されるため、請求項１の効果に加え、より学習の収束速度短縮、及び、学習確度の向上に寄与する。

なお、本実施例では、２つの異なる形式の信号の融合について説明したが、上記方法で２つのデータの次元数を合わせ２つの次元がどの方向の距離を示しているかを合わせることができれば信号の数に制限はない。例えば、左カメラ１１１又は右カメラ１１２が撮像する画像、レーザレーダ測距部１２０の反射信号、及び音声データなどを融合することも可能である。

実施例３では、特徴画像ブロック９１のｃ方向と強度データブロック９４のｚ方向を対応付けられるように損失関数を設計し、カメラ側の特徴画像ブロック９１の奥行方向のフィルタ数ｃと強度データブロック９４のz方向の距離が同じ奥行き方向の距離を表すように対応付ける。これにより、x、y、zの３つの次元を対応付けることができる。

x、y、zの３つの次元の対応が担保されるため、より学習の収束速度短縮、及び、学習確度の向上に寄与する。

＜機能について＞
図２５は情報処理装置３０が有する機能をブロックに分けて説明する機能ブロック図の一例である。測距装置１００の機能は図２０（ａ）に示した機能ブロック図を援用できるものとして説明する。すなわち、学習後の構成は同じであり、学習の仕組みが異なっている。

図２５の説明では主に図２０（ｂ）との相違を説明する。学習部４２が第二のフィルタ処理部４４、距離画像抽出部４５、及び、損失算出部４６を有している。第二のフィルタ処理部４４は、距離別のフィルタを有しており、特徴画像ブロック９１にフィルタを適用し、距離ごとの特徴画像を抽出する。距離画像抽出部４５は正解距離画像から距離ごとの正解距離画像を抽出する。損失算出部４６は、特徴画像ブロック９１のｃ方向と強度データブロック９４のｚ方向を対応付けるための損失を算出する。

＜損失関数の設計＞
実施例２により、二次元データのままでは縦方向の次元がどの距離を表すか一致しなかった２つの異なる形式の信号を、畳込み演算とy方向への積層を利用することで、縦方向の次元がどの距離を表すか一致させた。一方、実施例２により三次元のブロックを生成したが、ブロックの奥行方向の情報が、特徴画像ブロック９１では特徴画像の数であるcだが、強度データブロック９４では距離であるzであり、情報の不整合が生じていた。そこで、実施例３では、２つのブロックの奥行方向が表す情報も奥行き方向の距離に一致させる。

機械学習のメカニズムで説明したように、ニューラルネットワーク１１は出力結果と教師データとの差異が小さくなるようにパラメータを学習していく。この仕組を利用して、本実施例では、特徴画像ブロック９１の各特徴画像９０が近距離から遠距離に向かって配列するように（学習の結果、各特徴画像が近距離から遠距離に向かって並ぶ）損失関数を設計する。

図２６は損失関数の設計方法を模式的に説明する図である。図２６に示すように、特徴画像ブロック９１に対して畳み込み層９５（第二のフィルタ処理部４４に対応）が畳み込みを行う。畳み込み層９５は距離分のフィルタを有している。例えば、測距範囲を1〜100[m]とし、１[m]の分解能で測距する場合は１００種類のフィルタを有する。このフィルタの初期値は任意でよく必要であれば適宜学習される。

畳み込み層９５が畳込み演算を行うと、フィルタの数である距離分の特徴画像９６の群が生成される。正解距離画像は事前に用意されているので、距離画像抽出部４５が正解距離画像を特徴画像と同じ距離に分解して距離ごとの正解距離画像９７を生成する。距離画像抽出部４５は、例えば、
１[m]の距離値を持つ画素のみを残した距離ごとの正解距離画像９７
２[m]の距離値を持つ画素のみを残した距離ごとの正解距離画像９７
：
１００[m]の距離値を持つ画素のみを残した距離ごとの正解距離画像９７
をそれぞれ生成する。

なお、このような距離ごとの正解距離画像を生成するのは説明を分かりやすくするためであり、距離画像抽出部４５が１[m]、２[m]…１００[m]の距離を有する画素のみをそれぞれ抽出すればよい。

そして、損失算出部４６は各特徴画像９６と、この特徴画像９６に対応する距離ごとの正解距離画像９７との差異を計算する。この差異をLoss2（第二の差異の一例）とする。したがって、Loss2は、
１[m]に対応したフィルタで生成された特徴画像９６と１[m]に距離分解された距離ごとの正解距離画像９７の画素ごとの差の二乗和
２[m]に対応したフィルタで生成された特徴画像９６と２[m]に距離分解された距離ごと正解距離画像９７の画素ごとの差の二乗和
：
１００[m]に対応したフィルタで生成された特徴画像と１００[m]に距離分解された距離ごとの正解距離画像９７の画素ごとの差の二乗和
を合計したものである。

なお、Loss2の計算は２つの画像の対応する位置同士の差異を算出できればよいため、この方法に限定されない。例えば、Loss関数として、L1ノルム、L2ノルムなどを使ってもよい。

一方、実施例２と同様にニューラルネットワーク１１が出力する距離画像９９と正解距離画像９８との差異が求められる。この差異をLoss１（第一の差異の一例）とする。

そして、損失算出部４６は、Loss1とLoss2を重み付け加算和などで合成して、ニューラルネットワーク全体の差異loss_allとして算出する。
Loss_all = αLoss1+βLoss2
αとβはLoss１とLoss２の重み付け係数である。固定値であっても、学習により獲得してもよい。

学習部４２はこのLoss_allが最小になるように学習していく。したがって、Loss_allが小さくなる条件とは、距離情報出力部２４（ニューラルネットワーク１１）が推定した距離画像が正解に近づくと共に、特徴画像ブロック９１の手前から奥行方向の各特徴画像が、近距離から遠距離に向かうように配列することである。したがって、各特徴画像が近距離から遠距離に向かうように配列するという条件は、特徴画像ブロック９１の奥行方向（フィルタ数ｃ）と強度データブロック９４の奥行方向ｚが同じ奥行き方向の距離を表すことを意味する。

なお、第二のフィルタ処理部４４のフィルタの数は、例えば、０〜２０[m]、２１〜４０[m]、４１〜６０[m]、６１〜８０[m]、８１〜１００[m]と言った具合に、所定の範囲に分けてもよい(この場合、Loss2用に学習するフィルタ数は５種類となる。

また、第二のフィルタ処理部４４は距離分のフィルタを用意すると説明したが、第二のフィルタ処理部４４はなくてもよい。図２６に示すように、特徴画像ブロック９１の手前から奥行方向の各特徴画像が、近距離から遠距離に向かうように配列させるのは畳み込み層９２である。したがって、本実施例では畳み込み層９２のフィルタの学習が必須となる。畳み込み層９５がある場合も畳み込み層９５は特徴画像ブロック９１の手前から奥行方向へ各特徴画像を取り出すフィルタであればよい。なお、本実施例では、距離画像抽出部４５を用意したが、本モジュールはなくてもよい。その場合、Loss2算出時に、適した距離のみを抽出する条件文が代替利用可能である。その場合、畳み込み層９５で距離ごとの画像に分解する必要も無いため、本モジュールも不要となる。

＜機械学習に適用した場合の構成例＞
図２７は特徴画像ブロック９１と強度データブロック９４から距離画像を出力する情報処理装置３０の全体構成図である。なお、図２７では学習時の構成を示している。特徴画像ブロック９１が生成されるまでの処理は図２２（ａ）と同様でよい。特徴画像ブロック９１はニューラルネットワーク１１に入力されると共に、畳み込み層９５にも入力される。

畳み込み層９５は距離に対応したフィルタを有しており、各距離の特徴画像９６を出力する。各距離の特徴画像９６と距離ごとの正解距離画像９７との差異（Loss2）が算出される。実施例１で説明したように、回帰モデルの損失関数を二乗誤差とした場合、δ_j ^(L)＝z_j−d_j と計算されるので、これに則るとLoss2はδ_j ^(L)を各距離画像で合計したものとできる。δ_j ^(L)のｊは画素を表すため、損失算出部４６は各距離の特徴画像９６と距離ごとの正解距離画像９７との差異を画素ごとに合計する。

実施例２と同様に、特徴画像ブロック９１と強度データブロック９４が入力されたニューラルネットワーク１１の出力と正解距離画像との差異（Loss1）が算出される。Loss1はδ_j ^(L)＝z_j−d_jでよい。
Loss_allはδ_j ^(L)で表されるLoss1、及び、Loss1のｊに対応する画素の特徴画像９６と正解距離画像９７との差異を全ての距離で合計したLoss2の重み付き加算和である。

このようにして算出されたLoss_allが出力層３３から入力層３１及び畳み込み層９２まで逆伝播される。実施例２では特徴画像ブロックと強度データブロックのx、yは揃うが奥行き方向cとzの軸の意味合いまでは揃っていなかったが、本実施例ではｃ個の特徴画像の奥行き方向（ｃ方向）が、強度データブロック９４のｚ軸が示す距離を表すようになる。

なお、畳み込み層９５についてもLoss２を逆伝播させることでフィルタの係数を更新できる。

図２８は、特徴画像ブロック９１と強度データブロック９４から距離画像を出力する測距装置１００の全体構成図である。全体的な構成は図２２（ａ）と同様になる。ニューラルネットワークの学習が完了すると、畳み込み層９５は不要になるので、図２７と比較するとLoss2に関する構成がなくなっている。

また、図２２（ａ）では、特徴画像ブロック９１がｘ×ｙ×ｃの次元を有するのに対し、図２８では学習により特徴画像ブロック９１がｘ×ｙ×ｚの次元を有している。このように、本実施例では、損失関数を設計することで、特徴画像ブロック９１の奥行方向（ｃ方向）と強度データブロック９４の奥行方向（ｚ方向）が同じ奥行方向の距離を示すように対応付けることができる。

＜動作手順＞
図２９は、情報処理装置３０が距離情報出力部２４を生成する手順を示すフローチャート図の一例である。

学習部４２が学習データ記憶部４３から画像データを取得する（Ｓ５１）。学習部４２が学習データ記憶部４３から反射信号を取得する（Ｓ５２）。

学習部４２の信号変換部はｘ個の反射信号を二次元の強度データ１２に変換する（Ｓ５３）。すなわち、１次元の反射信号をｚ方向に配置することを各ｘ座標で行う。

学習部４２の積層部２６が強度データをｙ方向に積層して強度データブロック９４を生成する（Ｓ５４）。

学習部４２のフィルタ処理部２５が画像データを畳み込んで特徴画像ブロック９１を生成する（Ｓ５５）。

学習部４２の第二のフィルタ処理部４４が特徴画像ブロック９１に距離ごとのフィルタを適用して、距離ごとの特徴画像９６を生成する（Ｓ５６）。学習部４２の距離画像抽出部４５が正解距離画像から距離ごとの正解距離画像９７を抽出する。

学習部４２の損失算出部４６が、距離ごとの特徴画像９６と距離ごとの正解距離画像９７との差異（Loss2)を算出する（Ｓ５７）。

学習部４２の距離情報出力部２４がニューラルネットワーク１１に特徴画像ブロック９１と強度データブロック９４を入力して距離画像を出力する（Ｓ５８）。

学習部４２がニューラルネットワークの出力と正解距離画像との差異（Loss1)を算出する（Ｓ５９）。

学習部４２の損失算出部４６が、Loss1とLoss2からLoss_allを算出する（Ｓ６０）。

学習部４２がLoss_allをニューラルネットワークに逆伝播して距離情報出力部２４を生成する（Ｓ６１）。図２９のフローチャート図は一度の更新のみについて記載されているが、実際には学習データに対して繰り返し実施される。

図３０は、本実施例の測距装置が距離画像を生成する手順を示すフローチャート図の一例である。図３０の処理手順は、図２４と同じようになる。

＜まとめ＞
本実施例によれば、特徴画像ブロック９１のｃ方向と強度データブロックのｚ方向が同じ奥行方向の距離を表すように損失関数（Loss_all）を設計し、特徴画像ブロック９１の奥行方向のフィルタ数ｃと強度データブロック９４のz軸が同じ方向の距離を表すように対応付けることができる。これにより、特徴画像ブロック９１と強度データブロック９４のx、y、z軸をそれぞれ対応付けることができる。x、y、zの３つの次元で対応が担保されるため、より学習の収束速度短縮、及び、学習確度の向上に寄与する。

本実施例では、左カメラ１１１又は右カメラ１１２とレーザレーダ測距部１２０（LiDAR）以外の組み合わせで異なる形式の信号の融合例を説明する。

図３１は、ステレオカメラ部１１０とレーザレーダ測距部１２０の組み合わせで測距する測距装置の構成例を示す。図３１に示すように、カメラとしてステレオカメラ部１１０を使用することもできる。ただし、コスト的及びスペース的には単眼カメラの方が有利である。

図３２は、左カメラ１１１又は右カメラ１１２とレーダー３０１の組み合わせで測距する測距装置の構成例を示す。レーダー３０１は、ミリ波等の送信波を送信アンテナ３０１ａから送信し、受信アンテナ３０１ｂで受信した反射波と送信波と合成し、その波形解析により反射対象までの距離と方位を測定する。本実施形態では合成波の波形とカメラが撮像する画像という形式の異なる信号を融合できる。図３２の構成により、レーダー３０１の測距原理に基づいて長距離かつロバストな測距が可能になる。

図３３は、ステレオカメラ部１１０とレーダー３０１の組み合わせで測距する測距装置の構成例を示す。図３３に示すように、カメラとしてステレオカメラ部１１０を使用することもできる。

図３４は、左カメラ１１１又は右カメラ１１２とソナー３０２の組み合わせで測距する測距装置の構成例を示す。ソナー３０２は、超音波をトランスデューサから放出し、マイクロフォンで受信した反射波の波形解析により反射対象の距離を測定する。図３４の構成により、低コストかつ小型な筐体で測距装置を実現できる。

図３５は、ステレオカメラ部１１０とソナー３０２の組み合わせで測距する測距装置の構成例を示す。図３５に示すように、カメラとしてステレオカメラ部１１０を使用することもできる。

本実施例では測距装置１００が車両に搭載された場合を説明する。

＜車両への搭載例＞
図３６は、測距装置１００が搭載された車両１４０の構成例を示す。車両１４０はＣＡＮ（Controller Area Network）バスなどの車載ネットワークＮＷを介して通信するカーナビゲーションシステム１１００、エンジンＥＣＵ（Electronic Control Unit）１２００、表示システム１０００、ブレーキＥＣＵ１３００、ステアリングＥＣＵ１４００、及び測距装置１００を有している。

カーナビゲーションシステム１１００は、ＧＰＳに代表されるＧＮＳＳ（Global Navigation Satellite System）を有し、車両１４０の現在地を検出して電子地図上に車両の位置を表示する。また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両の乗員に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム１１００は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両１４０に送信したり経路検索を行ったりすることができる。

エンジンＥＣＵ１２００は、各センサからの情報と車両の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構などの制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照するなどして変速の必要性を判断する。エンジンＥＣＵ１２００はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。

ブレーキＥＣＵ１３００は、ＡＢＳ（Antilock Braking System）制御、先行車への追従走行時の制動制御、障害物とのＴＴＣ（Time To Collision）に基づく自動制動、坂道発進時の停止状態維持制御など、車両の乗員によるブレーキペダルの操作がなくても車両の各車輪ごとに制動力を制御する。

ステアリングＥＣＵ１４００は、車両の乗員によるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は、障害物との接近を回避する方向に、車両の乗員によるハンドル操作がなくても操舵する。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

また、上記実施形態では、ステレオカメラ部１１０とレーザレーダ測距部１２０とが一体的に構成される場合について示したが、ステレオカメラ部１１０とレーザレーダ測距部１２０とは、別体により構成されてもよい。

また、上記実施形態では、レーザ信号処理部２４０とステレオ画像演算部２５０が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、レーザ信号処理部２４０、ステレオ画像演算部２５０の機能を実現するソフトウェアのプログラムコードが記録された記憶媒体を情報処理装置が実行することで本実施形態の機能を実現してもよい。

また、図７などの構成例は、測距装置１００による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。測距装置１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、上記実施形態では、測距装置１００を車両１４０に取り付ける場合について説明した。しかしながら、測距装置１００の取り付け先は車両１４０に限定されず、バイク、自転車、車椅子、農業用の耕運機等であってもよい。あるいは、自律移動ロボット等の移動体であってもよい。あるいは、ドローンなどの飛行体でもよい。あるいは、ＦＡ（Factory Automation）において固定設置される工業用ロボット等であってもよい。

３０ 情報処理装置
１００ 測距装置

特開２０１５−１４３６７９号公報

Claims (18)

1. 形式が異なる複数の信号に基づいて物体までの距離を測定する測距装置において、
   物体までの距離に関する第二の信号の形式を、画像に関する第一の信号の形式に合わせる信号変換部と、
   前記第一の信号及び前記信号変換部により形式が合わせられた前記第二の信号に基づいて距離情報を出力する距離情報出力部と、を有し、
   前記信号変換部は、前記第一の信号が有する複数次元の方向の長さ情報と、形式が合わせられた前記第二の信号が有する複数次元の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換することを特徴とする測距装置。
2. 前記第一の信号は画像データであり、
   前記第二の信号は物体までの距離を表す一次元のデータであり、
   前記信号変換部は、一次元の前記第二の信号の次元数を二次元の前記第一の信号の次元数に合わせることを特徴とする請求項１に記載の測距装置。
3. 前記信号変換部は、一次元の前記第二の信号が有する物体までの距離を二次元のうち高さ方向に、物体を水平に走査した場合の走査位置を二次元のうち横方向に、それぞれ対応させ、高さ方向と横方向に対応づけて前記第二の信号の強度を配置することを特徴とする請求項２に記載の測距装置。
4. 前記信号変換部は、前記画像データのｘ軸と二次元に変換された前記第二の信号の横方向が水平方向の長さ情報を表すか、又は、前記画像データのｙ軸と二次元に変換された前記第二の信号の縦方向が高さ方向の長さ情報を表すように変換することを特徴とする請求項３に記載の測距装置。
5. 前記距離情報出力部は、
   前記信号変換部により形式が合わせられた前記第二の信号及び前記第一の信号と、予め用意された距離情報とを対応付けるパラメータを有し、
   前記信号変換部により形式が合わせられた前記第二の信号及び前記第一の信号が入力されると、前記パラメータに基づいて前記距離情報を出力することを特徴とする請求項１〜４のいずれか１項に記載の測距装置。
6. 前記パラメータは深層学習により生成されたものであり、
   前記距離情報出力部は、横方向がｘ軸で高さ方向がｙ軸の二次元の画像データと、横方向がｘ軸（又はｚ軸）で高さ方向がｚ軸（又はｙ軸）の二次元に変換された前記第二の信号の強度を、距離情報に変換することを特徴とする請求項５に記載の測距装置。
7. 前記画像データにフィルタ処理を施して特徴が抽出されたｃ個の特徴画像を生成するフィルタ処理部と、
   前記信号変換部が二次元に変換した、横方向がｘ軸で高さ方向がｚ軸の二次元の強度データの横方向を前記画像データのｘ軸、高さ方向を前記画像データのｙ軸と対応させ、
   前記ｃ個の特徴画像が重ねて配置された奥行き方向と、前記二次元の強度データのｚ軸とが対応するように前記二次元の強度を積層する積層部と、
   を有することを特徴とする請求項６に記載の測距装置。
8. 前記距離情報出力部は、
   横方向がｘ軸で高さ方向がｙ軸のｃ個の二次元の画像データが奥行き方向に配置された特徴画像、及び、横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データと、予め用意された距離情報とを対応付けるパラメータを有し、
   横方向がｘ軸で高さ方向がｙ軸のｃ個の二次元の画像データが奥行き方向に配置された特徴画像、及び、横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データが入力されると、前記パラメータに基づいて前記距離情報を出力することを特徴とする請求項７に記載の測距装置。
9. 前記距離情報出力部は、
   前記画像データ及び横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データと、予め用意された距離情報とを対応付けるパラメータを有し、
   前記画像データ及び横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データが入力されると、前記パラメータに基づいて前記距離情報を出力することを特徴とする請求項７に記載の測距装置。
10. 前記距離情報出力部は、
    前記画像データ、及び、横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データと、予め用意された距離情報とを対応付けるパラメータを有し、
    前記パラメータは、
    前記画像データ及び横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データの入力に対し前記パラメータに基づいて出力された前記距離情報と、予め用意された距離情報との第一の差異、及び、
    前記ｃ個の特徴画像が距離ごとに抽出された特徴画像と、予め用意された距離情報から前記特徴画像を抽出した距離ごとに抽出された距離情報との第二の差異、
    との重み付け加算和に基づいて機械学習により学習されたものであることを特徴とする請求項７に記載の測距装置。
11. 前記パラメータが深層学習により生成されることで、
    前記距離情報出力部に、横方向がｘ軸で高さ方向がｙ軸のｃ個の特徴画像が奥行き方向に配置された特徴画像ブロック、及び、横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データブロックが入力された場合、
    前記特徴画像ブロックの前記奥行き方向と、前記強度データブロックのｚ軸が示す奥行き方向の距離とが対応付けられることを特徴とする請求項１０に記載の測距装置。
12. 形式が異なる複数の信号と物体までの距離情報との対応を学習する情報処理装置において、
    物体までの距離に関する第二の信号の形式を、画像に関する第一の信号の形式に合わせる信号変換部と、
    前記第一の信号及び前記信号変換部により形式が合わせられた前記第二の信号がネットワークに入力した場合に得られる出力と、予め用意された距離情報との差異に応じて前記ネットワークのパラメータを更新する学習部と、を有し
    前記信号変換部は、前記第一の信号が有する複数次元の方向の長さ情報と、形式が合わせられた前記第二の信号が有する複数次元の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換することを特徴とする情報処理装置。
13. 前記第一の信号は画像データであり、
    前記第二の信号は物体までの距離を表す一次元のデータであり、
    前記学習部は、
    前記画像データにフィルタ処理を施して特徴が抽出されたｃ個の特徴画像を生成するフィルタ処理部と、
    前記信号変換部が二次元に変換した、横方向がｘ軸で高さ方向がｚ軸の二次元の強度データの横方向を前記画像データのｘ軸、高さ方向を前記画像データのｙ軸と対応させ、
    前記ｃ個の特徴画像が重ねて配置された奥行き方向と、前記二次元の強度データのｚ軸とが対応するように前記二次元の強度を積層する積層部と、を有し、
    横方向がｘ軸で高さ方向がｙ軸のｃ個の特徴画像が奥行き方向に配置された特徴画像ブロック、及び、横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データブロックがネットワークに入力して得られる出力と、予め用意された距離情報との差異に応じて前記ネットワークのパラメータを更新することを特徴とする請求項１２に記載の情報処理装置。
14. 前記学習部は、
    前記画像データ及び横方向がｘ軸で高さ方向がｙ軸で奥行き方向がｚ軸の強度データの入力に対し前記パラメータに基づいて出力された前記距離情報と、予め用意された距離情報との第一の差異、及び、
    前記ｃ個の特徴画像が距離ごとに抽出された特徴画像と、予め用意された距離情報から前記特徴画像を抽出した距離ごとに抽出された距離情報との第二の差異、
    との重み付け加算和に基づいて前記ネットワークのパラメータを更新することを特徴とする請求項１３に記載の情報処理装置。
15. 形式が異なる複数の信号に基づいて物体までの距離を測定する測距装置が行う測距方法において、
    信号変換部が、物体までの距離に関する第二の信号の形式を、画像に関する第一の信号の形式に合わせる第一のステップと、
    距離情報出力部が、前記第一の信号及び前記信号変換部により形式が合わせられた前記第二の信号に基づいて距離情報を出力する第二のステップと、を有し、
    前記第一のステップにおいて、前記信号変換部は、前記第一の信号が有する複数次元の方向の長さ情報と、形式が合わせられた前記第二の信号が有する複数次元の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換することを特徴とする測距方法。
16. 形式が異なる複数の信号に基づいて物体までの距離を測定する車載装置において、
    物体までの距離に関する第二の信号の形式を、画像に関する第一の信号の形式に合わせる信号変換部と、
    前記第一の信号及び前記信号変換部により形式が合わせられた前記第二の信号に基づいて距離情報を出力する距離情報出力部と、を有し、
    前記信号変換部は、前記第一の信号が有する複数次元の方向の長さ情報と、形式が合わせられた前記第二の信号が有する複数次元の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換し、
    前記距離情報を移動体の制御ユニットに送出する車載装置。
17. 請求項１６に記載された車載装置を有する移動体。
18. 形式が異なる複数の信号に基づいて物体までの距離を測定する測距システムにおいて、
    物体までの距離に関する第二の信号の形式を、画像に関する第一の信号の形式に合わせる信号変換部と、
    前記第一の信号及び前記信号変換部により形式が合わせられた前記第二の信号に基づいて距離情報を出力する距離情報出力部と、を有し、
    前記信号変換部は、前記第一の信号が有する複数次元の方向の長さ情報と、形式が合わせられた前記第二の信号が有する複数次元の方向の長さ情報のうち、少なくとも一つの次元の方向の長さ情報が同じ方向の長さ情報を表すように変換することを特徴とする測距システム。

Images