JP2021060661A - 認識装置、認識方法、およびプログラム - Google Patents

Abstract

【課題】三次元空間内に物標が存在する領域を低負荷で認識することができる認識装置、認識方法、およびプログラムを提供すること。【解決手段】車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、二次元画像内に認識した物標を含む第１領域を設定する第１領域設定部と、物標を構成する面のうち基準面に合致する第２領域を設定する第２領域設定部と、第１領域および第２領域に基づいて、物標の領域を所定形状で表した第３領域を設定する第３領域設定部と、を備える認識装置。【選択図】図１

Description

本発明は、認識装置、認識方法、およびプログラムに関する。

従来、車両前方の撮影画像から抽出条件に合致する物体画像を抽出し、抽出した物体画像の三次元空間の座標を算出して抽出した物体に関する情報を表示させる表示制御装置に関する技術が開示されている（例えば、特許文献１参照）。

国際公開第２０１７／００２２０９号

一般的に、三次元空間に存在する物体に対する処理を行うためには、例えば、ステレオカメラなどによって三次元で画像を撮影する必要があり、撮影した三次元の画像に基づいて物体が存在する位置を求める処理は、負荷が高いものである。

本発明は、上記の課題認識に基づいてなされたものであり、三次元空間内に物標が存在する領域を低負荷で認識することができる認識装置、認識方法、およびプログラムを提供することを目的としている。

この発明に係る認識装置、認識方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る認識装置は、車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、前記二次元画像内に前記認識した前記物標を含む第１領域を設定する第１領域設定部と、前記物標を構成する面のうち基準面に合致する第２領域を設定する第２領域設定部と、前記第１領域および前記第２領域に基づいて、前記物標の領域を所定形状で表した第３領域を設定する第３領域設定部と、を備える認識装置である。

（２）：上記（１）の態様において、前記物標は、前記車両の周囲に存在する他車両であり、前記基準面は、前記他車両の前面または後面である。

（３）：上記（１）または（２）の態様において、前記第１領域設定部は、前記二次元画像を入力すると前記第１領域を出力するように学習された第１学習済みモデルに対して、前記二次元画像を入力することで、前記第１領域を得て設定し、前記第２領域設定部は、前記第１領域の画像を入力すると前記第２領域を出力するように学習された第２学習済みモデルに対して、前記第１領域の画像を入力することで、前記第２領域を得て設定するものである。

（４）：上記（１）から（３）のうちいずれか一態様において、前記第３領域設定部は、前記第１領域内における前記第２領域と対角の位置に前記第２領域と同じまたは遠近法を考慮して縮小したサイズの第４領域を設定し、前記第２領域と前記第４領域とのそれぞれの対応する角部の点を直線で結ぶことで、立体形状が表現された前記第３領域を設定するものである。

（５）：上記（４）の態様において、前記物標は、前記車両の周囲に存在する他車両であり、前記第３領域における前記第２領域と前記第４領域とのそれぞれの対応する角部の点を結んだ直線に基づいて、前記他車両の移動方向を推定する第１推定部を更に備えるものである。

（６）：上記（４）の態様において、前記物標は、前記車両の周囲に存在する他車両であり、前記第３領域における前記第２領域と前記第４領域とのそれぞれの対応する角部の点を結んだ直線に基づいて、前記他車両の長手方向の長さを推定する第２推定部を更に備えるものである。

（７）：また、この発明の一態様に係る認識方法は、コンピュータが、車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、前記二次元画像内に前記認識した前記物標を含む第１領域を設定し、前記物標を構成する面のうち基準面に合致する第２領域を設定し、前記第１領域および前記第２領域に基づいて、前記物標の領域を所定形状で表した第３領域を設定する、認識方法である。

（８）：また、この発明の一態様に係るプログラムは、コンピュータに、車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識させ、前記二次元画像内に前記認識した前記物標を含む第１領域を設定させ、前記物標を構成する面のうち基準面に合致する第２領域を設定させ、前記第１領域および前記第２領域に基づいて、前記物標の領域を所定形状で表した第３領域を設定させる、プログラムである。

上述した（１）〜（８）の態様によれば、三次元空間内に物標が存在する領域を低負荷で認識することができる。

第１実施形態に係る認識装置１００を備える認識システム１の概略構成図である。 全体領域学習済みモデルＴＭ１の生成方法の一例を模式的に示す図である。 基準領域学習済みモデルＴＭ２の生成方法の一例を模式的に示す図である。 認識装置１００により実行される処理の流れの一例を示すフローチャートである。 認識装置１００におけるそれぞれの処理を模式的に示した図である。 認識装置１００において設定した他車両の物標領域を重畳して表示させる画像の一例を示す図である。 認識装置１００において設定した他車両の物標領域に基づいて、他車両の状態を推定した状態の一例を模式的に示す図である。 第２実施形態に係る認識装置の機能を搭載した車両システム１Ａの構成図である。 第１制御部２２０および第２制御部２６０の機能構成図である。 第１実施形態の認識装置１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の認識装置、認識方法、およびプログラムの実施形態について説明する。以下の説明においては、本発明の認識装置を含む認識システムが車両に搭載される場合の一例について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合には、左右を逆に読み替えればよい。

＜第１実施形態＞
［認識システム１の全体構成］
図１は、第１実施形態に係る認識装置１００を備える認識システム１の概略構成図である。認識システム１が搭載される車両は、例えば、四輪の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

認識システム１は、例えば、カメラ１０と、認識装置１００と、表示装置２０とを備える。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、認識システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周囲を撮像する。カメラ１０は、自車両Ｍの周囲を撮像した二次元の画像（以下、二次元画像）を、認識装置１００に出力する。カメラ１０は、特許請求の範囲における「撮像装置」の一例である。

認識装置１００は、カメラ１０により出力された二次元画像に基づいて、自車両Ｍの周囲に存在する他車両を物標として認識し、認識した他車両の領域を所定の形状で表す。例えば、認識装置１００は、他車両の領域を立体形状に擬したオブジェクトで囲むことにより、三次元空間内で他車両を認識しているように表す。以下の説明においては、認識装置１００が認識した他車両の領域を「物標領域」という。認識装置１００は、カメラ１０により出力された二次元画像に認識した他車両の物標領域を重畳した画像を表示装置２０に出力して、認識した他車両を自車両Ｍの運転者に示させる。物標領域は、特許請求の範囲における「第３領域」の一例である。

認識装置１００は、例えば、全体領域設定部１１０と、基準領域設定部１３０と、物標領域設定部１５０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラム（ソフトウェア）は、予めＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで、記憶装置にインストールされてもよい。また、プログラム（ソフトウェア）は、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶装置にインストールされてもよい。

全体領域設定部１１０は、カメラ１０により出力された二次元画像に写された物標を認識し、二次元画像内で認識した他車両を含む領域を設定する。全体領域設定部１１０が認識する物標としては、例えば、自車両Ｍの周囲に存在する他車両の他に、歩行者、自転車、静止物などがある。他車両には、自車両Ｍが走行している走行車線と同じ走行車線または隣接する走行車線を走行している他車両や、対向車線を走行する他車両（いわゆる、対向車両）、駐車車両などが含まれる。静止物には、信号機や標識などが含まれる。全体領域設定部１１０は、認識した物標のうち、他車両の領域を設定する。全体領域設定部１１０は、認識した他車両の領域の全体を囲むような矩形形状の領域を設定する。なお、全体領域設定部１１０が設定する矩形形状の領域は、部分的に他車両以外の領域を含んでもよい。全体領域設定部１１０は、予め学習された学習済みモデル（以下、全体領域学習済みモデル）を用いて、他車両の領域を設定する。全体領域設定部１１０が用いる全体領域学習済みモデルは、例えば、既存の機械学習のアルゴリズムによって、二次元画像を入力すると他車両を含む領域を出力するように予め学習された学習済みモデルである。全体領域設定部１１０は、全体領域学習済みモデルに対してカメラ１０により出力された二次元画像を入力することによって、他車両の領域を得て、他車両の領域の全体を囲むような矩形形状の領域を設定する。以下の説明においては、全体領域設定部１１０が設定する他車両の領域を「全体領域」という。なお、全体領域設定部１１０が全体領域を設定するための用いる全体領域学習済みモデルは、例えば、既存の画像処理の技術において二次元画像内に他車両の領域の全体を囲むようなバウンディングボックスを設定するモデルであるということもできる。全体領域設定部１１０は、特許請求の範囲における「第１領域設定部」の一例である。全体領域は、特許請求の範囲における「第１領域」の一例である。

全体領域設定部１１０は、カメラ１０により出力された二次元画像と、設定した全体領域に関する情報とを、基準領域設定部１３０および物標領域設定部１５０に出力する。例えば、全体領域設定部１１０は、カメラ１０により出力された二次元画像と、設定した全体領域の範囲を表す二次元画像内の座標の情報とを、物標領域設定部１５０に出力する。全体領域設定部１１０は、二次元画像から設定した全体領域の範囲を切り出した画像（以下、全体領域画像）を、基準領域設定部１３０に出力してもよい。

ここで、全体領域設定部１１０が全体領域を設定するために用いる全体領域学習済みモデルについて説明する。図２は、全体領域学習済みモデルＴＭ１の生成方法の一例を模式的に示す図である。全体領域学習済みモデルＴＭ１は、例えば、ＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）などの技術を用いて、二次元画像が入力されると一以上の全体領域を出力するように学習されたモデルである。ＣＮＮは、畳み込み（Convolution）層やプーリング（Pooling）層などのいくつかの層が繋がれたニューラルネットワークである。ＤＮＮは、任意の形態の層が多層に連結されたニューラルネットワークである。全体領域学習済みモデルＴＭ１は、例えば、不図示の演算装置などよる全体領域機械学習モデルＬＭ１を用いた機械学習によって生成される。不図示の演算装置は、機械学習によって全体領域学習済みモデルＴＭ１を生成する際に、全体領域機械学習モデルＬＭ１の入力側に全体領域学習データＤＩ１を入力データとして入力し、全体領域機械学習モデルＬＭ１の出力側に全体領域正解データＤＯ１を教師データとして入力する。全体領域機械学習モデルＬＭ１は、例えば、ＣＮＮやＤＮＮなどの形態を有し、暫定的にパラメータが設定されたモデルである。全体領域学習データＤＩ１は、例えば、カメラ１０によって撮像されることが想定される複数の二次元画像の画像データである。全体領域正解データＤＯ１は、全体領域学習データＤＩ１の中で設定されるべき全体領域の位置を示すデータである。不図示の演算装置は、全体領域学習データＤＩ１を全体領域機械学習モデルＬＭ１に入力した際の全体領域機械学習モデルＬＭ１の出力が、全体領域正解データＤＯ１により示された全体領域に近づくように、全体領域機械学習モデルＬＭ１のパラメータを調整する。パラメータを調整する方法としては、例えば、バックプロパゲーション法（誤差逆伝播法）などの手法がある。不図示の演算装置によってパラメータが調整された全体領域機械学習モデルＬＭ１が、全体領域学習済みモデルＴＭ１となる。全体領域学習済みモデルＴＭ１は、特許請求の範囲における「第１学習済みモデル」の一例である。

図１に戻り、基準領域設定部１３０は、全体領域設定部１１０により出力された全体領域画像に含まれる他車両における所定の面を基準面として認識し、認識した基準面の領域を設定する。基準領域設定部１３０が認識する基準面は、他車両の形状が直方体であると考えた場合に自車両Ｍから近い側（自車両Ｍに関して近い側）の面であり、例えば、他車両の前面（フロント側の面）または後面（リア側の面）である。他車両の前面は、例えば、他車両のヘッドライト部を認識することにより、例え夜間であっても認識することができる。また、他車両の後面は、例えば、他車両のテールライト部を認識することにより、例え夜間であっても認識することができる。基準領域設定部１３０は、全体領域内で他車両を構成する面のうち基準面（基準面に合致する面）を認識し、認識した基準面を表す矩形形状の領域を設定する。基準面を表す矩形形状の領域は、部分的に他車両の内部に入り込んでもよいし、部分的に他車両以外の領域を含んでもよい。基準領域設定部１３０は、予め学習された学習済みモデル（以下、基準領域学習済みモデル）を用いて、基準面を表す領域を設定する。基準領域設定部１３０が用いる基準領域学習済みモデルは、例えば、既存の機械学習のアルゴリズムによって、全体領域画像を入力すると基準面の領域を出力するように予め学習された学習済みモデルである。基準領域設定部１３０は、基準領域学習済みモデルに対して全体領域設定部１１０により出力された全体領域画像を入力することによって、他車両の基準面の領域を得て、他車両の基準面を表す矩形形状の領域を設定する。以下の説明においては、基準領域設定部１３０が設定する他車両の基準面の領域を「基準領域」という。なお、基準領域設定部１３０が基準領域を設定するための用いる基準領域学習済みモデルは、例えば、既存の画像処理の技術において全体領域画像の他車両を構成する面のうち基準面を囲むようなバウンディングボックスを設定するモデルであるということもできる。基準領域設定部１３０は、特許請求の範囲における「第２領域設定部」の一例である。基準領域は、特許請求の範囲における「第２領域」の一例である。

基準領域設定部１３０は、設定した基準領域に関する情報を、物標領域設定部１５０に出力する。例えば、基準領域設定部１３０は、設定した基準領域の範囲を表す全体領域画像内の座標の情報を、物標領域設定部１５０に出力する。なお、基準領域設定部１３０が出力する基準領域に関する情報には、基準領域が他車両の前面の領域であるか後面の領域であるかを表す情報も含まれている。

ここで、基準領域設定部１３０が基準領域を設定するために用いる基準領域学習済みモデルについて説明する。図３は、基準領域学習済みモデルＴＭ２の生成方法の一例を模式的に示す図である。基準領域学習済みモデルＴＭ２は、例えば、ＣＮＮやＤＮＮなどの技術を用いて、全体領域画像が入力されると一以上の基準領域を出力するように学習されたモデルである。基準領域学習済みモデルＴＭ２は、例えば、不図示の演算装置などよる基準領域機械学習モデルＬＭ２を用いた機械学習によって生成される。不図示の演算装置は、機械学習によって基準領域学習済みモデルＴＭ２を生成する際に、基準領域機械学習モデルＬＭ２の入力側に基準領域学習データＤＩ２を入力データとして入力し、基準領域機械学習モデルＬＭ２の出力側に基準領域正解データＤＯ２を教師データとして入力する。基準領域機械学習モデルＬＭ２は、例えば、ＣＮＮやＤＮＮなどの形態を有し、暫定的にパラメータが設定されたモデルである。基準領域学習データＤＩ２は、例えば、全体領域設定部１１０から出力されることが想定される複数の全体領域画像の画像データである。基準領域正解データＤＯ２は、基準領域学習データＤＩ２の中で設定されるべき基準領域の位置を示すデータである。不図示の演算装置は、基準領域学習データＤＩ２を基準領域機械学習モデルＬＭ２に入力した際の基準領域機械学習モデルＬＭ２の出力が、基準領域正解データＤＯ２により示された基準領域に近づくように、基準領域機械学習モデルＬＭ２のパラメータを調整する。パラメータを調整する方法としては、全体領域機械学習モデルＬＭ１のパラメータを調整する方法と同様に、例えば、バックプロパゲーション法（誤差逆伝播法）などの手法がある。不図示の演算装置によってパラメータが調整された基準領域機械学習モデルＬＭ２が、基準領域学習済みモデルＴＭ２となる。基準領域学習済みモデルＴＭ２は、特許請求の範囲における「第２学習済みモデル」の一例である。

物標領域設定部１５０は、全体領域設定部１１０により出力された全体領域に関する情報と、基準領域設定部１３０により出力された基準領域に関する情報とに基づいて、二次元画像に写されている他車両の領域を、立体形状に擬したオブジェクトで囲むことにより、三次元空間内で他車両を認識しているように表す物標領域を設定する。このとき、物標領域設定部１５０は、全体領域内において、基準領域と同じ大きさ（サイズ）の領域（以下、複製領域）を全体領域内の対角の位置に設定し、基準領域と複製領域とのそれぞれにおける対応する角部の点を直線（以下、対角直線）で結ぶことによって、他車両の領域が立体形状で表現された物標領域を設定する。言い換えれば、物標領域設定部１５０は、全体領域のうち、基準領域、複製領域、および対角直線で囲まれていない領域を除外した物標領域を設定する。詳しくは、図４を用いて説明する。基準領域設定部１３０は、全体領域内に複製領域を設定する際に、遠近法を考慮して基準領域のサイズを縮小したサイズの複製領域を設定してもよい。なお、物標領域設定部１５０が設定する物標領域は、全体領域設定部１１０が設定したバウンディングボックス（基準領域）と、基準領域設定部１３０が設定したバウンディングボックス（複製領域）とを対角直線で結んだ三次元ボックスであるということもできる。物標領域設定部１５０は、特許請求の範囲における「第３領域設定部」の一例である。複製領域は、特許請求の範囲における「第４領域」の一例である。

物標領域設定部１５０は、設定した物標領域を全体領域設定部１１０により出力された二次元画像に重畳した画像を、表示装置２０に出力する。

また、物標領域設定部１５０は、例えば、推定部１５１を備える。推定部１５１は、設定した物標領域に基づいて、他車両の状態を推定する。他車両の状態とは、自車両Ｍと他車両との間の距離や、自車両Ｍの進行方向を基準とした場合に対する他車両の移動方向、自車両Ｍの進行方向を基準とした場合に対する他車両の長手方向（自車両Ｍから離れる奥行き方向）の長さなどを含む。自車両Ｍと他車両との間の距離は、例えば、基準領域のサイズに基づいて推定することができる。他車両の移動方向や他車両の長手方向の長さは、物標領域を設定する際に基準領域と複製領域とのそれぞれにおける対応する角部の点を結んだ対角直線に基づいて推定することができる。推定部１５１は、遠近法を考慮して、推定した他車両の移動方向や他車両の長手方向の長さを補正するようにしてもよい。

例えば、推定部１５１は、自車両Ｍの進行方向を表す仮想的な直線と、基準領域と複製領域とを結んだ対角直線の延長線とが略平行である場合、他車両の移動方向は自車両Ｍの進行方向と同じまたは逆の方向であると推定する。略平行とは、自車両Ｍの進行方向を表す仮想的な直線と、基準領域と複製領域とを結んだ対角直線の延長線との間の角度が、数度以内の範囲内に収まることをいう。また、例えば、推定部１５１は、自車両Ｍの進行方向を表す仮想的な直線と、基準領域と複製領域とを結んだ対角直線の延長線とが交差する場合、他車両の移動方向は自車両Ｍの進行方向と交差する方向であると推定する。交差するとは、自車両Ｍの進行方向を表す仮想的な直線と、基準領域と複製領域とを結んだ対角直線の延長線とが任意の位置で交わることをいう。また、例えば、推定部１５１は、基準領域が他車両の前面の領域であるか後面の領域であるかの情報に基づいて、他車両をさらに詳細に推定することもできる。例えば、推定部１５１は、他車両の移動方向が自車両Ｍの進行方向と同じまたは逆の方向であると推定したときに、基準領域が他車両の前面である場合には、他車両は、例えば、対向車両などのように自車両Ｍとすれ違う車両であると推定し、基準領域が他車両の後面である場合には、他車両は、例えば、前走車両などのように自車両Ｍの前方を走行する車両であると推定することができる。また、例えば、推定部１５１は、他車両の移動方向は自車両Ｍの進行方向と交差する方向であると推定したときに、基準領域が他車両の前面である場合には、他車両は、例えば、自車両Ｍの前方の交差点を通過または曲がってくる車両などのように自車両Ｍの前方を横切る可能性がある車両であると推定し、基準領域が他車両の後面である場合には、他車両は、例えば、自車両Ｍが走行している走行車線に進入してくる可能性がある車両であると推定することができる。このように他車両の移動方向を推定する推定部１５１は、特許請求の範囲における「第１推定部」の一例である。

また、例えば、推定部１５１は、基準領域と複製領域とを結んだ対角直線の長さを、他車両の長手方向の長さ（例えば、車長）として推定する。この場合、推定部１５１は、例えば、他車両が駐車車両である場合、推定した自車両Ｍと他車両との間の距離、および他車両の長手方向の長さに基づいて、自車両Ｍが駐車車両の位置に到達する時間や、駐車車両を通過するまでに要する時間などをさらに詳細に推定することもできる。このように他車両の長手方向の長さを推定する推定部１５１は、特許請求の範囲における「第２推定部」の一例である。

物標領域設定部１５０は、推定部１５１が推定した他車両の状態を表す情報を全体領域設定部１１０により出力された二次元画像に重畳した画像を、表示装置２０に出力してもよい。また、物標領域設定部１５０は、推定部１５１が推定した他車両の状態を表す情報を、不図示の他の構成要素に出力してもよい。他の構成要素としては、例えば、自車両Ｍにおける自動運転を制御する構成要素や、自車両Ｍにおける運転を支援する構成要素が考えられる。この場合、これらの構成要素は、物標領域設定部１５０により出力された他車両の状態を表す情報に基づいて、自動運転や運転支援の制御をすることができる。

表示装置２０は、認識装置１００により出力された画像を表示する。表示装置２０は、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬ（Electroluminescence）表示装置などである。表示装置２０は、例えば、自車両Ｍが備えるナビゲーション装置の表示装置であってもよい。また、表示装置２０は、例えば、自車両Ｍのフロント窓ガラスの面内に画像や情報を表示させる表示装置（いわゆる、ヘッドアップディスプレイ装置）であってもよい。運転者は、表示装置２０が表示した画像を見ることによって、自車両Ｍが他車両の存在を認識していることを、視覚的に知ることができる。

［認識装置１００の処理一例］
図４は、認識装置１００により実行される処理の流れの一例を示すフローチャートである。また、図５は、認識装置１００におけるそれぞれの処理を模式的に示した図である。図５には、図４に示したフローチャートにおいて対応するステップ番号を示している。以下に説明する認識装置１００の処理の流れにおいては、図４に示したフローチャートを説明し、図５に示した処理を適宜参照する。

図４に示したフローチャートの処理は、カメラ１０が１フレームの二次元画像を撮像する所定の時間間隔ごとに繰り返し実行される。また、認識装置１００は、カメラ１０により出力された二次元画像に写されたそれぞれの他車両を物標として認識し、認識したそれぞれの他車両の物標領域を設定する。しかし、以下の説明においては、説明を容易にするため、カメラ１０が撮像した二次元画像には１台の他車両のみが写されているものとする。

カメラ１０が１フレームの二次元画像を撮像すると、全体領域設定部１１０は、カメラ１０により出力された二次元画像を取得する（ステップＳ１００）。

次に、全体領域設定部１１０は、取得した二次元画像に写された他車両を認識し、認識した他車両を含む全体領域を設定する（ステップＳ１０２）。図５においては、全体領域設定部１１０が、二次元画像に写された他車両に対して全体領域ＲＡを設定した状態を示している。全体領域設定部１１０は、取得した二次元画像と、設定した全体領域ＲＡの範囲を表す情報とを、物標領域設定部１５０に出力する。また、全体領域設定部１１０は、取得した二次元画像から設定した全体領域ＲＡの範囲を切り出した全体領域画像を、基準領域設定部１３０に出力する。

次に、基準領域設定部１３０は、全体領域設定部１１０により出力された全体領域画像に含まれる他車両の基準面を認識し、全体領域内に認識した基準面を表す基準領域を設定する（ステップＳ１０４）。図５においては、基準領域設定部１３０が、二次元画像に写された他車両に対して設定された全体領域ＲＡ内に基準領域ＲＢを設定した状態を示している。基準領域設定部１３０は、全体領域画像内において設定した基準領域ＲＢの範囲を表す情報を、物標領域設定部１５０に出力する。

次に、物標領域設定部１５０は、全体領域設定部１１０が設定した全体領域内に、基準領域設定部１３０が設定した基準領域に対応するサイズ（基準領域と同じサイズ、または遠近法を考慮して基準領域のサイズを縮小したサイズ）の複製領域を、全体領域内の対角の位置に設定する（ステップＳ１０６）。図５においては、物標領域設定部１５０が、全体領域ＲＡ内に基準領域ＲＢと同じサイズの複製領域ＲＣを、全体領域ＲＡ内の対角の位置に設定した状態を示している。

その後、物標領域設定部１５０は、基準領域と複製領域とのそれぞれにおける対応する角部の点を対角直線で結ぶ（ステップＳ１０８）。図５においては、物標領域設定部１５０が、基準領域ＲＢと複製領域ＲＣとにおけるそれぞれの角部の点同士を、対角直線ＳＬ１〜対角直線ＳＬ３のそれぞれで結んだ状態を示している。より具体的には、基準領域ＲＢの右下の角部の点と複製領域ＲＣの右下の角部の点とを対角直線ＳＬ１で結び、基準領域ＲＢの右上の角部の点と複製領域ＲＣの右上の角部の点とを対角直線ＳＬ２で結び、基準領域ＲＢの左上の角部の点と複製領域ＲＣの左上の角部の点とを対角直線ＳＬ３で結んだ状態を示している。

なお、図５に示したように、基準領域ＲＢの左下の角部の点と複製領域ＲＣの左下の角部の点とは、対角直線で結んでいない。これは、この後に物標領域を設定した際に、基準領域ＲＢの左下の角部の点と複製領域ＲＣの左下の角部の点とを結ぶ対角直線は、他車両によって隠れる直線であり、以降の処理に対しても影響がないためである。そして、認識装置１００（より具体的には、物標領域設定部１５０）では、基準領域ＲＢの左下の角部の点と複製領域ＲＣの左下の角部の点とを対角直線で結ぶ処理の負荷を軽減することができるからである。

その後、物標領域設定部１５０は、基準領域、複製領域、および基準領域と複製領域とを結んだ対角直線に基づいて、他車両の物標領域を設定する（ステップＳ１１０）。図５においては、物標領域設定部１５０が、他車両の物標領域ＲＯを設定した状態を示している。

その後、物標領域設定部１５０は、設定した物標領域を取得した二次元画像に重畳した画像を、表示装置２０に出力する（ステップＳ１１２）。これにより、表示装置２０は、物標領域設定部１５０により出力された画像を表示する。そして、認識装置１００は、カメラ１０が撮像した現在の二次元画像に対する本フローチャートの処理を終了する。

このような構成および処理によって、認識装置１００は、カメラ１０が撮像した現在の二次元画像に基づいて、自車両Ｍの周囲に存在する他車両を三次元空間内で認識しているように表現した物標領域を設定する。そして、認識装置１００は、認識した物標領域をカメラ１０が撮像した現在の二次元画像に重畳した画像を表示装置２０に表示させることにより、自車両Ｍが他車両の存在を三次元空間内で認識しているように、視覚的に運転者に知らせる。これにより、認識システム１が搭載される自車両Ｍでは、運転者が、表示装置２０が表示した画像を見ることによって、自車両Ｍが他車両の存在を認識していることを、視覚的に知ることができる。

［物標領域の表示例］
図６は、認識装置１００において設定した他車両の物標領域を重畳して表示させる画像の一例を示す図である。図６には、認識装置１００が、自車両Ｍの前方に存在する３台の他車両を認識して設定したそれぞれの物標領域ＲＯを重畳した画像ＩＭの一例を示している。より具体的には、図６には、認識装置１００が、自車両Ｍが走行している走行車線に隣接する左側の走行車線を走行している他車両（以下、他車両Ｖ１）に対して設定した物標領域ＲＯ１と、同じ走行車線で前方を走行している他車両（以下、他車両Ｖ２）に対して設定した物標領域ＲＯ２と、隣接する反対側（右側）の走行車線を走行している他車両（以下、他車両Ｖ３）に対して設定した物標領域ＲＯ３とを重畳した画像ＩＭの一例を示している。

認識装置１００は、上述したように、図４に示したフローチャートの処理をカメラ１０により出力された二次元画像に写されたそれぞれの他車両（他車両Ｖ１〜他車両Ｖ３）に対して行うことにより、認識したそれぞれの他車両の物標領域を設定する。

なお、図６に示したように、認識装置１００（より具体的には、物標領域設定部１５０）が他車両Ｖ２に対して設定する物標領域ＲＯ２は、他車両Ｖ２の領域を立体形状で囲んだ物標領域とはなっていない。これは、他車両Ｖ２は、自車両Ｍと同じ走行車線の前方を走行している他車両であるため、基準領域設定部１３０は、全体領域設定部１１０が設定した全体領域の全ての領域が基準面であると認識して、基準領域を設定したことによるものである。この場合であっても、基準領域設定部１３０は、設定した基準領域が他車両Ｖ２の後面であることを表す情報を含んだ基準領域に関する情報を物標領域設定部１５０に出力するため、例えば、物標領域設定部１５０が備える推定部１５１は、自車両Ｍと他車両との間の距離や、自車両Ｍの進行方向に対する他車両の移動方向などの他車両Ｖ２の状態を推定することができる。言い換えれば、物標領域設定部１５０が備える推定部１５１は、他車両Ｖ２の長手方向の長さ（例えば、車長）以外の状態は推定することができる。

［他車両の状態の推定例］
図７は、認識装置１００において設定した他車両の物標領域に基づいて、他車両の状態を推定した状態の一例を模式的に示す図である。図７には、認識装置１００が、自車両Ｍの前方に存在する４台の他車両を認識して設定したそれぞれの物標領域ＲＯに基づいて、それぞれの他車両の状態を推定した状態の一例を示している。なお、図７では、説明を容易にするため、自車両Ｍおよび他車両の状態や、他車両に対してそれぞれ設定した物標領域ＲＯを、二次元の平面上に示している。そして、図７では、認識装置１００（より具体的には、推定部１５１）が推定する自車両Ｍと他車両との間の距離の図示は省略している。

図７には、認識装置１００が、自車両Ｍが走行している走行車線と同じ走行車線で前方を走行している他車両（以下、他車両Ｖ４）を認識して物標領域ＲＯ４を設定した状態の一例を示している。なお、他車両Ｖ４は、自車両Ｍの前を走行している先行車両であるため、認識装置１００が設定する物標領域ＲＯ４は、図６に示した他車両Ｖ２と同様に、他車両Ｖ４の領域を立体形状で囲んだ物標領域とはなっていない。この場合、推定部１５１は、自車両Ｍと他車両Ｖ４との間の距離や、自車両Ｍの進行方向ＤＭを基準とした他車両Ｖ４の移動方向などを推定する。図７には、推定部１５１が推定した他車両Ｖ４の移動方向Ｄ４の一例を示している。

また、図７には、認識装置１００が、自車両Ｍが走行している走行車線に交差する他の走行車線との交差点で右折するために隣接する反対側（右側）の走行車線から進入してくる可能性がある他車両（以下、他車両Ｖ５）を認識して物標領域ＲＯ５を設定した状態の一例を示している。この場合、推定部１５１は、自車両Ｍと他車両Ｖ５との間の距離や、自車両Ｍの進行方向ＤＭを基準とした他車両Ｖ５の移動方向、他車両Ｖ５の長手方向の長さ（車長）などを推定する。図７には、推定部１５１が推定した他車両Ｖ５の移動方向Ｄ５および車長Ｌ５の一例を示している。

また、図７には、認識装置１００が、自車両Ｍが走行している走行車線に交差する他の走行車線（左側）から交差点に進入してくる可能性がある他車両（以下、他車両Ｖ６）を認識して物標領域ＲＯ６を設定した状態の一例を示している。この場合、推定部１５１は、自車両Ｍと他車両Ｖ６との間の距離や、自車両Ｍの進行方向ＤＭを基準とした他車両Ｖ６の移動方向、他車両Ｖ６の車長などを推定する。図７には、推定部１５１が推定した他車両Ｖ６の移動方向Ｄ６および車長Ｌ６の一例を示している。

また、図７には、認識装置１００が、自車両Ｍが走行している走行車線とは離れている反対側（右側）の走行車線を走行している他車両（以下、他車両Ｖ７）を認識して物標領域ＲＯ７を設定した状態の一例を示している。この場合、推定部１５１は、自車両Ｍと他車両Ｖ７との間の距離や、自車両Ｍの進行方向ＤＭを基準とした他車両Ｖ７の移動方向、他車両Ｖ７の車長などを推定する。図７には、推定部１５１が推定した他車両Ｖ７の移動方向Ｄ７および車長Ｌ７の一例を示している。

上記に述べたとおり、第１実施形態の認識装置１００によれば、カメラ１０が撮像した二次元画像に写された他車両を認識して全体領域を設定した後、全体領域内の他車両における基準面を認識して基準領域を設定し、全体領域と基準領域とに基づいて物標領域を設定する。これにより、第１実施形態の認識装置１００では、カメラ１０が撮像した二次元画像に基づいて、自車両Ｍの周囲に存在する他車両を三次元空間内で認識しているように表現した物標領域を設定することができる。言い換えれば、第１実施形態の認識装置１００では、カメラ１０によって三次元の画像を撮像しなくとも、他車両を三次元空間内で認識しているように表現した物標領域を設定することができる。

しかも、第１実施形態の認識装置１００では、全体領域と基準領域とのそれぞれを設定するために用いる学習済みモデルは、ともに二次元画像からそれぞれの領域を設定するためのモデルである。言い換えれば、全体領域を設定するために用いる全体領域学習済みモデルと、基準領域を設定するために用いる基準領域学習済みモデルとは、処理の負荷が低い（軽い）モデルである。このため、第１実施形態の認識装置１００では、三次元空間内に存在する他車両を、低負荷で認識することができる。なお、全体領域と基準領域とのそれぞれを設定するために用いる学習済みモデルの一方または両方として、既存の学習済みモデルを利用してもよい。この場合であっても、学習済みモデルにおける処理の負荷は低くなり（軽くなり）、第１実施形態の認識装置１００は、三次元空間内に存在する他車両を低負荷で認識することができる。

これらのことにより、第１実施形態の認識装置１００では、認識した物標領域をカメラ１０が撮像した二次元画像に重畳した画像を表示装置２０に表示させることにより、低負荷の処理で、自車両Ｍが他車両の存在を三次元空間内で認識しているように、運転者に視覚的に知らせることができる。さらに、第１実施形態の認識装置１００では、設定した物標領域に基づいて、他車両の状態を推定し、推定した他車両の状態を表す情報を二次元画像に重畳した画像を表示装置２０に表示させることもできる。これにより、第１実施形態の認識装置１００を備える認識システム１が搭載される自車両Ｍでは、運転者が、表示装置２０が表示した画像を見ることによって、自車両Ｍが他車両の存在を認識している（例えば、リスクとして認識している）ことを、視覚的に知ることができる。

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態は、第１実施形態の認識装置１００の機能を、自動運転を行う車両システムに搭載した場合の一例である。

［車両システムの全体構成］
図８は、第２実施形態に係る認識装置の機能を搭載した車両システム１Ａの構成図である。車両システム１Ａが搭載される車両も、第１実施形態の認識装置１００を備える認識システム１が搭載される車両と同様に、例えば、二輪や三輪、四輪等の車両である。

車両システム１Ａは、例えば、カメラ１０と、レーダ装置３２と、ファインダ３４と、物標認識装置３６と、通信装置４０と、ＨＭＩ（Human Machine Interface）５０と、車両センサ６０と、ナビゲーション装置７０と、ＭＰＵ（Map Positioning Unit）８０と、運転操作子９０と、自動運転制御装置（automated driving control device）２００と、走行駆動力出力装置３００と、ブレーキ装置３１０と、ステアリング装置３２０とを備える。なお、図８に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

車両システム１Ａが備える構成要素には、第１実施形態の認識装置１００および認識装置１００を備える認識システム１と同様の構成要素を含んでいる。以下の説明においては、車両システム１Ａが備える構成要素において、第１実施形態の認識装置１００および認識装置１００を備える認識システム１と同様の構成要素には同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。

レーダ装置３２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物標によって反射された電波（反射波）を検出して少なくとも物標の位置（距離および方位）を検出する。レーダ装置３２は、自車両Ｍの任意の箇所に取り付けられる。

ファインダ３４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ３４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ３４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ３４は、自車両Ｍの任意の箇所に取り付けられる。

物標認識装置３６は、カメラ１０、レーダ装置３２、およびファインダ３４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物標の位置、種類、速度などを認識する。物標認識装置３６は、認識結果を自動運転制御装置２００に出力する。物標認識装置３６は、カメラ１０、レーダ装置３２、およびファインダ３４の検出結果をそのまま自動運転制御装置２００に出力してよい。車両システム１Ａから物標認識装置３６が省略されてもよい。

通信装置４０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ５０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ５０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。ＨＭＩ５０が備える表示装置は、第１実施形態の認識装置１００を備える認識システム１における表示装置２０と共通化されてもよい。

車両センサ６０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置７０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機７１と、ナビＨＭＩ７２と、経路決定部７３とを備える。ナビゲーション装置７０は、ＨＤＤやフラッシュメモリなどの記憶装置に第１地図情報７４を保持している。ＧＮＳＳ受信機７１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。ナビＨＭＩ７２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ７２が備える表示装置は、第１実施形態の認識装置１００を備える認識システム１における表示装置２０と共通化されてもよい。また、ナビＨＭＩ７２は、前述したＨＭＩ５０と一部または全部が共通化されてもよい。経路決定部７３は、例えば、ＧＮＳＳ受信機７１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ７２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報７４を参照して決定する。第１地図情報７４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図上経路は、ＭＰＵ８０に出力される。

ＭＰＵ８０は、例えば、推奨車線決定部８１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報８２を保持している。推奨車線決定部８１は、ナビゲーション装置７０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報８２を参照してブロックごとに推奨車線を決定する。推奨車線決定部８１は、左から何番目の車線を走行するといった決定を行う。

第２地図情報８２は、第１地図情報７４よりも高精度な地図情報である。第２地図情報８２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報８２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。

運転操作子９０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子９０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置２００、もしくは、走行駆動力出力装置３００、ブレーキ装置３１０、およびステアリング装置３２０のうち一部または全部に出力される。

自動運転制御装置２００は、例えば、第１制御部２２０と、第２制御部２６０とを備える。第１制御部２２０と第２制御部２６０は、それぞれ、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラム（ソフトウェア）は、予め自動運転制御装置２００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで自動運転制御装置２００のＨＤＤやフラッシュメモリにインストールされてもよい。車両システム１Ａにおいては、第１実施形態の認識装置１００の機能を、自動運転制御装置２００の機能として実行する。

図９は、第１制御部２２０および第２制御部２６０の機能構成図である。第１制御部２２０は、例えば、認識部２３０と、行動計画生成部２４０とを備える。第１制御部２２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。

認識部２３０は、カメラ１０、レーダ装置３２、およびファインダ３４から物標認識装置３６を介して入力された情報に基づいて、自車両Ｍの周辺にある物標の位置、および速度、加速度等の状態を認識する。また、認識部２３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。また、認識部２３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。

車両システム１Ａにおいて、第１実施形態の認識装置１００の機能は、認識部２３０の機能として実行する。このため、認識部２３０は、第１実施形態の認識装置１００が備える全体領域設定部１１０、基準領域設定部１３０、および物標領域設定部１５０を備える。そして、認識部２３０では、前述した認識部２３０の一部の機能を、全体領域設定部１１０、基準領域設定部１３０、および物標領域設定部１５０によって実現する。より具体的には、全体領域設定部１１０、基準領域設定部１３０、および物標領域設定部１５０によって、自車両Ｍの周辺に存在する物標のうち他車両を認識する。そして、認識部２３０は、物標領域設定部１５０が備える推定部１５１が推定した他車両の位置を含む他車両の状態を表す情報を、認識結果として行動計画生成部２４０に出力する。

行動計画生成部２４０は、原則的には推奨車線決定部８１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（Automatedly）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点を順に並べたものとして表現される。行動計画生成部２４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。

第２制御部２６０は、行動計画生成部２４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置３００、ブレーキ装置３１０、およびステアリング装置３２０を制御する。

図９に戻り、第２制御部２６０は、例えば、取得部２６２と、速度制御部２６４と、操舵制御部２６６とを備える。取得部２６２は、行動計画生成部２４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部２６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置３００またはブレーキ装置３１０を制御する。操舵制御部２６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置３２０を制御する。

走行駆動力出力装置３００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置３００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部２６０から入力される情報、或いは運転操作子９０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置３１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部２６０から入力される情報、或いは運転操作子９０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。なお、ブレーキ装置３１０は、上記説明した構成に限らず、第２制御部２６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置３２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部２６０から入力される情報、或いは運転操作子９０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

上記に述べたとおり、認識装置の機能を搭載した第２実施形態の車両システム１Ａによれば、カメラ１０が撮像した二次元画像に写された他車両を認識して物標領域を設定する。これにより、第２実施形態の車両システム１Ａでは、カメラ１０が撮像した二次元画像に基づいて、カメラ１０によって三次元の画像を撮像しなくとも、三次元空間内に存在する他車両を低負荷で認識し、自車両Ｍにおける自動運転の制御をすることができる。そして、第２実施形態の車両システム１Ａが搭載される自車両Ｍでは、二次元画像を撮像するカメラ１０を搭載することにより、三次元画像を撮像するカメラを搭載するよりも低コストで自動運転のシステムを実現することができる。

上記に述べたとおり、実施形態の認識装置では、他車両の全体領域を設定する全体領域学習済みモデルと、全体領域内に他車両の基準領域を設定する基準領域学習済みモデルとを用いて、二次元画像に写されている他車両の領域を三次元空間内で認識しているように表現する物標領域を設定する。これにより、実施形態の認識装置では、より低負荷な処理で三次元空間内の他車両を認識することができる。例えば、三次元空間内で他車両を認識する従来の処理では、他車両の車長の計測や、より複雑な学習済みモデルを用いて他車両を認識することが必要であった。これに対して実施形態の認識装置では、上述したように二次元画像内で全体領域および基準領域という２つの領域を認識して設定することによって、三次元空間内で他車両を認識することができる。

しかも、実施形態の認識装置において用いる学習済みモデルは、全体領域または基準領域を設定する学習済みモデルであるため、この学習済みモデルを生成する際に使用するデータ（学習データ（画像データ）や、正解データ（教師データ））は、三次元で他車両を認識する学習済みモデルを生成する際に使用するデータのような複雑な（特殊な）データである必要がない。言い換えれば、実施形態の認識装置において用いる学習済みモデルにおける機械学習は、三次元で他車両を認識する学習済みモデルにおける機械学習よりも容易であり、機械学習をするための学習コストを低く抑えることができる。

このことにより、実施形態の認識装置を備える認識システム１や車両システム１Ａが搭載される自車両Ｍでは、三次元空間内に存在する他車両を、より低負荷、低コストで実現することができる。

以上説明した、例えば、第１実施形態の認識装置１００によれば、自車両Ｍの周囲を撮像するカメラ１０により撮像された二次元画像に写された他車両を認識し、二次元画像内に認識した他車両を含む全体領域を設定する全体領域設定部１１０と、他車両を構成する面のうち基準面に合致する基準領域を設定する基準領域設定部１３０と、全体領域および基準領域に基づいて、他車両の領域を所定形状（三次元空間内で他車両を認識しているように表す立体形状）で表した物標領域を設定する物標領域設定部１５０と、を備えることにより、自車両Ｍの周囲に存在する他車両の存在を三次元空間内で認識しているように、視覚的に運転者に知らせることができる。

［ハードウェア構成］
図１０は、第１実施形態の認識装置１００のハードウェア構成の一例を示す図である。図示するように、認識装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤなどの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、認識装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、認識装置１００、より具体的には、全体領域設定部１１０や、基準領域設定部１３０、物標領域設定部１５０のうち一部または全部が実現される。

なお、第２実施形態の自動運転制御装置２００のハードウェア構成は、図１０に示した第１実施形態の認識装置１００のハードウェア構成と同様である。従って、第２実施形態の自動運転制御装置２００のハードウェア構成に関する詳細な説明は省略する。

上記説明した実施形態は、以下のように表現することができる。
ハードウェアプロセッサと、
プログラムを記憶した記憶装置と、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを読み出して実行することにより、
車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、前記二次元画像内に前記認識した前記物標を含む第１領域を設定し、
前記物標を構成する面のうち基準面に合致する第２領域を設定し、
前記第１領域および前記第２領域に基づいて、前記物標の領域を所定形状で表した第３領域を設定する、
ように構成されている、認識装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１・・・認識システム
１０・・・カメラ
２０・・・表示装置
１００・・・認識装置
１１０・・・全体領域設定部
１３０・・・基準領域設定部
１５０・・・物標領域設定部
１５１・・・推定部
ＲＡ・・・全体領域
ＲＢ・・・基準領域
ＲＣ・・・複製領域
ＲＯ，ＲＯ１，ＲＯ２，ＲＯ３，ＲＯ４，ＲＯ５，ＲＯ６，ＲＯ７・・・物標領域
ＳＬ１，ＳＬ２，ＳＬ３・・・対角直線
Ｍ・・・自車両
Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７・・・他車両（物標）
ＩＭ・・・画像
ＤＭ・・・進行方向
Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７・・・移動方向
Ｌ５，Ｌ６，Ｌ７・・・車長
１Ａ・・・車両システム
３２・・・レーダ装置
３４・・・ファインダ
３６・・・物標認識装置
４０・・・通信装置
５０・・・ＨＭＩ
６０・・・車両センサ
７０・・・ナビゲーション装置
７１・・・ＧＮＳＳ受信機
７２・・・ナビＨＭＩ
７３・・・経路決定部
７４・・・第１地図情報
８０・・・ＭＰＵ
８１・・・推奨車線決定部
８２・・・第２地図情報
９０・・・運転操作子
２００・・・自動運転制御装置
２２０・・・第１制御部
２３０・・・認識部
２４０・・・行動計画生成部
２６０・・・第２制御部
２６２・・・取得部
２６４・・・速度制御部
２６６・・・操舵制御部
３００・・・走行駆動力出力装置
３１０・・・ブレーキ装置
３２０・・・ステアリング装置

Claims (8)

1. 車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、前記二次元画像内に前記認識した前記物標を含む第１領域を設定する第１領域設定部と、
   前記物標を構成する面のうち基準面に合致する第２領域を設定する第２領域設定部と、
   前記第１領域および前記第２領域に基づいて、前記物標の領域を所定形状で表した第３領域を設定する第３領域設定部と、
   を備える認識装置。
2. 前記物標は、前記車両の周囲に存在する他車両であり、
   前記基準面は、前記他車両の前面または後面である、
   請求項１に記載の認識装置。
3. 前記第１領域設定部は、前記二次元画像を入力すると前記第１領域を出力するように学習された第１学習済みモデルに対して、前記二次元画像を入力することで、前記第１領域を得て設定し、
   前記第２領域設定部は、前記第１領域の画像を入力すると前記第２領域を出力するように学習された第２学習済みモデルに対して、前記第１領域の画像を入力することで、前記第２領域を得て設定する、
   請求項１または請求項２に記載の認識装置。
4. 前記第３領域設定部は、前記第１領域内における前記第２領域と対角の位置に前記第２領域と同じまたは遠近法を考慮して縮小したサイズの第４領域を設定し、前記第２領域と前記第４領域とのそれぞれの対応する角部の点を直線で結ぶことで、立体形状が表現された前記第３領域を設定する、
   請求項１から請求項３のうちいずれか１項に記載の認識装置。
5. 前記物標は、前記車両の周囲に存在する他車両であり、
   前記第３領域における前記第２領域と前記第４領域とのそれぞれの対応する角部の点を結んだ直線に基づいて、前記他車両の移動方向を推定する第１推定部を更に備える、
   請求項４に記載の認識装置。
6. 前記物標は、前記車両の周囲に存在する他車両であり、
   前記第３領域における前記第２領域と前記第４領域とのそれぞれの対応する角部の点を結んだ直線に基づいて、前記他車両の長手方向の長さを推定する第２推定部を更に備える、
   請求項４に記載の認識装置。
7. コンピュータが、
   車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識し、前記二次元画像内に前記認識した前記物標を含む第１領域を設定し、
   前記物標を構成する面のうち基準面に合致する第２領域を設定し、
   前記第１領域および前記第２領域に基づいて、前記物標の領域を所定形状で表した第３領域を設定する、
   認識方法。
8. コンピュータに、
   車両の周囲を撮像する撮像装置により撮像された二次元画像に写された物標を認識させ、前記二次元画像内に前記認識した前記物標を含む第１領域を設定させ、
   前記物標を構成する面のうち基準面に合致する第２領域を設定させ、
   前記第１領域および前記第２領域に基づいて、前記物標の領域を所定形状で表した第３領域を設定させる、
   プログラム。

Images