JP2023111162A - 移動体制御装置、移動体制御方法、およびプログラム - Google Patents

Abstract

【課題】より適切な移動体制御を実行することができる移動体制御装置、移動体制御方法、およびプログラムを提供すること。【解決手段】実施形態の移動体制御装置は、撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識する認識部１３０と、前記認識部１３０による認識結果に基づいて前記移動体の将来の行動計画を生成する行動計画生成部１４０と、前記行動計画生成部１４０により生成された行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御する運転制御部１６０と、を備え、前記認識部１３０は、前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識し、認識した物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとする。【選択図】図２

Description

本発明は、移動体制御装置、移動体制御方法、およびプログラムに関する。

従来より、カメラ等の外界センサからの認識情報に基づいて車両の目標軌道を計画する車両制御装置において、外界センサから車両の周囲のオブジェクトを認識した場合に、外界センサの実検知範囲が広くなるような目標軌道を計画する技術が知られている（例えば、特許文献１参照）。

特開２０２１－１００８２７号公報

ところで、一般的にはカメラの解像度が高いほど認識性能が良くなるが、データ量が多くなるため画像処理に負荷がかかり、処理時間が長くなってしまう。また逆に、処理時間を短くするために解像度を低くした場合には物体を誤認識する可能性があるが、従来技術では誤認識された可能性が高い物体に対する処理について考慮されていない。そのため、移動体の周辺状況に応じた目標軌道が生成できず、適切な運転制御ができない場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、より適切な移動体制御を実行することができる移動体制御装置、移動体制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る移動体制御装置、移動体制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る移動体制御装置は、撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識する認識部と、前記認識部による認識結果に基づいて前記移動体の将来の行動計画を生成する行動計画生成部と、前記行動計画生成部により生成された行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御する運転制御部と、を備え、前記認識部は、前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識し、認識した物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとする、移動体制御装置である。

（２）：上記（１）の態様において、前記認識部は、前記第１認識モードにより認識された前記物体の確度が閾値未満である場合に、前記第１画像から前記物体を含む第１部分画像領域を抽出し、抽出した第１部分画像領域に対して、前記第２画像よりもデータ量の多い第３画像を用いて認識を行う第２認識モードで前記物体を認識し、前記行動計画生成部は、前記第１認識モードにより認識された物体と、前記第２認識モードにより認識された物体とが異なる場合に、前記第２認識モードにより認識された物体の情報に基づいて前記行動計画を生成するものである。

（３）：上記（１）または（２）の態様において、前記データ量は、解像度とフレームレートのうち少なくとも一方を含むものである。

（４）：上記（１）～（３）のうち何れか一つの態様において、前記認識部による認識結果は、少なくとも前記物体の位置と、サイズと、種類とを含むものである。

（５）：上記（１）～（４）のうち何れか一つの態様において、前記認識部は、前記第１認識モードにより認識された物体に他の移動体と、移動体が移動する領域を区画する区画線が含まれる場合、前記第１画像から前記区画線を含む第２部分画像領域を抽出し、抽出した第２部分画像領域に対して、前記第２画像よりもデータ量の多い第３画像を用いて認識を行う第２認識モードで前記区画線を認識し、認識された区画線と前記他の移動体との位置関係に基づいて前記他の移動体の位置を認識するものである。

（６）：上記（５）の態様において、前記認識部は、前記移動体が移動する領域を区画する区画線を延伸させた仮想線と、前記他の移動体から所定距離以内に存在する区画線との位置関係に基づいて、前記他の移動体の位置を認識するものである。

（７）：上記（２）の態様において、前記リスク領域が大きい他の物体は、前記第２画像から認識された物体よりも所定時間における移動量が大きいと予測される物体である。

（８）：この発明の一態様に係る移動体制御方法は、コンピュータが、撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識し、認識結果に基づいて前記移動体の将来の行動計画を生成し、生成した行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御し、前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識し、認識した前記物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとする、移動体制御方法である。

（９）：この発明の一態様に係るプログラムは、コンピュータに、撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識させ、認識結果に基づいて前記移動体の将来の行動計画を生成させ、生成された行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御させ、前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識させ、認識された前記物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとさせる、プログラムである。

上記（１）～（９）の態様によれば、より適切な移動体制御を行うことができる。

第１の実施形態に係る移動体制御装置を含む車両システム１の構成図である。 第１の実施形態に係る第１制御部１２０および第２制御部１６０の機能構成図である。 認識部１３０による認識結果に基づく行動計画の生成について説明するための図である。 物体ごとのリスク領域について説明するための図である。 物体ＯＢ１の認識確度が閾値未満である場合のリスク領域について説明するための図である。 第１の実施形態における自動運転制御装置１００よって実行される処理の流れの一例を示すフローチャートである。 第２の実施形態における自動運転制御装置１００よって実行される処理の流れの一例を示すフローチャートである。 車線を含む部分画像領域を第２認識モードで認識することについて説明するための図である。 区画線の位置関係を認識することについて説明するための図である。 第３の実施形態における自動運転制御装置１００よって実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の移動体制御装置、移動体制御方法、およびプログラムの実施形態について説明する。なお、以下の説明では、移動体制御装置が、移動体に搭載されている例について説明する。移動体とは、例えば、車両、マイクロモビリティ、自律移動ロボット、船舶、ドローン等、自身が備える駆動機構によって移動可能な構造体をいう。移動体の制御には、例えば、少なくとも一時的に、移動体の操舵および速度のうち一方または双方を制御して、移動体を自律的に移動させる運転制御が含まれる。また、移動体の制御には、手動運転を主として、音声や表示等によって運転操作にアドバイスを行ったり、ある程度の干渉制御を行うことが含まれてもよく、移動体の乗員を保護する保護装置の作動を制御することが含まれてよい。以下の説明では、移動体は地上を移動する車両であることを前提とし、専ら車両に地上を移動させるための構成および機能について説明する。車両の運転制御には、例えば、ＬＫＡＳ（Lane Keeping Assistance System）や、ＡＬＣ（Auto Lane Changing）、ＡＣＣ（Adaptive Cruise Control）等の自動運転制御や、手動運転中における接触回避制御、緊急停止制御、車線逸脱回避制御等の運転支援制御といった種々の運転制御が含まれてよい。

（第１の実施形態）
［全体構成］
図１は、第１の実施形態に係る移動体制御装置を含む車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍ）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ１０は、「撮像部」の一例である。自動運転制御装置１００は、「移動体制御装置」の一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される自車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。また、カメラ１０は、自車両Ｍの周辺を広角に（例えば３６０度で）撮像可能なカメラであってもよい。また、カメラ１０は、複数のカメラを組み合わせて実現されてもよい。カメラ１０が複数のカメラを有する場合、それぞれのカメラは異なる解像度やフレームレート（ＦＰＳ；Frame Per Second）で撮像してもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、ＨＭＩ制御部１７０の制御により自車両Ｍの乗員に対して各種情報を出力する。また、ＨＭＩ３０は、乗員による入力操作を受け付ける受付部として機能してもよい。ＨＭＩ３０は、例えば、表示装置と、スピーカ、マイク、ブザー、キー、インジケータランプ等が含まれる。表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。また、車両センサ４０には、車両Ｍの位置を取得する位置センサが含まれてよい。位置センサは、例えば、ＧＰＳ（Global Positioning System）装置から位置情報（経度・緯度情報）を取得するセンサである。また、位置センサは、ナビゲーション装置５０のＧＮＳＳ（Global Navigation Satellite System）受信機５１を用いて位置情報を取得するセンサであってもよい。

ナビゲーション装置５０は、例えば、ＧＮＳＳ受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリ等の記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、ステアリングホイール、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

次に、自動運転制御装置１００の説明に先立って、走行駆動力出力装置２００、ブレーキ装置２１０、ステアリング装置２２０について説明する。走行駆動力出力装置２００は、自車両Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、自動運転制御装置１００（具体的には後述する第２制御部１６０）から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。
電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０のステアリングホイール８２から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

次に、自動運転制御装置１００について説明する。自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、ＨＭＩ制御部１７０と、記憶部１８０とを備える。第１制御部１２０と、第２制御部１６０とは、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。第２制御部１６０は、「運転制御部」の一例である。

記憶部１８０は、上記の各種記憶装置、或いはＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１８０は、例えば、プログラム、その他の各種情報等が格納される。上述の地図情報（第１地図情報５４、第２地図情報６２）は、記憶部１８０に格納されていてもよい。

図２は、第１の実施形態に係る第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示等がある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。

認識部１３０は、自車両Ｍの周辺状況を認識する。認識部１３０は、例えば、第１取得部１３２と、認識モード設定部１３４と、物体認識部１３６と、リスク領域導出部１３８とを備える。

第１取得部１３２は、例えば、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果のデータを取得する。また、第１取得部１３２は、カメラ１０により撮像された画像（以下、カメラ画像と称する）の座標系（例えば、前方視野角のカメラ座標系）を、自車両Ｍを上から見た自車両Ｍの位置を基準とする座標系（車両座標系、鳥瞰座標系）に変換する処理を行ってもよい。カメラ画像は、「第１画像」の一例であり、静止画像だけでなく動画像も含まれる。

認識モード設定部１３４は、第１取得部１３２により取得されたデータに対して物体認識部１３６により物体認識を行わせるときの認識モードを設定する。認識モードには、例えば、第１認識モードと、第１認識モードよりも物体認識に用いられるデータ量が多い第２認識モードとが含まれるが、データ量が異なる他の認識モードが含まれてもよい。例えば、第１取得部１３２により取得されたデータが、カメラ１０により撮像された画像データ（以下、カメラ画像と称する）である場合、データ量には、画像の解像度（画素数）およびフレームレートのうち少なくとも一つが含まれる。また、データ量には、レーダ装置１２やＬＩＤＡＲ１４による検出結果の有無や、検出結果に対するデータ量（例えば、検出範囲、検出周期）が含まれてもよい。

認識モード設定部１３４は、複数の認識モードのうち、予め決められた認識モードを設定してもよく、物体認識部１３６による認識結果に基づいて認識モードを設定してもよい。例えば、認識モード設定部１３４は、物体認識部１３６により所定の物体が認識されていない場合や、認識された物体の確度が閾値以上である場合に、第１認識モードを設定する。所定の物体とは、自車両Ｍの運転制御に影響を及ぼす物体であり、例えば他車両（二輪車両も含む）や歩行者、自転車等の交通参加者や、自車両Ｍが走行する（移動体が移動する）領域を区画する区画線、縁石、中央分離帯等の道路構造物等が含まれる。確度とは、その物体の確からしさを示す指標値である。確度は、信頼度や尤度に言い換えてもよい。また、認識モード設定部１３４は、例えば、認識された物体の確度が閾値未満である場合に、第２認識モードを設定する。

また、認識モード設定部１３４は、第１取得部１３２により取得されたデータから、設定された認識モードに応じたデータを生成してもよい。例えば、認識モード設定部１３４は、第１認識モードを設定した場合に、カメラ画像の解像度（基準解像度）よりも解像度の低い（解像度の数値が小さい）第２画像を生成する。また、認識モード設定部１３４は、第２認識モードを設定した場合に、第２画像よりも解像度を高い第３画像を生成する。第３画像の解像度は、カメラ画像の解像度以下である。したがって、認識モード設定部１３４は、第３画像としてカメラ画像を用いてもよい。また、認識モード設定部１３４は、解像度を調整することに代えて（または加えて）、カメラ画像のフレームレートを調整した第２画像や第３画像を生成してもよい。フレームレートを調整する場合には、認識モード設定部１３４は、例えばカメラ画像のフレームレート（基準フレームレート）から所定間隔で画像フレームを間引くことでフレームレートが小さくする。

また、認識モード設定部１３４は、カメラ１０により異なる解像度やフレームレートで撮像されている場合には、設定した認識モードに対応するカメラ画像を選定してもよい。

物体認識部１３６は、第１取得部１３２により取得されたカメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果のデータに対して、認識モード設定部１３４により設定された認識モードを用いてセンサフュージョン処理を行い、自車両Ｍから所定距離以内に存在する物体を認識する。物体には、例えば、他車両、歩行者、自転車等の交通参加者や、区画線、縁石、中央分離帯、道路標識、交通信号機、踏切、横断歩道等の道路構造物が含まれる。

例えば、物体認識部１３６は、認識モード設定部１３４により設定された認識モードに対応付けられたデータ量の画像を用いて所定の画像解析処理を行い、解析結果の画像情報に基づいて予め定義されたパターンマッチング用のモデル等を参照し、マッチング処理により画像に含まれる物体を認識する。画像解析処理には、例えば、隣接画素との輝度差が大きいエッジ点を抽出し、抽出したエッジ点を連ねて物体の輪郭を取得するエッジ抽出処理や、輪郭内の色や形状、サイズ等から特徴量を抽出する処理等が含まれる。モデルとは、例えば、解析結果または第１取得部１３２により取得されたデータを入力とし、画像に含まれる物体の種類（カテゴリ）等を出力するように学習したＤＮＮ（Deep Neural Network）等の学習済みモデルであるが、これに限定されるものではない。モデルは、例えば記憶部１８０に記憶されてもよく、通信装置２０を介して外部装置から取得してもよい。また、モデルは、認識結果のフィードバック制御や外部装置からの更新データ等により適宜更新されてよい。

また、物体認識部１３６は、解析結果とモデルを用いたマッチング処理により、画像中の物体が、モデルで定義された物体（物体の種類）である確度を出力してもよい。確度は、例えば、モデルに定義されていてもよく、マッチング処理における合致度（類似度）等に基づいて設定されてもよい。

また、物体認識部１３６は、物体が認識された場合に、その物体の位置、速度（絶対速度、相対速度）、加速度（絶対加速度、相対加速度）、進行方向（移動他方向）等を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心等）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、領域で表されてもよい。物体の「状態」とは、例えば、物体が他車両等の他の移動体である場合に、他の移動体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、物体認識部１３６は、例えば、区画線が認識された場合に、自車両Ｍが走行している車線（走行車線）を認識してもよい。例えば、物体認識部１３６は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の区画線（道路区画線）のパターンとを比較することで、走行車線を認識する。なお、物体認識部１３６は、区画線に限らず、縁石、中央分離帯等を含む走路境界（道路境界）を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。

また、物体認識部１３６は、自車両Ｍの走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識してもよい。この場合、物体認識部１３６は、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識する。これに代えて、物体認識部１３６は、走行車線のいずれかの側端部（道路境界）に対する自車両Ｍの基準点の位置等を、走行車線に対する自車両Ｍの相対位置として認識してもよい。

リスク領域導出部１３８は、物体認識部１３６により認識された物体の周囲に潜在的に分布する、或いは潜在的に存在するリスクの領域（以下、リスク領域と称する）を導出する。リスクとは、例えば、物体が自車両Ｍに対して及ぼすリスクである。より具体的には、リスクは、例えば、物体の急な移動によって自車両Ｍに急な制動や操舵を強いるようなリスクである。また、リスクは、自車両Ｍが物体に及ぼすリスクであってもよい。以下、このようなリスクの高さを定量的な指標値として扱うものとし、その指標値を「リスクポテンシャル」と称して説明する。リスクポテンシャルが閾値以上の領域がリスク領域として導出される。また、リスク領域導出部１３８は、物体認識部１３６により認識された物体に対する確度に基づいて、リスク領域を調整してもよい。物体認識部１３６は、認識結果を行動計画生成部１４０に出力する。

行動計画生成部１４０は、認識部１３０による認識結果に基づいて自車両Ｍの将来の行動計画を生成する。例えば、行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、例えば、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、接触回避イベント、緊急停止イベント、テイクオーバーイベント等が含まれる。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。また、行動計画生成部１４０は、自車両Ｍの運転制御や所定のイベント等を実行する場合には、運転制御やイベントの実行を乗員に提案（リコメンド）し、その提案が承認された場合に対応する目標軌道を生成してもよい。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第２制御部１６０は、例えば、第２取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。第２取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

ＨＭＩ制御部１７０は、ＨＭＩ３０により、自車両Ｍの乗員（運転者）に所定の情報を通知する。所定の情報には、例えば、自車両Ｍの運転制御や所定のイベントに関する情報が含まれる。例えば、ＨＭＩ制御部１７０は、接触回避制御や緊急停止制御等を行う場合には、警告情報等をＨＭＩ３０に出力させる。ＨＭＩ制御部１７０は、上述した所定の情報を含む画像を生成し、生成した画像をＨＭＩ３０の表示装置に表示させてもよく、所定の情報を示す音声を生成し、生成した音声をＨＭＩ３０のスピーカから出力させてもよい。また、ＨＭＩ制御部１７０は、例えば、ＨＭＩ３０により受け付けられた情報を通信装置２０、ナビゲーション装置５０、第１制御部１２０等に出力してもよい。

［認識結果に基づく行動計画の生成］
次に、認識部１３０による認識結果に基づく行動計画生成の具体例について説明する。なお、以下の説明では、主にカメラ画像に基づく物体認識について説明するが、レーダ装置１２やＬＩＤＡＲ１４の検出結果に基づく物体認識も実施される。

図３は、認識部１３０による認識結果に基づく行動計画の生成について説明するための図である。図３の例では、同一方向（図中Ｘ軸方向）に走行可能な二つの車線Ｌ１、Ｌ２が示されている。車線Ｌ１は区画線ＬＭ１とＬＭ２とで区画され、車線Ｌ２は区画線ＬＭ２とＬＭ３とで区画されている。また、図３の例では、車線Ｌ１の延伸方向（図中Ｘ軸方向）に向かってに速度ＶＭで走行する自車両Ｍと、自車両Ｍの前方であって車線Ｌ１上を速度Ｖ１で移動する物体ＯＢ１が示されている。物体ＯＢ１は、歩行者であるものとする。

例えば、ＨＭＩ３０により自車両Ｍの乗員から自動運転制御の開始指示を受け付けた場合、認識モード設定部１３４は、初期認識モードとして第１認識モードを設定する。物体認識部１３６は、第１認識モードに対応付けられた第２画像を用いて自車両Ｍの周辺状況を認識し、物体ＯＢ１の位置、サイズ、種類等を認識する。また、物体認識部１３６は、認識した物体ＯＢ１の確度を取得したり、物体ＯＢ１の速度Ｖ１や移動方向をする。また、物体認識部１３６は、区画線ＬＭ１～ＬＭ３の位置、サイズ、種類を認識する。

リスク領域導出部１３８は、物体認識部１３６による認識結果に基づき、自車両Ｍと接触する可能性がある物体ＯＢ１のリスク領域を導出する。

図４は、物体ごとのリスク領域について説明するための図である。図４の例では、物体の一例として、歩行者、二輪車両（オートバイク）、四輪車両が示されている。以下では、説明の便宜上、歩行者ＯＢａ、二輪車両ＯＢｂ、四輪車両ＯＢｃと称する場合がある。

リスク領域導出部１３８は、物体に近いほどリスクポテンシャルが高く、物体から離れるほどリスクポテンシャルが低くなるようなリスク領域を導出する。また、リスク領域導出部１３８は、自車両Ｍと物体との距離が近いほどリスクポテンシャルが高くなるように（言い換えると、距離が遠いほどリスクポテンシャルが低くなるように）調整してもよい。

また、リスク領域導出部１３８は、物体の種類に応じてリスク領域を調整してもよい。例えば、物体が歩行者ＯＢａである場合と二輪車両ＯＢｂである場合とでは、認識時の位置や移動方向、速度（図４に示す速度ＶａとＶｂ）が同じであっても、その後の所定時間における移動量は大きく異なる場合がある。また、歩行者ＯＢａおよび二輪車両ＯＢｂと、四輪車両ＯＢｃとでは物体自体のサイズ（大きさ）が異なる。したがって、リスク領域導出部１３８は、物体の種類に応じてリスク領域を導出する。具体的には、リスク領域導出部１３８は、所定時間における移動量の予測値（以下、予測移動量）が大きいほど、リスク領域が大きくなるように調整する。上記調整に代えて（または加えて）、リスク領域導出部１３８は、物体のサイズが大きいほどリスク領域が大きくなるように調整する。

図４の例において、二輪車両ＯＢｂは、歩行者ＯＢａよりも高速で移動することができ、予測移動量が大きい。そのため、二輪車両ＯＢｂのリスク領域ＲＡｂは、歩行者ＯＢａのリスク領域ＲＡａよりも大きくなっている。また、四輪車両ＯＢｃは、二輪車両ＯＢｂと予測移動量が同じであっても、二輪車両ＯＢ２よりもサイズが大きい。そのため、四輪車両ＯＢｃのリスク領域ＲＡｃは、リスク領域ＲＡｂより大きくなっている。このように、物体の種類に応じてリスク領域を導出することで、より迅速にリスク領域を導出することができる。

また、リスク領域導出部１３８は、物体の速度や移動方向によってリスク領域を調整してもよい。例えば、リスク領域導出部１３８は、物体の絶対速度や絶対加速度が大きいほどリスクポテンシャルを高くして、リスクポテンシャルに基づくリスク領域を導出してもよい。また、リスクポテンシャルは、物体の絶対速度や絶対加速度に代えて（または加えて）、自車両Ｍと物体との相対速度や相対加速度、ＴＴＣ（Time to Collision）、接触予測位置等に応じて適宜決定されてもよい。また、リスクポテンシャルは、道路形状や渋滞度合、天候、時間帯等の周辺状況に応じて調整されてもよい。

ここで、物体認識部１３６は、認識した物体の確度が閾値以上であるか否かを判定し、閾値以上であると判定した場合は、リスク領域導出部１３８に認識した物体に対するリスク領域を導出させる。逆に確度が閾値以上でないと判定した場合（閾値未満であると判定した場合）、物体認識部１３６は、認識した物体よりもリスク領域が大きい他の物体が認識されたものとして、リスク領域導出部１３８にリスク領域を導出させる。リスク領域が大きい他の物体とは、例えば、認識した物体よりも予測移動量が大きい物体（例えば、認識した物体よりも高速で移動可能な物体）である。また、他の物体とは、例えば、物体の種類が異なる物体である。

例えば、物体認識部１３６は、確度が閾値未満の物体の種類が歩行者である場合には二輪車両とみなし、二輪車両である場合には四輪車両とみなす等、予め決められた他の物体が認識されたものとみなす。また、物体認識部１３６は、確度や物体の速度等に応じて他の物体を選択してもよい。この場合、物体認識部１３６は、確度が小さくなるほど、および／または、速度が大きくなるほど、リスク領域が大きくなるような物体を選択する。例えば、物体認識部１３６は、歩行者であると認識したときの確度が第１所定値未満である場合には二輪車両とみなし、確度が第１所定値よりも小さい第２所定値未満である場合には四論車両とみなす。

図３の例では、物体ＯＢ１を歩行者として認識した確度が閾値以上であるため、歩行者に対応付けられたリスク領域ＲＡａが物体ＯＢ１の位置を基準に設定されている。図５は、物体ＯＢ１の認識確度が閾値未満である場合のリスク領域について説明するための図である。図５の例では、物体ＯＢ１を歩行者として認識した確度が閾値未満であるため、物体ＯＢ１を二輪車両とみなして、二輪車両に対応付けられたリスク領域ＲＡｂが物体ＯＢ１の位置を基準に設定されている。

行動計画生成部１４０は、リスク領域と自車両Ｍの将来の軌道とが接触しないように、リスク領域から所定距離だけ離れた位置を自車両Ｍが走行するように目標軌道を生成する。したがって、第１の実施形態では、物体ＯＢ１の認識確度が閾値以上である場合には図３に示すようにリスク領域ＲＡａに基づく目標軌道Ｋ１が生成され、閾値未満である場合には図５に示すようにリスク領域ＲＡｂに基づく目標軌道Ｋ２が生成される。これにより、物体の存在は認識しているものの、物体の種類が特定しきれていない場合に、大きめのリスク領域を設定して、より安全性の高い目標軌道を生成することができる。また、上述した行動計画を生成することで、データ量の少ない画像を用いた高速な物体認識が可能になるため、周辺状況に応じた、より適切な自車両Ｍの運転制御が実現できる。

［第１の実施形態の処理フロー］
次に、第１の実施形態の自動運転制御装置１００よって実行される処理の流れについて説明する。なお、以下のフローチャートの処理は、自動運転制御装置１００によって実行される処理のうち、主に物体の認識結果に基づいてリスク領域に基づいて行動計画が生成される点を中心として説明する。以下に示す処理は、所定のタイミングで繰り返し実行されてよい。

図６は、第１の実施形態における自動運転制御装置１００よって実行される処理の流れの一例を示すフローチャートである。図６の例において、第１取得部１３２は、カメラ画像（第１画像）等を取得する（ステップＳ１００）。次に、物体認識部１３６は、カメラ画像から生成された第２画像を用いた第１認識モードで自車両Ｍの周辺の物体認識を行う（ステップＳ１０２）。次に、物体認識部１３６は、物体を認識した場合に、認識した物体の確度が閾値以上であるか否かを判定する（ステップＳ１０４）。認識した物体の確度が閾値以上であると判定した場合、物体認識部１３６は、認識した通りの物体が認識されたものとする。また、認識した物体の確度が閾値未満であると判定した場合、物体認識部１３６は、認識した物体よりもリスク領域が大きい別の物体が認識されたものとする（ステップＳ１０８）。

次に、リスク領域導出部１３８は、物体認識部１３６により認識された物体に対するリスク領域を導出する（ステップＳ１１０）。次に、行動計画生成部１４０は、導出されたリスク領域等に基づいて目標軌道を生成する（ステップＳ１１２）。次に、第２制御部１６０は、生成された目標軌道に沿って自車両Ｍが走行するように、自車両Ｍの操舵および速度のうち、少なくとも一方を制御する運転制御を実行し、自車両Ｍを走行させる（ステップＳ１１４）。これにより、本フローチャートの処理は終了する。

以上の通り説明した第１の実施形態によれば、自動運転制御装置（移動体制御装置の一例）１００において、カメラ（撮像部の一例）１０により撮像された第１画像に基づいて自車両（移動体の一例）Ｍの周辺状況を認識する認識部１３０と、認識部１３０による認識結果に基づいて自車両Ｍの将来の行動計画を生成する行動計画生成部１４０と、行動計画生成部１４０により生成された行動計画に基づいて、自車両Ｍの操舵および速度のうち少なくとも一方を制御する運転制御部（第２制御部１６０）と、を備え、認識部１３０は、第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで自車両Ｍの周辺の物体を認識し、認識した物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとすることにより、より適切な移動体制御を実行することができる。

また、第１の実施形態によれば、例えば、解像度が低い画像を用いて第１認識モードで認識することで、認識結果をより早く得ることができ、認識結果の確度に応じたリスク領域に基づいて目標軌道が生成されるため、誤認識された可能性が高い物体が存在する場合であっても自車両Ｍの周辺状況に応じた、より適切な運転制御を実行することができる。また、第１の実施形態によれば、よりリアルタイムの認識結果が得られるため、例えば自車両Ｍと物体とが接近している場合に、接触回避や緊急停止等の運転制御の初動を早めることができ、より安全性の高い車両制御が実現できる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、第１の実施形態と比較して、認識結果の確度が閾値未満である場合に、カメラ画像のうち物体を含む部分画像領域（第１部分画像領域の一例）を抽出し、抽出した領域の画像を用いて第２認識モードで物体認識を行う点で相違する。したがって、以下では、主に上述した相違点を中心として説明する。なお、第２の実施形態では、第１の実施形態と同様の構成を適用することができるため、以下では第１の実施形態で示した自動運転制御装置１００の構成を用いて説明する。後述する第３の実施形態でも同様とする。

［第２の実施形態の処理フロー］
図７は、第２の実施形態における自動運転制御装置１００よって実行される処理の流れの一例を示すフローチャートである。図７に示す処理は、図６に示すステップＳ１００～Ｓ１１４の後にステップＳ２００～Ｓ２１２の処理が追加されている点で相違する。したがって、以下では、主にステップＳ２００～Ｓ２１２の処理を中心として説明する。

図７の例において、ステップＳ１１４の処理後、物体認識部１３６は、認識した物体の確度が閾値以上であるか否かを判定する（ステップＳ２００）。確度が閾値以上でない（閾値未満である）と判定した場合、物体認識部１３６は、認識した物体の位置情報に基づいて、カメラ画像から物体を含む部分画像領域を抽出するクロッピング処理を行う（ステップＳ２０２）。部分画像領域は、例えば、認識した物体の輪郭（周囲）を囲むバウンディングボックスである。また、部分画像領域は、物体の速度や移動方向、自車両Ｍからの相対位置に応じてバウンディングボックスの領域を調整してもよく、確度が小さくなるほど部分画像領域が大きくなるように調整されてもよい。

次に、物体認識部１３６は、抽出した部分画像領域に対し、第２画像よりもデータ量の多い第３画像を生成し、生成した第３画像を用いて第２認識モードで物体認識を行う（ステップＳ２０４）。なお、ステップＳ０４の処理おいて、物体認識部１３６は、レーダ装置１２やＬＩＤＡＲ１４からのデータ量を多くして物体認識を行ってもよい。

次に、物体認識部１３６は、第１認識モードと第２認識モードとで認識結果が異なるか否かを判定する（ステップＳ２０６）。認識結果が異なるとは、例えば、認識した物体の位置、サイズ、種類のうち少なくとも１つが許容範囲を超えて異なる場合である。また上記に加えて、移動方向が所定角以上異なる場合や移動量が所定量以上異なる場合が含まれてよい。第１認識モードと第２認識モードとで認識結果が異なると判定された場合、リスク領域導出部１３８は、第２認識モードで認識された物体に対するリスク領域を導出する（ステップＳ２０８）。

次に、行動計画生成部１４０は、ステップＳ２０８の処理により導出されたリスク領域等に基づいて既存の目標軌道を調整する（ステップＳ２１０）。ステップＳ２１０の処理において、行動計画生成部１４０は、例えば、第１認識モードで認識された物体に対するリスク領域（以下、第１リスク領域と称する）よりも第２認識モードで認識されたリスク領域（以下、第２リスク領域と称する）の方が大きい場合に、第２のリスク領域を基準に目標軌道を生成する。また、行動計画生成部１４０は、第１リスク領域に対する第２リスク領域の拡大比率等に基づいて、すでに生成された目標軌道の調整量を制御してもよい。また、行動計画生成部１４０は、第１リスク領域よりも第２リスク領域が小さい場合に、第２リスク領域を基準に目標軌道を再生成してもよく、現在の目標軌道のままにしてもよい。第２リスク領域の方が小さい場合には、現在の目標軌道のままでも自車両Ｍと物体とが接する可能性は低いため、現在の目標軌道を維持することで、走行中の目標軌道の変更により自車両Ｍの挙動が一時的に大きくなることを抑制することができる。

ステップＳ２１０の処理後、第２制御部１６０は、生成された目標軌道に沿って自車両Ｍが走行するように運転制御を実行する（ステップＳ２１２）。これにより、本フローチャートの処理は、終了する。また、ステップＳ２００の処理において、認識した物体の確度が閾値以上であると判定した場合、本フローチャートの処理は、終了する。

以上の通り説明した第２の実施形態によれば、第１の実施形態と同様の効果を奏する他、確度が閾値未満の場合に、物体を含む部分画像領域のデータ量を多くして物体認識を行うため、物体の位置、サイズ、種類の確度が向上し、より正確な物体認識が実現できる。したがって、認識結果に基づいて目標軌道を適切に修正することができ、より適切な運転制御を実行することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、第１の実施形態と比較して、物体と共に自車両Ｍが走行する車線（領域）を区画する区画線が認識された場合に、カメラ画像のうち区画線を含む部分画像領域（第２部分画像領域の一例）を抽出し、抽出した領域の画像を用いて第２認識モードで物体の位置を認識する点で相違する。したがって、以下では、主に上述した相違点を中心として説明する。

図８は、車線を含む部分画像領域を第２認識モードで認識することについて説明するための図である。図８の例では、同一方向に進行可能な二つの車線において、自車両Ｍが車線Ｌ１を進行方向（図中Ｘ軸方向）に速度ＶＭで走行し、物体ＯＢ２が自車両Ｍの前方であって車線Ｌ２上を進行方向に速度Ｖ２で走行しているものとする。物体ＯＢ２は、「他の移動体」の一例であり、具体的には他車両（四輪車両）である。

図８の例において、物体認識部１３６は、第２画像を用いた第１認識モードで自車両Ｍの周辺の物体を認識し、物体ＯＢ２と、区画線ＬＭ１、ＬＭ２ａ、ＬＭ２ｂ、ＬＭ３を認識する。ここで、物体認識部１３６は、物体ＯＢ２の認識確度が閾値以上であるか否かを判定し、閾値以上でない（閾値未満である）と判定した場合、クロッピング処理等によってカメラ画像から区画線を含む部分画像領域を抽出し、抽出した部分画像領域に対して第３画像を用いた第２認識モードで物体認識を行う。部分画像領域は、例えば、区画線の輪郭を囲うバウンディングボックスでもよく、道路形状等の周辺状況や確度に応じて領域の大きさが調整されてもよい。また、部分画像領域は、複数の区画線を含む領域であってもよい。

例えば、物体認識部１３６は、第１認識モードで認識した全ての区画線を含む部分画像領域を抽出してもよく、一部の区画線を含む部分画像領域を抽出してもよい。一部の区画線とは、例えば、線の長さが所定長未満の区画線である。線が所定長未満である場合には区画線が途切れている可能性が高いため、その線を含む領域を対象に第３画像（高精度画像）で認識することで、より正確に区画線を認識することができる。

また、一部の区画線とは、自車両Ｍから見た物体ＯＢ２の位置を特定するために参照される区画線であってもよく、より具体的には、自車両Ｍと物体ＯＢ２との間に存在する区画線であってもよい。例えば、自車両Ｍの右側前方に物体ＯＢ２が存在する場合には、自車両Ｍの右側の区画線と、物体ＯＢ２の左側の区画線とを含む部分画像領域を抽出する。また、一部の区画線には、複数の区画線が含まれてもよい。図８の例では、部分画像領域として、区画線ＬＭ２ａとＬＭ２ｂの一部を含む部分画像領域ＰＡが抽出されている。

物体認識部１３６は、抽出された部分画像領域ＰＡに対応する第３画像を用いた第２認識モードで区画線の認識を行い、認識結果に基づいて自車両Ｍ付近の区画線と、物体ＯＢ２付近の区画線との位置関係を認識する。自車両Ｍ付近の区画線は、第３画像から認識することに代えて（または加えて）、車両センサ４０から取得した自車両Ｍの位置情報に基づいて地図情報を参照することで取得してもよい。

物体認識部１３６は、自車両Ｍから最も近い右側に存在する区画線ＬＭ２ａ（自車線を区画する区画線）と、物体ＯＢ２から最も近い左側に存在する区画線２ｂ（物体の走行車線を区画する区画線）との位置関係を認識する。図９は、区画線の位置関係を認識することについて説明するための図である。図９の例において、物体認識部１３６は、自車両Ｍの右側に存在する区画線ＬＭ２ａを車線Ｌ１、Ｌ２の延伸方向（図中Ｘ軸方向）に沿って延長（延伸）させた仮想線ＶＬを設定し、設定した仮想線ＶＬと物体ＯＢ２の左側の区画線ＬＭ２ｂとの位置関係から、区画線ＬＭ２ａとＬＭ２ｂとが同一の区画線であるか否かを判定する。仮想線ＶＬと区画線ＬＭ２ｂとの横位置（道路幅方向、Ｙ軸方向）の距離Ｄが閾値未満である場合、物体認識部１３６は、区画線ＬＭ２ａとＬＭ２ｂとが同一の区画線であると認識する。また、距離Ｄが閾値以上である場合、物体認識部１３６は、区画線ＬＭ２ａとＬＭ２ｂとが同一の区画線ではない（異なる区画線である）と認識する。なお、自車両Ｍの右側や物体ＯＢ２の左側の区画線が複数ある場合には、区画線ごとに上述の判定を行ってよい。このように区画線の認識を行った後、物体認識部１３６は、第２認識モードによる区画線の認識結果に基づいて物体ＯＢ２の位置を認識する。これにより、より正確に物体ＯＢ２の位置を認識することができるため、物体ＯＢ２のリスク領域を適切な位置に割り当てて、より適切な目標軌道を生成することができる。

［第３の実施形態の処理フロー］
図１０は、第３の実施形態における自動運転制御装置１００よって実行される処理の流れの一例を示すフローチャートである。図１０に示す処理は、図６に示すステップＳ１００～Ｓ１１４と比較すると、ステップＳ１０８とステップＳ１１０との間にステップＳ３００～Ｓ３０４の処理が追加されている点で相違する。したがって、以下では、主にステップＳ３００～Ｓ３０４の処理を中心として説明する。

図１０の例において、ステップＳ１０８の処理後、物体認識部１３６は、認識結果の物体に区画線が含まれるか否かを判定する（ステップＳ３００）。区画線が含まれると判定された場合、物体認識部１３６は、区画線を含む部分画像領域を抽出し、抽出した部分画像領域に対して第３画像を用いて第２認識モードで区画線を認識し（ステップＳ３０２）、認識した車線の位置に基づいて物体の位置を認識する（ステップＳ３０４）。ステップＳ１０６またはＳ３０４の処理が終了後、ステップＳ１１０以降の処理が実行される。

以上の通り説明した第３の実施形態によれば、第１の実施形態と同様の効果を奏する他、第１認識モードによる認識結果に区画線が含まれる場合に、第２認識モードで区画線を高精度に認識し、認識した区画線の位置に基づいて、自車両Ｍから見た物体の位置を高精度に認識することができる。また、第３の実施形態によれば、歩行者や車両等の交通参加者と比較して、ある程度形状や大きさ等が限定される区画線のみを認識対象とするため、第１認識モードよりも高解像度の第２認識モードで認識処理した場合であっても、迅速に区画線を認識することができる。したがって、周辺状況に応じてより適切な目標軌道を生成することができる。

なお、第３の実施形態では、区画線に代えて（または加えて）、区画線以外の道路構造物（例えば、縁石、中央分離帯）等を認識してもよい。

上述した第１～第３の実施形態のそれぞれは、他の実施形態の一部または全部と組み合わせてもよい。例えば、第２の実施形態に対し、第３の実施形態の区画線認識を組み合わせることで、より適切な位置に、より適切なリスク領域を設定することができる。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令を格納する記憶媒体と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより、
撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識し、
認識結果に基づいて前記移動体の将来の行動計画を生成し、
生成した行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御し、
前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識し、
認識した前記物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとする、
移動体制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、１２…レーダ装置、１４…ＬＩＤＡＲ、２０…通信装置、３０…ＨＭＩ、４０…車両センサ、５０…ナビゲーション装置、６０…ＭＰＵ、８０…運転操作子、１００…自動運転制御装置、１２０…第１制御部、１３０…認識部、１３２…第１取得部、１３４…認識モード設定部、１３６…物体認識部、１３８…リスク領域導出部、１４０…行動計画生成部、１６０…第２制御部、１６２…第２取得部、１６４…速度制御部、１６６…操舵制御部、１７０…ＨＭＩ制御部、１８０…記憶部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置、Ｍ…自車両

Claims (9)

1. 撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識する認識部と、
   前記認識部による認識結果に基づいて前記移動体の将来の行動計画を生成する行動計画生成部と、
   前記行動計画生成部により生成された行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御する運転制御部と、を備え、
   前記認識部は、前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識し、認識した物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとする、
   移動体制御装置。
2. 前記認識部は、前記第１認識モードにより認識された前記物体の確度が閾値未満である場合に、前記第１画像から前記物体を含む第１部分画像領域を抽出し、抽出した第１部分画像領域に対して、前記第２画像よりもデータ量の多い第３画像を用いて認識を行う第２認識モードで前記物体を認識し、
   前記行動計画生成部は、前記第１認識モードにより認識された物体と、前記第２認識モードにより認識された物体とが異なる場合に、前記第２認識モードにより認識された物体の情報に基づいて前記行動計画を生成する、
   請求項１に記載の移動体制御装置。
3. 前記データ量は、解像度とフレームレートのうち少なくとも一方を含む、
   請求項１または２に記載の移動体制御装置。
4. 前記認識部による認識結果は、少なくとも前記物体の位置と、サイズと、種類とを含む、
   請求項１から３のうち何れか１項に記載の移動体制御装置。
5. 前記認識部は、前記第１認識モードにより認識された物体に他の移動体と、移動体が移動する領域を区画する区画線が含まれる場合、前記第１画像から前記区画線を含む第２部分画像領域を抽出し、抽出した第２部分画像領域に対して、前記第２画像よりもデータ量の多い第３画像を用いて認識を行う第２認識モードで前記区画線を認識し、認識された区画線と前記他の移動体との位置関係に基づいて前記他の移動体の位置を認識する、
   請求項１から４のうち何れか１項に記載の移動体制御装置。
6. 前記認識部は、前記移動体が移動する領域を区画する区画線を延伸させた仮想線と、前記他の移動体から所定距離以内に存在する区画線との位置関係に基づいて、前記他の移動体の位置を認識する、
   請求項５に記載の移動体制御装置。
7. 前記リスク領域が大きい他の物体は、前記第２画像から認識された物体よりも所定時間における移動量が大きいと予測される物体である、
   請求項１から６のうち何れか１項に記載の移動体制御装置。
8. コンピュータが、
   撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識し、
   認識結果に基づいて前記移動体の将来の行動計画を生成し、
   生成した行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御し、
   前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識し、
   認識した前記物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとする、
   移動体制御方法。
9. コンピュータに、
   撮像部により撮像された第１画像に基づいて移動体の周辺状況を認識させ、
   認識結果に基づいて前記移動体の将来の行動計画を生成させ、
   生成された行動計画に基づいて、前記移動体の操舵および速度のうち少なくとも一方を制御させ、
   前記第１画像のデータ量を少なくした第２画像を用いて認識を行う第１認識モードで前記移動体の周辺の物体を認識させ、
   認識された前記物体の確度が閾値未満である場合に、認識した物体よりもリスク領域が大きい他の物体が認識されたものとさせる、
   プログラム。

Images