JP2021162916A - 情報処理装置 - Google Patents

Abstract

【課題】複数のモジュールのそれぞれが、起動している他のモジュールの状況に応じて動作可能な情報処理装置を提供する。【解決手段】情報処理装置は、制御部により制御される複数のモジュールと、複数のモジュールの起動管理テーブル２２１を記憶する記憶部２２と、を有し、複数のモジュールのそれぞれは、制御部により起動されると、起動管理テーブル２２１に起動情報を登録し、かつ、起動管理テーブル２２１を参照して、起動している他のモジュールに基づいて、起動している他のモジュールと関連する処理の内容を決定する。【選択図】図５

Description

本発明は、情報処理装置に関する。

自動制御による車両の運転を実現するために、電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：ＥＣＵ）が車両に搭載されている。ＥＣＵは、車両の現在位置と、車両の目的地と、地図データとに基づいて、車両の走行予定経路を生成して、車両が、車両と他の車両との間に安全な距離が維持されるように、この走行予定経路に沿って走行するように車両の走行を制御する。

このようなＥＣＵの動作は、ＥＣＵに組み込まれたアプリケーションが実行されることにより実現される。アプリケーションは、複数のモジュールを有しており、各モジュールが協働して動作することにより、アプリケーションの処理が実現される。

例えば、特許文献１に記載の情報処理装置は、複数のモジュールを冗長構成にして備える。起動処理実行部は、起動処理を処理ブロックごとに逐次実行する。異常情報生成部は、起動制御時に異常を生じたモジュールを検出した場合に、異常情報を生成し、メモリに保持する。縮退運転判定部は、異常を生じたモジュールを除外した縮退運転の可否を判定する。縮退運転判定部は、縮退運転に最低限必要とされる数のモジュールの起動経過が正常である場合、縮退運転を可能であると判定する。これにより、情報処理装置は、冗長構成されたモジュールの起動時に異常を検出しても、モジュールの起動にかかる遅延時間を抑制する。

特開２０１４−７１６６８号公報

特許文献１に記載の情報処理装置は、異常が生じたモジュールを除外した縮退運転の可否を判定していたが、起動している他のモジュールの状況に応じて、一のモジュールの動作を決定できることが好ましい。

そこで、本発明は、複数のモジュールのそれぞれが、起動している他のモジュールの状況に応じて動作可能な情報処理装置を提供することを目的とする。

一の実施形態によれば、情報処理装置が提供される。この情報処理装置は、制御部により制御される複数のモジュールと、複数のモジュールの起動管理テーブルを記憶する記憶部と、を有し、複数のモジュールのそれぞれは、制御部により起動されると、起動管理テーブルに起動情報を登録し、かつ、起動管理テーブルを参照して、起動している他のモジュールに基づいて、起動している他のモジュールと関連する処理の内容を決定する。

本発明に係る情報処理装置は、複数のモジュールのそれぞれが、起動している他のモジュールに基づいて実行する処理の内容を決定して、起動している他のモジュールの状況に応じて動作できるという効果を奏する。

第１実施形態における情報処理装置が実装される車両制御システムの概略構成図である。 第１実施形態における情報処理装置の一つの実施形態である電子制御装置のハードウェア構成図である。 第１実施形態の情報処理に関する、電子制御装置のプロセッサを説明する図である。 第１実施形態における情報処理を含む、画像処理を説明するシーケンス図（その１）である。 第１実施形態における情報処理を含む、画像処理を説明するシーケンス図（その２）である。 第１実施形態における起動管理テーブルを説明する図である。 第２実施形態の情報処理に関する、電子制御装置のプロセッサを説明する図である。 第２実施形態における情報処理を含む、画像処理を説明するシーケンス図（その１）である。 第２実施形態における情報処理を含む、画像処理を説明するシーケンス図（その２）である。 第２実施形態における起動管理テーブルを説明する図（その１）である。 第２実施形態における通知管理テーブルを説明する図（その１）である。 第２実施形態における情報処理を含む、画像処理を説明するシーケンス図（その１）である。 第２実施形態における情報処理を含む、画像処理を説明するシーケンス図（その２）である。 第２実施形態における起動管理テーブルを説明する図（その２）である。 第２実施形態における通知管理テーブルを説明する図（その２）である。

以下、図を参照しつつ、第１実施形態の情報処理装置について説明する。この情報処理装置は、制御部により制御される複数のモジュールと、複数のモジュールの起動情報が登録される起動管理テーブルを記憶する記憶部と、を有する。制御部は、例えば、オペレーティングシステム（ＯＳ）上で動作するミドルウェアにより実装され、モジュールは、例えば、ＯＳ上でミドルウェアを介して動作して、情報処理アプリケーションの機能を実現するプログラムを用いて実装される。複数のモジュールのそれぞれは、制御部により起動されると、起動管理テーブルに起動情報を登録し、かつ、起動管理テーブルを参照して、起動している他のモジュールに基づいて、起動している他のモジュールと関連する処理の内容を決定する。これにより、情報処理装置では、複数のモジュールのそれぞれが、起動している他のモジュールに基づいて、実行する処理の内容を決定するので、起動している他のモジュールの状況に応じて動作できる。

図１は、情報処理装置が実装される車両制御システムの概略構成図である。図２は、情報処理装置の一つの実施形態である電子制御装置のハードウェア構成図である。

本実施形態では、車両１０に搭載され、且つ、車両１０を制御する車両制御システム１は、車両の前方の画像を撮影する第１カメラ１１と、第１カメラ１１とは別に配置され、車両１０の前方の画像を取得する第２カメラ１２と、車両１０の前に配置されるLiDARセンサ１３とを有する。また、車両制御システム１は、測位情報受信機１４と、地図情報を記憶する地図情報記憶装置１５と、ナビゲーション装置１６と、情報処理装置の一例である電子制御装置（ＥＣＵ）１７とを有する。

第１カメラ１１と、第２カメラ１２と、LiDARセンサ１３と、地図情報記憶装置１５と、ナビゲーション装置１６と、ＥＣＵ１７とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

第１カメラ１１は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。第１カメラ１１は、所定の周期で設定される第１画像情報取得時刻において、車両１０の前方の所定の領域が表された第１画像を生成する。生成された第１画像には、車両１０の周囲の他の車両又は車両１０の前方の所定の領域内に含まれる路面上の車線区画線などの地物が表わされる。第１カメラ１１により生成される画像は、カラー画像であってもよく、又は、グレー画像であってもよい。第１カメラ１１は、撮像部の一例であり、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。第１カメラ１１は、第１画像を生成する度に、第１画像及び第１画像を生成した第１画像情報取得時刻を、車内ネットワークを介してＥＣＵ１７へ出力する。第１画像は、ＥＣＵ１７において、車両の位置を推定する処理に使用されるのと共に、車両１０の周囲の他の物体を検出する処理に使用される。

第２カメラ１２は、第１画像に含まれる車両１０の前方の所定の領域を含むように、車両１０の前方の所定の領域が表された第２画像を生成する。生成された第２画像には、車両１０の周囲の他の車両又は車両１０の前方の所定の領域内に含まれる路面上の車線区画線などの地物が表わされる。第２カメラ１２により生成される画像は、カラー画像であってもよく、又は、グレー画像であってもよい。第２カメラ１２は、撮像部の一例であり、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。第２カメラ１２は、第２画像を生成する度に、第２画像及び第２画像を生成した第２画像情報取得時刻を、車内ネットワークを介してＥＣＵ１７へ出力する。第２画像は、ＥＣＵ１７において、車両１０の周囲の他の物体を検出する処理に使用される。本実施形態では、第１画像取得時刻と、第２画像取得時刻とは同期しているとする。

LiDARセンサ１３は、車両１０の前方を向くように、例えば、車両１０の外面に取り付けられる。LiDARセンサ１２は、所定の周期で設定される反射波情報取得時刻において、車両１０の前方に向けてパルス状のレーザを同期して発射して、反射物により反射された反射波を受信する。LiDARセンサ１２の視野は、第２画像に含まれる車両１０の前方の所定の領域を含む。反射波が戻ってくるのに要する時間は、レーザが照射された方向に位置する地物と車両１０との間の距離情報を有する。LiDARセンサ１２は、レーザの照射方向及び反射波が戻ってくるのに要する時間を含む反射波情報を、レーザを発射した反射波情報取得時刻と共に、車内ネットワークを介してＥＣＵ１７へ出力する。反射波情報は、ＥＣＵ１７において、車両１０の周囲の他の物体を検出する処理に使用される。本実施形態では、第１画像取得時刻と、反射波情報取得時刻とは同期しているとする。

測位情報受信機１４は、車両１０の現在位置を表す測位情報を出力する。例えば、測位情報受信機１４は、ＧＰＳ受信機とすることができる。測位情報受信機１４は、所定の受信周期で測位情報を取得する度に、測位情報及び測位情報を取得した測位情報取得時刻を、地図情報記憶装置１５へ出力する。

地図情報記憶装置１５は、車両１０の現在位置を含む相対的に広い範囲（例えば１０〜３０ｋｍ四方の範囲）の広域地図情報を記憶する。この広域地図情報は、路面の３次元情報、道路上の車線区画線などの地物、構造物の種類及び位置を表す情報、道路の法定速度などを含む高精度地図情報であることが好ましい。地図情報記憶装置１５は、測位情報受信機１４から測位情報を入力する度に、記憶装置に記憶している広域地図情報を参照して、測位情報により表される現在位置を含む相対的に狭い領域（例えば、１００ｍ〜１０ｋｍ四方の範囲）の地図情報、測位情報及び測位情報取得時刻を、車内ネットワークを介してＥＣＵ１７へ出力する。

ナビゲーション装置１６は、ナビゲーション用地図情報と、車両１０の目的地と、車両１０の現在位置とに基づいて、車両１０の現在位置から目的地までの走行予定経路を生成する。ナビゲーション装置１６は、走行予定経路を生成する度に、その走行予定経路を、車内ネットワークを介してＥＣＵ１７へ出力する。

ＥＣＵ１７は、車両１０の走行を制御する。本実施形態では、ＥＣＵ１７では、物体検出処理を実行するアプリケーションが有する複数のモジュールのそれぞれは、制御部の一例であるミドルウェアにより起動されると、複数のモジュールのそれぞれが起動していることを示す起動情報が登録される起動管理テーブルに起動情報を登録し、かつ、起動管理テーブルを参照して、起動している他のモジュールに基づいて、起動している他のモジュールと関連する情報処理の内容を決定する。そのために、ＥＣＵ１７は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース（Ｉ／Ｆ）２１は、通信部の一例であり、ＥＣＵ１７を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、第１カメラ１１、第２カメラ１２及び地図情報記憶装置１５などと接続される。通信インターフェース２１は、例えば、第１カメラ１１から第１画像及び第１画像情報取得時刻を受信する度に、受信した第１画像及び第１画像情報取得時刻をプロセッサ２３へわたす。また、通信インターフェース２１は、第２カメラ１２から第２画像及び第２画像情報取得時刻を受信する度に、受信した第２画像及び第２画像情報取得時刻をプロセッサ２３へわたす。さらに、通信インターフェース２１は、Lidar１３から反射波情報及び反射波情報取得時刻を受信する度に、受信した反射波情報及び反射波情報取得時刻をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ１７のプロセッサ２３により実行される情報処理において使用されるアプリケーションのプログラム（アプリケーションの複数のモジュールを含む）及び各種のデータ（例えば、プロセッサ２３により実行されるアプリケーションが有する複数のモジュールのそれぞれが起動していることを示す起動情報が登録される起動管理テーブル）、第１カメラ１１、第２カメラ１２及びLidar１３のそれぞれの光軸方向及び取り付け位置などの設置位置情報、第１カメラ１１及び第２カメラ１２の撮像光学系の焦点距離及び画角といった内部パラメータなどを記憶する。

プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。プロセッサ２３が複数個のＣＰＵを有する場合、ＣＰＵごとにメモリを有していてもよい。

プロセッサ２３は、第１カメラ１１が生成した画像と、地図情報とに基づいて、この画像が生成された第１画像情報取得時刻における車両１０の位置を推定する位置推定処理を実行し、第１画像情報取得時刻における車両１０の位置に基づいて、車両１０の現在位置を推定する。また、プロセッサ２３は、第１画像、第２画像及び反射波情報に基づいて、車両１０の周囲の他の物体及び他の物体の位置を検出する（以下、物体検出処理ともいう）。他の物体には、車両１０の周囲を走行する他の車両が含まれる。さらに、プロセッサ２３は、車両１０の推定位置と、車両１０の目的地と、車両１０の周囲の他の物体との相対的な位置関係とに基づいて運転計画を生成して（以下、運転計画生成処理ともいう）、この運転計画に基づいて車両１０の走行動作を制御するための制御信号を生成する（以下、車両制御処理ともいう）。この制御信号に基づいて、車両１０の操舵、加速又は制動が制御される。

図３は、第１実施形態の情報処理に関する、ＥＣＵ１７のプロセッサを説明する図である。プロセッサ２３には、物体検出アプリケーション３３と、位置推定処理、物体検出処理の一部の処理、運転計画生成処理及び車両制御処理などを実行する他のアプリケーション３４と、ミドルウェア３２と、ＯＳ３１とが実装される。物体検出アプリケーション３３及び他のアプリケーション３４は、制御部の一例であるミドルウェア３２を介して、ＯＳ３１上で動作する。ＯＳ３１と、ミドルウェア３２と、物体検出アプリケーション３３と、他のアプリケーション３４とは、ＯＳ３１が上位となって下位層の動作を制御する階層構造３０を形成する。

物体検出アプリケーション３３は、モジュール１〜モジュール３を有する。モジュール１〜モジュール３は、制御部の一例であるミドルウェア３２を介して、ＯＳ３１上で動作する。ミドルウェア３２は、モジュール１〜モジュール３の動作を制御する。モジュール１は、第１画像から他の物体及びその種類を検出して、オプティカルフローなどに基づく追跡処理に従って、最新の画像から検出された他の物体を過去の画像から検出された物体と対応付けることで、最新の画像から検出された他の物体を追跡する。モジュール１は、この追跡処理において、必要に応じて他の物体の位置及び大きさを補正する。モジュール２は、第２画像から他の物体及びその種類を検出して、オプティカルフローなどに基づく追跡処理に従って、最新の画像から検出された他の物体を過去の画像から検出された物体と対応付けることで、最新の画像から検出された他の物体を追跡する。モジュール２は、この追跡処理において、必要に応じて他の物体の位置及び大きさを補正する。モジュール３は、反射波情報に基づいて他の物体並びに車両１０に対する他の物体までの距離及び方位を検出する。モジュール３は、その検出結果を、モジュール１及びモジュール２が検出した他の物体を関連づけて、他のアプリケーション３４へ通知する。次に、上述した画像処理アプリケーション３５の動作例を、図４〜図６を参照しながら、以下に説明する。

まず、ステップＳ４０１において、ミドルウェア３２は、物体検出アプリケーション３３の起動を要求する起動要求が通知されると、モジュール１〜モジュール３を起動し且つ初期化させるための起動及び初期化要求を生成して、モジュール１〜モジュール３のそれぞれに通知する。また、ミドルウェア３２は、モジュール１〜モジュール３のそれぞれが起動していることを示す起動情報が登録される起動管理テーブル２２１を、モジュール１〜モジュール３がアクセス可能なメモリ２２の領域に生成する。

次に、ステップＳ４０２において、モジュール１は、ミドルウェア３２から起動要求が通知されると、ミドルウェア３２から動作を開始することを要求する動作開始要求が通知された場合に動作を開始することが可能な状態となるように初期化処理を実行する。モジュール１は、例えば、初期化処理として、第１画像から他の物体及びその種類を検出するのに使用するパラメータ、第１画像からの他の物体の検出結果及びその信頼度を通知する通知先である他のモジュール（２）に関する情報（起動モジュール識別番号）、及び補正後の検出結果を通知する通知先である他のモジュール（３）に関する情報（起動モジュール識別番号）などを、メモリ２２から読み込む。なお、モジュール１及びモジュール２は、これらの初期化処理で読み込む情報を、ミドルウェア３２から通知されてもよい。

次に、ステップＳ４０３において、モジュール１は、モジュール１が起動していることを示す起動情報を、メモリ２２に記憶されている起動管理テーブル２２１に登録する。図６は、第１実施形態における起動管理テーブルを説明する図である。起動管理テーブル２２１は、起動しているモジュールを識別する起動モジュール識別番号（起動情報の一例）が登録される起動モジュール識別番号欄２２１１と、起動しているモジュールの数を示す起動モジュール数が登録される起動モジュール数欄２２１２を有する。起動管理テーブル２２１が生成された初期状態では、起動モジュール識別番号欄２２１１には起動モジュール識別番号は登録されておらず、起動モジュール数欄２２１２にはゼロが登録されている。モジュール１は、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に、モジュール１の起動モジュール識別番号を登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール１は、起動及び初期化を行ったことを、ミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール１が起動及び初期化を行ったと判定する。例えば、モジュール１は、起動及び初期化の実行時に異常が発生した場合、起動及び初期化を行ったことを、ミドルウェア３２へ通知しない。ミドルウェア３２は、起動要求をモジュール１へ通知した後に所定の時間が経過しても、起動及び初期化を行ったことが通知されない場合、モジュール１が起動していないと判定する。

また、ステップＳ４０４において、モジュール２は、ミドルウェア３２から起動要求が通知されると、ミドルウェア３２から動作を開始することを要求する動作開始要求が通知された場合に動作を開始することが可能な状態となるように初期化処理を実行する。モジュール２は、例えば、初期化処理として、第２画像から他の物体及びその種類を検出するのに使用するパラメータ、第２画像からの他の物体の検出結果及びその信頼度を通知する通知先である他のモジュール（１）に関する情報（起動モジュール識別番号）、及び補正後の検出結果を通知する通知先である他のモジュール（３）に関する情報（起動モジュール識別番号）などを、メモリ２２から読み込む。なお、ステップＳ４０４の処理は、上述したステップＳ４０２よりも先に行われるか、又は同時に行われてもよい。

次に、ステップＳ４０５において、モジュール２は、モジュール２が起動していることを示す起動情報を、メモリ２２に記憶されている起動管理テーブル２２１に登録する。モジュール２は、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に、モジュール２の起動モジュール識別番号を登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール１は、起動及び初期化を行ったことを、ミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール２が起動及び初期化を行ったと判定する。なお、ステップＳ４０５の処理は、上述したステップＳ４０３よりも先に行われるか、又は同時に行われてもよい。

また、ステップＳ４０６において、モジュール３は、ミドルウェア３２から起動要求が通知されると、ミドルウェア３２から動作を開始することを要求する動作開始要求が通知された場合に動作を開始することが可能な状態となるように初期化処理を実行する。モジュール３は、例えば、初期化処理として、反射波情報から他の物体を検出するのに使用するパラメータ、及び、モジュール３に対して他の物体の検出結果を通知する通知元である他のモジュール（１，２）に関する情報（起動モジュール識別番号）などを、メモリ２２から読み込む。なお、ステップＳ４０４の処理は、上述したステップＳ４０２又はＳ４０４よりも先に行われるか、又は同時に行われてもよい。

次に、ステップＳ４０７において、モジュール３は、モジュール３が起動していることを示す起動情報を、メモリ２２に記憶されている起動管理テーブル２２１に登録する。モジュール３は、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に、モジュール２の起動モジュール識別番号を登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール１は、起動及び初期化を行ったことを、ミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール２が起動及び初期化を行ったと判定する。なお、ステップＳ４０７の処理は、上述したステップＳ４０３又はＳ４０５よりも先に行われるか、又は同時に行われてもよい。

図６は、モジュール１〜モジュール３のそれぞれが起動情報を登録した後の起動管理テーブル２２１を示す。図６に示すように、起動モジュール識別番号欄２２１１にはモジュール１〜モジュール３の起動モジュール識別番号が登録され、起動モジュール数欄２２１２には、起動しているモジュールの数である３が登録されている。

次に、ステップＳ４０８において、ミドルウェア３２は、第１カメラ１１から第１画像及び第１画像取得時刻が通知されると、モジュール１に対して、第１画像及び第１画像取得時刻を通知すると共に、モジュール１が動作を開始することを要求する動作開始要求を通知する。

次に、ステップＳ４０９において、モジュール１は、ミドルウェア３２から動作開始要求が通知されると、メモリ２２に記憶された起動管理テーブル２２１を参照して、起動している他のモジュールと関連する処理の内容を決定する。そして、モジュール１は、第１画像から他の物体を検出する。具体的には、モジュール１は、起動管理テーブル２２１を参照して、起動している他のモジュールの起動モジュール識別番号を取得し、検出結果及びその信頼度を通知する通知先である他のモジュール（２）が起動している場合、起動モジュール識別番号（２）で識別されるモジュール２を通知先として選択する。一方、モジュール１は、検出結果及びその信頼度を通知する通知先である他のモジュール（２）が起動していない場合、検出結果及びその信頼度を他のモジュールを通知することなく、検出結果を補正することを決定する。また、モジュール１は、起動管理テーブル２２１を参照して、補正後の検出結果を通知する通知先である他のモジュール（３）が起動している場合、起動モジュール識別番号（３）で識別されるモジュール３を通知先として選択する。一方、モジュール１は、補正後の検出結果を通知する通知先である他のモジュール（３）が起動していない場合、補正後の検出結果を他のモジュールへ通知することなく他のアプリケーション３４へ通知することを決定する。そして、モジュール１は、第１画像から他の物体を含むと推定される矩形領域の位置及びその種類を検出すると共に、その検出結果の信頼度を求める。モジュール１は、例えば、第１カメラ１１が生成した第１画像を識別器に入力することで第１画像に表された物体を検出する。識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。モジュール１は、ＤＮＮ以外の識別器を用いてもよい。また、モジュール１は、第１画像内の矩形領域の位置に基づいて、車両１０に対する矩形領域の方位を求める。そして、モジュール１は、他の物体（矩形領域）の位置、その種類、検出結果の信頼度及び車両１０に対する他の物体の方位を、選択された他のモジュール（モジュール２）へ通知する。一方、モジュール１は、モジュール２が起動していない場合、上述した検出結果を他のモジュールへ通知することは行わない。

また、ステップＳ４１０において、ミドルウェア３２は、第２カメラ１２から第２画像及び第２画像取得時刻が通知されると、モジュール２に対して、第２画像及び第２画像取得時刻を通知すると共に、モジュール２が動作を開始することを要求する動作開始要求を通知する。なお、ステップＳ４１０の処理は、上述したステップＳ４０６よりも先に行われてもよい。

次に、ステップＳ４１１において、モジュール２は、ミドルウェア３２から動作開始要求が通知されると、メモリ２２に記憶された起動管理テーブル２２１を参照して、起動している他のモジュールと関連する処理の内容を決定する。そして、モジュール２は、第２画像から他の物体を検出する。具体的には、モジュール２は、起動管理テーブル２２１を参照して、起動している他のモジュールの起動モジュール識別番号を取得し、検出結果及びその信頼度を通知する通知先である他のモジュール（２）が起動している場合、起動モジュール識別番号（１）で識別されるモジュール１を通知先として選択する。一方、モジュール２は、検出結果及びその信頼度を通知する通知先である他のモジュール（１）が起動していない場合、検出結果及びその信頼度を他のモジュールを通知することなく、検出結果を補正することを決定する。また、モジュール２は、起動管理テーブル２２１を参照して、補正後の検出結果を通知する通知先である他のモジュール（３）が起動している場合、起動モジュール識別番号（３）で識別されるモジュール３を通知先として選択する。一方、モジュール２は、補正後の検出結果を通知する通知先である他のモジュール（３）が起動していない場合、補正後の検出結果を他のモジュールへ通知することなく他のアプリケーション３４へ通知することを決定する。そして、モジュール２は、第２画像から他の物体を含むと推定される矩形領域の位置及びその種類を検出すると共に、その検出結果の信頼度を求める。モジュール２は、例えば、第２カメラ１２が生成した第１画像を識別器に入力することで第２画像に表された物体を検出する。識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。モジュール２は、ＤＮＮ以外の識別器を用いてもよい。また、モジュール２は、第２画像内の矩形領域の位置に基づいて、車両１０に対する矩形領域の方位を求める。そして、モジュール２は、他の物体（矩形領域）の位置、その種類、検出結果の信頼度及び車両１０に対する他の物体の方位を、選択された他のモジュール（モジュール１）へ通知する。一方、モジュール２は、モジュール１が起動していない場合、上述した検出結果を他のモジュールへ通知することは行わない。

また、ステップＳ４１２において、ミドルウェア３２は、Lidar１２から反射波情報及び反射波取得時刻が通知されると、モジュール３に対して、反射波情報及び反射波取得時刻を通知すると共に、モジュール３が動作を開始することを要求する動作開始要求を通知する。なお、ステップＳ４１２の処理は、上述したステップＳ４０８又はＳ４１０よりも先に行われてもよい。

次に、ステップＳ４１３において、モジュール３は、ミドルウェア３２から動作開始要求が通知されると、メモリ２２に記憶された起動管理テーブル２２１を参照して、起動している他のモジュールと関連する処理の内容を決定する。そして、モジュール３は、反射波情報に基づいて他の物体を検出する。具体的には、モジュール３は、起動管理テーブル２２１を参照して、起動している他のモジュールの起動モジュール識別番号を取得し、モジュール３に対して他の物体に検出結果を通知する通知元である他のモジュール（１，２）が起動している場合、起動モジュール識別番号（１，２）で識別されるモジュール１及びモジュール２を通知元として選択する。一方、モジュール３は、モジュール３に対して他の物体に検出結果を通知する通知元である他のモジュール（１，２）が起動していない場合、他のモジュールから他の物体の検出結果が通知されることを待つことなく、モジュール３の検出結果を他のアプリケーション３４へ通知することを決定する。そして、モジュール３は、ミドルウェア３２から通知されて反射波情報に基づいて、車両１０の前方の他の物体を検出する。モジュール３は、例えば、反射波情報を識別器に入力することで、車両１０の前方の他の物体を検出して、車両１０に対する他の物体までの距離及び方位を推定する。識別器として、例えば、入力された反射波情報から、その反射波情報に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。モジュール３は、ＤＮＮ以外の識別器を用いてもよい。そして、モジュール３は、選択された他のモジュール（モジュール１及びモジュール２）から他の物体に関する情報が通知されるまで待機する。一方、モジュール３は、モジュール１及びモジュール２が起動していない場合、選択された他のモジュールから他の物体の検出結果が通知されることを待つことなく、車両１０に対する他の物体までの距離及び方位を他のアプリケーション３４へ通知した上で、動作を終了することを示す動作終了通知を、ミドルウェア３２へ通知した後、待機状態となる。

次に、ステップＳ５０１において、モジュール１は、モジュール２から検出結果及び信頼度などが通知されると、モジュール１が検出した他の物体の車両１０に対する方位と、モジュール２から通知された他の物体の車両１０に対する方位とを比較して、２つの方位の差が所定の範囲内にある場合、モジュール１が検出した他の物体とモジュール２が検出した他の物体とは同一であると判定する。そして、モジュール１は、モジュール１が求めた信頼度と、モジュール２から通知された信頼度とを比較して、モジュール１が求めた信頼度が、モジュール２から通知された信頼度よりも高い場合、第１画像内の矩形領域の補正を実行する。具体的には、モジュール１は、追跡処理を行って、最新の画像から検出された他の物体を直前の画像から検出された物体と対応付ける。そして、モジュール１は、追跡処理により対応づけた直前の第１画像内に検出された矩形領域の位置と今回の矩形領域の位置との差である距離（画素数）と、所定の基準値と比較して、差である距離が所定の基準値よりも大きい場合、今回の矩形領域の位置を、直前の第１画像内に検出された矩形領域の位置に対して所定の基準値以内の距離となるように補正する。これは、差である距離が所定の基準値よりも大きい場合、今回の矩形領域の位置は異常値であると考えられるからである。また、モジュール１は、直前の第１画像内に検出された矩形領域の大きさと今回の矩形領域の大きさとの差を、所定の基準値と比較して、大きさの差が所定の基準値よりも大きい場合、今回の矩形領域の大きさを、大きさの差が所定の基準値以内となるように補正する。これは、大きさの差が所定の基準値よりも大きい場合、今回の矩形領域の大きさが異常値であると考えられるからである。モジュール１は、補正後の他の物体（矩形領域）の第１画像内の位置及びその種類と、追跡処理の結果を、第１画像取得時刻と共に、選択された他のモジュール（３）へ通知する。一方、モジュール１は、モジュール３が起動していない場合、補正後の他の物体（矩形領域）の車両１０に対する方位、第１画像内の位置及びその種類を、他のアプリケーション３４へ通知する。そして、モジュール１は、動作を終了することを示す動作終了通知を、ミドルウェア３２へ通知した後、待機状態となる。また、モジュール１は、モジュール１が検出した他の物体とモジュール２が検出した他の物体とは同一ではないと判定した場合、この第１画像内の他の物体（矩形領域）の補正を実行して、補正後の他の物体の第１画像内の位置及びその種類を、第１画像取得時刻と共に、選択された他のモジュール（３）へ通知する。

また、ステップＳ５０２において、モジュール２は、モジュール１から検出結果及び信頼度などが通知されると、モジュール２が検出した他の物体の車両１０に対する方位と、モジュール１から通知された他の物体の車両１０に対する方位とを比較して、２つの方位の差が所定の範囲内にある場合、モジュール２が検出した他の物体とモジュール１が検出した他の物体とは同一であると判定する。そして、モジュール２は、モジュール２が求めた信頼度と、モジュール１から通知された信頼度とを比較して、モジュール２が求めた信頼度が、モジュール１から通知された信頼度よりも高い場合、第２画像内の矩形領域の補正を実行する。具体的には、モジュール１は、追跡処理を行って、最新の画像から検出された他の物体を直前の画像から検出された物体と対応付ける。そして、モジュール２は、追跡処理により対応づけた直前の第２画像内に検出された矩形領域の位置と今回の矩形領域の位置との差である距離（画素数）と、所定の基準値と比較して、差である距離が所定の基準値よりも大きい場合、今回の矩形領域の位置を、直前の第２画像内に検出された矩形領域の位置に対して所定の基準値以内の距離となるように補正する。これは、差である距離が所定の基準値よりも大きい場合、今回の矩形領域の位置は異常値であると考えられるからである。また、モジュール２は、直前の第２画像内に検出された矩形領域の大きさと今回の矩形領域の大きさとの差を、所定の基準値と比較して、大きさの差が所定の基準値よりも大きい場合、今回の矩形領域の大きさを、大きさの差が所定の基準値以内となるように補正する。これは、大きさの差が所定の基準値よりも大きい場合、今回の矩形領域の大きさが異常値であると考えられるからである。モジュール２は、補正後の他の物体（矩形領域）の車両１０に対する方位、第２画像内の位置及びその種類と、追跡処理の結果を、第２画像取得時刻と共に、選択された他のモジュール（３）へ通知する。一方、モジュール２は、モジュール３が起動していない場合、補正後の他の物体（矩形領域）の第２画像内の位置及びその種類を、他のアプリケーション３４へ通知する。そして、モジュール２は、動作を終了することを示す動作終了通知を、ミドルウェア３２へ通知した後、待機状態となる。また、モジュール２は、モジュール２が検出した他の物体とモジュール１が検出した他の物体とは同一ではないと判定した場合、この第２画像内の他の物体（矩形領域）の補正を実行して、補正後の他の物体の第２画像内の位置及びその種類を、第２画像取得時刻と共に、選択された他のモジュール（３）へ通知する。

このように、物体検出アプリケーション３３では、第１カメラ１１が生成した第１画像と、第２カメラ１２が生成した第２画像との両方に撮影された同一の他の物体の検出については、新ライドの低い検出結果の矩形領域に対しては補正せず、信頼度の高い検出結果の矩形領域に対して補正を行うことにより処理量の抑制を図っている。

次に、ステップＳ５０３において、モジュール３は、通知元として選択された他のモジュール（１、２）から補正後の他の物体（矩形領域）の車両１０に対する方位、画像内の位置及びその種類と、追跡処理の結果が通知されると、通知された他の物体の車両１０に対する方位と、モジュール３が検出した他の物体の方位の中で、方位が一致する他の物体を選択する。モジュール３は、方位が一致する他の物体が選択された場合、通知された他の物体の車両１０に対する方位、画像内の位置及びその種類と、追跡処理の結果を、モジュール３が推定した他の物体の車両１０に対する距離とを関連づけて、他のアプリケーション３４へ通知する。そして、モジュール３は、動作を終了することを示す動作終了通知を、ミドルウェア３２へ通知した後、待機状態となる。

プロセッサ２３に実装される他のアプリケーション３４は、車両１０の位置と、車両１０に対する他の物体までの距離及び方位に基づいて、例えば世界座標系で表された、他の物体の位置を推定する。そして、他のアプリケーション３４は、車両１０の位置と、他の物体に関する情報と、走行予定経路と、地図情報とに基づいて運転計画を生成して、この運転計画に基づいて制御信号を生成する。

以上に説明してきたように、この情報処理装置は、制御部により制御される複数のモジュールと、複数のモジュールのそれぞれが起動していることを示す起動情報が登録される起動管理テーブルを記憶する記憶部と、を有する。複数のモジュールのそれぞれは、制御部により起動されると、起動管理テーブルに起動情報を登録し、かつ、起動管理テーブルを参照して、起動している他のモジュールに基づいて、起動している他のモジュールと関連する処理の内容を決定する。これにより、情報処理装置では、複数のモジュールのそれぞれが、起動している他のモジュールに基づいて、実行する処理の内容を決定するので、起動している他のモジュールの状況に応じて動作できる。

上述した第１実施形態では、起動している他のモジュールと関連する処理として、検出結果の信頼度が他のモジュールよりも高い場合、画像内の矩形領域の補正を実行していたが、モジュールが実行する処理は、これに限定されない。例えば、モジュール１（又は２）は、モジュール２（又は１）から通知された、モジュール２が検出した車両１０に対する他の物体の方位に対応する他の物体を検出しない場合、最初の物体検出処理よりも検出精度の高い処理を用いて、モジュール２（又は１）が検出した車両１０に対する他の物体の方位の画像領域を解析するようにしてもよい。

次に、上述した情報処理装置の第２実施形態を、図７〜図１５を参照しながら以下に説明する。他の実施形態について特に説明しない点については、上述の第１実施形態に関して詳述した説明が適宜適用される。また、同一の構成要素には同一の符号を付してある。

本実施形態の情報処理装置も、上述した第１実施形態と同様に、車両制御システムのＥＣＵ１７に実装される。本実施形態のＥＣＵ１７は、上述した第１実施形態とは異なり、第１カメラ１１が生成した第１画像と共に、第２カメラ１２が生成した第２画像に基づいて、車両１０の現在位置を推定する。また、ＥＣＵ１７は、画像を処理する際に使用されるハードウェアアクセラレータ（ＨＡ）を有する。ＥＣＵ１７は、画像を処理する際にハードウェアアクセラレータを使用することにより、画像を高速に処理することができる。

図７は、第２実施形態の情報処理に関する、ＥＣＵ１７のプロセッサを説明する図である。プロセッサ２３には、位置推定処理の一部及び物体検出処理の一部を実行する画像処理アプリケーション３５と、位置推定処理及び物体検出処理の他の処理、運転計画生成処理及び車両制御処理などを実行する他のアプリケーション３６と、ミドルウェア３２と、ＯＳ３１とが実装される。画像処理アプリケーション３５及び他のアプリケーション３６は、制御部の一例であるミドルウェア３２を介して、ＯＳ３１上で動作する。ＯＳ３１と、ミドルウェア３２と、画像処理アプリケーション３５と、他のアプリケーション３６とは、ＯＳ３１が上位となって下位層の動作を制御する階層構造３０を形成する。

画像処理アプリケーション３５は、モジュール１〜モジュール４を有する。モジュール１〜モジュール４は、制御部の一例であるミドルウェア３２を介して、ＯＳ３１上で動作する。ミドルウェア３２は、モジュール１〜モジュール４の動作を制御する。モジュール１は、ハードウェアアクセラレータを用いて、第１カメラ１１が生成した第１画像から他の物体及びその種類を検出した後、メモリ２２に記憶される起動管理テーブル２２１に登録される情報に基づいて選択される他のモジュールへハードウェアアクセラレータの使用権を通知する。モジュール２は、ハードウェアアクセラレータを用いて、第１カメラ１１が生成した第１画像から車線区画線を検出した後、起動管理テーブル２２１に登録される情報に基づいて選択される他のモジュールへハードウェアアクセラレータの使用権を通知する。モジュール３は、ハードウェアアクセラレータを用いて、第２カメラ１２が生成した第２画像から他の物体及びその種類を検出した後、起動管理テーブル２２１に登録される情報に基づいて選択される他のモジュールへハードウェアアクセラレータの使用権を通知する。モジュール４は、ハードウェアアクセラレータを用いて、第２カメラ１２が生成した第２画像から車線区画線を検出した後、起動管理テーブル２２１に登録される情報に基づいて選択される他のモジュールへハードウェアアクセラレータの使用権を通知する。次に、上述した画像処理アプリケーション３５の第１動作例を、図８〜図１１を参照しながら、以下に説明する。

まず、ステップＳ８０１において、ミドルウェア３２は、画像処理アプリケーション３５の起動を要求する起動要求が通知されると、モジュール１〜モジュール４を起動させるための起動要求を生成して、モジュール１〜モジュール４のそれぞれに通知する。また、ミドルウェア３２は、モジュール１〜モジュール４のそれぞれが起動していることを示す起動情報が登録される起動管理テーブル２２１を、モジュール１〜モジュール４がアクセス可能なメモリ２２の領域に生成する。

次に、ステップＳ８０２において、モジュール１は、ミドルウェア３２から起動要求が通知されると、モジュール１が起動していることを示す起動情報の一例である起動モジュール識別番号を、メモリ２２に記憶されている起動管理テーブル２２１に登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。図１０は、第２実施形態の第１動作例における起動管理テーブルを説明する図である。そして、モジュール１は、起動したことをミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール１が起動したと判定する。

また、ステップＳ８０３において、モジュール２は、ミドルウェア３２から起動要求が通知されると、モジュール２が起動していることを示す起動情報の一例である起動モジュール識別番号を、メモリ２２に記憶されている起動管理テーブル２２１に登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール２は、起動したことをミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール２が起動したと判定する。

また、ステップＳ８０４において、モジュール３は、ミドルウェア３２から起動要求が通知されると、モジュール３が起動していることを示す起動情報の一例である起動モジュール識別番号を、メモリ２２に記憶されている起動管理テーブル２２１に登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール３は、起動したことを、ミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール３が起動したと判定する。

また、ステップＳ８０５において、モジュール４は、ミドルウェア３２から起動要求が通知されると、モジュール４が起動していることを示す起動情報の一例である起動モジュール識別番号を、メモリ２２に記憶されている起動管理テーブル２２１に登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール４は、起動したことをミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール４が起動したと判定する。なお、ステップＳ８０２〜Ｓ８０５の処理は、その順番に制約はなく、また、各処理は同時に行われてもよい。

図１０は、モジュール１〜モジュール４のそれぞれが起動情報を登録した後の起動管理テーブル２２１を示す。図１０に示すように、起動モジュール識別番号欄２２１１にはモジュール１〜モジュール４の起動モジュール識別番号が登録され、起動モジュール数欄２２１２には、起動しているモジュールの数である４が登録されている。

次に、ステップＳ８０６において、ミドルウェア３２は、第１カメラ１１から第１画像及び第１画像取得時刻が通知されると、モジュール１に対して、第１画像及び第１画像取得時刻を通知すると共に、モジュール１が動作を開始することを要求する最初の動作開始要求と、第１画像の処理に使用するハードウェアアクセラレータ（ＨＡ）の使用権を通知する。これにより、モジュール１は、ハードウェアアクセラレータの使用が許容される。モジュール１〜モジュール４のそれぞれは、画像を処理する際にＥＣＵ１７が有するハードウェアアクセラレータを使用するが、ハードウェアアクセラレータの使用は、ハードウェアアクセラレータの使用権が通知されているモジュールのみに許容される。また、ミドルウェア３２は、モジュール２に対して、第１画像及び第１画像取得時刻を通知すると共に、モジュール２が動作を開始することを要求する最初の動作開始要求を通知する。なお、ミドルウェア３２は、モジュール１が起動していない場合、ハードウェアアクセラレータ（ＨＡ）の使用権をモジュール２へ通知する。

次に、ステップＳ８０７において、モジュール１は、ミドルウェア３２から最初の動作開始要求が通知されると、起動管理テーブル２２１を参照して、起動している他のモジュールに基づいて、起動している他のモジュールと関連する初期化処理および実行する所定の処理の内容を決定し、かつ、ミドルウェア３２から動作を開始することの指示が通知された場合に動作を開始することが可能な状態となるように決定した内容の初期化処理を行う。具体的には、モジュール１は、第１画像から他の物体及びその種類を検出するのに使用するパラメータ、並びハードウェアアクセラレータの使用権の通知先の優先順位などを、メモリ２２から読み込む。なお、モジュール１〜モジュール４は、これらの初期化処理に用いる情報を、ミドルウェア３２から通知されてもよい。ここでは、ハードウェアアクセラレータの使用権を通知先の優先順位は、モジュール２、モジュール３、モジュール４の順番である。そして、モジュール１は、メモリ２２に記憶された起動管理テーブル２２１を参照して、他のモジュールが起動している場合、起動している他のモジュールの起動モジュール識別番号を取得する。ここでは、モジュール１は、起動している他のモジュールの起動モジュール識別番号として、２、３及び４を取得する。一方、他のモジュールが起動していない場合、モジュール１は、ハードウェアアクセラレータの使用権を他のモジュールへ通知しないことを決定する。ここまでの処理が、モジュール１が、起動管理テーブル２２１を参照して、起動している他のモジュールに基づいて、起動している他のモジュールと関連する初期化処理および実行する所定の処理の内容を決定することに対応する。そして、モジュール１は、初期化処理として、ハードウェアアクセラレータの通知先の優先順位と、起動している他のモジュールの起動モジュール識別番号とに基づいて通知先のモジュールを選択して、通知管理テーブルをメモリ２２に生成する。図１１（Ａ）は、モジュール１が生成した通知管理テーブルを示す。通知管理テーブル１１０１は、通知管理テーブル１１０１が適用されるモジュールを識別する識別番号が登録されるモジュール識別番号欄１１１１と、ハードウェアアクセラレータの使用権の通知先が登録される通知先欄１１１２とを有する。モジュール識別番号欄１１１１には、通知管理テーブル１１０１が適用されるモジュールを識別するモジュール識別番号（１）が登録される。通知先欄１１１２には、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に登録されているモジュールの中で最も優先順位の高いモジュール２の起動モジュール識別番号（２）が登録される。モジュール１は、後述する所定の第１画像に基づいた処理を実行した後、ハードウェアアクセラレータの使用権を、モジュール２へ通知する。一方、モジュール１は、全ての他のモジュールが起動していない場合、通知管理テーブルを生成しない。なお、モジュール１は、ミドルウェア３２から通知される２回目移行の動作要求に対しては、ステップＳ８０７の処理を行わなくてよい。

また、ステップＳ８０８において、モジュール２は、ミドルウェア３２から最初の動作開始要求が通知されると、第１画像から車線区画線を検出するのに使用するパラメータ、並びハードウェアアクセラレータの使用権の通知先の優先順位などを、メモリ２２から読み込む。ここでは、ハードウェアアクセラレータの使用権を通知先の優先順位は、モジュール３、モジュール４、モジュール１の順番である。そして、モジュール２は、メモリ２２に記憶された起動管理テーブル２２１を参照して、他のモジュールが起動している場合、起動している他のモジュールの起動モジュール識別番号を取得する。ここでは、モジュール２は、起動している他のモジュールの起動モジュール識別番号として、１、３及び４を取得する。一方、他のモジュールが起動していない場合、モジュール２は、ハードウェアアクセラレータの使用権を他のモジュールへ通知しないことを決定する。そして、モジュール２は、ハードウェアアクセラレータの通知先の優先順位と、起動している他のモジュールの起動モジュール識別番号とに基づいて通知先のモジュールを選択して、通知管理テーブルをメモリ２２に生成する。図１１（Ｂ）は、モジュール２が生成した通知管理テーブルを示す。通知管理テーブル１１０２は、通知管理テーブル１１０２が適用されるモジュールを識別する識別番号が登録されるモジュール識別番号欄１１２１と、ハードウェアアクセラレータの使用権の通知先が登録される通知先欄１１２２とを有する。モジュール識別番号欄１１２１には、通知管理テーブル１１０２が適用されるモジュールを識別するモジュール識別番号（２）が登録される。通知先欄１１２２には、起動管理テーブル２２１のモジュール識別番号欄２２１１に登録されているモジュールの中で最も優先順位の高いモジュール３の起動モジュール識別番号（３）が登録される。モジュール２は、後述する所定の第１画像に基づいた処理を実行した後、ハードウェアアクセラレータの使用権を、モジュール３へ通知する。一方、モジュール２は、全ての他のモジュールが起動していない場合、通知管理テーブルを生成しない。なお、モジュール２は、ミドルウェア３２から通知される２回目移行の動作要求に対しては、ステップＳ８０８の処理を行わなくてよい。

また、ステップＳ８０９において、ミドルウェア３２は、第２カメラ１２から第２画像及び第２画像取得時刻が通知されると、モジュール３及びモジュール４に対して、第２画像及び第２画像取得時刻を通知すると共に、モジュールが動作を開始することを要求する最初の動作開始要求を通知する。ミドルウェア３２は、モジュール１及び２が起動していない場合、ハードウェアアクセラレータ（ＨＡ）の使用権をモジュール３へ通知する。また、ミドルウェア３２は、モジュール１〜３が起動していない場合、ハードウェアアクセラレータ（ＨＡ）の使用権をモジュール４へ通知する。なお、ステップＳ８０９の処理は、上述したステップＳ８０６よりも先に行われてもよい。

次に、ステップＳ８１０において、モジュール３は、ミドルウェア３２から最初の動作開始要求が通知されると、第２画像から他の物体及びその種類を検出するのに使用するパラメータ、並びハードウェアアクセラレータの使用権の通知先の優先順位などを、メモリ２２から読み込む。ここでは、ハードウェアアクセラレータの使用権を通知先の優先順位は、モジュール４、モジュール１、モジュール２の順番である。そして、モジュール３は、メモリ２２に記憶された起動管理テーブル２２１を参照して、他のモジュールが起動している場合、起動している他のモジュールの起動モジュール識別番号を取得する。ここでは、モジュール３は、起動している他のモジュールの起動モジュール識別番号として、１、２及び４を取得する。一方、他のモジュールが起動していない場合、モジュール３は、ハードウェアアクセラレータの使用権を他のモジュールへ通知しないことを決定する。そして、モジュール３は、ハードウェアアクセラレータの通知先の優先順位と、起動している他のモジュールの起動モジュール識別番号とに基づいて通知先のモジュールを選択して、通知管理テーブルをメモリ２２に生成する。図１１（Ｃ）は、モジュール３が生成した通知管理テーブルを示す。通知管理テーブル１１０３は、通知管理テーブル１１０３が適用されるモジュールを識別する識別番号が登録されるモジュール識別番号欄１１３１と、ハードウェアアクセラレータの使用権の通知先が登録される通知先欄１１３２とを有する。モジュール識別番号欄１１３１には、通知管理テーブル１１０３が適用されるモジュールを識別するモジュール識別番号（３）が登録される。通知先欄１１３２には、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に登録されているモジュールの中で最も優先順位の高いモジュール４の起動モジュール識別番号（４）が登録される。モジュール３は、後述する所定の第２画像に基づいた処理を実行した後、ハードウェアアクセラレータの使用権を、モジュール４へ通知する。一方、モジュール３は、全ての他のモジュールが起動していない場合、通知管理テーブルを生成しない。なお、モジュール３は、ミドルウェア３２から通知される２回目移行の動作要求に対しては、ステップＳ８１０の処理を行わなくてよい。

また、ステップＳ８１１において、モジュール４は、ミドルウェア３２から最初の動作開始要求が通知されると、第２画像から車線区画線を検出するのに使用するパラメータ、並びハードウェアアクセラレータの使用権の通知先の優先順位などを、メモリ２２から読み込む。ここでは、ハードウェアアクセラレータの使用権を通知先の優先順位は、モジュール１、モジュール２、モジュール３の順番である。そして、モジュール４は、メモリ２２に記憶された起動管理テーブル２２１を参照して、他のモジュールが起動している場合、起動している他のモジュールの起動モジュール識別番号を取得する。ここでは、モジュール４は、起動している他のモジュールの起動モジュール識別番号として、１、２及び３を取得する。一方、他のモジュールが起動していない場合、モジュール４は、ハードウェアアクセラレータの使用権を他のモジュールへ通知しないことを決定する。そして、モジュール４は、ハードウェアアクセラレータの通知先の優先順位と、起動している他のモジュールの起動モジュール識別番号とに基づいて通知先のモジュールを選択して、通知管理テーブルをメモリ２２に生成する。図１１（Ｄ）は、モジュール４が生成した通知管理テーブルを示す。通知管理テーブル１１０４は、通知管理テーブル１１０４が適用されるモジュールを識別する識別番号が登録されるモジュール識別番号欄１１４１と、ハードウェアアクセラレータの使用権の通知先が登録される通知先欄１１４２とを有する。モジュール識別番号欄１１４１には、通知管理テーブル１１０４が適用されるモジュールを識別するモジュール識別番号（４）が登録される。通知先欄１１４２には、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に登録されているモジュールの中で最も優先順位の高いモジュール１の起動モジュール識別番号（１）が登録される。モジュール４は、後述する所定の第２画像に基づいた処理を実行した後、ハードウェアアクセラレータの使用権を、モジュール１へ通知する。一方、モジュール４は、全ての他のモジュールが起動していない場合、通知管理テーブルを生成しない。なお、モジュール４は、ミドルウェア３２から通知される２回目移行の動作要求に対しては、ステップＳ８１１の処理を行わなくてよい。

次に、ステップＳ９０１において、モジュール１は、物体検出処理として、ハードウェアアクセラレータを使用して第１画像から他の物体を含むと推定される矩形領域の位置及びその種類を検出し、その検出結果及びその検出結果の信頼度をプロセッサ２３に実装される他のアプリケーション３６へ通知する。この他のアプリケーション３６は、第１画像内の矩形領域の位置及びその種類に基づいて、物体検出の他の処理を実行する。そして、モジュール１は、メモリ２２に記憶される通知管理テーブル１１０１を参照して、ハードウェアアクセラレータの使用権を、モジュール２へ通知した後待機状態となる。これにより、モジュール２は、ハードウェアアクセラレータの使用が許容される。

次に、ステップＳ９０２において、モジュール２は、モジュール１からハードウェアアクセラレータの使用権が通知された後、車線区画線検出処理として、ハードウェアアクセラレータを使用して第１画像から車線区画線を検出し、その検出結果及びその検出結果の信頼度をプロセッサ２３に実装される他のアプリケーション３６へ通知する。モジュール２は、第１カメラ１１の画像内に設けられた、車両１０の周囲の車線区画線を検出するための照合領域を、画像内の車線区画線を識別する識別器に入力することで車線区画線を検出する。識別器として、例えば、入力された画像から、その画像に表された車線区画線を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。プロセッサ２３に実装される他のアプリケーション３６は、第１画像内の車線区画線の位置に基づいて、車両１０の位置推定の他の処理を実行する。そして、モジュール２は、メモリ２２に記憶される通知管理テーブル１１０２を参照して、ハードウェアアクセラレータの使用権を、モジュール３へ通知した後待機状態となる。これにより、モジュール３は、ハードウェアアクセラレータの使用が許容される。

次に、ステップＳ９０３において、モジュール３は、モジュール２からハードウェアアクセラレータの使用権が通知された後、物体検出処理として、ハードウェアアクセラレータを使用して第２画像から他の物体を含むと推定される矩形領域の位置及びその種類を検出し、その検出結果及びその検出結果の信頼度をプロセッサ２３に実装される他のアプリケーション３６へ通知する。この他のアプリケーション３６は、第２画像内の矩形領域の位置及びその種類に基づいて、物体検出の他の処理を実行する。なお、プロセッサ２３に実装される他のアプリケーション３６は、モジュール１の検出結果及びモジュール３の検出結果の中の何れかに基づいて、物体検出の他の処理を実行してもよい。そして、モジュール２は、メモリ２２に記憶される通知管理テーブル１１０３を参照して、ハードウェアアクセラレータの使用権を、モジュール４へ通知した後待機状態となる。これにより、モジュール４は、ハードウェアアクセラレータの使用が許容される。

次に、ステップＳ９０４において、モジュール４は、モジュール３からハードウェアアクセラレータの使用権が通知された後、車線区画線検出処理として、ハードウェアアクセラレータを使用して第２画像から車線区画線を検出し、その検出結果及びその検出結果の信頼度をプロセッサ２３に実装される他のアプリケーション３６へ通知する。この他のアプリケーション３６は、第２画像内の車線区画線の位置に基づいて、車両１０の位置推定の他の処理を実行する。なお、プロセッサ２３に実装される他のアプリケーション３６は、モジュール２の検出結果及びモジュール４の検出結果の中の何れかに基づいて、位置推定の他の処理を実行してもよい。そして、モジュール４は、メモリ２２に記憶される通知管理テーブル１１０４を参照して、ハードウェアアクセラレータの使用権を、モジュール１へ通知する。これにより、モジュール１は、ハードウェアアクセラレータの使用が許容される。そして、モジュール４は、動作を終了することを示す動作終了通知を、ミドルウェア３２へ通知した後、待機状態となる。

他のアプリケーション３６は、画像処理アプリケーション３５が検出した車線区画線と、地図情報とに基づいて、車両１０の位置を推定する。また、他のアプリケーション３６は、画像処理アプリケーション３５が検出した他の物体の検出結果と、反射波情報に基づいて検出した他の物体の検出結果とに基づいて、他の物体の位置を推定する。そして、他のアプリケーション３６は、車両１０の位置と、他の物体に関する情報と、走行予定経路と、地図情報とに基づいて運転計画を生成して、この運転計画に基づいて制御信号を生成する。

次に、車両制御システムのＥＣＵ１７が有する画像処理アプリケーションの第２動作例を、図１２〜図１５を参照しながら、以下に説明する。上述した第１動作例では全てのモジュール１〜モジュール４が起動していたが、第２動作例ではモジュール３が起動しない点が、第１動作例とは異なっている。

まず、ステップＳ１２０１において、ミドルウェア３２は、画像処理アプリケーション３５の起動を要求する起動要求が通知されると、モジュール１〜モジュール４を起動させるための起動要求を生成して、モジュール１〜モジュール４のそれぞれに通知する。また、ミドルウェア３２は、モジュール１〜モジュール４のそれぞれが起動していることを示す起動情報が登録される起動管理テーブル２２１を、メモリ２２に生成する。

次に、ステップＳ１２０２において、モジュール１は、ミドルウェア３２により起動要求が通知されると、モジュール１が起動していることを示す起動情報の一例である起動モジュール識別番号を、メモリ２２に記憶されている起動管理テーブル２２１に登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。図１４は、第２実施形態の第２動作例における起動管理テーブルを説明する図である。そして、モジュール１は、起動したことをミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール１が起動したと判定する。

また、ステップＳ１２０３において、モジュール２は、ミドルウェア３２により起動要求が通知されると、モジュール２が起動していることを示す起動情報の一例である起動モジュール識別番号を、メモリ２２に記憶されている起動管理テーブル２２１に登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール２は、起動したことをミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール２が起動したと判定する。

また、ステップＳ１２０４において、モジュール４は、ミドルウェア３２により起動要求が通知されると、モジュール４が起動していることを示す起動情報の一例である起動モジュール識別番号を、メモリ２２に記憶されている起動管理テーブル２２１に登録すると共に、起動モジュール数欄２２１２の値を１だけ増加させる。そして、モジュール４は、起動したことをミドルウェア３２へ通知する。これにより、ミドルウェア３２は、モジュール４が起動したと判定する。なお、ステップＳ１２０２、Ｓ１２０３及びＳ１２０４の処理は、その順番に制約はなく、また、各処理は同時に行われてもよい。

第２動作例では、ミドルウェア３２は、モジュール３に対して起動要求を通知した後、所定の待機時間が経過してもモジュール３から起動したことが通知されないので、モジュール３は起動していないと判定する。

図１４は、モジュール１、モジュール２及びモジュール４のそれぞれが起動情報を登録した後の起動管理テーブル２２１を示す。図１４に示すように、起動モジュール識別番号欄２２１１にはモジュール１、モジュール２及びモジュール４の起動モジュール識別番号が登録され、起動モジュール数欄２２１２には、起動しているモジュールの数である３が登録されている。モジュール３は起動していないので、起動モジュール識別番号欄２２１１にはモジュール３の起動モジュール識別番号（３）は登録されていない。

次に、ステップＳ１２０５において、ミドルウェア３２は、第１カメラ１１から第１画像及び第１画像取得時刻が通知されると、モジュール１に対して、第１画像及び第１画像取得時刻を通知すると共に、モジュール１が動作を開始することを要求する最初の動作開始要求と、第１画像の処理に使用するハードウェアアクセラレータ（ＨＡ）の使用権を通知する。これにより、モジュール１は、ハードウェアアクセラレータの使用が許容される。また、ミドルウェア３２は、モジュール２に対して、第１画像及び第１画像取得時刻を通知すると共に、モジュール２が動作を開始することを要求する最初の動作開始要求を通知する。

次に、ステップＳ１２０６において、モジュール１は、ミドルウェア３２から最初の動作開始要求が通知されると、第１画像から他の物体及びその種類を検出するのに使用するパラメータ、並びハードウェアアクセラレータの使用権の通知先の優先順位などを、メモリ２２から読み込む。ここでは、ハードウェアアクセラレータの使用権を通知先の優先順位は、モジュール２、モジュール３、モジュール４の順番である。そして、モジュール１は、起動管理テーブル２２１を参照して、他のモジュールが起動している場合、起動している他のモジュールの起動モジュール識別番号を取得する。ここでは、モジュール１は、起動している他のモジュールの起動モジュール識別番号として、２及び４を取得する。一方、他のモジュールが起動していない場合、モジュール１は、ハードウェアアクセラレータの使用権を他のモジュールへ通知しないことを決定する。そして、モジュール１は、ハードウェアアクセラレータの通知先の優先順位と、起動している他のモジュールの起動モジュール識別番号とに基づいて通知先のモジュールを選択して、通知管理テーブルをメモリ２２に生成する。図１５（Ａ）は、モジュール１が生成した通知管理テーブルを示す。通知管理テーブル１５０１は、通知管理テーブル１５０１が適用されるモジュールを識別する識別番号が登録されるモジュール識別番号欄１５１１と、ハードウェアアクセラレータの使用権の通知先が登録される通知先欄１５１２とを有する。モジュール識別番号欄１５１１には、通知管理テーブル１５０１が適用されるモジュールを識別するモジュール識別番号（１）が登録される。通知先欄１５１２には、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に登録されているモジュールの中で最も優先順位の高いモジュール２の起動モジュール識別番号（２）が登録される。モジュール１は、後述する所定の第１画像に基づいた処理を実行した後、ハードウェアアクセラレータの使用権を、モジュール２へ通知する。一方、モジュール１は、全ての他のモジュールが起動していない場合、通知管理テーブルを生成しない。なお、モジュール１は、ミドルウェア３２から通知される２回目移行の動作開始要求に対しては、ステップＳ１２０６の処理を行わなくてよい。

また、ステップＳ１２０７において、モジュール２は、ミドルウェア３２から最初の動作開始要求が通知されると、第１画像から車線区画線を検出するのに使用するパラメータ、並びハードウェアアクセラレータの使用権の通知先の優先順位などを、メモリ２２から読み込む。ここでは、ハードウェアアクセラレータの使用権を通知先の優先順位は、モジュール３、モジュール４、モジュール１の順番である。そして、モジュール２は、メモリ２２に記憶された起動管理テーブル２２１を参照して、他のモジュールが起動している場合、起動している他のモジュールの起動モジュール識別番号を取得する。ここでは、モジュール１は、起動している他のモジュールの起動モジュール識別番号として、１及び４を取得する。一方、他のモジュールが起動していない場合、モジュール２は、ハードウェアアクセラレータの使用権を他のモジュールへ通知しないことを決定する。そして、モジュール２は、ハードウェアアクセラレータの通知先の優先順位と、起動している他のモジュールの起動モジュール識別番号とに基づいて通知先のモジュールを選択して、通知管理テーブルをメモリ２２に生成する。図１５（Ｂ）は、モジュール２が生成した通知管理テーブルを示す。通知管理テーブル１５０２は、通知管理テーブル１５０２が適用されるモジュールを識別する識別番号が登録されるモジュール識別番号欄１５２１と、ハードウェアアクセラレータの使用権の通知先が登録される通知先欄１５２２とを有する。モジュール識別番号欄１５２１には、通知管理テーブル１５０２が適用されるモジュールを識別するモジュール識別番号（２）が登録される。通知先欄１５２２には、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に登録されているモジュールの中で最も優先順位の高いモジュール４の起動モジュール識別番号（４）が登録される。モジュール２は、後述する所定の第１画像に基づいた処理を実行した後、ハードウェアアクセラレータの使用権を、モジュール４へ通知する。一方、モジュール２は、全ての他のモジュールが起動していない場合、通知管理テーブルを生成しない。なお、モジュール２は、ミドルウェア３２から通知される２回目移行の動作開始要求に対しては、ステップＳ１２０７の処理を行わなくてよい。

また、ステップＳ１２１０において、ミドルウェア３２は、第２カメラ１２から第２画像及び第２画像取得時刻が通知されると、モジュール４に対して、第２画像及び第２画像取得時刻を通知すると共に、モジュールが動作を開始することを要求する最初の動作開始要求を通知する。なお、ステップＳ１２１０の処理は、上述したステップＳ１２０５よりも先に行われてもよい。

次に、ステップＳ１２０８において、モジュール４は、ミドルウェア３２から最初の動作開始要求が通知されると、第２画像から車線区画線を検出するのに使用するパラメータ、並びハードウェアアクセラレータの使用権の通知先の優先順位などを、メモリ２２から読み込む。ここでは、ハードウェアアクセラレータの使用権を通知先の優先順位は、モジュール１、モジュール２、モジュール３の順番である。そして、モジュール４は、メモリ２２に記憶された起動管理テーブル２２１を参照して、他のモジュールが起動している場合、起動している他のモジュールの起動モジュール識別番号を取得する。ここでは、モジュール１は、起動している他のモジュールの起動モジュール識別番号として、１及び２を取得する。一方、他のモジュールが起動していない場合、モジュール３は、ハードウェアアクセラレータの使用権を他のモジュールへ通知しないことを決定する。そして、モジュール４は、ハードウェアアクセラレータの通知先の優先順位と、起動している他のモジュールの起動モジュール識別番号とに基づいて通知先のモジュールを選択して、通知管理テーブルをメモリ２２に生成する。図１５（Ｃ）は、モジュール４が生成した通知管理テーブルを示す。通知管理テーブル１５０３は、通知管理テーブル１５０３が適用されるモジュールを識別する識別番号が登録されるモジュール識別番号欄１５３１と、ハードウェアアクセラレータの使用権の通知先が登録される通知先欄１５３２とを有する。モジュール識別番号欄１４３１には、通知管理テーブル１５０３が適用されるモジュールを識別するモジュール識別番号（４）が登録される。通知先欄１５３２には、起動管理テーブル２２１の起動モジュール識別番号欄２２１１に登録されているモジュールの中で最も優先順位の高いモジュール１の起動モジュール識別番号（１）が登録される。モジュール４は、後述する所定の第２画像に基づいた処理を実行した後、ハードウェアアクセラレータの使用権を、モジュール１へ通知する。なお、モジュール４は、ミドルウェア３２から通知される２回目移行の動作開始要求に対しては、ステップＳ１２０８の処理を行わなくてよい。

次に、ステップＳ１３０１において、モジュール１は、物体検出処理として、ハードウェアアクセラレータを使用して第１画像から他の物体を含むと推定される矩形領域の位置及びその種類を検出し、その検出結果及びその検出結果の信頼度をプロセッサ２３に実装される他のアプリケーション３６へ通知する。この他のアプリケーション３６は、第１画像内の矩形領域の位置及びその種類に基づいて、物体検出の他の処理を実行する。そして、モジュール１は、メモリ２２に記憶される通知管理テーブル１５０１を参照して、ハードウェアアクセラレータの使用権を、モジュール２へ通知した後待機状態となる。これにより、モジュール２は、ハードウェアアクセラレータの使用が許容される。なお、モジュール１は、全ての他のモジュールが起動していない場合には、ハードウェアアクセラレータの使用権を他のモジュールへ通知せずに（ハードウェアアクセラレータの使用権を保持した状態となる）、動作を終了することを示す動作終了通知を、ミドルウェア３２へ通知した後、待機状態となる。このことは、他のモジュールの動作に対しても適用される。

次に、ステップＳ１３０２において、モジュール２は、モジュール１からハードウェアアクセラレータの使用権が通知された後、車線区画線検出処理として、ハードウェアアクセラレータを使用して第１画像から車線区画線を検出し、その検出結果及びその検出結果の信頼度をプロセッサ２３に実装される他のアプリケーション３６へ通知する。この他のアプリケーション３６は、第１画像内の車線区画線の位置に基づいて、位置推定の他の処理を実行する。そして、モジュール２は、メモリ２２に記憶される通知管理テーブル１５０２を参照して、ハードウェアアクセラレータの使用権を、モジュール４へ通知した後待機状態となる。これにより、モジュール４は、ハードウェアアクセラレータの使用が許容される。このように、モジュール２は、他のモジュールの起動状態に動的に対応して、ハードウェアアクセラレータの使用権を起動している他のモジュールへ通知できる。

次に、ステップＳ１３０３において、モジュール４は、モジュール２からハードウェアアクセラレータの使用権が通知された後、車線区画線検出処理として、ハードウェアアクセラレータを使用して第２画像から車線区画線を検出し、その検出結果及びその検出結果の信頼度をプロセッサ２３に実装される他のアプリケーション３６へ通知する。この他のアプリケーション３６は、第２画像内の車線区画線の位置に基づいて、位置推定の他の処理を実行する。なお、位置推定部３１は、モジュール２の検出結果及びモジュール４の検出結果の中の何れかに基づいて、位置推定の他の処理を実行してもよい。そして、モジュール４は、メモリ２２に記憶される通知管理テーブル１５０３を参照して、ハードウェアアクセラレータの使用権を、モジュール１へ通知する。これにより、モジュール１は、ハードウェアアクセラレータの使用が許容される。そして、モジュール４は、動作を終了することを示す動作終了通知を、ミドルウェア３２へ通知した後、待機状態となる。

本発明では、上述した実施形態の情報処理装置は、本発明の趣旨を逸脱しない限り適宜変更が可能である。また、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

例えば、本発明では、情報処理装置は、車両制御に関する情報を処理していたが、情報処理装置は、車両制御以外の情報を処理するのに用いられてもよい。例えば、情報処理装置は、複数のモジュールを有するアプリケーションの動作を確認するための試験に用いてもよい。

１ 車両制御システム
１０ 車両
１１ 第１カメラ
１２ 第２カメラ
１３ Ｌｉｄａｒセンサ
１４ 測位情報受信機
１５ 地図情報記憶装置
１６ ナビゲーション装置
１７ 電子制御装置（ＥＣＵ）
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ

Claims (1)

1. 制御部により制御される複数のモジュールと、
   複数の前記モジュールの起動管理テーブルを記憶する記憶部と、
   を有し、
   複数の前記モジュールのそれぞれは、前記制御部により起動されると、前記起動管理テーブルに起動情報を登録し、かつ、前記起動管理テーブルを参照して、起動している他の前記モジュールに基づいて、起動している他の前記モジュールと関連する処理の内容を決定する情報処理装置。

Images