JP2021163263A - 情報処理装置 - Google Patents

Abstract

【課題】所望される処理を出来るだけ実行しつつ、ハードウェアリソースに対する負荷の増大を抑制可能な情報処理装置を提供する。【解決手段】情報処理装置は、入力された情報に基づく一連の処理を順次実行する先頭モジュールから後尾モジュールを含む複数のモジュールを有する情報処理装置であって、後尾モジュールは、先頭モジュールに入力され、かつ、後尾モジュールによる処理が終了していない情報の数を表すカウント値を記憶し、複数のモジュールの何れかである判定モジュールは、先頭モジュールに新しく情報が入力された時、後尾モジュールのカウント値に基づいて、先頭モジュールに新しく入力された情報を処理するか又は廃棄するかを決定する情報処理装置。【選択図】図７

Description

本発明は、情報処理装置に関する。

自動制御による車両の運転を実現するために、電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：ＥＣＵ）が車両に搭載されている。ＥＣＵは、車両の現在位置と、車両の目的地と、地図情報とに基づいて、車両の走行予定経路を生成して、車両が、車両と他の車両との間に安全な距離が維持されるように、この走行予定経路に沿って走行するように車両の走行を制御する。

このようなＥＣＵの動作は、ＥＣＵに組み込まれたアプリケーションが実行されることにより実現される。アプリケーションは、複数のモジュールを有しており、各モジュールが協働して動作することにより、アプリケーションの処理が実現される。

例えば、特許文献１に記載の画像処理装置は、複数の処理を並列に行う画像処理装置であって、この複数の処理の各々を１ライン毎に行い、動作終了を示す信号を発生する機能を持つ複数の処理ユニットと、すべての複数の処理ユニットの動作終了を示す信号を受けて、すべての処理ユニットの動作終了を確認すると、すべての複数の処理ユニットに対し、次のラインの処理の動作開始を指示するコントローラとを有する。

特開平０９−１０２０３５公報

特許文献１に記載の画像処理装置は、すべての処理ユニットの動作終了が確認された後、次のラインの処理の動作開始を指示するので、画像の１ラインが画像処理装置に入力される間隔が、複数の処理ユニットによる画像の１ラインの処理時間よりも短い場合には対応していない。

仮に、複数の処理ユニットが直前に入力された１ラインの処理が終わる前に、新しく入力された１ラインの処理を同時に行うとした場合、ＣＰＵなどのハードウェアリソースに対する負荷が増大するので、処理時間が通常よりも増大するという問題が生じる。

そこで、本発明は、所望される処理を出来るだけ実行しつつ、ＣＰＵなどのハードウェアリソースに対する負荷の増大を抑制できる情報処理装置を提供することを目的とする。

一の実施形態によれば、情報処理装置が提供される。この情報処理装置は、入力された情報に基づく一連の処理を順次実行する先頭モジュールから後尾モジュールを含む複数のモジュールを有する情報処理装置であって、後尾モジュールは、先頭モジュールに入力され、かつ、後尾モジュールによる処理が終了していない情報の数を表すカウント値を記憶し、複数のモジュールの何れかである判定モジュールは、先頭モジュールに新しく情報が入力された時、後尾モジュールのカウント値に基づいて、先頭モジュールに新しく入力された情報を処理するか又は廃棄するかを決定する。

本発明に係る情報処理装置は、所望される処理を出来るだけ実行しつつ、ＣＰＵなどのハードウェアリソースに対する負荷の増大を抑制できるという効果を奏する。

本実施形態における情報処理装置が実装される車両制御システムの概略構成図である。 本実施形態における情報処理装置の一つの実施形態である電子制御装置のハードウェア構成図である。 本実施形態の情報処理に関する、電子制御装置のプロセッサを説明する図である。 画像処理アプリケーションが有する複数のモジュールを説明する図である。 モジュールの構造を説明する図である。 画像処理アプリケーションの動作を説明する図である。 情報処理を含む、画像処理を説明するフローチャートである。 画像処理アプリケーションの他の動作を説明する図である。 変型例の画像処理アプリケーションが有する複数のモジュールを説明する図である。

以下、図を参照しつつ、本実施形態の情報処理装置について説明する。この情報処理装置は、入力された情報に基づく一連の処理を順次実行する先頭モジュールから後尾モジュールを含む複数のモジュールを有する。この情報処理装置では、後尾モジュールは、先頭モジュールに入力され、かつ、後尾モジュールによる処理が終了していない情報の数を表すカウント値を記憶し、複数のモジュールの何れかである判定モジュールは、先頭モジュールに新しく情報が入力された時、後尾モジュールのカウント値に基づいて、先頭モジュールに新しく入力された情報を処理するか又は廃棄するかを決定する。これにより、情報処理装置は、所望される処理を出来るだけ実行しつつ、ＣＰＵなどのハードウェアリソースに対する負荷の増大を抑制できる。

図１は、情報処理装置が実装される車両制御システムの概略構成図である。図２は、情報処理装置の一つの実施形態である電子制御装置のハードウェア構成図である。

本実施形態では、車両１０に搭載され、且つ、車両１０を制御する車両制御システム１は、車両の前方の画像を撮影するカメラ１１と、車両１０の前に配置されるLiDARセンサ１２とを有する。また、車両制御システム１は、測位情報受信機１３と、地図情報を記憶する地図情報記憶装置１４と、ナビゲーション装置１５と、情報処理装置の一例である電子制御装置（ＥＣＵ）１６とを有する。

カメラ１１と、LiDARセンサ１２と、測位情報受信機１３と、地図情報記憶装置１４と、ナビゲーション装置１５と、ＥＣＵ１６とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

カメラ１１は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。カメラ１１は、所定の周期で設定されるカメラ画像取得時刻において、車両１０の前方の所定の領域が表されたカメラ画像を生成する。生成されたカメラ画像には、車両１０の周囲の他の車両又は車両１０の前方の所定の領域内に含まれる路面上の車線区画線などの地物が表わされる。カメラ１１により生成される画像は、カラー画像であってもよく、又は、グレー画像であってもよい。カメラ１１は、撮像部の一例であり、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。カメラ１１は、カメラ画像を生成する度に、カメラ画像及びカメラ画像を生成したカメラ画像取得時刻を、センサの一例であるカメラ１１を識別するセンサ識別情報と共に、車内ネットワークを介してＥＣＵ１６へ出力する。カメラ画像は、ＥＣＵ１６において、車両の位置を推定する処理に使用されるのと共に、車両１０の周囲の他の物体を検出する処理に使用される。

LiDARセンサ１２は、車両１０の前方を向くように、例えば、車両１０の外面に取り付けられる。LiDARセンサ１２は、所定の周期で設定される反射波情報取得時刻において、車両１０の前方に向けてパルス状のレーザを同期して発射して、反射物により反射された反射波を受信する。LiDARセンサ１２の視野は、カメラ画像に含まれる車両１０の前方の所定の領域を含む。反射波が戻ってくるのに要する時間は、レーザが照射された方向に位置する地物と車両１０との間の距離情報を有する。LiDARセンサ１２は、レーザの照射方向及び反射波が戻ってくるのに要する時間を含む反射波情報を、レーザを発射した反射波情報取得時刻と、センサの一例であるLiDARセンサ１２を識別するセンサ識別情報と共に、車内ネットワークを介してＥＣＵ１６へ出力する。反射波情報は、ＥＣＵ１６において、車両１０の周囲の他の物体を検出する処理に使用される。本実施形態では、カメラ画像取得時刻と、反射波情報取得時刻とは同期しているとする。

測位情報受信機１３は、車両１０の現在位置を表す測位情報を出力する。例えば、測位情報受信機１３は、ＧＰＳ受信機とすることができる。測位情報受信機１３は、所定の受信周期で測位情報を取得する度に、測位情報及び測位情報を取得した測位情報取得時刻を、地図情報記憶装置１４へ出力する。

地図情報記憶装置１４は、車両１０の現在位置を含む相対的に広い範囲（例えば１０〜３０ｋｍ四方の範囲）の広域地図情報を記憶する。この広域地図情報は、路面の３次元情報、道路上の車線区画線などの地物、構造物の種類及び位置を表す情報、道路の法定速度などを含む高精度地図情報であることが好ましい。地図情報記憶装置１４は、測位情報受信機１３から測位情報を入力する度に、記憶装置に記憶している広域地図情報を参照して、測位情報により表される現在位置を含む相対的に狭い領域（例えば、１００ｍ〜１０ｋｍ四方の範囲）の地図情報、測位情報及び測位情報取得時刻を、車内ネットワークを介してＥＣＵ１６へ出力する。

ナビゲーション装置１５は、ナビゲーション用地図情報と、車両１０の目的地と、車両１０の現在位置とに基づいて、車両１０の現在位置から目的地までの走行予定経路を生成する。ナビゲーション装置１５は、走行予定経路を生成する度に、その走行予定経路を、車内ネットワークを介してＥＣＵ１６へ出力する。

ＥＣＵ１６は、車両１０の走行を制御する。本実施形態では、ＥＣＵ１６は、入力された情報に基づく一連の処理を順次実行する先頭モジュールから後尾モジュールを含む複数のモジュールと、複数のモジュールの処理を制御する制御部と、を有する。制御部は、例えば、オペレーティングシステム（ＯＳ）上で動作するミドルウェアにより実装され、モジュールは、例えば、ＯＳ上でミドルウェアを介して動作して、情報処理アプリケーションの機能を実現するプログラムを用いて実装される。後尾モジュールは、先頭モジュールに入力され、かつ、後尾モジュールによる処理が終了していない情報の数を表すカウント値を記憶し、複数のモジュールの何れかである判定モジュールは、先頭モジュールに新しく情報が入力された時、後尾モジュールのカウント値に基づいて、先頭モジュールに新しく入力された情報を処理するか又は廃棄するかを決定する。そのために、ＥＣＵ１６は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース（Ｉ／Ｆ）２１は、通信部の一例であり、ＥＣＵ１６を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ１１、地図情報記憶装置１４などと接続される。通信インターフェース２１は、例えば、カメラ１１からカメラ画像、センサ識別情報及びカメラ画像取得時刻を受信する度に、受信したカメラ画像、センサ識別情報及びカメラ画像取得時刻をプロセッサ２３へわたす。また、通信インターフェース２１は、Lidarセンサ１２から反射波情報、センサ識別情報及び反射波情報取得時刻を受信する度に、受信した反射波情報、センサ識別情報及び反射波情報取得時刻をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ１６のプロセッサ２３により実行される情報処理において使用されるアプリケーションのプログラム（アプリケーションの複数のモジュールを含む）及び各種のデータ、カメラ１１及びLidarセンサ１２の光軸方向及び取り付け位置などの設置位置情報、カメラ１１の撮像光学系の焦点距離及び画角といった内部パラメータなどを記憶する。

プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。プロセッサ２３が複数個のＣＰＵを有する場合、ＣＰＵごとにメモリを有していてもよい。

プロセッサ２３は、カメラ１１が生成した画像と、地図情報とに基づいて、この画像が生成されたカメラ画像取得時刻における車両１０の位置を推定する位置推定処理を実行し、カメラ画像取得時刻における車両１０の位置に基づいて、車両１０の現在位置を推定する。また、プロセッサ２３は、カメラ画像及び反射波情報に基づいて、車両１０の周囲の他の物体及び他の物体の位置を検出する物体検出処理を実行する。他の物体には、車両１０の周囲を走行する他の車両が含まれる。さらに、プロセッサ２３は、車両１０の推定位置と、車両１０の目的地と、車両１０の周囲の他の物体との相対的な位置関係とに基づいて運転計画を生成する運転計画生成処理を実行し、この運転計画に基づいて車両１０の走行動作を制御するための制御信号を生成する車両制御処理を実行する。この制御信号に基づいて、車両１０の操舵、加速又は制動が制御される。

図３は、本実施形態の情報処理に関する、ＥＣＵ１６のプロセッサを説明する図である。プロセッサ２３には、位置推定処理及び物体検出処理の一部を実行する画像処理アプリケーション３３と、位置推定処理及び物体検出処理の他の処理、運転計画生成処理及び車両制御処理などを実行する他のアプリケーション３４と、ミドルウェア３２と、ＯＳ３１とが実装される。画像処理アプリケーション３３及び他のアプリケーション３４は、制御部の一例であるミドルウェア３２を介して、ＯＳ３１上で動作する。ＯＳ３１と、ミドルウェア３２と、画像処理アプリケーション３３と、他のアプリケーション３４とは、ＯＳ３１が上位層となって下位層の動作を制御する階層構造３０を形成する。画像処理アプリケーション３３は、入力された情報に基づく一連の処理を順次実行するモジュール４１〜モジュール４７を有する。モジュール４１〜モジュール４７は、制御部の一例であるミドルウェア３２を介して、ＯＳ３１上で動作する。ミドルウェア３２は、モジュール４１〜モジュール４７の動作を制御する。

図４は、画像処理アプリケーションが有する複数のモジュールを説明する図である。モジュール４１は、先頭モジュールの一例であり、画像処理アプリケーション３３に対して新しい情報の一例であるカメラ画像がＥＣＵ１６にわたされた時に、このカメラ画像が最初に入力される。モジュール４７は、後尾モジュールの一例であり、モジュール４３及びモジュール４６のそれぞれから入力されたカメラ画像を処理した処理結果を、後続の他のアプリケーション３４の処理に対応する形式に変換して出力する。モジュール４１とモジュール４７との間には、モジュール４２からモジュール４３へと一連の処理を順次実行する流れと、モジュール４４、モジュール４５、モジュール４６の順番に一連の処理を実行する流れとがある。

図５（Ａ）は、モジュール４１の構造を説明する図であり、図５（Ｂ）は、モジュール４７の構造を説明する図である。本実施形態において、モジュール４１は、判定モジュールの一例であり、判定処理部５０と、キュー部５１と、処理部５２とを有する。モジュール４７は判定処理部５０を有さない点及びカウンタ５３を有する点が、モジュール４１とは異なっている。他のモジュール４２〜４６は、キュー部５１及び処理部５２有し、判定処理部５０及びカウンタ５３を有さない。キュー部５１は、モジュール４１〜４７に入力した情報を、入力した順番にｍ（ｍは１以上の整数）個の情報まで記憶して、先に入力した情報から順番に処理部５２へ出力する。処理部５２は、キュー部５１から情報を入力して、モジュールごとの所定の処理を実行する。図５（Ａ）及び図５（Ｂ）に示す例では、キュー部５１は、情報ｎを入力した時、情報ｎ−ｍから情報ｎ−１までのｍ個の情報を記憶しており、処理部５２は、情報ｎ−ｍ−１の処理を行っている。また、処理部５２は、直前に情報ｎ−ｍ−２の処理を終了して、後続のモジュール又は他のアプリケーションへこの情報ｎ−ｍ−２を出力している。カウンタ５３は、判定処理に使用される値を記憶する。カウンタ５３は、初期値として基準値（例えば、０）となる値を記憶する。カウンタ５３が記憶する値は、モジュール４１及びモジュール４７によって操作される。

モジュール４１は、カメラ１１が生成したカメラ画像に対して画像前処理を実行する。モジュール４１は、画像前処理として、カメラ画像の色座標系及びサイズを後続のモジュール４２及びモジュール４４の処理に対応する形式の色座標系及びサイズに変換する。モジュール４１は、画像前処理が行われたカメラ画像を、センサ識別情報及びカメラ画像取得時刻と共に、モジュール４２及びモジュール４４へ出力する。モジュール４１は、このモジュール４１に新しくカメラ画像が入力される度に、モジュール４７のカウンタ５３のカウント値を所定量だけ変更し（例えば、１だけ増加する）。また、モジュール４１の判定処理部５０は、画像処理アプリケーションに対して新しいカメラ画像がわたされた場合、この新しいカメラ画像を処理するか否かに関する判定処理を実行する。この判定処理については、後でさらに詳述する。

モジュール４２は、モジュール４１から出力されたカメラ画像から他の物体を含むと推定される矩形領域の位置及びその種類を検出して、この検出結果をセンサ識別情報及びカメラ画像取得時刻と共に、モジュール４３へ出力する。モジュール４２は、例えば、カメラ画像を識別器に入力することでカメラ画像に表された物体を検出する。識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。モジュール４２は、ＤＮＮ以外の識別器を用いてもよい。

モジュール４３は、オプティカルフローなどに基づく追跡処理に従って、モジュール４１から出力された直前のカメラ画像から検出された他の物体を過去のカメラ画像から検出された物体と対応付けることで、最新のカメラ画像から検出された他の物体を追跡する。モジュール４３は、直前のカメラ画像から検出された他の物体と、最新のカメラ画像から検出された他の物体とを関連付けた情報を、センサ識別情報及びカメラ画像取得時刻と共に、モジュール４１から通知された検出結果と共に、モジュール４７へ出力する。

モジュール４４は、モジュール４１から出力されたカメラ画像から路面上の地物と推定される領域の位置及びその地物の種類を検出して、この検出結果をセンサ識別情報及びカメラ画像取得時刻と共に、モジュール４５へ出力する。地物としては、例えば、路面、路面標識、車線区画線、中央分離帯、歩道などが含まれる。モジュール４４は、例えば、カメラ画像を識別器に入力することでカメラ画像に表された地物を検出する。識別器として、例えば、入力された画像から、その画像内の地物の領域を検出（画像セグメンテーション）するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。モジュール４２は、ＤＮＮ以外の識別器を用いてもよい。

モジュール４５は、モジュール４４から出力された検出結果に基づいて、カメラ画像から車線区画線の領域を表すポリラインを生成して、画像座標系でポリラインの位置を表す位置情報をセンサ識別情報及びカメラ画像取得時刻と共に、モジュール４６へ出力する。この画像座標系では、カメラ画像の左上の端が原点となり、原点から右側の方向にＸｉ軸が設定され、原点から下側の方向にＹｉ軸が設定される。

モジュール４６は、モジュール４５から出力された画像座標系で表されたポリラインの位置情報を、車両座標系で表された実空間の位置情報に変換し、この車両座標系で表されたポリラインの位置情報をセンサ識別情報及びカメラ画像取得時刻と共に、モジュール４７へ出力する。車両座標系は、車両１０の進行方向をＺｃ軸とし、Ｚｃ軸と直交し、かつ、地面に平行な方向をＸｃ軸とし、鉛直方向をＹｃ軸とし、原点は、車両１０の後輪軸の中央にある。

モジュール４７は、上述したように、モジュール４３及びモジュール４６のそれぞれから通知されたカメラ画像に関する情報を、後続の他のアプリケーション３４に対応する形式（例えば、色座標系及びサイズ）に変換して、センサ識別情報及びカメラ画像取得時刻と共に、他のアプリケーション３４へ通知する。モジュール４７は、モジュール４７に入力されたカメラ画像に基づく処理を終了する度に、モジュール４７のカウンタ５３のカウント値をモジュール４１が変更する方向とは逆の方向に、先頭モジュールと同じ所定量だけ変更する（例えば、１だけ低減する）。

プロセッサ２３に実装される他のアプリケーション３４は、画像処理アプリケーション３３から通知されたポリラインを示す位置情報と、地図情報とに基づいて、車両１０の位置を推定する。また、他のアプリケーション３４は、画像処理アプリケーション３３から通知された他の物体の検出結果と、反射波情報とに基づいて、他の物体の位置を推定する。そして、他のアプリケーション３４は、車両１０の推定位置と、他の物体に関する情報と、走行予定経路と、地図情報とに基づいて運転計画を生成して、この運転計画に基づいて制御信号を生成する。

図６は、画像処理アプリケーションの動作を説明する図である。所定の周期で設定されるカメラ画像取得時刻Ｔ１、Ｔ２ごとに生成されるカメラ画像は、センサ識別情報及びカメラ画像取得時刻と共に、ＥＣＵ１６へわたされると、ミドルウェア３２は、カメラ画像を、センサ識別情報及びカメラ画像取得時刻と共に、画像処理アプリケーション３３のモジュール４１へ入力する。そして、図６に示すように、モジュール４１〜４７は、カメラ画像に基づく一連の処理を順次実行する。図６中では、各モジュール４１〜４７の処理時間が、横長のバーで表されている。モジュール４１〜４７がカメラ画像に基づく処理を実行するのに要する時間の合計は、通常のＥＣＵ１６の処理負荷の状況においては、カメラ画像取得時刻の一周期以下となるように設計されている。一方、他のアプリケーション３４の処理負荷の状況に応じてＥＣＵ１６のハードウェアリソースに対する負荷が増大すると、モジュール４１〜４７がカメラ画像に基づく処理を実行するのに要する時間が、通常よりも長くなる。そのため、画像処理アプリケーション３３に対して新しくカメラ画像が通知された時点で、画像処理アプリケーション３３が直前に通知されたカメラ画像に基づく処理が終了していない場合が発生し得る。そこで、モジュール４１は、モジュール４１に対して新しいカメラ画像が入力された場合、この新しいカメラ画像を処理するか否かに関する判定処理を実行する。モジュール４７のカウンタ５３のカウント値は、モジュール４１に入力されたカメラ画像の数から、モジュール４７が処理を終了したカメラ画像の数を差し引いた値を有する。即ち、カウンタ５３のカウント値は、未処理のカメラ画像の数を表す。モジュール４１は、そのモジュール４１に新しくカメラ画像が入力された時、画像処理アプリケーション３３が過去に入力されたカメラ画像の処理を終了しているか否かを、モジュール４７のカウンタ５３のカウント値に基づいて判定できる。また、モジュール４１は、カウント値に基づいて、未処理のカメラ画像がどれだけ有るのかを知ることができる。そこで、モジュール４１は、モジュール４１に新しくカメラ画像が入力された時、モジュール４７のカウンタ５３のカウント値に基づいて、モジュール４１に新しく入力されたカメラ画像を処理するか又は廃棄するかを決定する。これにより、画像処理アプリケーション３３は、所望される処理を出来るだけ実行しつつ、ＣＰＵなどのハードウェアリソースに対する負荷の増大を抑制できる。なお、判定処理は、モジュール４１以外の他のモジュール、例えばモジュール４２が有していてもよい。この場合、カメラ画像がＥＣＵ１６へわたされると、ミドルウェア３２は、このカメラ画像を画像処理アプリケーション３３の先頭モジュールであるモジュール４１及び判定処理を行うモジュール４２へ入力する。また、判定モジュールは、モジュール４１〜４７とは別のモジュールとして配置されていてもよい。

次に、図６及び図７を参照して、新しいカメラ画像が入力された時のモジュール４１の判定処理部５０の第１動作例を、以下に説明する。図６に示す例では、画像処理アプリケーション３３は、カメラ画像取得時刻Ｔ１において、カメラ画像１がわたされて、モジュール４１〜４７は、カメラ画像Ｔ１に基づく処理を順次実行する。モジュール４７は、カメラ画像Ｔ１に基づく処理が終了すると、モジュール４７のカウンタ５３のカウント値はゼロとなる。そして、画像処理アプリケーション３３は、カメラ画像取得時刻Ｔ２において、カメラ画像２がわたされて、モジュール４１は、新しいカメラ画像２を処理するか又は廃棄するかの決定処理を実行する。

まず、ステップＳ１０１において、モジュール４１には、新しいカメラ画像２が入力される。

次に、ステップＳ１０２において、モジュール４１の判定処理部５０は、モジュール４１に新しくカメラ画像が入力される度に、モジュール４７のカウンタ５３のカウント値を所定量（例えば、＋１）だけ変更する。具体的には、判定処理部５０は、モジュール４１に新しくカメラ画像２が入力されると、カウンタ５３のカウント値を基準値であるゼロから＋１だけ増加させて、カウンタ５３のカウント値は＋１となる。

次に、ステップＳ１０３において、判定処理部５０は、モジュール４７のカウンタ５３のカウント値に基づいて、モジュール４７は、過去に入力されたカメラ画像の処理が終了しているか否かを判定する。具体的には、判定処理部５０は、カウンタ５３のカウント値が、所定のしきい値（例えば、＋１）よりも大きいか否かを判定する。判定処理部５０は、カウンタ５３のカウント値が、所定のしきい値よりも大きい場合（ステップＳ１０３−Ｙｅｓ）、モジュール４７は、未処理の情報を有しているので、過去に入力されたカメラ画像の処理が終了していないと判定する。一方、カウンタ５３のカウント値が、所定のしきい値以下の場合（ステップＳ１０３−Ｎｏ）、判定処理部５０は、モジュール４７が過去に入力されたカメラ画像の処理が終了していると判定する。ステップＳ１０２において、判定処理部５０がモジュール４７のカウンタ５３のカウント値を増加する所定量と、モジュール４７がカメラ画像に基づく処理が終了した時にカウンタ５３を低減する所定量とが共に１の場合、カウンタ５３の値は、未処理のカメラ画像の数を表す。また、未処理のカメラ情報があっても、未処理のカメラ画像の数が少ない場合には、残りのカメラ画像の処理がまもなく終了すると推定されるので、所定のしきい値は、＋１よりも大きい値（例えば、２〜４）であってもよい。

図６に示す例では、判定処理部５０は、カウンタ５３のカウント値が、所定のしきい値（例えば、＋１）以下（ステップＳ１０３−Ｎｏ）なので、過去に入力されたカメラ画像の処理が終了していると判定する。

次に、ステップＳ１０４において、判定処理部５０は、新しく入力されたカメラ画像２を処理することを決定する（ステップＳ１０４）。判定処理部５０は、カメラ画像２をキュー部５１へ出力し、キュー部５１はカメラ画像２を処理部５２へ出力し、処理部５２は、カメラ画像２の画像前処理を実行する。以上が、第１動作例の説明である。

次に、図７及び図８を参照して、新しいカメラ画像２が入力された時のモジュール４１の判定処理部５０の第２動作例を、以下に説明する。図８は、画像処理アプリケーションの他の動作を説明する図である。図８に示す例では、画像処理アプリケーション３３は、カメラ画像取得時刻Ｔ１において、カメラ画像１が通知されて、モジュール４１〜４７は、カメラ画像Ｔ１に基づく処理を実行する。そして、画像処理アプリケーション３３は、カメラ画像取得時刻Ｔ２において、カメラ画像２がわたされる。カメラ画像２がわたされた時に、モジュール４７は、カメラ画像１に基づく処理を実行中である。そして、モジュール４１は、新しいカメラ画像２を処理するか又は廃棄するかの決定処理を実行する。

まず、ステップＳ１０１において、モジュール４１には、図８に示すように、新しいカメラ画像２が入力される。

次に、ステップＳ１０２において、モジュール４１の判定処理部５０は、モジュール４１に新しくカメラ画像２が入力されると、モジュール４７のカウンタ５３のカウント値を所定量だけ変更する。例えば、判定処理部５０は、カウンタ５３のカウント値を＋１から＋１だけ増加させて、カウンタ５３のカウント値は＋２となる。

次に、ステップＳ１０３において、判定処理部５０は、モジュール４７のカウンタ５３のカウント値に基づいて、モジュール４７は、過去に入力されたカメラ情報の処理が終了しているか否かを判定する。具体的には、図８に示す例では、モジュール４７のカウント値は＋２であり、カウンタ５３のカウント値が所定のしきい値（＋１）よりも大きい（ステップＳ１０３−Ｙｅｓ）ので、判定処理部５０は、モジュール４７は過去に入力されたカメラ情報の処理が終了していないと判定する。

次に、ステップＳ１０５において、判定処理部５０は、新しく入力されたカメラ画像２を廃棄することを決定する。判定処理部５０は、新しく入力されたカメラ画像２を廃棄することを決定した場合、この廃棄することを表すエラーメッセージを生成して、モジュール４１のキュー部５１に入力する。エラーメッセージは、カメラ画像２と共にモジュール１に入力されたセンサ識別情報及びカメラ画像取得時刻を含む。エラーメッセージは、モジュール４１からモジュール４２へ出力されて、さらにモジュール４３からモジュール４７へ出力される。同様に、エラーメッセージは、モジュール４１からモジュール４４へ出力されて、さらにモジュール４４と、モジュール４５と、モジュール４６と、モジュール４７とに順番に出力される。最後に、カメラ画像２を廃棄することを示すエラーメッセージは、モジュール４７から他のアプリケーション３４へ通知される。これにより、他のアプリケーション３４は、センサ識別情報及びカメラ画像取得時刻により識別されるカメラ画像は廃棄されたことが通知される。なお、モジュール４１〜モジュール４７は、処理中に異常が生じた場合、この異常を表すエラーメッセージを生成して、各モジュールの処理結果と共に、後続するモジュールへ出力するようにしてもよい。この異常を表すエラーメッセージは、処理結果と共に、モジュール４７から他のアプリケーション３４へ通知される。

以上に説明してきたように、この情報処理装置は、この情報処理装置は、入力された情報に基づく一連の処理を順次実行する先頭モジュールから後尾モジュールを含む複数のモジュールを有する。この情報処理装置では、後尾モジュールは、先頭モジュールに入力され、かつ、後尾モジュールによる処理が終了していない情報の数を表すカウント値を記憶し、複数のモジュールの何れかである判定モジュールは、先頭モジュールに新しく情報が入力された時、後尾モジュールのカウント値に基づいて、先頭モジュールに新しく入力された情報を処理するか又は廃棄するかを決定する。これにより、情報処理装置は、カウント値に基づいて、新しく入力した情報を処理するかまたは廃棄するかを判定して、新しく入力した情報の一部を廃棄することにより、所望される処理を出来るだけ実行しつつ、ＣＰＵなどのハードウェアリソースに対する負荷の増大を抑制して、直前に入力された情報を予定通りの時間で処理することができる。また、情報処理装置は、カウント値に基づいて、情報処理装置に過去に入力された情報の中で処理が終了していない情報の数を知ることができる。

次に、上述した情報処理装置の変型例を、図９を参照しながら、以下に説明する。

図９は、変型例の画像処理アプリケーションが有する複数のモジュールを説明する図である。本変型例の情報処理装置では、モジュール４７がなく、その代わりに、モジュール４３及びモジュール４６が、後尾モジュールの一例であり、モジュール４７の機能を有している点が上述した実施形態とは異なっている。モジュール４３及びモジュール４６は、図５（Ｂ）に示すように、キュー部５１と、処理部５２と、カウンタ５３とを有する。

モジュール４１は、先頭モジュール及び判定モジュールの一例であり、画像処理アプリケーションに対して新しい情報の一例であるカメラ画像がＥＣＵ１６にわたされた時に、このカメラ画像が最初に入力される。モジュール４１は、このモジュール４１に新しくカメラ画像が入力される度に、後尾モジュールごと（モジュール４３及びモジュール４６のそれぞれ）のカウンタ５３のカウント値を所定量だけ変更する（例えば、１だけ増加する）。

モジュール４３は、モジュール４２から入力されたカメラ画像を処理した処理結果に基づいて追跡処理を行った処理結果を、後続の他のアプリケーション３４の処理に対応する形式に変換して出力する。モジュール４３は、モジュール４３に入力されたカメラ画像に基づく処理を終了する度に、モジュール４３のカウンタ５３のカウント値をモジュール４１とは逆の方向に所定量だけ変更する（例えば、１だけ低減する）。

モジュール４６は、モジュール４５から入力されたポリラインの位置情報を、車両座標系で表された実空間の位置情報に変換して処理結果を、後続の他のアプリケーション３４の処理に対応する形式に変換して出力する。モジュール４６は、モジュール４６に入力されたカメラ画像に基づく処理を終了する度に、モジュール４６のカウンタ５３のカウント値をモジュール４１とは逆の方向に所定量だけ変更する（例えば、１だけ低減する）。

モジュール４１の判定処理部５０は、モジュール４１に新しくカメラ画像が入力された時、後尾モジュールごと（モジュール４３及びモジュール４６のそれぞれ）のカウンタ５３のカウント値に基づいて、モジュール４１に新しく入力されたカメラ画像を処理するか又は廃棄するかを決定する。判定処理部５０は、モジュール４３及びモジュール４６の中の何れか一方のカウンタ５３のカウント値が、所定のしきい値よりも大きい場合、画像処理アプリケーション３３は過去に入力されたカメラ画像に基づく処理を終了していないと判定する。そして、判定処理部５０は、モジュール４１に新しく入力されたカメラ画像を廃棄することを決定する。一方、判定処理部５０は、モジュール４３及びモジュール４６の両方のカウンタ５３のカウント値が所定のしきい値以下の場合、画像処理アプリケーション３３は過去に入力されたカメラ画像に基づく処理が終了していると判定する。そして、判定処理部５０は、モジュール４１に新しく入力されたカメラ画像を処理することを決定する。本変型例の情報処理装置のその他の構成は、上述した実施形態と同様である。

本発明では、上述した実施形態の情報処理装置は、本発明の趣旨を逸脱しない限り適宜変更が可能である。また、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

例えば、本発明では、情報処理装置は、車両制御に関する情報を処理していたが、情報処理装置は、車両制御以外の情報を処理するのに用いられてもよい。

１ 車両制御システム
１０ 車両
１１ カメラ
１２ Ｌｉｄａｒセンサ
１３ 測位情報受信機
１４ 地図情報記憶装置
１５ ナビゲーション装置
１６ 電子制御装置（ＥＣＵ）
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ

Claims (1)

1. 入力された情報に基づく一連の処理を順次実行する先頭モジュールから後尾モジュールを含む複数のモジュールを有する情報処理装置であって、
   前記後尾モジュールは、前記先頭モジュールに入力され、かつ、前記後尾モジュールによる処理が終了していない情報の数を表すカウント値を記憶し、
   前記複数のモジュールの何れかである判定モジュールは、前記先頭モジュールに新しく情報が入力された時、前記後尾モジュールの前記カウント値に基づいて、前記先頭モジュールに新しく入力された情報を処理するか又は廃棄するかを決定する情報処理装置。

Images