JP2023057629A - グリッドコンピューティングシステム - Google Patents

Abstract

【課題】グリッドコンピューティングにおいて、車両の主演算装置のハードウェア構成を依頼されたアプリケーションジョブに応じた最適な構成にする。
【解決手段】グリッドコンピューティングシステムは、グリッドコンピューティングを管理するマスタ装置と、車両の非稼働中に前記グリッドコンピューティングへの参加が可能に構成された車載演算装置とを含む。車載演算装置において、車両１０の稼働時には、再構成回路１２５として走行コンフィグ情報に基づいた回路が構成され、車両の走行制御処理が実行される。また、車両１０の非稼働時には、再構成回路１２５として演算コンフィグ情報に基づいた回路が構成され、アプリケーションジョブが実行される。
【選択図】図６

Description

ここに開示された技術は、グリッドコンピューティングシステムに関する技術分野に属する。

特許文献１には、車両の走行中には車両の走行を補助する車両走行用情報処理が可能であり、車両の非走行中には車両走行用情報処理以外の非車両走行用情報処理が可能であるように構成された車載計算装置が示されている。特許文献１の車載計算装置では、検知手段が車両が走行中であると検知したときに再構成可能回路を車両走行用情報処理に適切な回路に切り替え、かつ、検知手段が車両が走行中ではないと検知したときに再構成可能回路を非車両走行用情報処理に適切な回路に切り替えるように構成されている。

特許第６４２１４０３号公報

ところで、グリッドコンピューティングにおいて演算対象となるアプリケーションジョブは、多種多様である。そして、アプリケーションジョブに応じて、最適なハードウェアの構成が異なる場合がある。そうすると、特許文献１のように、車両が走行中ではない場合に再構成可能回路を車両走行用情報処理回路から非車両走行用情報処理回路に切り替えるというだけでは十分ではなく、改善の余地があった。

ここに開示された技術は斯かる点に鑑みてなされたものであり、グリッドコンピューティングを実行する際に、車両の主演算装置のハードウェア構成を、依頼されたアプリケーションジョブに応じた最適な構成にすることにある。

前記課題を解決するために、本開示の第１態様では、グリッドコンピューティングを管理するマスタ装置と、車両の非稼働中に前記グリッドコンピューティングへの参加が可能に構成された車載演算装置とを含むグリッドコンピューティングシステムを対象として、 前記車載演算装置は、前記マスタ装置と通信する通信部と、前記車両の稼働状態を検出する走行検出器と、プログラマブルにハードウェアの再構成ができるように構成された再構成回路と、前記走行検出器で検出された車両の稼働状態に基づいて前記再構成回路のハードウェアの再構成を制御をする制御回路と、車両走行制御用のハードウェア構成のコンフィグ情報である走行コンフィグ情報が記憶された記憶部とを備え、前記マスタ装置は、前記車両に、実行対象となるアプリケーションジョブのジョブデータ及び当該アプリケーションジョブ用のハードウェア構成のコンフィグ情報である演算コンフィグ情報を送信し、 前記車載演算装置は、前記車両の稼働時には、前記走行コンフィグ情報に基づいて前記再構成回路を構成して当該再構成回路を用いて車両の走行制御処理を実行し、前記車両の非稼働時には、前記マスタ装置から受信した前記演算コンフィグ情報に基づいて前記再構成回路を構成して当該再構成回路を用いて前記アプリケーションジョブを実行する、という構成にした。

上記態様によると、実行対象となるアプリケーションジョブを実行するのに最適な構成の回路を用いて演算を実施することができる。これにより、車両では、依頼されたジョブに対する演算効率を高めることができる。さらに、車載演算装置は、車両走行時には、自車内の記憶部に格納された走行コンフィグ情報に基づくハードウェア構成を使用するので、演算リソースが冗長となることを回避することができる。

以上説明したように、ここに開示された技術によると、車載演算装置は、依頼されたアプリケーションジョブに応じたハードウェアコンフィグ情報を管理サーバから受信してハードウェアの再構成をするようにしたので、依頼されたアプリケーションジョブに対する演算効率を高めることができる。さらに、車載演算装置は、車両走行時には、自車内の記憶部に格納された走行制御用に適したハードウェア構成を使用するので、演算リソースが冗長となることを回避することができる。

グリッドコンピューティングシステムの構成を例示する概略図 グリッドコンピューティングについて説明するための概念図 車両の構成を例示するブロック図 クライアントサーバの構成を例示するブロック図 管理サーバの構成を例示するブロック図 実施形態のシステムの接続構成の一例を示すブロック図 走行制御時の再構成回路の構成例及び演算フローの一例を示す図 グリッドコンピューティングシステムの動作例を示すフローチャート 車両の主演算装置の動作例を示すフローチャート ジョブ演算時の再構成回路の構成例及び演算フローの一例を示す図 ジョブ演算時の再構成回路の構成例及び演算フローの他の例を示す図 ジョブ演算時の再構成回路の構成例及び演算フローの他の例を示す図 再構成回路の構成例及び演算フローの一例を示す図

実施形態について、図面を参照しながら詳細に説明する。図中同一または相当部分には同一の符号を付すものとし、繰り返しの説明を省略する場合がある。また、以下の実施形態では、本開示の内容に関連性の高い構成を中心に説明する。なお、以下の実施形態は、例示的なものであり、記載の有無や例示した数値等によって本開示の内容を限定する意図はまったくない。

＜第１実施形態＞
（グリッドコンピューティングシステム）
図１は、実施形態のグリッドコンピューティングシステム１（以下、単に「システム１」ともいう）の構成を例示する。

このシステム１は、複数の車両１０と、複数のクライアント端末３０と、管理サーバ５０とを備える。これらの構成要素は、通信網６を経由して互いに通信可能である。複数の車両１０の各々には、主演算装置１０５が搭載される。管理サーバ５０は、マスタ装置の一例である。車両は、移動体の一例である。なお、マスタ装置は、クラウドで実現されてもよい。

〔グリッドコンピューティング〕
図２に示すように、実施形態のシステム１では、複数の主演算装置１０５によりグリッドコンピューティングＧ（以下、単に「グリッドＧ」ともいう）が構成される。システム１では、複数の主演算装置１０５のうち利用可能な主演算装置１０５にアプリケーションジョブ（以下、単に「ジョブ」ともいう）を演算させるグリッドコンピューティングが実行される。

なお、車両１０が走行している場合、車両１０の走行制御のために主演算装置１０５の演算能力が必要となり、主演算装置１０５が稼働状態となる。一方、例えば、車両１０が停車して車両１０の電源がオフ状態になると、車両の走行制御に対する主演算装置１０５の演算能力が実質的に不要となる。そこで、車両１０は非稼働状態となり、この車両１０の非稼働中（例えば、停車中）に上記のグリッドコンピューティング処理が実行される。車両の稼働／非稼働の判別方法は、特に限定されないが、例えば、イグニッション－オン時に稼働状態と判断し、イグニッション－オフ時に非稼働状態と判断する方法が採用できる。

〔車両〕
車両１０には、電池（図示省略）が搭載される。電池の電力は、主演算装置１０５などの車載機器に供給される。このような車両１０の例としては、電気自動車、プラグインハイブリッド自動車などが挙げられる。

図３に示すように、車両１０は、通信部１０１と、記憶部１０３と、主演算装置（MPU：Micro-Processing Unit）１０５とを備える。

－通信部－
通信部１０１は、管理サーバ５０との間で情報やデータを送受信する。具体的に、通信部１０１は、管理サーバ５０からアプリケーションジョブのジョブデータＤ１及びそのジョブデータを実行する際に用いるハードウェアコンフィグ情報（以下、単に「コンフィグ情報」という）である演算コンフィグ情報を受信する。通信部１０１により受信された情報やデータは、後述する主演算装置１０５の制御回路１２３に送られる。

－記憶部－
記憶部１０３は、情報やデータを記憶する。記憶部１０３の具体的な構成は、特に限定されない。例えば、チップに内蔵されたメモリで実現されてもよいし、ＨＤＤ（Hard disk drive）、ＳＳＤ(Solid State Drive)で実現されてもよいし、ＤＶＤやＢＤのような光ディスクで実現されてもよい。

この例では、記憶部１０３は、車両情報Ｄ１０を記憶する。車両情報Ｄ１０には、車両基本情報Ｄ１１と、車両状態情報Ｄ１３と、稼働情報Ｄ１５が含まれる。

〈車両基本情報〉
車両基本情報Ｄ１１は、車両識別情報とリソース情報を含む。

車両識別情報は、ＶＩＮのように車両を識別するための情報や、車両１０の所有者を識別するユーザ識別情報を含む。

リソース情報は、後述する演算資源（ＣＰＵやＧＰＵなど）に関する情報である。リソース情報は、例えば、演算資源ごとに付与された演算資源ＩＤ、各演算資源の性能を示す性能情報を含む。演算資源の性能には、演算資源の演算能力（具体的には最大演算能力）を示す演算能力、演算資源におけるＣＰＵとＧＰＵの比率などが含まれる。演算資源の演算能力は、例えば、それぞれの演算資源が単位時間当たりに演算することができるデータ量である。

〈車両状態情報〉
車両状態情報Ｄ１３は、車両１０の状態を示す情報であり、例えば、車両位置情報、走行履歴情報、車両通信情報、車両電源情報等を含む。

車両位置情報は、車両１０の位置（緯度および経度）を示す。例えば、車両位置情報は、ＧＰＳ（Global Positioning System）により取得可能である。

走行履歴情報は、例えば、後述する走行検出器１２１で検出された車両走行情報と時刻とを関連付けて示す情報であったり、上記の車両位置情報と時刻とを関連付けて示す情報である。なお、走行履歴情報に加えて、車両１０の未来の走行予定を示す走行予定情報が含まれてもよい。

車両通信情報は、車両１０と通信網６との通信状態を示す情報、車両１０と管理サーバ５０との通信帯域の情報を含む。車両通信情報は、例えば、所定時間毎に更新される。

車両電源情報は、車両１０の電源の状態を示す情報、車両電池残量情報、車両充電情報などを含む。例えば、車両電源情報は、イグニッション電源のオン／オフ、アクセサリ電源のオン／オフなどを示す。車両電池残量情報は、車両１０に搭載された電池（図示省略）の残量を示す。車両充電情報は、充電設備（図示省略）において車両１０が充電中であるか否かを示す。

〈稼働情報〉
稼働情報Ｄ１５は、例えば、主演算装置１０５の稼働履歴を示す稼働履歴情報と、主演算装置１０５の稼働予定を示す稼働予定情報を含む。

稼働履歴情報は、例えば、主演算装置１０５の演算資源の利用率及び／またはジョブの処理量と、時刻とを関連付けて示す。稼働履歴情報は、通常稼働履歴と、グリッド稼働履歴とを含む。通常稼働履歴は、例えば、車両の走行やカーナビ、音楽再生等のサービスの提供等のように、ユーザーの利用のために主演算装置１０５を稼働させた履歴を示す。グリッド稼働履歴は、グリッドコンピューティング処理を実行するために主演算装置１０５を稼働させた履歴を示す。

稼働予定情報は、例えば、主演算装置１０５の未来の利用状況を示す利用予定情報などを含む。

－主演算装置－
主演算装置１０５は、車両１０の各部を制御する。この例では、主演算装置１０５は、センサ（図示省略）により得られた各種の情報に応じて各アクチュエータ（図示省略）を制御する。主演算装置１０５は、車載演算装置の一例である。

主演算装置１０５は、プロセッサ、メモリなどを有する。プロセッサの例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などが挙げられる。メモリは、プロセッサを動作させるためのプログラム、プロセッサの処理結果を示す情報やデータなどを記憶する。

なお、本開示では、ＣＰＵやＧＰＵのように、グリッドコンピューティングの演算・処理に利用可能なリソースを「演算資源」と称する。演算資源は、車両１０に搭載されたＣＰＵ及びＧＰＵの一部または全部を含む。また、例えば、演算資源としての利用を許可される時間帯と、演算資源としての利用を制限する時間帯とが分けられていてもよい。すなわち、単一のＣＰＵが、ある時間帯では演算資源としてカウントされ、他の時間帯では演算資源としてカウントされないとしてもよい。また、ＣＰＵが単一または複数のコアで実現されている場合において、その複数のコアの一部が演算資源としてカウントされ、それ以外のコアは演算資源としてカウントされないとしてもよい。ＧＰＵについても同様である。また、演算資源として、後述する再構成回路の回路リソースが含まれていてもよい。

図６は、管理サーバ５０及び車両１０の主演算装置１０５の構成のうち、本実施形態の説明に用いる構成を抽出して図示したものである。すなわち、管理サーバ５０及び車両１０の主演算装置１０５のは、図６以外の構成を含み得る。

図６に示すように、この例では、主演算装置１０５は、走行検出器１２１と、制御回路１２３と、再構成回路１２５と、ＲＯＭ１２７と、セレクタ１２８とを備える。

〈走行検出器〉
走行検出器１２１は、車両の走行状態を検出する。走行検出器１２１で検出された車両１０の走行状態を示す車両走行情報は、制御回路１２３に出力される。車両走行情報は、車両１０が走行している状態（走行状態）なのか、車両１０が走行していない状態（非走行状態）なのかを示す。

なお、車両１０の走行状態の検出方法は、特に限定されない。例えば、車速センサ（図示省略）やアクセル開度センサ（図示省略）のように車両１０に取り付けられたセンサを用いて車両が走行状態か非走行状態かを検出してもよい。また、例えば、車内カメラ（図示省略）等を用いて、運転席にドライバが搭乗しているか否かで判断するようにしてもよい。また、例えば、イグニッションスイッチのオンオフで車両の走行状態／非走行状態を検出してもよいし、ＧＰＳなどの位置情報を用いて走行状態／非走行状態を検出してもよい。また、上記の方法を組み合わせてもよい。

また、車両１０の走行状態として、実際に車両１０が走行している状態に加えて、車両１０が走行の準備に入った状態（車両１０がその後走行する蓋然性が高い状態）を含めるようにしてもよい。例えば、イグニッションスイッチがオンされ、ドライバがハンドルを触った時点で、車両１０が走行する蓋然性が高い状態にあると検出されるようにしてもよい。そして、その車両１０が走行する蓋然性が高い状態を示す情報を車両走行情報に含めるようにしてもよい。

〈制御回路〉
制御回路１２３は、通信部１０１及び通信部５０１を介して、管理サーバ５０の制御部５０５と情報やデータのやり取りを行う。走行検出器１２１で検出された車両の走行状態に基づいて再構成回路１２５のハードウェア構成の再構成を制御をする。

制御回路１２３は、ジョブデータＤ１を一時的に格納したり、処理結果を一時的に保存するための内部メモリとしての記憶部１２４を備える。

具体的に、この例では、制御回路１２３は、（１）走行検出器１２１から受信した車両１０走行情報及びリソース情報を、後述する制御部５０５のコンフィグデータ選択器５２１に送信する、（２）走行検出器１２１で検出された車両１０の走行状態に基づいてセレクタ１２８を切り替える、（３）ジョブデータＤ１を含むジョブの演算依頼内容を示す情報を受信し、その情報に基づいてジョブデータＤ１を用いた演算を再構成回路１２５に実行させる、（４）再構成回路１２５の演算結果を記憶部１２４に格納する、（５）記憶部１２４の演算結果を管理サーバ５０に送信する、といった処理や制御を実行する。なお、制御回路１２３の動作フローについては、後ほど説明する。

〈再構成回路〉
再構成回路１２５は、プログラマブルにハードウェアの再構成ができるように構成された回路である。具体的に、再構成回路１２５は、粒度の細かい多種多様の演算素子と、１または複数のメモリを内蔵し、それらの内部接続を切り替えることができるプログラマブルなハードウェアデバイスである。そして、再構成回路１２５としては、例えば、ＦＰＧＡ（Field Programmable Gate Array）やＤＲＰ（Dynamically Reconfigurable Processor)が例示される。本開示において、「演算素子」とは、積和演算の組み合わせ回路を指す。

前述のとおり、再構成回路１２５は、制御回路１２３の制御を受けて、車両１０の走行制御時と、グリッドＧのジョブを実行するジョブ演算時（以下、単に「ジョブ演算時」という）とでそれぞれに適したハードウェア構成が適用される。さらに、本開示では、管理サーバ５０から車両１０にジョブデータＤ１を送信する際に、あわせてそのジョブの演算に適した演算コンフィグ情報Ｄ３を送信する。そして、ジョブの演算をする際には、その演算コンフィグ情報Ｄ３に基づいて再構成回路１２５のハードウェアが再構成されるようになっている。

例えば、車両１０の走行制御時には、演算負荷を抑える観点から、演算素子の低ビット化が期待される。演算素子を低ビット化することで、車両１０の走行制御に求められる精度の演算を高いスループットで実現することができるようになる。一方で、例えば、ジョブ演算時には、演算精度を高める観点から、演算素子が多ビットを扱えるようにするといったことができる。

ここで、前述のとおり、ジョブ演算時において多種多様なジョブの演算に対応する場合には、それぞれに最適なハードウェアの構成が大きく異なる場合がある（図９～図１２参照）。そこで、前述のとおり、管理サーバ５０から都度受信する演算コンフィグ情報Ｄ３に基づいて再構成回路１２５のハードウェアが再構成される。具体的な再構成回路１２５の構成事例については、後ほど説明する。

〈ＲＯＭ〉
ＲＯＭ１２７には、車両走行制御用のハードウェア構成のコンフィグ情報である走行コンフィグ情報が記憶されている。走行コンフィグ情報は、車両１０にあらかじめ保存されている情報であり、例えば、車両１０の製造過程においてＲＯＭ１２７に記憶される。走行コンフィグ情報は、複数の演算素子及び複数の内部メモリの各々の間の接続方法を特定するための接続情報を含む。また、走行コンフィグ情報の接続情報は、複数の演算素子を用いて、例えば積和演算等を行うビット演算器を構成する情報を含む。走行コンフィグ情報は、前述の演算コンフィグ情報に基づくハードウェア構成と比較して、車両走行制御用に適したハードウェア構成のコンフィグ情報である。

ここで、走行制御用に適したハードウェア構成とは、例えば、応答速度を優先した構成である。より具体的には、同じハードウェアリソースを用いて、低ビットの演算素子に分割し、演算素子数を可能な限り増やす構成とすることが例示される。これにより、処理時間の短縮化を図ることができる。ＲＯＭ１２７は、例えば、車両１０のメンテナンス時などに記憶された走行コンフィグ情報の書き換えができるように構成されていてもよい。

〈セレクタ〉
セレクタ１２８は、管理サーバ５０の制御部５０５から受信された演算コンフィグ情報Ｄ３と、ＲＯＭ１２７に記憶されている走行コンフィグ情報とが入力される。そして、制御回路１２３から出力されたコンフィグ切替信号に基づいて、走行コンフィグ情報または演算コンフィグ情報Ｄ３のいずれかを選択して、再構成回路１２５に出力する。換言すると、コンフィグ切替信号は、走行コンフィグ情報と演算コンフィグ情報Ｄ３のどちらを選択するかの切り替えを設定する信号である。

〔クライアント端末〕
クライアント端末３０は、クライアントにより所有される。クライアントは、ジョブデータの演算を依頼する。このようなクライアントの例としては、企業、研究機関、教育機関などが挙げられる。

図４に示すように、クライアント端末３０は、通信部３０１と、記憶部３０３と、制御部３０２とを備える。

－通信部－
通信部３０１は、管理サーバ５０と双方向通信が可能に接続され、相互間での情報やデータを送受信する。通信部３０１により受信された情報やデータは、制御部３０２に送られる。

－制御部－
制御部３０２は、クライアント端末３０の各部を制御する。制御部３０２は、プロセッサ、メモリなどを有する。メモリは、プロセッサを動作させるためのプログラム、プロセッサの処理結果を示す情報やデータなどを記憶する。

制御部３０２は、ジョブを依頼する際には、記憶部３０３から依頼するジョブのジョブ情報Ｄ３２及びそのジョブの演算に必要なジョブデータＤ１を取り出し、通信部３０１を介して管理サーバ５０に送信する。このとき、必要に応じてジョブ情報Ｄ３２及びジョブデータＤ１に加えて、クライアント情報Ｄ３１を送信する。

－記憶部－
記憶部３０３は、情報やデータを記憶する。この例では、記憶部３０３は、クライアント情報Ｄ３１と、ジョブデータＤ１とを記憶する。

〈クライアント情報〉
クライアント情報Ｄ３１は、クライアントに関する情報である。クライアント情報Ｄ３１は、クライアントに設定されたクライアントＩＤ、クライアントにより所有されるクライアント端末３０に設定されたクライアント端末ＩＤ、担当者名、住所、電話番号などを含む。

〈ジョブデータ〉
ジョブデータＤ１は、ジョブに対応するデータであり、ジョブの実施のために処理されるデータである。

なお、ジョブデータＤ１は、演算タイプにより分類可能である。演算タイプの例としては、ＣＰＵ系の演算タイプ、ＧＰＵ系の演算タイプなどが挙げられる。ＣＰＵ系の演算タイプのジョブデータＤ１では、シミュレーション演算など、条件分岐の多い複雑な演算が要求される傾向にある。ＧＰＵ系の演算タイプのジョブデータＤ１では、画像処理や機械学習など、膨大な量の単純演算が要求される傾向にある。

また、ジョブデータＤ１は、処理条件により分類可能である。処理条件の例としては、常時通信が要求される処理条件、常時通信が要求されない処理条件などが挙げられる。常時通信が要求される処理条件のジョブデータＤ１では、グリッドコンピューティング処理において主演算装置１０５が常に通信可能であることが要求される。常時通信が要求されない処理条件のジョブデータＤ１では、グリッドコンピューティング処理において主演算装置１０５が常に通信可能であることが要求されない。

〈ジョブ情報〉
ジョブデータＤ１に付随してジョブに関するジョブ情報Ｄ３２が記憶される。ジョブ情報Ｄ３２は、例えば、ジョブの名称情報、ジョブの内容情報、ジョブデータの演算タイプ、処理条件、必要演算能力、ジョブの納期情報などを含む。

〔管理サーバ〕
管理サーバ５０は、グリッドコンピューティングの運営を管理する。言い換えると、システム１は、管理サーバ５０を備える。管理サーバ５０は、システム１を運営する事業者により所有される。

図５に示すように、管理サーバ５０は、通信部５０１と、記憶部５０３と、制御部５０５とを備える。

－通信部－
通信部５０１は、車両１０やクライアント端末３０と双方向通信が可能に接続され、相互間での情報やデータを送受信する。通信部５０１により受信された情報やデータは、制御部５０５に送られる。

－記憶部－
記憶部５０３は、情報やデータを記憶する。記憶部５０３の具体的な構成は、特に限定されない。例えば、チップに内蔵されたメモリで実現されてもよいし、ＨＤＤ（Hard disk drive）、ＳＳＤ(Solid State Drive)で実現されてもよいし、ＤＶＤやＢＤのような光ディスクで実現されてもよい。

この例では、記憶部５０３には、車両情報テーブルＤ５１と、ジョブテーブルＤ５３と、マッチングテーブルＤ５５と、ジョブデータＤ１と、演算結果データＤ２、演算コンフィグ情報Ｄ３などの各種テーブル及び各種データが格納される。

〈車両情報テーブル〉
車両情報テーブルＤ５１は、車両情報を管理するためのテーブルである。車両情報テーブルＤ５１には、各車両の車両情報Ｄ１０がリスト化されて格納されている。

〈ジョブテーブル〉
ジョブテーブルＤ５３は、クライアントから依頼されたジョブを管理するためのテーブルである。ジョブテーブルＤ５３には、ジョブ毎に、そのジョブに設定された受付番号、そのジョブを依頼したクライアントに設定されたクライアントＩＤ、そのジョブの名称および内容などのジョブ情報Ｄ３２が登録される。また、ジョブテーブルＤ５３には、ジョブ毎に、そのジョブに対応するジョブデータの演算タイプおよび処理条件、そのジョブデータの演算に必要となる演算能力である必要演算能力、そのジョブに設定された納期などが登録される。ジョブテーブルＤ５３では、それぞれのジョブデータＤ１がどのクライアントから依頼されたジョブなのかがわかるように紐づけされている。

〈マッチングテーブル〉
マッチングテーブルＤ５５は、マッチング工程でのマッチングの結果を管理するためのテーブルである。マッチングテーブルＤ５５には、ジョブ毎に、そのジョブに設定された受付番号、そのジョブに対応するジョブデータＤ１に設定されたジョブデータＩＤ、マッチング処理によりそのジョブデータＤ１に対して割り当てられた車両の車両識別情報などが登録される。

〈ジョブデータ〉
記憶部５０３に記憶されるジョブデータＤ１は、後述するジョブ受付処理でクライアント端末３０から受け付けられたジョブのデータである。

〈演算結果データ〉
記憶部５０３に記憶される演算結果データＤ２は、後述するグリッドコンピューティング処理により各対象車両１０で実行されたジョブの演算結果のデータである。

〈演算コンフィグ情報〉
記憶部５０３に記憶される演算コンフィグ情報は、ジョブタイプ（推論モデル）ごとに用意され、それぞれのジョブタイプに適用される再構成回路１２５のハードウェア構成を示す。ジョブタイプとしては、一般的に演算精度が優先される学習モデル型、演算処理時間の短縮化を狙ったシリアル接続された演算処理フローモデル型や並列接続された演算処理フローモデル型などが例示される。

ユーザーから要望されるジョブに幅広く対応するためには、多種の推論モデルを実行できることが要求される。そこで、記憶部５０３には、それぞれの推論モデルに対応できるように、多種の演算コンフィグ情報が格納される。推論モデルに応じたハードウェア構成の具体例については、後ほど「グリッドコンピューティングシステムの動作」で説明する。なお、１つの演算コンフィグ情報で複数の推論モデルに対応できるようにしてもよい。

演算コンフィグ情報は、演算素子の演算精度と演算素子の数を制御するための制御情報を含む。具体的に、例えば、演算素子（積和演算）のビット精度を高くすると回路リソースの使用量が増えて実装可能な演算素子の数が減少し、演算素子のビット精度を落とすと回路リソースの使用量が抑えられ実装可能な演算素子数を増やすことができる。結果として、動的再構成回路リソースに搭載可能な演算素子数が、演算精度によって変わることになる。

演算コンフィグ情報は、複数の演算素子及び複数の内部メモリの各々の間の接続方法を特定するための接続情報を含む。また、演算コンフィグ情報の接続情報は、複数の演算素子を用いて積和演算を行うビット演算器を構成する情報を含む。そして、演算コンフィグ情報に基づいて構成されるビット演算器のビット数は、演算処理時間が走行時よりも多くかけられることから、演算並列性を抑えることが可能となることから演算素子数を減らすことができ、走行コンフィグ情報に基づいて構成されるビット演算器のビット数より多くすることが可能である。

－制御部－
この例では、制御部５０５は、グリッドコンピューティングの運営や管理に関する一連の制御及び処理を実行する機能を有する。例えば、後述する図７のフロー図内での制御や処理を実行する。なお、以下の説明では、説明の便宜上、管理サーバ５０を主体をとして動作や処理についての記載をしているが、制御部５０５がその処理や制御に寄与することで実現される場合がある。

制御部５０５は、クライアント端末３０から受信した情報やデータを記憶部５０３に記憶する。例えば、制御部５０５は、クライアント端末３０からジョブデータＤ１を受信すると、ジョブデータＤ１を記憶部５０３に保存する。また、制御部５０５は、クライアント端末３０からジョブ情報Ｄ３２を受信すると、記憶部５０３のジョブテーブルＤ５３に登録する。

制御部５０５は、それぞれの車両１０から受信した情報やデータを記憶部５０３に記憶する。例えば、制御部５０５は、車両１０から車両情報Ｄ１０（車両走行情報、リソース情報を含む）を受信すると、記憶部５０３の車両情報テーブルＤ５１に登録する。

図６に示すように、この例では、制御部５０５は、コンフィグデータ選択器５２１を備える。

コンフィグデータ選択器５２１は、クライアント端末から依頼されたジョブ(以下、「依頼ジョブ」という）に適用するコンフィグ情報を選択する。この例では、コンフィグデータ選択器５２１は、依頼ジョブのジョブ情報Ｄ３２及び／またはジョブデータＤ１に基づいて演算コンフィグ情報Ｄ３を選択する。

ここで、演算コンフィグ情報とは、再構成回路１２５の内部に用意されている細粒度の演算素子や内部メモリの組み合わせ方や、それぞれの接続を切り替えるための配線情報などである。

また、演算コンフィグ情報の登録方法は、特に限定されないが、例えば、（１）主要なジョブタイプ毎に適した構成に沿った演算コンフィグ情報をあらかじめ登録する方法、（２）ユーザー（クライアント端末３０の利用者）がジョブを登録する際に、ユーザー自身がジョブに最適化された演算コンフィグ情報を作成し、ジョブとともに登録する方法、などがある。

また、コンフィグデータ選択器５２１は、ジョブの依頼対象となる車両（以下、「対象車両１０」という）から車両走行情報として非走行状態の通知を受信した場合に、対象車両のリソース情報などに基づいて、対象車両向けの依頼ジョブを決定する。その後、コンフィグデータ選択器５２１は、依頼ジョブのジョブ情報Ｄ３２及びジョブデータＤ１とあわせて、依頼ジョブに最適な演算コンフィグ情報を対象車両１０に送信する。

より具体的なコンフィグデータ選択器５２１の具体的な動作例については、以下の「グリッドコンピューティングシステムの動作」で説明する。

〔グリッドコンピューティングシステムの動作〕
以下において、システム１の動作例について、図７及び図８のフローチャートを参照しつつ説明する。こちらの説明では、システム１は、クライアント端末３０と、管理サーバ５０と、対象車両１０とを含み、それぞれの動作や相互間の情報のやり取りを中心に説明する。

図７は、システム全体の動作について示したフローチャートであり、図８は、車両１０の主演算装置１０５についてのフローチャートである。また、図７と図８について、共通の動作には、共通の符号を付している。

－ステップＳ３１（Ｓ３１１～Ｓ３１４）－
ステップＳ３１において、対象車両１０が走行中の場合、対象車両１０には走行コンフィグ情報が適用される。具体的には、図８のステップＳ３１１において、対象車両１０の走行検出器１２１では、走行状態（稼働状態）であることが検出される。

次のステップＳ３１２において、制御回路１２３は、セレクタ１２８に走行コンフィグ情報を選択することを示すコンフィグ切替信号を出力する。そうすると、ＲＯＭ１２７に登録されている走行コンフィグ情報が再構成回路１２５に入力される。そして、再構成回路１２５において、走行コンフィグ情報に基づいた回路が構成される。

図９には、対象車両１０の走行制御時において、ニューラルネットワークを用いた推論演算する場合の再構成回路１２５の構成例及び演算フローの一例を示している。

例えば、再構成回路１２５は、車両の走行制御時には、消費電力の低減及びスループットの最大化を優先する観点から、低ビット演算器を構成し、演算器数を最大化するようなハードウェア構成にされる。図９では、再構成回路１２５は、車両の走行制御時に８ビット×Ｍ個のＰＥアレイで構成されている例を示している。ここで、Ｍは２以上の自然数であり、例えばＭ＝３２である。なお、各低ビット演算器のビット数は、８ビットに限定されず、他のビット数であってもよいし、互いに異なるビット数の組み合わせでもよい。

ステップＳ３１３において、主演算装置１０５では、再構成回路１２５での推論演算に基づいた走行制御が実行される。具体的に、対象車両１０に搭載された各種センサ（図示省略）やカメラ、レーダーなどからの入力データ、位置情報などが再構成回路１２５に与えられ、再構成回路１２５での推論演算に基づいて対象車両１０の各所に配置された各種アクチュエータが制御される。

図１３には、走行時とグリッドコンピューティングの演算実行時における再構成回路１２５の構成例を概念的に示している。具体的に、図１３の下段左側は、走行時における再構成回路１２５の構成例であり、図１３の下段右側はグリッドコンピューティングの演算実行時における再構成回路１２５の構成例である。

走行時における再構成回路１２５は、レイテンシー、演算処理速度、省エネを優先する。具体的には、例えば、回路リソースの割り当て方法として、演算精度を落とすことで一つの演算素子に対する回路リソースの割り当てを低減させるようにしている。

また、図１３に示すように、データフロー形式とすることで、一度のデータ転送に対して、複数の異なる処理を流れるように処理することができる。より具体的には、例えば、画像に対するエッジ抽出フィルタ処理（処理Ａに相当）のために、記憶部１２４から入力画像データを再構成回路１２５の入力に与える。そしてエッジ抽出処理を実行後に、その出力結果を使用して特徴量抽出処理（処理Ｂに相当）を実行し、その後、データフロー形式で、段階的により高抽象度な特徴量抽出処理（処理Ｃ、処理Ｄに相当）を実行して、画像識別するための特徴抽出結果という出力データを得る処理が例示される。このように、一連の処理をデータフロー形式とすることにより、主演算装置１０５が搭載された半導体チップ(図示省略）の外部に設けられた記憶装置７（例えば、ＤＲＡＭ）とのアクセス回数をできるだけ減らすことができ、低電力化を図ることができる。

一方で、グリッドコンピューティングの演算実行時における再構成回路１２５では、演算精度を優先して回路リソースを割り当てる。例えば、記憶装置７から再構成回路１２５への一度のデータ転送で精度の高い１つの処理（少ない種類の処理でも可）を実行させるように再構成回路１２５を構成する。より具体的には、例えば、４つの処理（処理Ａ～処理Ｄ）がある場合には、再構成回路１２５を１つ目の処理Ａのための回路にして、処理Ａを高精度で実行させ、その結果を記憶装置７に記憶させる。その後、再構成回路１２５を次の処理Ｂを実行する回路に書き換えて、記憶装置７から処理Ａの結果を取り出し、次の処理Ｂを実行させ、その結果を記憶装置７に記憶させる。そして、それを次の処理Ｃ、その次の処理Ｄと順次繰り返して実行する。これにより、記憶装置７と再構成回路１２５との間のデータ転送回数は増えるが、より精度を高めた演算を実行することができる。グリッドコンピューティングの演算については、後ほど具体例を説明する。

図８に戻り、ステップＳ３１４では、対象車両１０の走行状態が継続しているかどうかが判定される。そして、走行状態が継続されている期間中（ステップＳ３１４でＹＥＳ）、ステップＳ３１３での走行制御が継続される。

－ステップＳ３２～Ｓ３４，Ｓ２１－
対象車両１０の非走行状態（例えば、イグニッションオフを伴う停車）が検出されると、図８のステップＳ３１４では、ＮＯ判定となる（図７のステップＳ３２に相当）。

次のステップＳ３３では、対象車両１０から管理サーバ５０に車両走行情報（非稼働状態）と最新のリソース情報が送信される。

また、ステップＳ３４において、制御回路１２３は、管理サーバ５０から受信される演算コンフィグ情報Ｄ３を選択することを示すコンフィグ切替信号をセレクタ１２８に出力する。これにより、セレクタ１２８が切り替えられ、管理サーバ５０から受信された演算コンフィグ情報Ｄ３が記憶部１２４に保存される。

ステップＳ２１において、管理サーバ５０は、対象車両１０から車両走行情報（非稼働状態）と最新のリソース情報を受信する。なお、各車両１０のリソース情報は、車両の走行前や走行中などに、あらかじめ管理サーバ５０に登録しておき、それを使用してもよい。

なお、ステップＳ３３とステップＳ３４との順番は、図７の順に限定されず、ステップＳ３４の処理が先に実行され、その後に、ステップＳ３３の処理が実行されてもよい。

－ステップＳ１１，Ｓ２２－
ステップＳ１１において、クライアント端末３０は、管理サーバ５０にアプリケーションジョブの演算依頼内容を送信する。演算依頼内容には、例えば、クライアント情報Ｄ３１、ジョブ情報Ｄ３２及びジョブデータＤ１が含まれる。

ステップＳ２２において、管理サーバ５０は、クライアント端末３０からアプリケーションジョブの演算依頼内容を受信する。

なお、ステップＳ２１とステップＳ２２との順番は、図８の順に限定されず、ステップＳ２２の受信が先に行われ、その後に、ステップＳ２１の受信がおこなわれてもよい。

－ステップＳ２３，Ｓ２４，Ｓ３５－
ステップＳ２３において、管理サーバ５０では、対象車両１０向けの依頼ジョブを決定する。そして、依頼ジョブの演算依頼内容（ジョブ情報Ｄ３２及び／またはジョブデータＤ１）に基づいて対象車両１０に最適な演算コンフィグ情報を選択する。

図１０～図１２には、演算内容（推論モデル）に応じた最適な再構成回路の構成の一例とその動作例を示す。

図１０は、繰り返し学習を行う学習モデルについての例を示す。

図１０の例では、再構成回路１２５は、演算精度を高める観点から、３２ビットの高精度なプロセッサで３２ビット×ＮのＰＥアレイで構成されている。ここで、ＮはＭより小さい自然数であり、例えば、Ｎ＝４である。そして、再構成回路１２５が、出力データ解析と、パラメータ生成器の回路を再構成し、機能させるようにしている。

図１１は、ＶＧＧ１６の畳み込みニューラルネットワークモデルの一部用に、シリアル接続された演算処理フローモデルについての例を示す。

具体的に、この例では、再構成回路１２５は、ＰＥアレイをシリアルかつパイプラインに接続して再構成回路１２５を構成することで演算を並列化し処理時間の短縮化を狙ったものである。そして、図１１には、再構成回路１２５の一部の構成を示しており、２つの３×３×５１２のConvolutionのＰＥアレイがシリアルかつパイプラインに接続されている。

図１２は、GoogLeNet network構造の畳み込みニューラルネットワークモデルの一部用に、並列接続された演算処理フローモデルについての例を示す。

具体的に、この例では、再構成回路１２５は、互いに構成の異なるＰＥアレイ（１×１ｃｏｎｖ６４，３×３ｃｏｎｖ１２８，５×５ｃｏｎｖ３２，３×３ＭＡＸｐｏｏｌ３２）を並列に接続することでデータ処理を並列化し、処理時間の短縮化を図ったものである。さらに、上記の配列化された複数のＰＥアレイの出力結果を結合させるConcat回路（結合回路）を設けている。

図７に戻り、次のステップＳ２４において、管理サーバ５０は、演算依頼内容（ジョブ情報Ｄ３２及びジョブデータＤ１）及びステップＳ２３で選択された演算コンフィグ情報Ｄ３を対象車両１０に送信する。

ステップＳ３５において、管理サーバ５０は、クライアント端末３０からアプリケーションジョブの演算依頼内容を受信する。具体的には、対象車両１０は、管理サーバ５０から依頼ジョブの内容及びそのジョブデータＤ１を受信するとともに、その依頼ジョブに適用する演算コンフィグ情報Ｄ３を受信する。

－ステップＳ３６－
前述のとおり、セレクタ１２８が、管理サーバ５０から受信した演算コンフィグ情報Ｄ３を再構成回路１２５に出力するように切り替えられている（ステップＳ３４参照）。したがって、対象車両１０において、管理サーバ５０から演算コンフィグ情報Ｄ３が受信されると、その演算コンフィグ情報Ｄ３は、セレクタ１２８を介して再構成回路１２５に出力される。

その後、ステップＳ３６において、再構成回路１２５は、演算コンフィグ情報Ｄ３に基づいて回路の再構成をする。例えば、図１０～図１２のいずれかの演算に対応する演算コンフィグ情報Ｄ３を受信した場合には、その演算コンフィグ情報Ｄ３に応じた回路が構成される。

－ステップＳ３７－
ステップＳ３７では、ステップＳ３６で再構成された再構成回路１２５を用いた演算が実行される。以下において、図１０～図１２の再構成回路１２５を用いたそれぞれの演算処理について概要を説明する。

図１０の再構成回路の処理フローは、以下の（Ｐ１）～（Ｐ７）で構成される。

（Ｐ１）まず、Ｃ６１において、記憶部１２４（内部メモリ）に入力データとして格納されたジョブデータＤ１を読み出す。

（Ｐ２）次のＣ６２において、記憶部１２４に格納されたジョブデータＤ１を再構成回路１２５の３２ビットの高精度プロセッサアレイに入力する。

（Ｐ３）次のＣ６３において、高精度プロセッサアレイでの処理結果が記憶部１２４に格納される。

（Ｐ４）次のＣ６４において、再構成回路１２５は、メモリに格納された出力データの解析を実施し、教師データ（正解データ）との誤差を計測する。そして、誤差を低減できるようにパラメータを再設計しＣ６１の入力データを置き換えて、再演算を要求する。

（Ｐ５）次のＣ６５では、パラメータ生成器で更新パラメータを生成し、Ｃ６２で使用した３２ビットの高精度プロセッサアレイに適用する。

（Ｐ６）そして、記憶部１２４に格納された更新された入力データを、３２ビットの高精度プロセッサアレイに入力し再演算を実行する。

（Ｐ７）上記の（Ｐ１）～（Ｐ６）の処理を繰り返し実行し、パラメータを最適化していく。

図１１の処理フローは、以下の（Ｑ１）～（Ｑ４）で構成される。

（Ｑ１）まず、Ｃ７１において、記憶部１２４に格納されているジョブデータＤ１を読み出す。

（Ｑ２）次のＣ７２において、読み出されたジョブデータＤ１を再構成回路１２５のＰＥアレイに入力し、ＰＥアレイ（３×３ｃｏｎｖ５１２）において畳み込みの演算処理を実行する。

（Ｑ３）次のＣ７３において、Ｃ７２の演算結果が内部メモリに格納される。

（Ｑ４）次のＣ７４において、Ｃ７３で内部メモリに格納されたデータを取り出して、次のＰＥアレイ（３×３ｃｏｎｖ５１２）において畳み込みの演算処理を実行する。

図１２の処理フローは、以下の（Ｒ１）～（Ｒ４）で構成される。

（Ｒ１）まず、Ｃ８１において、記憶部１２４に格納されているジョブデータＤ１を読み出して、並列接続されている各ＰＥアレイに入力する。

（Ｒ２）次に、Ｃ８２～Ｃ８５において、それぞれのＰＥアレイで畳み込みの演算処理を実行して出力する。

（Ｒ３）次に、Ｒ２の各ＰＥアレイから出力された演算結果を結合する。

（Ｒ４）次に、Ｒ３で結合された結果を内部メモリに格納する。

〔実施形態の効果〕
以上で説明したように、車両の主演算装置１０５では、車両の走行制御時と、グリッドＧのジョブを実行している場合とで主たる演算内容が異なる。

そこで、上記実施形態のシステム１では、主演算装置１０５に再構成回路１２５を設けて、車両の走行制御時と、グリッドＧのジョブを実行するジョブ演算時とでそれぞれに適したハードウェアに構成を変更できるようにした。再構成回路１２５は、内部接続情報であるハードウェアコンフィグ情報（以下、単にコンフィグ情報という）を書き換えることで、プログラマブルに用途の異なる回路に再構築することができるという特徴がある。

さらに、管理サーバ５０から車両に処理対象となるジョブのジョブデータＤ１を送信する際に、あわせてそのジョブの演算に適した演算コンフィグ情報を送信するようにしている。

そうすることで、処理対象のジョブを実行するのに最適な構成の回路を用いて演算を実施することができる。これにより、車両１０では、依頼されたジョブに対する演算効率を高めることができる。さらに、主演算装置１０５は、車両走行時には、自車内のＲＯＭ１２７に格納された走行制御用に適した走行コンフィグ情報に基づくハードウェア構成を使用するので、演算リソースが冗長となることを回避することができる。

（その他の実施形態）
なお、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、ここに開示する技術、その適用物、あるいはその用途の範囲を制限することを意図するものではない。すなわち、前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。

以上説明したように、ここに開示する車両システムは、グリッドコンピューティングを実行可能に構成されており、極めて有用である。

１ グリッドコンピューティングシステム
１０ 車両
５０ 管理サーバ（マスタ装置）
１０１ 通信部（第２通信部）
１０３ 記憶部
１０５ 主演算装置（車載演算装置）
１２１ 走行検出器
１２３ 制御回路
１２５ 再構成回路
５０１ 通信部（第１通信部）
Ｄ３ 演算コンフィグ情報

Claims (4)

1. グリッドコンピューティングを管理するマスタ装置と、車両の非稼働中に前記グリッドコンピューティングへの参加が可能に構成された車載演算装置とを含むグリッドコンピューティングシステムであって、
   前記車載演算装置は、
   前記マスタ装置と通信する通信部と、
   前記車両の稼働状態を検出する走行検出器と、
   プログラマブルにハードウェアの再構成ができるように構成された再構成回路と、
   前記走行検出器で検出された車両の稼働状態に基づいて前記再構成回路のハードウェアの再構成を制御をする制御回路と、
   車両走行制御用のハードウェア構成のコンフィグ情報である走行コンフィグ情報が記憶された記憶部とを備え、
   前記マスタ装置は、前記車載演算装置に、実行対象となるアプリケーションジョブのジョブデータ及び当該アプリケーションジョブ用のハードウェア構成のコンフィグ情報である演算コンフィグ情報を送信し、
   前記車載演算装置は、
   前記車両の稼働時には、前記走行コンフィグ情報に基づいて前記再構成回路を構成して当該再構成回路を用いて車両の走行制御処理を実行し、
   前記車両の非稼働時には、前記マスタ装置から受信した前記演算コンフィグ情報に基づいて前記再構成回路を構成して当該再構成回路を用いて前記アプリケーションジョブを実行する、
   グリッドコンピューティングシステム。
2. 前記再構成回路は、複数の演算素子を備え、
   前記演算コンフィグ情報は、前記演算素子の演算精度と、前記演算素子の数を制御するための制御情報を含む、請求項１に記載のグリッドコンピューティングシステム。
3. 前記再構成回路は、複数の演算素子及び複数の内部メモリを備え、
   前記演算コンフィグ情報及び前記走行コンフィグ情報は、それぞれ、前記複数の演算素子及び前記複数の内部メモリの各々の間の接続方法を特定するための接続情報を含む、請求項１に記載のグリッドコンピューティングシステム。
4. 前記演算コンフィグ情報の接続情報及び前記走行コンフィグ情報の接続情報は、それぞれ、前記複数の演算素子を用いて積和演算を行うビット演算器を構成する情報を含み、
   前記演算コンフィグ情報に基づいて構成される前記ビット演算器のビット数は、前記走行コンフィグ情報に基づいて構成される前記ビット演算器のビット数より多い、請求項３に記載のグリッドコンピューティングシステム。
   

Images