JP2021051420A - 仮想化支援デバイス及び仮想化支援デバイスの制御方法 - Google Patents

Abstract

【課題】プロセッサの利用効率を向上する。【解決手段】実施形態の仮想化支援デバイスは、アクセラレータ２５の動作を制御するプロセッサ２０と、プロセッサ１０によって実行される第１及び第２のアプリケーションＡＰＰの第１及び第２の情報、第１及び第２のアプリケーションＡＰＰからのリクエストＲＥＱと、を保持するメモリ１１と、プロセッサ２０及びメモリ１１に接続された入出力メモリ管理ユニット１４と、を含む。プロセッサ２０は、第１及び第２のアプリケーションＡＰＰからの複数のリクエストに対する複数のアクセラレータの実行順序の調停を実行し、調停に基づいて第１及び第２の情報のうち一方の情報を用いて、入出力メモリ管理ユニット１４の設定を制御し、調停に基づいて複数のリクエストのうち一方のリクエストを、複数のアクセラレータ２５のうち対応する１つ以上に実行させる。【選択図】 図２

Description

実施形態は、仮想化支援デバイス及び仮想化支援デバイスの制御方法に関する。

プロセッサの高速化のために、並列に動作される複数のアプリケーションの仮想化技術が利用されている。

特開２０１３−１９６１３８号公報

プロセッサの利用効率を向上する。

実施形態の仮想化支援デバイスは、複数のハードウェアアクセラレータの動作を制御する第１のプロセッサと、第２のプロセッサによって実行される第１のアプリケーションの第１の情報、前記第２のプロセッサによって実行される第２のアプリケーションに関する第２の情報、前記第１のアプリケーションからの１つ以上の第１のリクエスト、前記第２のアプリケーションからの１つ以上の第２のリクエストと、を保持するメモリと、前記第１のプロセッサ及び前記メモリに接続された入出力メモリ管理ユニットと、を含み、前記第１のプロセッサは、前記第１及び前記第２のアプリケーションからの前記第１及び第２のリクエストに対する前記複数のハードウェアアクセラレータの実行順序の調停を実行し、前記調停に基づいて前記第１及び前記第２の情報のうち一方の情報を用いて、前記入出力メモリ管理ユニットの設定を制御し、前記調停に基づいて前記第１及び第２のリクエストのうち一方のリクエストを、前記複数のハードウェアアクセラレータのうち対応する１つ以上に実行させる。

実施形態の仮想化支援デバイスを含む画像処理デバイスの構成例を示す図。 第１の実施形態の仮想化支援デバイスの構成例を示す模式図。 第１の実施形態の仮想化支援デバイスの構成例を示す模式図。 第１の実施形態の仮想化支援デバイスの構成例を示す模式図。 第１の実施形態の仮想化支援デバイスの動作例を示すフローチャート。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第１の実施形態の仮想化支援デバイスの動作例を説明するための模式図。 第２の実施形態の仮想支援デバイスの構成例を示す模式図。 第２の実施形態の仮想支援デバイスの構成例を説明するための模式図。 第２の実施形態の仮想支援デバイスの動作例を示すフローチャート。 第２の実施形態の仮想支援デバイスの動作例を説明するための模式図。 第２の実施形態の仮想支援デバイスの動作例を説明するための模式図。 第２の実施形態の仮想支援デバイスの動作例を説明するための模式図。 第３の実施形態の仮想支援デバイスの構成例を示す図。

図１乃至図２１を参照して、複数の実施形態の仮想化支援装置について、説明する。

以下、図面を参照しながら、本実施形態について詳細に説明する。以下の説明において、同一の機能及び構成を有する要素については、同一符号を付す。
また、以下の各実施形態において、末尾に区別化のための数字／英字を伴った参照符号を付された構成要素（例えば、回路、配線、各種の電圧及び信号など）が、相互に区別されなくとも良い場合、末尾の数字／英字が省略された記載（参照符号）が用いられる。

（１）第１の実施形態
図１乃至図１４を参照して、実施形態の仮想化支援装置について、説明する。

（ａ）構成例
図１乃至図５を参照して、本実施形態の仮想化支援デバイスの構成例について、説明する。

図１は、本実施形態の仮想化支援デバイスを含む半導体デバイス及びシステムの一例を示す概略図である。

半導体デバイス１は、プロセッサ１０、メモリデバイス１１、ストレージデバイス１２、ＲＯＭ１３、メモリ管理ユニット（ＭＭＵ）１４、入力／出力メモリ管理ユニット（ＩＯＭＭＵ）１５、割り込みコントローラ１６、インターフェイス回路１９Ａ，１９Ｂ、複数のハードウェアアクセラレータ２５、及び仮想化支援デバイス２などを含む。

プロセッサ１０は、半導体デバイス１内のバスＢ１に接続されている。
プロセッサ１０は、アプリケーション（ソフトウェア）ＡＰＰ及び各種の情報（データ）を用いて、デバイス１の所定の動作及び機能を実行するための各種の処理（例えば、計算処理）を実行する。アプリケーションＡＰＰは、例えば、メモリデバイス１１、ストレージデバイス１２又はＲＯＭ１３などから提供される。

以下において、プロセッサ１０は、ＣＰＵ（Central processing unit）とよばれる。

メモリデバイス１１は、メモリコントローラ（図示せず）を介してバスＢ１に接続されている。メモリデバイス１１は、各種の設定情報、各種の管理情報、各種のテーブル、処理の対象となるデータ、及び実行された処理の計算結果などの情報（データ）を一時的に保持できる。メモリデバイス１１は、他のデバイスから提供された情報を、一時的に保持できる。
メモリデバイス１１は、例えば、ＤＲＡＭ（Dynamic random access memory）、ＳＲＡＭ（Static random access memory）、及びＮＯＲ型フラッシュメモリなどの１つ以上を含む。

以下では、メモリデバイス１１は、ＲＡＭとよばれる。

ストレージデバイス１２は、バスＢ１に接続されている。ストレージデバイス１２は、各種の設定情報、各種の管理情報、アプリケーション（ソフトウェア）などを保持できる。例えば、半導体デバイス１の動作時において、ストレージデバイス１２内のデータの一部（又は全体）は、メモリデバイス１１にロードされる。
ストレージデバイス１２は、ＨＤＤ（Hard disk drive）、ＳＳＤ（Solid state drive）、及びＮＡＮＤ型フラッシュメモリなどのうち１つ以上を含む。

ＲＯＭ１３は、バスＢ１に接続されている。ＲＯＭ１３は、デバイス１のＢＩＯＳ（Basic Input/output system）及びファームウェアなどを記憶する。

割り込みコントローラ１６は、バスＢ１に接続されている。割り込みコントローラ１６は、複数のアプリケーションＡＰＰの実行時に発生した割り込み処理を、制御できる。割り込みコントローラ１６は、現在実行中の処理とは異なる処理の実行がデバイスから要求された場合に、処理の割り込みを通知する信号（以下では、割り込み通知とよばれる）を、出力する。

ＭＭＵ１４は、ＣＰＵ１０とバスＢ１との間に接続される。ＭＭＵ１４は、ＣＰＵ１０２５とＲＡＭ１１との間の情報の転送を管理及び制御する。

ＭＭＵ１４は、ＣＰＵ１０とメモリデバイス１１との間における仮想アドレス（論理アドレス）と物理アドレスとのマッピングを作成する。これによって、ＣＰＵ１０とＲＡＭ１１との間のアクセス（例えば、データの転送）が、可能となる。

ＩＯＭＭＵ１５は、バスＢ１に接続される。ＩＯＭＭＵ１５は、バスＢ２を介して仮想化支援デバイス２０及び複数のアクセラレータ２５に接続される。
ＩＯＭＭＵ１５は、アクセラレータ２５とＲＡＭ１１との間の情報の転送を管理及び制御する。

ＩＯＭＭＵ１５は、アクセラレータ２５とＲＡＭ１１との間における仮想アドレスと物理アドレスとのマッピング（例えば変換テーブル）を作成する。ＩＯＭＭＵ１５は、仮想化支援デバイス２０とＲＡＭ１１との間における仮想アドレスと物理アドレスとのマッピングを作成する。これによって、アクセラレータ２５とＲＡＭ１１との間のアクセス、及び、仮想化支援デバイス２０とＲＡＭ１１との間のアクセスが、可能となる
アクセラレータ（以下では、ハードウェアアクセラレータともよばれる）２５は、ＣＰＵ１０の処理の高速化のために、ＣＰＵ１０によって実行されるアプリケーションＡＰＰの処理を支援するハードウェア（プロセッサ）である。例えば、アクセラレータ２５は、実行する処理に応じて、アプリケーションＡＰＰに関連付けられている。

インターフェイス回路１９Ａ，１９Ｂは、半導体デバイス１と他のデバイスとの通信を行う。

ＣＰＵ１０、ＲＡＭ１１、ストレージデバイス１２、割り込みコントローラ１６、インターフェイス回路１９Ａ，１９Ｂ及びアクセラレータ２５は、ＣＰＵ１０上で動作するハイパーバイザ１００及び仮想化支援デバイス２０によって仮想化される。仮想化されたデバイス（以下、仮想マシンＶＭとよばれる）上で、少なくとも１つのアプリケーションＡＰＰが動作する。

本実施形態の仮想化支援デバイス２０は、少なくともプロセッサ２０を含む。プロセッサ２０は、ハードウェアアクセラレータである。仮想化支援デバイス２は、ＣＰＵ１０上で動作するハイパーバイザの代わりに、アクセラレータ２５の仮想化を支援する。例えば、仮想化支援デバイス２０は、複数のアプリケーションＡＰＰが並列処理されている場合に、複数のアプリケーションから要求された処理のアクセラレータ２５における実行順序の制御（調停）を行う。

本実施形態において、仮想化支援デバイス２０によって、ＣＰＵ１０の負荷の低減が、図られる。

半導体デバイス１は、例えば、システムＬＳＩである。半導体デバイス１は、システムＳＹＳ内に提供及び搭載される。例えば、本実施形態の半導体デバイス１は、画像処理デバイス（画像認識デバイスともよばれる）である。画像処理デバイス１は、画像認識システムＳＹＳに用いられる。

画像認識システムＳＹＳは、例えば、画像処理デバイス１に加えて、カメラ５及びディスプレイデバイス９を含む。

カメラ５は、有線又は無線によって、画像処理デバイス１に電気的に結合される。カメラ５は、画像処理デバイス１内のインターフェイス回路１９Ａに接続される。例えば、カメラ５は、ＣＭＯＳイメージセンサ（又はＣＣＤイメージセンサ）を含む。カメラ５は、赤外線センサなどを含んでもよい。

カメラ５は、ある空間の画像に対応するデータ（以下では、画像データとよばれる）ＩＭＧを取得する。取得された画像データＩＭＧは、画像処理デバイス１に送られる。画像認識処理が、ＣＰＵ１０が実行する複数のアプリケーションＡＰＰによって、画像データＩＭＧに施される。これによって、画像データＩＭＧ内に含まれる物体（対象物）が、認識及び識別される。

ディスプレイデバイス９は、有線又は無線によって、画像処理デバイス１に電気的に結合される。ディスプレイデバイス９は、画像処理デバイス１のインターフェイス回路１９Ｂに接続される。例えば、ディスプレイデバイス９は、液晶ディスプレイ又は有機ＥＬディスプレイである。

ディスプレイデバイス９は、画像処理デバイス１による処理結果を表示する。ディスプレイデバイス９は、画像処理デバイス１のユーザーインターフェイス（例えば、タッチパネル）としての機能を有していてもよい。

カメラ５及びディスプレイデバイス９は、ＣＰＵ１０によるアプリケーションＡＰＰの実行によって制御される。尚、カメラ５及びディスプレイデバイス９は、画像処理デバイス１の構成要素であってもよい。

デバイス１が画像処理デバイスである場合、複数のアクセラレータ２５のうち１つ以上は、例えば、画像処理アクセラレータ（以下では、ＩＰＡとも表記される）である。
ＩＰＡ２５は、特徴量の抽出処理、各種の画像変換処理、各種の画像間計算処理、及び、各種の計算処理などの画像データに対する各種の処理又はそれらの処理の支援を実行できる。例えば、ＩＰＡ２５は、画像データに対して、ヒストグラム処理、２値化処理、ＹＵＶカラー処理、マッチング処理、及び画像間演算処理などの複数の画像処理のうち１つ以上の処理を実行できる。

本実施形態の画像処理デバイス１及び画像認識システムＳＹＳは、監視カメラ、スマートフォン、フューチャーフォン、携帯端末、無人航空機などに、適用されてもよい。

アプリケーションＡＰＰは、デバイス１の外部のデバイス（例えば、サーバ又はホストデバイスなど）又は記憶媒体（例えば、メモリカード、ＵＳＢメモリ又は光学ディスなど）から提供されてもよい。アプリケーションＡＰＰの全体又は一部が、有線又は無線を介して、デバイス１（又はシステムＳＹＳ）の外部のデバイス／記憶媒体からデバイス１に提供され、デバイス１内で実行されてもよい。

画像認識システムＳＹＳにおいて、複数のアプリケーションＡＰＰが実行される。処理の実行にあたって、画像処理デバイス１は、ＣＰＵ１０上で動作するハイパーバイザ及び仮想化支援デバイス２によって仮想化される。仮想化された画像処理デバイス１は、仮想マシンＶＭとして、各アプリケーションＡＰＰの実行を制御する。

図２は、本実施形態における、アプリケーションを実行する仮想化された画像処理デバイスの概念を模式的に示す図である。

図２に示されるように、アプリケーションＡＰＰ（ＡＰＰ−Ｒ，ＡＰＰ−Ｖ，ＡＰＰ−ｎ）の各々は、仮想マシンＶＭ（ＶＭ−Ｒ，ＶＭ−Ｖ，ＶＭ−ｎ）上で動作する。

各仮想マシンＶＭにおいて、アプリケーションＡＰＰは、対応するドライバ（デバイスドライバ）ＤＲＶ（ＤＲＶ−Ｒ，ＤＲＶ−Ｖ，ＤＲＶ−ｎ）によって、所定の処理を実行する。ドライバＤＲＶは、アプリケーションの制御、所定のメモリ領域（例えば、ＲＡＭ１１又はレジスタ）に対するパラメータの書き込み、及び所定のメモリ領域からのパラメータ／設定情報の読み出しなどを行う。例えば、ドライバＤＲＶは、アプリケーションＡＰＰ又はＯＳ内のプログラムである。

ハイパーバイザ１００は、複数のアプリケーションＡＰＰを実行及び制御できる。また、ハイパーバイザ１００は、ＲＡＭ１１、ストレージデバイス１２、ＭＭＵ１６、ＩＯＭＭＵ１５、カメラ及びディスプレイデバイスなどを制御できる。

例えば、ＲＡＭ１１は、仮想マシンＶＭのそれぞれに関する情報（設定情報及びパラメータなど）ＩＮＦ、及び、仮想マシンＶＭのそれぞれからのリクエスト（処理の要求）ＲＥＱを保持する。

仮想マシンＶＭからのリクエスト又は割り込みコントローラ１６からの指示によって割り込み処理が生じた場合に、実行するアプリケーションＡＰＰの切り替えが、生じる。リクエスト及び割り込み処理に応じて、実行されるアプリケーションＡＰＰに関連するＩＰＡ２５が、制御される。

例えば、画像処理デバイス１は、画像データに対する認識処理のためのアプリケーション（以下では、認識アプリケーションとよばれる）ＡＰＰ−Ｒ、ビュー制御のアプリケーション（以下では、ビューアプリケーション）ＡＰＰ−Ｖ、及び様々な計算処理及び制御処理のための任意のアプリケーションＡＰＰ−ｎなどを並列に実行する。

認識アプリケーションＡＰＰ−Ｒは、ある画像データからの所定の対象物（例えば、車、人、顔又は文字など）の検出、検出された対象物に関する特徴量（例えば、輝度勾配）の計算、得られた特徴量の解析、及び解析結果に基づく各種の処理／制御などの各種の画像処理を実行するためのソフトウェア（プログラム）である。

ビューアプリケーションＡＰＰ−Ｖは、デバイス１の処理結果の表示、及びディスプレイデバイス９の制御などのビュー（例えば、ユーザーに対する表示）の制御を実行するためのソフトウェアである。

これらのアプリケーションＡＰＰは、実行すべき処理に応じて、１つ以上のＩＰＡ２５を用いる。

複数の仮想マシンＶＭの実行が可能なデバイス／システムにおいて、求められる処理の信頼性が異なる複数のアプリケーションＡＰＰが、並列に実行される場合がある。
例えば、認識アプリケーションＡＰＰ−Ｒは、ビューアプリケーションＡＰＰ−Ｖと並列に処理される。認識アプリケーションＡＰＰ−Ｒの処理に要求される信頼性は、ビューアプリケーションＡＰＰ−Ｖの処理に要求される信頼性より高い。

本実施形態において、仮想化支援デバイス２０は、アプリケーションＡＰＰがアクセラレータ２５に対して要求した処理におけるアクセラレータ２５の実行順序の調停を行う。本実施形態において、仮想化支援デバイス２０は、ディスパッチャとよばれる。

ディスパッチャ２０は、ハードウェアアクセラレータ（プロセッサ）である。例えば、ディスパッチャ２０は、処理回路２０１及びレジスタ回路２０２などを有する。

処理回路（例えば、シーケンサ）２０１は、ディスパッチャ２０における各種の計算処理及び制御などを行う。レジスタ回路２０２は、ディスパッチャ２０に供給された各種の情報（データ）を一時的に保持する。ディスパッチャ２０の機能／構成が、仮想化されてもよい。
尚、ディスパッチャ２０及びＩＯＭＭＵ１５を含む構成（デバイス）が、本実施形態の仮想化支援デバイス２とみなされてもよい。仮想化支援デバイス２は、アクセラレータ２５を含んでもよい
ディスパッチャ２０は、要求される処理の信頼性に応じて設定された指標（以下では、優先度とよばれる）ＰＲＩＯに基づいて、複数のアプリケーションＡＰＰの実行順序の調停及び切り替えを制御する。
優先度ＰＲＩＯは、アプリケーションＡＰＰの処理（及びその処理結果）に要求される信頼性に応じて、例えばデバイス１への実装時に、各アプリケーションＡＰＰに対してあらかじめ設定される。

認識アプリケーションＡＰＰ−Ｒの優先度ＰＲＩＯ−Ｒは、比較的高い値に設定される。一例としては、認識アプリケーションＡＰＰ−Ｒの優先度は、画像処理デバイス１内で用いられる複数のアプリケーションＡＰＰ（ＡＰＰ−Ｒ，ＡＰＰ−Ｖ，ＡＰＰ−ｘ）の中で最も高い値に設定される。
ビューアプリケーションＡＰＰ−Ｖの優先度ＰＲＩＯ−Ｖは、認識アプリケーションＡＰＰ−Ｒの優先度ＰＲＩＯ−Ｒより低い値に設定される。

例えば、複数のアプリケーションＡＰＰの並列処理が実行される際に、ディスパッチャ２０は、認識アプリケーションＡＰＰ−Ｒ（仮想マシンＶＭ−Ｒ）の処理がビューアプリケーションＡＰＰ−Ｖ（仮想マシンＶＭ−Ｖ）の処理より優先されるように、優先度ＰＲＩＯに基づいて、アプリケーションＡＰＰから要求された処理のＩＰＡ２５における実行順序の調停及び処理の切り替えを行う。

ディスパッチャ２０は、実行すべきアプリケーションＡＰＰに応じて、アプリケーションＡＰＰに用いられる各種のパラメータ及び情報を、ＩＯＭＭＵ１５を介してＲＡＭ１１から取得する。

ディスパッチャ２０は、取得したパラメータ及び情報を用いた処理を、実行すべきアプリケーションＡＰＰに関連するＩＰＡ２５に実行させる。

ＩＰＡ２５の処理結果を用いて、アプリケーションＡＰＰ（仮想マシンＶＭ）が、所定の処理を実行する。

このように、本実施形態において、ディスパッチャ２０は、ＣＰＵ１０の代わりに、複数のＩＰＡ２５の制御を行う。

これによって、本実施形態によれば、ＣＰＵ１０におけるアクセラレータの仮想化のための負荷が、低減される。
それゆえ、本実施形態の仮想化支援デバイスは、システム内のプロセッサの利用効率を、向上できる。

（ｂ） ディスパッチャの構成例
図３及び図４を用いて、本実施形態の仮想化支援デバイスにおけるディスパッチャの構成例について、説明する。

上述のように、本実施形態におけるディスパッチャ２０は、ハードウェアアクセラレータとして、画像処理デバイス１内に設けられる。ディスパッチャ２０の構成及び機能の一部が、ＩＯＭＭＵ１５（及びＭＭＵ１６）によって仮想化される。
ディスパッチャ２０は、ＲＡＭ１１内の複数の仮想マシンＶＭの情報を用いて、複数のアクセラレータ２５の処理の実行順序の調停及び動作／処理の制御を行う。

＜ＲＡＭ内の情報＞
図３は、本実施形態における、ＲＡＭ内のメモリエリアの構成例を示す模式図である。

ＲＡＭ１１は、画像処理デバイス１の構成要素の仮想化のために設定された、複数のメモリエリア１１１，１１２，１１３，１１４を、有する。

図３に示されるように、ページテーブルエリア１１１及び制御情報エリア１１２が、ＲＡＭ１１内に設けられる。ページテーブルエリア１１１及び制御情報エリア１１２は、例えば、システムＳＹＳ／デバイス１の制御及び管理に関する情報（データ）が、格納される。

ページテーブルエリア１１１は、仮想マシンＶＭ（ＶＭ１，ＶＭ２，ＶＭｎ）ごとのページテーブルＰＴ（ＰＴ１，ＰＴ２，ＰＴｎ）を保持する。

ページテーブルＰＴは、ＲＡＭ１１内の各仮想マシンＶＭが用いるメモリ空間の物理アドレスと仮想アドレス（論理アドレス）との対応関係を示すテーブルである。ページテーブルＰＴに基づいて、メモリ空間の仮想アドレスと物理アドレスとの変換が、なされる。

制御情報エリア１１２は、仮想マシンＶＭごとの制御情報ＣＩＮＦ（ＣＩＮＦ１，ＣＩＮＦ２，ＣＩＮＦｎ）を保持する。
制御情報ＣＩＮＦは、パラメータ情報ｐＩＮＦ及びキュー情報ｑＩＮＦを含む。パラメータ情報ｐＩＮＦは、各仮想マシンＶＭの各種の設定パラメータ及び各種の設定条件に関する情報である。例えば、パラメータ情報ｐＩＮＦは、処理の対象となる画像データ（又は、画像データからサンプルされたデータ）のサイズなどの情報を含む。キュー情報ｑＩＮＦは、各仮想マシンＶＭのキューの設定及び制御に関する情報である。

ディスパッチャ２０は、ページテーブルエリア１１１及び制御情報エリア１１２内のデータにアクセスできる。仮想マシンＶＭ及びＩＰＡ２５は、ページテーブルエリア１１１及び制御情報エリア１１２内のデータにアクセスできない。

ディスパッチャレジスタエリア１１３が、ＲＡＭ１１内に設けられている。

ディスパッチャレジスタエリア１１３は、仮想マシンＶＭごとの各種の情報を保持する。
ＩＰＡパラメータＰＲＭ１、キューパラメータＰＲＭ２及びエラー処理情報ｅＩＮＦなどが、各仮想マシンＶＭに対応するレジスタユニットＲＵ（ＲＵ１，ＲＵ２，ＲＵ３）内に格納される。

ＩＰＡパラメータＰＲＭ１は、各仮想マシンＶＭに関連付けられるＩＰＡ２５の各種の設定パラメータである。
キューパラメータＰＲＭ２は、各仮想マシンＶＭに関連付けられるキューの設定を示すパラメータである。
エラー処理情報ｅＩＮＦは、各仮想マシンにおいてエラーが発生した場合の各種の設定を示す情報である。エラー処理情報ｅＩＮＦに基づいて、エラーが発生した処理を優先するか否か（エラーが発生した処理をやり直すか又は他の処理を実行するか）の判定、及びエラーの記録などが、実行される。

ディスパッチャ２０は、ディスパッチャレジスタエリア１１３内の情報ＰＲＭ１，ＰＲＭ２，ｅＩＮＦを用いて、対応する仮想マシンＶＭ及びＩＰＡ２５の処理（及び動作）を制御する。ディスパッチャ２０は、ＲＡＭ１１内のディスパッチャレジスタエリア１１３を介して、仮想マシンＶＭと通信できる。

ディスパッチャ２０は、ディスパッチャレジスタエリア１１３内のデータにアクセスできる。各仮想マシンＶＭにおいて、パラメータＰＲＭ及び情報ｅＩＭＦに関連付けられた仮想マシンＶＭは対応するレジスタユニットＲＵにアクセスでき、他の仮想マシンＶＭのレジスタユニットＲＵにアクセスできない。例えば、仮想マシンＶＭ１は、関連付けられているレジスタユニットＲＵ１内のデータＰＲＭ１，ＰＲＭ２，ｅＩＮＦを用いることができる。しかし、仮想マシンＶＭ１は、関連付けの無いレジスタユニット（他の仮想マシンＶＭ１，ＶＭｎに関連付けられたレジスタユニット）ＲＵ２，ＲＵｎ内のデータを用いることができない。
ＩＰＡ２５は、ディスパッチャレジスタエリア１１３内のデータにアクセスできない。

また、ユーザーデータエリア１１４が、ＲＡＭ１１内に設けられている。
ユーザーデータエリア１１４は、仮想マシンＶＭごとのユーザーデータＵＤ（ＵＤ１，ＵＤ２，ＵＤｎ）を保持する。ユーザーデータＵＤは、例えば、割り込みフラグＤＴａ、及び画像データに関する各種の情報（例えば、画像データのサイズ）ＤＴｂなどを含む。

ユーザーデータエリア１１４内のデータＵＤに対して、ユーザーデータＵＤに関連付けられた仮想マシンＶＭ及び（又は）ＩＰＡ２５はアクセスでき、他の仮想マシンＶＭ及び（又は）ＩＰＡ２５はアクセスできない。例えば、仮想マシンＶＭ１及び仮想マシンＶＭを支援するＩＰＡ２５は、関連付けられているユーザーデータＵＤ１を用いることができる。しかし、仮想マシンＶＭ１は、関連付けの無いユーザーデータ（他の仮想マシンＶＭ１，ＶＭｎのユーザーデータ）ＵＤ２，ＵＤｎを用いることができない。

本実施形態の仮想化支援デバイス（又は画像処理デバイス、又は画像認識システム）において、ディスパッチャ２０は、ＲＡＭ１１内の各仮想マシンＶＭに関する各種のデータ（テーブル、パラメータ及び情報）を用いて、ＩＰＡ２５の処理を制御する。

これによって、ディスパッチャ２０は、ＣＰＵ１０に対して非同期で、自律的な処理（例えば、複数のアプリケーションＡＰＰ（仮想マシンＶＭ）からの要求に対する複数のＩＰＡ２５の実行順序の調停を実行できる。

＜キューの構造例及び仮想マシンの優先度＞
図４を用いて、本実施形態の仮想化支援装置における、ディスパッチャに用いられるキューの構成例について、説明する。
図４は、本実施形態における、ディスパッチャ２０のキューの構造を模式的に示す図である。

各仮想マシンＶＭ（アプリケーションＡＰＰ）は、各仮想マシンＶＭ自身が実行すべき処理が発生した場合に、リクエストＲＥＱを発行する。発行されたリクエストＲＥＱは、キュー回路２５０に供給される。

ディスパッチャ２０は、仮想マシンＶＭごとに独立したキューＱＶＭ（ＱＶＭ１，ＱＶＭ２，ＱＶＭ３）を保持する。仮想マシンＶＭからのリクエストＲＥＱが、対応するキューＱＶＭ内に格納される。

キューＱＶＭは、ＲＡＭ１１内に設けられてもよいし、ディスパッチャ２０内のレジスタ回路２０２内に設けられてもよい。

例えば、キュー回路２５０において、リクエストの入出力処理は、ＦＩＦＯ（First-in first-out）方式で制御される。各キューＱＶＭは、複数のキューユニットｑｕを含む。１つのキューユニットｑｕは、１つのリクエスト（処理）ＲＥＱを格納可能である。例えば、キュー回路２５０は、優先度付きキュー回路である。

また、１つのキューユニットｑｕは、グループ開始リクエストＧｒＲＥＱ−Ｓを格納可能である。
各仮想マシンＶＭは、関連するキューＱＶＭとは別途に、グループキューＧｒＱＶＭを有することができる。複数のキューユニットＧｒｑｕを含む。１つのキューユニットＧｒｑｕは、１つのリクエストＲＥＱを格納可能である。また、キューユニットＧｒｑｕは、グループ終了リクエストＧｒＲＥＱ−Ｅを格納可能である。

ここで、一例として、仮想マシンＶＭ（アプリケーションＡＰＰ）の数は、３つとする。ただし、仮想マシンＶＭの数は、２つでもよいし、４つ以上でもよい。

３つの仮想マシンＶＭ１，ＶＭ２，ＶＭ３のそれぞれは、あらかじめ設定された優先度ＰＲＩＯ（ＰＲＩＯ１，ＰＲＩＯ２，ＰＲＩＯ３）を有する。

例えば、優先度ＰＲＩＯは、仮想マシンＶＭ（アプリケーションＡＰＰ）の処理に要求される信頼性に基づいて、設定される。一例として、認識アプリケーションＡＰＰ−Ｒに対応する仮想マシンの優先度は、比較的高い値に設定される。ビューアプリケーションＡＰＰ−Ｖに対応する仮想マシン（例えば、仮想マシンＶＭ３）の優先度は、認識アプリケーションＡＰＰ−Ｒに対応する仮想マシン（例えば、仮想マシンＶＭ１）の優先度より低い値に設定される。

本実施形態において、例えば、３つの仮想マシンＶＭ１，ＶＭ２、ＶＭ３のうち、第１の仮想マシンＶＭ１は、最も高い優先度ＰＲＩＯ１を有する。
第２の仮想マシンＶＭ２は、２番目に高い優先度ＰＲＩＯ２を有する。例えば、仮想マシンＶＭ２は、グループキューＧｒＱＶＭを有する。
第３の仮想マシンＶＭ３は、最も低い優先度ＰＲＩＯ３を有する。

ディスパッチャ２０は、仮想マシンＶＭに設定された優先度ＰＲＩＯを、認識できる。

各仮想マシンＶＭに対応するキューＱＶＭ内に、仮想マシンＶＭが実行すべき処理に対応したＩＰＡ２５への要求が、リクエストＲＥＱとして格納される。

リクエスト（処理）ＲＥＱのそれぞれは、あらかじめ設定された処理の優先度（ＰＲＩＶ，ＨＩＧＨ，ＮＯＲＭ，ＬＯＷ，Ｇｒ）を有する。リクエストＲＥＱに設定された優先度は、区別化のために、優先レベルとよぶ。

リクエストＲＥＱは、仮想マシンＶＭのキューＱＶＭに関して、処理の優先レベルに応じて、対応するキューユニットｑｕに割り振られる。リクエストＲＥＱにグループの優先レベルＧｒが指定されていた場合、優先レベルＧｒが指定されたリクエストＲＥＱは、仮想マシンＶＭのグループキューＧｒＱＶＭに関して、対応するキューユニットｑｕに割り振られる。

選択された仮想マシンＶＭにおいて、キューＱＶＭ内の複数のリクエストＲＥＱは、高い優先レベルのリクエストＲＥＱから低い優先度のリクエストＲＥＱへの順序で実行される。

最も高い優先レベル（ＰＲＩＶ）を有するリクエストＲＥＱ（以下では、“ＲＥＱ−ＰＲＩＶ”とも表記される）は、他の優先度のリクエストＲＥＱよりも先に実行される。

２番目に高い優先レベル（Ｈｉｇｈ）のリクエストＲＥＱ（以下では、“ＲＥＱ−ＨＩＧＨ”とも表記される）は、最も高い優先レベルを有するリクエストＲＥＱ−ＰＲＩＶが全て実行された後、２番目に高い優先レベルより低い優先レベルのリクエストＲＥＱが実行される前に、実行される。
３番目に高い優先レベル（ＮＯＲＭ）を有するリクエストＲＥＱ（以下では、“ＲＥＱ−ＮＯＲＭ”とも表記される）は、２番目に高い優先レベルのリクエストＲＥＱ−ＨＩＧＨが全て完了した後、最も低い優先レベルを有するリクエストＲＥＱが実行される前に、実行される。
複数の優先レベルのうち最も低い優先レベル（ＬＯＷ）のリクエストＲＥＱ（以下では、“ＲＥＱ−ＬＯＷ”とも表記される）は、他の高い優先度のリクエストＲＥＱの全てが完了した後に、実行される。

通常、グループキューＧｒＱＶＭに格納されているリクエストＲＥＱは実行されない。ただし、グループ開始リクエストＧｒＳＲＥＱが実行されると、そのグループリクエストの実行以降に、グループキューＧｒＱＶＭに格納されているリクエストＲＥＱは、グループキューＧｒＱＶＭに対応する優先度ＰＲＩＯ以下の仮想マシンＶＭのキューＱＶＭに格納されているリクエストＲＥＱよりも先に実行される。グループキューＧｒＱＶＭのリクエストＲＥＱの実行の後、グループ終了リクエストＧｒＲＥＱ−Ｅが実行された場合、グループキューＧｒＱＶＭに格納されているリクエストＲＥＱは、グループ終了リクエストＧｒＲＥＱ−Ｅの実行以降、実行されない。

以上のように、ディスパッチャ２０は、仮想マシンＶＭの優先度の順序で、仮想マシン／アプリケーションから要求された処理に対する複数のＩＰＡ２５の実行の順序をディスパッチする。優先度ＰＲＩＯに基づいて選択された仮想マシンＶＭにおいて、処理の優先レベルに応じて、各仮想マシンＶＭの処理（リクエストＲＥＱ）が実行される。

ただし、グループ開始リクエストＧｒＲＥＱ−Ｓが実行された場合、グループ終了リクエストＧｒＲＥＱ−Ｅが実行されるまで、選択された仮想マシンＶＭ及びその仮想マシンより低い優先度をもつ仮想マシンの優先レベルに応じたリクエストの実行が無効となる。その代わりに、グループキューＧｒＱＶＭ内の１つ以上のリクエストＲＥＱが、グループ終了リクエストＧｒＲＥＱ−Ｅの実行まで、実行される。
このように、グループキューＧｒＱＶＭは、ある仮想マシンによるある一定の期間のＩＰＡ２５の占有に用いられる。このＩＰＡ２５の占有は、ある仮想マシンよりも高い優先度を有する他の仮想マシンのディスパッチに対して、影響を及ぼさない。
図４の例において、仮想マシンＶＭ１、仮想マシンＶＭ２、及び仮想マシンＶＭ３の順序で、処理対象のリクエストが、ディスパッチャ２０によって選択される。

選択された仮想マシンＶＭ１からの複数のリクエストＲＥＱのそれぞれにおいて、優先レベルＰＲＩＶのリクエストＲＥＱ、優先レベルＨＩＧＨのリクエストＲＥＱ、優先レベルＮＯＲＭのリクエストＲＥＱ、及び優先レベルＬＯＷのリクエストの順序で、リクエストＲＥＱに対応する処理が、ディスパッチャ２０の制御によって、順次実行される。

例えば、仮想マシンＶＭ１の最も低い優先レベルのリクエストＲＥＱ−ＬＯＷは、仮想マシンＶＭ２の最も高い優先レベルのリクエストＲＥＱ−ＰＲＩＶ及び仮想マシンＶＭ３の最も高い優先レベルのリクエストＲＥＱ−ＰＲＩＶより、優先的に実行される。

仮想マシンＶＭ１における最も高い優先レベル（ＰＲＩＶ）から最も低い優先レベル（ＬＯＷ）までの全てのリクエストＲＥＱの処理が完了した後、仮想マシンＶＭ２における最も高い優先レベル（ＰＲＩＶ）から最も低い優先レベル（ＬＯＷ）までの全てのリクエストＲＥＱの処理が、順次実行される。ただし、仮想マシンＶＭ２の１つ以上のリクエストが順次実行されている途中に、グループ開始リクエストＧｒＲＥＱ−Ｓが実行された場合、仮想マシンＶＭ２の優先レベルＰＲＩＶから優先レベルＬＯＷまでのリクエストＲＥＱの処理は中断される。グループ終了リクエストＧｒＲＥＱ−Ｅが実行されるまで、グループリクエストＧｒＲＥＱのキューＧｒＱＶＭに保持されるリクエストＲＥＱの処理が、順次実行される。グループ終了リクエストＧｒＲＥＱ−Ｅの実行が完了した後、仮想マシンＶＭ２の優先レベルＰＲＩＶから優先レベルＬＯＷまでのリクエストＲＥＱの処理が再開される。

仮想マシンＶＭ２の全てのリクエストＲＥＱの完了の後、仮想マシンＶＭ３のリクエストが、仮想マシンＶＭ１及び仮想マシンＶＭ２におけるリクエストの処理と同様に、優先度及び優先レベルに基づいて順次実行される。

これによって、本実施形態の仮想化支援システムは、仮想マシン間の干渉、及び仮想マシンＶＭの優先度の逆転などを防ぐことができる。

尚、リクエストの入出力処理は、ＦＩＦＯ方式以外の方式で制御されてもよい。

（ｂ）動作例
図５乃至図１４を参照して、本実施形態のシステム及び仮想化支援装置の動作例（制御方法）について、説明する。

図５は、本実施形態のシステム及び仮想化支援装置の動作例を示すフローチャートである。図６乃至図１４は、本実施形態のシステム及び仮想化支援装置の動作例を説明するための模式図である。

＜ステップＳ１＞
図５のステップＳ１に示されるように、画像認識システムＳＹＳにおいて、画像処理デバイス１の起動時に、ＣＰＵ１０（ハイパーバイザ１００）が、ディスパッチャ２０を初期化する。

図６に示されるように、ディスパッチャ２０の初期化時において、ＣＰＵ１０は、各仮想マシンＶＭ（アプリケーションＡＰＰ）のページテーブルＰＴ、ポインタ（例えば、キューのポインタ）などの各種の情報を、ＲＡＭ１１に転送する。

例えば、仮想マシンＶＭのそれぞれに関して、ページテーブルＰＴが、ＲＡＭ１１のページテーブルエリア１１１内に書き込まれる。

＜ステップＳ２＞
図５のステップＳ２及び図７に示されるように、各仮想マシンＶＭのドライバＤＲＶが、ＲＡＭ１１のディスパッチャレジスタエリア１１３の対応するレジスタユニットＲＵ内に、ＩＰＡパラメータＰＲＭ１、キューパラメータＰＲＭ２及びエラー処理情報ｅＩＮＦを書き込む。
例えば、ＣＰＵ１０は、割り込みコントローラ１６によって、ディスパッチャ２０へ割り込み処理ＸＸを実行する。

＜ステップＳ３＞
図５のステップＳ３及び図８に示されるように、ある仮想マシンＶＭは、アプリケーションＡＰＰ（又はドライバＤＲＶ）のプログラムによって、ディスパッチャ２０の起動プログラムをキックする。これによって、ディスパッチャ２０は、起動する。

＜ステップＳ４＞
図５のステップＳ４に示されるように、ディスパッチャ２０は、ディスパッチャレジスタエリア１１３内の各種のパラメータＰＲＭ１，ＰＲＭ２を読み出す。ディスパッチャ２０は、読み出されたパラメータＰＲＭ１，ＰＲＭ２を、ディスパッチャ２０のキュー回路２５０及び（又は）レジスタ回路２０２内に格納する。

例えば、図９に示されるように、読み出されたパラメータＰＲＭ１，ＰＲＭ２は、キュー回路２５０を含む制御情報エリア１１２内に、書き込まれる。

これによって、ディスパッチャ２０は、各仮想マシンＶＭのパラメータＰＲＭを取得する。

＜ステップＳ５＞
ディスパッチャ２０は、複数のアプリケーションＡＰＰからの複数のリクエストＲＥＱに対するＩＰＡ２５の実行順序を調停する。

図５のステップＳ５に示されるように、ディスパッチャ２０は、各仮想マシンＶＭ（アプリケーション）に設定された優先度ＰＲＩＯに基づいて、ディスパッチャ２０のキューポインタをチェックする。

ディスパッチャ２０は、優先度ＰＲＩＯ及びキューポインタのチェック結果に基づいて、処理すべきリクエストＲＥＱを選択する。選択されたＲＥＱに対応して、動作対象の仮想マシンＶＭ（実行対象のアプリケーションＡＰＰ）が、認識及び選択される。ディスパッチャ２０は、リクエストＲＥＱの処理に対応するＩＰＡ２５を制御する。

上述のように、複数のリクエストＲＥＱの中から、最も高い優先度ＰＲＩＯの仮想マシンＶＭが実行すべき最も高い優先レベルのリクエストＲＥＱ−ＰＲＩＶが、選択される。

ディスパッチャ２０は、図１０に示されるように、選択されたリクエストＲＥＱに対応するパラメータＰＲＭを、ディスパッチャ制御情報エリア１１２（又は、ディスパッチャレジスタエリア１１３）内から取得する。

例えば、認識アプリケーションＡＰＰ−Ｒから要求された処理が、ビューアプリケーションＡＰＰ−Ｖから要求された処理より優先されるように、ディスパッチャ２０は、ＩＰＡ２５における複数のリクエストＲＥＱの実行順序を調停する。
本実施形態の仮想化支援デバイスにおいて、ディスパッチャ２０は、ＣＰＵ１０の介在無しに、仮想マシンＶＭ（アプリケーションＡＰＰ）に設定された優先度、及びリクエスト（処理）ＲＥＱに設定された優先度に基づいて、複数のＩＰＡ２５におけるアプリケーションＡＰＰから要求された処理ＲＥＱの実行順序を調停する。

＜ステップＳ６＞
図５のステップＳ６及び図１１に示されるように、ディスパッチャ２０は、選択されたリクエストＲＥＱを実行するＩＰＡ２５に関して、ＩＯＭＭＵ１５の設定を行う。例えば、ディスパッチャ２０は、調停の結果に対応して動作対象として選択された仮想マシンＶＭに応じて、ＲＡＭ１１内の情報及びパラメータに基づいて、ＩＰＡ２５とＲＡＭ１１との間（又は、ＩＰＡ２５とＣＰＵ１０との間）のデータの転送が可能なように、各種の制御を行う。

＜ステップＳ７＞
図５のステップＳ７及び図１２に示されるように、ディスパッチャ２０は、実行すべきリクエスト（実行すべき処理）ＲＥＱに関するパラメータＰＲＭ１を、選択されたリクエストＲＥＱに対応する仮想マシンＶＭのレジスタユニットＲＵから、対応するＩＰＡ２５に転送する。
これによって、対応するＩＰＡ２５は、リクエストＲＥＱに示される処理を開始する。ＩＰＡ２５は、転送されたパラメータＰＲＭ１を用いて、リクエストＲＥＱに示される処理を実行する。

＜ステップＳ８＞
図５のステップＳ８に示されるように、ＩＰＡ２５は、リクエストＲＥＱに対応する所定の処理を完了する。ＩＰＡ２５は、処理の完了をディスパッチャ２０に通知する。例えば、図１３に示されるように、ＩＰＡ２５は、処理の完了を通知するための信号ＡＣＫ１を、ディスパッチャ２０に送る。

＜ステップＳ９＞
図５のステップＳ９に示されるように、ディスパッチャ２０は、ＩＰＡ２５から処理の完了の通知（例えば、信号ＡＣＫ１）を受けると、キュー回路２５０内の全てのリクエストＲＥＱが完了したか否か判定する。

ディスパッチャ２０が、全てのリクエストＲＥＱの処理が完了していないと判定した場合（ステップＳ９の“Ｎｏ”の場合）、ディスパッチャ２０は、上述のＳ５からＳ８の処理を再度実行する。

ステップＳ５において、上述の図４を用いて説明されたように、ディスパッチャ２０は、完了したリクエストＲＥＱの優先度以下の優先度を有するリクエストＲＥＱを、選択する。ステップＳ６からステップＳ８の例と同様に、ディスパッチャ２０は、選択されたリクエストＲＥＱを対応するＩＰＡ２５に、所望の処理を実行させる。これによって、選択された仮想マシンＶＭに関して、リクエストに対応した処理結果が、得られる。

ディスパッチャ２０は、キュー回路２５０内のリクエストＲＥＱの処理がなくなるまで、ステップＳ５からステップＳ８までの処理を繰り返す。

＜ステップＳ１０＞
図５のステップＳ１０のように、ディスパッチャ２０は、全てのリクエストＲＥＱの処理が完了したと判定した場合（ステップＳ９の“Ｙｅｓ”の場合）、ディスパッチャ２０は、処理の完了をＣＰＵ１０に通知する。例えば、図１４に示されるように、ディスパッチャ２０は、処理の完了を通知するための信号ＡＣＫ２を、ＣＰＵ１０に送る。

ＣＰＵ１０は、処理の完了の通知（信号ＡＣＫ２）を、ディスパッチャ２０から受ける。これによって、ＣＰＵ１０は、全てのリクエストＲＥＱに対する処理を完了する。

例えば、画像処理デバイス１による認識アプリケーションＡＰＰ−Ｒに対応する仮想マシンＶＭ−Ｒの処理結果は、ビューアプリケーションＡＰＰ−Ｖに対応する仮想マシンＶＭ−Ｖの制御によって、例えば、ディスプレイデバイス９に表示される。

以上のように、画像処理デバイス１における仮想化支援デバイス２０の処理が、終了する。

本実施形態において、図５乃至図１４を用いて説明したように、ディスパッチャ２０が、複数の仮想マシンＶＭによって要求された複数の処理（リクエストＲＥＱ）を、ＣＰＵ１０（ハイパーバイザ１００）の介入なしに、仮想マシンＶＭの優先度に基づいて調停する。調停の結果に基づいて、ディスパッチャ２０は、要求された処理を、対応するＩＰＡ２５に実行させる。これによって、仮想マシンＶＭは、所望の処理を実行できる。

（ｃ）まとめ
一般に、仮想マシンによって複数のアプリケーションを並列で実行可能なように構成されたデバイス／システムにおいて、コンテキストスイッチがプロセッサに生じる。コンテキストスイッチの制御のための負荷が、プロセッサに発生する。

本実施形態の仮想化支援デバイスは、プロセッサとともに、デバイス／システム内に設けられている。

本実施形態の仮想化支援デバイスは、プロセッサ（ＣＰＵ）の代わりに、アプリケーション（仮想マシン）から要求された複数の処理に対するＩＰＡ２５の実行順序の調停を実行する。

これによって、本実施形態の仮想化支援デバイスは、プロセッサの負荷を軽減できる。

本実施形態において、並列に実行される複数のアプリケーションからの複数の要求の調停を行うための構成（回路）が、ディスパッチャ２０のような、プロセッサから分離されたハードウェアとして、デバイス／システム内に実装される。これによって、ハイパーバイザの構成が簡素化される。

この結果として、本実施形態の仮想化支援デバイスを含む画像処理デバイス（例えば、システムＬＳＩ）及び画像認識システムは、ハイパーバイザの品質の向上及び実装コストの削減を実現できる。

以上のように、本実施形態の仮想化支援デバイス（又は画像処理デバイス、又は画像認識システム）は、プロセッサの利用効率を向上できる。

（２） 第２の実施形態
図１５乃至図２０を用いて、第２の実施形態の仮想化支援デバイスについて、説明する。

（ａ）構成例
図１５は、本実施形態の仮想化支援デバイスを説明するための模式図である。

ディスパッチャ２０は、ＭＭＵ１４において、仮想マシンＶＭ（ＣＰＵ１０）とディスパッチャ２０との間の通信領域に関して仮想化されてもよい。

例えば、ディスパッチャ２０と仮想マシンＶＭは、ＲＡＭ１１内に確保されたメモリエリア（データ格納領域ともよばれる）を介して、互いに通信できる。

これによって、図５のステップＳ２〜Ｓ４における仮想マシンからディスパッチャへの通信及び図５のステップＳ１０におけるディスパッチャ２０からＣＰＵ（プロセッサ）１０への通信（及び割り込み処理）を、実行することができる。

図１５に示されるように、例えば、ディスパッチャ２０に関して、レジスタ（以下では、仮想レジスタ又は仮想レジスタエリアとよばれる）１４０と割り込みコントローラ（以下では、仮想割り込みコントローラ又は仮想割り込みコントローラモジュールとよばれる）ＶＩＮＴＣとが、仮想化される。

仮想レジスタ１４０は、例えば、ＲＡＭ１１内に設けられている。仮想レジスタ１４０は、ＲＡＭ１１のディスパッチャレジスタエリア１１３内に、設けられてもよいし、エリア１１３以外のメモリエリア内に設けられてもよい。ディスパッチャレジスタエリア１１３が、仮想レジスタ１４０とみなされてもよい。

仮想レジスタ１４０内に、レジスタ情報（割り込み情報ともよばれる）ＲＧｘが格納される。レジスタ情報ＲＧｘは、上述のＩＰＡパラメータＰＲＭ１及びキューパラメータＰＲＭ２などを含む。例えば、レジスタ情報ＲＧｘは、仮想マシンＶＭによって、仮想レジスタ１４０内に書き込まれる。

例えば、ディスパッチャ２０は、割り込みコントローラの機能を実現するプログラム又は回路を、仮想割り込みコントローラＶＩＮＴＣとして有する。

仮想割り込みコントローラＶＩＮＴＣは、複数の仮想マシンのうちある仮想マシンＶＭの割り込み処理を、制御できる。

ある仮想マシンＶＭが他の仮想マシンＶＭの処理の実行中にある処理をリクエストする場合に、仮想マシンＶＭは、リクエスト（以下では、割り込みリクエストともよばれる）ＲＥＱｘを発行する。
仮想マシンＶＭは、リクエストＲＥＱｘを、リクエストＲＥＱｘが格納される領域（以下では、割り込みリクエストエリア又は割り込みキューとよばれる）１４５内に書き込む。割り込みリクエストエリア１４５は、ＲＡＭ１１内に設けられる。

尚、割り込みリクエストエリア１４５と仮想レジスタ１４０とは、ＲＡＭ１１内の１つのエリアとして、統合されてもよい。割り込みリクエストエリア１４５と仮想レジスタ１４０とが、ディスパッチャレジスタエリア１１３内に設けられてもよい。

例えば、ディスパッチャ２０は、仮想割り込みコントローラＶＩＮＴＣの制御によって、割り込みリクエストＲＥＱｘに基づいて、対応する仮想マシンＶＭに関するリクエストＲＥＱｘのパラメータＰＲＭ１及びＰＲＭ２を、ディスパッチャ２０のキュー回路２５０内に格納する。

仮想マシンＶＭ及び仮想割り込みコントローラＶＩＮＴＣ（ディスパッチャ２０）は、ＭＭＵ１４によって、ＲＡＭ１１内の仮想レジスタ１４０及び割り込みリクエストエリア１４５にアクセスできる。

図１６は、本実施形態における、リクエストの構成を模式的に示す図である。

図１６に示されるように、リクエスト（割り込みリクエスト）ＲＥＱｘは、リクエスト信号ＩＲＳ及び割り込み番号ＩＮＭを含む。リクエスト信号ＩＲＳは、実行すべき処理を示す信号及び実行すべき処理の制御に関する信号を含む。割り込み番号ＩＮＭは、仮想マシンＶＭによって設定される固有の番号（例えば、仮想マシンの識別番号）である。

また、リクエストＲＥＱは、ステータスビットＳＢを含む。ステータスビットＳＢは、リクエストの各種の情報を示す。

割り込み番号ＩＮＭによって、ディスパッチャ２０は、リクエストＩＲＥＱがどの仮想マシンＶＭからのリクエストかを判別できる。

例えば、レジスタ情報ＲＧｘは、割り込み番号ＩＮＭ（仮想マシンの識別番号）に対応する配置順序で仮想レジスタ１４０内に配置されている。それゆえ、ディスパッチャ２０は、あるリクエストＲＥＱｘの割り込み番号ＩＮＭに対応するレジスタ情報ＲＧｘを、そのレジスタ情報ＲＥＧの仮想レジスタ１４０内の配置（アドレス）に基づいて、仮想レジスタ１４０から取得できる。

尚、割り込みリクエストＲＥＱｘが、仮想マシンの識別番号に対応する配置順序に基づいて、割り込みリクエストエリア１４５内に配置されてもよい。この場合において、割り込みリクエストＲＥＱｘは、割り込み番号を含まなくともよい。ディスパッチャ２０は、リクエストＲＥＱｘの割り込みの有無を示すステータスビットに基づいて、割り込み処理のリクエストを取得する。ディスパッチャ２０は、取得したリクエストＲＥＱの配置順序に基づいて、対応する配置順序のレジスタ情報ＲＧｘを、取得する。

ＭＭＵ１４は、仮想レジスタ１４０及び割り込みリクエストエリア１４５に関して、仮想アドレスと物理アドレスとを変換できる。これによって、仮想マシンＶＭ（ＣＰＵ１０）は、ＲＡＭ１１内の対応するレジスタ情報ＲＧｘのアドレスにアクセスできる。

本実施形態において、ディスパッチャ２０は、特定の仮想マシンＶＭと関連付けられていないため、全ての仮想マシンＶＭからのリクエストを処理する。それゆえ、ディスパッチャ２０は、全ての仮想マシンＶＭに対応するレジスタ１４０及び割り込みリクエストエリア１４５にアクセスすることが望まれる。但し、これらのエリア１４０，１４５は、ＩＯＭＭＵによって仮想化されていない。

本実施形態において、ディスパッチャ２０は、割り込み番号ＩＮＭを用いて、リクエストの要求元の仮想マシンに対応するＲＥＱｘのアドレスを算出し、仮想レジスタ１４０及び割り込みリクエストエリア１４５にアクセスする。

（ｂ）動作例
図１７乃至図２０を用いて、本実施形態の仮想化支援デバイスの動作例について、説明する。

図１７は、本実施形態の仮想化支援デバイス（画像処理デバイス、又は画像認識システム）の動作例を説明するためのフローチャートである。

図１８乃至図２０は、本実施形態の仮想化支援デバイスの動作例を説明するための模式図である。

＜ステップＳ２１＞
図１７のステップＳ２１に示されるように、複数の仮想マシンＶＭのうちある仮想マシン（ここでは、仮想マシンＶＭ１とする）が、あるリクエストＲＥＱｘ１を生成する。

図１８に示されるように、仮想マシンＶＭ１は、ＭＭＵ１４を介して、リクエストＲＥＱｘ１に関するレジスタ情報ＲＧｘ１を、ＲＡＭ１１の仮想レジスタ１４０内に書き込む。例えば、レジスタ情報ＲＧｘ１は、仮想レジスタ１４０内において、仮想マシンの識別番号に対応したアドレスに配置される。

図１９に示されるように仮想マシンＶＭ１は、ＭＭＵ１４を介して、リクエスト（例えば、割り込みリクエスト）ＲＥＱｘ１を、ＲＡＭ１１の割り込みリクエストエリア１４５内に書き込む。割り込みリクエストＲＥＱｘ１に対して、仮想マシンＶＭ１によって、割り込み番号ＩＮＭ１が、付されている。

図２０に示されるように、例えば、別の仮想マシン（ここでは、仮想マシンＶＭ２とする）が、仮想マシンＶＭ１からのリクエストＲＥＱｘ１とは別のリクエストＲＥＱｘ２を送信する。
この場合において、仮想マシンＶＭ２は、レジスタ情報ＲＧｘ２及びリクエストＲＥＱｘ２を、仮想レジスタ１４０及び割り込みリクエストエリア１４５内にそれぞれ書き込む。リクエストＲＥＱｘ２２は、割り込み番号ＩＮＭ２を有する。

＜ステップＳ２２，Ｓ２３＞
図１７のステップＳ２２及び図２０に示されるように、ディスパッチャ２０は、仮想割り込みコントローラＶＩＮＴＣによって、ＲＡＭ１１内の割り込みリクエストエリア１４５内の割り込みリクエストＲＥＱｘを、参照する。例えば、ディスパッチャ２０は、割り込み番号ＩＮＭに基づいて、仮想マシンＶＭに対応する割り込みリクエストＲＥＱｘ（例えば、リクエストＲＥＱｘ１）を選択できる。

図１７のステップＳ２３に示されるように、ディスパッチャ２０は、仮想割り込みコントローラＶＩＮＴＣによって、選択したリクエストＲＥＱｘ１の割り込み番号ＩＮＭ１に基づいて、割り込み番号（仮想マシンの識別番号）ＩＮＭ１に対応する配置順序を有するレジスタ情報ＲＧｘ（ここでは、レジスタ情報ＲＧｘ１）を、仮想レジスタ１４０から取得する。例えば、ディスパッチャ２０は、取得した情報ＲＧｘをキュー回路２５０に送る。

このように、本実施形態において、ディスパッチャ２０が、ＲＡＭ１１を介して仮想マシンＶＭのそれぞれと通信できる。

＜ステップＳ２４＞
図１７のステップＳ２４に示されるように、ディスパッチャ２０は、取得したパラメータ情報を、ディスパッチャ２０のキュー回路２５０に格納する。

＜ステップＳ２５＞
図１７のステップＳ２５に示されるように、ディスパッチャ２０（仮想割り込みコントローラＶＩＮＴＣ）は、全てのリクエスト（例えば、割り込みリクエスト）の処理が完了したか否か、判定する。

全てのリクエストの処理が完了していない場合（ステップＳ２５の“Ｎｏ”の場合）、ディスパッチャ２０は、ステップＳ２２〜Ｓ２５までの処理を繰り返し実行する。

全てのリクエストの処理が完了した場合（ステップＳ２５の“Ｙｅｓ”の場合）、ディスパッチャ２０は、各仮想マシンＶＭのリクエストＲＥＱｘの受付を完了する。

本実施形態において、ディスパッチャ２０と仮想マシンＶＭとの間の関連付けは、無い。ディスパッチャ２０は、ＣＰＵ１０及びＩＯＭＭＵ１５の使用なしに、リクエストＲＥＱｘに付された番号（又はリクエストエリア１４５内の配置順序）に基づいて、リクエストＲＥＱｘに応じたパラメータを、ＲＡＭ内から読み出し、キュー回路に格納できる。

このように、本実施形態において、ディスパッチャ２０が、ＲＡＭ１１内に格納されたリクエストＲＥＱｘに基づいて、そのリクエストＲＥＱを処理するためのパラメータを、ディスパッチャ２０のキュー回路に格納することができる。

以上のように、本実施形態の仮想化支援デバイス（又は画像処理デバイス、又は画像認識デバイス）は、第１の実施形態の同様の効果を得ることができる。

（３） 第３の実施形態
図２１を参照して、第３の実施形態の仮想化支援デバイスについて、説明する。

図２１は、本実施形態の仮想化支援デバイスを説明するための模式図である。

図２１に示されるように、デバイス１内において、ＩＰＡ２５の処理にエラーが発生したり、ＩＯＭＭＵ１５が保護違反（例えば、メモリの使用領域に関する違反）を検知したりする。

本実施形態において、ＩＰＡ２５が処理の実行中にエラーを通知した場合、又は、ＩＯＭＭＵ１５が保護違反を検知した場合、ディスパッチャ２０は、エラー／保護違反の検知、及び、エラー／保護違反に対する各種の処理を行う。

例えば、ディスパッチャ２０は、エラー処理回路２０９を有する。
エラー処理回路２０９は、エラー／保護違反を検知できる。エラー処理回路２０９は、検知されたエラー／保護違反に対して、エラー割り込みの特定、エラー割り込みのクリア、エラーの記録、ＩＰＡのエラーのリセット、次のリクエストの選択及び設定などのエラー処理を行う。エラー処理回路２０９の機能は、ディスパッチャ２０内に格納されたソフトウェア（プログラム）によって、実現されてもよい。

エラー処理回路２０９は、上述のエラー処理情報ｅＩＮＦを用いて、エラー処理を行う。エラー処理情報ｅＩＮＦは、ＲＡＭ１１のディスパッチャレジスタエリア１１３内の対応する仮想マシンＶＭのレジスタユニットＲＵに、例えば、対応する仮想マシンＶＭ（又はＣＰＵ１０）によって、書き込まれる。エラー処理情報ｅＩＮＦは、ディスパッチャ制御情報エリア１１２内に、格納されてもよい。

エラー処理回路２０９は、ＩＰＡ２５からのエラーの通知又はＩＯＭＭＵ１５からの保護違反の通知に基づいて、エラー処理を実行してもよい。

エラー／保護違反の検知時、ディスパッチャ２０のエラー処理回路２０９は、エラー／保護違反が発生したリクエストＲＥＱに関連する仮想マシンＶＭのエラー処理情報ｅＩＮＦを、ＲＡＭ１１内から読み出す。エラー処理回路２０９は、読み出されたエラー処理情報ｅＩＮＦを受ける。

エラー処理回路２０９は、エラー／保護違反が生じたＩＰＡ２５に対応する仮想マシンＶＭの優先度及びエラー／保護違反の優先度（以下では、緊急度ともよばれる）に基づいて、エラー処理情報ｅＩＮＦに示されるエラー処理を実行する。

仮想マシンＶＭの優先度及びエラー／保護違反の緊急度は、例えば、画像処理デバイス（又は画像認識システム）の初期化時に又は静的に設定される。

仮想マシンＶＭの優先度及びエラー／保護違反の緊急度の両方が高い場合、エラー処理回路２０９は、例えば、ＣＰＵ１０に対する割り込み処理をエラー処理として即時に実行する。

仮想マシンＶＭの優先度及びエラー／保護違反の緊急度のいずれか一方が低い場合、エラー処理回路２０９は、例えば、処理のステータスの保持を、エラー処理として実行する。

これによって、本実施形態において、処理（リクエスト）のエラー及び保護違反が解消される。

一般に、仮想マシンがエラー処理を実行する場合、処理の遅延が、エラー処理を実行する仮想マシンに生じる。エラー処理を行った仮想マシンの遅延が、他の仮想マシンの処理に悪影響（例えば、処理の遅延）を及ぼす。
また、ＣＰＵがエラー処理を実行する場合、ＣＰＵの負荷が高くなる。

これに対して、本実施形態のように、ディスパッチャ２０（エラー処理回路２０９）がエラー処理を実行することで、仮想マシンＶＭの処理の遅延及びＣＰＵ１０の負荷を、抑制できる。

以上のように、本実施形態の仮想化支援デバイス（又は画像処理デバイス、又は画像認識デバイス）は、第１の実施形態の同様の効果を得ることができる。

（４） その他
実施形態において、本実施形態の仮想化支援デバイスが画像処理デバイス（画像認識システム）に適用された例が、示されている。但し、本実施形態のデバイスは、複数のアプリケーションを並列に実行するデバイスであれば、画像処理デバイス以外のデバイスに適用されてもよい。
本実施形態の仮想化支援デバイス、画像処理デバイス又は画像認識システムは、パーソナルコンピュータ、スマートフォン、フューチャーフォン、携帯端末、ゲーム機器、サーバなどに適用されてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：画像処理デバイス、１０：ＣＰＵ、１１：ＲＡＭ、１５：ＩＯＭＭＵ、２０：プロセッサ（ディスパッチャ）、２５：アクセラレータ。

Claims (8)

1. 複数のハードウェアアクセラレータの動作を制御する第１のプロセッサと、
   第２のプロセッサによって実行される第１のアプリケーションの第１の情報、前記第２のプロセッサによって実行される第２のアプリケーションに関する第２の情報、前記第１のアプリケーションからの１つ以上の第１のリクエスト、前記第２のアプリケーションからの１つ以上の第２のリクエストと、を保持するメモリと、
   前記第１のプロセッサ及び前記メモリに接続された入出力メモリ管理ユニットと、
   を具備し、
   前記第１のプロセッサは、
   前記第１及び前記第２のアプリケーションからの前記第１及び第２のリクエストに対する前記複数のハードウェアアクセラレータの実行順序の調停を実行し、
   前記調停に基づいて前記第１及び前記第２の情報のうち一方の情報を用いて、前記入出力メモリ管理ユニットの設定を制御し、
   前記調停に基づいて前記第１及び第２のリクエストのうち一方のリクエストを、前記複数のハードウェアアクセラレータのうち対応する１つ以上に実行させる、
   仮想化支援デバイス。
2. 前記第１のプロセッサは、前記メモリを介して、前記第２のプロセッサと通信する、
   請求項１に記載の仮想化支援デバイス。
3. 前記メモリは、前記複数のハードウェアアクセラレータのエラー及び前記入出力メモリ管理ユニットによって検知される保護違反のうち少なくとも一方に対する前記第１のアプリケーションのエラー処理を示す第３の情報と、前記エラー及び前記保護違反のうち少なくとも一方に対する前記第２のアプリケーションのエラー処理を示す第４の情報を保持し、
   前記第１のプロセッサは、エラーが発生したハードウェアアクセラレータからのエラー通知及び前記入出力メモリ管理ユニットからの保護違反通知のうち少なくとも一方を受け、
   前記第１のプロセッサは、前記調停に基づいて前記第３及び第4の情報のうち一方の情報を用いて、前記エラー処理を行う、
   請求項１又は２に記載の仮想化支援デバイス。
4. 前記第１のアプリケーションは、第１の優先度を有し、前記第２のアプリケーションは前記第１の優先度より低い第２の優先度を有し、
   前記第１のプロセッサは、前記第1及び第２の優先度を用いた前記調停によって前記第１のリクエストを、前記複数のハードウェアアクセラレータのうち対応する１つ以上に実行させ、
   前記第１のプロセッサは、前記第１のリクエストの完了の後、前記第２のリクエストを、前記複数のハードウェアアクセラレータのうち対応する１つ以上に実行させる、
   請求項１乃至３のうちいずれか１項の仮想化支援デバイス。
5. 第１のプロセッサが、第２のプロセッサによって実行された第１のアプリケーションからの１つ以上の第１のリクエスト及び第２のアプリケーションからの１つ以上の第２のリクエストに対する前記複数のハードウェアアクセラレータの実行順序の調停を実行し、
   第１のプロセッサが、メモリ内に格納された前記第１のアプリケーションに関する第１の情報及び前記第２のアプリケーションに関する第２の情報を参照し、
   前記第１のプロセッサが、前記調停に基づいて前記第１及び第２の情報のうち一方の情報を用いて、複数のハードウェアアクセラレータと前記メモリとの間の入出力メモリ管理ユニットの設定を制御し、
   前記第１のプロセッサが、前記調停に基づいて前記第１及び第２のリクエストのうち一方のリクエストを、前記複数のハードウェアアクセラレータのうち対応する１つ以上に実行させる、
   仮想化支援デバイスの制御方法。
6. 前記第１のプロセッサは、前記メモリを介して、前記第２のプロセッサと通信する、
   請求項５に記載の仮想化支援デバイスの制御方法。
7. 前記メモリは、前記複数のハードウェアアクセラレータのエラー及び前記入出力メモリ管理ユニットによって検知される保護違反のうち少なくとも一方に対する前記第１のアプリケーションのエラー処理を示す第３の情報と、前記エラー及び前記保護違反のうち少なくとも一方に対する前記第２のアプリケーションのエラー処理を示す第４の情報を保持し、
   前記第１のプロセッサは、エラーが発生したハードウェアアクセラレータからのエラー通知及び前記入出力メモリ管理ユニットからの保護違反通知のうち少なくとも一方を受け、
   前記第１のプロセッサは、前記調停に基づいて前記第３及び第4の情報のうち一方の情報を用いて、前記エラー処理を行う、
   請求項５又は６に記載の仮想化支援デバイスの制御方法。
8. 前記第１のアプリケーションは、第１の優先度を有し、前記第２のアプリケーションは前記第１の優先度より低い第２の優先度を有し、
   前記第１のプロセッサは、前記第1及び第２の優先度を用いた前記調停によって前記第1のリクエストを、前記複数のハードウェアアクセラレータのうち対応する１つ以上に実行させ、
   前記第１のプロセッサは、前記第１のリクエストの完了の後、前記第２のリクエストを、前記複数のハードウェアアクセラレータのうち対応する１つ以上に実行させる、
   請求項５乃至７のうちいずれか１項の仮想化支援デバイスの制御方法。

Images