JP2014027595A - Acoustic signal processing method and audio signal processing system - Google Patents

Acoustic signal processing method and audio signal processing system Download PDF

Info

Publication number
JP2014027595A
JP2014027595A JP2012168291A JP2012168291A JP2014027595A JP 2014027595 A JP2014027595 A JP 2014027595A JP 2012168291 A JP2012168291 A JP 2012168291A JP 2012168291 A JP2012168291 A JP 2012168291A JP 2014027595 A JP2014027595 A JP 2014027595A
Authority
JP
Japan
Prior art keywords
acoustic signal
virtual machine
audio
signal processing
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012168291A
Other languages
Japanese (ja)
Inventor
Akihiro Miwa
明宏 三輪
Takuro Sone
卓朗 曽根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2012168291A priority Critical patent/JP2014027595A/en
Publication of JP2014027595A publication Critical patent/JP2014027595A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technology for implementing acoustic signal processing which ensures required low latency while suppressing an increase in costs.SOLUTION: A computer device 1 comprises a management OS 131 which constructs a first virtual machine VM 1 and a second virtual machine VM 2 by using a virtualizing support component 132, and starts up a first OS 111 of a real time OS on the first virtual machine VM 1 and a second OS 121 of a versatile OS on the second virtual machine VM 2. Acoustic signal processing requiring low latency is performed according to an acoustic signal processing engine 112 on the first OS 111. Acoustic signal processing and processing related to a GUI are performed according to an audio edition application 122 on the second OS 121. A transmission path using a shared memory region 33 is constructed between the first virtual machine VM 1 and the second virtual machine VM 2. Acoustic signals are transmitted/received between the first virtual machine VM 1 and the second virtual machine VM 2 through the transmission path.

Description

本発明は、音響信号処理の技術に関する。   The present invention relates to a technique for acoustic signal processing.

音響信号処理を行う装置として、例えば、音響信号の調整やミキシング等を行うディジタルオーディオミキサーが知られている（例えば、特許文献１参照）。特許文献１に記載のようなディジタルオーディオミキサーでは、複数のＤＳＰ（Digital Signal Processor）で低レイテンシ（処理に伴う待ち時間が予め定められた閾値以下であることを、以下「低レイテンシ」という）が求められる音響信号処理を行い、低レイテンシが求められない音響信号処理やＧＵＩ（Graphical User Interface）の表示制御等の他の処理はＣＰＵで行う構成が採用されている。   As an apparatus that performs acoustic signal processing, for example, a digital audio mixer that performs adjustment and mixing of acoustic signals is known (see, for example, Patent Document 1). In a digital audio mixer as described in Patent Document 1, a plurality of DSPs (Digital Signal Processors) have low latency (that the waiting time associated with processing is equal to or less than a predetermined threshold is hereinafter referred to as “low latency”). A configuration is adopted in which the CPU performs other processing such as acoustic signal processing that is required and acoustic signal processing that does not require low latency and GUI (Graphical User Interface) display control.

また、パーソナルコンピュータ等の汎用装置において実行されるプログラムによりＤＡＷ（Digital Audio Workstation）システムを実現する技術が知られている。ＤＡＷシステムにおいては、汎用装置にてＧＵＩの表示制御等を含む種々の処理を実行し、音響信号処理は外部に接続したＤＳＰ又は汎用装置上で動作するソフトウェアで実行される。   A technique for realizing a DAW (Digital Audio Workstation) system by a program executed in a general-purpose device such as a personal computer is known. In the DAW system, various processes including GUI display control and the like are executed by a general-purpose device, and the acoustic signal processing is executed by a DSP connected to the outside or software operating on the general-purpose device.

特開平８−１２５４６６号公報JP-A-8-125466

ところで、ＤＳＰは信号処理に特化したプロセッサであり、ボタン・フェーダ等への操作応答等の割込信号に対応する処理や画面表示処理などはＣＰＵで行う必要がある。そのため、ＤＳＰにて音響信号処理を行う場合、レイテンシが保証される反面、ハードウェアコストが大きくなってしまったり、システム構成が複雑化してしまったりするという問題がある。また、上記汎用装置上で動作するソフトウェアで音響信号処理も行う場合、Ｗｉｎｄｏｗｓ（登録商標）等の汎用ＯＳおよび当該ＯＳ上にて動作するソフトウェアを用いることが一般的であるが、汎用ＯＳでは上記の割込処理の影響で信号処理のレイテンシが保証されない場合がある。そのため、汎用装置上で動作するソフトウェアで音響信号処理も行う場合は、リアルタイム性が求められる音響信号処理には適さない。汎用装置にて所謂リアルタイムＯＳおよび当該ＯＳ上で動作するソフトウェアを用いればレイテンシを保証することは可能であるが、Ｗｉｎｄｏｗ等の汎用ＯＳにて動作するよう作成された既存のソフトウェア（Ｃｕｂａｓｅ（登録商標）等）はそのままでは用いることはできず、ソフトウェアの変更や新規作成を行う必要がある。   Incidentally, the DSP is a processor specialized in signal processing, and processing corresponding to an interrupt signal such as an operation response to a button / fader or the like, screen display processing, and the like must be performed by the CPU. For this reason, when the acoustic signal processing is performed by the DSP, the latency is guaranteed, but there is a problem that the hardware cost is increased and the system configuration is complicated. When performing acoustic signal processing using software that operates on the general-purpose device, it is common to use a general-purpose OS such as Windows (registered trademark) and software that operates on the OS. In some cases, the latency of signal processing is not guaranteed due to the influence of interrupt processing. For this reason, when acoustic signal processing is also performed by software operating on a general-purpose device, it is not suitable for acoustic signal processing that requires real-time properties. Although it is possible to guarantee the latency by using a so-called real-time OS and software operating on the OS in a general-purpose device, existing software (Cubese (registered trademark)) created to operate on a general-purpose OS such as Windows is available. ) Etc.) cannot be used as they are, and it is necessary to change the software or create a new one.

本発明は上述の背景に鑑みてなされたものであり、ハードウェアやソフトウェアのコストの増大を抑えつつ、シンプルな構成で音響信号処理に求められる低レイテンシを保証する技術を提供することを目的とする。   The present invention has been made in view of the above-described background, and an object thereof is to provide a technique for guaranteeing low latency required for acoustic signal processing with a simple configuration while suppressing an increase in hardware and software costs. To do.

上述した課題を解決するために、本発明は、リソースとして少なくともプロセッサおよびメモリを有するコンピュータにて行われる音響信号処理方法であって、前記プロセッサが、前記リソースを用いて第１の仮想機械と第２の仮想機械を構築する仮想機械構築ステップと、前記第１の仮想機械から音響信号を出力する第１のインタフェース、および、前記第２の仮想機械へ音響信号を入力する第２のインタフェースを構築するインタフェース構築ステップと、前記第１の仮想機械において、前記第１のインタフェースに音響信号を出力する出力ステップと、前記第１の仮想機械が前記第１のインタフェースに出力した音響信号を前記メモリに書き込む書込ステップと、前記書き込まれた音響信号を前記メモリから読み出して前記第２のインタフェースへ出力する読出ステップと、前記第２の仮想機械において、前記第２のインタフェースから音響信号を入力する入力ステップとを備える音響信号処理方法を提供する。   In order to solve the above-described problem, the present invention provides an acoustic signal processing method performed by a computer having at least a processor and a memory as resources, wherein the processor uses the resource to execute a first virtual machine and a first virtual machine. A virtual machine construction step for constructing two virtual machines, a first interface for outputting an acoustic signal from the first virtual machine, and a second interface for inputting the acoustic signal to the second virtual machine An interface construction step, an output step of outputting an acoustic signal to the first interface in the first virtual machine, and an acoustic signal output from the first virtual machine to the first interface in the memory. A writing step of writing, and reading out the written acoustic signal from the memory to read the second input signal; A reading step of outputting to the face, in the second virtual machine, to provide an acoustic signal processing method comprising an input step of inputting an acoustic signal from said second interface.

上記の音響信号の処理方法の好ましい態様において、前記リソースは、前記コンピュータに接続された外部装置から音響信号を受信するオーディオインタフェースを含み、前記プロセッサが、前記第１の仮想機械において、前記オーディオインタフェースにて受信された音響信号を入力するステップと、前記第１の仮想機械において、前記入力した音響信号に対する信号処理を実行するステップと、を備え、前記プロセッサは、前記出力ステップにおいて前記信号処理された音響信号を前記第１のインタフェースに出力し、前記入力ステップにおいて前記第２のインタフェースから前記信号処理された音響信号を入力する、という構成が採用されてもよい。   In a preferred aspect of the above-described acoustic signal processing method, the resource includes an audio interface that receives an acoustic signal from an external device connected to the computer, and the processor includes the audio interface in the first virtual machine. And a step of performing signal processing on the input acoustic signal in the first virtual machine, wherein the processor performs the signal processing in the output step. A configuration may be employed in which the received acoustic signal is output to the first interface, and the signal-processed acoustic signal is input from the second interface in the input step.

また、上記の音響信号の処理方法の好ましい態様において、前記プロセッサは複数のプロセッサコアを含み、前記プロセッサは、前記仮想機械構築ステップにおいて、前記第１の仮想機械を前記リソースのうち第１のプロセッサコアと前記オーディオインタフェースとを用いて構築し、前記第２の仮想機械を前記リソースのうち第２のプロセッサコアを用いて構築する、という構成が採用されてもよい。   Further, in a preferred aspect of the above-described acoustic signal processing method, the processor includes a plurality of processor cores, and the processor, in the virtual machine construction step, converts the first virtual machine to the first processor among the resources. A configuration may be employed in which the second virtual machine is constructed using a second processor core among the resources by constructing using a core and the audio interface.

また、本発明は、リソースとして少なくともプロセッサおよびメモリを有するコンピュータの前記リソースを用いて第１の仮想機械と第２の仮想機械を構築する手段と、前記第１の仮想機械から音響信号を出力する第１のインタフェース、および、前記第２の仮想機械へ音響信号を入力する第２のインタフェースを構築する手段と、前記第１の仮想機械において、前記第１のインタフェースに音響信号を出力する手段と、前記第１の仮想機械が前記第１のインタフェースに出力した音響信号を前記メモリに書き込む手段と、前記書き込まれた音響信号を前記メモリから読み出して前記第２のインタフェースへ出力する手段と、前記第２の仮想機械において、前記第２のインタフェースから音響信号を入力する手段とを備えたことを特徴とする音響信号処理システムを提供する。   Further, the present invention provides means for constructing a first virtual machine and a second virtual machine using the resources of a computer having at least a processor and a memory as resources, and outputs an acoustic signal from the first virtual machine. Means for constructing a first interface and a second interface for inputting an acoustic signal to the second virtual machine; and means for outputting an acoustic signal to the first interface in the first virtual machine; Means for writing the acoustic signal output by the first virtual machine to the first interface into the memory; means for reading the written acoustic signal from the memory and outputting it to the second interface; The second virtual machine includes means for inputting an acoustic signal from the second interface. Providing sound signal processing system.

上記の音響信号処理システムの好ましい態様において、前記リソースは、前記コンピュータに接続された外部装置から音響信号を受信するオーディオインタフェースを含み、前記第１の仮想機械において、前記オーディオインタフェースにて受信された音響信号を入力する手段と、前記第１の仮想機械において、前記入力した音響信号に対する信号処理を実行する手段と、を備え、前記出力する手段は前記信号処理された音響信号を前記第１のインタフェースに出力し、前記入力する手段は前記第２のインタフェースから前記信号処理された音響信号を入力する、という構成が採用されてもよい。   In a preferred aspect of the above acoustic signal processing system, the resource includes an audio interface that receives an acoustic signal from an external device connected to the computer, and is received by the audio interface in the first virtual machine. Means for inputting an acoustic signal; and means for executing signal processing on the inputted acoustic signal in the first virtual machine, wherein the means for outputting outputs the acoustic signal subjected to the signal processing to the first virtual machine. A configuration may be employed in which the means for outputting and inputting to the interface inputs the acoustic signal subjected to the signal processing from the second interface.

また、上述の音響信号処理システムの好ましい態様において、前記プロセッサは複数のプロセッサコアを含み、前記仮想機械を構築する手段は、前記第１の仮想機械を前記リソースのうち第１のプロセッサコアと前記オーディオインタフェースとを用いて構築し、前記第２の仮想機械を前記リソースのうち第２のプロセッサコアを用いて構築する、という構成が採用されてもよい。   Moreover, in a preferable aspect of the above-described acoustic signal processing system, the processor includes a plurality of processor cores, and the means for constructing the virtual machine includes the first virtual machine among the resources and the first processor core. An arrangement may be employed in which the second virtual machine is constructed using an audio interface and the second virtual machine is constructed using a second processor core among the resources.

本発明によれば、ハードウェアやソフトウェアのコストの増大を抑えつつ、求められる低レイテンシを保証する音響信号処理が実現される。   According to the present invention, it is possible to realize acoustic signal processing that guarantees the required low latency while suppressing an increase in hardware and software costs.

本発明のコンピュータ装置のハードウェア構成の一例を示すブロック図The block diagram which shows an example of the hardware constitutions of the computer apparatus of this invention 本発明のコンピュータ装置の機能的構成の一例を示すブロック図The block diagram which shows an example of a functional structure of the computer apparatus of this invention 本発明のコンピュータ装置のソフトウェアの論理的構成の一例を示すブロック図The block diagram which shows an example of the logical structure of the software of the computer apparatus of this invention 本発明のコンピュータ装置のブート処理の流れを示すフローチャートThe flowchart which shows the flow of the boot process of the computer apparatus of this invention 共有メモリ領域へのアクセス内容を説明するための図Diagram for explaining access contents to shared memory area 本発明のコンピュータ装置の構成例を説明するための図The figure for demonstrating the structural example of the computer apparatus of this invention 本発明のコンピュータ装置の構成例を説明するための図The figure for demonstrating the structural example of the computer apparatus of this invention

１．構成
以下、図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の実施形態に係るコンピュータ装置１のハードウェア構成の一例を示すブロック図である。コンピュータ装置１は例えばパーソナルコンピュータ等の汎用的なコンピュータ装置であり、本発明に係る音響信号処理を行う。コンピュータ装置１は、プロセッサ１０、メモリ２０、オーディオＩ／Ｆ４０、その他のデバイス５０を有し、これら各部がバス６０を介して接続されている。プロセッサ１０は、例えばＣＰＵであり、４つのプロセッサコア１０1，１０2，１０3，１０4からなるマルチコア・プロセッサである。プロセッサ１０がメモリ２０に記憶されているコンピュータプログラムを読み出して実行することにより、コンピュータ装置１の各部を制御する。メモリ２０は、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ、光学ドライブ等を適宜組み合わせて構成される。 1. Configuration Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an example of a hardware configuration of a computer apparatus 1 according to the embodiment of the present invention. The computer apparatus 1 is a general-purpose computer apparatus such as a personal computer, and performs acoustic signal processing according to the present invention. The computer apparatus 1 includes a processor 10, a memory 20, an audio I / F 40, and other devices 50, and these units are connected via a bus 60. The processor 10 is, for example, a CPU, and is a multi-core processor including four processor cores 10 1 , 10 2 , 10 3 , and 10 4 . The processor 10 reads out and executes the computer program stored in the memory 20 to control each unit of the computer apparatus 1. The memory 20 is configured by appropriately combining ROM, RAM, flash memory, HDD, optical drive, and the like.

オーディオＩ／Ｆ４０は、デジタル音響信号を入出力するデータ入出力部である。オーディオＩ／Ｆ４０は、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４などの伝送路を介して、デジタル音響信号を汎用のオーディオ伝送プロトコル（例えば、ＣｏｂｒａＮｅｔ（登録商標），ＥｔｈｅｒＳｏｕｎｄ（登録商標），Ｄａｎｔｅ（登録商標）等）に従って入出力する。また、ＰＣＩｅ（PCI Express）などのプロセッサのバスをそのまま延長した形式で入出力を行ってもよい。また、他の形式で音響信号の入出力を行ってもよい。また、オーディオＩ／Ｆ４０は、複数チャンネルの音響信号の入出力を行うものであってもよい。オーディオＩ／Ｆ４０は、クロック発信源を備え、このクロック発信源から発信されるクロックに同期してデータの入出力を行う。その他のデバイス５０は、図示しない各種デバイス（キーボード、マウス、タッチパネル等の操作入力デバイスやディスプレイ等の出力デバイス、あるいは他の装置と通信を行う通信デバイス等）との間でデータの入出力を行うＩ／Ｆであり、必要に応じて適宜実装される。   The audio I / F 40 is a data input / output unit that inputs and outputs digital audio signals. The audio I / F 40 transmits a digital audio signal to a general audio transmission protocol (for example, CobraNet (registered trademark), EtherSound (registered trademark) via a transmission path such as Ethernet (registered trademark), USB (Universal Serial Bus), IEEE 1394, or the like. ), Dante (registered trademark), etc.). Further, input / output may be performed in a form in which a processor bus such as PCIe (PCI Express) is extended as it is. Moreover, you may input / output an acoustic signal with another format. In addition, the audio I / F 40 may perform input / output of sound signals of a plurality of channels. The audio I / F 40 includes a clock transmission source and inputs / outputs data in synchronization with a clock transmitted from the clock transmission source. The other device 50 inputs and outputs data with various devices (not shown) (operation input devices such as a keyboard, mouse, and touch panel, output devices such as a display, or communication devices that communicate with other devices). It is I / F and is appropriately mounted as necessary.

メモリ２０には、第１のＯＳ（Operating System）プログラムＰＲＧ１と、第２のＯＳプログラムＰＲＧ２と、管理ＯＳプログラムＰＲＧ３と、信号処理エンジンプログラムＰＲＧ４と、オーディオ編集アプリケーションプログラムＰＲＧ５等の、各種のコンピュータプログラムが記憶されている。第１のＯＳプログラムＰＲＧ１は、リアルタイムＯＳである第１のＯＳのプログラムである。第２のＯＳプログラムＰＲＧ２は、汎用ＯＳである第２のＯＳのプログラムである。管理ＯＳプログラムＰＲＧ３は、第１のＯＳ及び第２のＯＳを管理するＯＳ（以下「管理ＯＳ」という）のプログラムである。信号処理エンジンプログラムＰＲＧ４は、低レイテンシが求められる音響信号処理を行うアプリケーションを実現するためのプログラムである。すなわち、信号処理エンジンプログラムＰＲＧ４は、従来のディジタルオーディオミキサー等においてＤＳＰ等の専用のプロセッサで実行されていた音響信号処理を行うアプリケーションを実現するためのプログラムである。オーディオ編集アプリケーションプログラムＰＲＧ５は、低レイテンシが必ずしも求められない音響信号の編集や記録あるいはミキシング操作等の各種処理を行うアプリケーションを実現するためのプログラムである。なお、メモリ２０には、図示した以外にも、第１のＯＳ又は第２のＯＳ上で動作する他のプログラムや各種データが記憶されるが、図１においては、図面が煩雑になるのを防ぐためその図示を省略している。
なお、本明細書では、説明の便宜上、応答遅延に対する管理・制御機能を有し「所定の処理命令に対する応答遅延が所定の時間内に完了することが保証できるＯＳ」を「リアルタイムＯＳ」と呼び、「応答遅延にバラつきが生じるなど応答遅延に対する管理・制御機能が無いか当該管理・制御能力に乏しいＯＳ」を「汎用ＯＳ」と呼ぶ。 The memory 20 includes various computer programs such as a first OS (Operating System) program PRG1, a second OS program PRG2, a management OS program PRG3, a signal processing engine program PRG4, and an audio editing application program PRG5. Is remembered. The first OS program PRG1 is a program of the first OS that is a real-time OS. The second OS program PRG2 is a program of a second OS that is a general-purpose OS. The management OS program PRG3 is a program for an OS (hereinafter referred to as “management OS”) that manages the first OS and the second OS. The signal processing engine program PRG4 is a program for realizing an application that performs acoustic signal processing that requires low latency. That is, the signal processing engine program PRG4 is a program for realizing an application for performing acoustic signal processing that has been executed by a dedicated processor such as a DSP in a conventional digital audio mixer or the like. The audio editing application program PRG5 is a program for realizing an application that performs various processes such as editing, recording, or mixing operation of an acoustic signal for which low latency is not necessarily required. The memory 20 stores other programs and various data that run on the first OS or the second OS in addition to those shown in the figure. However, in FIG. 1, the drawing becomes complicated. In order to prevent this, the illustration is omitted.
In this specification, for convenience of explanation, an “OS that has a management / control function for response delay and can guarantee that the response delay for a predetermined processing instruction is completed within a predetermined time” is referred to as a “real-time OS”. , “An OS that does not have a management / control function for response delay such as a variation in response delay or lacks management / control capability” is referred to as a “general-purpose OS”.

次に、図２に示すブロック図を参照しながら、コンピュータ装置１の機能的構成の一例について説明する。コンピュータ装置１においては、リソースが仮想化され、２台の仮想機械ＶＭ１、ＶＭ２が構築される。仮想機械ＶＭ１では第１のＯＳ１１１が稼動し、仮想機械ＶＭ２では第２のＯＳ１２１が稼動する。仮想化は管理ＯＳ１３１と仮想化支援コンポーネント１３２により提供される。なお、仮想化技術としては公知の技術を適宜採用することが可能であり、本明細書では仮想化技術に関する詳細な説明は省略する。また、図２においては図面が煩雑になるのを防ぐためＮＩＣ（Network Interface Card）等の一部のリソースの図示を省略している。   Next, an example of a functional configuration of the computer apparatus 1 will be described with reference to the block diagram shown in FIG. In the computer apparatus 1, resources are virtualized and two virtual machines VM1 and VM2 are constructed. In the virtual machine VM1, the first OS 111 operates, and in the virtual machine VM2, the second OS 121 operates. Virtualization is provided by the management OS 131 and the virtualization support component 132. Note that a well-known technique can be appropriately employed as the virtualization technique, and detailed description of the virtualization technique is omitted in this specification. Further, in FIG. 2, illustration of some resources such as a NIC (Network Interface Card) is omitted in order to prevent the drawing from becoming complicated.

続いて、図２に示される各構成部を説明する。リソース群ＲＳ１０に含まれるリソースはコンピュータ装置１が実際に備えるリソースである。メモリ３４は、コンピュータ装置１が有するメモリ２０等の記憶資源のうちコンピュータ装置１が各種処理を実行する上で一時的にデータ等を保持するためのＲＡＭ等である。管理ＯＳ１３１は複数のＯＳを管理するハイパーバイザである。仮想化支援コンポーネント１３２は、管理ＯＳ１３１の上で動作し、コンピュータ装置１の備えるプロセッサ１０、メモリ２０、オーディオＩ／Ｆ４０等の各種リソースを仮想化し、コンピュータ装置１を、第１のＯＳ１１１によって制御される第１の仮想機械ＶＭ１と、第２のＯＳ１２１によって制御される第２の仮想機械ＶＭ２として機能させるコンポーネントである。   Next, each component shown in FIG. 2 will be described. Resources included in the resource group RS10 are resources that the computer device 1 actually includes. The memory 34 is a RAM or the like for temporarily storing data or the like when the computer apparatus 1 executes various processes among the storage resources such as the memory 20 of the computer apparatus 1. The management OS 131 is a hypervisor that manages a plurality of OSs. The virtualization support component 132 operates on the management OS 131, virtualizes various resources such as the processor 10, the memory 20, and the audio I / F 40 included in the computer apparatus 1, and the computer apparatus 1 is controlled by the first OS 111. The first virtual machine VM1 and the second virtual machine VM2 controlled by the second OS 121.

本実施形態の仮想化において、仮想化支援コンポーネント１３２はリソース群ＲＳ１０に含まれるリソースのうち、プロセッサコア１０1及び１０2、メモリ３４に含まれる第１のメモリ領域３１、オーディオＩ／Ｆ４０を、各々、仮想的なリソースであるプロセッサコア１０Ｖ1及び１０Ｖ2、メモリ３１Ｖ、オーディオＩ／Ｆ４０Ｖとして第１の仮想機械ＶＭ１にアサインする。以下、互いに対応する物理的なリソースと仮想的なリソースには同じ数字の符号を付すとともに、それらを区別するために仮想的なリソースには「オーディオＩ／Ｆ４０Ｖ」のように、数字の符号の後に「Ｖ」を付加するものとする。また、仮想化支援コンポーネント１３２は仮想的なオーディオＩ／Ｆである仮想オーディオＩ／Ｆ３３１（後述）を第１の仮想機械ＶＭ１にアサインする。第１の仮想機械ＶＭ１にアサインされたこれらの仮想的なリソースはリソース群ＲＳ１１を構成する。 In the virtualization of this embodiment, the virtualization support component 132 includes, among the resources included in the resource group RS10, the processor cores 10 1 and 10 2 , the first memory area 31 included in the memory 34, and the audio I / F 40. The processor cores 10V 1 and 10V 2 that are virtual resources, the memory 31V, and the audio I / F 40V are assigned to the first virtual machine VM1, respectively. In the following, physical resources and virtual resources corresponding to each other are given the same numerical symbols, and in order to distinguish them, the virtual resources are numbered like “Audio I / F 40V”. It is assumed that “V” is added later. Further, the virtualization support component 132 assigns a virtual audio I / F 331 (described later), which is a virtual audio I / F, to the first virtual machine VM1. These virtual resources assigned to the first virtual machine VM1 constitute a resource group RS11.

また、仮想化支援コンポーネント１３２はリソース群ＲＳ１０に含まれるリソースのうち、プロセッサコア１０3及び１０4、メモリ３４に含まれる第２のメモリ領域３２、その他のデバイス５０を、各々、仮想的なリソースであるプロセッサコア１０Ｖ3及び１０Ｖ4、メモリ３２Ｖ、その他のデバイス５０Ｖとして第２の仮想機械ＶＭ２にアサインする。また、仮想化支援コンポーネント１３２は仮想的なオーディオＩ／Ｆである仮想オーディオＩ／Ｆ３３２（後述）を第２の仮想機械ＶＭ２にアサインする。第２の仮想機械ＶＭ２にアサインされたこれらの仮想的なリソースはリソース群ＲＳ１２を構成する。 Further, the virtualization support component 132 includes the processor cores 10 3 and 10 4 , the second memory area 32 included in the memory 34, and the other devices 50 among the resources included in the resource group RS 10. processor core 10V 3 and 10V 4 is, be assigned to the second virtual machine VM2 as a memory 32V, other devices 50 V. Further, the virtualization support component 132 assigns a virtual audio I / F 332 (described later), which is a virtual audio I / F, to the second virtual machine VM2. These virtual resources assigned to the second virtual machine VM2 constitute a resource group RS12.

第１のＯＳ１１１は第１のＯＳプログラムＰＲＧ１に従い第１の仮想機械ＶＭ１上で実行されるリアルタイムＯＳであり、例えばＵｂｕｎｔｕ Ｓｔｕｄｉｏである。また、第２のＯＳ１２１は第２のＯＳプログラムＰＲＧ２に従い第２の仮想機械ＶＭ２上で実行される汎用ＯＳであり、例えばＷｉｎｄｏｗｓ（登録商標）である。第１のＯＳ１１１は、第１の仮想機械ＶＭ１に対し通常のコンピュータ装置に対するものと同様の処理を指示する。また、第２のＯＳ１２１は、第２の仮想機械ＶＭ２に対し通常のコンピュータ装置に対するものと同様の処理を指示する。仮想化支援コンポーネント１３２は第１のＯＳ１１１のリソース群ＲＳ１１に対する指示および第２のＯＳ１２１のリソース群ＲＳ１２に対する指示を必要に応じてフックし、必要に応じてそれらの指示に含まれるアドレス番号やポート番号等のリソースを識別する情報の変換等を行う。例えば、物理的なリソース群ＲＳ１０に含まれるメモリ３４のうちアドレスＡm〜Ａm+n-1（「Ａ」に付された下付文字はアドレス番号を示し、ｍおよびｎは任意の自然数）のメモリ空間を持つ第２のメモリ領域３２が、アドレスＡ0〜Ａn-1のメモリ空間を持つメモリ３２Ｖとして第２の仮想機械ＶＭ２にアサインされている場合を想定する。この場合、例えば第２のＯＳ１２１がメモリ３２ＶのアドレスＡx（ただし、ｘは０≦ｘ≦ｎ−１を満たす任意の自然数）に対するデータの読み書きの指示を行うと、仮想化支援コンポーネント１３２はその指示をフックし、アドレスＡxをアドレスＡx+mに変換し、メモリ３４のアドレスＡx+m（第２のメモリ領域３２のアドレス）に対しデータの読み書きを実行する。このような仮想化支援コンポーネント１３２の役割により、第１のＯＳプログラムＰＲＧ１および第２のＯＳプログラムＰＲＧ２は、通常のコンピュータ装置上で実行されるものに何らの変更を要しない。
また、仮想化支援コンポーネント１３２は伝送用バッファ（後述）として使用される共有メモリ領域を確保する。なお、管理ＯＳ１３１は仮想機械ＶＭ２とリソースを共用しているものとする。 The first OS 111 is a real-time OS executed on the first virtual machine VM1 according to the first OS program PRG1, and is, for example, Ubuntu Studio. The second OS 121 is a general-purpose OS executed on the second virtual machine VM2 in accordance with the second OS program PRG2, and is, for example, Windows (registered trademark). The first OS 111 instructs the first virtual machine VM1 to perform the same processing as that for a normal computer device. Further, the second OS 121 instructs the second virtual machine VM2 to perform the same processing as that for a normal computer device. The virtualization support component 132 hooks the instruction to the resource group RS11 of the first OS 111 and the instruction to the resource group RS12 of the second OS 121 as necessary, and the address number and port number included in those instructions as necessary. The information for identifying the resource is converted. For example, in the memory 34 included in the physical resource group RS10, addresses A m to A m + n-1 (subscripts attached to “A” indicate address numbers, and m and n are arbitrary natural numbers). Is assumed to be assigned to the second virtual machine VM2 as the memory 32V having the memory space of addresses A 0 to A n−1 . In this case, for example, when the second OS 121 gives an instruction to read / write data to the address A x of the memory 32V (where x is an arbitrary natural number satisfying 0 ≦ x ≦ n−1), the virtualization support component 132 instructing hooks, converts the address a x to the address a x + m, the address of the memory 34 a x + m (address of the second memory region 32) to execute the reading and writing of data. Due to the role of the virtualization support component 132, the first OS program PRG1 and the second OS program PRG2 do not require any change in what is executed on a normal computer device.
Also, the virtualization support component 132 reserves a shared memory area used as a transmission buffer (described later). It is assumed that the management OS 131 shares resources with the virtual machine VM2.

第１のＯＳ１１１は上述したようにリアルタイムＯＳであり、低レイテンシが保証され、所定の処理命令に対する応答遅延が所定の時間内に行われる。この実施形態では、第１のＯＳ１１１上では、信号処理エンジンプログラムＰＲＧ４に従い音響信号処理エンジン１１２が実行される。音響信号処理エンジン１１２は、オーディオＩ／Ｆ４０Ｖ等から入力されたオーディオ信号に信号処理を施し、この信号処理されたオーディオ信号をオーディオＩ／Ｆ４０Ｖ等に対して出力する。これにより第１の仮想機械ＶＭ１では入力される音響信号に対する音響信号処理を低レイテンシにて行うことができる。   As described above, the first OS 111 is a real-time OS, guaranteeing low latency, and delaying a response to a predetermined processing command within a predetermined time. In this embodiment, the acoustic signal processing engine 112 is executed on the first OS 111 in accordance with the signal processing engine program PRG4. The acoustic signal processing engine 112 performs signal processing on the audio signal input from the audio I / F 40V or the like, and outputs the signal-processed audio signal to the audio I / F 40V or the like. As a result, the first virtual machine VM1 can perform the acoustic signal processing on the input acoustic signal with low latency.

一方、第２のＯＳ１２１は上述したように汎用ＯＳであり、汎用ＯＳで動作する一般的なソフトウェアプログラムがそのまま第２のＯＳ１２１上で実行される。この実施形態では、第２のＯＳ１２１上では、オーディオ編集アプリケーションプログラムＰＲＧ５に従いオーディオ編集アプリケーション１２２（例えばＣｕｂａｓｅ（登録商標）等）が実行される。また、この実施形態では、ユーザの操作に応じてマウス、キーボード、タッチパネル等の操作入力デバイスからコンピュータ装置１に入力される割込信号は、その他のデバイス５０Ｖを介して全て第２のＯＳ１２１に供給される。従って、ユーザの操作に応じた割り込み処理等が、第１のＯＳ１１１において実行される処理に影響を与えることはない。なお、音響信号処理エンジン１１２は第１のＯＳ１１１上で動作するソフトウェアプログラムであれば行う音響処理の種別等は限定されず、同様に、オーディオ編集アプリケーション１２２は第２のＯＳ１２１上で動作するソフトウェアプログラムであれば行う音響処理の種別等は限定されない。また、音響信号処理エンジン１１２およびオーディオ編集アプリケーション１２２は各種エフェクト等の音響処理機能を追加および削除可能としたプラグイン形式のモジュールに従い音響処理を実行するものであってもよい。   On the other hand, the second OS 121 is a general-purpose OS as described above, and a general software program that runs on the general-purpose OS is directly executed on the second OS 121. In this embodiment, an audio editing application 122 (for example, Cubase (registered trademark)) is executed on the second OS 121 in accordance with the audio editing application program PRG5. In this embodiment, all interrupt signals input to the computer apparatus 1 from operation input devices such as a mouse, a keyboard, and a touch panel in accordance with user operations are supplied to the second OS 121 via the other devices 50V. Is done. Therefore, an interrupt process or the like according to a user operation does not affect the process executed in the first OS 111. The acoustic signal processing engine 112 is not limited as long as it is a software program that operates on the first OS 111, and similarly, the audio editing application 122 is a software program that operates on the second OS 121. If so, the type of acoustic processing to be performed is not limited. Further, the sound signal processing engine 112 and the audio editing application 122 may execute sound processing according to a plug-in module in which sound processing functions such as various effects can be added and deleted.

本実施形態において、音響信号処理エンジン１１２に従い動作する第１の仮想機械ＶＭ１とオーディオ編集アプリケーション１２２に従い動作する第２の仮想機械ＶＭ２との間の音響信号の伝送は、仮想オーディオＩ／Ｆ３３１および仮想オーディオＩ／Ｆ３３２を介して行われる。図３は、第１の仮想機械ＶＭ１と第２の仮想機械ＶＭ２との間で行われる音響信号の伝送の仕組みを説明するために、コンピュータ装置１が有するリソースと上記各仮想機械上にて実行されるソフトウェアコンポーネントとのうち信号の伝送に関与する部分を示した図である。   In the present embodiment, the transmission of the acoustic signal between the first virtual machine VM1 that operates according to the acoustic signal processing engine 112 and the second virtual machine VM2 that operates according to the audio editing application 122 is performed by the virtual audio I / F 331 and the virtual This is performed via the audio I / F 332. FIG. 3 illustrates the resources of the computer device 1 and the above-described virtual machines in order to explain the mechanism of transmission of the acoustic signal performed between the first virtual machine VM1 and the second virtual machine VM2. It is the figure which showed the part which is concerned with transmission of a signal among software components to be performed.

図３において、第１の仮想機械ＶＭ１上で実行されるオーディオＩ／Ｏドライバ１１６はオーディオＩ／Ｆ４０Ｖ（図２参照）による音響信号の入出力を制御するドライバであり、例えばＡＬＳＡ（Advanced Linux（登録商標） Sound Architecture）やＡＳＩＯ（Audio Stream Input Output）等のコンポーネントである。オーディオＩ／Ｏドライバ１１６が制御するオーディオＩ／Ｆ４０ＶはオーディオＩ／Ｆ４０が仮想化されたものであり、オーディオＩ／Ｆ４０には通信ケーブル等の伝送路２を介して外部のオーディオ機器等が接続される。従って、音響信号処理エンジン１１２はオーディオＩ／Ｏドライバ１１６を用いて、外部のオーディオ機器等との間で伝送路２を介した通常の音響信号の送受信を行うことができる。   In FIG. 3, an audio I / O driver 116 executed on the first virtual machine VM1 is a driver that controls input / output of an acoustic signal by the audio I / F 40V (see FIG. 2). For example, ALSA (Advanced Linux ( Components such as (registered trademark) Sound Architecture) and ASIO (Audio Stream Input Output). The audio I / F 40V controlled by the audio I / O driver 116 is a virtualized audio I / F 40. An external audio device or the like is connected to the audio I / F 40 via a transmission path 2 such as a communication cable. Is done. Therefore, the acoustic signal processing engine 112 can transmit and receive a normal acoustic signal via the transmission path 2 with an external audio device or the like using the audio I / O driver 116.

第１の仮想機械ＶＭ１が備える仮想オーディオＩ／Ｏドライバ１１９は仮想オーディオＩ／Ｆ３３１による音響信号の入出力を制御するドライバである。同様に、第２の仮想機械ＶＭ２が備える仮想オーディオＩ／Ｏドライバ１２９は仮想オーディオＩ／Ｆ３３２による音響信号の入出力を制御するドライバである。   The virtual audio I / O driver 119 included in the first virtual machine VM1 is a driver that controls input / output of acoustic signals by the virtual audio I / F 331. Similarly, the virtual audio I / O driver 129 included in the second virtual machine VM2 is a driver that controls input / output of acoustic signals by the virtual audio I / F 332.

メモリＡＰＩ１３３およびメモリＡＰＩ１３４は、仮想オーディオＩ／Ｆ３３１および仮想オーディオＩ／Ｆ３３２を構成しており、各仮想機械からメモリ３４に対してデータの読み書きを行うためのインタフェースである。仮想オーディオＩ／Ｏドライバ１１９は音響信号処理エンジン１１２から音響信号の入出力の指示を受けると、メモリＡＰＩ１３３を用いて、メモリ３４上に確保されている伝送用バッファである共有メモリ領域３３に対する音響信号の読み書きを行う。同様に、仮想オーディオＩ／Ｏドライバ１２９はオーディオ編集アプリケーション１２２から音響信号の入出力の指示を受けると、メモリＡＰＩ１３４を用いて、伝送用バッファである共有メモリ領域３３に対する音響信号の読み書きを行う。その結果、第１の仮想機械ＶＭ１と第２の仮想機械ＶＭ２との間で、共有メモリ領域３３を用いた音響信号用の伝送路３が構築される。なお、この実施形態では、オーディオＩ／Ｆ４０が音響信号の伝送におけるクロックマスタとなり、オーディオＩ／Ｆ４０のクロック発信源が発するクロックに同期して、コンピュータ装置１と外部機器との間の音響信号の伝送、および、伝送路３を介した第１の仮想機械ＶＭ１と第２の仮想機械ＶＭ２との間の音響信号の伝送がなされる。仮想オーディオＩ／Ｆ３３１はオーディオＩ／Ｆ４０のクロック発信源が発したクロックと同期し、当該クロックは伝送路３を介して仮想オーディオＩ／Ｆ３３１から仮想オーディオＩ／Ｆ３３２に伝搬され、仮想オーディオＩ／Ｆ３３２は当該クロックに同期する。   The memory API 133 and the memory API 134 constitute a virtual audio I / F 331 and a virtual audio I / F 332, and are interfaces for reading / writing data from / to the memory 34 from each virtual machine. When the virtual audio I / O driver 119 receives an instruction to input / output an acoustic signal from the acoustic signal processing engine 112, the virtual audio I / O driver 119 uses the memory API 133 to generate an acoustic for the shared memory area 33 that is a transmission buffer secured on the memory 34. Read and write signals. Similarly, when the virtual audio I / O driver 129 receives an instruction to input / output an acoustic signal from the audio editing application 122, the virtual audio I / O driver 129 uses the memory API 134 to read / write the acoustic signal to / from the shared memory area 33 that is a transmission buffer. As a result, the acoustic signal transmission path 3 using the shared memory area 33 is constructed between the first virtual machine VM1 and the second virtual machine VM2. In this embodiment, the audio I / F 40 becomes a clock master in the transmission of the acoustic signal, and the acoustic signal between the computer apparatus 1 and the external device is synchronized with the clock generated by the clock transmission source of the audio I / F 40. Transmission and transmission of an acoustic signal between the first virtual machine VM1 and the second virtual machine VM2 via the transmission path 3 are performed. The virtual audio I / F 331 is synchronized with the clock generated by the clock source of the audio I / F 40, and the clock is propagated from the virtual audio I / F 331 to the virtual audio I / F 332 via the transmission path 3. F332 is synchronized with the clock.

仮想オーディオＩ／Ｏドライバ１１９および１２９は、データの読み書き先が通常のオーディオＩ／Ｆ４０が仮想化されたものではなく、共有メモリ領域に対しデータの読み書きを指示するメモリＡＰＩである点を除き、既存のオーディオＩ／Ｏドライバ（例えば、オーディオＩ／Ｏドライバ１１６）と同様に構成することができる。具体的には、第１のＯＳ１１１およびその上で動作する音響信号処理エンジン１１２からみると、オーディオＩ／Ｏドライバ１１６を介して外部のオーディオ機器等との通信接続が確立されており、仮想オーディオＩ／Ｏドライバ１１９を介して第２の仮想機械ＶＭ２との通信接続が確立されていると認識されるだけである。また、第２のＯＳ１２１およびその上で動作するオーディオ編集アプリケーション１２２からみると、仮想オーディオＩ／Ｏドライバ１２９を介して第１の仮想機械ＶＭ１との通信接続が確立されていると認識されるだけである。従って、仮想オーディオＩ／Ｏドライバ１１９および１２９は、ＡＬＳＡやＡＳＩＯ等の任意の仕様あるいは規格等に準拠して構成することができる。このように、各ＯＳおよびそれらのＯＳ上で動作しているソフトウェアコンポーネントからすれば、通常の通信ケーブル等を用いた伝送路（例えば伝送路２）を介した外部機器との間のデータ伝送と、共有メモリ領域３３を用いた伝送路３を介した仮想機械間のデータ伝送とで異なる処理実装を行う必要が無い。   The virtual audio I / O drivers 119 and 129, except that the data read / write destination is not a virtual audio I / F 40, but a memory API that instructs the shared memory area to read / write data, It can be configured in the same manner as an existing audio I / O driver (for example, the audio I / O driver 116). Specifically, when viewed from the first OS 111 and the acoustic signal processing engine 112 operating on the first OS 111, a communication connection with an external audio device or the like is established via the audio I / O driver 116, and virtual audio is established. It is only recognized that a communication connection with the second virtual machine VM2 is established via the I / O driver 119. Further, when viewed from the second OS 121 and the audio editing application 122 operating on the second OS 121, it is only recognized that the communication connection with the first virtual machine VM1 is established via the virtual audio I / O driver 129. It is. Therefore, the virtual audio I / O drivers 119 and 129 can be configured based on any specification or standard such as ALSA or ASIO. In this way, according to each OS and software components operating on those OSs, data transmission with an external device via a transmission line (for example, transmission line 2) using a normal communication cable or the like is possible. There is no need to implement different processing for data transmission between virtual machines via the transmission path 3 using the shared memory area 33.

２．動作
２−１．ブート処理
次に、コンピュータ装置１の動作を説明する。図４は、利用者によってコンピュータ装置１の電源がＯＮされた際に実行されるブート処理のフローチャートである。利用者によってコンピュータ装置１の電源がＯＮされると、管理ＯＳ１３１が起動する（ステップＳ１）。管理ＯＳ１３１は、仮想化支援コンポーネント１３２を構築し（ステップＳ２）、ハードウェアの仮想化の準備を行う。次いで、管理ＯＳ１３１はメモリ２０から設定ファイル等を読み出す（ステップＳ３）。この設定ファイルには、構築する仮想機械の数や、確保する共有メモリ領域のサイズ、各仮想機械に割り当てるリソース（プロセッサコア、Ｉ／Ｆ、メモリ領域等）の定義等が含まれる。管理ＯＳ１３１は、設定ファイルに従って共有メモリ領域３３を確保する（ステップＳ４）とともに、第１の仮想機械ＶＭ１、第２の仮想機械ＶＭ２を構築する（ステップＳ５）。具体的には、ステップＳ５において、プロセッサコア１０1、１０2、１０3、１０4を各仮想機械にアサインする処理、Ｉ／Ｆを介したデバイス等からの割り込みリクエストを対応する仮想機械のプロセッサコアにアサインする処理、メモリＡＰＩ１３３および１３４が共有メモリ領域３３にアクセスするためのアドレスマップや割り込みリクエストを準備する処理等が行われる。その結果、リソース群ＲＳ１０に含まれる、コンピュータ装置１が実際に備えるリソースが仮想化され、リソース群ＲＳ１１およびリソース群ＲＳ１２に含まれる、仮想的なリソースが提供される。 2. Operation 2-1. Next, the operation of the computer apparatus 1 will be described. FIG. 4 is a flowchart of a boot process executed when the computer device 1 is powered on by the user. When the computer device 1 is turned on by the user, the management OS 131 is activated (step S1). The management OS 131 constructs the virtualization support component 132 (step S2) and prepares for hardware virtualization. Next, the management OS 131 reads a setting file and the like from the memory 20 (step S3). This setting file includes the number of virtual machines to be constructed, the size of the shared memory area to be secured, the definition of resources (processor core, I / F, memory area, etc.) allocated to each virtual machine, and the like. The management OS 131 secures the shared memory area 33 according to the setting file (step S4) and constructs the first virtual machine VM1 and the second virtual machine VM2 (step S5). Specifically, in step S5, a process of assigning the processor cores 10 1 , 10 2 , 10 3 , 10 4 to each virtual machine, a processor of the virtual machine corresponding to an interrupt request from a device or the like via the I / F Processing for assigning to the core, processing for preparing an address map and an interrupt request for the memory APIs 133 and 134 to access the shared memory area 33, and the like are performed. As a result, the resources actually included in the computer device 1 included in the resource group RS10 are virtualized, and virtual resources included in the resource group RS11 and the resource group RS12 are provided.

次いで、管理ＯＳ１３１は第１のＯＳ１１１と第２のＯＳ１２１の起動を指示する（ステップＳ６）。管理ＯＳ１３１の指示に従い、第１のＯＳ１１１と第２のＯＳ１２１はそれぞれの設定に従って起動処理を行う（ステップＳ７）。その後、管理ＯＳ１３１はこれらのＯＳの監視を行う。   Next, the management OS 131 instructs the first OS 111 and the second OS 121 to start (step S6). In accordance with the instruction from the management OS 131, the first OS 111 and the second OS 121 perform a startup process according to their settings (step S7). Thereafter, the management OS 131 monitors these OSs.

２−２．仮想機械間におけるデータ伝送処理
次に、共有メモリ領域３３を用いて構築される伝送路３を介した仮想機械間のデータ伝送に伴う動作について説明する。以下の説明では、第１のＯＳ１１１および第２のＯＳ１２１は２４ｂｉｔ／９６ｋＨｚの音響信号を処理するものとする。第１のＯＳ１１１側においては、リアルタイムにデータ伝送が行われ、第１のＯＳ１１１側のレイテンシとしては２ｍｓ（１９２サンプル分の時間）が設定されているものとする。一方、第２のＯＳ１２１側においては割り込み等により各種処理や読み／書きが第１のＯＳ１１１側と同等の時間内には完了しない場合があるため、第２のＯＳ１２１側のレイテンシとして、第２のＯＳ１２１の通常の稼動状況であれば問題なく応答できる時間として、第１のＯＳ１１１側のレイテンシの８倍である１６ｍｓ（１５３６サンプル分の時間）が設定されているものとする。 2-2. Data Transmission Processing Between Virtual Machines Next, an operation associated with data transmission between virtual machines via the transmission path 3 constructed using the shared memory area 33 will be described. In the following description, it is assumed that the first OS 111 and the second OS 121 process a 24-bit / 96 kHz acoustic signal. It is assumed that data transmission is performed in real time on the first OS 111 side, and 2 ms (time corresponding to 192 samples) is set as the latency on the first OS 111 side. On the other hand, on the second OS 121 side, various processes and reading / writing may not be completed within the same time as the first OS 111 side due to an interrupt or the like. Therefore, as the latency on the second OS 121 side, Assume that 16 ms (a time corresponding to 1536 samples), which is eight times the latency on the first OS 111 side, is set as a time during which the OS 121 can respond without any problem in a normal operating state.

第１のＯＳ１１１は仮想オーディオＩ／Ｏドライバ１１９のために、レイテンシ２ｍｓ分の音響信号を蓄積できるだけのサイズ、すなわち、２４×９６０００×（２／１０００）＝４６０８ｂｉｔ／ｃｈのバッファをメモリ３１Ｖ上に確保する。また、第２のＯＳ１２１は、仮想オーディオＩ／Ｏドライバ１２９のために、その８倍の３６８６４ｂｉｔ／ｃｈのバッファをメモリ３２Ｖ上に確保する。なお、第１のＯＳ１１１および第２のＯＳ１２１が確保するこれらのバッファはダブルバッファ構成であってもよい。その場合、それらのバッファに要するメモリ領域のサイズは倍となる。以下の説明では、第１のＯＳ１１１側及び第２のＯＳ１２１側の各々における伝送単位を「フレーム」と呼ぶ。従って、第１のＯＳ１１１側のフレームのデータサイズは１９２サンプル分のサイズ（４６０８ｂｉｔ）であり、第２のＯＳ１２１側のフレームのデータサイズはその８倍の１５３６サンプル分のデータサイズ（３６８６４ｂｉｔ）である。また、説明の便宜上、共有メモリ領域３３を第１のＯＳ１１１側のフレームのデータサイズに区分した各々を「ブロック」と称する。従って、ブロックのサイズは第１のＯＳ１１１のフレームのサイズと同一であり、この場合、１９２サンプル分のサイズ（４６０８ｂｉｔ）である。   For the virtual audio I / O driver 119, the first OS 111 has a buffer of a size that can store an acoustic signal corresponding to a latency of 2 ms, that is, a buffer of 24 × 96000 × (2/1000) = 4608 bits / ch on the memory 31V. Secure. The second OS 121 reserves a buffer of 36864 bits / ch on the memory 32V for the virtual audio I / O driver 129, which is eight times that of the buffer. Note that these buffers reserved by the first OS 111 and the second OS 121 may have a double buffer configuration. In that case, the size of the memory area required for these buffers is doubled. In the following description, a transmission unit on each of the first OS 111 side and the second OS 121 side is referred to as a “frame”. Therefore, the data size of the frame on the first OS 111 side is a size of 192 samples (4608 bits), and the data size of the frame on the second OS 121 side is 8 times the data size of 1536 samples (36864 bits). . For convenience of explanation, each of the shared memory area 33 divided into data sizes of frames on the first OS 111 side is referred to as a “block”. Therefore, the block size is the same as the frame size of the first OS 111, and in this case, the size is 192 samples (4608 bits).

また、ブート処理において、管理ＯＳ１３１が読み出す設定ファイルには共有メモリ領域３３として確保すべきメモリのサイズが定義されており、管理ＯＳ１３１はこれに従って共有メモリ領域３３を確保する。ブート処理において確保された共有メモリ領域３３には、仮想オーディオＩ／Ｆ３３１から仮想オーディオＩ／Ｆ３３２への音響信号の第１の伝送用バッファと、仮想オーディオＩ／Ｆ３３２から仮想オーディオＩ／Ｆ３３１への音響信号の第２の伝送用バッファ（以下、第１の伝送用バッファおよび第２の伝送用バッファを区別しない場合これらを総称して「伝送用バッファ」と呼ぶ）とが設けられる。上述したように、伝送用バッファは、第１のＯＳ１１１側の仮想オーディオＩ／Ｏドライバ１１９と、第２のＯＳ１２１側の仮想オーディオＩ／Ｏドライバ１２９の両方が、同期してデータの読み書きを行うことによりデータ伝送を行うために用いられる。そのため、双方の伝送が破綻することがないよう、伝送用バッファのサイズは仮想オーディオＩ／Ｏドライバ１１９用に確保されるバッファのサイズと仮想オーディオＩ／Ｏドライバ１２９用に確保されるバッファのサイズの公倍数以上である必要があり、メモリリソースの有効利用の観点から、それらの最小公倍数であることが望ましい。この場合、管理ＯＳ１３１により共有メモリ領域３３上に確保される第１の伝送用バッファおよび第２の伝送用バッファのサイズは各々３６８６４ｂｉｔ／ｃｈとなる。なお、伝送用バッファはダブルバッファ構成であってもよい。その場合、それらのバッファに要するメモリ領域のサイズは倍となる。   In the boot process, the size of the memory to be secured as the shared memory area 33 is defined in the setting file read by the management OS 131, and the management OS 131 secures the shared memory area 33 accordingly. The shared memory area 33 secured in the boot process includes a first transmission buffer for acoustic signals from the virtual audio I / F 331 to the virtual audio I / F 332, and a virtual audio I / F 332 to the virtual audio I / F 331. A second transmission buffer for acoustic signals (hereinafter referred to collectively as “transmission buffer” when the first transmission buffer and the second transmission buffer are not distinguished from each other) is provided. As described above, in the transmission buffer, both the virtual audio I / O driver 119 on the first OS 111 side and the virtual audio I / O driver 129 on the second OS 121 side read and write data synchronously. This is used for data transmission. For this reason, the size of the transmission buffer is the size of the buffer reserved for the virtual audio I / O driver 119 and the size of the buffer reserved for the virtual audio I / O driver 129 so that both transmissions do not fail. Must be equal to or greater than the common multiple of the number, and is preferably the least common multiple of them from the viewpoint of effective use of memory resources. In this case, the sizes of the first transmission buffer and the second transmission buffer secured on the shared memory area 33 by the management OS 131 are each 36864 bits / ch. The transmission buffer may have a double buffer configuration. In that case, the size of the memory area required for these buffers is doubled.

次いで、第１の仮想機械ＶＭ１と第２の仮想機械ＶＭ２との間のデータ伝送処理が行われる際に伝送用バッファに対しデータの読み書きが行われる様子を説明する。図５はダブルバッファとして構成された１ｃｈ分の伝送用バッファに対するデータの読み書き位置の一例を示した図である。図５において、Ａ面およびＢ面はダブルバッファの各面を示している。Ａ面およびＢ面は各々、図５において０〜１５の番号で示される１６個のブロック（以下、「ブロック［０］」のようにいう）と、ｆｌｇで示される通知用のフラグ領域を含んでいる。ブロック［０］〜［７］は第１の伝送用バッファであり、ブロック［８］〜［１５］は第２の伝送用バッファである。なお、図５において、ｄ［ｉ］は時刻ｔ＝ｉのタイミングで第１のＯＳ１１１側から書き込まれたデータを示し、ｗ［ｉ〜ｉ＋７］は時刻ｔ＝ｉ〜ｉ＋７の期間中の何れかのタイミングで第２のＯＳ１２１側から書き込まれたデータを示している。ここで時刻ｔは第１の仮想機械ＶＭ１が伝送用バッファに読み書きを行うフレームのサイズ（２ｍｓ）を単位時間とした時刻である。   Next, how data is read from and written to the transmission buffer when data transmission processing between the first virtual machine VM1 and the second virtual machine VM2 is performed will be described. FIG. 5 is a diagram showing an example of a data read / write position with respect to a transmission buffer for one channel configured as a double buffer. In FIG. 5, A side and B side show each side of the double buffer. Each of the A side and the B side includes 16 blocks (hereinafter referred to as “block [0]”) indicated by numbers 0 to 15 in FIG. 5 and a notification flag area indicated by flg. It is out. Blocks [0] to [7] are first transmission buffers, and blocks [8] to [15] are second transmission buffers. In FIG. 5, d [i] indicates data written from the first OS 111 side at time t = i, and w [i to i + 7] is any of the periods from time t = i to i + 7. Data written from the second OS 121 side at the timing shown in FIG. Here, the time t is a time in which the size (2 ms) of the frame in which the first virtual machine VM1 reads / writes to / from the transmission buffer is used as a unit time.

フラグ領域ｆｌｇは、Ａ面とＢ面のいずれに現在データが読み書きされているかを示すフラグを格納する領域である。フラグ領域ｆｌｇに値「０」が格納されている場合、そのフラグは第１のＯＳ１１１がＢ面にデータの読み書きを行っており、第２のＯＳ１２１がＡ面にデータを読み書き可能であることを示す。一方、フラグ領域ｆｌｇに値「１」が格納されている場合、そのフラグは第１のＯＳ１１１がＡ面にデータの読み書きを行っており、第２のＯＳ１２１がＢ面にデータを読み書き可能であることを示す。第１のＯＳ１１１側の処理として、フラグ領域ｆｌｇのフラグは第１のＯＳ１１１によりＡ面もしくはＢ面の最後のブロックへのデータの読み書きが完了した時点で、メモリＡＰＩ１３３を用いてフラグ領域ｆｌｇのフラグの値を更新する。管理ＯＳ１３１はフラグ領域ｆｌｇのフラグを監視しており、フラグの更新が行われると第２のＯＳ１２１に対し、更新後のフラグに応じた面に対するデータの読み書きの開始を通知する。その結果、第１のＯＳ１１１と第２のＯＳ１２１との間で同じブロックに対するデータの読み書きが同時期に発生することはない。   The flag area flg is an area for storing a flag indicating whether data is currently being read or written on the A side or the B side. When the value “0” is stored in the flag area flg, the flag indicates that the first OS 111 is reading / writing data on the B side and the second OS 121 is capable of reading / writing data on the A side. Show. On the other hand, when the value “1” is stored in the flag area flg, the first OS 111 reads / writes data from / to the A side and the second OS 121 can read / write data from / to the B side. It shows that. As processing on the first OS 111 side, the flag in the flag area flg is set by using the memory API 133 when the first OS 111 completes reading and writing of data to the last block on the A side or B side. Update the value of. The management OS 131 monitors the flag in the flag area flg. When the flag is updated, the management OS 131 notifies the second OS 121 of the start of data reading / writing on the surface corresponding to the updated flag. As a result, data reading / writing with respect to the same block does not occur at the same time between the first OS 111 and the second OS 121.

図５（ａ）〜（ｅ）の各々は、時刻ｔのタイミングにおける伝送用バッファの状態を示し、白抜きの矢印が第１のＯＳ１１１側によるデータの読み書きの領域を、また斜線の矢印が第２のＯＳ１２１側によるデータの読み書きの領域を示している。例えば、時刻ｔ＝１６のタイミング（図５（ａ））において、フラグ領域ｆｌｇには「１」が格納されており、第１のＯＳ１１１はＡ面のブロック［０］にデータを書き込むとともに、Ａ面のブロック［８］からデータを読み出す。次の時刻ｔ＝１７のタイミング（図５（ｂ））において、第１のＯＳ１１１はＡ面のブロック［１］にデータを書き込むとともに、Ａ面のブロック［９］からデータを読み出す。このように、第１のＯＳ１１１側ではフレーム単位で読み書き対象のブロック位置を移動させながらＡ面に対するデータの読み書きが時刻ｔ＝２３まで繰り返される。   Each of FIGS. 5A to 5E shows the state of the transmission buffer at the timing t, and the white arrow indicates the data read / write area on the first OS 111 side, and the hatched arrow indicates the first. 2 shows a data read / write area by the OS 121 side. For example, at the timing of time t = 16 (FIG. 5A), “1” is stored in the flag area flg, and the first OS 111 writes data to the block [0] on the A side and Read data from surface block [8]. At the next timing t = 17 (FIG. 5B), the first OS 111 writes data to the A-side block [1] and reads data from the A-side block [9]. As described above, on the first OS 111 side, the reading / writing of data with respect to the A surface is repeated until time t = 23 while moving the block position to be read / written in units of frames.

上記のように、第１のＯＳ１１１によりＡ面に対するデータの読み書きが行われている時刻ｔ＝１６〜２３の間、第２のＯＳ１２１側では仮想オーディオＩ／Ｏドライバ１２９から供給されるクロックに同期した第２のＯＳ１２１側のフレームの期間内（１６ｍｓ）に、Ｂ面に対するデータの読み書きが行われる。第２のＯＳ１２１のフレームのサイズは第１のＯＳ１１１のフレームのサイズの８倍であるため、第２のＯＳ１２１側では８ブロック分のデータがまとめて読み書きされる。   As described above, the second OS 121 is synchronized with the clock supplied from the virtual audio I / O driver 129 during the time t = 16 to 23 when data is read from and written to the A plane by the first OS 111. During the frame period (16 ms) on the second OS 121 side, data is read from and written to the B side. Since the size of the frame of the second OS 121 is eight times the size of the frame of the first OS 111, data for eight blocks are collectively read and written on the second OS 121 side.

第１のＯＳ１１１側では、時刻ｔ＝２３のタイミングにおいてＡ面のブロック［７］に対するデータの書き込みとＡ面のブロック［１５］からのデータの読み出しが完了すると、メモリＡＰＩ１３３が用いられてフラグ領域ｆｌｇのフラグの値が「０」に書き換えられる。このフラグの更新に応じて、管理ＯＳ１３１は第２のＯＳ１２１に対し、データの読み書き対象をＢ面からＡ面に変更するように通知する。   On the first OS 111 side, when the writing of data to the A-side block [7] and the reading of the data from the A-side block [15] are completed at time t = 23, the memory API 133 is used to set the flag area. The value of the flag of flg is rewritten to “0”. In response to this flag update, the management OS 131 notifies the second OS 121 to change the data read / write target from the B side to the A side.

その後、時刻ｔ＝２４のタイミング（図５（ｃ））において、第１のＯＳ１１１はＢ面のブロック［０］にデータを書き込むとともに、Ｂ面のブロック［８］からデータを読み出す。以降、第１のＯＳ１１１側ではフレーム毎に読み書き対象のブロック位置を移動しながらＢ面に対するデータの読み書きが時刻ｔ＝３１のタイミング（図５（ｄ））まで繰り返される。また、第２のＯＳ１２１側では、時刻ｔ＝２４〜３１の期間内に、Ａ面に対するデータの読み書きが行われる。   Thereafter, at the timing of time t = 24 (FIG. 5C), the first OS 111 writes data into the block [0] on the B surface and reads data from the block [8] on the B surface. Thereafter, on the first OS 111 side, the reading / writing of data with respect to the B surface is repeated until the timing of time t = 31 (FIG. 5D) while moving the block position to be read / written for each frame. On the second OS 121 side, data is read from and written to the A plane within a period of time t = 24 to 31.

第１のＯＳ１１１側では、時刻ｔ＝３１のタイミングにおいてＢ面のブロック［７］に対するデータの書き込みとＢ面のブロック［１５］からのデータの読み出しが完了すると、メモリＡＰＩ１３３が用いられてフラグ領域ｆｌｇのフラグの値が「１」に書き換えられる。このフラグの更新に応じて、管理ＯＳ１３１は第２のＯＳ１２１に対し、データの読み書き対象をＡ面からＢ面に変更するように通知する。その後、図５（ｅ）に示されるように、第１のＯＳ１１１および第２のＯＳ１２１によるデータの読み書きの対象面が再び変更され、時刻ｔ＝１６〜３１までと同様の処理が以降繰り返される。   On the first OS 111 side, when the writing of data to the B-side block [7] and the reading of data from the B-side block [15] are completed at time t = 31, the memory API 133 is used to set the flag area. The value of the flag of flg is rewritten to “1”. In response to the update of the flag, the management OS 131 notifies the second OS 121 to change the data read / write target from the A side to the B side. After that, as shown in FIG. 5E, the data reading / writing target planes by the first OS 111 and the second OS 121 are changed again, and the same processing from time t = 16 to 31 is repeated thereafter.

３．構成例
第１の仮想機械ＶＭ１と第２の仮想機械ＶＭ２とは１つの統合されたシステムとして機能させることができる。この場合、各種処理は要求される低レイテンシの程度に応じて、第１の仮想機械ＶＭ１で動作する第１のＯＳ１１１と第２の仮想機械ＶＭ２で動作する第２のＯＳ１２１との間で適宜分担して行われることが望ましい。例えば、マイクから入力した音響信号の周波数特性を調整してスピーカから出力する等、信号処理の結果を直ちにユーザにフィードバックする必要のある処理（即時性を要する処理）をリアルタイムＯＳである第１のＯＳ１１１で実行し、マイクから入力した音響信号をオーディオデータファイルとして保存する等の即時性を要しない処理を汎用ＯＳである第２のＯＳ１２１で実行されるよう構成することが望ましい。以下にそのようなＯＳ間の処理分担の構成例を示す。 3. Configuration Example The first virtual machine VM1 and the second virtual machine VM2 can function as one integrated system. In this case, various processes are appropriately shared between the first OS 111 operating on the first virtual machine VM1 and the second OS 121 operating on the second virtual machine VM2 according to the required low latency level. It is desirable to be done as follows. For example, the first real-time OS is a process that requires immediate feedback of the signal processing result to the user (process that requires immediacy), such as adjusting the frequency characteristics of an acoustic signal input from a microphone and outputting the result from a speaker. It is desirable to configure the second OS 121, which is a general-purpose OS, to execute processing that does not require immediacy, such as saving an audio signal input from a microphone as an audio data file. A configuration example of such processing sharing between OSs is shown below.

３−１．構成例１
図６は第１のＯＳ１１１上で音響信号処理エンジン１１２がミキシング等の処理を施した音響信号を、第２のＯＳ１２１上でオーディオ編集アプリケーション１２２が記録するように構成したコンピュータ装置１における音響信号の処理の流れを示した図である。 3-1. Configuration example 1
FIG. 6 shows the acoustic signal of the computer apparatus 1 configured such that the audio editing application 122 records on the second OS 121 the acoustic signal processed by the acoustic signal processing engine 112 on the first OS 111. It is the figure which showed the flow of the process.

図６において、外部機器（マイク等）から複数チャンネルの音響信号が同時にオーディオＩ／Ｏドライバ１１６に入力される（Ｓ１０１）と、オーディオＩ／Ｏドライバ１１６は入力された音響信号を音響信号処理エンジン１１２に供給する（Ｓ１０２）。   In FIG. 6, when audio signals of a plurality of channels are simultaneously input from an external device (such as a microphone) to the audio I / O driver 116 (S101), the audio I / O driver 116 converts the input audio signal into an audio signal processing engine. 112 (S102).

音響信号処理エンジン１１２は、供給された音響信号に対して周波数特性の調整やミキシング等の信号処理を施した後、仮想オーディオＩ／Ｏドライバ１１９に供給する（Ｓ１０３）。仮想オーディオＩ／Ｏドライバ１１９は供給された音響信号を出力する。仮想オーディオＩ／Ｏドライバ１１９から出力された音響信号は共有メモリ領域３３を用いて構築された伝送路を介して仮想オーディオＩ／Ｏドライバ１２９に入力される（Ｓ１０４）。仮想オーディオＩ／Ｏドライバ１２９は入力された音響信号をオーディオ編集アプリケーション１２２に供給する（Ｓ１０５）。オーディオ編集アプリケーション１２２は供給された音響信号（すなわち第１の仮想機械ＶＭ１から伝送されてきた音響信号）をメモリ３２Ｖに記録（すなわち録音）する。   The acoustic signal processing engine 112 performs signal processing such as frequency characteristic adjustment and mixing on the supplied acoustic signal, and then supplies it to the virtual audio I / O driver 119 (S103). The virtual audio I / O driver 119 outputs the supplied acoustic signal. The acoustic signal output from the virtual audio I / O driver 119 is input to the virtual audio I / O driver 129 via a transmission path constructed using the shared memory area 33 (S104). The virtual audio I / O driver 129 supplies the input acoustic signal to the audio editing application 122 (S105). The audio editing application 122 records (that is, records) the supplied acoustic signal (that is, the acoustic signal transmitted from the first virtual machine VM1) in the memory 32V.

３−２．構成例２
図７は、オーディオ編集アプリケーション１２２において再生された音響信号を音響信号処理エンジン１１２においてマイク等の外部機器から入力される音響信号とミキシング等した後、アンプ等の外部機器に出力するように構成したコンピュータ装置１における音響信号の処理の流れを示した図である。 3-2. Configuration example 2
FIG. 7 shows a configuration in which an acoustic signal reproduced by the audio editing application 122 is mixed with an acoustic signal input from an external device such as a microphone in the acoustic signal processing engine 112 and then output to an external device such as an amplifier. FIG. 6 is a diagram illustrating a flow of processing of an acoustic signal in the computer apparatus 1.

図７において、外部機器（マイク等）から音響信号がオーディオＩ／Ｏドライバ１１６に入力される（Ｓ２０１）。オーディオＩ／Ｏドライバ１１６は入力された音響信号を音響信号処理エンジン１１２に供給する（Ｓ２０２）。同時に、オーディオ編集アプリケーション１２２は、メモリ３２Ｖに記憶されている音響信号を読み出して再生する。オーディオ編集アプリケーション１２２によって再生された音響信号は、仮想オーディオＩ／Ｏドライバ１２９に供給され（Ｓ３０１）、共有メモリ領域３３を用いて構築された伝送路を介して仮想オーディオＩ／Ｏドライバ１１９に伝送され（Ｓ３０２）、音響信号処理エンジン１１２に供給される（Ｓ３０３）。   In FIG. 7, an acoustic signal is input from an external device (such as a microphone) to the audio I / O driver 116 (S201). The audio I / O driver 116 supplies the input acoustic signal to the acoustic signal processing engine 112 (S202). At the same time, the audio editing application 122 reads out and reproduces the acoustic signal stored in the memory 32V. The acoustic signal reproduced by the audio editing application 122 is supplied to the virtual audio I / O driver 129 (S301) and transmitted to the virtual audio I / O driver 119 via a transmission path constructed using the shared memory area 33. (S302) and supplied to the acoustic signal processing engine 112 (S303).

音響信号処理エンジン１１２は、ステップＳ２０２においてオーディオＩ／Ｏドライバ１１６から供給される音響信号とステップＳ３０３において仮想オーディオＩ／Ｏドライバ１１９から供給される音響信号とをミキシングし、ミキシングした音響信号をオーディオＩ／Ｏドライバ１１６と仮想オーディオＩ／Ｏドライバ１１９とに供給する（Ｓ４０１）。オーディオＩ／Ｏドライバ１１６に供給された音響信号は外部機器（アンプ等）に出力される（Ｓ４０２）。一方、仮想オーディオＩ／Ｏドライバ１１９に供給された音響信号は、共有メモリ領域３３を用いて構築された伝送路を介して仮想オーディオＩ／Ｏドライバ１２９に伝送され（Ｓ４０３）、オーディオ編集アプリケーション１２２に供給される（Ｓ４０４）。オーディオ編集アプリケーション１２２は、仮想オーディオＩ／Ｏドライバ１２９から供給される音響信号をメモリ３２Ｖに記録（すなわち録音）する。   The acoustic signal processing engine 112 mixes the acoustic signal supplied from the audio I / O driver 116 in step S202 and the acoustic signal supplied from the virtual audio I / O driver 119 in step S303, and converts the mixed acoustic signal into an audio. The data is supplied to the I / O driver 116 and the virtual audio I / O driver 119 (S401). The acoustic signal supplied to the audio I / O driver 116 is output to an external device (such as an amplifier) (S402). On the other hand, the acoustic signal supplied to the virtual audio I / O driver 119 is transmitted to the virtual audio I / O driver 129 via a transmission path constructed using the shared memory area 33 (S403), and the audio editing application 122 (S404). The audio editing application 122 records (that is, records) the acoustic signal supplied from the virtual audio I / O driver 129 in the memory 32V.

以上説明したように本実施形態では、コンピュータ装置上で各々独立して動作する複数のＯＳのうち少なくとも一方をリアルタイムＯＳとし、リアルタイムＯＳ上で低レイテンシの保証が求められる音響信号処理が行われ、他のＯＳにおいて即時性が求められない音響信号処理やＧＵＩ処理等が行われる。その結果、ＤＳＰ等のプロセッサを用いる場合と比較し低コストで低レイテンシが求められる音響信号処理が実現される。その際、ＯＳおよびＯＳ上で動作するアプリケーションは既存のものをそのまま用いることができるため、それらの開発コストも要しない。   As described above, in the present embodiment, at least one of a plurality of OSs that operate independently on a computer device is a real-time OS, and acoustic signal processing that requires guarantee of low latency is performed on the real-time OS. Acoustic signal processing, GUI processing, and the like that do not require immediateness in other OSs are performed. As a result, it is possible to realize acoustic signal processing that requires low latency and low latency compared to the case of using a processor such as a DSP. At that time, the OS and applications running on the OS can be used as they are, so that development costs are not required.

４．変形例
以上の実施形態は本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。尚、以下の変形例は適宜組み合わせられてもよい。 4). Modifications The above embodiment can be variously modified within the scope of the technical idea of the present invention. Examples of these modifications are shown below. The following modifications may be combined as appropriate.

上述の実施形態では、第１のＯＳ１１１をリアルタイムＯＳとし、低レイテンシが求められる信号処理をリアルタイムＯＳ上で実行される音響信号処理エンジン１１２にて行うものとしたが、リアルタイム用途に対応できる程度処理の応答速度が速いなど、音響信号処理に要求されるレイテンシが達成できる場合には、第１のＯＳ１１１を第２のＯＳ１２１と同様の汎用ＯＳとしてもよい。   In the above-described embodiment, the first OS 111 is the real-time OS, and the signal processing that requires low latency is performed by the acoustic signal processing engine 112 that is executed on the real-time OS. The first OS 111 may be a general-purpose OS similar to the second OS 121 when the latency required for the acoustic signal processing can be achieved, for example, when the response speed of the first OS 111 is high.

また、上述の実施形態では、第１のＯＳ１１１と第２のＯＳ１２１とに各々異なるプロセッサコアをアサインし、第１のＯＳ１１１と第２のＯＳ１２１とは、それぞれアサインされた異なるプロセッサコア上で実行される構成が採用されているが、第１のＯＳ１１１と第２のＯＳ１２１に対するプロセッサコアのアサインの方法はこれに限られない。例えば、管理ＯＳが時分割等により同じプロセッサコアを第１のＯＳ１１１と第２のＯＳ１２１にアサインする構成が採用されてもよい。   Further, in the above-described embodiment, different processor cores are assigned to the first OS 111 and the second OS 121, and the first OS 111 and the second OS 121 are executed on different assigned processor cores. However, the method of assigning the processor core to the first OS 111 and the second OS 121 is not limited to this. For example, a configuration in which the management OS assigns the same processor core to the first OS 111 and the second OS 121 by time division or the like may be employed.

また、上述の実施形態では、管理ＯＳ１３１は第２の仮想機械ＶＭ２にアサインされたプロセッサコアやメモリ領域等のリソースを共用するものとしたが、管理ＯＳ１３１は汎用ＯＳ上で動作するハイパーバイザに限られず、コンピュータ装置１のハードウェア上で直接動作するハイパーバイザとして構成されてもよい。また、管理ＯＳ１３１が利用するリソースは第２のＯＳ１２１が利用するリソースに限られず、第１のＯＳ１１１が利用するリソースを管理ＯＳ１３１が共用する構成や、他のいずれのＯＳにも利用されていないリソースを管理ＯＳ１３１が専有する構成が採用されてもよい。あるいは、第１のＯＳ１１１または第２のＯＳ１２１のいずれかが管理ＯＳ１３１としての機能を具備するホストＯＳとして構成し、他方のＯＳをホストＯＳにより管理されるゲストＯＳとして構成してもよい。ただし、第１の仮想機械ＶＭ１はプロセッサコアの一部を専有する等、第１のＯＳ１１１にて実行される音響信号処理の応答遅延の発生を防ぐことが望ましい。   In the above-described embodiment, the management OS 131 shares resources such as a processor core and a memory area assigned to the second virtual machine VM2, but the management OS 131 is not limited to a hypervisor that operates on a general-purpose OS. Instead, it may be configured as a hypervisor that directly operates on the hardware of the computer apparatus 1. Further, the resource used by the management OS 131 is not limited to the resource used by the second OS 121, but the resource used by the first OS 111 is shared by the management OS 131, or the resource is not used by any other OS. May be employed by the management OS 131. Alternatively, either the first OS 111 or the second OS 121 may be configured as a host OS having a function as the management OS 131, and the other OS may be configured as a guest OS managed by the host OS. However, it is desirable to prevent the occurrence of a response delay in the acoustic signal processing executed by the first OS 111, for example, the first virtual machine VM1 occupies a part of the processor core.

また、上述の実施形態では、コンピュータ装置１において２つの仮想機械が実現される構成が採用されているが、実現される仮想機械の数は３以上であってもよい。従って、それらの仮想機械上で実行されるＯＳの数もまた、３以上であってもよい。この場合、共有メモリ領域を利用した仮想伝送路３を各仮想機械間それぞれに設けることが望ましい。また、ひとつの仮想機械上で複数のＯＳが動作してもよい。   In the above-described embodiment, a configuration in which two virtual machines are realized in the computer apparatus 1 is employed, but the number of virtual machines to be realized may be three or more. Accordingly, the number of OSs executed on these virtual machines may also be three or more. In this case, it is desirable to provide the virtual transmission path 3 using the shared memory area between the virtual machines. A plurality of OSs may operate on one virtual machine.

また、上述の実施形態では、コンピュータ装置１のプロセッサ１０はプロセッサコアを４つ備えるものとしたが、コンピュータ装置１のプロセッサが備えるプロセッサコアの数は限定されず、複数の仮想機械のそれぞれに１又は複数のプロセッサコアが割り当てられるものであればよい。   In the above-described embodiment, the processor 10 of the computer apparatus 1 includes four processor cores. However, the number of processor cores included in the processor of the computer apparatus 1 is not limited, and 1 for each of a plurality of virtual machines. Or what is necessary is just to be able to allocate a plurality of processor cores.

また、上述の実施形態では、第１の仮想機械ＶＭ１および第２の仮想機械ＶＭ２は、起動後常時、仮想化支援コンポーネント１３２の制御下にあることが想定されているが、仮想化処理が完了後は第１の仮想機械ＶＭ１および第２の仮想機械ＶＭ２の一方もしくは両方が、仮想化支援コンポーネント１３２を迂回して直接リソースにアクセスする構成が採用されてもよい。この場合、管理ＯＳ１３１の介入が無い分、一般的に処理速度が速くなる。   In the above-described embodiment, it is assumed that the first virtual machine VM1 and the second virtual machine VM2 are always under the control of the virtualization support component 132 after startup, but the virtualization process is completed. Thereafter, a configuration in which one or both of the first virtual machine VM1 and the second virtual machine VM2 bypass the virtualization support component 132 and directly access the resource may be employed. In this case, since there is no intervention of the management OS 131, the processing speed is generally increased.

また、上述の実施形態では、共有メモリ領域３３上に確保された物理的に同一の伝送用バッファを第１のＯＳ１１１および第２のＯＳ１２１が共用する構成が採用されている。共有メモリ領域３３を用いた伝送路の構築の方法はそれに限られない。例えば、管理ＯＳ１３１が共有メモリ領域３３上に第１のＯＳ１１１用のバッファと第２のＯＳ１２１用のバッファを独立して確保し、管理ＯＳ１３１がそれらのバッファ間でデータをコピーすることによりＯＳ間のデータの共有を実現する構成など、他の構成が採用されてもよい。   In the above-described embodiment, a configuration is adopted in which the first OS 111 and the second OS 121 share the physically same transmission buffer secured on the shared memory area 33. The method of constructing a transmission path using the shared memory area 33 is not limited to that. For example, the management OS 131 independently secures a buffer for the first OS 111 and a buffer for the second OS 121 on the shared memory area 33, and the management OS 131 copies data between these buffers so that the OSs Other configurations such as a configuration for sharing data may be adopted.

また、上述の実施形態では、伝送用バッファに対する第１のＯＳ１１１および第２のＯＳ１２１によるデータの読み書きの制御としては、第１のＯＳ１１１により更新されるフラグを管理ＯＳ１３１が監視し、フラグの更新に応じて第２のＯＳ１２１に対し通知を行う構成が採用されている。管理ＯＳ１３１による伝送用バッファの制御の方法はこれに限られず、例えば管理ＯＳ１３１が第１のＯＳ１１１および第２のＯＳ１２１の伝送用バッファに対するデータの読み書き位置を監視し、一方のＯＳにより所定の領域に対するデータの読み書きが完了すると、他方のＯＳに対しその領域に対するデータの読み書きを開始するように通知する方法、あるいは、管理ＯＳを介さず、共有メモリ内に同期用のデータを配置し、第１のＯＳ１１１および第２のＯＳ１２１がそれぞれこの同期用のデータをポーリングすることでＯＳ間の同期をとる方法など、他の方法が採用されてもよい。   In the above-described embodiment, as control of data reading / writing by the first OS 111 and the second OS 121 with respect to the transmission buffer, the management OS 131 monitors the flag updated by the first OS 111 and updates the flag. Accordingly, a configuration in which notification is given to the second OS 121 is employed. The method of controlling the transmission buffer by the management OS 131 is not limited to this. For example, the management OS 131 monitors the read / write position of data in the transmission buffer of the first OS 111 and the second OS 121, and one OS controls a predetermined area. When the data read / write is completed, a method of notifying the other OS to start data read / write to the area, or the synchronization data is arranged in the shared memory without using the management OS, and the first Other methods such as a method in which the OS 111 and the second OS 121 respectively synchronize the OSs by polling the synchronization data may be adopted.

また、上述の実施形態では、第１の仮想機械ＶＭ１においてはオーディオＩ／Ｆ４０Ｖを発信源とするクロック信号が、また第２の仮想機械ＶＭ２においては仮想オーディオＩ／Ｆ３３２から供給されるクロック信号が処理の同期に利用される構成が採用されているが、各仮想機械がいずれのクロック信号を処理の同期に利用するかは任意に変更可能である。例えば、第１の仮想機械ＶＭ１がオーディオＩ／Ｆ４０Ｖを介してデータの送受信を行う外部のオーディオ機器等から受け取るクロック信号を処理の同期に用いる構成が採用されてもよい。   In the above-described embodiment, the first virtual machine VM1 has a clock signal originating from the audio I / F 40V, and the second virtual machine VM2 has a clock signal supplied from the virtual audio I / F 332. Although a configuration used for processing synchronization is adopted, it can be arbitrarily changed which clock signal each virtual machine uses for processing synchronization. For example, a configuration in which the first virtual machine VM1 uses a clock signal received from an external audio device or the like that transmits and receives data via the audio I / F 40V for processing synchronization may be employed.

また、上述の実施形態では、第１のＯＳ１１１および第２のＯＳ１２１に従い伝送用バッファに読み書きされるデータのサイズは各ＯＳにおいて設定されている音響信号の処理単位であるフレームのサイズであるものとしたが、伝送用バッファに読み書きするデータのサイズはフレームのサイズと異なってもよい。例えば、第２のＯＳ１２１に従い伝送用バッファに読み書きされるデータのサイズを、第１のＯＳ１１１に従い伝送用バッファに読み書きされるデータのサイズ（第１のＯＳ１１１におけるフレームサイズ）と同一にしてもよい。その場合、例えばメモリＡＰＩ１３４が、仮想オーディオＩ／Ｏドライバ１２９のバッファ（３６８６４ｂｉｔ）から２ｍｓのクロック周期毎に４６０８ｂｉｔずつデータを読み出し、伝送用バッファにそれらのデータを書き込むように構成すればよい。ただし、上述の実施形態のように第２のＯＳ１２１が汎用ＯＳである場合、ジッタの発生防止の観点からは、伝送用バッファへのデータの読み書きのサイズは大きい方が望ましい。   Further, in the above-described embodiment, the size of data read / written to / from the transmission buffer according to the first OS 111 and the second OS 121 is the size of a frame that is a sound signal processing unit set in each OS. However, the size of data read from or written to the transmission buffer may be different from the frame size. For example, the size of data read / written to / from the transmission buffer according to the second OS 121 may be the same as the size of data read / written from / to the transmission buffer according to the first OS 111 (frame size in the first OS 111). In this case, for example, the memory API 134 may be configured to read data from the buffer (36864 bits) of the virtual audio I / O driver 129 by 4608 bits every clock cycle of 2 ms and write the data to the transmission buffer. However, when the second OS 121 is a general-purpose OS as in the above-described embodiment, it is desirable that the size of data read / write to the transmission buffer is larger from the viewpoint of preventing the occurrence of jitter.

また、上述の実施形態では、第１の仮想機械ＶＭ１と第２の仮想機械ＶＭ２との間で双方向にデータを送受信する場合について説明したが、これに限らず、どちらか一方向のデータ伝送を行う構成であってもよい。例えば、仮想オーディオＩ／Ｆ３３１および３３２が、第１の仮想機械ＶＭ１から第２の仮想機械ＶＭ２へのデータ伝送のみを実現するものであってもよい。   In the above-described embodiment, a case has been described in which data is transmitted and received bidirectionally between the first virtual machine VM1 and the second virtual machine VM2. However, the present invention is not limited to this, and data transmission is performed in either direction. The structure which performs this may be sufficient. For example, the virtual audio I / Fs 331 and 332 may realize only data transmission from the first virtual machine VM1 to the second virtual machine VM2.

なお、本発明は、プログラム以外に、本発明にかかるプログラムに従いコンピュータが行う処理の方法や、本発明にかかるプログラムがコンピュータに読み取り可能に記録された記録媒体も提供する。また、本発明にかかるプログラムは、記録媒体に記録されてユーザに提供される以外に、インターネット等のネットワークを介して端末装置にダウンロードされることでユーザに提供されてもよい。また、本発明は、本発明にかかるプログラムに従って動作する音響信号処理装置も提供する。   In addition to the program, the present invention also provides a method of processing performed by the computer according to the program according to the present invention and a recording medium on which the program according to the present invention is recorded so as to be readable by the computer. In addition to being recorded on a recording medium and provided to the user, the program according to the present invention may be provided to the user by being downloaded to a terminal device via a network such as the Internet. The present invention also provides an acoustic signal processing apparatus that operates according to the program according to the present invention.

本発明にかかるプログラムに従って動作する音響信号処理装置は、第１のＯＳ１１１、第２のＯＳ１２１、管理ＯＳ１３１がＥＰＲＯＭ等にユーザにより書き換え不可能に記憶され、装置の起動に伴いそれらのＯＳが起動して音響信号処理装置が構築される組み込みシステムとして構成されてもよい。また、この場合において、第１のＯＳ１１１や第２のＯＳ１２１上で実行されるアプリケーションプログラム（音響信号処理エンジン１１２、オーディオ編集アプリケーション１２２等）がＥＰＲＯＭ等にユーザにより書き換え不可能に記憶されている構成が採用されてもよい。   In the acoustic signal processing device that operates according to the program according to the present invention, the first OS 111, the second OS 121, and the management OS 131 are stored in an EPROM or the like in a non-rewritable manner by the user. It may be configured as an embedded system in which the acoustic signal processing device is constructed. In this case, the application program (the acoustic signal processing engine 112, the audio editing application 122, etc.) executed on the first OS 111 or the second OS 121 is stored in the EPROM or the like in a non-rewritable manner by the user. May be adopted.

１…コンピュータ装置、２，３…伝送路、１０…プロセッサ、２０…メモリ、３４…メモリ、４０…オーディオＩ／Ｆ、５０…その他のデバイス、６０…バス、１１１…第１のＯＳ、１１２…音響信号処理エンジン、１１６…オーディオＩ／Ｏドライバ、１１９…仮想オーディオＩ／Ｏドライバ、１３２…仮想化支援コンポーネント、１３１…管理ＯＳ、１２１…第２のＯＳ、１２２…オーディオ編集アプリケーション、１２９…仮想オーディオＩ／Ｏドライバ、１３３…メモリＡＰＩ、１３４…メモリＡＰＩ、３３１…仮想オーディオＩ／Ｆ、３３２…仮想オーディオＩ／Ｆ。 DESCRIPTION OF SYMBOLS 1 ... Computer apparatus, 2, 3 ... Transmission path, 10 ... Processor, 20 ... Memory, 34 ... Memory, 40 ... Audio I / F, 50 ... Other devices, 60 ... Bus, 111 ... 1st OS, 112 ... Acoustic signal processing engine, 116 ... audio I / O driver, 119 ... virtual audio I / O driver, 132 ... virtualization support component, 131 ... management OS, 121 ... second OS, 122 ... audio editing application, 129 ... virtual Audio I / O driver, 133 ... Memory API, 134 ... Memory API, 331 ... Virtual audio I / F, 332 ... Virtual audio I / F.

Claims (6)

リソースとして少なくともプロセッサおよびメモリを有するコンピュータにて行われる音響信号処理方法であって、前記プロセッサが、
前記リソースを用いて第１の仮想機械と第２の仮想機械を構築する仮想機械構築ステップと、
前記第１の仮想機械から音響信号を出力する第１のインタフェース、および、前記第２の仮想機械へ音響信号を入力する第２のインタフェースを構築するインタフェース構築ステップと、
前記第１の仮想機械において、前記第１のインタフェースに音響信号を出力する出力ステップと、
前記第１の仮想機械が前記第１のインタフェースに出力した音響信号を前記メモリに書き込む書込ステップと、
前記書き込まれた音響信号を前記メモリから読み出して前記第２のインタフェースへ出力する読出ステップと、
前記第２の仮想機械において、前記第２のインタフェースから音響信号を入力する入力ステップと
を備える音響信号処理方法。 An acoustic signal processing method performed by a computer having at least a processor and a memory as resources, wherein the processor
A virtual machine construction step of constructing a first virtual machine and a second virtual machine using the resource;
An interface construction step of constructing a first interface for outputting an acoustic signal from the first virtual machine, and a second interface for inputting the acoustic signal to the second virtual machine;
An output step of outputting an acoustic signal to the first interface in the first virtual machine;
Writing the acoustic signal output by the first virtual machine to the first interface into the memory;
A reading step of reading the written acoustic signal from the memory and outputting it to the second interface;
An acoustic signal processing method comprising: an input step of inputting an acoustic signal from the second interface in the second virtual machine. 前記リソースは、前記コンピュータに接続された外部装置から音響信号を受信するオーディオインタフェースを含み、
前記プロセッサが、
前記第１の仮想機械において、前記オーディオインタフェースにて受信された音響信号を入力するステップと、
前記第１の仮想機械において、前記入力した音響信号に対する信号処理を実行するステップと、
を備え、
前記プロセッサは、前記出力ステップにおいて前記信号処理された音響信号を前記第１のインタフェースに出力し、前記入力ステップにおいて前記第２のインタフェースから前記信号処理された音響信号を入力する
請求項１に記載の音響信号処理方法。 The resource includes an audio interface for receiving an acoustic signal from an external device connected to the computer,
The processor is
Inputting an acoustic signal received at the audio interface in the first virtual machine;
Executing signal processing on the input acoustic signal in the first virtual machine;
With
2. The processor outputs the signal-processed acoustic signal to the first interface in the output step, and inputs the signal-processed acoustic signal from the second interface in the input step. 3. Acoustic signal processing method. 前記プロセッサは複数のプロセッサコアを含み、
前記プロセッサは、前記仮想機械構築ステップにおいて、前記第１の仮想機械を前記リソースのうち第１のプロセッサコアと前記オーディオインタフェースとを用いて構築し、前記第２の仮想機械を前記リソースのうち第２のプロセッサコアを用いて構築する
請求項２に記載の音響信号処理方法。 The processor includes a plurality of processor cores;
In the virtual machine construction step, the processor constructs the first virtual machine using the first processor core and the audio interface among the resources, and configures the second virtual machine among the resources. The acoustic signal processing method according to claim 2, wherein the acoustic signal processing method is constructed using two processor cores. リソースとして少なくともプロセッサおよびメモリを有するコンピュータの前記リソースを用いて第１の仮想機械と第２の仮想機械を構築する手段と、
前記第１の仮想機械から音響信号を出力する第１のインタフェース、および、前記第２の仮想機械へ音響信号を入力する第２のインタフェースを構築する手段と、
前記第１の仮想機械において、前記第１のインタフェースに音響信号を出力する手段と、
前記第１の仮想機械が前記第１のインタフェースに出力した音響信号を前記メモリに書き込む手段と、
前記書き込まれた音響信号を前記メモリから読み出して前記第２のインタフェースへ出力する手段と、
前記第２の仮想機械において、前記第２のインタフェースから音響信号を入力する手段と
を備えたことを特徴とする音響信号処理システム。 Means for constructing a first virtual machine and a second virtual machine using the resources of a computer having at least a processor and a memory as resources;
Means for constructing a first interface for outputting an acoustic signal from the first virtual machine, and a second interface for inputting the acoustic signal to the second virtual machine;
Means for outputting an acoustic signal to the first interface in the first virtual machine;
Means for writing to the memory an acoustic signal output by the first virtual machine to the first interface;
Means for reading the written acoustic signal from the memory and outputting it to the second interface;
An acoustic signal processing system, comprising: means for inputting an acoustic signal from the second interface in the second virtual machine. 前記リソースは、前記コンピュータに接続された外部装置から音響信号を受信するオーディオインタフェースを含み、
前記第１の仮想機械において、前記オーディオインタフェースにて受信された音響信号を入力する手段と、
前記第１の仮想機械において、前記入力した音響信号に対する信号処理を実行する手段と、
を備え、
前記出力する手段は前記信号処理された音響信号を前記第１のインタフェースに出力し、前記入力する手段は前記第２のインタフェースから前記信号処理された音響信号を入力する
請求項４に記載の音響信号処理システム。 The resource includes an audio interface for receiving an acoustic signal from an external device connected to the computer,
Means for inputting an acoustic signal received at the audio interface in the first virtual machine;
Means for performing signal processing on the inputted acoustic signal in the first virtual machine;
With
The sound according to claim 4, wherein the output means outputs the signal processed acoustic signal to the first interface, and the input means inputs the signal processed acoustic signal from the second interface. Signal processing system. 前記プロセッサは複数のプロセッサコアを含み、
前記仮想機械を構築する手段は、前記第１の仮想機械を前記リソースのうち第１のプロセッサコアと前記オーディオインタフェースとを用いて構築し、前記第２の仮想機械を前記リソースのうち第２のプロセッサコアを用いて構築する
請求項５に記載の音響信号処理システム。 The processor includes a plurality of processor cores;
The means for constructing the virtual machine constructs the first virtual machine by using the first processor core and the audio interface among the resources, and constructs the second virtual machine by using a second of the resources. The acoustic signal processing system according to claim 5, wherein the acoustic signal processing system is constructed using a processor core.
JP2012168291A 2012-07-30 2012-07-30 Acoustic signal processing method and audio signal processing system Pending JP2014027595A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012168291A JP2014027595A (en) 2012-07-30 2012-07-30 Acoustic signal processing method and audio signal processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012168291A JP2014027595A (en) 2012-07-30 2012-07-30 Acoustic signal processing method and audio signal processing system

Publications (1)

Publication Number Publication Date
JP2014027595A true JP2014027595A (en) 2014-02-06

Family

ID=50200828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012168291A Pending JP2014027595A (en) 2012-07-30 2012-07-30 Acoustic signal processing method and audio signal processing system

Country Status (1)

Country Link
JP (1) JP2014027595A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130809A (en) * 2016-01-20 2017-07-27 ティアック株式会社 Control apparatus
JP2018535468A (en) * 2015-09-21 2018-11-29 レインボー ロボティックスＲａｉｎｂｏｗ Ｒｏｂｏｔｉｃｓ GPOS-linked real-time robot control system and real-time device control system using the same
KR102094707B1 (en) * 2018-10-10 2020-03-30 임창수 audio data processing apparatus by use of virtual channels and virtual drivers
JP2020162175A (en) * 2020-06-29 2020-10-01 ティアック株式会社 Control apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018535468A (en) * 2015-09-21 2018-11-29 レインボー ロボティックスＲａｉｎｂｏｗ Ｒｏｂｏｔｉｃｓ GPOS-linked real-time robot control system and real-time device control system using the same
JP2017130809A (en) * 2016-01-20 2017-07-27 ティアック株式会社 Control apparatus
KR102094707B1 (en) * 2018-10-10 2020-03-30 임창수 audio data processing apparatus by use of virtual channels and virtual drivers
JP2020162175A (en) * 2020-06-29 2020-10-01 ティアック株式会社 Control apparatus

Similar Documents

Publication Publication Date Title
US8972984B2 (en) Methods and systems for virtualizing audio hardware for one or more virtual machines
CN109739618B (en) Virtual machine migration method and device
US9514507B2 (en) Methods and systems for maintaining state in a virtual machine when disconnected from graphics hardware
US8533713B2 (en) Efficent migration of virtual functions to enable high availability and resource rebalance
US10120705B2 (en) Method for implementing GPU virtualization and related apparatus, and system
EP3627319B1 (en) Display resource scheduling method and device for embedded system
US7454756B2 (en) Method, apparatus and system for seamlessly sharing devices amongst virtual machines
US9135079B2 (en) Dynamically assigning a portion of physical computing resource to logical partitions based on characteristics of executing logical partitions
US9063793B2 (en) Virtual server and virtual machine management method for supporting zero client by providing host interfaces from classified resource pools through emulation or direct connection modes
WO2017124842A1 (en) Method and device for taking screenshots
US8954993B2 (en) Local message queue processing for co-located workers
US11561813B2 (en) Server support for multiple audio/video operating systems
US20210224100A1 (en) Virtual machine migration using multiple, synchronized streams of state data
US10659534B1 (en) Memory sharing for buffered macro-pipelined data plane processing in multicore embedded systems
GB2525003A (en) Data Processing Systems
CN109753346B (en) Virtual machine live migration method and device
JP2014027595A (en) Acoustic signal processing method and audio signal processing system
WO2019119315A1 (en) Input processing method and apparatus based on multiple operating systems, and electronic device
WO2018205267A1 (en) Input device implementation method and implementation apparatus thereof
WO2020220790A1 (en) Data processing method, apparatus, and device
WO2023173516A1 (en) Data exchange method and apparatus, and storage medium and electronic device
JP2014195178A (en) Information processing device, transmission control method, and transmission control program
CN112218140A (en) Video synchronous playing method, device, system and storage medium
US10789082B2 (en) Execution of multiple operating systems without rebooting
US10241821B2 (en) Interrupt generated random number generator states