JP2022063264A

JP2022063264A - Information processing device, control method, and processor

Info

Publication number: JP2022063264A
Application number: JP2021203539A
Authority: JP
Inventors: 芳充今西; Yoshimitsu Imanishi; 誠一河野; Seiichi Kono; 一則山村; Kazunori Yamamura; 義従鈴木; Yoshitsugu Suzuki; 充弘山▲ざき▼; Mitsuhiro Yamazaki; 良太野村; Ryota Nomura
Original assignee: Lenovo Singapore Pte Ltd
Current assignee: Lenovo Singapore Pte Ltd
Priority date: 2020-10-09
Filing date: 2021-12-15
Publication date: 2022-04-21
Anticipated expiration: 2040-10-09
Also published as: JP7209076B2

Abstract

PROBLEM TO BE SOLVED: To realize a virtual input device with high flexibility while protecting secrecy and privacy.

SOLUTION: An information processing device comprises: a touch screen; a first processor that executes processing based on an OS (operating system); and a second processor that is different from and independent of the first processor. The second processor outputs data indicating image data of an input area for a virtual input device, to the first processor by using a general purpose interface protected by the first processor, and outputs input information based on touching information detected by the touch screen to the first processor by using the general purpose interface protected by the first processor.

SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置、制御方法、及びプロセッサに関する。 The present invention relates to an information processing device, a control method, and a processor.

近年、ノートブック型パーソナルコンピュータ（以下、ノートＰＣ：Personal Computer）などの情報処理装置では、表示画面をソフトウェアキーボードなどの仮想入力デバイスとして使用するものが知られている。また、１台で複数の表示部を使用できる複数表示（Multiple display）環境を提供可能な情報処理装置が提案されている。 In recent years, in information processing devices such as notebook type personal computers (hereinafter, notebook PCs: Personal Computers), those using a display screen as a virtual input device such as a software keyboard are known. Further, an information processing apparatus capable of providing a multiple display environment in which a plurality of display units can be used by one unit has been proposed.

特開２０１５－２３３１９８号公報JP-A-2015-233198

ところで、一般的に、仮想入力デバイスをソフトウェアで実装すると、他のソフトウェアから、仮想入力デバイスへの入力が読み取られるなど、セキュリティ上、及びプライバシー上のリスクが懸念される。このため、仮想入力デバイスをソフトウェアで実装する際は、例えば、Ｗｉｎｄｏｗｓ（登録商標）などのＯＳ（オペレーティングシステム）付属のツールとして実装され、他者による独自の仮想入力デバイスの実装が認められないことがほとんどである。そのため、従来の情報処理装置では、このようなＯＳの制約などから、自由度の高い仮想入力デバイスを実現することは困難であった。 By the way, in general, when a virtual input device is implemented by software, there are concerns about security and privacy risks such as reading the input to the virtual input device from other software. Therefore, when implementing a virtual input device by software, it is implemented as a tool attached to an OS (operating system) such as Windows (registered trademark), and implementation of an original virtual input device by others is not allowed. Is most of the time. Therefore, it has been difficult to realize a virtual input device having a high degree of freedom with a conventional information processing device due to such restrictions on the OS.

本発明は、上記問題を解決すべくなされたもので、その目的は、機密とプライバシーとを保護しつつ、自由度の高い仮想入力デバイスを実現することができる情報処理装置、制御方法、及びプロセッサを提供することにある。 The present invention has been made to solve the above problems, and an object thereof is an information processing device, a control method, and a processor capable of realizing a virtual input device having a high degree of freedom while protecting confidentiality and privacy. Is to provide.

上記問題を解決するために、本発明の一態様はタッチスクリーンと、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサと、前記第１プロセッサとは異なる独立した第２プロセッサであって、仮想入力デバイスのための入力領域の画像データを示すデータを、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するとともに、前記タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力する第２プロセッサとを備える情報処理装置である。 In order to solve the above problems, one aspect of the present invention is a touch screen, a first processor that executes processing based on an OS (operating system), and an independent second processor different from the first processor. Data indicating image data in the input area for the virtual input device is output to the first processor using the general-purpose interface protected by the first processor, and input based on the contact information detected by the touch screen. An information processing apparatus including a second processor that outputs information to the first processor using a general-purpose interface protected by the first processor.

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサは、前記第２プロセッサが出力した前記入力領域の画像データを前記タッチスクリーンに表示するようにしてもよい。 Further, in one aspect of the present invention, in the information processing apparatus, the first processor may display the image data of the input area output by the second processor on the touch screen.

また、本発明の一態様は、上記の情報処理装置において、前記第２プロセッサは、ＵＳＢ（Universal Serial Bus）インターフェースのＨＩＤ（Human Interface Device）クラスを用いて、前記仮想入力デバイスが受け付けた入力情報を、前記第１プロセッサに出力し、ＵＶＣ（USB Video Class）を用いて、前記入力領域の画像データを前記第１プロセッサに出力するようにしてもよい。 Further, in one aspect of the present invention, in the above information processing apparatus, the second processor uses the HID (Human Interface Device) class of the USB (Universal Serial Bus) interface, and the input information received by the virtual input device. May be output to the first processor, and the image data in the input area may be output to the first processor using UVC (USB Video Class).

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサは、前記タッチスクリーンにおける前記入力領域の表示位置を示す表示位置情報を前記第２プロセッサに送信し、前記第２プロセッサが出力した前記入力領域の画像データを、前記タッチスクリーンにおける前記入力領域の表示位置に表示し、前記第２プロセッサは、前記第１プロセッサから送信された前記表示位置情報に基づいて、前記入力領域を設定するようにしてもよい。 Further, in one aspect of the present invention, in the above-mentioned information processing apparatus, the first processor transmits display position information indicating a display position of the input area on the touch screen to the second processor, and the second processor. The image data of the input area output by is displayed at the display position of the input area on the touch screen, and the second processor is based on the display position information transmitted from the first processor. May be set.

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサは、前記仮想入力デバイスの種類を示す種類情報を前記第２プロセッサに送信し、前記第２プロセッサは、前記第１プロセッサから送信された前記種類情報に基づいて、前記入力領域の種類を設定するようにしてもよい。 Further, in one aspect of the present invention, in the information processing device, the first processor transmits type information indicating the type of the virtual input device to the second processor, and the second processor uses the first processor. The type of the input area may be set based on the type information transmitted from the processor.

また、本発明の一態様は、上記の情報処理装置において、前記第２プロセッサは、前記仮想入力デバイスが受け付けた入力情報に応じたフィードバックにより、前記入力領域の画像データを変更するようにしてもよい。 Further, in one aspect of the present invention, in the above information processing apparatus, the second processor may change the image data in the input area by feedback according to the input information received by the virtual input device. good.

また、本発明の一態様は、上記の情報処理装置において、前記第１プロセッサの主画面の画像データを表示する第１表示領域と、前記入力領域の画像データを含む画像データを表示する第２表示領域とを備えるようにしてもよい。 Further, in one aspect of the present invention, in the above information processing apparatus, a first display area for displaying image data of the main screen of the first processor and a second display area for displaying image data including image data of the input area are displayed. It may be provided with a display area.

また、本発明の一態様は、タッチスクリーンと、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサと、前記第１プロセッサとは異なる独立した第２プロセッサとを備える情報処理装置の制御方法であって、前記第２プロセッサが、仮想入力デバイスのための入力領域の画像データを示すデータを、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するステップと、前記第２プロセッサが、前記タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するステップとを含む制御方法である。 Further, one aspect of the present invention is a control method of an information processing apparatus including a touch screen, a first processor that executes processing based on an OS (operating system), and an independent second processor different from the first processor. A step in which the second processor outputs data indicating image data in an input area for a virtual input device to the first processor using a general-purpose interface protected by the first processor. The second processor is a control method including a step of outputting input information based on contact information detected by the touch screen to the first processor using a general-purpose interface protected by the first processor.

また、本発明の一態様は、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサとは異なる独立した第２プロセッサであって、仮想入力デバイスのための入力領域の画像データを示すデータを、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力するとともに、タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力する第２プロセッサである。 Further, one aspect of the present invention is an independent second processor different from the first processor that executes processing based on the OS (operating system), and data indicating image data of an input area for a virtual input device is used. The input information based on the contact information detected by the touch screen is output to the first processor using the general-purpose interface protected by the first processor, and the input information based on the contact information detected by the touch screen is input using the general-purpose interface protected by the first processor. , A second processor that outputs to the first processor.

また、本発明の一態様は、タッチスクリーンと、ＯＳ（オペレーティングシステム）に基づく処理を実行する第１プロセッサと、前記第１プロセッサとは異なる独立した第２プロセッサであって、前記タッチスクリーンが検出した接触情報に基づく入力情報を、前記第１プロセッサにより保護された汎用インターフェースを用いて、前記第１プロセッサに出力する第２プロセッサとを備える情報処理装置である。 Further, one aspect of the present invention is a touch screen, a first processor that executes processing based on an OS (operating system), and an independent second processor different from the first processor, which is detected by the touch screen. It is an information processing apparatus including a second processor that outputs input information based on the contact information to the first processor by using a general-purpose interface protected by the first processor.

本発明の上記態様によれば、機密とプライバシーとを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。 According to the above aspect of the present invention, it is possible to realize a virtual input device having a high degree of freedom while protecting confidentiality and privacy.

第１の実施形態によるノートＰＣの一例を示す外観図である。It is an external view which shows an example of the notebook PC by 1st Embodiment. 第１の実施形態によるノートＰＣの主要なハードウェア構成の一例を示す図である。It is a figure which shows an example of the main hardware composition of the notebook PC by 1st Embodiment. 第１の実施形態によるノートＰＣの機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the notebook PC by 1st Embodiment. 第１の実施形態によるノートＰＣの仮想入力デバイスの動作の一例を示す図である。It is a figure which shows an example of the operation of the virtual input device of a notebook PC by 1st Embodiment. 第１の実施形態によるノートＰＣの仮想入力デバイスの変形例を示す図である。It is a figure which shows the modification of the virtual input device of the notebook PC by 1st Embodiment. 第２の実施形態によるノートＰＣの主要なハードウェア構成の一例を示す図である。It is a figure which shows an example of the main hardware composition of the notebook PC by 2nd Embodiment. 第２の実施形態によるノートＰＣの機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the notebook PC by 2nd Embodiment.

以下、本発明の一実施形態による情報処理装置、及び制御方法について、図面を参照して説明する。 Hereinafter, the information processing apparatus and the control method according to the embodiment of the present invention will be described with reference to the drawings.

［第１の実施形態］
図１は、第１の実施形態によるノートＰＣ１の一例を示す外観図である。なお、本実施形態において、情報処理装置の一例として、ノートＰＣ１について説明する。
図１に示すように、ノートＰＣ１は、第１筐体１０１と、第２筐体１０２とを備え、ヒンジ機構により一方の筐体（第１筐体１０１）の側面が他方の筐体（第２筐体１０２）の側面に係合され、ヒンジ機構の回転軸周りに第１筐体１０１が第２筐体１０２に対して回動可能に構成されている。 [First Embodiment]
FIG. 1 is an external view showing an example of a notebook PC 1 according to the first embodiment. In this embodiment, the notebook PC 1 will be described as an example of the information processing device.
As shown in FIG. 1, the notebook PC 1 includes a first housing 101 and a second housing 102, and the side surface of one housing (first housing 101) is the other housing (first housing 101) due to a hinge mechanism. The first housing 101 is rotatably configured with respect to the second housing 102 so as to be engaged with the side surface of the two housings 102) and around the rotation axis of the hinge mechanism.

また、ノートＰＣ１は、タッチスクリーン１４と表示部１５とを備える。表示部１５は、第１筐体１０１に配置されており、メインの表示部として機能する。タッチスクリーン１４は、第２筐体１０２に配置されており、表示部１４１と、タッチセンサ部１４２とを備える。
本実施形態では、第２筐体１０２に配置されたタッチスクリーン１４により、仮想入力デバイスであるＯＳＫ（On Screen Keyboard）を実行する場合に一例について説明する。 Further, the notebook PC 1 includes a touch screen 14 and a display unit 15. The display unit 15 is arranged in the first housing 101 and functions as a main display unit. The touch screen 14 is arranged in the second housing 102, and includes a display unit 141 and a touch sensor unit 142.
In the present embodiment, an example will be described when the OSK (On Screen Keyboard), which is a virtual input device, is executed by the touch screen 14 arranged in the second housing 102.

図２は、本実施形態によるノートＰＣ１の主要なハードウェア構成の一例を示す図である。
図２に示すように、ノートＰＣ１は、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、タッチスクリーン１４と、表示部１５と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３と、ＭＣＵ（Micro Control Unit）４０とを備える。 FIG. 2 is a diagram showing an example of a main hardware configuration of the notebook PC 1 according to the present embodiment.
As shown in FIG. 2, the notebook PC 1 includes a CPU 11, a main memory 12, a video subsystem 13, a touch screen 14, a display unit 15, a chipset 21, a BIOS memory 22, an HDD 23, and an audio system. 24, a WLAN card 25, a USB connector 26, an image pickup unit 27, an embedded controller 31, an input unit 32, a power supply circuit 33, and an MCU (Micro Control Unit) 40.

なお、本実施形態において、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３とは、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステム１０に対応する。
メインシステム１０は、例えば、Ｗｉｎｄｏｗｓ（登録商標）に基づいて、各種処理を実行する。 In this embodiment, the CPU 11, the main memory 12, the video subsystem 13, the chipset 21, the BIOS memory 22, the HDD 23, the audio system 24, the WLAN card 25, the USB connector 26, and the image pickup. The unit 27, the embedded controller 31, the input unit 32, and the power supply circuit 33 correspond to the main system 10 that executes processing based on the OS (operating system).
The main system 10 executes various processes based on, for example, Windows (registered trademark).

ＣＰＵ（Central Processing Unit）１１は、プログラム制御により種々の演算処理を実行し、ノートＰＣ１全体を制御している。
メインメモリ１２は、ＣＰＵ１１の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。この実行プログラムには、ＯＳ、周辺機器類をハードウェア操作するための各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム等が含まれる。 The CPU (Central Processing Unit) 11 executes various arithmetic processes by program control and controls the entire notebook PC 1.
The main memory 12 is a writable memory used as a read area for the execution program of the CPU 11 or as a work area for writing the processing data of the execution program. The main memory 12 is composed of, for example, a plurality of DRAM (Dynamic Random Access Memory) chips. This execution program includes an OS, various drivers for operating peripheral devices by hardware, various services / utilities, application programs, and the like.

ビデオサブシステム１３は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含んでいる。このビデオコントローラは、ＣＰＵ１１からの描画命令を処理し、処理した描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出して、表示部１５及び表示部１４１に描画データ（画像データ）として出力する。ビデオサブシステム１３は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface（登録商標））やＤＰ（Display Port）により出力する。 The video subsystem 13 is a subsystem for realizing a function related to image display, and includes a video controller. This video controller processes a drawing command from the CPU 11, writes the processed drawing information to the video memory, reads the drawing information from the video memory, and displays drawing data (image data) on the display unit 15 and the display unit 141. Output. The video subsystem 13 outputs, for example, by HDMI (High-Definition Multimedia Interface (registered trademark)) or DP (Display Port).

タッチスクリーン１４は、図１に示すように、第２筐体１０２に配置され、表示部１４１と、タッチセンサ部１４２とを備える。
表示部１４１は、例えば、液晶ディスプレイや電子ペーパーなどであり、画像データを表示画面に表示する。 As shown in FIG. 1, the touch screen 14 is arranged in the second housing 102 and includes a display unit 141 and a touch sensor unit 142.
The display unit 141 is, for example, a liquid crystal display, electronic paper, or the like, and displays image data on a display screen.

タッチセンサ部１４２は、表示部１４１の表示画面に重ねて配置され、表示部１４１の表示画面上における物体（人体の一部を含む）との接触を検出する。タッチセンサ部１４２は、表示画面上の検出領域内に接触した位置である接触位置を示す接触位置情報をＭＣＵ４０に出力する。 The touch sensor unit 142 is arranged so as to be superimposed on the display screen of the display unit 141, and detects contact with an object (including a part of the human body) on the display screen of the display unit 141. The touch sensor unit 142 outputs the contact position information indicating the contact position, which is the position of contact within the detection area on the display screen, to the MCU 40.

表示部１５は、第１筐体１０１に配置され、ノートＰＣ１のメイン表示部として機能する。表示部１５は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどであり、画像データを表示画面に表示する。 The display unit 15 is arranged in the first housing 101 and functions as a main display unit of the notebook PC 1. The display unit 15 is, for example, a liquid crystal display, an organic EL display, or the like, and displays image data on a display screen.

チップセット２１は、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（AT Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、及びＬＰＣ（Low Pin Count）バスなどのコントローラを備えており複数のデバイスが接続される。図２では、デバイスの例示として、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７とが、チップセット２１に接続されている。 The chipset 21 includes USB (Universal Serial Bus), Serial ATA (AT Attachment), SPI (Serial Peripheral Interface) bus, PCI (Peripheral Component Interconnect) bus, PCI-Express bus, LPC (Low Pin Count) bus, and the like. It has a controller and multiple devices are connected. In FIG. 2, as an example of the device, the BIOS memory 22, the HDD 23, the audio system 24, the WLAN card 25, the USB connector 26, and the image pickup unit 27 are connected to the chipset 21.

ＢＩＯＳ（Basic Input Output System）メモリ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュＲＯＭなどの電気的に書き換え可能な不揮発性メモリで構成される。ＢＩＯＳメモリ２２は、ＢＩＯＳ、及びエンベデッドコントローラ３１などを制御するためのシステムファームウェアなどを記憶する。 The BIOS (Basic Input Output System) memory 22 is composed of, for example, an electrically rewritable non-volatile memory such as an EEPROM (Electrically Erasable Programmable Read Only Memory) or a flash ROM. The BIOS memory 22 stores the BIOS, the system firmware for controlling the embedded controller 31, and the like.

ＨＤＤ（Hard Disk Drive）２３（不揮発性記憶装置の一例）は、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム、及び各種データを記憶する。
オーディオシステム２４は、音データの記録、再生、出力を行う。 The HDD (Hard Disk Drive) 23 (an example of a non-volatile storage device) stores an OS, various drivers, various services / utilities, application programs, and various data.
The audio system 24 records, reproduces, and outputs sound data.

ＷＬＡＮ（Wireless Local Area Network）カード２５は、ワイヤレス（無線）ＬＡＮにより、ネットワークに接続して、データ通信を行う。ＷＬＡＮカード２５は、例えば、ネットワークからのデータを受信した際に、データを受信したことを示すイベントトリガを発生する。 The WLAN (Wireless Local Area Network) card 25 is connected to a network by a wireless LAN to perform data communication. When the WLAN card 25 receives data from the network, for example, an event trigger indicating that the data has been received is generated.

ＵＳＢコネクタ２６は、ＵＳＢを利用した周辺機器類を接続するためのコネクタである。
撮像部２７は、例えば、Ｗｅｂカメラであり、画像を撮像する。撮像部２７は、例えば、ＵＳＢインターフェースによりチップセット２１と接続されている。 The USB connector 26 is a connector for connecting peripheral devices using USB.
The image pickup unit 27 is, for example, a Web camera and captures an image. The image pickup unit 27 is connected to the chipset 21 by, for example, a USB interface.

エンベデッドコントローラ３１は、ノートＰＣ１のシステム状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視し制御するワンチップマイコン（One-Chip Microcomputer）である。また、エンベデッドコントローラ３１は、電源回路３３を制御する電源管理機能を有している。なお、エンベデッドコントローラ３１は、不図示のＣＰＵ、ＲＯＭ、ＲＡＭなどで構成されるとともに、複数チャネルのＡ／Ｄ入力端子、Ｄ／Ａ出力端子、タイマ、及びデジタル入出力端子を備えている。エンベデッドコントローラ３１には、それらの入出力端子を介して、例えば、入力部３２、及び電源回路３３などが接続されており、エンベデッドコントローラ３１は、これらの動作を制御する。 The embedded controller 31 is a one-chip microcomputer that monitors and controls various devices (peripheral devices, sensors, etc.) regardless of the system state of the notebook PC 1. Further, the embedded controller 31 has a power supply management function for controlling the power supply circuit 33. The embedded controller 31 is composed of a CPU, ROM, RAM, etc. (not shown), and includes a plurality of channels of A / D input terminals, D / A output terminals, timers, and digital input / output terminals. For example, an input unit 32, a power supply circuit 33, and the like are connected to the embedded controller 31 via their input / output terminals, and the embedded controller 31 controls these operations.

入力部３２は、例えば、電源スイッチなどの制御スイッチである。
電源回路３３は、例えば、ＤＣ／ＤＣコンバータ、充放電ユニット、電池ユニット、ＡＣ／ＤＣアダプタなどを含んでおり、ＡＣ／ＤＣアダプタ、又は電池ユニットから供給される直流電圧を、ノートＰＣ１を動作させるために必要な複数の電圧に変換する。また、電源回路３３は、エンベデッドコントローラ３１からの制御に基づいて、ノートＰＣ１の各部に電力を供給する。 The input unit 32 is, for example, a control switch such as a power switch.
The power supply circuit 33 includes, for example, a DC / DC converter, a charge / discharge unit, a battery unit, an AC / DC adapter, and the like, and operates the notebook PC 1 with a DC voltage supplied from the AC / DC adapter or the battery unit. Convert to multiple voltages required for. Further, the power supply circuit 33 supplies electric power to each part of the notebook PC 1 based on the control from the embedded controller 31.

ＭＣＵ４０は、例えば、ＣＰＵなどを含むプロセッサであり、内蔵するファームウェアを実行することで、メインシステム１０とは異なる独立した組込みシステムとして機能する。ＭＣＵ４０は、例えば、ＵＳＢインターフェースによって、チップセット２１と接続されている。ＭＣＵ４０は、仮想入力デバイスのための入力領域の画像データを生成し、入力領域の画像データを、メインシステム１０により保護された汎用インターフェース（例えば、ＵＶＣ（USB Video Class））を用いて、メインシステム１０に出力する。 The MCU 40 is a processor including, for example, a CPU, and functions as an independent embedded system different from the main system 10 by executing the built-in firmware. The MCU 40 is connected to the chipset 21 by, for example, a USB interface. The MCU 40 generates the image data of the input area for the virtual input device, and the image data of the input area is used in the main system using a general-purpose interface (for example, UVC (USB Video Class)) protected by the main system 10. Output to 10.

また、ＭＣＵ４０は、タッチセンサ部１４２が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報として、メインシステム１０により保護された汎用インターフェース（例えば、ＵＳＢのＨＩＤ（Human Interface Device）クラス）を用いて、メインシステム１０（チップセット２１）に出力する。なお、ＭＣＵ４０の詳細については、図３を参照して後述する。 Further, the MCU 40 uses a general-purpose interface (for example, USB HID (Human)) protected by the main system 10 as input information received by the virtual input device, using input information based on the detection information detected by the touch sensor unit 142 in the input area. Output to the main system 10 (chipset 21) using the Interface Device) class). The details of the MCU 40 will be described later with reference to FIG.

次に、図３を参照して、本実施形態によるノートＰＣ１の機能構成について説明する。図３は、本実施形態によるノートＰＣ１の機能構成の一例を示すブロック図である。図３に示すように、ノートＰＣ１は、メインシステム１０と、タッチスクリーン１４と、ＭＣＵ４０とを備える。なお、図３において、ノートＰＣ１の構成として、本実施形態の発明に関する主要な機能構成のみを記載している。 Next, with reference to FIG. 3, the functional configuration of the notebook PC 1 according to the present embodiment will be described. FIG. 3 is a block diagram showing an example of the functional configuration of the notebook PC 1 according to the present embodiment. As shown in FIG. 3, the notebook PC 1 includes a main system 10, a touch screen 14, and an MCU 40. Note that, in FIG. 3, as the configuration of the notebook PC 1, only the main functional configuration related to the invention of the present embodiment is shown.

メインシステム１０は、ＵＳＢドライバ５１と、ＯＳＫアプリケーション５２とを備える。
ＵＳＢドライバ５１は、ＣＰＵ１１とチップセット２１とにより実現される機能部であり、ＵＳＢインターフェースを制御する。本実施形態では、ＵＳＢインターフェースとして、ＨＩＤクラスと、ＶＩＤＥＯクラス（ＵＶＣ）とを使用する。 The main system 10 includes a USB driver 51 and an OSK application 52.
The USB driver 51 is a functional unit realized by the CPU 11 and the chipset 21, and controls the USB interface. In this embodiment, a HID class and a VIDEO class (UVC) are used as the USB interface.

ＯＳＫアプリケーション５２は、例えば、ＯＳＫを使用するためのＡＰＩ（Application Programming Interface）である。ＯＳＫアプリケーション５２は、ＯＳＫを使用する場合に、まず、ＵＳＢドライバ５１のＨＩＤクラスを用いて、ＯＳＫの設定情報であるＯＳＫ情報をＭＣＵ４０に送信する。ここで、ＯＳＫ情報には、例えば、仮想入力デバイスの種類を示す種類情報や、表示部１４１における入力領域の表示位置を示す表示位置情報が含まれる。 The OSK application 52 is, for example, an API (Application Programming Interface) for using OSK. When using the OSK, the OSK application 52 first transmits the OSK information, which is the OSK setting information, to the MCU 40 by using the HID class of the USB driver 51. Here, the OSK information includes, for example, type information indicating the type of the virtual input device and display position information indicating the display position of the input area in the display unit 141.

ＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＶＩＤＥＯクラスを用いて、ＭＣＵ４０から出力されたＯＳＫの画像データ（以下、ＯＳＫ画像データという）を受信し、上述した表示部１４１における入力領域の表示位置に、当該ＯＳＫ画像データを表示させる。例えば、ＯＳＫの入力領域が表示部１４１の一部である場合には、表示部１４１に表示している画像データの一部に、ＯＳＫ画像データをオーバーレイして表示データを生成し、表示データを表示部１４１に出力する。
また、ＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＨＩＤクラスを用いて、ＯＳＫのキーコードなどの入力情報をＭＣＵ４０から受信する。 The OSK application 52 receives the OSK image data (hereinafter referred to as OSK image data) output from the MCU 40 using the VIDEO class of the USB driver 51, and places the OSK image data at the display position of the input area on the display unit 141 described above. Display OSK image data. For example, when the input area of the OSK is a part of the display unit 141, the OSK image data is overlaid on a part of the image data displayed on the display unit 141 to generate the display data, and the display data is displayed. Output to the display unit 141.
Further, the OSK application 52 uses the HID class of the USB driver 51 to receive input information such as an OSK key code from the MCU 40.

なお、ＯＳＫアプリケーション５２は、ＯＳＫが操作された際に、ＯＳＫの操作に応じたフィードバックのＯＳＫ画像データを、ＵＳＢドライバ５１のＶＩＤＥＯクラスを用いて、ＭＣＵ４０から受信し、当該フィードバックのＯＳＫ画像データを表示部１４１に表示させる。また、ＯＳＫアプリケーション５２は、ＯＳＫ画像データが圧縮されている場合に、圧縮されたＯＳＫ画像データを伸張して、表示部１４１に出力する。 When the OSK is operated, the OSK application 52 receives the feedback OSK image data corresponding to the OSK operation from the MCU 40 using the VIDEO class of the USB driver 51, and receives the feedback OSK image data. It is displayed on the display unit 141. Further, when the OSK image data is compressed, the OSK application 52 decompresses the compressed OSK image data and outputs the compressed OSK image data to the display unit 141.

ＭＣＵ４０は、入力処理部４１と、表示処理部４２とを備える。
入力処理部４１は、ＵＳＢインターフェースのＨＩＤクラスを用いて、種類情報及び表示位置情報をメインシステム１０から受信し、種類情報に基づいて、仮想入力デバイスの入力領域の種類を設定するとともに、表示位置情報に基づいて、仮想入力デバイスの入力領域を設定する。なお、入力処理部４１は、入力領域の種類及び入力領域の設定情報を不図示の記憶部に記憶させる。また、種類情報には、例えば、ＯＳＫ、タッチパッド、手書き入力デバイスなどが含まれる。また、入力処理部４１は、受信した種類情報及び表示位置情報を表示処理部４２に出力して、ＯＳＫ画像データを生成させる。 The MCU 40 includes an input processing unit 41 and a display processing unit 42.
The input processing unit 41 receives type information and display position information from the main system 10 using the HID class of the USB interface, sets the type of the input area of the virtual input device based on the type information, and displays the display position. Based on the information, set the input area of the virtual input device. The input processing unit 41 stores the type of the input area and the setting information of the input area in a storage unit (not shown). Further, the type information includes, for example, OSK, a touch pad, a handwriting input device, and the like. Further, the input processing unit 41 outputs the received type information and display position information to the display processing unit 42 to generate OSK image data.

また、入力処理部４１は、タッチセンサ部１４２が検出した検出情報を取得し、上述により設定された入力領域において検出した検出情報を、キーコードなどの入力情報に変換する。入力処理部４１は、変換した入力情報をＵＳＢインターフェースのＨＩＤクラスを用いて、メインシステム１０に出力する。
また、入力処理部４１は、タッチセンサ部１４２の検出情報を表示処理部４２に出力して、検出情報に応じたフィードバックのＯＳＫ画像データを生成させる。 Further, the input processing unit 41 acquires the detection information detected by the touch sensor unit 142, and converts the detection information detected in the input area set as described above into input information such as a key code. The input processing unit 41 outputs the converted input information to the main system 10 using the HID class of the USB interface.
Further, the input processing unit 41 outputs the detection information of the touch sensor unit 142 to the display processing unit 42 to generate feedback OSK image data according to the detection information.

表示処理部４２は、種類情報及び表示位置情報に基づいて、ＯＳＫ画像データを生成し、生成したＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する。なお、表示処理部４２は、生成したＯＳＫ画像データを、例えば、ＪＰＥＧ（Joint Photographic Experts Group）などの圧縮形式により、圧縮して、メインシステム１０に出力するようにしてもよい。 The display processing unit 42 generates OSK image data based on the type information and the display position information, and outputs the generated OSK image data to the main system 10 using the VIDEO class (UVC) of the USB interface. The display processing unit 42 may compress the generated OSK image data in a compression format such as JPEG (Joint Photographic Experts Group) and output it to the main system 10.

次に、図面を参照して、本実施形態によるノートＰＣ１の動作について説明する。
図４は、本実施形態によるノートＰＣ１の仮想入力デバイスの動作の一例を示す図である。なお、ここでは、仮想入力デバイスがＯＳＫである場合の一例について説明する。 Next, the operation of the notebook PC 1 according to the present embodiment will be described with reference to the drawings.
FIG. 4 is a diagram showing an example of the operation of the virtual input device of the notebook PC 1 according to the present embodiment. Here, an example when the virtual input device is OSK will be described.

図４に示すように、ノートＰＣ１のメインシステム１０は、まず、ＯＳＫ情報をＭＣＵ４０に出力する（ステップＳ１０１）。メインシステム１０のＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＨＩＤクラスを用いて、例えば、種類情報及び表示位置情報を含むＯＳＫ情報をＭＣＵ４０に送信する。 As shown in FIG. 4, the main system 10 of the notebook PC 1 first outputs OSK information to the MCU 40 (step S101). The OSK application 52 of the main system 10 uses the HID class of the USB driver 51 to transmit, for example, OSK information including type information and display position information to the MCU 40.

次に、ＭＣＵ４０は、ＯＳＫ画像を生成する（ステップＳ１０２）。すなわち、ＭＣＵ４０の表示処理部４２は、種類情報及び表示位置情報に基づいて、例えば、図１の表示部１４１に示すようなＯＳＫ画像データを生成する。なお、ＭＣＵ４０の入力処理部４１は、受信した種類情報及び表示位置情報に基づいて、仮想入力デバイスの入力領域及び種類を設定する。 Next, the MCU 40 generates an OSK image (step S102). That is, the display processing unit 42 of the MCU 40 generates OSK image data as shown in the display unit 141 of FIG. 1, for example, based on the type information and the display position information. The input processing unit 41 of the MCU 40 sets the input area and type of the virtual input device based on the received type information and display position information.

次に、ＭＣＵ４０の表示処理部４２は、生成したＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する（ステップＳ１０３）。なお、表示処理部４２は、ＯＳＫ画像データをＪＰＥＧなどで圧縮して、メインシステム１０に出力するようにしてもよい。 Next, the display processing unit 42 of the MCU 40 outputs the generated OSK image data to the main system 10 using the VIDEO class (UVC) of the USB interface (step S103). The display processing unit 42 may compress the OSK image data with JPEG or the like and output it to the main system 10.

次に、メインシステム１０のＯＳＫアプリケーション５２は、ＭＣＵ４０から受信したＯＳＫ画像データを表示部１４１に出力する（ステップＳ１０４）。ＯＳＫアプリケーション５２は、ＯＳＫ画像データが圧縮されている場合に、ＯＳＫ画像データを伸張する。また、ＯＳＫアプリケーション５２は、タッチセンサ部１４２において、設定された入力領域とＯＳＫ画像データが一致するように、ＯＳＫ画像データを表示部１４１に表示させるように、ＯＳＫ画像データを、例えば、ＨＤＭＩ（登録商標）などのインターフェースにより、表示部１４１に出力する。 Next, the OSK application 52 of the main system 10 outputs the OSK image data received from the MCU 40 to the display unit 141 (step S104). The OSK application 52 decompresses the OSK image data when the OSK image data is compressed. Further, the OSK application 52 displays the OSK image data on the display unit 141 so that the set input area and the OSK image data match in the touch sensor unit 142, for example, HDMI (HDMI). It is output to the display unit 141 by an interface such as (registered trademark).

次に、表示部１４１は、受信したＯＳＫ画像データを表示する（ステップＳ１０５）。表示部１４１は、ＯＳＫ画像データが、タッチセンサ部１４２に設定されたＯＳＫの入力領域と一致するように、ＯＳＫ画像データを表示する。 Next, the display unit 141 displays the received OSK image data (step S105). The display unit 141 displays the OSK image data so that the OSK image data matches the OSK input area set in the touch sensor unit 142.

また、一方で、タッチセンサ部１４２は、ＯＳＫの入力を検出したか否かを判定する（ステップＳ１０６）。タッチセンサ部１４２は、ＯＳＫの入力を検出した場合（ステップＳ１０６：ＹＥＳ）に、処理をステップＳ１０７に進める。また、タッチセンサ部１４２は、ＯＳＫの入力を検出していない場合（ステップＳ１０６：ＮＯ）に、処理をステップＳ１０６に戻す。 On the other hand, the touch sensor unit 142 determines whether or not the input of the OSK is detected (step S106). When the touch sensor unit 142 detects the input of the OSK (step S106: YES), the process proceeds to step S107. Further, when the touch sensor unit 142 has not detected the input of the OSK (step S106: NO), the process returns to step S106.

ステップＳ１０７において、タッチセンサ部１４２は、ＯＳＫの入力を検出した検出情報を、ＭＣＵ４０に送信する。 In step S107, the touch sensor unit 142 transmits the detection information that detects the input of the OSK to the MCU 40.

次に、ＭＣＵ４０の入力処理部４１は、ＯＳＫの入力を検出した検出情報をキーコードに変換し、変換したキーコードをＵＳＢインターフェースのＨＩＤクラスを用いて、メインシステム１０に送信する（ステップＳ１０８）。 Next, the input processing unit 41 of the MCU 40 converts the detection information that detects the input of the OSK into a key code, and transmits the converted key code to the main system 10 using the HID class of the USB interface (step S108). ..

次に、メインシステム１０のＯＳＫアプリケーション５２は、受信したキーコードを、ＯＳＫの入力として受け付ける（ステップＳ１０９）。ＯＳＫアプリケーション５２は、受信したキーコードを各種処理の入力として利用する。 Next, the OSK application 52 of the main system 10 accepts the received key code as the input of the OSK (step S109). The OSK application 52 uses the received key code as an input for various processes.

また、ＭＣＵ４０の表示処理部４２は、ＯＳＫの入力フィードバック画像を生成する（ステップＳ１１０）。表示処理部４２は、例えば、ＯＳＫの押下されたキーの位置に対応するＯＳＫ画像の位置を反転するなどの入力フィードバックのＯＳＫ画像データを生成する。 Further, the display processing unit 42 of the MCU 40 generates an input feedback image of the OSK (step S110). The display processing unit 42 generates OSK image data for input feedback, such as inverting the position of the OSK image corresponding to the position of the pressed key of the OSK.

次に、ＭＣＵ４０の表示処理部４２は、生成した入力フィードバックのＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する（ステップＳ１１１）。 Next, the display processing unit 42 of the MCU 40 outputs the generated input feedback OSK image data to the main system 10 using the VIDEO class (UVC) of the USB interface (step S111).

次に、メインシステム１０のＯＳＫアプリケーション５２は、ＭＣＵ４０から受信した入力フィードバックのＯＳＫ画像データを表示部１４１に出力する（ステップＳ１１２）。 Next, the OSK application 52 of the main system 10 outputs the OSK image data of the input feedback received from the MCU 40 to the display unit 141 (step S112).

次に、表示部１４１は、入力フィードバックのＯＳＫ画像を表示する（ステップＳ１１３）。表示部１４１は、受信した入力フィードバックのＯＳＫ画像データにより、例えば、ＯＳＫの押下されたキーの部分が反転するなどのフィードバック画像を表示する。 Next, the display unit 141 displays the OSK image of the input feedback (step S113). The display unit 141 displays a feedback image such that the pressed key portion of the OSK is inverted by the received input feedback OSK image data.

なお、図４に示す処理において、ステップＳ１０２からステップＳ１０５の処理は、所定の時間間隔で、繰り返し実行されるようにしてもよい。 In the process shown in FIG. 4, the processes from step S102 to step S105 may be repeatedly executed at predetermined time intervals.

以上説明したように、本実施形態によるノートＰＣ１（情報処理装置）は、表示部１４１と、タッチセンサ部１４２と、メインシステム１０と、ＭＣＵ４０とを備える。タッチセンサ部１４２は、表示部１４１上に配置され、表示部１４１上における物体との接触を検出する。メインシステム１０は、ＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））に基づく処理を実行する。ＭＣＵ４０（組込みシステム）は、メインシステム１０とは異なる独立した組込みシステムであって、仮想入力デバイスのための入力領域の画像データを生成し、入力領域の画像データを、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。また、ＭＣＵ４０は、タッチセンサ部１４２が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報として、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。そして、メインシステム１０は、ＭＣＵ４０が出力した入力領域の画像データを表示部１４１に表示する。 As described above, the notebook PC 1 (information processing apparatus) according to the present embodiment includes a display unit 141, a touch sensor unit 142, a main system 10, and an MCU 40. The touch sensor unit 142 is arranged on the display unit 141, and detects contact with an object on the display unit 141. The main system 10 executes processing based on the OS (for example, Windows (registered trademark)). The MCU 40 (embedded system) is an independent embedded system different from the main system 10, generates image data of the input area for the virtual input device, and the image data of the input area is protected by the main system 10. Output to the main system 10 using a general-purpose interface. Further, the MCU 40 uses a general-purpose interface protected by the main system 10 to input information based on the detection information detected by the touch sensor unit 142 in the input area as input information received by the virtual input device to the main system 10. Output. Then, the main system 10 displays the image data of the input area output by the MCU 40 on the display unit 141.

これにより、本実施形態によるノートＰＣ１は、独立したＭＣＵ４０内の処理により、例えば、ＯＳＫなどの仮想入力デバイスを実現するため、メインシステム１０のＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））による制約を受けずに自由度の高い仮想入力デバイスを実現することができる。また、本実施形態によるノートＰＣ１は、メインシステム１０により保護された汎用インターフェースを用いて、入力情報及び入力領域の画像データをメインシステム１０に出力するため、他のソフトウェアから干渉を受ける懸念を低減することができる。すなわち、本実施形態によるノートＰＣ１では、例えば、メインシステム１０のＯＳが、コンピュータウイルスやマルウェアなどに感染した場合であっても、仮想入力デバイスへの入力が読み取られる心配がない。よって、本実施形態によるノートＰＣ１は、プライバシーを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。 As a result, the notebook PC 1 according to the present embodiment is restricted by the OS of the main system 10 (for example, Windows®) in order to realize a virtual input device such as OSK by processing in the independent MCU40. It is possible to realize a virtual input device with a high degree of freedom. Further, since the notebook PC 1 according to the present embodiment outputs the input information and the image data of the input area to the main system 10 by using the general-purpose interface protected by the main system 10, the concern about interference from other software is reduced. can do. That is, in the notebook PC 1 according to the present embodiment, for example, even if the OS of the main system 10 is infected with a computer virus, malware, or the like, there is no concern that the input to the virtual input device will be read. Therefore, the notebook PC 1 according to the present embodiment can realize a virtual input device having a high degree of freedom while protecting privacy.

また、本実施形態によるノートＰＣ１は、独立した組込みシステムであるＭＣＵ４０を追加するだけで、仮想入力デバイスを実現することができるため、簡易な構成の追加により、安全で自由度の高い仮想入力デバイスを実現することができる。 Further, since the notebook PC 1 according to the present embodiment can realize a virtual input device only by adding an independent embedded system MCU40, a safe and highly flexible virtual input device can be realized by adding a simple configuration. Can be realized.

また、本実施形態では、ＭＣＵ４０は、ＵＳＢインターフェースのＨＩＤクラスを用いて、仮想入力デバイスが受け付けた入力情報を、メインシステム１０に出力し、ＵＶＣを用いて、入力領域の画像データをメインシステム１０に出力する。 Further, in the present embodiment, the MCU 40 uses the HID class of the USB interface to output the input information received by the virtual input device to the main system 10, and uses the UVC to output the image data in the input area to the main system 10. Output to.

ＵＳＢインターフェースのＨＩＤクラス、及びＵＶＣは、いずれも、ＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））により保護された安全なインターフェースであるため、本実施形態によるノートＰＣ１は、簡易な手法により、プライバシーを保護することができる。 Since the HID class and UVC of the USB interface are both secure interfaces protected by the OS (for example, Windows (registered trademark)), the notebook PC 1 according to the present embodiment protects privacy by a simple method. can do.

また、本実施形態では、メインシステム１０は、表示部１４１における入力領域の表示位置を示す表示位置情報をＭＣＵ４０に送信し、ＭＣＵ４０が出力した入力領域の画像データを、表示部１４１における入力領域の表示位置に表示する。ＭＣＵ４０は、メインシステム１０から送信された表示位置情報に基づいて、入力領域を設定する。
これにより、本実施形態によるノートＰＣ１は、表示部１４１の任意の領域に仮想入力デバイスを適切に作成することができる。 Further, in the present embodiment, the main system 10 transmits the display position information indicating the display position of the input area in the display unit 141 to the MCU 40, and the image data of the input area output by the MCU 40 is the image data of the input area in the display unit 141. Display at the display position. The MCU 40 sets the input area based on the display position information transmitted from the main system 10.
As a result, the notebook PC 1 according to the present embodiment can appropriately create a virtual input device in an arbitrary area of the display unit 141.

また、本実施形態では、メインシステム１０は、仮想入力デバイスの種類を示す種類情報をＭＣＵ４０に送信する。ＭＣＵ４０は、メインシステム１０から送信された種類情報に基づいて、入力領域の種類を設定する。
これにより、本実施形態によるノートＰＣ１は、様々な種類の仮想入力デバイスに適切に対応することができる。 Further, in the present embodiment, the main system 10 transmits the type information indicating the type of the virtual input device to the MCU 40. The MCU 40 sets the type of the input area based on the type information transmitted from the main system 10.
As a result, the notebook PC 1 according to the present embodiment can appropriately support various types of virtual input devices.

また、本実施形態では、ＭＣＵ４０は、仮想入力デバイスが受け付けた入力情報に応じたフィードバックにより、入力領域の画像データを変更する。
これにより、本実施形態によるノートＰＣ１は、機密とプライバシーとを保護しつつ、仮想入力デバイスの入力情報に応じたフィードバックの画像の表示を実現することができる。 Further, in the present embodiment, the MCU 40 changes the image data in the input area by the feedback according to the input information received by the virtual input device.
Thereby, the notebook PC 1 according to the present embodiment can realize the display of the feedback image according to the input information of the virtual input device while protecting the confidentiality and privacy.

また、本実施形態による制御方法は、表示部１４１と、表示部１４１上に配置され、表示部１４１上における物体との接触を検出するタッチセンサ部１４２と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステム１０と、メインシステム１０とは異なる独立したＭＣＵ４０とを備えるノートＰＣ１の制御方法であって、第１の出力ステップと、表示ステップと、第２の出力ステップとを含む。第１の出力ステップにおいて、ＭＣＵ４０が、仮想入力デバイスのための入力領域の画像データを生成し、入力領域の画像データを、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。表示ステップにおいて、メインシステム１０が、ＭＣＵ４０が出力した入力領域の画像データを表示部１４１に表示する。第２の出力ステップにおいて、ＭＣＵ４０が、タッチセンサ部１４２が入力領域において検出した検出情報に基づく入力情報を、仮想入力デバイスが受け付けた入力情報として、メインシステム１０により保護された汎用インターフェースを用いて、メインシステム１０に出力する。
これにより、本実施形態による制御方法は、上述したノートＰＣ１と同様の効果を奏し、機密とプライバシーとを保護しつつ、自由度の高い仮想入力デバイスを実現することができる。 Further, in the control method according to the present embodiment, the display unit 141, the touch sensor unit 142 arranged on the display unit 141 and detecting the contact with the object on the display unit 141, and the processing based on the OS (operating system) are performed. It is a control method of a notebook PC 1 including a main system 10 to be executed and an independent MCU 40 different from the main system 10, and includes a first output step, a display step, and a second output step. In the first output step, the MCU 40 generates image data in the input area for the virtual input device and outputs the image data in the input area to the main system 10 using a general purpose interface protected by the main system 10. do. In the display step, the main system 10 displays the image data of the input area output by the MCU 40 on the display unit 141. In the second output step, the MCU 40 uses the general-purpose interface protected by the main system 10 as the input information received by the virtual input device, using the input information based on the detection information detected by the touch sensor unit 142 in the input area. , Output to the main system 10.
As a result, the control method according to the present embodiment has the same effect as that of the notebook PC 1 described above, and can realize a virtual input device having a high degree of freedom while protecting confidentiality and privacy.

なお、上述した本実施形態では、タッチスクリーン１４に１つのＯＳＫを実現する例を説明したが、図５に示すように、タッチスクリーン１４に複数の仮想入力デバイスを実現するようにしてもよい。 In the present embodiment described above, an example of realizing one OSK on the touch screen 14 has been described, but as shown in FIG. 5, a plurality of virtual input devices may be realized on the touch screen 14.

図５は、本実施形態によるノートＰＣ１の仮想入力デバイスの変形例を示す図である。図５では、ノートＰＣ１の第２筐体に配置された表示部１４１を示しており、表示部１４１には、ＯＳＫ（領域Ａ１）と、手書き入力デバイス（領域Ａ２）との２つの仮想入力デバイスが表示されている。 FIG. 5 is a diagram showing a modification of the virtual input device of the notebook PC 1 according to the present embodiment. FIG. 5 shows a display unit 141 arranged in the second housing of the notebook PC 1, and the display unit 141 has two virtual input devices, an OSK (area A1) and a handwriting input device (area A2). Is displayed.

図５に示す例では、ＭＣＵ４０は、ＯＳＫと手書き入力デバイスとの２つの仮想入力デバイスの入力情報をメインシステム１０に出力するとともに、ＯＳＫ（領域Ａ１）と、手書き入力デバイス（領域Ａ２）との２つの画像データを生成して、メインシステム１０に出力する。 In the example shown in FIG. 5, the MCU 40 outputs the input information of the two virtual input devices of the OSK and the handwriting input device to the main system 10, and also has the OSK (area A1) and the handwriting input device (area A2). Two image data are generated and output to the main system 10.

また、上述した本実施形態において、ＭＣＵ４０は、画像データの更新処理の負荷が大きい場合、ＵＳＢでの画像の転送のための通信帯域が不足する場合、もしくは、効率的にそれらを実装したい場合に、画像データをブロック分けして、ブロックごとに必要に応じて処理するようにしてもよい。このようにすることによって、ノートＰＣ１は、処理負荷を軽減し、使用される通信帯域を低減することができる。 Further, in the above-described embodiment, the MCU 40 is used when the load of image data update processing is large, the communication band for image transfer via USB is insufficient, or when it is desired to implement them efficiently. , The image data may be divided into blocks and processed as necessary for each block. By doing so, the notebook PC 1 can reduce the processing load and the communication band used.

［第２の実施形態］
次に、図面を参照して、第２の実施形態によるノートＰＣ１ａについて説明する。
第２の実施形態では、主画面を表示する表示部１５の代わりに、タッチスクリーン１４を備える変形例について説明する。 [Second Embodiment]
Next, the notebook PC 1a according to the second embodiment will be described with reference to the drawings.
In the second embodiment, a modified example in which the touch screen 14 is provided instead of the display unit 15 for displaying the main screen will be described.

図６は、本実施形態によるノートＰＣ１ａの主要なハードウェア構成の一例を示す図である。
図６に示すように、ノートＰＣ１ａは、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、２つのタッチスクリーン１４と、表示部１５と、チップセット２１と、ＢＩＯＳメモリ２２と、ＨＤＤ２３と、オーディオシステム２４と、ＷＬＡＮカード２５と、ＵＳＢコネクタ２６と、撮像部２７と、エンベデッドコントローラ３１と、入力部３２と、電源回路３３と、ＭＣＵ４０ａとを備える。
なお、図８において、上述した図２と同一の構成には、同一の符号を付与して、その説明を省略する。 FIG. 6 is a diagram showing an example of a main hardware configuration of the notebook PC 1a according to the present embodiment.
As shown in FIG. 6, the notebook PC 1a includes a CPU 11, a main memory 12, a video subsystem 13, two touch screens 14, a display unit 15, a chipset 21, a BIOS memory 22, an HDD 23, and the like. It includes an audio system 24, a WLAN card 25, a USB connector 26, an image pickup unit 27, an embedded controller 31, an input unit 32, a power supply circuit 33, and an MCU 40a.
In FIG. 8, the same reference numerals are given to the same configurations as those in FIG. 2 described above, and the description thereof will be omitted.

本実施形態では、ノートＰＣ１ａは、２つのタッチスクリーン１４（１４－１、１４－２）を備える。タッチスクリーン１４－１は、第１筐体１０１に配置されており、メインの表示部として機能する。タッチスクリーン１４－１は、表示部１４１－１と、タッチセンサ部１４２－１とを備える。
タッチスクリーン１４－２は、第２筐体１０２に配置されており、表示部１４１－２と、タッチセンサ部１４２－２とを備える。 In this embodiment, the notebook PC 1a includes two touch screens 14 (14-1, 14-2). The touch screen 14-1 is arranged in the first housing 101 and functions as a main display unit. The touch screen 14-1 includes a display unit 141-1 and a touch sensor unit 142-1.
The touch screen 14-2 is arranged in the second housing 102, and includes a display unit 141-2 and a touch sensor unit 142-2.

なお、タッチスクリーン１４－１と、タッチスクリーン１４－２とは、同一の構成であり、ノートＰＣ１ａが備える任意のタッチスクリーンを示す場合、又は特に区別しない場合には、タッチスクリーン１４として説明する。
また、表示部１４１－１と表示部１４１－２とは、上述した表示部１４１と同一の構成であるため、ここではその説明を省略する。また、タッチセンサ部１４２－１とタッチセンサ部１４２－２とは、上述したタッチセンサ部１４２と同一の構成であるため、ここではその説明を省略する。 The touch screen 14-1 and the touch screen 14-2 have the same configuration, and will be described as the touch screen 14 when indicating an arbitrary touch screen included in the notebook PC 1a or when not particularly distinguished.
Further, since the display unit 141-1 and the display unit 141-2 have the same configuration as the display unit 141 described above, the description thereof will be omitted here. Further, since the touch sensor unit 142-1 and the touch sensor unit 142-2 have the same configuration as the touch sensor unit 142 described above, the description thereof will be omitted here.

また、本実施形態では、表示部１４１－１と表示部１４１－２とを一つの表示部１４０として扱うことが可能である。表示部１４０において、表示部１４１－１を第１表示領域とし、表示部１４１－２を第２表示領域としてもよい。 Further, in the present embodiment, the display unit 141-1 and the display unit 141-2 can be treated as one display unit 140. In the display unit 140, the display unit 141-1 may be used as the first display area and the display unit 141-2 may be used as the second display area.

ＭＣＵ４０ａ（組込みシステムの一例）は、基本的な機能は、上述した第１の実施形態のＭＣＵ４０と同様である。ＭＣＵ４０ａは、２つのタッチスクリーン１４に対して、仮想入力デバイスの制御を行う点が第１の実施形態のＭＣＵ４０と異なる。 The MCU40a (an example of an embedded system) has the same basic functions as the MCU40 of the first embodiment described above. The MCU 40a is different from the MCU 40 of the first embodiment in that the virtual input device is controlled for the two touch screens 14.

次に、図７を参照して、本実施形態によるノートＰＣ１ａの機能構成について説明する。
図７は、本実施形態によるノートＰＣ１ａの機能構成の一例を示すブロック図である。図７に示すように、ノートＰＣ１ａは、メインシステム１０と、２つのタッチスクリーン１４（１４－１、１４－２）と、ＭＣＵ４０ａとを備える。なお、図７において、ノートＰＣ１ａの構成として、本実施形態の発明に関する主要な機能構成のみを記載している。また、図７において、上述した図３と同一の構成には同一の符号を付与して、その説明を省略する。 Next, with reference to FIG. 7, the functional configuration of the notebook PC 1a according to the present embodiment will be described.
FIG. 7 is a block diagram showing an example of the functional configuration of the notebook PC 1a according to the present embodiment. As shown in FIG. 7, the notebook PC 1a includes a main system 10, two touch screens 14 (14-1, 14-2), and an MCU 40a. Note that, in FIG. 7, as the configuration of the notebook PC 1a, only the main functional configuration related to the invention of the present embodiment is shown. Further, in FIG. 7, the same reference numerals are given to the same configurations as those in FIG. 3 described above, and the description thereof will be omitted.

ＭＣＵ４０ａは、入力処理部４１ａと、表示処理部４２ａとを備える。
入力処理部４１ａは、上述した第１の実施形態の入力処理部４１と同様の機能を有し、２つのタッチセンサ部（１４２－１、１４２－２）に対応する点が異なる。
入力処理部４１ａは、ＵＳＢインターフェースのＨＩＤクラスを用いて、種類情報及び表示位置情報をメインシステム１０から受信し、種類情報に基づいて、仮想入力デバイスの入力領域の種類を設定するとともに、表示位置情報に基づいて、仮想入力デバイスの入力領域を設定する。また、入力処理部４１ａは、受信した種類情報及び表示位置情報を表示処理部４２ａに出力して、ＯＳＫ画像データを生成させる。 The MCU 40a includes an input processing unit 41a and a display processing unit 42a.
The input processing unit 41a has the same function as the input processing unit 41 of the first embodiment described above, and is different in that it corresponds to two touch sensor units (142-1, 142-2).
The input processing unit 41a receives the type information and the display position information from the main system 10 using the HID class of the USB interface, sets the type of the input area of the virtual input device based on the type information, and sets the display position. Based on the information, set the input area of the virtual input device. Further, the input processing unit 41a outputs the received type information and display position information to the display processing unit 42a to generate OSK image data.

また、入力処理部４１ａは、２つのタッチセンサ部（１４２－１、１４２－２）が検出した検出情報を取得し、上述により設定された入力領域において検出した検出情報を、キーコードなどの入力情報に変換する。入力処理部４１ａは、変換した入力情報をＵＳＢインターフェースのＨＩＤクラスを用いて、メインシステム１０に出力する。
また、入力処理部４１は、上述により設定された入力領域の入力を検出した場合に、２つのタッチセンサ部（１４２－１、１４２－２）の検出情報を表示処理部４２ａに出力して、検出情報に応じたフィードバックのＯＳＫ画像データを生成させる。 Further, the input processing unit 41a acquires the detection information detected by the two touch sensor units (142-1, 142-2), and inputs the detection information detected in the input area set as described above, such as a key code. Convert to information. The input processing unit 41a outputs the converted input information to the main system 10 using the HID class of the USB interface.
Further, when the input processing unit 41 detects the input in the input area set as described above, the input processing unit 41 outputs the detection information of the two touch sensor units (142-1, 142-2) to the display processing unit 42a. The OSK image data of feedback according to the detection information is generated.

表示処理部４２ａは、種類情報及び表示位置情報に基づいて、表示部１４１－１及び表示部１４１－２に対応するＯＳＫ画像データを生成し、生成したＯＳＫ画像データを、ＵＳＢインターフェースのＶＩＤＥＯクラス（ＵＶＣ）を用いてメインシステム１０に出力する。 The display processing unit 42a generates OSK image data corresponding to the display unit 141-1 and the display unit 141-2 based on the type information and the display position information, and the generated OSK image data is used in the USB interface VIDEO class (VIDEO class). It is output to the main system 10 using UVC).

なお、本実施形態のＯＳＫアプリケーション５２は、ＵＳＢドライバ５１のＶＩＤＥＯクラスを用いて、ＭＣＵ４０ａから出力されたＯＳＫ画像データを受信する。ＯＳＫアプリケーション５２は、ＯＳＫ画像データが、表示部１４１－１の仮想入力デバイスである場合に、表示部１４１－１の入力領域の表示位置に、当該ＯＳＫ画像データを表示させる表示データＡを出力して、表示部１４１－１に表示させる。また、ＯＳＫアプリケーション５２は、ＯＳＫ画像データが、表示部１４１－２の仮想入力デバイスである場合に、表示部１４１－２の入力領域の表示位置に、当該ＯＳＫ画像データを表示させる表示データＡを出力して、表示部１４１－２に表示させる。 The OSK application 52 of the present embodiment uses the VIDEO class of the USB driver 51 to receive the OSK image data output from the MCU 40a. When the OSK image data is the virtual input device of the display unit 141-1, the OSK application 52 outputs the display data A for displaying the OSK image data at the display position of the input area of the display unit 141-1. Then, it is displayed on the display unit 141-1. Further, the OSK application 52 displays the display data A for displaying the OSK image data at the display position of the input area of the display unit 141-2 when the OSK image data is the virtual input device of the display unit 141-2. It is output and displayed on the display unit 141-2.

以上説明したように、本実施形態によるノートＰＣ１ａは、メインシステム１０と、２つのタッチスクリーン１４（１４－１、１４－２）と、ＭＣＵ４０ａとを備える。ＭＣＵ４０ａは、２つのタッチスクリーン１４（１４－１、１４－２）に対応した仮想入力デバイスの制御を行う。
これにより、本実施形態によるノートＰＣ１ａは、主画面を表示する１４－１に対しても仮想入力デバイスを使用することが可能になり、プライバシーを保護しつつ、さらに自由度の高い仮想入力デバイスを実現することができる。 As described above, the notebook PC 1a according to the present embodiment includes a main system 10, two touch screens 14 (14-1, 14-2), and an MCU 40a. The MCU 40a controls a virtual input device corresponding to two touch screens 14 (14-1, 14-2).
As a result, the notebook PC 1a according to the present embodiment can use the virtual input device even for 14-1 displaying the main screen, and can provide a virtual input device having a higher degree of freedom while protecting privacy. It can be realized.

また、本実施形態において、表示部１４０は、メインシステム１０の主画面の画像データを表示する表示部１４１－１（第１表示領域）と、入力領域の画像データを含む画像データを表示する表示部１４１－２（第２表示領域）とを備えるようにしてもよい。
これにより、本実施形態によるノートＰＣ１ａは、２つの表示領域（表示部１４１－１及び表示部１４１－２）を用いて、様々な画像データを柔軟に表示させることができる。 Further, in the present embodiment, the display unit 140 displays the display unit 141-1 (first display area) that displays the image data of the main screen of the main system 10 and the display unit that displays the image data including the image data of the input area. A unit 141-2 (second display area) may be provided.
As a result, the notebook PC 1a according to the present embodiment can flexibly display various image data by using two display areas (display unit 141-1 and display unit 141-2).

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、情報処理装置がノートＰＣ１（１ａ）である例を説明したが、これに限定されるものではなく、例えば、タブレット端末装置、デスクトップＰＣなどの他の情報処理装置であってもよい。 The present invention is not limited to each of the above embodiments, and can be modified without departing from the spirit of the present invention.
For example, in each of the above embodiments, the example in which the information processing device is the notebook PC 1 (1a) has been described, but the present invention is not limited to this, and for example, other information processing devices such as a tablet terminal device and a desktop PC. It may be.

また、上記の第２の実施形態において、表示部１４０を２つの表示領域（表示部１４１－１及び表示部１４１－２）に分割して使用する例、もしくは、ノートＰＣ１ａが、２つの表示部１４１（１４１－１、１４１－２）を備える例を説明したが、これらに限定されるものではない。例えば、表示部１４０を３つの表示領域に分割して用いる、もしくは、ノートＰＣ１ａが、３つ以上の表示部１４１を備えるようにしてもよい。 Further, in the second embodiment described above, the display unit 140 is divided into two display areas (display unit 141-1 and display unit 141-2) and used, or the notebook PC 1a has two display units. An example including 141 (141-1, 141-2) has been described, but the present invention is not limited thereto. For example, the display unit 140 may be divided into three display areas for use, or the notebook PC 1a may include three or more display units 141.

また、上記の各実施形態において、仮想入力デバイスの一例として、ＯＳＫを行う入力装置の例を説明したが、これに限定されるものではない。仮想入力デバイスは、例えば、手書き入力デバイス、ソフトウェアキーボード、ポインティングデバイス、などであってもよい。 Further, in each of the above embodiments, an example of an input device that performs OSK has been described as an example of a virtual input device, but the present invention is not limited thereto. The virtual input device may be, for example, a handwriting input device, a software keyboard, a pointing device, or the like.

また、上記の各実施形態において、メインシステム１０（ＯＳ）により保護された汎用インターフェースの例として、ＵＳＢインターフェースのＨＩＤクラス、及びＵＶＣを用いる例を説明したが、これに限定されるものではなく、メインシステム１０（ＯＳ）により保護されたインターフェースであれば、他の汎用インターフェースをもちいてもよい。 Further, in each of the above embodiments, an example of using the HID class of the USB interface and UVC as an example of the general-purpose interface protected by the main system 10 (OS) has been described, but the present invention is not limited thereto. Other general-purpose interfaces may be used as long as the interface is protected by the main system 10 (OS).

また、上記の各実施形態において、ＭＣＵ４０（４０ａ）は、フィードバックのＯＳＫ画像データを生成する例を説明したが、ＯＳＫ画像データとともに、例えば、クリック音などの音データを生成するようにしてもよい。 Further, in each of the above embodiments, the MCU 40 (40a) has described an example of generating feedback OSK image data, but sound data such as a click sound may be generated together with the OSK image data. ..

（１）表示部と、前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、前記メインシステムとは異なる独立した組込みシステムであって、仮想入力デバイスのための入力領域の画像データを生成し、前記入力領域の画像データを、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力するとともに、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力する組込みシステムとを備え、前記メインシステムは、前記組込みシステムが出力した前記入力領域の画像データを前記表示部に表示する情報処理装置。
（２）前記組込みシステムは、ＵＳＢ（Universal Serial Bus）インターフェースのＨＩＤ（Human Interface Device）クラスを用いて、前記仮想入力デバイスが受け付けた入力情報を、前記メインシステムに出力し、ＵＶＣ（USB Video Class）を用いて、前記入力領域の画像データを前記メインシステムに出力する（１）に記載の情報処理装置。
（３）前記メインシステムは、前記表示部における前記入力領域の表示位置を示す表示位置情報を前記組込みシステムに送信し、前記組込みシステムが出力した前記入力領域の画像データを、前記表示部における前記入力領域の表示位置に表示し、前記組込みシステムは、前記メインシステムから送信された前記表示位置情報に基づいて、前記入力領域を設定する（１）又は（２）に記載の情報処理装置。
（４）前記メインシステムは、前記仮想入力デバイスの種類を示す種類情報を前記組込みシステムに送信し、前記組込みシステムは、前記メインシステムから送信された前記種類情報に基づいて、前記入力領域の種類を設定する（１）から（３）のいずれかに記載の情報処理装置。
（５）前記組込みシステムは、前記仮想入力デバイスが受け付けた入力情報に応じたフィードバックにより、前記入力領域の画像データを変更する（１）から（４）のいずれかに記載の情報処理装置。
（６）前記表示部は、前記メインシステムの主画面の画像データを表示する第１表示領域と、前記入力領域の画像データを含む画像データを表示する第２表示領域とを備える（１）から（５）のいずれかに記載の情報処理装置。
（７）表示部と、前記表示部上に配置され、前記表示部上における物体との接触を検出するタッチセンサ部と、ＯＳ（オペレーティングシステム）に基づく処理を実行するメインシステムと、前記メインシステムとは異なる独立した組込みシステムとを備える情報処理装置の制御方法であって、前記組込みシステムが、仮想入力デバイスのための入力領域の画像データを生成し、前記入力領域の画像データを、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力するステップと、前記メインシステムが、前記組込みシステムが出力した前記入力領域の画像データを前記表示部に表示するステップと、前記組込みシステムが、前記タッチセンサ部が前記入力領域において検出した検出情報に基づく入力情報を、前記仮想入力デバイスが受け付けた入力情報として、前記メインシステムにより保護された汎用インターフェースを用いて、前記メインシステムに出力するステップとを含む制御方法。 (1) A display unit, a touch sensor unit arranged on the display unit to detect contact with an object on the display unit, a main system that executes processing based on an OS (operating system), and the main system. It is an independent embedded system different from the main system, which generates image data of an input area for a virtual input device, and uses the general-purpose interface protected by the main system to obtain the image data of the input area. The input information based on the detection information detected by the touch sensor unit in the input area is used as the input information received by the virtual input device using the general-purpose interface protected by the main system. The main system includes an embedded system that outputs to the system, and the main system is an information processing device that displays image data of the input area output by the embedded system on the display unit.
(2) The embedded system uses the HID (Human Interface Device) class of the USB (Universal Serial Bus) interface to output the input information received by the virtual input device to the main system, and UVC (USB Video Class). ) Is used to output the image data of the input area to the main system. The information processing apparatus according to (1).
(3) The main system transmits display position information indicating the display position of the input area in the display unit to the built-in system, and the image data of the input area output by the built-in system is the image data of the input area in the display unit. The information processing apparatus according to (1) or (2), wherein the input area is displayed at a display position of an input area, and the embedded system sets the input area based on the display position information transmitted from the main system.
(4) The main system transmits type information indicating the type of the virtual input device to the embedded system, and the embedded system has the type of the input area based on the type information transmitted from the main system. The information processing apparatus according to any one of (1) to (3).
(5) The information processing apparatus according to any one of (1) to (4), wherein the embedded system changes image data in the input area by feedback according to input information received by the virtual input device.
(6) From (1), the display unit includes a first display area for displaying image data of the main screen of the main system and a second display area for displaying image data including the image data of the input area. The information processing apparatus according to any one of (5).
(7) A display unit, a touch sensor unit arranged on the display unit to detect contact with an object on the display unit, a main system that executes processing based on an OS (operating system), and the main system. It is a control method of an information processing apparatus including an independent embedded system different from the above, wherein the embedded system generates image data of an input area for a virtual input device, and the image data of the input area is used as the main. A step of outputting to the main system using a general-purpose interface protected by the system, a step of displaying the image data of the input area output by the embedded system on the display unit, and the embedded system. However, the input information based on the detection information detected by the touch sensor unit in the input area is output to the main system as the input information received by the virtual input device by using the general-purpose interface protected by the main system. Control method including steps to be performed.

なお、上述したノートＰＣ１（１ａ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したノートＰＣ１（１ａ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したノートＰＣ１（１ａ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。 Each configuration included in the notebook PC 1 (1a) described above has a computer system inside. Then, a program for realizing the functions of each configuration included in the notebook PC 1 (1a) described above is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by the computer system and executed. Thereby, the processing in each configuration provided in the notebook PC 1 (1a) described above may be performed. Here, "loading and executing a program recorded on a recording medium into a computer system" includes installing the program in the computer system. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.
Further, the "computer system" may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and a dedicated line. Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system. As described above, the recording medium in which the program is stored may be a non-transient recording medium such as a CD-ROM.

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にノートＰＣ１（１ａ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 The recording medium also includes an internal or external recording medium accessible from the distribution server for distributing the program. It should be noted that the program may be divided into a plurality of parts, downloaded at different timings, and then combined with each configuration provided in the notebook PC 1 (1a), or the distribution server for distributing each of the divided programs may be different. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network, and holds the program for a certain period of time. It shall include things. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned function in combination with a program already recorded in the computer system.

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。 Further, a part or all of the above-mentioned functions may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each of the above-mentioned functions may be made into a processor individually, or a part or all of them may be integrated into a processor. Further, the method of making an integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, when an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.

１、１ａノートＰＣ
１０メインシステム
１１ＣＰＵ
１２メインメモリ
１３ビデオサブシステム
１４、１４－１、１４－２タッチスクリーン
１５表示部
２１チップセット
２２ＢＩＯＳメモリ
２３ＨＤＤ
２４オーディオシステム
２５ＷＬＡＮカード
２６ＵＳＢコネクタ
２７撮像部
３１エンベデッドコントローラ（ＥＣ）
３２入力部
３３電源回路
４０、４０ａＭＣＵ
４１、４１ａ入力処理部
４２、４２ａ表示処理部
１０１第１筐体
１０２第２筐体
１４０、１４１、１４１－１、１４１－２表示部
１４２、１４２－１、１４２－２タッチセンサ部 1,1a notebook PC
10 Main system 11 CPU
12 Main memory 13 Video subsystem 14, 14-1, 14-2 Touch screen 15 Display 21 Chipset 22 BIOS memory 23 HDD
24 Audio system 25 WLAN card 26 USB connector 27 Imaging unit 31 Embedded controller (EC)
32 Input section 33 Power supply circuit 40, 40a MCU
41, 41a Input processing unit 42, 42a Display processing unit 101 1st housing 102 2nd housing 140, 141, 141-1, 141-2 Display unit 142, 142-1, 142-2 Touch sensor unit

Claims

With a touch screen
The first processor that executes processing based on the OS (operating system),
An independent second processor different from the first processor, the first processor using a general-purpose interface protected by the first processor to obtain data indicating image data in an input area for a virtual input device. An information processing apparatus including a second processor that outputs input information based on contact information detected by the touch screen to the first processor and outputs the input information to the first processor using a general-purpose interface protected by the first processor.

The information processing device according to claim 1, wherein the first processor displays image data of the input area output by the second processor on the touch screen.

The second processor uses the HID (Human Interface Device) class of the USB (Universal Serial Bus) interface to output the input information received by the virtual input device to the first processor, and UVC (USB Video Class). The information processing apparatus according to claim 1 or 2, wherein the image data in the input area is output to the first processor using the above.

The first processor transmits display position information indicating a display position of the input area on the touch screen to the second processor, and the image data of the input area output by the second processor is the image data of the input area on the touch screen. Display at the display position of the input area,
The information processing device according to any one of claims 1 to 3, wherein the second processor sets the input area based on the display position information transmitted from the first processor.

The first processor transmits type information indicating the type of the virtual input device to the second processor.
The information processing device according to any one of claims 1 to 4, wherein the second processor sets the type of the input area based on the type information transmitted from the first processor.

The information processing apparatus according to any one of claims 1 to 5, wherein the second processor changes image data in the input area by feedback according to input information received by the virtual input device.

Claim 1 to claim 1, wherein the touch screen includes a first display area for displaying image data of the main screen of the first processor, and a second display area for displaying image data including image data of the input area. The information processing apparatus according to any one of 6.

It is a control method of an information processing unit including a touch screen, a first processor that executes processing based on an OS (operating system), and an independent second processor different from the first processor.
A step in which the second processor outputs data indicating image data of an input area for a virtual input device to the first processor using a general-purpose interface protected by the first processor.
A control method including a step in which the second processor outputs input information based on contact information detected by the touch screen to the first processor using a general-purpose interface protected by the first processor.

It is an independent second processor that is different from the first processor that executes processing based on the OS (operating system).
Data indicating image data in the input area for the virtual input device is output to the first processor using the general-purpose interface protected by the first processor, and input information based on the contact information detected by the touch screen. A second processor that outputs the data to the first processor using the general-purpose interface protected by the first processor.

With a touch screen
The first processor that executes processing based on the OS (operating system),
An independent second processor different from the first processor, input information based on contact information detected by the touch screen is output to the first processor using a general-purpose interface protected by the first processor. An information processing device including a second processor.