JP2011203829A - Command generating device, method of controlling the same, and projector including the same - Google Patents

Command generating device, method of controlling the same, and projector including the same Download PDF

Info

Publication number
JP2011203829A
JP2011203829A JP2010068339A JP2010068339A JP2011203829A JP 2011203829 A JP2011203829 A JP 2011203829A JP 2010068339 A JP2010068339 A JP 2010068339A JP 2010068339 A JP2010068339 A JP 2010068339A JP 2011203829 A JP2011203829 A JP 2011203829A
Authority
JP
Japan
Prior art keywords
command
information
character
execution
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010068339A
Other languages
Japanese (ja)
Inventor
Kazuhiro Shibuya
和宏 澁谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010068339A priority Critical patent/JP2011203829A/en
Publication of JP2011203829A publication Critical patent/JP2011203829A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide: a command generating device allowing execution of commands without increasing the number of gestures corresponding to the commands and without the need to distinguish a drawing area from a command area on a display surface; a method of controlling the device; and a projector including the device.SOLUTION: A tablet personal computer 10 includes: an information detection unit 103 which detects information input by handwriting; and a command execution instruction output unit 117 which outputs an execution instruction of the command according to that content of the information is combination information obtained by combining a character indicating a specific command and a gesture for allowing a character to be recognized as a command.

Description

本発明は、コマンド生成装置、その制御方法及びそれを備えたプロジェクターに関する。   The present invention relates to a command generation device, a control method thereof, and a projector including the same.

電子黒板やタブレットPCなど、スタイラスペンや指による手書き入力が可能な機器が各種提案されている。これらの機器では、スタイラスペンや手により画面にタッチする行為が、描く、消す、指定する等の複数種類の入力指示を与えることができる。手書きで描く行為以外に、メールの送信、印刷、ファイルの入出力等の他の機能を呼び出す場合は、操作モードをマウスモードなどに切り替えたり、キーボードを利用して操作する必要がある。   Various devices capable of handwriting input with a stylus pen or a finger, such as an electronic blackboard and a tablet PC, have been proposed. In these devices, the action of touching the screen with a stylus pen or hand can give a plurality of types of input instructions such as drawing, erasing, and specifying. In addition to the act of drawing by hand, when calling other functions such as sending mail, printing, file input / output, etc., it is necessary to switch the operation mode to the mouse mode, etc., or operate using the keyboard.

特許文献1には、スタイラスペンによる手書き操作と類似の操作(ジェスチャー)で、手書きしたものを削除、移動、サイズ変更することを可能にし、利便性を向上させた手書き入力情報処理装置が記載されている。編集処理種別を指定するための手書き編集コマンドとして、「消去」は消しゴムを擦ったイメージのギザギザを複数回入力し、「移動」は「矢」印、「拡大・縮小」は「<」印、「回転」は「曲線状の矢」印、「陰影」は陰影の方向を考えて「ギザギザ状の鍵括弧」印といったように、それぞれの編集内容をイメージさせる図形を入力することで、各機能を実行することができるようになっている。   Patent Document 1 describes a handwriting input information processing apparatus that allows a handwritten object to be deleted, moved, and resized by an operation (gesture) similar to a handwriting operation with a stylus pen, thereby improving convenience. ing. As a handwriting editing command for specifying the editing processing type, “Erase” inputs the jaggedness of the image rubbed with the eraser multiple times, “Move” indicates “arrow”, “Zoom” indicates “<”, Each function can be entered by entering a graphic image of each edited content, such as “Rotate” as a “curved arrow” mark and “Shadow” as a “jagged key bracket” mark considering the direction of the shadow. Can be executed.

また、特許文献2にも、手書入力手段によって入力された手書きデータを手書きコマンドとして解釈し、解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、手書コマンドの処理対象として特定する方法が記載されている。削除、検索、コピー等といった機能をジェスチャーに割り当てている。   Also in Patent Document 2, handwritten data input by handwriting input means is interpreted as a handwritten command, and at least a part of data corresponding to the input position of the interpreted command is specified as a processing target of the handwritten command. How to do is described. Functions such as delete, search, and copy are assigned to gestures.

また、特許文献3には、手書き操作によるコマンドの文字入力を受け付けるコマンドエリアとコマンド以外の文字入力を受け付ける描画エリアとを区別し、コマンドエリアの方に文字を手書き入力することで各機能を実行させる情報処理装置が記載されている。   In Patent Document 3, a command area that accepts a character input of a command by handwriting operation is distinguished from a drawing area that accepts a character input other than a command, and each function is executed by handwriting a character into the command area. An information processing apparatus is described.

特開平08−263688号公報Japanese Patent Laid-Open No. 08-263688 特開2007−42050号公報JP 2007-42050 A 特開平06−75692号公報Japanese Patent Laid-Open No. 06-75692

しかしながら、特許文献1及び2によれば、各機能を実行させるコマンドに対応するジェスチャーを登録しておく必要がある。機能の種類が多いと登録するジェスチャーの数も増える。つまり、ユーザーが覚えなければならないジェスチャーの数も増加するため、利便性が低下する。また、特許文献3によれば、表示面上でコマンドエリアと描画エリアを区別し、表示面の一部はコマンドエリアによって利用されてしまうため、描画エリアを大きく利用することができず、やはり利便性に劣る点がある。   However, according to Patent Documents 1 and 2, it is necessary to register a gesture corresponding to a command for executing each function. The more types of functions, the more gestures you can register. That is, since the number of gestures that the user has to remember increases, convenience decreases. Further, according to Patent Document 3, a command area and a drawing area are distinguished on the display surface, and a part of the display surface is used by the command area. There are inferior points.

本発明は、上記課題を解決するためになされたものであって、コマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができるコマンド発生装置、その制御方法及びそれを備えたプロジェクターを提供することを目的とする。   The present invention has been made to solve the above-described problem, and it is possible to execute a command without increasing the number of gestures corresponding to the command and without distinguishing the drawing area and the command area on the display surface. It is an object of the present invention to provide a command generation apparatus that can be executed, a control method thereof, and a projector including the same.

上記課題を解決することのできる本発明のコマンド発生装置は、指示位置の軌跡により入力された情報を検出する情報検出部と、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、を有することを特徴とする。
上記構成によれば、文字と図形との組み合わせによってコマンドを実行する。図形は各機能を実行するためのコマンドそのものではなく、文字をコマンドとして認識させるためのものである。文字と図形との組み合わせを同じ描画エリアに手書きすれば文字と図形との組み合わせ情報でコマンドを認識することができる。このため、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。
The command generation device of the present invention capable of solving the above-described problems includes an information detection unit that detects information input based on a locus of a designated position, and the content of the information includes a character indicating a specific command and a command of the character A command recognition unit for recognizing the character as a command and a command execution command output unit for outputting an execution command for the recognized command according to the combination information combined with a figure for recognition as a command It is characterized by.
According to the above configuration, a command is executed by a combination of characters and graphics. The figure is not a command itself for executing each function but a character to be recognized as a command. If a combination of a character and a figure is handwritten in the same drawing area, the command can be recognized based on the combination information of the character and the figure. For this reason, the command can be executed without increasing the number of gestures corresponding to the command as in the prior art and without having to distinguish the drawing area and the command area on the display surface.

また、本発明のコマンド発生装置において、前記コマンド認識部は、前記情報に、前記コマンドに対するパラメータを示す文字と前記文字をパラメータとして認識させるための図形とを組み合わせた追加情報が含まれていることに応じて、前記文字をパラメータとして認識し、前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、コマンドのみならず、パラメータも文字と図形との組み合わせによって与えることができる。この場合、コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるための図形と、パラメータとして認識させるための図形と、を共通の図形として使用することができる。したがって、パラメータが増えても、ユーザーが覚えなければならない図形(ジェスチャー)の数が増加することがなく、利便性の向上を図ることができる。
In the command generation device of the present invention, the command recognition unit may include additional information in which the information includes a combination of a character indicating a parameter for the command and a figure for recognizing the character as a parameter. In response, the character is recognized as a parameter, and the command execution instruction output unit outputs an execution instruction of the command using the recognized parameter.
According to the above configuration, not only commands but also parameters can be given by combinations of characters and graphics. In this case, if the command and the parameter are expressed by different characters, the graphic for recognizing as a command and the graphic for recognizing as a parameter can be used as a common graphic. Therefore, even if the number of parameters increases, the number of figures (gestures) that the user has to remember does not increase, and convenience can be improved.

また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形が所定の軌跡で描画されていることに応じて、前記実行命令を出力することを特徴とする。
上記構成によれば、図形の形だけでなく、運筆(軌跡、ストローク、筆跡)によって実行命令を出力するか否かを決定することができる。したがって、通常使用する図形でも、ユーザーは意図的に手書き文字の軌跡を変えることで、文字をコマンドやパラメータとして認識させることができる。
In the command generating device of the present invention, the command execution command output unit outputs the execution command in response to the figure being drawn with a predetermined locus.
According to the above configuration, it is possible to determine whether or not to output an execution command not only by the shape of a figure but also by handwriting (trajectory, stroke, handwriting). Therefore, even in a figure that is normally used, the user can recognize the character as a command or a parameter by intentionally changing the locus of the handwritten character.

また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記情報に、前記組合せ情報及び前記追加情報以外の他の情報が含まれていることに応じて、前記他の情報について前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、組み合わせ情報を印刷コマンドとして認識し、追加情報をパラメータとしてA4サイズを認識すれば、他の情報についてA4サイズで印刷したり、ファイルとして保存したりすることができる。
Further, in the command generation device of the present invention, the command execution instruction output unit may include the information other than the combination information and the additional information when the information includes the other information. A command execution instruction is output.
According to the above configuration, for example, if the combination information is recognized as a print command and the A4 size is recognized using additional information as a parameter, other information can be printed in A4 size or saved as a file.

また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形の中に前記コマンドを示す文字及び前記パラメータを示す文字以外の内容が含まれていることに応じて、前記内容に基づいた前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、コマンドやパラメータを示す文字以外の内容をキーワードとして、キーワード検索を行なったり、置き換えたりすることもできる。
Further, in the command generation device of the present invention, the command execution instruction output unit may include the contents other than the character indicating the command and the character indicating the parameter in the graphic. A command execution instruction based on the command is output.
According to the above configuration, for example, keyword search can be performed or replaced using content other than characters indicating commands and parameters as keywords.

また、上記課題を解決することのできる本発明のコマンド発生装置の制御方法は、手書き入力された情報を検出するステップと、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、認識したコマンドについて実行命令を出力するステップと、を有することを特徴とする。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることが可能なコマンド発生装置の制御方法を提供することができる。
In addition, the control method of the command generation device of the present invention that can solve the above-described problem includes a step of detecting information input by handwriting, and the content of the information includes a character indicating a specific command and the character as a command. A step of determining whether or not combination information is combined with a figure for recognition; a step of recognizing the character as a command in response to the content of the information being combination information; and the recognized command Outputting an execution instruction.
According to the above configuration, the command can be executed without increasing the number of gestures corresponding to the command as in the past and without having to distinguish the drawing area from the command area on the display surface. An apparatus control method can be provided.

上記の何れかに記載のコマンド発生装置を備えることを特徴とするプロジェクター。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させるプロジェクターを提供することができる。
A projector comprising the command generator according to any one of the above.
According to the above configuration, it is possible to provide a projector that executes a command without increasing the number of gestures corresponding to the command as in the past and without having to distinguish between a drawing area and a command area on the display surface. it can.

本実施形態のデータ出力システムの概略構成を示す図である。It is a figure which shows schematic structure of the data output system of this embodiment. ジェスチャー認識辞書の一例を示す図である。It is a figure which shows an example of a gesture recognition dictionary. コマンド認識辞書の一例を示す図である。It is a figure which shows an example of a command recognition dictionary. 本実施形態の投写システムにおけるタブレットPCが実行する処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process which tablet PC in the projection system of this embodiment performs. (a)は、文字が手書きされたときの表示画面を示す図であり、(b)は、手書き文字がコマンド化されたときの表示画面を示す図であり、(c)は、コマンドの実行を指示するときの表示画面を示す図であり、(d)は、印刷コマンドを実行した後の表示画面を示す図である。(A) is a figure which shows a display screen when a character is handwritten, (b) is a figure which shows a display screen when a handwritten character is commanded, (c) is execution of a command FIG. 6D is a diagram showing the display screen after executing the print command. (a)は、印刷という文字がコマンド化されたときの表示画面を示す図であり、(b)は、コマンド化されたオブジェクトを解除するときの表示画面を示す図であり、(c)は、コマンド化されたオブジェクトを解除した後の表示画面を示す図である。(A) is a figure which shows a display screen when the character of printing is commanded, (b) is a figure which shows a display screen when canceling | releasing the commanded object, (c) It is a figure which shows the display screen after cancelling | releasing the commanded object. (a)は、Fileという文字がコマンド化されたときの表示画面を示す図であり、(b)は、ファイルとして保存するためのコマンドの実行を指示するときの表示画面を示す図であり、(c)は、Fileコマンドを実行した後の表示画面を示す図である。(A) is a figure which shows a display screen when the character of File is commanded, (b) is a figure which shows a display screen when instruct | indicating execution of the command for preserve | saving as a file, (C) is a figure which shows the display screen after performing File command. (a)は、Fileという文字がコマンド化されたときの表示画面を示す図であり、(b)は、ファイルを読み出すためのコマンドの実行を指示するときの表示画面を示す図であり、(c)は、Fileコマンドを実行した後の表示画面を示す図である。(A) is a figure which shows a display screen when the character of File is commanded, (b) is a figure which shows a display screen when instructing execution of the command for reading a file, c) is a diagram showing a display screen after executing the File command. (a)は、Searchという文字がコマンド化されたときの表示画面を示す図であり、(b)は、キーワードを検索するためのコマンドの実行を指示するときの表示画面を示す図であり、(c)は、Searchコマンドを実行した後の表示画面を示す図である。(A) is a figure which shows a display screen when the character of Search is commanded, (b) is a figure which shows a display screen when instruct | indicating execution of the command for searching a keyword, (C) is a figure which shows the display screen after performing a Search command. (a)は、文字がコマンド化されたときの表示画面を示す図であり、(b)は、キーワードを置き換えるためのコマンドの実行を指示するときの表示画面を示す図であり、(c)は、置換コマンドを実行した後の表示画面を示す図である。(A) is a figure which shows a display screen when a character is commanded, (b) is a figure which shows a display screen when instruct | indicating execution of the command for replacing a keyword, (c) These are figures which show the display screen after performing a replacement command. 本発明のコマンド発生装置をプロジェクターに搭載した場合の例を示した図である。It is the figure which showed the example at the time of mounting the command generator of this invention in a projector.

以下、本発明に係るコマンド発生装置及びその制御方法の好適な実施形態について、図面を参照して詳細に説明する。
本実施形態では、コマンド発生装置としてタブレットPCを例示し、タブレットPCの表示面に表示される画像と同じ画像データを、タブレットPCと通信可能に接続されたプロジェクター、プリンター及びメールサーバー等へ出力するデータ出力システム1として説明する。
DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of a command generation device and a control method thereof according to the present invention will be described in detail with reference to the drawings.
In the present embodiment, a tablet PC is exemplified as the command generation device, and the same image data as the image displayed on the display surface of the tablet PC is output to a projector, a printer, a mail server, and the like that are connected to be communicable with the tablet PC. The data output system 1 will be described.

<データ出力システムの概略構成について>
図1に示すようにデータ出力システム1は、タブレットPC10から送信された画像をスクリーン等の投写面に向けて拡大投写するプロジェクター20と、タブレットPC10から送信されたデータを印刷するプリンター30と、タブレットPC10から送信されたデータを電子メールに添付して指定された宛先に送信するメールサーバー40と、を備え、各装置は互いに有線あるいは無線LANによって接続されている。なお、プロジェクター20、プリンター30及びメールサーバー40は、一般的な構成であるため、詳細なハードウェア構成については説明を省略する。
<About the schematic configuration of the data output system>
As shown in FIG. 1, the data output system 1 includes a projector 20 that enlarges and projects an image transmitted from the tablet PC 10 onto a projection surface such as a screen, a printer 30 that prints data transmitted from the tablet PC 10, and a tablet. A mail server 40 that attaches data transmitted from the PC 10 to an e-mail and transmits the data to a designated destination, and the apparatuses are connected to each other by a wired or wireless LAN. Since the projector 20, the printer 30, and the mail server 40 have a general configuration, a detailed hardware configuration will not be described.

プロジェクター20は、タブレットPC10との間で各種データの送受信を行なうためのインターフェイス、画像を投写する投写ランプや投写ランプからの投写光をスクリーン上に拡大投射する投写レンズなど、各種画像信号処理系および光学系から成る投写手段を有している。プリンター30は、タブレットPC10との間で各種データの送受信を行なうためのインターフェイス、受信したデータに基づいて印刷処理を行う印刷機構部などを有している。また、メールサーバー40は、タブレットPC10や外部ネットワークとの間で各種データの送受信を行なうためのインターフェイス、このメールサーバー40が管理するユーザー認証情報や自らが管理する電子メールアドレスの宛先などが格納される記憶部を有している。相手先を振り分けるメール転送エージェントや振り分けられたメールをサーバ内のユーザーや別のサーバへ配送するなどの機能を備えており、タブレットPC10から受信した画像ファイルを指定された送信先へ電子メールを送信することができるようになっている。   The projector 20 includes various image signal processing systems such as an interface for transmitting / receiving various data to / from the tablet PC 10, a projection lamp for projecting an image, and a projection lens for enlarging and projecting projection light from the projection lamp on a screen. Projection means comprising an optical system is provided. The printer 30 includes an interface for transmitting and receiving various data to and from the tablet PC 10, a printing mechanism unit that performs printing processing based on the received data, and the like. The mail server 40 also stores an interface for transmitting and receiving various data to and from the tablet PC 10 and an external network, user authentication information managed by the mail server 40, an e-mail address address managed by the mail server 40, and the like. Storage unit. It has functions such as a mail transfer agent that distributes the destination and a function to deliver the distributed mail to a user in the server or another server, and sends the image file received from the tablet PC 10 to the specified destination. Can be done.

タブレットPC10は、演算処理の中枢をなす不図示のCPUを備えており、このCPUはシステムバスを介してROMやRAMにアクセス可能となっている。また、システムバスには外部記憶装置としてのハードディスクドライブが接続されており、ハードディスクドライブに記憶されたOS(Operating System)やアプリケーションなどがRAMに転送され、CPUはROMとRAMに適宜アクセスしてソフトウェアを実行する。   The tablet PC 10 includes a CPU (not shown) that forms the center of arithmetic processing, and this CPU can access ROM and RAM via a system bus. In addition, a hard disk drive as an external storage device is connected to the system bus, and an OS (Operating System) and applications stored in the hard disk drive are transferred to the RAM. Execute.

本実施形態では、ハードディスクドライブにはプレゼンテーション用アプリケーションや、操作位置検出プログラム、文字認識アプリケーション等が記憶されている。CPUがOSやこれらのプログラムを実行することによって、スタイラスペンによって表示部101上に手書きされた描画情報をデジタルデータに変換し、例えばプレゼンテーション用のコンテンツ画像に合成し、プロジェクター20へ送信することができる。   In this embodiment, the hard disk drive stores a presentation application, an operation position detection program, a character recognition application, and the like. When the CPU executes the OS and these programs, drawing information handwritten on the display unit 101 by the stylus pen is converted into digital data, and is synthesized into a content image for presentation, for example, and transmitted to the projector 20. it can.

タブレットPC10のCPUが、OSやプレゼンテーション用アプリケーション、操作位置検出プログラム、文字認識アプリケーションを実行することによって、図1に示すように、タブレットPC10には、表示部101、情報検出部103、制御部105、記憶部107、送受信部109が構成される。   As the CPU of the tablet PC 10 executes an OS, a presentation application, an operation position detection program, and a character recognition application, the tablet PC 10 includes a display unit 101, an information detection unit 103, and a control unit 105 as shown in FIG. A storage unit 107 and a transmission / reception unit 109 are configured.

表示部101は、画像や操作内容を表示する液晶ディスプレイである。情報検出部103は、スタイラスペンによる表示部101への書き込みや、各種キー操作を行うための入力操作を検出するタッチパネルである。
情報検出部103は、スタイラスペンが表示面101に触れた位置を検出しデジタルデータに変換し、表示面上に描かれた描画データを制御部105へ出力する。なお、表示面に接触した位置を検出する方法としては、圧力の変化を感知する感圧方式や、静電気による電気信号を感知する静電方式等がある。
The display unit 101 is a liquid crystal display that displays images and operation details. The information detection unit 103 is a touch panel that detects input to the display unit 101 using a stylus pen and various key operations.
The information detection unit 103 detects the position where the stylus pen touches the display surface 101, converts it into digital data, and outputs the drawing data drawn on the display surface to the control unit 105. As a method for detecting the position in contact with the display surface, there are a pressure-sensitive method for sensing a change in pressure, an electrostatic method for sensing an electric signal due to static electricity, and the like.

制御部105には、画像処理部111と、ジェスチャー認識部113と、コマンド認識部115と、コマンド実行命令出力部117と、が構成される。
画像処理部111は、ハードディスクドライブ等の各種ドライブに保存されているコンテンツファイルに基づいて画像データを取得し、表示部101に表示させたり、プロジェクター20に投写させる画像データの処理を行う。また、画像処理部111は、情報検出部103から取得した描画データに基づいて、ユーザーが手書きした情報を画像データに合成する。合成した画像データは、表示部101へ出力するとともに、送受信部109を介してプロジェクター20へ送信される。
The control unit 105 includes an image processing unit 111, a gesture recognition unit 113, a command recognition unit 115, and a command execution command output unit 117.
The image processing unit 111 acquires image data based on content files stored in various drives such as a hard disk drive, and processes the image data displayed on the display unit 101 or projected on the projector 20. Further, the image processing unit 111 synthesizes information handwritten by the user with image data based on the drawing data acquired from the information detection unit 103. The combined image data is output to the display unit 101 and transmitted to the projector 20 via the transmission / reception unit 109.

ジェスチャー認識部113は、情報検出部103から取得した描画データに基づいて、ユーザーが手書きしたスタイラスペンの軌跡が示す図形を認識する。認識した図形が予め定義されているジェスチャーと一致するか否かを判定する。一致したことに応じて、そのジェスチャーが、対応する機能を実行させるために入力されたジェスチャーであることを認識し、入力されたジェスチャーに対応する機能をコマンド認識部115へ通知する。なお、図形がジャスチャーと一致するか否かは、その形状のみならず、スタイラスペンによる運筆(軌跡、ストローク、筆跡)も考慮して判定する。   Based on the drawing data acquired from the information detection unit 103, the gesture recognition unit 113 recognizes a graphic indicated by the locus of the stylus pen handwritten by the user. It is determined whether or not the recognized figure matches a predefined gesture. In response to the match, it recognizes that the gesture is an input gesture for executing the corresponding function, and notifies the command recognition unit 115 of the function corresponding to the input gesture. Whether or not the figure matches the gesture is determined in consideration of not only the shape but also the stylus pen stroke (trajectory, stroke, handwriting).

コマンド認識部115は、ジェスチャー認識部113が認識したジェスチャーの範囲内に含まれている情報について文字認識を行なう。文字認識により得られたテキスト文字が、予め定義されているコマンドと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部113が認識したジェスチャーとを組み合わせ情報として認識する。そして、コマンド認識部115は、組み合わせ情報であることに応じて、そのテキスト文字を対応する機能を実行させるために入力されたコマンドとして認識する。入力されたコマンドに対応する機能をコマンド実行命令出力部117へ通知する。   The command recognition unit 115 performs character recognition on the information included in the gesture range recognized by the gesture recognition unit 113. It is determined whether the text character obtained by character recognition matches a predefined command. In response to the match, the text character and the gesture recognized by the gesture recognition unit 113 are recognized as combination information. Then, the command recognition unit 115 recognizes the text character as an input command for executing the corresponding function in response to the combination information. The function corresponding to the input command is notified to the command execution instruction output unit 117.

また、コマンド認識部115は、ジェスチャー認識部113が認識したジェスチャーの範囲内に含まれている情報について文字認識を行い、文字認識により得られたテキスト文字が、予め定義されているパラメータと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部113が認識したジェスチャーとを追加情報として認識する。そして、コマンド認識部115は、追加情報であることに応じて、そのテキスト文字をコマンドに対して与えられたパラメータとして認識する。入力されたパラメータをコマンド実行命令出力部117へ通知する。   In addition, the command recognition unit 115 performs character recognition on the information included in the gesture range recognized by the gesture recognition unit 113, and the text characters obtained by the character recognition match the predefined parameters. It is determined whether or not. In response to the match, the text character and the gesture recognized by the gesture recognition unit 113 are recognized as additional information. Then, the command recognition unit 115 recognizes the text character as a parameter given to the command according to the additional information. The input parameter is notified to the command execution instruction output unit 117.

さらに、コマンド認識部115は、文字認識により得られたテキスト文字に、予め定義されているコマンド及びパラメータとも一致しない他の文字が含まれていることに応じて、当該他の文字をキーワードとして認識する。そして、入力されたキーワードをコマンド実行命令出力部117へ通知する。   Further, the command recognition unit 115 recognizes other characters as keywords when the text characters obtained by character recognition include other characters that do not match the predefined commands and parameters. To do. Then, the input keyword is notified to the command execution instruction output unit 117.

コマンド実行命令出力部117は、コマンド認識部115からの通知を受けて、コマンド認識部115が認識したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行する各装置20,30,40へ送信される。   In response to the notification from the command recognition unit 115, the command execution command output unit 117 generates and outputs a command execution command recognized by the command recognition unit 115. The command execution command is transmitted to each of the devices 20, 30, and 40 that execute the function.

また、コマンド実行命令出力部117は、ジェスチャー認識部113及びコマンド認識部115からの通知を受けて、コマンド認識部115が認識したパラメータを利用したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行させる装置へ送信される。   The command execution command output unit 117 receives a notification from the gesture recognition unit 113 and the command recognition unit 115, and generates and outputs a command execution command using the parameters recognized by the command recognition unit 115. The command execution command is transmitted to a device that executes the function.

また、コマンド実行命令出力部117は、情報検出部103から取得した描画データに、上述した組み合わせ情報及び追加情報以外の他の情報が含まれていることに応じて、当該他の情報についてコマンドの実行命令を出力する。なお、他の情報としては、例えばユーザーが手書きした会議の内容や、表示されているコンテンツ画像に追加して手書きされたメモなど、コマンドやパラメータとして認識させる必要のない情報のことである。   In addition, the command execution command output unit 117 determines that the command data for the other information is included in the drawing data acquired from the information detection unit 103, in addition to the combination information and the additional information described above. Output an execution instruction. The other information is information that does not need to be recognized as a command or parameter, such as a conference handwritten by the user or a memo handwritten in addition to the displayed content image.

また、コマンド実行命令出力部117は、コマンド認識部115からの通知を受けて、ジェスチャー認識部113が認識したジェスチャーが示す範囲内に、コマンドを示す文字及びパラメータを示す文字以外の内容が含まれていることに応じて、当該内容に基づいたコマンドの実行命令を出力する。なお、コマンドを示す文字及びパラメータを示す文字以外の内容とは、例えば、コマンド認識辞書125に登録されていない文字のことである。具体的には、ファイルを読み出す際のファイル名や、キーワード検索や置換を行う場合のキーワードなどである。   In addition, the command execution command output unit 117 receives the notification from the command recognition unit 115, and the contents indicated by the gesture recognized by the gesture recognition unit 113 include contents other than characters indicating commands and characters indicating parameters. In response, the command execution instruction based on the content is output. The contents other than the characters indicating commands and the characters indicating parameters are, for example, characters that are not registered in the command recognition dictionary 125. Specifically, the file name when reading the file, the keyword when performing keyword search or replacement, and the like.

記憶部107は、例えばROMやハードディスクドライブの所定の記憶領域であり、ここでは文字認識辞書121、ジェスチャー認識辞書123及びコマンド認識辞書125が記憶されている。文字認識辞書121は、描画データと、描画データに対応付けられた文字のフォントデータと、の関係が定義された辞書である。文字認識辞書121を備えることによって、ユーザーがスタイラスペンで表示部101に手書きした情報を、テキスト文字に変換することができる。   The storage unit 107 is a predetermined storage area of, for example, a ROM or a hard disk drive. Here, a character recognition dictionary 121, a gesture recognition dictionary 123, and a command recognition dictionary 125 are stored. The character recognition dictionary 121 is a dictionary in which the relationship between drawing data and character font data associated with the drawing data is defined. By providing the character recognition dictionary 121, information handwritten on the display unit 101 by the user with the stylus pen can be converted into text characters.

ジェスチャー認識辞書123は、図2に示すように、機能と、機能に対応付けられた図形(ストロークを含む)と、の関係が定義された辞書である。ここでは、「コマンド/パラメータであることを認識する」ための図形として、「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」、「丸の終端に黒丸」が対応付けられている。なお、「丸」、「二重丸」、「二本線」については、「丸」、「二重丸」、「二本線」の各図形として認識しても、描いたときのストロークを認識してもよい。また、「丸」、「二重丸」、「丸の終端に黒丸」については、丸の内側に書かれた文字がコマンドとして認識される。また、「二本線」、「波線」、「線の終端に黒丸」については、線の上(破線で示した領域)に書かれた文字がコマンドとして認識される。   As shown in FIG. 2, the gesture recognition dictionary 123 is a dictionary in which a relationship between a function and a graphic (including a stroke) associated with the function is defined. Here, “circle”, “double circle”, “double line”, “dashed line”, “black circle at the end of line”, “circle end” are used as figures for “recognizing command / parameter” Is associated with “black circle”. Note that “circle”, “double circle”, and “double line” are recognized as “circle”, “double circle”, and “double line” figures, but they recognize the stroke when drawn. May be. For “circle”, “double circle”, and “black circle at the end of the circle”, characters written inside the circle are recognized as commands. For “double line”, “wavy line”, and “black circle at the end of line”, a character written on the line (area indicated by a broken line) is recognized as a command.

さらに、「パラメータを与える、起動する」ための図形として、「矢印1」、「矢印2」、「両端に黒丸つき線」が対応付けられている。なお、「矢印1」及び「矢印2」は、矢印の元にあるものの内容を矢印の先にある内容(オブジェクト)のパラメータとして入力することができる。   Furthermore, “arrow 1”, “arrow 2”, and “black circled lines at both ends” are associated as figures for “giving parameters and starting”. In addition, “Arrow 1” and “Arrow 2” can input the content of the source of the arrow as a parameter of the content (object) at the end of the arrow.

さらに、「コマンドオブジェクトになったものを解除する」ための図形として、「バツ」、「二重取り消し線」、「斜線つき二重取り消し線」が対応付けられている。これらの図形を、コマンドとして認識されたオブジェクトに重ねて書くことによって、1度認識されたコマンドを単なる図形として再認識する。   Furthermore, “X”, “Double strikethrough”, and “Double strikethrough with diagonal lines” are associated as figures for “releasing what has become a command object”. By writing these figures over an object recognized as a command, the command recognized once is recognized again as a simple figure.

コマンド認識辞書125は、図3に示すように、機能と、機能に対応付けられたコマンドとして書く文字と、の関係が定義された辞書である。例えば、プリンター30に印刷を実行させたいときは、コマンドとして書く文字は「印刷」、「プリント」、「プリンター」の何れかである。また、「A4、カラーで印刷」のように、パラメータとして書く文字[A4]及び[カラー]を含む文章で指定することもできる。また、メールを送りたいときは「[名前]さんにメール」と書くと、名前に対応するメールアドレス宛にメールが送信される。この場合は、名前に対応するメールアドレスをコマンド認識辞書125に登録しておけばよい。   As shown in FIG. 3, the command recognition dictionary 125 is a dictionary in which a relationship between a function and a character written as a command associated with the function is defined. For example, when the printer 30 wants to execute printing, the character written as the command is any one of “print”, “print”, and “printer”. Moreover, it is also possible to specify a sentence including characters [A4] and [color] written as parameters, such as “A4, print in color”. If you want to send an email, write "Email to [name]" and the email will be sent to the email address corresponding to the name. In this case, a mail address corresponding to the name may be registered in the command recognition dictionary 125.

送受信部109は、プロジェクター20、プリンター30及びメールサーバー40等とのデータの送受信を行うための通信インターフェイス、および無線ドライバ等である。コマンド実行命令出力部117が出力した実行命令は、送受信部109を介して各装置へ送信される。なお、送受信部109は、有線接続のためのコネクターおよびLANケーブル等によって構成することも可能である。   The transmission / reception unit 109 is a communication interface for transmitting / receiving data to / from the projector 20, the printer 30, the mail server 40, and the like, a wireless driver, and the like. The execution command output from the command execution command output unit 117 is transmitted to each device via the transmission / reception unit 109. The transmission / reception unit 109 can also be configured by a connector for wired connection, a LAN cable, and the like.

<タブレットPCの制御方法について>
次に、上記説明したデータ出力システムにおけるタブレットPCの制御方法について図4〜図10を参照して説明する。
ユーザーがスタイラスペンで表示部101に手書きすると、情報検出部103は描画データへ変換し制御部105へ送信する。ジェスチャー認識部113は、描画データに基づいて手書き入力された線の形状を認識する(ステップS11)。
<About control method of tablet PC>
Next, a method for controlling the tablet PC in the data output system described above will be described with reference to FIGS.
When the user performs handwriting on the display unit 101 with a stylus pen, the information detection unit 103 converts the drawing data into drawing data and transmits the drawing data to the control unit 105. The gesture recognition unit 113 recognizes the shape of the line input by handwriting based on the drawing data (step S11).

ジェスチャー認識部113は、ジェスチャー認識辞書123を参照して、線の形状が定義されている図形と一致するか否かを判定する。つまり、線の形状がジェスチャーとして登録されたものか否かを判定する(ステップS13)。ジェスチャー認識辞書123の中に一致する図形(ストロークを含む)が登録されていれば(ステップS13:Yes)、ジェスチャーとして認識する。次に、認識したジェスチャーがコマンドとして定義されているか否かを判定する(ステップS15)。つまり、線の形状が、図2に示した図形のうち、ストロークを含め「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」の何れかと一致する場合は、コマンド化されたジェスチャーであると判定し、コマンド認識部115へ通知する。   The gesture recognition unit 113 refers to the gesture recognition dictionary 123 to determine whether or not the line shape matches the defined graphic. That is, it is determined whether or not the shape of the line is registered as a gesture (step S13). If a matching figure (including a stroke) is registered in the gesture recognition dictionary 123 (step S13: Yes), it is recognized as a gesture. Next, it is determined whether or not the recognized gesture is defined as a command (step S15). That is, the shape of the line is “circle”, “double circle”, “double line”, “wavy line”, “black circle at the end of the line” and “end of circle” including the stroke in the figure shown in FIG. If it matches any of the “black circles”, it is determined that the gesture is commanded, and the command recognition unit 115 is notified.

ジェスチャー認識部113がコマンド化されたジャスチャーであると判定すると(ステップS15:Yes)、コマンド認識部115がそのジェスチャーが示す範囲、つまり丸の内側や線の上に含まれている情報の認識を行う。すなわち、コマンド認識部115は、文字認識辞書121を参照して、ジェスチャーが示す範囲内に書かれている描画データに基づいて文字認識を行い、テキスト文字に変換する(ステップS19)。   If the gesture recognizing unit 113 determines that the gesture is a commanded gesture (step S15: Yes), the command recognizing unit 115 recognizes information included in the range indicated by the gesture, that is, inside the circle or on the line. Do. That is, the command recognition unit 115 refers to the character recognition dictionary 121, performs character recognition based on the drawing data written in the range indicated by the gesture, and converts it into text characters (step S19).

さらに、コマンド認識部115は、文字認識して取得したテキスト文字と一致する文字が、図3に示したコマンド認識辞書125の中に登録されているか否かを判定する。登録されている文字が含まれていれば、コマンド認識部115は、そのテキスト文字とジェスチャー認識部113が認識したジェスチャーとを組み合わせ情報として認識する。組み合わせ情報であることに応じて、その組み合せ情報をコマンドオブジェクトとして認識する(ステップS21:Yes)。画像処理部111は、コマンドオブジェクト部分の色を変更した画像データを生成し、表示部101やプロジェクター20に表示させる(ステップS23)。   Furthermore, the command recognition unit 115 determines whether or not a character that matches the text character obtained by character recognition is registered in the command recognition dictionary 125 shown in FIG. If the registered character is included, the command recognition unit 115 recognizes the text character and the gesture recognized by the gesture recognition unit 113 as combination information. In accordance with the combination information, the combination information is recognized as a command object (step S21: Yes). The image processing unit 111 generates image data in which the color of the command object portion is changed, and displays the image data on the display unit 101 or the projector 20 (step S23).

一方、コマンド認識部115は、文字認識して取得したテキスト文字と一致する文字が、図3に示したコマンド認識辞書125の中に登録されていないと判定した場合は(ステップS21:No)、そのジェスチャーと、ジェスチャーの範囲内に含まれる文字と、をオブジェクトの属性として保持する(ステップS25)。   On the other hand, if the command recognition unit 115 determines that the character that matches the text character obtained by character recognition is not registered in the command recognition dictionary 125 shown in FIG. 3 (step S21: No), The gesture and characters included in the range of the gesture are held as object attributes (step S25).

ところで、ステップS15において、ジェスチャー認識部113は、認識したジェスチャーがコマンドとして定義されていないジェスチャーであると判定すると(ステップS15:No)、パラメータを与えるためのジェスチャーであるか否かを判定する(ステップS27)。つまり、線の形状が、図2に示した図形のうち矢印ジェスチャーか否かを判定する。「矢印1」、「矢印2」、「両端に黒丸つき線」の何れかと一致する場合は、コマンド実行命令出力部117が矢印でつないでいるオブジェクトを特定する(ステップS29)。さらに、コマンド実行命令出力部117は、矢印先のコマンドオブジェクトに、矢印元のデータパラメータとして与え、コマンド実行命令を出力する(ステップS31)。   By the way, if the gesture recognition part 113 determines in step S15 that the recognized gesture is a gesture not defined as a command (step S15: No), it determines whether it is a gesture for giving a parameter ( Step S27). That is, it is determined whether or not the shape of the line is an arrow gesture among the figures shown in FIG. If it matches any of “arrow 1”, “arrow 2”, and “black circles at both ends”, the command execution command output unit 117 identifies the objects connected by the arrows (step S29). Further, the command execution instruction output unit 117 gives the command object of the arrow as a data parameter of the arrow source, and outputs a command execution instruction (step S31).

一方、ステップS27において、ジェスチャー認識部113は、認識したジェスチャーが図2に示した図形のうち矢印ジェスチャーではないと判定すると(ステップS27:No)、その他のジェスチャーに定義付けられている動作を実行する(ステップS33)。   On the other hand, when the gesture recognizing unit 113 determines in step S27 that the recognized gesture is not an arrow gesture among the figures shown in FIG. 2 (step S27: No), the gesture recognition unit 113 executes the operation defined in the other gestures. (Step S33).

図5は、表示画面の情報を印刷する際の表示画面の状態を示した図である。図5(a)に示すように、ユーザーがスタイラスペンで表示部101上に手書きした後、(b)に示すように、コマンドを示す文字[印刷]及びパラメータを示す文字[A4]を丸で囲むと、丸で囲まれた領域の中が青色や赤色に変わる。これにより、ユーザーはコマンドオブジェクト又はパラメータを示すオブジェクトになったことがわかる。さらに、(c)に示すように、矢印を引くと、矢印の出元の四角で囲われた領域(ステップS25でオブジェクトの属性として認識された領域)を印刷するための印刷コマンド実行命令がプロンターへ送信され、表示画面がA4サイズで印刷される。また、出元の領域が指定されていないときは画面全体を印刷してもよい。なお、(d)に示すように、印刷を実行するために使われた図形やストローク(四角の範囲指定や矢印)は機能の実行完了後に自動的に消滅するよう設定してもよい。   FIG. 5 is a diagram showing the state of the display screen when the information on the display screen is printed. As shown in FIG. 5A, after the user has handwritten on the display unit 101 with the stylus pen, as shown in FIG. 5B, the character [print] indicating the command and the character [A4] indicating the parameter are circled. When enclosed, the circled area turns blue or red. As a result, the user can recognize that the command object or the object indicating the parameter has been obtained. Further, as shown in (c), when an arrow is drawn, a print command execution command for printing an area enclosed by a square from which the arrow originated (area recognized as an object attribute in step S25) is displayed as a prompter. And the display screen is printed in A4 size. Further, when the source area is not designated, the entire screen may be printed. Note that, as shown in (d), the figure or stroke (square range designation or arrow) used to execute printing may be set to automatically disappear after the execution of the function is completed.

図6は、コマンド化されたオブジェクトを解除する際の表示画面の状態を示した図である。図6(a)に示すように、ユーザーはスタイラスペンで普通に書いていたものが、コマンドオブジェクトとして認識されてしまった場合は、(b)に示すように解除の図形を描くことで、(c)に示すようにコマンドとしての認識を解除するためのコマンド解除命令が出力され、コマンド化されたオブジェクトが解除される。   FIG. 6 is a diagram showing the state of the display screen when releasing the commanded object. As shown in FIG. 6A, when a user normally writes with a stylus pen but is recognized as a command object, by drawing a release figure as shown in FIG. As shown in c), a command cancel command for canceling recognition as a command is output, and the commanded object is cancelled.

図7は、表示画面の情報をファイルとして保存する際の表示画面の状態を示した図である。図7(a)に示すように、ファイル名をつけて保存する場合は、ファイルのコマンドオブジェクトを作成し、(b)に示すように、保存を表す図形(この場合は内向き矢印)を描くことにより、画面の内容を保存するための保存コマンド実行命令が出力され、表示画面をファイルとして保存する。なお、(c)に示すように、矢印は、ファイルが保存された後に自動的に消滅するよう設定してもよい。   FIG. 7 is a diagram showing the state of the display screen when information on the display screen is saved as a file. As shown in FIG. 7A, when saving with a file name, a file command object is created, and as shown in FIG. 7B, a graphic representing saving (in this case, an inward arrow) is drawn. As a result, a save command execution command for saving the contents of the screen is output, and the display screen is saved as a file. Note that, as shown in (c), the arrow may be set to automatically disappear after the file is saved.

図8は、ファイルを開く際の表示画面の状態を示した図である。図8(a)に示すように、[File]と、開きたいファイルの[ファイル名](コマンドを示す文字及びパラメータを示す文字以外の内容)を書き、丸で囲むことでコマンドオブジェクトを作成する。(b)に示すように、ファイルを開くことを表す図形(この場合は外向き矢印)を描くことにより、指定されたファイル名のファイルを開くためのコマンド実行命令が出力される。(c)に示すようにファイルが呼び出され表示部101にファイルの内容が表示される。   FIG. 8 is a diagram showing the state of the display screen when opening a file. As shown in FIG. 8 (a), [File] and [File name] of the file to be opened (contents other than characters indicating commands and parameters) are written, and a command object is created by enclosing them in a circle. . As shown in (b), a command execution command for opening a file having a specified file name is output by drawing a graphic representing the opening of the file (in this case, an outward arrow). As shown in (c), the file is called and the contents of the file are displayed on the display unit 101.

図9は、キーワード検索を行なう際の表示画面の状態を示した図である。図9(a)に示すように、[Search](コマンドを示す文字)と、[キーワード](コマンドを示す文字及びパラメータを示す文字以外の内容)を書き、丸で囲むことで検索のコマンドオブジェクトを作成する。(b)に示すように検索のコマンドオブジェクトを実行(ここではタッチあるいはクリック)することにより、表示画面に書かれている情報を対象にキーワード検索するためのコマンド実行命令が出力される。(c)に示すようにキーワードと一致する文字の色が赤色や青色に変わって表示される。   FIG. 9 is a diagram showing the state of the display screen when performing a keyword search. As shown in FIG. 9A, [Search] (characters indicating commands) and [Keywords] (contents other than characters indicating commands and characters) are written and surrounded by circles to search command objects. Create By executing (in this case, touching or clicking) a search command object, a command execution command for searching for a keyword for information written on the display screen is output as shown in FIG. As shown in (c), the color of the character matching the keyword is changed to red or blue and displayed.

図10は、文字の置換を行う際の表示画面の状態を示した図である。図10(a)に示すように、[電話→TEL]を書き、丸で囲むことで置換のコマンドオブジェクトを作成する。(b)に示すように置換のコマンドオブジェクトを実行(ここではタッチあるいはクリック)することにより、表示画面に書かれている情報を対象に[電話]を[TEL]に置き換えるためのコマンド実行命令が出力される。(c)に示すように画面に書かれている[電話]が[TEL]へ置換される。   FIG. 10 is a diagram showing the state of the display screen when characters are replaced. As shown in FIG. 10A, a replacement command object is created by writing [telephone → TEL] and enclosing it in a circle. As shown in (b), by executing a replacement command object (here, touch or click), a command execution command for replacing [telephone] with [TEL] for information written on the display screen is provided. Is output. As shown in (c), [TEL] written on the screen is replaced with [TEL].

上記実施形態によれば、図形(ストロークを含む)、すなわちジェスチャーと、文字と、の組み合わせによってコマンドオブジェクトとして認識されコマンド実行命令が出力される。すなわち、ジェスチャーは各機能を実行させるためのコマンドそのものではなく、文字をコマンドとして認識させるためのものであり、文字とジェスチャーとの組み合わせ情報でコマンドオブジェクトとして認識される。つまり、ユーザーは文字とジェスチャーとの組み合わせ情報を同じ描画エリアに手書きすればよいので、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。   According to the above-described embodiment, a command execution command is output by being recognized as a command object by a combination of a figure (including a stroke), that is, a gesture and a character. That is, the gesture is not a command itself for executing each function, but a character is recognized as a command, and is recognized as a command object by combination information of the character and the gesture. In other words, the user only has to hand-write the combination information of characters and gestures in the same drawing area, so that the drawing area and the command area are distinguished from each other without increasing the number of gestures corresponding to the command as in the past. Commands can be executed without need.

また、上記実施形態によれば、コマンドのみならず、パラメータも文字とジェスチャーとの組み合わせによって与えることができる。コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるためのジェスチャーと、パラメータとして認識させるためのジェスチャーと、を共通のジェスチャー(図2に示した例では「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」が共通のジェスチャーである。)として使用することができる。したがって、コマンドやパラメータの種類が増えても、ユーザーが覚えなければならないジェスチャーの数は増加することがなく、利便性の向上を図ることができる。   Further, according to the above embodiment, not only commands but also parameters can be given by a combination of characters and gestures. If the command and the parameter are expressed by different characters, a gesture for recognizing as a command and a gesture for recognizing as a parameter are common gestures (“circle” and “double circle” in the example shown in FIG. 2). , “Double line”, “wavy line”, “black circle at the end of the line” and “black circle at the end of the circle” are common gestures). Therefore, even if the types of commands and parameters increase, the number of gestures that the user has to remember does not increase, and convenience can be improved.

また、上記実施形態によれば、図形の運筆(軌跡、ストローク、筆跡)によってコマンド実行命令を出力するか否かを決定することができる。すなわち、同じ図形であっても運筆が異なる場合はジェスチャーとして認識することなく、単なる図形として認識する。したがって、ユーザーは意図的に運筆を変えることで、文字をコマンドやパラメータとして認識させることができる。   Moreover, according to the said embodiment, it can be determined whether a command execution command is output by the handwriting (trajectory, stroke, handwriting) of a figure. That is, even if the same figure is used, if the stroke is different, it is recognized as a simple figure without being recognized as a gesture. Therefore, the user can recognize the character as a command or a parameter by intentionally changing the stroke.

また、上記実施形態によれば、図5に示したように、文字[印刷]とジェスチャー[丸]との組み合わせ情報を印刷コマンドとして認識し、文字[A4]とジェスチャー[丸]との組み合わせ情報をパラメータとして認識することができる。さらに、図9や図10に示したように、コマンドやパラメータを示す文字以外の他の文字をキーワードとして、キーワード検索を行なったり、キーワードで置換したりすることもできる。   Further, according to the above embodiment, as shown in FIG. 5, the combination information of the character [print] and the gesture [circle] is recognized as a print command, and the combination information of the character [A4] and the gesture [circle] is recognized. Can be recognized as a parameter. Further, as shown in FIGS. 9 and 10, keyword search can be performed using a character other than the characters indicating the command and the parameter as a keyword, or the keyword can be replaced.

なお、上記実施形態ではコマンド発生装置として、タブレットPC10を例示して説明したが、タブレットPC10に限定されることなく、手書き入力した軌跡をデジタルデータに変換し、元の画像データに合成して表示できる装置にも採用することができる。例えば、インタラクティブタイプの電子黒板システムなどがある。   In the above-described embodiment, the tablet PC 10 is exemplified and described as the command generation device. However, the present invention is not limited to the tablet PC 10, and a locus input by handwriting is converted into digital data, and is combined with the original image data and displayed. It can also be employed in devices that can. For example, there is an interactive electronic blackboard system.

なお、指先やスタイラスペンの軌跡を検出し、デジタルデータに変換する手段としては、上記実施形態で説明した感圧方式や静電方式の他、以下の方式を採用することもできる。
(レーザー型)
ホワイトボードの上辺の両端に赤外線レーザーが設置されており、レーザー光線が投写面の表面を監視しており、スタイラスペンについている反射板がレーザー光線を反射することで、その位置を検出する構成である。
(赤外線、超音波型)
ホワイトボードの上下左右に赤外線発行素子を置き、縦横斜めに赤外線を走らせ、遮られた位置を検出することにより、座標を取得する構成である。
(光学、赤外線型)
ホワイトボードの表面を指やマーカーで押すとボード上の表面を監視している赤外線発光装置と受光装置によって三角法的に位置を取得する構成である。
In addition to the pressure-sensitive method and the electrostatic method described in the above embodiment, the following method can also be adopted as means for detecting the trajectory of the fingertip or stylus pen and converting it into digital data.
(Laser type)
Infrared lasers are installed at both ends of the upper side of the whiteboard, the laser beam monitors the surface of the projection surface, and the reflector is attached to the stylus pen to detect the position by reflecting the laser beam.
(Infrared, ultrasonic type)
In this configuration, infrared emitting elements are placed on the top, bottom, left, and right of the whiteboard, the infrared rays are run diagonally in the vertical and horizontal directions, and the coordinates are obtained by detecting the blocked position.
(Optical, infrared type)
When the surface of the whiteboard is pressed with a finger or a marker, the position is acquired trigonometrically by the infrared light emitting device and the light receiving device that monitor the surface on the board.

また、上記実施形態では、表示部101、情報検出部103、画像処理部111、ジェスチャー認識部113、コマンド認識部115、コマンド実行命令出力部117、文字認識辞書121、ジェスチャー認識辞書123及びコマンド認識辞書125をタブレットPC10が備えていたが、各機能部は、データ出力システムを構成する装置の何れに構成されてもよい。例えば図11に示すように、プロジェクター20に上述した機能を構成させて、表示部101に相当するホワイトボードWBに手書きされた情報の軌跡を内蔵のカメラ(情報検出部)で撮像してもよい。   In the above embodiment, the display unit 101, the information detection unit 103, the image processing unit 111, the gesture recognition unit 113, the command recognition unit 115, the command execution command output unit 117, the character recognition dictionary 121, the gesture recognition dictionary 123, and the command recognition Although the tablet PC 10 includes the dictionary 125, each functional unit may be configured in any of the devices that constitute the data output system. For example, as shown in FIG. 11, the projector 20 may be configured to have the above-described functions, and a trajectory of information handwritten on the whiteboard WB corresponding to the display unit 101 may be captured by a built-in camera (information detection unit). .

1:データ出力システム、10:タブレットPC、20:プロジェクター、30:プリンター、40:メールサーバー、101:表示部、103:情報検出部、105:制御部、107:記憶部、109:送受信部、111:画像処理部、113:ジェスチャー認識部、115:コマンド認識部、117:コマンド実行命令出力部、121:文字認識辞書、123:ジェスチャー認識辞書、125:コマンド認識辞書。 1: data output system, 10: tablet PC, 20: projector, 30: printer, 40: mail server, 101: display unit, 103: information detection unit, 105: control unit, 107: storage unit, 109: transmission / reception unit, 111: Image processing unit, 113: Gesture recognition unit, 115: Command recognition unit, 117: Command execution command output unit, 121: Character recognition dictionary, 123: Gesture recognition dictionary, 125: Command recognition dictionary

Claims (7)

指示位置の軌跡により入力された情報を検出する情報検出部と、
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、
認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、
を有することを特徴とするコマンド発生装置。
An information detection unit for detecting information input by the locus of the indicated position;
A command recognizing unit for recognizing the character as a command in response to the content of the information being combination information combining a character indicating a specific command and a graphic for recognizing the character as a command;
A command execution instruction output unit for outputting an execution instruction for the recognized command;
A command generator characterized by comprising:
前記コマンド認識部は、前記情報に、前記コマンドに対するパラメータを示す文字と前記文字をパラメータとして認識させるための図形とを組み合わせた追加情報が含まれていることに応じて、前記文字をパラメータとして認識し、
前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする請求項1に記載のコマンド発生装置。
The command recognition unit recognizes the character as a parameter when the information includes additional information combining a character indicating a parameter for the command and a graphic for causing the character to be recognized as a parameter. And
The command generation apparatus according to claim 1, wherein the command execution instruction output unit outputs an execution instruction of the command using the recognized parameter.
前記コマンド実行命令出力部は、前記図形が所定の軌跡で描画されていることに応じて、前記実行命令を出力することを特徴とする請求項1又は2に記載のコマンド発生装置。   The command generation apparatus according to claim 1, wherein the command execution command output unit outputs the execution command in response to the figure being drawn with a predetermined trajectory. 前記コマンド実行命令出力部は、前記情報に、前記組合せ情報及び前記追加情報以外の他の情報が含まれていることに応じて、前記他の情報について前記コマンドの実行命令を出力することを特徴とする請求項1〜3の何れか1項に記載のコマンド発生装置。   The command execution command output unit outputs the command execution command for the other information in response to the information including information other than the combination information and the additional information. The command generation device according to any one of claims 1 to 3. 前記コマンド実行命令出力部は、前記図形の中に前記コマンドを示す文字及び前記パラメータを示す文字以外の内容が含まれていることに応じて、前記内容に基づいた前記コマンドの実行命令を出力することを特徴とする請求項1〜4の何れか1項に記載のコマンド発生装置。   The command execution command output unit outputs an execution command for the command based on the content in response to the fact that the graphic includes characters other than characters indicating the command and characters indicating the parameter. The command generation device according to any one of claims 1 to 4, wherein 手書き入力された情報を検出するステップと、
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、
前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、
認識したコマンドについて実行命令を出力するステップと、を有することを特徴とするコマンド発生装置の制御方法。
Detecting handwritten information; and
Determining whether the content of the information is combination information combining a character indicating a specific command and a graphic for recognizing the character as a command;
Recognizing the character as a command in response to the content of the information being combination information;
And a step of outputting an execution instruction for the recognized command.
請求項1〜5の何れか1項に記載のコマンド発生装置を備えることを特徴とするプロジェクター。   A projector comprising the command generation device according to claim 1.
JP2010068339A 2010-03-24 2010-03-24 Command generating device, method of controlling the same, and projector including the same Pending JP2011203829A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010068339A JP2011203829A (en) 2010-03-24 2010-03-24 Command generating device, method of controlling the same, and projector including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010068339A JP2011203829A (en) 2010-03-24 2010-03-24 Command generating device, method of controlling the same, and projector including the same

Publications (1)

Publication Number Publication Date
JP2011203829A true JP2011203829A (en) 2011-10-13

Family

ID=44880442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010068339A Pending JP2011203829A (en) 2010-03-24 2010-03-24 Command generating device, method of controlling the same, and projector including the same

Country Status (1)

Country Link
JP (1) JP2011203829A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058047A1 (en) * 2011-10-21 2013-04-25 シャープ株式会社 Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium
JP2015525926A (en) * 2012-07-13 2015-09-07 サムスン エレクトロニクス カンパニー リミテッド User terminal user interface device and method
JP2016024519A (en) * 2014-07-17 2016-02-08 公立大学法人首都大学東京 Electronic device remote operation system and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147096A (en) * 1994-11-17 1996-06-07 Nippon Telegr & Teleph Corp <Ntt> Handwriting input method and device
JP2001005599A (en) * 1999-06-22 2001-01-12 Sharp Corp Information processor and information processing method an d recording medium recording information processing program
JP2007109118A (en) * 2005-10-17 2007-04-26 Hitachi Ltd Input instruction processing apparatus and input instruction processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147096A (en) * 1994-11-17 1996-06-07 Nippon Telegr & Teleph Corp <Ntt> Handwriting input method and device
JP2001005599A (en) * 1999-06-22 2001-01-12 Sharp Corp Information processor and information processing method an d recording medium recording information processing program
JP2007109118A (en) * 2005-10-17 2007-04-26 Hitachi Ltd Input instruction processing apparatus and input instruction processing program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058047A1 (en) * 2011-10-21 2013-04-25 シャープ株式会社 Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium
JP2013089203A (en) * 2011-10-21 2013-05-13 Sharp Corp Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium
CN103890698A (en) * 2011-10-21 2014-06-25 夏普株式会社 Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium
JP2015525926A (en) * 2012-07-13 2015-09-07 サムスン エレクトロニクス カンパニー リミテッド User terminal user interface device and method
JP2016024519A (en) * 2014-07-17 2016-02-08 公立大学法人首都大学東京 Electronic device remote operation system and program

Similar Documents

Publication Publication Date Title
JP5849394B2 (en) Information processing system, information processing method, and computer program
US10133396B2 (en) Virtual input device using second touch-enabled display
US9348420B2 (en) Adaptive projected information handling system output devices
US20150268730A1 (en) Gesture Controlled Adaptive Projected Information Handling System Input and Output Devices
US10719228B2 (en) Image processing apparatus, image processing system, and image processing method
US20180288280A1 (en) Scan privacy tool and methods using sensors or control buttons
US9117125B2 (en) Electronic device and handwritten document processing method
JP2013168018A (en) Image processing device, method for controlling image processing device, and program
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
CN114467071A (en) Display device, color support device, display method, and program
JP4716453B1 (en) Program, information processing apparatus, information processing system
JP6100013B2 (en) Electronic device and handwritten document processing method
CN112805664A (en) Input device, input method, program, and input system
JP2011203829A (en) Command generating device, method of controlling the same, and projector including the same
JP7452155B2 (en) Handwriting input device, handwriting input method, program
JP2023184557A (en) Display device, display method, and program
JP2000043485A (en) Electronic whiteboard system
US20220129085A1 (en) Input device, input method, medium, and program
US8629846B2 (en) Information processing apparatus and information processing method
JP7420016B2 (en) Display device, display method, program, display system
JP7259828B2 (en) Display device, display method, program
US11190661B2 (en) Scan privacy tool using a mobile device for printing operations
JP2020127095A (en) Information processing system, electronic blackboard, and program
JP2023137822A (en) Display device, fair copy method, program, and information sharing system
JP2021149662A (en) Display unit, display method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120816

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130819

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131119