JP2011203829A - Command generating device, method of controlling the same, and projector including the same - Google Patents
Command generating device, method of controlling the same, and projector including the same Download PDFInfo
- Publication number
- JP2011203829A JP2011203829A JP2010068339A JP2010068339A JP2011203829A JP 2011203829 A JP2011203829 A JP 2011203829A JP 2010068339 A JP2010068339 A JP 2010068339A JP 2010068339 A JP2010068339 A JP 2010068339A JP 2011203829 A JP2011203829 A JP 2011203829A
- Authority
- JP
- Japan
- Prior art keywords
- command
- information
- character
- execution
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、コマンド生成装置、その制御方法及びそれを備えたプロジェクターに関する。 The present invention relates to a command generation device, a control method thereof, and a projector including the same.
電子黒板やタブレットPCなど、スタイラスペンや指による手書き入力が可能な機器が各種提案されている。これらの機器では、スタイラスペンや手により画面にタッチする行為が、描く、消す、指定する等の複数種類の入力指示を与えることができる。手書きで描く行為以外に、メールの送信、印刷、ファイルの入出力等の他の機能を呼び出す場合は、操作モードをマウスモードなどに切り替えたり、キーボードを利用して操作する必要がある。 Various devices capable of handwriting input with a stylus pen or a finger, such as an electronic blackboard and a tablet PC, have been proposed. In these devices, the action of touching the screen with a stylus pen or hand can give a plurality of types of input instructions such as drawing, erasing, and specifying. In addition to the act of drawing by hand, when calling other functions such as sending mail, printing, file input / output, etc., it is necessary to switch the operation mode to the mouse mode, etc., or operate using the keyboard.
特許文献1には、スタイラスペンによる手書き操作と類似の操作(ジェスチャー)で、手書きしたものを削除、移動、サイズ変更することを可能にし、利便性を向上させた手書き入力情報処理装置が記載されている。編集処理種別を指定するための手書き編集コマンドとして、「消去」は消しゴムを擦ったイメージのギザギザを複数回入力し、「移動」は「矢」印、「拡大・縮小」は「<」印、「回転」は「曲線状の矢」印、「陰影」は陰影の方向を考えて「ギザギザ状の鍵括弧」印といったように、それぞれの編集内容をイメージさせる図形を入力することで、各機能を実行することができるようになっている。
また、特許文献2にも、手書入力手段によって入力された手書きデータを手書きコマンドとして解釈し、解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、手書コマンドの処理対象として特定する方法が記載されている。削除、検索、コピー等といった機能をジェスチャーに割り当てている。 Also in Patent Document 2, handwritten data input by handwriting input means is interpreted as a handwritten command, and at least a part of data corresponding to the input position of the interpreted command is specified as a processing target of the handwritten command. How to do is described. Functions such as delete, search, and copy are assigned to gestures.
また、特許文献3には、手書き操作によるコマンドの文字入力を受け付けるコマンドエリアとコマンド以外の文字入力を受け付ける描画エリアとを区別し、コマンドエリアの方に文字を手書き入力することで各機能を実行させる情報処理装置が記載されている。 In Patent Document 3, a command area that accepts a character input of a command by handwriting operation is distinguished from a drawing area that accepts a character input other than a command, and each function is executed by handwriting a character into the command area. An information processing apparatus is described.
しかしながら、特許文献1及び2によれば、各機能を実行させるコマンドに対応するジェスチャーを登録しておく必要がある。機能の種類が多いと登録するジェスチャーの数も増える。つまり、ユーザーが覚えなければならないジェスチャーの数も増加するため、利便性が低下する。また、特許文献3によれば、表示面上でコマンドエリアと描画エリアを区別し、表示面の一部はコマンドエリアによって利用されてしまうため、描画エリアを大きく利用することができず、やはり利便性に劣る点がある。
However, according to
本発明は、上記課題を解決するためになされたものであって、コマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができるコマンド発生装置、その制御方法及びそれを備えたプロジェクターを提供することを目的とする。 The present invention has been made to solve the above-described problem, and it is possible to execute a command without increasing the number of gestures corresponding to the command and without distinguishing the drawing area and the command area on the display surface. It is an object of the present invention to provide a command generation apparatus that can be executed, a control method thereof, and a projector including the same.
上記課題を解決することのできる本発明のコマンド発生装置は、指示位置の軌跡により入力された情報を検出する情報検出部と、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、を有することを特徴とする。
上記構成によれば、文字と図形との組み合わせによってコマンドを実行する。図形は各機能を実行するためのコマンドそのものではなく、文字をコマンドとして認識させるためのものである。文字と図形との組み合わせを同じ描画エリアに手書きすれば文字と図形との組み合わせ情報でコマンドを認識することができる。このため、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。
The command generation device of the present invention capable of solving the above-described problems includes an information detection unit that detects information input based on a locus of a designated position, and the content of the information includes a character indicating a specific command and a command of the character A command recognition unit for recognizing the character as a command and a command execution command output unit for outputting an execution command for the recognized command according to the combination information combined with a figure for recognition as a command It is characterized by.
According to the above configuration, a command is executed by a combination of characters and graphics. The figure is not a command itself for executing each function but a character to be recognized as a command. If a combination of a character and a figure is handwritten in the same drawing area, the command can be recognized based on the combination information of the character and the figure. For this reason, the command can be executed without increasing the number of gestures corresponding to the command as in the prior art and without having to distinguish the drawing area and the command area on the display surface.
また、本発明のコマンド発生装置において、前記コマンド認識部は、前記情報に、前記コマンドに対するパラメータを示す文字と前記文字をパラメータとして認識させるための図形とを組み合わせた追加情報が含まれていることに応じて、前記文字をパラメータとして認識し、前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、コマンドのみならず、パラメータも文字と図形との組み合わせによって与えることができる。この場合、コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるための図形と、パラメータとして認識させるための図形と、を共通の図形として使用することができる。したがって、パラメータが増えても、ユーザーが覚えなければならない図形(ジェスチャー)の数が増加することがなく、利便性の向上を図ることができる。
In the command generation device of the present invention, the command recognition unit may include additional information in which the information includes a combination of a character indicating a parameter for the command and a figure for recognizing the character as a parameter. In response, the character is recognized as a parameter, and the command execution instruction output unit outputs an execution instruction of the command using the recognized parameter.
According to the above configuration, not only commands but also parameters can be given by combinations of characters and graphics. In this case, if the command and the parameter are expressed by different characters, the graphic for recognizing as a command and the graphic for recognizing as a parameter can be used as a common graphic. Therefore, even if the number of parameters increases, the number of figures (gestures) that the user has to remember does not increase, and convenience can be improved.
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形が所定の軌跡で描画されていることに応じて、前記実行命令を出力することを特徴とする。
上記構成によれば、図形の形だけでなく、運筆(軌跡、ストローク、筆跡)によって実行命令を出力するか否かを決定することができる。したがって、通常使用する図形でも、ユーザーは意図的に手書き文字の軌跡を変えることで、文字をコマンドやパラメータとして認識させることができる。
In the command generating device of the present invention, the command execution command output unit outputs the execution command in response to the figure being drawn with a predetermined locus.
According to the above configuration, it is possible to determine whether or not to output an execution command not only by the shape of a figure but also by handwriting (trajectory, stroke, handwriting). Therefore, even in a figure that is normally used, the user can recognize the character as a command or a parameter by intentionally changing the locus of the handwritten character.
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記情報に、前記組合せ情報及び前記追加情報以外の他の情報が含まれていることに応じて、前記他の情報について前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、組み合わせ情報を印刷コマンドとして認識し、追加情報をパラメータとしてA4サイズを認識すれば、他の情報についてA4サイズで印刷したり、ファイルとして保存したりすることができる。
Further, in the command generation device of the present invention, the command execution instruction output unit may include the information other than the combination information and the additional information when the information includes the other information. A command execution instruction is output.
According to the above configuration, for example, if the combination information is recognized as a print command and the A4 size is recognized using additional information as a parameter, other information can be printed in A4 size or saved as a file.
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形の中に前記コマンドを示す文字及び前記パラメータを示す文字以外の内容が含まれていることに応じて、前記内容に基づいた前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、コマンドやパラメータを示す文字以外の内容をキーワードとして、キーワード検索を行なったり、置き換えたりすることもできる。
Further, in the command generation device of the present invention, the command execution instruction output unit may include the contents other than the character indicating the command and the character indicating the parameter in the graphic. A command execution instruction based on the command is output.
According to the above configuration, for example, keyword search can be performed or replaced using content other than characters indicating commands and parameters as keywords.
また、上記課題を解決することのできる本発明のコマンド発生装置の制御方法は、手書き入力された情報を検出するステップと、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、認識したコマンドについて実行命令を出力するステップと、を有することを特徴とする。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることが可能なコマンド発生装置の制御方法を提供することができる。
In addition, the control method of the command generation device of the present invention that can solve the above-described problem includes a step of detecting information input by handwriting, and the content of the information includes a character indicating a specific command and the character as a command. A step of determining whether or not combination information is combined with a figure for recognition; a step of recognizing the character as a command in response to the content of the information being combination information; and the recognized command Outputting an execution instruction.
According to the above configuration, the command can be executed without increasing the number of gestures corresponding to the command as in the past and without having to distinguish the drawing area from the command area on the display surface. An apparatus control method can be provided.
上記の何れかに記載のコマンド発生装置を備えることを特徴とするプロジェクター。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させるプロジェクターを提供することができる。
A projector comprising the command generator according to any one of the above.
According to the above configuration, it is possible to provide a projector that executes a command without increasing the number of gestures corresponding to the command as in the past and without having to distinguish between a drawing area and a command area on the display surface. it can.
以下、本発明に係るコマンド発生装置及びその制御方法の好適な実施形態について、図面を参照して詳細に説明する。
本実施形態では、コマンド発生装置としてタブレットPCを例示し、タブレットPCの表示面に表示される画像と同じ画像データを、タブレットPCと通信可能に接続されたプロジェクター、プリンター及びメールサーバー等へ出力するデータ出力システム1として説明する。
DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of a command generation device and a control method thereof according to the present invention will be described in detail with reference to the drawings.
In the present embodiment, a tablet PC is exemplified as the command generation device, and the same image data as the image displayed on the display surface of the tablet PC is output to a projector, a printer, a mail server, and the like that are connected to be communicable with the tablet PC. The
<データ出力システムの概略構成について>
図1に示すようにデータ出力システム1は、タブレットPC10から送信された画像をスクリーン等の投写面に向けて拡大投写するプロジェクター20と、タブレットPC10から送信されたデータを印刷するプリンター30と、タブレットPC10から送信されたデータを電子メールに添付して指定された宛先に送信するメールサーバー40と、を備え、各装置は互いに有線あるいは無線LANによって接続されている。なお、プロジェクター20、プリンター30及びメールサーバー40は、一般的な構成であるため、詳細なハードウェア構成については説明を省略する。
<About the schematic configuration of the data output system>
As shown in FIG. 1, the
プロジェクター20は、タブレットPC10との間で各種データの送受信を行なうためのインターフェイス、画像を投写する投写ランプや投写ランプからの投写光をスクリーン上に拡大投射する投写レンズなど、各種画像信号処理系および光学系から成る投写手段を有している。プリンター30は、タブレットPC10との間で各種データの送受信を行なうためのインターフェイス、受信したデータに基づいて印刷処理を行う印刷機構部などを有している。また、メールサーバー40は、タブレットPC10や外部ネットワークとの間で各種データの送受信を行なうためのインターフェイス、このメールサーバー40が管理するユーザー認証情報や自らが管理する電子メールアドレスの宛先などが格納される記憶部を有している。相手先を振り分けるメール転送エージェントや振り分けられたメールをサーバ内のユーザーや別のサーバへ配送するなどの機能を備えており、タブレットPC10から受信した画像ファイルを指定された送信先へ電子メールを送信することができるようになっている。
The
タブレットPC10は、演算処理の中枢をなす不図示のCPUを備えており、このCPUはシステムバスを介してROMやRAMにアクセス可能となっている。また、システムバスには外部記憶装置としてのハードディスクドライブが接続されており、ハードディスクドライブに記憶されたOS(Operating System)やアプリケーションなどがRAMに転送され、CPUはROMとRAMに適宜アクセスしてソフトウェアを実行する。
The
本実施形態では、ハードディスクドライブにはプレゼンテーション用アプリケーションや、操作位置検出プログラム、文字認識アプリケーション等が記憶されている。CPUがOSやこれらのプログラムを実行することによって、スタイラスペンによって表示部101上に手書きされた描画情報をデジタルデータに変換し、例えばプレゼンテーション用のコンテンツ画像に合成し、プロジェクター20へ送信することができる。
In this embodiment, the hard disk drive stores a presentation application, an operation position detection program, a character recognition application, and the like. When the CPU executes the OS and these programs, drawing information handwritten on the
タブレットPC10のCPUが、OSやプレゼンテーション用アプリケーション、操作位置検出プログラム、文字認識アプリケーションを実行することによって、図1に示すように、タブレットPC10には、表示部101、情報検出部103、制御部105、記憶部107、送受信部109が構成される。
As the CPU of the
表示部101は、画像や操作内容を表示する液晶ディスプレイである。情報検出部103は、スタイラスペンによる表示部101への書き込みや、各種キー操作を行うための入力操作を検出するタッチパネルである。
情報検出部103は、スタイラスペンが表示面101に触れた位置を検出しデジタルデータに変換し、表示面上に描かれた描画データを制御部105へ出力する。なお、表示面に接触した位置を検出する方法としては、圧力の変化を感知する感圧方式や、静電気による電気信号を感知する静電方式等がある。
The
The
制御部105には、画像処理部111と、ジェスチャー認識部113と、コマンド認識部115と、コマンド実行命令出力部117と、が構成される。
画像処理部111は、ハードディスクドライブ等の各種ドライブに保存されているコンテンツファイルに基づいて画像データを取得し、表示部101に表示させたり、プロジェクター20に投写させる画像データの処理を行う。また、画像処理部111は、情報検出部103から取得した描画データに基づいて、ユーザーが手書きした情報を画像データに合成する。合成した画像データは、表示部101へ出力するとともに、送受信部109を介してプロジェクター20へ送信される。
The
The
ジェスチャー認識部113は、情報検出部103から取得した描画データに基づいて、ユーザーが手書きしたスタイラスペンの軌跡が示す図形を認識する。認識した図形が予め定義されているジェスチャーと一致するか否かを判定する。一致したことに応じて、そのジェスチャーが、対応する機能を実行させるために入力されたジェスチャーであることを認識し、入力されたジェスチャーに対応する機能をコマンド認識部115へ通知する。なお、図形がジャスチャーと一致するか否かは、その形状のみならず、スタイラスペンによる運筆(軌跡、ストローク、筆跡)も考慮して判定する。
Based on the drawing data acquired from the
コマンド認識部115は、ジェスチャー認識部113が認識したジェスチャーの範囲内に含まれている情報について文字認識を行なう。文字認識により得られたテキスト文字が、予め定義されているコマンドと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部113が認識したジェスチャーとを組み合わせ情報として認識する。そして、コマンド認識部115は、組み合わせ情報であることに応じて、そのテキスト文字を対応する機能を実行させるために入力されたコマンドとして認識する。入力されたコマンドに対応する機能をコマンド実行命令出力部117へ通知する。
The
また、コマンド認識部115は、ジェスチャー認識部113が認識したジェスチャーの範囲内に含まれている情報について文字認識を行い、文字認識により得られたテキスト文字が、予め定義されているパラメータと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部113が認識したジェスチャーとを追加情報として認識する。そして、コマンド認識部115は、追加情報であることに応じて、そのテキスト文字をコマンドに対して与えられたパラメータとして認識する。入力されたパラメータをコマンド実行命令出力部117へ通知する。
In addition, the
さらに、コマンド認識部115は、文字認識により得られたテキスト文字に、予め定義されているコマンド及びパラメータとも一致しない他の文字が含まれていることに応じて、当該他の文字をキーワードとして認識する。そして、入力されたキーワードをコマンド実行命令出力部117へ通知する。
Further, the
コマンド実行命令出力部117は、コマンド認識部115からの通知を受けて、コマンド認識部115が認識したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行する各装置20,30,40へ送信される。
In response to the notification from the
また、コマンド実行命令出力部117は、ジェスチャー認識部113及びコマンド認識部115からの通知を受けて、コマンド認識部115が認識したパラメータを利用したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行させる装置へ送信される。
The command execution
また、コマンド実行命令出力部117は、情報検出部103から取得した描画データに、上述した組み合わせ情報及び追加情報以外の他の情報が含まれていることに応じて、当該他の情報についてコマンドの実行命令を出力する。なお、他の情報としては、例えばユーザーが手書きした会議の内容や、表示されているコンテンツ画像に追加して手書きされたメモなど、コマンドやパラメータとして認識させる必要のない情報のことである。
In addition, the command execution
また、コマンド実行命令出力部117は、コマンド認識部115からの通知を受けて、ジェスチャー認識部113が認識したジェスチャーが示す範囲内に、コマンドを示す文字及びパラメータを示す文字以外の内容が含まれていることに応じて、当該内容に基づいたコマンドの実行命令を出力する。なお、コマンドを示す文字及びパラメータを示す文字以外の内容とは、例えば、コマンド認識辞書125に登録されていない文字のことである。具体的には、ファイルを読み出す際のファイル名や、キーワード検索や置換を行う場合のキーワードなどである。
In addition, the command execution
記憶部107は、例えばROMやハードディスクドライブの所定の記憶領域であり、ここでは文字認識辞書121、ジェスチャー認識辞書123及びコマンド認識辞書125が記憶されている。文字認識辞書121は、描画データと、描画データに対応付けられた文字のフォントデータと、の関係が定義された辞書である。文字認識辞書121を備えることによって、ユーザーがスタイラスペンで表示部101に手書きした情報を、テキスト文字に変換することができる。
The
ジェスチャー認識辞書123は、図2に示すように、機能と、機能に対応付けられた図形(ストロークを含む)と、の関係が定義された辞書である。ここでは、「コマンド/パラメータであることを認識する」ための図形として、「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」、「丸の終端に黒丸」が対応付けられている。なお、「丸」、「二重丸」、「二本線」については、「丸」、「二重丸」、「二本線」の各図形として認識しても、描いたときのストロークを認識してもよい。また、「丸」、「二重丸」、「丸の終端に黒丸」については、丸の内側に書かれた文字がコマンドとして認識される。また、「二本線」、「波線」、「線の終端に黒丸」については、線の上(破線で示した領域)に書かれた文字がコマンドとして認識される。
As shown in FIG. 2, the
さらに、「パラメータを与える、起動する」ための図形として、「矢印1」、「矢印2」、「両端に黒丸つき線」が対応付けられている。なお、「矢印1」及び「矢印2」は、矢印の元にあるものの内容を矢印の先にある内容(オブジェクト)のパラメータとして入力することができる。
Furthermore, “
さらに、「コマンドオブジェクトになったものを解除する」ための図形として、「バツ」、「二重取り消し線」、「斜線つき二重取り消し線」が対応付けられている。これらの図形を、コマンドとして認識されたオブジェクトに重ねて書くことによって、1度認識されたコマンドを単なる図形として再認識する。 Furthermore, “X”, “Double strikethrough”, and “Double strikethrough with diagonal lines” are associated as figures for “releasing what has become a command object”. By writing these figures over an object recognized as a command, the command recognized once is recognized again as a simple figure.
コマンド認識辞書125は、図3に示すように、機能と、機能に対応付けられたコマンドとして書く文字と、の関係が定義された辞書である。例えば、プリンター30に印刷を実行させたいときは、コマンドとして書く文字は「印刷」、「プリント」、「プリンター」の何れかである。また、「A4、カラーで印刷」のように、パラメータとして書く文字[A4]及び[カラー]を含む文章で指定することもできる。また、メールを送りたいときは「[名前]さんにメール」と書くと、名前に対応するメールアドレス宛にメールが送信される。この場合は、名前に対応するメールアドレスをコマンド認識辞書125に登録しておけばよい。
As shown in FIG. 3, the
送受信部109は、プロジェクター20、プリンター30及びメールサーバー40等とのデータの送受信を行うための通信インターフェイス、および無線ドライバ等である。コマンド実行命令出力部117が出力した実行命令は、送受信部109を介して各装置へ送信される。なお、送受信部109は、有線接続のためのコネクターおよびLANケーブル等によって構成することも可能である。
The transmission /
<タブレットPCの制御方法について>
次に、上記説明したデータ出力システムにおけるタブレットPCの制御方法について図4〜図10を参照して説明する。
ユーザーがスタイラスペンで表示部101に手書きすると、情報検出部103は描画データへ変換し制御部105へ送信する。ジェスチャー認識部113は、描画データに基づいて手書き入力された線の形状を認識する(ステップS11)。
<About control method of tablet PC>
Next, a method for controlling the tablet PC in the data output system described above will be described with reference to FIGS.
When the user performs handwriting on the
ジェスチャー認識部113は、ジェスチャー認識辞書123を参照して、線の形状が定義されている図形と一致するか否かを判定する。つまり、線の形状がジェスチャーとして登録されたものか否かを判定する(ステップS13)。ジェスチャー認識辞書123の中に一致する図形(ストロークを含む)が登録されていれば(ステップS13:Yes)、ジェスチャーとして認識する。次に、認識したジェスチャーがコマンドとして定義されているか否かを判定する(ステップS15)。つまり、線の形状が、図2に示した図形のうち、ストロークを含め「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」の何れかと一致する場合は、コマンド化されたジェスチャーであると判定し、コマンド認識部115へ通知する。
The
ジェスチャー認識部113がコマンド化されたジャスチャーであると判定すると(ステップS15:Yes)、コマンド認識部115がそのジェスチャーが示す範囲、つまり丸の内側や線の上に含まれている情報の認識を行う。すなわち、コマンド認識部115は、文字認識辞書121を参照して、ジェスチャーが示す範囲内に書かれている描画データに基づいて文字認識を行い、テキスト文字に変換する(ステップS19)。
If the
さらに、コマンド認識部115は、文字認識して取得したテキスト文字と一致する文字が、図3に示したコマンド認識辞書125の中に登録されているか否かを判定する。登録されている文字が含まれていれば、コマンド認識部115は、そのテキスト文字とジェスチャー認識部113が認識したジェスチャーとを組み合わせ情報として認識する。組み合わせ情報であることに応じて、その組み合せ情報をコマンドオブジェクトとして認識する(ステップS21:Yes)。画像処理部111は、コマンドオブジェクト部分の色を変更した画像データを生成し、表示部101やプロジェクター20に表示させる(ステップS23)。
Furthermore, the
一方、コマンド認識部115は、文字認識して取得したテキスト文字と一致する文字が、図3に示したコマンド認識辞書125の中に登録されていないと判定した場合は(ステップS21:No)、そのジェスチャーと、ジェスチャーの範囲内に含まれる文字と、をオブジェクトの属性として保持する(ステップS25)。
On the other hand, if the
ところで、ステップS15において、ジェスチャー認識部113は、認識したジェスチャーがコマンドとして定義されていないジェスチャーであると判定すると(ステップS15:No)、パラメータを与えるためのジェスチャーであるか否かを判定する(ステップS27)。つまり、線の形状が、図2に示した図形のうち矢印ジェスチャーか否かを判定する。「矢印1」、「矢印2」、「両端に黒丸つき線」の何れかと一致する場合は、コマンド実行命令出力部117が矢印でつないでいるオブジェクトを特定する(ステップS29)。さらに、コマンド実行命令出力部117は、矢印先のコマンドオブジェクトに、矢印元のデータパラメータとして与え、コマンド実行命令を出力する(ステップS31)。
By the way, if the
一方、ステップS27において、ジェスチャー認識部113は、認識したジェスチャーが図2に示した図形のうち矢印ジェスチャーではないと判定すると(ステップS27:No)、その他のジェスチャーに定義付けられている動作を実行する(ステップS33)。
On the other hand, when the
図5は、表示画面の情報を印刷する際の表示画面の状態を示した図である。図5(a)に示すように、ユーザーがスタイラスペンで表示部101上に手書きした後、(b)に示すように、コマンドを示す文字[印刷]及びパラメータを示す文字[A4]を丸で囲むと、丸で囲まれた領域の中が青色や赤色に変わる。これにより、ユーザーはコマンドオブジェクト又はパラメータを示すオブジェクトになったことがわかる。さらに、(c)に示すように、矢印を引くと、矢印の出元の四角で囲われた領域(ステップS25でオブジェクトの属性として認識された領域)を印刷するための印刷コマンド実行命令がプロンターへ送信され、表示画面がA4サイズで印刷される。また、出元の領域が指定されていないときは画面全体を印刷してもよい。なお、(d)に示すように、印刷を実行するために使われた図形やストローク(四角の範囲指定や矢印)は機能の実行完了後に自動的に消滅するよう設定してもよい。
FIG. 5 is a diagram showing the state of the display screen when the information on the display screen is printed. As shown in FIG. 5A, after the user has handwritten on the
図6は、コマンド化されたオブジェクトを解除する際の表示画面の状態を示した図である。図6(a)に示すように、ユーザーはスタイラスペンで普通に書いていたものが、コマンドオブジェクトとして認識されてしまった場合は、(b)に示すように解除の図形を描くことで、(c)に示すようにコマンドとしての認識を解除するためのコマンド解除命令が出力され、コマンド化されたオブジェクトが解除される。 FIG. 6 is a diagram showing the state of the display screen when releasing the commanded object. As shown in FIG. 6A, when a user normally writes with a stylus pen but is recognized as a command object, by drawing a release figure as shown in FIG. As shown in c), a command cancel command for canceling recognition as a command is output, and the commanded object is cancelled.
図7は、表示画面の情報をファイルとして保存する際の表示画面の状態を示した図である。図7(a)に示すように、ファイル名をつけて保存する場合は、ファイルのコマンドオブジェクトを作成し、(b)に示すように、保存を表す図形(この場合は内向き矢印)を描くことにより、画面の内容を保存するための保存コマンド実行命令が出力され、表示画面をファイルとして保存する。なお、(c)に示すように、矢印は、ファイルが保存された後に自動的に消滅するよう設定してもよい。 FIG. 7 is a diagram showing the state of the display screen when information on the display screen is saved as a file. As shown in FIG. 7A, when saving with a file name, a file command object is created, and as shown in FIG. 7B, a graphic representing saving (in this case, an inward arrow) is drawn. As a result, a save command execution command for saving the contents of the screen is output, and the display screen is saved as a file. Note that, as shown in (c), the arrow may be set to automatically disappear after the file is saved.
図8は、ファイルを開く際の表示画面の状態を示した図である。図8(a)に示すように、[File]と、開きたいファイルの[ファイル名](コマンドを示す文字及びパラメータを示す文字以外の内容)を書き、丸で囲むことでコマンドオブジェクトを作成する。(b)に示すように、ファイルを開くことを表す図形(この場合は外向き矢印)を描くことにより、指定されたファイル名のファイルを開くためのコマンド実行命令が出力される。(c)に示すようにファイルが呼び出され表示部101にファイルの内容が表示される。
FIG. 8 is a diagram showing the state of the display screen when opening a file. As shown in FIG. 8 (a), [File] and [File name] of the file to be opened (contents other than characters indicating commands and parameters) are written, and a command object is created by enclosing them in a circle. . As shown in (b), a command execution command for opening a file having a specified file name is output by drawing a graphic representing the opening of the file (in this case, an outward arrow). As shown in (c), the file is called and the contents of the file are displayed on the
図9は、キーワード検索を行なう際の表示画面の状態を示した図である。図9(a)に示すように、[Search](コマンドを示す文字)と、[キーワード](コマンドを示す文字及びパラメータを示す文字以外の内容)を書き、丸で囲むことで検索のコマンドオブジェクトを作成する。(b)に示すように検索のコマンドオブジェクトを実行(ここではタッチあるいはクリック)することにより、表示画面に書かれている情報を対象にキーワード検索するためのコマンド実行命令が出力される。(c)に示すようにキーワードと一致する文字の色が赤色や青色に変わって表示される。 FIG. 9 is a diagram showing the state of the display screen when performing a keyword search. As shown in FIG. 9A, [Search] (characters indicating commands) and [Keywords] (contents other than characters indicating commands and characters) are written and surrounded by circles to search command objects. Create By executing (in this case, touching or clicking) a search command object, a command execution command for searching for a keyword for information written on the display screen is output as shown in FIG. As shown in (c), the color of the character matching the keyword is changed to red or blue and displayed.
図10は、文字の置換を行う際の表示画面の状態を示した図である。図10(a)に示すように、[電話→TEL]を書き、丸で囲むことで置換のコマンドオブジェクトを作成する。(b)に示すように置換のコマンドオブジェクトを実行(ここではタッチあるいはクリック)することにより、表示画面に書かれている情報を対象に[電話]を[TEL]に置き換えるためのコマンド実行命令が出力される。(c)に示すように画面に書かれている[電話]が[TEL]へ置換される。 FIG. 10 is a diagram showing the state of the display screen when characters are replaced. As shown in FIG. 10A, a replacement command object is created by writing [telephone → TEL] and enclosing it in a circle. As shown in (b), by executing a replacement command object (here, touch or click), a command execution command for replacing [telephone] with [TEL] for information written on the display screen is provided. Is output. As shown in (c), [TEL] written on the screen is replaced with [TEL].
上記実施形態によれば、図形(ストロークを含む)、すなわちジェスチャーと、文字と、の組み合わせによってコマンドオブジェクトとして認識されコマンド実行命令が出力される。すなわち、ジェスチャーは各機能を実行させるためのコマンドそのものではなく、文字をコマンドとして認識させるためのものであり、文字とジェスチャーとの組み合わせ情報でコマンドオブジェクトとして認識される。つまり、ユーザーは文字とジェスチャーとの組み合わせ情報を同じ描画エリアに手書きすればよいので、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。 According to the above-described embodiment, a command execution command is output by being recognized as a command object by a combination of a figure (including a stroke), that is, a gesture and a character. That is, the gesture is not a command itself for executing each function, but a character is recognized as a command, and is recognized as a command object by combination information of the character and the gesture. In other words, the user only has to hand-write the combination information of characters and gestures in the same drawing area, so that the drawing area and the command area are distinguished from each other without increasing the number of gestures corresponding to the command as in the past. Commands can be executed without need.
また、上記実施形態によれば、コマンドのみならず、パラメータも文字とジェスチャーとの組み合わせによって与えることができる。コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるためのジェスチャーと、パラメータとして認識させるためのジェスチャーと、を共通のジェスチャー(図2に示した例では「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」が共通のジェスチャーである。)として使用することができる。したがって、コマンドやパラメータの種類が増えても、ユーザーが覚えなければならないジェスチャーの数は増加することがなく、利便性の向上を図ることができる。 Further, according to the above embodiment, not only commands but also parameters can be given by a combination of characters and gestures. If the command and the parameter are expressed by different characters, a gesture for recognizing as a command and a gesture for recognizing as a parameter are common gestures (“circle” and “double circle” in the example shown in FIG. 2). , “Double line”, “wavy line”, “black circle at the end of the line” and “black circle at the end of the circle” are common gestures). Therefore, even if the types of commands and parameters increase, the number of gestures that the user has to remember does not increase, and convenience can be improved.
また、上記実施形態によれば、図形の運筆(軌跡、ストローク、筆跡)によってコマンド実行命令を出力するか否かを決定することができる。すなわち、同じ図形であっても運筆が異なる場合はジェスチャーとして認識することなく、単なる図形として認識する。したがって、ユーザーは意図的に運筆を変えることで、文字をコマンドやパラメータとして認識させることができる。 Moreover, according to the said embodiment, it can be determined whether a command execution command is output by the handwriting (trajectory, stroke, handwriting) of a figure. That is, even if the same figure is used, if the stroke is different, it is recognized as a simple figure without being recognized as a gesture. Therefore, the user can recognize the character as a command or a parameter by intentionally changing the stroke.
また、上記実施形態によれば、図5に示したように、文字[印刷]とジェスチャー[丸]との組み合わせ情報を印刷コマンドとして認識し、文字[A4]とジェスチャー[丸]との組み合わせ情報をパラメータとして認識することができる。さらに、図9や図10に示したように、コマンドやパラメータを示す文字以外の他の文字をキーワードとして、キーワード検索を行なったり、キーワードで置換したりすることもできる。 Further, according to the above embodiment, as shown in FIG. 5, the combination information of the character [print] and the gesture [circle] is recognized as a print command, and the combination information of the character [A4] and the gesture [circle] is recognized. Can be recognized as a parameter. Further, as shown in FIGS. 9 and 10, keyword search can be performed using a character other than the characters indicating the command and the parameter as a keyword, or the keyword can be replaced.
なお、上記実施形態ではコマンド発生装置として、タブレットPC10を例示して説明したが、タブレットPC10に限定されることなく、手書き入力した軌跡をデジタルデータに変換し、元の画像データに合成して表示できる装置にも採用することができる。例えば、インタラクティブタイプの電子黒板システムなどがある。
In the above-described embodiment, the
なお、指先やスタイラスペンの軌跡を検出し、デジタルデータに変換する手段としては、上記実施形態で説明した感圧方式や静電方式の他、以下の方式を採用することもできる。
(レーザー型)
ホワイトボードの上辺の両端に赤外線レーザーが設置されており、レーザー光線が投写面の表面を監視しており、スタイラスペンについている反射板がレーザー光線を反射することで、その位置を検出する構成である。
(赤外線、超音波型)
ホワイトボードの上下左右に赤外線発行素子を置き、縦横斜めに赤外線を走らせ、遮られた位置を検出することにより、座標を取得する構成である。
(光学、赤外線型)
ホワイトボードの表面を指やマーカーで押すとボード上の表面を監視している赤外線発光装置と受光装置によって三角法的に位置を取得する構成である。
In addition to the pressure-sensitive method and the electrostatic method described in the above embodiment, the following method can also be adopted as means for detecting the trajectory of the fingertip or stylus pen and converting it into digital data.
(Laser type)
Infrared lasers are installed at both ends of the upper side of the whiteboard, the laser beam monitors the surface of the projection surface, and the reflector is attached to the stylus pen to detect the position by reflecting the laser beam.
(Infrared, ultrasonic type)
In this configuration, infrared emitting elements are placed on the top, bottom, left, and right of the whiteboard, the infrared rays are run diagonally in the vertical and horizontal directions, and the coordinates are obtained by detecting the blocked position.
(Optical, infrared type)
When the surface of the whiteboard is pressed with a finger or a marker, the position is acquired trigonometrically by the infrared light emitting device and the light receiving device that monitor the surface on the board.
また、上記実施形態では、表示部101、情報検出部103、画像処理部111、ジェスチャー認識部113、コマンド認識部115、コマンド実行命令出力部117、文字認識辞書121、ジェスチャー認識辞書123及びコマンド認識辞書125をタブレットPC10が備えていたが、各機能部は、データ出力システムを構成する装置の何れに構成されてもよい。例えば図11に示すように、プロジェクター20に上述した機能を構成させて、表示部101に相当するホワイトボードWBに手書きされた情報の軌跡を内蔵のカメラ(情報検出部)で撮像してもよい。
In the above embodiment, the
1:データ出力システム、10:タブレットPC、20:プロジェクター、30:プリンター、40:メールサーバー、101:表示部、103:情報検出部、105:制御部、107:記憶部、109:送受信部、111:画像処理部、113:ジェスチャー認識部、115:コマンド認識部、117:コマンド実行命令出力部、121:文字認識辞書、123:ジェスチャー認識辞書、125:コマンド認識辞書。 1: data output system, 10: tablet PC, 20: projector, 30: printer, 40: mail server, 101: display unit, 103: information detection unit, 105: control unit, 107: storage unit, 109: transmission / reception unit, 111: Image processing unit, 113: Gesture recognition unit, 115: Command recognition unit, 117: Command execution command output unit, 121: Character recognition dictionary, 123: Gesture recognition dictionary, 125: Command recognition dictionary
Claims (7)
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、
認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、
を有することを特徴とするコマンド発生装置。 An information detection unit for detecting information input by the locus of the indicated position;
A command recognizing unit for recognizing the character as a command in response to the content of the information being combination information combining a character indicating a specific command and a graphic for recognizing the character as a command;
A command execution instruction output unit for outputting an execution instruction for the recognized command;
A command generator characterized by comprising:
前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする請求項1に記載のコマンド発生装置。 The command recognition unit recognizes the character as a parameter when the information includes additional information combining a character indicating a parameter for the command and a graphic for causing the character to be recognized as a parameter. And
The command generation apparatus according to claim 1, wherein the command execution instruction output unit outputs an execution instruction of the command using the recognized parameter.
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、
前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、
認識したコマンドについて実行命令を出力するステップと、を有することを特徴とするコマンド発生装置の制御方法。 Detecting handwritten information; and
Determining whether the content of the information is combination information combining a character indicating a specific command and a graphic for recognizing the character as a command;
Recognizing the character as a command in response to the content of the information being combination information;
And a step of outputting an execution instruction for the recognized command.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010068339A JP2011203829A (en) | 2010-03-24 | 2010-03-24 | Command generating device, method of controlling the same, and projector including the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010068339A JP2011203829A (en) | 2010-03-24 | 2010-03-24 | Command generating device, method of controlling the same, and projector including the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011203829A true JP2011203829A (en) | 2011-10-13 |
Family
ID=44880442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010068339A Pending JP2011203829A (en) | 2010-03-24 | 2010-03-24 | Command generating device, method of controlling the same, and projector including the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011203829A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013058047A1 (en) * | 2011-10-21 | 2013-04-25 | シャープ株式会社 | Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium |
JP2015525926A (en) * | 2012-07-13 | 2015-09-07 | サムスン エレクトロニクス カンパニー リミテッド | User terminal user interface device and method |
JP2016024519A (en) * | 2014-07-17 | 2016-02-08 | 公立大学法人首都大学東京 | Electronic device remote operation system and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147096A (en) * | 1994-11-17 | 1996-06-07 | Nippon Telegr & Teleph Corp <Ntt> | Handwriting input method and device |
JP2001005599A (en) * | 1999-06-22 | 2001-01-12 | Sharp Corp | Information processor and information processing method an d recording medium recording information processing program |
JP2007109118A (en) * | 2005-10-17 | 2007-04-26 | Hitachi Ltd | Input instruction processing apparatus and input instruction processing program |
-
2010
- 2010-03-24 JP JP2010068339A patent/JP2011203829A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147096A (en) * | 1994-11-17 | 1996-06-07 | Nippon Telegr & Teleph Corp <Ntt> | Handwriting input method and device |
JP2001005599A (en) * | 1999-06-22 | 2001-01-12 | Sharp Corp | Information processor and information processing method an d recording medium recording information processing program |
JP2007109118A (en) * | 2005-10-17 | 2007-04-26 | Hitachi Ltd | Input instruction processing apparatus and input instruction processing program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013058047A1 (en) * | 2011-10-21 | 2013-04-25 | シャープ株式会社 | Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium |
JP2013089203A (en) * | 2011-10-21 | 2013-05-13 | Sharp Corp | Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium |
CN103890698A (en) * | 2011-10-21 | 2014-06-25 | 夏普株式会社 | Input device, input device control method, controlled device, electronic whiteboard system, control program, and recording medium |
JP2015525926A (en) * | 2012-07-13 | 2015-09-07 | サムスン エレクトロニクス カンパニー リミテッド | User terminal user interface device and method |
JP2016024519A (en) * | 2014-07-17 | 2016-02-08 | 公立大学法人首都大学東京 | Electronic device remote operation system and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5849394B2 (en) | Information processing system, information processing method, and computer program | |
US10133396B2 (en) | Virtual input device using second touch-enabled display | |
US9348420B2 (en) | Adaptive projected information handling system output devices | |
US20150268730A1 (en) | Gesture Controlled Adaptive Projected Information Handling System Input and Output Devices | |
US10719228B2 (en) | Image processing apparatus, image processing system, and image processing method | |
US20180288280A1 (en) | Scan privacy tool and methods using sensors or control buttons | |
US9117125B2 (en) | Electronic device and handwritten document processing method | |
JP2013168018A (en) | Image processing device, method for controlling image processing device, and program | |
US11132122B2 (en) | Handwriting input apparatus, handwriting input method, and non-transitory recording medium | |
CN114467071A (en) | Display device, color support device, display method, and program | |
JP4716453B1 (en) | Program, information processing apparatus, information processing system | |
JP6100013B2 (en) | Electronic device and handwritten document processing method | |
CN112805664A (en) | Input device, input method, program, and input system | |
JP2011203829A (en) | Command generating device, method of controlling the same, and projector including the same | |
JP7452155B2 (en) | Handwriting input device, handwriting input method, program | |
JP2023184557A (en) | Display device, display method, and program | |
JP2000043485A (en) | Electronic whiteboard system | |
US20220129085A1 (en) | Input device, input method, medium, and program | |
US8629846B2 (en) | Information processing apparatus and information processing method | |
JP7420016B2 (en) | Display device, display method, program, display system | |
JP7259828B2 (en) | Display device, display method, program | |
US11190661B2 (en) | Scan privacy tool using a mobile device for printing operations | |
JP2020127095A (en) | Information processing system, electronic blackboard, and program | |
JP2023137822A (en) | Display device, fair copy method, program, and information sharing system | |
JP2021149662A (en) | Display unit, display method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130819 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131119 |