JP2020071544A - Information display device, electronic pen, display control method, and display control program - Google Patents
Information display device, electronic pen, display control method, and display control program Download PDFInfo
- Publication number
- JP2020071544A JP2020071544A JP2018203311A JP2018203311A JP2020071544A JP 2020071544 A JP2020071544 A JP 2020071544A JP 2018203311 A JP2018203311 A JP 2018203311A JP 2018203311 A JP2018203311 A JP 2018203311A JP 2020071544 A JP2020071544 A JP 2020071544A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- display device
- input
- character
- information display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005034 decoration Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 2
- ORMNNUPLFAPCFD-DVLYDCSHSA-M phenethicillin potassium Chemical compound [K+].N([C@@H]1C(N2[C@H](C(C)(C)S[C@@H]21)C([O-])=O)=O)C(=O)C(C)OC1=CC=CC=C1 ORMNNUPLFAPCFD-DVLYDCSHSA-M 0.000 description 64
- 238000004891 communication Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムに関する。 The present invention relates to an information display device, an electronic pen, a display control method, and a display control program.
従来、手書き入力を受け付けるタッチパネルを備える情報表示装置が普及している。このような情報表示装置は、指示体としてのペン又は指による手書き入力をタッチパネルが受け付けて、文字や図形を表す手書きの軌跡を表示する（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, information display devices including a touch panel that receives handwriting input have been widely used. In such an information display device, the touch panel accepts a handwriting input with a pen or a finger as an indicator and displays a handwriting locus representing a character or a graphic (for example, refer to Patent Document 1).
しかしながら、従来の情報表示装置において手書きの軌跡の表示態様を変更する場合、手書き入力の前又は後において、その手書きの軌跡の表示態様を変更するための入力操作をユーザが指示体により行う必要があり、操作が煩雑であるという問題がある。 However, when changing the display mode of the handwritten trajectory in the conventional information display device, before or after the handwriting input, the user needs to perform the input operation for changing the display mode of the handwritten trajectory by the indicator. However, there is a problem that the operation is complicated.
また、表示態様を変更するための入力操作を受け付けるためのＧＵＩ（ウィンドウ、アイコン、ボタン等）を情報表示装置が表示する場合、このようなＧＵＩにより情報表示装置の限られた表示面積の一部が占有され、手書き入力の操作性がさらに悪化しうる。 Further, when the information display device displays a GUI (window, icon, button, etc.) for receiving an input operation for changing the display mode, such a GUI causes a part of the limited display area of the information display device. Is occupied, and the operability of handwriting input may be further deteriorated.
そこで、本発明は、手書きの軌跡の表示態様を変更する際の操作性を向上させた情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムを提供することを目的とする。 Therefore, it is an object of the present invention to provide an information display device, an electronic pen, a display control method, and a display control program that have improved operability when changing the display mode of a handwritten trajectory.
第１の態様に係る情報表示装置は、指示体による手書き入力を受け付けるタッチパネルと、前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示部と、音声コマンドを含む音声入力を受け付ける音声入力部と、手書き入力状態において前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部が表示する文字又は図形の表示態様を変更するコントローラとを備える。前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。 An information display device according to a first aspect includes a touch panel that accepts handwriting input by an indicator, a display unit that displays handwritten characters or graphics accepted by the touch panel, and a voice input unit that receives voice input including voice commands. A controller that changes the display mode of the characters or graphics displayed on the display unit in response to a voice command received by the voice input unit in the handwriting input state. The display mode is at least one of character color, character size, character thickness, character font, character decoration, figure color, figure size, figure line width, and figure shape. Including one.
第２の態様に係る電子ペンは、前記指示体として機能する。 The electronic pen according to the second aspect functions as the indicator.
第３の態様に係る表示制御方法は、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に用いる方法である。前記表示制御方法は、手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップとを備える。前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。 The display control method according to the third aspect is a method used for an information display device having a touch panel that accepts handwriting input by a pointer. In the handwriting input state, the display control method receives a voice input step of receiving a voice input including a voice command, a display step of displaying a handwritten character or a figure received by the touch panel, and an input of the voice input step. And a changing step of changing the display mode of the handwritten character or graphic in the display step according to the voice command. The display mode is at least one of character color, character size, character thickness, character font, character decoration, figure color, figure size, figure line width, and figure shape. Including one.
第４の態様に係る表示制御プログラムは、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に、手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップとを実行させる。前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。 A display control program according to a fourth aspect, in an information display device having a touch panel that accepts handwriting input by an indicator, a voice input step of receiving voice input including a voice command in a handwriting input state, and handwriting accepted by the touch panel. And a change step of changing the display mode of the handwritten character or graphic in the display step according to the voice command received in the voice input step. The display mode is at least one of character color, character size, character thickness, character font, character decoration, figure color, figure size, figure line width, and figure shape. Including one.
本発明の一態様によれば、手書きの軌跡の表示態様を変更する際の操作性を向上させた情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムを提供できる。 According to one aspect of the present invention, it is possible to provide an information display device, an electronic pen, a display control method, and a display control program that have improved operability when changing the display mode of a handwritten trajectory.
図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。 Embodiments will be described with reference to the drawings. In the description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.
（情報表示装置の構成）
一実施形態に係る情報表示装置は、例えばスマートフォン端末又はタブレット端末のような端末とすることができる。しかしながら、情報表示装置はそのような端末に限定されるものではなく、例えば、パーソナルコンピュータ、電子黒板、又は車載情報表示装置等であってもよい。
(Configuration of information display device)
The information display device according to one embodiment may be a terminal such as a smartphone terminal or a tablet terminal. However, the information display device is not limited to such a terminal, and may be, for example, a personal computer, an electronic blackboard, or an in-vehicle information display device.
図１は、一実施形態に係る情報表示装置１００の外観図である。
FIG. 1 is an external view of an
図１に示すように、情報表示装置１００は、タッチスクリーンディスプレイ１１０と、マイク１２０と、スピーカ１３０と、カメラ１４０とを有する。
As shown in FIG. 1, the
タッチスクリーンディスプレイ１１０は、その表示面が情報表示装置１００の筐体１０１から露出して設けられる。タッチスクリーンディスプレイ１１０は、タッチパネル１１１と、表示部（ディスプレイ）１１２とを有する。
The display surface of the
タッチパネル１１１は、情報表示装置１００への操作入力（タッチ入力）を受け付ける。タッチパネル１１１は、指示体としてのユーザの指又は電子ペン等のタッチを検出する。タッチを検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。タッチパネル１１１は、ユーザのタッチ入力を検出して、このタッチ入力で指示される位置の座標（タッチ座標）のデータをコントローラ１８０に出力する。
The
表示部１１２は、映像出力を行う。表示部１１２は、文字（記号を含む）、画像、図形等のオブジェクトを画面上に表示する。表示部１１２には、例えば液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイが用いられる。
The
一実施形態に係るタッチスクリーンディスプレイ１１０において、表示部１１２はタッチパネル１１１と重なるように設けられており、表示部１１２の表示領域はタッチパネル１１１と重複している。しかしながら、表示部１１２及びタッチパネル１１１が互いに重なるように設けられることに代えて、表示部１１２及びタッチパネル１１１を並べて配置されてもよいし、離して配置されてもよい。
In the
マイク１２０は、情報表示装置１００への音声入力を受け付ける。マイク１２０は、周囲の音声を集音する。
The
スピーカ１３０は、音声出力を行う。スピーカ１３０は、電話の音声や各種プログラムの情報等を音声で出力する。
The
カメラ１４０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。カメラ１４０は、タッチスクリーンディスプレイ１１０に面している物体を撮影するインカメラである。情報表示装置１００は、さらに、タッチスクリーンディスプレイ１１０の反対側の面に面している物体を撮影するアウトカメラを備えていてもよい。
The
図２は、一実施形態に係る情報表示装置１００の機能構成を示すブロック図である。
FIG. 2 is a block diagram showing a functional configuration of the
図２に示すように、情報表示装置１００は、タッチパネル１１１と、表示部１１２と、音声入力部１２１と、音声出力部１３１と、カメラ１４０と、センサ１５０と、記憶部１６０と、通信インターフェイス１７０と、コントローラ１８０とを有する。
As shown in FIG. 2, the
タッチパネル１１１は、検出された指示体でのタッチ操作に対応する信号をコントローラ１８０に入力する。また、タッチパネル１１１は、後述する手書き入力アプリケーションの実行中において、電子ペンによる手書き入力を受け付ける。
The
表示部１１２は、コントローラ１８０から入力された信号に基づいて、文字、画像、図形等のオブジェクトを画面上に表示する。また、表示部１１２は、手書き入力アプリケーションの実行中において、タッチパネル１１１が入力を受け付けた手書きの軌跡（例えば、文字や図形）を表示する。
The
音声入力部１２１は、入力を受け付けた音声に対応する信号をコントローラ１８０に入力する。音声入力部１２１は、上記のマイク１２０を含む。また、音声入力部１２１は、外部のマイクを接続可能な入力インターフェイスであってもよい。外部のマイクは無線又は有線で接続される。入力インターフェイスに接続されるマイクは、例えば情報表示装置１００に接続可能なイヤホン等に備えられるマイクである。一実施形態において、外部のマイクは、電子ペンに設けられている。
The
音声出力部１３１は、コントローラ１８０から入力された信号に基づいて、音声を出力する。音声出力部１３１は、上記のスピーカ１３０を含む。また、音声出力部１３１は、外部のスピーカを接続可能な出力インターフェイスであってもよい。外部のスピーカは無線又は有線で接続される。出力インターフェイスに接続されるスピーカは、例えば情報表示装置に接続可能なイヤホン等に備えられるスピーカである。
The
カメラ１４０は、撮像した画像を電子信号に変換してコントローラ１８０に入力する。
The
センサ１５０は、情報表示装置１００に加わる加速度又は振動を検出し、検出結果に対応する検出信号をコントローラ１８０に出力する。センサ１５０は、加速度センサを含む。加速度センサは、情報表示装置１００に加わる加速度の方向及び大きさを検出する。
The sensor 150 detects acceleration or vibration applied to the
記憶部１６０は、プログラム及びデータを記憶する。記憶部１６０は、コントローラ１８０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１６０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。
The
また、記憶部１６０は、複数の種類の記憶媒体を含んでよい。記憶部１６０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１６０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
In addition, the
記憶部１６０に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。
The programs stored in the
記憶部１６０に記憶されるプログラムには、手書き入力アプリケーションが含まれる。手書き入力アプリケーションは、電子ペンによる手書き入力をタッチパネル１１１が受け付けて、手書きの軌跡（例えば、文字や図形）を表示部１１２に表示させるアプリケーションである。
The programs stored in the
一実施形態において、手書き入力アプリケーションは、音声入力部１２１により取得された音声データに対する音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部１６０に予め登録されている。
In one embodiment, the handwriting input application has a function of performing voice recognition processing on the voice data acquired by the
通信インターフェイス１７０は、無線により通信する。通信インターフェイス１７０によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラー通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。
The
コントローラ１８０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。また、コントローラ１８０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等を含み、表示部１１２に各種の画像を描画する。コントローラ１８０は、情報表示装置１００の動作を統括的に制御して各種の機能を実現する。
The
コントローラ１８０は、自機が外部機器と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ１８０は、通信インターフェイス１７０を介して外部機器と通信する。接続される外部機器は、例えば上記のイヤホンや、ヘッドセット、マイク付きの車載スピーカ、電子ペンである。但し、無線接続の通信規格、外部機器はともにこれらに限定されない。以下において、接続される外部機器が電子ペンである一例について説明する。
The
コントローラ１８０は、タッチパネル１１１が検出したタッチ操作等に応じて入力される信号に基づいて、各種制御を実行する。例えば、コントローラ１８０は、入力された信号に応じた出力を音声出力部１３１や表示部１１２等によって行う。また、コントローラ１８０は、情報表示装置１００の機能の実行や設定の変更を行う。
The
コントローラ１８０は、手書き入力アプリケーションの実行中において、ユーザがタッチパネル１１１を利用して手書き入力（タッチ入力）をすると、タッチ位置に対応するタッチ座標データをタッチパネル１１１から取得する。
When the user uses the
ユーザは、電子ペンや指でタッチパネル１１１を操作する。タッチパネル１１１を用いた入力としては、タップ（短押し）、スライド（ドラッグ）、フリック、ロングタッチ（長押し）等がある。これらを「タッチ入力」又は単に「入力」と呼ばれることがある。
The user operates the
タッチパネル１１１をタッチしていない状態からタッチする状態に変化することをタッチオン（ペンダウン）といい、タッチパネル１１１をタッチしている状態からタッチしていない状態に変化することをタッチオフ（ペンアップ）という。継続的なタッチ入力であるスライドやフリックによる入力に対しては、タッチパネル１１１は、現在のタッチ位置に対応するタッチ座標データを短周期で出力してもよい。
The change from the state where the
タッチパネル１１１は、タッチオン（ペンダウン）からタッチオフ（ペンアップ）までの一連のタッチ位置に対応するタッチ座標データをコントローラ１８０に出力する。コントローラ１８０は、一連のタッチ座標データが示す手書きの軌跡を表示部１１２に表示させる。
The
（電子ペンの構成）
図３は、一実施形態に係る電子ペン２００の外観図である。
(Structure of electronic pen)
FIG. 3 is an external view of the
図３に示すように、電子ペン２００は、筐体２０１と、クリップ部２０２と、芯体２０３と、操作部２１０とを有する。
As shown in FIG. 3, the
筐体２０１は、筒状に構成されている。クリップ部２０２は、電子ペン２００（筐体２０１）の上端側に設けられている。芯体２０３及び操作部２１０は、電子ペン２００（筐体２０１）の下端側に設けられている。操作部２１０は、指により押下されるボタンである。
The
図４は、一実施形態に係る電子ペン２００の機能構成を示すブロック図である。
FIG. 4 is a block diagram showing a functional configuration of the
図４に示すように、電子ペン２００は、操作部２１０と、マイク２２０と、スピーカ２３０と、センサ２４０と、記憶部２５０と、通信インターフェイス２６０と、コントローラ２７０とを有する。
As shown in FIG. 4, the
操作部２１０は、検出された押下操作に対応する信号をコントローラ２７０に入力する。
The
マイク２２０は、周囲の音声を集音する。マイク２２０は、電子ペン２００への音声入力を受け付け、入力を受け付けた音声に対応する信号をコントローラ２７０に入力する。
The
スピーカ２３０は、音声出力を行う。スピーカ２３０は、電話の音声や各種プログラムの情報等を音声で出力する。スピーカ２３０は、コントローラ２７０から入力された信号に基づいて、音声を出力する。
The
センサ２４０は、電子ペン２００に加わる加速度、又は筆圧を検出し、検出結果に対応する検出信号をコントローラ２７０に出力する。センサ２４０は、加速度センサを含む。加速度センサは、電子ペン２００に加わる加速度の方向及び大きさを検出する。センサ２４０は、さらに、情報表示装置１００の角度及び角速度を検出するジャイロセンサを含んでいてもよい。
The
センサ２４０は、さらに筆圧センサを含む。筆圧センサは、芯体２０３（すなわち、ペン先）に加わる圧力を検出し、検出結果に対応する信号をコントローラ２７０に出力する。
The
記憶部２５０は、プログラム及びデータを記憶する。記憶部２５０は、コントローラ２７０の処理結果を一時的に記憶する作業領域としても利用される。記憶部２５０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。
The
また、記憶部２５０は、複数の種類の記憶媒体を含んでよい。記憶部２５０は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部２５０は、ＲＡＭ等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
In addition, the
通信インターフェイス２６０は、無線により通信する。通信インターフェイス２６０によってサポートされる無線通信規格には、例えば、上記のセルラー通信規格や近距離無線の通信規格等がある。
The
コントローラ２７０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。コントローラ２７０は、電子ペン２００の動作を統括的に制御して各種の機能を実現する。
The
コントローラ２７０は、自機が情報表示装置１００と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ２７０は、通信インターフェイス２６０を介して情報表示装置１００と通信する。
The
コントローラ２７０は、操作部２１０が検出した押下操作等に応じて入力される信号に基づいて、各種制御を実行する。また、コントローラ２７０は、自機が情報表示装置１００と接続されている場合において、センサ２４０の検出結果に応じたデータを情報表示装置１００に送信する。
The
一実施形態において、コントローラ２７０は、音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部２５０に予め登録されていてもよい。
In one embodiment, the
（手書き入力の動作）
図５は、手書き入力画面の一例を示す図である。情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションの実行中に、図５に示すような手書き入力画面をタッチスクリーンディスプレイ１１０（表示部１１２）に表示させる。
(Handwriting input operation)
FIG. 5 is a diagram showing an example of a handwriting input screen. The
図５に示すように、手書き入力画面は、手書き入力領域Ｒ１と、ツールパレット領域Ｐ１と、カラーパレット領域Ｐ２とを有する。 As shown in FIG. 5, the handwriting input screen has a handwriting input area R1, a tool palette area P1, and a color palette area P2.
手書き入力領域Ｒ１は、手書きの軌跡を表示する領域である。図５において、ユーザが電子ペン２００を用いて手書き入力を行う一例を示している。一般的に、ユーザは、例えばメモをとるために、電子ペン２００により文字を手書き入力領域Ｒ１に入力する。文字には、数字や記号も含まれる。或いは、ユーザは、例えばイラストを描画するために、電子ペン２００により図形を手書き入力領域Ｒ１に入力する。図形には、曲線や直線、円、多角形等が含まれる。
The handwriting input area R1 is an area for displaying a handwriting locus. FIG. 5 shows an example in which the user performs handwriting input using the
ツールパレット領域Ｐ１は、手書きの軌跡の太さ（線幅）を変更するためのボタンＢ１１乃至Ｂ１３と、直前の手書き入力をキャンセルする（元に戻す）ためのボタンＢ１４と、削除する箇所を指示体により指定する操作を行うための消しゴムボタンＢ１５とを表示する領域である。一方、カラーパレット領域Ｐ２は、黒、赤、青、緑、黄等の各色に対応するカラーボタンＢ２１乃至Ｂ２５を表示する領域である。 The tool palette area P1 indicates buttons B11 to B13 for changing the thickness (line width) of a handwritten trajectory, a button B14 for canceling (returning to the previous) handwriting input, and a deletion point. An area for displaying an eraser button B15 for performing an operation designated by the body. On the other hand, the color palette area P2 is an area for displaying the color buttons B21 to B25 corresponding to each color such as black, red, blue, green and yellow.
ユーザは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内のボタンを用いて、手書きの軌跡（文字や図形等）の線色及び線幅を選択したり、描画した図形又はその一部を構成する面（閉曲線）を所望の色で塗りつぶしたりする。このため、手書きの軌跡の表示態様（属性）を変化させる度に、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２等を用いて表示態様を選択及び変更する操作が必要になる。 The user uses the buttons in the tool palette area P1 and the color palette area P2 to select the line color and line width of a handwritten locus (characters, figures, etc.), the drawn figure, or a surface constituting a part thereof. Fill (closed curve) with a desired color. Therefore, every time the display mode (attribute) of the handwritten locus is changed, it is necessary to select and change the display mode using the tool palette area P1 and the color palette area P2.
一実施形態において、このような表示態様の変更を音声により可能にする。具体的には、一実施形態に係る情報表示装置１００において、音声入力部１２１は、音声コマンドを含む音声入力を受け付ける。
In one embodiment, such a display mode change is enabled by voice. Specifically, in the
音声入力部１２１は、電子ペン２００のマイク２２０に入力される音声に応じた音声コマンドを含む音声データを電子ペン２００から取得することにより、音声入力を受け付けてもよい。電子ペン２００のマイク２２０を利用することにより、ユーザにより近い位置で音声を集音できる。また、情報表示装置１００が適切なマイクを有していない場合であっても、電子ペン２００のマイク２２０を用いて音声入力が可能になる。
The
電子ペン２００のマイク２２０を利用する場合、音声コマンドを認識する音声認識処理を情報表示装置１００のコントローラ１８０で行ってもよいし、音声認識処理を電子ペン２００のコントローラ２７０で行ってもよい。
When using the
或いは、音声入力部１２１は、情報表示装置１００のマイク１２０に入力される音声に応じた音声コマンドを含む音声データを取得することにより、音声入力を受け付けてもよい。すなわち、電子ペン２００のマイク２２０を用いることなく音声入力を行う。この場合、音声コマンドを認識する音声認識処理を情報表示装置１００のコントローラ１８０で行う。
Alternatively, the
音声コマンドは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内の各ボタンに対応するコマンドが定義されていてもよい。 As the voice command, a command corresponding to each button in the tool palette area P1 and the color palette area P2 may be defined.
例えば、ボタンＢ１１に対応する音声コマンドは「一番細い線に」、ボタンＢ１３に対応する音声コマンドは「一番太い線に」といったように、直接的なコマンドであってもよい。或いは、「もっと線を太く」という相対的な音声コマンドにより、ボタンＢ１１に対応する線幅からボタンＢ１２に対応する線幅に変更したり、ボタンＢ１２に対応する線幅からボタンＢ１３に対応する線幅に変更したり、ボタンＢ１３に対応する線幅からより太い線幅に変更してもよい。すなわち、情報表示装置１００のコントローラ１８０は、相対的な音声コマンドに基づいて、選択済みの表示態様を、選択済みの表示態様と同種の表示態様であって、かつ選択済みの表示態様とは別の表示態様に変更してもよい。
For example, the voice command corresponding to the button B11 may be a direct command such as "to the thinnest line" and the voice command corresponding to the button B13 to "the thickest line". Alternatively, the line width corresponding to the button B11 is changed to the line width corresponding to the button B12, or the line width corresponding to the button B12 is changed to the line corresponding to the button B13 by a relative voice command of "thicker line". The width may be changed, or the line width corresponding to the button B13 may be changed to a thicker line width. That is, the
ボタンＢ１４に対応する音声コマンドは、「元に戻す」であってもよい。ボタンＢ１５に対応する音声コマンドは「消しゴム」であってもよい。 The voice command corresponding to the button B14 may be “undo”. The voice command corresponding to the button B15 may be “eraser”.
ボタンＢ２１乃至Ｂ２５については、対応する色を指定する音声コマンドとすることができる。例えば、「ペンを青に」、「ペンを赤に」といった音声コマンドであってもよい。或いは、「ペンを徐々に赤に」といった音声コマンドにより選択済みの色から赤色へのグラデーションを指定してもよい。或いは、「ペンを青から徐々に赤に」といった複数色の指定を含む音声コマンドにより青色から赤色へのグラデーションを指定してもよい。すなわち、情報表示装置１００のコントローラ１８０は、一または複数の同種の表示態様の指定、およびその他所定の音声コマンド（上記の例では、「徐々に」が該当する）を含む音声コマンドに基づいて、選択済みの表示態様または指定された表示態様から、同種の別の表示態様へ段階的に表示態様を変更してもよい。
The buttons B21 to B25 can be voice commands that specify the corresponding colors. For example, it may be a voice command such as "pen to blue" or "pen to red". Alternatively, a gradation from the selected color to red may be designated by a voice command such as “pen gradually turns red”. Alternatively, the gradation from blue to red may be designated by a voice command including designation of a plurality of colors such as “pen gradually changes from blue to red”. That is, the
コントローラ１８０は、手書き入力状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。ここで、表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。
The
これにより、手書きの軌跡の表示態様を変更する際に、ユーザは音声を発すればよく、当該変更のための入力操作を指示体により行う必要がないため、操作性を向上させることができる。 Accordingly, when changing the display mode of the handwritten locus, the user has only to make a voice and does not need to perform the input operation for the change with the indicator, so that the operability can be improved.
また、表示態様の変更を音声により可能にすることで、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２を不要とすることができるため、その分だけ手書き入力領域Ｒ１の面積を広げることができる。 Further, by making it possible to change the display mode by voice, it is possible to eliminate the tool palette area P1 and the color palette area P2 shown in FIG. 5, so that the area of the handwriting input area R1 can be expanded accordingly. it can.
さらに、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２に含まれていない高度な操作を音声により行うことも可能である。そのような高度な操作の例を図６乃至図８に示す。 Furthermore, it is possible to perform a high-level operation not included in the tool palette area P1 and the color palette area P2 shown in FIG. 5 by voice. Examples of such advanced operations are shown in FIGS.
図６は、手書きの軌跡の表示態様を段階的に変更する一例を示す図である。図６に示すように、手書き入力状態（具体的には、タッチ状態）において、「黄色からグリーンのグラデーションの線」という音声コマンドＣ１の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ１を認識し、手書きの軌跡の線色を黄色からグリーンに段階的に変更する。
FIG. 6 is a diagram showing an example of gradually changing the display mode of a handwritten trajectory. As shown in FIG. 6, in the handwriting input state (specifically, in the touch state), when the
図７は、手書きの軌跡の表示態様を変更する一例を示す図である。図７に示すように、手書きの軌跡Ｌ１が描画される。手書き入力状態において、「直線」という音声コマンドＣ２の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ２を認識し、手書きの軌跡Ｌ１を直線Ｌ２に変更する。
FIG. 7 is a diagram illustrating an example of changing the display mode of a handwritten locus. As shown in FIG. 7, a handwritten locus L1 is drawn. When the
図８は、手書きの軌跡の表示態様を変更する他の例を示す図である。図８に示すように、手書きの軌跡Ｌ３が描画される。手書き入力状態において、「直角」という音声コマンドＣ３の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ３を認識し、手書きの軌跡Ｌ３を直角の線Ｌ４に変更する。
FIG. 8 is a diagram showing another example of changing the display mode of the handwritten trajectory. As shown in FIG. 8, a handwritten locus L3 is drawn. In the handwriting input state, when the
（手書き入力状態）
図９は、一実施形態に係る手書き入力状態を示す図である。
(Handwriting input state)
FIG. 9 is a diagram showing a handwriting input state according to an embodiment.
図９に示すように、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面に電子ペン２００がタッチしているタッチ状態を含む。
As shown in FIG. 9, the handwriting input state includes a touch state in which the
コントローラ１８０は、タッチ状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。これにより、手書き入力の最中に発された音声により手書きの軌跡の表示態様を変更できる。
The
例えば、タッチ状態において「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその色を赤に変更する。
For example, when the
また、タッチ状態において「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を一番太い線に変更する。
When the
或いは、タッチ状態において、「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階太い線に変更する。その後、ペンアップ前に再度「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅をもう１段階太い線に変更する。このように、音声コマンドの入力を繰り返し受け付けると、コントローラ１８０は、手書きの軌跡を段階的に変更する。
Alternatively, when the
その後、ペンアップ前に再度「もっと細く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階細い線に変更する。
After that, when the
これにより、手書き入力中に手書きの軌跡の線幅を段階的に変更できる。ここで、段階的な変更の際に、線幅を急激に変更するのではなく、線幅を徐々に変更してもよい。 Accordingly, the line width of the handwritten trajectory can be changed in stages during handwriting input. Here, in the stepwise change, the line width may be gradually changed instead of being rapidly changed.
或いは、タッチ状態において、線色が青であるときに、「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、青が強めの紫色）。
Alternatively, in the touched state, when the line color is blue and the
その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色をもう１段階赤に近づける（例えば、普通の紫色）。
After that, when the
その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、赤が強めの紫色）。
After that, when the
これにより、手書き入力中に手書きの軌跡の線色を段階的に変更できる。ここで、段階的な変更の際に、線色を急激に変更するのではなく、線色を徐々に変更し、青から赤へのグラデーションで描画してもよい。 Thus, the line color of the handwritten locus can be changed step by step during handwriting input. Here, in the stepwise change, the line color may be gradually changed and drawn with a gradation from blue to red instead of abruptly changing the line color.
或いは、文字入力中に、タッチ状態において「ここ大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、その前後の一定時間又は一定長の手書きの軌跡の色を赤に変更する又はハイライト（マーカ）を付してもよい。このような音声コマンドは、手書き入力中に前後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。
Alternatively, when the
或いは、文字入力中に、タッチ状態において「ここまで大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、ペンダウンのタイミングｔ２から音声コマンドを認識したタイミングまでの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直前の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。
Alternatively, when the
或いは、文字入力中に、タッチ状態において「ここから大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、音声コマンドを認識したタイミングからペンアップのタイミングｔ３までの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。
Alternatively, when the
但し、「ここから大事」という音声コマンドの入力後、ペンアップ前に「ここまで大事」という音声コマンドが入力された場合、「ここから大事」という音声コマンドを認識したタイミングから「ここまで大事」という音声コマンドを認識したタイミングまでの手書きの軌跡を赤に変更する又はハイライトを付してもよい。 However, if the voice command "Here is important" is entered before pen-up after the voice command "Here is important" is input, "From here is important" from the timing when the voice command "Here is important" is recognized. The handwritten locus up to the timing of recognizing the voice command may be changed to red or highlighted.
手書き入力状態は、タッチ状態の直後の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面から電子ペン２００が離れたタイミング（すなわち、ペンアップのタイミング）ｔ３から所定時間が経過するまでの間の非タッチ状態を含んでもよい。これにより、ペンアップの直後に発された音声により手書きの軌跡の表示態様を変更できる。
The handwriting input state may include a non-touch state immediately after the touch state. Specifically, the handwriting input state is non-existent until a predetermined time elapses from the timing t3 when the
例えば、ペンアップの直後に、「元に戻す」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除してもよい。
For example, immediately after pen-up, when the
或いは、ペンアップの直後に、「消しゴム」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除するモードを設定し、削除箇所を電子ペン２００が指定するためのマーク（又は消しゴムアイコン）を表示し、電子ペン２００により指定された箇所を削除してもよい。
Alternatively, immediately after pen-up, when the
或いは、ペンアップの直後に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の色を赤に変更する。
Alternatively, immediately after pen-up, when the
また、ペンアップの直後に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の線幅を一番太い線に変更する。
Further, immediately after pen-up, when the
手書き入力状態は、タッチ状態の直前の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、表示面に電子ペン２００がタッチするタイミング（すなわち、ペンダウンのタイミング）ｔ２から所定時間前までの非タッチ状態を含んでもよい。これにより、ペンアップの直前に発された音声により手書きの軌跡の表示態様を変更できる。
The handwriting input state may include a non-touch state immediately before the touch state. Specifically, the handwriting input state may include a non-touch state from a timing (that is, a pen-down timing) t2 when the
例えば、ペンダウンの直前に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の色を赤にする。
For example, when the
また、ペンアップの直前に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の線幅を一番太い線にする。
Further, when the
（動作フローの一例）
図１０は、情報表示装置１００及び電子ペン２００の動作フローの一例を示す図である。なお、情報表示装置１００と電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。
(Example of operation flow)
FIG. 10 is a diagram showing an example of an operation flow of the
図１０に示すように、ステップＳ１０１において、情報表示装置１００のコントローラ１８０は、音声認識処理を開始する。音声認識処理を開始することにより、手書き入力状態において所定の音声コマンドを認識可能になる。
As shown in FIG. 10, in step S101, the
情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されたことに応じて音声認識処理を開始してもよい。これにより、適切なタイミングで音声認識処理を開始できる。
The
或いは、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。ユーザは、音声コマンドに対応する音声を発する前に電子ペン２００の操作部２１０を押下する。これにより、より適切なタイミングで音声認識処理を開始できる。
Alternatively, the
情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。或いは、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つタッチパネル１１１がタッチ入力（ペンダウン）を検出したことに応じて、音声認識処理を開始してもよい。これにより、ユーザが電子ペン２００の操作部２１０を押下しなくても、適切なタイミングで音声認識処理を開始できる。
The
ステップＳ１０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。
In step S102, voice is input to the
ステップＳ１０３において、電子ペン２００のコントローラ２７０は、電子ペン２００のマイク２２０から入力された音声データを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００に送信する。情報表示装置１００の音声入力部１２１は、電子ペン２００から音声データを取得することにより音声入力を受け付け、この音声データを情報表示装置１００のコントローラ１８０に出力する。
In step S103, the
ステップＳ１０４において、情報表示装置１００のコントローラ１８０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。
In step S104, the
音声コマンドが含まれている場合、ステップＳ１０５において、情報表示装置１００のコントローラ１８０は、当該音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。
When the voice command is included, in step S105, the
なお、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが終了されたことに応じて、音声認識処理を終了する。
Note that the
或いは、情報表示装置１００のコントローラ１８０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、コントローラ１８０は、操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。
Alternatively, the
或いは、情報表示装置１００のコントローラ１８０は、タッチ状態において音声認識を有効としてもよい。この場合、情報表示装置１００のコントローラ１８０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。或いは、情報表示装置１００のコントローラ１８０は、タッチパネル１１１がペンアップを検出したことに応じて、音声認識処理を終了してもよい。
Alternatively, the
図１１は、情報表示装置１００及び電子ペン２００の動作フローの他の例を示す図である。なお、情報表示装置１００と電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。ここでは、図１０に示す動作との相違点について主として説明する。
FIG. 11 is a diagram showing another example of the operation flow of the
図１１に示すように、ステップＳ２０１において、電子ペン２００のコントローラ２７０は、音声認識処理を開始する。
As shown in FIG. 11, in step S201, the
電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されたことを情報表示装置１００から通知された際に、音声認識処理を開始してもよい。或いは、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。
The
ステップＳ２０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。
In step S202, voice is input to the
ステップＳ２０３において、電子ペン２００のコントローラ２７０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。
In step S203, the
音声コマンドが含まれている場合、ステップＳ２０４において、電子ペン２００のコントローラ２７０は、当該音声コマンドに対応するデータを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００に送信する。情報表示装置１００の音声入力部１２１は、電子ペン２００から音声コマンドに対応するデータを取得することにより音声入力を受け付け、音声コマンドに対応するデータを情報表示装置１００のコントローラ１８０に出力する。
When the voice command is included, in step S204, the
ステップＳ２０５において、情報表示装置１００のコントローラ１８０は、音声入力部１２１から入力された音声コマンドに対応するデータに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。
In step S205, the
なお、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが終了されたことを情報表示装置１００から通知された際に、音声認識処理を終了してもよい。
The
或いは、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。
Alternatively, the
或いは、電子ペン２００のコントローラ２７０は、タッチ状態において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。
Alternatively, the
（その他の実施形態）
上記の実施形態において、電子ペン２００が情報表示装置１００に収納可能である場合について特に触れなかったが、情報表示装置１００に電子ペン２００の収納部が設けられ、電子ペン２００が情報表示装置１００に収納可能であってもよい。
(Other embodiments)
In the above embodiment, the case where the
情報表示装置１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。
A program that causes a computer to execute each process performed by the
以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 Although one embodiment has been described in detail above with reference to the drawings, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the invention. ..
１００ ：情報表示装置
１０１ ：筐体
１１０ ：タッチスクリーンディスプレイ
１１１ ：タッチパネル
１１２ ：表示部
１２０ ：マイク
１２１ ：音声入力部
１３０ ：スピーカ
１３１ ：音声出力部
１４０ ：カメラ
１５０ ：センサ
１６０ ：記憶部
１７０ ：通信インターフェイス
１８０ ：コントローラ
２００ ：電子ペン
２０１ ：筐体
２０２ ：クリップ部
２０３ ：芯体
２１０ ：操作部
２２０ ：マイク
２３０ ：スピーカ
２４０ ：センサ
２５０ ：記憶部
２６０ ：通信インターフェイス
２７０ ：コントローラ
100: information display device 101: housing 110: touch screen display 111: touch panel 112: display unit 120: microphone 121: voice input unit 130: speaker 131: voice output unit 140: camera 150: sensor 160: storage unit 170: communication Interface 180: Controller 200: Electronic pen 201: Case 202: Clip part 203: Core 210: Operation part 220: Microphone 230: Speaker 240: Sensor 250: Storage part 260: Communication interface 270: Controller
Claims (15)
前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示部と、
音声コマンドを含む音声入力を受け付ける音声入力部と、
手書き入力状態において前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部が表示する文字又は図形の表示態様を変更するコントローラと、を備え、
前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
情報表示装置。 A touch panel that accepts handwriting input with an indicator,
A display unit for displaying handwritten characters or figures accepted by the touch panel;
A voice input unit that receives voice input including voice commands,
In a handwriting input state, a controller that changes a display mode of a character or a graphic displayed by the display unit according to a voice command received by the voice input unit,
The display mode is at least one of character color, character size, character thickness, character font, character decoration, graphic color, graphic size, graphic line width, and graphic shape. Information display device including one.
前記音声入力部は、前記マイクに入力される音声に応じた音声コマンドを含む音声データを前記電子ペンから取得することにより、前記音声入力を受け付ける
請求項１に記載の情報表示装置。 The indicator is an electronic pen having a microphone and capable of communicating with the information display device,
The information display device according to claim 1, wherein the voice input unit receives the voice input by acquiring voice data including a voice command corresponding to a voice input to the microphone from the electronic pen.
前記タッチパネルは、前記表示面に対する前記指示体のタッチを検知し、
前記手書き入力状態は、前記表示面に前記指示体がタッチしているタッチ状態を含む
請求項１又は２に記載の情報表示装置。 The display unit has a display surface for displaying information,
The touch panel detects a touch of the indicator on the display surface,
The information display device according to claim 1, wherein the handwriting input state includes a touch state in which the indicator touches the display surface.
請求項３に記載の情報表示装置。 The information display device according to claim 3, wherein the handwriting input state further includes a non-touch state from a timing when the pointer is separated from the display surface until a predetermined time elapses.
請求項３又は４に記載の情報表示装置。 The information display device according to claim 3, wherein the handwriting input state further includes a non-touch state from a timing when the indicator touches the display surface to a predetermined time before.
前記音声入力部が受け付けた前記音声入力に含まれる音声コマンドを認識し、
所定の音声コマンドを認識したことに応じて、前記表示部における前記手書きの文字又は図形の表示態様を変更する
請求項１乃至５のいずれか１項に記載の情報表示装置。 The controller, in the handwriting input state,
Recognizing a voice command included in the voice input accepted by the voice input unit,
The information display device according to claim 1, wherein a display mode of the handwritten character or figure on the display unit is changed in response to recognition of a predetermined voice command.
請求項６に記載の情報表示装置。 The information display device according to claim 6, wherein the controller starts voice recognition processing for recognizing a voice command included in the voice input accepted by the voice input unit, in response to activation of a handwriting input application. .
請求項７に記載の情報表示装置。 The information display device according to claim 7, wherein the controller ends the voice recognition process in response to the end of the handwriting input application.
前記コントローラは、前記手書き入力アプリケーションが起動されており、且つ前記操作部に対して第１の操作がなされたことに応じて、前記音声認識処理を開始する
請求項７又は８に記載の情報表示装置。 The indicator is an electronic pen having an operation unit and capable of communicating with the information display device,
The information display according to claim 7 or 8, wherein the controller starts the voice recognition process in response to the handwriting input application being activated and the first operation being performed on the operation unit. apparatus.
請求項９に記載の情報表示装置。 The information display device according to claim 9, wherein the controller ends the voice recognition process in response to a second operation performed on the operation unit.
前記コントローラは、前記手書き入力アプリケーションが起動されており、且つ前記筆圧センサが圧力を検出したことに応じて、前記音声認識処理を開始する
請求項７又は８に記載の情報表示装置。 The indicator is an electronic pen having a writing pressure sensor and capable of communicating with the information display device,
The information display device according to claim 7, wherein the controller starts the voice recognition process in response to the handwriting input application being activated and the writing pressure sensor detecting pressure.
請求項１１に記載の情報表示装置。 The information display device according to claim 11, wherein the controller ends the voice recognition process when the writing pressure sensor stops detecting pressure.
電子ペン。 An electronic pen that functions as the indicator according to claim 1.
手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、
前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、
前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップと、を備え、
前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
表示制御方法。 A display control method used for an information display device having a touch panel that accepts handwriting input by an indicator,
A voice input step of receiving voice input including a voice command in the handwriting input state;
A display step of displaying handwritten characters or graphics accepted by the touch panel;
A change step of changing the display mode of the handwritten character or graphic in the display step according to the voice command received in the voice input step,
The display mode is at least one of character color, character size, character thickness, character font, character decoration, graphic color, graphic size, graphic line width, and graphic shape. Display control method including two.
手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、
前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、
前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップと、を実行させ、
前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
表示制御プログラム。 In an information display device having a touch panel that accepts handwriting input by an indicator,
A voice input step of receiving voice input including a voice command in the handwriting input state;
A display step of displaying handwritten characters or graphics accepted by the touch panel;
A changing step of changing the display mode of the handwritten character or figure in the displaying step, in response to the voice command received in the voice input step,
The display mode is at least one of character color, character size, character thickness, character font, character decoration, graphic color, graphic size, graphic line width, and graphic shape. Display control program including one.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018203311A JP7257126B2 (en) | 2018-10-29 | 2018-10-29 | Information display device, electronic pen, display control method, and display control program |
| PCT/JP2019/038499 WO2020090317A1 (en) | 2018-10-29 | 2019-09-30 | Information display device, electronic instrument, electronic pen, system, method, and program |
| US17/288,297 US20210382684A1 (en) | 2018-10-29 | 2019-09-30 | Information display apparatus, electronic device, electronic pen, system, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018203311A JP7257126B2 (en) | 2018-10-29 | 2018-10-29 | Information display device, electronic pen, display control method, and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020071544A true JP2020071544A (en) | 2020-05-07 |
| JP7257126B2 JP7257126B2 (en) | 2023-04-13 |
Family
ID=70547852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018203311A Active JP7257126B2 (en) | 2018-10-29 | 2018-10-29 | Information display device, electronic pen, display control method, and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7257126B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113094801A (en) * | 2021-04-30 | 2021-07-09 | 土巴兔集团股份有限公司 | Decoration simulation image generation method, device, equipment and medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06214701A (en) * | 1993-01-12 | 1994-08-05 | Sony Corp | Information processor |
| JPH0713687A (en) * | 1993-06-25 | 1995-01-17 | Casio Comput Co Ltd | Handwriting input device |
| JPH11184633A (en) * | 1997-12-18 | 1999-07-09 | Ricoh Co Ltd | Pen input device |
| US20060287864A1 (en) * | 2005-06-16 | 2006-12-21 | Juha Pusa | Electronic device, computer program product and voice control method |
| JP2007048177A (en) * | 2005-08-12 | 2007-02-22 | Canon Inc | Information processing method and information processing device |
| JP2010086542A (en) * | 2008-10-02 | 2010-04-15 | Wacom Co Ltd | Input system and input method |
| JP2014010836A (en) * | 2012-06-29 | 2014-01-20 | Samsung Electronics Co Ltd | Multiple input processing method and device |
-
2018
- 2018-10-29 JP JP2018203311A patent/JP7257126B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06214701A (en) * | 1993-01-12 | 1994-08-05 | Sony Corp | Information processor |
| JPH0713687A (en) * | 1993-06-25 | 1995-01-17 | Casio Comput Co Ltd | Handwriting input device |
| JPH11184633A (en) * | 1997-12-18 | 1999-07-09 | Ricoh Co Ltd | Pen input device |
| US20060287864A1 (en) * | 2005-06-16 | 2006-12-21 | Juha Pusa | Electronic device, computer program product and voice control method |
| JP2007048177A (en) * | 2005-08-12 | 2007-02-22 | Canon Inc | Information processing method and information processing device |
| JP2010086542A (en) * | 2008-10-02 | 2010-04-15 | Wacom Co Ltd | Input system and input method |
| JP2014010836A (en) * | 2012-06-29 | 2014-01-20 | Samsung Electronics Co Ltd | Multiple input processing method and device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113094801A (en) * | 2021-04-30 | 2021-07-09 | 土巴兔集团股份有限公司 | Decoration simulation image generation method, device, equipment and medium |
| CN113094801B (en) * | 2021-04-30 | 2022-07-12 | 土巴兔集团股份有限公司 | Decoration simulation image generation method, device, equipment and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7257126B2 (en) | 2023-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020090317A1 (en) | Information display device, electronic instrument, electronic pen, system, method, and program | |
| US11907446B2 (en) | Devices and methods for creating calendar events based on hand-drawn inputs at an electronic device with a touch-sensitive display | |
| JP5204305B2 (en) | User interface apparatus and method using pattern recognition in portable terminal | |
| KR102003255B1 (en) | Method and apparatus for processing multiple inputs | |
| US10222968B2 (en) | Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method | |
| KR102594951B1 (en) | Electronic apparatus and operating method thereof | |
| KR20100127525A (en) | Apparatus and method for unlocking a locking mode of portable terminal | |
| TWI510994B (en) | Electronic apparatus and method for controlling the same | |
| KR102102663B1 (en) | Method and apparatus for using a portable terminal | |
| KR20100020389A (en) | Input method using size of touching spot and device thereof | |
| CN109656435B (en) | Display control device and recording medium | |
| JP2014081800A (en) | Handwriting input device and function control program | |
| US10755461B2 (en) | Display device, display method, and recording medium | |
| JP7257126B2 (en) | Information display device, electronic pen, display control method, and display control program | |
| JP7240134B2 (en) | Information display device, electronic pen, display control method, and display control program | |
| CN108319423A (en) | A kind of one-handed performance method and device showing map on the touchscreen | |
| JP7228365B2 (en) | Information display device, electronic pen, display control method, and display control program | |
| KR102266191B1 (en) | Mobile terminal and method for controlling screen | |
| JP2020071548A (en) | Pen input system, information display device, electronic pen, control method and program | |
| JP5864050B2 (en) | INPUT DEVICE, CONTROL METHOD FOR INPUT DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM | |
| JPWO2017072913A1 (en) | Control method, electronic blackboard system, display device, and program | |
| CN110914795A (en) | Writing board, writing board assembly and writing method of writing board | |
| KR100722346B1 (en) | Image display method, computer-readable storage medium, and information device | |
| JP2013254340A (en) | Information processing device, electronic apparatus, control program, and display device controlling method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230403 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7257126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |