JP2021168020A - Voice input device - Google Patents
Voice input device Download PDFInfo
- Publication number
- JP2021168020A JP2021168020A JP2020070652A JP2020070652A JP2021168020A JP 2021168020 A JP2021168020 A JP 2021168020A JP 2020070652 A JP2020070652 A JP 2020070652A JP 2020070652 A JP2020070652 A JP 2020070652A JP 2021168020 A JP2021168020 A JP 2021168020A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- voice input
- input
- voice
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は音声入力装置に関し、特にコンピュータ、スマートフォン及び腕時計サイズの携帯端末等の様々なデバイスによって実施可能な音声入力装置に関する。 The present invention relates to a voice input device, and more particularly to a voice input device that can be implemented by various devices such as a computer, a smartphone, and a wristwatch-sized mobile terminal.
コンピュータ、スマートフォン及び腕時計サイズの携帯端末等の情報機器デバイスでは、文字情報を入力する為の手法として、音声入力が採用されている。
かかる音声入力では、人間の声などをコンピュータに認識させて、これを文字列に変換する音声認識機能が利用されている。
特に近年では、この音声認識機能の精度が向上し、誤認識の確率も大幅に低減している。
In information device devices such as computers, smartphones and wristwatch-sized mobile terminals, voice input is adopted as a method for inputting character information.
In such voice input, a voice recognition function is used in which a computer recognizes a human voice or the like and converts it into a character string.
Especially in recent years, the accuracy of this voice recognition function has been improved, and the probability of erroneous recognition has been significantly reduced.
しかしながら、音声で入力された言語をそのまま文書化しようとすると、文節の区切りに例えば句読点を挿入しなければならない。
そこで音声認識された結果をひとまずディスプレイ等に表示し、これを見ながらキーボードの操作により文節の区切りに適当に句読点を挿入し文書を作成することも考えられるが、これでは文書化するまでに多大な手間と時間がかかり実用化する上で好ましくない。
そこで従前においては、当該句点や読点などの入力について、以下の技術が提案されている。
However, if you want to document the spoken language as it is, you have to insert, for example, punctuation marks at the phrase breaks.
Therefore, it is conceivable to display the result of voice recognition on a display etc. for the time being, and while watching this, insert punctuation marks appropriately at the punctuation marks by operating the keyboard to create a document, but this is a lot before documenting. It takes a lot of time and effort and is not preferable for practical use.
Therefore, in the past, the following techniques have been proposed for inputting the punctuation marks and commas.
例えば特許文献1(特公平6−93221号公報)では、音声によって文章を入力する場合に、読点に対して「テン」、句点に対して「マル」と発声して入力する方法は、言葉の自然な流れを阻害し、口述によって文章を創造する場合には思考の流れをも阻害しかねないことから、発声の間、声調、前後の構文・意味などの情報を利用して、自動的に句読点を入力する方式を提案している。
具体的には、この文献で提案している音声入力装置は、入力音声を認識する手段と、認識された音声が表す文字列を複数の形態素に分割する手段と、該複数の形態素の属性を利用して、文章の末尾に位置する形態素(文末形態素)を検出する手段と、検出された文末形態素の後に句点を挿入する手段とを備えて構成されている。
For example, in Patent Document 1 (Japanese Patent Publication No. 6-93221), when inputting a sentence by voice, the method of inputting by uttering "ten" for a comma and "maru" for a punctuation mark is a method of inputting a word. It obstructs the natural flow, and when creating sentences by dictation, it may also obstruct the flow of thought, so it automatically uses information such as utterance, tone, syntax and meaning before and after utterance. We are proposing a method for entering punctuation marks.
Specifically, the voice input device proposed in this document includes a means for recognizing an input voice, a means for dividing a character string represented by the recognized voice into a plurality of morphemes, and attributes of the plurality of morphemes. It is configured to include a means for detecting a morpheme located at the end of a sentence (a morpheme at the end of a sentence) and a means for inserting a kuten after the detected morpheme at the end of the sentence.
また特許文献2(特開2000−47688号公報)では、自然な流れの口述によっても自動的に句読点を挿入することができる音声入力方法、および音声入力方法の実施プログラムを記録した記録媒体として、入力された音声に基づいて認識された文字列から句読点付加候補の文字列を識別するとともに、句読点付加予定位置に対応する音声入力のあとに所定時間を超える音声入力の空白時間があるか否かを識別し、句読点の一つを自動的に付加する音声入力方法を提案している。 Further, in Patent Document 2 (Japanese Unexamined Patent Publication No. 2000-47688), a voice input method capable of automatically inserting punctuation marks by dictation of a natural flow and a recording medium for recording an implementation program of the voice input method are used. Whether or not there is a blank time for voice input exceeding a predetermined time after the voice input corresponding to the planned punctuation mark addition position while identifying the character string of the punctuation mark addition candidate from the character string recognized based on the input voice. We are proposing a voice input method that identifies and automatically adds one of the punctuation marks.
更に特許文献3(特開2013−16138号公報)では、表示部と入力部とを大きくして情報入力の操作性を良くして情報入力を容易にした携帯電話機の表示入力方法として、携帯電話機が、表示部と、この表示部の表示面上に配置されて操作者による接触があるとその接触位置を出力するタッチパネルとを含む表示一体型タッチパネル装置が設けられている筺体とを有し、かな入力モードの際、前記表示一体型タッチパネル装置に、前記操作者の指の大きさに適応した大きさで「あ、い、う、え、お、か、き、く、け、こ、さ、し、す、せ、そ、た、ち、つ、て、と、な、に、ぬ、ね、の、は、ひ、ふ、へ、ほ、ま、み、む、め、も、や、ゆ、よ、ら、り、る、れ、ろ、わ、を、ん」の各ひらがな文字キーと、濁点キーと、半濁点キーと、読点キーと、句点キーとが全て表示され、当該キーを用いて文字が入力される携帯電話機の表示入力方法が提案されている。 Further, in Patent Document 3 (Japanese Unexamined Patent Publication No. 2013-16138), as a display input method for a mobile phone, the display unit and the input unit are enlarged to improve the operability of information input and facilitate the information input. However, it has a display unit and a housing provided with a display-integrated touch panel device including a touch panel arranged on the display surface of the display unit and outputting the contact position when there is contact by an operator. In the kana input mode, the display-integrated touch panel device is equipped with a size suitable for the size of the operator's finger. ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, , Yu, yo, ra, ri, ru, re, ro, wa, o, n ", each hiragana character key, turbid point key, semi-turbid point key, reading point key, and punctuation key are all displayed. A display input method for a mobile phone in which characters are input using a key has been proposed.
上記の通り、従前においても音声入力時における句点や読点の入力について種々検討されている。
しかしながら、前記特許文献1で提案されている音声入力装置は、認識された音声が表す文字列を複数の形態素に分割し、その属性を利用して、文章の末尾に位置する形態素(文末形態素)を検出し、その後に句点を挿入することから、句点の挿入処理に時間を要し、迅速な音声入力が困難であった。
As mentioned above, various studies have been made on the input of punctuation marks and commas at the time of voice input.
However, the voice input device proposed in
また前記特許文献2で提案されている音声入力方法は、句読点付加予定位置に対応する音声入力のあとに所定時間を超える音声入力の空白時間があるか否かを識別して、句読点の一つを自動的に付加するものとなっていたことから、所定時間の空白時間が必要であり、やはり迅速な音声入力が困難であった。 Further, the voice input method proposed in Patent Document 2 identifies whether or not there is a blank time of voice input exceeding a predetermined time after the voice input corresponding to the position where the punctuation mark is to be added, and is one of the punctuation marks. Was automatically added, so a blank time of a predetermined time was required, and it was also difficult to input voice quickly.
更に前記特許文献3で提案している携帯電話機の表示入力方法では、かな入力モードの際に、表示一体型タッチパネル装置に、前記操作者の指の大きさに適応した大きさで各ひらがな文字キーと、濁点キーと、半濁点キーと、読点キーと、句点キーとが全て表示され、当該キーを用いて文字を入力することが開示されているが、音声入力を行うものではない。 Further, in the display input method of the mobile phone proposed in Patent Document 3, in the kana input mode, each hiragana character key has a size suitable for the size of the operator's finger on the display-integrated touch panel device. , The voiced sound mark key, the semi-voiced sound mark key, the reading point key, and the punctuation mark key are all displayed, and it is disclosed that characters are input using the keys, but voice input is not performed.
そこで本発明は音声入力に際して、特に各種デバイスで実施可能であって、音声入力の速度及び正確性を向上させた音声入力機能を有する装置を提供することを課題とする。 Therefore, it is an object of the present invention to provide a device which can be implemented in various devices in particular for voice input and has a voice input function in which the speed and accuracy of voice input are improved.
本発明は、公知技術である「音声入力のテキスト化」に関し、長文・一文節のみなどの必要状況に応じて「音声入力のオン・オフ」を断続できること、誤認識された物や同音異義語に誤変換などが生じた際に訂正・再変換が可能であり、主文だけを音声入力しながら、モニター画面を触れることで句読点・カッコ付け・改行などを、画面を区分わけした領域の画面タッチで音声入力と併用で時間のロスなく入力することができ、更にテキストの一部削除・移動も可能とすることを実現するものであり、これを以ってキーボードの有無に関わらず、音声入力において、正確かつ入力速度の最速化を実現することを目的とする。 The present invention relates to a known technique of "texting voice input", that "on / off of voice input" can be intermittently performed according to a necessary situation such as a long sentence or only one phrase, a misrecognized object or a synonym for the same sound. It is possible to correct and reconvert when an erroneous conversion occurs, and by touching the monitor screen while inputting only the main text, punctuation, parentheses, line breaks, etc. can be touched on the screen in the area where the screen is divided. It is possible to input without loss of time by using it together with voice input, and it is also possible to delete or move a part of the text, which enables voice input regardless of the presence or absence of a keyboard. In, the purpose is to realize accurate and maximum input speed.
本発明では前記課題を解決する為に、音声を認識してこれを文字情報に変換する音声入力装置であって、入力した音声を認識する音声認識部と、当該音声認識部で認識した音声を文字列に変換する文字変換部と、当該文字変換部で変換した文字列を表示する文字列表示部と、当該文字列表示部に、句点、読点、括弧及び関数の少なくとも何れからなる図形文字、及び/又は制御文字を表示させる補助入力表示部と、当該補助入力表示部に表示された図形文字及び/又は制御文字の選択により、前記文字変換部で変換した文字列に挿入する記号挿入部とからなる音声入力装置を提供する。 In the present invention, in order to solve the above problems, a voice input device that recognizes a voice and converts it into character information, a voice recognition unit that recognizes the input voice, and a voice recognized by the voice recognition unit. A character conversion unit that converts to a character string, a character string display unit that displays the character string converted by the character conversion unit, and a graphic character consisting of at least any of punctuation marks, reading points, parentheses, and functions on the character string display unit. An auxiliary input display unit that displays and / or control characters, and a symbol insertion unit that is inserted into a character string converted by the character conversion unit by selecting a graphic character and / or control character displayed on the auxiliary input display unit. Provide a voice input device consisting of.
かかる本発明の音声入力装置は、更に前記文字列表示部に表示された文字列の範囲を指定する範囲指定部と、当該範囲指定部で指定した範囲の文字列を再変換する再変換部を備えて構成することもできる。 The voice input device of the present invention further includes a range designation unit that specifies the range of the character string displayed on the character string display unit, and a reconversion unit that reconverts the character string in the range specified by the range designation unit. It can also be configured in preparation.
上記本発明に係る音声入力装置は、一般的にキーボードやマウスなどの入力機器が用いられるパーソナルコンピュータ(以下「コンピュータ」とする)や、キーボードやマウスなどの入力機器を伴わない、タブレット型コンピュータ、スマートフォン又は携帯翻訳機などの携帯型機器(以下「携帯端末」とする)、或いは携帯性を最優先して一層小型化した腕時計サイズの携帯端末(以下「スマートウォッチ」とする)、において具体化することができる。
但しこれらの機器は、入力装置などの付随機器や画面のサイズにより操作法が一部異なる状況が生じる。
The voice input device according to the present invention is a personal computer (hereinafter referred to as "computer") in which an input device such as a keyboard or mouse is generally used, or a tablet computer that does not include an input device such as a keyboard or mouse. Embodied in portable devices such as smartphones or portable translators (hereinafter referred to as "portable terminals"), or watch-sized portable terminals (hereinafter referred to as "smart watches") that have been made even smaller with the highest priority given to portability. can do.
However, some of these devices may have different operation methods depending on the accompanying devices such as input devices and the size of the screen.
尚、タブレット端末やスマートフォンなど、サイズや価格帯によってキーボードやマウスの性質・機能が付与される物とされない物があるため、本明細書内での説明においては、キーボード・マウス機能の有無で、どちらの操作法により近い実施形態になるかを判断している。
また本発明の音声入力装置において、前記補助入力表示部は、文章の最初に入力される文字及び記号を含む認識前画面と、文章の最初に入力される文字及び記号を除いた認識中画面とを選択表示可能であり、音声の認識と同時に、認識前画面を認識中画面に変化させる画面変更手段を備えることができる。また更に入力した文字列を編集または修正する編集修正部を備えており、当該編集修正部は、入力された文字の指定範囲に対して、音声入力によって他の文字を挿入することができる。そして更に、範囲指定した文字列を音声出力する音声出力部と、表示装置に表示されている任意の領域を拡大表示する拡大表示部とを備えることができる。
In addition, since some tablets and smartphones are not given the properties and functions of the keyboard and mouse depending on the size and price range, in the description in this specification, the presence or absence of the keyboard and mouse functions is used. It is determined which operation method is closer to the embodiment.
Further, in the voice input device of the present invention, the auxiliary input display unit includes a pre-recognition screen including characters and symbols input at the beginning of a sentence and a recognizing screen excluding the characters and symbols input at the beginning of a sentence. Can be selected and displayed, and at the same time as voice recognition, a screen changing means for changing the pre-recognition screen to the recognizing screen can be provided. Further, it is provided with an editing / correcting unit for editing or correcting the input character string, and the editing / correcting unit can insert another character by voice input into a specified range of the input character. Further, it can be provided with an audio output unit that outputs a character string having a specified range as audio, and an enlarged display unit that enlarges and displays an arbitrary area displayed on the display device.
本発明の音声入力装置によれば、音声入力に際して、特に各種デバイスで実施可能であって、音声入力の速度及び正確性を向上させた音声入力機能を有する装置とすることができる。 According to the voice input device of the present invention, it is possible to perform voice input with various devices in particular, and to have a voice input function with improved speed and accuracy of voice input.
以下、本発明に係る音声入力装置を具体的に説明する。
本明細書における括弧〔 〕内の数字は、本明細書における段落番号を示している。
特に本実施形態では、コンピュータ、携帯端末、スマートウォッチにおいて具体化した音声入力装置について説明する。
但しこれらの機器は、入力装置などの付随機器や画面のサイズにより操作法が一部異なる状況が生じる。
そこで以下では、同一機能については併用して説明し、それぞれの機器で異なる部分は「コンピュータについては」「携帯端末については」「スマートウォッチについては」と但し書きで分けて説明する。
Hereinafter, the voice input device according to the present invention will be specifically described.
The numbers in parentheses [] in the present specification indicate paragraph numbers in the present specification.
In particular, in the present embodiment, a voice input device embodied in a computer, a mobile terminal, and a smart watch will be described.
However, some of these devices may have different operation methods depending on the accompanying devices such as input devices and the size of the screen.
Therefore, in the following, the same functions will be explained together, and the different parts of each device will be explained separately with the proviso that "for computers", "for mobile terminals", and "for smart watches".
本明細書において、「コンピュータ」とは、外部入力機器としてのキーボードやマウスを用いる装置であって、マウス機能の付随するタブレット端末を含む。
コンピュータにおいては主に主文入力時間の最短化を主目的とするため、例えば、右手でマウスを操作して位置指定、左手でタッチパネルとして構成された画面をタッチすることで句読点入力や書体を整え、主文は音声入力する3つの処理を同時進行する装置とすることができ、更に音声入力のオン・オフを断続的に行える機能を備えることも音声入力処理の最速化の観点で望ましい。
In the present specification, the "computer" is a device that uses a keyboard or a mouse as an external input device, and includes a tablet terminal with a mouse function.
In computers, the main purpose is to minimize the main text input time. The main text can be a device that simultaneously performs three processes for inputting voice, and it is also desirable to have a function of intermittently turning on / off the voice input from the viewpoint of maximizing the speed of the voice input processing.
また「携帯端末」は、スマートフォンサイズの機器であって、本実施の形態では携帯翻訳機を例に説明する。
当該携帯端末は、キーボードなどの外部入力機器が無くても正確に入力できることを主目的とし、これによりインターネットなどの検索で高精度な検索が出来る。
また翻訳機では正確な母国語を翻訳用AI(即ち「人工知能」以下同じ)に送信できるため、結果的に得られる翻訳精度が向上する。
Further, the "mobile terminal" is a smartphone-sized device, and in the present embodiment, a mobile translator will be described as an example.
The main purpose of the mobile terminal is to be able to input accurately without an external input device such as a keyboard, which enables highly accurate search on the Internet or the like.
In addition, since the translator can transmit the correct native language to the translation AI (that is, the same applies to "artificial intelligence" and the like), the resulting translation accuracy is improved.
そして「スマートウォッチ」は、携帯性と簡易入力を主目的とした機器であり、優れた携帯性からレスポンスを重視する機器が該当する。
携帯端末同様にキーボード等の外部入力機器が無くても正確に入力できることを主目的とし、簡易なSNS(即ち、「Social Networking Service」以下同じ)の発信機として、又、インターネット内の正確に検索した情報を小画面の文字表示に依存せず、音声で操作者に伝える機能を本実施形態では更に付与する。
A "smart watch" is a device whose main purpose is portability and simple input, and corresponds to a device that emphasizes response due to its excellent portability.
Similar to mobile terminals, the main purpose is to be able to input accurately without an external input device such as a keyboard, as a simple SNS transmitter (that is, the same applies to "Social Networking Service" and below), and to search accurately on the Internet. In the present embodiment, the function of transmitting the input information to the operator by voice without depending on the character display on the small screen is further provided.
先ず、本実施の形態において、音声入力それ自体は「音声入力の認識ボタン」(以下、「音声入力ボタン」とする)を押すことでコンピュータ、携帯端末、スマートウォッチにおける音声入力機能は起動し、音声受付状態となる。
そして入力者は話しかけることにより音声入力が開始される。
First, in the present embodiment, the voice input itself activates the voice input function in the computer, mobile terminal, and smart watch by pressing the "voice input recognition button" (hereinafter referred to as "voice input button"). It will be in the voice reception state.
Then, the input person starts voice input by speaking.
かかる開始処理において、コンピュータについては本体やキーボードにボタンを押している間だけ、音声入力がテキスト化されるように設定することが廉価な実用法である。
但し、操作時間を短縮するという目的を達成する場合には、コンピュータのマウス等の入力装置に、押している間のみ音声認識が起動するボタンと、受音マイクの双方を設けることが望ましい。
これは、持ち替えのタイムロスを減らすことと、周囲環境(雑音や他者へのエチケットなど)を配慮することにより、使用者が自分の口にマウスを近づけて話せるという優位性もある。
In such a start process, it is an inexpensive practical method to set the computer so that the voice input is converted into text only while the button is pressed on the main body or the keyboard.
However, in order to achieve the purpose of shortening the operation time, it is desirable that the input device such as a mouse of the computer is provided with both a button that activates voice recognition only while the mouse is pressed and a sound receiving microphone.
This also has the advantage that the user can speak with the mouse close to his or her mouth by reducing the time loss of changing hands and considering the surrounding environment (noise, etiquette to others, etc.).
また携帯端末及びスマートウォッチについては、キーボードやマウスなどの外部入力装置は存在せず、本体そのものしか存在しない。
よって、その操作ボタン自体も当然本体に設けられており、使用環境によっては本体自体を口元に近づけて使用することになる。
音声入力(基本的には一文節)が終了したら、音声入力ボタンを「離す」行為が、テキストの固定化(コンピュータであればエンターキー若しくは「実行」と同義)することにより、入力操作の迅速化を実現することができる。
次に各機器において、音声入力装置を実現した際の実施形態について、具体的に説明する。
For mobile terminals and smart watches, there are no external input devices such as keyboards and mice, only the main body itself.
Therefore, the operation button itself is naturally provided on the main body, and depending on the usage environment, the main body itself may be used close to the mouth.
When the voice input (basically one phrase) is completed, the act of "releasing" the voice input button is to fix the text (in the case of a computer, it is synonymous with the enter key or "execute"), so that the input operation is quick. Can be realized.
Next, in each device, an embodiment when the voice input device is realized will be specifically described.
『第1の実施の形態:コンピュータ』
第1の実施の形態は、コンピュータを用いて形成した音声入力装置である。
特にコンピュータを用いて音声入力装置を構成する際、当該音声入力処理は特定のソフトウェアを別途起動することにより開始されるものでは無く、オペレーティングシステム、デバイスドライバ或いはBIOS(Basic Input/Output System)などのコンピュータの基本プログラムの機能とし、それによって元々起動させていたソフトウェアを遮断・阻害しないように構成するのが望ましい。
特に、本実施の形態に係る音声入力装置を実現する為のプログラム(即ち、音声入力プログラム)は、オペレーティングシステム等として、ハードウエアに組み込まれることが、より最速化の目的に合致する。
"First Embodiment: Computer"
The first embodiment is a voice input device formed by using a computer.
In particular, when configuring a voice input device using a computer, the voice input process is not started by separately starting specific software, but an operating system, a device driver, a BIOS (Basic Input / Output System), or the like. It is desirable to make it a function of the basic program of the computer so that it does not block or interfere with the software that was originally started.
In particular, the program for realizing the voice input device according to the present embodiment (that is, the voice input program) is incorporated into hardware as an operating system or the like, which meets the purpose of further speeding up.
本実施の形態に係る音声入力装置は、音声入力ボタンを押すことにより、図1に示す音声入力時における認識前画面10をコンピュータのディスプレイに表示させる。
図1では、コンピュータでメール本文を入力する際に、本発明を用いて音声入力を行っている例として説明する。
なお、タッチ句読点等の配置は後述〔0046〕欄の通り、操作者がカスタマイズできるので、図内の項目についてはあくまで一例である。
当該音声入力ボタンは、コンピュータに接続されている機器(マウス等)やコンピュータ自体に設けられるか、或いは画面上にも表示することができる。
また認識前画面10は前記ディスプレイの最も前面側に表示するものとし、更に音声入力対象となるメールソフトウェア画面を透過表示させるように表示させる。
この「透過表示」により、入力目的のソフトウェアを全画面表示状態で見ながら音声入力作業も併用可能となり、入力対象物に対して表示サイズとしては何の制約も及ぼさない。
図1の状況としては、本実施の形態で、既に「本発明は音声入力装置に関し、」のテキストの音声入力を完了し、その後で次の文章を音声入力する前の認識前画面10を示している。
即ち、この認識前画面10は、次の文節については、一音声も認識する前の状態の待ち受け画面を現しているものである。
The voice input device according to the present embodiment displays the
FIG. 1 will be described as an example in which voice input is performed using the present invention when inputting an email body on a computer.
The arrangement of touch punctuation marks and the like can be customized by the operator as described in the column [0046] described later, so the items in the figure are merely examples.
The voice input button can be provided on a device (mouse or the like) connected to the computer or the computer itself, or can be displayed on the screen.
Further, the
This "transparent display" makes it possible to perform voice input work while viewing the software to be input in the full screen display state, and does not impose any restrictions on the display size of the input object.
As the situation of FIG. 1, in the present embodiment, the
That is, the
本実施の形態において、当該認識前画面10には、「数字優先」「英字優先」「カタカナ優先」「無変換」「(」「「」「@」「計算式優先」「記号及び設定画面」(この2項目は同一タッチ領域の中で交互に明滅している)「Caps Lock」「※」「音声入力Lock」「単語」「クイックカラーチェンジ」「太字」「一つ戻る」の項目を表示しており、各項目間には、点線の仕切りを設けている。
但し、当該仕切りは必須ではなく、少なくとも当該項目に対応した指定領域を特定できれば良い。
In the present embodiment, the
However, the partition is not essential, and it is sufficient if at least the designated area corresponding to the item can be specified.
また、音声入力で長文を入力する際は、結果的に文体を整えることや、誤認識を修正する可能性が高い。
よって、この認識前画面10には、音声入力ロック状態(音声入力ボタンを押したままの状態であると機器が認識した状態)を実行する為の画面タッチ領域(指定領域)としての「音声入力Lock」領域11を存在させる。
これは音声入力ボタンの「押したままの保持」をコンピュータに認識させるものであり、操作者の負担を軽減する為である。
音声入力Lockタッチ後はマウス等の音声入力ボタンから指を離しても、「押され続けているもの」としての機器側の認識が継続される。
再度音声入力タッチ部を押すと「タッチ操作認識」が優先され、その指を画面から離した瞬間に音声入力ボタンも離した物と同義に認識される。
音声入力ボタンを離す、若しくは一回音声入力Lock領域の画面タッチを行った後で、それを解除することは、キーボードでテキストを入力した後のエンターキーと同じく、入力したテキストの確定となる。
In addition, when inputting a long sentence by voice input, there is a high possibility that the writing style will be adjusted as a result and the erroneous recognition will be corrected.
Therefore, on the
This is to make the computer recognize the "hold and hold" of the voice input button, and to reduce the burden on the operator.
Voice input Lock After touching, even if the finger is released from the voice input button such as a mouse, the device side continues to recognize it as "the one that is kept pressed".
When the voice input touch part is pressed again, "touch operation recognition" is prioritized, and the moment the finger is released from the screen, the voice input button is also recognized synonymously with the released object.
Releasing the voice input button or touching the screen of the voice input Lock area once and then canceling it is the same as the enter key after inputting text with the keyboard, and the input text is confirmed.
但し、音声入力Lock解除の画面タッチは、タッチした瞬間では無く、タッチ後に指を画面から離した瞬間に、機器側はコマンドとして認識する。
音声入力Lock解除の画面領域に触れたまま、更にマウス側の音声入力ボタンを再度押したままにしてから、Lock解除しても、音声入力終了、即ちエンターキーと同義の「確定」には移行せず、マウスの音声入力ボタンを再度押した後で、Lock解除の操作をすることで、保留状態をマウス側の操作に取り戻せる選択ができるからである。
また、複数行に渡る長文を音声入力したあと、点検・校正する場合、点検作業が終了に近付いて来た時には、操作者側はテキスト確定操作に掛かるLock解除の予備動作として、事前に画面に触れておける状況を作れる為、僅かながら確定操作に移行する際の時間短縮が図れる。
However, the screen touch for releasing the voice input lock is not recognized as a command at the moment of touching, but at the moment when the finger is released from the screen after touching.
Even if the screen area of the voice input lock release is touched and the voice input button on the mouse side is pressed again and then the lock is released, the voice input ends, that is, "confirm", which is synonymous with the enter key, is entered. This is because it is possible to select that the hold state can be restored to the operation on the mouse side by performing the lock release operation after pressing the voice input button of the mouse again.
In addition, when inspecting and proofreading after inputting a long sentence over multiple lines by voice, when the inspection work is nearing the end, the operator side displays the lock on the screen in advance as a preliminary operation for unlocking the text confirmation operation. Since you can create a situation that you can touch, you can shorten the time when shifting to the confirmation operation, although it is a little.
またこの認識前画面10には、文法上文頭には付かない性質のタッチ項目は現れないように構成する。
「。」や「、」などの句読点は文頭には付かず、また括弧や鉤ぎ括弧の「閉じ」側も文頭には付かない。
その空白領域を「数字優先」「英字優先」「カタカナ優先」などに割り振る。
優先認識の定義は、指定のタッチ認識後に音声入力を感知した機器側AIが、認識した音声をテキスト化する際に、数字の羅列・英字(アルファベット)・全てカタカナの固有名詞などに変換候補を判断する際の方向性の指定を掛けるプログラムが実行されるものである。
Further, the
Punctuation marks such as "." And "," are not attached to the beginning of the sentence, and the "closed" side of parentheses and hook brackets is not attached to the beginning of the sentence.
Allocate the blank area to "number priority", "alphabet priority", "katakana priority", etc.
The definition of priority recognition is that when the device side AI that senses the voice input after the specified touch recognition converts the recognized voice into text, conversion candidates are converted into a list of numbers, alphabets, all katakana proper nouns, etc. A program that specifies the direction when making a decision is executed.
例えば、「A5の用紙の縦書きで提出すること。」との音声入力を行う場合、現状の各種音声認識機器では、文頭の「A5」は「英語」に誤認識される可能性が非常に高い。
そこで操作者は「英字優先」の指定領域12を画面タッチした後で「えー」を発音し、「A」(※aと出力された場合は変換キー)を確認してから音声入力ボタンを離してAのテキストを固定化してから、再度音声入力ボタンを押して「数字優先」の指定領域13を画面タッチ(選択)した後で「ご」を発音し「5」のテキストを得る。
その後は、そのまま音声入力を続行することができる。
但し当該優先認識は、タッチ操作後の音声入力での一文節に限定された認識である。
優先認識が適用され続けると操作者が意図しない音声入力(機器側の誤認識)になり自然な音声入力の妨げになるからである。
これらは、外部入力装置としてのキーボードが存在するコンピュータでの使用頻度は低いが、外部入力装置としてのキーボードが無い携帯端末サイズ以下の機器では必須の選択方法になる。
For example, when performing voice input such as "Submit vertically on A5 paper", there is a very high possibility that "A5" at the beginning of a sentence will be erroneously recognized as "English" in various current voice recognition devices. high.
Therefore, the operator touches the designated
After that, the voice input can be continued as it is.
However, the priority recognition is a recognition limited to one phrase in the voice input after the touch operation.
This is because if the priority recognition continues to be applied, the operator will unintended voice input (misrecognition on the device side), which hinders natural voice input.
These are rarely used in computers that have a keyboard as an external input device, but they are indispensable selection methods for devices that are smaller than the size of a mobile terminal that do not have a keyboard as an external input device.
また「計算式優先」の指定領域14を画面タッチ(選択)した後に、操作者は「さぶとーたる」と発音するだけで、エクセル(登録商標)に代表される表計算ソフトにおける計算式「=SUBTOTAL」との認識が自動選択されるような処理・機能を当該項目に設定する。
表計算ソフトの計算式入力が省力化できるからである。
In addition, after touching (selecting) the designated
This is because the calculation formula input of spreadsheet software can be labor-saving.
そして認識前画面10における「一つ戻る」の指定領域15は、これを画面タッチ(選択)することにより、句読点の選択内容を誤ったり、優先認識を誤って押してしまい、それを解除したい場合に使用する。
Then, when the designated
自身のコンピュータの壁紙色の選択によって、またはインターネット内の企業のお客様お問い合わせページに入力する時など、背景色と半透明句読点などの色が偶然似通ってしまい、半透明句読点等の視認が困難になってしまう状況も発生する。
そのように、咄嗟に変えたい状況もあり得る為、色調だけを簡易に変更可能とする為の「クイックカラーチェンジ」タッチの領域16も選択できるように構成するのが望ましい。
本実施の形態では、当該クイックチェンジとして、半透明句読点などのタッチ部の色調を「桃色」「水色」「緑色」「橙色」等に変更できるように構成する。
当該の色を直接タッチすればその色にジャンプし、「領域」をタッチすれば「桃色」→「水色」→「緑色」→「橙色」→「桃色」に戻る、このようにローテーションする。
By selecting the wallpaper color of your own computer, or when entering on the customer inquiry page of a company on the Internet, the background color and the color such as translucent punctuation accidentally become similar, making it difficult to see the translucent punctuation mark etc. There will also be situations where it becomes.
In this way, there may be situations where you want to change the color tone, so it is desirable to configure it so that you can also select the "quick color change"
In the present embodiment, as the quick change, the color tone of the touch portion such as the translucent punctuation mark can be changed to "pink", "light blue", "green", "orange" and the like.
If you touch the color directly, it will jump to that color, and if you touch "Area", it will return to "pink"->"lightblue"->"green"->"orange"->"pink".
更に「太字」のタッチ領域17は、音声入力で生成されるテキストの書体を変化させるタッチであり、例えば太字にしたい文節の音声入力を開始する前に画面をタッチして、「離さないまま音声入力を続行して、太字を終了したい箇所でタッチを離す」このような操作で書体指定を掛けるものである。
例においては認識前画面10に配置しているが、当然音声入力の中間で太字が得たい場合も有り得る為、以下の〔0046〕欄に記載する設定画面などにより後述の認識中画面のタッチ領域の一つに配置することもできる。
また同様に、太字の代わりに斜体文字・下線文字などのタッチ領域を設定画面において配置できる。
通常のキーボードでのテキスト入力の際に書体指定のアイコンをクリックするものと同様の操作で、更に書体変更を終了するコマンドも「タッチを離す」行為だけで良いため、キーボード入力での「再度同アイコンクリックで解除」よりも手間が少ない。
もしも、長い範囲に書体指定を掛ける場合は、通常通りマウスでアイコンをクリックする事前操作を掛ければ良い。
Further, the “bold”
In the example, it is arranged on the
Similarly, touch areas such as italic characters and underline characters can be arranged on the setting screen instead of bold characters.
The same operation as clicking the icon for specifying the typeface when entering text with a normal keyboard, and the command to end the typeface change only needs to be "released", so "same again" with keyboard input It takes less time than "Cancel by clicking the icon".
If you want to specify the typeface for a long range, you can perform the pre-operation by clicking the icon with the mouse as usual.
前述のとおり、この音声入力装置では、音声入力ボタンを押して話している間に機器側に認識されたテキスト(入力文字)が積み上がり、音声入力ボタンを離すと、キーボードのエンターキーと同様に入力したテキストを固定又は確定することができる。
この音声入力ボタンでの入力は、音声入力処理の開始、及び入力した文字の確定を実行する処理を繰り返し行なうことができる。
このように必要最低限の操作により、ソフトウェア内でテキスト化させたい部分だけ音声入力を断続的に機能させることができ、例えば表計算ソフトの、摘要欄・備考等のセルに対する入力の時だけ音声入力のボタンを押して音声入力し、数値データを入力する際には今まで通りテンキーを用いることで、より入力速度を高かめることができる。
再掲になるが、これを実現する為に、当該音声入力処理のプログラムは、オペレーティングシステムなどの基本ソフトウェアとしてコンピュータに実装することが望ましい。
As mentioned above, in this voice input device, texts (input characters) recognized by the device are piled up while talking by pressing the voice input button, and when the voice input button is released, input is performed in the same way as the enter key on the keyboard. The text can be fixed or fixed.
For the input by the voice input button, the process of starting the voice input process and executing the process of confirming the input character can be repeated.
By performing the minimum necessary operations in this way, it is possible to intermittently function the voice input only for the part that you want to convert into text in the software. You can increase the input speed by pressing the input button to input voice and using the ten keys as before when inputting numerical data.
Again, in order to achieve this, it is desirable to implement the voice input processing program on the computer as basic software such as an operating system.
そして一音声でも音声認識を開始すると、半透明句読点タッチ領域の説明(即ち、補助入力表示部)は、図2に示す認識中画面20に変化する。
これは、各言語の文法の都合上、句読点(日本語であれば「、」や「。」など)の画面タッチ領域が必要となるため、前記〔0027〕欄の認識前画面10内の(「数字優先」13、「英字優先」12、「カタカナ優先」)等の部分の領域を、句点「。」21、読点「、」22などに明け渡すことで、タッチ領域を可変させて同じ画面サイズ内の分割数を有効に使うものである。
つまり、本実施の形態に係る音声入力装置は、音声の認識と同時に、認識前画面10を認識中画面20に変化させる画面変更手段を備え、これにより音声認識前と音声入力中のタッチ領域を、同一画面内で効率良く利用できる。
Then, when voice recognition is started even for one voice, the explanation of the semi-transparent punctuation touch area (that is, the auxiliary input display unit) changes to the
This is because a screen touch area of punctuation marks (such as "," and "." In Japanese) is required for the convenience of the grammar of each language. By surrendering the area of "number priority" 13, "alphabet priority" 12, "katakana priority") to punctuation marks "." 21, reading point "," 22, etc., the touch area can be changed and the same screen size. It effectively uses the number of divisions in.
That is, the voice input device according to the present embodiment includes a screen changing means for changing the
図2に示す認識中画面においても、音声入力の補助として選択可能な記号や句読点などからなる項目の選択領域を、入力対象の表示領域に重ねて、背景側の入力対象の表示画面を透過させるように(半透明で)表示させた画面として構成する。
当該認識前画面の配置例としては「。」「、」「記号」「変換」「( 」「「 」「空白」「改行」「 )」「 」」「BS」「音声入力Lock」「単語」「句読点タッチ一時消去」「/(スラッシュ)」「一つ戻る」の項目を表示しているものである。
Also in the recognition screen shown in FIG. 2, the selection area of items consisting of symbols and punctuation marks that can be selected as an aid to voice input is superimposed on the display area of the input target, and the display screen of the input target on the background side is transparent. It is configured as a screen displayed as (semi-transparent).
Examples of the layout of the pre-recognition screen are "."",""Symbol""Conversion""(""""" Blank "" Line feed "") """""BS""Voice input Lock""Word" The items of "punctuation mark touch temporary deletion", "/ (slash)", and "back one" are displayed.
入力対象の画面の一部と半透明句読点のタッチ領域の色調が重なる部分で、偶然視認性が妨げられる場合がある。
音声入力の途中でその重なった部分を視認したい時に、「句読点タッチ一時消去」の画面タッチ領域に触れている間、半透明句読点は画面から消えた状態で音声入力を続行できる。
このタッチ領域の存在により、一旦音声入力ボタンを離す、つまり音声入力自体を中断して、そこまで生成されたテキストの確定をせずとも、半透明句読点を画面上から消すことが可能になる。
殆どの場合、重なっている視認したい部分を確認したら、すぐ当該タッチを離して音声入力自体は続行する使用法が主となる。
Visibility may be hindered by chance at the part where the color tone of the touch area of the translucent punctuation mark overlaps with a part of the screen to be input.
When you want to see the overlapping part in the middle of voice input, you can continue voice input with the semi-transparent punctuation marks disappearing from the screen while touching the screen touch area of "Punctuation touch temporary deletion".
The existence of this touch area makes it possible to erase the translucent punctuation marks from the screen without temporarily releasing the voice input button, that is, interrupting the voice input itself and confirming the text generated up to that point.
In most cases, the main usage is to release the touch immediately after confirming the overlapping part to be visually recognized and continue the voice input itself.
なお、音声入力ボタンを離さないまま(音声入力ボタンの選択状態。以下同じ)、フレーズとフレーズとの間にキーボードで句読点や括弧等を直接入力することも可能であるなど、画面タッチ操作だけには依存しないように構成することで、入力速度や正確性をより一層向上させることができる。
状況としては、一単語だけで、句読点も無く、頻繁に改行を要する場合(例えば、電話の相手の話の要点だけを、思い出しながら紙のメモの代わりに音声入力をする時)など、そうした文章形態や内容によっては、画面タッチや音声入力ボタンを都度入/切操作するよりもエンターキー連打の方が早く入力できるからである。
In addition, you can directly enter punctuation marks and parentheses between phrases with the keyboard without releasing the voice input button (voice input button is selected. The same applies below). By configuring it so that it does not depend on, the input speed and accuracy can be further improved.
The situation is that there is only one word, no punctuation, and frequent line breaks (for example, when you remember only the main points of the other party's talk and input voice instead of paper notes). This is because, depending on the form and content, it is possible to input the enter key repeatedly faster than pressing the screen touch or the voice input button each time.
また、音声入力ボタンを離さないまま、音声入力の間違い箇所をキーボードのバックスペースキーで消して、更に音声入力を続行できるように構成する。
更に一旦音声入力ボタンを離して、音声入力でのテキストを固定化すれば、キーボードで入力したテキストと同じであり、これをマウス・キーボード側で修正できるようにする。
或いは、キーボードから入力したテキストの末尾をマウスで位置指定して、音声入力ボタンを押して発声をすれば、元のテキストに音声入力の文章を付け加えることも可能である。
もしも音声入力で認識しにくいフレーズが出現したら、そこまでで一度音声入力のボタンを離し(音声入力を終了し)、途中までのテキストを固定化し、認識しにくい部分だけをキーボードから入力して、その後で音声入力を再開すれば最も効率的な入力処理を行なうことができる。
In addition, the backspace key on the keyboard erases the mistaken part of the voice input without releasing the voice input button, so that the voice input can be continued.
Furthermore, once the voice input button is released and the text in the voice input is fixed, it is the same as the text input in the keyboard, and this can be corrected on the mouse / keyboard side.
Alternatively, it is also possible to add a voice input sentence to the original text by locating the end of the text input from the keyboard with the mouse and pressing the voice input button to utter.
If a phrase that is difficult to recognize by voice input appears, release the voice input button once (end the voice input), fix the text halfway, and enter only the part that is difficult to recognize from the keyboard. After that, if the voice input is restarted, the most efficient input processing can be performed.
タッチ項目の配置や内容を変えたい際に、コンピュータの場合は画面レイアウトに余裕があるので、本実施の形態による音声入力が普及した後には、図3に示す様に、一般的な表計算ソフトウェアやテキスト入力ソフトウェアのレイアウト内に、音声入力のシステム設定画面を呼び出すアイコンなどが配置されることも望ましい。
当該アイコンクリック後の設定画面等のイメージ図は〔0045〕欄にて後述する。
また、単語と画面設定の2つのタッチ領域が、同一箇所に混在している説明については、この機能を多用する携帯翻訳機以下のサイズの機器に関する〔0082〕欄において後述する。
When you want to change the arrangement and contents of touch items, there is a margin in the screen layout in the case of a computer, so after the voice input according to this embodiment becomes widespread, general spreadsheet software as shown in FIG. It is also desirable to place an icon that calls the system setting screen for voice input in the layout of the text input software.
An image diagram of the setting screen or the like after clicking the icon will be described later in the [0045] column.
Further, a description in which two touch areas of a word and a screen setting are mixed in the same place will be described later in the [882] column relating to a device having a size smaller than that of a portable translator that makes heavy use of this function.
なお、コンピュータにおいてデフォルト(初期設定)は16分割でモニター画面のタッチ領域を区分けしているが、分割数そのものを最低4領域程度まで減らすことができる。
これは後述のスマートウォッチなど、画面の小さい機器とタッチ領域の種類や配置位置を合致させることで、同一の操作者が両方の機器を使用する際に混乱が少なくなることと、配置を記憶してしまい、句読点タッチの透明度の濃さを前項・次項で説明する設定画面内で下げて、視認に因らず「ブラインドタッチ」での操作を行える優位性も考慮している。
In the computer, the default (initial setting) is 16 divisions to divide the touch area of the monitor screen, but the number of divisions itself can be reduced to at least 4 areas.
By matching the type and placement position of the touch area with a device with a small screen such as a smart watch described later, confusion is reduced when the same operator uses both devices, and the placement is memorized. Therefore, the transparency of punctuation touch is lowered in the setting screen explained in the previous and next sections, and the advantage of being able to operate with "blind touch" regardless of visual recognition is also taken into consideration.
〔0043〕欄にて説明した「設定画面」アイコン選択の後、図4(A)から(F)に示す設定画面への移行後は、一時的に画面表示されていたソフトウェアやインターネットの企業のお問い合わせページなどの入力対象の画面は、背景化し一時入力等は中断される(ソフトウェア自体の終了やインターネットのシャットダウンはしない)。
図4(A)は、認識前画面の表示中に、設定画面に移行した状態を示しており、半透明句読点タッチ(即ち補助入力部)が、音声入力使用時の「全画面サイズ表示」と比較し、左下に向かって80%程度に縮小表示され、画面上端と右端に空白域を設ける状態を表している。
図4(B)は、図4(A)で確保された空白域に、「各種設定専用のタッチ領域」を出現させた状態を表している。
なお説明用に図4(A)と図4(B)は別々の図としているが、実際には同時に画面遷移・展開がなされる。
設定画面内においては、認識前画面のほか、今後説明していく認識中画面及び編集・修正画面の、どの句読点タッチ画面をカスタマイズするのかの選択箇所が上列に常時存在し、すぐ目的の画面設定にジャンプすることができる。
変更できる内容としては、色調選択・色調濃淡・フォントサイズ・分割数などが選択できる。
仮に認識前画面で色調や濃淡を変化させると、認識中画面や編集・修正画面も同様にリンクして変化し、3つの句読点タッチの色調等に違いが生じることにはならない。
単語登録については、コンピュータにおいては基本的にIMEオプション(登録商標)の辞書ツールや登録単語にリンクしており、コンピュータにおいては本画面内で単語登録は行わない。
After selecting the "setting screen" icon described in the [0043] column, after the transition from the setting screen shown in FIG. 4 (A) to (F), the software or Internet company that was temporarily displayed on the screen The screen to be input such as the inquiry page becomes a background and temporary input is interrupted (the software itself is not terminated or the Internet is not shut down).
FIG. 4A shows a state in which the screen is shifted to the setting screen while the pre-recognition screen is displayed, and the semi-transparent punctuation touch (that is, the auxiliary input unit) is referred to as “full screen size display” when voice input is used. By comparison, the display is reduced to about 80% toward the lower left, indicating a state in which blank areas are provided at the upper and right edges of the screen.
FIG. 4B shows a state in which a “touch area dedicated to various settings” appears in the blank area secured in FIG. 4A.
Although FIGS. 4 (A) and 4 (B) are shown as separate figures for explanation, screen transitions and developments are actually performed at the same time.
In the setting screen, in addition to the pre-recognition screen, there is always a selection point in the upper row for which punctuation touch screen to customize, such as the recognition in progress screen and the edit / correction screen, which will be explained in the future, and the target screen is immediately available. You can jump to the settings.
As the contents that can be changed, color tone selection, color tone shade, font size, number of divisions, etc. can be selected.
If the color tone and shading are changed on the pre-recognition screen, the recognition-in-recognition screen and the edit / correct screen are similarly linked and changed, and the color tone of the three punctuation touches does not differ.
Regarding word registration, the computer basically links to the dictionary tool of the IME option (registered trademark) and the registered word, and the computer does not register the word on this screen.
タッチ句読点の配置や種類も〔0043〕欄にて説明した「設定画面」において変更(即ちカスタマイズ)が行える。
使用者のニーズ(専門業など)によって特定の記号(例「m2」や「Σ」など)を頻繁に使うケースがあるからである。
このような記号を使用する場合には、丸括弧『(』『)』を使用することがあっても、口語調で使用するカギ括弧『「」『」』はあまり使用しないと考えられることから、カギ括弧『「」『」』の部分に記号(例「m2」や「Σ」など)を充てるなどの選択ができる。
タッチ内容を変えたい場合、縮小表示された既存タッチ領域の一箇所を一定時間長押し(約2秒程度、以下同じ)すると、色調が反転するので、その後キーボードで例えば「m2」と入力すると、「m2と入れ替えますか? Y/N」と確認メッセージがコンピュータ側から確認され、「Y」にて選択・決定される。
タッチ句読点の位置変更は、当該句読点タッチを前述の長押し色調反転の後、マウスでのドラッグ&ドロップ操作同様にモニター上にて指で引っ張り移動の後に指を離すことで、タッチ位置の交換ができる。
なお、画面外に素早く大きく右フリックを行うと、当該句読点タッチ項目の削除も可能である。
なお、タッチ領域に設定できるものは、特に形式に制限は無く、「¥や*など一文字の記号」などと限定はしない。
登録する際に「音声 太郎」と直接キーボード入力して、名前程度の字数であれば一つのタッチ項目として登録できる。
但し、全てのタッチ画面で「一つ戻る」タッチ領域は位置を変えることはできても消すことはできない。
後述の編集・修正画面における「変換」タッチ領域も位置を変えることができても消すことはできない。
これは今後説明する操作上の矛盾になるため、そうしたカスタマイズは「論理エラー」として受けつけないようプログラムされる。
図4(C)は、『「』(鉤ぎ括弧起点)をm2(平方メートル)に変更中での「決定前状態」を表している。
図4(D)は、『※』(コメ印)を『音声 太郎』に変更中での「決定前状態」を表している。
図4(E)は、『計算式優先』の領域を「モニター画面を指で触れてドラッグ操作中の状態」を表しており、ドロップ操作と同時に『太字』と位置関係は入れ替わる。
また、「記号と設定画面移行タッチ箇所を混在」させていた領域から、「記号の項目」だけを排除した状態も示している。
図4(F)は、図4(B)にて外周に新規出現させた、「長押し時間」の操作イメージ画面を示している。
The arrangement and type of touch punctuation marks can also be changed (that is, customized) on the "setting screen" explained in the [0043] column.
This is because there are cases where specific symbols (eg, "m 2 ", "Σ", etc.) are frequently used depending on the needs of the user (professional business, etc.).
When using such symbols, even if the parentheses "("")" are used, the key brackets """""" used in the verbal tone are considered to be rarely used. , You can select to assign symbols (eg "m 2 ", "Σ", etc.) to the parts of the key brackets """""".
If you want to change the touch contents, a predetermined time length press (approximately 2 seconds, the same below) one part of the reduced displayed existing touch area Then, since the color tone is inverted and then enter keyboard, for example, the "m 2" , "Do you replace it with m 2? Y / N" and the confirmation message has been confirmed from the computer side, is selected and determined by the "Y".
To change the position of the touch punctuation mark, press and hold the touch of the punctuation mark to invert the color tone, then pull it with your finger on the monitor and release it in the same way as the drag and drop operation with the mouse to change the touch position. can.
You can also delete the punctuation touch item by swiftly and greatly right-flicking off the screen.
The format that can be set in the touch area is not particularly limited, and is not limited to "one-character symbols such as \ and *".
When registering, you can directly enter "Voice Taro" on the keyboard and register it as one touch item if the number of characters is about the name.
However, the "back one" touch area on all touch screens can be repositioned but not erased.
Even if the position of the "Convert" touch area on the edit / modify screen described later can be changed, it cannot be erased.
Such customizations are programmed so that they are not accepted as "logical errors", as this is an operational contradiction described below.
FIG. 4C shows the “pre-decision state” in which “” (starting point of hook brackets) is being changed to m 2 (square meter).
FIG. 4 (D) shows the "pre-decision state" while "*" (rice mark) is being changed to "voice Taro".
FIG. 4 (E) shows the "calculation formula priority" area "a state in which the monitor screen is touched with a finger and the drag operation is being performed", and the positional relationship is switched with "bold" at the same time as the drop operation.
It also shows a state in which only "symbol items" are excluded from the area where "symbols and touch points for transition to the setting screen are mixed".
FIG. 4 (F) shows an operation image screen of the “long press time” newly appeared on the outer circumference in FIG. 4 (B).
なお、稀なケースではあるが、キーボードへの依存度を下げて、画面タッチによる入力頻度を高めるケースもあると思われ、その際には、カーソルキーの代わりに矢印記号「←」「↑」「→」「↓」や、「BS(バックスペース)」の選択表示領域も設定画面において選択することができる。 In addition, although it is a rare case, it seems that there are cases where the dependence on the keyboard is reduced and the input frequency by touching the screen is increased. In that case, the arrow symbols "←" and "↑" are used instead of the cursor keys. The selection display area of "→", "↓", and "BS (backspace)" can also be selected on the setting screen.
また、コンピュータについては、画面タッチでの句読点認識の選択を行う際には高価なディスプレイ(画面タッチ認識機能が付属するモニター装置)が必要となる為、当該画面タッチは必須では無い。
公知技術として、多くのボタンを備えた多機能マウスも提供されているため、これを画面タッチ領域の一部代用として利用することもできる。
例えば当該多機能マウスの設定画面或いは前記設定画面で、音声入力時のみ適用される仕様として、多機能マウス50の各ボタンを特定の項目機能(例えば、句読点や鉤ぎ括弧等)に割り当てる機能割当画面(後述の図6(B)〜(D))を設けることもできる。
例えば図5に示すように、多機能マウス50のボタン51には句点「。」、ボタン52には「改行」、ボタン53には読点「、」、ボタン54には「音声入力ボタン」を設定し、更に当該マウス50には、音声マイク55を設けている。
操作の例は、コンピュータでの音声入力の基本的項目が終了したあと〔0059〕欄にて後述する。
Further, for a computer, since an expensive display (a monitor device with a screen touch recognition function) is required when selecting punctuation recognition by screen touch, the screen touch is not indispensable.
As a known technique, a multifunction mouse having many buttons is also provided, and this can be used as a substitute for a part of the screen touch area.
For example, on the setting screen of the multifunction mouse or the setting screen, as a specification applied only at the time of voice input, a function assignment that assigns each button of the
For example, as shown in FIG. 5, the
An example of the operation will be described later in the [0059] column after the basic items of voice input on the computer are completed.
また前記〔0045〕欄に示した句読点等の設定画面内で、「句読点タッチを表示しない」を選択することで、画面に半透明句読点領域は出現させず、画面タッチ句読点に依存しない入力方法、つまりマウスボタンの右手操作だけでの種類を限定した句読点の入力法も併用できる。
具体的設定方法は、図4に示した設定画面における「濃度」のタッチ領域を選択し、図6(A)に示す「半透明句読点タッチの濃度設定部分」の選択領域61をタッチした状態の選択バーで「表示しない」濃度を選択した場合、「モニター句読点タッチを利用しない」を指定するチェックボックス62の追加選択肢を出現させることから開始される。
単純に句読点タッチの表示濃度が薄いだけであれば、〔0044〕欄で説明した「ブラインドタッチ」の状態であり、モニター画面の所定の場所に触れれば句読点や括弧等はテキスト化される。
しかし「画面タッチを使用しない」チェックボックス62をクリックすると、以後モニター画面のタッチ入力はコンピュータ側からは全て無効と判断され受け付けられなくなる。
但し当該チェックボックス62のクリック後は、設定画面内に更なる追加選択肢「多機能マウス設定」を選択するチェックボックス63が出現する。
更に当該「多機能マウス設定」を選択するチェックボックス63をクリックすると、図6(B)に示す多機能マウスの各ボタンに「どの句読点や括弧等を割り振るかの」設定画面に遷移する。
Further, by selecting "Do not display punctuation touch" in the setting screen for punctuation marks and the like shown in the above [0045] column, a semi-transparent punctuation mark area does not appear on the screen, and an input method that does not depend on screen touch punctuation marks. In other words, you can also use the punctuation input method that limits the types by just operating the right hand of the mouse button.
As a specific setting method, the touch area of "density" on the setting screen shown in FIG. 4 is selected, and the
If the display density of punctuation touch is simply low, it is in the state of "blind touch" described in column [0044], and if a predetermined place on the monitor screen is touched, punctuation marks, parentheses, etc. are converted into text.
However, if the "Do not use screen touch"
However, after clicking the
Further, when the
以降、図6(B)は多機能マウスボタンの機能割り当て操作画面の説明となり、各ボタンの配置は〔0048〕欄で説明した内容に合致させており、後述の〔0059〕欄で説明する図9の例は、この配置のまま最も単純な使用法を前提に表記している。
設定操作としては図6(B)の左横上ボタン51の領域を一定時間画面の長押し(若しくはマウスでの右クリック)をすると、領域とマウスイメージ図のボタン51の色調が同時に反転し、この時点でキーボードの「。」を押した後、機器側からの「Y/N」選択が示されYで決定する。
同様に図6(B)に示した画面内の左横下ボタン52及び右横上ボタン53など目的の設定作業が終了した上で、設定画面右下の「決定」をクリックし設定の上書きは完了となる。
但しボタン割り振り設定画面(図6(B))の上列に「認識前画面」「認識中画面」「編集・修正画面」と表記があるように、マウスの各ボタンは各画面(即ち「音声入力中の状況ごと」)に異なる役割を設定できる。
操作者が使用法を習熟して行く過程で、文法に合わせて「認識前画面」においては「英字や数字の各優先認識タッチ」などを、また「認識中画面」においてはテキストの途中に入る鉤括弧等などに割り振ることで、限られた多機能マウスボタン数を効率良く利用することが可能になる。
また、現存する多機能マウスのボタン数は一定では無い。
よってマウスのボタン数に合わせて当該設定画面の分割数自体も変化させる必要がある。
例示した図6(C)(句読点タッチ領域に代わるボタン数3、設定画面内分割数9)と図6(D)(句読点タッチ領域に代わるボタン数5、設定画面内分割数11)において、画面配置の割り振り数そのものが異なるのは、そのイメージを説明している。
原則として、マウスの基本機能である「左右上面のクリックボタン」には句読点タッチ等の設定は不可とするよう制限を設ける、これは一般的な操作上の混乱を避ける為である。
但し、音声入力ボタンそのものを無くすことはできないものの、位置を変える(選択するボタンを異なるものにする)ことは妨げない。
後述する編集・修正画面のマウスボタンの配置設定も図内に含まれるが、コンピュータにおいては携帯翻訳機の〔0091〕欄で説明するような「指で画面をタッチ操作する編集・修正」は殆ど行わないため、作成済のテキストに対して後付け句読点を入力する形態となる。
例文: 本項の説明内容は多機能マウスの設定方法です。
なお、図6(D)は認識中画面であるが、編集・修正画面においても同様の各ボタン配置を設定しているものと仮定する。
通常のマウス操作で、「は」と「多」の間の位置を指定し、図6(D)におけるボタン56をクリックし『「 』を入力し、同様に「ス」と「の」の間の位置で図6(D)におけるボタン57をクリックし『」』を入力する。
結果:本項の説明内容は「多機能マウス」の設定方法です。
このような「後付け句読点」の使用法となる。
マウス側の操作依存度を上げることで、画面タッチ認識機能の無いディスプレイを使用した場合でも、音声入力時における句読点等の入力を多機能マウス側からある程度は可能になる為、コンピュータ装置一式の全体価格を下げる優位性もある。
また、操作者が片上肢に障害を持つ人の場合、画面タッチ(若しくはキーボード入力)を行わずに、多機能マウス50だけで音声入力が完結できる方が有利だからである。
Hereinafter, FIG. 6B is an explanation of the function assignment operation screen of the multifunctional mouse button, and the arrangement of each button matches the contents described in the [0048] column, and is a diagram described in the [0059] column described later. The example of 9 is described on the premise of the simplest usage with this arrangement.
As a setting operation, when the area of the left horizontal
Similarly, after completing the desired setting work such as the left horizontal
However, as the upper row of the button allocation setting screen (Fig. 6 (B)) has the notation "pre-recognition screen", "recognition-in-progress screen", and "edit / correction screen", each mouse button is on each screen (that is, "voice"). Different roles can be set for each situation during input.
In the process of the operator becoming familiar with the usage, the "pre-recognition screen" is entered with "priority recognition touches for letters and numbers", and the "recognizing screen" is entered in the middle of the text according to the grammar. By allocating it to hook brackets, etc., it is possible to efficiently use the limited number of multifunctional mouse buttons.
Moreover, the number of buttons of the existing multifunction mouse is not constant.
Therefore, it is necessary to change the number of divisions of the setting screen itself according to the number of mouse buttons.
In FIG. 6 (C) (the number of buttons in place of the punctuation touch area is 3, the number of divisions in the setting screen is 9) and FIG. 6 (D) (the number of buttons in place of the punctuation touch area is 5, the number of divisions in the setting screen is 11). The fact that the number of allocations themselves is different explains the image.
As a general rule, the basic function of the mouse, "click buttons on the upper left and right", is restricted so that punctuation touches and the like cannot be set, in order to avoid general operational confusion.
However, although the voice input button itself cannot be eliminated, it does not prevent the position from being changed (the button to be selected is different).
The mouse button layout settings on the edit / modify screen, which will be described later, are also included in the figure, but in computers, most of the "edit / modify by touching the screen with a finger" as explained in the [0091] column of the portable translator is used. Since this is not done, the postscript punctuation marks are input to the created text.
Example sentence: The explanation in this section is how to set the multifunction mouse.
Although FIG. 6D shows the recognition screen, it is assumed that the same button arrangement is set on the edit / modify screen.
Specify the position between "ha" and "many" with normal mouse operation, click the
Result: The explanation in this section is how to set the "multifunctional mouse".
This is how to use "postscript punctuation".
By increasing the operation dependency on the mouse side, even when using a display without a screen touch recognition function, it is possible to input punctuation marks etc. at the time of voice input to some extent from the multifunction mouse side, so the entire computer device set It also has the advantage of lowering prices.
Further, when the operator is a person with a disability in one upper limb, it is advantageous that the voice input can be completed only by the
タッチ認識機能を持つモニター画面は、前記の通りコンピュータ装置一式の価格の上昇に繋がる。
また執筆業など長文を作成する専門職などは、半透明句読点タッチ領域と入力対象画面そのものとの重複表示は目の疲れの原因となり、〔0020〕欄に記載の通りの両手配置であれば、画面タッチの都度左手を挙上する行為も疲労の原因となる。
よってスマートフォンや小型のタブレット端末などの付属機器に、句読点タッチ等の役割だけを独立させるよう構成するのも望ましい。
右手は音声入力ボタンが追加されるだけのマウスでの座標指定操作は変わらず、左手は卓上に付いたままスマートフォン等で句読点や改行などの書体編集操作を行い、キーボードの代わりに音声入力を行うと言うことである。
また、操作者の心情的に画面モニターに触りたくない(指紋などを付けたくない)場合にも、スマートフォン等の付属機器での句読点タッチ等の手法は有効になる。
A monitor screen having a touch recognition function leads to an increase in the price of a set of computer devices as described above.
Also, for professionals who create long sentences such as writing, the overlapping display of the semi-transparent punctuation touch area and the input target screen itself causes eyestrain, and if the two-handed arrangement is as described in column [0020], The act of raising the left hand each time the screen is touched also causes fatigue.
Therefore, it is also desirable to configure the accessory devices such as smartphones and small tablet terminals to have independent roles such as punctuation touch.
The right hand does not change the coordinate specification operation with the mouse just by adding a voice input button, and the left hand performs typeface editing operations such as punctuation marks and line breaks on a smartphone etc. while still attached to the desktop, and voice input is performed instead of the keyboard. Is to say.
In addition, even when the operator does not want to touch the screen monitor emotionally (does not want to attach fingerprints or the like), a method such as punctuation touching with an accessory device such as a smartphone is effective.
仮に音声入力に際して、画面タッチで句読点の挿入や字体を整えながら、テキスト文字を入力していく最中に、操作者が言い間違いであれ、機器の認識側の誤りであれ、誤っている箇所を発見したとする。
その際、コンピュータの場合は、一度音声入力のボタンを離して、テキストを固定化してから〔0042〕欄に記載の手法のとおりマウス・キーボードで修正することが容易にできるので、音声入力を中断する必要性が無い。
また、桁の多い金額などを入力する場合、キーボード入力にて後で訂正することを前提にして、音声入力を行うことも考えられる。
例文「この自動車は税込みで2,159,784円です。」と入力したい場合に、操作者は「この自動車は税込みで1万円です。」と一旦音声入力する。
その後通常のマウス操作で「1万」部分をなぞって色調反転させて、キーボードにおけるテンキーからの入力で、一度前記で音声入力した「1万」を「2,159,784」に変更する。
たとえ〔0032〕欄における「数字認識」があったとしても、単純な数字の羅列はテンキーで直接入力した方が、同じ結果を得るうえでは早いからである。
Assuming that when inputting voice, while inputting text characters while inserting punctuation marks and adjusting the font by touching the screen, the operator may make a mistake or make a mistake on the recognition side of the device. Suppose you find it.
At that time, in the case of a computer, the voice input button can be released once to fix the text, and then the voice input can be interrupted because it can be easily corrected with the mouse / keyboard as described in the [0042] column. There is no need to do it.
In addition, when inputting an amount of money with many digits, it is conceivable to input by voice on the assumption that it will be corrected later by keyboard input.
Example sentence When you want to input "This car costs 2,159,784 yen including tax", the operator once voice-inputs "This car costs 10,000 yen including tax."
After that, the color tone is inverted by tracing the "10,000" part with a normal mouse operation, and the "10,000" once voice-input above is changed to "2,159,784" by inputting from the numeric keypad on the keyboard.
Even if there is "number recognition" in the [0032] column, it is faster to directly enter a simple enumeration of numbers with the numeric keypad in order to obtain the same result.
このように、音声入力ボタンを併用搭載したコンピュータにおいて、キーボードによる入力手法を全く妨げず、今まで通りのキーボードだけでの入力手法も全て可能である。
つまり本発明による音声入力を必ず行わなければならない状況は無い為、操作上のデメリットは存在せず、購入者は少しずつ音声入力を用いたテキスト入力手法を習得して行くことができる。
In this way, in a computer equipped with a voice input button together, the input method using the keyboard is not hindered at all, and all the input methods using only the keyboard as before are possible.
That is, since there is no situation in which voice input according to the present invention must be performed, there is no operational demerit, and the purchaser can gradually learn the text input method using voice input.
音声入力において、操作者が意図した内容(ひらかな)と異なる認識を機器側がしてしまった場合(以下「誤認識」とする)及び、操作者の音声について機器側は正確に認識したが、AIが前後のテキスト内容から判断した変換候補が誤っていて、操作者側の意図と異なる単語が選択された場合(以下「同音異義語」とする)は、機器やAIの進化により減って行く物ではあるが、音声入力の特性上避けがたい性質のものである。 In voice input, when the device side recognizes something different from what the operator intended (open) (hereinafter referred to as "misrecognition"), and when the device side accurately recognizes the operator's voice, If the conversion candidate judged by AI from the text contents before and after is incorrect and a word different from the intention of the operator is selected (hereinafter referred to as "same-speech synonym"), it will decrease due to the evolution of equipment and AI. Although it is a thing, it has an unavoidable property due to the characteristics of voice input.
新規のテキストを〔0038〕欄の記載以降の手法で音声入力をしている最中は、文書入力ソフトや表計算ソフトまたは企業のホームページの問い合わせ欄など、ソフトウェアやホームページの様式に合わせて音声入力を行っていたが、その中に誤認識や同音異義語を発見した場合、音声入力ボタンを押したままの状態で0.5〜1秒程度の無音時間(設定画面にて調整できる、以下「一定時間」とする)を経過すると、図7に示す編集・修正画面に遷移する。
これにより、音声入力対象である文書入力ソフトや表計算ソフト及びWebページの画面などの元々のソフトウェアは、閉じられることは無いが、コンピュータ本体側(オペレーティングシステム側等)が、一時入力操作の処理を遮断して、モニター上は極端に色調を薄くし「背景化」させる。
図7の編集・修正画面70では、今現在入力中のテキストが句読点タッチと同色の半透明文字(※透過度はより濃い色調に変化する)で大フォント・広い字間でモニター一杯に出力される。
なお、図7の編集・修正画面70では、〔0027〕欄における音声入力によるテキスト作成を進めて、その後に誤って認識された部分の修正入力をこれから行う具体例である。
表示する句読点タッチの例としては、左上から右下にかけて「「 」「 」」「( 」「 )」「改行」「。」「一つ戻る」「、」「変換」「空白」「BS」「記号」などを設けるものである。
一時的に背景化されたソフトウェア側よりも、音声入力最中のテキストのみの拡大フォント画面が「視認の主たる部分」になると言うことである。
フォント・字間の拡大からテキストが画面内に収まりきらない場合は、位置調整の縦バー71が出現するように構成する。
なお、誤変換や同音異議語の修正など、修正する範囲が短い場合、コンピュータにおいては〔0042〕欄に記載の通り一旦テキストを固定化してから、通常のマウス及びキーボードでの入力し直しが早いため、ここで編集・修正画面内における編集手法説明は行わず、マウス・キーボードが存在しない携帯機以下のサイズの機器に関する〔0091〕から〔0108〕欄にて詳細説明を行う。
While inputting new text by voice using the method after the description in column [0038], input by voice according to the software or homepage format such as document input software, spreadsheet software, or the inquiry field of the company's homepage. However, if you find a false recognition or a synonym for the same sound in it, you can adjust the silence time for about 0.5 to 1 second while holding down the voice input button (adjustable on the setting screen, below. After a lapse of "a certain period of time"), the screen transitions to the edit / correction screen shown in FIG.
As a result, the original software such as document input software, spreadsheet software, and Web page screens that are the target of voice input will not be closed, but the computer itself (operating system side, etc.) will process the temporary input operation. Is cut off, and the color tone is extremely lightened on the monitor to make it "background".
On the edit /
It should be noted that the edit /
As an example of the punctuation touch to be displayed, from the upper left to the lower right, """"""(("")""linefeed"".""Backone"",""conversion""blank""BS"""Symbols" etc. are provided.
It means that the enlarged font screen of only the text during voice input becomes the "main part of visual recognition" rather than the software side that is temporarily backgroundized.
If the text does not fit on the screen due to the enlargement of the font and characters, the
If the range of correction is short, such as erroneous conversion or correction of the same sound objection, the text is fixed once as described in column [0042] on the computer, and then re-input with a normal mouse and keyboard is quick. Therefore, the editing method in the editing / modifying screen will not be described here, but detailed explanations will be given in columns [0091] to [0108] regarding a device having a size smaller than that of a portable device that does not have a mouse / keyboard.
一旦固定化した(音声入力ボタンを離した後)テキストの移動・削除などは、後述する携帯端末機等のサイズの機器の手法とは異なり、マウスでの直接操作の方が修正操作としては早いため、画面タッチでの修正操作は前提としない。 For moving / deleting text once fixed (after releasing the voice input button), unlike the method of devices of the size such as mobile terminals described later, direct operation with the mouse is faster as a correction operation. Therefore, the correction operation by touching the screen is not assumed.
以上の処理を、図8に示すフローチャートに基づいて、音声入力処理の全体の流れとして再説明する。
即ち、音声入力の開始に際しては、コンピュータやその周辺機器(マウスなど)に設けられた音声入力ボタンをオンにする。
これにより、音声認識を開始する前の画面である、「認識前画面」をディスプレイに出力する。
この認識前画面は、音声入力を行うプログラムの入力画面上に、当該入力画面を透過させるように表示する。
そしてこの認識前画面に設定された項目の指定により、当該領域に設定されている処理を行う。
例えば括弧(起点側)などの項目の指定領域が選択された場合には、当該選択(タッチ)された内容を音声入力を行うプログラムの入力画面に入力し、また英字優先、数字優先、カタカナ優先、計算式優先、音声入力Lock等の項目が選択された場合には、当該項目に設定されている処理を実行する。
The above processing will be re-explained as an overall flow of the voice input processing based on the flowchart shown in FIG.
That is, at the start of voice input, the voice input button provided on the computer or its peripheral device (mouse or the like) is turned on.
As a result, the "pre-recognition screen", which is the screen before the start of voice recognition, is output to the display.
This pre-recognition screen is displayed so as to make the input screen transparent on the input screen of the program that performs voice input.
Then, by specifying the item set on the pre-recognition screen, the process set in the area is performed.
For example, when a specified area of an item such as parentheses (starting point side) is selected, the selected (touched) content is input to the input screen of the program for voice input, and alphabetic characters, numbers, and katakana are prioritized. , Calculation formula priority, voice input lock, etc. When an item is selected, the process set in the item is executed.
そして使用者の音声が発せられて音声認識が開始されると、音声入力している文章中に、句読点、括弧(終点側の追加)或いは改行などの記号や制御文字を挿入する為の認識中画面出力を、前記認識前画面に代えて出力する。
この認識中画面がディスプレイに表示されている状態において利用者が音声を発することにより、当該音声認識装置は発音された音声を認識して、音声入力を行うべき画面にテキストで入力していく。
そしてこの音声入力中に、前記記号や制御文字を入力する際には、前記認識中画面における該当項目を選択・指定し、音声入力したテキストに追加する。
以上の処理によって、音声入力と同時に、記号や制御文字及び改行など書体を整えることをタッチパネル、キーボード又はマウスなどの入力デバイスを用いて併用入力することが可能となり、これにより音声入力自体はテキスト部分しか話さない自然な流れのまま、迅速かつ正確なテキスト入力を行うことができる。
Then, when the user's voice is emitted and voice recognition is started, recognition is being performed to insert symbols such as punctuation marks, parentheses (addition on the end point side) or line breaks, and control characters in the text being input by voice. The screen output is output in place of the pre-recognition screen.
When the user emits a voice while the recognition screen is displayed on the display, the voice recognition device recognizes the pronounced voice and inputs the voice to the screen on which the voice should be input as text.
Then, when the symbol or the control character is input during the voice input, the corresponding item on the recognition screen is selected / specified and added to the voice input text.
Through the above processing, it is possible to input symbols, control characters, line breaks, and other fonts at the same time as voice input using an input device such as a touch panel, keyboard, or mouse. As a result, the voice input itself is a text part. You can enter text quickly and accurately while keeping the natural flow of speaking only.
具体的な簡易操作イメージ図を以下に示す。
図9は表計算ソフトにおける入力画面であり、数値部分と摘要部分(音声入力箇所)の断続性を説明したものである。
B列3行やB列4行などの摘要欄は音声入力を用い、C列3行以降の数値データはテンキーを用いるなど、音声入力の断続性から常に最速の入力方法を選択可能と言うことである。
また、「実績値」と入力したい時に「実績地」と同音異義語で認識された場合、マウスで「地」をなぞり色調を反転させてから「あたい」とキーボードで入力し、変換キーを押せば修正操作は容易である。
図10の多機能マウス入力画面は多機能マウスに一部の句読点タッチを割り振り、画面で句読点タッチをせずに、テキストを作成する手法の説明である。
マウスには通常の機能のほか、句点「。」を設定したボタン51、「改行」を設定したボタン52、読点「、」を設定したボタン53、「音声入力ボタン」を設定したボタン54、音声マイク55を割り振っており、テキストの下線部は音声入力ボタンの押したままの状態を示している。
よって下線の引かれていないテキストはキーボードを使用し通常通り入力している。
この例文内では、「 」(鉤括弧)と、PDF及び@(アッドマーク)がそれにあたる。
なお、説明を単純化するため、以下、本項内では誤認識等は生じなかった前提で説明する。
図11の文章入力画面はワードプロセッサーに代表される、文書入力ソフトでの基本的な操作手順である、主だったテキストは全て音声入力であり下線は省略している。
図11内のエンターキーマーク111は文字通りキーボードのエンターキー若しくは句読点タッチの改行のどちらでも同じ結果となる。
図内の□(ブランク)112は空白を示している、キーボードのスペースキー若しくは句読点タッチの空白のどちらでも同じ結果となる。
なお、改行や空白の「当該タッチの押したままでの自動連打判定」が、キーボードの当該キーの押したままでの自動連打状態と同様に実行される。
この定義の為、後述〔0132〕の携帯機以下のサイズの機器にて説明する「押したままの状態で音声入力を行った場合の特殊書体入力は」改行や空白タッチ部分には論理エラーとして設定できない。
「、」や「。」「( )カッコ」などの句読点は、全て音声入力中のタイミングに合わせた句読点タッチで構成可能である。
「:(コロン)」113や「_(アンダーバー)」114はキーボードで直接入力するか、「記号」タッチ後に「ころん」「あんだーばー」の音声入力で得ることも可能である。
特殊文字115も、テンキーで「1」「2」を入力後に変換キーを押すことも、音声入力で機器が認識する能力があるのであれば「いちまる」「にまる」と音声入力だけで得ることもできる。
A concrete simple operation image diagram is shown below.
FIG. 9 is an input screen in spreadsheet software, and illustrates the intermittentness of the numerical value portion and the summary portion (voice input portion).
It is said that the fastest input method can always be selected from the intermittentness of voice input, such as using voice input for the description fields such as column B 3 rows and
Also, if you want to enter "actual value" and it is recognized as a homonym with "actual place", trace "ground" with the mouse to invert the color tone, then enter "ai" with the keyboard and press the conversion key. For example, the correction operation is easy.
The multi-function mouse input screen of FIG. 10 is a description of a method of allocating a part of punctuation touches to a multi-function mouse and creating text without touching punctuation marks on the screen.
In addition to the normal functions of the mouse, the
Therefore, the unlined text is entered normally using the keyboard.
In this example sentence, "" (brackets), PDF and @ (add mark) correspond to it.
In addition, in order to simplify the explanation, the following description will be made on the assumption that no misrecognition or the like has occurred in this section.
The text input screen of FIG. 11 is a basic operation procedure in the document input software represented by a word processor. The main texts are all voice input and the underline is omitted.
The
The □ (blank) 112 in the figure indicates a blank, and the same result can be obtained with either the space key on the keyboard or the blank of the punctuation touch.
It should be noted that the line feed or blank "automatic continuous hitting determination while the touch is held down" is executed in the same manner as the automatic repeated hitting state while the key is held down on the keyboard.
Because of this definition, "special typeface input when voice input is performed while pressing" will be explained later in the device of the size smaller than the portable device of [0132]. Cannot be set.
All punctuation marks such as ",", ".", And "() parentheses" can be configured by touching punctuation marks according to the timing during voice input.
": (Colon)" 113 and "_ (underscore)" 114 can be input directly with the keyboard, or can be obtained by voice input of "Colon" and "Ada-ba" after touching the "symbol".
For
<電子カルテの入力における実施形態>
本実施の形態の一つとして、電子カルテの入力方法について実施した場合を説明する。
<Embodiment in Input of Electronic Medical Record>
As one of the present embodiments, a case where an electronic medical record input method is implemented will be described.
従来、入力速度が重視される業種として、単純な速記業のほか、ジャーナリスト、新聞業、作家などがある。
これらの特殊な業種と異なり、一般的な業種では医療業の「電子カルテの入力」において、スピードが求められるものである。
特に大病院勤務医の長時間労働などは社会問題化しており、カルテの入力にとどまらず、診断書・紹介状及び各サマリーの記載作業が早くなることは、医療従事者の負担軽減に寄与するものである。
Traditionally, industries where input speed has been emphasized include journalists, newspapers, and writers, in addition to simple shorthand.
Unlike these special industries, in general industries, speed is required for "input of electronic medical records" in the medical industry.
In particular, long working hours of doctors working at large hospitals have become a social problem, and speeding up the work of writing medical certificates, referral letters and summaries, in addition to inputting medical records, contributes to reducing the burden on medical staff. It is a thing.
机上環境で他の作業(医療処置等)と重複しないのであれば、コンピュータを用いて実現した音声入力装置において、本実施手法は最速の入力能力を有している。
強いて挙げるのであれば、図1に示す認識前画面で「病名優先」「医療英略字優先」の選択項目や、AIの能力次第では、それらを一つにまとめた「医療用語優先」の選択タッチ領域などがあれば更に良く、また診療科毎に異なる専門用語に対応する為、単語の登録可能数を一般モデルより増やすといった細かな調整で、充分医療用専用機として対応可能である。
This method has the fastest input capability in a voice input device realized by using a computer as long as it does not overlap with other work (medical procedure, etc.) in a desktop environment.
If you want to force it, on the pre-recognition screen shown in Fig. 1, select items of "disease name priority" and "medical English abbreviation priority", and depending on the ability of AI, select "medical term priority" that puts them together. It is even better if there is an area, etc., and in order to correspond to different technical terms for each clinical department, fine adjustments such as increasing the number of words that can be registered compared to the general model can be sufficiently supported as a dedicated medical machine.
前述の医療用語優先等における、単語発声(機器側の認識)からの再変換キー若しくは、画面の変換領域タッチにおける変換候補の遷移は以下のように行われる。
例1:音声入力「でぃーえむ」 DM (糖尿病の英略字) →(矢印は都度の変換タッチを表わす) I型糖尿病(主に先天性) → II型糖尿病(主に生活習慣) → Diabetes(英) → DMに変換が戻る。
例2:音声入力「えるしー」 LC(肺癌の英略字) → Lung cancer(英) → 小細胞肺癌 → 非小細胞肺癌 → LCに変換が戻る。
例3:音声入力「えりてまとーです」 → エリテマトーデス → 全身性エリテマトーデス → 全身性紅斑性狼瘡 → SLE → Systemic lupus erythematosus(英) → Lupus erythematodes(独) → エリテマトーデスに変換が戻る、などである。
この医療用語優先の変換パターンは電子カルテシステムにおいて公知技術であるが、現状のシステムでは操作者が意図せずに、機器側が医療用語に誤認識してしまう場合がある。
本実施における優先認識タッチは原則「タッチ認識後の次の音声入力の1フレーズ」に限定されるため、全体を通して誤りが生じにくい優位性がある。
In the above-mentioned medical term priority, the transition of the conversion candidate in the reconversion key from the word utterance (recognition on the device side) or the conversion area touch on the screen is performed as follows.
Example 1: Voice input "Diemu" DM (English abbreviation for diabetes) → (Arrows indicate conversion touch each time) Type I diabetes (mainly congenital) → Type II diabetes (mainly lifestyle) → Diabetes (English) → Conversion returns to DM.
Example 2: Voice input "Erushi" LC (Lung cancer abbreviation) → Lung cancer (English) → Small cell lung cancer → Non-small cell lung cancer → Conversion returns to LC.
Example 3: Voice input "Lupus erythematosus" → Lupus erythematosus → Systemic lupus erythematosus → Systemic lupus erythematosus → SLE → Systemic lupus erythematosus (English) → Lupus erythematodes (Germany) → Convert to lupus erythematosus, etc. ..
This conversion pattern giving priority to medical terms is a known technique in electronic medical record systems, but in the current system, the device side may mistakenly recognize the medical terms unintentionally by the operator.
Since the priority recognition touch in this implementation is limited to "one phrase of the next voice input after touch recognition" in principle, there is an advantage that errors are less likely to occur throughout.
また、電子カルテは病院内等において、様々な状況で複数の者が利用する。
各利用者に応じた、例えば〔0062〕欄に記載のとおり机上で医師等がカルテや診断書等を作成する場合を「ノーマルモード」とし、看護師等が何らかの処置中に並行してカルテに入力する場合は「ノータッチモード」等として設定することもできる。
これは、医療(又は介護においても)の現場においては、医療処置中(又は介護中)で手を離せない状況や、手指衛生上の都合(消毒済の手や、オムツ交換の実施中など)によっては、マウスやタッチ画面に触れられない場面も想定されるからである。
そこでこのような場面をフォローする為に、音声入力する際の状況に合わせて、原則として手の「表側」を使用しないで機器を操作する手法である。
In addition, electronic medical records are used by multiple people in various situations, such as in hospitals.
According to each user, for example, when a doctor or the like creates a medical record or a medical certificate on a desk as described in the [0062] column, the "normal mode" is set, and a nurse or the like prepares a medical record in parallel during some treatment. When inputting, it can be set as "no touch mode" or the like.
This is because in the medical (or long-term care) field, you cannot take your hands off during medical treatment (or long-term care), and for convenience of hand hygiene (disinfected hands, changing diapers, etc.). This is because it is assumed that the mouse or touch screen cannot be touched depending on the situation.
Therefore, in order to follow such a scene, in principle, it is a method of operating the device without using the "front side" of the hand according to the situation when inputting voice.
このノータッチモードにおいて、電子カルテへの入力に際しても、〔0027〕から〔0029〕欄に記載の通り音声入力ボタンを押している間は音声認識し、これを離すとキーボードにおけるエンターキーと同様の処理の原則は同じである。
但し、このような音声入力ボタンの操作は、同時に行いたい処置や介護の手を拘束するので、初めに2回連続押しで音声入力状態を維持できる状態(モニター上の音声入力Lockタッチと同義)とし、もう一回音声認識ボタンを押すとLock状態を解除し、同時にエンターキー操作とすることで解決できる。
In this no-touch mode, even when inputting to the electronic medical record, voice recognition is performed while the voice input button is pressed as described in columns [0027] to [0029], and when this is released, the same processing as the enter key on the keyboard is performed. The principle is the same.
However, such an operation of the voice input button restrains the hand of the caregiver or the procedure to be performed at the same time, so that the voice input state can be maintained by pressing the voice input button twice at the beginning (synonymous with the voice input Lock touch on the monitor). Then, if the voice recognition button is pressed again, the Lock state is released, and at the same time, the enter key operation is performed to solve the problem.
また、先の手指衛生の都合上、本実施の形態に係る音声入力装置は、「医療(介護)専用ノート型コンピュータの角に手首の裏面から手の甲などで押しやすいボタンを配置する」、「腰ベルトに肘で押せるタッチボタンを設ける」、又は「スマートウォッチサイズ程度の携帯端末を付ける反対側の手の手首(甲側)にスイッチを配置して両手首の甲部分をクロスタッチする」などの手法で音声入力スイッチを操作できるように構成するのも望ましい。
前項のLock解除操作でも、指(手の表側)を使用しないと言うことである。
In addition, for the convenience of hand hygiene, the voice input device according to this embodiment has "place a button on the corner of a medical (nursing care) notebook computer that is easy to press from the back of the wrist with the back of the hand", "waist". "Provide a touch button on the belt that can be pressed with an elbow", or "Place a switch on the wrist (back side) of the opposite hand to attach a mobile terminal about the size of a smart watch and cross-touch the backs of both wrists" It is also desirable to configure the voice input switch so that it can be operated by the method.
Even in the Lock release operation described in the previous section, the finger (front side of the hand) is not used.
また、そうした医療処理中の状況での電子カルテに対する入力では、長文を入力する必要性は乏しく、画面タッチで句読点を入力したり、改行・空白などを入力して書体を整える回数も少ないものになる。
よって、ノータッチモードでの電子カルテへの音声入力に際しては、公知技術における音声入力処理、例えば記録したい本文内容から一拍インターバルを開けた上で「てん」「まる」「かいぎょう」など単語を口頭で話すことで、句読点や書体編集を入力する処理を伴うこともできるように機器側の音声認識のプログラムが変化する。
つまり、ゆっくり・はっきりと単独で発声された「、」「。」「改行」などをテキスト化せず、機器側は書体や記号コマンドとして認識するということである。
In addition, when inputting to an electronic medical record in such a medical processing situation, there is little need to input a long sentence, and the number of times to input punctuation marks by touching the screen or input line breaks / blanks to adjust the typeface is reduced. Become.
Therefore, when inputting voice to an electronic medical record in the no-touch mode, voice input processing in known technology, for example, after opening a beat interval from the text content to be recorded, words such as "ten", "maru", and "kaigyo" are entered. By speaking verbally, the speech recognition program on the device side changes so that it can be accompanied by the process of inputting punctuation marks and typesetting.
In other words, the device does not convert ",", ".", "Line breaks", etc., which are uttered slowly and clearly independently, into text, and the device recognizes them as typefaces and symbol commands.
また、電子カルテに対する音声入力処理では、確定処理(エンターキー入力)や音声入力終了にあたる操作も、ワンフレーズの音声入力後、一定時間無音を検知することで実行されることが望ましい。
日中の介護・夜間の介護など状況も異なるため、この無音時間検知は事前に任意設定できるように構成する。
これにより、処置や介護の手を、〔0065〕欄の記載における実行(エンターキー)及び音声入力の解除操作の為に拘束しないで済ませることができる。
また、操作者が音声入力の終了処理を忘れたり、意図せず手が離せなくなった時に、患者との会話が無意味に延々と記録され続けるのを防止する上でも有効である。
Further, in the voice input processing for the electronic medical record, it is desirable that the confirmation processing (enter key input) and the operation corresponding to the end of the voice input are also executed by detecting silence for a certain period of time after the voice input of one phrase.
Since the situation such as daytime care and night care is different, this silence time detection is configured to be arbitrarily set in advance.
As a result, it is possible to avoid restraining the hand of treatment or care for the execution (enter key) and the operation of canceling the voice input described in the [0065] column.
It is also effective in preventing the conversation with the patient from being recorded meaninglessly and endlessly when the operator forgets to end the voice input process or unintentionally takes his / her hand.
電子カルテは患者毎に1つの完結したデータベースであり、同一の医療機関で、入力方法が異なる毎に別のソフトウェアやファイルにはできないため、音声入力手法(例えばノーマルモードとノータッチモード)の選択は瞬時に行われることが望ましい。
よってマウス側の音声入力ボタンを押した場合は、自動的にノーマルモードになるように設定し、ノート型コンピュータの角押しや、ベルト・手首甲のスイッチが押された場合には、自動的にノータッチモードとなるように、ハードウエア(オペレーティングシステムを含む)側で定義した方が効率的である。
また、医療専用のノート型コンピュータを新規開発する場合は、指の反対側の関節部で位置指定のマウス操作ができると手指衛生上有利なので、「タッチパッド」のサイズ等を拡大する事が望ましい。
Since the electronic medical record is a complete database for each patient and cannot be created in different software or files for each different input method at the same medical institution, the voice input method (for example, normal mode and no-touch mode) can be selected. It is desirable that it be done instantly.
Therefore, when the voice input button on the mouse side is pressed, it is automatically set to the normal mode, and when the corner of the notebook computer is pressed or the belt / wrist switch is pressed, it is automatically set. It is more efficient to define it on the hardware (including the operating system) side so that it will be in no-touch mode.
In addition, when developing a new notebook computer dedicated to medical treatment, it is advantageous for hand hygiene to be able to operate the mouse by specifying the position at the joint on the opposite side of the finger, so it is desirable to increase the size of the "touch pad". ..
<コンピュータプログラム入力における実施形態>
電子カルテ同様に、特定ワードの優先認識やタッチ句読点のカスタマイズで、専用機以上の能力を発揮できる例として、音声入力によるコンピュータプログラミング(ボイスコーディング:Voice coding)がある。
このボイスコーディング自体は公知技術であるが、本実施による手法は、半透明句読点タッチ領域をプログラム入力において多用するものに切り替えることで実現する。
<Embodiment in computer program input>
Similar to electronic medical records, there is computer programming (voice coding: voice coding) by voice input as an example in which priority recognition of a specific word and customization of touch punctuation marks can exert more capabilities than a dedicated machine.
This voice coding itself is a known technique, but the method according to this embodiment is realized by switching the semi-transparent punctuation touch area to one that is frequently used in program input.
日本語入力におけるにおけるテキスト入力において、〔0027〕の認識前画面における図1を例にすれば「カタカナ優先」が存在するが、コンピュータのプログラムでは使用しない文字である。
よってそれらの領域を 例 function(ファンクション:関数) 例2 arry(アレイ:連想配列)などに割り振る。
また同様に一部の句読点(鉤ぎカッコ起点や太字)などもプログラムでは使用しないので、{ }(中カッコ)や;(セミコロン)などプログラムで多用する物に割り振る。
In the text input in Japanese input, "Katakana priority" exists in FIG. 1 on the pre-recognition screen of [0027] as an example, but it is a character that is not used in a computer program.
Therefore, those areas are allocated to Example function (function: function) Example 2 ary (array: associative array).
Similarly, some punctuation marks (starting point of hook brackets and bold) are not used in the program, so they are assigned to things that are frequently used in the program, such as {} (curly braces) and; (semicolon).
また、音声認識の「プログラム優先」認識を設定し、前述の「ふぁんくしょん」「あれい」なども、機器側の音声認識率を上げて対応する。
専門的なプログラム用語に限らず、エクセルマクロ(登録商標)における、TRUE(トゥルー:正常値) FALSE(フォルス:不正値)なども認識率が上がるが、〔0033〕欄の記載における計算式優先と異なり、自動で計算式の書式には移行しない。
In addition, "program priority" recognition of voice recognition is set, and the above-mentioned "Funkshon" and "Arei" are also supported by increasing the voice recognition rate on the device side.
Not limited to specialized program terms, the recognition rate of TRUE (true: normal value), FALSE (false: invalid value), etc. in Excel macro (registered trademark) also increases, but the calculation formula priority in the description in column [0033] Unlike, it does not automatically shift to the calculation formula format.
音声入力でプログラム作業を開始した場合、当面の間は前記「プログラム優先」を継続し続けることになる。
そうした際に発声前の都度、プログラム優先のタッチ領域を押すことは操作者の負担になり、最速化の目的にも合致しないため、プログラム優先タッチ領域と音声入力Lockタッチ領域を同時にタッチすると、「プログラム優先」にもLockがかかり、常に優先識別が適用され続けることで解決できる。
これを解除する場合は、〔0030〕欄の記載と同様に音声入力Lock領域を再度タッチしすぐ離す入力方法で解除を行う。
またプログラムの件とは別であり、用途も稀な例であるが、カタカナ優先や英字優先などでも同様の同時押しタッチで特定認識のLockをし続けることができる。
洋食のメニュー原稿を作成するときなど、カルボナーラ ペスカトーレ ジェノベーゼ アラビアータ… (Carbonara)(Pescatora)(genovese)(Arrabbiata)…など、カタカナ・英文などを連続して単語のみで入力する状況も有り得るからである。
この特定認識Lock継続は、後述〔0132〕欄に記載の携帯機以下のサイズの機器における、各優先認識タッチ領域の押したままによる、太字やアンダーバーなど書体を整える特殊操作とは別個のプログラムである。
When the program work is started by voice input, the above-mentioned "program priority" will be continued for the time being.
In such a case, pressing the program priority touch area each time before utterance is a burden on the operator and does not meet the purpose of speeding up. Therefore, if the program priority touch area and the voice input Lock touch area are touched at the same time, ""Programpriority" is also locked, and it can be solved by constantly applying priority identification.
To cancel this, the voice input Lock area is touched again and immediately released in the same manner as described in the [0030] column.
In addition, although it is different from the case of the program and its use is rare, it is possible to continue to lock the specific recognition by the same simultaneous pressing touch even in katakana priority and alphabet priority.
This is because, for example, when creating a menu manuscript for Western food, there may be a situation in which katakana and English sentences are continuously input only in words, such as Carbonara (Pescatora) (genovese) (Arrabbiata).
This specific recognition lock continuation is a program separate from the special operation of adjusting the typeface such as bold and underscore by pressing and holding each priority recognition touch area in the device of the size smaller than the portable device described in the column [0132] described later. be.
また、プログラミングにおいては、日本語のテキスト入力で使用する鉤ぎ括弧『「 』及び『 」』は使用しない句読点タッチ領域になる。
更に〔0046〕欄に記載のとおり短文も句読点タッチとして登録できることを応用して、ほぼ全ての半透明句読点タッチ領域に「プログラミング言語やプログラムで多用する記号」に充てる方法が有効になる。
ただ句読点タッチ領域にランダムに割り振る訳ではなく、図12(A)に示す認識前画面の半透明句読点タッチ領域121には「プログラムの行のはじめ」に使用されやすいプログラミング言語や記号を、図12(B)に示す認識中画面の半透明句読点タッチ領域122には「プログラムの行の中間点」に使用されやすいプログラミング言語や記号を、図12(C)に示す編集・修正画面の半透明句読点タッチ領域123には「プログラムの行の末尾」に使用されやすいプログラミング言語や記号を重視して配分する。
認識前画面と認識中画面及び編集・修正画面のプログラミング用語では、プログラム内容によっては前後する場合もありえるため、「認識前画面にジャンプ」「編集・修正画面にジャンプ」と言った句読点タッチ領域を設定することで対応する。
なお各画面の空白領域は、全て操作者が任意にカスタマイズした、プログラム用語とプログラム句読点の領域である。
Also, in programming, the hook brackets """and""" used for Japanese text input are punctuation touch areas that are not used.
Furthermore, by applying the fact that short sentences can be registered as punctuation touches as described in the [0046] column, it is effective to allocate almost all translucent punctuation touch areas to "symbols frequently used in programming languages and programs".
However, it is not randomly assigned to the punctuation touch area, but the semi-transparent
In the programming terms of the pre-recognition screen, the recognition middle screen, and the edit / correction screen, the punctuation touch areas such as "jump to the pre-recognition screen" and "jump to the edit / correction screen" may change depending on the program content. Correspond by setting.
The blank areas on each screen are areas for program terms and program punctuation marks that are arbitrarily customized by the operator.
コンピュータプログラミングを汎用コンピュータで一般の者が行う場合と異なり、より専門性の高いプログラマーやデーターエントリー業(パンチ入力の専門業)などにおいては、究極の入力スピードを要求するため、入力機器の持ち替えも行わないようマウス操作にも依存しないのが一般的である。
それらの業種はテンキーを中央配置し、ファンクションキーを多数追加した専用キーボードを使用している。
また、プログラム言語は桃色・水色・黄色など複数の文字色が同時にモニター内に表示される。
〔0035〕欄の記載においてクイックカラーチェンジ機能があったとしても、より専門度が高まるほど画面タッチ句読点は色調が重なることも含めて視認の障害になり、前述のとおり〔0050〕欄に記載の多機能マウスに持ち替えることも無いため、当然画面タッチで手をキーボードから離す行為自体専門職の最速化目的には合致しない。
そうした場合は、プログラム(パンチャー)専用キーボードに「音声入力ボタン」が追加されるだけで良く、多数配置されたファンクションキーで足りないプログラム言語を音声入力する機能だけで、画面表示を妨げず且つ持ち替えも無く、プログラミング作業の最速化に寄与できる。
このように、汎用機(個人)から専用機(専門業)まで、画面タッチの有無や多機能マウスの有無などと組み合わせ、操作者の用途に適合した音声入力機能を付与したコンピュータプログラムの環境を提供できる。
なお、2020年からプログラミングは日本の義務教育に導入されるため、社会的貢献も期待できる実施手法である。
Unlike the case where computer programming is performed by a general person on a general-purpose computer, more specialized programmers and data entry businesses (specialized punch input businesses) require the ultimate input speed, so it is necessary to switch input devices. Generally, it does not depend on mouse operation so that it is not performed.
Those industries use a dedicated keyboard with the numeric keypad centered and a large number of function keys added.
In addition, as for the programming language, multiple character colors such as pink, light blue, and yellow are displayed on the monitor at the same time.
Even if there is a quick color change function in the description in the column [0035], the screen touch punctuation marks hinder the visual recognition including the overlapping of the color tones as the degree of specialization increases, and as described above, the description in the column [0050]. Since there is no need to switch to a multifunctional mouse, the act of releasing the hand from the keyboard by touching the screen itself does not meet the purpose of speeding up the profession.
In such a case, it is only necessary to add a "voice input button" to the keyboard dedicated to the program (puncher), and only the function to input the programming language that is insufficient with the many function keys arranged by voice does not interfere with the screen display and it can be changed. It can contribute to the fastest programming work.
In this way, from general-purpose machines (individuals) to dedicated machines (professionals), a computer program environment with a voice input function suitable for the operator's purpose can be created by combining the presence or absence of screen touch and the presence or absence of a multifunction mouse. Can be provided.
Since programming will be introduced into compulsory education in Japan from 2020, it is an implementation method that can be expected to contribute to society.
<身体障碍者の入力における実施形態>
特殊な例となるが、両上肢に障害を持つ者が使用する場合には、図13(A)に示すような、足踏みで操作できるタッチパッド130を使用することができる。
足踏みタッチで句読点を選択可能であり、足でポインタの移動を指示する位置指定領域131を備えたマウスの併用で、入力の支援を行うツールと成り得る。
かかる図13(A)に示す足踏みタッチパッド130においては、足の動きによる操作であることから、ダブルクリック処理の受付時間は比較的長く設定することが望ましい。
図13(A)に示す様に、左ボタン領域132及び右ボタン領域134は、通常のマウスの左ボタン及び右ボタンに該当する。
なお、片足だけが健常な場合を考慮し、左ボタン領域132の左端領域133、及び右ボタン領域134の右端領域135を指定すると、当該領域の指定状態が維持され、再度指定することにより、当該指定状態を解除するように構成することもできる。
また、足元スペースの制限やコスト観点から、一枚のマットを、句読点などの記号を指定する為の「句読点タッチ処理用のパッドと、通常のマウスとしての処理を行うパッドマウス操作」とで切り替えて使用する「句読点モード切替」指定領域136を設けることもできる。
当該指定領域136のタッチ後は、図13(B)に示す句読点モードの足踏みタッチパッドに移行し、テキストの音声入力において、句読点等の入力補助が行える。
但し、コンピュータに関する〔0027〕欄における認識前画面とは異なり、図13(B)に示す位置指定領域モードの足踏みタッチパッドに移行する指定領域137として「マウス操作に戻る」を設ける。
また、かかる足踏みタッチのパッド130は、脳卒中などで右半身/左半身麻痺が発症した場合も有効に使用できる。
この場合、前述〔0050〕欄で示した多機能マウスと、足踏み句読点パッドを組み合わせることで、健常者に近い速度で、コンピュータの入力や執筆作業が可能になる。
現代社会において、コンピュータを健常者同様に扱えるようになることは、身体障碍者の社会進出や労働力不足の解消にとても有効である。
<Embodiment in Input of Physically Handicapped Person>
As a special case, when used by a person with a disability in both upper limbs, a
Punctuation marks can be selected by stepping on the touch, and by using a mouse provided with a
In the stepping
As shown in FIG. 13A, the
In consideration of the case where only one leg is healthy, if the
Also, from the viewpoint of space restrictions and cost, one mat can be switched between "a pad for punctuation touch processing and a pad mouse operation for processing as a normal mouse" for specifying symbols such as punctuation marks. It is also possible to provide a "punctuation mode switching" designated
After touching the designated
However, unlike the pre-recognition screen in the [0027] column relating to the computer, "return to mouse operation" is provided as the designated
In addition, the stepping
In this case, by combining the multifunctional mouse shown in the above-mentioned column [0050] with the stepping punctuation pad, computer input and writing work can be performed at a speed close to that of a healthy person.
In modern society, being able to handle computers in the same way as healthy people is very effective in solving the social advancement and labor shortages of people with physical disabilities.
『第2の実施の形態:スマートフォンサイズの携帯端末』
携帯端末、特にスマートフォンサイズの携帯端末については、より複雑となる携帯翻訳機で形成した音声入力装置の実施の形態に基づいて説明する。
よって、図14の携帯翻訳機の初期画面に示すように、本実施の形態に係る音声入力装置は、母国語入力ボタン143と、相手方の外国語入力ボタン141の両方が存在する。
また両ボタンの中間に位置するCボタン142については、画面内タッチ領域「一つ戻る」の機能に近い、クリア及びキャンセルを意味する「C」と、変換つまりチェンジ及びコンバージョンを意味する「C」を兼用しており、その使用法については後述する。
オンライン・オフライン状態を問わず、音声で入力可能な携帯翻訳機自体は既存商品が多数存在するが、母国語側を入力する際に、キーボードやマウスを接続せずに編集・修正等を可能とすることが、本実施の形態に係る音声入力装置の最大の特徴である。
母国語入力側の認識がそもそも間違っていれば、翻訳結果は当然間違った意味、つまり相手側の外国人に致命的な誤解を与えることから、携帯翻訳機において最も必要とされる能力になる。
"Second embodiment: smartphone-sized mobile terminal"
A mobile terminal, particularly a smartphone-sized mobile terminal, will be described based on an embodiment of a voice input device formed by a more complicated mobile translator.
Therefore, as shown in the initial screen of the portable translator of FIG. 14, the voice input device according to the present embodiment includes both the native
Regarding the
There are many existing mobile translators that can input by voice regardless of whether they are online or offline, but when inputting the native language side, it is possible to edit and modify without connecting a keyboard or mouse. This is the greatest feature of the voice input device according to the present embodiment.
If the recognition of the native language input side is wrong in the first place, the translation result will naturally have the wrong meaning, that is, it will give a fatal misunderstanding to the foreigner on the other side, so it will be the most required ability in the mobile translator.
図14は、音声入力の言語が選択される前の画面である(以下「初期画面」とする)。
この音声入力携帯翻訳機では、国旗が各ボタン上に並列に表示されており、「何語と何語の翻訳機器」の意味を表した状態を示している。
外国語の種類設定を変更した場合や、電源を入れた直後状態の画面でもある。
この状態の国旗部分145を画面タッチすると、翻訳言語の選択設定画面に移行することができる。
なお、国旗自体は母国語と外国語ボタンの「ボタン色」と一致した色で囲われた状態で表示され、ボタンとの共通性を操作者や相手方の外国人に判りやすくしている。
当該のボタンと同色の囲みや、国旗の表示自体も半透明色で表示し、認識前画面内における句読点タッチ領域の説明が全く視認できない状態にならないように構成する。
また、国旗以外の空白部分を左フリック操作146することで機器のシステム設定の画面にジャンプし、右フリック操作147の場合は後述〔0117〕欄に記載のプレゼンテーション画面へジャンプする。
FIG. 14 is a screen before the voice input language is selected (hereinafter referred to as “initial screen”).
In this voice input portable translator, national flags are displayed in parallel on each button to indicate the meaning of "what word and what word translation device".
It is also the screen when the foreign language type setting is changed or immediately after the power is turned on.
By touching the screen of the
The national flag itself is displayed in a state surrounded by a color that matches the "button color" of the native language and foreign language buttons, making it easy for the operator and the foreigner of the other party to understand the commonality with the buttons.
The box in the same color as the button and the national flag display itself are also displayed in semi-transparent color so that the explanation of the punctuation touch area in the pre-recognition screen is not invisible at all.
Further, by flicking the blank part other than the national flag to the
この初期画面において、仮に日本語から英語への翻訳を行う際には、音声入力ボタンの日本語ボタン143を押すと、画面144に並列表示している国旗に上下関係が発生し、図15に示す画面例の通りであれば、日本語から英語へ翻訳する状況が視覚的に判る。
これは相手方の外国人に変化状態を伝え易くさせる為である。
On this initial screen, if the
This is to make it easier to inform the foreigner of the other party of the changed state.
この図15は、一音声も機器が感知しない状態の句読点等の表示を示す。
配置の例としては、「数字優先」「英字優先」「カタカナ優先」「無変換」「( 」「「 」「記号及び設定画面」(この2項目は同一タッチ領域の中で交互に明滅している)「@」「音声入力Lock」「単語」「※」「一つ戻る」などである。
この状態がコンピュータにおける認識前画面と同義の状態となる。
記号については、音声入力であっどまーく「@」、くえすちょんまーく「?」と単発で指定する方法である。
単語については、事前登録を行い、操作の際は「単語」の指定領域を画面タッチで選択した後で、該当単語音声入力の出だしから予測変換され、この表示単語で正しいか否かの「Y/N」表示部を画面に出現させ、例えば「Y」の画面タッチで選択して当該単語を選択する。
頻繁に使う記号等を設定画面で自由配置できるのはコンピュータにおける〔0046〕欄の場合と同様である。
また後述〔0108〕欄で示す修正・編集画面内でも、一部の句読点や記号はテキストの積み上がり後であっても後付け入力できる。
FIG. 15 shows the display of punctuation marks and the like in a state where the device does not detect even one voice.
As an example of arrangement, "number priority", "alphabet priority", "katakana priority", "no conversion", "(", """," symbol and setting screen "(these two items blink alternately in the same touch area). Yes) "@""Voice input Lock""Word""*""Returnone" etc.
This state is synonymous with the pre-recognition screen on the computer.
As for the symbol, it is a method to specify by voice input as "@" and "?"
For words, pre-register, select the designated area of "word" by touching the screen at the time of operation, and then predictive conversion is performed from the beginning of the corresponding word voice input, and "Y" whether or not this displayed word is correct. The / N "display unit appears on the screen, and the word is selected by, for example, touching the screen of" Y ".
Frequently used symbols and the like can be freely arranged on the setting screen as in the case of the [0046] column in the computer.
Further, even in the correction / editing screen shown in the [0108] column described later, some punctuation marks and symbols can be retrofitted even after the texts are piled up.
携帯翻訳機は専用機であり、背景色が一定で変化しないため、コンピュータの〔0035〕欄で説明したような、クイックカラーチェンジは必要としない。
しかしながら「半透明句読点タッチ」であることは共通であり、視覚障がいの中の「色弱障がい」の場合、句読点が一色のみの場合視認出来ない可能性がある。
よって「桃色」「水色」「緑色」「橙色」の色調選択や、句読点タッチのカスタマイズはコンピュータ同様に行える。
携帯翻訳機(スマートフォンを含む)、以下のサイズの機器は、画面のタッチ領域の一つ一つの面積が小さく、コンピュータにおける「タッチ領域とは別個に設定画面に移行するアイコンをクリックする」手法が困難であるため、音声入力自体が機器本体へのコマンドを兼ねることができる。
これは後述の〔0123〕欄におけるタイプライターモードにおいて、その手法を説明する。
Since the portable translator is a dedicated machine and the background color is constant and does not change, a quick color change as described in the [0035] column of the computer is not required.
However, it is common to have "semi-transparent punctuation touch", and in the case of "color blindness" among visually impaired people, there is a possibility that they cannot be visually recognized if there is only one color of punctuation marks.
Therefore, you can select "pink", "light blue", "green", and "orange" tones and customize the punctuation touch in the same way as a computer.
For mobile translators (including smartphones) and devices of the following sizes, the area of each touch area on the screen is small, and the method of "clicking the icon that moves to the setting screen separately from the touch area" on the computer is used. Since it is difficult, the voice input itself can also serve as a command to the device body.
This will explain the method in the typewriter mode described in the [0123] column described later.
コンピュータの〔0043〕欄にて説明した専用アイコンクリックと異なり、タッチ領域の一箇所に特殊な処理を掛けて、音声入力を用いずに設定画面に移行することもできる。
携帯翻訳機における設定画面へのジャンプと、その詳細について図16及び17を参照して説明する。
図16(A)は「記号及び設定画面」のタッチ領域161を長押し(2秒程度、以下同じ)し、「設定画面」へのジャンプ(遷移)を実行した状態を示している。
同一のタッチ領域に別々のコマンドを指定する手法と目的は次項にて説明する。
図16(B)は、コンピュータ〔0045〕欄の記載同様に、句読点タッチ領域の80% 程度への縮小と、それに伴い生じたスペースに「設定画面専用のタッチアイコン」162を表示した状態を示している。
更に当該設定画面専用のタッチアイコン162における上列専用タッチアイコンのうち「認識中画面」を選択し、音声認識中のタッチ領域区分けの画面を呼び出した状態を示している。
図16(C)は「変換」のタッチ領域163を「記号」のタッチ領域の場所へ、ドラック&ドロップ操作で移動している状態であり、手順や結果はコンピュータの例と同様である。
図16(D)は「色調変更」のタッチ領域164を選択した場合の画面遷移を示している。
図17(A)は、後述〔0123〕欄に記載する、「タイプライターモード」での音声入力による機器への指示で、設定画面を呼び出す状況を示している。この例では、母国語入力ボタン143と、相手方の外国語入力ボタン141の両方の選択により、当該処理を実行している。
図17(B)は「※」のタッチ領域171を長押しし、タッチ領域の移動や内容変更を受け付けている状態を示している。
図17(C)は、音声入力を再度開始し、「音声太郎」と自身の名前をタッチ領域として設定する状況を示している。
その範囲指定や画面の遷移は、後述の〔0091〕欄において説明する。
図17(D)は、句読点タッチ領域の「決定」を確認している状態を示しており、「Y」 をタッチすることで決定され、「N」のタッチで「一つ戻る」が選択されたものと同義となる。
Unlike the dedicated icon click explained in the [0043] column of the computer, it is possible to apply a special process to one part of the touch area to move to the setting screen without using voice input.
The jump to the setting screen in the portable translator and its details will be described with reference to FIGS. 16 and 17.
FIG. 16A shows a state in which the
The method and purpose of specifying different commands in the same touch area will be explained in the next section.
FIG. 16B shows a state in which the punctuation mark touch area is reduced to about 80% and the “touch icon dedicated to the setting screen” 162 is displayed in the space created by the reduction, as described in the computer [0045] column. ing.
Further, it shows a state in which the "recognizing screen" is selected from the upper row dedicated touch icons in the
FIG. 16C shows a state in which the
FIG. 16 (D) shows the screen transition when the
FIG. 17A shows a situation in which the setting screen is called by an instruction to the device by voice input in the “typewriter mode” described in the column [0123] described later. In this example, the process is executed by selecting both the native
FIG. 17B shows a state in which the
FIG. 17C shows a situation in which voice input is restarted and "voice Taro" and his / her own name are set as a touch area.
The range specification and screen transition will be described in the [0091] column described later.
FIG. 17 (D) shows a state in which "decision" of the punctuation touch area is confirmed, and it is determined by touching "Y", and "going back one" is selected by touching "N". It is synonymous with punctuation.
句読点等タッチ領域のカスタマイズの各種の移行方法と設定(句読点のカスタマイズ)画面のレイアウト、設定できる項目(色調・フォント・分割数及び配置など)については、図18にて説明する。
この図18において、カギ括弧(「 」)、句点(。)、読点(、)、丸括弧(( ))等は、相互にドラッグアンドドロップで表示位置の交換が可能であり、エクスクラメーションマーク(!)の表示領域を長押し後、音声入力「アットマーク」で「@」を入力できる。
また「単語登録」の表示領域を長押し後、「新規/変更?」の確認から音声入力で、漢字と読みかなをそれぞれ入力し単語の登録をする。
図17内の記号と設定画面は前項の通り交互に明滅しており、タッチしてすぐ離せば「次の一フレーズ音声入力は記号選択のコマンド」に機器側の認識が変化することになるが、一定時間以上同箇所のタッチ領域を押したままの場合は、設定画面へのジャンプコマンドとして機器側が認識するものである。
このように限られたタッチ領域に「兼用」を掛けるものである。
なお、兼用は必須ではなく、設定画面内で記号を削除(色調反転後の右フリック操作)で「設定画面へのジャンプ」の単独タッチにもカスタマイズできる。
ほか、タッチ領域の入れ替えや変更はコンピュータの〔0046〕欄に記載した手法に準じるが、キーボードは存在しないため、新しい句読点や単語の登録方法は、既存のタッチ領域の一定時間長押し色調反転後に音声入力にて行う。
手法自体は後述〔0091〕欄に記載の誤認識時の言い直し操作と同様である。
Various migration methods and settings for customizing touch areas such as punctuation marks (customization of punctuation marks) The screen layout and the items that can be set (color tone, font, number of divisions, arrangement, etc.) will be described with reference to FIG.
In FIG. 18, the display positions of the key brackets (""), punctuation marks (.), Comma (,), parentheses (()), etc. can be exchanged by dragging and dropping, and the exclamation mark. After pressing and holding the (!) Display area, you can enter "@" with the voice input "at sign".
Also, after long-pressing the display area of "Word registration", after confirming "New / change?", Enter the kanji and reading kana by voice input to register the word.
The symbols and setting screens in FIG. 17 are blinking alternately as in the previous section, and if you touch and release them immediately, the recognition on the device side will change to "The next one phrase voice input is a symbol selection command". If the touch area at the same location is held down for a certain period of time or longer, the device recognizes it as a jump command to the setting screen.
The "combined use" is applied to such a limited touch area.
In addition, it is not essential to use both, and you can customize it by deleting the symbol in the setting screen (right flick operation after color tone inversion) and touching "Jump to setting screen" alone.
In addition, the touch area can be replaced or changed according to the method described in the [0046] column of the computer, but since there is no keyboard, new punctuation marks and word registration methods can be performed by pressing and holding the existing touch area for a certain period of time after reversing the color tone. Perform by voice input.
The method itself is the same as the rephrasing operation at the time of erroneous recognition described in the column [0091] described later.
また操作者が音声入力の実施中に、操作や音声入力する内容・構成を大きく失敗したり、操作に混乱した場合には、後述の「一つ戻る」(若しくはCボタン)指定領域の画面タッチを長押しすることで、音声入力ボタン前の初期画面(国旗並列状態で句読点タッチの無い画面)に戻る。
全て一からやり直す「リセット操作」の意味合いを持つ。
In addition, if the operator makes a big mistake in the operation or the content / configuration of the voice input during the voice input, or if the operation is confused, touch the screen of the "back one" (or C button) designated area described later. Press and hold to return to the initial screen before the voice input button (the screen without punctuation touch in the national flag parallel state).
It has the meaning of "reset operation" to start over from scratch.
コンピュータにおける〔0038〕欄の記載と同様に一音声でも機器が認識すると、上下関係が生じていた国旗表示は消えて、音声認識されたテキストが積みあがるのと同時に、図19の認識中画面に示すように、音声入力時に使用する次の句読点候補表示の画面に自動遷移する。
配置の例としては、「。」「、」「変換」「( 」「「 」「改行」「 )」「 」」「音声入力Lock」「単語」「記号」「一つ戻る」などである。
仮に音声入力したまま、機器本体のAIによる自動変換で、入力したい母国語テキストが初めから正確に完成されていたら、音声入力ボタンを離すことで、インターネット等を介して翻訳用AIに送信され、翻訳結果を待つことになる。
つまり、以降説明する各種の修正や編集の手法は「もし間違いの発見や修正したい箇所があった場合」の説明であり、現行の修正・編集のできない音声入力の携帯機器に対して、本発明はレスポンスの面で全くデメリットが存在しない。
なお、図19内のテキストにおいては、コンピュータの〔0055〕欄と同様の認識誤りが発生している状況と仮定して表示させている。
また、修正が可能になる性質上、長文の入力ケースが増えることが予想され、画面内に音声入力で積み上がったテキストが入りきらない場合、後述〔0089〕欄に記載の編集・修正画面で多用するスクロールバー同様の「画面位置選択縦バー」が自動出現する。
When the device recognizes even one voice as described in column [0038] on the computer, the flag display that has a hierarchical relationship disappears, and at the same time as the voice-recognized text is piled up, the recognition screen of FIG. 19 appears. As shown, the screen automatically transitions to the next punctuation candidate display screen used for voice input.
Examples of the arrangement are "."",""Conversion""(""""" Line feed "") """""Voice input Lock""Word""Symbol""Return by one".
If the native language text you want to input is completed accurately from the beginning by automatic conversion by AI of the device body with voice input, by releasing the voice input button, it will be sent to the translation AI via the Internet etc. You will have to wait for the translation result.
That is, the various correction and editing methods described below are explanations of "if there is a mistake found or a part to be corrected", and the present invention is applied to the current portable device for voice input that cannot be corrected or edited. Has no disadvantages in terms of response.
It should be noted that the text in FIG. 19 is displayed on the assumption that a recognition error similar to that in the [0055] column of the computer has occurred.
In addition, due to the nature of being able to make corrections, it is expected that the number of long text input cases will increase, and if the text accumulated by voice input does not fit on the screen, use the edit / correction screen described in the [089] column below. A "screen position selection vertical bar" similar to the frequently used scroll bar automatically appears.
文章の構成全体に失敗したと操作者が判断した場合、音声入力ボタンを離さないまま、Cボタン142を押してすぐ離すと「クリア」の処理が実行されて、全文が消去され、前記図15に示した認識前画面に戻る。
つまり、国旗の上限関係と句読点タッチ表示は維持されるが、今まで音声入力したテキストだけは全て消えて、やり直しの状態になる意味である。
これはリセット操作の〔0084〕欄の記載と異なり、音声認識を継続したまま「冒頭から言い直す」状況へ操作できる方が、携帯翻訳機のインターネット環境への接続の繰り返しが起きないため、機器への負荷(接続エラー)やレスポンスの面で有利になるからである。
もしもその後で音声入力ボタンを離せば、〔0078〕欄の記載と同様に国旗並列の初期画面に戻ったり、外国語ボタン141を押せば、すぐ英語から日本語に翻訳する認識前画面になる。
この場合は翻訳AIとの接続カットや、選択する外国語によってはインターネット内に存在する別の翻訳AIの選択し直し(再接続)が発生する。
また、外国語ボタン141を押した場合、設定によっては後述〔0120〕欄に記載の通り画面の天地表示は逆になる。
When the operator determines that the entire composition of the sentence has failed, if the
In other words, the upper limit relationship of the national flag and the punctuation touch display are maintained, but all the text input by voice until now disappears, and it means that it will be in a state of redoing.
This is different from the description in the [0084] column of the reset operation, and if you can operate to the situation of "rephrasing from the beginning" while continuing voice recognition, the mobile translator will not be repeatedly connected to the Internet environment, so go to the device. This is because it is advantageous in terms of load (connection error) and response.
If the voice input button is released after that, the screen returns to the initial screen in parallel with the national flags as described in the [0078] column, or if the
In this case, the connection with the translation AI may be cut, or another translation AI existing on the Internet may be reselected (reconnected) depending on the foreign language selected.
Further, when the
音声入力ボタンから指を離さず、若しくは「音声入力Lock」の選択領域を画面タッチ後に音声入力ボタンを離しても、コンピュータにおける〔0029〕欄の記載と同様に、音声入力ボタンは押され続けている物と定義される。
これは長文を入力する際に、コンピュータ同様に操作者の負担を軽減する為であり、解除の手法も〔0030〕欄の記載と同様にLockを再度タッチして離した瞬間に実行される。
Even if you do not release your finger from the voice input button or release the voice input button after touching the screen in the selection area of "Voice input Lock", the voice input button continues to be pressed as described in the [0029] column on the computer. Defined as being.
This is to reduce the burden on the operator when inputting a long sentence like a computer, and the release method is also executed at the moment when the Lock is touched and released again as described in the [0030] column.
本実施の形態に係る携帯翻訳装置は、コンピュータにおける〔0055〕欄の記載と同様、ある程度テキストが積み上がった状態で、一定時間音声入力無音状態を機器が感知すると図20に示す様に、編集・修正画面に自動遷移する。
句読点タッチ項目等の配置の例としては、左上から右下にかけて「「 」「 」」「。」「、」「一つ戻る」「変換」「?」「!」「初期句読点に戻る」などを設けるものである。
操作者が話す内容に迷ったり、言い淀んで意図せずこの画面に遷移しても、追加で音声入力を続ければ、図19に示す認識中画面に戻り、末尾に音声入力でのテキストが積み上がることは変わらない。
The portable translation device according to the present embodiment is edited as shown in FIG. 20 when the device detects a voice input silence state for a certain period of time in a state where texts are piled up to some extent, as described in the [0055] column of the computer.・ Automatic transition to the correction screen.
As an example of the arrangement of punctuation touch items, """""""."",""Backone""Conversion""?""!""Return to initial punctuation" from the upper left to the lower right. It is to be provided.
Even if the operator is confused about what to say, or even if he / she unintentionally transitions to this screen, if he / she continues to input voice, the screen will return to the recognition screen shown in FIG. It doesn't change to go up.
本実施の形態に係る携帯翻訳装置は、コンピュータと異なり、キーボードだけではなく、マウスに相当する機能も存在しないため、編集・修正画面において、修正したい個所の指定は機器本体画面(タッチパネル)に指で画面タッチをすることになる。
よって図20に示す編集・修正画面に遷移すると、それまで入力したテキストは自動的にフォントが拡大され、字間も空白の広いレイアウトに変化する。
そのため、図19に示した認識中画面の状態では、画面内に全テキストが収まっていても、図20に示す編集・修正画面に遷移した瞬間に、フォントと字間の拡大及び補助入力表示部203の出現により、修正テキスト入力画面201内に収まらなくなるケースは多く、縦スクロールバー202による表示画面位置の移動機能は必須の物となる。
Unlike a computer, the portable translation device according to this embodiment does not have a function equivalent to a mouse as well as a keyboard. Therefore, on the edit / correct screen, the part to be corrected can be specified by pointing to the device main body screen (touch panel). You will touch the screen with.
Therefore, when the screen transitions to the edit / correction screen shown in FIG. 20, the font of the text input up to that point is automatically enlarged, and the layout changes to a wide space between characters.
Therefore, in the state of the recognizing screen shown in FIG. 19, even if all the text is contained in the screen, the font and the character spacing are enlarged and the auxiliary input display unit is displayed at the moment of transition to the edit / correction screen shown in FIG. With the advent of 203, there are many cases where the correction
コンピュータに比べて画面サイズがより小型化する携帯機器などについては、編集・修正画面のタッチ領域分割数をデフォルト(初期値)では9分割としており、コンピュータよりも領域数が減少するため音声入力Lockタッチを配置していない。
よって当該ロックの解除(携帯翻訳機においては、編集・修正作業が完了し翻訳AIに送信する行為)を行いたい場合、コンピュータでの、段落番号〔0029〕欄に記載のマウス側に音声入力ボタンの解除権を取り戻す操作を応用し、「音声入力ボタン(母国語ボタン)を押してすぐ離す操作」だけでLock解除を可能とする。
勿論、認識前画面等で音声入力Lockタッチを行わず、終始音声入力ボタンを押したまま編集・修正画面に遷移している場合、翻訳AIへの送信は当該音声入力ボタンを「離すだけ」となる。
このようにタッチ領域数が減少する状況を、元々存在する物理ボタンで同様操作の代用とするものである。
これは更に画面サイズが限定される、後述のスマートウォッチにおいても同様である。
For mobile devices, etc., whose screen size is smaller than that of a computer, the default (initial value) number of touch area divisions for the edit / correction screen is set to 9, and the number of areas is smaller than that of a computer. No touch is placed.
Therefore, if you want to unlock the lock (in a mobile translator, the act of completing the editing / correction work and sending it to the translation AI), use the voice input button on the mouse side described in the paragraph number [0029] column on the computer. By applying the operation to regain the right to release the lock, the lock can be released only by "pressing and releasing the voice input button (native language button)".
Of course, if the voice input Lock touch is not performed on the pre-recognition screen, etc., and the screen is transitioning to the edit / correction screen while holding down the voice input button from beginning to end, the transmission to the translation AI is "just release" the voice input button. Become.
In this situation where the number of touch areas decreases, the originally existing physical buttons are used as a substitute for the same operation.
This also applies to smart watches, which will be described later, in which the screen size is further limited.
ここで図21の画面遷移図を参照しながら、編集・修正の具体的方法を説明する。
例文については、コンピュータに関する〔0055〕欄に記載の物と同様であり、以下コンピュータにおいても、音声入力ボタンを離さないまま、キーボードを使用せずに画面タッチだけで、今後説明する同様の操作は全て可能である。
本実施形態で音声入力した例文『音声入浴でも「修正」や「言い直し」などの編集が可能です』における「入浴」を「入力」に編集する場合を例に説明する。
図21に示す様に、先ず、「入浴」を「入力」に変更する場合(即ち、誤認識の修正)には、図21(A)の認識中画面において、音声入力無音状態とすることにより、図21(B)に示す編集・修正画面を表示させる。
そして操作者は、この編集・修正画面において、まず修正したい誤フレーズの起点211と終点212の字間を指で画面タッチして選択する。
これにより機器側は当該起点と終点のテキストを入れ替えたいフレーズの「目的位置」として一時記憶する。
この瞬間、表音文字が明確な言語(日本語など)は、指定範囲全てがひらかなに戻る。
操作者が誤認識なのか、同音異義語だったのかの視認を改めて行えるようにする為である。
「一つ戻る」の選択領域の画面タッチは誤った句読点等を消すほか、始点・終点の位置の画面タッチの操作を誤った場合にも使用する。
そして、そのまま新たな音声入力を加えると、機器側は「上書きしたいフレーズ」として一時記憶する。
この新たな音声入力の活字が画面内に積み上がる際は、図21(C)の修正テキスト入力画面201を表示させ、今まで入力した全文が一時的に画面から消え、言い直している部分のテキストしか画面に出ない処理を実行する。
しかしながら単独フレーズで「にゅうりょく」とだけ話しても、機器側におけるAIでの認識は文章の前後から単語を推測するため、変換精度が低下してしまう。
よって、操作者は、例えば「こんぴゅーたににゅうりょくする」のように、目的である「入力」のテキストが出やすい内容を予測して、音声を発する。
その後、入力テキスト部分の字間の起点211・終点212を画面タッチして選択することで、「上書きしたいフレーズの内容指定」が確定し、図21(D)に示す様に、当初の「入れ替えたい目的位置のフレーズ部分」に入れ替わることで修正結果を得ることができる。
目的単語を得るために、連想して音声入力を行ったとしても、同音異義語が選択されてしまったり、指タッチでの位置指定を誤る可能性はあるため、「変換」と「一つ戻る」タッチ領域は言い直しテキスト視認の障害になり難い、右下の空白部に設定される。
なお、追加言い直しの音声入力のうち範囲指定外の「こんぴゅーたに」及び「する」の部分テキストは「入力」を得る為の一時的な物であり結果的には無視しデータは廃棄するものである。
Here, a specific method of editing / correcting will be described with reference to the screen transition diagram of FIG.
The example sentences are the same as those described in the [0055] column regarding the computer. In the following computer, the same operation described in the future can be performed by simply touching the screen without releasing the voice input button and using the keyboard. Everything is possible.
The case of editing "bathing" to "input" in the example sentence "editing such as" correction "and" rephrasing "even with voice bathing" in the voice input in the present embodiment will be described as an example.
As shown in FIG. 21, first, when changing "bathing" to "input" (that is, correcting erroneous recognition), the voice input is silenced on the recognition screen of FIG. 21 (A). , The edit / correction screen shown in FIG. 21 (B) is displayed.
Then, on the edit / correct screen, the operator first touches the screen with a finger to select the space between the
As a result, the device side temporarily stores the text of the start point and the end point as the "target position" of the phrase to be exchanged.
At this moment, for languages with clear phonetic characters (such as Japanese), the entire specified range returns to hiragana.
This is so that the operator can visually recognize whether the word is a false recognition or a homonym.
The screen touch in the "back one" selection area erases incorrect punctuation marks, etc., and is also used when the screen touch operation at the start and end points is incorrect.
Then, when a new voice input is added as it is, the device side temporarily stores it as a "phrase to be overwritten".
When this new voice input type is piled up on the screen, the modified
However, even if only "Nyuryoku" is spoken as a single phrase, the recognition by AI on the device side guesses the word from before and after the sentence, so the conversion accuracy is lowered.
Therefore, the operator predicts the content in which the target "input" text is likely to appear, such as "computer", and emits a voice.
After that, by touching the screen to select the
Even if you perform voice input in association with the target word, there is a possibility that homonyms will be selected or the position will be specified incorrectly by touching your finger. The touch area is set in the blank area at the bottom right, which is less likely to interfere with the visibility of the rephrased text.
Of the additional rephrasing voice inputs, the partial texts of "computer" and "do" outside the specified range are temporary to obtain "input", and as a result, they are ignored and the data is discarded. It is a thing.
なお、英語入力での言い直しの具体例は以下の通りである。
例文「Please tell me how to operate this machine.(この機械の操作方法を教えてください、の意味)」について、機器側は「Please tell me how to open it with this machine.」(この機械で開く方法を教えてください、の意味)と、一部分だけ誤認識されてしまったとする。
Specific examples of rephrasing in English input are as follows.
Regarding the example sentence "Please tell me how to open it with this machine." ( Meaning, please tell me how to operate this machine), the device side says "Please tell me how to open it with this machine." Please tell me, meaning), and suppose that only a part of it was misrecognized.
この場合には「open it with」部を範囲指定したうえで、「How to operate the machine.」(機械の操作方法)と略して操作者は再度音声入力を行い、得たい認識結果が画面に表示された時に、「operate」部の起点と終点部の画面をタッチして選択する。
これによって、最初に位置指定された「誤ったフレーズ」と2回目の音声入力の「得たいフレーズ」が入れ替わり目的を達する処理がなされる。
In this case, after specifying the range of the "open it with" part, the operator abbreviates "How to operate the machine." (How to operate the machine) and the operator inputs voice again, and the recognition result to be obtained is displayed on the screen. When it is displayed, touch the screen of the start point and end point of the "operate" part to select it.
As a result, the first positioned "wrong phrase" and the second voice input "desired phrase" are exchanged to achieve the purpose.
また、次に図21(E)を参照しながら、「など」を「等」に変更する場合(同音異議語の再変換など)の操作・処理を説明する。
その際「など」の起点211・終点212の指定は前述〔0091〕欄に記載の修正したい目的位置の通りである。
そして変更対象を指定した後に、「Cボタン142」(画面内に変換タッチを設定している場合は「変換」タッチ)を押して選択すると、「チェンジ:change若しくはコンバージョン:conversion」(変換の意味)の処理を実行する。
編集・修正画面において、修正範囲指定後のCボタン142等の選択は、前記音声入力処理時等におけるクリアやキャンセルの処理ではなく、「変換」の処理を実行するようにプログラムで設定する。
これらは、例えば、コンピュータでの文章入力において、入力済のテキストをマウスで範囲指定し色調を反転させてから、変換キーを押したのと同じ処理である。
「Cボタン142」を独立設定するのは、使用頻度が高い携帯翻訳専用機ならではの機能であり、コンピュータやスマートフォンの場合は「変換」はキーボードや画面のタッチ領域の一つとなる。
Next, with reference to FIG. 21 (E), operations and processes when changing “etc.” to “etc.” (reconversion of homophones, etc.) will be described.
At that time, the designation of the
Then, after specifying the change target, press the "
On the edit / modify screen, the selection of the
These are the same processes as, for example, in text input on a computer, the input text is specified in a range with a mouse, the color tone is inverted, and then the conversion key is pressed.
Setting the "
変換候補のパターンについて説明する。
再掲になるが、基本的に変換は起点・終点の位置指定後に、まず選択領域のテキストが「全てひらかな化」される。
次の変換タッチ(若しくはCボタンの選択)で「最初にAIが選択した以外の次の漢字候補を数例」→「全カタカナ」などが変換されて行く。
例えば、(目的文)「この件について誤って○○○を変換した。」と入力したい場合に、機器側から「この件について謝って○○○を返還した。」と同音異義語に認識された場合、起点・終点の選択で「謝って」を起点・終点操作で選択すると、「あやまって」の平仮名に変換される。
そしてこれを操作者は確認し、変換タッチ(若しくはCボタン)を複数回押して、「あやまって」を「過って」→「誤まって」→「誤って」と変換し、目的とするフレーズが出たら変換タッチ(若しくはCボタン)を離さず一定時間長押しすることで確定する。
そして次の「返還」の誤認識部の再変換の為の起点タッチへと、前記同様の操作を続ける。
なお、変換決定コマンドとしてのCボタンの長押しは〔0084〕欄の記載における「リセットして初期画面に戻る」とは別のプログラムであり、変換候補選択中は適用されない。
仮に変換タッチを押しているうちに、目的とする変換候補が行き過ぎてしまった場合には、「一つ戻る」領域を画面タッチすることで、一つ前の候補に戻ることができる。
その際は「一つ戻る」タッチ直後、戻った目的の変換候補が表示されたあと、機器側が(Y/N)の選択肢を表示しYESで決定する。
Noの場合は同音異義語の変換タッチ(若しくはCボタン)を再継続できる。
The conversion candidate pattern will be described.
It will be reprinted, but basically, after specifying the position of the start point and end point, the text of the selected area is "all open".
With the next conversion touch (or C button selection), "several examples of the next kanji candidates other than those selected by AI first" → "all katakana" etc. are converted.
For example, when you want to enter (purpose sentence) "I accidentally converted XX about this matter", the device side recognizes it as a homonym saying "I apologized for this matter and returned XX." In that case, if you select "Apologize" in the start / end point selection and select "Apologize" in the start / end point operation, it will be converted to the hiragana of "Ayame".
Then, the operator confirms this, presses the conversion touch (or C button) multiple times, converts "mistake" to "wrong" → "wrong" → "wrong", and the target phrase. When appears, press and hold the conversion touch (or C button) for a certain period of time to confirm.
Then, the same operation as described above is continued to the starting point touch for re-conversion of the erroneous recognition unit of the next "return".
Note that pressing and holding the C button as a conversion decision command is a different program from "reset and return to the initial screen" in the description in the [0084] column, and is not applied during conversion candidate selection.
If the target conversion candidate goes too far while pressing the conversion touch, the previous candidate can be returned by touching the screen in the "back one" area.
In that case, immediately after touching "Return by one", the conversion candidate for the returned purpose is displayed, and then the device side displays the (Y / N) option and decides with YES.
In the case of No, the conversion touch (or C button) of the homonym can be continued again.
現状のコンピュータの一般的な変換は候補が非常に多く、次々と変換候補が出続けることがあるが、携帯端末の場合は操作上のストレスになるので、候補打ち切りはコンピュータより早くするのが望ましい。
後述〔0102〕から〔0107〕欄に記載する「後から別の言い方で、付け加えてから移動・削除」の処理を実行した方が効率的だからである。
There are so many candidates for general conversion in the current computer, and conversion candidates may continue to appear one after another, but in the case of mobile terminals, it will be an operational stress, so it is desirable to discontinue the candidates earlier than the computer. ..
This is because it is more efficient to execute the process of "adding and then moving / deleting in another way later" described in the columns [0102] to [0107] described later.
携帯翻訳専用機(若しくは翻訳アプリケーションをインストールしたスマートフォン等)に限定する機能であるが、変換候補内に「ダブルクォーテーション内のローマ字」が設定される。
現在のオンラインAI翻訳において、翻訳対象から外して「母国語の原音表現」を外国人側に伝達する場合、この変換候補は必要になる。
なおAIは日々進化しており、将来的には翻訳のルールが変わる可能性はある。
例文を示すと「この曲名は日本語ではさくらんぼと発音します。意味は果物のさくらんぼです。」を、現状のAI翻訳を使用して英語に翻訳した場合には、「This song name is pronounced cherry in Japanese. The meaningis fruit cherries.」となり、また中国語に翻訳した場合には、「▲這▼个曲名用日▲語友▼音▲為▼櫻桃。意思是水果的櫻桃。」となり、意図を伝達できない。
そこで、入力側の日本文に工夫を加え、一回目のさくらんぼの入力時に変換タッチを繰り返し、ダブルクォーテーション内のローマ字の"Sakuranbo"を選択して「この曲名は日本語では"Sakuranbo"と発音します。意味は果物のさくらんぼです。」と入力して、AI翻訳に送信する。
これにより英語では「This song is pronounced "Sakuranbo" in Japanese. The meaning is fruit cherries.」となり、また中国語では「▲這▼个曲名用日▲語友▼音▲為▼"Sakuranbo"。意思是水果的櫻桃。」となり、正確な翻訳結果を得ることができる。
そしてその後に、現状のインターネット内の一般的翻訳ソフトの音声出力マイクアイコン等をクリックしても、日本語の発音に近い「さくらんぼ」は聞き取ることができ、目的を達する。
これは、自分の名前を紹介する場合にも、AI側に勝手に翻訳されてしまうことを防ぐ変換手法となる。
This function is limited to mobile translation-only machines (or smartphones with a translation application installed, etc.), but "Romaji in double quotation" is set in the conversion candidates.
In the current online AI translation, this conversion candidate is necessary when the "original expression of the mother tongue" is transmitted to the foreigner side by excluding it from the translation target.
AI is evolving day by day, and translation rules may change in the future.
To show an example sentence, if "This song title is pronounced as cherry in Japanese. The meaning is fruit cherry ." Is translated into English using the current AI translation, "This song name is pronounced cherry." in Japanese. the meaningis fruit cherries. ", and also when it is translated into Chinese," ▲ crawling ▼个曲name for Date ▲ Kataritomo ▼ sound ▲ for ▼ SakuraMomo. intention Shi water results basis SakuraMomo. ", and the intention I can't communicate.
Therefore, the input side of the day devised in the text added, repeating the conversion touch when you enter the first round of cherries, select the Roman "Sakuranbo" within double quotes "This Song is in Japanese pronounced" Sakuranbo " The meaning is fruit cherries. "And send it to AI translation.
Thereby, in English, "This song is pronounced" Sakuranbo "in Japanese. The meaning is fruit cherries. ", And also in the Chinese "▲ crawling ▼个曲name for Date ▲ Kataritomo ▼ sound ▲ for ▼" Sakuranbo ". Intention Shi Mizuhate manner SakuraMomo. ", and it is possible to obtain an accurate translation result.
After that, even if you click the voice output microphone icon of general translation software on the current Internet, you can hear "cherries " that are close to Japanese pronunciation, and you will reach your goal.
This is a conversion method that prevents the AI side from translating without permission even when introducing one's name.
同音異義語の特殊変換操作について説明する。
これは日常的にあまり使わない、変換選択候補の下位の同音異義語からなる文章内容を作成したい時に使用する手法である。
例文「教会からの宣託を受けました。」 これが目的文である。
誤認識「教会からの選抜を受けました」 「宣託」が周囲環境や機器側の誤認識で「選抜」と認識されてしまったものと仮定する。
前記〔0091〕欄に記載の手法により、「選抜」→「宣託」に言い直し操作を掛けたとする。
様々な手法(表現)で言い直しても日常使用される機会が少ない「宣託」が得られない、次々と「選択」「洗濯」「洗たく」「せんたく」「センタク」「"Sentaku"」などしか候補が出現しない場合は手詰まりが発生してしまう。
よって、変換タッチ(若しくはCボタン)を押したままの状態で「ゆっくり・はっきり一単語だけ」の発声で「せ・ん・た・く」と音声入力を開始し、「く」の字の発声と同時に変換タッチ(若しくはCボタン)を離すと、「せんたく」のひらかなが色調反転して、変換待ちの状態でテキスト化される。
通常のキーボード入力で日本語を入力した状態と同様に、テキスト入力直後に最初から変換キーが押される状況を待っている状態(色調反転若しくは波下線の状態のテキスト)と同じである。
この場合、携帯翻訳機などであっても通常のコンピュータキーボード入力同様に変換候補の下位まで延々と候補が出現し、これで目的の「宣託」を得ることができる。
なお、通常の再変換操作は編集・修正画面内において行われるが、この「ゆっくり・はっきり一単語だけ」の入力時については、音声認識画面中において行う操作なので、変換タッチ(若しくはCボタン142)も、この画面内のままで直接受け付ける。
もし「ひらかなに戻すだけの」操作目的だった場合、編集・修正画面でひらかなに戻したあと、別の修正箇所移行や追加音声入力をした時と同様に、「ひらかなのまま」当該テキストは残されて、別の操作(タッチ)や追加音声入力のテキスト表示に移行するだけであり、全ひらかな化への応用、つまり初期設定では認識中画面には存在しない「無変換タッチ」の代用も兼ねる操作法となる。
The special conversion operation of homonyms will be described.
This is a method used when you want to create a sentence content consisting of homonyms at the lower level of conversion selection candidates, which is not often used on a daily basis.
Example sentence "I received a mission from the church." This is the purpose sentence.
Misrecognition Suppose that "selected by the church" and "delegation" have been recognized as "selected" due to misrecognition of the surrounding environment and equipment.
It is assumed that the operation of rephrasing "selection" → "delegation" is performed by the method described in the above column [0091].
Even if you rephrase it in various ways (expressions), you can't get "commission", which is rarely used in daily life. If only such candidates appear, a stalemate will occur.
Therefore, while holding down the conversion touch (or C button), the voice input of "se-n-ta-ku" is started with the utterance of "slowly and clearly only one word", and the utterance of the character "ku" is started. At the same time, when the conversion touch (or C button) is released, the hiragana of "Sentaku" is inverted in color and converted to text while waiting for conversion.
Similar to the state of inputting Japanese with normal keyboard input, it is the same as the state of waiting for the conversion key to be pressed from the beginning immediately after text input (text in the state of color inversion or wavy underline).
In this case, even with a portable translator or the like, candidates appear endlessly to the lower ranks of conversion candidates as in the case of ordinary computer keyboard input, and the desired "delegation" can be obtained.
The normal reconversion operation is performed in the edit / correction screen, but when inputting this "slowly and clearly only one word", it is performed in the voice recognition screen, so the conversion touch (or C button 142). Is also accepted directly on this screen.
If the purpose of the operation is "just return to hiragana", after returning to hiragana on the edit / correction screen, the text "remains in hiragana" is the same as when moving to another correction part or inputting additional voice. Is left behind and only shifts to another operation (touch) or text display of additional voice input, and it is applied to full hiragana, that is, "non-conversion touch" that does not exist on the recognizing screen by default. It is an operation method that doubles as a substitute.
もしも、こうした操作を頻繁に用いたいと操作者が考えた場合は、Cボタンが元々存在する携帯翻訳機であっても、コンピュータに関する〔0046〕欄の記載の手法と同様にカスタマイズを掛け、認識中画面内にも「変換」のタッチ領域を追加することができる。
但し、Cボタンと変換タッチが同時に押されることは矛盾操作にも繋がるため、Cボタンが別途存在する機器について、変換タッチが認識中画面側に追加設定で存在する場合は、Cボタンに「変換」のコマンド権は与えられず、クリア・キャンセル専用のコマンドボタンとなるようプログラムする。
If the operator wants to use these operations frequently, even if the C button is originally present in the portable translator, the computer can be customized and recognized in the same manner as the method described in the [0046] column. You can also add a "convert" touch area in the middle screen.
However, pressing the C button and the conversion touch at the same time leads to a contradiction operation. Therefore, for a device that has the C button separately, if the conversion touch exists as an additional setting on the recognition screen side, it is converted to the C button. The command right of "" is not given, and it is programmed to be a command button dedicated to clear / cancel.
前項のように変換タッチをカスタマイズで設定せず、Cボタンと兼用している場合、通常は、〔0084〕欄の説明の通りCボタンの長押しは全クリア操作となってしまう。
しかし「長押し全クリア」が実行されるまでの約2秒の間に新たな音声入力を機器側が感知した場合は、全クリアのコマンド認識はキャンセルされ、「ゆっくり・はっきり一単語」のひらかなテキスト化の認識側が優先される。
If the conversion touch is not set by customization as in the previous section and is also used as the C button, normally, long pressing of the C button will result in a full clear operation as described in the [0084] column.
However, if the device detects a new voice input within about 2 seconds until "long press all clear" is executed, the command recognition of all clear is canceled and "slowly and clearly one word" is open. The recognition side of text conversion has priority.
また、マウスを伴っていない携帯端末以下のサイズの機器においても、本発明では音声入力した文章に対しての挿入は以下の要領で行える。
図20に示した編集・修正画面において、表示領域201に表示されたテキストの一点だけ字間を画面タッチにより指定して音声入力を追加で開始すると「フレーズの挿入」処理を実行するように構成する。
図22(A)に示す様に、例えば「この新型機の特徴は言い直しや再変換ができる所です。」と一旦音声入力したテキストに、後から「及び各種の編集」のテキストを、入力済みである「再変換」の後の位置に追加したい場合には、音声入力ボタンをオンにした状態で一定時間の無音状態を維持して、図22(B)に示したような編集・修正画面を表示させる。
そして表示領域201に表示されたテキストにおいて、「再変換」と「ができる」の字間221を、指での一点タッチによって指定した後に、図22(C)に示す様に、追加するテキスト「及び各種の編集」を発音して音声入力し、この修正テキスト入力画面において、音声入力でテキスト化された「及び各種の編集」における入力始点211と終点212を指定する。
これにより、図22(D)に示す様に、当該「及び各種の編集」のテキストが、前記画面タッチによって指定した位置(「再変換」と「ができる」の字間)に挿入され、「この新型機の特徴は言い直しや再変換及び各種の編集ができる所です。」となり目的文を得ることができる。
Further, even in a device having a size smaller than that of a mobile terminal without a mouse, in the present invention, the text input by voice can be inserted as follows.
In the edit / modify screen shown in FIG. 20, when only one point of the text displayed in the
As shown in FIG. 22 (A), for example, "The feature of this new model is that it can be rephrased and reconverted." If you want to add it to the position after the completed "re-conversion", keep the silent state for a certain period of time with the voice input button turned on, and edit / correct as shown in FIG. 22 (B). Display the screen.
Then, in the text displayed in the
As a result, as shown in FIG. 22 (D), the text of "and various edits" is inserted at the position specified by the screen touch (between the characters "reconvert" and "can"), and " The feature of this new model is that it can be rephrased, reconverted, and edited in various ways. "
挿入操作は、別の手法でも行える、これは追加音声入力や移動・削除を伴った挿入操作である。
例文(目的文)「こんにちは、商品棚の果物はとても美味しそうです。飾ってあるりんごとバナナを、各一個ずつ買いたいです。私の所持金は見ての通りですが、足りるでしょうか?」
機器の認識テキスト「今日は、商品棚の果物はとても美味しそうです。飾ってあるりんごとバナナを、各一個ずつ買いたいです。私の所持金は見ての通りですが、タイルでしょうか」 と2箇所誤っている箇所が生じたと仮定する。
1箇所目「こんにちは」が→「今日は」に変換されている、翻訳結果は「Hello」→「Today」になってしまう。
2箇所目「足りる」が→「タイル」に誤認識。
※これらは実際に現行の音声入力携帯翻訳機での誤認例を参考にしている。
また、更に操作者は当初の音声入力の最中に「レモンも一緒に購入したい」と考えたものと仮定する。
The insert operation can also be performed by another method, which is an insert operation involving additional voice input and move / delete.
Example sentence (purpose sentence) "Hello, the fruits on the product shelves look very delicious. I want to buy one apple and one banana on display. As you can see, is my money enough?"
Equipment recognition text " Today , the fruits on the shelves look very delicious. I want to buy one apple and one banana on display. As you can see, my money is a tile ." It is assumed that two mistakes have occurred.
The first place "Hello" is converted to "Today", and the translation result is "Hello" → "Today".
The second place "sufficient" is erroneously recognized as "tile".
* These are actually based on misidentification examples in current voice input mobile translators.
Further, it is assumed that the operator thinks "I want to purchase lemon together " during the initial voice input.
操作者は誤認識を把握しつつも、まず「レモンも購入の意思があること」を続けて入力する手法を実施する。
但し「レモン」と単独で発声しても、りんご"と"バナナのように、間に繋ぐ"と"が得れない、完成目的文である「りんごとバナナとレモン」を得るためには、追加の音声入力で得たい目的テキストは「とレモン」になる。
こうした送りかなや助動詞と融合した名詞は、単独の音声入力ではAIは生成できない。
例えば「オレンジとレモンジュース」のように、AI側が推測できる追加発声から「とレモン」を切り取り・貼り付けする必要があると言うことである。
この場合、操作者は「こんにちは(誤今日は)、商品棚の果物はとても美味しそうです。飾ってあるりんごとバナナを、各一個ずつ買いたいです私の所持金は見ての通りですが、足りる(誤タイル)でしょうか」の後に続けて「オレンジとレモンジュース」との音声入力を続行する。
While grasping the misrecognition, the operator first implements a method of continuously inputting "the lemon is also willing to purchase".
However, even if you say "lemon" alone, you cannot get "apple" and "connect between" and "like a banana". The target text you want to get with additional voice input is "and lemon".
Nouns fused with such sending kana and auxiliary verbs cannot generate AI by a single voice input.
For example, "orange and lemon juice" means that it is necessary to cut and paste "and lemon" from the additional utterances that the AI side can guess.
In this case, the operator said, "Hello (wrong today), the fruits on the shelves look very good. I want to buy one apple and one banana on display. As you can see, my money is as you can see. "Is it enough (wrong tile)?" Followed by voice input of "orange and lemon juice".
その後音声入力ボタンを一定時間の無音状態から、図20に示したような編集・修正画面に遷移する。
以後通常の再変換・言い直しのほか、移動・削除を伴う編集・修正の手順を説明する。
誤りの1箇所目は2点(〔0091〕欄の記載における始点・終点)指定で全ひらかな化で「こんにちは」に戻し目的を達する、再変換や言い直しの待機状態で「こんにちは」は反転色調になっているが、誤り2箇所目の「タイル」の起点をタッチした時点で〔0091〕欄の記載内の定義の通りそれは解除される。
誤り2箇所目は2点指定後の追加音声入力で、「足りる」の単語発声では同じ機器なので再度「タイル」と再誤認識される可能性が高いため、「じゅうぶんにたりる」と連想入力し〔0091〕欄に記載の通り「足りる」部分だけを起点・終点指定で決定して、ここまでは目的を達する。
After that, the voice input button is changed from the silent state for a certain period of time to the edit / correction screen as shown in FIG.
After that, in addition to normal reconversion / rephrasing, editing / correction procedures that involve moving / deleting will be explained.
The first place of the error is to specify 2 points (start point / end point in the description in the [0091] column) and return to "hello" by full-scale conversion to reach the purpose. Although it is in color, it is canceled as defined in the description in the [0091] column when the starting point of the "tile" in the second error is touched.
The second error is the additional voice input after specifying two points, and since it is the same device when uttering the word "sufficient", there is a high possibility that it will be mistakenly recognized as "tile" again, so it is associated with "sufficiently". As described in the [0091] column, only the "sufficient" part is determined by specifying the start point and end point, and the purpose is achieved up to this point.
図20に示したような編集・修正画面において、修正テキスト入力画面201に表示されているテキストの起点211・終点212を画面タッチで選択後する際に、終点における画面タッチを一定時間以上離さないと「指定フレーズの移動・削除」の受付状態と認識させる。
この状態になると、色調が反転し操作者は移動・削除が可能になった文字列と判別できる。
なお、たまたま一単語だけの移動目的での終点タッチの後に〔0091〕欄記載の定義により、全てひらかなに一旦変化しても終点タッチを離さず一定時間を経過し「移動・削除可能状態」になると、最初にAIが選択していた変換候補に戻る。
また、例文とは異なるケースだが、長文(段落全てなど)を起点・終点の位置指定の対象にした場合、操作当初から移動・削除の範囲指定と認識され、一定時間を待たず指定範囲内の全テキストの色調は反転する。
移動・削除目的だけの範囲認識であり、その後の変換タッチには反応しない。
これはコンピュータおいても、広範囲(一行程度以上)を範囲指定してから変換キーを押しても反応しないのと同義で、AIが変換候補を生成できないからである。
In the edit / correction screen as shown in FIG. 20, when the
In this state, the color tone is inverted and the operator can determine that the character string can be moved / deleted.
It should be noted that, according to the definition described in the [0091] column after the end point touch for the purpose of moving only one word, even if all of them change once, the end point touch is not released and a certain period of time elapses, "movable / deleteable state". When becomes, it returns to the conversion candidate which AI originally selected.
In addition, although it is a different case from the example sentence, when a long sentence (all paragraphs, etc.) is targeted for the position specification of the start point and end point, it is recognized as the range specification of movement / deletion from the beginning of the operation, and it is within the specified range without waiting for a certain period of time. The tones of all text are inverted.
It is a range recognition only for the purpose of moving / deleting, and does not respond to subsequent conversion touches.
This is because even in a computer, even if a wide range (about one line or more) is specified and then the conversion key is pressed, it does not respond, and AI cannot generate conversion candidates.
例文の「とレモン」を移動する操作手順の場合、編集・修正画面に移行させた後において、縦バーを操作し、末尾部まで画面を移動させ、表示領域内において、「(前文略)…オレンジとレモンジュース」の部分における「とレモン」の始点を選択し、終点を指定した状態を維持して、色調を反転させてから、当該「とレモン」の文字列を「バナナ」と「を」の字間に移動させ、指を画面から離すことで指定位置に「とレモン」が挿入される。
コンピュータにおける、マウスで範囲指定後にその部分を移動して置くのと同様の操作になる。
または、現状のタブレット端末などにおける「スワイプ操作」と同様の操作イメージになる。
In the case of the operation procedure to move "and lemon" in the example sentence, after moving to the edit / correction screen, operate the vertical bar to move the screen to the end, and in the display area, "(preamble omitted) ... Select the start point of "and lemon" in the "orange and lemon juice" part, maintain the state where the end point is specified, invert the color tone, and then change the character string of "and lemon" to "banana" and " By moving it between the letters "" and moving your finger off the screen, "and lemon" is inserted at the specified position.
It is the same operation as moving and placing the part after specifying the range with the mouse on the computer.
Alternatively, the operation image is similar to the "swipe operation" in the current tablet terminal or the like.
結果的に「とレモン」を得るために行った追加音声入力の「オレンジジュース」が残されることになり「削除」が必要となる。
削除についての操作法は〔0105〕欄に記載の通り、終点の位置指定をして指を離さず、移動・削除の受付を示す色調反転表示に遷移させるまでは同様である。
その後、当該部分を素早く大きく「右フリック操作」を行うことにより、選択フレーズを放り投げるイメージ通りに、選択したテキストの「削除」となり、そのテキストの空白部は詰める処理を行う。
As a result, the additional voice input "orange juice" used to obtain "and lemon" is left behind, and "deletion" is required.
The operation method for deletion is the same as described in the [0105] column until the position of the end point is specified, the finger is not released, and the display is changed to the color tone inversion display indicating the acceptance of movement / deletion.
After that, by quickly and greatly performing a "right flick operation" on the relevant part, the selected text is "deleted" according to the image of throwing the selected phrase, and the blank part of the text is filled.
また、当該編集・修正画面の外周の補助入力表示部153に存在する「!」「?」等のキャラクターも、選択後にマークを段落番号〔0105〕欄に記載した移動手法(この場合長押しの時間経過は不要である)により、当該選択したキャラクターを引っ張って置く操作の「後付け句読点等」とすることができる。 In addition, the characters such as "!" And "?" Existing in the auxiliary input display unit 153 on the outer periphery of the edit / correct screen are also moved by the movement method (in this case, long press) in which the mark is described in the paragraph number [0105] column after selection. (No time lapse is required), it can be used as a "postscript punctuation mark, etc." for the operation of pulling and placing the selected character.
勿論〔0101〕欄に記載の手法の通りバナナの「ナ」と「を」の字間の一点だけをタッチして指定し 「オレンジとレモンジュース」を音声入力で追加し、「とレモン」だけを選択すれば同じ結果を得ることはできる。
しかしながら、この手法の場合、編集・修正画面に2回の画面遷移が生じることになる。
また、音声入力それ自体も、主文入力と追加入力の「オレンジとレモンジュース」について、編集・修正画面へ遷移してから2回に分けて発声することになる。
前記〔0103〕欄での説明の通り続行して音声入力することで、画面遷移も発声も一まとめにできる為、結果的には〔0103〕欄以降に記載の手法の方が省力化できる。
また、現在市販されている音声入力携帯翻訳機は全て、言い直し・再変換・編集・修正及び加除移動は不可能であり、間違いを発見したら、音声入力を最初から行わなければならない。
本発明における各手法で入力最中に誤認識や同音異議語を操作者が発見しても、「後から幾らでも修正できること」は操作者の精神的負担も軽減できるもので、一気に最後まで言い切ってしまう方が、都度言い直しや編集・修正画面への遷移を掛けるより、結果的に早いものとなる。
Of course, according to the method described in the [0101] column, touch and specify only one point between the letters "na" and "o" of the banana, add "orange and lemon juice" by voice input, and only "and lemon". You can get the same result by selecting.
However, in the case of this method, two screen transitions occur in the edit / modify screen.
In addition, the voice input itself will be uttered in two steps after the transition to the edit / correction screen for the main text input and the additional input "orange and lemon juice".
By continuing to input voice as described in the [0103] column, screen transitions and utterances can be integrated, and as a result, the methods described in the [0103] and subsequent columns can save labor.
In addition, all voice input portable translators currently on the market cannot be rephrased, reconverted, edited, corrected, or added / removed, and if an error is found, voice input must be performed from the beginning.
Even if the operator discovers an erroneous recognition or a homonym during input by each method in the present invention, "the ability to correct any number of times later" can reduce the mental burden on the operator, and can be said to the end at once. As a result, it is faster than rephrasing or transitioning to the edit / correct screen each time.
以上の移動・削除のイメージを説明するため、図23を参照しながら、手順(A)〜(F)を別途説明する。
手順(A):「今日は」を起点・終点位置指定し、全ひらかな化(変換タッチは押さない)。
手順(B):「タイル」を起点・終点位置指定し、更に音声入力追加「じゅうぶんにたりる」、から得られた「足りる」部分だけを起点・終点指定。
「る」の終点タッチと同時にタイルとの入れ替わりが起こる、なお起点・終点の位置指定を誤った場合は「一つ戻る」タッチで操作履歴が一つ戻る。
手順(C):「とレモン」の起点・終点を位置指定し、終点位置指定の指を離さず、移動可能状態(色調反転)を待つ。
手順(D):バナナの「ナ」と次の「を」の間に、手順(C)の指を離さないまま移動する。
手順(E):追加音声入力で残された「オレンジジュース」を起点・終点指定し、終点の指を離さず色調反転を待ち、反転後は右フリック操作で削除する。
手順(F):外枠アイコン部から「?」を引っ張り、文末に移動させる。
In order to explain the above image of movement / deletion, the procedures (A) to (F) will be described separately with reference to FIG. 23.
Procedure (A): Specify the start and end positions of "Today" and make them all hiragana (do not press the conversion touch).
Procedure (B): Specify the start / end position of the "tile", and specify the start / end point only for the "sufficient" part obtained from the additional voice input "sufficient".
The tiles are replaced at the same time as the end point touch of "Ru". If the position of the start point / end point is specified incorrectly, the operation history is returned by one by touching "Back one".
Procedure (C): Designate the start and end points of "and lemon", and wait for the movable state (color tone inversion) without releasing the finger for specifying the end point position.
Step (D): Move between the banana "na" and the next "o" without releasing the finger of step (C).
Procedure (E): Specify the start and end points of the "orange juice" left by the additional voice input, wait for the color tone to be reversed without releasing the finger at the end point, and delete it by right flicking after the inversion.
Procedure (F): Pull "?" From the outer frame icon part and move it to the end of the sentence.
ここまでの正確な音声入力文章を作成した結果において、これを英語に翻訳した場合(但し、以下の例はAI翻訳なので必ず同じ翻訳結果になるとは限らない)には「Hello, fruit of the shelves is verydelicious. I would like to buy one decorated apple, one banana and one lemon. My money isas you see, is it enough?」となる。
これを現状のインターネット内のAI翻訳で逆転翻訳をかけた場合には、「こんにちは、棚の果物はとても美味しいです。飾られたリンゴ1個、バナナ1個、レモン1個を買いたいです。私のお金はあなたが見るとおりです、それで十分ですか?」との正確な翻訳結果が得られる。
In the result of creating the accurate voice input sentence so far, if it is translated into English (however, the following example is an AI translation, so the translation result is not always the same), "Hello, fruit of the shelves" is very delicious. I wound like to buy one translated apple, one banana and one lemon. My money is as you see, is it.
When this is reversed by the current AI translation on the Internet, "Hello, the fruits on the shelf are very delicious. I want to buy an apple, a banana, and a lemon. I want to buy one. The money is exactly what you see, is that enough? "
携帯翻訳機は、その特性上完成文を得るまでに音声入力ボタンを離すこと(又はLockを解除すること)はできない。
インターネット内の翻訳AIに送信されてしまった後では、操作者の手を離れた「外国語テキスト」に変化するからである。
よって、本文の冒頭ではなく中間位置に「英字・数字等が組み合わさった特殊な固有名詞」が必要になった場合の対応手法を説明する。
例えばコンピュータの英字優先・数字優先について〔0032〕欄で説明した、「A5版」と言う固有名詞を全文の「中間部」に入れる場合などである。
例文(目的文)「現場で使用するので、A5版の縦書きで提出すること。」
このような場合、コンピュータなどであれば、前記の「離すことができない」制約が無いので「現場で使用するので、」の音声入力後に一旦ボタンを離して、そこまでのテキストを固定してから音声入力を再開すれば、「A」と「5」を冒頭にできるので、入力操作上問題が無い。
しかし翻訳機だけは先の制約の都合上それはできない為、「初期句読点に戻る」との特殊なタッチ領域を設定することで課題を解決する。
音声入力が「現場で使用するので、」まで進んだ時点で、図20の編集・修正画面内の「初期句読点に戻る」の領域をタッチして図24の初期句読点画面に遷移させる。
これにより本文の音声入力の途中であっても、通常は認識前画面に存在する「本文冒頭の優先認識」を呼び出せるようになり、特殊な固有名詞(英字・数字の組み合わされた施設名やアーチスト名)などに対応ができるようになる。
なお、これは頻繁に使う機能では無いので、初期値(デフォルト)の句読点タッチ領域には割り振られず、〔0046〕欄等に記載の手法によりカスタマイズで認識中画面や編集・修正画面内に選択できるものとする。
配置の例としては、「冒頭英字/Caps Lock241」「冒頭数字/全角・半角242」「冒頭無変換/全ひらかな243」「一つ戻る」「冒頭カタカナ/全角・半角244」「句読点通常に戻る245」「単語登録」などである。
Due to its characteristics, the portable translator cannot release the voice input button (or unlock it) until the completed sentence is obtained.
This is because after it has been sent to the translated AI on the Internet, it changes to a "foreign language text" that has left the operator's hands.
Therefore, we will explain how to deal with the need for "special proper nouns that combine letters, numbers, etc." at intermediate positions instead of at the beginning of the text.
For example, the case where the proper noun "A5 version" explained in the [0032] column about the alphabet priority and the number priority of the computer is put in the "middle part" of the whole sentence.
Example sentence (purpose sentence) "Because it will be used in the field, submit it in A5 version vertical writing."
In such a case, if it is a computer etc., there is no restriction that it cannot be released, so after inputting the voice of "I will use it in the field", release the button once and fix the text up to that point. If the voice input is restarted, "A" and "5" can be started at the beginning, so there is no problem in the input operation.
However, only the translator cannot do that due to the above restrictions, so the problem is solved by setting a special touch area that says "return to the initial punctuation mark".
When the voice input reaches "Because it is used in the field", the area of "Return to initial punctuation mark" in the edit / correction screen of FIG. 20 is touched to transition to the initial punctuation mark screen of FIG. 24.
This makes it possible to call up "priority recognition at the beginning of the text" that normally exists on the pre-recognition screen even during voice input of the text, and special proper nouns (facility names and artists that combine letters and numbers). You will be able to respond to names).
Since this is not a frequently used function, it is not allocated to the punctuation touch area of the initial value (default), and can be selected in the recognition screen or edit / correction screen by customization by the method described in the [0046] column or the like. Shall be.
Examples of placement are "Opening alphabet / Caps Lock241", "Opening number / Full-width / Half-
また、外国語ボタンで入力する場合、補助入力表示部203に表示させる制御文字文法や句読点などの記号は、その言語のルールに従って変化させる。
英語で音声入力する場合、当然英字優先やカタカナ優先の認識タッチ領域は必要が無い。
その代わりに「Caps Lock」で大文字・小文字などの指定領域が文法上必要になる場合がある。
また、中国語の句読点は「。」「、」と「,(カンマ)」の3種が存在する。
そうした外国語の各種パターンの例について、英語での音声入力の場合における認識前画面は、図25(A)に示す様に「Number priority(数字優先)」「English abbreviation priority(英略字優先)」「Caps Lock」「$」「(」「"」「symbol(記号)」「Settings screen(設定画面)」(この2つは同一領域に混在)「@」「Voice input Lock」「Registered words(登録単語)」「※」「Go back one step(一作業戻る)」からなる補助入力表示部とすることができ、また認識中画面は、図25(B)に示す様に「.」「,」「:(コロン)」「(」「"」「new line(改行)」「)」「"」「Voice input Lock」「Registered words」「symbol」「Go back one step」からなる補助入力表示部とすることができ、更に編集・修正画面においては図25(C)に示す様に「"」「"」「.」「,」「Go back one step」「change若しくはconversion」「?」「!」「−(ハイフン)」からなる補助入力表示部とすることができる。
なお、英略字優先の定義は当該タッチの後に、例えば「United Nations」(国際連合の意味)と音声入力した場合、自動的にダブルクォーテーションで囲まれた「"UN"」と言う英字の頭文字に略された固有名詞として認識される確率を上げるプログラムである。
同様に中国語での音声入力の場合における認識前画面は、図25(D)に示す様に「号▲碼優▼先(数字優先)」「字母▲優▼先(英字優先)」「#」「"」「(」「《」「▲簽▼收(記号)」「▲設▼定画面」(この2つは同一領域に混在)「@」「▲語▼音▲輸▼入固定(音声入力Lock)」「注册▲詞▼(登録単語)」「※」「返回一▲項▼任▲務▼(一作業戻る)」からなる補助入力表示部とすることができ、また認識中画面は、図25(E)に示す様に「。」「,」「、」「"」「(」「《」「"」「)」「》」「注册▲詞▼(登録単語)」「※」「▲語▼音▲輸▼入固定(音声入力Lock)」からなる補助入力表示部とすることができ、更に編集・修正画面においては図25(F)に示す様に「。」「,」「、」「(」「返回一▲項▼任▲務▼」「)」「?」「▲轉換▼次数(変換)」「:」からなる補助入力表示部とすることができる。
なお外国語による音声入力の事例は、英語と中国語のほかにも、選択言語に応じて表示される句読点や説明文は変えることができる。
例えばアラビア語の場合には、「?」マークは左右逆、「、」は上下逆などとなり、フランス語の一操作戻るは「Reculer d'une operation」、冒頭数字は「Priorite aux numeros」などが初期設定される。
なお全て、コンピュータに関する〔0046〕欄の記載と同様に、各半透明句読点タッチはカスタマイズが可能である為、あくまで一例である。
Further, when inputting with the foreign language button, symbols such as control character grammar and punctuation marks displayed on the auxiliary
Of course, when inputting voice in English, there is no need for a recognition touch area that prioritizes alphabets and katakana.
Instead, "Caps Lock" may require a designated area such as uppercase and lowercase letters grammatically.
In addition, there are three types of Chinese punctuation marks: ".", "," And ", (comma)".
For examples of such various patterns in foreign languages, the pre-recognition screen in the case of voice input in English is "Number priority" and "English abbreviation priority" as shown in FIG. 25 (A). "Caps Lock""$""(""""" symbol (symbol) "" Settings screen (setting screen) "(these two are mixed in the same area)" @ "" Voice input Lock "" Registered words (registration) It can be an auxiliary input display unit consisting of "words)", "*", and "Go back one step", and the recognition screen is ".""," As shown in Fig. 25 (B). Auxiliary input display consisting of ": (colon)""(""""" new line (line feed) "") """""Voice input Lock""Registeredwords""symbol""Go back one step" In addition, on the edit / correction screen, as shown in FIG. 25 (C), """""""."",""Go back one step""change or combination""?""!" It can be an auxiliary input display unit consisting of "-(hyphen)".
The definition of English abbreviation priority is the acronym of the alphabet "UN" automatically surrounded by double quotes when, for example, "United Nations" (meaning the United Nations) is input by voice after the touch. It is a program that raises the probability of being recognized as a proper noun abbreviated as.
Similarly, in the case of voice input in Chinese, the pre-recognition screen is as shown in Fig. 25 (D). """""(""<<""▲ 簽 ▼ collection (symbol)""▲ setting ▼ fixed screen" (these two are mixed in the same area) "@""▲ word ▼ sound ▲ transportation ▼ fixed (fixed) It can be used as an auxiliary input display unit consisting of "Voice input Lock)", "Note ▲ words ▼ (registered words)", "*", "
In the case of voice input in a foreign language, in addition to English and Chinese, the punctuation marks and explanations displayed can be changed according to the selected language.
For example, in the case of Arabic, the "?" Mark is upside down, the "," is upside down, etc. Set.
All of them are just examples because each translucent punctuation touch can be customized as described in the [0046] column regarding the computer.
そして上記の様に英語等で音声入力する場合であっても、再変換の処理を指示する変換タッチ(若しくはCボタン142)を設けるのが望ましい。
何故ならば、日本語などの漢字圏より必要性は乏しいものの、英語でも「Homonyms:ホモニム」と呼ばれる同音異議語が存在するからである。
例えば、「ad(広告)」と「add(加える)」や、「ball(玉)」と「bawl(怒鳴る)」などである。
現在のAIでは、文章の前後から何れの語句かを自動選択しているが、一旦誤ってAI側に選ばれてしまうと、短いフレーズの言い直しでは無意味なので再変換指示機能は携帯翻訳機では必須となる。
And even in the case of voice input in English or the like as described above, it is desirable to provide a conversion touch (or C button 142) instructing the re-conversion process.
This is because there is a homonym called "Homonyms" in English, although it is less necessary than in Chinese characters such as Japanese.
For example, "ad (advertisement)" and "add (add)", "ball (ball)" and "bowl (scream)" and the like.
In the current AI, which phrase is automatically selected from before and after the sentence, but once it is mistakenly selected by the AI side, it is meaningless to rephrase a short phrase, so the reconversion instruction function is a mobile translator. Then it becomes indispensable.
なお、現在のAI認識は長文文節の区切り位置判定をやや苦手にしている。
特に日本語と他言語の間の翻訳で、主語と目的語の順番が違う為、翻訳においてはその影響が大きくなる。
本発明における手法では任意に句読点、特に「。」や「.(ピリオド)」が入力できると言うことであり、文節の境目が確定するので従来の携帯翻訳機と比較して、長文の翻訳結果が正確になる優位性を持っている。
It should be noted that the current AI recognition is a little weak at determining the delimiter position of a long phrase.
Especially in translation between Japanese and other languages, the order of the subject and the object is different, so the influence on the translation becomes large.
In the method of the present invention, punctuation marks, especially "." And ". (Period)" can be input arbitrarily, and since the boundary of the phrase is fixed, the translation result of a long sentence is compared with the conventional portable translator. Has the advantage of being accurate.
翻訳専用携帯端末にはその特殊性から、以下の機能や処理能力も搭載されることが望ましい。 Due to its peculiarity, it is desirable that the translation-only mobile terminal be equipped with the following functions and processing capabilities.
第1の機能は、翻訳結果の履歴を機器のメモリー等に設けた保存BOXに記録し、順番を付与して、整列させて呼び出せる処理である。
アドリブでの直接対応の翻訳を主目的とせず、プレゼンテーションの内容を事前に作り溜めしておくのが主目的となる。
またプレゼンテーションの途中で、相手からの質疑応答などのアドリブ翻訳を行っても、保存BOXを再度呼び出し、プレゼンテーション再開の場合、アドリブ翻訳前の途中経過の位置が表示されるようにプログラムし、全体の流れが遮断されず、外国人向けの商品のPRや、スポーツインストラクターの外国人向けレッスンなどに有効である。
この為、順序付けたテキストの保存と、当該保存したテキストの出力処理を実行すると共に、当該実行中における音声入力翻訳も実行する処理を行うように構成する。
機器への操作法としては、〔0078〕欄に記載の初期画面において、国旗外の空白部を右フリックすると、翻訳履歴の修正画面(プレゼンテーションのグループや順番付与の作業画面)に移行する。
The first function is a process of recording the history of translation results in a storage BOX provided in a memory or the like of a device, assigning an order, arranging them, and calling them.
The main purpose is not to translate directly in ad lib, but to create and store the content of the presentation in advance.
In addition, even if ad-lib translation such as a question and answer from the other party is performed in the middle of the presentation, the save BOX is recalled, and when the presentation is resumed, the program is programmed so that the position of the progress before ad-lib translation is displayed. The flow is not interrupted, and it is effective for PR of products for foreigners and lessons for foreigners of sports instructors.
Therefore, the ordered texts are saved, the output processing of the saved texts is executed, and the voice input translation during the execution is also executed.
As an operation method for the device, on the initial screen described in the [0078] column, right-flick the blank part outside the national flag to move to the translation history correction screen (presentation group or order assignment work screen).
第2の機能は、事前に作成した翻訳文の正確性を向上させる為に、翻訳履歴の再生中に母国語ボタンを選択すると、翻訳結果の外国語活字テキストを翻訳AIに送り返して再翻訳を行うものである。
例えば日本語から英語に翻訳した結果テキストを逆利用して、日本語に再翻訳させ検証を行う処理(以下「逆転翻訳」とする)を実行する。
これらより誤翻訳が生じていないか確認した上で、それを前項のプレゼンテーションの内容として記録出来るので、完成品(即ち翻訳文)の精度が向上する。
機器の操作法としては、翻訳結果を再再生(マイクアイコンをタッチし、外国語を機器側に再発声させる)の最中に母国語ボタンを押すと、翻訳AIに外国語テキストを送り返すコマンドとする。
The second function is to improve the accuracy of the translated text created in advance. If you select the native language button while playing the translation history, the foreign language type text of the translation result will be sent back to the translation AI for retranslation. It is something to do.
For example, the result text translated from Japanese to English is used in reverse, and a process of retranslating it into Japanese and verifying it (hereinafter referred to as "reverse translation") is executed.
After confirming that no mistranslation has occurred, it can be recorded as the content of the presentation in the previous section, so that the accuracy of the finished product (that is, the translated text) is improved.
As a method of operating the device, if you press the native language button while replaying the translation result (touch the microphone icon to make the foreign language reverberate to the device side), a command to send the foreign language text back to the translation AI do.
第3の機能は、プレゼンテーション作成を省力化するため、AI翻訳経由後も母国語の「入力原文」を取り戻し、再編集を掛け直せるように設定するものである。
本実施手法で相手方(外国人)への直接翻訳においては、編集・修正作業を完了し「間違いの無い母国語」をAI翻訳に送信することが主目的であり、それ以降再編集をする状況はない。
しかしながら〔0117〕欄に記載したプレゼンテーションの作成作業の場合は、前項における翻訳結果の検証作業により、翻訳AIを経由したうえで、より精度を高めた完成品を作成する余地も機能的に追加されることになる。
また、現在の翻訳AIの精度は向上しており、長文でない限りは不適切な部分が複数存在することは稀であり、「気になる一か所」だけを修正したい状況が大半になると推測される。
プレゼンテーションを再作成する場合は、操作者は修正したい部分について「同じ意味の別の言い方」を思い浮かべて、「初めから音声入力をやり直す」ことが一般的である。
この作業を省力化する為、前項の逆転翻訳にて日本語テキストに再翻訳し直されたテキストを表示している画面には、「再編集」のタッチ領域を設定する。
「再編集」のタッチ領域を選択した場合、AI翻訳に送信前の当初に音声入力した母国語テキスト内容の編集・修正画面が、音声入力Lock状態で再現される。
これにより修正したい箇所のみ、再編集作業にすぐ取り掛かれるため、特に連続でプレゼンテーション内容を作成する際に大幅な省力化が図れる。
The third function is to save labor in creating a presentation, so that the "original input text" in the native language can be recovered and re-edited even after the AI translation is performed.
In the direct translation to the other party (foreigner) by this implementation method, the main purpose is to complete the editing / correction work and send the "correct native language" to the AI translation, and then re-edit. There is no.
However, in the case of the presentation creation work described in the [0117] column, the room for creating a finished product with higher accuracy is functionally added by the translation result verification work in the previous section via the translation AI. Will be.
In addition, the accuracy of the current translation AI has improved, and unless it is a long sentence, it is rare that there are multiple inappropriate parts, and it is estimated that in most situations you want to correct only "one place you care about". Will be done.
When recreating a presentation, it is common for the operator to think of "another way of saying the same meaning" for the part that he / she wants to correct, and to "redo the voice input from the beginning."
In order to save labor, a touch area of "re-edit" is set on the screen displaying the text retranslated into Japanese text by the reverse translation in the previous section.
When the touch area of "Re-edit" is selected, the edit / correction screen of the native language text content that was originally input by voice before being transmitted to AI translation is reproduced in the voice input Lock state.
As a result, re-editing work can be started immediately only for the part to be corrected, which can save a lot of labor especially when continuously creating presentation contents.
第4の機能は、相手(例えば外国人)が対面に位置していることを想定して画面の上下を反転して表示させる天地逆転表示である。
翻訳機は一対一の応対が主となるため、実使用の場面においては並列で並ぶ状況よりも対面で並ぶ状況の方が圧倒的に多い。
これは、公共機関の窓口や国際線の空港カウンターなどにおいても同様である。
外国人側が翻訳結果のテキストを見たい時や、自分で句読点タッチ操作をしたい時は、都度機器をひっくり返すのは手間であり、最初から翻訳結果の表示や外国語入力ボタンを押している最中などでは、画面表示が天地逆に設定できる仕様が選択できると、相手側への視認性に利するものである。
よって、設定画面において表示内容を天地逆転させる処理を実行する指示部分と、これを実行するプログラムを実装することが望ましい。
なお天地逆転の最中は、操作者(所有者側)が内容(翻訳結果)を再確認したい場合もあり得るため、一時的に天地逆転をキャンセルし、正位置に戻すタッチアイコンが画面内に出現するようにする。
The fourth function is a top-bottom reversal display in which the screen is flipped upside down on the assumption that the other party (for example, a foreigner) is located facing each other.
Since translators mainly deal with one-on-one, in actual use, there are overwhelmingly more situations where they are lined up face-to-face than when they are lined up in parallel.
This also applies to public institution counters and international airport counters.
When a foreigner wants to see the text of the translation result, or when he / she wants to touch the punctuation marks by himself / herself, it is troublesome to turn over the device each time, and while displaying the translation result or pressing the foreign language input button from the beginning, etc. Then, if a specification that allows the screen display to be set upside down can be selected, it is advantageous for visibility to the other party.
Therefore, it is desirable to implement an instruction part that executes a process of reversing the display contents on the setting screen and a program that executes this.
During the top-bottom reversal, the operator (owner side) may want to reconfirm the content (translation result), so a touch icon that temporarily cancels the top-bottom reversal and returns it to the normal position appears on the screen. Make it appear.
第5の機能は、機器を翻訳機として使用せず、外国人向けのSNS発信機能の本文作成に転用利用するものである。
公知技術としてカメラ付き携帯翻訳機は既に存在するが、母国語と外国語がセットでテキスト化される結果を、目の前に居る外国人へのアドリブ翻訳として使用せず、不特定多数のSNS発信用に、例えば英語や中国語の翻訳結果も日本語本文に自動でセット出力されるため、インバウンド向けの店舗のPR 広告用SNS等の原文作成の手段として利用することである。
特にカメラ付き当該機であれば直接SNSの発信も可能で、カメラの搭載機能が存在しない翻訳機でも、本文のみ自宅のコンピュータやスマートフォンに転送すれば、既存SNS発信機器に母国語と翻訳した外国語がセットになった文章を添付することが、翻訳機側に特段の機能を搭載しなくても可能になる。
The fifth function is to use the device as a translator for creating the text of the SNS transmission function for foreigners.
A portable translator with a camera already exists as a known technology, but the result of converting the native language and foreign language into text as a set is not used as an ad-lib translation for a foreigner in front of you, and an unspecified number of SNS For transmission, for example, translation results of English and Chinese are automatically set and output in the Japanese text, so that it is used as a means of creating the original text such as SNS for PR advertisement of stores for inbound tourists.
In particular, if the machine is equipped with a camera, it is possible to directly transmit SNS, and even if the translator does not have a camera-equipped function, if only the text is transferred to the home computer or smartphone, the foreign country translated into the existing SNS transmission device as the native language. It is possible to attach a sentence with a set of words without installing a special function on the translator side.
第6の機能は、難解なワードをコンピュータから取り込む処理である。
前項の通り、コンピュータ等と当該携帯翻訳機を接続することにより、音声入力で結果を得ることが難しいテキストの課題解決ができる。
例えば架空の病名であるが「先天性鬱滞性脂肪織炎性II型」との病名があったとすると、修正・編集・移動等を繰り返しても、キーボード無しで音声入力だけにより、この結果を得るのは不可能では無いものの非常に手間が掛かる。
そこで、先にキーボードで入力した難解な単語を逆にコンピュータ側から携帯翻訳専用機側の単語辞書(保存BOX等)に送信、保存しておけば、翻訳機句読点「単語」を画面タッチし、音声入力において、「先天性…」からの入力だけで予測候補を出力できる為に、超難解ワードの音声入力機器でのテキスト出力目的を達成することができる。
The sixth function is the process of fetching esoteric words from a computer.
As described in the previous section, by connecting the portable translator to a computer or the like, it is possible to solve a text problem in which it is difficult to obtain a result by voice input.
For example, if there is a fictitious disease name of "congenital stasis dermatitis type II", even if correction, editing, movement, etc. are repeated, this result can be obtained only by voice input without a keyboard. It's not impossible, but it's very time-consuming.
Therefore, if the esoteric words entered earlier with the keyboard are sent from the computer side to the word dictionary (save BOX, etc.) on the mobile translation machine side and saved, the translator punctuation "word" can be touched on the screen. In voice input, since prediction candidates can be output only by inputting from "congenital ...", it is possible to achieve the purpose of text output in a voice input device for ultra-difficult words.
第7の機能は、母国語・外国語の音声入力ボタンを同時押しすると、翻訳を掛けない「音声入力でのテキスト化専用マイク」に機器の性質を変化させる「タイプライターモード」を設定するものである。
これは翻訳機として運用せず、携帯翻訳機やスマートフォンの「音声認識機能」だけを取り出して、音声入力に対応した機能が無いコンピュータに後付け音声入力マイクとしての能力を付与させる意味である。
機器の操作法としては、母国語と外国語ボタンを同時に長押しすることで、当該モードの開始として自動的に機器側に判別される。
その場合、タッチ句読点は母国語ベースで表示される。
基本的に連続した認識となり、次項など一部の例外を除き、Cボタンの長押しでリセットしない限り、当該モードは継続される。
スマートフォンを音声入力機器に代用する方法として、公知技術のリモートマウス(登録商標)が存在するが、これは基本的に「言いっ放し」であり、修正・編集はコンピュータ画面とキーボードで行うことを大前提にしている。
本発明では、音声入力の作業時点で、誤認識及び同音異義語の修正、書体の編集などが事前に可能であり、ある程度整った「完成したテキスト」をコンピュータに送信することが可能であり、特に出先で作業を行う場合(コンピュータと接続していない状況)で優位性がある。
作成したテキストは、有線又は無線、或いはインターネットなどのネットワークを介して、自宅のコンピュータにデータを送信し更に校正(頭出しの位置調整やフォントサイズ変更など)を掛けた上で、プリントアウトなどをして完成品を得られる。
なお、タイプライターモードでは、〔0112〕欄で説明した音声入力ボタンを離すこと(若しくはLockタッチを解除すること)による、「翻訳AIへの送信」に伴う制約が存在しなくなる。
よって、一旦音声入力ボタンを離して、テキストの固定後に再度音声入力を掛けることが可能になるので〔0112〕欄で説明した「句読点初期に戻る」の手法や〔0102〕欄で説明した「とレモン」を得る方法などにおいても、一度音声入力を中断しテキスト固定後に、各優先タッチ後音声入力を再開するコンピュータ同様の省力化の手法を用いることが一般的と思われる。
The seventh function is to set a "typewriter mode" that changes the properties of the device to a "text-only microphone with voice input" that does not translate when the voice input buttons of the native language and foreign language are pressed at the same time. Is.
This means that it is not operated as a translator, but only the "voice recognition function" of a portable translator or smartphone is taken out, and a computer that does not have a function corresponding to voice input is given the ability as a retrofit voice input microphone.
As a method of operating the device, by pressing and holding the native language and foreign language buttons at the same time, the device is automatically determined to start the mode.
In that case, touch punctuation is displayed on a native language basis.
Basically, it becomes continuous recognition, and with some exceptions such as the next section, the mode is continued unless it is reset by pressing and holding the C button.
As a method of substituting a smartphone for a voice input device, there is a remote mouse (registered trademark) of a known technology, but this is basically "unspoken", and correction / editing should be done with a computer screen and keyboard. It is a major premise.
In the present invention, it is possible to perform erroneous recognition, correction of homonyms, editing of typefaces, etc. in advance at the time of voice input work, and it is possible to send a somewhat prepared "completed text" to a computer. It has an advantage especially when working on the go (when not connected to a computer).
The created text is sent to your home computer via a network such as wired or wireless, or the Internet, proofread (adjusting the position of the cue, changing the font size, etc.), and then printed out. And you can get the finished product.
In the typewriter mode, there is no restriction associated with "sending to the translation AI" by releasing the voice input button (or releasing the Lock touch) described in the [0112] column.
Therefore, it is possible to release the voice input button once, fix the text, and then input the voice again. Therefore, the method of "returning to the initial punctuation point" explained in the [0112] column and the "to" explained in the [0102] column. In the method of obtaining "lemon", it seems that it is common to use a labor-saving method similar to that of a computer in which voice input is interrupted once, text is fixed, and then voice input is restarted after each priority touch.
第8の機能は、このタイプライターモード中に、特定の音声入力(例えば「認識中画面」や「プレゼンテーション、Aの3」などと入力)をすると、各設定画面やプレゼンテーションの特定個所にジャンプする「本体への指示」としての認識機能も持たせることである。
長文の音声入力の場合には、「比較的ゆっくりはっきり単語で話す指示キーワード」と長文内容が重なることは稀なので、機器側は無視して単純に長文はテキスト化される。
もし本体機器側に指示を出すつもりで音声を発し、それが誤認識されてしまった場合は、母国語・外国語ボタン同時押しを再度行ったまま、一定時間無音状態を関知すると、修正・編集画面に移行するのは通常の片方のボタンを押したままにする〔0091〕欄に記載した編集・修正の一定時間無音による遷移と同じである。
このプレゼンテーションの指定位置へのジャンプ機能があると、外国人側の質問内容やタイプ(スポーツの場合は癖など)によって、プレゼンテーションの内容を分派させることが可能になる。
なお、この設定画面へのジャンプ認識や、プレゼンテーションの位置指定ジャンプのコマンド認識後は、当該のプレゼンテーションの再再生待ちの画面に移行し目的を達すると共に、タイプライターモード自体も自動解除される。
The eighth function is to jump to each setting screen or a specific part of the presentation when a specific voice input (for example, "recognizing screen" or "presentation, 3 of A" is input) during this typewriter mode. It is also to have a recognition function as "instruction to the main body".
In the case of long-sentence voice input, it is rare that the long-sentence content overlaps with the "instruction keyword that speaks relatively slowly and clearly in words", so the device side ignores it and simply converts the long-sentence into text.
If you make a voice with the intention of giving an instruction to the main unit and it is erroneously recognized, you can correct or edit it by pressing the native language / foreign language button at the same time and noticing the silence for a certain period of time. The transition to the screen is the same as the normal transition of editing / modifying by silence for a certain period of time described in the [0091] column in which one of the buttons is held down.
If there is a jump function to the specified position of this presentation, it is possible to divide the content of the presentation according to the question content and type (habit in the case of sports, etc.) on the foreigner side.
After recognizing the jump to the setting screen or recognizing the command for the position designation jump of the presentation, the screen shifts to the screen waiting for replay of the presentation to achieve the purpose, and the typewriter mode itself is automatically canceled.
第9の機能は、タイプライターモードの応用で、筆談の支援ツールとしての利用法である。
ある程度の年齢に達してから、途中で聾話(耳が聞こえない障がい、事故・脳卒中・薬害などで生じる)になった場合、後から手話を習得するのは困難なため、現在は筆談を仲介する要約筆記ボランティアに依存することになる。
しかし本「タイプライターモード」を使用すれば、二人同時に話さないルールだけを守れば、延々と会話が文字化されるため、この障がいを持つ方々への支援ツールとしても有効である。
The ninth function is the application of the typewriter mode, which is used as a support tool for writing.
If you become deaf (caused by deafness, accident, stroke, phytotoxicity, etc.) after reaching a certain age, it is difficult to learn sign language later, so we are currently mediating written conversation. Will depend on volunteers to write summaries.
However, if you use this "typewriter mode", if you follow the rule that two people do not speak at the same time, the conversation will be transcribed endlessly, so it is also effective as a support tool for people with this disability.
なお、(〔0077〕欄以降)説明を行ってきた携帯音声翻訳機については、必ずしも専用機である必要はなく、スマートフォンに翻訳アプリケーションを導入することによって構築されたものであっても良い。
かかる翻訳機においては、基本的な画面分割数及び句読点タッチ等の配列など、全て携帯翻訳機の認識前画面(〔0080〕欄参照)や認識中画面(〔0085〕欄参照)、及び編集・修正画面(〔0088〕欄参照)の各図とデフォルト(初期値)は同一である。
句読点タッチの内容を、前記〔0046〕欄に記載の手法でカスタマイズしたり、その結果として〔0112〕欄に記載の通り「句読点初期に戻る」追加画面が発生することも同様である。
しかしながら、スマートフォンには専用機と異なり「3つの物理的ボタン」が存在しない為、句読点タッチ領域の下段に各ボタンに相当するタッチ領域を追加し、結果的には「初期値は15分割」になる。
音声入力の最中に編集・修正画面等に遷移しても、ボタン相当の3箇所のタッチ領域は全く変化しない。
つまり、常時母国語ボタン・外国語ボタン・その中間にCボタンが存在する仮想状態が維持され、操作法に違いが無いようにすることで、両方の機器を所有したり、専用機からスマートフォンのダウンロード版に翻訳機器を切り替えた時にも、操作法を覚え直す必要がないようにする為でもある。
The portable voice translator described (after column [0077]) does not necessarily have to be a dedicated machine, and may be constructed by introducing a translation application into a smartphone.
In such a translator, the basic number of screen divisions and the arrangement of punctuation touches, etc. are all the screen before recognition (see column [0080]) and the screen during recognition (see column [0085]) of the portable translator, and editing / editing. Each figure on the correction screen (see [0088] column) and the default (initial value) are the same.
Similarly, the content of the punctuation touch is customized by the method described in the above [0046] column, and as a result, an additional screen of "returning to the initial punctuation mark" is generated as described in the [0112] column.
However, unlike smartphones, smartphones do not have "three physical buttons", so a touch area corresponding to each button is added to the bottom of the punctuation touch area, resulting in "initial value divided into 15". Become.
Even if the screen is changed to the edit / correction screen during voice input, the three touch areas corresponding to the buttons do not change at all.
In other words, the virtual state where the native language button, foreign language button, and C button exist in between is always maintained, and by making sure that there is no difference in the operation method, you can own both devices, or you can own a smartphone from a dedicated device. This is also to prevent the need to re-learn the operation method when switching the translation device to the download version.
変換タッチ(若しくはCボタン142)を押しながら、「ゆっくり・はっきり・一単語」を話すことで「全ひらかな」を得る、前記〔0098〕欄に記載の手法を応用して、句読点タッチを省力化する手法を説明する。
変換タッチ(若しくはCボタン)に限らず、言い始める前に、句読点のカッコ類の起点タッチ"("や"「"を押ししたままにして音声入力を行うと、カッコの起点タッチを離した瞬間にカッコの終点(閉じ側)が自動的に付与されるものである。
これによりタッチ数全体を減らす省力化が可能になる。
また、そのようなカッコ閉じと、変換をタッチしながら音声入力などの機器側のひらかな化判定は重複して行うこともできる。
以下、例文及び操作説明を示す。
前提条件として、「さくらんぼ」を無指定で音声入力した場合、当該機器側はカタカナの「サクランボ」を選択してしまう状況と仮定する。
以下、図26について説明する。
なお、図26におけるA行の項目は「画面のタッチ」を説明している。
B行の項目は音声入力(操作者の発声)そのものを示している。
C行の項目は生成される(目的の)テキストを示している。
そしてこの図26における横軸は時系列(タイミング)を示している。
よって、この図26では、A行の操作とB行の発音を図面の左から右に時系列で行う事により、C行のテキストを作成することができる。
You can save "punctuation touch" by applying the method described in the above [0998] column, which obtains "all hiragana" by speaking "slowly, clearly, one word" while pressing the conversion touch (or C button 142). The method of converting is explained.
Not limited to the conversion touch (or C button), if you perform voice input while pressing and holding the "starting point touch" of punctuation marks before you start saying, the moment you release the starting point touch of the parentheses The end point (closed side) of parentheses is automatically added to.
This makes it possible to save labor by reducing the total number of touches.
In addition, such closing of parentheses and the determination of hiragana on the device side such as voice input while touching the conversion can be performed in duplicate.
An example sentence and an operation explanation are shown below.
As a precondition, it is assumed that when "cherry" is input by voice without designation, the device side selects "cherry" in katakana.
Hereinafter, FIG. 26 will be described.
The item in line A in FIG. 26 describes "touching the screen".
The item on line B indicates the voice input (voice of the operator) itself.
The item on line C indicates the (desired) text that will be generated.
The horizontal axis in FIG. 26 indicates a time series (timing).
Therefore, in FIG. 26, the text of the C line can be created by performing the operation of the A line and the pronunciation of the B line in chronological order from the left to the right of the drawing.
コンピュータに関する〔0055〕欄の記載において、説明を保留していたコンピュータにおいての編集・修正の詳細について説明する。
本発明におけるキーボードに依存しない各種の編集・修正は、携帯翻訳機に限定するものではなく、コンピュータにおいても全て可能である。
但し、コンピュータでは携帯翻訳機における〔0112〕欄にて説明した制約が無いことは、前記〔0123〕欄に記載のタイプライターモードと同様であり、小フォント且つ字間が狭いままでも位置指定ができるマウスが存在するので、特殊な操作法を実施せず、殆どの場合一旦音声入力を中断し、キーボードで修正操作を行うのが最も現実的であり手間も掛からない。
但し、「長文を挿入したい」場合には、音声入力での追加処理に優位性がある。
In the description in the [0055] column regarding the computer, the details of the editing / correction in the computer for which the explanation has been suspended will be described.
Various editing / corrections that do not depend on the keyboard in the present invention are not limited to the portable translator, but can be performed on a computer as well.
However, the fact that the computer does not have the restrictions described in the [0112] column of the portable translator is the same as the typewriter mode described in the [0123] column, and the position can be specified even if the font is small and the character spacing is narrow. Since there is a mouse that can do it, it is most realistic and hassle-free to interrupt the voice input once and perform the correction operation with the keyboard without performing a special operation method in most cases.
However, when "I want to insert a long sentence", there is an advantage in additional processing by voice input.
また、長文作成の場合順序良く音声入力でテキスト全文を校正しながら完成まで至るとは限らず、後から全部を冒頭から見返して校正することは普通の行為である。
更に、作成中のメール等を一時保存すれば、当然様式は、メールのアプリケーションの様式(小フォント・字間も狭い物)で記録される。
そうした小フォントの様式に、後から音声入力にて上書きする場合、コンピュータの場合、マウスで範囲指定(色調反転)させた物に音声入力を掛けた場合は「上書き」、マウスで一点指定の後で音声入力を掛けた場合は「挿入」であり、前記〔0042〕欄や〔0052〕欄に記載の定義のとおりキーボードでの修正や挿入操作と何ら違いはない。
Also, in the case of creating a long sentence, it is not always possible to complete the text while proofreading the entire text by voice input in order, and it is a normal practice to look back at the whole text from the beginning and proofread it later.
Furthermore, if the email being created is temporarily saved, the format is naturally recorded in the email application format (small font, narrow character spacing).
If you want to overwrite such a small font style by voice input later, in the case of a computer, if you apply voice input to the object whose range is specified (color tone inversion) with the mouse, "overwrite", after specifying one point with the mouse When voice input is applied with, it is "insert", and there is no difference from the correction or insertion operation with the keyboard as defined in the above-mentioned [0042] and [0052] columns.
前記〔0123〕欄に記載したタイプライターモードの音声入力手法は、スマートフォンにおけるインターネットの検索や、企業ホームページのお問い合わせ欄へのテキスト入力などにそのまま用いることができる。
但し、前項のコンピュータの場合と異なり、メールのアプリケーションや企業のお問い合わせページに一旦固定したり、メールを一時保存して様式が変化したテキストへの修正は、当該機にはマウスは存在しない為、スマートフォンの基本操作である、ピンチイン/ピンチアウトの操作で相当拡大しないと、指での範囲指定タッチは、視認性や機器側での位置特定の認識上できない。
具体的な操作法として、インターネット内の企業ホームページの「お問い合わせ欄」にスマートフォンで入力して行く例として説明する。
翻訳の必要は無いので、〔0123〕欄に記載のタイプライターモードで入力を開始していく。
The typewriter mode voice input method described in the [0123] column can be used as it is for searching the Internet on a smartphone, inputting text into an inquiry column on a corporate homepage, or the like.
However, unlike the case of the computer in the previous section, the mouse does not exist on the machine for fixing to the mail application or company inquiry page once, or temporarily saving the mail and modifying the text whose format has changed. Unless the pinch-in / pinch-out operation, which is the basic operation of a smartphone, is considerably enlarged, the range specification touch with a finger cannot be performed in terms of visibility and position identification recognition on the device side.
As a specific operation method, an example of inputting with a smartphone in the "inquiry field" of the corporate homepage on the Internet will be described.
Since there is no need for translation, input is started in the typewriter mode described in the [0123] column.
なお、説明図のサイズの都合上、〔0126〕欄の記載における、仮想の母国語ボタンと外国語ボタン及びCボタンの固定タッチ領域はその表示を割愛している。
図27(A)のとおり、@(アッドマーク)などは当該タッチ句読点や「記号」タッチ後に、音声入力で「あっどまーく」と入力することでも得られる。
図27(B)のとおり、メールアドレスは英字優先やCapsLockを使用し大文字・小文字に対応するが、都度の入力は煩雑なので、〔0122〕欄に記載の手法で保存Boxに登録しておいたり、「単語登録」へ事前に入れておくと省力化できる。
図27(C)のとおり、上述の手法を駆使して、可能な限り編集・修正画面の内に一時的な校正を終えて、入力したい内容を積み上げていく。
図27(D)のとおり、一旦入力対象のホームページ側のレイアウトになったテキストは、ピンチイン/アウトの操作にてスマートフォン画面内で相当拡大し、指で位置指定のタッチを行う。
図27(E)のとおり、音声入力ボタンを押していない状態(音声入力待ちでは無く、タッチ句読点も出現しない状態)での指でのタッチは、マウスの操作と同義であり、範囲指定(色調反転し再入力や再変換待ち)であり、例においては「始めまして」を範囲指定する。
この場合〔0091〕欄に記載の起点・終点指定後に「一旦ひらがなに戻る」定義は適用されない。
一度音声入力を完了し固定化され、既に企業ホームページ側の様式(ソフトウェア側など)に変化しているからであり、もう一度音声入力をやり直し再度機器側に誤認識されてしまう「始めまして」を、固定化する前に仮想Cボタンや変換タッチで「はじめまして」に変化させてから再固定することになる。
図27(F)のとおり、一点指定(挿入位置指定)後に、音声入力で新しいフレーズを挿入する。
仮の例であるが、「対処法」と「をご教示」の間に、「若しくは予防方法」などのテキストを新規に音声入力したいとする。
この場合は「新規音声入力」なので、図27(E)とは異なり〔0091〕欄に記載のとおり、「若しくは予防方法」部分は編集・修正画面に遷移する余地を持っている。
このように、キーボードが存在しない機器でも、長文入力の際は「仮完成後、全文を通して校正作業」のうえで完成文を作成していくことができる。
Due to the size of the explanatory diagram, the display of the virtual native language button, the foreign language button, and the fixed touch area of the C button in the description in the [0126] column is omitted.
As shown in FIG. 27 (A), @ (add mark) and the like can also be obtained by inputting "Admark" by voice input after touching the touch punctuation mark or "symbol".
As shown in FIG. 27 (B), the e-mail address corresponds to uppercase and lowercase letters using alphabetic priority and Caps Lock, but since it is complicated to input each time, it is registered in the save Box by the method described in the [0122] column. , You can save labor by putting it in "Word registration" in advance.
As shown in FIG. 27 (C), by making full use of the above-mentioned method, temporary proofreading is completed in the edit / correction screen as much as possible, and the contents to be input are piled up.
As shown in FIG. 27 (D), the text once laid out on the homepage side to be input is considerably enlarged in the smartphone screen by the pinch-in / out operation, and the position designation touch is performed with the finger.
As shown in FIG. 27 (E), touching with a finger when the voice input button is not pressed (not waiting for voice input and no touch punctuation marks appear) is synonymous with mouse operation, and range specification (color tone inversion). (Waiting for re-entry or re-conversion), and in the example, specify the range of "Nice to meet you".
In this case, the definition of "returning to hiragana once" does not apply after specifying the starting point and ending point described in the [0091] column.
This is because the voice input has been completed and fixed, and the format has already changed to the corporate homepage side (software side, etc.), and the voice input is repeated again and the device side misrecognizes "Nice to meet you". Before fixing, change it to "Nice to meet you" with the virtual C button or conversion touch, and then fix it again.
As shown in FIG. 27 (F), after one point is specified (insertion position is specified), a new phrase is inserted by voice input.
As a tentative example, suppose you want to input a new text such as "or preventive method" between "how to deal with" and "teach".
In this case, since it is a "new voice input", unlike FIG. 27 (E), as described in the [0091] column, the "or preventive method" part has room for transitioning to the edit / correction screen.
In this way, even with a device that does not have a keyboard, when inputting a long sentence, it is possible to create a completed sentence after "proofreading work throughout the entire sentence after provisional completion".
またタイプライターモードにおいて、太字・斜体文字や下線(アンダーバー)などの特殊書体を音声入力で行う手法を説明する。
Cボタン(若しくは変換タッチ)押したままで、音声入力を一文節のみ、ゆっくり・はっきり離し、Cボタン(若しくは変換タッチ)を離して、「再変換前提の全ひらかな表記」は〔0098〕欄にて説明したところであるが、設定画面における英字・数字・カタカナなどの各優先認識タッチ領域に、「長押し中の音声認識は書体を整える役割のタッチ」を別途設定するものである。
例えば、コンピュータにおいて太字や下線のアイコンをマウスでクリックしてから、キーボードでテキスト入力を開始する状況と同義である。
さらにタッチを離す行為が書式変更の解除操作も兼ねる為、マウスが存在するコンピュータ以上に素早く断続が可能である。
なお、もしこの特殊書体の入力中に誤認識等が発生した場合、一旦音声入力ボタンを離して固定した誤ったテキストを、言い直しや再変換しても特殊書体は維持される。
書体修正したい位置指定操作終了の時点で、機器側がその書体を一時記録していると言うことであり、これも現状のコンピュータでのキーボード入力時と同様である。
以下、例文及び操作説明を示す。
事前に図28(A)〜(D)に示す様に、数字優先(押したままの音声認識)にアンダーバー(下線)を数種類、例:「全て(後で選択)」「一本下線」「二重下線」「点下線」「波下線」「見え消し線」を設定する。
同様に、図29(A)〜(C)に示す様に、英字優先(押したままの音声認識)に書体を数種類、例:「全て(後で選択)」「太字」「斜体文字」「中抜文字」「ルビ」などを設定する。
例文(目的書式) 「音声入力装置でも 書体(※太字) が変えられます。」において「音声入力装置」にアンダーライン、「書体」を太字にする場合は、以下の様に操作する(図30(A)参照)。
操作法、「おんせいにゅうりょくそうち」の発声中は、数字優先タッチを押したままにする。
「装置」の発音における「ち」の発声と同時に数字優先タッチを離した瞬間の書体の選択画面への一時ジャンプした時の画面は図28(D)に示す。
次に、「しょたい」の発声中は、英字優先タッチを押したままにする。
「体の:い」の発声と同時に数字優先タッチを離した瞬間の書体の選択画面への一時ジャンプした時の画面は図29(C)に示す。
In addition, in the typewriter mode, a method of inputting special typefaces such as bold / italic characters and underlines (underscores) by voice input will be described.
Hold down the C button (or conversion touch), slowly and clearly release the voice input for only one phrase, and release the C button (or conversion touch). As explained above, in each priority recognition touch area such as letters, numbers, and katakana on the setting screen, "speech recognition during long press is a touch of the role of adjusting the typeface" is separately set.
For example, it is synonymous with the situation where a bold or underlined icon is clicked with the mouse on a computer and then text input is started with the keyboard.
Furthermore, since the act of releasing the touch also serves as the operation of canceling the format change, it is possible to intermittently interrupt the computer faster than the computer on which the mouse exists.
If an erroneous recognition occurs while inputting this special typeface, the special typeface is maintained even if the erroneous text once fixed by releasing the voice input button is rephrased or reconverted.
It means that the device temporarily records the typeface at the end of the position specification operation for which the typeface is to be corrected, which is also the same as when the keyboard is input on the current computer.
An example sentence and an operation explanation are shown below.
As shown in FIGS. 28 (A) to 28 (D) in advance, there are several types of underlines (underlines) for number priority (speech recognition while pressing), eg, "all (select later)", "one underline", " Set "double underline", "dot underline", "wave underline", and "disappearing line".
Similarly, as shown in FIGS. 29 (A) to 29 (C), there are several types of typefaces for alphabetic priority (speech recognition while pressing), eg, "all (select later)", "bold", "italic", " Set "blank character", "ruby", etc.
Example sentence (Purpose format) To underline "Voice input device" and make "Typeface" bold in "Voice input device can also change typeface (* bold)", operate as follows (Fig. 30). See (A)).
While uttering the operation method, "Onsei Nyuroku Sochi", hold down the number priority touch.
FIG. 28 (D) shows a screen when a temporary jump is made to the typeface selection screen at the moment when the number priority touch is released at the same time as the utterance of “chi” in the pronunciation of the “device”.
Next, hold down the alphabetic priority touch while uttering "shotai".
FIG. 29 (C) shows a screen when a temporary jump is made to the typeface selection screen at the moment when the number priority touch is released at the same time as the utterance of "body: i".
タイプライターモードにおける、書式変更の設定画面を図28にて説明する。
図28(A)は「書体」のタッチ領域を選択した状態を示している。
図28(B)は、これから書体を設定する「優先認識」のタッチ領域を事前設定している状況を示している。
図28(C)は、選択できる書体等の選択肢を示している。
なお、タッチを誤る状況も有り得るため、「一つ戻る」タッチ領域が画面上に無い場合でも、Cボタンを(キャンセル)として代用できる。
図28(D)は、選択できる下線等の選択肢を示している。
初期値は「全て」が選択されており、〔0132〕欄に記載した「音声入力と同時に書体変更の優先タッチ領域を離した」(書体変更の範囲指定を終了した)際のジャンプする画面は、当該画面から「全て」を除いた画面になる。
図29(A)は「英字優先」のタッチ領域に別の書体変更のコマンドを設定する状況を示している。
図29(B)は「飾り文字」の選択をした状態を示している。
図29(C)は「飾り文字」の選択肢を示しており、図28(D)同様に初期値は「全て」であり、範囲指定後に「後から選択」する形態となる。
図29(D)は、2つの優先認識に(下線)と(飾り文字)書式設定のコマンドとして適用されている状態を示している。
説明用に着色しているが、設定後に色調に変化が生じることはない。
The format change setting screen in the typewriter mode will be described with reference to FIG.
FIG. 28A shows a state in which the touch area of the “typeface” is selected.
FIG. 28B shows a situation in which the touch area of “priority recognition” for which the typeface is to be set is preset.
FIG. 28C shows options such as typefaces that can be selected.
Since there may be a situation where the touch is mistaken, the C button can be substituted as (cancel) even when the "back one" touch area is not on the screen.
FIG. 28D shows the underlined and other options that can be selected.
"All" is selected as the initial value, and the jump screen when "the priority touch area for typeface change is released at the same time as voice input" (the range specification for typeface change is completed) described in the [0132] column is displayed. , The screen is the screen excluding "all" from the screen.
FIG. 29A shows a situation in which another typeface change command is set in the touch area of “alphabet priority”.
FIG. 29B shows a state in which the “decorative character” is selected.
FIG. 29 (C) shows the options of the “decorative character”, and similarly to FIG. 28 (D), the initial value is “all”, and the range is specified and then “selected later”.
FIG. 29 (D) shows a state in which the two priority recognitions are applied as (underlined) and (decorative character) formatting commands.
Although it is colored for explanation, there is no change in color tone after setting.
更に各優先認識タッチに特殊書体を一種類のみ登録した場合は、前項の図28(D)や図29(C)における選択肢は出現せず、優先認識タッチを離した瞬間に特殊書体は実行される。
応用例として、一種類のみの書体指定タッチの場合、複数の書体指定のタッチを同時押ししたまま音声入力を行い、同時に両タッチを離すと、特殊書体が重複して適用される。
前記〔0127〕欄に記載の全ひらかな化と「」」(鉤ぎカッコ閉じ)を同時に掛けるコマンドと同様である。
以下、図30(A)を参照しながら、例文及び操作説明を示す。
数字優先(押したまま判定中音声入力)に「二重下線」の一種類のみを設定する。
英字優先(押したまま判定中音声入力)に「斜体文字」の一種類のみを設定する。
このような単独設定の場合、前項のように優先認識を離した瞬間に「どの書式を選択するか?」の画面遷移は発生せず、離した瞬間に書式変更は適用される。
更に書体の縦書きと飾り文字の毛筆体を数字優先及び英字優先の領域に特殊書体を設定した場合、図30(B)のような極端な例(封筒に縦書きで「御祝い 職員一同」など)も理論上は可能である。
なお図30中のA・B・C行の定義については、〔0127〕欄の記載と同様である。
なお、こうした書式変更の設定は原則〔0123〕欄の記載におけるタイプライターモード専用である、翻訳AIに特殊書体を送信するとエラー原因になる可能性がある為である。
Furthermore, if only one typeface is registered for each priority recognition touch, the options in FIGS. 28 (D) and 29 (C) in the previous section do not appear, and the special typeface is executed the moment the priority recognition touch is released. NS.
As an application example, in the case of only one typeface designation touch, if voice input is performed while pressing a plurality of typeface designation touches at the same time and both touches are released at the same time, special typefaces are applied in duplicate.
This is the same as the command for simultaneously multiplying the full hiragana and "" (closing the hooks in parentheses) described in the above column [0127].
Hereinafter, an example sentence and an operation explanation will be shown with reference to FIG. 30 (A).
Set only one type of "double underline" for number priority (voice input during judgment while pressing).
Set only one type of "italic" for alphabetic priority (voice input during judgment while pressing).
In the case of such a single setting, the screen transition of "Which format should be selected?" Does not occur at the moment when the priority recognition is released as in the previous section, and the format change is applied at the moment when the priority recognition is released.
Furthermore, when a special typeface is set in the area where the vertical writing of the typeface and the writing brush of the decorative character are prioritized in numbers and alphabetic characters, an extreme example as shown in Fig. 30 (B) ("Congratulations all staff" in vertical writing on the envelope, etc. ) Is also theoretically possible.
The definitions of lines A, B, and C in FIG. 30 are the same as those described in column [0127].
It should be noted that such a format change setting is exclusively for the typewriter mode described in the [0123] column in principle, because sending a special typeface to the translation AI may cause an error.
公知技術の一つとしてスキャンニングした様式(例えば履歴書など)をOCR(光学的文字認識:Optical Character Recognition、以下同じ)読み取りした記載欄を「枠」として機器側が認識して、キーボードでその枠内にテキストを入力する手法が存在する。
結果的に「本来は手書き部分」に活字テキストで完成品を作成できると言うことである。
本発明においてコンピュータに関する〔0042〕欄に記載の通り、キーボードでテキスト入力を行っているものと音声入力を行っているものに違いは無く、入力対象ソフトウェア側からの認識は同一である。
よって〔0121〕欄から〔0123〕欄に記載した、コンピュータとの接続とタイプライターモードを応用することで、前記の「履歴書などの様式の枠内」に音声入力でのテキスト入力も可能になる。
As one of the known techniques, the device recognizes the description field in which the scanned format (for example, history) is read by OCR (optical character recognition: Optical Character Recognition, the same applies hereinafter) as a "frame", and the frame is recognized by the keyboard. There is a method of entering text inside.
As a result, it is possible to create a finished product with printed text in the "originally handwritten part".
As described in the [0042] column relating to the computer in the present invention, there is no difference between the one in which text input is performed by the keyboard and the one in which voice input is performed, and the recognition from the input target software side is the same.
Therefore, by applying the connection with the computer and the typewriter mode described in the [0121] to [0123] columns, it is possible to input text by voice input in the above-mentioned "within the frame of the format such as resume". Become.
以上により、キーボードとマウスが存在せず尚且つテキスト入力は本文のみ発声するだけで、小画面タッチでの句読点付与・改行・空白・訂正(言い直し)・再変換・移動・削除・書式変更及び所定様式への入力などの「修正・編集・書体変更等」のおよそ全てが可能になる。
本発明の普及において、操作者の音声入力による編集・修正の習熟度や、元々のタイピング能力にも因るが、簡易なキーボードやタッチパッドが存在するタブレット端末はおろか、フルサイズのキーボードやマウスが存在するコンピュータ以上の速度でテキスト作成ができるようになり、言い換えれば出先でスマートフォン一つだけで、長編小説の原稿を問題なく作成することが実現可能になる。
2020年現在、特に外国人において、スマートフォンは必要性から所持しているが、パーソナルコンピュータやタブレット端末等は所持していない、いわゆるモバイル機器のみしか所持していない人口は2憶人以上であり、そのような状況の人々が、執筆活動での自己表現の機会を得られることになる。
また、例え紙ではなくメール内の添付データであったとしても、書式を整えた履歴書を企業に提示できるようになることは、世界的に格差の固定化が社会問題化している状況において、雇用条件改善への貢献も期待できるものである。
As a result, there is no keyboard and mouse, and text input is only uttered in the text, and punctuation marks, line breaks, blanks, corrections (rephrasing), reconversion, movement, deletion, format change, and formatting are performed by touching the small screen. Approximately all "correction, editing, typeface change, etc." such as input to a predetermined format becomes possible.
In the spread of the present invention, although it depends on the proficiency level of editing / correction by the operator's voice input and the original typing ability, not only a tablet terminal having a simple keyboard and a touch pad, but also a full-size keyboard and a mouse It will be possible to create texts faster than the computer on which the mouse exists, in other words, it will be possible to create a manuscript of a feature-length novel on the go with just one smartphone.
As of 2020, there are more than 200 million people, especially foreigners, who have smartphones because of their necessity, but do not have personal computers or tablet terminals, that is, they only have so-called mobile devices. People in such situations will have the opportunity to express themselves in their writing activities.
In addition, even if it is attached data in an email instead of paper, it is possible to present a well-formatted resume to a company in a situation where the fixation of disparities is becoming a social problem worldwide. It can also be expected to contribute to improving employment conditions.
ここまで携帯翻訳機ほか、スマートフォンなど「マウス及びキーボードが無い携帯機器」における画面タッチだけでの編集・修正の各手法を説明した。
コンピュータについては〔0042〕欄に記載のとおり、基本的に修正箇所はマウスで当該座標を指定し、キーボードの入力で上書きを掛けることが一般的と思われる。
しかしながらコンピュータでの使用環境においても、外国語の翻訳AIを仲介させて、外国人とコミュニケーションを取る状況は、グローバル化の流れに従い今後益々増加していく。
例を挙げれば、海外事務所とのテレビ会議や、映像が不要であれば個人的な商品取引や海外旅行で知り合った友人などに、直接メールでのリアルタイムの応対をする状況などである。
特に、個人レベルで通訳を頼める状況は現実的では無く、当然一般的なインターネット内の翻訳AIに依存することになる。
この場合〔0112〕欄で説明した「音声入力ボタンを離すことができず、編集・修正画面内で完結させる」制約がコンピュータにおいても発生する。
よって音声入力からの一時無音状態による編集・修正画面内(〔0055〕欄参照)でも、コンピュータのモニターをタッチしながら誤認識や同音異義語などを修正し、外国人側に送信し、相手側はAI翻訳を経由した文字データとして外国語のテキストを得て、必要があれば自身のコンピュータから自身の言語の音声情報も得ることになる。
こうしたアドリブでのやり取りのほか、商品取引など何度も同じ説明を繰り返す場合は「定形文」も都度引き出せると利便性が高まるため、〔0117〕欄の記載における、プレゼンテーションの登録や整列機能もコンピュータ側に追加機能として付与できることが望ましい。
このように、本発明は直接応対の為の携帯翻訳機とは別に「インターネットを介した、遠く離れた外国人との直接コミュニケーション」にも寄与できる応用性を持っている。
So far, we have explained each method of editing and correction by just touching the screen in "portable devices without a mouse and keyboard" such as mobile translators and smartphones.
As for the computer, as described in the [0042] column, it seems that it is common to basically specify the coordinates of the corrected part with the mouse and overwrite it with the input of the keyboard.
However, even in the environment of computer use, the situation of communicating with foreigners by mediating foreign language translation AI will increase more and more in the future in accordance with the trend of globalization.
For example, there are video conferences with overseas offices, and if you don't need video, you can directly respond to friends who you met on a personal product transaction or overseas trip by e-mail in real time.
In particular, the situation where an interpreter can be requested at the individual level is not realistic, and naturally depends on the general translation AI on the Internet.
In this case, the restriction "The voice input button cannot be released and is completed in the edit / correction screen" described in the [0112] column also occurs in the computer.
Therefore, even in the edit / correction screen due to the temporary silence from voice input (see column [0055]), correct misrecognition and synonyms of the same sound while touching the computer monitor, send it to the foreigner, and send it to the other party. Will obtain text in a foreign language as character data via AI translation, and will also obtain voice information in its own language from its own computer if necessary.
In addition to such ad-lib exchanges, if you repeat the same explanation over and over, such as product transactions, it will be more convenient if you can pull out the "fixed phrase" each time. It is desirable that it can be added to the side as an additional function.
As described above, the present invention has an applicability that can contribute to "direct communication with a distant foreigner via the Internet" in addition to the portable translator for direct response.
『第3の実施の形態:スマートウォッチなど腕時計サイズの携帯端末』
携帯端末、特にスマートウォッチなどの腕時計サイズ携帯端末は、自身の健康状態(バイタルなどの監視)のほか、特定のキーワードを音声入力することで、「天気予報」や「15分後にアラーム」などの情報処理を行うものが現状でも提供されている。
そこで先ず、本発明におけるスマートウォッチで音声入力装置を構成することの優位性を説明する。
なお、現在のスマートウォッチにおいては、スマートフォン等の情報処理装置との同期によるリモート設定が可能であり、本実施の形態では、当該同期設定以外の構成を中心に説明する。
公知技術としてスマートウォッチの小画面(以下:「盤面」とする)にて目的のアイコンをタッチしたり、音声入力で各種機能を呼び出すことは、前述の通り存在する。
しかし本発明での「正確性の付与」はメリットだけであり、操作法上現行のスマートウォッチの基本機能を阻害しないため、デメリットは存在しない。
"Third embodiment: a wristwatch-sized mobile terminal such as a smart watch"
Mobile terminals, especially wristwatch-sized mobile terminals such as smart watches, can be used to input specific keywords such as "weather forecast" and "alarm after 15 minutes" in addition to their own health status (monitoring vitals, etc.). Those that perform information processing are still provided.
Therefore, first, the superiority of configuring the voice input device with the smart watch in the present invention will be described.
In the current smart watch, remote setting is possible by synchronizing with an information processing device such as a smartphone, and in the present embodiment, configurations other than the synchronization setting will be mainly described.
As a known technique, touching a target icon on a small screen of a smart watch (hereinafter referred to as "board surface") or calling various functions by voice input exists as described above.
However, the "giving accuracy" in the present invention is only a merit, and there is no demerit because it does not interfere with the basic function of the current smart watch in terms of operation method.
スマートウォッチは、そのサイズとバンドでの固定方法から究極の携帯性を有するが、盤面は極端に小さく、視覚からの情報は得にくい。
例えばインターネットにおける商品の購入の操作程度は可能であるが、動画などの視聴には特に向かない。
そのため本発明においては前項の通り、短いキーワードでも「修正しながら正確に入力できる」ことに優位性を見い出す。
例えばインターネット上で提供されている情報検索サイトや、インターネット上におけるニュースの検索等に有効である。
但し狙った検索キーワードで目的のWebページを表示させても、やはり前項の通り盤面が小さいことから表示テキストを読むのは困難である。
そこで公知技術であるOCR認識とそれに伴う音声出力を利用し、インターネット内の辞書・論文やネットニュースの本文を、音声出力ボタンを押すことで、スマートウォッチ側に「テキストの読み上げ」をさせるものである。
即ち、音声入力に基づいてインターネット検索を行い、機器側の音声出力で、操作者はピンポイントに必要な情報を得ることができる。
具体的手法は後述〔0152〕欄にて説明する。
Smartwatches have the ultimate portability due to their size and band fixing method, but the board is extremely small and it is difficult to obtain visual information.
For example, it is possible to purchase products on the Internet, but it is not particularly suitable for watching videos.
Therefore, in the present invention, as described in the previous section, an advantage is found in that even a short keyword can be "correctly input while being corrected".
For example, it is effective for information retrieval sites provided on the Internet, news searches on the Internet, and the like.
However, even if the target Web page is displayed with the targeted search keyword, it is still difficult to read the displayed text because the board surface is small as described in the previous section.
Therefore, by using OCR recognition, which is a well-known technology, and the voice output that accompanies it, the text of dictionaries / papers and net news on the Internet can be read aloud to the smartwatch side by pressing the voice output button. be.
That is, the Internet search is performed based on the voice input, and the operator can obtain the information necessary for pinpointing by the voice output on the device side.
The specific method will be described later in the column [0152].
また、本実施の形態に係る音声入力装置としての使用方法としては、ショートメッセージでの情報交換を主とするSNSにおいて有効に活用できる。
スマートウォッチでは、利用者が身に着けていることから受信に気付かないことは無く、返信の書体も余り気にする必要が無い。
音声入力に際して使用する句読点を、特有のSNSのスタンプに設定画面にて変更し、「いいね」の意思表示等も盤面上のワンタッチ操作で素早く済ませることができる。
Further, as a method of using the voice input device according to the present embodiment, it can be effectively used in an SNS mainly for exchanging information by short message.
With a smartwatch, the user does not notice the reception because it is worn by the user, and there is no need to worry too much about the typeface of the reply.
The punctuation marks used for voice input can be changed to a unique SNS stamp on the setting screen, and the manifestation of "Like" can be done quickly with a one-touch operation on the board.
また、スマートフォンやそれに付随するスマートウォッチなどのモバイル機器によるクレジット決済については公知技術であるが、ソフトウェアをダウンロード後に契約する形態であり、特定の決済サービスに限定される。
本実施の形態に係る音声入力装置は、コンサートや有料のスポーツ観戦及び改札などにおいて、支払い済のQRコード(登録商標)を正確な音声入力によって、都度的確に使い分けて呼び出し盤面に表示させ、多種類のゲート通過認証等に利用できる。
また仕事上の環境からスマートフォンを取り出しにくい時に利用したり、片手がふさがっている時などは荷物を持ち替えた上で電話に出ることができる。
このように、突然の電話や、音声入力によって機器操作を咄嗟に行ったり、正確な検索や比較的正確なショートメールの作成などに有効である。
In addition, although credit payment by mobile devices such as smartphones and associated smart watches is a known technology, it is a form of contracting after downloading software, and is limited to a specific payment service.
The voice input device according to the present embodiment displays the paid QR code (registered trademark) on the call board surface by accurate voice input each time in concerts, paid sports watching, ticket gates, and the like. It can be used for various types of gate passage authentication.
You can also use it when it is difficult to take out your smartphone from the work environment, or when one hand is occupied, you can change your luggage and answer the phone.
In this way, it is effective for sudden phone calls, performing device operations by voice input, accurate search, and relatively accurate short mail creation.
むしろ長文を正確に作成することは、手間を掛ければ携帯翻訳機と基本操作や処理は同じではあるが、〔0139〕欄に記載の通り視認性の観点で困難さがある。
長文については、出先で作成した下書きとして一時記録に溜め、コンピュータやスマートフォン等にネットワーク等を経由して送信し、編集・修正及び最終的な校正は、後からコンピュータや最低でもスマートフォンサイズ以上の画面を持つ機器で行った方が効率的である。
Rather, it is difficult to accurately create a long sentence from the viewpoint of visibility as described in column [0139], although the basic operation and processing are the same as those of a portable translator if it takes time and effort.
For long sentences, it is temporarily recorded as a draft created on the go, sent to a computer or smartphone via a network, etc., and editing / correction and final proofreading can be done later on a screen that is the size of a computer or at least a smartphone. It is more efficient to do it with a device that has.
図31は腕時計サイズの携帯端末を用いた音声入力装置を示す略図であり(特に自然なデザイン性を重視した丸ベゼルタイプの腕時計における実施形態)、本実施の形態に係るスマートウォッチを示す略図である。
この実施の形態に係る携帯端末では、音声入力ボタンを押し、一音も発生しない状況では、図31(A)に示す認識前画面の状態となる。
特に丸ベゼルタイプの腕時計の場合、テキストの活字視認部分を可能な限り確保するため、文字盤中心部に仮想の正方形又は長方形等の空白部を設けるレイアウトとするのが望ましい。
但し、この図31(A)に示している文字盤の領域を仕切っている実線は、領域の分担を説明する為のものであり、実際の製品において境界線は色分けなどで行う。
FIG. 31 is a schematic diagram showing a voice input device using a wristwatch-sized mobile terminal (especially an embodiment in a round bezel type wristwatch that emphasizes natural design), and is a schematic diagram showing a smart watch according to the present embodiment. be.
In the mobile terminal according to this embodiment, when the voice input button is pressed and no sound is generated, the state of the pre-recognition screen shown in FIG. 31 (A) is obtained.
In particular, in the case of a round bezel type wristwatch, it is desirable to have a layout in which a blank part such as a virtual square or rectangle is provided in the center of the dial in order to secure the type visible part of the text as much as possible.
However, the solid line partitioning the dial area shown in FIG. 31A is for explaining the division of the area, and the boundary line is color-coded in the actual product.
本実施の形態に示す丸ベゼル型の時計は、その構成上4隅にボタンが存在する物が多く、本実施の形態でも4隅にボタンが存在する腕時計(現行の一般的四角形型スマートウォッチにもボタンのあるモデルは存在する)を前提にしている。
前記したスマートフォンサイズの携帯端末における操作・処理手法と異なり、タッチ領域を一箇所でも多く確保するために画面タッチとボタンで、実行させる処理や役割を分担している。
ボタンを押してコマンドを実行させる処理も、認識前画面、認識中画面、編集・修正画面で異なるため、盤面内には、小さいながらも「ボタン操作の説明」の表示領域311を設ける。
「一つ戻る」の操作・処理を実行する為には、中央に透過色でバッテン「×」312を表示させている。
句読点の打ち間違いなど、初めから入力し直したい場合は、画面タッチをしたまま長押しすると「リセット全クリアし初期画面(スマートウォッチの場合時計状態)に戻る」のは、携帯翻訳機に関する〔0084〕欄の定義と同様である。
ボタン及びタッチのレイアウト説明としては、ボタン左上→右上→左下→右下の説明順とし、次に画面タッチ上→左→右→下の順で記載する。
以下、認識中画面及び編集・修正画面の説明においても同様である。
初期配置の例としては「画面拡大」「音声入力Lock」「画面縮小」「音声入力」「数字優先」「英字優先」「記号」「クイックカラーチェンジ」を設定している。
Many of the round bezel-shaped watches shown in this embodiment have buttons at four corners due to their configuration, and even in this embodiment, a wristwatch having buttons at four corners (in the current general square smartwatch). There are models with buttons).
Unlike the above-mentioned operation / processing method for smartphone-sized mobile terminals, the processing and roles to be executed are shared by screen touches and buttons in order to secure as many touch areas as possible.
Since the process of pressing a button to execute a command also differs between the pre-recognition screen, the recognition-progress screen, and the edit / modify screen, a
In order to execute the operation / process of "back one", the batten "x" 312 is displayed in a transparent color in the center.
If you want to re-enter from the beginning, such as when you make a mistake in punctuation, press and hold while touching the screen to "clear all resets and return to the initial screen (clock state in the case of a smartwatch)" is related to mobile translators. ] It is the same as the definition in the column.
The layout of the buttons and touches will be described in the order of upper left → upper right → lower left → lower right of the buttons, and then in the order of screen touch top → left → right → bottom.
Hereinafter, the same applies to the description of the recognition screen and the editing / correcting screen.
As an example of the initial arrangement, "screen enlargement", "voice input lock", "screen reduction", "voice input", "number priority", "alphabet priority", "symbol", and "quick color change" are set.
句読点タッチ領域のカスタマイズ方法の画面遷移について説明する。
音声入力で「おんせいにゅうりょくせってい」と発声してもコマンドとして受け付けるほか、携帯翻訳機における〔0082〕欄の記載と同様にタッチ箇所の一つに長押し判定で設定画面へのジャンプのタッチ領域を同一領域に配置させることもできる。
最も多用される操作法は音声入力ボタンを押しながら一音声も発せず、画面を上下左右にフリック操作すると、特定の設定画面へジャンプする「ショートカット入力法」である。
図32(A)のとおり、左にフリック321すると「システム設定画面」、右にフリック322すると「色調設定画面」にジャンプする。
図32(B)のとおり、上に2回フリック323すると「認識前画面325a」の配置変更、上に1回フリック323すると「認識中画面325b」の配置変更、下に1回フリック324すると「編集・修正画面325c」の配置変更、下に2回フリック324すると後述の「ルーペ325d」の設定画面へジャンプする。
図32(C)は色調変更画面のレイアウトを例にしている。各ボタンの近くには、当該ボタンの説明を表示させることができる。
The screen transition of the method of customizing the punctuation touch area will be described.
In addition to accepting it as a command even if you say "Onsei Nyuryokusete" by voice input, you can press and hold one of the touch points to enter the setting screen as described in the [882] column of the mobile translator. It is also possible to arrange the touch area of the jump in the same area.
The most frequently used operation method is the "shortcut input method" that jumps to a specific setting screen by flicking the screen up / down / left / right without making a single voice while pressing the voice input button.
As shown in FIG. 32 (A), flicking 321 to the left jumps to the "system setting screen", and flicking 322 to the right jumps to the "color tone setting screen".
As shown in FIG. 32 (B), flicking up twice to change the arrangement of the "
FIG. 32C shows the layout of the color tone change screen as an example. A description of the button can be displayed near each button.
音声認識が1文字以上始まると、図31(B)に示す認識中画面に自動遷移するのは、スマートフォンサイズの携帯端末に関する〔0085〕欄の記載と同様であるが、句読点等の選択肢は少ない。
図31(B)に示した補助入力表示部の項目は、あくまで初期値の例であり、設定画面で補助入力表示部の項目句読点をカスタマイズすることができ、タッチ選択肢の少なさから、スマートフォンサイズよりもカスタマイズの必要性が重視されるものとなる。
初期配置の例としては「画面上へスライド」「記号(スタンプ含む)」「画面下へスライド」「音声入力」「。」「、」「空白」「改行」及び中央の×(一つ戻る)を設定している。
画面位置のスライド機能は、スマートフォンサイズ程度の画面サイズがあれば、長文以外「編集・修正画面」に遷移してテキストが画面内に収まり切らなくならない限り出現しないものであるが、スマートウォッチは盤面の小ささから、1文字以上の認識開始時点で「画面表示位置のスライド縦バー313」を初めから存在させている。
When voice recognition starts for one or more characters, the screen automatically transitions to the recognition screen shown in FIG. 31 (B), which is the same as the description in column [805] for a smartphone-sized mobile terminal, but there are few options such as punctuation marks. ..
The items in the auxiliary input display section shown in FIG. 31 (B) are just examples of initial values, and the item punctuation marks in the auxiliary input display section can be customized on the setting screen. The need for customization will be more important than that.
Examples of initial placement are "slide on screen", "symbol (including stamp)", "slide down screen", "voice input", ".", ",""Blank","linefeed", and x in the center (back one). Is set.
If the screen size is about the size of a smartphone, the screen position slide function will not appear unless the text shifts to the "edit / correction screen" other than the long text and the text does not fit on the screen. Because of its small size, the "slide
そして操作者が音声入力の間違いを発見した場合には、無音状態を一定時間維持することにより、スマートフォンサイズの携帯端末に関する〔0088〕欄の記載と同様に、図31(C)に示す修正・編集画面に遷移させる。
入力したテキストの始点・終点などの位置指定をする画面タッチ操作を妨害しないように、「一つ戻る」の処理を指定する領域又はボタンは、盤面の中心から4隅の何れかのタッチ領域又はボタンに移動する。
また盤面には、表示領域をスライド移動させる「画面表示位置のスライド縦バー313」を設けている。
盤面自体の小ささから多用することになるが、当該「画面表示位置のスライド縦バー313」は、盤面表示領域を可能な限り確保するためにテキストと半透明色で重ねて表示する。
この「縦バー313」自体の操作は、スマートフォンサイズの携帯端末に関する〔0089〕欄の記載と異なり、ウォッチ本体のボタン側314,315で前進・後退を操作する。
これは、縦バー移動を画面内のタッチで操作すると、盤面が小さいためテキストの起点・終点の位置指定タッチと誤認しやすいからである。
初期配置の例としては「画面上へスライド」「一つ戻る」「画面下へスライド」「音声入力」「。」「、」「変換」「?」を設定している。
Then, when the operator finds an error in voice input, the silence is maintained for a certain period of time, so that the correction shown in FIG. Transition to the edit screen.
The area or button that specifies the "back one" process is the touch area or any of the four corners from the center of the board so as not to interfere with the screen touch operation that specifies the position of the start point, end point, etc. of the entered text. Move to the button.
Further, the board surface is provided with a "slide
Although it is often used due to the small size of the board itself, the "slide
The operation of the "
This is because when the vertical bar movement is operated by touching the screen, it is easy to mistake it as a touch for specifying the position of the start point / end point of the text because the board surface is small.
As an example of the initial arrangement, "slide up screen", "back one", "slide down screen", "voice input", ".", ",", "Conversion", and "?" Are set.
頻繁に使用される機能や処理は、図33に示したレイアウト例を参照しながら説明する。
かかる音声入力画面の呼び出し操作は、音声入力にて「えすえぬえす」や「でんわ」などの単語入力による音声起動で行うことができる。
図33(A)に示す様に、ショートメッセージを送受信するSNSでは、句読点の代わりに「スタンプ」などを配置しても良い。
これにより絵文字やマーク等を入力する手間を大幅に簡略化できる。
またスマートウォッチで電話することは一般的な公知技術であるが、画面タッチにおけるダイヤル表示の例は図33(B)にて説明する。
基本的には事前登録した電話帳データ内でやり取りをすることが一般的と思われるが、画面分割のタッチ箇所を応用して音声入力以外でも電話番号を直接タッチで入力できるようにするものである。
一つのボタンやタッチ領域に複数の数字があてがわれているが、例えば右上のボタンを一回押してすぐ離せば「4」、2回連続してボタンを押した場合「5」が選択される。
最小となる丸ベゼルの腕時計サイズにあっては、盤面(文字盤であるタッチパネル)は4分割程度で使用することとなる。
スマートウォッチの形状や画面サイズ(四角形のスマートウォッチ等)によっては、タッチパネルを6〜9分割等にしたタッチ領域で構成することも可能である。
Frequently used functions and processes will be described with reference to the layout example shown in FIG. 33.
Such a call operation of the voice input screen can be performed by voice input by inputting words such as "Esuenuesu" and "Denwa".
As shown in FIG. 33 (A), in the SNS for transmitting and receiving short messages, a "stamp" or the like may be arranged instead of punctuation marks.
This greatly simplifies the time and effort required to enter pictograms and marks.
Further, calling with a smart watch is a generally known technique, and an example of dial display by touching the screen will be described with reference to FIG. 33 (B).
Basically, it seems that it is common to exchange within the pre-registered phone book data, but by applying the touch part of the screen division, it is possible to directly enter the phone number other than voice input. be.
Multiple numbers are assigned to one button or touch area. For example, if you press the upper right button once and release it immediately, "4" is selected, and if you press the button twice in a row, "5" is selected. ..
For the smallest round bezel wristwatch size, the face (touch panel, which is the dial) is divided into four parts.
Depending on the shape and screen size of the smartwatch (square smartwatch, etc.), the touch panel can be configured as a touch area divided into 6 to 9 parts.
インターネットの検索キーの入力方法について説明する。
現在、各種の大手サーチエンジン(検索サイト)においては、起動時のトップページの検索キー入力部分に、最初からカーソル位置が充てられているのが基本設定であることから、当該サーチエンジンの表示に続けて音声入力にて検索したい内容を話すのが最短の音声入力および検索手法である。
インターネット検索においては、Webブラウザーの起動時に、トップページにおける検索バー(検索キーの入力領域)内でカーソルカーソルが点滅しているので、そのまま検索キーを音声入力すると言うことである。
例えば「おーしーあーるよみあげ」などの目的だけ音声入力をして直接検索に移行できる。
しかしながら盤面が小さいため、目的の検索キー箇所に音声入力を行っても図34(A)の検索キー画面全体のサイズでは、検索キーの内容(音声入力の機器側の認識結果)に誤りが生じていないかチェックできない。
これは、目的のWebページ等は検索キーを含んだページ全体の前半部を、横長長方形のコンピュータのモニターで見られている前提で画面レイアウトが構成されているからである。
よって通常は図34(B)に示す表示サイズまで、機器側を操作して検索キーの内容を拡大表示しないと、誤りが生じていないか確認することができない。
ここで、本発明における〔0055〕欄に記載の手法を応用して、音声入力ボタンを離さずに意図的に無音状態を作ると、Webページ(例においては架空検索エンジン)側が薄色・背景化して、図35の通り入力中のテキスト側が拡大され視認の中心となるので、音声入力した検索キーの内容を余分な操作は一切無くチェック可能となる。
内容に問題が無ければ音声入力ボタンを離すだけで検索キーが入力され、検索結果として目的Webページの全体像(図36に相当する、例として「ネット架空大辞典」の当該ページ)画面が得られることになる。
The method of inputting the search key on the Internet will be described.
Currently, in various major search engines (search sites), the basic setting is that the cursor position is assigned to the search key input part of the top page at startup from the beginning, so the display of the search engine is displayed. The shortest voice input and search method is to continue to speak the content you want to search by voice input.
In the Internet search, when the Web browser is started, the cursor cursor is blinking in the search bar (search key input area) on the top page, so that the search key is input by voice as it is.
For example, you can directly switch to the search by inputting voice only for the purpose such as "Ohhhhhhhhh".
However, since the board surface is small, even if voice input is performed at the target search key location, an error occurs in the content of the search key (recognition result on the device side of voice input) in the size of the entire search key screen shown in FIG. 34 (A). I can't check if it's not.
This is because the screen layout of the target Web page or the like is configured on the assumption that the first half of the entire page including the search key is viewed on a horizontally long rectangular computer monitor.
Therefore, normally, it is not possible to confirm whether or not an error has occurred unless the contents of the search key are enlarged and displayed by operating the device side up to the display size shown in FIG. 34 (B).
Here, if the method described in the [0055] column of the present invention is applied to intentionally create a silent state without releasing the voice input button, the Web page (in the example, a fictitious search engine) side is light-colored and has a background. As shown in FIG. 35, the text side being input is enlarged and becomes the center of visual recognition, so that the content of the search key input by voice can be checked without any extra operation.
If there is no problem with the content, the search key is entered just by releasing the voice input button, and the overall image of the target Web page (corresponding to Fig. 36, for example, the relevant page of the "Net Fictitious Dictionary") screen is obtained as the search result. Will be.
しかしながら、基本的にスマートウォッチは画面サイズが小さく、優れた携帯性と引き換えに視認性に劣る。
そこで、視認性が低いデメリットを解消する為に、OCR認識による音声出力機能を付与する。
但し、音声では情報伝達ができない内容、例えば天気予報をインターネットから呼び出しても「晴れ」や「雨」はテキストでは無く、殆どの場合「晴マーク/雨マーク」で示されており、この音声出力は得られないので、一時的にでも視覚情報に頼らなければならない状況が生じる。
よって、スマートウォッチ専用の音声入力によって起動する機能として、「ルーペ(虫眼鏡)モード」を設定する。
However, smartwatches basically have a small screen size and are inferior in visibility in exchange for excellent portability.
Therefore, in order to eliminate the demerit of low visibility, a voice output function by OCR recognition is added.
However, contents that cannot be transmitted by voice, for example, even if the weather forecast is called from the Internet, "sunny" and "rain" are not texts, but are indicated by "sunny mark / rain mark" in most cases, and this voice output. Is not available, so there are situations where you have to rely on visual information, even temporarily.
Therefore, the "loupe (magnifying glass) mode" is set as a function that is activated by voice input dedicated to the smart watch.
即ち、音声入力ボタンを選択後に、起動させる機能を特定する音声を入力することにより、携帯端末は、認識した音声に対応する機能を起動させるように関連付けておく。
例えば、起動させる機能として、(ここでは特に「ルーペ(拡大鏡や虫眼鏡の意味)モード」)である場合には、音声入力ボタンの選択後に、「るーぺもーど」の音声を発する。
スマートウォッチ等の携帯端末では、この発声を認識すると、画面は、図37に示すルーペモードの表示画面に示すものが出現する。
このルーペモードの表示画面内では、インターネット等における情報表示画面内の任意の領域の画面を拡大表示する。
表示領域の移動操作は、全てスマートウォッチの盤面内に半透明色で擬似表現されたルーペ(虫眼鏡)部371を盤面タッチすることにより行う。
例えばルーペ表示領域372の外側の領域(即ち、背景)をスライド操作することで、ルーペ内の表示領域を早く動かし、ルーペの枠371を選択して、選択したルーペの外枠を上下左右・斜めに押して傾けるような操作を行った場合には、ゆっくり移動する微調整と、2つの画面移動方法を組み合わせて位置決めするように構成する。
仮想状態的ではあるが、紙の上に実際に拡大鏡等を置いた場合の自然な動きに似せることで操作者に判り易くさせる。
図37で二重表示にしているのは、ルーペの外側がWebページ画面の大部分ではあるが、その字は細かくて読み取れなくても、画面のどの部分にルーペが来ているか、感覚的に操作者に判らせる為である。
That is, after selecting the voice input button, the mobile terminal is associated with activating the function corresponding to the recognized voice by inputting the voice specifying the function to be activated.
For example, if the function to be activated is (here, in particular, "loupe (meaning magnifying glass or magnifying glass) mode"), the voice of "looper mode" is emitted after the voice input button is selected.
When a mobile terminal such as a smart watch recognizes this utterance, the screen shown on the display screen of the loupe mode shown in FIG. 37 appears.
In the display screen of this loupe mode, the screen of an arbitrary area in the information display screen on the Internet or the like is enlarged and displayed.
The operation of moving the display area is performed by touching the loupe (magnifying glass)
For example, by sliding the area outside the loupe display area 372 (that is, the background), the display area inside the loupe can be moved quickly, the
Although it is in a virtual state, it is made easier for the operator to understand by imitating the natural movement when a magnifying glass or the like is actually placed on paper.
The double display in FIG. 37 is that the outside of the loupe is the majority of the Web page screen, but even if the characters are too fine to read, it is possible to intuitively know which part of the screen the loupe is in. This is to let the operator understand.
また、本実施の形態でのスマートウォッチは、前記〔0139〕欄に記載の音声出力処理を行うことが望ましい。
しかし、従前における前記音声出力に関して、仮に範囲指定せずにWebページの冒頭から音声出力を行った場合には、本文に至るまで非常に無駄が多い。
図38の×印で囲った範囲381、つまりタイトルや注意書き、現実的なインターネットの環境では広告などである。
よって、表示している画面内において、音声出力の始点を指定することにより、指定した個所からの音声出力を行うように構成する。
即ち、ルーペ内において起点位置を長押し(指を静止)させた位置を起点とし、その起点操作後は、今までは「音声入力」であったボタンの説明が「音声出力ボタン」に変化する。
そして当該「音声出力」のボタンを押すと、表示されている画面からOCR認識を行い、認識したテキストに基づいて、機器AIがテキスト化し音声出力する。
つまり、図38の「趣旨」の直前の空白部382を長押しし、ルーペ内の起点ポイントが確定した瞬間、もうそれ以上は音声入力で検索する必要は無く目的情報に到達したものと同義であり、4隅ボタン右下の「音声入力ボタン」は「当該箇所から読み上げる音声出力の開始ボタン」に性質が変化しても問題が無いと言うことである。
必要な情報部分の聞き取りが終わったら、「一つ戻る」ボタンを選択して、音声出力は中断する(「一つ戻る」ボタンを長押しすると、時計表示等の初期画面まで戻る)。
また起点を指定後、ルーペモード内で更に移動し、位置383を再度位置指定すると「終点指定となり」、音声出力を開始した場合の「範囲指定」が事前にできる。
なお、範囲指定を掛けた場合、一度聞き終えた内容も、再度音声出力ボタンを押すことでリピート再生される。
OCR認識で機器側が判別できない記号など(例えば天気予報のマークなど)は、音声出力をスキップし、次の文字テキストの音声出力を続行する。
Further, it is desirable that the smart watch according to the present embodiment performs the audio output processing described in the above [0139] column.
However, with respect to the conventional audio output, if the audio is output from the beginning of the Web page without specifying the range, there is a great deal of waste up to the text.
The
Therefore, by designating the start point of the audio output in the displayed screen, the audio is output from the specified location.
That is, the starting point is the position in the loupe where the starting point is held down (finger is stationary), and after the starting point operation, the explanation of the button that was previously "voice input" changes to "voice output button". ..
Then, when the "voice output" button is pressed, OCR recognition is performed from the displayed screen, and the device AI converts the recognized text into text and outputs the voice.
In other words, the moment the
When you have finished listening to the required information, select the "Back one" button to interrupt the audio output (press and hold the "Back one" button to return to the initial screen such as the clock display).
Further, after designating the starting point, the user can move further in the loupe mode and specify the
When the range is specified, the content that has been listened to once is repeatedly played back by pressing the audio output button again.
For symbols that cannot be identified by the device side by OCR recognition (for example, a weather forecast mark), the voice output is skipped and the voice output of the next character text is continued.
画面表示の対象がインターネット内のWebサイトであるため、携帯翻訳機における編集・修正画面のテキスト(〔0088〕欄参照)のように、フォントと字間の拡大はできない為、始点・終点の位置の盤面タッチによる指定には正確性を欠くが、読み上げられる部分が数字、最大でも一行ズレるだけであり、翻訳のような正確性を必要としない「読み取り結果の音声出力」だけであるため、問題になるケースが少ない。
また、こうした「任意の領域を拡大表示させた上でルーペをゆっくり動かせる」ことで、音声出力を得られなくても、〔0150〕欄に記載のような週間天気予報マークなどの内容把握自体には問題が無いと考えられる。
Since the target of the screen display is a website on the Internet, the font and character spacing cannot be enlarged like the text on the edit / correction screen of a mobile translator (see [0088] column), so the positions of the start and end points. The specification by touching the board is not accurate, but the problem is that the part to be read out is only a number, at most one line off, and only the "voice output of the reading result" that does not require accuracy like translation. There are few cases of becoming.
In addition, by "moving the loupe slowly after enlarging an arbitrary area", even if audio output cannot be obtained, it is possible to grasp the contents of the weekly weather forecast mark as described in the [0150] column. Is considered to have no problem.
以上のようにインターネットのWebページを音声入力で呼び出した場合、運用上は結果的にルーペモードを起動することが多いので都度「るーぺもーど」と音声入力しなくても、一定時間でルーペモードが自動起動するように構成することが望ましい。
前記〔0145〕欄に記載の設定画面で自動起動する時間や、自動起動不可などの設定を行うことができる。
自動起動が実行されるまでの設定時間が長いほど、呼び出したインターネット画面全体のレイアウトを、操作者が「全体的に把握する」時間を長くすることができる。
見慣れたWebページしか呼び出さないケースでは「最初からルーペモードを起動、即ち待ち時間0秒」などを設定することが一般的と思われる。
ルーペが自動出現すると視認の妨げになる場合もあるため(例えば、小画面であっても画像や写真の全体像だけ確認したい場合など)、出現したルーペシルエットにおけるの「ルーペのグリップと仮定した左下に突き出している棒状部分」をタッチし、大きく右フリックする操作で、「イメージ的にルーペを紙上から除く操作」として、当該表示している「ルーペの削除動作」とする。
なお、全体像を把握した後で改めて細部を確認したい状況が生じたのであれば、再度「るーぺもーど」と音声入力すればルーペは再出現する。
As described above, when a web page on the Internet is called by voice input, the loupe mode is often activated as a result in operation, so even if you do not input "looper mode" by voice each time, the loupe takes a certain amount of time. It is desirable to configure the mode to start automatically.
On the setting screen described in the [0145] column, it is possible to set the time for automatic startup, the inability to start automatically, and the like.
The longer the setting time until the automatic startup is executed, the longer it takes for the operator to "understand the entire layout" of the called Internet screen.
In the case where only familiar Web pages are called, it seems that it is common to set "start the loupe mode from the beginning, that is, wait
Since the automatic appearance of the loupe may hinder visibility (for example, when you want to see only the entire image or photo even on a small screen), the "lower left assuming the grip of the loupe" in the loupe silhouette that appeared. By touching the "bar-shaped part protruding from" and flicking it to the right, the displayed "loupe deletion operation" is set as the "operation to remove the loupe from the paper as an image".
If you want to check the details again after grasping the whole picture, you can re-appear the loupe by inputting "Rupemode" again.
また、インターネットのWebページなどは大手検索エンジンの種類や、企業のホームページの場合イメージカラーなどで背景色が変化するものである。
よってルーペそのものの色調と偶然似通ってしまった場合の対策として、コンピュータに関する〔0035〕欄に記載したクイックカラーチェンジ同様に、半透明ルーペの色調にもクイックカラーチェンジを設定する。
但し、盤面の狭さから専用のタッチアイコンを設定することは難しいため、ルーペ左下に突き出した「仮想のルーペのグリップ」を指で連打することで「色調変更」のコマンド操作とする。
他の例と同様に、桃色→水色→緑色→橙色→桃色系に戻る、こうしたローテーションにより対応する。
In addition, the background color of Web pages on the Internet changes depending on the type of major search engine and the image color of a company's homepage.
Therefore, as a countermeasure when the color tone of the loupe itself is accidentally similar, a quick color change is set for the color tone of the translucent loupe as well as the quick color change described in the [0035] column regarding the computer.
However, since it is difficult to set a dedicated touch icon due to the narrowness of the board, the command operation of "color tone change" is performed by repeatedly hitting the "virtual loupe grip" protruding from the lower left of the loupe with a finger.
Similar to the other examples, this rotation is used to return to pink → light blue → green → orange → pink.
スマートウォッチで正確な検索キーを入力できるとしても、もし音声入力にて修正を要する認識がされてしまった場合、操作自体はキーボードの有るコンピュータや、比較的画面サイズに余裕があるスマートフォンと比較し、操作部の大きさや視認性の面ではスマートウォッチは最も劣る物である。
よって、同じWebページの再検索などの操作量自体を減らす為に、前回使った最後のアプリケーションや頻繁に使用するソフトウェアは、その固有名詞を音声入力することで、直接呼び出すことができる、これは公知技術である。
他の既存例としては、時計自体としてのデザインを無視して、検索エンジンや頻繁に使用するアプリケーションのアイコンを盤面に散りばめる手法なども多数存在する。
本発明における正確な検索キー入力により、デザイン性を損ねず、また小画面のままでありながら的確なWebページ等を呼び出すことができるとしても、電波状態が良好で無い時は、当然目的のWebページを呼び出すことはできない。
また、インターネット内の地図情報などや長い論文を見る時など、自身が目的地に近付く都度または読み進める都度など、何度も同じWebページを検索しなければならなくなる。
本項冒頭の通り、大型の機器と比較すれば操作自体が困難であることと、携帯性に優れる反面電波が悪い状況での使用頻度が上がる性質の機器の為、何度も同じWebページにアクセスする必要が生じないよう、Webページ画面の全体像(論文等であれば1ページ) をトリミングする機能がスマートウォッチ本体側にあることが望ましい。
その操作は、Web内の地図情報(仮に最終駅から目的地までの徒歩経路)の画面や長い論文の丸1ページなどを、盤面内に位置調整後「さつえい」や「とりみんぐ」と音声入力されることで実行される。
機器のメモリーの能力にも因るが、地図情報は自宅から最初に乗る駅までの1枚、次に駅から目的駅まで1枚、最後に到着駅から目的地まで1枚と次々と内容を保存したり、論文も2ページ目以降次々作業を繰り返せば目的情報全ての「最初から最後まで」記録自体はできる。
使用する際は、音声入力で「保存BOX」を呼び出すことで、見たい内容が電波状態に左右されず、検索用の入力操作の手間も無く得ることができる。
1ページの定義は、閲覧中のWebページを、コンピュータにおいて「印刷指示を行った場合の1ページ目」と同義の範囲であり、仮に図38であれば「図全体」の範囲である。
なお、当該ページ内で一部だけの範囲指定を掛けて機器に記録させたい場合は、一旦ルーペを出現させてから記録したい範囲全体をルーペに収めた状態で「さつえい」や「とりみんぐ」の音声コマンド操作を行うと、ルーペ内の内容だけがトリミング(記録)される。
Even if you can enter the correct search key on your smartwatch, if it is recognized that you need to correct it by voice input, the operation itself is compared with a computer with a keyboard or a smartphone with a relatively large screen size. The smartwatch is the inferior in terms of the size and visibility of the operation unit.
Therefore, in order to reduce the amount of operations such as re-searching the same Web page, the last application used last time or the software used frequently can be called directly by inputting the proper noun by voice. This is a known technique.
As another existing example, there are many methods of ignoring the design of the clock itself and sprinkling the icons of search engines and frequently used applications on the board.
Even if the accurate search key input in the present invention does not impair the design and can call an accurate Web page or the like while keeping the small screen, when the radio wave condition is not good, the target Web is naturally used. You cannot call the page.
In addition, you have to search the same Web page many times, such as when you look at map information on the Internet or when you look at a long paper, every time you approach your destination or read it.
As mentioned at the beginning of this section, the operation itself is difficult compared to large devices, and the device has excellent portability but is used more frequently in situations where radio waves are poor, so the same Web page is displayed many times. It is desirable that the smartwatch body has a function to trim the entire image of the Web page screen (1 page for papers, etc.) so that there is no need to access it.
The operation is to "Satsuei" or "Torimingu" after adjusting the position of the map information (temporarily the walking route from the last station to the destination) screen on the Web or a whole page of a long paper on the board. Is executed by voice input.
Depending on the memory capacity of the device, the map information is one from home to the first station to get on, then one from the station to the destination station, and finally one from the arrival station to the destination. If you save the paper or repeat the work one after another from the second page onward, you can record all the target information "from the beginning to the end".
When using it, by calling the "save BOX" by voice input, the content to be viewed is not affected by the radio wave condition, and the trouble of input operation for search can be obtained.
The definition of one page is a range synonymous with "the first page when a print instruction is given" on the computer for the Web page being browsed, and if it is FIG. 38, it is the range of "the entire figure".
If you want the device to record by specifying only a part of the range on the page, once the loupe appears, the entire range you want to record is stored in the loupe, and then "Satsuei" or "Torimin" When the voice command operation of "Gu" is performed, only the contents in the loupe are trimmed (recorded).
前項の保存されたデータを呼び出して、後にルーペモードで再確認する場合、更に機能面で有効となる「コンティニュー機能」を説明する。
地図情報では自身は目的地に近付いて行くことになり、長い論文等であれば読み込み(若しくは聞き込み)が進行していく。
当然起動状態を続ければスマートウォッチのバッテリーは消耗するので、地図を再確認するのは要所ごとであり、論文を読む(聞く)ことでも、一例であるが休み時間の終了や周囲に音を出せない状況に変わってしまう(近くに無関係の人が来る)など中断を余儀なくされることはある。
前項の説明の通り、簡単な音声入力コマンドで再度保存BOXから呼び出しても、もしルーペの位置が都度起点位置になっていると、地図であれば現在位置まで、論文等なら読み進めた位置までルーペを進める余分な操作が必須になってしまう。
よって保存している画像データにルーペモードを掛けた場合、その画面を閉じる(一つ戻るタッチ)操作をした時に「その瞬間のルーペの位置と拡大率」も一緒に上書き保存される設定とする。
これにより「操作者にとっては途中経過」が自動的に記録される為、再度呼び出した際の利便性が向上する。
論文等をOCR認識で読み上げさせる場合も、次項のルーペの自動スライドの途中位置から音声入力のボタンワンタッチで再開できるため、操作量が少なくすぐに続きを聞くことが可能になる。
When the saved data in the previous section is recalled and later reconfirmed in the loupe mode, the "continue function" that is further effective in terms of function will be described.
With map information, oneself will approach the destination, and if it is a long paper, reading (or listening) will proceed.
Of course, if you keep the smartwatch running, the battery of the smartwatch will be consumed, so it is important to reconfirm the map, and reading (listening to) the paper is also an example, but the end of the break time and the sound around you It may be necessary to interrupt the situation, such as changing to a situation where it cannot be put out (an unrelated person comes nearby).
As explained in the previous section, even if you recall from the save BOX with a simple voice input command, if the position of the loupe is the starting position each time, it will be up to the current position if it is a map, or up to the position that you have read if it is a paper etc. Extra operation to advance the loupe becomes indispensable.
Therefore, when the loupe mode is applied to the saved image data, the "position and magnification of the loupe at that moment" is also overwritten and saved when the screen is closed (touch back one). ..
As a result, "the progress of the process for the operator" is automatically recorded, which improves convenience when the call is made again.
Even when a paper or the like is read aloud by OCR recognition, it can be restarted from the middle position of the automatic slide of the loupe in the next section with one touch of a voice input button, so that the amount of operation is small and the continuation can be heard immediately.
インターネットの論文等のページから、ORC認識での音声出力例を説明する。
仮想の論文ページであるが、殆どの場合は〔0152〕欄の説明のとおり、広告欄や注意書きが冒頭に掲載されており、本文読み上げの妨げとなる。
ルーペモードの呼び出し若しくは一定時間経過での自動出現の後、拡大や位置調整で「情報を得たい本文の冒頭」(図38の位置382)に位置指定するのが一般的と思われる。
本文文頭を長押して始点指定し、音声入力ボタンを押した時に、目的であるOCR認識での「音声出力」が得られるが、ルーペ内の視覚情報も無為にはしない。
OCR認識の読み上げに合わせて、ルーペ自体も読み上げ中の文節を中心位置にして自動スライドする。
但し、位置指定の為に相当ルーペを拡大していた場合、ルーペ内の文字の流れが早すぎて内容は視認できなくなると思われる。
よって音声出力及びルーペ自動スライドの最中であっても、スマートウォッチ本体の拡大と縮小のボタンはその操作を受け付ける。
適度にルーペの拡大率を落とすと、音声と同調した文字情報を視認しながら、より理解が得られたりレイアウト全体の読み上げ部分の位置関係が把握できるからである。
図38の読み上げ領域の途中の位置384で一度音声出力をキャンセル(一つ戻る)を押して読み上げの一時中止後に、次回同じ保存BOXから再度データを呼び出せば図38の拡大率と位置でルーペが存在すると言うことであり、その状態で音声入力ボタン(つまり音声出力の再開)をすれば、図38の読み上げ途中の位置385からルーペが音声出力と同調してスライドしていくものである。
An example of audio output in ORC recognition will be described from pages such as papers on the Internet.
Although it is a virtual dissertation page, in most cases, as explained in column [0152], an advertisement column and a cautionary note are posted at the beginning, which hinders the reading of the text.
After calling the loupe mode or automatically appearing after a certain period of time, it seems that it is common to specify the position at the "beginning of the text for which information is desired" (
When you press and hold the beginning of the text to specify the start point and press the voice input button, you can obtain the "voice output" for OCR recognition, which is the purpose, but the visual information in the loupe is not neglected.
The loupe itself automatically slides with the phrase being read as the center position in accordance with the reading of OCR recognition.
However, if the loupe is enlarged considerably to specify the position, the characters in the loupe will flow too quickly and the contents will not be visible.
Therefore, even during audio output and automatic loupe slide, the enlargement / reduction buttons on the smartwatch body accept the operation.
This is because if the enlargement ratio of the loupe is reduced appropriately, better understanding can be obtained and the positional relationship of the reading portion of the entire layout can be grasped while visually recognizing the character information synchronized with the voice.
If you press Cancel (back one) once at the
本発明の音声入力装置は、各種電子機器を使用した音声入力装置として利用することができ、特に液晶画面、望ましくはタッチパネルを有する電子機器において実行することのできる音声入力装置として利用することができる。 The voice input device of the present invention can be used as a voice input device using various electronic devices, and can be used as a voice input device that can be executed particularly on an electronic device having a liquid crystal screen, preferably a touch panel. ..
10 認識前画面
12 指定領域
17 タッチ領域
20 認識中画面
50 多機能マウス
61 選択領域
70 編集・修正画面
71 縦バー
130 足踏みタッチパッド
130 パッド
141 外国語入力ボタン
142 Cボタン
143 母国語入力ボタン
153 補助入力表示部
201 修正テキスト入力画面
211 起点
212 終点
325a 認識前画面
325b 認識中画面
325c 編集・修正画面
371 ルーペ(虫眼鏡)部
372 ルーペ表示領域
10
Claims (6)
入力した音声を認識する音声認識部と、
当該音声認識部で認識した音声を文字列に変換する文字変換部と、
当該文字変換部で変換した文字列を表示する文字列表示部と、
当該文字列表示部に、句点、読点、括弧及び関数の少なくとも何れからなる図形文字、及び/又は制御文字を表示させる補助入力表示部と、
補助入力表示部に表示された図形文字及び/又は制御文字の選択により、前記文字変換部で変換した文字列に挿入する記号挿入部とからなる、音声入力装置。
A voice input device that recognizes voice and converts it into character information.
A voice recognition unit that recognizes the input voice and
A character conversion unit that converts the voice recognized by the voice recognition unit into a character string, and
A character string display unit that displays the character string converted by the character conversion unit, and
An auxiliary input display unit that displays graphic characters consisting of at least punctuation marks, commas, parentheses, and functions, and / or control characters on the character string display unit.
A voice input device including a symbol insertion unit that is inserted into a character string converted by the character conversion unit by selecting a graphic character and / or a control character displayed on the auxiliary input display unit.
当該範囲指定部で指定した範囲の文字列を再変換する再変換部を有する、請求項1に記載の音声入力装置。
A range specification unit that specifies the range of the character string displayed on the character string display unit, and
The voice input device according to claim 1, further comprising a reconversion unit that reconverts a character string in a range specified by the range designation unit.
音声の認識と同時に、認識前画面を認識中画面に変化させる画面変更手段を備える、請求項1又は2に記載の音声入力装置。
The auxiliary input display unit can select and display a pre-recognition screen including characters and symbols input at the beginning of a sentence and a recognizing screen excluding the characters and symbols input at the beginning of a sentence.
The voice input device according to claim 1 or 2, further comprising a screen changing means for changing the pre-recognition screen to the recognizing screen at the same time as voice recognition.
当該編集修正部は、入力された文字の指定範囲または指定位置に対して、音声入力によって他の文字を挿入する、請求項1〜3の何れか一項に記載の音声入力装置。
Furthermore, it has an editing correction section that edits or corrects the input character string.
The voice input device according to any one of claims 1 to 3, wherein the editing correction unit inserts another character by voice input into a designated range or a designated position of the input character.
表示装置に表示されている任意の領域を拡大表示する拡大表示部とを備える、請求項1〜4の何れか一項に記載の音声入力装置。
Furthermore, an audio output unit that outputs a character string with a specified range as audio,
The voice input device according to any one of claims 1 to 4, further comprising an enlarged display unit that magnifies and displays an arbitrary area displayed on the display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070652A JP7109498B2 (en) | 2020-04-09 | 2020-04-09 | voice input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070652A JP7109498B2 (en) | 2020-04-09 | 2020-04-09 | voice input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168020A true JP2021168020A (en) | 2021-10-21 |
JP7109498B2 JP7109498B2 (en) | 2022-07-29 |
Family
ID=78079751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020070652A Active JP7109498B2 (en) | 2020-04-09 | 2020-04-09 | voice input device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7109498B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013228523A (en) * | 2012-04-25 | 2013-11-07 | Casio Comput Co Ltd | Mathematical expression input device and program |
JP2014142934A (en) * | 2013-01-23 | 2014-08-07 | Lg Electronics Inc | Electronic device and method of controlling electronic device |
WO2018034059A1 (en) * | 2016-08-17 | 2018-02-22 | パナソニックIpマネジメント株式会社 | Voice input device, translation device, voice input method, and voice input program |
JP2018180883A (en) * | 2017-04-12 | 2018-11-15 | 株式会社アドバンスト・メディア | Terminal device and program |
-
2020
- 2020-04-09 JP JP2020070652A patent/JP7109498B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013228523A (en) * | 2012-04-25 | 2013-11-07 | Casio Comput Co Ltd | Mathematical expression input device and program |
JP2014142934A (en) * | 2013-01-23 | 2014-08-07 | Lg Electronics Inc | Electronic device and method of controlling electronic device |
WO2018034059A1 (en) * | 2016-08-17 | 2018-02-22 | パナソニックIpマネジメント株式会社 | Voice input device, translation device, voice input method, and voice input program |
JP2018180883A (en) * | 2017-04-12 | 2018-11-15 | 株式会社アドバンスト・メディア | Terminal device and program |
Also Published As
Publication number | Publication date |
---|---|
JP7109498B2 (en) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5854997A (en) | Electronic interpreter utilizing linked sets of sentences | |
US7719521B2 (en) | Navigational interface providing auxiliary character support for mobile and wearable computers | |
KR101290071B1 (en) | Man-machine interface for real-time forecasting user's input | |
CN105573503B (en) | For receiving the method and system of the text input on touch-sensitive display device | |
JP4829901B2 (en) | Method and apparatus for confirming manually entered indeterminate text input using speech input | |
RU2206118C2 (en) | Ambiguity elimination system with downsized keyboard | |
KR100931466B1 (en) | Electronic dictionary device and dictionary search method of electronic dictionary device | |
US20110063231A1 (en) | Method and Device for Data Input | |
JP4277903B2 (en) | Electronic device and program with dictionary function | |
KR20000049205A (en) | Character input apparatus and storage medium in which character input program is stored | |
JP2007133884A5 (en) | ||
JP2008544385A (en) | Handwritten character recognition in electronic devices | |
TWI475405B (en) | Electronic device and text-input interface displaying method thereof | |
CN111694443A (en) | Input method using touch gestures as interaction mode | |
KR102544285B1 (en) | Method for providing electronic transcription service using electronic transcription system | |
JP7109498B2 (en) | voice input device | |
JP2004038407A (en) | Character input device and method | |
JP5008248B2 (en) | Display processing apparatus, display processing method, display processing program, and recording medium | |
Alnfiai et al. | Improved Singeltapbraille: Developing a Single Tap Text Entry Method Based on Grade 1 and 2 Braille Encoding. | |
Oxley et al. | Considerations for Chinese text input methods in the design of speech generating devices: a tutorial | |
Hitchcock | Computer access for people after stroke | |
JP3533591B2 (en) | Character input device, character input method, and recording medium recording character input control program | |
KR100980384B1 (en) | Method for inputting characters in terminal | |
US20240193194A1 (en) | Book search apparatus, book search database generation apparatus, book search method, book search database generation method, and program | |
Liu | Chinese Text Entry with Mobile Devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |