JP2014085790A - Recognition processor, recognition processing method and recognition processing program - Google Patents
Recognition processor, recognition processing method and recognition processing program Download PDFInfo
- Publication number
- JP2014085790A JP2014085790A JP2012233646A JP2012233646A JP2014085790A JP 2014085790 A JP2014085790 A JP 2014085790A JP 2012233646 A JP2012233646 A JP 2012233646A JP 2012233646 A JP2012233646 A JP 2012233646A JP 2014085790 A JP2014085790 A JP 2014085790A
- Authority
- JP
- Japan
- Prior art keywords
- recognition processing
- image
- recognition
- symbol
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
撮像により取得した画像に対して認識処理を行う認識処理装置、そのような認識処理装置を用いた認識処理方法、及びそのような認識処理装置を実現するための認識処理プログラムに関する。 The present invention relates to a recognition processing device that performs recognition processing on an image acquired by imaging, a recognition processing method using such a recognition processing device, and a recognition processing program for realizing such a recognition processing device.
受験に際して電子卓上計算機（以下、電卓という）を使用する国家試験等の各種試験では、計算以外の機能を有する電卓の使用が認められていない場合が多い。このような試験を通って業務に就く者が操作に慣れている電卓とは、計算機能のみを有する電卓であることが多い。計算機能のみを有する電卓をコンピュータ上で実現するアプリケーションソフトウェア等のプログラムも提供されているが、操作に用いるキーボードの配列が電卓とは異なる等の理由により、通常の電卓と同じ操作感を得ることはできない。 In various tests such as national tests that use an electronic desk calculator (hereinafter referred to as a calculator) when taking an examination, it is often not permitted to use a calculator having a function other than calculation. Calculators that are used to operations by those who have gone through such tests are often calculators that have only a calculation function. Programs such as application software that realizes a calculator with only a calculation function on a computer are also provided, but the same operation feeling as a normal calculator can be obtained because the keyboard layout used for the operation is different from that of the calculator. I can't.
そこで、例えば特許文献１には、文字認識により得られた数字データにより任意の演算を行うことが可能な文字認識機能付き携帯電話が開示されている。
Thus, for example,
しかしながら、特許文献１に開示された文字認識機能付き携帯電話では、表示された数字に対して認識させる契機をユーザが指定する必要があるため、電卓に対して連続して入力する場合には操作性が悪いという問題がある。
However, in the mobile phone with a character recognition function disclosed in
本発明には、このような状況に鑑みてなされたものであり、続けて撮像した画像の変化を検出した場合に、認識処理を実行することにより、操作性の高い認識処理装置の提供を目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a recognition processing device with high operability by executing recognition processing when a change in an image captured continuously is detected. And
また、本発明は、本発明に係る認識処理装置と計算機とを用いた認識処理方法を提供することにより、計算機の操作性を損ねることなく、認識処理装置により認識させることを他の目的とする。 Another object of the present invention is to provide a recognition processing method using the recognition processing apparatus according to the present invention and a computer so that the recognition processing apparatus can recognize without impairing the operability of the computer. .
また、本発明は、本発明に係る認識処理装置を実現する認識処理プログラムを提供することにより、操作性の高い認識処理装置を実現させることを他の目的とする。 Another object of the present invention is to realize a recognition processing device with high operability by providing a recognition processing program for realizing the recognition processing device according to the present invention.
上記課題を解決するために、本発明に係る認識処理装置は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置であって、画像の変化の有無を検出する変化検出手段と、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識手段と、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理手段とを備えることを特徴とする。 In order to solve the above-described problem, a recognition processing device according to the present invention is a recognition processing device that executes recognition processing on an image continuously acquired by imaging and displays a result based on the recognition processing. A change detecting means for detecting presence / absence of a change; a recognition means for acquiring a number or a symbol relating to an operation by a recognition process for the acquired image when the change detecting means detects a change in the image; and Display processing means for displaying the result indicating the numbers and symbols acquired in this manner.
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。 Therefore, in the present invention, an operation for executing the recognition process becomes unnecessary by executing the recognition process triggered by detection of a change in the image.
また、前記認識手段は、複数の数字又は記号を続けて取得した場合で、取得すべき記号を取得することができなかったときに、取得すべき記号の候補を複数選択する選択手段と、前記選択手段による選択後の取得に基づいて、選択した複数の記号の候補のうちから、取得すべき記号を特定する特定手段とを含み、特定した記号を、取得した記号とすることを特徴とする。 The recognizing means is a selecting means for selecting a plurality of symbol candidates to be acquired when a plurality of numbers or symbols are continuously acquired and the symbol to be acquired cannot be acquired; Including a specifying unit for specifying a symbol to be acquired from a plurality of selected symbol candidates based on acquisition after selection by the selection unit, wherein the specified symbol is an acquired symbol. .
したがって、本発明では、演算に要する記号を認識することができない場合に、記号の候補を複数選択し、特定することができる。 Therefore, in the present invention, when a symbol required for calculation cannot be recognized, a plurality of symbol candidates can be selected and specified.
また、前記特定手段により取得すべき記号を特定することができなかった場合又は前記特定手段が特定した記号が複数である場合に、前記認識手段は、前記選択手段が選択した複数の記号又は前記特定手段が特定した複数の記号を取得した記号とすることを特徴とする。 Further, when the symbol to be acquired by the specifying unit cannot be specified or when there are a plurality of symbols specified by the specifying unit, the recognizing unit is configured to select a plurality of symbols selected by the selecting unit or the A plurality of symbols specified by the specifying means are used as acquired symbols.
したがって、本発明では、記号の候補を１つに特定することができない場合に、複数の記号を取得したものとして扱うことができる。 Therefore, in the present invention, when a single symbol candidate cannot be specified, it can be handled as having acquired a plurality of symbols.
また、前記変化検出手段は、取得した複数の画像から、画像内で認識の対象となる区域を特定する手段を有し、前記認識手段は、特定した区域内での変化に基づいて、各画像に対する認識処理行うことを特徴とする。 In addition, the change detection unit includes a unit that identifies an area to be recognized in the image from the plurality of acquired images, and the recognition unit detects each image based on a change in the identified area. Recognition processing is performed.
したがって、本発明では、認識の対象とすべき区域を自動的に特定することができる。 Therefore, in the present invention, an area to be recognized can be automatically specified.
本発明に係る認識処理方法は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置を用いた認識処理方法であって、前記認識処理装置は、画像の変化の有無を検出する変化検出ステップと、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識ステップと、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理ステップとを実行することを特徴とする。 The recognition processing method according to the present invention is a recognition processing method using a recognition processing device that executes recognition processing on an image acquired continuously by imaging and displays a result based on the recognition processing, the recognition processing device A change detecting step for detecting the presence or absence of a change in the image; and a recognition step for acquiring a number or a symbol relating to a calculation by a recognition process for the acquired image when the change detecting unit detects a change in the image; And a display processing step of displaying a result indicating the numbers and symbols acquired by the recognition means.
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。 Therefore, in the present invention, an operation for executing the recognition process becomes unnecessary by executing the recognition process triggered by detection of a change in the image.
本発明に係る演算表示システムは、数字及び演算に関する記号の入力を受け付ける入力部と、入力された数字及び記号に基づく表示を行う表示部とを備える計算機と、前記認識処理装置とを備え、前記認識処理装置は、前記表示部の撮像により取得した画像に基づいて認識処理を実行することを特徴とする。 An arithmetic display system according to the present invention includes an input unit that receives input of numerals and symbols related to arithmetic, a computer that includes a display unit that performs display based on the input numerals and symbols, and the recognition processing device, The recognition processing apparatus performs recognition processing based on an image acquired by imaging of the display unit.
したがって、本発明では、計算装置を操作するだけで、認識処理装置は、その操作の内容を自動的に認識することができる。 Therefore, in the present invention, the recognition processing device can automatically recognize the contents of the operation only by operating the computing device.
本発明に係る認識処理プログラムは、撮像部及び表示部を備えるコンピュータに、前記撮像部の撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を前記表示部に表示させる認識処理プログラムであって、コンピュータに、画像の変化の有無を検出する手順と、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する手順と、取得した数字及び記号を示した結果を表示させる手順とを実行させることを特徴とする。 A recognition processing program according to the present invention executes a recognition process on an image acquired by imaging performed by the imaging unit on a computer including an imaging unit and a display unit, and displays a result based on the recognition process on the display unit. A recognition processing program for causing a computer to detect the presence or absence of a change in an image, and a procedure for acquiring a number or a symbol relating to a calculation by a recognition process for the acquired image when a change in the image is detected; And a procedure for displaying a result indicating the acquired numbers and symbols.
したがって、本発明では、コンピュータにて実行することにより、コンピュータが本発明の認識処理装置として機能するので、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。 Therefore, in the present invention, since the computer functions as the recognition processing apparatus of the present invention when executed by the computer, the recognition processing is executed by executing the recognition processing triggered by the detection of the image change. No operation is required.
本発明に係る認識処理装置、認識処理方法及び認識処理プログラムでは、例えば、電子卓上計算機等の計算機を続けて撮像した画像を取得し、画像の変化を検出した場合に、認識処理を実行する。これにより、計算機を操作するユーザは、計算機に対する操作を行うだけで、その操作の内容を認識処理装置が認識するので、操作性を向上させることができ、高い利便性を提供することが可能である等、優れた効果を奏する。 In the recognition processing device, the recognition processing method, and the recognition processing program according to the present invention, for example, an image captured continuously by a computer such as an electronic desk calculator is acquired, and recognition processing is executed when a change in the image is detected. As a result, the user who operates the computer simply performs an operation on the computer, and the recognition processing device recognizes the content of the operation. Therefore, the operability can be improved and high convenience can be provided. There are excellent effects.
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施の形態は、本発明を具現化した一例であって、本発明の技術的範囲を限定する性格のものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiment is an example embodying the present invention, and is not intended to limit the technical scope of the present invention.
本願に記載の演算表示システムは、電子卓上計算機等の計算機に表示された内容を、電話通信機能付き携帯型コンピュータ、所謂スマートフォン等のコンピュータを用いた認識処理装置にて撮像し、計算機に対して行われた操作に係る状況を表示するものである。 The calculation display system described in the present application captures content displayed on a computer such as an electronic desk calculator with a recognition processing device using a portable computer with a telephone communication function, a computer such as a so-called smartphone, The status related to the performed operation is displayed.
まず、本願に記載の演算表示システムの全体構成について説明する。図１は、本願に記載の演算表示システムの一例を示す概略斜視図である。本願に記載の演算表示システムは、所謂スマートフォン等のコンピュータを用いた認識処理装置１と、計算機２とを備えている。
First, the overall configuration of the calculation display system described in the present application will be described. FIG. 1 is a schematic perspective view showing an example of the calculation display system described in the present application. The calculation display system described in the present application includes a
計算機２には、長尺状をなす支柱３の一端が固定され、支柱３は、略垂直方向に立設されており、支柱３の他端には、認識処理装置１が固定されている。認識処理装置１の固定方法は、容易に取り外しできるものであれば、特に限定するものではなく、例えば、市販のクリップアーム等の固定具であってもよい。また、計算機２に対し、支柱３を直接固定することは必ずしも必要ではなく、支柱３が立設された載置台を設け、載置台に計算機２を載置して用いるようにしてもよい。
One end of an
計算機２は、数字キー、演算子キー、機能キー等の入力部２１を備えており、ユーザは、入力部２１として設けられた各種キーを押下することにより、計算機２に対する操作を行うことができる。数字キーとは、「０」、「１」、「２」等の数字を入力するためのキー入力手段である。演算子キーとは、「＋」、「−」等の演算に係る演算子を入力するためのキー入力手段である。機能キーとは、「CE」、「M+」等の演算に係る機能を実行させるためのキー入力手段である。さらに、計算機２は、操作の内容及び演算結果を表示する液晶パネル等の表示部２２を備えている。
The
認識処理装置１は、ＣＣＤ（Charge Coupled Device ）カメラ等の撮像部１１と、液晶タッチパネル等の表示入力部１２とを備えている。認識処理装置１の撮像部１１は、計算機２の表示部２２に対向するように配置され、表示部２２に表示された数字、及び演算子等の演算用記号を撮像することができる。表示入力部１２は、矩形薄膜状の液晶パネル等の表示部１２０と、矩形薄膜状のタッチパネル等の入力部１２１とを重畳して形成されている。
The
次に本願に記載の演算表示システムの実施の概要について説明する。図２Ａは、本願に記載の演算表示システムにて用いられる計算機２の表示部２２に表示された画像の一例を示す説明図であり、図２Ｂは、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図２Ａ及び図２Ｂは、本願に記載の演算表示システムの設置に際して、認識処理装置１及び計算機２の配置位置を調整する場合に表示される画像を示している。図２Ａに示すように、計算機２の表示部２２に数字等の表示内容を表示させた状態で、図２Ｂに示すように、認識処理装置１の表示部１２０に、計算機２を撮像した画像を表示させ、配置位置を調整するのである。図２Ａに示すように、認識処理装置１の表示部１２０には、計算機２の表示部１２０を撮像した画像が表示されており、その右下には、認識処理を開始する際に指示すべき「開始」と示されたアイコン画像、即ち開始アイコンが表示されている。
Next, an outline of implementation of the calculation display system described in the present application will be described. FIG. 2A is an explanatory diagram illustrating an example of an image displayed on the
図３Ａ、図４Ａ、…、図８Ａは、本願に記載の演算表示システムにて用いられる計算機２の表示部２２に表示された画像の一例を示す説明図であり、図３Ｂ、図４Ｂ、…、図８Ｂは、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図３Ａ、図４Ａ、…、図８Ａ及び図３Ｂ、図４Ｂ、…、図８Ｂは、計算機２に「１２３＋４５６−７８９＝」との入力を行った場合に、認識処理装置１及び計算機２に表示される画像を経時的に示している。
3A, FIG. 4A,..., FIG. 8A are explanatory diagrams showing examples of images displayed on the
図３Ａは、認識処理装置１にて認識処理を開始後、ユーザが機能キー「ＡＣ（オールクリア）」を押下した場合に計算機２に表示される画像であり、「０」を示している。また、図３Ｂは、図３Ａの画像が表示された場合に認識処理装置１に表示される画像であり、何も表示されていない。認識処理装置１は、続けて撮像した画像の差分に基づいて認識処理を実行するため、最初の画像では表示無しとなる。なお、図３Ｂ及び以降の画像に表示される「終了」と示す画像、即ち終了アイコンは、認識処理を終了する際に指示すべきアイコン画像である。
FIG. 3A shows an image displayed on the
図４Ａは、計算機２が、数字キー「１」、「２」及び「３」の入力を受け付けた場合に表示する画像であり、「１２３」と表示している。また、図４Ｂは、図４Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３」と表示している。
FIG. 4A is an image displayed when the
図５Ａは、計算機２が、数字キーにて「１２３」の入力を受け付けた後、演算子キー「＋」の入力を受け付けた場合に表示する画像であり、演算子キー「＋」が押下されたことを示す演算用記号（シンボル）「＋」を表示部２２の左端に表示している。また、図５Ｂは、図５Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３＋」と表示している。これは、認識処理装置１は、計算機２に入力された内容を入力された順に入力パターンとして表示するように設定されていることによる。
FIG. 5A is an image displayed when the
図６Ａは、計算機２が、演算子キー「＋」の入力を受け付けた後、数字キー「４」の入力を受け付けた場合に表示する画像であり、それまで表示していた「１２３」を消去し、「＋」と「４」とを表示している。また、図６Ｂは、図６Ａの画像が表示された場合に認識処理装置１が入力パターンとして表示する画像であり、「１２３＋４」と表示している。
FIG. 6A is an image displayed when the
図７Ａは、計算機２が、「１２３＋４５６−」まで入力を受け付けた場合に表示する画像であり、「１２３＋４５６」の演算結果である「５７９」及び演算子キー「−」が押下されたことを示す演算用記号「−」を表示部２２に表示している。また、図７Ｂは、図７Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３＋４５６−」と表示している。
FIG. 7A is an image displayed when the
図８Ａは、計算機２が、「１２３＋４５６−７８９＝」まで入力を受け付けた場合に表示する画像であり、演算結果である「−２１０」及び演算子キー「＝」が押下されたことを示す演算用記号「＝」を表示部２２に表示している。また、図８Ｂは、図８Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３＋４５６−７８９＝」と表示している。なお、図８Ｂに示す画像は、終了アイコンが指示されることにより、認識処理が終了し、次の認識処理を開始するために開始アイコンが表示されたことを示している。
FIG. 8A is an image that is displayed when the
なお、図３Ａ、図４Ａ、…、図８Ａに示した画像は、演算用記号を表示部２２に表示する計算機２を用いた場合の表示例であり、図３Ｂ、図４Ｂ、…、図８Ｂに示す画像も、そのような計算機２に対応した画像である。しかしながら、演算用記号を表示部２２に表示しない計算機２も存在する。そのような計算機２に対し、認識処理装置１は、計算機２に表示された数字及び数字の順序に基づいて、入力された演算子を特定する。例えば、図５Ａに示すように演算用記号「＋」が表示されていない場合であっても、その後、図７Ａに示すように数字「５７９」が表示されたことから、演算子キー「＋」が押下されたと特定することができる。
The images shown in FIGS. 3A, 4A,..., 8A are display examples when the
ところが、例えば、「１．２５＋５＝」という演算については、入力を受け付けた演算子キーが「＋」の場合でも「×」の場合でも同様の表示となる。このような場合、認識処理装置１は、特定される複数の演算子を含む表示を行う。
However, for example, the operation “1.25 + 5 =” is displayed in the same manner regardless of whether the operator key that has accepted the input is “+” or “x”. In such a case, the
図９Ａは、本願に記載の演算表示システムにて用いられる計算機２の表示部２２に表示された画像の一例を示す説明図であり、図９Ｂは、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図９Ａは、演算用記号を表示しない計算機２が、「１．２５＋５＝」という入力を受け付けた場合に表示する画像であり、演算結果である「６．２５」を表示部２２に表示している。また、図９Ｂは、図９Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１．２５＋（×）５＝」と表示している。図９Ｂに示す表示は、「１．２５＋５＝」と「１．２５×５＝」との双方の可能性があることを示す表示である。
FIG. 9A is an explanatory diagram illustrating an example of an image displayed on the
なお、特定された演算用記号が複数である場合にどのように処理するかは、適宜設定することができる。図１０は、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図１０に示すように、認識処理装置１は、演算用記号の候補が複数である場合に、加算減算に係る記号「＋−」と乗算除算に係る記号「×÷」のいずれを優先するかを設定することができる。また、第２候補の表示の有無を設定することができる。
Note that it is possible to appropriately set how to perform processing when there are a plurality of specified calculation symbols. FIG. 10 is an explanatory diagram illustrating an example of an image displayed on the
次に本願に記載の演算表示システムの各種装置のハードウェア構成を説明する。図１１は、本願に記載の演算表示システムにて用いられる認識処理装置１のハードウェア構成の一例を示すブロック図である。認識処理装置１は、制御部１０、撮像部１１、表示入力部１２、操作部１３、通信部１４、記録部１５、記憶部１６等の各種機構を備えている。
Next, the hardware configuration of various devices of the calculation display system described in the present application will be described. FIG. 11 is a block diagram illustrating an example of a hardware configuration of the
制御部１０は、ＣＰＵ（Central Processing Unit ）等の情報処理回路、計時回路、レジスタ回路等の各種回路を備え、装置内の各部を制御する処理を実行する機構である。
The
撮像部１１はＣＣＤカメラ等の機構であり、続けて撮像する機能を有する。表示入力部１２は、表示部１２０及び入力部１２１を備えている。
The
操作部１３は、ユーザの操作を受け付ける物理的に配置されたキー等の機構である。
The
通信部１４は、データ通信、電話通信等の各種通信を行うための機構である。
The
記録部１５は、不揮発性メモリとして構成されたメモリ機構であり、本発明に係る認識処理プログラムＰＲＧ等の各種プログラム及びデータ等の情報が記録されている。
The
記憶部１６は、揮発性メモリとして構成されたメモリ機構であり、制御部１０の制御に基づく処理により、一時的に発生する各種情報を記録する。
The
そして、記録部１５に記録されている認識処理プログラムＰＲＧ等の各種プログラムを読み取り、記憶部１６に記憶させて、制御部１０の制御にて、認識処理プログラムＰＲＧに含まれる各種手順を実行することにより、スマートフォン等のコンピュータは、本発明の認識処理装置１として動作する。
Then, various programs such as the recognition processing program PRG recorded in the
図１２は、本願に記載の演算表示システムにて用いられる計算機２のハードウェア構成の一例を示すブロック図である。計算機２は、演算部２０、入力部２１及び表示部２２を備えている。そして、入力部２１から受け付けた演算に係る内容を、演算部２０の処理にて演算し、演算の結果を表示部２２に表示する。演算部２０は、各種演算回路及び計算途中の数値を記録するメモリ等の機構を備えている。
FIG. 12 is a block diagram illustrating an example of a hardware configuration of the
次に本願に記載の演算表示システムにて用いられる認識処理装置１の処理について説明する。図１３は、本願に記載の演算表示システムにて用いられる認識処理装置１の演算表示処理の一例を示すフローチャートである。図１３に示す演算表示処理は、認識処理プログラムＰＲＧを実行する認識処理装置１の基幹となる処理である。認識処理装置１は、認識処理プログラムＰＲＧを実行する制御部１０の制御により、以下に示す演算表示処理を実行する。
Next, processing of the
制御部１０は、開始アイコンを含む初期画面を表示部１２０に表示し（Ｓ１０１）、入力部１２１が開始の指示を受け付けたか否かを判別する（Ｓ１０２）。ステップＳ１０２の開始の指示とは、開始アイコンを指示する入力を示す。
The
ステップＳ１０２において、開始の指示を受け付けたと判別した場合（Ｓ１０２：ＹＥＳ）、制御部１０は、演算表示処理を開始する開始画面を表示部１２０に表示し（Ｓ１０３）、撮像部１１による連続撮像を開始する（Ｓ１０４）。ステップＳ１０４の連続撮像とは、続けて撮像を行い連続画像を取得する処理であってもよく、また、動画としての撮像を行い、得られた動画を構成する画像を取得する処理であってもよい。
If it is determined in step S102 that a start instruction has been received (S102: YES), the
なお、ステップＳ１０２において、開始の指示を受け付けていないと判別した場合（Ｓ１０２：ＮＯ）、制御部１０は、ステップＳ１０１へ戻り、以降の処理を繰り返す。
If it is determined in step S102 that a start instruction has not been received (S102: NO), the
制御部１０は、撮像により続けて取得した画像に対して認識処理を行い、認識処理に基づく結果を表示部１２０に表示する認識処理及び結果表示処理を実行する（Ｓ１０５）。ステップＳ１０５の認識処理及び結果表示処理とは、図３Ｂ、図４Ｂ、…、図９Ｂを用いて説明した画像を表示させるための処理である。なお、認識処理及び結果表示処理の詳細については後述する。
The
認識処理及び結果表示処理の実行後、制御部１０は、入力部１２１が終了の指示を受け付けたか否かを判別する（Ｓ１０６）。ステップＳ１０６の終了の指示とは、終了アイコンを指示する入力を示す。
After executing the recognition process and the result display process, the
ステップＳ１０６において、終了の指示を受け付けたと判別した場合（Ｓ１０６：ＹＥＳ）、制御部１０は、撮像部１１による撮像を終了する（Ｓ１０７）。
If it is determined in step S106 that an end instruction has been received (S106: YES), the
ステップＳ１０６において、終了の指示を受け付けていないと判別した場合（Ｓ１０６：ＮＯ）、制御部１０は、ステップＳ１０５へ戻り、以降の処理を繰り返す。
If it is determined in step S106 that an end instruction has not been received (S106: NO), the
そして、制御部１０は、撮像終了後、認識処理の結果を全て表示する（Ｓ１０８）。ステップＳ１０８では、ステップＳ１０５にて実行した認識処理及び結果表示処理による結果を全て表示することを示す。ただし、設定により必要な結果のみを表示するようにしてもよい。
And the
制御部１０は、入力部１２１が開始の指示を受け付けたか否かを判別する（Ｓ１０９）。
The
ステップＳ１０９において、開始の指示を受け付けたと判別した場合（Ｓ１０９：ＹＥＳ）、制御部１０は、認識処理の結果を記録部１５に記録し、表示部１２０の表示内容を消去して（Ｓ１１０）、ステップＳ１０３へ戻り、以降の処理を繰り返す。即ち、次の認識処理及び結果表示処理を実行するのである。
If it is determined in step S109 that a start instruction has been received (S109: YES), the
ステップＳ１０９において、開始の指示を受け付けていないと判別した場合（Ｓ１０９：ＮＯ）、制御部１０は、ステップＳ１０８へ戻り、以降の処理を繰り返す。
If it is determined in step S109 that a start instruction has not been received (S109: NO), the
ステップＳ１１０において、記録部１５に記録された認識処理の結果は、入力パターンとして、適宜、表示部１２０への表示、通信部１４から他の装置への送信、他のアプリケーションソフトウェアによる処理等の各種処理の対象とすることができる。
In step S110, the result of the recognition process recorded in the
このようにして、認識処理装置１は、演算表示処理を実行する。なお、演算表示処理そのものを停止する場合には、所定の操作を行い、認識処理プログラムＰＲＧの実行を停止させる。
In this way, the
認識処理及び結果表示処理について説明する。図１４は、本願に記載の演算表示システムにて用いられる認識処理装置１の認識処理及び結果表示処理の一例を示すフローチャートである。図１４に例示した認識処理及び結果表示処理は、図１３に例示した演算表示処理のステップＳ１０５にて実行される処理である。
The recognition process and the result display process will be described. FIG. 14 is a flowchart showing an example of recognition processing and result display processing of the
制御部１０は、対象となる画像について、直前の画像との差分を検出する（Ｓ２０１）。
The
制御部１０は、検出した差分が予め設定されている表示変化可能最大値より大きいか否かを判別する（Ｓ２０２）。ステップＳ２０２において、表示変化可能最大値より大きい場合、表示の変化ではなく、撮像対象のぶれによる変化であると判断する。
The
ステップＳ２０２において、差分が表示変化可能最大値より大きくないと判別した場合（Ｓ２０２：ＮＯ）、制御部１０は、検出した差分が表示変化可能最小値より小さいか否かを判別する（Ｓ２０３）。ステップＳ２０３において、表示変化可能最小値より小さい場合、キー入力に基づく表示の変化はないと判断する。このようにステップＳ２０１〜Ｓ２０３の処理により、有意な画像の変化の有無を検出する。そして、有意な画像の変化を検出した場合に、ステップＳ２０４に以降に示す認識処理等の処理を実施する。
When it is determined in step S202 that the difference is not larger than the maximum display changeable value (S202: NO), the
ステップＳ２０３において、差分が表示変化可能最小値より小さくないと判別した場合（Ｓ２０３：ＮＯ）、制御部１０は、画像の２値化データ作成処理を実行する（Ｓ２０４）。画像の２値化データ作成処理とは、画像を１（例えば黒）又は０（例えば白）の２値のデータに変換する処理であり、表示部２２に表示された数字等の表示内容が、例えば「１」として示されるように変換する。２値化データ作成処理の詳細な説明については後述する。
If it is determined in step S203 that the difference is not smaller than the display changeable minimum value (S203: NO), the
制御部１０は、２値化データに対する認識処理を実行する（Ｓ２０５）。ステップＳ２０５の認識処理は、画像の２値化データに対する認識処理であれば、実用化又は提案されている様々な処理を適用することが可能である。
The
制御部１０は、認識処理の結果に基づいて、数字又は演算用記号取得処理を実行する（Ｓ２０６）。数字又は演算用記号取得処理とは、認識した結果に基づいて、計算機２に入力された数字キーに基づく数字、又は演算子キー若しくは機能キーに基づく演算用記号を取得する処理である。即ち、入力されたキーの内容を、推定も含めて特定する処理である。数字又は演算用記号取得処理の詳細な説明については後述する。
Based on the result of the recognition process, the
制御部１０は、ステップＳ２０６にて取得した数字及び記号を示した結果を表示部１２０に表示する（Ｓ２０７）。ステップＳ２０７では、取得した数字及び記号を、例えば数式として示した結果を入力パターンとして表示する。なお、記号については、必ずしも一つの記号に特定することができない場合があるので、その場合には、特定の候補となる記号を配列した数式として結果を表示する。
The
制御部１０は、次の画像の有無を判別する（Ｓ２０８）。
The
ステップＳ２０８において、次の画像があると判別した場合（Ｓ２０８：ＹＥＳ）、制御部１０は、次の画像を認識対象画像に設定し（Ｓ２０９）、ステップＳ２０１へ戻り、以降の処理を繰り返す。
If it is determined in step S208 that there is a next image (S208: YES), the
ステップＳ２０８において、次の画像がないと判別した場合（Ｓ２０８：ＮＯ）、制御部１０は、認識処理及び結果表示処理を終了し、演算表示処理の次のステップに係る処理を実行する。
If it is determined in step S208 that there is no next image (S208: NO), the
ステップＳ２０２において、差分が表示変化可能最大値より大きいと判別した場合（Ｓ２０２：ＹＥＳ）、又はステップＳ２０３において、差分が表示変化可能最小値より小さいと判別した場合（Ｓ２０３：ＹＥＳ）、制御部１０は、ステップＳ２０８へ進み、以降の処理を実行する。即ち、有意な画像の変化はないと判断し、次の画像を処理の対象とするのである。
When it is determined in step S202 that the difference is larger than the maximum display changeable value (S202: YES), or when it is determined in step S203 that the difference is smaller than the minimum display changeable value (S203: YES), the
このようにして、認識処理装置１は、認識処理及び結果表示処理を実行する。
In this way, the
画像の２値化データ作成処理について説明する。図１５は、本願に記載の演算表示システムにて用いられる認識処理装置１の画像の２値化データ作成処理の一例を示すフローチャートである。図１５に例示した画像の２値化データ作成処理は、図１４に例示した認識処理及び結果表示処理のステップＳ２０４にて実行される処理である。
Image binarization data creation processing will be described. FIG. 15 is a flowchart showing an example of binarized data creation processing of an image of the
制御部１０は、対象画像の差分の２値化データを作成する（Ｓ３０１）。ステップＳ３０１では、対象となる画像について、直前の画像からの変化に基づく２値化データを作成する。ステップＳ３０１にて作成される２値化データは、認識に用いられる２値化データとは異なり、前段階としての２値化データである。具体的には、白（表示無し）から黒（表示有り）に変化したセグメントを「１」とし、それ以外の箇所を「０」としている。黒から白に変化したセグメントも「０」となる。
The
制御部１０は、以前の全画像の２値化データについての累積論理和データを作成する（Ｓ３０２）。ステップＳ３０１では、処理の対象となる画像と、直前の画像との差分のみに基づいて２値化データを作成している。従って、撮像を続ける限り、複数の２値化データが作成されることになる。ステップＳ３０２では、対象となる画像以前に作成した全ての２値化データをも含めて、論理和を求める論理演算を行い、論理演算の結果を累積論理和データとして作成する。
The
制御部１０は、累積論理和データに基づき認識対象区域を特定する（Ｓ３０３）。ステップＳ３０３では、累積論理和データが「１」である区域を含む矩形状の区域を認識対象区域とする。ステップＳ３０３では、取得した複数の画像から、画像内で認識の対象となる区域を特定する処理である。ステップＳ３０３にて特定される認識対象区域は、撮像により取得した画像内で、計算機２の表示部２２が含まれている区域であると判断することができる。特定した認識対象区域を、論理和が「１」となる区域の色としたデータは、２値化データを作成する上でのマスクデータとして用いられる。論理和が「１」となる区域の色とは、例えば、セグメントが点灯した状態に表示される黒色等の色である。従って、色としているが、明度を示すデータであってもよい。
The
制御部１０は、認識対象区域と対象画像の論理積とに基づき画像の２値化データを作成する（Ｓ３０４）。ステップＳ３０４では、ステップＳ３０３にて特定した認識対象区域を論理和が「１」となる色としたマスクデータと、対象画像との論理積に基づく２値化データを作成する。即ち、マスクデータとして区分される認識対象区域内で、マスクデータの色に合致する箇所を「１」とし、その他の箇所を「０」とした２値化データを作成する。作成された２値化データは、計算機２の表示部２２に、黒等の色で表示された画像を示すことになる。
The
そして、認識処理装置１は、ステップＳ３０４にて作成した２値化データを用いて、認識処理及び結果表示処理におけるステップＳ２０５以降の処理を実行する。
And the
図１５に例示した画像の２値化データ作成処理の具体的を説明する。図１５を用いて説明したように、画像の２値化データ作成処理としては、先ず、２値化の対象となる画像が表示されている区域を特定し、２値化の基準となる色又は明度を決定する前処理を実行する。図１６Ａ、図１６Ｂ、図１６Ｃ及び図１６Ｄは、本願に記載の演算表示システムにおける認識処理装置１の２値化の前処理の概要の一例を示す説明図である。図１６Ａ、図１６Ｂ、図１６Ｃ及び図１６Ｄは、計算機２が「１２３」との入力を受け付けた場合に表示部２２に表示される画像に対する処理を例示したものである。
A specific example of the binarized data creation processing of the image illustrated in FIG. 15 will be described. As described with reference to FIG. 15, in the binarized data creation processing of an image, first, an area in which an image to be binarized is displayed is specified, and a color or a reference color for binarization is selected. Perform pre-processing to determine brightness. FIG. 16A, FIG. 16B, FIG. 16C, and FIG. 16D are explanatory diagrams illustrating an example of an outline of binarization preprocessing of the
図１６Ａは、対象となる画像の直前の画像を示し、図１６Ｂは、対象となる画像を示している。図１６Ａは、「１２」まで表示した段階の画像であり、図１６Ｂは、「１２３」と表示された段階の画像である。画像の２値化データ作成処理においては、前後の画像の差分から前処理用の２値化データを作成する。 FIG. 16A shows an image immediately before the target image, and FIG. 16B shows the target image. FIG. 16A is an image at a stage where “12” is displayed, and FIG. 16B is an image at a stage where “123” is displayed. In the binarized data creation process of the image, binarized data for preprocessing is created from the difference between the previous and next images.
図１６Ｃは、差分に基づいて作成した前処理用の２値化データであり、図１５のステップＳ３０１にて作成される２値化データである。図１６Ｃに示す２値化データは、図１６Ａに示す画像及び図１６Ｂに示す画像の差分を示したものであり、白（表示無し）から黒（表示有り）に変化したセグメントを「１」とし、その他の箇所を「０」としている。なお、黒から白に変化したセグメントも「０」となるが、図１６Ｃでは、理解を容易にするため、黒から白に変化したセグメントを、外枠を破線とした白抜きで示している。 FIG. 16C is binarized data for preprocessing created based on the difference, and is binarized data created in step S301 in FIG. The binarized data shown in FIG. 16C shows the difference between the image shown in FIG. 16A and the image shown in FIG. 16B, and the segment changed from white (no display) to black (display) is set to “1”. Other portions are set to “0”. The segment changed from black to white is also “0”, but in FIG. 16C, the segment changed from black to white is indicated by a white outline with a broken line as an outer frame for easy understanding.
図１６Ｄは、以前の全画像の２値化データについての累積論理和を示している。図１６Ｄは、図１５のステップＳ３０３にて作成される累積論理和データである。そして、図１６Ｄに示す２値化データを含む矩形状の区域を認識対象区域とし、表示されたセグメントの色に係るマスクデータを作成して、２値化データを作成する。 FIG. 16D shows cumulative OR for the binarized data of all previous images. FIG. 16D is the cumulative OR data created in step S303 of FIG. Then, a rectangular area including the binarized data shown in FIG. 16D is set as a recognition target area, mask data relating to the color of the displayed segment is created, and binarized data is created.
このようにして、認識処理装置１は、画像の２値化データ作成処理を実行する。
In this way, the
数字又は演算用記号取得処理について説明する。数字又は演算用記号取得処理とは、図１４に例示した認識処理及び結果表示処理のステップＳ２０７にて実行される処理である。 The number or calculation symbol acquisition process will be described. The number or calculation symbol acquisition process is a process executed in step S207 of the recognition process and the result display process illustrated in FIG.
認識処理装置１は、計算機２の表示部２２に表示された数字又は演算用記号の認識により、数字又は演算用記号を取得して、計算機２に対して入力された内容を示す入力パターンを作成する。計算機２の表示部２２には、数字キーが押下された場合、入力された数字が表示される。しかしながら、「＋」、「−」等の演算子キー又は「ＣＥ」、「M+」等の機能キーが押下された場合、必ずしもそのことを示す表示がなされるとは限らない。演算子キーが押下された場合、演算子キーが押下されたことを示す「＋」等の演算用記号がシンボルとして表示される機種も存在するが、演算用記号が表示されない機種も存在する。さらに、演算に係る記号として演算子を示す演算用記号を表示する機種であっても、機能キーが押下された場合、当該機能キーが押下されたことを示す演算に係る記号を表示しない設計の機種も存在する。そこで、数字又は演算用記号取得処理では、演算用記号を表示しない計算機２に対しても、押下された演算子キー又は機能キーを推定し、入力内容を特定して、入力パターンを作成する処理を実行する。なお、ここで演算用記号とは、計算機２の表示部２２にシンボルとして表示される演算子を示す演算に係る記号、機能キーの押下に基づき表示される演算に係る記号をいうものとする。
The
図１７Ａは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１７Ａは、演算用記号が表示される計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。
FIG. 17A is a chart showing an example of contents input to the
１行目に示すように、計算機２は、「１２３」との入力を受け付けると、「１２３」との表示を行う。認識処理装置１は、「１２３」が入力されたことを認識し、入力パターン「１２３」を作成する。
As shown in the first line, when the
２行目に示すように、計算機２は、「１２３」の入力後、「＋」の入力を受け付けると、「１２３」と演算用記号「＋」との表示を行う。認識処理装置１は、「＋」が入力されたことを認識し、入力パターン「１２３＋」を作成する。
As shown in the second row, when the
３行目に示すように、計算機２は、「１２３＋」の入力後、「４」の入力を受け付けると、「４」と演算用記号「＋」との表示を行う。認識処理装置１は、「４」が入力されたことを認識し、入力パターン「１２３＋４」を作成する。
As shown in the third line, when the
４行目に示すように、計算機２は、「１２３＋４」の入力後、「５６−」の入力、即ち「１２３＋４５６−」との入力を受け付けると、加算の演算結果「５７９」と演算記号「−」との表示を行う。認識処理装置１は、「５６−」が入力されたことを認識し、入力パターン「１２３＋４５６−」を作成する。
As shown in the fourth line, after accepting the input of “56−”, that is, the input of “123 + 456” after inputting “123 + 4”, the
５行目に示すように、計算機２は、「１２３＋４５６−」の入力後、「７８９＝」の入力、即ち「１２３＋４５６−７８９＝」との入力を受け付けると、加減算の演算結果「−２１０」と演算用記号「＝」との表示を行う。認識処理装置１は、「７８９＝」が入力されたことを認識し、入力パターン「１２３＋４５６−７８９＝」を作成する。
As shown in the fifth row, when the
図１７Ｂは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１７Ｂは、演算用記号が表示されない計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。なお、入力された内容は、図１７Ａと同様である。
FIG. 17B is a chart showing an example of contents input to the
１行目に示すように、計算機２は、「１２３」との入力を受け付けると、「１２３」との表示を行う。認識処理装置１は、「１２３」が入力されたことを認識し、入力パターン「１２３」を作成する。
As shown in the first line, when the
２行目に示すように、計算機２は、「１２３＋」との入力を受け付けると、演算用記号は表示せず「１２３」のみの表示を行う。この場合、表示は変わらないので、認識処理装置１は、「＋」が入力されたことを認識することはできず、入力パターンは「１２３」から変化しない。
As shown in the second line, when the
３行目に示すように、計算機２は、「１２３＋４」との入力を受け付けると、「４」の表示を行う。認識処理装置１は、「４」が入力されたことと「４」の直前に何らかの入力がなされたことを認識するが、入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＋」、「−」、「×」、「÷」、「＝」、「M+」及び「M-」を選択することができる。なお、「M+」とは、メモリに加算することを示す演算用記号であり、「M-」とは、メモリから減算することを示す演算用記号である。そこで、「１２３＋４５６［＋，−，×，÷，＝，M+，M-］」との入力パターンを作成する。記号「［ ］」は、特定した候補キーが複数である場合に、複数の候補キーを並べて表示していることを示す記号であり、本願では、未特定配列記号と呼ぶこととし、また、未特定配列記号内の候補キーの配列を選択記号配列と呼ぶこととする。
As shown in the third line, when accepting an input of “123 + 4”, the
４行目に示すように、計算機２は、「１２３＋４５６−」との入力を受け付けると、加算の演算結果「５７９」を表示する。認識処理装置１は、「４」の直前の入力は、選択した複数の候補キーのうち「＋」であると特定することができるが、今回入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＋」、「−」、「×」、「÷」、「＝」、「M+」及び「M-」を選択することができる。そこで、入力パターン「１２３＋４５６［＋，−，×，÷，＝，M+，M-］」を作成する。
As shown in the fourth line, when accepting the input of “123 + 456”, the
５行目に示すように、計算機２は、「１２３＋４５６−７８９＝」との入力を受け付けると、加減算の演算結果「−２１０」を表示する。認識処理装置１は、「７」の直前の入力は、選択した複数の候補キーのうち「−」であると特定することができるが、今回入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＋」、「−」、「×」、「÷」、「＝」、「M+」及び「M-」を選択することができる。そこで、入力パターン「１２３＋４５６−７８９［＋，−，×，÷，＝，M+，M-］」を作成する。
As shown in the fifth line, when accepting an input of “123 + 456-789 =”, the
他の例について説明する。図１８Ａは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１８Ａは、演算用記号が表示される計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。
Another example will be described. FIG. 18A is a chart showing an example of contents input to the
１行目に示すように、計算機２は、「１２３[M+]」との入力を受け付けると、「１２３」と演算用記号「＝ Ｍ」との表示を行う。演算用記号が表示される計算機２を用いた場合であっても、認識処理装置１は、「１２３」の後に入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＝」、「M+」及び「M-」を選択することができる。そこで、入力パターン「１２３［＝，M+，M-］」を作成する。なお、図及び上記の記載において、[M+]と示しているのは、押下されたキーが一つのキーであることを示す便宜上の理由による。
As shown in the first line, when the
２行目に示すように、計算機２は、「１２３[M+]４５６＋」との入力を受け付けると、「４５６」と演算用記号「＋ Ｍ」との表示を行う。認識処理装置１は、「＋」が入力されたことを認識することができるが、以前の候補キーについては特定することができない。そこで、入力パターン「１２３［＝，M+，M-］＋」を作成する。
As shown in the second line, when accepting an input of “123 [M +] 456+”, the
３行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]」との入力を受け付けると、メモリから読み出した「１２３」と演算用記号「＋ Ｍ」との表示を行う。なお、「RM」とは、メモリの内容を読み出すことを示す演算用記号である。認識処理装置１は、「４」の直前の入力は、選択した複数の候補キーのうち「M+」であると特定することができる。また、「＋」の直後の入力は、[RM]であると特定することができる。そこで、入力パターン「１２３M+４５６＋RM」を作成する。
As shown in the third line, when accepting an input of “123 [M +] 456+ [RM]”, the
４行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]＝」との入力を受け付けると、加減算の演算結果「５７９」と演算用記号「＝ Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３M+４５６＋RM＝」を作成する。
As shown in the fourth line, when accepting the input of “123 [M +] 456 + [RM] =”, the
図１８Ｂは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１８Ｂ、演算用記号が表示されない計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。なお、入力された内容は、図１８Ａと同様である。
FIG. 18B is a chart showing an example of contents input to the
１行目に示すように、計算機２は、「１２３[M+]」との入力を受け付けると、「１２３」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、「１２３」が入力されたことのみを認識し、入力パターン「１２３」を作成する。
As shown in the first line, when the
２行目に示すように、計算機２は、「１２３[M+]４５６＋」との入力を受け付けると、「４５６」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３［＋，−，×，÷，＝，M+，M-］４５６」を作成する。
As shown in the second line, when the
３行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]」との入力を受け付けると、メモリから読み出した「１２３」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３M+４５６［無し，＋，−，×，÷，＝，M+，M-］RM」を作成する。ここで、「無し」とは、「４５６」と「RM」との間に何の入力もされなかったことを示す候補キーである。
As shown in the third line, when accepting an input of “123 [M +] 456 + [RM]”, the
４行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]＝」との入力を受け付けると、加減算の演算結果「５７９」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３M+４５６＋RM［＋，−，×，÷，＝，M+，M-］」を作成する。
As shown in the fourth line, when accepting the input of “123 [M +] 456 + [RM] =”, the
なお、演算用記号が表示されない計算機２を用いた場合、最後に押下されたキーが、例えば「＝」である場合であっても、認識することができない。そこで、終了の指示を受け付けた場合に、「＝」が押下されたとみなして入力パターンを作成するようにしてもよい。
When the
具体例を示した数字又は演算用記号取得処理を実現するための処理について説明する。図１９及び図２０は、本願に記載の演算表示システムにて用いられる認識処理装置１の数字又は演算用記号取得処理の一例を示すフローチャートである。なお、フローチャート及び以下の説明において「表示内容を作成する」との表現は、認識処理装置１内部に認識する計算機２と全く同一の電卓実行処理を持ち、ここにキー入力パターンを順番に入力した結果、表示される内容を得る事を示す。
A process for realizing a specific example or a calculation symbol acquisition process will be described. 19 and 20 are flowcharts showing an example of the number or calculation symbol acquisition process of the
制御部１０は、演算用記号表示の有無を判別する（Ｓ４０１）。
The
ステップＳ４０１において、演算用記号の表示が無いと判別した場合（Ｓ４０１：ＮＯ）、制御部１０は、直前の入力パターンに係る表示内容を作成する（Ｓ４０２）。ステップＳ４０２は、直前の入力パターンで入力がなされた場合に、計算機２の表示部２２に表示される内容を作成する処理である。
In step S401, when it is determined that there is no display of the calculation symbol (S401: NO), the
制御部１０は、直前の入力パターンに候補キーを追加した追加パターンを作成する（Ｓ４０３）。ステップＳ４０３では、複数の候補キーのうちの一つを追加した追加パターンを作成する。なお、作成の対象となる候補キーの順序は適宜設定される。
The
制御部１０は、候補キーの追加パターンにおける表示内容を作成する（Ｓ４０４）。ステップＳ４０４は、計算機２が、作成の対象となる候補キーの入力を受け付けた場合に表示された内容を作成する処理である。
The
制御部１０は、入力パターンから追加パターンに状態が遷移した場合において、表示内容が変化していないか否かを判別する（Ｓ４０５）。
The
ステップＳ４０５において、表示内容が変化していないと判別した場合（Ｓ４０５：ＹＥＳ）、制御部１０は、当該候補キーが押下された可能性があると判断し、当該候補キーを選択し、選択記号配列として保持する（Ｓ４０６）。ステップＳ４０６の保持は、記憶部１６に一時記憶することにより実行される。
If it is determined in step S405 that the display content has not changed (S405: YES), the
ステップＳ４０５において、表示内容が変化していると判別した場合（Ｓ４０５：ＮＯ）、ステップＳ４０６の選択記号配列として保持する処理は行われない。 If it is determined in step S405 that the display content has changed (S405: NO), the process of holding the selected symbol array in step S406 is not performed.
制御部１０は、全ての候補キーに対する処理が終了したか否かを判別する（Ｓ４０７）。
The
ステップＳ４０７において、処理が終了していないと判別した場合（Ｓ４０７：ＮＯ）、制御部１０は、直前の入力パターンに次の候補キーを追加した追加パターンを作成し（Ｓ４０８）、ステップＳ４０４へ戻り、以降の処理を繰り返す。即ち、ステップＳ４０３を実行後、ステップＳ４０４〜Ｓ４０８の処理を繰り返すことにより、全ての候補キーについて適否が判断され、認識により取得すべき候補となる一又は複数の記号キーが選択される。
If it is determined in step S407 that the processing has not ended (S407: NO), the
ステップＳ４０７において、全ての候補キーに対する処理が終了したと判別した場合（Ｓ４０７：ＹＥＳ）、制御部１０は、選択記号配列に候補キーが保持されているか否かを判別する（Ｓ４０９）。ステップＳ４０９では、記憶部１６に選択記号配列として保持した候補キーの有無を判別する。
If it is determined in step S407 that the processing for all candidate keys has been completed (S407: YES), the
ステップＳ４０９において、選択記号配列として保持した候補キーが有ると判別した場合（Ｓ４０９：ＹＥＳ）、制御部１０は、選択記号配列の候補キーを未特定配列記号内に並べて入力パターンに追加する（Ｓ４１０）。
If it is determined in step S409 that there is a candidate key held as the selected symbol array (S409: YES), the
ステップＳ４０９において、選択記号配列として保持した候補キーが無いと判別した場合（Ｓ４０９：ＮＯ）、ステップＳ４１０の未特定配列記号内に並べて入力パターンに追加する処理は行われない。 If it is determined in step S409 that there is no candidate key held as a selected symbol array (S409: NO), the process of arranging in the unspecified array symbol in step S410 and adding it to the input pattern is not performed.
なお、ステップＳ４０１において、演算用記号の表示が有ると判別した場合（Ｓ４０１：ＹＥＳ）、ステップＳ４０２〜Ｓ４１０の処理は実行されない。 Note that if it is determined in step S401 that a calculation symbol is displayed (S401: YES), the processes in steps S402 to S410 are not executed.
制御部１０は、直前の入力パターンに候補キーを追加した追加パターンを作成する（Ｓ４１１）。ステップＳ４１１では、複数の候補キーのうちの一つを追加した追加パターンを作成する。
The
制御部１０は、候補キーの追加パターンにおける表示内容を作成する（Ｓ４１２）。
The
制御部１０は、表示認識結果と候補キーの追加パターンにおける表示内容とが合致するか否かを判別する（Ｓ４１３）。
The
ステップＳ４１３において、表示認識結果と表示内容とが合致すると判別した場合（Ｓ４１３：ＹＥＳ）、制御部１０は、当該候補キーが押下された可能性があると判断し、当該候補キーを選択し、選択記号配列として保持する（Ｓ４１４）。なお、ステップＳ４１４にて保持する選択記号配列は、ステップＳ４０６の選択記号配列とは異なる情報として保持される。従って、この場合、ステップＳ４０６に係る選択記号配列を消去するようにしてもよい。
If it is determined in step S413 that the display recognition result matches the display content (S413: YES), the
ステップＳ４１３において、表示認識結果と表示内容とが合致しないと判別した場合（Ｓ４１３：ＮＯ）、制御部１０は、当該候補キーが押下された可能性はないと判断し、ステップＳ４１４の選択記号配列として保持する処理は行わない。
If it is determined in step S413 that the display recognition result does not match the display content (S413: NO), the
制御部１０は、全ての候補キーに対する処理が終了したか否かを判別する（Ｓ４１５）。
The
ステップＳ４１５において、処理が終了していないと判別した場合（Ｓ４１５：ＮＯ）、制御部１０は、直前の入力パターンに次の候補キーを追加した追加パターンを作成し（Ｓ４１６）、ステップＳ４１２へ戻り、以降の処理を繰り返す。即ち、ステップＳ４１１の処理を実行後、ステップＳ４１２〜Ｓ４１６の処理を繰り返すことにより、全ての候補キーについて適否が判断され、認識により取得すべき候補となる一又は複数の記号キーが選択される。
If it is determined in step S415 that the process has not ended (S415: NO), the
ステップＳ４１５において、処理が終了していると判別した場合（Ｓ４１５：ＹＥＳ）、制御部１０は、直前の入力パターンに未特定配列記号が含まれるか否かを判別する（Ｓ４１７）。
If it is determined in step S415 that the processing has been completed (S415: YES), the
ステップＳ４１７において、直前の入力パターンに未特定配列記号が含まれていると判別した場合（Ｓ４１７：ＹＥＳ）、制御部１０は、選択記号配列に含まれる候補キーのうちで未特定配列記号内に含まれていない候補キーを削除する（Ｓ４１８）。ステップＳ４１８は、直前の入力パターンにおいて、押下された可能性があるとして未特定配列記号内に含めていた候補キーのうちで、今回のキー入力により、該当しないことが明らかとなった候補キーを選択から除外する処理である。
When it is determined in step S417 that the unspecified sequence symbol is included in the immediately preceding input pattern (S417: YES), the
制御部１０は、未特定配列記号内に含まれる候補キーが一つであるか否かを判別する（Ｓ４１９）。
The
ステップＳ４１９において、未特定配列記号内に含まれる候補キーが一つであると判別した場合（Ｓ４１９：ＹＥＳ）、制御部１０は、未特定配列記号を削除する（Ｓ４２０）。これにより、未特定配列記号内に含まれていた候補キーが独立して入力パターンに示されることになる。即ち、ステップＳ４２０は、候補キーの選択後の認識に係る取得に基づいて、選択した複数の候補キーのうちから取得すべき候補キーを一つに特定する処理である。
If it is determined in step S419 that there is only one candidate key included in the unspecified sequence symbol (S419: YES), the
ステップＳ４１７において、直前の入力パターンに未特定配列記号が含まれていないと判別した場合（Ｓ４１７：ＮＯ）、ステップＳ４１８〜Ｓ４２０の処理は行われない。また、ステップＳ４１９において、未特定配列記号内に含まれる候補キーが一つではないと判別した場合（Ｓ４１９：ＮＯ）、ステップＳ４２０の処理は行われない。 If it is determined in step S417 that the unspecified sequence symbol is not included in the immediately preceding input pattern (S417: NO), the processes in steps S418 to S420 are not performed. If it is determined in step S419 that there is not one candidate key included in the unspecified sequence symbol (S419: NO), the process of step S420 is not performed.
制御部１０は、選択記号配列に含まれる候補キーが一つであるか否かを判別する（Ｓ４２１）。
The
ステップＳ４２１において、選択記号配列に含まれる候補キーが一つであると判別した場合（Ｓ４２１：ＹＥＳ）、制御部１０は、選択記号配列内の候補キーを入力パターンに追加し（Ｓ４２２）、数字又は演算用記号特定処理を終了する。ステップＳ４２２は、選択した候補キーのうちから取得すべき候補キーが特定されていると判断し、当該候補キーを取得した記号として扱うための処理である。
If it is determined in step S421 that there is only one candidate key included in the selected symbol array (S421: YES), the
ステップＳ４２１において、選択記号配列に含まれる候補キーが一つではないと判別した場合（Ｓ４２１：ＮＯ）、制御部１０は、選択記号配列の候補キーを未特定配列記号内に並べて入力パターンに追加し（Ｓ４２２）、数字又は演算用記号特定処理を終了する。
If it is determined in step S421 that there is not one candidate key included in the selected symbol array (S421: NO), the
そして、認識処理装置１は、認識処理及び結果表示処理のステップＳ２０８以降の処理を実行する。数字又は演算用記号特定処理において作成された入力パターンが認識処理に結果に基づき表示される。
And the
なお、例えば、「M+」「M-」と連続して押下された場合のように、キーが複数回押下されたことを想定するようにしてもよい。ただし、このようなケースを想定すると、候補キーの数は無限になるので、選択する数、選択するパターン等の項目に制限を設けるようにしてもよい。また、例えば、図１０に例示したような設定画面から予め優先すべき設定を行うことにより、未特定配列記号内に選択記号配列として表示される候補キーを適宜削減することができる。 Note that, for example, it may be assumed that the key is pressed a plurality of times, such as when “M +” and “M−” are continuously pressed. However, assuming such a case, since the number of candidate keys is infinite, restrictions may be placed on items such as the number to be selected and the pattern to be selected. Further, for example, by performing a setting that should be prioritized from the setting screen illustrated in FIG. 10, the candidate keys displayed as the selected symbol array in the unspecified array symbol can be appropriately reduced.
また、入力パターンは、候補キーを追加するだけでなく、例えば、「CE」キーが押下された場合のように、一度入力パターンに追加された数字を削除する処理をも考慮して、候補キーの選択がなされる。 The input pattern not only adds candidate keys, but also considers the process of deleting numbers once added to the input pattern, such as when the “CE” key is pressed. Selection is made.
以上詳述したように本発明に係る認識処理装置等は、続けて撮像した画像から有意な変化を検出した場合に、認識処理等の処理を開始する。従って、ユーザは、計算機を操作する都度、認識処理装置に対して認識処理等を開始させる操作を行う必要が無いので、操作性を向上させ、利便性を高めることが可能である等、優れた効果を奏する。 As described above in detail, the recognition processing device or the like according to the present invention starts a process such as a recognition process when a significant change is detected from continuously captured images. Therefore, each time the user operates the computer, there is no need to perform an operation for starting the recognition processing or the like on the recognition processing device. Therefore, it is possible to improve operability and improve convenience. There is an effect.
しかも、画像の２値化処理においても、マスクデータを自動的に作成して２値化データを作成することにより、計算機毎に設定を調整する必要が無く、ユーザの利便性を向上させることが可能である等、優れた効果を奏する。 Moreover, even in the binarization processing of the image, it is not necessary to adjust the setting for each computer by automatically creating mask data and creating binarized data, thereby improving user convenience. It has excellent effects such as being possible.
さらに、演算記号がシンボルとして表示されない計算機に対しても自動的に対応することができるため、ユーザの利便性を向上させることが可能である等、優れた効果を奏する。 Further, since it is possible to automatically cope with a computer in which the operation symbol is not displayed as a symbol, it is possible to improve the convenience of the user, and the excellent effects are obtained.
前記実施の形態は、本発明の無数に存在する実施例の一部を開示したに過ぎず、目的、用途、仕様、設定等の様々な要因を加味して適宜設計することが可能である。 The above embodiment only discloses a part of the infinite number of embodiments of the present invention, and can be appropriately designed in consideration of various factors such as purpose, application, specification, setting, and the like.
たとえば、認識処理装置は、スマートフォン以外のコンピュータ、又は携帯電話であってもよい。さらに、選択された候補キーが複数である場合に、入力終了後、その旨を表示し、ユーザに選択された候補キーのうちから適切な候補キーを特定させるようにしてもよい。 For example, the recognition processing device may be a computer other than a smartphone or a mobile phone. Further, when there are a plurality of selected candidate keys, after completion of the input, a message to that effect may be displayed, and an appropriate candidate key may be specified from among the selected candidate keys.
以上詳述したように、本発明に係る認識処理装置１は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置１であって、画像の変化の有無を検出する変化検出手段と、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識手段と、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理手段とを備えることを特徴とする。
As described above in detail, the
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。 Therefore, in the present invention, an operation for executing the recognition process becomes unnecessary by executing the recognition process triggered by detection of a change in the image.
また、前記認識手段は、複数の数字又は記号を続けて取得した場合で、取得すべき記号を取得することができなかったときに、取得すべき記号の候補を複数選択する選択手段と、前記選択手段による選択後の取得に基づいて、選択した複数の記号の候補のうちから、取得すべき記号を特定する特定手段とを含み、特定した記号を、取得した記号とすることを特徴とする。 The recognizing means is a selecting means for selecting a plurality of symbol candidates to be acquired when a plurality of numbers or symbols are continuously acquired and the symbol to be acquired cannot be acquired; Including a specifying unit for specifying a symbol to be acquired from a plurality of selected symbol candidates based on acquisition after selection by the selection unit, wherein the specified symbol is an acquired symbol. .
したがって、本発明では、演算に要する記号を認識することができない場合に、記号の候補を複数選択し、特定することができる。 Therefore, in the present invention, when a symbol required for calculation cannot be recognized, a plurality of symbol candidates can be selected and specified.
また、前記特定手段により取得すべき記号を特定することができなかった場合又は前記特定手段が特定した記号が複数である場合に、前記認識手段は、前記選択手段が選択した複数の記号又は前記特定手段が特定した複数の記号を取得した記号とすることを特徴とする。 Further, when the symbol to be acquired by the specifying unit cannot be specified or when there are a plurality of symbols specified by the specifying unit, the recognizing unit is configured to select a plurality of symbols selected by the selecting unit or the A plurality of symbols specified by the specifying means are used as acquired symbols.
したがって、本発明では、記号の候補を１つに特定することができない場合に、複数の記号を取得したものとして扱うことができる。 Therefore, in the present invention, when a single symbol candidate cannot be specified, it can be handled as having acquired a plurality of symbols.
また、前記変化検出手段は、取得した複数の画像から、画像内で認識の対象となる区域を特定する手段を有し、前記認識手段は、特定した区域内での変化に基づいて、各画像に対する認識処理行うことを特徴とする。 In addition, the change detection unit includes a unit that identifies an area to be recognized in the image from the plurality of acquired images, and the recognition unit detects each image based on a change in the identified area. Recognition processing is performed.
したがって、本発明では、認識の対象とすべき区域を自動的に特定することができる。 Therefore, in the present invention, an area to be recognized can be automatically specified.
本発明に係る認識処理方法は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置１を用いた認識処理方法であって、前記認識処理装置１は、画像の変化の有無を検出する変化検出ステップと、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識ステップと、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理ステップとを実行することを特徴とする。
The recognition processing method according to the present invention is a recognition processing method using the
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。 Therefore, in the present invention, an operation for executing the recognition process becomes unnecessary by executing the recognition process triggered by detection of a change in the image.
本願に記載の演算表示システムは、数字及び演算に関する記号の入力を受け付ける入力部２１と、入力された数字及び記号に基づく表示を行う表示部２２とを備える計算機２と、認識処理装置１とを備え、認識処理装置１は、表示部２２の撮像により取得した画像に基づいて認識処理を実行することを特徴とする。
The calculation display system described in the present application includes a
したがって、本発明では、計算装置２を操作するだけで、認識処理装置１は、その操作の内容を自動的に認識することができる。
Therefore, in the present invention, the
本発明に係る認識処理プログラムＰＲＧは、撮像部１１及び表示部１２０を備えるコンピュータに、撮像部１１の撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示部１２０に表示させる認識処理プログラムＰＲＧであって、コンピュータに、画像の変化の有無を検出する手順と、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する手順と、取得した数字及び記号を示した結果を表示させる手順とを実行させることを特徴とする。
The recognition processing program PRG according to the present invention executes recognition processing on an image obtained by imaging by the
したがって、本発明では、コンピュータにて実行することにより、コンピュータが本発明の認識処理装置１として機能するので、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。
Therefore, in the present invention, since the computer functions as the
１ 認識処理装置
１０ 制御部
１１ 撮像部
１２ 表示入力部
１２０ 表示部
１２１ 入力部
１３ 操作部
１４ 通信部
１５ 記録部
１６ 記憶部
２ 計算機
２０ 演算部
２１ 入力部
２２ 表示部
ＰＲＧ 認識処理プログラム
DESCRIPTION OF
Claims (5)
画像の変化の有無を検出する変化検出手段と、
前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識手段と、
前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理手段と
を備えることを特徴とする認識処理装置。 A recognition processing device that executes recognition processing on an image acquired continuously by imaging and displays a result based on the recognition processing,
Change detection means for detecting the presence or absence of a change in the image;
A recognizing unit that acquires a number or a symbol relating to an operation by a recognizing process for the acquired image when the change detecting unit detects a change in the image;
And a display processing means for displaying a result indicating the numbers and symbols acquired by the recognition means.
前記認識手段は、
複数の数字又は記号を続けて取得した場合で、取得すべき記号を取得することができなかったときに、取得すべき記号の候補を複数選択する選択手段と、
前記選択手段による選択後の取得に基づいて、選択した複数の記号の候補のうちから、取得すべき記号を特定する特定手段と
を含み、
特定した記号を、取得した記号とする
ことを特徴とする認識処理装置。 The recognition processing device according to claim 1,
The recognition means is
A selection means for selecting a plurality of symbol candidates to be acquired when a plurality of numbers or symbols are continuously acquired and the symbol to be acquired cannot be acquired;
A specifying unit for specifying a symbol to be acquired from a plurality of selected symbol candidates based on acquisition after selection by the selection unit; and
A recognition processing device characterized in that the specified symbol is the acquired symbol.
前記特定手段により取得すべき記号を特定することができなかった場合又は前記特定手段が特定した記号が複数である場合に、前記認識手段は、前記選択手段が選択した複数の記号又は前記特定手段が特定した複数の記号を取得した記号とする
ことを特徴とする認識処理装置。 The recognition processing device according to claim 2,
When the symbol to be acquired by the specifying unit cannot be specified, or when there are a plurality of symbols specified by the specifying unit, the recognizing unit selects the plurality of symbols selected by the selecting unit or the specifying unit. A recognition processing apparatus characterized in that a plurality of symbols specified by is used as acquired symbols.
前記認識処理装置は、
画像の変化の有無を検出する変化検出ステップと、
前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識ステップと、
前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理ステップと
を実行することを特徴とする認識処理方法。 A recognition processing method using a recognition processing device that executes recognition processing on an image acquired continuously by imaging and displays a result based on the recognition processing,
The recognition processing device includes:
A change detection step for detecting the presence or absence of a change in the image;
A recognition step of acquiring a number or a symbol relating to an operation by a recognition process for the acquired image when the change detection unit detects a change in the image;
And a display processing step of displaying a result indicating the numbers and symbols acquired by the recognition means.
コンピュータに、
画像の変化の有無を検出する手順と、
画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する手順と、
取得した数字及び記号を示した結果を表示させる手順と
を実行させることを特徴とする認識処理プログラム。 A recognition processing program for executing recognition processing on an image continuously acquired by imaging of the imaging unit on a computer including an imaging unit and a display unit, and causing the display unit to display a result based on the recognition processing,
On the computer,
A procedure to detect the presence or absence of image changes;
When detecting a change in an image, a procedure for acquiring a number or a symbol related to an operation by a recognition process for the acquired image;
A recognition processing program that executes a procedure for displaying a result indicating an acquired number and symbol.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012233646A JP2014085790A (en) | 2012-10-23 | 2012-10-23 | Recognition processor, recognition processing method and recognition processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012233646A JP2014085790A (en) | 2012-10-23 | 2012-10-23 | Recognition processor, recognition processing method and recognition processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014085790A true JP2014085790A (en) | 2014-05-12 |
Family
ID=50788808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012233646A Pending JP2014085790A (en) | 2012-10-23 | 2012-10-23 | Recognition processor, recognition processing method and recognition processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014085790A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5655172B1 (en) * | 2014-10-03 | 2015-01-14 | 株式会社日立パワーソリューションズ | Protection relay replacement support device and replacement support method thereof |
-
2012
- 2012-10-23 JP JP2012233646A patent/JP2014085790A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5655172B1 (en) * | 2014-10-03 | 2015-01-14 | 株式会社日立パワーソリューションズ | Protection relay replacement support device and replacement support method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9805484B2 (en) | Graph display control device, electronic device, graph display method and storage medium recording graph display control processing program | |
| AU2014203137B2 (en) | Electronic apparatus and graph display method | |
| JP2005044026A (en) | Instruction execution method, instruction execution program and instruction execution device | |
| JP3714660B2 (en) | Mobile phone inspection equipment | |
| JP2010250464A (en) | Apparatus and method for processing information, and program | |
| JP5397707B2 (en) | Touch display device and program | |
| EP2426911A1 (en) | Image processing methods and systems for handheld devices | |
| US10684772B2 (en) | Document viewing apparatus and program | |
| US20110037731A1 (en) | Electronic device and operating method thereof | |
| US20190220254A1 (en) | Programming support device, programming support method, and non-transitory recording medium | |
| JP2009037464A (en) | Image display device and computer program | |
| US10114518B2 (en) | Information processing system, information processing device, and screen display method | |
| CN110136233B (en) | Method, terminal and storage medium for generating nail effect map | |
| CN116645672A (en) | Method, system, terminal and medium based on image frame selection recognition and automatic input | |
| JP2014085790A (en) | Recognition processor, recognition processing method and recognition processing program | |
| JP2014204169A (en) | Display control device and control method thereof | |
| JP5834253B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN112148171B (en) | Interface switching method and device and electronic equipment | |
| JP6704608B2 (en) | Terminal device, diagnostic system and program | |
| KR101069843B1 (en) | Method and apparatus for calculating formula | |
| US11009991B2 (en) | Display control apparatus and control method for the display control apparatus | |
| JP2017130084A (en) | Electronic device and display program | |
| JP5957026B2 (en) | Input region generation method, generation device, and generation program | |
| JP6264423B2 (en) | Touch processing apparatus and program | |
| JP2013134565A (en) | Individual authentication device |