JP2010244211A - Information input device and information input method - Google Patents
Information input device and information input method Download PDFInfo
- Publication number
- JP2010244211A JP2010244211A JP2009090523A JP2009090523A JP2010244211A JP 2010244211 A JP2010244211 A JP 2010244211A JP 2009090523 A JP2009090523 A JP 2009090523A JP 2009090523 A JP2009090523 A JP 2009090523A JP 2010244211 A JP2010244211 A JP 2010244211A
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- information
- character string
- information input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
Description
この発明は、情報入力装置および情報入力方法に関する。 The present invention relates to an information input device and an information input method.
従来より、携帯電話などの携帯端末やPC(Personal Computer)などの利用者端末に対して利用者が所望の情報を入力する際の労力を軽減するための多彩なサービスが知られている。 2. Description of the Related Art Conventionally, various services are known for reducing labor when a user inputs desired information to a mobile terminal such as a mobile phone or a user terminal such as a PC (Personal Computer).
例えば、携帯電話の付属カメラで2次元コードであるQRコードを撮影し、撮影したQRコードに記載されているURLを読み取ることで、利用者が所望するWebsiteを表示するサービスが知られている(例えば、非特許文献1参照)。かかるサービスを用いることで、利用者は、URLをキー入力することなく、所望するWebsiteを閲覧することができる。 For example, a service is known in which a QR code that is a two-dimensional code is photographed with a camera attached to a mobile phone, and a URL displayed on the photographed QR code is read to display a website desired by the user ( For example, refer nonpatent literature 1). By using such a service, the user can browse a desired Web site without entering a URL as a key.
また、文字認識機能を有する携帯電話の付属カメラで撮影した画像から利用者が所望する文字列を認識するサービスや、携帯電話の付属カメラで撮影した画像から、画像内に埋め込まれている「電子透かし」の情報を読み取るサービスも知られている。 In addition, a service for recognizing a character string desired by a user from an image taken with a camera attached to a mobile phone having a character recognition function, or an “electronic” embedded in an image taken from an image taken with a camera attached to a mobile phone. A service for reading “watermark” information is also known.
ところで、上記した従来の技術は、QRコードや画像に描出されている文字列や電子透かしの情報など、個々の情報源から利用者が所望する情報を読み取ることができるものの、特定の情報源からしか利用者が所望する情報を読み取れなかった。 By the way, although the above-described conventional technology can read information desired by the user from individual information sources such as QR codes, character strings drawn in images, and information on digital watermarks, it can be obtained from specific information sources. Only the information desired by the user could be read.
すなわち、上記した従来の技術は、利用者が所望する情報を入力する際の労力を低減できる対象となる情報源が限定されているという課題があった。 In other words, the above-described conventional technique has a problem that information sources that can be used to reduce labor when inputting information desired by the user are limited.
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、
利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる情報入力装置および情報入力方法を提供することを目的とする。
Therefore, the present invention has been made to solve the above-described problems of the prior art,
It is an object of the present invention to provide an information input device and an information input method capable of reducing labor required for information input by the user by reading information desired by the user from a wide range of information sources.
上述した課題を解決し、目的を達成するために、この装置は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、を備えたことを要件とする。 In order to solve the above-described problems and achieve the object, this device is an information input device that performs input processing of information desired by the user in cooperation with a user terminal operated by the user. Photographing means for photographing a document placed by the user and generating a photographed image; display control means for controlling the photographed image generated by the photographing means to be displayed on a predetermined display unit; Based on the control of the display control means, the character string drawn in the captured image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the character string is recognized. It is a requirement to include terminal control means for transmitting to the user terminal an execution instruction for controlling the processing using the character string to be executed by an application desired by the user.
また、この方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置に適用される情報入力方法であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、を含んだことを要件とする。 In addition, this method is an information input method applied to an information input device that performs input processing of information desired by the user in cooperation with a user terminal operated by the user, A shooting step for shooting a document arranged by the camera to generate a shot image, a display control step for controlling the shot image generated by the shooting step to be displayed on a predetermined display unit, and a display control step Based on the control, the character string drawn in the photographed image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the recognized character string is used. It is a requirement that the process includes a terminal control step of transmitting an execution instruction for controlling the process to be executed by an application desired by the user to the user terminal. .
開示の装置および方法によれば、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。 According to the disclosed apparatus and method, it is possible to reduce the user's labor for inputting information by reading information desired by the user from a wide range of information sources.
以下に添付図面を参照して、この発明に係る情報入力装置および情報入力方法の実施例を詳細に説明する。なお、以下では、本発明に係る情報入力方法を実行する情報入力装置を実施例として説明する。 Exemplary embodiments of an information input device and an information input method according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, an information input device that executes the information input method according to the present invention will be described as an example.
まず、図1を用いて、実施例1における情報入力装置の外観の一例について説明する。図1は、実施例1における情報入力装置の外観例を説明するための図である。 First, an example of the appearance of the information input device according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining an appearance example of the information input device according to the first embodiment.
実施例1における情報入力装置10は、図1の(A)に示すように、PC(Personal Computer)や携帯電話といった利用者が操作する利用者端末20と接続されている。例えば、情報入力装置10と利用者端末20とは、通信ケーブルを介して接続されている。なお、本発明は、情報入力装置10と利用者端末20との間でデータ通信が可能であるならば、任意の接続形態が適用可能である。
The
そして、情報入力装置10は、図1の(B)に示すように、下面に撮影機能を有し、上面に撮影機能によって撮影された画像を表示したり、利用者が操作指示を入力するためのタッチパネルを表示したりするための表示機能を有する。例えば、利用者は、図1の(C)に示すように、情報入力装置10を上から覗き込むことにより、表示機能によって表示されている画像を参照する。
As shown in FIG. 1B, the
ここで、実施例1における情報入力装置10は、利用者端末20と協働して利用者が所望する情報の入力処理を実行するが、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となることに主たる特徴がある。
Here, the
以下、この主たる特徴について、図2〜7を用いて説明する。なお、図2は、実施例1における情報入力装置の構成を説明するためのブロック図であり、図3は、実施例1において用いられる文書の具体例を説明するための図であり、図4は、情報認識部による文字列の認識処理を説明するための図であり、図5は、実施例1にて表示されるタッチパネルを説明するための図であり、図6および7は、端末制御部による処理結果を説明するための図である。 Hereinafter, this main feature will be described with reference to FIGS. 2 is a block diagram for explaining the configuration of the information input device according to the first embodiment, and FIG. 3 is a diagram for explaining a specific example of a document used in the first embodiment. These are the figures for demonstrating the recognition process of the character string by an information recognition part, FIG. 5 is a figure for demonstrating the touch panel displayed in Example 1, FIG. 6 and 7 are terminal control. It is a figure for demonstrating the processing result by a part.
図2に示すように、実施例1における情報入力装置10は、入力部11と、表示部12と、撮影部13と、通信部14と、入出力制御I/F部15と、記憶部16と、制御部17とを有し、利用者端末20と接続される。
As illustrated in FIG. 2, the
利用者端末20は、PCや携帯電話など、利用者が操作する端末であり、特に本実施例に密接に関係するものとして、アプリケーション群21を有する。アプリケーション群21は、利用者が直接的または間接的に入力した情報を用いて、各種処理を実行する各種アプリケーションから構成され、アプリケーション群21の各種アプリケーションは、図示しない利用者端末20が有するOS(Operating System)による制御のもと、所定の処理を実行する。なお、本実施例において、各種処理を実行するアプリケーションについては、後に詳述する。
The
入力部11は、利用者から操作指示を受け付ける。具体的には、入力部11は、操作指示を入力するための各種ボタンや、表示部12が表示するタッチパネルなどを介して、利用者から操作指示を受け付ける。
The
表示部12は、図1を用いて説明した表示機能に対応し、後述する撮影画像生成部17aによって生成された撮影画像を表示したり、タッチパネルを表示したりするためのモニタである。
The
撮影部13は、図1を用いて説明した撮影機能に対応し、利用者が配置した印刷物や手書きのメモなどの文書を撮影するカメラであり、例えば、CCDカメラなどが用いられる。
The photographing
通信部14は、利用者端末20と情報入力装置10との間でデータの送受信を行なう装置である。
The
入出力制御I/F部15は、入力部11、表示部12、撮影部13および通信部14と、記憶部16および制御部17との間におけるデータ転送を制御する。
The input / output control I /
記憶部16は、制御部17による各種処理結果を記憶し、図2に示すように、特に本実施例に密接に関連するものとして、撮影画像記憶部16aおよび認識結果記憶部16bを有する。
The
撮影画像記憶部16aは、後述する撮影画像生成部17aによる処理結果を記憶し、認識結果記憶部16bは、後述する情報認識部17cによる処理結果を記憶するが、これらについては、後に詳述する。
The captured
制御部17は、入出力制御I/F部15から転送された情報に基づいて、各種処理を実行し、特に本実施例に密接に関連するものとして、撮影画像生成部17aと、表示制御部17bと、情報認識部17cと、端末制御部17dとを有する。
The
撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから画像(以下、撮影画像と記す)を生成し、生成した撮影画像を撮影画像記憶部16aに格納する。
The captured
例えば、まず、利用者は、読み取りたい情報が記載されている文書(印刷物や、はがきなど)を机などの水平な場所に配置する。そして、利用者は、文書の上に撮影部13を置いたのち、入力部11が有する撮影開始ボタンを押下する。
For example, first, the user places a document (printed material, postcard, etc.) on which information to be read is written on a horizontal place such as a desk. Then, after placing the photographing
撮影開始ボタンが押下されると、撮影部13は、撮影データを取得し、取得した撮影データを、撮影画像生成部17aに転送する。そして、撮影画像生成部17aは、転送された撮影データから、利用者が撮影部13に対して配置した文書の撮影画像を生成する。
When the shooting start button is pressed, the
表示制御部17bは、撮影画像記憶部16aに格納された撮影画像を読み出して、表示部12のモニタにて表示するように制御する。また、表示制御部17bは、利用者がモニタにて表示された撮影画像にて指定した範囲を、白黒反転表示するように制御する。また、表示制御部17bは、利用者が所望する処理を指定するためのタッチパネルを表示部12のモニタに表示するように制御する。
The
情報認識部17cは、文字認識機能により、表示制御部17bの制御に基づいて表示部12のモニタにて表示された撮影画像、または、撮影画像にて利用者が指定した範囲に描出されている文字列を認識する。そして、情報認識部17cは、認識した文字列を認識結果として、認識結果記憶部16bに格納する。
The
端末制御部17dは、利用者が指定した処理に対応するアプリケーションにて、情報認識部17cが認識した文字列を用いた処理が実行されるように制御するための実行指示を、通信部14を介して、利用者端末20のOSに通知する。
The
上述した制御部17による一連の処理について、図3の(A)および(B)に示す文書を用いて具体的に説明する。ここで、図3の(A)に示す「原稿」は、利用者が参照している書類の原稿を印刷した文書であり、「この発明は人にやさしいインタフェースを提供します。」と記載されている。
A series of processes performed by the
また、図3の(B)に示す「はがき」は、利用者宛に「A田B子」さんから届いた文書であり、「こんにちは 連絡くださいね。」のメッセージとともに、「A田B子」さんの電話番号、電子メールアドレスおよびURLが記載されている。 In addition, "postcard" shown in (B) of FIG. 3 is a document that arrived addressed to the user from the Mr. "A field B child", together with a message of "I please contact Hello.", "A field B child." 'S phone number, e-mail address and URL are listed.
そこで、利用者は、自身が所望する情報を読み取るために、撮影部13にて図3の(A)および(B)に示す文書を撮影する。これにより、撮影画像生成部17aは撮影画像を生成し、表示制御部17bの制御により、表示部12のモニタは、利用者に対して、撮影画像が文書から浮き上がって見えているかのように表示する。
Therefore, the user photographs the documents shown in FIGS. 3A and 3B in the photographing
ここで、利用者は、図4の(A)に示すように、図3の(A)に示す「原稿」の撮影画像「この発明は人に」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。例えば、利用者は、表示部12のモニタ上にて「発」から「明」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(A)に示すように、指定された「発明」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
Here, as shown in FIG. 4A, the user refers to the photographed image of the “original” shown in FIG. Specify the range for recognition. For example, the user designates the range from “departure” to “bright” with a finger on the monitor of the
これにより、図4の(A)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「発明」を認識する。
Thereby, as shown in FIG. 4A, the
また、利用者は、図4の(B)に示すように、図3の(B)に示す「はがき」の撮影画像「L 090−xxxx−yyyy」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「0」から「y」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(B)に示すように、指定された「090−xxxx−yyyy」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
Further, as shown in FIG. 4B, the user refers to the photographed image “L 090-xxxx-yyyy” of “postcard” shown in FIG. Specify the range for recognition. That is, as described above, the user designates the range of “0” to “y” with his / her finger on the monitor of the
これにより、図4の(B)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「090−xxxx−yyyy」を認識する。
As a result, as shown in FIG. 4B, the
また、利用者は、図4の(C)に示すように、図3の(B)に示す「はがき」の撮影画像「ール ABAB@cde.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「A」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(C)に示すように、指定された「ABAB@cde.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
Further, as shown in FIG. 4C, the user refers to the photographed image “ALL ABAB@cde.com” of “Postcard” shown in FIG. Specify the range for character recognition. That is, as described above, the user designates the range of “A” to “m” with the finger on the monitor of the
これにより、図4の(C)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「ABAB@cde.com」を認識する。
Thereby, as shown in FIG. 4C, the
また、利用者は、図4の(D)に示すように、図3の(B)に示す「はがき」の撮影画像「L http://www.efgf.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「h」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(D)に示すように、指定された「http://www.efgf.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
Further, as shown in FIG. 4D, the user refers to the captured image “L http://www.efgf.com” of “postcard” shown in FIG. A range for the character recognition by the
これにより、図4の(D)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「http://www.efgf.com」を認識する。
As a result, as shown in FIG. 4D, the
なお、撮影範囲が適切であり、撮影画像に読み取り対象となる情報のみが描出されている場合、利用者は、範囲指定を実行せずに、例えば、図示しない認識開始ボタンを押下することで、情報認識部17cによる文字認識処理を実行させてもよい。
In addition, when the shooting range is appropriate and only the information to be read is drawn on the shot image, the user does not specify the range, for example, by pressing a recognition start button (not shown), Character recognition processing by the
そして、情報認識部17cは、認識した「発明」や「090−xxxx−yyyy」や「ABAB@cde.com」や「http://www.efgf.com」を、認識結果記憶部16bに格納する。
Then, the
そして、表示制御部17bは、情報認識部17cが認識された文字列が認識結果記憶部16bに格納されると、表示部12のモニタ上に、図5に示すように、タッチパネルとして、「指定一覧」を表示させる。ここで、「指定一覧」には、利用者が所望する処理を指定するための各項目が表示されており、例えば、「辞書」、「電話」、「メール」、「サイト閲覧」、「サイト検索」、「メール検索」、「番号検索」などが一覧表示される。そして、利用者は、認識された文字列を用いて自身が実行したい処理を、指定一覧の項目をタップすることで指定する。
When the character string recognized by the
そして、端末制御部17dは、「指定一覧」にて指定された処理に該当するアプリケーションにて、『認識された文字列を用いた処理が実行されるように制御するための実行指示』を、通信部14を介して利用者端末20のOSに送信する。なお、実行指示には、指定された処理に該当するアプリケーションの起動指示も含まれる。
Then, the
例えば、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「辞書」が利用者によりタップされた場合、『アプリケーション群21の辞書検索アプリケーションにて、「発明」をクエリーとする辞書検索が実行されるように制御するための実行指示』を送信する。
For example, if the character string “invention” is recognized and the “dictionary” of the “designated list” is tapped by the user, the
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の辞書検索アプリケーションは、図6の(A)に示すように、「発明」の辞書検索を実行して、検索結果を表示する。
Then, under the control of the OS of the
また、端末制御部17dは、文字列「090−xxxx−yyyy」が認識され、「指定一覧」の「電話」が利用者によりタップされた場合、『アプリケーション群21の電話アプリケーションにて、「090−xxxx−yyyy」を電話番号として発信する処理が実行されるように制御するための実行指示』を送信する。
Further, the
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図6の(B)に示すように、文字列「090−xxxx−yyyy」を電話番号入力画面に設定する。なお、実際の電話発信は、利用者により電話番号入力画面の「発信」ボタンが押下されない限り実行されない。
Then, under the control of the OS of the
また、端末制御部17dは、文字列「ABAB@cde.com」が認識され、「指定一覧」の「メール」が利用者によりタップされた場合、『アプリケーション群21の電子メールアプリケーションにて、「ABAB@cde.com」を宛先アドレスとする電子メールの作成が実行されるように制御するための実行指示』を送信する。
Further, the
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図6の(C)に示すように、文字列「ABAB@cde.com」をメール作成画面の宛先欄に設定する。
Then, under the control of the OS of the
また、端末制御部17dは、文字列「http://www.efgf.com」が認識され、「指定一覧」の「サイト閲覧」が利用者によりタップされた場合、『アプリケーション群21のブラウザにて、「http://www.efgf.com」をURLとするウェブサイトの表示が実行されるように制御するための実行指示』を送信する。
Further, when the character string “http://www.efgf.com” is recognized and the “site browsing” in the “designated list” is tapped by the user, the
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図6の(D)に示すように、「http://www.efgf.com」をURLの入力欄に設定する。なお、図には示さないが、アプリケーション群21のブラウザは、URLの入力欄に設定されたウェブサイトに自動的にアクセスする。
Then, under the control of the OS of the
あるいは、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「サイト検索」が利用者により押下された場合、『アプリケーション群21のブラウザにて、検索サイト「http://www.abcd.com」にて、「発明」をクエリーとするサイト検索が実行されるように制御するための実行指示』を送信する。
Alternatively, when the character string “invention” is recognized and the “site search” in the “designated list” is pressed by the user, the
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図7の(A)に示すように、検索サイト「http://www.abcd.com」のキーワード入力欄に「発明」を設定して、ウェブサイトの検索を実行する。そして、アプリケーション群21のブラウザは、図7の(B)に示すように、ウェブサイトの検索結果を表示する。
Then, the browser of the
あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「メール検索」が利用者により押下された場合、『アプリケーション群21の電子メールアプリケーションにて、「C山D男」の電子メールアドレス検索が実行されるように制御するための実行指示』を送信する。
Alternatively, the
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図7の(C)に示すように、「C山D男」のメールアドレスを検索して、検索結果「CDCD@cde.com」を表示する。
Then, under the control of the OS of the
あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「番号検索」が利用者により押下された場合、『アプリケーション群21の電話アプリケーションにて、「C山D男」の電子番号検索が実行されるように制御するための実行指示』を送信する。
Alternatively, when the character string “C mountain D male” is recognized and “number search” in the “specified list” is pressed by the user, the
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図7の(D)に示すように、「C山D男」のメールアドレスを検索して、検索結果「090−xxxx−zzzz」を表示する。
Then, under the control of the OS of the
なお、上記では、アプリケーション群21による処理結果が、利用者端末20にて表示される場合について説明したが、本発明はこれに限定されるものではなく、アプリケーション群21による処理結果を受信した情報入力装置10の表示部12にて表示される場合であってもよい。
In the above description, the case where the processing result by the
続いて、図8および図9を用いて実施例1における情報入力装置10および利用者端末20の処理の手順について説明する。図8は、実施例1における情報入力装置の処理を説明するためのフローチャートであり、図9は、実施例1における利用者端末の処理を説明するためのフローチャートである。
Subsequently, a processing procedure of the
図8に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS101肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS102)。
As illustrated in FIG. 8, the
そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS103)、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行する(ステップS104)。
The
そののち、表示制御部17bは、指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御し(ステップS105)、端末制御部17dは、利用者により処理内容が指定されたか否かを判定する(ステップS106)。
After that, the
端末制御部17dは、利用者により処理内容が指定されない場合(ステップS106否定)、処理内容を受け付けるまで待機する。
If the processing content is not specified by the user (No at Step S106), the
一方、利用者により処理内容が指定された場合(ステップS106肯定)、端末制御部17dは、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS107)、処理を終了する。
On the other hand, when the processing content is designated by the user (Yes at Step S106), the
次に、利用者端末20の処理について説明する。図9に示すように、実施例1における利用者端末20は、情報入力装置10から実行指示を受け付けると(ステップS201肯定)、利用者端末20のOSは、アプリケーション群21のうち、実行指示にて指定されたアプリケーションを起動させる(ステップS202)。
Next, processing of the
そして、利用者端末20のOSは、起動したアプリケーションにて、実行指示により受信した文字列を用いた処理を実行するように制御し(ステップS203)、そののち、処理結果を表示するように制御し(ステップS204)、処理を終了する。なお、利用者端末20は、処理結果を自身が有するモニタにて表示するが、上述したように、処理結果は、情報入力装置10の表示部12にて表示される場合であってもよい。
Then, the OS of the
上述してきたように、実施例1では、撮影部13に対して文書を配置した利用者から撮影指示を受け付けると、撮影画像生成部17aは、撮影部13が撮影した文書の撮影画像を生成し、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御する。そして、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行し、表示制御部17bは、利用者が所望する処理を指定するための指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御する。端末制御部17dは、利用者により処理内容が指定された場合、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信する。
As described above, in the first embodiment, when a shooting instruction is received from a user who has placed a document on the
したがって、利用者は、自身が入力したい情報が記載されている任意の情報源から所望の情報を自動的に入力することができ、上記した主たる特徴の通り、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。 Therefore, the user can automatically input desired information from an arbitrary information source in which the information he / she wants to input is described, and the information desired by the user can be obtained from a wide range of information as described above. By reading from the source, it is possible to reduce the labor required for inputting information by the user.
また、文字認識の範囲を指定することができるので、文字認識処理の正確性を保証することができ、利用者の情報入力にかかる労力をさらに低減することが可能となる。また、情報入力だけでなく、入力された情報に基づく処理を自動的に利用者端末20にて実行させることができ、利用者の操作指示入力にかかる労力を低減することが可能となる。
Moreover, since the range of character recognition can be designated, the accuracy of character recognition processing can be ensured, and the labor required for user information input can be further reduced. Further, not only information input but also processing based on the input information can be automatically executed by the
上述した実施例1では、利用者端末20にて実行される処理が利用者によって指定される場合について説明したが、実施例2では、利用者端末20にて実行される処理が情報入力装置10によって特定される場合について説明する。
In the first embodiment described above, the case where the process executed by the
実施例2における情報入力装置10は、図2を用いて説明した実施例1における情報入力装置10と同様の構成となるが、情報認識部17cが実行する処理内容が実施例1と異なる。以下、これを中心に説明する。
The
実施例2における情報認識部17cは、認識した文字列に含まれる情報に応じて、利用者が所望する処理を実行するためのアプリケーションを特定する。例えば、実施例2における情報認識部17cは、文字列に含まれる特徴的な情報に応じて、認識した文字列が電話番号であるか否か、電子メールアドレスであるか否か、URLであるか否かなどを解析して、解析結果と連携するアプリケーションを特定する。
The
例えば、情報認識部17cは、図10の(A)に示すように、文字認識により「090−xxxx−yyyy」を文字列として認識した場合、連続する数字の桁数およびハイフンの位置から、「090−xxxx−yyyy」が電話番号であり、連携するアプリケーションが電話アプリケーションであると特定する。
For example, as illustrated in FIG. 10A, when the
また、情報認識部17cは、図10の(B)に示すように、文字認識により「ABAB@cde.com」を文字列として認識した場合、アットマークが含まれることから「ABAB@cde.com」が電子メールアドレスであり、連携するアプリケーションが電子メールアプリケーションであると特定する。
Further, as shown in FIG. 10B, when the
また、情報認識部17cは、図10の(C)に示すように、文字認識により「http://www.efgf.com」を文字列として認識した場合、「http」や「www」などが含まれることから「http://www.efgf.com」がURLであり、連携するアプリケーションがブラウザであると特定する。
Further, as shown in FIG. 10C, when the
そして、情報認識部17cは、認識した文字列および特定したアプリケーションを認識結果記憶部16bに格納し、端末制御部17dは、認識結果記憶部16bから特定されたアプリケーションおよび文字列を読み出して、通信部14を介して、実行指示を利用者端末20に送信する。
Then, the
続いて、図11を用いて実施例1における情報入力装置10の処理の手順について説明する。図11は、実施例2における情報入力装置の処理を説明するためのフローチャートである。なお、実施例2における利用者端末20の処理は、図9を用いて説明した実施例1における利用者端末20の処理と同様であるので、説明を省略する。
Next, a processing procedure of the
図11に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS301肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS302)。
As illustrated in FIG. 11, the
そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS303)、情報認識部17cは、表示範囲または指定範囲にて文字列認識処理を実行する(ステップS304)。
Then, the
そののち、情報認識部17cは、認識した文字列を解析して、解析結果と連携するアプリケーションを特定し(ステップS305)、端末制御部17dは、通信部14を介して、特定したアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS306)、処理を終了する。
After that, the
なお、ステップS305において、情報認識部17cによりアプリケーションが特定されなかった場合は、実施例1と同様に、表示制御部17bが指定一覧を表示するように制御することで、利用者により処理の指定が行なわれてもよい。
In step S305, if the application is not specified by the
上述してきたように、実施例2では、利用者が所望する処理および利用者が所望する処理を実行可能なアプリケーションを自動的に特定するので、利用者の情報入力にかかる労力をより低減することが可能となる。 As described above, in the second embodiment, the process desired by the user and the application capable of executing the process desired by the user are automatically specified, so that the labor required for inputting information by the user can be further reduced. Is possible.
なお、上記した実施例1および2では、情報入力装置10において、文字列を認識する場合について説明したが、本発明はこれに限定されるものではなく、利用者端末20において文字列を認識する場合であってもよい。これについて、図12を用いて説明する。なお、図12は、変形例について説明するための図である。
In the first and second embodiments, the case where the
すなわち、変形例における情報入力装置10は、図12に示すように、表示範囲または指定範囲の撮影画像を利用者端末20に送信し、利用者端末20は、自身が有する情報認識部を用いて、受信した撮影画像から文字列を認識する。これによっても、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。
That is, as shown in FIG. 12, the
また、本発明は、情報入力装置10の撮影対象が、手書きメモである場合であっても適用可能である。さらに、本発明は、情報入力装置10の撮影対象が、上述したような紙媒体でなく、利用者端末20のモニタや、他の端末装置のモニタにて表示されている画面である場合であっても適用可能である。
Further, the present invention can be applied even when the photographing target of the
また、本発明は、情報認識部17cにバーコード読み取り機能や電子透かし読み取り機能をさらに付加して、一次元バーコードやQRコードなどの二次元バーコードや画像に埋め込まれた電子すかしの情報を読み取ることによって認識された文字列を用いて上述した情報入力処理を実行する場合であってもよい。
In the present invention, a barcode reading function and a digital watermark reading function are further added to the
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Each component of each illustrated device is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
なお、本実施例で説明した情報入力方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。 The information input method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program can be distributed via a network such as the Internet. The program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD and being read from the recording medium by the computer.
以上のように、本発明に係る情報入力装置および情報入力方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する場合に有用であり、特に、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することに適する。 As described above, the information input device and the information input method according to the present invention are useful when executing input processing of information desired by the user in cooperation with the user terminal operated by the user. In particular, it is suitable for reducing labor required for information input by the user by reading information desired by the user from a wide range of information sources.
10 情報入力装置
11 入力部
12 表示部
13 撮影部
14 通信部
15 入出力制御I/F部
16 記憶部
16a 撮影画像記憶部
16b 認識結果記憶部
17 制御部
17a 撮影画像生成部
17b 表示制御部
17c 情報認識部
17d 端末制御部
20 利用者端末
21 アプリケーション群
DESCRIPTION OF
Claims (5)
前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、
前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、
前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、
を備えたことを特徴とする情報入力装置。 In cooperation with a user terminal operated by a user, an information input device that executes input processing of information desired by the user,
Photographing means for photographing a document placed by the user and generating a photographed image;
Display control means for controlling to display the photographed image generated by the photographing means on a predetermined display unit;
Based on the control of the display control means, the character string drawn in the captured image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the character string is recognized. Terminal control means for transmitting an execution instruction for controlling the processing using the character string to be executed by an application desired by the user, to the user terminal;
An information input device comprising:
前記端末制御手段は、前記表示制御手段の制御に基づいて前記所定の表示部に表示された前記指定画面を参照した前記利用者によって指定された処理に該当するアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。 The display control means controls to display a designation screen for designating a process desired by the user on the predetermined display unit,
The terminal control unit is configured to recognize the recognized character in an application corresponding to a process designated by the user with reference to the designation screen displayed on the predetermined display unit based on the control of the display control unit. The information input device according to claim 1, wherein an execution instruction for controlling to execute processing using a column is transmitted.
前記端末制御手段は、前記特定手段によって特定されたアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。 According to the information included in the character string recognized by the character recognition function, further comprising a specifying means for specifying an application for executing the process desired by the user,
The terminal control unit transmits an execution instruction for controlling the application specified by the specifying unit to execute processing using the recognized character string. The information input device described in 1.
前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、
前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、
前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、
を含んだことを特徴とする情報入力方法。 An information input method applied to an information input device that executes input processing of information desired by the user in cooperation with a user terminal operated by the user,
A shooting step of shooting a document placed by the user and generating a shot image;
A display control step for controlling the photographed image generated by the photographing step to be displayed on a predetermined display unit;
Based on the control of the display control step, the character string drawn in the captured image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the recognition is performed. A terminal control step of transmitting an execution instruction for controlling the processing using the character string to be executed in an application desired by the user;
The information input method characterized by including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009090523A JP2010244211A (en) | 2009-04-02 | 2009-04-02 | Information input device and information input method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009090523A JP2010244211A (en) | 2009-04-02 | 2009-04-02 | Information input device and information input method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010244211A true JP2010244211A (en) | 2010-10-28 |
Family
ID=43097183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009090523A Pending JP2010244211A (en) | 2009-04-02 | 2009-04-02 | Information input device and information input method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010244211A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013038872A1 (en) * | 2011-09-16 | 2013-03-21 | Necカシオモバイルコミュニケーションズ株式会社 | Image processing apparatus, image processing method, and image processing program |
JP2015522877A (en) * | 2012-06-07 | 2015-08-06 | アマゾン・テクノロジーズ、インコーポレイテッド | Adaptive threshold processing for image recognition. |
US9536161B1 (en) | 2014-06-17 | 2017-01-03 | Amazon Technologies, Inc. | Visual and audio recognition for scene change events |
JP2018142286A (en) * | 2017-02-28 | 2018-09-13 | シナノケンシ株式会社 | Program for making electronic book |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10254989A (en) * | 1997-03-11 | 1998-09-25 | Casio Comput Co Ltd | System and method for processing image |
JPH11167532A (en) * | 1997-12-02 | 1999-06-22 | Canon Inc | System, device, and method for data processing and recording medium |
JP2000222522A (en) * | 1999-02-04 | 2000-08-11 | Matsushita Electric Ind Co Ltd | Recognition and processing device |
JP2002152696A (en) * | 2000-11-10 | 2002-05-24 | Hitachi Ltd | Portable terminal |
WO2004015619A1 (en) * | 2002-08-07 | 2004-02-19 | Matsushita Electric Industrial Co., Ltd. | Character recognition processing device, character recognition processing method, and mobile terminal device |
WO2004109587A1 (en) * | 2003-06-02 | 2004-12-16 | Sharp Kabushiki Kaisha | Portable information terminal |
JP2005038431A (en) * | 2004-07-20 | 2005-02-10 | Hitachi Ltd | Portable terminal and communication system |
-
2009
- 2009-04-02 JP JP2009090523A patent/JP2010244211A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10254989A (en) * | 1997-03-11 | 1998-09-25 | Casio Comput Co Ltd | System and method for processing image |
JPH11167532A (en) * | 1997-12-02 | 1999-06-22 | Canon Inc | System, device, and method for data processing and recording medium |
JP2000222522A (en) * | 1999-02-04 | 2000-08-11 | Matsushita Electric Ind Co Ltd | Recognition and processing device |
JP2002152696A (en) * | 2000-11-10 | 2002-05-24 | Hitachi Ltd | Portable terminal |
WO2004015619A1 (en) * | 2002-08-07 | 2004-02-19 | Matsushita Electric Industrial Co., Ltd. | Character recognition processing device, character recognition processing method, and mobile terminal device |
WO2004109587A1 (en) * | 2003-06-02 | 2004-12-16 | Sharp Kabushiki Kaisha | Portable information terminal |
JP2005038431A (en) * | 2004-07-20 | 2005-02-10 | Hitachi Ltd | Portable terminal and communication system |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013038872A1 (en) * | 2011-09-16 | 2013-03-21 | Necカシオモバイルコミュニケーションズ株式会社 | Image processing apparatus, image processing method, and image processing program |
US9396405B2 (en) | 2011-09-16 | 2016-07-19 | Nec Corporation | Image processing apparatus, image processing method, and image processing program |
JP2015522877A (en) * | 2012-06-07 | 2015-08-06 | アマゾン・テクノロジーズ、インコーポレイテッド | Adaptive threshold processing for image recognition. |
US9536161B1 (en) | 2014-06-17 | 2017-01-03 | Amazon Technologies, Inc. | Visual and audio recognition for scene change events |
JP2018142286A (en) * | 2017-02-28 | 2018-09-13 | シナノケンシ株式会社 | Program for making electronic book |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9268987B2 (en) | Method of recognizing QR code in image data and apparatus and method for converting QR code in content data into touchable object | |
JP2002366941A (en) | Palm office assistant | |
KR20120087213A (en) | System and method for delivering informaiton using image code | |
US9749322B2 (en) | Information sharing system and information sharing method | |
JP2009070240A (en) | System and method for obtaining document data from document management server | |
JP2012133586A (en) | Display device, screen image transfer method and program | |
KR100996037B1 (en) | Apparatus and method for providing hyperlink information in mobile communication terminal which can connect with wireless-internet | |
JP2010244211A (en) | Information input device and information input method | |
JP2007172471A (en) | Scanner driver and control method for scanner driver | |
CN105607877A (en) | Information processing apparatus, and printing method | |
JP5991323B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2010244210A (en) | Device and method for creation of electronic mail | |
JP6039387B2 (en) | Display device | |
JP2009088876A (en) | Information processing system | |
US20140029787A1 (en) | Data transmission device, method for adding copyright notice, and program | |
JP7251102B2 (en) | Display device, reader, information reading system, information reading method, and program | |
JP2013539100A (en) | Method and apparatus for integrating document information | |
JP2012029127A (en) | Service provision system and server | |
JP2009218793A (en) | Image processing unit | |
JP2007282100A (en) | Image processing system and image processing method | |
US20130047102A1 (en) | Method for browsing and/or executing instructions via information-correlated and instruction-correlated image and program product | |
JP2009151617A (en) | Code generation program, game machine, server, and information providing system | |
JP2009099087A (en) | Content generation device, information display device and computer program | |
JP2010226235A (en) | Content sharing system, imaging apparatus, television set, content sharing method, and program | |
US20120079051A1 (en) | System and method of storing and retrieving associated information with a digital image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110520 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110520 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130611 |