JP2010244211A - Information input device and information input method - Google Patents

Information input device and information input method Download PDF

Info

Publication number
JP2010244211A
JP2010244211A JP2009090523A JP2009090523A JP2010244211A JP 2010244211 A JP2010244211 A JP 2010244211A JP 2009090523 A JP2009090523 A JP 2009090523A JP 2009090523 A JP2009090523 A JP 2009090523A JP 2010244211 A JP2010244211 A JP 2010244211A
Authority
JP
Japan
Prior art keywords
user
unit
information
character string
information input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009090523A
Other languages
Japanese (ja)
Inventor
Masaru Sanada
勝 真田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009090523A priority Critical patent/JP2010244211A/en
Publication of JP2010244211A publication Critical patent/JP2010244211A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce a burden for inputting information by a user, by reading information which user wishes from a broad range of information resources. <P>SOLUTION: When receiving a capturing instruction from a user who has disposed a document against an imaging unit 13, a captured image generation unit 17a generates a captured image and a display control unit 17b controls such that the captured image is displayed on the monitor of a display unit 12. Then, an information recognition unit 17c performs character string recognition processing either on the displayed area on the monitor or on the specified area specified by the user, and the display control unit 17b displays a designation item list by which the user specifies his/her wishing process as a touch panel on the monitor of the display unit 12. When a process item is specified by the user, a terminal control unit 17d transmits an executing instruction to a user terminal 20 via a communication unit 14 to perform the process using the recognized character string in the application corresponding to the specified process content. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

この発明は、情報入力装置および情報入力方法に関する。   The present invention relates to an information input device and an information input method.

従来より、携帯電話などの携帯端末やPC(Personal Computer)などの利用者端末に対して利用者が所望の情報を入力する際の労力を軽減するための多彩なサービスが知られている。   2. Description of the Related Art Conventionally, various services are known for reducing labor when a user inputs desired information to a mobile terminal such as a mobile phone or a user terminal such as a PC (Personal Computer).

例えば、携帯電話の付属カメラで2次元コードであるQRコードを撮影し、撮影したQRコードに記載されているURLを読み取ることで、利用者が所望するWebsiteを表示するサービスが知られている(例えば、非特許文献1参照)。かかるサービスを用いることで、利用者は、URLをキー入力することなく、所望するWebsiteを閲覧することができる。   For example, a service is known in which a QR code that is a two-dimensional code is photographed with a camera attached to a mobile phone, and a URL displayed on the photographed QR code is read to display a website desired by the user ( For example, refer nonpatent literature 1). By using such a service, the user can browse a desired Web site without entering a URL as a key.

また、文字認識機能を有する携帯電話の付属カメラで撮影した画像から利用者が所望する文字列を認識するサービスや、携帯電話の付属カメラで撮影した画像から、画像内に埋め込まれている「電子透かし」の情報を読み取るサービスも知られている。   In addition, a service for recognizing a character string desired by a user from an image taken with a camera attached to a mobile phone having a character recognition function, or an “electronic” embedded in an image taken from an image taken with a camera attached to a mobile phone. A service for reading “watermark” information is also known.

“バーコード読み取り機能”、[online]、[平成21年3月30日検索]、インターネット<http://www.nttdocomo.co.jp/service/func_tool/barcode/index.html>“Barcode reading function”, [online], [March 30, 2009 search], Internet <http://www.nttdocomo.co.jp/service/func_tool/barcode/index.html>

ところで、上記した従来の技術は、QRコードや画像に描出されている文字列や電子透かしの情報など、個々の情報源から利用者が所望する情報を読み取ることができるものの、特定の情報源からしか利用者が所望する情報を読み取れなかった。   By the way, although the above-described conventional technology can read information desired by the user from individual information sources such as QR codes, character strings drawn in images, and information on digital watermarks, it can be obtained from specific information sources. Only the information desired by the user could be read.

すなわち、上記した従来の技術は、利用者が所望する情報を入力する際の労力を低減できる対象となる情報源が限定されているという課題があった。   In other words, the above-described conventional technique has a problem that information sources that can be used to reduce labor when inputting information desired by the user are limited.

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、
利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる情報入力装置および情報入力方法を提供することを目的とする。
Therefore, the present invention has been made to solve the above-described problems of the prior art,
It is an object of the present invention to provide an information input device and an information input method capable of reducing labor required for information input by the user by reading information desired by the user from a wide range of information sources.

上述した課題を解決し、目的を達成するために、この装置は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、を備えたことを要件とする。   In order to solve the above-described problems and achieve the object, this device is an information input device that performs input processing of information desired by the user in cooperation with a user terminal operated by the user. Photographing means for photographing a document placed by the user and generating a photographed image; display control means for controlling the photographed image generated by the photographing means to be displayed on a predetermined display unit; Based on the control of the display control means, the character string drawn in the captured image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the character string is recognized. It is a requirement to include terminal control means for transmitting to the user terminal an execution instruction for controlling the processing using the character string to be executed by an application desired by the user.

また、この方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置に適用される情報入力方法であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、を含んだことを要件とする。   In addition, this method is an information input method applied to an information input device that performs input processing of information desired by the user in cooperation with a user terminal operated by the user, A shooting step for shooting a document arranged by the camera to generate a shot image, a display control step for controlling the shot image generated by the shooting step to be displayed on a predetermined display unit, and a display control step Based on the control, the character string drawn in the photographed image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the recognized character string is used. It is a requirement that the process includes a terminal control step of transmitting an execution instruction for controlling the process to be executed by an application desired by the user to the user terminal. .

開示の装置および方法によれば、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。   According to the disclosed apparatus and method, it is possible to reduce the user's labor for inputting information by reading information desired by the user from a wide range of information sources.

図1は、実施例1における情報入力装置の外観例を説明するための図である。FIG. 1 is a diagram for explaining an appearance example of the information input device according to the first embodiment. 図2は、実施例1における情報入力装置の構成を説明するためのブロック図である。FIG. 2 is a block diagram for explaining the configuration of the information input device according to the first embodiment. 図3は、実施例1において用いられる文書の具体例を説明するための図である。FIG. 3 is a diagram for explaining a specific example of a document used in the first embodiment. 図4は、情報認識部による文字列の認識処理を説明するための図である。FIG. 4 is a diagram for explaining the character string recognition processing by the information recognition unit. 図5は、実施例1にて表示されるタッチパネルを説明するための図である。FIG. 5 is a diagram for explaining the touch panel displayed in the first embodiment. 図6は、端末制御部による処理結果を説明するための図(1)である。FIG. 6 is a diagram (1) for explaining a processing result by the terminal control unit. 図7は、端末制御部による処理結果を説明するための図(2)である。FIG. 7 is a diagram (2) for explaining the processing result by the terminal control unit. 図8は、実施例1における情報入力装置の処理を説明するためのフローチャートである。FIG. 8 is a flowchart for explaining processing of the information input device according to the first embodiment. 図9は、実施例1における利用者端末の処理を説明するためのフローチャートである。FIG. 9 is a flowchart for explaining processing of the user terminal according to the first embodiment. 図10は、実施例2における情報入力装置を説明するための図である。FIG. 10 is a diagram for explaining the information input device according to the second embodiment. 図11は、実施例2における情報入力装置の処理を説明するためのフローチャートである。FIG. 11 is a flowchart for explaining processing of the information input device according to the second embodiment. 図12は、変形例を説明するための図である。FIG. 12 is a diagram for explaining a modification.

以下に添付図面を参照して、この発明に係る情報入力装置および情報入力方法の実施例を詳細に説明する。なお、以下では、本発明に係る情報入力方法を実行する情報入力装置を実施例として説明する。   Exemplary embodiments of an information input device and an information input method according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, an information input device that executes the information input method according to the present invention will be described as an example.

まず、図1を用いて、実施例1における情報入力装置の外観の一例について説明する。図1は、実施例1における情報入力装置の外観例を説明するための図である。   First, an example of the appearance of the information input device according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining an appearance example of the information input device according to the first embodiment.

実施例1における情報入力装置10は、図1の(A)に示すように、PC(Personal Computer)や携帯電話といった利用者が操作する利用者端末20と接続されている。例えば、情報入力装置10と利用者端末20とは、通信ケーブルを介して接続されている。なお、本発明は、情報入力装置10と利用者端末20との間でデータ通信が可能であるならば、任意の接続形態が適用可能である。   The information input device 10 according to the first embodiment is connected to a user terminal 20 operated by a user such as a PC (Personal Computer) or a mobile phone, as shown in FIG. For example, the information input device 10 and the user terminal 20 are connected via a communication cable. The present invention is applicable to any connection form as long as data communication is possible between the information input device 10 and the user terminal 20.

そして、情報入力装置10は、図1の(B)に示すように、下面に撮影機能を有し、上面に撮影機能によって撮影された画像を表示したり、利用者が操作指示を入力するためのタッチパネルを表示したりするための表示機能を有する。例えば、利用者は、図1の(C)に示すように、情報入力装置10を上から覗き込むことにより、表示機能によって表示されている画像を参照する。   As shown in FIG. 1B, the information input device 10 has a photographing function on the bottom surface, displays an image photographed by the photographing function on the top surface, and allows a user to input an operation instruction. Display function for displaying the touch panel. For example, as shown in FIG. 1C, the user looks into the information input device 10 from above and refers to the image displayed by the display function.

ここで、実施例1における情報入力装置10は、利用者端末20と協働して利用者が所望する情報の入力処理を実行するが、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となることに主たる特徴がある。   Here, the information input device 10 according to the first embodiment executes input processing of information desired by the user in cooperation with the user terminal 20, but by reading information desired by the user from a wide range of information sources. The main feature is that it is possible to reduce the labor required to input information by the user.

以下、この主たる特徴について、図2〜7を用いて説明する。なお、図2は、実施例1における情報入力装置の構成を説明するためのブロック図であり、図3は、実施例1において用いられる文書の具体例を説明するための図であり、図4は、情報認識部による文字列の認識処理を説明するための図であり、図5は、実施例1にて表示されるタッチパネルを説明するための図であり、図6および7は、端末制御部による処理結果を説明するための図である。   Hereinafter, this main feature will be described with reference to FIGS. 2 is a block diagram for explaining the configuration of the information input device according to the first embodiment, and FIG. 3 is a diagram for explaining a specific example of a document used in the first embodiment. These are the figures for demonstrating the recognition process of the character string by an information recognition part, FIG. 5 is a figure for demonstrating the touch panel displayed in Example 1, FIG. 6 and 7 are terminal control. It is a figure for demonstrating the processing result by a part.

図2に示すように、実施例1における情報入力装置10は、入力部11と、表示部12と、撮影部13と、通信部14と、入出力制御I/F部15と、記憶部16と、制御部17とを有し、利用者端末20と接続される。   As illustrated in FIG. 2, the information input device 10 according to the first embodiment includes an input unit 11, a display unit 12, a photographing unit 13, a communication unit 14, an input / output control I / F unit 15, and a storage unit 16. And the control unit 17 and connected to the user terminal 20.

利用者端末20は、PCや携帯電話など、利用者が操作する端末であり、特に本実施例に密接に関係するものとして、アプリケーション群21を有する。アプリケーション群21は、利用者が直接的または間接的に入力した情報を用いて、各種処理を実行する各種アプリケーションから構成され、アプリケーション群21の各種アプリケーションは、図示しない利用者端末20が有するOS(Operating System)による制御のもと、所定の処理を実行する。なお、本実施例において、各種処理を実行するアプリケーションについては、後に詳述する。   The user terminal 20 is a terminal operated by a user, such as a PC or a mobile phone, and has an application group 21 particularly closely related to the present embodiment. The application group 21 includes various applications that execute various processes using information directly or indirectly input by the user. The various applications in the application group 21 include an OS (not shown) of the user terminal 20 (not shown). A predetermined process is executed under the control of the Operating System. In the present embodiment, applications that execute various processes will be described in detail later.

入力部11は、利用者から操作指示を受け付ける。具体的には、入力部11は、操作指示を入力するための各種ボタンや、表示部12が表示するタッチパネルなどを介して、利用者から操作指示を受け付ける。   The input unit 11 receives an operation instruction from the user. Specifically, the input unit 11 receives an operation instruction from the user via various buttons for inputting the operation instruction, a touch panel displayed on the display unit 12, and the like.

表示部12は、図1を用いて説明した表示機能に対応し、後述する撮影画像生成部17aによって生成された撮影画像を表示したり、タッチパネルを表示したりするためのモニタである。   The display unit 12 corresponds to the display function described with reference to FIG. 1 and is a monitor for displaying a captured image generated by a captured image generation unit 17a described later or displaying a touch panel.

撮影部13は、図1を用いて説明した撮影機能に対応し、利用者が配置した印刷物や手書きのメモなどの文書を撮影するカメラであり、例えば、CCDカメラなどが用いられる。   The photographing unit 13 corresponds to the photographing function described with reference to FIG. 1 and is a camera that photographs a document such as a printed matter or a handwritten memo arranged by the user. For example, a CCD camera or the like is used.

通信部14は、利用者端末20と情報入力装置10との間でデータの送受信を行なう装置である。   The communication unit 14 is a device that transmits and receives data between the user terminal 20 and the information input device 10.

入出力制御I/F部15は、入力部11、表示部12、撮影部13および通信部14と、記憶部16および制御部17との間におけるデータ転送を制御する。   The input / output control I / F unit 15 controls data transfer among the input unit 11, the display unit 12, the imaging unit 13 and the communication unit 14, and the storage unit 16 and the control unit 17.

記憶部16は、制御部17による各種処理結果を記憶し、図2に示すように、特に本実施例に密接に関連するものとして、撮影画像記憶部16aおよび認識結果記憶部16bを有する。   The storage unit 16 stores various processing results obtained by the control unit 17 and includes a captured image storage unit 16a and a recognition result storage unit 16b as shown in FIG. 2 that are particularly closely related to the present embodiment.

撮影画像記憶部16aは、後述する撮影画像生成部17aによる処理結果を記憶し、認識結果記憶部16bは、後述する情報認識部17cによる処理結果を記憶するが、これらについては、後に詳述する。   The captured image storage unit 16a stores a processing result by a captured image generation unit 17a described later, and a recognition result storage unit 16b stores a processing result by an information recognition unit 17c described later, which will be described in detail later. .

制御部17は、入出力制御I/F部15から転送された情報に基づいて、各種処理を実行し、特に本実施例に密接に関連するものとして、撮影画像生成部17aと、表示制御部17bと、情報認識部17cと、端末制御部17dとを有する。   The control unit 17 executes various processes based on the information transferred from the input / output control I / F unit 15, and particularly as closely related to the present embodiment, the captured image generation unit 17a, the display control unit, and the like. 17b, an information recognition unit 17c, and a terminal control unit 17d.

撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから画像(以下、撮影画像と記す)を生成し、生成した撮影画像を撮影画像記憶部16aに格納する。   The captured image generation unit 17a generates an image (hereinafter, referred to as a captured image) from the captured data of the document captured by the capturing unit 13, and stores the generated captured image in the captured image storage unit 16a.

例えば、まず、利用者は、読み取りたい情報が記載されている文書(印刷物や、はがきなど)を机などの水平な場所に配置する。そして、利用者は、文書の上に撮影部13を置いたのち、入力部11が有する撮影開始ボタンを押下する。   For example, first, the user places a document (printed material, postcard, etc.) on which information to be read is written on a horizontal place such as a desk. Then, after placing the photographing unit 13 on the document, the user presses the photographing start button of the input unit 11.

撮影開始ボタンが押下されると、撮影部13は、撮影データを取得し、取得した撮影データを、撮影画像生成部17aに転送する。そして、撮影画像生成部17aは、転送された撮影データから、利用者が撮影部13に対して配置した文書の撮影画像を生成する。   When the shooting start button is pressed, the shooting unit 13 acquires shooting data, and transfers the acquired shooting data to the shooting image generation unit 17a. Then, the captured image generation unit 17a generates a captured image of a document placed on the imaging unit 13 by the user from the transferred captured data.

表示制御部17bは、撮影画像記憶部16aに格納された撮影画像を読み出して、表示部12のモニタにて表示するように制御する。また、表示制御部17bは、利用者がモニタにて表示された撮影画像にて指定した範囲を、白黒反転表示するように制御する。また、表示制御部17bは、利用者が所望する処理を指定するためのタッチパネルを表示部12のモニタに表示するように制御する。   The display control unit 17b controls to read the captured image stored in the captured image storage unit 16a and display it on the monitor of the display unit 12. Further, the display control unit 17b performs control so that the range designated by the user in the captured image displayed on the monitor is displayed in black and white reversed. In addition, the display control unit 17 b performs control so that a touch panel for designating a process desired by the user is displayed on the monitor of the display unit 12.

情報認識部17cは、文字認識機能により、表示制御部17bの制御に基づいて表示部12のモニタにて表示された撮影画像、または、撮影画像にて利用者が指定した範囲に描出されている文字列を認識する。そして、情報認識部17cは、認識した文字列を認識結果として、認識結果記憶部16bに格納する。   The information recognition unit 17c is drawn by the character recognition function in a captured image displayed on the monitor of the display unit 12 based on the control of the display control unit 17b or in a range designated by the user in the captured image. Recognize character strings. Then, the information recognition unit 17c stores the recognized character string as a recognition result in the recognition result storage unit 16b.

端末制御部17dは、利用者が指定した処理に対応するアプリケーションにて、情報認識部17cが認識した文字列を用いた処理が実行されるように制御するための実行指示を、通信部14を介して、利用者端末20のOSに通知する。   The terminal control unit 17d gives an execution instruction for controlling the communication unit 14 to execute processing using a character string recognized by the information recognition unit 17c in an application corresponding to the processing specified by the user. To the OS of the user terminal 20.

上述した制御部17による一連の処理について、図3の(A)および(B)に示す文書を用いて具体的に説明する。ここで、図3の(A)に示す「原稿」は、利用者が参照している書類の原稿を印刷した文書であり、「この発明は人にやさしいインタフェースを提供します。」と記載されている。   A series of processes performed by the control unit 17 described above will be specifically described with reference to the documents shown in FIGS. Here, the “original” shown in FIG. 3A is a document in which the original of the document referred to by the user is printed, and “this invention provides a human-friendly interface” is described. ing.

また、図3の(B)に示す「はがき」は、利用者宛に「A田B子」さんから届いた文書であり、「こんにちは 連絡くださいね。」のメッセージとともに、「A田B子」さんの電話番号、電子メールアドレスおよびURLが記載されている。   In addition, "postcard" shown in (B) of FIG. 3 is a document that arrived addressed to the user from the Mr. "A field B child", together with a message of "I please contact Hello.", "A field B child." 'S phone number, e-mail address and URL are listed.

そこで、利用者は、自身が所望する情報を読み取るために、撮影部13にて図3の(A)および(B)に示す文書を撮影する。これにより、撮影画像生成部17aは撮影画像を生成し、表示制御部17bの制御により、表示部12のモニタは、利用者に対して、撮影画像が文書から浮き上がって見えているかのように表示する。   Therefore, the user photographs the documents shown in FIGS. 3A and 3B in the photographing unit 13 in order to read the information desired by the user. As a result, the captured image generation unit 17a generates a captured image, and the monitor of the display unit 12 displays to the user as if the captured image is floating from the document under the control of the display control unit 17b. To do.

ここで、利用者は、図4の(A)に示すように、図3の(A)に示す「原稿」の撮影画像「この発明は人に」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。例えば、利用者は、表示部12のモニタ上にて「発」から「明」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(A)に示すように、指定された「発明」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。   Here, as shown in FIG. 4A, the user refers to the photographed image of the “original” shown in FIG. Specify the range for recognition. For example, the user designates the range from “departure” to “bright” with a finger on the monitor of the display unit 12, and as a result, the display control unit 17 b is as shown in FIG. The designated “invention” range is controlled to be displayed in black and white inversion. Then, the user who confirms that the designated range is definitely reversed taps the highlighted portion.

これにより、図4の(A)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「発明」を認識する。   Thereby, as shown in FIG. 4A, the information recognition unit 17c recognizes the character string “invention” in the designated range of the photographed image by character recognition.

また、利用者は、図4の(B)に示すように、図3の(B)に示す「はがき」の撮影画像「L 090−xxxx−yyyy」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「0」から「y」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(B)に示すように、指定された「090−xxxx−yyyy」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。   Further, as shown in FIG. 4B, the user refers to the photographed image “L 090-xxxx-yyyy” of “postcard” shown in FIG. Specify the range for recognition. That is, as described above, the user designates the range of “0” to “y” with his / her finger on the monitor of the display unit 12, and as a result, the display control unit 17b displays the ( As shown in B), control is performed so that the designated range of “090-xxxx-yyyy” is displayed in black and white inversion. Then, the user who confirms that the designated range is definitely reversed taps the highlighted portion.

これにより、図4の(B)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「090−xxxx−yyyy」を認識する。   As a result, as shown in FIG. 4B, the information recognition unit 17c recognizes the character string “090-xxxx-yyyy” in the designated range of the captured image by character recognition.

また、利用者は、図4の(C)に示すように、図3の(B)に示す「はがき」の撮影画像「ール ABAB@cde.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「A」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(C)に示すように、指定された「ABAB@cde.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。   Further, as shown in FIG. 4C, the user refers to the photographed image “ALL ABAB@cde.com” of “Postcard” shown in FIG. Specify the range for character recognition. That is, as described above, the user designates the range of “A” to “m” with the finger on the monitor of the display unit 12, and as a result, the display control unit 17 b displays ( As shown in C), control is performed so that the designated range “ABAB@cde.com” is displayed in black and white inversion. Then, the user who confirms that the designated range is definitely reversed taps the highlighted portion.

これにより、図4の(C)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「ABAB@cde.com」を認識する。   Thereby, as shown in FIG. 4C, the information recognition unit 17c recognizes the character string “ABAB@cde.com” in the designated range of the photographed image by character recognition.

また、利用者は、図4の(D)に示すように、図3の(B)に示す「はがき」の撮影画像「L http://www.efgf.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「h」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(D)に示すように、指定された「http://www.efgf.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。   Further, as shown in FIG. 4D, the user refers to the captured image “L http://www.efgf.com” of “postcard” shown in FIG. A range for the character recognition by the unit 17c is designated. That is, as described above, the user designates the range of “h” to “m” with the finger on the monitor of the display unit 12, and as a result, the display control unit 17 b displays ( As shown in D), control is performed so that the specified range of “http://www.efgf.com” is displayed in black and white inversion. Then, the user who confirms that the designated range is definitely reversed taps the highlighted portion.

これにより、図4の(D)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「http://www.efgf.com」を認識する。   As a result, as shown in FIG. 4D, the information recognition unit 17c recognizes the character string “http://www.efgf.com” in the designated range of the captured image by character recognition.

なお、撮影範囲が適切であり、撮影画像に読み取り対象となる情報のみが描出されている場合、利用者は、範囲指定を実行せずに、例えば、図示しない認識開始ボタンを押下することで、情報認識部17cによる文字認識処理を実行させてもよい。   In addition, when the shooting range is appropriate and only the information to be read is drawn on the shot image, the user does not specify the range, for example, by pressing a recognition start button (not shown), Character recognition processing by the information recognition unit 17c may be executed.

そして、情報認識部17cは、認識した「発明」や「090−xxxx−yyyy」や「ABAB@cde.com」や「http://www.efgf.com」を、認識結果記憶部16bに格納する。   Then, the information recognition unit 17c stores the recognized “invention”, “090-xxx-yyyy”, “ABAB@cde.com”, and “http://www.efgf.com” in the recognition result storage unit 16b. To do.

そして、表示制御部17bは、情報認識部17cが認識された文字列が認識結果記憶部16bに格納されると、表示部12のモニタ上に、図5に示すように、タッチパネルとして、「指定一覧」を表示させる。ここで、「指定一覧」には、利用者が所望する処理を指定するための各項目が表示されており、例えば、「辞書」、「電話」、「メール」、「サイト閲覧」、「サイト検索」、「メール検索」、「番号検索」などが一覧表示される。そして、利用者は、認識された文字列を用いて自身が実行したい処理を、指定一覧の項目をタップすることで指定する。   When the character string recognized by the information recognition unit 17c is stored in the recognition result storage unit 16b, the display control unit 17b displays “designated” as a touch panel on the monitor of the display unit 12 as shown in FIG. "List" is displayed. Here, each item for designating a process desired by the user is displayed in the “designation list”. For example, “dictionary”, “phone”, “mail”, “site browsing”, “site” “Search”, “Mail Search”, “Number Search”, etc. are listed. Then, the user designates the process he / she wants to execute using the recognized character string by tapping the item in the designation list.

そして、端末制御部17dは、「指定一覧」にて指定された処理に該当するアプリケーションにて、『認識された文字列を用いた処理が実行されるように制御するための実行指示』を、通信部14を介して利用者端末20のOSに送信する。なお、実行指示には、指定された処理に該当するアプリケーションの起動指示も含まれる。   Then, the terminal control unit 17d gives an “execution instruction for controlling the process using the recognized character string” to be executed by the application corresponding to the process specified in the “specified list”. The data is transmitted to the OS of the user terminal 20 via the communication unit 14. The execution instruction includes an application activation instruction corresponding to the designated process.

例えば、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「辞書」が利用者によりタップされた場合、『アプリケーション群21の辞書検索アプリケーションにて、「発明」をクエリーとする辞書検索が実行されるように制御するための実行指示』を送信する。   For example, if the character string “invention” is recognized and the “dictionary” of the “designated list” is tapped by the user, the terminal control unit 17d “query the“ invention ”in the dictionary search application of the application group 21”. The execution instruction for controlling the dictionary search to be executed is transmitted.

そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の辞書検索アプリケーションは、図6の(A)に示すように、「発明」の辞書検索を実行して、検索結果を表示する。   Then, under the control of the OS of the user terminal 20 that has received the execution instruction, the dictionary search application of the application group 21 executes a dictionary search of “invention” as shown in FIG. Is displayed.

また、端末制御部17dは、文字列「090−xxxx−yyyy」が認識され、「指定一覧」の「電話」が利用者によりタップされた場合、『アプリケーション群21の電話アプリケーションにて、「090−xxxx−yyyy」を電話番号として発信する処理が実行されるように制御するための実行指示』を送信する。   Further, the terminal control unit 17d recognizes the character string “090-xxxx-yyyy”, and when “phone” in the “designated list” is tapped by the user, “the phone application of the application group 21 uses“ 090 ”. "Execution instruction for controlling so that processing for transmitting" -xxxx-yyyy "as a telephone number is executed" is transmitted.

そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図6の(B)に示すように、文字列「090−xxxx−yyyy」を電話番号入力画面に設定する。なお、実際の電話発信は、利用者により電話番号入力画面の「発信」ボタンが押下されない限り実行されない。   Then, under the control of the OS of the user terminal 20 that has received the execution instruction, the telephone application of the application group 21 receives the character string “090-xxxx-yyyy” as shown in FIG. Set to. The actual telephone call is not executed unless the user presses the “call” button on the telephone number input screen.

また、端末制御部17dは、文字列「ABAB@cde.com」が認識され、「指定一覧」の「メール」が利用者によりタップされた場合、『アプリケーション群21の電子メールアプリケーションにて、「ABAB@cde.com」を宛先アドレスとする電子メールの作成が実行されるように制御するための実行指示』を送信する。   Further, the terminal control unit 17d recognizes the character string “ABAB@cde.com”, and when “mail” in the “designated list” is tapped by the user, “in the email application of the application group 21,“ An “execution instruction for controlling the creation of an e-mail having a destination address“ ABAB@cde.com ”” is transmitted.

そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図6の(C)に示すように、文字列「ABAB@cde.com」をメール作成画面の宛先欄に設定する。   Then, under the control of the OS of the user terminal 20 that has received the execution instruction, the e-mail application of the application group 21 receives the character string “ABAB@cde.com” as shown in FIG. Set in the destination field.

また、端末制御部17dは、文字列「http://www.efgf.com」が認識され、「指定一覧」の「サイト閲覧」が利用者によりタップされた場合、『アプリケーション群21のブラウザにて、「http://www.efgf.com」をURLとするウェブサイトの表示が実行されるように制御するための実行指示』を送信する。   Further, when the character string “http://www.efgf.com” is recognized and the “site browsing” in the “designated list” is tapped by the user, the terminal control unit 17d “ Then, an “execution instruction for controlling the display of the website having the URL“ http://www.efgf.com ”to be executed” is transmitted.

そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図6の(D)に示すように、「http://www.efgf.com」をURLの入力欄に設定する。なお、図には示さないが、アプリケーション群21のブラウザは、URLの入力欄に設定されたウェブサイトに自動的にアクセスする。   Then, under the control of the OS of the user terminal 20 that has received the execution instruction, the browser of the application group 21 inputs “http://www.efgf.com” as shown in (D) of FIG. Set in the column. Although not shown in the figure, the browsers of the application group 21 automatically access the website set in the URL input field.

あるいは、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「サイト検索」が利用者により押下された場合、『アプリケーション群21のブラウザにて、検索サイト「http://www.abcd.com」にて、「発明」をクエリーとするサイト検索が実行されるように制御するための実行指示』を送信する。   Alternatively, when the character string “invention” is recognized and the “site search” in the “designated list” is pressed by the user, the terminal control unit 17d reads “Search site“ http: // /Www.abcd.com ”is transmitted an“ execution instruction for controlling the site search using “invention” as a query ”.

そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図7の(A)に示すように、検索サイト「http://www.abcd.com」のキーワード入力欄に「発明」を設定して、ウェブサイトの検索を実行する。そして、アプリケーション群21のブラウザは、図7の(B)に示すように、ウェブサイトの検索結果を表示する。   Then, the browser of the application group 21 controls the keyword of the search site “http://www.abcd.com” as shown in FIG. Set "invention" in the input field and execute a search for a website. Then, the browser of the application group 21 displays the search result of the website as shown in FIG.

あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「メール検索」が利用者により押下された場合、『アプリケーション群21の電子メールアプリケーションにて、「C山D男」の電子メールアドレス検索が実行されるように制御するための実行指示』を送信する。   Alternatively, the terminal control unit 17d recognizes that the character string “C mountain D male” is recognized and “mail search” in the “specified list” is pressed by the user, “in the email application of the application group 21,“ "Execution instruction for controlling so that an e-mail address search for" C mountain D man "is executed".

そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図7の(C)に示すように、「C山D男」のメールアドレスを検索して、検索結果「CDCD@cde.com」を表示する。   Then, under the control of the OS of the user terminal 20 that has received the execution instruction, the e-mail application of the application group 21 searches for the e-mail address of “C mountain D man” as shown in FIG. The search result “CDCD@cde.com” is displayed.

あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「番号検索」が利用者により押下された場合、『アプリケーション群21の電話アプリケーションにて、「C山D男」の電子番号検索が実行されるように制御するための実行指示』を送信する。   Alternatively, when the character string “C mountain D male” is recognized and “number search” in the “specified list” is pressed by the user, the terminal control unit 17d reads “C An “execution instruction for controlling so that the electronic number search for“ mountain D man ”is executed” is transmitted.

そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図7の(D)に示すように、「C山D男」のメールアドレスを検索して、検索結果「090−xxxx−zzzz」を表示する。   Then, under the control of the OS of the user terminal 20 that has received the execution instruction, the telephone application of the application group 21 searches for the mail address of “C mountain D man” as shown in FIG. The search result “090-xxxx-zzzz” is displayed.

なお、上記では、アプリケーション群21による処理結果が、利用者端末20にて表示される場合について説明したが、本発明はこれに限定されるものではなく、アプリケーション群21による処理結果を受信した情報入力装置10の表示部12にて表示される場合であってもよい。   In the above description, the case where the processing result by the application group 21 is displayed on the user terminal 20 has been described. However, the present invention is not limited to this, and information on the processing result by the application group 21 is received. It may be displayed on the display unit 12 of the input device 10.

続いて、図8および図9を用いて実施例1における情報入力装置10および利用者端末20の処理の手順について説明する。図8は、実施例1における情報入力装置の処理を説明するためのフローチャートであり、図9は、実施例1における利用者端末の処理を説明するためのフローチャートである。   Subsequently, a processing procedure of the information input device 10 and the user terminal 20 in the first embodiment will be described with reference to FIGS. 8 and 9. FIG. 8 is a flowchart for explaining the processing of the information input device in the first embodiment, and FIG. 9 is a flowchart for explaining the processing of the user terminal in the first embodiment.

図8に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS101肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS102)。   As illustrated in FIG. 8, the information input device 10 according to the present exemplary embodiment receives a shooting instruction when a user places a document on the shooting unit 13 and presses a shooting start button (Yes in step S101). ), The captured image generation unit 17a generates a captured image from the captured data of the document captured by the capturing unit 13 (step S102).

そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS103)、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行する(ステップS104)。   The display control unit 17b controls the captured image to be displayed on the monitor of the display unit 12 (step S103), and the information recognition unit 17c specifies the display range displayed on the monitor or the designation designated by the user. Character string recognition processing is executed within the range (step S104).

そののち、表示制御部17bは、指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御し(ステップS105)、端末制御部17dは、利用者により処理内容が指定されたか否かを判定する(ステップS106)。   After that, the display control unit 17b controls to display the specified list as a touch panel on the monitor of the display unit 12 (step S105), and the terminal control unit 17d determines whether or not the processing content is specified by the user. Determination is made (step S106).

端末制御部17dは、利用者により処理内容が指定されない場合(ステップS106否定)、処理内容を受け付けるまで待機する。   If the processing content is not specified by the user (No at Step S106), the terminal control unit 17d stands by until the processing content is accepted.

一方、利用者により処理内容が指定された場合(ステップS106肯定)、端末制御部17dは、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS107)、処理を終了する。   On the other hand, when the processing content is designated by the user (Yes at Step S106), the terminal control unit 17d performs processing using the recognized character string in the application corresponding to the processing content via the communication unit 14. An execution instruction for controlling to be executed is transmitted to the user terminal 20 (step S107), and the process ends.

次に、利用者端末20の処理について説明する。図9に示すように、実施例1における利用者端末20は、情報入力装置10から実行指示を受け付けると(ステップS201肯定)、利用者端末20のOSは、アプリケーション群21のうち、実行指示にて指定されたアプリケーションを起動させる(ステップS202)。   Next, processing of the user terminal 20 will be described. As illustrated in FIG. 9, when the user terminal 20 in the first embodiment receives an execution instruction from the information input device 10 (Yes in step S <b> 201), the OS of the user terminal 20 responds to the execution instruction in the application group 21. The designated application is started (step S202).

そして、利用者端末20のOSは、起動したアプリケーションにて、実行指示により受信した文字列を用いた処理を実行するように制御し(ステップS203)、そののち、処理結果を表示するように制御し(ステップS204)、処理を終了する。なお、利用者端末20は、処理結果を自身が有するモニタにて表示するが、上述したように、処理結果は、情報入力装置10の表示部12にて表示される場合であってもよい。   Then, the OS of the user terminal 20 controls the activated application to execute the process using the character string received by the execution instruction (step S203), and then controls to display the process result. (Step S204), and the process ends. The user terminal 20 displays the processing result on the monitor that the user terminal 20 has, but as described above, the processing result may be displayed on the display unit 12 of the information input device 10.

上述してきたように、実施例1では、撮影部13に対して文書を配置した利用者から撮影指示を受け付けると、撮影画像生成部17aは、撮影部13が撮影した文書の撮影画像を生成し、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御する。そして、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行し、表示制御部17bは、利用者が所望する処理を指定するための指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御する。端末制御部17dは、利用者により処理内容が指定された場合、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信する。   As described above, in the first embodiment, when a shooting instruction is received from a user who has placed a document on the shooting unit 13, the shot image generation unit 17a generates a shot image of the document shot by the shooting unit 13. The display control unit 17b performs control so that the captured image is displayed on the monitor of the display unit 12. The information recognition unit 17c executes a character string recognition process within the display range displayed on the monitor or the designated range designated by the user, and the display control unit 17b designates a process desired by the user. Is controlled to be displayed on the monitor of the display unit 12 as a touch panel. When the processing content is designated by the user, the terminal control unit 17d performs control so that processing using the recognized character string is executed by the application corresponding to the processing content via the communication unit 14. An execution instruction is transmitted to the user terminal 20.

したがって、利用者は、自身が入力したい情報が記載されている任意の情報源から所望の情報を自動的に入力することができ、上記した主たる特徴の通り、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。   Therefore, the user can automatically input desired information from an arbitrary information source in which the information he / she wants to input is described, and the information desired by the user can be obtained from a wide range of information as described above. By reading from the source, it is possible to reduce the labor required for inputting information by the user.

また、文字認識の範囲を指定することができるので、文字認識処理の正確性を保証することができ、利用者の情報入力にかかる労力をさらに低減することが可能となる。また、情報入力だけでなく、入力された情報に基づく処理を自動的に利用者端末20にて実行させることができ、利用者の操作指示入力にかかる労力を低減することが可能となる。   Moreover, since the range of character recognition can be designated, the accuracy of character recognition processing can be ensured, and the labor required for user information input can be further reduced. Further, not only information input but also processing based on the input information can be automatically executed by the user terminal 20, and it is possible to reduce the labor required for the user's operation instruction input.

上述した実施例1では、利用者端末20にて実行される処理が利用者によって指定される場合について説明したが、実施例2では、利用者端末20にて実行される処理が情報入力装置10によって特定される場合について説明する。   In the first embodiment described above, the case where the process executed by the user terminal 20 is specified by the user has been described. However, in the second embodiment, the process executed by the user terminal 20 is performed by the information input device 10. The case specified by will be described.

実施例2における情報入力装置10は、図2を用いて説明した実施例1における情報入力装置10と同様の構成となるが、情報認識部17cが実行する処理内容が実施例1と異なる。以下、これを中心に説明する。   The information input device 10 in the second embodiment has the same configuration as the information input device 10 in the first embodiment described with reference to FIG. 2, but the processing content executed by the information recognition unit 17 c is different from that in the first embodiment. Hereinafter, this will be mainly described.

実施例2における情報認識部17cは、認識した文字列に含まれる情報に応じて、利用者が所望する処理を実行するためのアプリケーションを特定する。例えば、実施例2における情報認識部17cは、文字列に含まれる特徴的な情報に応じて、認識した文字列が電話番号であるか否か、電子メールアドレスであるか否か、URLであるか否かなどを解析して、解析結果と連携するアプリケーションを特定する。   The information recognition unit 17c according to the second embodiment identifies an application for executing a process desired by the user according to information included in the recognized character string. For example, the information recognition unit 17c in the second embodiment is a URL indicating whether the recognized character string is a telephone number, an e-mail address, or the like according to characteristic information included in the character string. Analyzing whether or not, etc., and specifying the application linked with the analysis result.

例えば、情報認識部17cは、図10の(A)に示すように、文字認識により「090−xxxx−yyyy」を文字列として認識した場合、連続する数字の桁数およびハイフンの位置から、「090−xxxx−yyyy」が電話番号であり、連携するアプリケーションが電話アプリケーションであると特定する。   For example, as illustrated in FIG. 10A, when the information recognition unit 17 c recognizes “090-xxxx-yyyy” as a character string by character recognition, the information recognition unit 17 c determines from the number of consecutive digits and the position of a hyphen. “090-xxxx-yyyy” is a telephone number, and specifies that the linked application is a telephone application.

また、情報認識部17cは、図10の(B)に示すように、文字認識により「ABAB@cde.com」を文字列として認識した場合、アットマークが含まれることから「ABAB@cde.com」が電子メールアドレスであり、連携するアプリケーションが電子メールアプリケーションであると特定する。   Further, as shown in FIG. 10B, when the information recognition unit 17c recognizes “ABAB@cde.com” as a character string by character recognition, the information recognition unit 17c includes “ATAB@cde.com”. "Is an e-mail address, and the cooperating application is specified as an e-mail application.

また、情報認識部17cは、図10の(C)に示すように、文字認識により「http://www.efgf.com」を文字列として認識した場合、「http」や「www」などが含まれることから「http://www.efgf.com」がURLであり、連携するアプリケーションがブラウザであると特定する。   Further, as shown in FIG. 10C, when the information recognition unit 17c recognizes “http://www.efgf.com” as a character string by character recognition, “http”, “www”, etc. Since it is included, “http://www.efgf.com” is a URL, and the linked application is specified as a browser.

そして、情報認識部17cは、認識した文字列および特定したアプリケーションを認識結果記憶部16bに格納し、端末制御部17dは、認識結果記憶部16bから特定されたアプリケーションおよび文字列を読み出して、通信部14を介して、実行指示を利用者端末20に送信する。   Then, the information recognition unit 17c stores the recognized character string and the identified application in the recognition result storage unit 16b, and the terminal control unit 17d reads the identified application and character string from the recognition result storage unit 16b to perform communication. An execution instruction is transmitted to the user terminal 20 via the unit 14.

続いて、図11を用いて実施例1における情報入力装置10の処理の手順について説明する。図11は、実施例2における情報入力装置の処理を説明するためのフローチャートである。なお、実施例2における利用者端末20の処理は、図9を用いて説明した実施例1における利用者端末20の処理と同様であるので、説明を省略する。   Next, a processing procedure of the information input device 10 according to the first embodiment will be described with reference to FIG. FIG. 11 is a flowchart for explaining processing of the information input device according to the second embodiment. In addition, since the process of the user terminal 20 in Example 2 is the same as the process of the user terminal 20 in Example 1 demonstrated using FIG. 9, description is abbreviate | omitted.

図11に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS301肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS302)。   As illustrated in FIG. 11, the information input device 10 according to the present exemplary embodiment receives a shooting instruction when a user places a document on the shooting unit 13 and presses a shooting start button (Yes in step S301). The captured image generation unit 17a generates a captured image from the captured data of the document captured by the capturing unit 13 (step S302).

そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS303)、情報認識部17cは、表示範囲または指定範囲にて文字列認識処理を実行する(ステップS304)。   Then, the display control unit 17b controls to display the captured image on the monitor of the display unit 12 (step S303), and the information recognition unit 17c executes a character string recognition process within the display range or the specified range ( Step S304).

そののち、情報認識部17cは、認識した文字列を解析して、解析結果と連携するアプリケーションを特定し(ステップS305)、端末制御部17dは、通信部14を介して、特定したアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS306)、処理を終了する。   After that, the information recognizing unit 17c analyzes the recognized character string, specifies an application that cooperates with the analysis result (step S305), and the terminal control unit 17d uses the specified application via the communication unit 14. Then, an execution instruction for controlling the process using the recognized character string to be executed is transmitted to the user terminal 20 (step S306), and the process ends.

なお、ステップS305において、情報認識部17cによりアプリケーションが特定されなかった場合は、実施例1と同様に、表示制御部17bが指定一覧を表示するように制御することで、利用者により処理の指定が行なわれてもよい。   In step S305, if the application is not specified by the information recognition unit 17c, the display control unit 17b controls the display to display the specified list as in the first embodiment, so that the user can specify the process. May be performed.

上述してきたように、実施例2では、利用者が所望する処理および利用者が所望する処理を実行可能なアプリケーションを自動的に特定するので、利用者の情報入力にかかる労力をより低減することが可能となる。   As described above, in the second embodiment, the process desired by the user and the application capable of executing the process desired by the user are automatically specified, so that the labor required for inputting information by the user can be further reduced. Is possible.

なお、上記した実施例1および2では、情報入力装置10において、文字列を認識する場合について説明したが、本発明はこれに限定されるものではなく、利用者端末20において文字列を認識する場合であってもよい。これについて、図12を用いて説明する。なお、図12は、変形例について説明するための図である。   In the first and second embodiments, the case where the information input device 10 recognizes a character string has been described. However, the present invention is not limited to this, and the user terminal 20 recognizes a character string. It may be the case. This will be described with reference to FIG. In addition, FIG. 12 is a figure for demonstrating a modification.

すなわち、変形例における情報入力装置10は、図12に示すように、表示範囲または指定範囲の撮影画像を利用者端末20に送信し、利用者端末20は、自身が有する情報認識部を用いて、受信した撮影画像から文字列を認識する。これによっても、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。   That is, as shown in FIG. 12, the information input device 10 in the modified example transmits a captured image of a display range or a specified range to the user terminal 20, and the user terminal 20 uses the information recognition unit that the user terminal 20 has. The character string is recognized from the received photographed image. This also makes it possible to reduce the labor required for the user to input information by reading information desired by the user from a wide range of information sources.

また、本発明は、情報入力装置10の撮影対象が、手書きメモである場合であっても適用可能である。さらに、本発明は、情報入力装置10の撮影対象が、上述したような紙媒体でなく、利用者端末20のモニタや、他の端末装置のモニタにて表示されている画面である場合であっても適用可能である。   Further, the present invention can be applied even when the photographing target of the information input device 10 is a handwritten memo. Furthermore, the present invention is a case where the subject to be photographed by the information input device 10 is not a paper medium as described above but a screen displayed on the monitor of the user terminal 20 or the monitor of another terminal device. Is applicable.

また、本発明は、情報認識部17cにバーコード読み取り機能や電子透かし読み取り機能をさらに付加して、一次元バーコードやQRコードなどの二次元バーコードや画像に埋め込まれた電子すかしの情報を読み取ることによって認識された文字列を用いて上述した情報入力処理を実行する場合であってもよい。   In the present invention, a barcode reading function and a digital watermark reading function are further added to the information recognizing unit 17c, and two-dimensional barcodes such as a one-dimensional barcode and a QR code, and electronic watermark information embedded in an image. The above-described information input process may be executed using a character string recognized by reading.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。   Each component of each illustrated device is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

なお、本実施例で説明した情報入力方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。   The information input method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program can be distributed via a network such as the Internet. The program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD and being read from the recording medium by the computer.

以上のように、本発明に係る情報入力装置および情報入力方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する場合に有用であり、特に、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することに適する。   As described above, the information input device and the information input method according to the present invention are useful when executing input processing of information desired by the user in cooperation with the user terminal operated by the user. In particular, it is suitable for reducing labor required for information input by the user by reading information desired by the user from a wide range of information sources.

10 情報入力装置
11 入力部
12 表示部
13 撮影部
14 通信部
15 入出力制御I/F部
16 記憶部
16a 撮影画像記憶部
16b 認識結果記憶部
17 制御部
17a 撮影画像生成部
17b 表示制御部
17c 情報認識部
17d 端末制御部
20 利用者端末
21 アプリケーション群
DESCRIPTION OF SYMBOLS 10 Information input device 11 Input part 12 Display part 13 Image | photographing part 14 Communication part 15 Input / output control I / F part 16 Storage part 16a Captured image storage part 16b Recognition result storage part 17 Control part 17a Captured image generation part 17b Display control part 17c Information recognition unit 17d Terminal control unit 20 User terminal 21 Application group

Claims (5)

利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置であって、
前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、
前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、
前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、
を備えたことを特徴とする情報入力装置。
In cooperation with a user terminal operated by a user, an information input device that executes input processing of information desired by the user,
Photographing means for photographing a document placed by the user and generating a photographed image;
Display control means for controlling to display the photographed image generated by the photographing means on a predetermined display unit;
Based on the control of the display control means, the character string drawn in the captured image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the character string is recognized. Terminal control means for transmitting an execution instruction for controlling the processing using the character string to be executed by an application desired by the user, to the user terminal;
An information input device comprising:
前記表示制御手段は、前記利用者が所望する処理を指定するための指定画面を前記所定の表示部に表示するように制御し、
前記端末制御手段は、前記表示制御手段の制御に基づいて前記所定の表示部に表示された前記指定画面を参照した前記利用者によって指定された処理に該当するアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。
The display control means controls to display a designation screen for designating a process desired by the user on the predetermined display unit,
The terminal control unit is configured to recognize the recognized character in an application corresponding to a process designated by the user with reference to the designation screen displayed on the predetermined display unit based on the control of the display control unit. The information input device according to claim 1, wherein an execution instruction for controlling to execute processing using a column is transmitted.
前記文字認識機能が認識した文字列に含まれる情報に応じて、前記利用者が所望する処理を実行するためのアプリケーションを特定する特定手段をさらに備え、
前記端末制御手段は、前記特定手段によって特定されたアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。
According to the information included in the character string recognized by the character recognition function, further comprising a specifying means for specifying an application for executing the process desired by the user,
The terminal control unit transmits an execution instruction for controlling the application specified by the specifying unit to execute processing using the recognized character string. The information input device described in 1.
前記文字認識機能は、前記所定の表示部に表示された前記撮影画像において前記利用者が指定した範囲に描出されている文字列を認識することを特徴とする請求項2または3に記載の情報入力装置。   The information according to claim 2, wherein the character recognition function recognizes a character string drawn in a range designated by the user in the captured image displayed on the predetermined display unit. Input device. 利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置に適用される情報入力方法であって、
前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、
前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、
前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、
を含んだことを特徴とする情報入力方法。
An information input method applied to an information input device that executes input processing of information desired by the user in cooperation with a user terminal operated by the user,
A shooting step of shooting a document placed by the user and generating a shot image;
A display control step for controlling the photographed image generated by the photographing step to be displayed on a predetermined display unit;
Based on the control of the display control step, the character string drawn in the captured image displayed on the predetermined display unit is recognized by the character recognition function of the own device or the user terminal, and the recognition is performed. A terminal control step of transmitting an execution instruction for controlling the processing using the character string to be executed in an application desired by the user;
The information input method characterized by including.
JP2009090523A 2009-04-02 2009-04-02 Information input device and information input method Pending JP2010244211A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009090523A JP2010244211A (en) 2009-04-02 2009-04-02 Information input device and information input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009090523A JP2010244211A (en) 2009-04-02 2009-04-02 Information input device and information input method

Publications (1)

Publication Number Publication Date
JP2010244211A true JP2010244211A (en) 2010-10-28

Family

ID=43097183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009090523A Pending JP2010244211A (en) 2009-04-02 2009-04-02 Information input device and information input method

Country Status (1)

Country Link
JP (1) JP2010244211A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013038872A1 (en) * 2011-09-16 2013-03-21 Necカシオモバイルコミュニケーションズ株式会社 Image processing apparatus, image processing method, and image processing program
JP2015522877A (en) * 2012-06-07 2015-08-06 アマゾン・テクノロジーズ、インコーポレイテッド Adaptive threshold processing for image recognition.
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
JP2018142286A (en) * 2017-02-28 2018-09-13 シナノケンシ株式会社 Program for making electronic book

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254989A (en) * 1997-03-11 1998-09-25 Casio Comput Co Ltd System and method for processing image
JPH11167532A (en) * 1997-12-02 1999-06-22 Canon Inc System, device, and method for data processing and recording medium
JP2000222522A (en) * 1999-02-04 2000-08-11 Matsushita Electric Ind Co Ltd Recognition and processing device
JP2002152696A (en) * 2000-11-10 2002-05-24 Hitachi Ltd Portable terminal
WO2004015619A1 (en) * 2002-08-07 2004-02-19 Matsushita Electric Industrial Co., Ltd. Character recognition processing device, character recognition processing method, and mobile terminal device
WO2004109587A1 (en) * 2003-06-02 2004-12-16 Sharp Kabushiki Kaisha Portable information terminal
JP2005038431A (en) * 2004-07-20 2005-02-10 Hitachi Ltd Portable terminal and communication system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254989A (en) * 1997-03-11 1998-09-25 Casio Comput Co Ltd System and method for processing image
JPH11167532A (en) * 1997-12-02 1999-06-22 Canon Inc System, device, and method for data processing and recording medium
JP2000222522A (en) * 1999-02-04 2000-08-11 Matsushita Electric Ind Co Ltd Recognition and processing device
JP2002152696A (en) * 2000-11-10 2002-05-24 Hitachi Ltd Portable terminal
WO2004015619A1 (en) * 2002-08-07 2004-02-19 Matsushita Electric Industrial Co., Ltd. Character recognition processing device, character recognition processing method, and mobile terminal device
WO2004109587A1 (en) * 2003-06-02 2004-12-16 Sharp Kabushiki Kaisha Portable information terminal
JP2005038431A (en) * 2004-07-20 2005-02-10 Hitachi Ltd Portable terminal and communication system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013038872A1 (en) * 2011-09-16 2013-03-21 Necカシオモバイルコミュニケーションズ株式会社 Image processing apparatus, image processing method, and image processing program
US9396405B2 (en) 2011-09-16 2016-07-19 Nec Corporation Image processing apparatus, image processing method, and image processing program
JP2015522877A (en) * 2012-06-07 2015-08-06 アマゾン・テクノロジーズ、インコーポレイテッド Adaptive threshold processing for image recognition.
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
JP2018142286A (en) * 2017-02-28 2018-09-13 シナノケンシ株式会社 Program for making electronic book

Similar Documents

Publication Publication Date Title
US9268987B2 (en) Method of recognizing QR code in image data and apparatus and method for converting QR code in content data into touchable object
JP2002366941A (en) Palm office assistant
KR20120087213A (en) System and method for delivering informaiton using image code
US9749322B2 (en) Information sharing system and information sharing method
JP2009070240A (en) System and method for obtaining document data from document management server
JP2012133586A (en) Display device, screen image transfer method and program
KR100996037B1 (en) Apparatus and method for providing hyperlink information in mobile communication terminal which can connect with wireless-internet
JP2010244211A (en) Information input device and information input method
JP2007172471A (en) Scanner driver and control method for scanner driver
CN105607877A (en) Information processing apparatus, and printing method
JP5991323B2 (en) Image processing apparatus, image processing method, and image processing program
JP2010244210A (en) Device and method for creation of electronic mail
JP6039387B2 (en) Display device
JP2009088876A (en) Information processing system
US20140029787A1 (en) Data transmission device, method for adding copyright notice, and program
JP7251102B2 (en) Display device, reader, information reading system, information reading method, and program
JP2013539100A (en) Method and apparatus for integrating document information
JP2012029127A (en) Service provision system and server
JP2009218793A (en) Image processing unit
JP2007282100A (en) Image processing system and image processing method
US20130047102A1 (en) Method for browsing and/or executing instructions via information-correlated and instruction-correlated image and program product
JP2009151617A (en) Code generation program, game machine, server, and information providing system
JP2009099087A (en) Content generation device, information display device and computer program
JP2010226235A (en) Content sharing system, imaging apparatus, television set, content sharing method, and program
US20120079051A1 (en) System and method of storing and retrieving associated information with a digital image

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130611