JP2011204189A - Document-processing method and document-processing system - Google Patents

Document-processing method and document-processing system Download PDF

Info

Publication number
JP2011204189A
JP2011204189A JP2010073469A JP2010073469A JP2011204189A JP 2011204189 A JP2011204189 A JP 2011204189A JP 2010073469 A JP2010073469 A JP 2010073469A JP 2010073469 A JP2010073469 A JP 2010073469A JP 2011204189 A JP2011204189 A JP 2011204189A
Authority
JP
Japan
Prior art keywords
information
unit
display
acquisition
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010073469A
Other languages
Japanese (ja)
Other versions
JP5554109B2 (en
Inventor
Masaru Sanada
勝 真田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010073469A priority Critical patent/JP5554109B2/en
Publication of JP2011204189A publication Critical patent/JP2011204189A/en
Application granted granted Critical
Publication of JP5554109B2 publication Critical patent/JP5554109B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To associate and display documents of paper medium with new information that is described in the documents of the paper medium.SOLUTION: A pickup image generating section 18a generates a pickup image photographed of the documents of paper medium, and a division section 18b divides the pickup image into a plurality of regions. An information determining section 18c determines whether each of the plurality of regions contains acquisition information for acquiring new information, and a display control section 18d controls to display the pickup image on a display section 12. An optical sensor of the display section 12 specifies the position of visible light emitted from a remote controller 20 on the display section 12, and a specification section 18e specifies a region that corresponds to the position of the visible light on the display section 12 from a plurality of regions. An acquisition section 18f acquires new information based on the acquired information from a web server group 40, when the specified region includes the acquired information, and the display control section 18d controls to display the new information (web pages), further.

Description

この発明は、文書処理方法および文書処理システムに関する。   The present invention relates to a document processing method and a document processing system.

従来、紙媒体の情報からインターネット上のウェブサイトなどにアクセスする技術やサービスの開発が進められている。   2. Description of the Related Art Conventionally, development of technologies and services for accessing websites on the Internet from information on paper media has been underway.

かかる技術を搭載した装置としては、例えば、カメラにより紙媒体に印刷されているバーコードを撮影して当該バーコードに組み込まれているURL(Uniform Resource Locator)の情報を読み取り、読み取ったURLに自動的にアクセス可能な携帯電話が知られている(例えば、非特許文献1参照)。   As an apparatus equipped with such a technology, for example, a barcode printed on a paper medium is photographed by a camera, and information on a URL (Uniform Resource Locator) embedded in the barcode is read. Mobile phones that can be accessed in a known manner are known (for example, see Non-Patent Document 1).

“バーコード読取機能とは”、[online]、[平成22年3月23日検索]、インターネット<http://www.nttdocomo.co.jp/service/func_tool/barcode/about/index.html>“What is barcode reading function”, [online], [Search on March 23, 2010], Internet <http://www.nttdocomo.co.jp/service/func_tool/barcode/about/index.html>

ところで、上記した従来の技術は、バーコードで示されるURLに単にアクセスし、アクセスしたURLのウェブページを表示するに過ぎず、紙媒体の文書と当該紙媒体の文書に記載されている新規の情報とを関連付けて表示することはできなかった。   By the way, the above-described conventional technique merely accesses the URL indicated by the barcode and displays the web page of the accessed URL. The new technique described in the paper medium document and the paper medium document is used. Information could not be displayed in association with information.

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、紙媒体の文書と当該紙媒体の文書に記載されている新規の情報とを関連付けて表示することが可能となる文書処理方法および文書処理システムを提供することを目的とする。   Accordingly, the present invention has been made to solve the above-described problems of the prior art, and can display a paper medium document in association with new information described in the paper medium document. An object of the present invention is to provide a document processing method and a document processing system.

上述した課題を解決し、目的を達成するために、この方法は、利用者が配置した文書を撮影した画像を生成する撮影ステップと、前記撮影ステップにより生成された前記画像を複数の領域に分割する分割ステップと、前記分割ステップにより分割された前記複数の領域それぞれに新規の情報を取得するための取得情報が含まれるか否かを判定する判定ステップと、前記撮影ステップにより生成された前記画像を所定の表示部に表示させるように制御する表示制御ステップと、前記表示制御ステップの制御により前記画像が前記所定の表示部に表示された状態で、当該所定の表示部に対して光送信装置から送信された光を検知する検知ステップと、前記検知ステップが検知した前記光の位置を取得し、当該取得した位置に対応する領域を前記分割ステップにより分割された前記複数の領域から特定する特定ステップと、前記特定ステップにより特定された領域に前記取得情報が含まれていると前記判定ステップにより判定されている場合、当該取得情報に基づく新規の情報を情報提供装置から取得する取得ステップと、前記取得ステップにより取得された前記取得情報に基づく新規の情報を前記所定の表示部にてさらに表示するように制御する第二の表示制御ステップと、を含んだことを要件とする。   In order to solve the above-described problems and achieve the object, this method includes a shooting step for generating an image of a document placed by a user, and the image generated by the shooting step is divided into a plurality of regions. A dividing step, a determining step for determining whether each of the plurality of regions divided by the dividing step includes acquisition information for acquiring new information, and the image generated by the photographing step A display control step for controlling the display unit to display the image on the predetermined display unit, and an optical transmission device for the predetermined display unit in a state where the image is displayed on the predetermined display unit by the control of the display control step. A detection step for detecting light transmitted from the light source, a position of the light detected by the detection step, and an area corresponding to the acquired position A step of specifying from the plurality of regions divided by the step, and a new step based on the acquired information when the determination step determines that the acquired information is included in the region specified by the specifying step An acquisition step of acquiring the information from the information providing device, and a second display control step of controlling the new display based on the acquired information acquired in the acquiring step to be further displayed on the predetermined display unit; It is a requirement to include

また、このシステムは、文書処理を行なう文書処理装置と、光を送信する光送信装置と、情報を提供する情報提供装置とを含む文書処理システムであって、前記文書処理装置は、利用者が配置した文書を撮影した画像を生成する撮影手段と、前記撮影手段により生成された前記画像を複数の領域に分割する分割手段と、前記分割手段により分割された前記複数の領域それぞれに新規の情報を取得するための取得情報が含まれるか否かを判定する判定手段と、前記撮影手段により生成された前記画像を所定の表示部に表示させるように制御する表示制御手段と、前記表示制御手段の制御により前記画像が前記所定の表示部に表示された状態で、当該所定の表示部に対して前記光送信装置から送信された光を検知する検知手段と、前記検知手段が検知した前記光の位置を取得し、当該取得した位置に対応する領域を前記分割手段により分割された前記複数の領域から特定する特定手段と、前記特定手段により特定された領域に前記取得情報が含まれていると前記判定手段により判定されている場合、当該取得情報に基づく新規の情報を前記情報提供装置から取得する取得手段と、前記取得手段により取得された前記取得情報に基づく新規の情報を前記所定の表示部にて表示するように制御する第二の表示制御手段と、を備えたことを要件とする。   In addition, this system is a document processing system including a document processing device that performs document processing, an optical transmission device that transmits light, and an information provision device that provides information. Image capturing means for generating an image obtained by capturing the arranged document, dividing means for dividing the image generated by the image capturing means into a plurality of areas, and new information for each of the plurality of areas divided by the dividing means Determination means for determining whether or not acquisition information for acquiring the image is included, display control means for controlling the image generated by the photographing means to be displayed on a predetermined display unit, and the display control means Detecting means for detecting light transmitted from the optical transmission device to the predetermined display section in a state where the image is displayed on the predetermined display section by the control of Acquired in the area specified by the specifying means, a specifying means for acquiring the known position of the light and specifying an area corresponding to the acquired position from the plurality of areas divided by the dividing means; If it is determined by the determination means that it is included, the acquisition means for acquiring new information based on the acquisition information from the information providing apparatus; and the new information based on the acquisition information acquired by the acquisition means And a second display control means for controlling the display so as to be displayed on the predetermined display section.

開示の方法およびシステムによれば、紙媒体の文書と当該紙媒体の文書に記載されている新規の情報とを関連付けて表示することが可能となる。   According to the disclosed method and system, a paper medium document and new information described in the paper medium document can be displayed in association with each other.

図1は、本実施例に係る文書処理システムの構成を説明するための図である。FIG. 1 is a diagram for explaining the configuration of the document processing system according to the present embodiment. 図2は、本実施例に係るリモコンの外観例を説明するための図である。FIG. 2 is a diagram for explaining an appearance example of the remote controller according to the present embodiment. 図3は、本実施例に係る文書処理装置の外観例を説明するための図である。FIG. 3 is a diagram for explaining an example of the appearance of the document processing apparatus according to the present embodiment. 図4は、本実施例に係る文書処理装置の構成を説明するための図である。FIG. 4 is a diagram for explaining the configuration of the document processing apparatus according to the present embodiment. 図5は、分割部および特定部を説明するための図である。FIG. 5 is a diagram for explaining the dividing unit and the specifying unit. 図6は、表示制御部により表示される撮影画像の一例を説明するための図である。FIG. 6 is a diagram for explaining an example of a captured image displayed by the display control unit. 図7は、受領者から照射される可視光の一例を説明するための図である。FIG. 7 is a diagram for explaining an example of visible light emitted from the recipient. 図8は、特定部を説明するための図である。FIG. 8 is a diagram for explaining the specifying unit. 図9は、表示制御部により表示されるウェブページの一例を説明するための図である。FIG. 9 is a diagram for explaining an example of a web page displayed by the display control unit. 図10は、取得処理指示による情報判定部、取得部および表示制御部の処理を説明するための図である。FIG. 10 is a diagram for explaining processing of the information determination unit, the acquisition unit, and the display control unit according to the acquisition processing instruction. 図11は、本実施例に係る文書処理装置の処理を説明するためのフローチャートである。FIG. 11 is a flowchart for explaining processing of the document processing apparatus according to the present embodiment.

以下に添付図面を参照して、この発明に係る文書処理方法および文書処理システムの実施例を詳細に説明する。なお、以下では、本発明に係る文書処理方法を実行する文書処理システムを実施例として説明する。   Exemplary embodiments of a document processing method and a document processing system according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, a document processing system that executes the document processing method according to the present invention will be described as an embodiment.

まず、図1を用いて、本実施例に係る文書処理システムの構成について説明する。図1は、本実施例に係る文書処理システムの構成を説明するための図である。   First, the configuration of the document processing system according to the present embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining the configuration of the document processing system according to the present embodiment.

本実施例に係る文書処理システムは、図1に示すように、発送者が発送した紙媒体の文書(例えば、葉書やダイレクトメールなど)に対して処理を行なう文書処理装置10と、可視光を送信するリモコン20とを含む。さらに、本実施例に係る文書処理システムは、図1に示すように、文書処理装置10とネットワーク30を介して接続されるウェブサーバ群40を含む。なお、図1に示す文書処理装置10およびリモコン20は、紙媒体の文書を受領した受領者が操作する装置である。   As shown in FIG. 1, the document processing system according to the present embodiment includes a document processing apparatus 10 that processes a paper medium document (for example, a postcard or direct mail) sent by a sender, and visible light. Remote control 20 for transmission. Furthermore, the document processing system according to the present embodiment includes a web server group 40 connected to the document processing apparatus 10 via the network 30 as shown in FIG. The document processing device 10 and the remote controller 20 shown in FIG. 1 are devices operated by a recipient who has received a paper medium document.

また、文書処理装置10は、ネットワーク30を介してウェブサーバ群40に対しウェブページの閲覧要求を送信し、閲覧要求に応じてウェブサーバ群40が送信したデータに基づくウェブページを、文書処理装置10のディスプレイに表示するためのソフトウェア(ブラウザ)が組み込まれている。   Further, the document processing device 10 transmits a web page browsing request to the web server group 40 via the network 30, and the web page based on the data transmitted by the web server group 40 in response to the browsing request is transmitted to the document processing device. Software (browser) for displaying on 10 displays is incorporated.

図2は、本実施例に係るリモコンの外観例を説明するための図である。図2に示すように、リモコン20は、照射口22から可視光を照射するための可視光スイッチ21を有する。リモコン20は、可視光スイッチ21が受領者により押下された場合、照射口22から可視光を照射させる。また、リモコン20は、文書処理装置10にて表示されるウェブページに関する処理を指示するための各種ボタンを有する。具体的には、リモコン20は、詳細ボタン23(図中に示す「詳細」)および消去ボタン24(図中に示す「消去」)を有する。なお、詳細ボタン23および消去ボタン24については、後に詳述する。   FIG. 2 is a diagram for explaining an appearance example of the remote controller according to the present embodiment. As shown in FIG. 2, the remote controller 20 has a visible light switch 21 for irradiating visible light from the irradiation port 22. The remote controller 20 irradiates visible light from the irradiation port 22 when the visible light switch 21 is pressed by the recipient. The remote controller 20 also has various buttons for instructing processing related to the web page displayed on the document processing apparatus 10. Specifically, the remote controller 20 has a detail button 23 (“detail” shown in the figure) and a delete button 24 (“delete” shown in the figure). The details button 23 and the delete button 24 will be described in detail later.

図3は、本実施例に係る文書処理装置の外観例を説明するための図である。図3に示すように、文書処理装置10は、スキャナー11と、表示部12と、信号受信部13と、スピーカ14と、入力部15と、通信部16とを有する。   FIG. 3 is a diagram for explaining an example of the appearance of the document processing apparatus according to the present embodiment. As illustrated in FIG. 3, the document processing apparatus 10 includes a scanner 11, a display unit 12, a signal receiving unit 13, a speaker 14, an input unit 15, and a communication unit 16.

スキャナー11は、受領者が配置した紙媒体の文書を撮影した撮影画像を生成するために用いられ、文書を読込んで、読込んだ文書をデジタルデータに変換する。   The scanner 11 is used to generate a photographed image obtained by photographing a paper document arranged by a recipient, reads the document, and converts the read document into digital data.

表示部12は、光センサが内蔵された光センサ内臓ディスプレイである。具体的には、表示部12は、ディスプレイ機能により、スキャナー11が変換したデジタルデータから生成された撮影画像を表示する。また、表示部12は、内蔵された光センサにより、リモコン20から照射された可視光を検知する。   The display unit 12 is an optical sensor built-in display in which an optical sensor is incorporated. Specifically, the display unit 12 displays a captured image generated from the digital data converted by the scanner 11 using a display function. Moreover, the display part 12 detects the visible light irradiated from the remote control 20 with the built-in optical sensor.

信号受信部13は、詳細ボタン23および消去ボタン24から送信された情報取得に関する各種取得処理指示を受信する。   The signal receiving unit 13 receives various acquisition processing instructions regarding information acquisition transmitted from the detail button 23 and the delete button 24.

スピーカ14は、音声出力に用いられ、例えば、図3に示すように、文書処理装置10の前面において2箇所設置される。   The speakers 14 are used for sound output, and are installed at two places on the front surface of the document processing apparatus 10 as shown in FIG. 3, for example.

入力部15は、受領者が文書処理装置10の電源ON/OFFや、スキャナー11によるスキャン開始、文書処理装置10による処理終了などを行なうための各種ボタン群を有する。   The input unit 15 includes various buttons for a recipient to turn on / off the document processing apparatus 10, start scanning with the scanner 11, and end processing with the document processing apparatus 10.

通信部16は、ネットワーク30を介して、ウェブサーバ群40に内包される各ウェブサーバとの間で各種情報の送受信を行なう。   The communication unit 16 transmits / receives various information to / from each web server included in the web server group 40 via the network 30.

そして、かかる外観を有する文書処理装置10およびリモコン20は、ウェブサーバ群40と協働することで、紙媒体の文書の受領者に対して、紙媒体の文書と当該紙媒体の文書に記載されている新規の情報とを関連付けて表示することが可能となるように構成されている。以下、文書処理装置10が有する機能について図4などを用いて詳細に説明する。   Then, the document processing apparatus 10 and the remote controller 20 having such an appearance are described in the paper medium document and the paper medium document to the recipient of the paper medium document in cooperation with the web server group 40. The new information can be displayed in association with the new information. Hereinafter, functions of the document processing apparatus 10 will be described in detail with reference to FIG.

図4は、本実施例に係る文書処理装置の構成を説明するための図である。図4に示すように、本実施例に係る文書処理装置10は、上述したスキャナー11、表示部12、信号受信部13、スピーカ14、入力部15および通信部16とともに、記憶部17と制御部18とを有する。   FIG. 4 is a diagram for explaining the configuration of the document processing apparatus according to the present embodiment. As shown in FIG. 4, the document processing apparatus 10 according to the present embodiment includes a storage unit 17 and a control unit together with the scanner 11, the display unit 12, the signal receiving unit 13, the speaker 14, the input unit 15, and the communication unit 16 described above. 18.

記憶部17は、制御部18による各種処理結果を記憶し、図4に示すように、特に本実施例に関連するものとして、画像記憶部17aおよび分割判定結果記憶部17bを有する。   The storage unit 17 stores various processing results obtained by the control unit 18, and includes an image storage unit 17a and a division determination result storage unit 17b as particularly related to the present embodiment, as shown in FIG.

画像記憶部17aは、後述する撮影画像生成部18aによる処理結果を記憶し、分割判定結果記憶部17bは、後述する分割部18bおよび後述する情報判定部18cによる処理結果を記憶するが、これらについては、後に詳述する。   The image storage unit 17a stores a processing result by a captured image generation unit 18a to be described later, and a division determination result storage unit 17b stores a processing result by a division unit 18b to be described later and an information determination unit 18c to be described later. Will be described in detail later.

制御部18は、スキャナー11、表示部12、信号受信部13および通信部16から転送された各種情報に基づいて各種処理を実行し、特に本実施例に関連するものとして、撮影画像生成部18aと、分割部18bと、情報判定部18cと、表示制御部18dと、特定部18eと、取得部18fと、指示判定部18gとを有する。   The control unit 18 executes various processes based on various information transferred from the scanner 11, the display unit 12, the signal receiving unit 13, and the communication unit 16, and particularly as related to the present embodiment, the captured image generation unit 18a. A dividing unit 18b, an information determining unit 18c, a display control unit 18d, a specifying unit 18e, an acquiring unit 18f, and an instruction determining unit 18g.

撮影画像生成部18aは、スキャナー11から転送されたデジタルデータから文書を撮影した画像(撮影画像)を生成し、生成した撮影画像を画像記憶部17aに格納する。   The captured image generation unit 18a generates an image (captured image) obtained by capturing a document from the digital data transferred from the scanner 11, and stores the generated captured image in the image storage unit 17a.

分割部18bは、撮影画像生成部18aにより生成された撮影画像を画像記憶部17aから読み出し、読み出した撮影画像を複数の領域に分割する。ここで、葉書やダイレクトメールなどの文書は、一般的に、写真や、本文、発送者の情報(住所、氏名、電話番号など)などのように、内容に応じて複数の領域に分けることができる。また、文書は、文書の背景色により占められる領域と、当該背景色と異なる色調により占められる領域とに分割することができる。すなわち、文書の背景色により囲まれる領域を特定することで、文書は、当該文書に記載されている内容に応じて複数の領域に分割することができる。   The dividing unit 18b reads the captured image generated by the captured image generating unit 18a from the image storage unit 17a, and divides the read captured image into a plurality of regions. Here, documents such as postcards and direct mail are generally divided into multiple areas depending on the content, such as photos, text, and sender information (address, name, phone number, etc.). it can. The document can be divided into an area occupied by the background color of the document and an area occupied by a color tone different from the background color. That is, by specifying an area surrounded by the background color of the document, the document can be divided into a plurality of areas according to the contents described in the document.

そこで、分割部18bは、撮影画像の背景色を特定し、特定した背景色により囲まれる領域を特定することで、撮影画像に描出されている内容に応じて当該撮影画像を複数の領域に分割する。図5は、分割部および特定部を説明するための図である。   Therefore, the dividing unit 18b identifies the background color of the photographed image, identifies the region surrounded by the identified background color, and divides the photographed image into a plurality of regions according to the contents depicted in the photographed image. To do. FIG. 5 is a diagram for explaining the dividing unit and the specifying unit.

例えば、撮影画像の生成元である文書が、図5の(A)に示すように、「写真」の領域と、「本文1」の領域と、「本文2」の領域と、「発送者情報」の領域との4つの領域により構成されているとする。   For example, as shown in FIG. 5A, the document from which the photographed image is generated includes a “photograph” area, a “text 1” area, a “text 2” area, and “sender information”. ”And four regions.

かかる場合、分割部18bは、撮影画像の背景色を特定し、特定した背景色により囲まれる領域を特定することで、図5の(B)に示すように、「写真」の領域に対応する「領域A」と、「本文1」の領域に対応する「領域B」と、「本文2」の領域に対応する「領域C」と、「発送者情報」の領域に対応する「領域D」とに撮影画像を分割する。   In such a case, the dividing unit 18b identifies the background color of the captured image, and identifies the region surrounded by the identified background color, thereby corresponding to the “photograph” region as shown in FIG. “Area A”, “Area B” corresponding to the “Body 1” area, “Area C” corresponding to the “Body 2” area, and “Area D” corresponding to the “Sender information” area And divide the captured image.

そして、分割部18bは、図5の(B)に示すように、撮影画像における領域Aの位置情報を「位置情報A」として分割判定結果記憶部17bに格納する。同様に、分割部18bは、図5の(B)に示すように、撮影画像における領域Bの位置情報である「位置情報B」と、撮影画像における領域Cの位置情報である「位置情報C」と、撮影画像における領域Dの位置情報である「位置情報D」とをそれぞれ分割判定結果記憶部17bに格納する。   Then, as illustrated in FIG. 5B, the dividing unit 18b stores the position information of the area A in the captured image as “position information A” in the division determination result storage unit 17b. Similarly, as illustrated in FIG. 5B, the dividing unit 18 b performs “position information B” that is position information of the region B in the captured image and “position information C” that is position information of the region C in the captured image. And “position information D”, which is position information of the region D in the captured image, are stored in the division determination result storage unit 17b.

図4に戻って、情報判定部18cは、分割部18bにより分割された複数の領域それぞれに新規の情報を取得するための取得情報が含まれるか否かを判定する。具体的には、情報判定部18cは、電子透かし検出機能により撮影画像の各領域に電子透かしが含まれているか否かを判定する。そして、情報判定部18cは、電子透かしが含まれていると判定した場合、当該電子透かしに組み込まれているURL(Uniform Resource Locator)を新規の情報を取得するための取得情報として抽出する。   Returning to FIG. 4, the information determination unit 18 c determines whether acquisition information for acquiring new information is included in each of the plurality of regions divided by the division unit 18 b. Specifically, the information determination unit 18c determines whether or not a digital watermark is included in each area of the captured image by the digital watermark detection function. If the information determination unit 18c determines that a digital watermark is included, the information determination unit 18c extracts a URL (Uniform Resource Locator) embedded in the digital watermark as acquisition information for acquiring new information.

また、情報判定部18cは、1次元バーコード、またはQRコードの読み取り機能により撮影画像の各領域に1次元バーコードやQRコードが含まれているか否かを判定する。そして、情報判定部18cは、1次元バーコードやQRコードが含まれていると判定した場合、当該1次元バーコードや当該QRコードに組み込まれているURLを取得情報として抽出する。   In addition, the information determination unit 18c determines whether or not a one-dimensional barcode or QR code is included in each region of the captured image by using a one-dimensional barcode or QR code reading function. When the information determination unit 18c determines that a one-dimensional barcode or QR code is included, the information determination unit 18c extracts the URL embedded in the one-dimensional barcode or the QR code as acquisition information.

また、情報判定部18cは、文字列認識機能により撮影画像の各領域に含まれる文字列を認識し、さらに、認識した文字列にURLを示す文字列(例えば、「http://」を含む文字列)が含まれるか否かを判定する。そして、情報判定部18cは、URLが含まれていると判定した場合、当該URLを取得情報として抽出する。   Further, the information determination unit 18c recognizes a character string included in each area of the photographed image by a character string recognition function, and further includes a character string indicating a URL (for example, “http: //”) in the recognized character string. Character string) is included. When the information determination unit 18c determines that a URL is included, the information determination unit 18c extracts the URL as acquisition information.

また、情報判定部18cは、文字列認識機能によりURLが含まれないと判定した場合であっても、例えば、文字列認識機能により認識した文字列を単語に分解し、各単語に対してTF(Term Frequency)法などを用いて重要度を算出し、算出された重要度が最も高い単語を所定の検索用ウェブページにて検索するための検索用キーワードとして抽出する場合であってもよい。かかる場合、情報判定部18cは、検索用キーワードを所定の検索用ウェブページにて検索するためのURLを取得情報として抽出する。   Further, even if the information determination unit 18c determines that the URL is not included by the character string recognition function, for example, the information determination unit 18c decomposes the character string recognized by the character string recognition function into words, and performs TF for each word. The importance may be calculated using a (Term Frequency) method or the like, and the word having the highest calculated importance may be extracted as a search keyword for searching on a predetermined search web page. In such a case, the information determination unit 18c extracts a URL for searching for a search keyword on a predetermined search web page as acquired information.

例えば、撮影画像の生成元である文書において、図5の(A)に示すように、「写真」の領域AにQRコードが埋め込まれ、「本文1」の領域Bに「http://・・」のURLを示す文字列が記載されており、「発送者情報」の領域Dに電子透かしが埋め込まれているとする。   For example, in the document from which the photographed image is generated, as shown in FIG. 5A, a QR code is embedded in the “photograph” area A, and “http: //. A character string indicating “URL” is described, and a digital watermark is embedded in the area D of “sender information”.

かかる場合、情報判定部18cは、領域A(写真)の取得情報(a)としてQRコードに組み込まれているURL1を抽出する。また、情報判定部18cは、領域B(本文1)の取得情報(b)として「http://・・」のURL2を抽出する。また、情報判定部18cは、領域D(発送者情報)の取得情報(d)として電子透かしに組み込まれているURL4を抽出する。また、情報判定部18cは、領域Cにバーコードや電子透かし、URLを示す文字列が含まれていない場合、本文2の文字列から分割した単語群から、図5の(A)に示すように検索用キーワードとして「word1」を抽出する。そして、情報判定部18cは、領域C(本文2)の取得情報(c)として「word1」を所定の検索用ウェブページにて検索するためのURL3を抽出する。   In such a case, the information determination unit 18c extracts URL1 embedded in the QR code as the acquisition information (a) of the area A (photo). Further, the information determination unit 18c extracts the URL 2 of “http: /// ...” as the acquisition information (b) of the region B (text 1). Further, the information determination unit 18c extracts the URL 4 embedded in the digital watermark as the acquisition information (d) of the area D (shipper information). In addition, when the area C does not include a character string indicating a barcode, a digital watermark, or a URL, the information determination unit 18c uses a word group divided from the character string of the body 2 as shown in FIG. “Word1” is extracted as a search keyword. Then, the information determination unit 18c extracts URL3 for searching “word1” on a predetermined search web page as the acquisition information (c) of the region C (text 2).

そして、情報判定部18cは、図5の(B)に示すように、「位置情報A」に対応付けて「URL1」を分割判定結果記憶部17bに格納する。同様に、情報判定部18cは、図5の(B)に示すように、「URL2」を「位置情報B」に対応付け、「URL3」を「位置情報C」に対応付け、「URL4」を「位置情報D」に対応付けて分割判定結果記憶部17bに格納する。   Then, as shown in FIG. 5B, the information determination unit 18c stores “URL1” in the division determination result storage unit 17b in association with “position information A”. Similarly, as shown in FIG. 5B, the information determination unit 18c associates “URL2” with “location information B”, associates “URL3” with “location information C”, and assigns “URL4”. It is stored in the division determination result storage unit 17b in association with “position information D”.

なお、情報判定部18cは、領域Cにて認識した文字列から分割した単語それぞれにて算出した重要度すべてが所定の値以下であった場合、領域Cに取得情報が含まれないと判定する。また、本実施例は、情報判定部18cが電子透かし検出機能、バーコード読み取り機能のみを用いた取得情報抽出処理を行なう場合であってもよい。また、本実施例は、情報判定部18cが文字列認識機能により、URLを示す文字列のみを抽出し、重要度に基づく取得情報の抽出処理を行なわない場合であってもよい。   Note that the information determination unit 18c determines that the area C does not include acquired information when all the importance levels calculated for each word divided from the character string recognized in the area C are equal to or less than a predetermined value. . In addition, the present embodiment may be a case where the information determination unit 18c performs an acquisition information extraction process using only a digital watermark detection function and a barcode reading function. Further, in the present embodiment, the information determination unit 18c may extract only the character string indicating the URL by the character string recognition function and does not perform the acquisition information extraction process based on the importance.

図4に戻って、表示制御部18dは、撮影画像生成部18aにより生成された撮影画像を画像記憶部17aから読み出し、読み出した撮影画像を表示部12に表示させるように制御する。図6は、表示制御部により表示される撮影画像の一例を説明するための図である。例えば、表示制御部18dは、図6に示すように、図5の(A)を用いて説明した文書から生成された撮影画像を、表示部12の中心に表示させる。   Returning to FIG. 4, the display control unit 18 d performs control so that the captured image generated by the captured image generation unit 18 a is read from the image storage unit 17 a and the read captured image is displayed on the display unit 12. FIG. 6 is a diagram for explaining an example of a captured image displayed by the display control unit. For example, as shown in FIG. 6, the display control unit 18 d displays a captured image generated from the document described with reference to FIG. 5A at the center of the display unit 12.

かかる表示制御部18dの制御により撮影画像が表示された状態で、撮影画像(すなわち、紙媒体の文書)に含まれる新規の情報を参照したい受領者は、撮影画像の所望の位置に向けてリモコン20から可視光を照射する。そして、表示部12の光センサは、リモコンから照射された可視光を検知し、検知した可視光の表示部12における位置を特定する。図7は、受領者から照射される可視光の一例を説明するための図である。   A recipient who wants to refer to new information contained in a photographed image (that is, a document on a paper medium) in a state where the photographed image is displayed under the control of the display control unit 18d, controls the remote controller toward a desired position of the photographed image. 20 irradiates visible light. And the optical sensor of the display part 12 detects the visible light irradiated from the remote control, and pinpoints the position in the display part 12 of the detected visible light. FIG. 7 is a diagram for explaining an example of visible light emitted from the recipient.

例えば、図7に示すように、受領者は、表示部12に表示された撮影画像の中で本文1に向けてリモコン20から可視光を照射させる。そして、表示部12の光センサは、リモコン20から照射された可視光を検知し、検知した可視光の表示部12における位置を特定する。   For example, as shown in FIG. 7, the recipient causes the remote controller 20 to irradiate visible light toward the text 1 in the captured image displayed on the display unit 12. And the optical sensor of the display part 12 detects the visible light irradiated from the remote control 20, and pinpoints the position in the display part 12 of the detected visible light.

図4に戻って、特定部18eは、表示部12の光センサが特定した可視光の表示部12における位置を取得し、当該取得した位置に対応する領域を分割部18bにより分割された複数の領域から特定する。具体的には、特定部18eは、光センサが特定した表示部12における可視光の位置と、撮影画像の表示部12における表示位置とから、可視光の位置が撮影画像においてどの位置に対応するかを特定する。そして、特定部18eは、分割判定結果記憶部17bに格納された各領域の位置情報を参照して、可視光が照射された位置に対応する領域を特定する。図8は、特定部を説明するための図である。例えば、特定部18eは、表示部12の光センサが特定した可視光の表示部12における位置が「位置情報B」内に対応する位置にあると判定して、可視光の照射位置が分割部18bにより撮影画像から分割された「領域B」に対応すると特定する。   Returning to FIG. 4, the specifying unit 18 e acquires the position of the visible light in the display unit 12 specified by the optical sensor of the display unit 12, and a plurality of regions obtained by dividing the region corresponding to the acquired position by the dividing unit 18 b. Specify from the area. Specifically, the specifying unit 18e corresponds to which position in the captured image the position of visible light is based on the position of the visible light on the display unit 12 specified by the optical sensor and the display position on the display unit 12 of the captured image. To identify. And the specific | specification part 18e specifies the area | region corresponding to the position irradiated with visible light with reference to the positional information on each area | region stored in the division | segmentation determination result memory | storage part 17b. FIG. 8 is a diagram for explaining the specifying unit. For example, the specifying unit 18e determines that the position of the visible light in the display unit 12 specified by the optical sensor of the display unit 12 is a position corresponding to the “position information B”, and the irradiation position of the visible light is the dividing unit. It is specified that it corresponds to “region B” divided from the photographed image by 18b.

図4に戻って、取得部18fは、ブラウザ機能を有し、ネットワーク30を介してウェブサーバ群40に対しウェブページの閲覧要求を送信し、閲覧要求に応じてウェブサーバ群40が送信したデータに基づくウェブページを取得する。具体的には、取得部18fは、特定部18eにより特定された領域に取得情報(URL)が含まれていると情報判定部18cにより判定されている場合、当該取得情報に基づく新規の情報(ウェブページ)をウェブサーバ群40に内包されるウェブサーバのいずれかから取得する。例えば、取得部18fは、領域Bの取得情報(b)である「URL2」のウェブページの閲覧要求を、通信部16およびネットワーク30を介してウェブサーバ群40に対して送信する。そして、取得部18fは、閲覧要求に応じてウェブサーバ群40が送信した「URL2」のウェブページを、ネットワーク30を介して取得する。   Returning to FIG. 4, the acquisition unit 18 f has a browser function, transmits a web page browsing request to the web server group 40 via the network 30, and data transmitted by the web server group 40 in response to the browsing request. Get web page based on. Specifically, when the information determining unit 18c determines that the acquisition information (URL) is included in the area specified by the specifying unit 18e, the acquiring unit 18f creates new information based on the acquired information ( Web page) is acquired from one of the web servers included in the web server group 40. For example, the acquisition unit 18 f transmits a web page browsing request of “URL2” that is the acquisition information (b) of the area B to the web server group 40 via the communication unit 16 and the network 30. Then, the acquiring unit 18 f acquires the web page “URL2” transmitted by the web server group 40 in response to the browsing request via the network 30.

そして、表示制御部18dは、取得部18fにより取得された取得情報に基づく新規の情報であるウェブページを表示部12にてさらに表示するように制御する。図9は、表示制御部により表示されるウェブページの一例を説明するための図である。   Then, the display control unit 18d controls the display unit 12 to further display a web page that is new information based on the acquisition information acquired by the acquisition unit 18f. FIG. 9 is a diagram for explaining an example of a web page displayed by the display control unit.

例えば、表示制御部18dは、図9に示すように、領域Bに含まれていたURL2のウェブページを表示部12に表示させる。   For example, as illustrated in FIG. 9, the display control unit 18 d causes the display unit 12 to display the web page of URL 2 included in the region B.

ここで、表示制御部18dは、撮影画像が表示部12にて表示された状態で、当該撮影画像の前面に取得情報に基づく新規の情報を表示する。例えば、表示制御部18dは、図9に示すように、URL2のウェブページが文書全体を撮影した撮影画像の前面に表示されるように制御する。   Here, the display control unit 18d displays new information based on the acquired information on the front surface of the captured image in a state where the captured image is displayed on the display unit 12. For example, as shown in FIG. 9, the display control unit 18d performs control so that the web page of URL2 is displayed in front of a captured image obtained by capturing the entire document.

かかる表示制御部18dの制御により撮影画像の前面に拡大画像が表示された状態で、受領者は、リモコン20が有する各種ボタンを操作することで、取得情報を用いた処理を指示するための取得処理指示を送信することができる。   In a state where the enlarged image is displayed on the front surface of the photographed image under the control of the display control unit 18d, the receiver operates the various buttons of the remote controller 20 to acquire the processing for instructing the processing using the acquired information. Processing instructions can be transmitted.

例えば、受領者は、取得情報により表示されたウェブページから、更に詳細な新規の情報を取得したい場合、詳細ボタン23を押下する。すなわち、受領者は、取得情報により得られる新規の情報の粒度を細かくしたい場合、詳細ボタン23を押下する。また、受領者は、取得情報により表示されたウェブページを消去して撮影画像を再度参照したい場合や、ウェブページを消去して撮影画像における他の領域にて抽出された取得情報に基づくウェブページを参照したい場合、消去ボタン24を押下する。   For example, the recipient presses the detail button 23 when he wants to acquire more detailed new information from the web page displayed by the acquisition information. That is, the recipient presses the detail button 23 when he wants to make the granularity of the new information obtained from the acquired information fine. Also, if the recipient wants to delete the web page displayed by the acquired information and refer to the captured image again, or the web page based on the acquired information extracted in another area in the captured image by deleting the web page When the user wants to refer to the item, the delete button 24 is pressed.

かかる操作によりリモコン20から送信された取得処理指示の信号は、図3および4に示す信号受信部13により受信され、信号受信部13は、受信した取得処理指示の信号を、図4に示す指示判定部18gに転送する。   The acquisition processing instruction signal transmitted from the remote controller 20 by such an operation is received by the signal receiving unit 13 shown in FIGS. 3 and 4, and the signal receiving unit 13 converts the received acquisition processing instruction signal into the instruction shown in FIG. It transfers to the determination part 18g.

指示判定部18gは、信号受信部13から転送された取得処理指示の信号に含まれる指示内容を判定し、判定結果を情報判定部18c、取得部18fおよび表示制御部18dに転送する。図10は、取得処理指示による情報判定部、取得部および表示制御部の処理を説明するための図である。   The instruction determination unit 18g determines the instruction content included in the acquisition processing instruction signal transferred from the signal reception unit 13, and transfers the determination result to the information determination unit 18c, the acquisition unit 18f, and the display control unit 18d. FIG. 10 is a diagram for explaining processing of the information determination unit, the acquisition unit, and the display control unit according to the acquisition processing instruction.

具体的には、判定結果が詳細情報の取得処理であった場合、指示判定部18gは、判定結果を情報判定部18cに転送し、情報判定部18cは、現に表示されているウェブページに別のURLが含まれているか否かを判定する。そして、情報判定部18cは、現に表示されているウェブページに別のURLが含まれている場合、当該URLを取得部18fに通知し、取得部18fは、通知されたURLのウェブページを新たに取得する。そして、表示制御部18dは、取得部18fが新たに取得したウェブページを表示部12に表示させる。   Specifically, when the determination result is a detailed information acquisition process, the instruction determination unit 18g transfers the determination result to the information determination unit 18c, and the information determination unit 18c separates the currently displayed web page. It is determined whether or not the URL is included. Then, when another URL is included in the currently displayed web page, the information determination unit 18c notifies the acquisition unit 18f of the URL, and the acquisition unit 18f newly creates the web page of the notified URL. To get to. Then, the display control unit 18d causes the display unit 12 to display the web page newly acquired by the acquisition unit 18f.

例えば、情報判定部18cは、図10の(A)に示すように、URL2のウェブページに新たなURL5が含まれていると判定し、取得部18fにURL5を通知する。そして、取得部18fは、URL5のウェブページを新たに取得し、表示制御部18dは、図10の(B)に示すように、撮影画像の前面にて、URL5のウェブページおよびURL2のウェブページを表示部12に並列表示させる。なお、表示制御部18dは、URL5のウェブページのみを撮影画像の前面に表示部12に表示させてもよい。   For example, as illustrated in FIG. 10A, the information determination unit 18c determines that a new URL 5 is included in the web page of URL2, and notifies the acquisition unit 18f of the URL 5. Then, the acquisition unit 18f newly acquires the web page with the URL 5, and the display control unit 18d has the web page with the URL 5 and the web page with the URL 2 in front of the photographed image as shown in FIG. Are displayed in parallel on the display unit 12. The display control unit 18d may cause the display unit 12 to display only the web page with the URL 5 on the front side of the captured image.

また、判定結果がウェブページの消去処理(非表示処理)であった場合、指示判定部18gは、ウェブページの非表示指示を表示制御部18dに転送し、表示制御部18dは、表示されているウェブページを非表示とする。そして、受領者は、リモコン20を操作することで、例えば、撮影画像の写真(領域A)に含まれるURL1のウェブページを新たに表示させる。   If the determination result is a web page erasure process (non-display process), the instruction determination unit 18g transfers the web page non-display instruction to the display control unit 18d, and the display control unit 18d is displayed. The web page that is present is hidden. Then, the recipient operates the remote controller 20 to newly display the web page of URL1 included in the photograph (area A) of the photographed image, for example.

上述した文書処理は、入力部15が有する処理終了ボタンが受領者により押下されることで終了する。   The document processing described above ends when the processing end button of the input unit 15 is pressed by the recipient.

続いて、図11を用いて本実施例に係る文書処理装置10の処理の手順について説明する。図11は、本実施例に係る文書処理装置の処理を説明するためのフローチャートである。なお、図11では、受領者が紙媒体の文書をスキャナー11に配置した以降の処理について説明する。   Subsequently, a processing procedure of the document processing apparatus 10 according to the present embodiment will be described with reference to FIG. FIG. 11 is a flowchart for explaining processing of the document processing apparatus according to the present embodiment. In FIG. 11, processing after the recipient places a paper document on the scanner 11 will be described.

図11に示すように、本実施例における文書処理装置10は、受領者から入力部15を介してスキャン開始要求を受け付けたか否かを判定する(ステップS101)。スキャン開始要求を受け付けない場合(ステップS101否定)、文書処理装置10は、待機状態となる。一方、スキャン開始要求を受け付けた場合(ステップS101肯定)、スキャナー11は、文書の読み込み処理を行なって、当該文書をデジタルデータに変換し、撮影画像生成部18aは、スキャナー11から転送されたデジタルデータから撮影画像を生成する(ステップS102)。   As illustrated in FIG. 11, the document processing apparatus 10 according to the present exemplary embodiment determines whether a scan start request is received from the recipient via the input unit 15 (step S <b> 101). When the scan start request is not accepted (No at Step S101), the document processing apparatus 10 enters a standby state. On the other hand, when a scan start request is accepted (Yes at step S101), the scanner 11 performs a document reading process to convert the document into digital data, and the captured image generation unit 18a receives the digital data transferred from the scanner 11. A captured image is generated from the data (step S102).

そして、分割部18bは、撮影画像生成部18aにより生成された撮影画像を複数の領域に分割する(ステップS103)。具体的には、分割部18bは、撮影画像の背景色を特定し、特定した背景色により囲まれる領域を特定することで、撮影画像に描出されている内容に応じて当該撮影画像を複数の領域に分割する。なお、分割部18bは、分割した各領域の撮影画像における位置情報を分割判定結果記憶部17bに格納する。   Then, the dividing unit 18b divides the photographed image generated by the photographed image generating unit 18a into a plurality of regions (Step S103). Specifically, the dividing unit 18b specifies the background color of the photographed image, identifies the region surrounded by the identified background color, and converts the photographed image into a plurality of images according to the contents depicted in the photographed image. Divide into areas. The dividing unit 18b stores the position information in the captured image of each divided area in the division determination result storage unit 17b.

その後、情報判定部18cは、分割部18bにより分割された複数の領域それぞれに新規の情報を取得するための取得情報が含まれるか否かを判定する(ステップS104)。なお、情報判定部18cは、取得情報が抽出された領域の撮影画像における位置情報に対応付けて当該抽出した取得情報(URL)を分割判定結果記憶部17bに格納する。   Thereafter, the information determination unit 18c determines whether or not the acquisition information for acquiring new information is included in each of the plurality of areas divided by the division unit 18b (step S104). The information determination unit 18c stores the extracted acquired information (URL) in the division determination result storage unit 17b in association with the position information in the captured image of the region where the acquired information is extracted.

そして、表示制御部18dは、撮影画像生成部18aにより生成された撮影画像を表示部12に表示させるように制御し(ステップS105)、表示部12の光センサは、リモコン20から照射された可視光を検知したか否かを判定する(ステップS106)。   Then, the display control unit 18d controls the display unit 12 to display the captured image generated by the captured image generation unit 18a (step S105), and the optical sensor of the display unit 12 is visible from the remote controller 20. It is determined whether or not light is detected (step S106).

ここで、可視光を検知した場合(ステップS106肯定)、表示部12の光センサは、検知した可視光の表示部12における位置を特定する。そして、特定部18eは、表示部12の光センサが特定した可視光の表示部12における位置を取得し、当該取得した位置に対応する領域を分割部18bにより分割された複数の領域から特定する(ステップS107)。   Here, when visible light is detected (Yes at Step S106), the optical sensor of the display unit 12 specifies the position of the detected visible light on the display unit 12. And the specific | specification part 18e acquires the position in the display part 12 of the visible light which the optical sensor of the display part 12 specified, and specifies the area | region corresponding to the acquired position from the several area | region divided | segmented by the division part 18b. (Step S107).

続いて、情報判定部18cは、特定部18eにより特定された領域に取得情報が含まれているか否かを判定する(ステップS108)。ここで、領域に取得情報(URL)が含まれている場合(ステップS108肯定)、取得部18fは、当該取得情報(URL)のウェブページをウェブサーバ群40に内包されるウェブサーバのいずれかから取得する(ステップS109)。   Subsequently, the information determining unit 18c determines whether or not the acquired information is included in the area specified by the specifying unit 18e (step S108). Here, when the acquisition information (URL) is included in the area (Yes in step S108), the acquisition unit 18f is one of the web servers included in the web server group 40 that includes the web page of the acquisition information (URL). (Step S109).

そして、表示制御部18dは、取得部18fが取得したウェブページを表示部12に表示するように制御する(ステップS110)。   Then, the display control unit 18d controls the display unit 12 to display the web page acquired by the acquisition unit 18f (step S110).

ステップS110の処理の後、または、表示部12の光センサが可視光を検知しなかった場合(ステップS106否定)、信号受信部13は、リモコン20から取得処理指示を受信したか否かを判定する(ステップS111)。ここで、リモコン20から取得処理指示を受信した場合(ステップS111肯定)、信号受信部13は、受信した取得処理指示を指示判定部18gに転送し、指示判定部18gは、信号受信部13から転送された取得処理指示の内容を判定する(ステップS112)。すなわち、指示判定部18gは、取得処理指示の内容が、詳細情報の取得処理であるか、ウェブページの消去(非表示)処理であるかを判定する。   After the process of step S110 or when the optical sensor of the display unit 12 does not detect visible light (No at step S106), the signal receiving unit 13 determines whether or not an acquisition processing instruction has been received from the remote controller 20. (Step S111). Here, when the acquisition processing instruction is received from the remote controller 20 (Yes at Step S111), the signal reception unit 13 transfers the received acquisition processing instruction to the instruction determination unit 18g, and the instruction determination unit 18g receives the signal from the signal reception unit 13. The contents of the acquired acquisition processing instruction are determined (step S112). That is, the instruction determination unit 18g determines whether the content of the acquisition process instruction is a detailed information acquisition process or a web page deletion (non-display) process.

そして、指示判定部18gは、判定結果を情報判定部18c、取得部18fおよび表示制御部18dに転送し、情報判定部18c、取得部18fおよび表示制御部18dは、判定結果に沿った処理を実行する(ステップS113)。例えば、判定結果が詳細情報の取得処理であった場合、指示判定部18gは、判定結果を情報判定部18cに転送し、情報判定部18cは、現に表示されているウェブページに別のURLが含まれているか否かを判定する。そして、情報判定部18cは、現に表示されているウェブページに別のURLが含まれている場合、当該URLを取得部18fに通知し、取得部18fは、通知されたURLのウェブページを新たに取得する。そして、表示制御部18dは、取得部18fが新たに取得したウェブページを表示部12に表示させる。また、判定結果がウェブページの消去処理(非表示処理)であった場合、指示判定部18gは、ウェブページの非表示指示を表示制御部18dに転送し、表示制御部18dは、表示されているウェブページを非表示とする。   The instruction determination unit 18g transfers the determination result to the information determination unit 18c, the acquisition unit 18f, and the display control unit 18d, and the information determination unit 18c, the acquisition unit 18f, and the display control unit 18d perform processing according to the determination result. Execute (Step S113). For example, when the determination result is a detailed information acquisition process, the instruction determination unit 18g transfers the determination result to the information determination unit 18c, and the information determination unit 18c has another URL on the currently displayed web page. It is determined whether or not it is included. Then, when another URL is included in the currently displayed web page, the information determination unit 18c notifies the acquisition unit 18f of the URL, and the acquisition unit 18f newly creates the web page of the notified URL. To get to. Then, the display control unit 18d causes the display unit 12 to display the web page newly acquired by the acquisition unit 18f. If the determination result is a web page erasure process (non-display process), the instruction determination unit 18g transfers the web page non-display instruction to the display control unit 18d, and the display control unit 18d is displayed. The web page that is present is hidden.

ステップS113の処理の後、または、信号受信部13が画像処理指示を受信しなかった場合(ステップS111否定)、文書処理装置10は、処理終了要求を受け付けたか否かを判定する(ステップS114)。   After the process of step S113, or when the signal receiving unit 13 has not received an image processing instruction (No at step S111), the document processing apparatus 10 determines whether a processing end request has been received (step S114). .

ここで、処理終了要求を受け付けなかった場合(ステップS114否定)、ステップS106に戻って、表示部12の光センサは、リモコン20から照射された可視光を検知したか否かを判定する。   Here, when the process end request is not accepted (No at Step S114), the process returns to Step S106, and the optical sensor of the display unit 12 determines whether or not the visible light emitted from the remote controller 20 has been detected.

一方、処理終了要求を受け付けた場合(ステップS114肯定)、文書処理装置10は、処理を終了する。   On the other hand, when the processing end request is received (Yes at Step S114), the document processing apparatus 10 ends the processing.

上述してきたように、本実施例では、スキャナー11は、受領者が配置した紙媒体の文書をデジタルデータに変換し、撮影画像生成部18aは、スキャナー11から転送されたデジタルデータから文書を撮影した画像(撮影画像)を生成し、分割部18bは、撮影画像生成部18aにより生成された撮影画像を複数の領域に分割する。情報判定部18cは、分割部18bにより分割された複数の領域それぞれに新規の情報を取得するための取得情報(URL)が含まれるか否かを判定する。表示制御部18dは、撮影画像を表示部12に表示させるように制御し、表示部12の光センサは、リモコン20から照射された可視光の表示部12における位置を特定する。   As described above, in this embodiment, the scanner 11 converts a paper medium document placed by the recipient into digital data, and the captured image generation unit 18a captures the document from the digital data transferred from the scanner 11. The generated image (captured image) is generated, and the dividing unit 18b divides the captured image generated by the captured image generating unit 18a into a plurality of regions. The information determination unit 18c determines whether acquisition information (URL) for acquiring new information is included in each of the plurality of areas divided by the division unit 18b. The display control unit 18d controls the display unit 12 to display the captured image, and the optical sensor of the display unit 12 specifies the position of the visible light emitted from the remote controller 20 on the display unit 12.

そして、特定部18eは、表示部12の光センサが特定した可視光の表示部12における位置を取得し、当該取得した位置に対応する領域を分割部18bにより分割された複数の領域から特定する。取得部18fは、特定部18eにより特定された領域に取得情報(URL)が含まれていると情報判定部18cにより判定されている場合、当該取得情報に基づく新規の情報(ウェブページ)をウェブサーバ群40に内包されるウェブサーバのいずれかから取得する。そして、表示制御部18dは、取得部18fにより取得された取得情報に基づく新規の情報であるウェブページを表示部12にてさらに表示するように制御する。   And the specific | specification part 18e acquires the position in the display part 12 of the visible light which the optical sensor of the display part 12 specified, and specifies the area | region corresponding to the acquired position from the several area | region divided | segmented by the division part 18b. . When the information determining unit 18c determines that the acquisition information (URL) is included in the area specified by the specifying unit 18e, the acquiring unit 18f sends new information (web page) based on the acquired information to the web Obtained from any of the web servers included in the server group 40. Then, the display control unit 18d controls the display unit 12 to further display a web page that is new information based on the acquisition information acquired by the acquisition unit 18f.

したがって、本実施例によれば、文書処理装置10は、受領者がリモコン20から可視光を照射した位置に該当する領域から取得可能な新規の情報(ウェブページ)を、紙媒体の文書全体を撮影した撮影画像とともに表示することができる。すなわち、本実施例によれば、文書処理装置10は、紙媒体の文書と当該紙媒体の文書に記載されている新規の情報とを関連付けて表示することが可能となる。   Therefore, according to the present embodiment, the document processing apparatus 10 transmits new information (web page) that can be acquired from the area corresponding to the position where the receiver radiates visible light from the remote controller 20 to the entire paper document. It can be displayed together with the captured image. That is, according to the present embodiment, the document processing apparatus 10 can display a paper medium document and new information described in the paper medium document in association with each other.

また、本実施例では、表示制御部18dは、撮影画像の前面に新規の情報(ウェブページ)を表示させるので、受領者は、新規の情報を確実に参照することができる。   Further, in the present embodiment, the display control unit 18d displays new information (web page) on the front surface of the captured image, so that the recipient can reliably refer to the new information.

また、本実施例では、リモコン20は、取得情報を用いた処理を指示するための取得処理指示を送信し、信号受信部13は、リモコン20から受信した取得処理指示を指示判定部18gに転送し、指示判定部18gは、信号受信部13から転送された取得処理指示の内容が、詳細情報の取得処理であるか、ウェブページの消去処理(非表示処理)であるかを判定し、判定結果を情報判定部18c、取得部18fおよび表示制御部18dに転送する。   In the present embodiment, the remote controller 20 transmits an acquisition process instruction for instructing a process using the acquisition information, and the signal receiving unit 13 transfers the acquisition process instruction received from the remote controller 20 to the instruction determination unit 18g. Then, the instruction determination unit 18g determines whether the content of the acquisition processing instruction transferred from the signal reception unit 13 is detailed information acquisition processing or web page deletion processing (non-display processing). The result is transferred to the information determination unit 18c, the acquisition unit 18f, and the display control unit 18d.

そして、判定結果が詳細情報の取得処理であった場合、指示判定部18gは、判定結果を情報判定部18cに転送し、情報判定部18cは、現に表示されているウェブページに別のURLが含まれているか否かを判定する。そして、情報判定部18cは、現に表示されているウェブページに別のURLが含まれている場合、当該URLを取得部18fに通知し、取得部18fは、通知されたURLのウェブページを新たに取得する。そして、表示制御部18dは、取得部18fが新たに取得したウェブページを表示部12に表示させる。また、判定結果がウェブページの消去処理(非表示処理)であった場合、指示判定部18gは、ウェブページの非表示指示を表示制御部18dに転送し、表示制御部18dは、表示されているウェブページを非表示とする。   If the determination result is a detailed information acquisition process, the instruction determination unit 18g transfers the determination result to the information determination unit 18c, and the information determination unit 18c includes another URL on the currently displayed web page. It is determined whether or not it is included. Then, when another URL is included in the currently displayed web page, the information determination unit 18c notifies the acquisition unit 18f of the URL, and the acquisition unit 18f newly creates the web page of the notified URL. To get to. Then, the display control unit 18d causes the display unit 12 to display the web page newly acquired by the acquisition unit 18f. If the determination result is a web page erasure process (non-display process), the instruction determination unit 18g transfers the web page non-display instruction to the display control unit 18d, and the display control unit 18d is displayed. The web page that is present is hidden.

したがって、本実施例によれば、受領者は、リモコン20のボタンを操作するといった簡単な操作のみで、参照している新規の情報からさらに新規の情報を参照したり、別の領域から別の新規の情報を参照したりすることが可能となる。   Therefore, according to the present embodiment, the recipient can refer to the new information from the new information being referred to or can change the information from another area by only a simple operation such as operating the buttons of the remote controller 20. It is possible to refer to new information.

なお、上記した実施例では、拡大画像の表示に際してリモコン20から可視光が照射される場合について説明したが、本発明は、拡大画像の表示に際してリモコン20から赤外線などが照射される場合であってもよい。   In the above-described embodiment, the case where visible light is emitted from the remote controller 20 when displaying an enlarged image has been described. However, the present invention is a case where infrared light or the like is emitted from the remote controller 20 when displaying an enlarged image. Also good.

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。   In addition, among the processes described in this embodiment, all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

なお、本実施例で説明した文書処理方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。   The document processing method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program can be distributed via a network such as the Internet. The program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD and being read from the recording medium by the computer.

以上のように、本発明に係る文書処理方法および文書処理システムは、紙媒体の文書を画像処理する場合に有用であり、特に、紙媒体の文書と当該紙媒体の文書に記載されている新規の情報とを関連付けて表示することに適する。   As described above, the document processing method and the document processing system according to the present invention are useful when image processing is performed on a paper medium document, and in particular, the novel processing described in the paper medium document and the paper medium document. It is suitable for displaying in association with the information.

10 文書処理装置
11 スキャナー
12 表示部(光センサ内蔵ディスプレイ)
13 信号受信部
14 スピーカ
15 入力部
16 通信部
17 記憶部
17a 画像記憶部
17b 分割判定結果記憶部
18 制御部
18a 撮影画像生成部
18b 分割部
18c 情報判定部
18d 表示制御部
18e 特定部
18f 取得部
18g 指示判定部
20 リモコン
21 可視光スイッチ
22 照射口
23 詳細ボタン
24 消去ボタン
30 ネットワーク
40 ウェブサーバ群
10 Document Processing Device 11 Scanner 12 Display Unit (Display with Built-in Optical Sensor)
DESCRIPTION OF SYMBOLS 13 Signal receiving part 14 Speaker 15 Input part 16 Communication part 17 Storage part 17a Image storage part 17b Division | segmentation determination result storage part 18 Control part 18a Captured image generation part 18b Division | segmentation part 18c Information determination part 18d Display control part 18e Specifying part 18f Acquisition part 18 g Instruction determination unit 20 Remote control 21 Visible light switch 22 Irradiation port 23 Detail button 24 Erase button 30 Network 40 Web server group

Claims (4)

利用者が配置した文書を撮影した画像を生成する撮影ステップと、
前記撮影ステップにより生成された前記画像を複数の領域に分割する分割ステップと、
前記分割ステップにより分割された前記複数の領域それぞれに新規の情報を取得するための取得情報が含まれるか否かを判定する判定ステップと、
前記撮影ステップにより生成された前記画像を所定の表示部に表示させるように制御する表示制御ステップと、
前記表示制御ステップの制御により前記画像が前記所定の表示部に表示された状態で、当該所定の表示部に対して光送信装置から送信された光を検知する検知ステップと、
前記検知ステップが検知した前記光の位置を取得し、当該取得した位置に対応する領域を前記分割ステップにより分割された前記複数の領域から特定する特定ステップと、
前記特定ステップにより特定された領域に前記取得情報が含まれていると前記判定ステップにより判定されている場合、当該取得情報に基づく新規の情報を情報提供装置から取得する取得ステップと、
前記取得ステップにより取得された前記取得情報に基づく新規の情報を前記所定の表示部にてさらに表示するように制御する第二の表示制御ステップと、
を含んだことを特徴とする文書処理方法。
A shooting step for generating an image of the document placed by the user;
A dividing step of dividing the image generated by the photographing step into a plurality of regions;
A determination step of determining whether or not acquisition information for acquiring new information is included in each of the plurality of regions divided by the division step;
A display control step for controlling the image generated by the photographing step to be displayed on a predetermined display unit;
A detection step of detecting light transmitted from the optical transmission device to the predetermined display unit in a state where the image is displayed on the predetermined display unit by the control of the display control step;
A step of acquiring the position of the light detected by the detection step, and specifying a region corresponding to the acquired position from the plurality of regions divided by the division step;
An acquisition step of acquiring new information based on the acquisition information from the information providing device when the determination step determines that the acquisition information is included in the area specified by the specification step;
A second display control step for controlling to display new information based on the acquired information acquired by the acquiring step on the predetermined display unit;
A document processing method comprising:
前記第二の表示制御ステップは、前記画像が前記所定の表示部にて表示された状態で、当該画像の前面に前記取得情報に基づく新規の情報を表示するように制御することを特徴とする請求項1に記載の文書処理方法。   In the second display control step, control is performed so that new information based on the acquired information is displayed in front of the image in a state where the image is displayed on the predetermined display unit. The document processing method according to claim 1. 前記光送信装置は、前記取得情報を用いた処理を指示するための取得処理指示をさらに送信し、
前記取得ステップは、前記光送信装置から送信された前記取得処理指示に基づいて、前記新規の情報に基づく詳細情報の取得処理を行なうことを特徴とする請求項1または2に記載の文書処理方法。
The optical transmission device further transmits an acquisition process instruction for instructing a process using the acquisition information;
The document processing method according to claim 1, wherein the obtaining step performs a detailed information obtaining process based on the new information based on the obtaining process instruction transmitted from the optical transmission device. .
文書処理を行なう文書処理装置と、光を送信する光送信装置と、情報を提供する情報提供装置とを含む文書処理システムであって、
前記文書処理装置は、
利用者が配置した文書を撮影した画像を生成する撮影手段と、
前記撮影手段により生成された前記画像を複数の領域に分割する分割手段と、
前記分割手段により分割された前記複数の領域それぞれに新規の情報を取得するための取得情報が含まれるか否かを判定する判定手段と、
前記撮影手段により生成された前記画像を所定の表示部に表示させるように制御する表示制御手段と、
前記表示制御手段の制御により前記画像が前記所定の表示部に表示された状態で、当該所定の表示部に対して前記光送信装置から送信された光を検知する検知手段と、
前記検知手段が検知した前記光の位置を取得し、当該取得した位置に対応する領域を前記分割手段により分割された前記複数の領域から特定する特定手段と、
前記特定手段により特定された領域に前記取得情報が含まれていると前記判定手段により判定されている場合、当該取得情報に基づく新規の情報を前記情報提供装置から取得する取得手段と、
前記取得手段により取得された前記取得情報に基づく新規の情報を前記所定の表示部にて表示するように制御する第二の表示制御手段と、
を備えたことを特徴とする文書処理システム。
A document processing system including a document processing device that performs document processing, an optical transmission device that transmits light, and an information providing device that provides information,
The document processing apparatus includes:
Photographing means for generating an image of a document placed by a user;
Dividing means for dividing the image generated by the photographing means into a plurality of regions;
A determination unit that determines whether or not acquisition information for acquiring new information is included in each of the plurality of regions divided by the division unit;
Display control means for controlling the image generated by the photographing means to be displayed on a predetermined display unit;
Detection means for detecting light transmitted from the optical transmission device to the predetermined display section in a state where the image is displayed on the predetermined display section under the control of the display control section;
A specifying unit that acquires the position of the light detected by the detecting unit, and that specifies the region corresponding to the acquired position from the plurality of regions divided by the dividing unit;
An acquisition unit for acquiring new information based on the acquisition information from the information providing device when the determination unit determines that the acquisition information is included in the area specified by the specification unit;
Second display control means for controlling to display new information based on the acquired information acquired by the acquiring means on the predetermined display unit;
A document processing system comprising:
JP2010073469A 2010-03-26 2010-03-26 Document processing method and document processing system Expired - Fee Related JP5554109B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010073469A JP5554109B2 (en) 2010-03-26 2010-03-26 Document processing method and document processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010073469A JP5554109B2 (en) 2010-03-26 2010-03-26 Document processing method and document processing system

Publications (2)

Publication Number Publication Date
JP2011204189A true JP2011204189A (en) 2011-10-13
JP5554109B2 JP5554109B2 (en) 2014-07-23

Family

ID=44880738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010073469A Expired - Fee Related JP5554109B2 (en) 2010-03-26 2010-03-26 Document processing method and document processing system

Country Status (1)

Country Link
JP (1) JP5554109B2 (en)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573624A (en) * 1991-09-17 1993-03-26 Toshiba Corp Picture information processor
JPH07200631A (en) * 1993-12-27 1995-08-04 Ricoh Co Ltd Electronic filing device
JPH0944383A (en) * 1995-06-30 1997-02-14 Ricoh Co Ltd Method and device for conversion between hard copy document and electronic document
JPH09223240A (en) * 1996-02-14 1997-08-26 Oki Electric Ind Co Ltd Document electronizing device
JPH1097608A (en) * 1996-09-20 1998-04-14 Matsushita Graphic Commun Syst Inc Device for preparing image information structuring document
JPH1097522A (en) * 1996-09-20 1998-04-14 Toshiba Corp Hyperlink automatic generating device
JPH10111871A (en) * 1996-10-07 1998-04-28 Ricoh Co Ltd Document information management system
JPH10240763A (en) * 1997-02-28 1998-09-11 Ricoh Co Ltd System for managing document information
JPH10254895A (en) * 1997-03-11 1998-09-25 Ricoh Co Ltd Document information management system and method for generating medium paper
JPH10269230A (en) * 1997-03-24 1998-10-09 Ricoh Co Ltd Document management system
JPH1196166A (en) * 1997-07-25 1999-04-09 Ricoh Co Ltd Document information management system
JPH11110393A (en) * 1997-09-30 1999-04-23 Ricoh Co Ltd Information processing method and document retrieving device
JP2001209645A (en) * 2000-01-24 2001-08-03 Ricoh Co Ltd Filing system
JP2004080748A (en) * 2002-06-19 2004-03-11 Matsushita Electric Ind Co Ltd Television receiver and system including same
JP2007073057A (en) * 2002-09-26 2007-03-22 Kenji Yoshida Computer-executable program
JP2009063685A (en) * 2007-09-05 2009-03-26 Sharp Corp Display method and projector

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573624A (en) * 1991-09-17 1993-03-26 Toshiba Corp Picture information processor
JPH07200631A (en) * 1993-12-27 1995-08-04 Ricoh Co Ltd Electronic filing device
JPH0944383A (en) * 1995-06-30 1997-02-14 Ricoh Co Ltd Method and device for conversion between hard copy document and electronic document
JPH09223240A (en) * 1996-02-14 1997-08-26 Oki Electric Ind Co Ltd Document electronizing device
JPH1097608A (en) * 1996-09-20 1998-04-14 Matsushita Graphic Commun Syst Inc Device for preparing image information structuring document
JPH1097522A (en) * 1996-09-20 1998-04-14 Toshiba Corp Hyperlink automatic generating device
JPH10111871A (en) * 1996-10-07 1998-04-28 Ricoh Co Ltd Document information management system
JPH10240763A (en) * 1997-02-28 1998-09-11 Ricoh Co Ltd System for managing document information
JPH10254895A (en) * 1997-03-11 1998-09-25 Ricoh Co Ltd Document information management system and method for generating medium paper
JPH10269230A (en) * 1997-03-24 1998-10-09 Ricoh Co Ltd Document management system
JPH1196166A (en) * 1997-07-25 1999-04-09 Ricoh Co Ltd Document information management system
JPH11110393A (en) * 1997-09-30 1999-04-23 Ricoh Co Ltd Information processing method and document retrieving device
JP2001209645A (en) * 2000-01-24 2001-08-03 Ricoh Co Ltd Filing system
JP2004080748A (en) * 2002-06-19 2004-03-11 Matsushita Electric Ind Co Ltd Television receiver and system including same
JP2007073057A (en) * 2002-09-26 2007-03-22 Kenji Yoshida Computer-executable program
JP2009063685A (en) * 2007-09-05 2009-03-26 Sharp Corp Display method and projector

Also Published As

Publication number Publication date
JP5554109B2 (en) 2014-07-23

Similar Documents

Publication Publication Date Title
JP5223284B2 (en) Information retrieval apparatus, method and program
US8726178B2 (en) Device, method, and computer program product for information retrieval
JP2022095738A (en) Digital image capturing device system and method
JP5287023B2 (en) Image processing system, image processing apparatus, authorized person information management apparatus, authorized person information processing program, and authorized person information management program
EP2668571B1 (en) Document workflow architecture
US20110019919A1 (en) Automatic modification of web pages
CN104239128B (en) application program searching system and method
US10762043B2 (en) Information processing system, information processing apparatus, and information processing method
US10992831B2 (en) Information processing system for setting dependency relationships for input items on a screen related to a process flow
US10423825B2 (en) Retrieval device, retrieval method, and computer-readable storage medium for computer program
JP2010176273A (en) Communication system, server device, display device, information processing method, and program
US20140047324A1 (en) Image forming device, web page obtaining method and a non-transitory computer-readable recording medium encoded with web page obtaining program
US8769150B2 (en) Converting content for display on external device according to browsing context and based on characteristic of external device
US8184343B2 (en) Image forming apparatus, apparatus for creating electronic album, image forming method, method for creating electronic album, program and index sheet
JP4894253B2 (en) Metadata generating apparatus and metadata generating method
JP5554109B2 (en) Document processing method and document processing system
JP2010244211A (en) Information input device and information input method
JP2007249864A (en) Document security detecting method, document security detecting device and document security detection program
JP2010140136A (en) Image processing apparatus, image data management method, and computer program
JP2012049668A (en) Document reading apparatus, information processing apparatus, and program for information processing apparatus
AU2013216623B2 (en) A device configured to manage secure ingestion of documents into an information system, and methods for operating such a device
JP2011028503A (en) Image processor, image processing method, and program
JP2009088876A (en) Information processing system
JP2006331222A (en) Image reader and information processor
JP2010055163A (en) Image processing program, image processing apparatus, and image processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140528

R150 Certificate of patent or registration of utility model

Ref document number: 5554109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees