JP2018022453A - Printed matter processing system - Google Patents
Printed matter processing system Download PDFInfo
- Publication number
- JP2018022453A JP2018022453A JP2016155067A JP2016155067A JP2018022453A JP 2018022453 A JP2018022453 A JP 2018022453A JP 2016155067 A JP2016155067 A JP 2016155067A JP 2016155067 A JP2016155067 A JP 2016155067A JP 2018022453 A JP2018022453 A JP 2018022453A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- finger
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000012015 optical character recognition Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、印刷物処理システム、特に、印刷物に電子化文書と同様のユーザーインタラクションを導入する技術に関する。 The present invention relates to a printed material processing system, and more particularly to a technique for introducing user interaction similar to an electronic document to a printed material.
近年、多くの文書が電子化されてアーカイブされるようになったことで、電子化文書の管理、特に紙媒体文書と電子化文書との対応関係の管理が重要になっている。例えば、下記特許文献１には、紙媒体文書と電子化文書との対応関係を管理し、ペン型入力装置を紙媒体上に置くと、対応する電子化文書のどの部分が指されたのかがわかる電子文書管理システムが開示されている。 In recent years, since many documents have been digitized and archived, management of digitized documents, particularly management of correspondence between paper medium documents and digitized documents has become important. For example, in Patent Document 1 below, when a correspondence relationship between a paper medium document and an electronic document is managed and a pen-type input device is placed on the paper medium, which part of the corresponding electronic document is pointed to is indicated. An understandable electronic document management system is disclosed.
紙媒体文書（印刷物）はイメージスキャナーでスキャンすることにより容易に電子化することができる。また、ＯＣＲ（Optical Character Recognition）技術を利用することにより、文書中の文字をテキストデータ化することもできる。このように、紙媒体文書を電子化及びテキストデータ化してコンピューターで処理可能にすることで、電子化文書を全文検索したり、電子化文書中のテキストを検索キーにしてインターネットで情報検索したり、得られた検索結果を電子化文書上に表示させたりするといった電子化文書の２次利用がしやすくなる。 A paper medium document (printed material) can be easily digitized by scanning with an image scanner. Further, by using OCR (Optical Character Recognition) technology, characters in a document can be converted into text data. In this way, paper-based documents can be digitized and converted into text data so that they can be processed by a computer, so that a full-text search can be performed on a digitized document, or information can be searched on the Internet using text in the digitized document as a search key. Further, secondary use of the digitized document such as displaying the obtained search result on the digitized document is facilitated.
一方で、端末の画面が小さいため電子化文書の全体を表示することができない、あるいは一度に多数の電子化文書を広げて表示することができないなどの理由により、電子化文書よりもオリジナルの紙媒体文書の方が好んで利用されることも多い。しかし、紙媒体文書には、電子化文書のような全文検索、インターネット検索、別の情報の付加などのコンピューター技術を活用した２次利用ができないといった不便さがある。上記特許文献１によると、上記のように、ペン型入力装置を紙媒体上に置くと、対応する電子化文書のどの部分が指されたのかがわかるようになっているが、それには紙媒体に所定フォーマットのアドレス情報が印刷されている必要があり、利用範囲は限定的である。 On the other hand, because the screen of the terminal is small, the entire digitized document cannot be displayed, or a large number of digitized documents cannot be displayed at once, for example. Media documents are often preferred. However, paper-based documents have the inconvenience that they cannot be used by computer technology such as full-text search like an electronic document, Internet search, and addition of other information. According to Patent Document 1, as described above, when the pen-type input device is placed on a paper medium, it can be understood which part of the corresponding digitized document is pointed. The address information in a predetermined format must be printed on the card, and the range of use is limited.
本発明は、上記の問題を解決するためになされたものであり、紙媒体に示された情報に基づいて、インターネット検索やコンピューター技術の活用を容易に可能にすることを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to enable easy Internet search and use of computer technology based on information shown on a paper medium.
本発明の一局面に係る印刷物処理システムは、眼鏡型ウェアラブル端末と、印刷物を光学的に読み取って前記印刷物の画像データを生成するイメージスキャナーと、前記画像データ中の文字を認識して前記画像データに認識したテキストを重畳したテキスト付き画像データを生成するＯＣＲ装置と、前記テキスト付き画像データを保存する画像データ保存装置とを備え、前記眼鏡型ウェアラブル端末は、ユーザーによる視認が可能にユーザーの視界に映像を重ねて表示する表示部と、前記表示部の投影映像の表示を制御する表示制御部と、ユーザーの視界映像を撮像する撮像部と、前記画像データ保存装置に保存されたテキスト付き画像データのうち前記視界映像に写った印刷物に対応するテキスト付き画像データを特定する画像データ特定部と、前記視界映像に写った印刷物の上に置かれた指の先端位置を特定する指先端位置特定部と、前記特定されたテキスト付き画像データを参照して前記特定された指の先端位置において指で隠された文字を特定する文字特定部と、前記特定された文字を検索キーとして情報検索を行う情報検索部とを有し、前記表示制御部は、前記情報検索部による検索結果を前記表示部に表示させるものである。 A printed matter processing system according to an aspect of the present invention includes a glasses-type wearable terminal, an image scanner that optically reads a printed matter to generate image data of the printed matter, and recognizes characters in the image data to recognize the image data. An OCR device that generates image data with text on which the recognized text is superimposed, and an image data storage device that stores the image data with text. The glasses-type wearable terminal can be viewed by the user so that the user can see A display unit that superimposes and displays the video, a display control unit that controls the display of the projected video on the display unit, an imaging unit that captures the user's visual field image, and an image with text stored in the image data storage device Image data identification that identifies image data with text corresponding to the printed matter shown in the view image in the data A finger tip position specifying unit for specifying the tip position of the finger placed on the printed material shown in the view image, and the tip position of the specified finger with reference to the specified image data with text A character specifying unit that specifies a character hidden by a finger; and an information search unit that performs an information search using the specified character as a search key; and the display control unit displays a search result obtained by the information search unit. It is displayed on the display unit.
本発明によれば、紙媒体に示された情報に基づいて、インターネット検索やコンピューター技術の活用が容易に可能になる。これにより、例えば、印刷物に電子化文書と同様なユーザーインタラクションを導入することが可能になる。 According to the present invention, it is possible to easily use the Internet search and computer technology based on information shown on a paper medium. Thereby, for example, it is possible to introduce the same user interaction as that of the digitized document into the printed matter.
以下、本発明の一実施形態に係る印刷物処理システムについて図面を参照して説明する。図１は、本発明の一実施形態に係る印刷物処理システムの概要図である。 Hereinafter, a printed material processing system according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram of a printed material processing system according to an embodiment of the present invention.
本実施形態に係る印刷物処理システムは、眼鏡型ウェアラブル端末１と、複合機２と、サーバー装置３とを備える。眼鏡型ウェアラブル端末１と、複合機２と、サーバー装置３とは、ＬＡＮ又はインターネットなどのネットワーク４に接続されて互いに通信できるようになっている。 The printed material processing system according to this embodiment includes a glasses-type wearable terminal 1, a multifunction device 2, and a server device 3. The glasses-type wearable terminal 1, the multifunction device 2, and the server device 3 are connected to a network 4 such as a LAN or the Internet and can communicate with each other.
眼鏡型ウェアラブル端末１は、眼鏡のように装着してユーザーの視界に映像を重ねて表示することができる端末である。ユーザーは、眼鏡型ウェアラブル端末１を頭部に装着して周りを見ることで、視界内にあるものに眼鏡型ウェアラブル端末１が生成した映像を重ねて見ることができる。なお、眼鏡型ウェアラブル端末１は、無線１００により複合機２やネットワーク４に接続して通信することができる。 The glasses-type wearable terminal 1 is a terminal that can be worn like glasses to display an image superimposed on a user's field of view. The user wears the glasses-type wearable terminal 1 on the head and looks around, so that the image generated by the glasses-type wearable terminal 1 can be seen superimposed on what is in the field of view. The glasses-type wearable terminal 1 can communicate by connecting to the multifunction device 2 or the network 4 by the radio 100.
複合機２は、プリンター、コピー機、ファクシミリ、イメージスキャナーなどの機能が一つにまとめられた機器である。これら機能のうちイメージスキャナーが本実施形態に関係する。複合機２は、イメージスキャナー２１，ＯＣＲ装置２２、及び画像データ保存装置２３を備える。イメージスキャナー２１は、原稿（印刷物５）を光学的に読み取って印刷物５の画像データを生成するものである。複合機２において原稿読み取りはユーザーがプラテンガラス上に原稿を１枚ずつセットして行う他、ＡＤＦ（Auto Document Feeder）に複数の原稿をセットすることで１枚ずつ自動的に読み取らせることもできる。 The multifunction device 2 is a device in which functions such as a printer, a copier, a facsimile, and an image scanner are combined. Among these functions, the image scanner is related to this embodiment. The multifunction machine 2 includes an image scanner 21, an OCR device 22, and an image data storage device 23. The image scanner 21 optically reads a document (printed material 5) and generates image data of the printed material 5. In the MFP 2, the user reads the originals one by one on the platen glass, or can automatically read one by one by setting a plurality of originals on an ADF (Auto Document Feeder). .
更に複合機２はＯＣＲ装置２２を備える。ＯＣＲ装置２２は、イメージスキャナー２１により生成された画像データ中の文字をＯＣＲ機能により認識してテキストデータを抽出するものであり、ソフトウェア若しくはハードウェア又はそれらの組み合わせで構成することができる。 Furthermore, the multifunction machine 2 includes an OCR device 22. The OCR device 22 recognizes characters in the image data generated by the image scanner 21 by the OCR function and extracts text data, and can be configured by software, hardware, or a combination thereof.
本実施形態で使用するＯＣＲ装置２２は、画像データと、当該画像データをＯＣＲ機能により変換したテキストデータとを組み合わせて、当該画像データに当該認識したテキストを重畳したテキスト付き画像データを生成する。すなわち、テキスト付き画像データでは、画像データ中の各文字を表す画像部分にその文字のテキストデータが重畳されている。 The OCR device 22 used in the present embodiment combines image data and text data obtained by converting the image data by the OCR function, and generates image data with text in which the recognized text is superimposed on the image data. That is, in the image data with text, the text data of the character is superimposed on the image portion representing each character in the image data.
更に複合機２は画像データ保存装置２３を備える。画像データ保存装置２３は、ＯＣＲ装置２２が生成したテキスト付き画像データを保存する機器であり、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリー、或いは、それらの組み合わせによって構成される。また、画像データ保存装置２３は、予め定められた各種の電車路線図、地図等の画像データを記憶している。 Further, the multifunction machine 2 includes an image data storage device 23. The image data storage device 23 is a device that stores image data with text generated by the OCR device 22, and is configured by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or a combination thereof. The The image data storage device 23 stores image data such as various types of predetermined train routes and maps.
サーバー装置３は、経路探索、画像検索、情報検索などの各種検索サービスやＳＮＳプラットフォームなどを提供するコンピューター装置である。また、サーバー装置３は、様々なユーザーの投稿情報を保存するデータベースでもある。 The server device 3 is a computer device that provides various search services such as route search, image search, and information search, an SNS platform, and the like. The server device 3 is also a database that stores post information of various users.
本実施形態において、眼鏡型ウェアラブル端末１は、印刷物５に電子化文書と同様のユーザーインタラクションを導入する。すなわち、ユーザーは、眼鏡型ウェアラブル端末１を装着して印刷物５を見ることで印刷物５を電子化文書のように取り扱うことができる。そのために眼鏡型ウェアラブル端末１は次のような構成を有する。 In the present embodiment, the glasses-type wearable terminal 1 introduces the same user interaction as that of the digitized document into the printed material 5. That is, the user can handle the printed material 5 like an electronic document by wearing the glasses-type wearable terminal 1 and viewing the printed material 5. Therefore, the glasses-type wearable terminal 1 has the following configuration.
図２は、眼鏡型ウェアラブル端末１の主要内部構成を示す機能ブロック図である。眼鏡型ウェアラブル端末１は、制御部１０１、表示部１０２、撮像部１０３、通信部１０４、メモリー１０５、画像データ特定部１０６、指先端位置特定部１０７、文字特定部１０８、情報検索部１０９、表示制御部１１０、及び指ジェスチャー特定部１１１を備える。これら構成要素は、内部バス１１３で互いに接続されている。 FIG. 2 is a functional block diagram showing the main internal configuration of the glasses-type wearable terminal 1. The glasses-type wearable terminal 1 includes a control unit 101, a display unit 102, an imaging unit 103, a communication unit 104, a memory 105, an image data specifying unit 106, a finger tip position specifying unit 107, a character specifying unit 108, an information searching unit 109, a display A control unit 110 and a finger gesture specifying unit 111 are provided. These components are connected to each other by an internal bus 113.
制御部１０１は、眼鏡型ウェアラブル端末１の全体的な動作制御を司る。 The control unit 101 governs overall operation control of the glasses-type wearable terminal 1.
表示部１０２は、ユーザーによる視認が可能に映像を表示する。本実施形態では、表示部１０２を、ユーザーの網膜に映像を投影するデバイス（投影装置）からなるものとする。表示部１０２が、ユーザーの網膜に映像を投影することにより、眼鏡型ウェアラブル端末１で生成された映像を仮想現実としてユーザーの目の前に表示する。 The display unit 102 displays an image that can be viewed by the user. In the present embodiment, it is assumed that the display unit 102 includes a device (projection apparatus) that projects an image on the retina of the user. The display unit 102 projects an image on the user's retina, thereby displaying the image generated by the glasses-type wearable terminal 1 in front of the user as virtual reality.
撮像部１０３は、ユーザーの視界映像を撮像するデバイスであり、例えば、小型ＣＣＤカメラである。 The imaging unit 103 is a device that captures a user's field of view image, and is, for example, a small CCD camera.
通信部１０４は、複合機２やサーバー装置３などの他の機器と無線通信するデバイスである。無線通信方式として、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）などが利用可能である。 The communication unit 104 is a device that wirelessly communicates with other devices such as the multifunction device 2 and the server device 3. As a wireless communication system, a wireless LAN, Bluetooth (registered trademark), ZigBee (registered trademark), or the like can be used.
メモリー１０５は、ＲＯＭやフラッシュメモリーなどの不揮発性メモリーと、ＲＡＭなどの揮発性メモリーとを含むデバイスである。メモリー１０５は、眼鏡型ウェアラブル端末１の動作プログラムを保持する。 The memory 105 is a device that includes a nonvolatile memory such as a ROM or a flash memory and a volatile memory such as a RAM. The memory 105 holds an operation program for the glasses-type wearable terminal 1.
画像データ特定部１０６は、画像データ保存装置２３に保存されたテキスト付き画像データのうち、撮像部１０３により撮像された視界映像に写った印刷物５、すなわち、ユーザーが今見ている印刷物５に対応するテキスト付き画像データを特定する。例えば、画像データ特定部１０６は、パターンマッチング技術を用いて、撮像部１０３による印刷物の撮像で得られた画像データと、画像データ保存装置２３に保存されたテキスト付き画像データとを対比して、撮像部１０３による印刷物の撮像で得られた画像データに最も近似するテキスト付き画像データを特定する。 The image data specifying unit 106 corresponds to the printed material 5 captured in the field-of-view image captured by the imaging unit 103 among the image data with text stored in the image data storage device 23, that is, the printed material 5 that the user is currently viewing. Specify image data with text. For example, the image data specifying unit 106 uses the pattern matching technique to compare the image data obtained by imaging the printed matter by the imaging unit 103 with the image data with text stored in the image data storage device 23, and The image data with text closest to the image data obtained by imaging the printed matter by the imaging unit 103 is specified.
指先端位置特定部１０７は、撮像部１０３により撮像された視界映像に写った印刷物５の上に置かれた指の先端位置を特定する。すなわち、指先端位置特定部１０７は、ユーザーが今見ている印刷物５において任意の箇所を指で指し示したとき、その指の先端位置を特定する。具体的には、指先端位置特定部１０７は、例えばパターンマッチング技術により、画像データ保存装置２３に記憶されている上記各種の電車路線図及び地図等の画像データの中から、撮像部１０３により撮像された視界映像に写った、上記指の先端を含む印刷物５の画像データに近似する画像データを検出する。そして、指先端位置特定部１０７は、当該検出した画像データと、上記指の先端を含む印刷物５の画像データとで相違する画像データ部分を抽出し、当該抽出した画像データ部分の印刷物５における位置を、印刷物５の上に置かれた指の先端位置として特定する。 The finger tip position specifying unit 107 specifies the tip position of the finger placed on the printed matter 5 shown in the field-of-view image captured by the imaging unit 103. That is, the finger tip position specifying unit 107 specifies the tip position of the finger when the user points to an arbitrary place on the printed matter 5 that is being viewed. Specifically, the finger tip position specifying unit 107 captures an image by the image capturing unit 103 from the image data such as the above various train route maps and maps stored in the image data storage device 23 by, for example, pattern matching technology. The image data approximate to the image data of the printed matter 5 including the tip of the finger, which is reflected in the view field image, is detected. Then, the finger tip position specifying unit 107 extracts an image data portion that is different between the detected image data and the image data of the printed matter 5 including the tip of the finger, and the position of the extracted image data portion in the printed matter 5 is extracted. Is specified as the tip position of the finger placed on the printed matter 5.
文字特定部１０８は、画像データ特定部１０６により特定されたテキスト付き画像データにおいて、指先端位置特定部１０７により特定された指の先端位置に配置されているテキストデータが示す文字を特定する。 The character specifying unit 108 specifies the character indicated by the text data arranged at the tip position of the finger specified by the finger tip position specifying unit 107 in the image data with text specified by the image data specifying unit 106.
情報検索部１０９は、文字特定部１０８により特定された文字を検索キーとして、通信部１０４及びネットワーク４を通じてサーバー装置３にアクセスして情報検索を行う。また、情報検索部１０９は、下記の仮想のグラフィカルユーザーインターフェース（仮想ＧＵＩ）に対するユーザー操作に応じて情報検索を行う。 The information search unit 109 searches the information by accessing the server device 3 through the communication unit 104 and the network 4 using the character specified by the character specifying unit 108 as a search key. In addition, the information search unit 109 performs information search according to a user operation on the following virtual graphical user interface (virtual GUI).
表示制御部１１０は、表示部１０２に映像を表示させて、ユーザーの視界内に仮想現実を表示させる。具体的には、表示制御部１１０は、情報検索部１０９による検索結果を表示部１０２に表示させたり、仮想ＧＵＩを表示部１０２に表示させたりする。 The display control unit 110 displays an image on the display unit 102 and displays virtual reality in the user's field of view. Specifically, the display control unit 110 displays the search result by the information search unit 109 on the display unit 102 or displays the virtual GUI on the display unit 102.
指ジェスチャー特定部１１１は、撮像部１０３により撮像された視界映像に写った指のジェスチャーを特定する。具体的には、指ジェスチャー特定部１１１は、予め定められた一般的に指の画像との対比や、撮像部１０３により直前に撮像された画像との対比により、指の本数、指の動き、指の向き、指の移動方向などを検出して、指のジェスチャーを特定する。本実施形態では、この指ジェスチャーにより複雑な検索条件を指定することができる。 The finger gesture specifying unit 111 specifies a finger gesture shown in the view field image captured by the imaging unit 103. Specifically, the finger gesture specifying unit 111 determines the number of fingers, the movement of the finger, the comparison with a predetermined image of a finger in general and the image captured immediately before by the imaging unit 103, A finger gesture is detected by detecting a finger direction, a finger moving direction, and the like. In this embodiment, a complicated search condition can be specified by this finger gesture.
なお、画像データ特定部１０６、指先端位置特定部１０７、文字特定部１０８、情報検索部１０９、表示制御部１１０、及び指ジェスチャー特定部１１１は、専用のハードウェア回路で実現できる他、コンピュータープログラムとしてメモリー１０５に記憶しておき、図略のＣＰＵによってメモリー１０５から読み出されて実行されるように実現することもできる。 The image data specifying unit 106, the finger tip position specifying unit 107, the character specifying unit 108, the information searching unit 109, the display control unit 110, and the finger gesture specifying unit 111 can be realized by a dedicated hardware circuit or a computer program. Can be stored in the memory 105 and read out from the memory 105 and executed by a CPU (not shown).
次に、眼鏡型ウェアラブル端末１を用いた情報検索について説明する。図３は、眼鏡型ウェアラブル端末１の動作例を示すフローチャートである。以下、印刷物５として図４に示したような路線図を使用し、紙媒体の路線図を参照して経路探索を行う例について説明する。なお、印刷物５は、書籍のページでもよいし、ハードコピーでもよい。 Next, information search using the glasses-type wearable terminal 1 will be described. FIG. 3 is a flowchart illustrating an operation example of the glasses-type wearable terminal 1. Hereinafter, an example in which the route search as shown in FIG. 4 is used as the printed matter 5 and the route search is performed with reference to the route map of the paper medium will be described. The printed matter 5 may be a book page or a hard copy.
ユーザーが眼鏡型ウェアラブル端末１を装着することで撮像部１０３はユーザーの視界映像を撮像する（Ｓ１１）。ユーザーが印刷物５を見ることで、視界映像に印刷物５が写り込む。 When the user wears the glasses-type wearable terminal 1, the imaging unit 103 captures the user's view image (S11). When the user views the printed matter 5, the printed matter 5 is reflected in the field of view image.
画像データ特定部１０６は、撮像部１０３により撮像された視界映像において印刷物５を認識し、画像データ保存装置２３に保存されたテキスト付き画像データと、視界映像から認識した印刷物５の当該画像とを比較して、画像データ保存装置２３に保存されたテキスト付き画像データのうちユーザーが今見ている印刷物５に対応する画像データを特定する（Ｓ１２）。なお、テキスト付き画像データの特定処理に先だって、ユーザーが複合機２に印刷物５を読み取らせてそのテキスト付き画像データが画像データ保存装置２３に保存されているものとする。 The image data specifying unit 106 recognizes the printed matter 5 in the field-of-view video captured by the imaging unit 103, and stores the image data with text stored in the image data storage device 23 and the image of the printed matter 5 recognized from the field-of-view video. In comparison, the image data corresponding to the printed matter 5 that the user is currently viewing is specified from the image data with text stored in the image data storage device 23 (S12). It is assumed that, prior to the process of specifying image data with text, the user reads the printed product 5 from the multifunction machine 2 and the image data with text is stored in the image data storage device 23.
指先端位置特定部１０７は、撮像部１０３により撮像された視界映像において印刷物５を認識し、その上に置かれた指を認識し、その指の先端位置を特定する（Ｓ１３）。 The finger tip position specifying unit 107 recognizes the printed material 5 in the field-of-view image captured by the imaging unit 103, recognizes the finger placed thereon, and specifies the tip position of the finger (S13).
図５は、図４の路線図（印刷物５）上で出発地を指定しているときに眼鏡型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。図４の路線図（印刷物）を用いて経路探索を行う場合、表示制御部１１０が表示部１０２に仮想ＧＵＩ１１を表示させることで、図５に示すようにユーザーには仮想ＧＵＩ１１が仮想現実として見える。ここで例えば、ユーザーは出発地を指定するために今見ている印刷物５において左手２０１の指２０２（人差し指）で「天王寺駅」の画像部分ｄ１１を指し示しているものとする。このとき、指先端位置特定部１０７は、撮像部１０３により撮像された視界映像に写った印刷物５において「天王寺駅」の画像部分ｄ１１に指２０２の先端があると特定する。 FIG. 5 is a diagram showing the field of view of the user visually recognized through the glasses-type wearable terminal 1 when the departure place is designated on the route map (printed matter 5) in FIG. When a route search is performed using the route map (printed material) in FIG. 4, the display control unit 110 displays the virtual GUI 11 on the display unit 102, so that the user can see the virtual GUI 11 as virtual reality as shown in FIG. . Here, for example, it is assumed that the user points the image portion d11 of “Tennoji Station” with the finger 202 (index finger) of the left hand 201 in the printed material 5 that is being viewed in order to specify the departure place. At this time, the finger tip position specifying unit 107 specifies that the tip of the finger 202 is in the image portion d11 of “Tennoji Station” in the printed matter 5 that is captured in the field-of-view image captured by the imaging unit 103.
指先端位置特定部１０７が指２０２の先端位置を特定すると、文字特定部１０８は、画像データ特定部１０６により特定されたテキスト付き画像データを参照して、指先端位置特定部１０７により特定された指２０２の先端位置において指２０２で隠された文字を特定する（Ｓ１４）。例えば、図４の路線図を複合機２で読み取って生成されたテキスト付き画像データにおいて、「天王寺駅」の画像部分ｄ１１には「天王寺」というテキストデータが重畳されている。従って、図５に示すようにユーザーが印刷物５中の天王寺駅を指２０２で指し示している場合、文字特定部１０８は、テキスト付き画像データを参照して指２０２の先端位置において指２０２で隠された文字が「天王寺」という駅名であると特定することができる。 When the finger tip position specifying unit 107 specifies the tip position of the finger 202, the character specifying unit 108 refers to the text-added image data specified by the image data specifying unit 106 and is specified by the finger tip position specifying unit 107. A character hidden by the finger 202 at the tip position of the finger 202 is specified (S14). For example, in the image data with text generated by reading the route map of FIG. 4 with the multifunction device 2, the text data “Tennoji” is superimposed on the image portion d11 of “Tennoji Station”. Therefore, as shown in FIG. 5, when the user points to Tennoji Station in the printed material 5 with the finger 202, the character specifying unit 108 is hidden by the finger 202 at the tip position of the finger 202 with reference to the image data with text. Can be identified as the station name "Tennoji".
文字特定部１０８により文字（ここでは駅名）が特定されると、指ジェスチャー特定部１１１は、撮像部１０３により撮像された視界映像に写った指のジェスチャーを特定する（Ｓ１５）。図５の場合、指ジェスチャー特定部１１１は、１本指で印刷物５上の任意の箇所を指し示していると特定する。 When a character (here, a station name) is specified by the character specifying unit 108, the finger gesture specifying unit 111 specifies a finger gesture shown in the view field image captured by the imaging unit 103 (S15). In the case of FIG. 5, the finger gesture identification unit 111 identifies that one finger is pointing to an arbitrary place on the printed matter 5.
情報検索部１０９は、文字特定部１０８及び指ジェスチャー特定部１１１の結果を受けて検索条件を設定する（Ｓ１６）。図５の場合、情報検索部１０９は、天王寺駅を経路探索の出発地として設定する。 The information search unit 109 sets search conditions based on the results of the character specifying unit 108 and the finger gesture specifying unit 111 (S16). In the case of FIG. 5, the information search unit 109 sets Tennoji Station as a starting point for route search.
この時点においてまだ目的地が指定されていないため、情報検索部１０９は経路探索を開始せずに（Ｓ１７でＮＯ）、処理はステップＳ１３に戻って目的地の指定待ちとなる。 Since the destination has not yet been specified at this point, the information search unit 109 does not start the route search (NO in S17), and the process returns to step S13 and waits for the designation of the destination.
図６は、図４の路線図上で目的地を指定しているときに眼鏡型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。図４の路線図を用いて経路探索を行う場合、表示制御部１１０が表示部１０２に仮想ＧＵＩ１２を表示させることで、図６に示すようにユーザーには仮想ＧＵＩ１２が仮想現実として見える。ここで例えば、ユーザーは目的地を指定するために今見ている印刷物５において左手２０１の指２０２（人差し指）と指２０３（中指）で「大阪駅」の画像部分ｄ１２を指し示しているものとする。このとき、指先端位置特定部１０７は、撮像部１０３により撮像された視界映像に写った印刷物５において「大阪駅」の画像部分ｄ１２に指２０２及び２０３の先端があると特定する。 FIG. 6 is a diagram showing the field of view of the user visually recognized through the glasses-type wearable terminal when the destination is designated on the route map of FIG. When the route search is performed using the route map of FIG. 4, the display control unit 110 displays the virtual GUI 12 on the display unit 102, so that the user can see the virtual GUI 12 as a virtual reality as illustrated in FIG. 6. Here, for example, it is assumed that the user points to the image portion d12 of “Osaka Station” with the finger 202 (index finger) and the finger 203 (middle finger) of the left hand 201 in the printed material 5 currently being viewed in order to specify the destination. At this time, the finger tip position specifying unit 107 specifies that the tips of the fingers 202 and 203 are in the image portion d12 of “Osaka Station” in the printed material 5 captured in the view image captured by the imaging unit 103.
指先端位置特定部１０７が指２０２及び２０３の先端位置を特定すると、文字特定部１０８は、画像データ特定部１０６により特定されたテキスト付き画像データを参照して、指先端位置特定部１０７により特定された指２０２及び２０３の先端位置において指２０２及び２０３で隠された文字を特定する（Ｓ１４）。例えば、図４の路線図を複合機２で読み取って生成されたテキスト付き画像データにおいて「大阪駅」の画像部分には「大阪」というテキストデータが重畳されている。従って、図６に示すようにユーザーが印刷物５中の「大阪駅」を指２０２及び２０３で指し示している場合、文字特定部１０８は、テキスト付き画像データを参照して指２０２及び２０３の先端位置において指２０２及び２０３で隠された文字が「大阪」という駅名であると特定することができる。 When the finger tip position specifying unit 107 specifies the tip positions of the fingers 202 and 203, the character specifying unit 108 refers to the image data with text specified by the image data specifying unit 106 and specifies the finger tip position specifying unit 107. Characters hidden by the fingers 202 and 203 at the tip positions of the fingers 202 and 203 are identified (S14). For example, text data “Osaka” is superimposed on the image portion of “Osaka Station” in the image data with text generated by reading the route map of FIG. Therefore, as shown in FIG. 6, when the user points “Osaka Station” in the printed material 5 with the fingers 202 and 203, the character specifying unit 108 refers to the image data with text and positions the tips of the fingers 202 and 203. The character hidden by the fingers 202 and 203 can be identified as the station name “Osaka”.
文字特定部１０８により文字（ここでは駅名）が特定されると、指ジェスチャー特定部１１１は、撮像部１０３により撮像された視界映像に写った指のジェスチャーを特定する（Ｓ１５）。図６の場合、指ジェスチャー特定部１１１は、２本指で印刷物５上の任意の箇所を指し示していると特定する。文字特定部１０８は、当該指ジェスチャー特定部１１１による特定結果に基づいて、１本指で指し示された位置について特定された文字が出発地を示し、２本指で指し示された位置について特定された文字が目的地を示すものとして特定する。 When a character (here, a station name) is specified by the character specifying unit 108, the finger gesture specifying unit 111 specifies a finger gesture shown in the view field image captured by the imaging unit 103 (S15). In the case of FIG. 6, the finger gesture specifying unit 111 specifies that an arbitrary portion on the printed matter 5 is indicated with two fingers. Based on the result of identification by the finger gesture identification unit 111, the character identification unit 108 identifies the character identified for the position pointed to by one finger, and identifies the position pointed to by two fingers. The identified characters are identified as indicating the destination.
情報検索部１０９は、文字特定部１０８及び指ジェスチャー特定部１１１の結果を受けて検索条件を設定する（Ｓ１６）。本実施形態では、情報検索部１０９は、「天王寺駅」を経路探索の出発地として設定し、「大阪駅」を経路探索の目的地として検索条件を設定する。 The information search unit 109 sets search conditions based on the results of the character specifying unit 108 and the finger gesture specifying unit 111 (S16). In the present embodiment, the information search unit 109 sets “Tennoji Station” as the starting point of the route search and sets search conditions with “Osaka Station” as the destination of the route search.
経路探索の出発地と目的地が指定されると、表示制御部１１０は、表示部１０２に仮想ＧＵＩ１３を表示させる（図６）。仮想ＧＵＩ１３においてユーザーにより指定された出発地と目的地が表示され、また、検索開始ボタン１４が含まれている。情報検索部１０９は、ユーザーが検索開始ボタン１４を押す操作を検知すると（Ｓ１７でＹＥＳ）、経路探索を実行する（Ｓ１８）。具体的には、情報検索部１０９は、通信部１０４及びネットワーク４を通じて、経路探索サービスを提供するサーバー装置３にアクセスし、出発地及び目的地をサーバー装置３に送信する。サーバー装置３は、与えられた条件で経路を探索してその結果を眼鏡型ウェアラブル端末１に送信する。 When the starting point and the destination of the route search are designated, the display control unit 110 displays the virtual GUI 13 on the display unit 102 (FIG. 6). The starting point and destination designated by the user in the virtual GUI 13 are displayed, and a search start button 14 is included. When the information search unit 109 detects that the user presses the search start button 14 (YES in S17), the information search unit 109 executes a route search (S18). Specifically, the information search unit 109 accesses the server device 3 that provides the route search service through the communication unit 104 and the network 4, and transmits the departure point and the destination to the server device 3. The server device 3 searches for a route under given conditions and transmits the result to the glasses-type wearable terminal 1.
なお、出発地及び目的地が指定されてから検索開始ボタン１４が一定時間以上押されなかった場合には、情報検索部１０９は自動的に経路探索を開始するようにしてもよい。 Note that if the search start button 14 has not been pressed for a certain period of time after the departure point and destination are specified, the information search unit 109 may automatically start a route search.
表示制御部１１０は、サーバー装置３から通信部１０４及びネットワーク４を通じて受信した検索結果を表示部１０２に表示させる（Ｓ１９）。図７は、経路探索完了時に眼鏡型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。経路探索結果は仮想ＧＵＩ１５として表示される。 The display control unit 110 displays the search result received from the server device 3 through the communication unit 104 and the network 4 on the display unit 102 (S19). FIG. 7 is a diagram showing the field of view of the user visually recognized through the glasses-type wearable terminal 1 when the route search is completed. The route search result is displayed as a virtual GUI 15.
また、情報検索部１０９は、経路探索に付随して他人の投稿情報を検索してユーザーに提示するようにしてもよい。例えば、表示制御部１１０は、図７に示したように、経路探索結果を示す仮想ＧＵＩ１５におすすめ情報ボタン１６を設けておく。情報検索部１０９は、ユーザーがおすすめ情報ボタン１６を押す操作を検知すると、通信部１０４及びネットワーク４を通じて、投稿情報を保存するサーバー装置３にアクセスし、サーバー装置３から他人によるおすすめの乗り方やホテル情報やその他コメントなどの各種情報を取得する。そして、表示制御部１１０は、サーバー装置３から取得した各種情報を表示部１０２に表示させる。図８は、各種情報取得時に眼鏡型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。例えば、仮想ＧＵＩ１７により、上記各種情報がユーザーに提示される。 Further, the information search unit 109 may search for other people's post information accompanying the route search and present it to the user. For example, as illustrated in FIG. 7, the display control unit 110 provides a recommendation information button 16 on the virtual GUI 15 that indicates a route search result. When the information search unit 109 detects that the user presses the recommended information button 16, the information search unit 109 accesses the server device 3 that stores the posted information through the communication unit 104 and the network 4, and recommends how to ride by others from the server device 3. Acquire various information such as hotel information and other comments. Then, the display control unit 110 causes the display unit 102 to display various information acquired from the server device 3. FIG. 8 is a diagram showing the field of view of the user visually recognized through the glasses-type wearable terminal 1 when various types of information are acquired. For example, the various types of information are presented to the user by the virtual GUI 17.
以上のように本実施形態によれば、眼鏡型ウェアラブル端末１を使用してユーザーが印刷物５を視認する場合において、紙媒体としての印刷物５に示された情報に基づいて、インターネット検索やコンピューター技術の活用が容易に可能になる。これにより、印刷物５に電子化文書と同様なユーザーインタラクションを導入して、印刷物５を用いて様々な情報検索ができるようになる。 As described above, according to the present embodiment, when the user visually recognizes the printed matter 5 using the glasses-type wearable terminal 1, the Internet search or computer technology is performed based on the information indicated on the printed matter 5 as a paper medium. Can be easily used. As a result, the same user interaction as that of the electronic document is introduced into the printed material 5, and various information searches can be performed using the printed material 5.
なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。例えば、図６に示した経路探索において経由地も指定できるようにしてもよい。また、図７に示した経路探索結果において各経路の料金を表示するようにしてもよい。また、上記説明では経路探索において出発地を先に指定して目的地を後で指定するとしたが、出発地及び目的地は指ジェスチャーで特定することができるため、指定順序は任意である。また、上記説明では１枚の路線図で出発地及び目的地を指定するとしたが、出発地と目的地をそれぞれ別の路線図で指定することも可能である。すなわち、ユーザーの目の前に複数の路線図を同時に広げてもよいし、出発地及び目的地で路線図を差し替えるようにしてもよい。 The present invention is not limited to the configuration of the above embodiment, and various modifications can be made. For example, the waypoint may be designated in the route search shown in FIG. Further, the charge for each route may be displayed in the route search result shown in FIG. In the above description, the starting point is specified first in the route search and the destination is specified later. However, since the starting point and the destination can be specified by a finger gesture, the specifying order is arbitrary. In the above description, the starting point and the destination are designated by one route map. However, the starting point and the destination can be designated by different route maps. That is, a plurality of route maps may be spread at the same time in front of the user, or the route maps may be replaced at the departure point and the destination.
路線図によっては主要駅しか印刷されていないことがある。そのような場合には路線図上で主要駅間を指で指し示すことで、路線図に表示されていない駅を検索してユーザーに提示することができる。 Depending on the route map, only the main station may be printed. In such a case, by pointing between major stations with a finger on the route map, a station not displayed on the route map can be searched and presented to the user.
なお、図１乃至図８を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。 The configuration and processing shown in the above embodiment using FIGS. 1 to 8 are only one embodiment of the present invention, and the present invention is not limited to the configuration and processing.
１ 眼鏡型ウェアラブル端末
２１ イメージスキャナー
２２ ＯＣＲ装置
２３ 画像データ保存装置
３ サーバー装置
５ 印刷物
１０２ 表示部
１０３ 撮像部
１０６ 画像データ特定部
１０７ 指先端位置特定部
１０８ 文字特定部
１０９ 情報検索部
１１０ 表示制御部
１１１ 指ジェスチャー特定部
DESCRIPTION OF SYMBOLS 1 Glasses type wearable terminal 21 Image scanner 22 OCR apparatus 23 Image data storage apparatus 3 Server apparatus 5 Printed matter 102 Display part 103 Imaging part 106 Image data specific part 107 Finger tip position specific part 108 Character specific part 109 Information search part 110 Display control part 111 finger gesture identification part
Claims (6)
印刷物を光学的に読み取って前記印刷物の画像データを生成するイメージスキャナーと、
前記画像データ中の文字を認識して前記画像データに認識したテキストを重畳したテキスト付き画像データを生成するＯＣＲ装置と、
前記テキスト付き画像データを保存する画像データ保存装置とを備え、
前記眼鏡型ウェアラブル端末は、
表示部と、前記表示部の投影映像の表示を制御して、ユーザーによる視認が可能にユーザーの視界に映像を重ねて前記表示部に表示させる表示制御部と、ユーザーの視界映像を撮像する撮像部と、前記画像データ保存装置に保存されたテキスト付き画像データのうち前記視界映像に写った印刷物に対応するテキスト付き画像データを特定する画像データ特定部と、前記視界映像に写った印刷物の上に置かれた指の先端位置を特定する指先端位置特定部と、前記特定されたテキスト付き画像データを参照して前記特定された指の先端位置において指で隠された文字を特定する文字特定部と、前記特定された文字を検索キーとして情報検索を行う情報検索部とを有し、
前記表示制御部は、前記情報検索部による検索結果を前記表示部に表示させる印刷物処理システム。 Glasses-type wearable terminal,
An image scanner that optically reads a printed material to generate image data of the printed material;
An OCR device that recognizes characters in the image data and generates image data with text in which the recognized text is superimposed on the image data;
An image data storage device for storing the image data with text,
The glasses-type wearable terminal is
A display unit, a display control unit configured to control display of a projected image on the display unit and display the image on the display unit so that the user can visually recognize the image; An image data specifying unit that specifies image data with text corresponding to a printed matter that appears in the view image among the image data with text stored in the image data storage device, and an upper part of the printed matter that appears in the view image A finger tip position specifying unit that specifies a tip position of the finger placed on the character, and a character specification that specifies a character hidden by the finger at the tip position of the specified finger with reference to the specified image data with text And an information search unit for performing an information search using the specified character as a search key,
The display control unit is a printed matter processing system that causes the display unit to display a search result by the information search unit.
前記情報検索部は、前記グラフィカルユーザーインターフェースに対するユーザー操作に応じて情報検索を行う請求項１に記載の印刷物処理システム。 The display control unit displays a predetermined virtual graphical user interface on the display unit,
The printed material processing system according to claim 1, wherein the information search unit performs information search in response to a user operation on the graphical user interface.
前記文字特定部は駅名を特定する請求項１に記載の印刷物処理システム。 The printed matter is a route map,
The printed matter processing system according to claim 1, wherein the character specifying unit specifies a station name.
前記文字特定部は、前記指ジェスチャー特定部により特定された指ジェスチャーに応じて出発地、目的地及び経由地を特定し、
前記情報検索部は、検索サービスを提供するサーバー装置にアクセスして、前記特定された出発地、目的地及び経由地を条件に経路を探索する請求項３に記載の印刷物処理システム。 The glasses-type wearable terminal has a finger gesture specifying unit that specifies a finger gesture shown in the view image,
The character specifying unit specifies a starting point, a destination, and a waypoint according to the finger gesture specified by the finger gesture specifying unit;
The printed matter processing system according to claim 3, wherein the information search unit accesses a server device that provides a search service and searches for a route on the condition of the specified starting point, destination, and waypoint.
前記表示制御部は、前記情報検索部が取得した情報を前記表示部に表示させる請求項４に記載の印刷物処理システム。 The information search unit obtains information related to a route by accessing a server device that stores post information,
The printed matter processing system according to claim 4, wherein the display control unit causes the display unit to display information acquired by the information search unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155067A JP6561938B2 (en) | 2016-08-05 | 2016-08-05 | Print processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155067A JP6561938B2 (en) | 2016-08-05 | 2016-08-05 | Print processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018022453A true JP2018022453A (en) | 2018-02-08 |
| JP6561938B2 JP6561938B2 (en) | 2019-08-21 |
Family
ID=61164522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016155067A Expired - Fee Related JP6561938B2 (en) | 2016-08-05 | 2016-08-05 | Print processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6561938B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11694242B2 (en) | 2018-12-19 | 2023-07-04 | Mercari, Inc. | Wearable terminal, information processing terminal, and product information display method |
-
2016
- 2016-08-05 JP JP2016155067A patent/JP6561938B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11694242B2 (en) | 2018-12-19 | 2023-07-04 | Mercari, Inc. | Wearable terminal, information processing terminal, and product information display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6561938B2 (en) | 2019-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339383B2 (en) | Method and system for providing augmented reality contents by using user editing image | |
| WO2017118075A1 (en) | Human-machine interaction system, method and apparatus | |
| US9111255B2 (en) | Methods, apparatuses and computer program products for determining shared friends of individuals | |
| JP6446766B2 (en) | Program, display control device, recording medium, and display control system | |
| EP3159808A1 (en) | Address book based picture matching method and terminal | |
| CN104537339A (en) | Information identification method and information identification system | |
| WO2022001600A1 (en) | Information analysis method, apparatus, and device, and storage medium | |
| JP2018112802A (en) | Information providing apparatus | |
| US20180115681A1 (en) | Display system | |
| JP2017228177A (en) | Server device, terminal device, information processing method, and program | |
| JP2018107485A (en) | Authentication setting system and image formation apparatus | |
| JP6253354B2 (en) | Form reading device, program, and form reading system | |
| JP2013255014A (en) | Image processing system, imaging apparatus and server apparatus | |
| JP2017045181A (en) | Image processing apparatus, image forming apparatus, image processing method, and control program | |
| US20110305406A1 (en) | Business card recognition system | |
| JP6561938B2 (en) | Print processing system | |
| KR101477642B1 (en) | Flat board printer | |
| JP2017182647A (en) | Book system having real book and electronic book coordinated | |
| JP2016158108A (en) | Head-mounted display device, information processing system, and information processing method | |
| JP2015204035A (en) | Content display device and control program thereof | |
| JP2015069496A (en) | Business card information management system, image forming apparatus, and business card information management method | |
| JP6155893B2 (en) | Image processing apparatus and program | |
| JP2007011762A (en) | Area extraction apparatus and area extraction method | |
| JP6790396B2 (en) | Information processing equipment, information processing system, service processing execution control method and program | |
| JP2019040401A (en) | Information management device, information management system, and information management method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190708 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6561938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |