JP2018097580A - Information processing device and program - Google Patents
Information processing device and program Download PDFInfo
- Publication number
- JP2018097580A JP2018097580A JP2016241184A JP2016241184A JP2018097580A JP 2018097580 A JP2018097580 A JP 2018097580A JP 2016241184 A JP2016241184 A JP 2016241184A JP 2016241184 A JP2016241184 A JP 2016241184A JP 2018097580 A JP2018097580 A JP 2018097580A
- Authority
- JP
- Japan
- Prior art keywords
- related information
- information
- image
- displayed
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報処理装置およびプログラムに関する。 The present invention relates to an information processing apparatus and a program.
特許文献１には、ＣＣＤカメラ等を介して取得された、物、操作者の行動、動作、周囲の状況等を含むイベント情報を取得し、そのイベント情報を認識して、その認識内容に対応する関連情報を提供・配信する情報配信装置が開示されている。 Patent Document 1 acquires event information including an object, an operator's action, action, and surrounding situation acquired through a CCD camera or the like, recognizes the event information, and responds to the recognized contents An information distribution apparatus that provides and distributes related information is disclosed.
特許文献２には、ユーザの嗜好に応じたコンテンツの再生リストを作成する情報処理システムが開示されている。 Patent Document 2 discloses an information processing system that creates a content reproduction list according to user preferences.
特許文献３には、カメラにより撮影された画像データから抽出された特徴点と、位置情報に基づいて決定された物体モデルデータベースに記述されている各物体における特徴とを照合し、特徴点が最も近似する物体の名称等のその物体に関する情報を表示するようにした物体認識装置が開示されている。 In Patent Document 3, a feature point extracted from image data captured by a camera is collated with a feature of each object described in an object model database determined based on position information. An object recognition apparatus that displays information about an object such as the name of the object to be approximated is disclosed.
本発明の目的は、対象物を撮像して、その対象物に関する関連情報を表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能な情報処理装置およびプログラムを提供することである。 The object of the present invention is to capture the object and display the related information related to the object as compared with the case where the same related information is displayed for any user. It is an object to provide an information processing apparatus and program capable of displaying related information preferentially.
［情報処理装置］
請求項１に係る本発明は、実空間の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から、対象物の画像を抽出する抽出手段と、
前記抽出手段により画像が抽出された対象物に関連する複数の関連情報を、前記撮像手段により撮像された画像中に重ねて表示する表示手段と、
前記表示手段により表示された複数の関連情報に対する選択および削除指示を受付ける受付手段と、
前記受付手段により受付けた選択および削除指示の履歴情報に基づいて、前記表示手段に表示させる関連情報の優先順位を制御する表示制御手段とを備えた情報処理装置である。
[Information processing device]
The present invention according to claim 1 is an imaging unit that captures an image of real space;
Extraction means for extracting an image of an object from an image captured by the imaging means;
Display means for displaying a plurality of related information related to the object from which the image has been extracted by the extraction means, superimposed on the image captured by the imaging means;
Accepting means for accepting selection and deletion instructions for a plurality of related information displayed by the display means;
An information processing apparatus comprising: display control means for controlling priority of related information to be displayed on the display means based on selection and deletion instruction history information accepted by the accepting means.
請求項２に係る本発明は、前記表示制御手段が、前記抽出手段により抽出された対象物と同一の対象物が過去に抽出されている場合、当該対象物の画像に対して重ねて表示した複数の関連情報のうち前記受付手段により削除指示が受付けられた関連情報は表示されないよう前記表示手段を制御する請求項１記載の情報処理装置である。 In the present invention according to claim 2, when the same object as the object extracted by the extracting means has been extracted in the past, the display control means displays the image superimposed on the image of the object. The information processing apparatus according to claim 1, wherein the display unit is controlled so as not to display related information for which a deletion instruction is received by the receiving unit among a plurality of related information.
請求項３に係る本発明は、前記表示手段が、複数の関連情報を奥行があるように表示し、対象物との関連性が高い関連情報ほど手前側となるとなるように表示する請求項１又は２記載の情報処理装置である。 According to a third aspect of the present invention, the display means displays a plurality of related information so that there is a depth, and displays the related information having higher relevance to the object on the near side. Alternatively, the information processing apparatus according to 2.
請求項４に係る本発明は、前記表示手段が、複数の関連情報を関連内容に基づいて階層構造状に表示する請求項１又は２記載の情報処理装置である。 The present invention according to claim 4 is the information processing apparatus according to claim 1 or 2, wherein the display means displays a plurality of related information in a hierarchical structure based on the related contents.
請求項５に係る本発明は、前記撮像手段により撮像された画像中に複数の対象物の画像が含まれる場合、前記表示手段は、各対象物の関連情報を当該対象物の周囲に表示するとともに、前記撮像手段からの物理的距離が近い対象物ほど階層数が多くなるように表示する請求項４記載の情報処理装置である。 According to the fifth aspect of the present invention, when an image of a plurality of objects is included in the image captured by the imaging unit, the display unit displays related information of each object around the object. The information processing apparatus according to claim 4, wherein the information is displayed such that an object closer to the physical distance from the imaging unit has a higher number of layers.
請求項６に係る本発明は、前記対象物が紙文書であり、
前記抽出手段により抽出された紙文書の画像中の文字情報を認識して、認識された文字情報を用いて当該紙文書に関連する関連情報を検索する検索手段をさらに備え、
前記表示手段は、前記検索手段により検索された複数の関連情報を表示する請求項１から５のいずれか記載の情報処理装置である。
In the present invention according to claim 6, the object is a paper document,
Recognizing character information in the image of the paper document extracted by the extraction means, and further comprising search means for searching for related information related to the paper document using the recognized character information,
The information processing apparatus according to claim 1, wherein the display unit displays a plurality of related information searched by the search unit.
請求項７に係る本発明は、前記検索手段が、前記紙文書の種類に応じて、関連情報を検索する検索先の順序を変更する請求項６記載の情報処理装置である。 According to a seventh aspect of the present invention, there is provided the information processing apparatus according to the sixth aspect, wherein the search unit changes a search destination order for searching for related information according to a type of the paper document.
請求項８に係る本発明は、前記検索手段により当該紙文書の更新前の情報が検索された場合、前記表示手段は、更新内容が分かるように関連情報を表示する請求項６又は７記載の情報処理装置である。 The present invention according to claim 8 is the display device according to claim 6 or 7, wherein when the information before the update of the paper document is searched by the search means, the display means displays the related information so that the update contents can be understood. Information processing apparatus.
［プログラム］
請求項９に係る本発明は、実空間を撮像した画像から、対象物の画像を抽出する抽出ステップと、
前記抽出ステップにより画像が抽出された対象物に関連する複数の関連情報を、撮像された画像中に重ねて表示する表示ステップと、
前記表示ステップにおいて表示された複数の関連情報に対する選択および削除指示を受付ける受付ステップと、
前記受付ステップにおいて受付けた選択および削除指示の履歴情報に基づいて、前記表示ステップにおいて表示させる関連情報の優先順位を制御する表示制御ステップとをコンピュータに実行させるためのプログラムである。
[program]
The present invention according to claim 9 is an extraction step of extracting an image of an object from an image obtained by imaging a real space;
A display step of displaying a plurality of related information related to the object from which the image has been extracted by the extraction step in a superimposed manner in the captured image;
A receiving step for receiving selection and deletion instructions for a plurality of related information displayed in the display step;
A program for causing a computer to execute a display control step for controlling priority of related information to be displayed in the display step based on selection and deletion instruction history information received in the reception step.
請求項１に係る本発明によれば、対象物を撮像して、その対象物に関する関連情報を表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能な情報処理装置を提供することができる。 According to the first aspect of the present invention, when capturing an image of an object and displaying related information about the object, the same related information is displayed for any user. It is possible to provide an information processing apparatus capable of displaying related information that a user wants to know with priority.
請求項２に係る本発明によれば、同一の対象物を再度撮像した場合に、利用者が不要な関連情報を削除する手間を省くことが可能な情報処理装置を提供することができる。 According to the second aspect of the present invention, it is possible to provide an information processing apparatus that can save the user the trouble of deleting unnecessary related information when the same object is imaged again.
請求項３に係る本発明によれば、利用者が知りたい関連情報が手前側に表示される確率を向上させることが可能な情報処理装置を提供することができる。 According to the third aspect of the present invention, it is possible to provide an information processing apparatus capable of improving the probability that related information that the user wants to know is displayed on the near side.
請求項４に係る本発明によれば、利用者が複数の関連情報間の関係性を視覚的に把握することが可能な情報処理装置を提供することができる。 According to the present invention of claim 4, it is possible to provide an information processing apparatus that allows a user to visually grasp the relationship between a plurality of related information.
請求項５に係る本発明によれば、利用者が注目的している対象物ほど、より多くの関連情報を表示させることが可能な情報処理装置を提供することができる。 According to the fifth aspect of the present invention, it is possible to provide an information processing apparatus capable of displaying more relevant information as an object is attracting attention from the user.
請求項６に係る本発明によれば、紙文書を撮像して、その紙文書に関する関連情報を検索して表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能な情報処理装置を提供することができる。 According to the present invention of claim 6, when a paper document is imaged, and related information related to the paper document is retrieved and displayed, it is compared with a case where the same related information is displayed for any user. Thus, it is possible to provide an information processing apparatus capable of preferentially displaying related information that the user wants to know.
請求項７に係る本発明によれば、紙文書を撮像して、その紙文書に関する関連情報を検索して表示させる際に、紙文書の種類に関わらず決められた検索順序で検索する場合と比較して、関連性が高い関連情報が検索されるまでの時間を短縮することが可能な情報処理装置を提供することができる。 According to the seventh aspect of the present invention, when a paper document is imaged and related information related to the paper document is searched and displayed, the search is performed in a predetermined search order regardless of the type of the paper document. In comparison, it is possible to provide an information processing apparatus capable of shortening the time until related information with high relevance is searched.
請求項８に係る本発明によれば、紙文書を撮像して、その紙文書に関する関連情報を検索して表示させる際に、更新前の紙文書を単に表示する場合と比較して、紙文書の更新内容を容易に把握することが可能な情報処理装置を提供することができる。 According to the present invention of claim 8, when a paper document is imaged and related information relating to the paper document is retrieved and displayed, the paper document is compared with a case where the paper document before update is simply displayed. It is possible to provide an information processing apparatus capable of easily grasping the update contents of.
請求項９に係る本発明によれば、物体を撮像して、その物体に関する関連情報を表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能なプログラムを提供することができる。 According to the ninth aspect of the present invention, when an object is imaged and related information about the object is displayed, the user is compared with the case where the same related information is displayed for any user. It is possible to provide a program that can preferentially display related information that the user wants to know.
次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
図１は本発明の一実施形態の関連情報表示システムのシステム構成を示す図である。 FIG. 1 is a diagram showing a system configuration of a related information display system according to an embodiment of the present invention.
本発明の一実施形態の関連情報表示システムは、図１に示されるように、ネットワーク４０により相互に接続された文書管理サーバ２１、メールサーバ２２、検索サーバ２３および無線ＬＡＮターミナル３０と、スマートフォン、タブレット端末等の携帯端末装置１０とから構成されている。 As shown in FIG. 1, a related information display system according to an embodiment of the present invention includes a document management server 21, a mail server 22, a search server 23, a wireless LAN terminal 30, and a smartphone, It is comprised from the portable terminal devices 10, such as a tablet terminal.
文書管理サーバ２１は、各種の紙文書に対応する文書ファイルデータを格納して管理している。メールサーバ２２は、送受信される電子メールのメールデータを格納して管理している。検索サーバ２３は、指示された検索ワード（単語）に基づいてインターネット５０内のＷｅｂサーバを検索することにより、指示された検索ワードに関連する情報を検索する。 The document management server 21 stores and manages document file data corresponding to various paper documents. The mail server 22 stores and manages mail data of e-mails sent and received. The search server 23 searches for information related to the instructed search word by searching a Web server in the Internet 50 based on the instructed search word (word).
そして、携帯端末装置１０は、無線ＬＡＮターミナル３０との間で無線回線により接続されることにより、ネットワーク４０上の文書管理サーバ２１、メールサーバ２２、検索サーバ２３にアクセスすることが可能な構成となっている。 The mobile terminal device 10 is configured to be able to access the document management server 21, the mail server 22, and the search server 23 on the network 40 by being connected to the wireless LAN terminal 30 through a wireless line. It has become.
本実施形態の関連情報表示システムでは、携帯端末装置１０のカメラにより紙文書等の対象物を撮像することで、その対象物に関連する関連情報を文書管理サーバ２１、メールサーバ２２、検索サーバ２３から検索して、検索された関連情報を撮像された画像内の対象物の周辺に自動的に表示する。 In the related information display system according to the present embodiment, an object such as a paper document is imaged by the camera of the mobile terminal device 10, so that related information related to the object is displayed in the document management server 21, the mail server 22, and the search server 23. The related information searched is automatically displayed around the object in the captured image.
例えば、会議室や自分の机上にある紙資料を携帯端末装置１０のカメラにより撮像するだけで、何のプロジェクトに関連する資料なのか、誰が作成した資料なのか、何時作成された資料なのか等の情報を把握することが可能になる。また、紙資料のタイトルに含まれる単語により検索された関連情報が自動的に表示されることにより、わざわざインターネット等を使って自ら検索しなくてもその単語に関する情報を把握することが可能となる。 For example, what is related to what project, who created the document, when the document was created simply by imaging paper documents in the conference room or on their desk with the camera of the mobile terminal device 10, etc. It becomes possible to grasp the information. In addition, by automatically displaying the related information searched by the word included in the title of the paper material, it becomes possible to grasp the information related to the word without having to search for it manually using the Internet or the like. .
表示される関連情報としては、その紙文書の内容の要約やレビュー結果、紙文書中のキーワードの検索結果、その紙文書の保管場所、作成者、承認者、作成日、更新履歴等のプロパティ情報等の情報が対象となる。また、これらの情報以外にも、その紙文書の過去のバージョン（版）の情報、紙文書中の注目されている単語、記載箇所等の情報も関連情報に含まれる。 Related information to be displayed includes summary information and review results of the paper document, keyword search results in the paper document, storage location of the paper document, creator, approver, creation date, update history, and other property information And so on. In addition to these pieces of information, information on past versions (versions) of the paper document, noticed words in the paper document, information on the description location, and the like are also included in the related information.
具体的には、紙文書に対応する電子データが文書管理サーバ２１内に保管されていて、その電子データを検索することができたような場合、その電子データのプロパティ情報を取得することにより、その紙文書の作成者、承認者、作成日、更新履歴等の情報を取得することができる。 Specifically, when electronic data corresponding to a paper document is stored in the document management server 21 and the electronic data can be searched, by acquiring property information of the electronic data, Information such as the creator, approver, creation date, and update history of the paper document can be acquired.
また、紙文書が電子メールを印刷したものであるような場合には、メールサーバ２２内に格納されているその電子メールのメールデータを検索することにより、電子メールの題名、送信者、受信者、送信日等の情報を関連情報として取得することが可能となる。 If the paper document is a print of an e-mail, the e-mail title, sender, and receiver are retrieved by searching the e-mail data stored in the mail server 22. It becomes possible to acquire information such as the transmission date as related information.
そして、携帯端末装置１０のディスプレイでは、これらの関連情報が実空間内の対象物の周囲に存在するかのように、撮像された画像中に重畳されて表示される。そして、ユーザ（利用者）が、自分の指や手によりそれらの関連情報を触るような動作をすると、ユーザの指や手がカメラにより撮像されて関連情報に対する操作として受付けることにより、あたかもその関連情報に対して指や手により操作しているかのような処理が実現される。 Then, on the display of the mobile terminal device 10, the related information is displayed so as to be superimposed on the captured image as if it existed around the object in the real space. When the user (user) touches the related information with his / her finger or hand, the user's finger or hand is imaged by the camera and accepted as an operation on the related information. Processing as if the information is operated with a finger or hand is realized.
次に、本実施形態の関連情報表示システムにおける携帯端末装置１０のハードウェア構成を図２に示す。 Next, FIG. 2 shows a hardware configuration of the mobile terminal device 10 in the related information display system of the present embodiment.
携帯端末装置１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、記憶装置１３、無線ＬＡＮターミナル３０との間で無線回線を介してデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル等のユーザインタフェース（ＵＩ）装置１５、カメラ１６、液晶ディスプレイ等の表示装置１７を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。 As shown in FIG. 2, the mobile terminal device 10 includes a CPU 11, a memory 12, a storage device 13, and a communication interface (IF) 14 for transmitting and receiving data via a wireless line with the wireless LAN terminal 30. A user interface (UI) device 15 such as a touch panel, a camera 16, and a display device 17 such as a liquid crystal display are included. These components are connected to each other via a control bus 18.
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、携帯端末装置１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＳＤカード等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。 The CPU 11 executes predetermined processing based on a control program stored in the memory 12 or the storage device 13 and controls the operation of the mobile terminal device 10. In the present embodiment, the CPU 11 has been described as reading and executing a control program stored in the memory 12 or the storage device 13, but the program is stored in a storage medium such as an SD card and provided to the CPU 11. It is also possible to do.
図３は、上記の制御プログラムが実行されることにより実現される携帯端末装置１０の機能構成を示すブロック図である。 FIG. 3 is a block diagram illustrating a functional configuration of the mobile terminal device 10 realized by executing the control program.
本実施形態の携帯端末装置１０は、図３に示されるように、撮像部３１と、制御部３２と、通信部３３と、表示部３４と、操作受付部３５とを備えている。 As illustrated in FIG. 3, the mobile terminal device 10 according to the present embodiment includes an imaging unit 31, a control unit 32, a communication unit 33, a display unit 34, and an operation reception unit 35.
撮像部３１は、実空間の画像を撮像する撮像手段として機能する。 The imaging unit 31 functions as an imaging unit that captures an image of real space.
制御部３２は、撮像部３１により撮像された画像から、書類、書籍等の紙文書の画像を抽出する。そして、制御部３２は、抽出した紙文書の画像中の文字情報をＯＣＲ（Optical Character Reading）処理等を行うことにより認識して、認識した文字情報を用いて関連情報を検索するための検索ワード（検索用単語）を作成する。そして、制御部３２は、作成した検索ワードを、通信部３３を介して文書管理サーバ２１、メールサーバ２２、検索サーバ２３に送信して、検索ワードを用いた文書管理サーバ２１、メールサーバ２２、検索サーバ２３等に対する検索処理を実行することによって、この紙文書に関連する関連情報を検索する。 The control unit 32 extracts an image of a paper document such as a document or a book from the image captured by the imaging unit 31. Then, the control unit 32 recognizes the character information in the extracted paper document image by performing an OCR (Optical Character Reading) process or the like, and searches for related information using the recognized character information. Create a search word. Then, the control unit 32 transmits the created search word to the document management server 21, the mail server 22, and the search server 23 via the communication unit 33, and the document management server 21, the mail server 22, By executing a search process for the search server 23 and the like, related information related to the paper document is searched.
具体的には、制御部３２は、先ず撮像部３１により撮像された画像から抽出された紙文書の画像に対して台形補正を行って、紙文書を正面から見た画像に変換する。そして、制御部３２は、得られた紙文書の画像に対して、ＯＣＲ処理を行って表題や文書内容をそれぞれ読取って検索ワードを作成する。 Specifically, the control unit 32 first performs trapezoidal correction on the image of the paper document extracted from the image captured by the imaging unit 31, and converts the paper document into an image viewed from the front. Then, the control unit 32 performs OCR processing on the obtained paper document image, reads the title and the document content, and creates a search word.
その際に、制御部３２は、ＯＣＲ処理によっても読み取れない文字については前後の文字から予測を行う。また、制御部３２は、文字の濃さ、マーク等の有無により、検索ワードとして作成するための単語を決める優先順位を決定する。 At that time, the control unit 32 predicts characters that cannot be read even by the OCR process from the preceding and succeeding characters. Further, the control unit 32 determines a priority order for determining a word to be created as a search word depending on the density of characters, the presence or absence of a mark, and the like.
なお、制御部３２は、ＯＣＲ処理によって取得された文字情報において、カタカナ、英単語を抽出して検索ワードとして抽出したり、他の文字とは色、太さ、書式が異なる文字を抽出して検索ワードとするような方法を用いても良い。 Note that the control unit 32 extracts katakana and English words from the character information acquired by the OCR process and extracts them as search words, or extracts characters having a color, thickness, and format different from those of other characters. A method of using a search word may be used.
表示部３４は、制御部３２により画像が抽出された紙文書に関連する複数の関連情報を、撮像部３１により撮像された画像中に重ねて表示する。 The display unit 34 displays a plurality of related information related to the paper document from which the image has been extracted by the control unit 32 so as to be superimposed on the image captured by the imaging unit 31.
具体的には、表示部３４は、制御部３２により検索された複数の関連情報を、撮像部３１により撮像された画像中の紙文書の周囲に存在するかのように重畳させて表示する。 Specifically, the display unit 34 superimposes and displays a plurality of related information searched by the control unit 32 as if they exist around the paper document in the image captured by the imaging unit 31.
その際に、表示部３４は、複数の関連情報を奥行があるように表示し、紙文書との関連性が高い関連情報ほど手前側となるとなるように表示する。 At that time, the display unit 34 displays a plurality of pieces of related information so that there is a depth, and displays the related information having higher relevance with the paper document on the near side.
また、表示部３４は、複数の関連情報を関連内容に基づいて階層構造状に表示する。例えば、表示部３４は、関連情報を、木の実や葉として表示したようなツリー構造のように表示する。 The display unit 34 displays a plurality of related information in a hierarchical structure based on the related content. For example, the display unit 34 displays the related information like a tree structure displayed as a nut or leaf.
さらに、表示部３４は、撮像部３１により撮像された画像中に複数の紙文書の画像が含まれる場合、各紙文書の関連情報をその紙文書の周囲に表示するとともに、撮像部３１からの物理的距離が近い紙文書ほど階層数が多くなるように表示する。 Further, when the image captured by the imaging unit 31 includes images of a plurality of paper documents, the display unit 34 displays related information of each paper document around the paper document and also displays the physical information from the imaging unit 31. A paper document with a shorter target distance is displayed to have a higher number of layers.
通信部３３は、文書管理サーバ２１、メールサーバ２２、検索サーバ２３との間で通信を行い、制御部３２により生成された検索ワードを送信したり、送信されてきた関連情報を受信する。 The communication unit 33 communicates with the document management server 21, the mail server 22, and the search server 23, transmits the search word generated by the control unit 32, and receives related information transmitted.
操作受付部３５は、表示部３４により画像中に表示された複数の関連情報に対する選択および削除指示を受付ける。なお、操作受付部３５は、タッチパネル上のユーザによるタッチ操作により関連情報の選択や削除指示を受付けるだけでなく、撮像部３１において撮像されたユーザの指や手の画像を用いたジェスチャ認識を行うことにより、関連情報の選択や削除指示を受け付けるようにしても良い。 The operation reception unit 35 receives selection and deletion instructions for a plurality of related information displayed in the image by the display unit 34. The operation accepting unit 35 not only accepts selection or deletion instructions of related information by a touch operation by the user on the touch panel, but also performs gesture recognition using an image of the user's finger or hand imaged by the imaging unit 31. Accordingly, it is possible to accept an instruction to select or delete related information.
つまり、操作受付部３５は、表示部３４に撮像された画像中において紙文書の周囲に存在するかのように表示された関連情報に対して、ユーザが指や手により操作を行った動作を認識して、関連情報に対する操作として受付ける。 That is, the operation accepting unit 35 performs an operation in which the user performs an operation with a finger or a hand on the related information displayed as if it exists around the paper document in the image captured on the display unit 34. Recognize and accept as operations on related information.
そして、制御部３２は、操作受付部３５により受付けた選択および削除指示の履歴情報に基づいて、表示部３４に表示させる関連情報の優先順位を制御する表示制御を行う。 Then, the control unit 32 performs display control for controlling the priority order of related information displayed on the display unit 34 based on the history information of selection and deletion instructions received by the operation reception unit 35.
例えば、制御部３２は、今回抽出した紙文書と同一の紙文書の画像が過去に抽出されている場合、その紙文書の画像に対して重ねて表示した複数の関連情報のうち操作受付部３５により削除指示が受付けられた関連情報は表示されないよう表示部３４を制御する。 For example, when an image of the same paper document as the paper document extracted this time has been extracted in the past, the control unit 32 operates the operation receiving unit 35 among a plurality of related information displayed superimposed on the image of the paper document. The display unit 34 is controlled so that the related information for which the deletion instruction is accepted is not displayed.
また、利用者の関連情報の取捨選択操作の傾向を人口知能により機械学習することにより、その利用者の関心が高い関連情報の傾向を把握するようにしても良い。このようにすることにより、過去に関連情報の表示を行った紙文書と類似する紙文書が撮像された場合には、その利用者の関心度が高いと思われる関連情報を優先して表示するようなことを実現することができる。 In addition, the tendency of related information that is highly interested by the user may be grasped by machine learning of the user's tendency to select related information by using artificial intelligence. In this way, when a paper document similar to a paper document on which related information has been displayed in the past has been imaged, the related information that is considered to be of high interest to the user is displayed with priority. Such things can be realized.
例えば、ある紙文書の作成者に関する関連情報を選択する頻度の高い利用者に対しては、別の紙文書が撮像された場合でも、作成者に関する関連情報を表示する優先順位を高くするような処理を実現することができる。また、例えば、その紙文書を閲覧した閲覧者についての関連情報を選択する頻度の高い利用者に対しては、閲覧者に関する関連情報を表示する優先順位を高くするような処理を実現することができる。 For example, for a user who frequently selects related information related to the creator of a certain paper document, even when another paper document is captured, the priority for displaying the related information related to the creator is increased. Processing can be realized. In addition, for example, for a user who frequently selects related information about a viewer who has browsed the paper document, a process for increasing the priority for displaying the related information about the viewer can be realized. it can.
なお、利用者の過去の関連情報の取捨選択操作の履歴情報を利用するためには利用者の特定が必要となる。そのため、携帯端末装置１０の利用時にユーザ認証を行うことにより、現在の利用者を特定するようにすれば良い。例えば、仮想キーボードを表示パネル上に表示させて、利用者による仮想キーボードによる認証パスワードの入力を画像により読取って、読取られた認証パスワードと予め設定された認証パスワードが一致した場合にその利用者を特定するような方法を用いることができる。 It should be noted that the user needs to be specified in order to use the history information of the user's past related information selection operation. Therefore, the current user may be specified by performing user authentication when using the mobile terminal device 10. For example, when a virtual keyboard is displayed on the display panel and the authentication password input by the user is read with an image, and the read authentication password matches a preset authentication password, the user is displayed. A specific method can be used.
なお、制御部３２により検索された検索結果を関連情報として表示部３４において表示する際に、検索結果を異なるカテゴリーごとに関連情報を１つずつ表示するようにしても良い。その際に、ある関連情報を削除するような操作が行われると、そのカテゴリー内の２番目の情報が代わりに表示されるようにしても良い。なお、関連情報のカテゴリーによっては紙文書の画像の周囲ではなく、紙文書上に重ねて表示するようにしても良い。 When the search result searched by the control unit 32 is displayed on the display unit 34 as related information, the search result may be displayed one by one for each different category. At this time, when an operation for deleting certain related information is performed, the second information in the category may be displayed instead. Depending on the category of the related information, it may be displayed not on the periphery of the paper document image but on the paper document.
例えば、制御部３２は、ある紙文書の更新前のファイルデータが検索された場合、その更新前のファイルデータをその紙文書の画像上に重ねて表示して、さらに更新箇所の色等を変更することにより更新内容が分かるように関連情報を表示部３４に表示する。 For example, when the file data before the update of a certain paper document is searched, the control unit 32 displays the file data before the update on the image of the paper document, and further changes the color or the like of the updated portion. As a result, the related information is displayed on the display unit 34 so that the updated contents can be understood.
また、制御部３２紙文書が回覧文書のように複数のユーザ間で転送されるもののような場合には、複数のユーザにより注目されている箇所を強調表示して表示部３４に表示するようにしても良い。 In addition, in the case where the control unit 32 paper document is transferred between a plurality of users like a circulation document, a portion that is noticed by a plurality of users is highlighted and displayed on the display unit 34. May be.
なお、制御部３２は、関連情報を表示部３４に表示させている際に、撮像部３１により撮像された画像から紙文書の画像が無くなった場合には、表示されていた関連文書も表示されなくなるように表示部３４を制御する。 Note that when the related information is displayed on the display unit 34 and the image of the paper document disappears from the image captured by the imaging unit 31, the control unit 32 also displays the displayed related document. The display unit 34 is controlled so as to disappear.
なお、制御部３２は、撮像部３１により撮像された画像から対象物である紙文書の画像を抽出する際に、その紙文書が（１）純粋な手書き文書であるのか、（２）印刷した文書に手書きで文字を書込んだ文書であるのか、（３）印刷しただけの文書（書籍等も含む）であるのかという紙文書の種類を判定する。 When the control unit 32 extracts the image of the paper document that is the object from the image captured by the image capturing unit 31, the control unit 32 determines whether the paper document is (1) a pure handwritten document or (2) printed. The type of paper document is determined as to whether the document is a document in which characters are written by handwriting or (3) a document just printed (including books).
そして、制御部３２は、判定した紙文書の種類に応じて、関連情報を検索する検索先の順序を変更する。 Then, the control unit 32 changes the order of search destinations for searching for related information according to the determined type of paper document.
（１）具体的には、抽出した紙文書が純粋な手書き文書である場合、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索、文書管理サーバ２１に対する検索という優先順で検索処理を実行する。 (1) Specifically, when the extracted paper document is a pure handwritten document, search processing is executed in the priority order of Web search by the search server 23, search for the mail server 22, and search for the document management server 21.
（２）抽出した紙文書が印刷した文書に手書きで文字を書込んだ文書である場合、文書管理サーバ２１に対する検索、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索という優先順で検索処理を実行する。 (2) When the extracted paper document is a document in which characters are written by hand on a printed document, the search processing is performed in the priority order of search for the document management server 21, Web search by the search server 23, and search for the mail server 22. Run.
（３）抽出した紙文書が印刷しただけの文書である場合、文書管理サーバ２１に対する検索、メールサーバ２２に対する検索、検索サーバ２３によるＷｅｂ検索という優先順で検索処理を実行する。 (3) When the extracted paper document is a document that has just been printed, the search processing is executed in the priority order of search for the document management server 21, search for the mail server 22, and Web search by the search server 23.
上記のように検索処理の優先順を紙文書の種類に応じて変更するのは、完全な手書き文書の場合には、その紙文書が電子データとして文書管理サーバ２１内に保管されている可能性や、メールサーバ２２内にメールデータとして保管されている可能性は低いと考えられるからである。 As described above, the priority of search processing is changed according to the type of paper document. In the case of a complete handwritten document, the paper document may be stored in the document management server 21 as electronic data. This is because the possibility of being stored as mail data in the mail server 22 is considered to be low.
また、印刷された紙文書であれば電子データが文書管理サーバ２１内に保管されている可能性や、メールデータとしてメールサーバ２２内に保管されている可能性が高いと考えらえるからである。また、メールデータを印刷した紙文書に手書きで文字を書込む可能性が低いと考えられるからである。 In addition, if it is a printed paper document, there is a high possibility that electronic data is stored in the document management server 21 or stored in the mail server 22 as mail data. . Further, it is considered that the possibility of handwriting characters on a paper document on which mail data is printed is low.
次に、本実施形態の関連情報表示システムの動作を図面を参照して詳細に説明する。 Next, the operation of the related information display system of this embodiment will be described in detail with reference to the drawings.
先ず、本実施形態の関連情報表示システムにおける携帯端末装置１０の全体動作を図４のフローチャートを参照して説明する。 First, the overall operation of the mobile terminal device 10 in the related information display system of this embodiment will be described with reference to the flowchart of FIG.
携帯端末装置１０では、撮像部３１により実空間の画像が撮像されると、制御部３２は、撮像部３１により撮像された画像中に、対象物である紙文書の画像が含まれるか否かを判定する（ステップＳ１０１）。 In the mobile terminal device 10, when an image in real space is captured by the imaging unit 31, the control unit 32 determines whether or not the image captured by the imaging unit 31 includes an image of a paper document that is a target object. Is determined (step S101).
そして、撮像部３１により撮像された画像中に紙文書の画像が含まれる場合（ステップＳ１０１においてｙｅｓ）、制御部３２は、紙文書の画像から文字情報を抽出する（ステップＳ１０２）。そして、制御部３２は、抽出した文字情報に基づいて紙文書についての関連情報を検索する（ステップＳ１０３）。 If the image of the paper document is included in the image captured by the imaging unit 31 (yes in step S101), the control unit 32 extracts character information from the image of the paper document (step S102). And the control part 32 searches the relevant information about a paper document based on the extracted character information (step S103).
最後に、制御部３２は、検索された関連情報を検索結果として、撮像部３１により撮像された画像上に重畳して、表示部３４に表示させる（ステップＳ１０４）。 Finally, the control unit 32 superimposes the retrieved related information on the image captured by the imaging unit 31 as a search result and displays it on the display unit 34 (step S104).
なお、制御部３２は、検索された検索結果を関連情報として直ぐに表示部３４に表示するのではなく、紙文書の画像から抽出された文字情報を一旦表示部３４により表示して、利用者による何等かの操作を受付けた後に検索処理を実行して検索結果を得て表示部３４に表示させるようにしても良い。 The control unit 32 does not immediately display the retrieved search results as related information on the display unit 34, but temporarily displays the character information extracted from the image of the paper document on the display unit 34, so that the user can A search process may be executed after receiving any operation to obtain a search result and display it on the display unit 34.
そして、紙文書の画像が撮像された画像中に含まれなくなると（ステップＳ１０５においてｎｏ）、制御部３２は、表示部３４に対して関連情報として表示させていた検索結果を消去する（ステップＳ１０６）。 When the paper document image is not included in the captured image (no in step S105), the control unit 32 deletes the search result displayed as the related information on the display unit 34 (step S106). ).
そして、紙文書の画像が撮像された画像中に含まれている状態で（ステップＳ１０５においてｙｅｓ）、表示している検索結果（関連情報）に対する操作を操作受付部３５が受付けた場合（ステップＳ１０７においてｙｅｓ）、制御部３２は、受付けた操作内容に基づいて表示する検索結果を変更する（ステップＳ１０８）。例えば、ある検索結果の情報が削除されると、次に表示されていた検索結果の情報を繰り上げて表示する等の制御が行われる。 Then, in a state where the image of the paper document is included in the captured image (yes in step S105), the operation reception unit 35 receives an operation for the displayed search result (related information) (step S107). In step S108, the control unit 32 changes the search result to be displayed based on the accepted operation content. For example, when information on a certain search result is deleted, control is performed such that the search result information displayed next is moved up and displayed.
次に、図４のフローチャートにおける、紙文書の画像から文字情報を抽出する処理（ステップＳ１０２）の詳細について、図５のフローチャートを参照して説明する。 Next, details of the process (step S102) of extracting character information from the paper document image in the flowchart of FIG. 4 will be described with reference to the flowchart of FIG.
制御部３２は、撮像部３１により撮像された画像中の紙文書の画像を台形補正して、紙文書を正面から見た場合の画像に変換して、その画像から文字画像を取得する（ステップＳ２０１）。 The control unit 32 corrects the keystone of the paper document image in the image captured by the imaging unit 31, converts the paper document into an image when viewed from the front, and obtains a character image from the image (step). S201).
そして、制御部３２は、取得した文字画像に対してＯＣＲ処理を実行して文字情報に変換する（ステップＳ２０２）。 And the control part 32 performs an OCR process with respect to the acquired character image, and converts it into character information (step S202).
次に、制御部３２は、ＯＣＲ処理後の文字情報に対して言語分析を実行して、その文字情報を単語、文章等に分ける（ステップＳ２０３）。 Next, the control unit 32 performs language analysis on the character information after the OCR process, and divides the character information into words, sentences, and the like (step S203).
最後に、制御部３２は、単語、文章に優先順位を付けて、検索するための単語（検索ワード）を決定する（ステップＳ２０４）。 Finally, the control unit 32 prioritizes words and sentences and determines a word (search word) to be searched (step S204).
次に、図４のフローチャートにおける、関連情報の検索処理（ステップＳ１０３）の詳細について、図６のフローチャートを参照して説明する。 Next, the details of the related information search process (step S103) in the flowchart of FIG. 4 will be described with reference to the flowchart of FIG.
先ず、制御部３２は、対象物である紙文書は手書き文書であるであるか否かを判定する（ステップＳ３０１）。そして、紙文書が手書き文書である場合（ステップＳ３０１においてｙｅｓ）、制御部３２は、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索、文書管理サーバ２１に対する検索の順番で検索処理を実行する（ステップＳ３０２）。 First, the control unit 32 determines whether or not the paper document that is the object is a handwritten document (step S301). If the paper document is a handwritten document (yes in step S301), the control unit 32 executes search processing in the order of Web search by the search server 23, search for the mail server 22, and search for the document management server 21 ( Step S302).
そして、紙文書が手書き文書でない場合（ステップＳ３０１においてｎｏ）、制御部３２は、対象物である紙文書は書き込みのある印刷文書であるであるか否かを判定する（ステップＳ３０３）。そして、紙文書が書き込みのある印刷文書である場合（ステップＳ３０３においてｙｅｓ）、制御部３２は、文書管理サーバ２１に対する検索、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索の順番で検索処理を実行する（ステップＳ３０４）。 If the paper document is not a handwritten document (no in step S301), the control unit 32 determines whether or not the paper document that is the object is a printed document with writing (step S303). If the paper document is a printed document with writing (Yes in step S303), the control unit 32 performs search processing in the order of search for the document management server 21, search by the search server 23, and search for the mail server 22. Execute (Step S304).
そして、紙文書が書き込みのある印刷文書でない場合（ステップＳ３０３においてｎｏ）、つまり紙文書が書込みの無い印刷文書である場合、制御部３２は、文書管理サーバ２１に対する検索、メールサーバ２２に対する検索、検索サーバ２３によるＷｅｂ検索の順番で検索処理を実行する（ステップＳ３０５）。 If the paper document is not a written print document (no in step S303), that is, if the paper document is a non-written print document, the control unit 32 performs a search for the document management server 21, a search for the mail server 22, Search processing is executed in the order of Web search by the search server 23 (step S305).
次に、上記のような制御が行われることにより携帯端末装置１０において表示される画像例を図面を参照して説明する。 Next, an example of an image displayed on the mobile terminal device 10 by performing the above control will be described with reference to the drawings.
例えば、図７に示すように、テーブル上に置かれた紙文書を携帯端末装置１０の撮像部３１により撮像した場合、携帯端末装置１０の表示部３４である液晶ディスプレイ上には、テーブル上に置かれた紙文書の画像とともに、この紙文書の画像から抽出された検索ワードによる検索結果が関連情報として表示される。 For example, as illustrated in FIG. 7, when a paper document placed on a table is imaged by the imaging unit 31 of the mobile terminal device 10, the liquid crystal display that is the display unit 34 of the mobile terminal device 10 is displayed on the table. Along with the image of the paper document placed, a search result based on a search word extracted from the image of the paper document is displayed as related information.
図７に示した例では、紙文書のタイトルが「明日の天気について」となっていることにより、この紙文書の作成日、作成者、更新日の情報とともに、気象情報や天気という関連情報が表示されている。 In the example shown in FIG. 7, since the title of the paper document is “about the weather of tomorrow”, the related information such as weather information and weather is displayed together with the creation date, creator, and update date information of the paper document. It is displayed.
そして、このように表示されている関連情報の１つに対してユーザがタップ操作した場合の様子を図８に示す。図８では、「作成日」という関連情報をユーザがタップしたことにより、さらにこの作成日に関する詳細な情報が示されているのが分かる。 FIG. 8 shows a state where the user taps one of the related information displayed in this way. In FIG. 8, it can be seen that when the user taps the related information “creation date”, detailed information regarding the creation date is shown.
そして、このように表示されている関連情報に対して削除したり収集したりする操作を行う場合の一例を図９を参照して説明する。図９では、関連情報に対して実空間内で操作を行った場合が示されている。 An example of performing an operation of deleting or collecting the related information displayed in this way will be described with reference to FIG. FIG. 9 shows a case where the related information is operated in the real space.
ユーザは、携帯端末装置１０上で表示される画像を見ながら自らの指を伸ばして、紙文書の周囲に表示されている関連情報のうち操作を行いたい関連情報に触れるような操作を行う。 A user extends his / her finger while viewing an image displayed on the mobile terminal device 10 and performs an operation of touching related information to be operated among related information displayed around the paper document.
ここでは、ドラッグ＆ドロップ操作やフリック操作を行うことにより、それぞれの関連情報のうち詳細を見たい情報については収集し、詳細を見たく無い情報については削除する処理を実行する場合について説明する。 Here, a case will be described in which a drag-and-drop operation and a flick operation are performed to collect information that is desired to see details and delete information that is not desired to be seen.
図９では、表示画面内に関連情報を削除するためのごみ箱５１の画像と、関連情報を収集するためのバスケット５２の画像が表示されている。そして、ユーザは、後から詳細を見たい関連情報についてはバスケット５２の画像に入れるような操作を行い、詳細を見たく無い関連情報についてはごみ箱５１の画像に入れるような操作を順次行う。 In FIG. 9, an image of the trash can 51 for deleting the related information and an image of the basket 52 for collecting the related information are displayed on the display screen. Then, the user performs an operation of putting related information that he / she wants to see details later into the image of the basket 52, and sequentially performs an operation of putting related information he / she does not want to see details of into the image of the trash box 51.
なお、図１０に示すように、関連情報まで伸ばした手で物を掴むような操作を行うことによりドラッグ操作とし、図１１に示したように掴んでいた関連情報を離すような操作を行うことによりドロップ操作とするようにしても良い。図１０、図１１では、「作成日」の関連情報をごみ箱５１まで移動させる際の動作例が示されている。 As shown in FIG. 10, a drag operation is performed by performing an operation of grasping an object with a hand extended to the related information, and an operation of releasing the related information held as shown in FIG. A drop operation may be performed. FIGS. 10 and 11 show an operation example when moving the related information of “creation date” to the trash box 51.
なお、このようにユーザの指や手の動作を携帯端末装置１０の撮像部３１により撮像して、ジェスチャ認識を行うことにより関連情報に対する操作を受付けるのではなく、図１２に示すような指に装着するウェアラブル装置７０を用いて関連情報に対する操作を受付けるようにしても良い。 It should be noted that the user's finger or hand movement is imaged by the imaging unit 31 of the mobile terminal device 10 and the operation for the related information is not accepted by performing gesture recognition. You may make it receive operation with respect to related information using the wearable apparatus 70 with which it mounts | wears.
この図１２に示したウェアラブル装置７０は３次元の加速度センサを備えていることにより、ユーザの指の動作を検出するような構成となっている。 The wearable device 70 shown in FIG. 12 includes a three-dimensional acceleration sensor, and is configured to detect the movement of the user's finger.
そして、例えば、図１３に示すように、ユーザの指が横方向に動いた場合には、関連情報の選択指示を受付け、ユーザの指が円弧を描くような動作を行った場合には、関連情報を確定するような操作として受付けるようにすることができる。 For example, as shown in FIG. 13, when the user's finger moves in the horizontal direction, a related information selection instruction is accepted, and when the user's finger performs an action of drawing an arc, It can be accepted as an operation for confirming information.
また、図１４に示すように、携帯端末装置１０の表示パネルがタッチパネルとなっているため、このタッチパネル上においてユーザのタッチ操作を認識して関連情報に対する操作として受付けるようにすることも可能である。 Moreover, as shown in FIG. 14, since the display panel of the portable terminal device 10 is a touch panel, it is possible to recognize a user's touch operation on the touch panel and accept it as an operation for related information. .
次に、上述したような操作により収集した関連情報の詳細を表示させた場合の画面例を図１５に示す。 Next, FIG. 15 shows a screen example when the details of the related information collected by the operation as described above are displayed.
図１５では、関連情報の収集、削除操作後にバスケット５２の画像をタップすることにより、収集された関連情報の詳細が表示された場合が示されている。 FIG. 15 shows a case where the details of the collected related information are displayed by tapping the image of the basket 52 after the collection and deletion operations of the related information.
このようにして、携帯端末装置１０により紙文書を撮像することにより表示された複数の関連情報の中から、ユーザは、詳細を見たい関連情報のみを選択して、後から一覧情報として見ることができるようになっている。 In this way, the user selects only the related information that he / she wants to see details from among a plurality of related information displayed by imaging the paper document by the mobile terminal device 10 and views it as list information later. Can be done.
次に、関連情報として紙文書の過去のバージョン（版）の電子データが検索された場合に、この紙文書の過去のバージョンの情報を紙文書とともに表示した場合の画面例を図１６に示す。 Next, FIG. 16 shows an example of a screen when information on a past version of a paper document is displayed together with the paper document when electronic data of a past version (version) of the paper document is retrieved as related information.
図１６では、撮像された紙文書の過去のバージョン７５の画像が、紙文書上に表示され、更新内容が分かるように更新箇所が強調された状態で表示されているのが分かる。 In FIG. 16, it can be seen that an image of a past version 75 of the captured paper document is displayed on the paper document and displayed with the updated portion highlighted so that the updated contents can be seen.
さらに、このような関連情報を用いて業務関係図を作成して表示した場合の表示画面例を図１７に示す。 Furthermore, FIG. 17 shows an example of a display screen when a business relationship diagram is created and displayed using such related information.
図１７に示した表示画面例では、携帯端末装置１０上において、撮像した紙文書の作成者、関係する業務、閲覧者だけでなく、この作成者が作成した他の文書、作成者の業務、閲覧者が閲覧した他の文書、その文書の作成者および閲覧者や関係業務との関連性を示す図が表示されている。 In the display screen example shown in FIG. 17, on the mobile terminal device 10, not only the creator of the captured paper document, the related work, and the viewer, but also other documents created by the creator, the work of the creator, The figure which shows the relevance with the other document which the reader browsed, the creator of the document, the viewer, and related business is displayed.
このような業務関係図に対してもユーザによるジェスチャ等により操作が行われると、その作成者の詳細情報や、他の文書の内容等の詳細情報を表示させることが可能となっている。 When an operation is performed on such a business relationship diagram by a user's gesture or the like, it is possible to display the detailed information of the creator and the detailed information such as the contents of other documents.
このような業務関係図を生成して表示することにより、単に紙文書の関連情報だけでなく、文書と人と仕事のつながりを視覚的に把握することが可能となり、新たな気づきを提供することが可能となる。 By generating and displaying such business relationship diagrams, it is possible to visually grasp not only the related information of paper documents but also the relationship between documents, people and work, and provide new awareness Is possible.
なお、この業務関係図において、対象である紙文書からの関連性の大きさを丸の大きさや接続線の太さにより表示することができる。 In this business relationship diagram, the degree of relevance from the target paper document can be displayed by the size of the circle or the thickness of the connection line.
また、複数の紙文書を同時に撮像した場合の表示画面例を図１８に示す。図１８では、紙文書８１〜８３という３つの紙文書が同時に撮像された場合が示されている。そして、紙文書８１は、撮像部３１からの物理的距離が最も短く、次に紙文書８２が撮像部３１からの物理的距離が短く、紙文書８３は撮像部３１からの物理的距離が最も長くなっている。 FIG. 18 shows an example of a display screen when a plurality of paper documents are captured simultaneously. FIG. 18 shows a case where three paper documents 81 to 83 are simultaneously captured. The paper document 81 has the shortest physical distance from the imaging unit 31, the paper document 82 has the shortest physical distance from the imaging unit 31, and the paper document 83 has the shortest physical distance from the imaging unit 31. It is getting longer.
そのため、紙文書８１については複数の関連文書が３層構造により表示されているのに対して、紙文書８２について複数の関連文書が２層構造により表示され、紙文書８３については関連情報が１層のみ表示されている。 Therefore, a plurality of related documents are displayed in a three-layer structure for the paper document 81, whereas a plurality of related documents are displayed in a two-layer structure for the paper document 82, and the related information is 1 for the paper document 83. Only the layers are displayed.
なお、本実施形態の関連情報表示システムでは、スマートフォン等の携帯端末装置１０を用いて対象物の関連情報を表示する場合を用いて説明した。しかし、本発明はこのような構成に限定されるものではなく、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）等のウェアラブル端末装置を用いて撮像された対象物の周囲に関連情報を表示するような場合でも同様に適用することができる。 In addition, in the related information display system of this embodiment, it demonstrated using the case where the related information of a target object was displayed using portable terminal devices 10, such as a smart phone. However, the present invention is not limited to such a configuration, and is related to the periphery of an object imaged using a wearable terminal device such as a head mounted display (hereinafter abbreviated as HMD (Head Mounted Display)). The same applies to the case of displaying information.
このようなウェアラブル端末装置の一例であるＨＭＤ９０の外観を図１９に示す。ＨＭＤ９０は、図１９に示されるように、装着した利用者が外部の様子を視認可能な透明な表示部９２を備えている。そして、ＨＭＤ９０の一部には、外部の様子を撮像するためのカメラ９１が設けられており、利用者が透過型の表示部９２を介して視認している外部の様子の画像を撮像することができるような構成となっている。 FIG. 19 shows the appearance of an HMD 90 that is an example of such a wearable terminal device. As shown in FIG. 19, the HMD 90 includes a transparent display unit 92 that allows the wearing user to visually recognize the appearance of the outside. A part of the HMD 90 is provided with a camera 91 for capturing an external state, and an image of the external state visually recognized by the user via the transmissive display unit 92 is captured. It is configured to be able to.
このようなＨＭＤ９０を頭部に装着した場合の様子を図２０に示す。図２０を参照すると、ＨＭＤ９０を装着した利用者は、目が表示部９２により覆われているが、この表示部９２が透過型であるため外部の様子を視認することができるようになっているのが分かる。 FIG. 20 shows a state where such an HMD 90 is mounted on the head. Referring to FIG. 20, the user wearing the HMD 90 has eyes covered with the display unit 92. However, since the display unit 92 is a transmissive type, the user can visually recognize the appearance of the outside. I understand.
そして、カメラ９１により紙文書等の対象物が撮像されると、撮像された対象物の関連情報が表示部９２上に例えばホログラフィー技術を用いて表示される。 Then, when an object such as a paper document is imaged by the camera 91, related information of the imaged object is displayed on the display unit 92 using, for example, a holography technique.
そのため、このＨＭＤ９０を装着した利用者には、表示部９２を介して見ている対象物の周囲に関連情報が存在するような視覚が得られることになる。 For this reason, the user wearing the HMD 90 can obtain a sense that related information exists around the object viewed through the display unit 92.
[変形例]
また、上記実施形態では、紙文書を対象物として、撮像された画像内の紙文書に関する関連情報を表示する場合を用いて説明したが、本発明はこれに限定されるものではなく、紙文書以外の物体を対象物として関連情報を表示する場合でも同様に本発明を適用することができるものである。例えば、ペットボトルを対象物として、撮像された画像内のペットボトル内の飲料等の成分、容量、価格等を関連情報として表示するような場合でも本発明を同様に適用可能である。
[Modification]
In the above-described embodiment, a case has been described in which related information regarding a paper document in a captured image is displayed using a paper document as an object. However, the present invention is not limited to this, and the paper document The present invention can be similarly applied even when related information is displayed using an object other than the object. For example, the present invention can be similarly applied even when a component such as a beverage in a plastic bottle in a captured image, a volume, a price, and the like are displayed as related information using a plastic bottle as an object.
１０ 携帯端末装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ カメラ
１７ 表示装置
１８ 制御バス
２１ 文書管理サーバ
２２ メールサーバ
２３ 検索サーバ
３０ 無線ＬＡＮターミナル
３１ 撮像部
３２ 制御部
３３ 通信部
３４ 表示部
３５ 操作受付部
４０ ネットワーク
５０ インターネット
５１ ごみ箱
５２ バスケット
７５ 紙文書の過去のバージョン
８１〜８３ 紙文書
９０ ヘッドマウントディスプレイ（ＨＭＤ）
９１ カメラ
９２ 表示部
10 mobile terminal device 11 CPU
12 Memory 13 Storage Device 14 Communication Interface (IF)
DESCRIPTION OF SYMBOLS 15 User interface (UI) apparatus 16 Camera 17 Display apparatus 18 Control bus 21 Document management server 22 Mail server 23 Search server 30 Wireless LAN terminal 31 Imaging part 32 Control part 33 Communication part 34 Display part 35 Operation reception part 40 Network 50 Internet 51 Recycle Bin 52 Basket 75 Paper Document Past Version 81-83 Paper Document 90 Head Mount Display (HMD)
91 Camera 92 Display unit
Claims (9)
前記撮像手段により撮像された画像から、対象物の画像を抽出する抽出手段と、
前記抽出手段により画像が抽出された対象物に関連する複数の関連情報を、前記撮像手段により撮像された画像中に重ねて表示する表示手段と、
前記表示手段により表示された複数の関連情報に対する選択および削除指示を受付ける受付手段と、
前記受付手段により受付けた選択および削除指示の履歴情報に基づいて、前記表示手段に表示させる関連情報の優先順位を制御する表示制御手段と、
を備えた情報処理装置。 An imaging means for capturing an image of real space;
Extraction means for extracting an image of an object from an image captured by the imaging means;
Display means for displaying a plurality of related information related to the object from which the image has been extracted by the extraction means, superimposed on the image captured by the imaging means;
Accepting means for accepting selection and deletion instructions for a plurality of related information displayed by the display means;
Display control means for controlling the priority of related information to be displayed on the display means based on the history information of selection and deletion instructions received by the receiving means;
An information processing apparatus comprising:
前記抽出手段により抽出された紙文書の画像中の文字情報を認識して、認識された文字情報を用いて当該紙文書に関連する関連情報を検索する検索手段をさらに備え、
前記表示手段は、前記検索手段により検索された複数の関連情報を表示する請求項１から５のいずれか記載の情報処理装置。 The object is a paper document;
Recognizing character information in the image of the paper document extracted by the extraction means, and further comprising search means for searching for related information related to the paper document using the recognized character information,
The information processing apparatus according to claim 1, wherein the display unit displays a plurality of related information searched by the search unit.
前記抽出ステップにより画像が抽出された対象物に関連する複数の関連情報を、撮像された画像中に重ねて表示する表示ステップと、
前記表示ステップにおいて表示された複数の関連情報に対する選択および削除指示を受付ける受付ステップと、
前記受付ステップにおいて受付けた選択および削除指示の履歴情報に基づいて、前記表示ステップにおいて表示させる関連情報の優先順位を制御する表示制御ステップとをコンピュータに実行させるためのプログラム。 An extraction step of extracting an image of an object from an image of real space;
A display step of displaying a plurality of related information related to the object from which the image has been extracted by the extraction step in a superimposed manner in the captured image;
A receiving step for receiving selection and deletion instructions for a plurality of related information displayed in the display step;
A program for causing a computer to execute a display control step for controlling priority of related information to be displayed in the display step based on history information of selection and deletion instructions received in the reception step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016241184A JP6883195B2 (en) | 2016-12-13 | 2016-12-13 | Information processing equipment and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016241184A JP6883195B2 (en) | 2016-12-13 | 2016-12-13 | Information processing equipment and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018097580A true JP2018097580A (en) | 2018-06-21 |
| JP6883195B2 JP6883195B2 (en) | 2021-06-09 |
Family
ID=62632264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016241184A Active JP6883195B2 (en) | 2016-12-13 | 2016-12-13 | Information processing equipment and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6883195B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020026871A1 (en) * | 2018-07-31 | 2020-02-06 | 株式会社 情報システムエンジニアリング | Information providing system and information providing method |
| WO2021225118A1 (en) * | 2020-05-07 | 2021-11-11 | 株式会社 情報システムエンジニアリング | Information processing device and information processing method |
| US11520822B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11520823B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011762A (en) * | 2004-06-25 | 2006-01-12 | Fuji Xerox Co Ltd | Document processing apparatus |
| JP2011081556A (en) * | 2009-10-06 | 2011-04-21 | Sony Corp | Information processor, method of processing information, program, and server |
| JP2012103891A (en) * | 2010-11-10 | 2012-05-31 | Konica Minolta Business Technologies Inc | Review document processing device and review document processing method |
| JP2014211884A (en) * | 2014-06-20 | 2014-11-13 | キヤノン株式会社 | Document processing system and control method of document processing system |
| JP2015005018A (en) * | 2013-06-19 | 2015-01-08 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
2016
- 2016-12-13 JP JP2016241184A patent/JP6883195B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011762A (en) * | 2004-06-25 | 2006-01-12 | Fuji Xerox Co Ltd | Document processing apparatus |
| JP2011081556A (en) * | 2009-10-06 | 2011-04-21 | Sony Corp | Information processor, method of processing information, program, and server |
| JP2012103891A (en) * | 2010-11-10 | 2012-05-31 | Konica Minolta Business Technologies Inc | Review document processing device and review document processing method |
| JP2015005018A (en) * | 2013-06-19 | 2015-01-08 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2014211884A (en) * | 2014-06-20 | 2014-11-13 | キヤノン株式会社 | Document processing system and control method of document processing system |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020026871A1 (en) * | 2018-07-31 | 2020-02-06 | 株式会社 情報システムエンジニアリング | Information providing system and information providing method |
| JP2020021287A (en) * | 2018-07-31 | 2020-02-06 | 株式会社 情報システムエンジニアリング | System and method for providing information |
| US11341714B2 (en) | 2018-07-31 | 2022-05-24 | Information System Engineering Inc. | Information service system and information service method |
| US11520822B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11520823B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
| US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
| WO2021225118A1 (en) * | 2020-05-07 | 2021-11-11 | 株式会社 情報システムエンジニアリング | Information processing device and information processing method |
| JP2021177285A (en) * | 2020-05-07 | 2021-11-11 | 株式会社 情報システムエンジニアリング | Information processing device and information processing method |
| US11900301B2 (en) | 2020-05-07 | 2024-02-13 | Information System Engineering Inc. | Information processing device and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6883195B2 (en) | 2021-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105988568B (en) | Method and device for acquiring note information | |
| JP6883195B2 (en) | Information processing equipment and programs | |
| US7966352B2 (en) | Context harvesting from selected content | |
| EP3407216B1 (en) | Method and device for displaying information resource, and computer readable storage medium | |
| US9172879B2 (en) | Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method | |
| EP3182265B1 (en) | Mobile terminal and method for controlling the same | |
| JPWO2013124910A1 (en) | Content display system | |
| CN105009113A (en) | Queryless search based on context | |
| EP3528140A1 (en) | Picture processing method, device, electronic device and graphic user interface | |
| US11671696B2 (en) | User interfaces for managing visual content in media | |
| US20150154718A1 (en) | Information processing apparatus, information processing method, and computer-readable medium | |
| EP4206887A1 (en) | Multimedia object arrangement method and apparatus, electronic device, and storage medium | |
| KR20150139184A (en) | Mobile terminal and method for controlling the same | |
| EP2704405B1 (en) | Merging of entries in a contact book | |
| CN111859856A (en) | Information display method and device, electronic equipment and storage medium | |
| JP2012063954A (en) | Information display device, information display system, information display method and program | |
| US20150095784A1 (en) | Display control apparatus, display control system, a method of controlling display, and program | |
| JP2016085512A (en) | Electronic equipment, method, and program | |
| CN116610243A (en) | Display control method, display control device, electronic equipment and storage medium | |
| KR20150097250A (en) | Sketch retrieval system using tag information, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor | |
| US20200388076A1 (en) | Method and system for generating augmented reality interactive content | |
| KR20100124952A (en) | Ar contents providing system and method providing a portable terminal real-time by using letter recognition | |
| JP2009015506A (en) | Display device, display method, display device control program, and computer readable recording medium with program recorded | |
| KR20150026382A (en) | Electronic apparatus and method for contacts management in electronic apparatus | |
| KR20140106226A (en) | Method for managing for image an electronic device thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201014 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6883195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |