JP2015032309A - クラウドサーバー及び画像ファイル記憶検索システム - Google Patents

クラウドサーバー及び画像ファイル記憶検索システム Download PDF

Info

Publication number
JP2015032309A
JP2015032309A JP2014152897A JP2014152897A JP2015032309A JP 2015032309 A JP2015032309 A JP 2015032309A JP 2014152897 A JP2014152897 A JP 2014152897A JP 2014152897 A JP2014152897 A JP 2014152897A JP 2015032309 A JP2015032309 A JP 2015032309A
Authority
JP
Japan
Prior art keywords
input
search information
image
user
button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014152897A
Other languages
English (en)
Inventor
トォン リエヌファン
Lianfang Tong
トォン リエヌファン
チェヌ ジエヌ
Jian Chen
チェヌ ジエヌ
シェヌ シュイ
Shen Xu
シェヌ シュイ
リィウ チェヌ
Chen Liu
リィウ チェヌ
毛呂井 昭平
Shohei Moroi
昭平 毛呂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2015032309A publication Critical patent/JP2015032309A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3325Reformulation based on results of preceding query
    • G06F16/3326Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】画像ファイルを構成するページ画像にユーザーによる検索に役立つ検索情報を付加するためのクラウドサーバー及び画像ファイル記憶検索システムに関わる。
【解決手段】該画像ファイル記憶検索システムにおいて、ユーザー端末の入力表示部は、ユーザーに現在表示されたページ画像に検索情報を付加させるためのページ画像通知画面を表示し、ユーザー側通信部は、検索情報を現在表示されたページ画像に対応付けてクラウドサーバーに送信し、クラウドサーバーの付加制御部は、受信された検索情報を対応のページ画像に付加する。
【選択図】図1

Description

本発明は、クラウドサーバー及び画像ファイル記憶検索システム、特に、ユーザーによる検索に役立つ検索情報を画像ファイルに付加するクラウドサーバー及び画像ファイル記憶検索システムに関わる。
従来では、キーワードなどのテキスト情報を入力することにより、画像ファイルを直接検索することが可能であり、その検索過程は次の通りである:ユーザーは必要な画像ファイルをメモリーに保存する際、個々のニーズによりキーワードなどのテキスト情報を該画像ファイルに付加することができ、テキスト情報及び画像ファイルはその後別々にメモリーに保存される。これにより、ユーザーは、自ら付加したテキスト情報を入力するだけで、所定の画像ファイルを見つけ出すことができる。
上記画像ファイルの検索方法の場合、テキスト情報はユーザーが各自の言語使用習慣をもとに付加されているため、ユーザーは該テキスト情報を忘れてしまうことがほとんどなく、以前に処理した画像ファイルを探そうと思えば、すぐに検索結果を手に入れることができる。この画像ファイル検索方法には精度が高い、目的性が明確等のメリットがあり、より個性のある検索を実現することができる。
しかし、このような画像ファイル検索方法だと、画像ファイルしか特定できず、画像ファイルに含まれる具体的なページだけ特定することはできない。ユーザーが画像ファイルのあるページをプレビューしたい場合には、ひとまず画像ファイルを開いて二次検索又はサーチを行う必要があるため、検索効率を著しく改善することができない。また、二次検索又はサーチは、画像ファイルに記載された内容に基づいて行われるため、ユーザーが記載された具体的な内容を忘れてしまい、おおむねの意味しか思い出せない場合には、検索の精度に限らず、実験室検索又は個性化を実現することに役に立たない。
本発明は、上記課題を解決するためになされたものであり、その目的は、ユーザーが検索情報をもとに、この検索情報に対応するページ画像を画像ファイルから直接見つけ出すことを可能にしたクラウドサーバー及び画像ファイル記憶検索システムを提供することである。
本発明は、上記目的を実現するために、下記の構造を採用した。
本発明は、複数のページを有する画像ファイルに検索情報を付加し、且つ該検索情報に基づいて検索を行う画像ファイル記憶検索システムであって、複数のページに対応する複数のページ画像を含む画像ファイルを記憶するためのクラウドサーバーと、ネットワークを介してクラウドサーバーとそれぞれ通信可能に接続されている少なくとも1つのユーザー端末と、を備えており、クラウドサーバーは、ページ画像記憶部、検索情報記憶部、付加制御部及びサーバー側通信部を含み、ユーザー端末は、画面記憶部、ユーザー側通信部及び入力表示部を含み、ページ画像記憶部は、少なくともページ画像を記憶し、サーバー側通信部は少なくともページ画像をユーザー端末に送信し、ユーザー側通信部は少なくともクラウドサーバーからページ画像を受信し、画面記憶部は少なくともページ画像通知画面及び検索情報付加用入力画面を記憶し、入力表示部は、少なくとも現在のページ画像の内容をユーザーに知らせるようにページ画像通知画面を表示し、及びユーザーに内容に基づいて検索情報を入力させるように検索情報付加用入力画面を表示し、ユーザー側通信部は検索情報を現在のページ画像に対応付けてクラウドサーバーに送信し、サーバー側通信部はユーザー端末から検索情報を受信し、付加制御部は、検索情報を対応付けられたページ画像に付加し、検索情報をページ画像に対応付けて記憶するように検索情報記憶部を制御することを特徴とする画像ファイル記憶検索システムを提供したものである。
本発明のクラウドサーバー及び画像ファイル記憶検索システムの場合、ユーザー端末の入力表示部にはユーザーに現在表示されたページ画像に検索情報を付加させるためのページ画像通知画面が表示されており、ユーザー側通信部は、検索情報を現在表示されたページ画像に対応付けてクラウドサーバーに送信し、クラウドサーバーの付加制御部は、受信された検索情報を、対応のページ画像に付加する仕組みになっているため、ユーザーは検索する際に、予め入力された検索情報で画像ファイルを構成するページ画像を直接検索することができ、検索効率の向上に役立つことができる。
また、ユーザーがページ画像に付加した検索情報は自らの言葉の習慣に基づくものであるため、ユーザーは自ら付加した検索情報をなかなか忘れられず、よりオリジナルティを有する検索を実現することができる。
本発明の実施例1における画像ファイル記憶検索システムのブロック図を示す説明図。 本発明の実施例1におけるクラウドサーバーのブロック図を示す説明図。 本発明の実施例1におけるユーザー端末のブロック図を示す説明図。 本発明の実施例1における登録画面を示す説明図。 本発明の実施例1におけるページ画像通知画面を示す説明図。 本発明の実施例1における付加方式選択画面を示す説明図。 本発明の実施例1における文字記号入力画面を示す説明図。 本発明の実施例1における音声入力画面を示す説明図。 本発明のにおける認識結果確認画面を示す説明図。 本発明の実施例1における画像入力画面を示す説明図。 本発明の実施例1における設問と回答の表示領域を示す説明図。 本発明の実施例1におけるコメント表示領域を示す説明図。 本発明の実施例1における音声表示領域を示す説明図。 本発明の実施例1における画像表示領域を示す説明図。 本発明の実施例1における情報対応表を示す説明図。 本発明の実施例1における第一類検索情報の付加フローチャートを示す説明図。 本発明の実施例1の検索情報付加プロンプト領域を示す説明図。 本発明の実施例1における第二類検索情報の付加フローチャートを示す説明図。 本発明の実施例1における第三類検索情報の付加フローチャートを示す説明図。 本発明の実施例1における第四類検索情報の付加フローチャートを示す説明図。 本発明の実施例1における第五類検索情報の付加フローチャートを示す説明図。 本発明の実施例1における検索方式選択画面を示す説明図。 本発明の実施例1における入力方式選択画面を示す説明図。 本発明の実施例1における第一類検索情報の検索に係るフローチャートを示す説明図。 本発明の実施例1における第四類検索情報の検索に係るフローチャートを示す説明図。 本発明の実施例1における第五類検索情報の検索に係るフローチャートを示す説明図。 本発明の実施例1における検索結果画面を示す説明図。 本発明の変形例における画像分類付加画面を示す説明図。 本発明の変形例における画像分類検索画面を示す説明図。 本発明の変形例における画像閲覧画面を示す説明図。
次に説明図を参照しながら、本発明におけるクラウドサーバー及び画像ファイル記憶検索システムの実施例について詳しく説明する。
ひとつの実施形態として、本発明は、複数のページを有する画像ファイルに検索情報を付加(添付)し、且つ該検索情報に基づいて検索を行う画像ファイル記憶検索システムであって、複数のページに対応する複数のページ画像を含む画像ファイルを記憶するためのクラウドサーバーと、ネットワークを介してクラウドサーバーとそれぞれ通信可能に接続されている少なくとも1つのユーザー端末と、を備えており、クラウドサーバーは、ページ画像記憶部、検索情報記憶部、付加制御部及びサーバー側通信部を含み、ユーザー端末は、画面記憶部、ユーザー側通信部及び入力表示部を含み、ページ画像記憶部は、少なくともページ画像を記憶し、サーバー側通信部は少なくともページ画像をユーザー端末に送信し、ユーザー側通信部は少なくともクラウドサーバーからページ画像を受信し、画面記憶部は少なくともページ画像通知画面及び検索情報付加用入力画面を記憶し、入力表示部は、少なくとも現在のページ画像の内容をユーザーに知らせるようにページ画像通知画面を表示し、及びユーザーに内容に基づいて検索情報を入力させるように検索情報付加用入力画面を表示し、ユーザー側通信部は検索情報を現在のページ画像に対応付けてクラウドサーバーに送信し、サーバー側通信部はユーザー端末から検索情報を受信し、付加制御部は検索情報をそれに対応するページ画像に付加し、検索情報をページ画像に対応付けて記憶するように検索情報記憶部を制御することを特徴とする画像ファイル記憶検索システムを提供したものである。
このような態様において、ページ画像記憶部は、ページ画像の属性を表すページ属性情報をさらに記憶し、ユーザー側通信部はページ画像を受信するとともにクラウドサーバーからページ属性情報を受信し、検索情報を送るとともに、対応のページ属性情報をクラウドサーバーに送信し、付加制御部は、ページ属性情報を検索情報に対応付けて記憶するように検索情報記憶部をさらに制御してもよい。
上記の態様において、検索情報は、第一類検索情報としてのキーワード、第二類検索情報としての設問及び回答、第三類検索情報としてのコメント、第四類検索情報としての音声、第五類検索情報としての画像、のうちいずれか1つ又は複数を含み、第一類検索情報、第二類検索情報及び第三類検索情報は文字データであり、第四類検索情報は音声データであり、第五類検索情報は画像データであってもよい。
上記の態様において、ページ画像通知画面は、検索情報付加方式選択領域をさらに含み、該検索情報付加選択領域は、第一類検索情報付加ボタン、第二類検索情報付加ボタン、第三類検索情報付加ボタン、第四類検索情報付加ボタン及び第五類検索情報付加ボタンを含み、画面記憶部は、少なくとも文字入力選択ボタンを含む付加方式選択画面、検索情報付加用入力画面としての文字入力画面、検索情報付加用入力画面としての音声入力画面、検索情報付加用入力画面としての画像入力画面、をさらに記憶し、第一類検索情報付加ボタンが選択された場合、入力表示部には、ユーザーに付加方式を選択させるための付加方式選択画面が表示され、文字入力選択ボタンが選択されたとき、入力表示部には、ユーザーに文字データを第一類検索情報として入力させるための文字入力画面が表示され、第二類検索情報付加ボタンが選択された場合、入力表示部には、ユーザーに付加方式を選択させるための付加方式選択画面が表示され、文字入力選択ボタンが選択されたとき、入力表示部には、ユーザーに文字データを第二類検索情報として入力させるための文字入力画面が表示され、第三類検索情報付加ボタンが選択された場合、入力表示部には、ユーザーに付加方式を選択させるための付加方式選択画面が表示され、文字入力選択ボタンが選択されたとき、入力表示部には、ユーザーに文字データを第三類検索情報として入力させるための文字入力画面が表示され、第四類検索情報付加ボタンが選択された場合、入力表示部には、ユーザーに音声データを第四類検索情報として入力させるための音声入力画面が表示され、第五類検索情報付加ボタンが選択された場合、入力表示部には、ユーザーに画像データを第五類検索情報として入力させるための画像入力画面が表示されてもよい。
上記の態様において、該画像ファイル記憶検索システムは音声認識部をさらに備えており、付加方式選択画面は音声入力選択ボタンをさらに含み、第一類検索情報付加ボタン及び音声入力選択ボタンが選択された場合、入力表示部にはユーザーに音声データを入力させるための音声入力画面が表示され、音声認識部は該音声データを文字データとして認識し、且つ該文字データを第一類検索情報とし、第二類検索情報付加ボタン及び音声入力選択ボタンが選択された場合、入力表示部にはユーザーに音声データを入力させるための音声入力画面が表示され、音声認識部は該音声データを文字データとして認識し、且つ該文字データを第二類検索情報とし、第三類検索情報付加ボタン及び音声入力選択ボタンが選択された場合、入力表示部にはユーザーに音声データを入力させるための音声入力画面が表示され、音声認識部は該音声データを文字データとして認識し、且つ該文字データを第三類検索情報としてもよい。
上記の態様において、該画像ファイル記憶検索システムは画像認識部をさらに備えており、付加方式選択画面は画像入力選択ボタンをさらに含み、第一類検索情報付加ボタン及び画像入力選択ボタンが選択された場合、入力表示部にはユーザーに画像データを入力させるための画像入力画面が表示され、画像認識部は該画像データを文字データとして認識し、且つ該文字データを第一類検索情報とし、第二類検索情報付加ボタン及び画像入力選択ボタンが選択された場合、入力表示部にはユーザーに画像データを入力させるための画像入力画面が表示され、画像認識部は該画像データを文字データとして認識し、且つ該文字データを第二類検索情報とし、第三類検索情報付加ボタン及び画像入力選択ボタンが選択された場合、入力表示部にはユーザーに画像データを入力させるための画像入力画面が表示され、画像認識部は該画像データを文字データとして認識し、且つ該文字データを第三類検索情報としてもよい。
1つの音声認識部又は1つの画像認識部を含む画像ファイル記憶検索システムにおいて、クラウドサーバーには検索部がさらに含まれており、画面記憶部は検索情報検索用入力画面をさらに記憶し、入力表示部はユーザーに検索用情報を入力させるための検索情報検索用入力画面をさらに表示し、ユーザー側通信部は検索用情報をクラウドサーバーに送信し、サーバー側通信部はユーザー端末から検索用情報を受信し、検索部は検索情報記憶部を検索して、検索用情報に一致する検索情報及び対応のページ属性情報を取得し、該ページ属性情報に基づいてページ画像記憶部を検索して、対応のページ画像を取得してもよい。
上記の画像ファイル記憶検索システムには、検出用情報は、第一類検索用情報としてのキーワード、第二類検索用情報としての設問及び回答、第三類検索用情報としてのコメント、第四類検索用情報としての音声、第五類検索用情報としての画像、のうちいずれか1つ又は複数を含み、第一類検索用情報、第二類検索用情報及び第三類検索用情報は文字データであり、第四類検索用情報は音声データであり、第五類検索用情報は画像データであり、画面記憶部は、第一類検索用情報入力ボタン、第二類検索用情報入力ボタン、第三類検索用情報入力ボタン、第四類検索用情報入力ボタン、及び第五類検索用情報入力ボタンを含む検索方式選択画面と、少なくとも文字入力ボタンを含む入力方式選択画面、検索情報検索用入力画面としての文字入力画面、検索情報検索用入力画面としての音声入力画面、検索情報検索用入力画面としての画像入力画面をさらに記憶し、第一類検索用情報入力ボタンが選択された場合、入力表示部には、ユーザーに入力方式を選択させるための入力方式選択画面が表示され、文字入力ボタンが選択されたとき、入力表示部には、ユーザーに文字データを第一類検索用情報として入力させるための文字入力画面が表示され、第二類検索用情報入力ボタンが選択された場合、入力表示部には、ユーザーに入力方式を選択させるための入力方式選択画面が表示され、文字入力ボタンが選択されたとき、入力表示部には、ユーザーに文字データを第二類検索用情報として入力させるための文字入力画面が表示され、第三類検索用情報入力ボタンが選択された場合、入力表示部には、ユーザーに入力方式を選択させるための入力方式選択画面が表示され、文字入力ボタンが選択されたとき、入力表示部には、ユーザーに文字データを第三類検索用情報として入力させるための文字入力画面が表示され、第四類検索用情報入力ボタンが選択された場合、入力表示部には、ユーザーに音声データを第四類検索用情報として入力させるための音声入力画面が表示され、第五類検索用情報入力ボタンが選択された場合、入力表示部には、ユーザーに画像データを第五類検索用情報として入力させるための画像入力画面が表示されてもよい。
上記の画像ファイル記憶検索システムには、入力方式選択画面は音声入力ボタンをさらに含み、第一類検索用情報入力ボタン及び音声入力ボタンが選択された場合、入力表示部には、ユーザーに音声データを入力させるための音声入力画面が表示され、音声認識部は、該音声データを文字データとして認識し、該文字データを第一類検索用情報とし、第二類検索用情報入力ボタン及び音声入力ボタンが選択された場合、入力表示部には、ユーザーに音声データを入力させるための音声入力画面が表示され、音声認識部は、該音声データを文字データとして認識し、該文字データを第二類検索用情報とし、第三類検索用情報入力ボタン及び音声入力ボタンが選択された場合、入力表示部には、ユーザーに音声データを入力させるための音声入力画面が表示され、音声認識部は、該音声データを文字データとして認識し、該文字データを第三類検索用情報としてもよい。
上記の画像ファイル記憶検索システムには、入力方式選択画面は画像入力ボタンをさらに含み、第一類検索用情報入力ボタン及び画像入力ボタンが選択された場合、入力表示部には、ユーザーに画像データを入力させるための画像入力画面が表示され、画像認識部は、該画像データを文字データとして認識し、該文字データを第一類検索用情報とし、第二類検索用情報入力ボタン及び画像入力ボタンが選択された場合、入力表示部には、ユーザーに画像データを入力させるための画像入力画面が表示され、画像認識部は、該画像データを文字データとして認識し、該文字データを第二類検索用情報とし、第三類検索用情報入力ボタン及び画像入力ボタンが選択された場合、入力表示部には、ユーザーに画像データを入力させるための画像入力画面が表示され、画像認識部は、該画像データを文字データとして認識し、該文字データを第三類検索用情報としてもよい。
上記の画像ファイル記憶検索システムには、ページ画像はスキャンアップロードデバイスを介してクラウドサーバーに送信され、ユーザー端末はスキャンアップロードデバイスを含んでもよい。
本発明の実施形態で、本発明は、ネットワークを介してユーザー端末に通信可能に接続され、複数ページを有する画像ファイルに検索情報を付加し、且つ該検索情報に基づいて検索を行うクラウドサーバーであって、ページ画像記憶部、検索情報記憶部、付加制御部及びサーバー側通信部を備えており、ページ画像記憶部は、少なくとも画像ファイルにおける複数のページに対応する複数枚のページ画像を記憶し、サーバー側通信部は、少なくともページ画像をユーザー端末に送信し、現在のページ画像に対応する検索情報をユーザー端末から受信し、付加制御部は、検索情報を対応のページ画像に付加し、該検索情報をページ画像に対応付けて記憶するように検索情報記憶部を制御することを特徴とするクラウドサーバーをも提供したものである。
上記のクラウドサーバーには、検索部をさらに備えており、ページ画像記憶部は、ページ画像の属性を表すページ属性情報をさらに記憶し、検索情報記憶部は、ページ属性情報を検索情報に対応付けて記憶し、サーバー側通信部がユーザー端末から検索用情報を受信すると、検索部は、検索情報記憶部を検索して、検索用情報に一致する検索情報及びそれに対応するページ属性情報を取得し、該ページ属性情報に基づいてページ画像記憶部を検索して、対応のページ画像を取得してもよい。
図1は本発明の実施例1における画像ファイル記憶検索システムのブロック図を示す説明図である。
図1に示されるように、クラウドサーバー101及び少なくとも1つのユーザー端末102からなる画像ファイル記憶検索システム100は、複数ページの画像ファイルに検索情報を付加し、該検索情報に基づき検索を行うのに用いられる。
図2は本発明の実施例1におけるクラウドサーバーのブロック図を示す説明図である。
図2に示されるように、クラウドサーバー101は、サーバー側制御部105、ページ画像記憶部106、検索情報記憶部107、検索部108、サーバー側通信部109、サーバー側一時保存部110、付加制御部150などを含めた、前記複数ページに対応する複数枚ページ画像を含む画像ファイルを記憶するのに用いられる。
クラウドサーバー101はインターネット103を介して各ユーザー端末102と接続され、これらのユーザー端末102との間でデータ情報の伝送と交換を行う。クラウドサーバー101はさらにスキャンアップロードデバイス104と接続されて、スキャンアップロードデバイス104によりアップロードされた画像ファイルを受信して記憶することができる。
図3は本発明の実施例1におけるユーザー端末のブロック図を示す説明図である。
図3に示されるように、ユーザー端末102はいずれもユーザー側一時保存部116、画面記憶部113、入力表示部114、ユーザー側通信部115、音声認識部132、画像認識部136及びユーザー側制御部112などを含む。ユーザー端末102により、ユーザーはページ画像に付加された検索情報と、ページ画像を検索するための検索用情報と、を入力したり、電子形式の画像ファイルをクラウドサーバー101にアップロードしたりすることができる。
ページ画像記憶部106は画像ファイルをページ別に記憶するとともに、各ページ画像の属性を表すそれぞれのページ属性情報を記憶し、即ち、ページ画像記憶部106は、画像ファイルを構成する各ページ画像及び該ページ画像のページ属性情報を対応付けて記憶する。ページ画像のサイズ、使用領域、解像度、ファイル形式、閲覧数、ファイルソース及び対応の画像ファイルにおけるページ番号などの情報を含めた各ページ画像のページ属性情報はいずれも該ページ画像と互いに対応付けられる。
各ページ画像をスキャンアップロードデバイス104でスキャンした後クラウドサーバー101にアップロードするか、もしくはユーザー端末102を介して直接クラウドサーバー101にアップロードしてもよい。前記どの方法でも、該画像ファイルはまずページ毎にページ画像に分割され、次にすべてSWF(shock wave flash)フォーマットに変換されてページ画像記憶部106に保存される。
サーバー側通信部109はクラウドサーバー101の各構成部分間、及びクラウドサーバー101とユーザー端末102との間のデータ情報の交換に用いられる。ユーザー端末102がページ画像を表示しようとすると、サーバー側通信部109はページ画像を少なくともユーザー端末に伝送する。ユーザー端末102があるページ画像に検索情報を付加した後、サーバー側通信部109はユーザー端末から検索情報を受信する。
サーバー側一時保存部110は、クラウドサーバー101の各構成部分間、及びクラウドサーバー101とユーザー端末102との間に交換されたデータ情報、例えば、ユーザー端末102から送信された検索情報及び検索用情報などデータ、を一時的に保存する。
サーバー側制御部105は、サーバー側通信部109を制御してユーザー端末102から送信されたデータ情報を受信し、且つ該データ情報に基づきクラウドサーバー101の各構成部分の動作を制御する。
ユーザー側通信部115はユーザー端末102の各構成部分の間、及び、ユーザー端末102とクラウドサーバー101との間のデータ情報の交換に用いられる。例えば、ユーザー側通信部115は、検索用キーワード及び方式情報をクラウドサーバー101に送信したり、クラウドサーバー101から検索結果を受信して入力表示部114に送信して表示したりすることができる。
画面記憶部113にはログイン画面、ページ画像通知画面、検索情報付加用入力画面、検索方式選択画面、検索情報検索用入力画面、検索結果画面、文字入力画面、画像入力画面、音声入力画面など画面が記憶されている。
入力表示部114は、ログイン画面、ページ画像通知画面、検索情報付加用入力画面、検索方式選択画面、認識結果確認画面、検索情報検索用入力画面、検索結果画面、文字入力画面、画像入力画面、音声入力画面などのような、画面記憶部113に記憶された様々な画面を表示し、ユーザーがそれにより、関連情報を入力し、又は様々な選択を行う。
図4は本発明の実施例1における登録画面を示す説明図である。
図4に示されるように、ログイン画面117は、ユーザーを該画像ファイル記憶検索システム100にログインさせるためのユーザー識別コードを入力するときに用いられる。ログイン画面117には、ユーザーにユーザー識別コードの入力を案内する「ユーザー識別コードを入力してください」のダイアログ、及びユーザーにユーザー識別コードを入力させるユーザー識別コード入力ボックス118、がある。
また、該ログイン画面117には「ログイン」ボタン、「ログアウト」ボタン及び「登録」ボタンがある。ユーザーがユーザー識別コードを正しく入力して「ログイン」ボタンを選択すると、画像ファイル記憶検索システム100にアクセスされる。なお、ユーザーが間違ったユーザー識別コードを入力してしまうと、入力表示部114に「ユーザー識別コードが正しくありません。もう一度ユーザー識別コードを入力するか、新しいユーザー識別コードを作成してくだい」のダイアログが表示される。ユーザーが「ログアウト」ボタンを選択した場合、画像ファイル記憶検索システム100からログアウトして、検索が終了する。ユーザー識別コードを持っていない場合、「登録」ボタンをクリックし、ユーザーID、ニックネーム、ユーザー名、作者及びパスワードなどユーザー識別情報を入力することで、新しいユーザー識別コードを取得することができる。「作者」情報は、ユーザー識別コードと一つ一つ対応している。
なお、該ログイン画面117に、「識別コードを忘れた」ボタンを設けてもよい。万が一ユーザーが自分のユーザー識別コードを忘れた場合でも、このボタンを選択して、登録の際に記入したユーザー識別情報をもとにユーザー識別コードを取り戻すことができる。
図5は本発明の実施例1におけるページ画像通知画面を示す説明図である。
図5に示されるように、画像名称表示領域120、ページ表示領域124、検索情報付加選択領域121、検索情報表示領域122、ページ画像表示領域123、サムネイル表示領域125など領域を含めたページ画像通知画面119は現在のページ画像内容をユーザーに知らせるのに用いられる。ユーザーが画像ファイル記憶検索システム100にアクセスして必要なページ画像を選択し、或いは、検索されたページ画像を選択すると、入力表示部114には現在選択されたページ画像の内容をユーザーに知らせるためのページ画像通知画面119が表示される。
ページ画像通知画面119において、画像名称表示領域120には、現在選択されたページ画像のある画像ファイルの名称が表示される。図5に示す「閲覧.pdf」は即ち現在選択した画像ファイルの名称である。
ページ画像表示領域123は、選択されたページ画像の内容をユーザーに表示するとともに、該ページ画像に付加された様々な検索情報を表示する。図5中の「勘定書保存」、「勘定残高」及び「手続き依頼」は現在表示されたページ画像に付加されたキーワード検索情報である。ページ画像表示領域123にスクロールバー142がさらに設けられ、水平スクロールバー及び垂直スクロールバーを含む。水平スクロールバーは、ページ画像の水平表示領域を調整し、垂直スクロールバーは、ページ画像の垂直表示領域を調整する。ページ画像の画素が高い時、該ページ画像が全ページ画像表示領域123に表示不能であるので、スクロールバー142の位置を調整することを通して現在選択されたページ画像の表示領域を調整して、該ページ画像を完全に表示する。
サムネイル表示領域125は現在にてユーザーにより選択されたページ画像のサムネイル及びそれに隣接する数枚のページ画像のサムネイルを表示する。本実施例において、サムネイル表示領域125は、6枚のサムネイルを表示する。なお、サムネイル表示領域125は、もっと多く又はもっと少ないサムネイルを表示することもできる。該サムネイル表示領域125におけるサムネイルのいずれかが選択された場合、ページ画像表示領域123は、選択されたサムネイルに対応するページ画像の内容を表示する。選択されたサムネイルはサムネイル表示領域125で、ほかの選択されていないサムネイルと区別可能に表示され、例えば、影付き、外枠太罫線、タブ付きなど、の方式で処理し、それにより、ユーザーが現在選択されたサムネイルを閲覧することができる。図5の中で選択されたサムネイルは、周辺のサムネイルと区別するように外枠太罫線の方式で表示される。サムネイルにより、ユーザーが現在選択されたページ画像の近傍の複数のページ画像の概況を了解し、対象ページ画像をすぐ見つけ出すことができる。
ページ表示領域124は、画像ファイルにおける現在選択されたページ画像のページ番号をユーザーに表示する。表示されたページ番号は表示されたサムネイルの数に一致する。
検索情報付加選択領域121により、ユーザーが現在選択されたページ画像に必要な検索情報を付加することが可能である。本実施例において、ユーザーが付加できる検索情報は5種類あり、それぞれ、第一類検索情報としてのキーワード、第二類検索情報としての設問及び回答、第三類検索情報としてのコメント、第四類検索情報としての音声、及び第五類検索情報としての画像、である。第一類検索情報、第二類検索情報及び第三類検索情報は文字記号型データであり、第四類検索情報は音声データであり、第五類検索情報は画像データである。それに対応して、検索情報付加選択領域121は、前記検索情報をそれぞれ対応して付加するための第一類検索情報付加ボタン、第二類検索情報付加ボタン、第三類検索情報付加ボタン、第四類検索情報付加ボタン及び第五類検索情報付加ボタン、という5種類の情報付加ボタンを有する。図5のように、「キーワード」ボタンは第一類検索情報付加ボタンであり、「設問及び回答」ボタンは第二類検索情報付加ボタンであり、「コメント」ボタンは第三類検索情報付加ボタンであり、「音声」ボタンは第四類検索情報付加ボタンであり、「画像」ボタンは第五類検索情報付加ボタンである。
図6は本発明の実施例1における付加方式選択画面を示す説明図である。
図6に示されるように、付加方式選択画面140は、ユーザーが検索情報の付加方式を選択できるように、「検索情報付加方式を選択してくだい」のダイアログ、文字記号入力選択ボタン、音声入力選択ボタン及び画像入力選択ボタンを含む。第一類検索情報付加ボタン、第二類検索情報付加ボタン及び第三類検索情報付加ボタンのいずれか一方が選択された場合、入力表示部114は、ユーザーが必要な付加方式を選択するための付加方式選択画面140を表示する。文字記号入力選択ボタンは、図6に示された「キャラクター形式で付加」ボタンであり、音声入力選択ボタンは図6に示された「音声形式で付加」ボタンであり、画像入力選択ボタンは図6に示された「画像形式で付加」ボタンである。
図7は本発明の実施例1における文字記号入力画面を示す説明図である。
図7に示されるように、文字入力画面130は、「文字を入力してください」のダイアログ及び文字入力ボックス131を含む。付加方式選択画面140の文字記号入力選択ボタンが選択された場合、入力表示部114は、ユーザーが文字記号型データを入力するための文字入力画面130を表示する。
ユーザーが該文字入力ボックス131に文字記号型データを入力した後、該文字記号型データは検索情報として現在表示されたページ画像に付加される。本実施例において、「勘定書締切」文字記号型データが入力されたので、該「勘定書締切」は現在表示されたページ画像の検索情報とされる。
図8は本発明の実施例1における音声入力画面を示す説明図である。
図8に示されるように、音声入力画面143は、ユーザーに音声データを入力させることに用いられる。付加方式選択画面140の音声入力選択ボタンが選択された場合、即ち、ユーザーが音声入力を付加方式とした場合、入力表示部114が音声入力画面143を表示する。音声入力画面143に、「音声を入力してください」のダイアログ、音声プレビューボタン144及び録音ボタン145が含まれる。音声プレビューボタンは図8により示された「プレビュー」ボタンである。録音ボタン145は図8により示されたマイクのアイコンである。
音声プレビューボタン144が選択された場合、ユーザーがユーザー端末102から音声データをアップロードすることができる。録音ボタン145が選択された場合、ユーザーが音声データを直接入力することができる。ユーザーの入力が完了した場合、音声再生ボタンをクリックすると、自分で入力した音声を再生することができる。音声再生ボタンは図8に示されたスピーカーのアイコンである。
音声認識部132により、ユーザーの入力した音声データは文字記号型データに変換される。ユーザーが前記1種類の方式のいずれか一項を通して音声データを入力した時、音声認識部132は該音声データを文字記号型データに変換し、該文字記号型データは検索情報として現在表示されたページ画像に付加される。
図9は本発明の実施例1における認識結果確認画面を示す説明図である。
図9に示されるように、認識結果確認画面133は、「下記の内容に間違いがないか確認してください」のダイアログ、及び認識結果確認ダイアログボックス134を含む。音声認識部132が音声データを文字記号型データに変換した後、入力表示部114は、ユーザーに音声認識結果の正確さを確認させるための認識結果確認画面133を表示する。認識結果が正確である場合、ユーザーは「確認」ボタンを選択し、該認識結果が検索情報として現在表示されたページ画像に付加される。認識結果が間違っている場合、ユーザーは認識結果確認ダイアログボックス134で正確な文字記号型データに修正し、且つ確認ボタンを選択し、修正後の文字記号型データが検索情報として現在表示されたページ画像に付加される。図9中の音声認識結果は「勘定書締切」であり、「勘定書締切」は、認識結果確認画面133の認識結果確認ダイアログボックス134の中に表示される。
図10は本発明の実施例1における画像入力画面を示す説明図である。
図10に示されるように、画像入力画面135は、ユーザーに画像データを入力させるために、「画像を入力してください」のダイアログ、画像プレビューボタン146及びカメラボタン147を含む。付加方式選択画面140の画像入力選択ボタンが選択された場合、入力表示部114は画像入力画面135を表示する。画像プレビューボタン146及び「確認」ボタンが選択された場合、ユーザーはユーザー端末102から画像データをアップロードすることができる。カメラボタン147が選択された場合、ユーザーは写真を撮ることを通して画像データを直接に入力することができる。
画像認識部136は、ユーザーの入力した画像データを文字記号型データに変換する。ユーザーが前記2種類の方式のいずれか一方を通して画像データを入力する時、画像認識部136は該画像データを文字記号型データに変換する。画像認識部136が画像データを文字記号型データに変換した後、入力表示部114は、ユーザーに画像の認識結果の正確さを確認させるための認識結果確認画面133を表示する。認識結果が正確である場合、ユーザーは結果確認画面133の確認ボタンを選択し、該認識結果が検索情報として現在表示されたページ画像に付加される。認識結果が間違っている場合、ユーザーは結果確認画面133の認識結果確認ダイアログボックス134で正確な文字記号型データに修正し、且つ確認ボタンを選択し、修正後の文字記号型データが検索情報として現在表示されたページ画像に付加される。
5種類の検索情報の詳細な付加過程は下記の通りである。
第一類検索情報付加ボタンが選択された場合、入力表示部114は、ユーザーに付加方式を選択させるための付加方式選択画面140を表示する。文字記号入力選択ボタンが選択された場合、入力表示部114は、ユーザーに文字記号型データを第一類検索情報として入力させるための文字入力画面130を表示し、音声入力選択ボタンが選択された場合、入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、次いで音声認識部132が該音声データを文字記号型データとして認識し、且つそれを第一類検索情報とし、画像入力選択ボタンが選択された場合、入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136が該画像データを文字記号型データとして認識し、且つそれを第一類検索情報とする。
第二類検索情報付加ボタンが選択された場合、入力表示部114は、ユーザーに付加方式を選択させるための付加方式選択画面140を表示する。文字記号入力選択ボタンが選択された場合、入力表示部114は、ユーザーに文字記号型データを第二類検索情報として入力させるための文字入力画面130を表示し、音声入力選択ボタンが選択された場合、入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、次いで音声認識部132が該音声データを文字記号型データとして認識し、且つそれを第二類検索情報とし、画像入力選択ボタンが選択された場合、入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136が該画像データを文字記号型データとして認識し、且つそれを第二類検索情報とする。
第三類検索情報付加ボタンが選択された場合、入力表示部114は、ユーザーに付加方式を選択させるための付加方式選択画面140を表示する。文字記号入力選択ボタンが選択された場合、入力表示部114は、ユーザーに文字記号型データを第三類検索情報として入力させるための文字入力画面を表示し、音声入力選択ボタンが選択された場合、入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、次いで音声認識部132が該音声データを文字記号型データとして認識し、且つそれを第三類検索情報とし、画像入力選択ボタンが選択された場合、入力表示部114は、ユーザーに画像データを入力させるための画像入力画面を表示し、画像認識部136が該画像データを文字記号型データとして認識し、且つそれを第三類検索情報とする。
第四類検索情報付加ボタンが選択された場合、入力表示部114は、ユーザーに第四類検索情報としての音声データを入力させるための音声入力画面を表示する。
第五類検索情報付加ボタンが選択された場合、入力表示部114は、ユーザーに画像データを第五類検索情報として入力させるための画像入力画面を表示する。5種類の検索情報のいずれか一方が付加された後、これらの検索情報は、ユーザーが容易にプレビューできるように、検索情報表示領域122で表示される。
検索情報表示領域122は、該ページ画像の中で事前に付加された検索情報を表示し、キーワード表示領域126、設問及び回答表示領域127、コメント領域128、音声表示領域148及び画像表示領域149を含む。
図5に示されるように、キーワード表示領域126は、付加された第一類検索情報を表示し、キーワードの作者、キーワードの内容、新規作成時間及びキーワードの閲覧数など情報を含む。キーワード表示領域126に、ユーザーがキーワードを修正するための「削除」ボタン及び「編集」ボタンがさらに設けられる。しかし、「削除」ボタン及び「編集」は、ユーザー識別コードに対応するキーワードに対応して設置されたので、該キーワードを新規作成した作者だけが、設定されたキーワードを修正でき、他のユーザーにより設定されたキーワードを修正できない。図5では、作者を「fox」とするユーザーが、名称「閲覧.pdf」のページ52に2つのキーワード「勘定書保存」及び「勘定残高」を新規作成し、作者を「nick」とするユーザーが該ページ画像にキーワード「手続き依頼」を新規作成する。作者を「fox」とするユーザーが該画像ファイル記憶検索システムにログインする時、「勘定書保存」及び「勘定残高」のみを削除又は編集し、「手続き依頼」を削除又は編集できない。それに対応して、すべてのユーザーがページ52のページ画像に新規作成したキーワードはいずれもページ画像表示領域123で表示される。
図11は本発明の実施例1における設問と回答の表示領域を示す説明図である。
図11に示されるように、設問及び回答表示領域127は、事前に付加された第二類検索情報を表示し、設問及び回答の作者、質問の内容、答えの内容、新規作成時間及び閲覧数など情報を含む。設問及び回答は、ページ画像に対応して付加され、付加される時、領域を選択する必要がない。設問及び回答表示領域127に「回答」ボタンがある。ユーザーが該「回答」ボタンを選択すると、質問に対して答えることが可能である。1つの質問に複数の答えがある場合、答えはそれぞれ時間の順序によってダイアログボックスで順に表示され、混乱や混同を避ける。
図12は本発明の実施例1におけるコメント表示領域を示す説明図である。
図12に示されるように、コメント領域128は、付加された第三類検索情報を表示し、コメントの作者、コメントの内容、新規作成時間及び閲覧数など情報を含む。コメントは、ページ画像に対応して付加され、付加する時に領域を選択する必要がない。1つのページ画像に複数のコメントがある場合、各コメントはそれぞれダイアログボックスで追加時間によって順に上から下へ表示され、混乱や混同を避ける。
図13は本発明の実施例1における音声表示領域を示す説明図である。
図13に示されるように、音声表示領域148は、すでに付加された第四類検索情報を表示し、音声の作者、音声内容識別子(スピーカーのアイコン)、新規作成時間及び閲覧数など情報を含む。それと対応して、ページ画像表示領域123の検索情報表示ボックス155も、該検索情報表示ボックス155内の検索情報が第四類検索情報であることをユーザーに通知するための音声内容標識子(スピーカーのアイコン)を含む。1枚のページ画像に、複数の第四類検索情報が含まれた場合、音声表示領域148は、ページ画像表示領域123における第四類検索情報の位置順位によって、これらの第四類検索情報を順に表示する。音声はページ画像のある領域に対応して付加される。図13は3つの第四類検索情報を含む。図13では、「金額計算」領域に付加された音声情報が音声表示領域148の一番上に表示されている。図13では、「締切日」に付加された音声情報が音声表示領域148の一番下に表示されている。図13では、「準備時間」に付加された音声情報が音声表示領域148の中間部に表示されている。ユーザーが音声内容識別子(スピーカーのアイコン)をクリックすると、該第四類検索情報を再生することが可能である。
図14は本発明の実施例1における画像表示領域を示す説明図である。
図14に示されるように、画像表示領域149は、付加された第五類検索情報を表示し、画像の作者、画像内容識別子(フォルダのアイコン)、新規作成時間及び閲覧数など情報を含む。それと対応して、ページ画像表示領域123の検索情報表示ボックスも画像内容識別子(フォルダのアイコン)を含み、該検索情報表示ボックス内の検索情報が第五類検索情報であることをユーザーに通知する。1枚のページ画像に複数の第五類検索情報を含む場合、画像表示領域149は、ページ画像表示領域123における第五類検索情報の位置順序によってこれらの第五類検索情報を順に表示する。図14の中の「負債」は選択されたページ画像の内容を表し、「負債」の隣の画像内容識別子(フォルダのアイコン)は、該選択された領域に第五類検索情報が付加されたことを示す。ユーザーが画像内容識別子(フォルダのアイコン)をクリックすると、該第五類検索情報を閲覧することができる。
付加制御部150は前記5種類の検索情報の任意1種をページ画像に付加し、且つ検索情報記憶部107を制御して、付加された検索情報とページ画像とを対応付けて記憶し、さらに検索情報記憶部107を制御してページ属性情報及びこれらの検索情報を対応付けて記憶する。
図15は本発明の実施例1における情報対応表を示す説明図である。
図15に示されるように、情報対照表151は、付加制御部150により生成され、且つ検索情報記憶部107に記憶される。情報対照表151がページ属性情報、検索情報及び両者の対応関係を記憶する。情報対照表151に記憶されたページ属性情報はファイル名及びページ番号などの情報を含む。情報対照表151において、5種類の検索情報はそれぞれページ画像に対応するとともに、画像ファイルにおけるページ画像のページ番号に対応する。図15では、ファイル名「F1」、ページ番号「P1」のページ画像はそれぞれ3つの第一類検索情報「K11-1」、「K11-2」、「K11-3」と、2つの第二類検索情報「Q&A11-1」、「Q&A11-2」と、1つの第三類検索情報「C11-1」、1つの第四類検索情報「V11-1」を含み、第五類検索情報を含まない。ファイル名「F1」、ページ番号「P3」のページ画像は、第一類検索情報、第二類検索情報、第三類検索情報及び第四類検索情報を含まず、第四類検索情報「I13-1」の1つだけを含む。
続いて、フローチャートを参照しながら、ページ画像における検索情報の付加過程を詳しく説明する。
図16は、本発明の実施例1における第一類検索情報の付加フローチャートを示す説明図である。
図16に示されるように、第一類検索情報付加プロセスは下記の通りである。
ステップS1−1:ユーザーが現在選択且つ表示されたページ画像に第一類検索情報を付加する必要がある場合、入力表示部114は、検索情報付加選択領域121でユーザーに第一類検索情報付加ボタンを選択させるためのページ画像通知画面119を表示し、ステップS1−2に進む。
図17は本発明の実施例1の検索情報付加プロンプト領域を示す説明図である。
ステップS1−2: 図17に示されるように、入力表示部114は、ページ画像通知画面119の検索情報付加プロンプト領域で「画像表示領域で領域を選択してください」のダイアログを表示し、ページ画像表示領域123で第一類検索情報としてのキーワードの付加領域を選択することをユーザーに通知する。ステップS1−3に進む。
ステップS1−3:ユーザーがキーワードの付加領域を選択した後、入力表示部114は、ユーザーに付加方式を選択させるための付加方式選択画面140を表示する。文字記号入力選択ボタンが選択された場合、ステップS1−4に入り、音声入力選択ボタンが選択された場合、ステップS1−5に入り、画像入力選択ボタンが選択された場合、ステップS1−6に進む。
ステップS1−4:入力表示部114は、ユーザーが第一類検索情報としての文字記号型データを入力するための文字入力画面130を表示し、ステップS1−7に進む。
ステップS1−5:入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、音声認識部132は該音声データを第一類検索情報としての文字記号型データとして認識し、ステップS1−7に進む。
ステップS1−6:入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136は、該画像データを第一類検索情報としての文字記号型データとして認識し、ステップS1−7に進む。
ステップS1−7:ユーザー側通信部115は第一類検索情報及び現在ページ画像をクラウドサーバー101に対応付けて送信し、ステップS1−8に進む。
ステップS1−8:サーバー側通信部109はユーザー端末102から第一類検索情報を受信し、ステップS1−9に進む。
ステップS1−9:付加制御部150は第一類検索情報を対応するページ画像に付加し、且つ検索情報記憶部107を制御して、該第一類検索情報とページ画像とを対応付けて記憶する。
第一類検索情報の付加はこれで完了である。
図18は、本発明の実施例1における第二類検索情報の付加フローチャートを示す説明図である。
図18に示されるように、第二類検索情報付加プロセスは下記の通りである。
ステップS2−1:
ユーザーが現在選択且つ表示されたページ画像に第二類検索情報を付加する時、入力表示部114は、検索情報付加選択領域121でユーザーに第二類検索情報付加ボタンを選択させるためのページ画像通知画面119を表示し、ステップS2−2に進む。
ステップS2−2:入力表示部114は、ユーザーに付加方式を選択させるための付加方式選択画面140を表示する。文字記号入力選択ボタンが選択された場合、ステップS2−3に入り、音声入力選択ボタンが選択された場合、ステップS2−4に入り、画像入力選択ボタンが選択された場合、ステップS2−5に進む。
ステップS2−3:入力表示部114は、ユーザーが第二類検索情報としての文字記号型データを入力するための文字入力画面130を表示し、ステップS2−6に進む。
ステップS2−4:入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、音声認識部132は該音声データを第二類検索情報としての文字記号型データとして認識し、ステップS2−6に進む。
ステップS2−5:入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136は、該画像データを第二類検索情報としての文字記号型データとして認識し、ステップS2−6に進む。
ステップS2−6:ユーザー側通信部115は第二類検索情報及び現在ページ画像をクラウドサーバー101に対応付けて送信し、ステップS2−7に進む。
ステップS2−7:サーバー側通信部109はユーザー端末111から第二類検索情報を受信し、ステップS2−8に進む。
ステップS2−8:付加制御部150は第二類検索情報を対応するページ画像に付加し、且つ検索情報記憶部107を制御して、該第二類検索情報とページ画像とを対応付けて記憶する。
第二類検索情報の付加はこれで完了である。
図19は、本発明の実施例1における第三類検索情報の付加フローチャートを示す説明図である。
図19に示されるように、第三類検索情報付加プロセスは下記の通りである。
ステップS3−1:ユーザーが現在選択且つ表示されたページ画像に第三類検索情報を付加する時、入力表示部114は、検索情報付加選択領域121でユーザーに第三類検索情報付加ボタンを選択させるためのページ画像通知画面119を表示し、ステップS3−2に進む。
ステップS3−2:入力表示部114は、ユーザーに付加方式を選択させるための付加方式選択画面140を表示する。文字記号入力選択ボタンが選択された場合、ステップS3−3に入り、音声入力選択ボタンが選択された場合、ステップS3−4に入り、画像入力選択ボタンが選択された場合、ステップS3−5に進む。
ステップS3−3:入力表示部114は、ユーザーが第三類検索情報としての文字記号型データを入力するための文字入力画面130を表示し、ステップS3−6に進む。
ステップS3−4:入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、音声認識部132は該音声データを第三類検索情報としての文字記号型データとして認識し、ステップS3−6に進む。
ステップS3−5:入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136は、該画像データを第三類検索情報としての文字記号型データとして認識し、ステップS3−6に進む。
ステップS3−6:ユーザー側通信部115は第三類検索情報及び現在ページ画像をクラウドサーバー101に対応付けて送信し、ステップS3−7に進む。
ステップS3−7:サーバー側通信部109はユーザー端末111から第三類検索情報を受信し、ステップS3−8に進む。
ステップS3−8:付加制御部150は第三類検索情報を対応するページ画像に付加し、且つ検索情報記憶部107を制御して、該第三類検索情報とページ画像とを対応付けて記憶する。
第三類検索情報の付加はこれで完了である。
図20は、本発明の実施例1における第四類検索情報の付加フローチャートを示す説明図である。
図20に示されるように、第四類検索情報付加プロセスは下記の通りである。
ステップS4−1:ユーザーが現在選択且つ表示されたページ画像に第四類検索情報を付加する時、入力表示部114は、検索情報付加選択領域121でユーザーに第四類検索情報付加ボタンを選択させるためのページ画像通知画面119を表示し、ステップS4−2に進む。
ステップS4−2:ユーザーがページ画像表示領域123の中で第四類検索情報としての音声の付加領域を選択し、入力表示部114は、ユーザーに音声データを第四類検索情報として入力させるための音声入力画面143を表示し、ステップS4−3に進む。
ステップS4−3:ユーザー側通信部115は第四類検索情報及び現在ページ画像をクラウドサーバー101に対応付けて送信し、ステップS4−4に進む。
ステップS4−4:サーバー側通信部109はユーザー端末111から第四類検索情報を受信し、ステップS4−5に進む。
ステップS4−5:付加制御部150は第四類検索情報を対応するページ画像に付加し、且つ検索情報記憶部107を制御して、該第四類検索情報とページ画像とを対応付けて記憶する。
第四類検索情報の付加はこれで完了である。
図21は、本発明の実施例1における第五類検索情報の付加フローチャートを示す説明図である。
図21に示されるように、第五類検索情報付加プロセスは下記の通りである。
ステップS5−1:ユーザーが現在選択且つ表示されたページ画像に第五類検索情報を付加する時、入力表示部114は、検索情報付加選択領域121でユーザーに第五類検索情報付加ボタンを選択させるためのページ画像通知画面119を表示し、ステップS5−2に進む。
ステップS5−2:ユーザーがページ画像表示領域123の中で第五類検索情報としての画像の付加領域を選択し、入力表示部114は、ユーザーに画像データを第五類検索情報として入力させるための画像入力画面135を表示し、ステップS5−3に進む。
ステップS5−3:ユーザー側通信部115は第五類検索情報及び現在ページ画像をクラウドサーバー101に対応付けて送信し、ステップS5−4に進む。
ステップS5−4:サーバー側通信部109はユーザー端末111から第五類検索情報を受信し、ステップS5−5に進む。
ステップS5−5:付加制御部150は第五類検索情報を対応するページ画像に付加し、且つ検索情報記憶部107を制御して、該第五類検索情報とページ画像とを対応付けて記憶する。
第五類検索情報の付加はこれで完了である。
次に、ページ画像の検索過程を詳しく説明する。
検索部108はユーザーにより入力された検索用情報に基づいてページ画像を検索する。本実施例において、ユーザーが付加できる検索情報は5種類あり、それぞれ、第一類検索用情報としてのキーワード、第二類検索用情報としての設問及び回答、第三類検索用情報としてのコメント、第四類検索用情報としての音声、及び第五類検索用情報としての画像のいずれか1つ又は複数である。第一類検索用情報、第二類検索用情報及び第三類検索用情報は文字記号型データであり、第四類検索用情報は音声データであり、第五類検索用情報は画像データである。
図22は本発明の実施例1における検索方式選択画面を示す説明図である。
図22に示されるように、検索方式選択画面152は、ユーザーに検索方式を選択させることに用いられる。ユーザーが画像ファイル記憶検索システム100にアクセスした後、入力表示部114は、検索方式選択画面152を表示する。本実施例において、ユーザーが選択可能な検索方式は5種類あり、それぞれ、第一類検索情報を検索するための「キーワード検索」検索方式、第二類検索情報を検索するための「設問及び回答検索」検索方式、第三類検索情報を検索するための「コメント検索」検索方式、第四類検索情報を検索するための「音声検索」検索方式、第五類検索情報を検索するための「画像検索」検索方式、である。それに応じて、検索方式選択画面152は、5種類の検索用情報入力ボタンを含有し、それぞれ、第一類検索用情報入力ボタンとしての「キーワード検索」ボタン、第二類検索用情報入力ボタンとしての「設問及び回答検索」ボタン、第三類検索用情報入力ボタンとしての「コメント検索」ボタン、第四類検索用情報入力ボタンとしての「音声検索」ボタン、並びに、第五類検索用情報入力ボタンとしての「画像検索」ボタン、である。図22に示されるように、ユーザーが「コメント検索」ボタンの前の選択ボックスを選択することだけで、第三類検索情報を検索することが実現できる。
図23は本発明の実施例1における入力方式選択画面を示す説明図である。
図23に示されるように、入力方式選択画面153により、ユーザーが検索用情報の入力方式を選択する。第一類検索用情報入力ボタン、第二類検索用情報入力ボタン及び第三類検索用情報入力ボタンのいずれか1種が選択された場合、入力表示部114は、ユーザーに必要な検索用情報の入力方式を選択させるための入力方式選択画面153を表示する。入力方式選択画面153は文字記号入力ボタン、音声入力ボタン及び画像入力ボタンを含む。文字記号入力ボタンは、図23に示された「文字形式で入力」ボタンであり、音声入力ボタンは、図23に示された「音声形式で入力」ボタンであり、画像入力ボタンは、図23に示された「画像形式で入力」ボタンである。入力方式選択画面153の文字記号入力ボタンが選択された場合、入力表示部114は、ユーザーに文字記号型データを入力させるための文字入力画面130を表示する。入力方式選択画面153の音声入力ボタンが選択された場合、入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示する。入力方式選択画面153の画像入力ボタンが選択された場合、入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示する。
5種類の検索用情報の詳しい入力過程は下記の通りである。
第一類検索用情報入力ボタンが選択された場合、入力表示部114は、ユーザーに入力方式を選択させるための入力方式選択画面153を表示する。文字記号入力ボタンが選択された場合、入力表示部114は、ユーザーに文字記号型データを第一類検索用情報として入力させるための文字入力画面130を表示し、音声入力ボタンが選択された場合、入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、次いで、音声認識部132は、該音声データを第一類検索用情報としての文字記号型データとして認識し、画像入力ボタンが選択された場合、入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136は、該画像データを第一類検索用情報としての文字記号型データとして認識する。
第二類検索用情報入力ボタンが選択された場合、入力表示部114は、ユーザーに入力方式を選択させるための入力方式選択画面153を表示する。文字記号入力ボタンが選択された場合、入力表示部114は、ユーザーに文字記号型データを第二類検索用情報として入力させるための文字入力画面130を表示し、音声入力ボタンが選択された場合、入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、次いで、音声認識部132は、該音声データを第二類検索用情報としての文字記号型データとして認識し、画像入力ボタンが選択された場合、入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136は、該画像データを第二類検索用情報としての文字記号型データとして認識する。
第三類検索用情報入力ボタンが選択された場合、入力表示部114は、ユーザーに入力方式を選択させるための入力方式選択画面153を表示する。文字記号入力ボタンが選択された場合、入力表示部114は、ユーザーに文字記号型データを第三類検索用情報として入力させるための文字入力画面130を表示し、音声入力ボタンが選択された場合、入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、次いで、音声認識部132は、該音声データを第三類検索用情報としての文字記号型データとして認識し、画像入力ボタンが選択された場合、入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136は、該画像データを第三類検索用情報としての文字記号型データとして認識する。
第四類検索用情報入力ボタンが選択された場合、入力表示部114は、ユーザーに第四類検索用情報として音声データを入力させるための音声入力画面143を表示する。
第五類検索用情報入力ボタンが選択された場合、入力表示部114は、ユーザーに第五類検索用情報として画像データを入力させるための画像入力画面135を表示する。
次に、フローチャートを参照しながら検索過程を詳しく説明する。
図24は、本発明の実施例1における第一類検索情報の検索に係るフローチャートを示す説明図である。
図24に示されるように、第一類検索情報を検索するプロセスは下記のようである。
ステップS6−1:ユーザーが第一類検索情報で検索しようとする時、ユーザーが検索方式選択画面152の第一類検索用情報入力ボタンを選択した後、ステップS6−2に進む。
ステップS6−2:入力表示部114は、ユーザーに入力方式を選択させるための入力方式選択画面153を表示する。文字記号入力ボタンが選択された場合、ステップS6−3に入り、音声入力ボタンが選択された場合、ステップS6−4に入り、画像入力ボタンが選択された場合、ステップS6−5に進む。
ステップS6−3:入力表示部114は、ユーザーが第一類検索用情報としての文字記号型データを入力するための文字入力画面130を表示し、ステップS6−6に進む。
ステップS6−4:入力表示部114は、ユーザーに音声データを入力させるための音声入力画面143を表示し、音声認識部132は該音声データを第一類検索用情報としての文字記号型データとして認識し、ステップS6−6に進む。
ステップS6−5:入力表示部114は、ユーザーに画像データを入力させるための画像入力画面135を表示し、画像認識部136は、該画像データを第一類検索用情報としての文字記号型データとして認識し、ステップS6−6に進む。
ステップS6−6:ユーザー側通信部115は第一類検索用情報及び現在ページ画像をクラウドサーバー101に対応付けて送信し、ステップS6−7に進む。
ステップS6−7:サーバー側通信部109はユーザー端末111から第一類検索用情報を受信し、ステップS6−8に進む。
ステップS6−8:検索部108が検索情報記憶部107で検索し、第一類検索用情報に一致する第一類検索情報及び対応するページ属性情報を取得し、且つ該ページ属性情報に基づいてページ画像記憶部106で検索して、対応のページ画像を取得する。
第一類検索情報を検索する過程はこれで完了となる。
第二類検索情報に対して検索を行うプロセスは、第三類検索情報に対して検索を行うプロセス、及び、第一類検索情報に対して検索を行うプロセス、と同じである。
図25は、本発明の実施例1における第四類検索情報の検索に係るフローチャートを示す説明図である。
図25に示されるように、第四類検索情報を検索するプロセスは下記の通りである。
ステップS7−1:ユーザーが第四類検索情報で検索しようとする時、ユーザーが検索方式選択画面152の第四類検索用情報入力ボタンを選択した後、ステップS7−2に進む。
ステップS7−2:入力表示部114は、ユーザーに第四類検索用情報として音声データを入力させるための音声入力画面143を表示し、ステップS7−3に進む。
ステップS7−3:ユーザー側通信部115は第四類検索用情報をクラウドサーバー101に送信し、ステップS7−4に進む。
ステップS7−4:サーバー側通信部109はユーザー端末111から第四類検索用情報を受信し、ステップS7−5に進む。
ステップS7−5:検索部108が検索情報記憶部107で検索し、第四類検索用情報に一致する第四類検索情報及び対応するページ属性情報を取得し、且つ該ページ属性情報に基づいてページ画像記憶部106で検索して、対応のページ画像を取得する。
第四類検索情報を検索する過程はこれで完了となる。
図26は、本発明の実施例1における第五類検索情報の検索に係るフローチャートを示す説明図である。
図26に示されるように、第五類検索情報を検索するプロセスは下記の通りである。
ステップS8−1:ユーザーが第五類検索情報で検索しようとする時、ユーザーが検索方式選択画面152の第五類検索用情報入力ボタンを選択した後、ステップS8−2に進む。
ステップS8−2:入力表示部114は、ユーザーに第五類検索用情報として画像データを入力させるための画像入力画面135を表示し、ステップS8−3に進む。
ステップS8−3:ユーザー側通信部115は第五類検索用情報をクラウドサーバー101に送信し、ステップS8−4に進む。
ステップS8−4:サーバー側通信部109はユーザー端末111から第五類検索用情報を受信し、ステップS8−5に進む。
ステップS8−5:検索部108が検索情報記憶部107で検索し、第五類検索用情報に一致する第五類検索情報及び対応するページ属性情報を取得し、且つ該ページ属性情報に基づいてページ画像記憶部106で検索して、対応のページ画像を取得する。
第五類検索情報を検索する過程はこれで完了となる。
図27は、本発明の実施例1における検索結果画面を示す説明図である。
図27に示されるように、検索結果画面154は検索結果リストを有する。検索部108が、検索用情報に一致する検索情報が存在すると決定した場合、入力表示部114は、検索結果リストをユーザーに表示するための検索結果画面154を表示する。図27に示されるように、検索結果リストに、画像ファイルの名称、作者、入力された検索用情報に一致する検索情報を含むページ画像のページ番号などが含まれる。検索結果リストはページ画像に付加された他の検索情報をさらに表示する。検索部108が、検索用情報に一致する検索情報が存在しないと決定した場合、入力表示部114は「一致する結果は発見していない」のダイアログを表示する。検索結果リストにおける任意検索結果が選択された場合、入力表示部114はページ画像通知画面119を表示して、選択されたページ画像の内容をユーザーに知らせる。その時、ページ画像通知画面119において、選択されたページ画像のサムネイルは、選択されていないページ画像のサムネイルと区別可能に表示される。図5に示されるように、選択されたページ画像のサムネイルは、外枠太罫線で選択されていないページ画像のサムネイルと区別可能に表示される。
本実施例において、ユーザー端末102とスキャンアップロードデバイス104は分かれているが、ユーザー端末は、スキャンアップロードデバイスを含むことで、該スキャンアップロードデバイスのすべての機能を備えることができ、同様に本発明を実現することができる。
<実施例の作用及び効果>
本発明のクラウドサーバー及び画像ファイル記憶検索システムの場合、ユーザー端末の入力表示部にはユーザーに現在表示されたページ画像に検索情報を付加させるためのページ画像通知画面が表示されており、ユーザー側通信部は、検索情報を現在表示されたページ画像とを対応付けした上でクラウドサーバーに送信し、クラウドサーバーの付加制御部は、受信した検索情報を、対応のページ画像に付加する仕組みになっているため、ユーザーは検索する際に、予め入力された検索情報で画像ファイルを構成するページ画像を直接検索することができ、検索効率の向上に役立つことができる。
実施例1において、第五類検索情報は、画像データを入力して検索を行うが、画像分類を通して検索を行うことも可能である。
ユーザーが画像入力画面135で画像データを入力した後、入力表示部114は、「該画像を画像分類表に付加するか」のダイアログをさらに表示することができ、ユーザーが、該画像を画像分類表に付加するのを認可した場合、入力表示部114が画像分類付加画面を表示する。
図28は、本発明の変形例における画像分類付加画面を示す説明図である。
図28に示されるように、画像分類付加画面160が画面記憶部113の中に記憶され、複数の画像分類選択肢を含み、ユーザーが入力画像を需要にしたがっていずれかの画像分類の中に付加することができる。図28に示されるように、ユーザーが入力された画像データを「ファイナンス」分類に付加した場合、「ファイナンス」類を選択し、付加制御部150が第五類検索情報を「ファイナンス」類に付加し、且つ検索情報記憶部107を制御して、該第五類検索情報と「ファイナンス」類とを対応付けて記憶する。
検索の際、ユーザーは検索方式選択画面152の第五類検索用情報入力ボタンを選択し、入力表示部114は画像分類検索画面161を表示する。
図29は、本発明の変形例における画像分類検索画面を示す説明図である。
図29に示されるように、画像分類検索画面161は画面記憶部113の中に記憶され、複数の画像分類、例えば「風景」、「人物」など、を含む。ユーザーにより付加された画像データはこれらの画像分類の中に含まれる。該画像分類検索画面161の左右両側の矢印記号により、前のページ又は後のページを選択することができる。図29に示されるように、ユーザーが「ファイナンス」類における画像データをプレビューしようとする際、「ファイナンス」類を選択すると入力表示部114が画像プレビュー画面を表示する。
図30は、本発明の変形例における画像閲覧画面を示す説明図である。
図30に示されるように、画像プレビュー画面162は、画面記憶部113の中に記憶され、ある画像分類下の複数枚の画像を含む。ユーザーがある画像を選択した場合、入力表示部114は、該画像に対応するページ画像のページ画像通知画面119を表示し、該ページ画像の内容をユーザーに知らせる。
<変形例の作用及び効果>
該変形例は、画像分類を用いて入力された画像データに対して付加及び検索を行うため、ユーザーが画像データの内容を直接プレビューすることができ、該検索は直観的、かつ簡単であり、コンピュータ初心者に適している。

Claims (13)

  1. 複数のページを有する画像ファイルに検索情報を付加し、且つ該検索情報に基づいて検索を行う画像ファイル記憶検索システムであって、
    前記複数のページに対応する複数のページ画像を含む前記画像ファイルを記憶するためのクラウドサーバーと、
    ネットワークを介して前記クラウドサーバーとそれぞれ通信可能に接続されている少なくとも1つのユーザー端末と、を備えており、
    前記クラウドサーバーは、ページ画像記憶部、検索情報記憶部、付加制御部及びサーバー側通信部を含み、
    前記ユーザー端末は、画面記憶部、ユーザー側通信部及び入力表示部を含み、
    前記ページ画像記憶部は、少なくとも前記ページ画像を記憶し、
    前記サーバー側通信部は、少なくとも前記ページ画像を前記ユーザー端末に送信し、
    前記ユーザー側通信部は、少なくとも前記クラウドサーバーから前記ページ画像を受信し、
    前記画面記憶部は、少なくともページ画像通知画面及び検索情報付加用入力画面を記憶し、
    前記入力表示部は、少なくとも現在の前記ページ画像の内容をユーザーに知らせるように前記ページ画像通知画面を表示し、ユーザーが前記内容に基づいて前記検索情報を入力するように前記検索情報付加用入力画面を表示し、
    前記ユーザー側通信部は、前記検索情報を現在の前記ページ画像に対応付けて前記クラウドサーバーに送信し、
    前記サーバー側通信部は、前記ユーザー端末から前記検索情報を受信し、
    前記付加制御部は、前記検索情報を対応付けられた前記ページ画像に付加し、該検索情報を前記ページ画像に対応付けて記憶するように前記検索情報記憶部を制御する
    ことを特徴とする画像ファイル記憶検索システム。
  2. 請求項1に記載の画像ファイル記憶検索システムであって、
    前記ページ画像記憶部は、前記ページ画像の属性を表すページ属性情報をさらに記憶し、
    前記ユーザー側通信部は、前記ページ画像を受信するとともに、前記クラウドサーバーから前記ページ属性情報を受信し、前記検索情報を送信するとともに、対応の前記ページ属性情報を前記クラウドサーバーに送信し、
    前記付加制御部は、前記ページ属性情報を前記検索情報に対応付けて記憶するように前記検索情報記憶部さらに制御する
    ことを特徴とする画像ファイル記憶検索システム。
  3. 請求項2に記載の画像ファイル記憶検索システムであって、
    前記検索情報は、第一類検索情報としてのキーワード、第二類検索情報としての設問及び回答、第三類検索情報としてのコメント、第四類検索情報としての音声、第五類検索情報としての画像、のうちいずれか1つ又は複数を含み、
    第一類検索情報、第二類検索情報及び第三類検索情報は文字データであり、第四類検索情報は音声データであり、第五類検索情報は画像データである
    ことを特徴とする画像ファイル記憶検索システム。
  4. 請求項3に記載の画像ファイル記憶検索システムであって、
    前記ページ画像通知画面は、検索情報付加方式選択領域をさらに含み、該検索情報付加選択領域は、第一類検索情報付加ボタン、第二類検索情報付加ボタン、第三類検索情報付加ボタン、第四類検索情報付加ボタン及び第五類検索情報付加ボタンを含み、
    前記画面記憶部は、少なくとも文字入力選択ボタンを含む付加方式選択画面、検索情報付加用入力画面としての文字入力画面、検索情報付加用入力画面としての音声入力画面、検索情報付加用入力画面としての画像入力画面、をさらに記憶し、
    第一類検索情報付加ボタンが選択された場合、前記入力表示部には、ユーザーに付加方式を選択させるための前記付加方式選択画面が表示され、前記文字入力選択ボタンが選択されたとき、前記入力表示部には、ユーザーに文字データを前記第一類検索情報として入力させるための前記文字入力画面が表示され、
    第二類検索情報付加ボタンが選択された場合、前記入力表示部には、ユーザーに付加方式を選択させるための前記付加方式選択画面が表示され、前記文字入力選択ボタンが選択されたとき、前記入力表示部には、ユーザーに文字データを前記第二類検索情報として入力させるための前記文字入力画面が表示され、
    第三類検索情報付加ボタンが選択された場合、前記入力表示部には、ユーザーに付加方式を選択させるための前記付加方式選択画面が表示され、前記文字入力選択ボタンが選択されたとき、前記入力表示部には、ユーザーに文字データを前記第三類検索情報として入力させるための前記文字入力画面が表示され、
    第四類検索情報付加ボタンが選択された場合、前記入力表示部には、ユーザーに音声データを前記第四類検索情報として入力させるための音声入力画面が表示され、
    第五類検索情報付加ボタンが選択された場合、前記入力表示部には、ユーザーに画像データを前記第五類検索情報として入力させるための画像入力画面が表示される
    ことを特徴とする画像ファイル記憶検索システム。
  5. 請求項4に記載の画像ファイル記憶検索システムであって、
    音声認識部をさらに備えており、
    前記付加方式選択画面はさらに音声入力選択ボタンを含み、
    前記第一類検索情報付加ボタン及び前記音声入力選択ボタンが選択された場合、前記入力表示部にはユーザーに音声データを入力させるための前記音声入力画面が表示され、前記音声認識部は該音声データを文字データとして認識し、且つ該文字データを前記第一類検索情報とし、
    前記第二類検索情報付加ボタン及び前記音声入力選択ボタンが選択された場合、前記入力表示部にはユーザーに音声データを入力させるための前記音声入力画面が表示され、前記音声認識部は該音声データを文字データとして認識し、且つ該文字データを前記第二類検索情報とし、
    前記第三類検索情報付加ボタン及び前記音声入力選択ボタンが選択された場合、前記入力表示部にはユーザーに音声データを入力させるための前記音声入力画面が表示され、前記音声認識部は該音声データを文字データとして認識し、且つ該文字データを前記第三類検索情報とする
    ことを特徴とする画像ファイル記憶検索システム。
  6. 請求項4に記載の画像ファイル記憶検索システムであって、
    画像認識部をさらに備えており、
    前記付加方式選択画面はさらに画像入力選択ボタンを含み、
    前記第一類検索情報付加ボタン及び前記画像入力選択ボタンが選択された場合、前記入力表示部にはユーザーに画像データを入力させるための前記画像入力画面が表示され、前記画像認識部は該画像データを文字データとして認識し、且つ該文字データを前記第一類検索情報とし、
    前記第二類検索情報付加ボタン及び前記画像入力選択ボタンが選択された場合、前記入力表示部にはユーザーに画像データを入力させるための前記画像入力画面が表示され、前記画像認識部は該画像データを文字データとして認識し、且つ該文字データを前記第二類検索情報とし、
    前記第三類検索情報付加ボタン及び前記画像入力選択ボタンが選択された場合、前記入力表示部にはユーザーに画像データを入力させるための前記画像入力画面が表示され、前記画像認識部は該画像データを文字データとして認識し、且つ該文字データを前記第三類検索情報とする
    ことを特徴とする画像ファイル記憶検索システム。
  7. 請求項5又は6に記載の画像ファイル記憶検索システムであって、
    前記クラウドサーバーは検索部をさらに含み、
    前記画面記憶部は検索情報検索用入力画面をさらに記憶し、
    前記入力表示部は、ユーザーに検索用情報を入力させるための前記検索情報検索用入力画面をさらに表示し、
    前記ユーザー側通信部は前記検索用情報を前記クラウドサーバーに送信し、
    前記サーバー側通信部は前記ユーザー端末から前記検索用情報を受信し、
    前記検索部は前記検索情報記憶部を検索して、前記検索用情報に一致する前記検索情報及びそれに対応する前記ページ属性情報を取得し、該ページ属性情報に基づいて前記ページ画像記憶部を検索して、対応の前記ページ画像を取得する
    ことを特徴とする画像ファイル記憶検索システム。
  8. 請求項7に記載の画像ファイル記憶検索システムであって、
    前記検索用情報は、第一類検索用情報としてのキーワード、第二類検索用情報としての設問及び回答、第三類検索用情報としてのコメント、第四類検索用情報としての音声、第五類検索用情報としての画像、のうちいずれか1つ又は複数を含み、
    第一類検索用情報、第二類検索用情報及び第三類検索用情報は文字データであり、第四類検索用情報は音声データであり、第五類検索用情報は画像データであり、
    前記画面記憶部は、第一類検索用情報入力ボタン、第二類検索用情報入力ボタン、第三類検索用情報入力ボタン、第四類検索用情報入力ボタン、及び第五類検索用情報入力ボタンを含む検索方式選択画面、少なくとも文字入力ボタンを含む入力方式選択画面、検索情報検索用入力画面としての文字入力画面、検索情報検索用入力画面としての音声入力画面、検索情報検索用入力画面としての画像入力画面をさらに記憶し、
    第一類検索用情報入力ボタンが選択された場合、前記入力表示部には、ユーザーに入力方式を選択させるための前記入力方式選択画面が表示され、前記文字入力ボタンが選択されたとき、前記入力表示部には、ユーザーに文字データを前記第一類検索用情報として入力させるための前記文字入力画面が表示され、
    第二類検索用情報入力ボタンが選択された場合、前記入力表示部には、ユーザーに入力方式を選択させるための前記入力方式選択画面が表示され、前記文字入力ボタンが選択されたとき、前記入力表示部には、ユーザーに文字データを前記第二類検索用情報として入力させるための前記文字入力画面が表示され、
    第三類検索用情報入力ボタンが選択された場合、前記入力表示部には、ユーザーに入力方式を選択させるための前記入力方式選択画面が表示され、前記文字入力ボタンが選択されたとき、前記入力表示部には、ユーザーに文字データを前記第三類検索用情報として入力させるための前記文字入力画面が表示され、
    第四類検索用情報入力ボタンが選択された場合、前記入力表示部には、ユーザーに音声データを前記第四類検索用情報として入力させるための前記音声入力画面が表示され、
    第五類検索用情報入力ボタンが選択された場合、前記入力表示部には、ユーザーに画像データを前記第五類検索用情報として入力させるための前記画像入力画面が表示される
    ことを特徴とする画像ファイル記憶検索システム。
  9. 請求項8に記載の画像ファイル記憶検索システムであって、
    前記入力方式選択画面は音声入力ボタンをさらに含み、
    前記第一類検索用情報入力ボタン及び前記音声入力ボタンが選択された場合、前記入力表示部には、ユーザーに音声データを入力させるための前記音声入力画面が表示され、前記音声認識部は、該音声データを文字データとして認識し、該文字データを前記第一類検索用情報とし、
    前記第二類検索用情報入力ボタン及び前記音声入力ボタンが選択された場合、前記入力表示部には、ユーザーに音声データを入力させるための前記音声入力画面が表示され、前記音声認識部は、該音声データを文字データとして認識し、該文字データを前記第二類検索用情報とし、
    前記第三類検索用情報入力ボタン及び前記音声入力ボタンが選択された場合、前記入力表示部には、ユーザーに音声データを入力させるための前記音声入力画面が表示され、前記音声認識部は、該音声データを文字データとして認識し、該文字データを前記第三類検索用情報とする
    ことを特徴とする画像ファイル記憶検索システム。
  10. 請求項8に記載の画像ファイル記憶検索システムであって、
    前記入力方式選択画面は画像入力ボタンをさらに含み、
    前記第一類検索用情報入力ボタン及び前記画像入力ボタンが選択された場合、前記入力表示部には、ユーザーに画像データを入力させるための前記画像入力画面が表示され、前記画像認識部は、該画像データを文字データとして認識し、該文字データを前記第一類検索用情報とし、
    前記第二類検索用情報入力ボタン及び前記画像入力ボタンが選択された場合、前記入力表示部には、ユーザーに画像データを入力させるための前記画像入力画面が表示され、前記画像認識部は、該画像データを文字データとして認識し、該文字データを前記第二類検索用情報とし、
    前記第三類検索用情報入力ボタン及び前記画像入力ボタンが選択された場合、前記入力表示部には、ユーザーに画像データを入力させるための前記画像入力画面が表示され、前記画像認識部は、該画像データを文字データとして認識し、該文字データを前記第三類検索用情報とする
    ことを特徴とする画像ファイル記憶検索システム。
  11. 請求項1に記載の画像ファイル記憶検索システムであって、
    前記ページ画像はスキャンアップロードデバイスを介して前記クラウドサーバーに送信され、
    前記ユーザー端末は前記スキャンアップロードデバイスを含む
    ことを特徴とする画像ファイル記憶検索システム。
  12. ネットワークを介してユーザー端末に通信可能に接続され、複数のページを有する画像ファイルに検索情報を付加し、且つ該検索情報に基づいて検索を行うクラウドサーバーであって、
    ページ画像記憶部、検索情報記憶部、付加制御部及びサーバー側通信部を備えており、
    前記ページ画像記憶部は、少なくとも前記画像ファイルにおける前記複数のページに対応する複数のページ画像を記憶し、
    前記サーバー側通信部は、少なくとも前記ページ画像を前記ユーザー端末に送信し、現在の前記ページ画像に対応する検索情報を前記ユーザー端末から受信し、
    前記付加制御部は、前記検索情報を対応の前記ページ画像に付加し、該検索情報を前記ページ画像に対応付けて記憶するように前記検索情報記憶部を制御する
    ことを特徴とするクラウドサーバー。
  13. 請求項12に記載のクラウドサーバーであって、
    検索部をさらに備えており、
    前記ページ画像記憶部は、前記ページ画像の属性を表すページ属性情報をさらに記憶し、
    前記検索情報記憶部は、前記ページ属性情報を前記検索情報に対応付けて記憶し、
    前記サーバー側通信部が前記ユーザー端末から検索用情報を受信すると、前記検索部は、前記検索情報記憶部を検索して、前記検索用情報に一致する前記検索情報及びそれに対応する前記ページ属性情報を取得し、該ページ属性情報に基づいて前記ページ画像記憶部を検索して、対応の前記ページ画像を取得する
    ことを特徴とするクラウドサーバー。
JP2014152897A 2013-07-31 2014-07-28 クラウドサーバー及び画像ファイル記憶検索システム Pending JP2015032309A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310330700.2 2013-07-31
CN201310330700.2A CN104346388B (zh) 2013-07-31 2013-07-31 云端服务器以及图像存储检索系统

Publications (1)

Publication Number Publication Date
JP2015032309A true JP2015032309A (ja) 2015-02-16

Family

ID=51266104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014152897A Pending JP2015032309A (ja) 2013-07-31 2014-07-28 クラウドサーバー及び画像ファイル記憶検索システム

Country Status (4)

Country Link
US (1) US20150039643A1 (ja)
EP (1) EP2838038A1 (ja)
JP (1) JP2015032309A (ja)
CN (1) CN104346388B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043184B2 (en) * 2014-05-30 2018-08-07 Paypal, Inc. Systems and methods for implementing transactions based on facial recognition
CN109299040B (zh) * 2018-09-21 2019-07-05 重庆满集网络科技有限公司 一种基于大数据的文件存储空间智能分配方法
CN110414246B (zh) * 2019-06-19 2023-05-30 平安科技(深圳)有限公司 共享文件安全管理方法、装置、终端及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652240A (ja) * 1992-07-28 1994-02-25 Matsushita Electric Ind Co Ltd 画像文書ファイル管理装置
JPH06243172A (ja) * 1993-02-18 1994-09-02 Ricoh Co Ltd 電子ファイル装置
JPH08314899A (ja) * 1995-05-15 1996-11-29 Hitachi Ltd 文書処理装置
JP2001052025A (ja) * 1999-08-16 2001-02-23 Nippon Telegr & Teleph Corp <Ntt> 電子ブックコンテンツとメモ情報の共有方法および電子ブック閲覧用プログラムの記録媒体
JP2006004298A (ja) * 2004-06-18 2006-01-05 Fuji Xerox Co Ltd 文書処理装置、文書処理方法及び文書処理プログラム
JP2007011683A (ja) * 2005-06-30 2007-01-18 Fuji Xerox Co Ltd 文書管理支援装置
JP2008228143A (ja) * 2007-03-15 2008-09-25 Fuji Xerox Co Ltd 情報処理システム及び情報処理プログラム
JP2011145796A (ja) * 2010-01-13 2011-07-28 Fuji Xerox Co Ltd 検索キー情報生成支援装置及び検索キー情報生成支援プログラム
JP2012009069A (ja) * 2011-09-14 2012-01-12 Fujitsu Ltd アノテーション利用プログラム、アノテーション利用方法およびアノテーション利用装置
JP2013521567A (ja) * 2010-03-05 2013-06-10 インターナショナル・ビジネス・マシーンズ・コーポレーション クライアント・コンピューティング・デバイスを含むシステム、メディア・オブジェクトにタグ付けする方法、および音声タグ付きメディア・オブジェクトを含むデジタル・データベースをサーチする方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146552A (en) * 1990-02-28 1992-09-08 International Business Machines Corporation Method for associating annotation with electronically published material
US5832474A (en) * 1996-02-26 1998-11-03 Matsushita Electric Industrial Co., Ltd. Document search and retrieval system with partial match searching of user-drawn annotations
KR100781730B1 (ko) * 2003-07-03 2007-12-03 제너럴 모터즈 코오포레이션 복합 문서를 전자적으로 관리하는 시스템 및 방법
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
EP1784747A4 (en) * 2004-03-15 2008-04-23 Yahoo Inc METHOD AND SYSTEM FOR SEARCHING WITH USER ANNOTATION INTEGRATION FROM A RELIABLE NETWORK
US7599950B2 (en) * 2004-03-15 2009-10-06 Yahoo! Inc. Systems and methods for collecting user annotations
US20070118794A1 (en) * 2004-09-08 2007-05-24 Josef Hollander Shared annotation system and method
US20080033969A1 (en) * 2006-08-04 2008-02-07 Sing Chi Koo Electronic document management method and system
US8135776B2 (en) * 2008-11-24 2012-03-13 The Boeing Company System and method for scalable architecture for web-based collaborative annotation of page-based documents
CN101414307A (zh) * 2008-11-26 2009-04-22 阿里巴巴集团控股有限公司 提供图片搜索的方法和服务器
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
KR101132509B1 (ko) * 2010-08-04 2012-04-03 엔에이치엔(주) 모바일 검색을 위한 모바일 시스템, 검색 시스템 및 검색 결과 제공 방법
US8935265B2 (en) * 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652240A (ja) * 1992-07-28 1994-02-25 Matsushita Electric Ind Co Ltd 画像文書ファイル管理装置
JPH06243172A (ja) * 1993-02-18 1994-09-02 Ricoh Co Ltd 電子ファイル装置
JPH08314899A (ja) * 1995-05-15 1996-11-29 Hitachi Ltd 文書処理装置
JP2001052025A (ja) * 1999-08-16 2001-02-23 Nippon Telegr & Teleph Corp <Ntt> 電子ブックコンテンツとメモ情報の共有方法および電子ブック閲覧用プログラムの記録媒体
JP2006004298A (ja) * 2004-06-18 2006-01-05 Fuji Xerox Co Ltd 文書処理装置、文書処理方法及び文書処理プログラム
JP2007011683A (ja) * 2005-06-30 2007-01-18 Fuji Xerox Co Ltd 文書管理支援装置
JP2008228143A (ja) * 2007-03-15 2008-09-25 Fuji Xerox Co Ltd 情報処理システム及び情報処理プログラム
JP2011145796A (ja) * 2010-01-13 2011-07-28 Fuji Xerox Co Ltd 検索キー情報生成支援装置及び検索キー情報生成支援プログラム
JP2013521567A (ja) * 2010-03-05 2013-06-10 インターナショナル・ビジネス・マシーンズ・コーポレーション クライアント・コンピューティング・デバイスを含むシステム、メディア・オブジェクトにタグ付けする方法、および音声タグ付きメディア・オブジェクトを含むデジタル・データベースをサーチする方法
JP2012009069A (ja) * 2011-09-14 2012-01-12 Fujitsu Ltd アノテーション利用プログラム、アノテーション利用方法およびアノテーション利用装置

Also Published As

Publication number Publication date
CN104346388B (zh) 2018-03-09
CN104346388A (zh) 2015-02-11
US20150039643A1 (en) 2015-02-05
EP2838038A1 (en) 2015-02-18

Similar Documents

Publication Publication Date Title
US8527890B2 (en) File management apparatus, file management method, and computer program product
US8108776B2 (en) User interface for multimodal information system
US20130154934A1 (en) Electronic Family Tree Generation and Display System
CN114202436A (zh) 媒体流服务中的社交交互
US20100067064A1 (en) Image processing apparatus and image processing method
JP6287373B2 (ja) 画像保存検索システム
WO2011155350A1 (ja) コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
US20110151426A1 (en) Learning tool
EP2704034A1 (en) Content search method based on cloud service, and system and terminal device supporting the same
US11556967B2 (en) Reduced bias submission review system
US10079952B2 (en) System, apparatus and method for processing and combining notes or comments of document reviewers
JP2004199406A (ja) 情報表示処理方法、情報表示処理システム、クライアント端末、管理サーバ、プログラム
JP2015032309A (ja) クラウドサーバー及び画像ファイル記憶検索システム
JP2004199408A (ja) 文書処理方法、情報表示処理方法、情報表示処理システム、管理サーバ、クライアント端末、プログラム
JP2004246454A (ja) 画像形成プログラム及び画像形成装置
JP2004151898A (ja) 表示制御方法、情報表示処理システム、プログラム
US20130346874A1 (en) User configurable electronic textbook
JP2004199407A (ja) 情報表示処理方法、情報表示処理システム、管理サーバ、クライアント端末、プログラム
JP4916936B2 (ja) コンテンツ管理システム
JP5342509B2 (ja) コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
CN104346387B (zh) 云端服务器以及图像存储检索系统
JP4172266B2 (ja) クライアント端末
KR20140047243A (ko) 온라인 앨범 셀프 출판시스템
JP2012212398A (ja) 情報処理装置及び情報処理方法
JP2012110059A (ja) 画像処理装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190315

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190402