JP2016082596A - Information processing system, information processing apparatus, apparatus, information processing method, and program - Google Patents
Information processing system, information processing apparatus, apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2016082596A JP2016082596A JP2015205216A JP2015205216A JP2016082596A JP 2016082596 A JP2016082596 A JP 2016082596A JP 2015205216 A JP2015205216 A JP 2015205216A JP 2015205216 A JP2015205216 A JP 2015205216A JP 2016082596 A JP2016082596 A JP 2016082596A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- information processing
- image
- reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimiles In General (AREA)
Abstract
Description
本発明は、情報処理システム、情報処理装置、機器、情報処理方法、及びプログラムに関する。 The present invention relates to an information processing system, an information processing apparatus, a device, an information processing method, and a program.
複合機等の画像形成装置の中には、コピー、印刷、スキャン等、画像形成装置としての本来の機能のみならず、画像データに対する応用的な画像処理を実装可能なものが有る。例えば、紙文書からスキャンされた画像データに関してＯＣＲ（Optical Character Recognition）処理等を実行可能な画像形成装置が有る。 Some image forming apparatuses such as multifunction peripherals can implement not only the original functions of the image forming apparatus such as copying, printing, and scanning, but also applied image processing for image data. For example, there is an image forming apparatus capable of executing OCR (Optical Character Recognition) processing or the like on image data scanned from a paper document.
但し、画像形成装置等の機器は、ハードウェア資源に対する制約が厳しく、負荷の高い画像処理の処理速度について汎用的なコンピュータ等に劣る場合が有る。 However, a device such as an image forming apparatus has severe restrictions on hardware resources, and may be inferior to a general-purpose computer or the like in terms of processing speed of high-load image processing.
そこで、負荷の高い画像処理については、相対的に処理性能が高いコンピュータ等の外部の装置にネットワークを介して要求することが考えられる。 Therefore, it is conceivable that image processing with a high load is requested via an external device such as a computer having relatively high processing performance.
しかしながら、ネットワークを介して画像処理を要求する場合、ネットワークの通信速度によっては、処理対象となる画像データの転送時間が、全体の処理時間に対して無視できないほど大きくなる可能性が有る。その結果、結局のところ、画像形成装置内において全ての処理を実行した方が処理時間が短くなるといった事態も発生しうる。 However, when image processing is requested via a network, depending on the communication speed of the network, there is a possibility that the transfer time of image data to be processed becomes so large that it cannot be ignored with respect to the entire processing time. As a result, after all, the processing time may be shortened when all the processes are executed in the image forming apparatus.
本発明は、上記の点に鑑みてなされたものであって、ネットワークを介した処理の要求に関するネットワーク通信の影響を低減することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to reduce the influence of network communication on processing requests via a network.
そこで上記課題を解決するため、機器と、前記機器にネットワークを介して接続される情報処理装置とを含む情報処理システムであって、前記機器は、紙文書から画像データを読み取る読取部と、前記読取部によって前記紙文書の一部のページが読み取られるたびに、当該一部のページの画像データに対してデータ量を削減する処理の処理を実行して、前記画像データよりもデータ量が削減された削減データを生成する削減部と、前記削減部によって前記削減データが生成されるたびに、当該削減データを、前記情報処理装置に送信する第１の送信部と、前記読取部によって前記紙文書から読み取られる画像データに関して、前記情報処理装置が実行する第１の処理とは異なる第２の処理を実行して、第２のデータを生成する第２の生成部と、前記削減データに関して前記情報処理装置によって実行される前記第１の処理により生成される第１のデータを、ネットワークを介して受信する第１の受信部と、前記第１のデータと前記第２のデータとを合成する合成部とを有し、前記読取部は、前記削減部、前記第１の送信部、前記第１の受信部、及び前記合成部に対して並列的に、前記紙文書から画像データを読み取り、前記情報処理装置は、前記削減データを受信する第２の受信部と、前記第２の受信部によって受信された前記削減データに関して前記第１の処理を実行して、前記第１のデータを生成する第１の生成部と、前記第１の生成部によって生成された前記第１のデータを前記機器に送信する第２の送信部とを有する。 Therefore, in order to solve the above problem, an information processing system including a device and an information processing apparatus connected to the device via a network, the device including a reading unit that reads image data from a paper document, Each time a partial page of the paper document is read by the reading unit, the data amount is reduced compared to the image data by executing a process of reducing the data amount on the image data of the partial page. A reduction unit that generates the reduced data, a first transmission unit that transmits the reduction data to the information processing device each time the reduction data is generated by the reduction unit, and the paper by the reading unit. A second generation unit that generates second data by executing a second process different from the first process performed by the information processing apparatus on the image data read from the document; A first receiving unit that receives the first data generated by the first process executed by the information processing apparatus with respect to the reduced data via a network; the first data; and the second data A data synthesizing unit that synthesizes the data, and the reading unit reads the paper document from the paper document in parallel with the reduction unit, the first transmission unit, the first reception unit, and the synthesis unit. The image processing apparatus reads the image data, and the information processing apparatus executes the first processing on the second reception unit that receives the reduction data and the reduction data received by the second reception unit, and A first generation unit that generates one data, and a second transmission unit that transmits the first data generated by the first generation unit to the device.
ネットワークを介した処理の要求に関するネットワーク通信の影響を低減することができる。 It is possible to reduce the influence of network communication on processing requests via the network.
以下、図面に基づいて第一の実施の形態を説明する。図１は、第一の実施の形態における情報処理システムの構成例を示す図である。図１に示される情報処理システム１において、外部装置２０は、各種の機器にネットワークＮ１を介して通信可能に接続される。ネットワークＮ１は、例えば、ＬＡＮ（Local Area Network）、インターネット、又はＵＳＢ（Universal Serial Bus）ケーブル等である。各種の機器の一例として、図１には、１以上の画像形成装置１０、１以上のプロジェクタ５０、１以上のデジタルカメラ６０、１以上のテレビ会議システム７０、及び１以上の電子黒板８０が示されている。
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram illustrating a configuration example of an information processing system according to the first embodiment. In the
画像形成装置１０は、例えば、スキャナ、プリンタ、又は複合機等である。本実施の形態において、画像形成装置１０は、紙文書をスキャンすることによって入力される画像データに関して画像処理を実行する。また、画像形成装置１０は、一部の画像処理に関しては、外部装置２０に要求又は委譲（以下、「要求」で統一する）する。そうすることにより、画像形成装置１０の処理負荷を軽減することができる。すなわち、本実施の形態では、画像形成装置１０に入力された画像データに関して、画像形成装置１０と外部装置２０とに分散して画像処理が実行される。なお、各画像形成装置１０は、同一のオフィス又は学校等に設置されてもよいし、異なるオフィス又は学校等において設置されてもよい。なお、画像形成装置１０以外の機器が、外部装置２０に処理を要求してもよい。例えば、プロジェクタ５０、デジタルカメラ６０、テレビ会議システム７０、電子黒板８０、又は非図示の他の機器が、外部装置２０に処理を要求してもよい。
The
外部装置２０は、画像形成装置１０から要求された処理を実行するコンピュータ等である。外部装置２０の処理性能は、処理の要求元である画像形成装置１０よりも高いことが好ましい。画像形成装置１０より処理性能の高いコンピュータが、外部装置２０として利用されることにより、画像形成装置１０に対して入力された画像データに関する全ての画像処理を画像形成装置１０が実行する場合よりも、当該画像処理の一部又は全部を、外部装置２０に要求する方が、処理時間が短縮されることを期待することができる。また、外部装置２０は、処理の要求元の画像形成装置１０とは別の画像形成装置１０であってもよい。この場合も、外部装置２０は、処理の要求元の画像形成装置１０よりも、処理性能が高い画像形成装置１０であることが好ましい。なお、外部装置２０は、クラウドサービス、Ｗｅｂサービス、又はアプリケーションプロバイダ等の形態によってサービスを提供するコンピュータ又はコンピュータシステムであってもよいし、画像形成装置１０が設置されている組織等と同じ組織に設置されているＰＣ（Personal Computer）等のコンピュータ又はコンピュータシステムであってもよい。例えば、図２に示されるように、外部装置２０は、相互にネットワークを介して接続される複数の情報処理装置によって構成されてもよい。なお、図２では、外部装置２０が４つの情報処理装置によって構成される例が示されているが、外部装置２０は、３つ以下の情報処理装置によって構成されてもよいし、５つ以上の情報処理装置によって構成されてもよい。
The
図３は、第一の実施の形態における画像形成装置のハードウェア構成例を示す図である。図３において、画像形成装置１０は、コントローラ１１、スキャナ１２、プリンタ１３、モデム１４、操作パネル１５、ネットワークインタフェース１６、及びＳＤカードスロット１７等のハードウェアを有する。
FIG. 3 is a diagram illustrating a hardware configuration example of the image forming apparatus according to the first embodiment. 3, the
コントローラ１１は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、ＨＤＤ１１４、及びＮＶＲＡＭ１１５等を有する。ＲＯＭ１１３には、各種のプログラムやプログラムによって利用されるデータ等が記憶されている。ＲＡＭ１１２は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域等として用いられる。ＣＰＵ１１１は、ＲＡＭ１１２にロードされたプログラムを処理することにより、各種の機能を実現する。ＨＤＤ１１４には、プログラムやプログラムが利用する各種のデータ等が記憶される。ＮＶＲＡＭ１１５には、各種の設定情報等が記憶される。
The
スキャナ１２は、紙文書より画像データを読み取るためのハードウェア（画像読取手段）である。プリンタ１３は、印刷データを印刷用紙に印刷するためのハードウェア（印刷手段）である。モデム１４は、電話回線に接続するためのハードウェアであり、ＦＡＸ通信による画像データの送受信を実行するために用いられる。操作パネル１５は、ユーザからの入力の受け付けを行うためのボタン等の入力手段や、液晶パネル等の表示手段等を備えたハードウェアである。液晶パネルは、タッチパネル機能を有していてもよい。この場合、当該液晶パネルは、入力手段の機能をも兼ねる。ネットワークインタフェース１６は、ＬＡＮ等のネットワーク（有線又は無線の別は問わない。）に接続するためのハードウェアである。ＳＤカードスロット１７は、ＳＤカード８０に記憶されたプログラムを読み取るために利用される。すなわち、画像形成装置１０では、ＲＯＭ１１３に記憶されたプログラムだけでなく、ＳＤカード８０に記憶されたプログラムもＲＡＭ１１２にロードされ、実行されうる。なお、他の記録媒体（例えば、ＣＤ−ＲＯＭ又はＵＳＢ（Universal Serial Bus）メモリ等）によってＳＤカード８０が代替されてもよい。すなわち、ＳＤカード８０の位置付けに相当する記録媒体の種類は、所定のものに限定されない。この場合、ＳＤカードスロット１７は、記録媒体の種類に応じたハードウェアによって代替されればよい。
The
図４は、第一の実施の形態における外部装置のハードウェア構成例を示す図である。図４の外部装置２０は、それぞれバスBで相互に接続されているドライブ装置２００と、補助記憶装置２０２と、メモリ装置２０３と、ＣＰＵ２０４と、インタフェース装置２０５とを有する。
FIG. 4 is a diagram illustrating a hardware configuration example of the external device according to the first embodiment. The
外部装置２０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体２０１によって提供される。プログラムを記憶した記録媒体２０１がドライブ装置２００にセットされると、プログラムが記録媒体２０１からドライブ装置２００を介して補助記憶装置２０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体２０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置２０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
A program for realizing processing in the
メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。ＣＰＵ２０４は、メモリ装置２０３に格納されたプログラムに従って外部装置２０に係る機能を実行する。インタフェース装置２０５は、ネットワークに接続するためのインタフェースとして用いられる。
The
なお、外部装置２０は、図４に示されるようなハードウェアを有する複数のコンピュータによって構成されてもよい。すなわち、後述において外部装置２０が実行する処理は、複数のコンピュータに分散されて実行されてもよい。
The
本実施の形態では、図５に示されるような手順で実行される画像処理の一部が、外部装置２０に要求される例について説明する。 In the present embodiment, an example in which a part of image processing executed in the procedure as shown in FIG.
図５は、第一の実施の形態における画像処理の概要を示す図である。図５に示される画像処理では、まず、画像形成装置１０のスキャナ１２によって紙文書の画像がスキャンされ（読み取られ）、当該画像を示す画像データ（以下、「スキャン画像」という。）が生成される。当該スキャン画像は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式のカラーデータである。但し、スキャン後のスキャン画像の形式は、所定のものに限定されない。
FIG. 5 is a diagram showing an outline of the image processing in the first embodiment. In the image processing shown in FIG. 5, first, an image of a paper document is scanned (read) by the
続いて、スキャン画像に対して画像認識処理が実行される。また、スキャン画像に対して、画像変換処理が実行される。画像認識処理とは、例えば、スキャン画像が示す画像の内容を分析して、画像の形状を認識する処理をいう。画像変換処理とは、例えば、画像データのサイズ又は容量を変換する処理、又は画像データのデータ形式を変換する処理等をいう。なお、図５に示される画像認識処理と画像変換処理とは、相互に依存関係を有さない。したがって、画像認識処理と画像変換処理とは並列的に実行することが可能である。但し、画像認識処理と画像変換処理とのいずれか一方は、他方に対して依存関係を有してもよい。 Subsequently, an image recognition process is performed on the scanned image. In addition, an image conversion process is performed on the scanned image. The image recognition processing refers to processing for recognizing the shape of an image by analyzing the content of the image indicated by the scanned image, for example. The image conversion process refers to, for example, a process for converting the size or capacity of image data, or a process for converting the data format of image data. Note that the image recognition process and the image conversion process shown in FIG. 5 have no mutual dependency. Therefore, the image recognition process and the image conversion process can be executed in parallel. However, one of the image recognition process and the image conversion process may have a dependency relationship with the other.
続いて、画像認識処理によって得られるデータと、画像変換処理によって得られるデータとについて、合成処理が実行される。その結果、一つの電子文書が生成される。 Subsequently, a combining process is performed on the data obtained by the image recognition process and the data obtained by the image conversion process. As a result, one electronic document is generated.
なお、以下においては、ＯＣＲ（Optical Character Recognition）処理（文字認識処理）が、画像認識処理の一例であり、高圧縮ＰＤＦ変換処理が、画像変換処理の一例であるとする。したがって、本実施の形態では、図６に示される画像処理が実行される。 In the following, it is assumed that OCR (Optical Character Recognition) processing (character recognition processing) is an example of image recognition processing, and high-compression PDF conversion processing is an example of image conversion processing. Therefore, in the present embodiment, the image processing shown in FIG. 6 is executed.
図６は、画像認識処理及び画像変換処理について具体例が適用された画像処理の概要を示す図である。高圧縮ＰＤＦ変換処理とは、スキャン画像に基づいて、高圧縮ＰＤＦデータを生成する処理をいう。高圧縮ＰＤＦデータとは、カラー画像の色文字領域、黒文字領域、及び写真領域等を別々に処理することにより、見栄えを維持した状態で、従来のＰＤＦデータよりも大幅にデータ量（データサイズ）が削減されたＰＤＦデータをいう。 FIG. 6 is a diagram illustrating an overview of image processing to which a specific example is applied for image recognition processing and image conversion processing. High-compression PDF conversion processing refers to processing for generating high-compression PDF data based on a scanned image. High-compression PDF data means that the amount of data (data size) is significantly greater than that of conventional PDF data while maintaining the appearance by processing the color character area, black character area, and photo area of the color image separately. Refers to the PDF data reduced.
合成処理においては、高圧縮ＰＤＦデータに対して、ＰＤＦデータのマルチレイヤ構造を利用して、テキストレイヤに透明テキストとしてＯＣＲ処理の結果として得られるテキストデータが挿入される。その結果、画像内の文字の検索やハイライト表示等が可能な電子文書（透明テキスト付高圧縮ＰＤＦ）が作成される。 In the synthesizing process, text data obtained as a result of the OCR process is inserted into the text layer as a transparent text using the multi-layer structure of the PDF data with respect to the highly compressed PDF data. As a result, an electronic document (a high-compression PDF with transparent text) capable of searching for characters in an image, highlighting, and the like is created.
ここで、ＯＣＲ処理及び高圧縮ＰＤＦ変換処理の少なくともいずれか一方を、外部装置２０に要求することにより、図５に示される処理全体の処理時間の削減を期待することができる。本実施の形態では、ＯＣＲ処理を外部装置２０に要求することとする。この場合、スキャン画像を外部装置２０に転送する必要が有るが、スキャン画像のデータ量と、ネットワークＮ１の通信速度とによっては、処理時間の削減に関して、必ずしも期待通りの効果が得られるとは限らない。当該処理時間は、以下の式１のように求めることができる。
Here, by requesting the
処理時間（Ｔ）＝ＯＣＲ処理時間（Ｔｐ）＋転送時間（Ｔｔ） ・・・（１）
転送時間（Ｔｔ）＝アップロード時間（＝転送サイズ／Ａｕ）＋ダウンロード時間（＝転送サイズ／Ａｄ）
Ａｕ：アップロード時の通信速度
Ａｄ：ダウンロード時の通信速度
画像形成装置１０から外部装置２０へのアップロード時の転送サイズは、スキャン画像のデータ量であり、外部装置２０から画像形成装置１０へのダウンロード時の転送サイズは、ＯＣＲ処理によって得られたデータのデータ量である。なお、アップロード時間やダウンロード時間には、データの転送時間のみならず、例えば、ハンドシェイク時間等、データの転送が開始されるまでに要される時間も含まれるが、ここでは、説明の便宜上、斯かる時間は無視できる程度であるとする。
Processing time (T) = OCR processing time (Tp) + Transfer time (Tt) (1)
Transfer time (Tt) = Upload time (= Transfer size / Au) + Download time (= Transfer size / Ad)
Au: communication speed at upload Ad: communication speed at download The transfer size at the time of upload from the
ここで、紙文書１枚あたりのＯＣＲ処理の処理時間について、画像形成装置１０による処理時間は１０秒であり、外部装置２０による処理時間は１秒であるとする。すなわち、外部装置２０は、ＯＣＲ処理に関して、画像形成装置１０に対して１０倍の処理性能を有することとする。また、スキャン画像のデータ量は、１Ｍｂｙｔｅであり、ＯＣＲ処理によって得られるテキストデータのデータ量は、１０Ｋｂｙｔｅであるとする。更に、アップロード方向の通信速度Ａｕとダウンロード方向の通信速度Ａｄは同じであるとする。そうすると、外部装置２０による処理時間は、以下の式２によって求められる。
Here, regarding the processing time of the OCR processing per paper document, it is assumed that the processing time by the
処理時間＝１（秒）＋（１（Ｍｂｙｔｅ）＋１０（Ｋｂｙｔｅ））／通信速度 ・・・（２）
式２において、通信速度と処理時間との関係は、図７に示される通りとなる。図７は、通信速度と処理時間との第一の関係の例を示す図である。図７には、テーブル形式とグラフ形式とによって、式２における通信速度と処理時間との関係が示されている。なお、グラフにおいては、曲線ｃ１が、通信速度と処理時間との関係を示す。
Processing time = 1 (second) + (1 (Mbyte) +10 (Kbyte)) / communication speed (2)
In Expression 2, the relationship between the communication speed and the processing time is as shown in FIG. FIG. 7 is a diagram illustrating an example of a first relationship between the communication speed and the processing time. In FIG. 7, the relationship between the communication speed and the processing time in Expression 2 is shown by the table format and the graph format. In the graph, the curve c1 indicates the relationship between the communication speed and the processing time.
ここで、画像形成装置１０のＯＣＲ処理の処理時間は１０秒である。また、画像形成装置１０に関して転送時間は０秒であると考えることができる。したがって、画像形成装置１０の処理時間は１０秒である。そうすると、この例では、通信速度が１１４Ｋｂｐｓを超えれば、外部装置２０によってＯＣＲ処理を行った方が、全体の処理時間が短縮されることが分かる。
Here, the processing time of the OCR processing of the
本実施の形態では、通信速度に関する斯かる閾値（１１４Ｋｂｐｓ）を低下させることにより、外部装置２０においてＯＣＲ処理を行った方がＯＣＲ処理に要される時間が短縮される可能性を高める。例えば、転送データのデータ量を、仮に、１０分の１に削減できた場合、外部装置２０による処理時間は、以下の通りとなる。
In the present embodiment, by reducing the threshold value (114 Kbps) regarding the communication speed, the possibility that the time required for the OCR process is shortened when the OCR process is performed in the
処理時間＝１（秒）＋（１００（Ｋｂｙｔｅ）＋１０（Ｋｂｙｔｅ））／通信速度 ・・・（３）
式３において、通信速度と処理時間との関係は、図８に示される通りとなる。図８は、通信速度と処理時間との第二の関係の例を示す図である。図８には、テーブル形式とグラフ形式とによって、式３における通信速度と処理時間との関係が示されている。なお、グラフにおいては、曲線ｃ２が、式３に対応し、曲線ｃ１は、式２に対応する。曲線ｃ２によれば、通信速度が１３．８Ｋｂｐｓを超えれば、外部装置２０によってＯＣＲ処理を行った方がＯＣＲ処理に要される時間が短縮されることが分かる。すなわち、転送データのデータ量を小さくすることができれば、外部装置２０によってＯＣＲ処理を行った場合にＯＣＲ処理に要される時間が短縮される可能性を拡大することができる。そこで、本実施の形態では、図５に示したＯＣＲ処理を、図９に示されるように外部装置２０に要求する。
Processing time = 1 (second) + (100 (Kbyte) +10 (Kbyte)) / communication speed (3)
In Expression 3, the relationship between the communication speed and the processing time is as shown in FIG. FIG. 8 is a diagram illustrating an example of a second relationship between the communication speed and the processing time. FIG. 8 shows the relationship between the communication speed and the processing time in Equation 3 in a table format and a graph format. In the graph, the curve c2 corresponds to the expression 3 and the curve c1 corresponds to the expression 2. According to the curve c2, it can be seen that if the communication speed exceeds 13.8 Kbps, the time required for the OCR process is shortened when the
図９は、第一の実施の形態における外部装置へのＯＣＲ処理の要求の概要を説明するための図である。図９には、ＯＣＲ処理が外部装置２０によって実行されることが示されている。また、画像形成装置１０においては、ＯＣＲ処理の前段の処理として、データ量削減処理が実行される。データ量削減処理は、スキャン画像に含まれる情報から、外部装置２０に要求される処理（ここでは、ＯＣＲ処理）に不要な情報の一部又は全部が除去された画像データ（以下、「削減データ」という。）を生成する処理である。削減データは、スキャン画像に含まれている情報の一部が除去されたものであるため、スキャン画像よりもデータ量が小さい。したがって、データ量削減処理によって生成されるデータを転送データとすることにより、外部装置２０によってＯＣＲ処理を行った場合にＯＣＲ処理に要される時間が短縮される可能性を高めることができる。
FIG. 9 is a diagram for explaining an outline of a request for OCR processing to an external device according to the first embodiment. FIG. 9 shows that the OCR process is executed by the
データ量削減処理を説明するため、ＯＣＲ処理の詳細について説明する。図１０は、ＯＣＲ処理の処理手順の一例を説明するための図である。ＯＣＲ処理は、画像データを入力データとし、座標付テキストデータを出力データとする画像処理である。図１０に示されるように、ＯＣＲ処理は、画像補正処理及び画像認識処理を含む。 The details of the OCR process will be described to explain the data amount reduction process. FIG. 10 is a diagram for explaining an example of the processing procedure of the OCR processing. The OCR processing is image processing in which image data is input data and text data with coordinates is output data. As shown in FIG. 10, the OCR process includes an image correction process and an image recognition process.
画像補正処理は、例えば、入力された画像データをＯＣＲに適した状態に補正する処理である。画像補正処理を構成する処理手順は、例えば、二値化処理、天地認識／回転処理、傾き認識／回転処理、及びノイズ除去処理等であり、この順に各処理が実行される。 The image correction process is, for example, a process for correcting input image data into a state suitable for OCR. The processing procedure constituting the image correction processing is, for example, binarization processing, top / bottom recognition / rotation processing, tilt recognition / rotation processing, noise removal processing, and the like, and each processing is executed in this order.
二値化処理は、ＯＣＲに適した白黒画像を生成する処理である。天地認識／回転処理は、白黒画像の天地方向を判別し、正しい方向に修正する処理である。傾き認識／回転処理は、画像内の文字や罫線等の傾きを分析し、当該文字及び罫線等が水平になるように補正する処理である。ノイズ除去処理は、スキャン対象の紙文書に付着していた汚れ（ノイズ）、当該紙文書のスキャン時に含まれてしまった汚れ、又は文字の下に引かれた網掛け模様等を除去する処理である。 The binarization process is a process for generating a black and white image suitable for OCR. The top / bottom recognition / rotation process is a process for determining the top / bottom direction of a black and white image and correcting it in the correct direction. Inclination recognition / rotation processing is processing for analyzing the inclination of characters and ruled lines in an image and correcting the characters and ruled lines to be horizontal. The noise removal process is a process for removing dirt (noise) attached to a paper document to be scanned, dirt contained during scanning of the paper document, or a halftone pattern drawn under characters. is there.
画像認識処理は、画像（画像補正処理によって生成された画像）内の要素を、文字、図形、写真、及び表等に分類し、文字に対して活字ＯＣＲ（活字認識）を行う処理である。画像認識処理を構成する処理手順は、例えば、レイアウト解析処理、表の解析処理、及び活字ＯＣＲ処理等であり、この順に各処理が実行される。 The image recognition process is a process of classifying elements in an image (image generated by the image correction process) into characters, graphics, photographs, tables, and the like, and performing type OCR (type recognition) on the characters. The processing procedure constituting the image recognition processing is, for example, layout analysis processing, table analysis processing, type OCR processing, and the like, and each processing is executed in this order.
レイアウト解析処理は、画像内の文字領域、表領域、罫線領域、及び図形領域等を抽出する処理である。表の解析処理は、表領域内の文字領域や罫線情報を抽出する処理である。活字ＯＣＲ処理は、文字領域内の文字を１文字ずつ切り出して、文字を認識する処理である。 The layout analysis process is a process for extracting a character area, a table area, a ruled line area, a graphic area, and the like in an image. The table analysis process is a process of extracting character areas and ruled line information in the table area. The type OCR process is a process of recognizing characters by cutting out characters in the character area one by one.
上記より明らかなように、二値化処理より後の処理では、白黒画像が処理対象とされる。換言すれば、二値化処理より後の処理では、カラー画像は必要ではない。カラー画像と白黒画像とでは、階調数が異なるため、同じ画像内容に関しては、白黒画像の方がカラー画像よりもデータ量が小さい。そうすると、二値化処理によって生成される白黒画像のデータを転送データとすれば、スキャン画像を転送する場合に比べて、転送時間を短縮することができる。 As is clear from the above, in the processing after the binarization processing, a monochrome image is a processing target. In other words, a color image is not necessary in the processing after the binarization processing. Since the number of gradations is different between a color image and a monochrome image, the data amount of the monochrome image is smaller than that of the color image with respect to the same image content. Then, if the black and white image data generated by the binarization process is the transfer data, the transfer time can be shortened compared to the case of transferring the scan image.
そこで、本実施の形態では、図１１に示されるように、外部装置２０への画像処理の要求が行われる。図１１は、第一の実施の形態における外部装置へのＯＣＲ処理の要求の詳細を説明するための図である。図１１は、図９の内容を詳細化及び具体化したものである。
Therefore, in the present embodiment, as shown in FIG. 11, a request for image processing is made to the
図１１において、画像形成装置１０は、スキャン画像に対して二値化処理を実行する。二値化処理によって生成された白黒の画像データは、外部装置２０へ転送される。すなわち、本実施の形態では、二値化処理が、データ量削減処理の一例である。また、二値化処理によって生成される白黒の画像データが、削減データの一例である。
In FIG. 11, the
外部装置２０は、削減データに関して、ＯＣＲ処理を構成する画像補正処理及び画像認識処理を実行する。但し、画像補正処理に関して、二値化処理は実行されなくてもよい。二値化処理は、既に画像形成装置１０によって実行されているからである。外部装置２０は、ＯＣＲ処理によって生成される座標付テキストデータを、画像形成装置１０に返信する。
The
画像形成装置１０は、高圧縮ＰＤＦ変換処理によって生成された高圧縮ＰＤＦデータに対して、座標付テキストデータを合成して、透明テキスト付高圧縮ＰＤＦデータを生成する。
The
なお、ＯＣＲ処理によって生成される座標付テキストデータは、例えば、図１２に示されるような構成を有する。図１２は、座標付テキストデータの一例を示す図である。 The coordinated text data generated by the OCR process has a configuration as shown in FIG. 12, for example. FIG. 12 is a diagram illustrating an example of text data with coordinates.
図１２において、座標付テキストデータは、例えば、タイトルフィールドｆ１、解像度フィールドｆ２、サイズフィールドｆ３、及び回転角度フィールドｆ４等を含む。 In FIG. 12, the text data with coordinates includes, for example, a title field f1, a resolution field f2, a size field f3, a rotation angle field f4, and the like.
タイトルフィールドｆ１には、抽出元の画像のタイトル部分の文字列が含まれる。画像内におけるタイトル部分は、例えば、文字の大小関係等に基づいて特定される。解像度フィールドｆ２には、テキストの抽出元の画像の解像度が含まれる。サイズフィールドｆ３には、テキストの抽出元の画像の幅方向の画素数と高さ方向の画素数とが含まれる。回転角度フィールドｆ４には、抽出元の画像の傾きが含まれる。 The title field f1 includes a character string of the title portion of the image as the extraction source. The title portion in the image is specified based on, for example, the size relationship of characters. The resolution field f2 includes the resolution of the image from which the text is extracted. The size field f3 includes the number of pixels in the width direction and the number of pixels in the height direction of the image from which the text is extracted. The rotation angle field f4 includes the inclination of the source image.
座標付テキストデータには、上記のフィールド群に続いて、認識された文字ごとに、当該文字を囲む矩形の座標値と当該文字とが対応付けられて含まれる。 In the text data with coordinates, following the above field group, for each recognized character, a coordinate value of a rectangle surrounding the character and the character are associated with each other.
なお、本実施の形態において、座標付テキストデータは、高圧縮ＰＤＦデータのテキストレイヤにテキストデータを埋め込むために必要な情報が含まれていれば、所定の形式に限定されない。例えば、各文字の座標値は、高圧縮ＰＤＦデータのテキストレイヤにおける各文字の位置を特定するために用いられる。 In the present embodiment, the coordinated text data is not limited to a predetermined format as long as the information necessary for embedding the text data in the text layer of the highly compressed PDF data is included. For example, the coordinate value of each character is used to specify the position of each character in the text layer of the highly compressed PDF data.
ＯＣＲ処理について、図１１に示されるような外部装置２０への要求を可能とするために、画像形成装置１０及び外部装置２０は、例えば、図１３に示されるような機能構成を有する。
In order to enable a request to the
図１３は、第一の実施の形態における画像形成装置及び外部装置の機能構成例を示す図である。図１３において、画像形成装置１０は、画像入力部１２１、データ削減部１２２、データ転送部１２３、応答受信部１２４、画像変換部１２５、及びデータ合成部１２６等を有する。これら各部は、画像形成装置１０にインストールされる１以上のプログラムが、ＣＰＵ１１１に実行させる処理により実現される。
FIG. 13 is a diagram illustrating a functional configuration example of the image forming apparatus and the external apparatus according to the first embodiment. In FIG. 13, the
画像入力部１２１は、スキャナ１２に紙文書の画像を読み取らせ、当該画像を示す画像データ（スキャン画像）を生成する。すなわち、画像入力部１２１によって、画像形成装置１０にスキャン画像が入力される。スキャン画像は、カラー画像であってもよい。データ削減部１２２は、スキャン画像に関して、ＯＣＲ処理を構成する複数の処理手順のうちの一部の処理手順である二値化処理を実行して、白黒画像の画像データ（削減データ）を生成する。データ転送部１２３は、当該削減データを外部装置２０に転送（送信）する。応答受信部１２４は、削減データに関するＯＣＲ処理の結果（すなわち、座標付テキストデータ）を、外部装置２０から受信する。画像変換部１２５は、スキャン画像に関して、高圧縮ＰＤＦ変換処理を実行し、高圧縮ＰＤＦデータを生成する。データ合成部１２６は、高圧縮ＰＤＦデータに対して、座標付テキストデータを合成する。
The
外部装置２０は、データ受信部２１、画像認識部２２、及び応答返信部２３等を有する。これら各部は、外部装置２０にインストールされる１以上のプログラムが、ＣＰＵ２０４に実行させる処理により実現される。
The
データ受信部２１は、画像形成装置１０から送信される削減データを受信する。画像認識部２２は、削減データに対してＯＣＲ処理を実行し、座標付テキストデータを生成する。応答返信部２３は、座標付テキストデータを画像形成装置１０に返信する。
The
以下、情報処理システム１において実行される処理手順について説明する。図１４は、第一の実施の形態における情報処理システムが実行する処理手順の一例を説明するためのシーケンス図である。
Hereinafter, a processing procedure executed in the
紙文書が画像形成装置１０にセットされ、ユーザによって所定の操作が行われると、画像入力部１２１は、スキャナ１２を制御して、紙文書の画像を読み取る（Ｓ１０１）。画像入力部１２１は、読み取られた画像を示すスキャン画像を生成する。
When a paper document is set in the
続いて、データ削減部１２２は、スキャン画像に関して二値化処理を実行し、白黒画像の削減データを生成する（Ｓ１０２）。続いて、データ転送部１２３は、当該削減データを、外部装置２０に転送する（Ｓ１０３）。
Subsequently, the
続いて、画像変換部１２５は、スキャン画像に関して高圧縮ＰＤＦ変換処理を実行し、高圧縮ＰＤＦデータを生成する（Ｓ１０４）。続いて、データ合成部１２６は、外部装置２０からの応答を待機する。
Subsequently, the
一方、外部装置２０において、データ受信部２１によって削減データが受信されると、画像認識部２２は、当該削減データに関して、ＯＣＲ処理を実行する（Ｓ１０５）。この際、二値化処理は省略されてもよい。ＯＣＲ処理の結果、座標付テキストデータが生成される。座標付テキストデータには、削減データが示す画像内における文字領域から抽出された文字群が含まれる。また、各文字に関する座標値も含まれる。続いて、応答返信部２３は、当該座標付テキストデータを、画像形成装置１０に返信する（Ｓ１０６）。
On the other hand, when the reduced data is received by the
データ合成部１２６は、外部装置２０から座標付テキストデータが受信されると、当該座標付テキストデータを、ステップＳ１０４において生成された高圧縮ＰＤＦデータに合成する（Ｓ１０７）。すなわち、高圧縮ＰＤＦデータのテキストレイヤに対して、座標付きテキストデータに含まれる文字が挿入される。各文字の挿入位置は、座標付きテキストデータに含まれる座標値に基づいて特定される。
When the text data with coordinates is received from the
なお、ステップＳ１０２〜１０６の順序関係は、特定のものに限定されない。例えば、ステップＳ１０４の実行中に、ステップＳ１０６が実行されてもよい。この場合、データ合成部１２６は、ステップＳ１０４の完了を待って、ステップＳ１０７を実行すればよい。また、ステップＳ１０３の前に、ステップＳ１０４が実行されてもよい。この場合、ステップＳ１０４は、ステップＳ１０２と並列的に実行されてもよい。
Note that the order relationship of steps S102 to S106 is not limited to a specific one. For example, step S106 may be executed during the execution of step S104. In this case, the
上述したように、第一の実施の形態によれば、外部装置２０に要求されるＯＣＲ処理にとって不要な情報が除去された削減データが、外部装置２０に対して転送される。その結果、外部装置２０への処理の要求に関する、ネットワークＮ１の通信速度の影響を低減させることができる。したがって、外部装置２０によってＯＣＲ処理を実行した方が、画像形成装置１０においてＯＣＲ処理を実行するよりも、ＯＣＲ処理に要される時間が短縮される可能性を高めることができる。
As described above, according to the first embodiment, the reduced data from which information unnecessary for the OCR processing required for the
また、削減データを生成するためのデータ量削減処理は、例えば、二値化処理のように、外部装置２０に要求されるＯＣＲ処理を構成する複数の処理手順のうちの一部の処理手順である。すなわち、二値化処理は、外部装置２０にＯＣＲ処理が要求させるか否かを問わず実行される処理である。したがって、データ量削減処理を実行することによる、情報処理システム１全体における計算量の増加を抑制することができる。その結果、削減データの転送時間の短縮による効果が、データ量削減処理によって低減されてしまう可能性を低下させることができる。
In addition, the data amount reduction process for generating the reduced data is, for example, a part of a plurality of process procedures constituting the OCR process required for the
なお、画像形成装置１０による画像変換処理は、高圧縮ＰＤＦ変換処理でなくてもよい。例えば、ＰＤＦデータへの変換処理であってもよい。
Note that the image conversion process by the
また、画像形成装置１０による画像変換処理及び合成処理が実行されなくてもよい。図１５は、画像形成装置による画像変換処理及び合成処理が実行されない形態を説明するための図である。図１５において、画像形成装置１０は、高圧縮ＰＤＦ変換処理及び合成処理を実行しない。画像形成装置１０は、外部装置２０より返信される座標付テキストデータ又は座標付テキストデータに含まれる文字列データを、成果物として（図１５に示される電子文書として）出力する。図１５に示される形態では、ユーザは、紙文書に対するＯＣＲ処理の結果を迅速に得ることができる。
Further, the image conversion process and the composition process by the
また、外部装置２０によって成果物の配信等が行われる場合、合成処理は、外部装置２０によって実行されてもよい。
Further, when the delivery of the deliverable or the like is performed by the
図１６は、外部装置によって合成処理が実行される形態を説明するための図である。図１６において、画像形成装置１０のデータ転送部１２３は、画像変換部１２５によって生成される高圧縮ＰＤＦデータを、外部装置２０に転送する。なお、高圧縮ＰＤＦデータは、データ削減部１２２によって生成される削減データと一緒に転送されてもよいし、別々に（例えば、それぞれが生成されたタイミングで）転送されてもよい。
FIG. 16 is a diagram for explaining a form in which the synthesis process is executed by the external device. In FIG. 16, the
外部装置２０は、ＯＣＲ処理によって生成される座標付テキストデータを、画像形成装置１０から転送される高圧縮ＰＤＦデータに対して合成することにより、透明テキスト付高圧縮ＰＤＦデータを生成する。なお、図１６の形態において、画像形成装置１０は、データ合成部１２６を有さなくてもよい。一方、外部装置２０は、データ合成部１２６を有する。外部装置２０は、生成された透明テキスト付高圧縮ＰＤＦデータを、例えば、所定の宛先に配信する。所定の宛先は、例えば、画像形成装置１０における紙文書のスキャン時に、ユーザによって画像形成装置１０に入力される情報に基づいて特定されてもよい。
The
なお、図１６の形態においても、画像変換部１２５によって生成されるのは、高圧縮ＰＤＦデータではなく、ＰＤＦデータでもよい。
Also in the form of FIG. 16, the
次に、第二の実施の形態について説明する。第二の実施の形態では第一の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第一の実施の形態と同様でもよい。 Next, a second embodiment will be described. In the second embodiment, differences from the first embodiment will be described. Accordingly, points not particularly mentioned may be the same as those in the first embodiment.
図１７は、第二の実施の形態における画像形成装置及び外部装置の機能構成例を示す図である。図１７中、図１３と同一部分には同一符号を付し、その説明は省略する。 FIG. 17 is a diagram illustrating a functional configuration example of the image forming apparatus and the external apparatus according to the second embodiment. In FIG. 17, the same parts as those in FIG.
図１７において、画像形成装置１０は、更に、要求判定部１２７及び画像認識部１２８を有する。これら各部は、画像形成装置１０にインストールされる１以上のプログラムがＣＰＵ１１１に実行させる処理により実現される。
In FIG. 17, the
要求判定部１２７は、外部装置２０へのＯＣＲ処理の要求の是非を判定する。例えば、判定部１２７は、ネットワークＮ１の通信速度と、削減データのデータ量と、画像認識部２２によるＯＣＲ処理の予測処理時間と、画像認識部１２８によるＯＣＲ処理の予測処理時間とに基づいて、外部装置２０へＯＣＲ処理の要求の是非を判定する。
The
画像認識部１２８は、二値化処理を除くＯＣＲ処理を実行する。画像認識部１２８は、画像認識部２２と同じプログラムによって実現されてもよい。
The image recognition unit 128 performs OCR processing excluding binarization processing. The image recognition unit 128 may be realized by the same program as the
図１８は、第二の実施の形態における画像形成装置が実行する処理手順の一例を説明するためのフローチャートである。 FIG. 18 is a flowchart for explaining an example of a processing procedure executed by the image forming apparatus according to the second embodiment.
ステップＳ２０１及びＳ２０２は、図１４のステップＳ１０１及びＳ１０２と同じである。ステップＳ２０２に続いて、判定部１２７は、ＯＣＲ処理を外部装置２０へ要求すべきか否かを判定する（Ｓ２０３）。例えば、判定部１２７は、ステップＳ２０２において生成された削減データのデータ量と、ＯＣＲ処理によって生成される座標付きテキストデータの予測データ量と、ネットワークＮ１の通信速度と、画像認識部２２によるＯＣＲ処理の予測処理時間と、画像認識部１２８によるＯＣＲ処理の予測処理時間とに基づいて、外部装置２０に要求した方が、処理時間が短いと判定される場合は、要求すべきであると判定する。そうでない場合、判定部１２７は、要求すべきでないと判定する。斯かる判定は、上記の式２又は式３、並びに図７又は図８において説明した内容に基づいて行われてもよい。
Steps S201 and S202 are the same as steps S101 and S102 in FIG. Subsequent to step S202, the
すなわち、式２又は式３に対して、ネットワークＮの通信速度と、削減データのデータ量と、ＯＣＲ処理によって生成される座標付きテキストデータの予測データ量と、画像認識部２２によるＯＣＲ処理の予測処理時間とを当てはめることによって求められる処理時間を、画像認識部１２８によるＯＣＲ処理の予測処理時間と比較することにより、要求の是非が判定されてもよい。
That is, with respect to Equation 2 or Equation 3, the communication speed of the network N, the amount of data to be reduced, the predicted amount of text data with coordinates generated by the OCR processing, and the prediction of the OCR processing by the
なお、ネットワークＮ１の通信速度は、スキャン実行中等において計測されてもよいし、予め計測された結果が、ＨＤＤ１１４等に記憶されていてもよい。また、ＯＣＲ処理によって生成される座標付きテキストデータの予測データ量、画像認識部２２によるＯＣＲ処理の予測処理時間、及び画像認識部１２８によるＯＣＲ処理の予測処理時間等については、それぞれの固定値が、ＨＤＤ１１４等に記憶されていてもよい。又は、当該予測データ量及び当該予測処理時間について、経験的に削減データとの相関関係が認められるのであれば、当該相関関係に基づく関数に削減データのデータ量を当てはめることにより、当該予測データ量及び当該予測処理時間が、算出されてもよい。
Note that the communication speed of the network N1 may be measured during the execution of a scan, or a result measured in advance may be stored in the
外部装置２０による処理時間の方が、画像認識部１２８によるＯＣＲ処理の予測処理時間よりも短くはないと判定される場合（Ｓ２０４でＮｏ）、画像認識部１２８は、削減データに関してＯＣＲ処理を実行して、座標付テキストデータを生成する（Ｓ２０９）。当該ＯＣＲ処理において、二値化処理は省略されてよい。続いて、画像変換部１２５は、スキャン画像に関して高圧縮ＰＤＦ変換処理を実行して、高圧縮ＰＤＦデータを生成する（Ｓ２１０）。なお、ステップＳ２０９とステップＳ２１０との前後関係は、所定のものに限定されない。続いて、データ合成部１２６は、ステップＳ２０９において生成された座標付テキストデータを、ステップＳ２１０において生成された高圧縮ＰＤＦデータに合成する（Ｓ２０８）。
When it is determined that the processing time by the
一方、外部装置２０による処理時間の方が、画像認識部１２８によるＯＣＲ処理の予測処理時間よりも短いと判定される場合（Ｓ２０４でＹｅｓ）、ステップＳ２０５〜Ｓ２０７において、ステップＳ１０３〜Ｓ１０６と同様の処理が実行され他後、ステップＳ２０８が実行される。
On the other hand, when it is determined that the processing time of the
上述したように、第二の実施の形態によれば、画像形成装置１０によってＯＣＲ処理を実行した方が処理時間が短いと判定される場合は、画像形成装置１０にＯＣＲ処理を実行させることができる。したがって、画像形成装置１０に入力されたスキャン画像に関して実行される画像処理の処理時間の平均値が、より短縮化される可能性を高めることができる。なお、ステップＳ２０３において、外部装置２０による処理時間と、画像認識部１２８によるＯＣＲ処理の予測処理時間とが同じであると判定された場合は、外部装置２０への要求が行われてもよいし、行われなくてもよい。
As described above, according to the second embodiment, if it is determined that the processing time is shorter when the OCR process is executed by the
なお、上記各実施の形態は、画像形成装置１０以外の機器に用いて実施されてもよい。例えば、デジタルカメラ、カメラ付き携帯電話、カメラ付きスマートフォン、デジタルビデオカメラ、又は電子黒板等が、画像形成装置１０の代わりに利用されてもよい。このような機器でも画像データを入力して、ネットワークを介して画像データを転送することができる。また、これらの機器以外の機器であっても、も画像データを入力して、ネットワークを介して画像データを転送することができる機器であれば、本実施の形態が適用されてもよい。
Each of the above embodiments may be implemented using a device other than the
また、外部装置２０に要求される処理は、画像認識処理に限定されない。他の処理が、外部装置２０に要求されてもよい。
Further, the process required for the
なお、ＯＣＲ処理以外に外部装置２０に要求可能な画像処理の一例を以下に示す。
An example of image processing that can be requested to the
図１９は、外部装置に要求可能な他の画像処理の第一の例を示す図である。図１９では、地紋埋め込み処理が外部装置２０に要求される例が示されている。画像形成装置１０は、例えば、紙文書からスキャンされた画像データに対して、減色処理を実行する。画像形成装置１０は、減色処理によってデータ量が削減された削減データを、外部装置２０に送信する。減色処理では、画像の色深度（ｂｐｐ：bit per pixel）が、白黒の２色に減色される。その結果、黒画像部分（例えば、黒が描画されるレイヤ）の画像データが削減データとして生成される。外部装置２０は、削減データに関する地紋を示す画像データの生成処理（地紋埋め込み処理）を実行し、生成された画像データを画像形成装置１０に転送する。なお、削減データに対して地紋を示す画像が合成されたものが、画像形成装置１０に転送されてもよい。画像形成装置１０は、転送された画像データをスキャン画像に対して合成する。
FIG. 19 is a diagram illustrating a first example of other image processing that can be requested to the external apparatus. FIG. 19 shows an example in which the tint block embedding process is requested from the
図２０は、外部装置に要求可能な他の画像処理の第二の例を示す図である。図２０では、画像からの地紋の抽出処理が外部装置２０に要求される例が示されている。画像形成装置１０は、例えば、紙文書からスキャンされた画像データに対して、減色処理を実行する。画像形成装置１０は、減色処理によってデータ量が削減された削減データを、外部装置２０に送信する。外部装置２０は、削減データが示す画像から地紋によって埋め込まれたコード（埋め込みコード）を抽出し、抽出結果を画像形成装置１０に転送する。画像形成装置１０は、当該埋め込みコードに基づいて、改竄検知や不正コピーガード等を実行する。
FIG. 20 is a diagram illustrating a second example of other image processing that can be requested to the external apparatus. FIG. 20 illustrates an example in which the
図２１は、外部装置に要求可能な他の画像処理の第三の例を示す図である。図２１において、画像形成装置１０は、例えば、字幕付き動画データの再生時に、画像中の字幕エリアを抽出し、字幕エリアの画像データを、削減データとして外部装置２０に送信する。外部装置２０は、当該削減データに関してＯＣＲ処理及び翻訳処理を実行し、実行結果のテキストデータ（元の言語とは異なる言語でのテキストデータ）を、画像形成装置１０に転送する。画像形成装置１０は、転送されたテキストデータを、再生中の動画に合成する。その結果、字幕が翻訳された動画が再生される。
FIG. 21 is a diagram illustrating a third example of other image processing that can be requested to the external apparatus. In FIG. 21, for example, when reproducing moving image data with subtitles, the
図２２は、外部装置に要求可能な他の画像処理の第四の例を示す図である。図２２において、画像形成装置１０は、動画データから音声データを抽出し、抽出結果の音声データを削減データとして外部装置２０に送信する。外部装置２０は、当該削減データに関して音声翻訳処理を実行し、翻訳後の音声データを画像形成装置１０に転送する。画像形成装置１０は、転送された音声データを、動画データと共に再生する。その結果、音声が翻訳された動画が再生される。
FIG. 22 is a diagram illustrating a fourth example of other image processing that can be requested to the external apparatus. In FIG. 22, the
次に、第三の実施の形態について説明する。第三の実施の形態では第一又は第二の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第一又は第二の実施の形態と同様でもよい。 Next, a third embodiment will be described. In the third embodiment, differences from the first or second embodiment will be described. Accordingly, points not particularly mentioned may be the same as those in the first or second embodiment.
第三の実施の形態では、紙文書が複数ページである場合における、全ページにわたる処理の高速化について説明する。 In the third embodiment, a description will be given of the speeding up of processing over all pages when a paper document has a plurality of pages.
例えば、図９に関して、スキャナ１２による全ページの読み取り（スキャン）の完了後に、全ページ分に関して各種の画像処理を実行する場合、各画像処理の前後関係は、例えば、図２３に示されるようになる。
For example, with respect to FIG. 9, when various image processing is executed for all pages after completion of reading (scanning) of all pages by the
図２３は、複数ページの紙文書に関する処理手順の一例を示す図である。図２３において、画像形成装置１０は、１０ページ（１０枚分）の紙文書を読み取り、１０ページ分のスキャン画像に対してデータ量削減処理を実行し、削減データを外部装置２０に転送する。外部装置２０は、１０ページ分の削減データに対してＯＣＲ処理を実行し、１０ページ分のＯＣＲ結果（座標付テキストデータ）を画像形成装置１０に返信する。画像形成装置１０は、ＯＣＲ処理の間に、１０ページ分のスキャン画像に対して高圧縮ＰＤＦ変換処理を実行して、１０ページ分の高圧縮ＰＤＦデータを生成する。外部装置２０から返信された座標付テキストデータが受信されると、画像形成装置１０は、１０ページ分の高圧縮ＰＤＦデータに１０ページ分の座標付テキストデータを合成して、１０ページ分の透明テキスト付高圧縮ＰＤＦデータを生成する。
FIG. 23 is a diagram illustrating an example of a processing procedure relating to a paper document having a plurality of pages. In FIG. 23, the
図２３に示されるような処理手順において、各処理の処理時間は、１ページの処理時間に対して、ページ数を乗じた値となることが推定される。したがって、紙文書１枚あたりの全体の処理時間（１ページ目の読み取りが開始されてから、１ページ目の透明テキスト付高圧縮ＰＤＦデータが生成されるまで）がＴ秒であるとすると、Ｎページ分の合計処理時間ｔは、以下のようになることが推定される。 In the processing procedure as shown in FIG. 23, the processing time of each processing is estimated to be a value obtained by multiplying the processing time of one page by the number of pages. Accordingly, if the total processing time per paper document (from the start of reading the first page until the generation of highly compressed PDF data with transparent text on the first page) is T seconds, N The total processing time t for the page is estimated as follows.
合計処理時間ｔ（秒）＝Ｔ×Ｎ
すなわち、合計処理時間ｔは、紙文書の枚数に比例して長くなることが推定される。ここで、処理時間Ｔに関する処理の内訳を詳細化すると、合計処理時間ｔは、例えば、以下の式４によって表すことができる。
Total processing time t (seconds) = T × N
That is, it is estimated that the total processing time t becomes longer in proportion to the number of paper documents. Here, when the breakdown of the processing related to the processing time T is detailed, the total processing time t can be expressed by the following Expression 4, for example.
合計処理時間ｔ（秒）＝（１ページの読み取り時間（秒）＋１ページのデータ量削減処理時間（秒）＋１ページのＯＣＲ処理時間（秒）＋１ページの合成処理時間（秒）＋（１ページの削減データのデータ量＋１ページのＯＣＲ結果のデータ量）／通信速度）×Ｎ ・・・（４）
なお、高圧縮ＰＤＦ変換処理は、ＯＣＲ処理等と並列的に実行されるため、高圧縮ＰＤＦ変換処理の処理時間は、式４には含まれていない。
Total processing time t (seconds) = (1 page reading time (seconds) +1 page data amount reduction processing time (seconds) +1 page OCR processing time (seconds) +1 page composition processing time (seconds) + (1 page Reduction data amount + 1 page OCR result data amount) / communication speed) × N (4)
Since the high compression PDF conversion process is executed in parallel with the OCR process or the like, the processing time of the high compression PDF conversion process is not included in Equation 4.
ここで、１ページの読み取り時間が２秒、１ページのデータ量削減処理時間が０．５秒、１ページのＯＣＲ処理時間が１秒、１ページの合成処理時間が０．５秒、削減データのデータ量が１００Ｋｂｙｔｅ、ＯＣＲ結果のデータ量が１０Ｋｂｙｔｅ、及び紙文書のページ数が１０である場合の合計処理時間ｔは、式４に基づいて、以下の式５の通りとなる。
Here, 1 page read time is 2 seconds, 1 page data amount reduction processing time is 0.5 seconds, 1 page OCR processing time is 1 second, 1 page composition processing time is 0.5 seconds, reduced data The total processing time t when the data amount is 100 Kbytes, the data amount of the OCR result is 10 Kbytes, and the number of pages of the paper document is 10, is based on Equation 4 as shown in
合計処理時間ｔ（秒）＝（２＋０．５＋１＋０．５＋（１００＋１０）／通信速度）×１０ ・・・（５）
式５に関して、通信速度と合計処理時間ｔとの関係は、図２４に示される通りとなる。図２４は、通信速度と合計処理時間との第一の関係の例を示す図である。
Total processing time t (seconds) = (2 + 0.5 + 1 + 0.5 + (100 + 10) / communication speed) × 10 (5)
Regarding
第三の実施の形態は、斯かる合計処理時間ｔの短縮を目的とする。 The third embodiment aims to shorten the total processing time t.
そこで、第三の実施の形態では、ｎページ目の読み取りの完了後に、ｎページ目のスキャン画像に対するデータ量削減処理、ＯＣＲ処理、合成処理、及び往復のデータ転送処理と、ｎ＋１ページ目の読み取りとが並列的に実行されるようにする。 Therefore, in the third embodiment, after completion of reading the nth page, data amount reduction processing, OCR processing, composition processing, and round-trip data transfer processing for the scanned image of the nth page, and reading of the (n + 1) th page are performed. Are executed in parallel.
図２５は、第三の実施の形態の概要を説明するための図である。図２５において、各処理を示す矩形の水平方向の前後関係は、時間軸ｘにおける時間の経過に対応している。すなわち、図２５では、画像形成装置１０による紙文書の１ページ目（１枚目）の読み取り（Ｓｃａｎ）の完了後に、読み取られたスキャン画像に対するデータ量削減処理、削減データの外部装置２０への転送、外部装置２０による削減データに関するＯＣＲ処理、及び外部装置２０から画像形成装置１０へのＯＣＲ結果（座標付テキストデータ）の転送、スキャン画像の高圧縮ＰＤＦデータへの変換、及び座標付テキストデータと高圧縮ＰＤＦデータとの合成と、画像形成装置１０による２ページ目（２枚目）の読み取りとが、並列的に行われることが示されている。したがって、ページごとに、透明テキスト付高圧縮ＰＤＦデータが生成される。画像形成装置１０は、全ページに関する透明テキスト付高圧縮ＰＤＦデータが生成された後に、ページごとの透明テキスト付高圧縮ＰＤＦデータをページ順に結合する処理（以下、「結合処理」という。）を実行する。なお、結合処理は、２ページ以降において順次行われてもよい。例えば、Ｎページ目の合成処理の後に、Ｎ−１までの結合結果に対して、Ｎページ目が結合されてもよい。
FIG. 25 is a diagram for explaining the outline of the third embodiment. In FIG. 25, the horizontal front-rear relationship of the rectangles indicating the respective processes corresponds to the passage of time on the time axis x. That is, in FIG. 25, after the
「読み取り時間」が、「往復の転送時間＋データ量削減時間＋ＯＣＲ処理時間＋合成処理時間」より大きければ、ｎページ目の読み取り完了後に行われるデータ量削減処理、往復の転送処理、ＯＣＲ処理、及び合成処理は、ｎ＋１ページの読み取り時間内で完了するため、無視することができる。したがって、第三の実施の形態によれば、合計処理時間ｔとして、以下の式６が成立することを期待することができる。 If “reading time” is larger than “round-trip transfer time + data amount reduction time + OCR processing time + composition processing time”, data amount reduction processing, round-trip transfer processing, OCR processing, Since the composition process is completed within the reading time of n + 1 pages, it can be ignored. Therefore, according to the third embodiment, it can be expected that the following Expression 6 is satisfied as the total processing time t.
合計処理時間ｔ（秒）＝全ページの読み取り時間＋最後のページのスキャン画像のデータ量削減処理時間＋最後のページのＯＣＲ処理時間＋最後のページの合成時間＋結合処理時間＋（最後のページの削減データのデータ量＋最後のページのＯＣＲ結果のデータ量）／通信速度 ・・・（６）
例えば、１ページの読み取り時間、１ページのデータ量削減処理時間、１ページのＯＣＲ処理時間、１ページの合成処理時間、１ページの削減データのデータ量、及び１ページのＯＣＲ結果のデータ量について、図２４と同じ条件を式６にあてはめ、結合処理時間に、便宜上、０秒を式６にあてはめると、１０枚の紙文書の合計処理時間ｔ（秒）は、以下の通りである。
Total processing time t (seconds) = reading time of all pages + data amount reduction processing time of the scanned image of the last page + OCR processing time of the last page + composition time of the last page + combination processing time + (last page Reduction data amount + last page OCR result data amount) / communication speed (6)
For example, one page read time, one page data amount reduction processing time, one page OCR processing time, one page composition processing time, one page reduced data data amount, and one page OCR result data amount 24, when the same conditions as in FIG. 24 are applied to Expression 6 and, for convenience, 0 seconds is applied to Expression 6 for the combined processing time, the total processing time t (seconds) of 10 paper documents is as follows.
合計処理時間ｔ（秒）＝２０＋０．５＋１＋０．５＋０＋（１００＋１０）／通信速度 ・・・式（７）
式（７）に関して、通信速度と合計処理時間ｔとの関係は、図２６に示される通りとなる。
Total processing time t (seconds) = 20 + 0.5 + 1 + 0.5 + 0 + (100 + 10) / communication speed (7)
Regarding Expression (7), the relationship between the communication speed and the total processing time t is as shown in FIG.
図２６は、通信速度と合計処理時間との第二の関係の例を示す図である。図２６と図２４とを比較すると、同じ通信速度に対する合計処理時間は、図２６の方が短いことが分かる。 FIG. 26 is a diagram illustrating an example of a second relationship between the communication speed and the total processing time. Comparing FIG. 26 and FIG. 24, it can be seen that the total processing time for the same communication speed is shorter in FIG.
また、図２４と図２６とをグラフによって比較すると、図２７のようになる。図２７は、各ページの読み取りと各画像処理等とを直列的に処理した場合と並列的に処理した場合との比較結果の一例を示す図である。図２７において、曲線ｃ３は、図２４に対応し、曲線ｃ４は、図２６に対応する。 FIG. 27 is a graph comparing FIG. 24 and FIG. 26. FIG. 27 is a diagram illustrating an example of a comparison result between a case where reading of each page and each image processing and the like are processed in series and a case where they are processed in parallel. In FIG. 27, the curve c3 corresponds to FIG. 24, and the curve c4 corresponds to FIG.
更に、式（４）−式（６）を演算すると、式８のようになる。 Further, when Expression (4) -Expression (6) is calculated, Expression 8 is obtained.
式（４）−式（６）＝（データ量削減処理時間＋ＯＣＲ処理時間＋合成処理時間＋（１ページ分の削減データのデータ量＋１ページ分のＯＣＲ結果のデータ量）／通信速度）×（Ｎ−１）−結合処理時間 ・・・式（８）
式８に対し、図２４又は図２６と同じ条件をあてはめると、以下の式（９）が得られる。
Expression (4) −Expression (6) = (data amount reduction processing time + OCR processing time + compositing processing time + (data amount of reduction data for one
When the same condition as in FIG. 24 or FIG. 26 is applied to Expression 8, the following Expression (9) is obtained.
（０．５＋１＋０．５＋（１００＋１０）／通信速度）×（Ｎ−１） ・・・式（９）
式９の値は、常に正の値である。したがって、第三の実施の形態によれば、複数ページの紙文書に関して、合計処理時間ｔの短縮を実現できることが分かる。なお、上記では、結合処理時間について、０であるという仮定を置いたため、式９は、常に、正となる。結合処理時間が、無視できない程大きくなる場合は、式９の値が、結合処理時間よりも大きければ、合計処理時間ｔの短縮を実現することができる。例えば、通信速度が無限大だとした場合、式９の値は、０．５＋１＋０．５＝２（秒）となる。結合処理時間は、斯かる値以下である可能性が高いと考えられる。したがって、結合処理時間を考慮しても、第三の実施の形態によれば、合計処理時間ｔが短縮される可能性は高いと考えられる。また、通信速度が小さくなればなるほど、また、紙文書のページ数が増加すればするほど、第三の実施の形態による効果が大きくなることが分かる。
(0.5 + 1 + 0.5 + (100 + 10) / communication speed) × (N−1) (9)
The value of Equation 9 is always a positive value. Therefore, according to the third embodiment, it is understood that the total processing time t can be shortened for a paper document having a plurality of pages. In the above description, since it is assumed that the combining processing time is 0, Expression 9 is always positive. When the combined processing time becomes too large to be ignored, the total processing time t can be shortened if the value of Expression 9 is larger than the combined processing time. For example, when the communication speed is infinite, the value of Equation 9 is 0.5 + 1 + 0.5 = 2 (seconds). It is considered that the combining processing time is likely to be less than or equal to such a value. Therefore, even if the combined processing time is taken into account, according to the third embodiment, it is highly likely that the total processing time t is shortened. It can also be seen that the effect of the third embodiment increases as the communication speed decreases and as the number of pages of the paper document increases.
図２８は、第三の実施の形態における画像形成装置及び外部装置の機能構成例を示す図である。図２８中、図１３と同一部分には同一符号を付し、その説明は省略する。 FIG. 28 is a diagram illustrating a functional configuration example of the image forming apparatus and the external apparatus according to the third embodiment. In FIG. 28, the same parts as those in FIG. 13 are denoted by the same reference numerals, and the description thereof is omitted.
図２８において、画像形成装置１０は、更に、データ結合部１２９を有する。データ結合部１２９は、ページごとに生成される透明テキスト付高圧縮ＰＤＦデータに関する結合処理を実行する。なお、データ結合部１２９は、画像形成装置１０にインストールされるプログラムがＣＰＵ１１１に実行させる処理により実現される。
In FIG. 28, the
続いて、第三の実施の形態において、図１１に対応するケースに関して情報処理システム１が実行する処理手順について説明する。
Next, a processing procedure executed by the
図２９は、第三の実施の形態における情報処理システムが実行する処理手順の一例を説明するための図である。図２９中、図１４と同一又は対応するステップには同一ステップ番号を付している。なお、図２９において、紙文書のページ数は３であるとする。 FIG. 29 is a diagram for describing an example of a processing procedure executed by the information processing system according to the third embodiment. In FIG. 29, steps that are the same as or correspond to those in FIG. 14 are given the same step numbers. In FIG. 29, it is assumed that the number of pages of the paper document is three.
画像入力部１２１による制御によって、スキャナ１２によって紙文書の１ページ目が読み取られ、１ページ目に関するスキャン画像が生成されると（Ｓ１０１）、データ削減部１２２は、当該スキャン画像に関して二値化処理を実行し、白黒画像の削減データを生成する（Ｓ１０２）。続いて、データ転送部１２３は、当該削減データを、外部装置２０に転送する（Ｓ１０３）。当該削減データの転送に応じ、外部装置２０からは、当該削減データに基づいて外部装置２０によって生成される座標付テキストデータに対する識別情報（以下、「データＩＤ」という。）が返信される。返信されたデータＩＤは、データ転送部１２３によって受信され、応答受信部１２４に通知される。なお、当該データＩＤは、例えば、ＵＲＬであってもよいし、他の形式の識別情報であってもよい。
When the first page of the paper document is read by the
一方、画像変換部１２５は、スキャン画像に関して高圧縮ＰＤＦ変換処理を実行し、高圧縮ＰＤＦデータを生成する（Ｓ１０４）。続いて、応答受信部１２４は、外部装置２０による座標付テキストデータの生成の完了を監視する。例えば、応答受信部１２４は、データＩＤに対応する座標付テキストデータの有無を照会するためのポーリングを外部装置２０に対して行う。
On the other hand, the
外部装置２０のデータ受信部２１は、１ページ目に関する削減データを受信すると、当該削減データに基づいて生成される座標付テキストデータに対するデータＩＤを生成し、当該データＩＤを、画像形成装置１０に返信する。続いて、画像認識部２２は、当該削減データに関して、ＯＣＲ処理を実行する（Ｓ１０５）。ＯＣＲ処理の結果、１ページ目に関する座標付テキストデータが生成される。生成された座標付テキストデータは、データ受信部２１によって生成されたデータＩＤに対応付けられて、例えば、補助記憶装置２０２に記憶される。
When the
応答返信部２３は、応答受信部１２４からのポーリングを受信し、当該ポーリングに含まれているデータＩＤに対応する座標付テキストデータが補助記憶装置２０２に記憶されているか否かを確認する。該当する座標付テキストデータが無い場合、応答返信部２３は、該当する座標付テキストデータが無いことを示す応答を返信する。該当する座標付テキストデータが有る場合、応答返信部２３は、当該座標付テキストデータを、画像形成装置１０に返信する（Ｓ１０６）。
The
１ページ目に関する座標付テキストデータが応答受信部１２４によって受信されると、データ合成部１２６は、当該座標付テキストデータを、ステップＳ１０４において生成された１ページ目に関する高圧縮ＰＤＦデータに合成する（Ｓ１０７）。その結果、１ページ目に関する透明テキスト付高圧縮ＰＤＦデータが生成される。
When the text data with coordinates for the first page is received by the
続いて、紙文書の２ページ目及び３ページ目のそれぞれについて、ステップＳ１０１〜Ｓ１０７が繰り返される。全ページについて、ステップＳ１０１〜Ｓ１０７が完了すると、データ結合部１２９は、ページごとに生成された透明テキスト付高圧縮ＰＤＦデータを、ページ順に結合する（Ｓ１０８）。その結果、３ページ分の透明テキスト付高圧縮ＰＤＦデータが１つ生成される。
Subsequently, steps S101 to S107 are repeated for each of the second and third pages of the paper document. When Steps S101 to S107 are completed for all pages, the
なお、図２９においては、１ページ単位でステップＳ１０１〜Ｓ１０７が繰り返される例を説明したが、ステップＳ１０１〜Ｓ１０７が繰り返される単位は、２ページ以上の単位等、一部のページ単位であってもよい。この場合、サイクルごとに、一部のページ数が異なってもよい。１サイクルとは、図２９において、１回分のステップＳ１０１〜Ｓ１０７までの期間をいう。 In FIG. 29, the example in which steps S101 to S107 are repeated in units of one page has been described. However, the unit in which steps S101 to S107 are repeated may be some page units such as a unit of two pages or more. Good. In this case, the number of some pages may be different for each cycle. One cycle refers to a period from step S101 to S107 for one time in FIG.
また、図２９では、応答受信部１２４がポーリングを行う例を説明したが、座標付テキストデータは、他の方法によって、外部装置２０から画像形成装置１０にダウンロードされてもよい。例えば、データ転送部１２３は、削減データの転送の際に、当該削減データに関する座標付テキストデータの生成の完了の通知を受けるためのアドレス情報（例えば、ＵＲＬ）を、外部装置２０に送信してもよい。外部装置２０の応答返信部２３は、座標付テキストデータが生成されると、当該アドレス情報が示す宛先に、座標付テキストデータの生成の完了を示し、生成された座標付テキストデータのデータＩＤを含むメッセージを送信してもよい。画像形成装置１０の応答受信部１２４は、当該宛先への当該メッセージの受信を待機し、当該メッセージが受信されると、当該メッセージに含まれているデータＩＤに対応する座標付テキストデータを、外部装置２０からダウンロードしてもよい。
29, the example in which the
なお、紙文書の各ページの読み取りは、ステップＳ１０２〜Ｓ１０７に係る処理とは非同期に実行されてよい。すなわち、図２９では、２ページ目の読み取りが、１ページ目のステップＳ１０２〜Ｓ１０７に対して並行して実行されているように示されているが、例えば、１ページ目のステップＳ１０２〜Ｓ１０７が実行されている間に、３ページ目以降の読み取りが開始されてもよい。すなわち、各ページの読み取りは、スキャナ１２が有する性能に応じた速度によって実行されてよい。この場合、例えば、ステップＳ１０２〜Ｓ１０７は、既に読み取られた複数ページ分のスキャン画像に対して、まとめて実行されてもよい。
The reading of each page of the paper document may be executed asynchronously with the processing according to steps S102 to S107. That is, in FIG. 29, it is shown that the reading of the second page is performed in parallel to the steps S102 to S107 of the first page. For example, the steps S102 to S107 of the first page are performed. While being executed, reading of the third and subsequent pages may be started. In other words, each page may be read at a speed corresponding to the performance of the
このように、第三の実施の形態において、データ削減部１２２、画像変換部１２５は、紙文書の全部のページの読み取りが完了する前に、すなわち、紙文書の一部のページが読み取られるたびに、それぞれの機能に係る処理を実行する。また、データ転送部１２３は、当該一部のページに関してデータ削減部１２２によって削減データが生成されるたびに、当該一部のページに関する削減データを、外部装置２０に転送する。また、データ合成部１２６は、当該一部のページに関する高圧縮ＰＤＦデータ及び当該一部のページに関する座標付テキストデータが生成されるたびに、これらのデータについて合成処理を実行する。また、スキャナ１２及び画像入力部１２１は、データ削減部１２２、画像変換部１２５、データ転送部１２３、応答受信部１２４、及びデータ合成部１２６とは非同期に、かつ、並列的に紙文書の読み取りを実行する。その結果、紙文書の全ページに関する合計処理時間ｔを短縮することができる。
As described above, in the third embodiment, the
なお、画像変換部１２５による、高圧縮ＰＤＦ変換処理は、必ずしも、１ページごと又は１部のページごとに実行されなくてもよい。複数ページに関してまとめて実行されてもよいし、全ページに関してまとめて実行されてもよい。
Note that the high-compression PDF conversion processing by the
次に、第四の実施の形態について説明する。第四の実施の形態では第三の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第三の実施の形態と同様でもよい。 Next, a fourth embodiment will be described. In the fourth embodiment, differences from the third embodiment will be described. Therefore, the points not particularly mentioned may be the same as in the third embodiment.
図３０は、第四の実施の形態における画像形成装置及び外部装置の機能構成例を示す図である。図３０中、図２８と同一部分には同一符号を付し、その説明は省略する。 FIG. 30 is a diagram illustrating a functional configuration example of the image forming apparatus and the external apparatus according to the fourth embodiment. In FIG. 30, the same parts as those in FIG. 28 are denoted by the same reference numerals, and the description thereof is omitted.
図３０に示されるように、第四の実施の形態において、画像形成装置１０は、画像変換部１２５、データ合成部１２６、及びデータ結合部１２９を有していなくてもよい。一方、外部装置２０は、データ結合部２４を更に有する。データ結合部２４は、ページごとに生成される座標付テキストデータを、ページ順に結合する。
As shown in FIG. 30, in the fourth embodiment, the
図３１は、第四の実施の形態における情報処理システムが実行する処理手順の一例を説明するための図である。図３１中、図２９と同一又は対応するステップには、同一ステップ番号を付し、その説明は、適宜省略する。 FIG. 31 is a diagram for describing an example of a processing procedure executed by the information processing system according to the fourth embodiment. In FIG. 31, steps that are the same as or correspond to those in FIG. 29 are given the same step numbers, and description thereof will be omitted as appropriate.
第四の実施の形態において、最終的な成果物は、紙文書の全ページ分の座標付テキストデータである。したがって、第四の実施の形態では、１ページごとに（又は一部のページ単位で）、ステップＳ１０１〜Ｓ１０３と、ステップＳ１０５とが繰り返される。 In the fourth embodiment, the final product is text data with coordinates for all pages of a paper document. Therefore, in the fourth embodiment, Steps S101 to S103 and Step S105 are repeated for each page (or for some pages).
画像形成装置１０のデータ転送部１２３は、最終ページに関する削減データを転送する際に、当該削減データと共に、最終ページより前の各ページに関して外部装置２０から返信された各データＩＤを、外部装置２０に送信する（Ｓ１０３）。なお、当該各データＩＤは、ページごとに実行されるステップＳ１０３に応じて、外部装置２０から返信されたものである。
When the
外部装置２０のデータ受信部２１は、最終ページに関する削減データと、当該各データＩＤとを受信すると、当該削減データに対応するデータＩＤを生成する。続いて、画像認識部２２は、当該削減データに関して、ＯＣＲ処理を実行する（Ｓ１０５）。生成された座標付テキストデータは、データ受信部２１によって生成されたデータＩＤに対応付けられて、例えば、補助記憶装置２０２に記憶される。
When the
続いて、データ結合部２４は、受信された各データＩＤと、最終ページに関して生成されたにデータＩＤとのそれぞれのデータＩＤに対応付けられて補助記憶装置２０２に記憶されている座標付テキストデータを、ページ順に結合する（Ｓ１０８）。その結果、一つの座標付テキストデータが生成される。応答返信部２３は、当該座標付テキストデータを、画像形成装置１０に返信する（Ｓ１０９）。応答受信部１２４は、当該座標付テキストデータを受信する。
Subsequently, the
このように、外部装置２０において生成されるデータ（ここでは、座標付テキストデータ）が、最終的な成果物とされてもよい。
As described above, data (here, text data with coordinates) generated in the
次に、第五の実施の形態について説明する。第五の実施の形態では第三の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第三の実施の形態と同様でもよい。 Next, a fifth embodiment will be described. In the fifth embodiment, differences from the third embodiment will be described. Therefore, the points not particularly mentioned may be the same as in the third embodiment.
図３２は、第五の実施の形態における画像形成装置及び外部装置の機能構成例を示す図である。図３２中、図２８と同一部分には同一符号を付し、その説明は省略する。 FIG. 32 is a diagram illustrating a functional configuration example of the image forming apparatus and the external apparatus according to the fifth embodiment. In FIG. 32, the same parts as those in FIG.
図３２に示されるように、第五の実施の形態において、画像形成装置１０は、データ合成部１２６及びデータ結合部１２９を有していなくてもよい。一方、外部装置２０は、データ合成部２５を更に有する。データ合成部２５は、座標付テキストデータを高圧縮ＰＤＦデータに合成して、透明テキスト付高圧縮ＰＤＦデータを生成する。
As shown in FIG. 32, in the fifth embodiment, the
図３３は、第五の実施の形態における情報処理システムが実行する処理手順の一例を説明するための図である。図３３中、図２９と同一又は対応するステップには、同一ステップ番号を付し、その説明は、適宜省略する。 FIG. 33 is a diagram for describing an example of a processing procedure executed by the information processing system according to the fifth embodiment. In FIG. 33, steps that are the same as or correspond to those in FIG. 29 are given the same step numbers, and description thereof will be omitted as appropriate.
第五の実施の形態では、１ページごとに（又は一部のページ単位で）、ステップＳ１０１〜Ｓ１０３と、ステップＳ１０５とが繰り返される。 In the fifth embodiment, steps S101 to S103 and step S105 are repeated for each page (or for some pages).
画像形成装置１０の画像変換部１２５は、最終ページのスキャン画像が生成されると、全ページのスキャン画像に基づいて、全ページ分の高圧縮ＰＤＦデータを生成する（Ｓ１０４）。続いて、データ転送部１２３は、生成された高圧縮ＰＤＦデータと、各ページのデータＩＤとを外部装置２０に送信する（Ｓ１１０）。
When the scan image of the last page is generated, the
外部装置２０のデータ受信部２１によって、高圧縮ＰＤＦデータ及び各ページのデータＩＤが受信されると、データ合成部２５は、当該各データＩＤに対応付けられて補助記憶装置２０２に記憶されている座標付テキストデータを、当該高圧縮ＰＤＦデータに合成して、透明テキスト付高圧縮ＰＤＦデータを生成する（Ｓ１０８）。
When the
このように、座標付テキストデータと高圧縮ＰＤＦデータとの合成は、外部装置２０において実行されてもよい。第四の実施の形態は、例えば、透明テキスト付高圧縮ＰＤＦデータが、外部装置２０によって配信等される場合に好適である。
As described above, the synthesis of the text data with coordinates and the highly compressed PDF data may be executed in the
次に、第六の実施の形態について説明する。第六の実施の形態では第三の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第三の実施の形態と同様でもよい。 Next, a sixth embodiment will be described. In the sixth embodiment, differences from the third embodiment will be described. Therefore, the points not particularly mentioned may be the same as in the third embodiment.
図３４は、第六の実施の形態における情報処理システムが実行する処理手順の一例を説明するための図である。図３４中、図２９と同一又は対応するステップには、同一ステップ番号を付し、その説明は、適宜省略する。 FIG. 34 is a diagram for explaining an example of a processing procedure executed by the information processing system according to the sixth embodiment. In FIG. 34, steps that are the same as or correspond to those in FIG. 29 are given the same step numbers, and descriptions thereof will be omitted as appropriate.
第六の実施の形態では、スキャン画像の二値化、高圧縮ＰＤＦデータの生成、及び透明テキスト付高圧縮ＰＤＦデータの生成が、画像形成装置１０にネットワークを介して接続されるＰＣ９０によって実行される点が、第三の実施の形態と異なる。換言すれば、画像形成装置１０は、紙文書の読み取りに特化する。したがって、ＰＣ９０は、図２８に示される画像形成装置１０の機能構成例のうち、画像入力部１２１を除く各部を有し、画像形成装置１０は、画像入力部１２１を有していればよい。
In the sixth embodiment, binarization of a scanned image, generation of high-compression PDF data, and generation of high-compression PDF data with transparent text are executed by a
画像形成装置１０は、各ページが読み取られるたびに、当該ページのスキャン画像をＰＣ９０に送信する。ＰＣ９０及び外部装置２０は、当該スキャン画像に関して、ステップＳ１０２〜Ｓ１０７の処理を実行する。
The
なお、ＰＣ９０は、外部装置２０が接続されるネットワークに比べて、通信負荷が小さいネットワークによって画像形成装置１０に接続されるのが好ましい。例えば、ＰＣ９０は、ＵＳＢ（Universal Serial Bus）ケーブルを介して画像形成装置１０に接続されてもよいし、ＬＡＮ（Local Area Network）を介して画像形成装置１０に接続されてもよい。また、ＰＣ（Personal Computer）以外の装置が、ＰＣ９０の代わりに利用されてもよい。
Note that the
このように、画像形成装置１０以外の装置によって、スキャン画像の二値化、高圧縮ＰＤＦデータの生成、及び透明テキスト付高圧縮ＰＤＦデータの生成等が行われてもよい。
As described above, binarization of the scan image, generation of high-compression PDF data, generation of high-compression PDF data with transparent text, and the like may be performed by an apparatus other than the
なお、上記各実施の形態において、画像形成装置１０は、機器の一例である。外部装置２０は、情報処理装置の一例である。スキャナ１２及び画像入力部１２１は、読取部の一例である。データ削減部１２２は、削減部の一例である。データ転送部１２３は、第１の送信部の一例である。応答受信部１２４は、第１の受信部の一例である。画像変換部１２５は、第２の生成部の一例である。データ合成部１２６は、合成部の一例である。画像認識部１２８は、第１のデータ生成部の一例である。データ受信部２１は、第２の受信部の一例である。画像認識部２２は、第１の生成部の一例である。応答返信部２３は、第２の送信部の一例である。透明テキスト付高圧縮ＰＤＦデータは、透明テキスト付ＰＤＦデータの一例である。
In each of the above embodiments, the
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.
１ 情報処理システム
１０ 画像形成装置
２０ 外部装置
２１ データ受信部
２２ 画像認識部
２３ 応答返信部
２４ データ結合部
２５ データ合成部
１２１ 画像入力部
１２２ データ削減部
１２３ データ転送部
１２４ 応答受信部
１２５ 画像変換部
１２６ データ合成部
１２７ 判定部
１２８ 画像認識部
１２９ データ結合部
２００ ドライブ装置
２０１ 記録媒体
２０２ 補助記憶装置
２０３ メモリ装置
２０４ ＣＰＵ
２０５ インタフェース装置
Ｂ バス
DESCRIPTION OF
205 Interface device B bus
Claims (10)
前記機器は、
紙文書から画像データを読み取る読取部と、
前記読取部によって前記紙文書の一部のページが読み取られるたびに、当該一部のページの画像データに対してデータ量を削減する処理の処理を実行して、前記画像データよりもデータ量が削減された削減データを生成する削減部と、
前記削減部によって前記削減データが生成されるたびに、当該削減データを、前記情報処理装置に送信する第１の送信部と、
前記読取部によって前記紙文書から読み取られる画像データに関して、前記情報処理装置が実行する第１の処理とは異なる第２の処理を実行して、第２のデータを生成する第２の生成部と、
前記削減データに関して前記情報処理装置によって実行される前記第１の処理により生成される第１のデータを、ネットワークを介して受信する第１の受信部と、
前記第１のデータと前記第２のデータとを合成する合成部とを有し、
前記読取部は、前記削減部、前記第１の送信部、前記第１の受信部、及び前記合成部に対して並列的に、前記紙文書から画像データを読み取り、
前記情報処理装置は、
前記削減データを受信する第２の受信部と、
前記第２の受信部によって受信された前記削減データに関して前記第１の処理を実行して、前記第１のデータを生成する第１の生成部と、
前記第１の生成部によって生成された前記第１のデータを前記機器に送信する第２の送信部とを有する、
ことを特徴とする情報処理システム。 An information processing system including a device and an information processing device connected to the device via a network,
The equipment is
A reading unit for reading image data from a paper document;
Each time a part of the page of the paper document is read by the reading unit, a process of reducing the data amount is performed on the image data of the part of the page, and the data amount is larger than the image data. A reduction unit that generates reduced reduction data;
A first transmission unit that transmits the reduction data to the information processing device each time the reduction data is generated by the reduction unit;
A second generation unit that generates second data by executing a second process different from the first process performed by the information processing apparatus on the image data read from the paper document by the reading unit; ,
A first receiving unit that receives the first data generated by the first process executed by the information processing apparatus with respect to the reduced data via a network;
A combining unit that combines the first data and the second data;
The reading unit reads image data from the paper document in parallel with the reduction unit, the first transmission unit, the first reception unit, and the synthesis unit,
The information processing apparatus includes:
A second receiving unit for receiving the reduced data;
A first generation unit that performs the first process on the reduced data received by the second reception unit to generate the first data;
A second transmission unit that transmits the first data generated by the first generation unit to the device;
An information processing system characterized by this.
ことを特徴とする請求項１記載の情報処理システム。 The reduction unit generates the reduction data by executing binarization processing that is a part of the first processing for the image data.
The information processing system according to claim 1.
ことを特徴とする請求項２記載の情報処理システム。 The first process is a process of extracting text data from the image data.
The information processing system according to claim 2.
ことを特徴とする請求項３記載の情報処理システム。 The synthesizing unit synthesizes text data generated by the first processing with the second data;
The information processing system according to claim 3.
前記合成部は、前記ＰＤＦデータに前記テキストデータを合成して、透明テキスト付ＰＤＦデータを生成する、
ことを特徴とする請求項３又は４記載の情報処理システム。 The second generation unit generates PDF data based on the image data,
The combining unit combines the text data with the PDF data to generate PDF data with transparent text.
The information processing system according to claim 3 or 4, characterized by the above.
前記機器は、
紙文書から画像データを読み取る読取部と、
前記読取部によって前記紙文書の一部のページが読み取られるたびに、当該一部のページの画像データに対してデータ量を削減する処理の処理を実行して、前記画像データよりもデータ量が削減された削減データを生成する削減部と、
前記削減部によって前記削減データが生成されるたびに、当該削減データを、前記情報処理装置に送信する第１の送信部と、
前記削減データに関して前記情報処理装置によって実行される第１の処理により生成される第１のデータを、ネットワークを介して受信する第１の受信部とを有し、
前記読取部は、前記削減部、前記第１の送信部、及び前記第１の受信部に対して並列的に、前記紙文書から画像データを読み取り、
前記情報処理装置は、
前記削減データを受信する第２の受信部と、
前記第２の受信部によって受信された前記削減データに関して前記第１の処理を実行して、前記第１のデータを生成する生成部と、
前記生成部によって生成された前記第１のデータを前記機器に送信する第２の送信部とを有する、
ことを特徴とする情報処理システム。 An information processing system including a device and an information processing device connected to the device via a network,
The equipment is
A reading unit for reading image data from a paper document;
Each time a part of the page of the paper document is read by the reading unit, a process of reducing the data amount is performed on the image data of the part of the page, and the data amount is larger than the image data. A reduction unit that generates reduced reduction data;
A first transmission unit that transmits the reduction data to the information processing device each time the reduction data is generated by the reduction unit;
A first receiving unit that receives first data generated by a first process executed by the information processing apparatus with respect to the reduced data, via a network;
The reading unit reads image data from the paper document in parallel with the reduction unit, the first transmission unit, and the first reception unit,
The information processing apparatus includes:
A second receiving unit for receiving the reduced data;
A generating unit that executes the first process on the reduced data received by the second receiving unit to generate the first data;
A second transmission unit that transmits the first data generated by the generation unit to the device;
An information processing system characterized by this.
前記機器が、
紙文書から画像データを読み取る読取手順と、
前記読取手順において前記紙文書の一部のページが読み取られるたびに、当該一部のページの画像データに対してデータ量を削減する処理の処理を実行して、前記画像データよりもデータ量が削減された削減データを生成する削減手順と、
前記削減手順において前記削減データが生成されるたびに、当該削減データを、前記情報処理装置に送信する第１の送信手順と、
前記読取手順において前記紙文書から読み取られる画像データに関して、前記情報処理装置が実行する第１の処理とは異なる第２の処理を実行して、第２のデータを生成する第２の生成手順と、
前記削減データに関して前記情報処理装置によって実行される前記第１の処理により生成される第１のデータを、ネットワークを介して受信する第１の受信手順と、
前記第１のデータと前記第２のデータとを合成する合成手順とを実行し、
前記読取手順は、前記削減手順、前記第１の送信手順、前記第１の受信手順、及び前記合成手順に対して並列的に、前記紙文書から画像データを読み取り、
前記情報処理装置が、
前記削減データを受信する第２の受信手順と、
前記第２の受信手順において受信された前記削減データに関して前記第１の処理を実行して、前記第１のデータを生成する第１の生成手順と、
前記第１の生成手順において生成された前記第１のデータを前記機器に送信する第２の送信手順とを実行する、
ことを特徴とする情報処理方法。 An information processing method executed by a device and an information processing apparatus connected to the device via a network,
The device is
A reading procedure for reading image data from a paper document;
Each time a partial page of the paper document is read in the reading procedure, a process of reducing the data amount is performed on the image data of the partial page, so that the data amount is larger than the image data. Reduction procedures to generate reduced reduction data;
A first transmission procedure for transmitting the reduction data to the information processing device each time the reduction data is generated in the reduction procedure;
A second generation procedure for generating second data by executing a second process different from the first process executed by the information processing apparatus on the image data read from the paper document in the reading procedure; ,
A first reception procedure for receiving, via a network, first data generated by the first processing executed by the information processing apparatus with respect to the reduced data;
Performing a combining procedure for combining the first data and the second data;
The reading procedure reads image data from the paper document in parallel with the reduction procedure, the first transmission procedure, the first reception procedure, and the combining procedure,
The information processing apparatus is
A second receiving procedure for receiving the reduced data;
A first generation procedure for generating the first data by executing the first process on the reduced data received in the second reception procedure;
Performing a second transmission procedure for transmitting the first data generated in the first generation procedure to the device;
An information processing method characterized by the above.
紙文書から画像データを読み取る読取手順と、
前記読取手順において前記紙文書の一部のページが読み取られるたびに、当該一部のページの画像データに対してデータ量を削減する処理の処理を実行して、前記画像データよりもデータ量が削減された削減データを生成する削減手順と、
前記削減手順において前記削減データが生成されるたびに、当該削減データを、前記情報処理装置に送信する第１の送信手順と、
前記読取手順において前記紙文書から読み取られる画像データに関して、前記情報処理装置が実行する第１の処理とは異なる第２の処理を実行して、第２のデータを生成する第２の生成手順と、
前記削減データに関して前記情報処理装置によって実行される前記第１の処理により生成される第１のデータを、ネットワークを介して受信する第１の受信手順と、
前記第１のデータと前記第２のデータとを合成する合成手順とを実行させ、
前記読取手順は、前記削減手順、前記第１の送信手順、前記第１の受信手順、及び前記合成手順に対して並列的に、前記紙文書から画像データを読み取ることを特徴とするプログラム。 For devices connected to information processing devices via a network,
A reading procedure for reading image data from a paper document;
Each time a partial page of the paper document is read in the reading procedure, a process of reducing the data amount is performed on the image data of the partial page, so that the data amount is larger than the image data. Reduction procedures to generate reduced reduction data;
A first transmission procedure for transmitting the reduction data to the information processing device each time the reduction data is generated in the reduction procedure;
A second generation procedure for generating second data by executing a second process different from the first process executed by the information processing apparatus on the image data read from the paper document in the reading procedure; ,
A first reception procedure for receiving, via a network, first data generated by the first processing executed by the information processing apparatus with respect to the reduced data;
Executing a combining procedure for combining the first data and the second data;
The reading procedure reads image data from the paper document in parallel with the reduction procedure, the first transmission procedure, the first reception procedure, and the combining procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/886,224 US9544473B2 (en) | 2014-10-20 | 2015-10-19 | Information processing system and information processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014213843 | 2014-10-20 | ||
| JP2014213843 | 2014-10-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016082596A true JP2016082596A (en) | 2016-05-16 |
Family
ID=55959237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015205216A Pending JP2016082596A (en) | 2014-10-20 | 2015-10-19 | Information processing system, information processing apparatus, apparatus, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016082596A (en) |
-
2015
- 2015-10-19 JP JP2015205216A patent/JP2016082596A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9544473B2 (en) | Information processing system and information processing method | |
| JP6379897B2 (en) | Apparatus, information processing apparatus, information processing system, data processing method, and program | |
| JP6968647B2 (en) | A device for setting a file name for a scanned image, its control method, and a program. | |
| US9473669B2 (en) | Electronic document generation system, electronic document generation apparatus, and recording medium | |
| US7760380B2 (en) | Image forming apparatus, control method thereof, image forming system, and program | |
| JP5983099B2 (en) | Image processing apparatus and program | |
| CN110536040B (en) | Image processing apparatus for performing multi-cropping processing, method of generating image, and medium | |
| JP5226553B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP6720795B2 (en) | Equipment, information processing device, information processing system, information processing method, and program | |
| JP2012129910A (en) | Image processing device, method, and program | |
| JP4956319B2 (en) | Image processing apparatus, control method thereof, program thereof, and storage medium | |
| JP2014011696A (en) | Image processing apparatus and computer program | |
| US10306095B2 (en) | Image processing apparatus and method | |
| JP6031851B2 (en) | Image processing apparatus and program | |
| JP2020184276A (en) | Image processing device, image processing method, and program | |
| US8743383B2 (en) | Image processing apparatus storing destination information and information indicating whether a user is allowed to print image data and control method therefor | |
| JP2009171563A (en) | Image processor, image processing method,program for executing image processing method, and storage medium | |
| JP2014232946A (en) | Information processing apparatus, information processing method, system, and program | |
| JP2016082596A (en) | Information processing system, information processing apparatus, apparatus, information processing method, and program | |
| JP6458351B2 (en) | Electronic document generation system, image forming apparatus, communication terminal, and program | |
| US8958108B2 (en) | Apparatus and program product for processing page images with defined page order to increase editing flexibilty | |
| US20100157382A1 (en) | Image reading apparatus, control method therefor, and storage medium | |
| US9412033B2 (en) | Image processing apparatus capable of preventing page missing, control method therefor, and storage medium | |
| JP2011044938A (en) | Image processor, image processing method program and recording medium | |
| JP2017183766A (en) | Server program, image generation device and image data generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181011 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191023 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200317 |