JP2014171023A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2014171023A JP2014171023A JP2013040820A JP2013040820A JP2014171023A JP 2014171023 A JP2014171023 A JP 2014171023A JP 2013040820 A JP2013040820 A JP 2013040820A JP 2013040820 A JP2013040820 A JP 2013040820A JP 2014171023 A JP2014171023 A JP 2014171023A
- Authority
- JP
- Japan
- Prior art keywords
- document
- image data
- timing
- document image
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は画像データを処理する画像処理装置、方法およびプログラムに関する。 The present invention relates to an image processing apparatus, method, and program for processing image data.
従来のフラットベッドスキャナ付き複合機で複数枚原稿のスキャンを行う際に、原稿を１枚ずつ読み込みスタートさせる必要がある。すなわち、原稿を１枚ずつ原稿ガラス台（フラットベッド）にセットし、また、セット前後に原稿台カバーを開けたり、閉じたり、読み込みスタートボタンを押下するといった操作を繰り返す。 When scanning a plurality of originals with a conventional multifunction machine with a flatbed scanner, it is necessary to start reading originals one by one. That is, an operation of setting originals one by one on an original glass table (flat bed), opening and closing the original table cover before and after setting, and pressing a read start button is repeated.
ＡＤＦ（オートドキュメントフィーダ）付き複合機で複数枚原稿をスキャンする場合には、ＡＤＦにまとめて原稿をセットし、読み取り開始ボタンを押下するだけで済む。よって、上記のような煩雑な手順を省くことができる。しかしながら、両面原稿をスキャンする際には、事前に両面読み取り設定と読み取り方向設定を行う必要がある。片面原稿と両面原稿が混載されている場合には、原稿ごとに設定を変更するか、どちらの原稿に対しても常に両面読み取りを行い、白紙であれば処理をスキップ（片面原稿として処理）することが必要となる。 When scanning a plurality of originals with a multifunction machine with an ADF (auto document feeder), it is only necessary to set the originals together in the ADF and press the reading start button. Therefore, the complicated procedure as described above can be omitted. However, when scanning a double-sided document, it is necessary to perform double-sided reading setting and reading direction setting in advance. If single-sided and double-sided originals are mixed, change the settings for each original, or always perform double-sided reading for both originals and skip the process if it is blank (process as a single-sided original) It will be necessary.
さらに、最近では複数枚の写真などの原稿を原稿ガラス台に載せることにより自動でそれぞれの原稿領域を認識し、それぞれ個別の原稿としてスキャンする機能も搭載されている複合機も出てきている。この機能を用いると複数の原稿を同時にスキャンすることが可能であるため、作業効率は上がるが、両面原稿として取り込むことができない。 Furthermore, recently, there have been some multifunction machines equipped with a function of automatically recognizing each document area by placing a plurality of documents such as photographs on a document glass table and scanning each document as a separate document. If this function is used, it is possible to scan a plurality of documents at the same time, so that the working efficiency is improved, but it cannot be taken as a double-sided document.
一方、近年、原稿の画像データを読み取る装置として、原稿台に載置した原稿をカメラで撮像して、カメラで撮像した原稿の画像データを処理して記憶するカメラスキャナも知られている（例えば、特許文献１参照）。特許文献１のカメラスキャナでは、新たに撮像した画像が前回撮像した時の画像と比較してどれぐらい変化したかを示す画像変化量に基づいて画像の動き検出処理を行う。動き検出処理によって、原稿台上の原稿が載置されて静止したタイミングを検出する。検出されたタイミングで撮像した画像データ中から原稿部分を認識・抽出し、射影補正、拡大縮小等の画像処理を施して記憶装置に原稿の画像データとして蓄積し、プロジェクタに投影する。
On the other hand, recently, as an apparatus for reading image data of a document, a camera scanner that captures a document placed on a document table with a camera and processes and stores the image data of the document captured with the camera is also known (for example, , See Patent Document 1). In the camera scanner of
特許文献１のカメラスキャナは、従来のＡＤＦ付き複合機と同様、フラットベッドスキャナ付き複合機のようなカバー開閉といった手順が省け、また、原稿の撮像タイミングを検出することによって、読み込みスタートボタンを押下する手順が省ける。
The camera scanner disclosed in
上述のように、従来のＡＤＦ付き複合機を利用して複数枚の両面原稿を読み取る際には、原稿１枚ずつに対して両面読み取り設定と読み取り方向設定を行うことで両面スキャンをする必要があり、設定操作に手間が必要であった。あるいは、ＡＤＦに片面と両面原稿が混載されている場合にも常に両面読み取りを行い、裏面が白紙であるかどうかを１枚ずつ判定することで片面原稿と認識する必要があった。このように複数の原稿をまとめて両面スキャンすることができず、作業効率が上がらなくなる。 As described above, when a plurality of double-sided originals are read using a conventional multifunction peripheral with ADF, it is necessary to perform double-sided scanning by performing double-sided reading setting and reading direction setting for each original. Yes, it took time and effort for the setting operation. Alternatively, even when single-sided and double-sided originals are mixedly loaded on the ADF, it is necessary to always perform double-sided reading and determine whether the reverse side is blank paper one by one to recognize it as a single-sided original. In this way, a plurality of originals cannot be scanned in a double-sided manner, and work efficiency cannot be improved.
また、原稿ガラス台上の複数枚原稿を同時にスキャンした場合には、スキャン終了後に手動で両面原稿に対する処理を行わなければならないという課題もある。 In addition, when a plurality of originals on the original glass table are scanned simultaneously, there is a problem in that it is necessary to manually process a double-sided original after the scanning is completed.
一方、特許文献１のカメラスキャナにおいては、原稿台に置かれた原稿を抽出するだけであるため、片面原稿と両面原稿という区別なく保存されてしまうという課題がある。
On the other hand, in the camera scanner of
上記課題を解決するために、本発明の画像処理装置は、読み取り領域内の原稿が静止したタイミングを第１のタイミングとして検出し、前記第１のタイミングの直後に前記読み取り領域内の原稿が再び静止したタイミングを第２のタイミングとして検出する、検出手段と、前記検出手段で検出されたタイミングに基づき、前記読み取り領域を撮像し、撮像した画像から、原稿画像データと原稿画像データの前記読み取り領域内の位置情報とを取得する取得手段と、前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿画像データ同士の位置関係から算出する算出手段と、算出された前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、原稿の両面対応付け処理を行う両面対応付け処理手段とを備えることを特徴とする。 In order to solve the above-described problem, the image processing apparatus according to the present invention detects the timing at which the document in the reading area is stopped as the first timing, and immediately after the first timing, the document in the reading area is detected again. A detection unit that detects a stationary timing as a second timing, and images the reading area based on the timing detected by the detection unit, and reads the document image data and the document image data from the captured image. And the corresponding document reliability between the document image data acquired based on the second timing and the document image data acquired based on the second timing, Calculation means for calculating from the positional relationship between the image data, original image data acquired based on the calculated first timing, and the previous According to the corresponding original confidence between the acquired document image data based on the second timing, characterized in that it comprises a double-sided correspondence processing means for performing duplex correspondence processing of the document.
本発明によれば、ユーザは読み取りスタートボタンの押下、両面読み取り設定、読み取り方向設定といった操作を行う必要がなくなり、大幅な手間の削減というメリットを享受可能となる。また、両面原稿と片面原稿が混在している場合において、複数の原稿を同時に読み取り、自動で両面対応付けの判定処理を行えることから、大幅な作業効率の向上にもつながる。 According to the present invention, the user does not need to perform operations such as pressing the reading start button, double-sided reading setting, and reading direction setting, and can enjoy the merit of significant labor saving. In addition, when double-sided originals and single-sided originals are mixed, a plurality of originals can be simultaneously read and the double-sided correspondence determination process can be automatically performed, which leads to a significant improvement in work efficiency.
以下、本発明を実施するための形態について図面を参照して説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
［第１の実施形態］
＜ネットワーク構成＞
図１は、一実施形態に係るカメラスキャナ１０１が含まれるネットワーク構成を示す図である。
[First Embodiment]
<Network configuration>
FIG. 1 is a diagram illustrating a network configuration including a
図１に示すように、カメラスキャナ１０１はイーサネット（登録商標）等のネットワーク１０４にてホストコンピュータ１０２およびプリンタ１０３に接続されている。図１のネットワーク構成において、ホストコンピュータ１０２からの指示により、カメラスキャナ１０１から画像を読み取るスキャン機能や、スキャンデータをプリンタ１０３により出力するプリント機能の実行が可能である。また、ホストコンピュータ１０２を介さず、カメラスキャナ１０１への直接の指示により、スキャン機能、プリント機能の実行も可能である。
As shown in FIG. 1, a
＜外観図＞
図２は、一実施形態に係るカメラスキャナ１０１の構成例を示す図である。
<External view>
FIG. 2 is a diagram illustrating a configuration example of the
図２に示すように、カメラスキャナ１０１は、コントローラ部２０１、カメラ部２０２、腕部２０３を含む。カメラスキャナの本体であるコントローラ部２０１と、撮像を行うためのカメラ部２０２は、腕部２０３により連結されている。腕部２０３は関節を用いて自由に曲げ伸ばしが可能である。
As shown in FIG. 2, the
図２には、カメラスキャナ１０１が設置されている書画台２０４も示している。カメラ部２０２のレンズは書画台２０４方向に向けられており、破線で囲まれた読み取り領域２０５内の画像を読み取り可能である。図２の例では、原稿２０６は読み取り領域２０５内に置かれているので、カメラスキャナ１０１で読み取り可能となっている。
FIG. 2 also shows a document table 204 on which the
カメラ部２０２は単一解像度で画像を撮像するものとしてもよいが、高解像度画像撮像と低解像度画像撮像が可能なものとすることが好ましい。一実施形態において、コントローラ部２０１は、カメラ部２０２の低解像度で撮像したカメラ画像を用いて、原稿が載置されて読み取り領域２０５内で静止したタイミングなどを検出し、検出するとカメラ部２０２が高解像度で静止した原稿を撮像するように制御する。また、コントローラ部２０１は、カメラ部２０２の低解像度で撮像したカメラ画像を用いて、原稿が読み取り領域２０５にフレームインしたタイミングおよび／または読み取り領域２０５からフレームアウトするタイミングを検出する。
The
なお、カメラスキャナ１０１は、書画台等に、操作を補助する画像の投影を行う短焦点プロジェクタ２０７をさらに含むことができる。また、図２に示されていないが、カメラスキャナ１０１は、ＬＣＤタッチパネル３３０およびスピーカ３４０をさらに含むこともできる。
Note that the
＜カメラスキャナのコントローラのハードウェア構成＞
図３は、カメラスキャナ１０１の本体であるコントローラ部２０１のハードウェア構成例を示す図である。
<Hardware configuration of camera scanner controller>
FIG. 3 is a diagram illustrating a hardware configuration example of the
図３に示すように、コントローラ部２０１は、システムバス３０１に接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５、ネットワークＩ／Ｆ３０６、画像処理プロセッサ３０７およびカメラＩ／Ｆ３０８を含む。
As illustrated in FIG. 3, the
ＣＰＵ３０２はコントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。ＨＤＤ３０５はＲＡＭ３０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ３０５にはコントローラ部２０１が実行する、カメラスキャナ１０１の制御用プログラムが格納されている。
The
ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ＲＯＭ３０４あるいはＨＤＤ３０５に格納されている本実施形態のカメラスキャナ１０１の制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラムによる動作に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ＨＤＤ３０５上にはさらに、制御用プログラムによる動作に必要な各種設定や、また、カメラ入力によって生成した画像データを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。
The
画像処理プロセッサ３０７はＲＡＭ３０３やＨＤＤ３０５に格納された画像データを読み出して処理し、またＲＡＭ３０３やＨＤＤ３０５へ書き戻す。なお、画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換等である。
The
カメラＩ／Ｆ３０８はカメラ部２０２と接続され、ＣＰＵ３０２からの指示に応じてカメラ部２０２から画像データを取得してＲＡＭ３０３へ書き込む。また、ＣＰＵ３０２からの制御コマンドをカメラ部２０２へ送信し、カメラ部２０２の設定を行う。
The camera I /
また、コントローラ部２０１は、ディスプレイコントローラ３０９、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１およびＵＳＢコントローラ３１２のうち少なくとも１つをさらに含むことができる。
The
ディスプレイコントローラ３０９はＣＰＵ３０２の指示に応じてディスプレイへの画像データの表示を制御する。ここでは、ディスプレイコントローラ３０９は短焦点プロジェクタ２０７およびＬＣＤタッチパネル３３０に接続されている。
A
シリアルＩ／Ｆ３１０はシリアル信号の入出力を行う。ここでは、シリアルＩ／Ｆ３１０はＬＣＤタッチパネル３３０に接続され、ＣＰＵ３０２はＬＣＤタッチパネル３３０が押下されたときに、シリアルＩ／Ｆ３１０を介して押下された座標を取得する。
The serial I /
オーディオコントローラ３１１はスピーカ３４０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３４０を通じて音声を出力する。
The audio controller 311 is connected to the
ＵＳＢコントローラ３１２はＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ここでは、ＵＳＢコントローラ３１２はＵＳＢメモリやＳＤカードなどの外部メモリ３５０に接続され、外部メモリへのデータの読み書きを行う。
The
＜カメラスキャナの制御用プログラムの機能構成＞
図４は、ＣＰＵ３０２が実行するカメラスキャナ１０１の制御用プログラムの機能構成４０１を示す図である。
<Functional structure of camera scanner control program>
FIG. 4 is a diagram illustrating a
カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。カメラスキャナ１０１の制御用プログラムの機能構成４０１は、メイン制御部４０２、操作表示部４０３、ネットワーク通信部４０４、データ管理部４０５、撮像処理部４０６、画像認識部４０７、原稿認識部４０８、および出力ファイル生成部４０９を備える。また、撮像処理部４０６はタイミング検出部４１０を、画像認識部４０７は原稿画像データ抽出部４１１を、原稿認識部４０８は除去原稿特定部４１２と両面原稿認識部４１３をそれぞれ含む。
The control program for the
メイン制御部４０２は制御の中心であり、制御用プログラムの機能構成４０１内の他の各部を制御する。
The
操作表示部４０３は、メイン制御部４０２からの描画要求を受け、ディスプレイコントローラ３０９を介して、短焦点プロジェクタ２０７もしくはＬＣＤタッチパネル３３０へ描画を実行する。また、操作表示部４０３は、ＬＣＤタッチパネル３３０が押下されたときにシリアルＩ／Ｆ３１０を介して押下座標を受信し、描画中の操作画面の内容と押下座標を対応させて操作内容（押下されたボタン等）を判定する。この押下内容をメイン制御部４０２へ通知することにより、操作者の操作を受け付ける。
The
ネットワーク通信部４０４は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによる通信を行う。
The
データ管理部４０５は、制御用プログラムの実行において生成した作業データ、例えば後述の原稿画像データ抽出部４１１で抽出した原稿画像データ、文書属性・画像属性情報をＨＤＤ３０５上やＲＡＭ３０３上の所定の領域へ保存し、管理する。
The
撮像処理部４０６は、カメラＩ／Ｆ３０８を介してカメラ部２０２を制御し、撮像処理部４０６のタイミング検出部４１０で検出されたタイミングで撮像したカメラ画像を画像認識部４０７へ送信する。あるいは、撮像処理部４０６はカメラ部２０２を制御して、高解像度で原稿を撮像させてもよい。
The
撮像処理部４０６のタイミング検出部４１０は、原稿がフレームインしたタイミング、静止したタイミング、およびフレームアウトするタイミングを検出する。これらのタイミングは、カメラ部２０２から受信したカメラ画像に基づいて検出することができる。ここで、フレームアウトタイミングは、原稿が読み取り領域２０５からフレームアウトする直前のタイミングもしくはフレームアウトし始めるタイミング、またはその間の任意のタイミングとしてもよい。
The
画像認識部４０７は、撮像処理部４０６からカメラ画像を受信し、受信したカメラ画像の内容を認識する。図４に示すように、画像認識部４０７は、原稿画像データ抽出部４１１を含む。
The
画像認識部４０７の原稿画像データ抽出部４１１は、タイミング検出部４１０が検出した静止タイミングまたはフレームアウトタイミングで撮像され送信されてきたカメラ画像から、複数枚の原稿画像データを抽出する。なお、抽出した原稿画像データは、データ管理部４０５によってＨＤＤ３０５上の所定の領域へ保存され、管理される。
The document image
原稿認識部４０８は、原稿画像データ抽出部４１１で抽出された原稿画像データ同士の位置関係を基に、除去原稿を特定する処理および両面原稿を認識する処理を行う。図４に示すように、原稿認識部４０８は、除去原稿特定部４１２と両面原稿認識部４１３を含む。
The
原稿認識部４０８の除去原稿特定部４１２は、フレームアウトタイミングで撮像されたカメラ画像と直前の静止タイミングで撮像されたカメラ画像より抽出されたそれぞれの原稿画像データを比較し、どの原稿が読み取り領域２０５から取り除かれたのかを特定する。
The removed
原稿認識部４０８の両面原稿認識部４１３は、現在の静止タイミングで撮像されたカメラ画像と直前の静止タイミングで撮像されたカメラ画像より抽出されたそれぞれの原稿画像データを比較することで、新たな原稿の表面なのか、両面原稿の裏面なのかを認識する。以下、静止タイミングで撮像されたカメラ画像を静止画像と呼ぶ。
The double-sided
出力ファイル生成部４０９は、データ管理部４０５が保存した原稿画像データを変換し適切な画像に整えた上で、所定のデータ出力形式で出力ファイルを生成する。
The output
図５は本実施形態における原稿操作の一例を示す図である。原稿が投入されていない状態の読み取り領域２０５を図５（ａ）に示す。２枚の両面原稿の表面をスキャンする際の操作手順を図５（ｂ）から図５（ｃ）に示す。その後、１枚の原稿を新しい原稿と交換し、もう一方の原稿を裏返して、再度スキャンを行う際の操作手順を図５（ｄ）から図５（ｇ）に示す。続いて、先ほど交換した原稿を裏返し、新しい原稿をもう１枚追加してスキャンをする際の操作手順を図５（ｈ）から図５（ｊ）に示す。
FIG. 5 is a diagram showing an example of manuscript operation in the present embodiment. FIG. 5A shows the
図６は撮像処理部４０６およびタイミング検出部４１０の処理フローについて説明する図である。図６（ａ）は初期化設定フローを示している。撮像処理部４０６がスタートすると、図６（ａ）で示すように読み取り領域の位置情報を取得する初期化設定を行う。
FIG. 6 is a diagram for explaining the processing flow of the
図６（ａ）のステップＳ６０１において、撮像処理部４０６は、背景画像として、図５（ａ）に示すような原稿が投入されていない状態の読み取り領域２０５の画像をカメラ部２０２に撮像させる。読み取り領域２０５は矩形であるが、カメラ部２０２は厳密には読み取り領域２０５の真上にあるわけではないため、ステップＳ６０１で撮像された読み取り領域の画像は図７（ａ）に示した画像７０１のように形状が歪んでいる。
In step S601 of FIG. 6A, the
ステップＳ６０２において、撮像処理部４０６は、撮像された読み取り領域の画像７０１を矩形に変換する射影変換のパラメータを算出する。
In step S602, the
ステップＳ６０３において、撮像処理部４０６は、ステップＳ６０２で算出した射影変換パラメータを使用してステップＳ６０１で撮像した読み取り領域の画像７０１を、図７（ｂ）に示した読み取り領域背景画像７０２のように矩形に補正する。
In step S603, the
ステップＳ６０４において、撮像処理部４０６は、補正された読み取り領域背景画像７０２を、データ管理部４０５を介してＨＤＤ３０５へ保存する。図１０（ａ）に、読み取り領域背景画像７０２を保存した時の模式図を示す。データ管理部４０５は、ＨＤＤ３０５上に空のディレクトリ（図１０（ａ）中の「／ＩＭＧＤＩＲ」）を作成し、読み取り領域背景画像としてデータ１００１を保存する。
In step S <b> 604, the
初期化処理が終了すると、撮像処理部４０６のタイミング検出部４１０は、読み取り領域２０５内に新たに入ってきた原稿が所定時間静止したときに、自動で撮像する処理を図６（ｂ）に示す処理フローに基づき実行する。
When the initialization process is completed, the
図６（ｂ）のステップＳ６１１において、撮像処理部４０６は、カメラ部２０２から読み取り領域２０５を撮像したカメラ画像を受信する。ここで、カメラ部２０２は、所定のフレームレートで読み取り領域２０５を撮像し、撮像したカメラ画像を１フレームずつ撮像処理部４０６へ送信することができる。
In step S <b> 611 in FIG. 6B, the
ステップＳ６１２において、撮像処理部４０６のタイミング検出部４１０は、カメラ部２０２から受信したカメラ画像に基づいて、原稿のフレームインまたはフレームアウトのタイミングを検出する。フレームインが検出された場合はステップＳ６２０へ、フレームアウトが検出された場合はステップＳ６２１へ進み、どちらも検出されなかった場合にはステップＳ６１３へ進む。
In step S612, the
図８にフレームインまたはフレームアウトの検出方法の一例を示す。図８（ａ）は原稿８０１および８０２の置かれる前の書画台２０４の様子であり、図８（ｃ）は図８（ａ）のタイミングで読み取り領域２０５を撮像して得られた背景画像である。また、図８（ｂ）は原稿８０１が静止してあり、原稿８０２が読み取り領域２０５に対してフレームインまたはフレームアウトする直前の書画台２０４の様子であり、図８（ｄ）は図８（ｂ）のタイミングで撮像された読み取り領域２０５のカメラ画像である。画像認識部４０７のタイミング検出部４１０は、図８（ｃ）および図８（ｄ）に示す２枚の撮像画像より、図８（ｅ）に示す差分画像を作成する。差分画像の黒画素領域８０３は背景画像と変化のなかった部分を表している。差分画像の白画素領域８０４および８０５は背景画像と変化のあった部分（以下、差分領域）を表している。そのうち、白画素領域８０５は読み取り領域２０５の境界に接する差分領域であり、フレームインまたはフレームアウトしていく原稿８０２の端部を表している。本実施形態において、このような読み取り領域２０５の境界に接する差分領域を基に、原稿のフレームインまたはフレームアウトを検出する。すなわち、差分画像における読み取り領域２０５の境界に接する差分領域の画素数を算出し、算出した画素数と所定値とを比較することでフレームインまたはフレームアウトのタイミングを検出する。
FIG. 8 shows an example of a frame-in or frame-out detection method. FIG. 8A shows the state of the document table 204 before the
フレームインまたはフレームアウトのどちらの状態であるかは、今回の差分画像から算出した白画像領域８０５の画素数と直前の差分画像から算出した白画像領域８０５の画素数とを比較することで判定できる。すなわち、今回の白画像領域８０５の画素数が直前の白画像領域８０５の画素数よりも増加している場合にはフレームインの過程、減少している場合にはフレームアウトの過程であると判定することができる。そして、フレームインの過程において、白画像領域８０５の画素数が所定値以上となったタイミングをフレームインのタイミングとして検出する。同様にフレームアウトの過程において、白画像領域８０５の画素数が所定値以下となったタイミングをフレームアウトのタイミングとして検出する。
Whether the frame is in or out is determined by comparing the number of pixels in the
以上のように、本実施形態において差分画像における読み取り領域２０５の境界に接する差分領域の画素数を用いて、フレームインまたはフレームアウトのタイミングを検出する方法を説明した。ただし、フレームインまたはフレームアウトの検出は、他の方法で実現しても構わないことは言うまでもない。例えば、差分画像におけるいずれかの差分領域の重心と読み取り領域２０５の境界との距離が所定値以下となったタイミングをフレームアウトのタイミングとして検出してもよい。
As described above, in the present embodiment, the method of detecting the frame-in or frame-out timing using the number of pixels in the difference area in contact with the boundary of the
ここで、図６（ｂ）のステップＳ６１２において、図５（ｂ）の状況を撮像したカメラ画像が入力された場合、タイミング検出部４１０は、このタイミングを原稿のフレームインと判定し、ステップＳ６２０へ進む。
Here, in step S612 of FIG. 6B, when a camera image that captures the situation of FIG. 5B is input, the
ステップＳ６２０において、メイン制御部４０２は、全原稿のスキャンが終了したかを判定する。スキャン終了判定は、ネットワークＩ／Ｆ３０６を介してホストコンピュータ１０２から送信されるスキャン終了命令や、ＬＣＤタッチパネル３３０から入力される終了命令、あるいはタイマー設定（図示せず）などにより行われるものとする。スキャンを終了する場合にステップＳ６２４へ進み、出力ファイル生成処理を行った後、本処理フローは終了する。スキャンを継続する場合に、ステップＳ６１１へ戻り、次の原稿の検出および撮像を行う。
In step S620, the
ステップＳ６１１に戻り、撮像処理部４０６は、図５（ｂ）〜図５（ｃ）に至るまでのカメラ画像を取得する。この間では、フレームインまたはフレームアウトを検出しないため、ステップＳ６１３へ進む。
Returning to step S611, the
ステップＳ６１３において、タイミング検出部４１０は、所定時間内で変化がないことを検出する。具体的には、新たに撮像したカメラ画像が、前回撮像した時のカメラ画像と比較して、どれくらい変化したかを示す画像変化量が、所定の割合以下となる場合、変化がないと判定する。また、連続して変化がない時間が所定時間以上になるか否かを判定する。この判定は、連続して変化がないと判定したカメラ画像のフレーム数をカウントし、所定のフレーム数と比較することにより行うことができる。所定時間内で連続して変化がない場合、原稿が静止あるいは原稿が完全に除去されたと判定することができ、ステップＳ６１４へ進む。一方、所定時間内で変化がある場合には、読み取り領域２０５上で原稿を移動しているなどの状況であると判定することができ、ステップＳ６２０へ進み、変化がなくなるまでステップＳ６１１〜ステップＳ６１３までの処理を繰り返す。
In step S613, the
ここで、図５（ｂ）〜図５（ｃ）の間では原稿を動かしている状態が続いているため、ステップＳ６２０へ進み、静止状態を検出するまで処理を繰り返す。そして図５（ｃ）の状態が所定時間以上続いた際には、静止状態を検出し、ステップＳ６１４へ進む。 Here, since the state of moving the document continues between FIG. 5B and FIG. 5C, the process proceeds to step S620, and the process is repeated until a stationary state is detected. When the state of FIG. 5C continues for a predetermined time or more, the stationary state is detected, and the process proceeds to step S614.
ステップＳ６１４において、撮像処理部４０６は、今回ステップＳ６１１で取り込んだカメラ画像を、ステップＳ６０２で算出した射影変換パラメータに基づいて射影変換を行う。
In step S614, the
ステップＳ６１５において、タイミング検出部４１０は、今回ステップＳ６１４で射影変換したカメラ画像と、前回ステップＳ６１７で更新された最新静止画像との差分量を算出する。ここで、最新静止画像は、１つ前の静止画像であり、データ管理部４０５によって保存されている。なお、今回撮像処理部４０６の開始後初めてステップＳ６１５を実行した場合は、ステップＳ６０４で保存した読み取り領域背景画像との差分量を算出する。
In step S615, the
ステップＳ６１６において、タイミング検出部４１０は、ステップＳ６１５で算出した差分量が所定の値（ここでの所定の値は０に近い）より大きいかどうかを判定する。これにより、今回射影変換したカメラ画像が保存されている最新静止画像と差分があるかどうかを判定する。差分がない場合は、前回の状態から変化がないため、ステップＳ６２０へ進み、処理を繰り返す。一方、保存されている最新静止画像との差分がある場合にはステップＳ６１７へ進む。
In step S616, the
ステップＳ６１７において、撮像処理部４０６は、ステップＳ６１４で射影変換したカメラ画像を静止画像とし、データ管理部４０５を介してＨＤＤ３０５へ保存する。図１０（ｂ）および１０（ｃ）に、静止画像を保存した時の模式図を示す。１ページ目の処理については、図１０（ｂ）に示すように、取り込んだ静止画像１００２を最新静止画像として、読み取り領域背景画像１００１を保存したのと同じディレクトリに保存する。なお、２ページ目以降の処理においては、図１０（ｃ）に示すように、前回取り込んだ静止画像１００２を直前静止画像として保存し直し、今回取り込んだ静止画像１００３を最新静止画像として保存する。
In step S617, the
ステップＳ６１８において、撮像処理部４０６は、ステップＳ６１７で保存した最新静止画像を画像認識部４０７へ送信する。そして、画像認識部４０７の原稿画像データ抽出部４１１は、この静止画像を受信すると原稿画像データ抽出処理を行う。原稿画像データ抽出処理の詳細は図９を参照して後述する。
In step S618, the
ステップＳ６１９において、画像認識部４０７は、ステップＳ６１８（第２のタイミング）で抽出された原稿画像データを原稿認識部４０８へ送信する。そして、原稿認識部４０８の両面原稿認識部４１３は、抽出された原稿画像データを受信すると両面対応付け処理を行う。その後、ステップＳ６２０へ進み、処理を繰り返す。両面対応付け処理の詳細は図１３を参照して後述する。
In step S619, the
続いて、撮像処理部４０６は、図５（ｃ）〜図５（ｇ）に至るまでのカメラ画像を取得する。ここで、図５（ｄ）〜図５（ｅ）は原稿５０１を読み取り領域２０５から除去し、新しく原稿５０３を読み取り領域２０５に置くことで原稿を交換している様子を示している。また図５（ｆ）は原稿５０２を裏返している様子を示している。
Subsequently, the
ステップＳ６１１において、撮像処理部４０６は、図５（ｄ）に示すようなカメラ画像を取得する。
In step S611, the
ステップＳ６１２において、タイミング検出部４１０は、原稿のフレームアウトを検出し、ステップＳ６２１へ進む。
In step S612, the
ステップＳ６２１において、撮像処理部４０６は、ステップＳ６１１で取り込んだカメラ画像をステップＳ６０２で算出したパラメータにより射影変換する。なお、この処理はステップＳ６１４の処理と同じものである。
In step S621, the
ステップＳ６２２において、撮像処理部４０６は、ステップＳ６２１で射影変換したカメラ画像を画像認識部４０７へ送信し、画像認識部４０７の原稿画像データ抽出部４１１において原稿画像データ抽出処理を行う。なお、この処理はステップＳ６１８の処理と同じものである。
In step S622, the
ステップＳ６２３において、画像認識部４０７は、ステップＳ６２２（第３のタイミング）で抽出された原稿画像データを原稿認識部４０８へ送信する。そして、原稿認識部４０８の除去原稿特定部４１２は、ステップＳ６２２で抽出された原稿画像データと、直前のステップＳ６１８（第１のタイミング）で抽出された原稿画像データを比較することにより読み取り領域２０５から除去された原稿を特定する。その後、処理はステップＳ６２０へ進み、スキャンを継続するため、ステップＳ６１１へ戻る。除去原稿特定処理の詳細は図１２を参照して後述する。
In step S623, the
ステップＳ６１１へ戻り、撮像処理部４０６は、図５（ｅ）に示すような原稿５０３を挿入している状態のカメラ画像を取得する。そしてステップＳ６１２においてタイミング検出部４１０はフレームインを検出し、次のカメラ画像を取得するための処理を繰り返す。ステップＳ６１１において、図５（ｆ）に示すような原稿５０２を裏返すようなカメラ画像を取得する。ステップＳ６１２においてタイミング検出部４１０はフレームインまたはフレームアウトを検出しないため、そのままステップＳ６１３へ進む。
Returning to step S611, the
ステップＳ６１３において、タイミング検出部４１０は、原稿の所定時間静止を検出するまで処理を繰り返す。そして、上述した図５（ｄ）〜図５（ｆ）における一連の連続した操作を終え、図５（ｇ）に示す状態が所定時間以上続いたことを検出すると、ステップＳ６１４以降の処理へ進み、原稿画像データ抽出および両面対応付けの処理を行う。
In step S613, the
さらに、撮像処理部４０６は、図５（ｇ）〜図５（ｊ）に至るまでのカメラ画像を取得する。ここで、図５（ｈ）は原稿５０３を裏返している状態を示し、図５（ｉ）は読み取り領域２０５に新しい原稿５０６を挿入している状態を示している。
Furthermore, the
以後の操作に関しての詳細な説明は省略するが、図５（ｈ）および図５（ｉ）に示すように原稿の裏返しと挿入操作が行われた後、ステップＳ６１６において、撮像処理部４０６は、図５（ｊ）に示すようなカメラ画像を静止画像として取り込む。そして、ステップＳ６１８において原稿画像データ抽出部４１１は原稿画像データを抽出し、ステップＳ６１９において両面原稿認識部４１３は両面対応付け処理を実行する。
Although a detailed description of the subsequent operations is omitted, after the document is turned over and inserted as shown in FIGS. 5H and 5I, in step S616, the imaging processing unit 406 A camera image as shown in FIG. 5J is captured as a still image. In step S618, the document image
以上のような操作を繰り返し、ステップＳ６２０において、メイン制御部４０２は、ユーザからのスキャン終了指示を受け取ると、スキャン処理を終了し、ステップＳ６２４へ進む。
When the operation as described above is repeated and in step S620 the
最後に、ステップ６２４において、出力ファイル生成部４０９は、カメラ画像から抽出された後に両面対応付け処理が施された複数の原稿画像データを、所定のファイル形式に変換して出力する。処理の詳細は図１６を参照して後述する。
Finally, in step 624, the output
上記の処理を繰り返し行うことにより、撮像処理部４０６は、新しく読み取り領域２０５に入った原稿が静止したときに、静止画像を自動で取り込み、画像認識部４０７の原稿画像データ抽出部４１１へ送信し、複数枚の原稿画像データを抽出する。そして、原稿認識部４０８の両面原稿認識部４１３において、抽出した複数枚の原稿画像データ同士で両面対応付けすることができる。
By repeatedly performing the above processing, the
なお、図５に示した一連の操作において、撮像処理部４０６のタイミング検出部４１０は、図５（ｃ）、（ｇ）、（ｊ）のタイミングで原稿の静止または完全除去を検出し、それぞれの静止画像が原稿画像データ抽出部４１１へ送信される。また、図５（ｄ）のタイミングで原稿のフレームアウトを検出し、その静止画像が除去原稿特定部４１２へ送信される。
In the series of operations shown in FIG. 5, the
続いて、図９〜図１１を参照して、図６のステップＳ６１８における原稿画像データ抽出処理について詳細に説明する。図９は、画像認識部４０７の原稿画像データ抽出部４１１の処理フローを示す図である。図１０（ａ）〜１０（ｃ）は、前述のようにデータ管理部４０５が管理する静止画像の保存方法を示す模式図であり、図１０（ｄ）〜１０（ｆ）は、抽出原稿画像データの保存方法を示す模式図である。図１１は、データ管理部４０５が管理する属性管理テーブルを示している。
Next, the document image data extraction process in step S618 of FIG. 6 will be described in detail with reference to FIGS. FIG. 9 is a diagram illustrating a processing flow of the document image
図６のステップＳ６１８において送信された射影変換された静止画像を原稿画像データ抽出部４１１が受信すると、図９に示すステップＳ９０１が実行開始される。
When the document image
ステップＳ９０１において、原稿画像データ抽出部４１１は、撮像処理部４０６より画像を受信する。ここで、静止画像１００２を撮像処理部４０６より受信する場合の処理を例に説明を行う。
In step S <b> 901, the document image
ステップＳ９０２において、原稿画像データ抽出部４１１は、読み取り領域背景画像１００１と静止画像１００２の差分画像と差分量を算出する。
In step S <b> 902, the document image
ステップＳ９０３において、原稿画像データ抽出部４１１は、ステップＳ９０２で算出した差分量が所定値よりも大きいかどうかを判定する。ここで使用する所定値は０に近い値であり、つまり、読み取り領域背景画像１００１と静止画像１００２に差分があるかどうかを判定する。読み取り領域背景画像１００１と静止画像１００２に差分がある場合には、新たな原稿が読み取り領域２０５に置かれたと判定してステップＳ９０４へ進む。一方、差分がなかった場合、新たな原稿は置かれていないと判定して、ステップＳ９０５へ進む。例えば、図５（ｃ）、（ｇ）、（ｊ）のようなタイミングで撮像された静止画像に関しては、読み取り領域背景画像１００１と差分があることから、ステップＳ９０４へ進む。一方、図５（ａ）のようなタイミングで撮像された静止画像が入力された場合には、読み取り領域背景画像１００１と差分が得られない。よって、読み取り領域２０５内に原稿が置かれていない（原稿が完全に除去された）状態であると判定され、ステップＳ９０５へ進むことになる。
In step S903, the document image
ステップＳ９０４において、原稿画像データ抽出部４１１は、静止画像１００２から原稿画像データを抽出する。原稿画像データは、ステップＳ９０２で生成した差分画像よりエッジを検出し、それを矩形近似するなど既存の方法を用いて抽出すればよい。なお、ここでは、同時に複数の矩形領域を抽出することで、複数枚の原稿画像データの抽出を可能としている。ただし、ここで抽出される原稿画像データの順番は矩形領域抽出処理の結果次第となるため、認識された順番で原稿画像データの順番を決定することになる。すなわち、図５（ｃ）の場合には、原稿５０１と原稿５０２の２枚の原稿を抽出することは可能であるが、原稿５０１が１枚目の原稿として認識されることもあれば、原稿５０２が１枚目として認識されることもありうる。
In step S <b> 904, the document image
なお、初回の原稿画像データ抽出に応じて、データ管理部４０５は、ＨＤＤ３０５上に空のディレクトリ（図１０（ｄ）中の「／ＤＯＣＤＩＲ」）を作成する。作成したディレクトリに、抽出した原稿画像データを、通番管理されたファイル名とともに原稿画像データ１０１１および１０１２として保存する。さらに、データ管理部４０５は、図１１（ａ）に示すような文書属性と画像属性を管理する属性管理テーブルを作成し、ＲＡＭ３０３上に保存する。文書属性には原稿総数および原稿画像データの保存ディレクトリ名が保存される。また、画像属性には、原稿画像データごとの画像属性情報として、両面対応付け対象であるかを示す確認フラグ（ｃｈｋ）、原稿番号（Ｄｏｃ）、面情報、原稿幅、原稿高さ、画像中の原稿位置（画像中位置）などの情報が保存される。図１１（ａ）の画像属性情報１１０１および１１０２はそれぞれ原稿画像データ１０１１および１０１２の画像属性情報を示す。以下図１１（ａ）を参照して各画像属性情報を説明する。
Note that the
図１１（ａ）に示すように、確認フラグ（ｃｈｋ）は両面対応付け対象であることを示すＯＮに設定される。これにより、原稿画像データ１０１１および１０１２は、後述の両面対応付け処理において参照原稿画像データとされる。なお、この時点においては原稿番号（Ｄｏｃ）および面情報は不明のため、空欄のまま保存される。原稿位置は、原稿の左上頂点座標と回転角度の形式で保存しているが、４頂点座標を格納するなどでもよい。原稿位置、原稿幅および原稿高さによって、原稿画像データが読み取り領域内に置かれる領域を判定することができる。以下、原稿位置、原稿幅および原稿高さを原稿画像データの位置情報と呼ぶ。なお、原稿画像データの位置情報は後述の対応原稿信頼度の算出に用いられる。
As shown in FIG. 11A, the confirmation flag (chk) is set to ON indicating that it is a double-sided correspondence target. As a result, the
最後に、ステップＳ９０５において、原稿画像データ抽出部４１１は、ステップＳ９０３での判定結果および、ステップＳ９０４での原稿画像データ抽出の可否を撮像処理部４０６へ返して原稿抽出処理を終了し、図６のステップＳ６１９へ進む。読み取り領域背景画像と受信した画像との差分がなく、原稿画像データ抽出処理を行わなかった場合、または原稿画像データの抽出に失敗した場合には（原稿画像データの抽出が失敗したことを示す）ｆａｌｓｅを返す。また、原稿画像データ抽出処理が実行され、原稿画像データが抽出された場合には（原稿画像データの抽出が成功したことを示す）ｔｒｕｅを返して処理を終了する。
Finally, in step S905, the document image
図１２と図１４（ａ）〜（ｃ）を参照して原稿認識部４０８の除去原稿特定部４１２における除去原稿特定処理について説明する。なお、以下の説明では図５（ｄ）に示すカメラ画像が撮像され、除去原稿特定処理が実行された場合を例に説明を行う。
The removed document specifying process in the removed
ステップＳ１２０１において、除去原稿特定部４１２は、直前に静止状態検出時に抽出された原稿画像データ（以下、参照原稿画像データとよぶ）と、今回フレームアウト検出時に抽出された原稿画像データ（以下、注目原稿画像データとよぶ）を取得する。参照原稿画像データは、図１１（ｂ）に示すデータ管理部４０５によって管理された属性管理テーブル中の確認フラグ（ｃｈｋ）がＯＮであるＮ枚の原稿画像データであり、ｐｒｅｖＤｏｃ［］に格納する。ここでは、原稿画像データ１０１１と１０１２の２枚（Ｎ＝２）が参照原稿画像データとして格納される。一方、注目原稿画像データは図６のステップＳ６２２で抽出された１枚（Ｍ＝１）の原稿画像データ１４０１がｃｕｒｒＤｏｃ［］に格納される。
In step S1201, the removed
ステップＳ１２０２とステップＳ１２０９間でのループ処理（Ｌｏｏｐ１）において、除去原稿特定部４１２は、Ｎ枚の参照原稿画像データに対しての処理を行う。ここではループ変数としてｉ（０≦ｉ＜Ｎ）を用いる。
In a loop process (Loop 1) between step S1202 and step S1209, the removed
ステップＳ１２０３とステップＳ１２０６間でのループ処理（Ｌｏｏｐ２）において、除去原稿特定部４１２は、Ｍ枚の注目原稿画像データに対しての処理を行う。ここではループ変数としてｊ（０≦ｊ＜Ｍ）を用いる。
In a loop process (Loop2) between step S1203 and step S1206, the removed
ステップＳ１２０４において、除去原稿特定部４１２は、ｉ枚目の参照原稿画像データｐｒｅｖＤｏｃ［ｉ］と、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対して、対応原稿信頼度を原稿画像データの位置情報を用いて算出する。
In step S1204, the removed
ここで、対応原稿信頼度の算出方法について図１４（ａ）〜（ｃ）を参照して説明する。 Here, a method for calculating the corresponding document reliability will be described with reference to FIGS.
図１４（ａ）は、参照原稿画像データ（上段）と注目原稿画像データ（下段）の比較の様子を示している。除去原稿特定処理においては、各参照原稿画像データ（ここでは参照原稿画像データ１０１１および１０１２）に対して、すべての注目原稿画像データ（ここでは注目原稿画像データ１４０１のみ）との対応原稿信頼度を算出する。なお、対応原稿信頼度としては、原稿画像データの位置情報から判定した原稿画像データの重なり度合を用い、（重なった領域の面積÷参照原稿画像データの面積）として算出する。例えば、重なりがない原稿同士では０％、完全に重なっている場合であれば１００％、半分重なっている場合には５０％となる。図１４（ｂ）は参照原稿画像データ１０１１（実線）と注目原稿画像データ１４０１（破線）との重なり度合を示している。ここでは、２つの原稿画像データが完全に重なっていることから、対応原稿信頼度は１００％となる。一方、図１４（ｃ）は参照原稿画像データ１０１２（実線）と注目原稿画像データ１４０１（破線）との重なり度合を示している。ここでは、２つの原稿画像データ間での重なりはないため対応原稿信頼度は０％となる。
FIG. 14A shows a comparison between the reference document image data (upper row) and the target document image data (lower row). In the removed original specifying process, corresponding reference document image data (here, reference
図１２に戻り、ステップＳ１２０５において、除去原稿特定部４１２は、ステップＳ１２０４で算出した対応原稿信頼度が０％か否かを確認する。対応原稿信頼度が０％である場合は、ステップＳ１２０６へ進み、Ｌｏｏｐ２のループ処理を継続し、次の注目原稿画像との対応原稿信頼度の算出処理を行う。Ｌｏｏｐ２のループ処理によってすべての注目原稿画像データとの対応原稿信頼度が０％であると判定した場合は、ステップＳ１２０７へ進む。
Returning to FIG. 12, in step S1205, the removed
ステップＳ１２０７において、除去原稿特定部４１２は、対応原稿信頼度が０％である、すなわち対応する原稿画像データが存在しないことから、参照原稿画像データｐｒｅｖＤｏｃ［ｉ］が除去された原稿であると特定する。そして、データ管理部４０５は属性管理テーブルを更新する。ここでは参照原稿画像データ１０１２が除去された原稿であると特定されたことから、データ管理部４０５は、図１１（ｃ）に示すように画像属性情報１１０２における確認フラグ（ｃｈｋ）を、両面対応付け対象でないことを示すＯＦＦに更新する。後述の両面対応付け処理において、この確認フラグを用いることにより、両面対応付け対象を判定することができ、除去された原稿以外の原稿画像データは参照原稿画像データとされる。
In step S1207, the removed
一方、ステップＳ１２０５で対応原稿信頼度が０％でないと判定した場合には、対応する注目原稿画像データが存在していることから、原稿が除去されていないと判定する。そのため、Ｌｏｏｐ２のループ処理を終了してステップＳ１２０８へ進み、Ｌｏｏｐ１のループ処理において次の参照原稿画像データの原稿除去特定処理を行う。 On the other hand, if it is determined in step S1205 that the corresponding document reliability is not 0%, it is determined that the document has not been removed because the corresponding document image data of interest exists. Therefore, the Loop2 loop process is terminated and the process proceeds to Step S1208, and the next reference original image data original removal specifying process is performed in the Loop1 loop process.
続いて、図１３および図１４（ｄ）〜（ｆ）を参照して、原稿認識部４０８の両面原稿認識部４１３における両面原稿対応付け処理について説明する。以下の説明では、図５（ｇ）に示すカメラ画像が撮像され、両面対応付け処理が実行された場合を例に説明を行う。
Next, with reference to FIG. 13 and FIGS. 14D to 14F, the double-sided document association processing in the double-sided
図１３のステップＳ１３０１において、両面原稿認識部４１３は、参照原稿画像データ（第１のタイミングに基づいて取得された原稿画像データ）および注目原稿画像データ（直後の第２のタイミングに基づいて取得された原稿画像データ）をそれぞれ取得する。参照原稿画像データは、図１１（ｃ）に示すデータ管理部４０５によって管理された属性管理テーブル中の確認フラグ（ｃｈｋ）がＯＮであるＮ枚の原稿画像データであり、原稿画像データ１０１１（Ｎ＝１）が参照原稿画像データとして格納される。一方、注目原稿画像データは図６のステップＳ６１８で抽出されたＭ枚の原稿画像データであり、原稿画像データ１４０２および１４０３（Ｍ＝２）が注目原稿画像データとして格納される。
In step S1301 of FIG. 13, the double-sided
ステップＳ１３０２とステップＳ１３１２間でのループ処理（Ｌｏｏｐ２）において、両面原稿認識部４１３は、Ｍ枚の注目原稿画像データに対する両面原稿を認識するための処理を行う。
In a loop process (Loop2) between step S1302 and step S1312, the double-sided
ステップＳ１３０３とステップＳ１３０７間でのループ処理（Ｌｏｏｐ１）において、両面原稿認識部４１３は、Ｎ枚の参照原稿画像データに対しての処理を行う。
In a loop process (Loop 1) between step S1303 and step S1307, the double-sided
ステップＳ１３０４において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］と、ｉ枚目の参照原稿画像データｐｒｅｖＤｏｃ［ｉ］に対して対応原稿信頼度を原稿画像データの位置情報を用いて算出する。
In step S1304, the double-sided
図１４（ｄ）〜（ｆ）を参照して、対応原稿信頼度の算出方法について説明する。図１４（ｄ）は、参照原稿画像データ（上段）と注目原稿画像データ（下段）の比較の様子を示している。両面対応付け処理においては、各注目原稿画像データ（ここでは注目原稿画像データ１４０２および１４０３）に対して、すべての参照原稿画像データ（ここでは参照原稿画像データ１０１１のみ）との原稿の重なり度合を調べ、対応原稿信頼度とする。ここで、原稿の重なり度合いは原稿画像データの位置情報から判定される。なお、対応原稿信頼度としては、原稿画像データの重なり度合を用い、（重なった領域の面積÷注目原稿画像データの面積）として算出する。図１４（ｅ）は注目原稿画像データ１４０２（実線）と参照原稿画像データ１０１１（破線）との重なり度合を示している。ここでは、２つの原稿画像データ間での重なりはないため対応原稿信頼度は０％となる。一方、図１４（ｆ）は注目原稿画像データ１４０３（実線）と参照原稿画像データ１０１１（破線）との重なり度合を示しており、対応原稿信頼度は約４０％である。
With reference to FIGS. 14D to 14F, a method for calculating the corresponding document reliability will be described. FIG. 14D shows a comparison between the reference document image data (upper row) and the target document image data (lower row). In the double-sided association processing, the degree of document overlap with all the reference document image data (here, only the reference document image data 1011) is set for each document image data of interest (here, the
ところで、両面対応付け処理と上述の除去原稿特定処理とでは、ループ処理の順番が異なっている。図１４（ａ）の矢印の向きに示すように、除去原稿特定処理ではｉ枚目の参照原稿画像データｐｒｅｖＤｏｃ［ｉ］が除去原稿であるかを判定するために全注目原稿画像データとの対応原稿信頼度を算出している。一方で、図１４（ｄ）の矢印の向きに示すように、両面原稿対応付け処理においては、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対する両面原稿を特定するために全参照原稿画像データとの対応原稿信頼度を算出するという違いのためである。 By the way, the order of the loop processing is different between the double-side association processing and the above-described removed document specifying processing. As shown in the direction of the arrow in FIG. 14A, in the removed document specifying process, the correspondence with all target document image data is used to determine whether the i-th reference document image data prevDoc [i] is a removed document. The manuscript reliability is calculated. On the other hand, as shown in the direction of the arrow in FIG. 14D, in the double-sided document association process, all reference original image data is used to specify the double-sided original for the jth original image data currDoc [j]. This is because of the difference in calculating the corresponding manuscript reliability.
図１３に戻り、ステップＳ１３０５において、両面原稿認識部４１３は、ステップＳ１３０４で算出した対応原稿信頼度が１００％か否かを判定する。算出した対応原稿信頼度が１００％でない場合に、Ｌｏｏｐ１のループ処理を継続し、次の参照原稿画像との対応原稿信頼度の算出処理を行う。算出した対応原稿信頼度が１００％である場合に、ステップS１３０６へ進む。
Returning to FIG. 13, in step S1305, the double-sided
ステップＳ１３０６において、両面原稿認識部４１３は、対応原稿信頼度が１００％である、すなわち注目原稿画像データに対して完全に重なっている参照原稿画像データが存在することから、完全に重なっている原稿画像データ同士が同一原稿であると認識する。そして、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］を破棄して、この注目原稿画像データに対する両面対応付け処理を終了する。本実施形態において、対応原稿信頼度が１００％であることから同一原稿と判定するが、対応原稿信頼度が１００％であると判定した場合に、さらに原稿同士の差分量を算出して差分量に基づき同一原稿かどうかを判定してもよい。
In step S1306, the double-sided
ステップＳ１３０８において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対する全参照原稿画像データとの対応原稿信頼度の中から最大の信頼度をもつ参照原稿画像データｐｒｅｖＤｏｃ［ｍａｘｉ］を抽出する。
In step S1308, the double-sided
ステップＳ１３０９において、両面原稿認識部４１３は、ステップＳ１３０８で抽出した最大の対応原稿信頼度が０％か否かを確認する。そして、対応原稿信頼度が０％であった場合にはステップＳ１３１０へ、対応原稿信頼度が０％でない場合にはステップＳ１３１１へ進む。
In step S1309, the double-sided
ステップＳ１３１０において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対して重なりがある参照原稿画像データがないことから、この注目原稿画像データは新しく読み取り領域２０５に置かれた表面原稿であると認識する。そして、データ管理部４０５は、ＲＡＭ３０３上に保存した属性管理テーブル中の原稿数、原稿番号（Ｄｏｃ）、面情報を更新する。図５（ｇ）における原稿５０３の場合、表面原稿として認識されることから、図１１（ｄ）に示すように原稿５０３に対する画像属性情報１１０３を、Ｄｏｃ＝３、面＝表面とし、文書属性の原稿数を３に更新する。
In step S1310, the double-sided
ステップＳ１３１１において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］を、最大の信頼度を持つ参照原稿画像データｐｒｅｖＤｏｃ［ｍａｘｉ］に対する裏面原稿であると認識し保存する。図５（ｇ）における原稿５０４の場合、原稿５０２に対する裏面原稿として認識されることから、図１１（ｄ）の原稿５０４に対する画像属性情報１１０４を、Ｄｏｃ＝１、面＝裏面とする。さらに、原稿５０２に対する画像属性情報１１０１中の確認フラグをＯＦＦに更新する。
In step S1311, the double-sided
以上のように、抽出された原稿画像データに対する両面対応付け処理が実行できる。以上の処理では、注目原稿画像データと参照原稿画像データの対応原稿信頼度として、原稿同士の重なり度合を算出することで、新規原稿（表面原稿）なのか、両面原稿（裏面原稿）なのかを自動で判定することができるようになる。 As described above, the duplex matching process can be executed on the extracted document image data. In the above processing, by calculating the degree of overlap between the originals as the corresponding original reliability of the target original image data and the reference original image data, it is determined whether the original original (front side original) or double-sided original (back side original). It becomes possible to determine automatically.
最後に図１５〜図１６を参照して、図６のステップＳ６２４における出力ファイル生成処理について詳細に説明する。図１５は出力ファイル形式の一例を示す図であり、図１６は出力ファイル生成部４０９の処理フローを説明する図である。
Finally, the output file generation processing in step S624 in FIG. 6 will be described in detail with reference to FIGS. FIG. 15 is a diagram illustrating an example of an output file format, and FIG. 16 is a diagram illustrating a processing flow of the output
図１０（ｆ）に示すようにＨＤＤ３０５上に一時保存された原稿画像データは、図１５に示す各種フォーマットで出力することができる。例えば、図１５（ａ）では、両面原稿の場合には、表面画像と裏面画像を左右あるいは上下に並べて配置して１枚の画像ファイルに結合し、片面原稿の場合はそのままで１枚の画像ファイルに変換して指定されたフォルダに保存する。あるいは、図１５（ｂ）に示すように、片面または両面の原稿ごとの個別ファイルで、原稿枚数を表す連番（＃＃＃＃）と、表面または裏面を表す枝番（＊）とで構成されたファイル名（ＩＭＧ＿＃＃＃＃＿＊．ｊｐｇ）により指定されたフォルダに保存する。さらには、図１５（ｃ）に示すように、片面または両面の原稿ごとにマルチページのドキュメント（例えばマルチページＰＤＦなど）に変換して出力することもできる。なお、出力の形態はこれに限ったことではない。
As shown in FIG. 10F, the document image data temporarily stored on the
図１６を参照して、図１５（ａ）に示すような出力画像を生成する処理フローを説明する。 A processing flow for generating an output image as shown in FIG. 15A will be described with reference to FIG.
ステップＳ１６０１において、出力ファイル生成部４０９は、図１１（ｅ）に示すＲＡＭ３０３上の属性管理テーブルより１枚目の画像属性情報１１０１を取得する。
In step S1601, the output
ステップＳ１６０２において、出力ファイル生成部４０９は、ＨＤＤ３０５上より１枚目の原稿画像データ１０１１を取得する。
In step S <b> 1602, the output
ステップＳ１６０３において、出力ファイル生成部４０９は、ステップＳ１６０１で取得した画像属性情報１１０１より面情報を確認し、表面原稿であればステップＳ１６０４へ、裏面原稿であればステップＳ１６０９へ進む。
In step S1603, the output
ステップＳ１６０４において、出力ファイル生成部４０９は、出力ファイル用のヘッダ記述を作成する。画像属性のＤｏｃより原稿番号を取得し、出力ファイル名を作成する。また、出力原稿サイズには、画像属性の幅・高さ情報を用いる。
In step S1604, the output
ステップＳ１６０５において、出力ファイル生成部４０９は、出力ファイルの画像データとして、ステップＳ１６０２でＨＤＤ３０５から読み出した原稿画像データ１０１１を書き込む。この際、画像処理プロセッサ３０７上で、傾き補正・回転などの補正処理や、下地飛ばし・エッジ強調などの補正処理を行って画像を鮮鋭化しても構わない。
In step S1605, the output
ステップＳ１６０６において、出力ファイル生成部４０９は、フッタ記述を生成する。
In step S1606, the output
ステップＳ１６０７において、データ管理部４０５は、ＨＤＤ３０５に保存されたオリジナルの原稿画像データ１０１１を破棄（削除）する。
In step S1607, the
ステップＳ１６０８において、全画像の処理が終了したかを判定する。未処理の原稿画像データが残っている場合にはステップＳ１６０１に戻り、出力ファイル生成処理を続ける。全画像で処理が終了した場合には出力ファイル生成処理を終了する。 In step S1608, it is determined whether all the images have been processed. If unprocessed document image data remains, the process returns to step S1601 to continue the output file generation process. When the process is completed for all images, the output file generation process is terminated.
ステップＳ１６０１に戻り、出力ファイル生成部４０９は、ＲＡＭ３０３より２枚の画像属性情報１１０２を取得する。そしてステップＳ１６０２において、出力ファイル生成部４０９は、ＨＤＤ３０５より２枚目の原稿画像データ１０１２を取得し、上記と同様の処理を繰り返す。
Returning to step S1601, the output
続いて、ステップＳ１６０１およびステップＳ１６０２において、３枚目の画像属性情報１１０３および原稿画像データ１０１３をそれぞれ取得する。
Subsequently, in step S1601 and step S1602, the third
ステップＳ１６０３において、出力ファイル生成部４０９は、画像属性情報１１０３の面情報より原稿画像データ１０１３は裏面であると認識し、ステップＳ１６０９へ進む。
In step S1603, the output
ステップＳ１６０９において、出力ファイル生成部４０９は、ヘッダ記述を更新する。ここでは、表面と裏面の原稿を左右あるいは上下配置で連結して出力するため、ステップＳ１６０４で生成されたヘッダ記述の出力原稿サイズに、ステップＳ１６０１で取得した原稿幅あるいは高さを足し合わせる。
In step S1609, the output
ステップＳ１６１０において、出力ファイル生成部４０９は、ステップＳ１６０５で書き出した出力画像データに連結させるように、ステップＳ１６０２で取得した原稿画像データ１０１２を書き出す。この際、ステップＳ１６０５での処理と同様、画像処理プロセッサ３０７上で画像の補正処理や先鋭化などの処理をさらに行ってもよい。
In step S1610, the output
ステップＳ１６１１において、出力ファイル生成部４０９は、フッタ記述を更新し、処理はステップＳ１６０７へ進む。そして、ステップＳ１６０７において、原稿画像データ１０１３を破棄する。
In step S1611, the output
以上のように、両面原稿の場合に左右または上下に連結された画像を生成できる。 As described above, in the case of a double-sided document, it is possible to generate an image that is connected left and right or up and down.
以上の処理により、原稿のフレームアウト情報と原稿同士の重なり度合を基にした対応原稿信頼度を用いることで、自動的に原稿交換（原稿表面）と裏返し（両面原稿裏面）とを識別でき、片面または両面原稿として保存することができるようになった。そのため、ユーザが原稿を裏返すという単純操作により両面スキャンが可能となることから操作性が向上し、複数の原稿で片面原稿または両面原稿を自動識別することから処理パフォーマンスの向上にもつながる。 Through the above processing, by using the corresponding document reliability based on the document frame-out information and the degree of overlap between the documents, it is possible to automatically identify document replacement (document front side) and inside out (double-sided document back side), You can now save as single-sided or double-sided originals. Therefore, since the user can perform double-sided scanning by a simple operation of turning over the document, the operability is improved, and the single-sided document or the double-sided document is automatically identified by a plurality of documents, thereby improving the processing performance.
［第２の実施形態］
第１の実施形態では、撮像されたカメラ画像から抽出されたすべての原稿画像データを片面または両面原稿として保存する仕組みを提供した。本実施形態では、静止画像中から抽出した原稿画像データが白紙であるかどうかを判定することで、有効な画像データのみを保存する仕組みを提供する。
[Second Embodiment]
In the first embodiment, a mechanism for saving all document image data extracted from a captured camera image as a single-sided or double-sided document is provided. The present embodiment provides a mechanism for storing only valid image data by determining whether or not the document image data extracted from the still image is blank.
図１７〜図１８を参照して、図６のステップＳ６１９において、本実施形態における両面原稿認識部４１３が実行する両面対応付け処理について説明する。図１７は裏面が白紙である原稿の裏返し操作前後の様子を示している。図１８は本実施形態における両面原稿認識部４１３の処理フローを示している。なお、第１の実施形態と同じ処理については説明を省略する。
With reference to FIGS. 17 to 18, the double-sided association processing executed by the double-sided
図１８のステップＳ１８０１において、両面原稿認識部４１３は、注目原稿画像データｃｕｒｒＤｏｃ［ｊ］が白紙であるかを確認する。ここで、原稿画像データのデータ量が所定量よりも少ない場合に、白紙であると判定することができる。図１７（ａ）では、原稿１７０１は白紙でないためステップＳ１３０３以降の処理により両面対応付け処理を行い、表面原稿としてＲＡＭ３０３上の属性管理テーブルを更新する。一方、図１７（ｂ）では、原稿１７０２が白紙であると判定されるため、ステップＳ１３０６へ進む。
In step S1801 in FIG. 18, the double-sided
ステップＳ１３０６において、両面原稿認識部４１３は、白紙と判定された注目原稿画像データｃｕｒｒＤｏｃ［ｊ］をＨＤＤ３０５上から破棄し、この注目原稿画像データの両面対応付け処理を終了する。
In step S1306, the double-sided
以上の処理により、原稿に白紙画像が含まれていた場合にも、その画像データを読み飛ばして出力できることになり、不要な原稿の出力保存を避けることができる。 Through the above processing, even when a blank image is included in the document, the image data can be skipped and output, and output saving of an unnecessary document can be avoided.
［第３の実施形態］
第１〜２の実施形態では、フレームアウトを検出せずに次の静止画像が取得された場合、常に両面原稿の裏面であるとして自動対応付けを行っていた。本実施形態では、静止画像中から抽出した原稿同士を比較することで、原稿位置をずらしてしまって画像抽出がなされた場合に誤対応付けされることを防止する。
[Third Embodiment]
In the first and second embodiments, when the next still image is acquired without detecting a frame-out, automatic association is always performed assuming that the back side of the double-sided document is always present. In the present embodiment, by comparing originals extracted from still images, it is possible to prevent erroneous correspondence when the original position is shifted and image extraction is performed.
図１９〜図２０を参照して、図６のステップＳ６１９において、本実施形態における両面原稿認識部４１３が実行する両面対応付け処理について説明する。図１９は同一原稿を読み取り領域２０５上で移動させた状態を示している。図２０は本実施形態における両面原稿認識部４１３の処理フローを示している。なお、第１〜２の実施形態と同じ処理については説明を省略する。
With reference to FIGS. 19 to 20, a description will be given of the duplex matching process executed by the duplex
図１９（ａ）に示す１枚目の原稿１９０１が入力されると、両面原稿認識部４１３は、ステップＳ１８０１で白紙でないと判定し、ステップＳ１３０３以降へ進んで両面対応付け処理を実行し、表面原稿としてＲＡＭ３０３上の属性管理テーブルを更新する。
When the first original 1901 shown in FIG. 19A is input, the double-sided
続いて、図１９（ｂ）に示す２枚目の原稿１９０２が入力されると、両面原稿認識部４１３は、ステップＳ１８０１で白紙でないと判定し、ステップＳ１３０３以降の処理へ進む。そしてステップＳ１３０９において、両面原稿認識部４１３は、対応原稿信頼度が０％でないことからステップＳ２００１へ進む。
Subsequently, when the second original 1902 shown in FIG. 19B is input, the double-sided original recognizing
ステップＳ２００１において、両面原稿認識部４１３は、ステップＳ１３０９で抽出された原稿画像データと、注目原稿画像データとの差分量を算出する。
In step S2001, the double-sided
ステップＳ２００２において、両面原稿認識部４１３は、ステップＳ２００１で算出された差分量を基に、同一原稿か否かを判定する。差分量がある場合には異なる原稿であると判定し、ステップＳ１３１１へ進み、裏面原稿としてデータ管理部４０５を介してＲＡＭ３０３上の属性管理テーブルを更新する。一方、差分量がない場合には同一原稿であると判定し、ステップＳ１３０６へ進む。
In step S2002, the double-sided
ステップＳ１３０６において、両面原稿認識部４１３は、ステップＳ２００２で表面原稿と差分がない、すなわち同一原稿と判定されたことを受け、原稿画像データをＨＤＤ３０５上から破棄して、両面対応付け処理を終了する。
In step S1306, the double-sided
以上の処理により、静止画像中から抽出した原稿同士を比較することで、原稿が裏返されたのか、位置がずれてしまっただけなのかを判定することができ、同一原稿が表面と裏面に対応付けされてしまうことを防止することができる。 By comparing the originals extracted from still images with the above processing, it is possible to determine whether the original has been turned over or just misaligned. It can be prevented from being attached.
なお、ここではステップＳ１３０６の処理で、原稿画像データを破棄してしまっていたが、直前に保存された表面原稿に置き換えて保存し直すなどの処理をしても構わない。 Here, the document image data has been discarded in the processing of step S1306, but processing such as replacing the front-side document saved immediately before and saving it again may be performed.
［第４の実施形態］
第１〜３の実施形態では、１枚の原稿では表または裏と最大２回の画像を取得する場合の操作について説明してきた。本実施形態では、ユーザが同一原稿を３回以上連続して取り込もうとした場合について誤対応付けを防止する仕組みを提供する。
[Fourth Embodiment]
In the first to third embodiments, the operation in the case of acquiring a front or back image and a maximum of two images with one original has been described. In the present embodiment, a mechanism is provided that prevents erroneous association when the user tries to capture the same document three or more times in succession.
図２１〜図２２を参照して図６のステップＳ６１９において、本実施形態における両面原稿認識部４１３が実行する両面対応付け処理について説明する。図２１は同一原稿を複数回読み取る操作の一例として、両面原稿を読み取り領域２０５上で表面→裏面→表面と読み取り領域２０５上に置いた場合を示している。図２２は本実施形態における両面原稿認識部４１３の処理フローを示している。なお、第１〜３の実施形態と同じ処理については説明を省略する。
With reference to FIGS. 21 to 22, the double-sided association processing executed by the double-sided
図２１（ａ）に示す１枚目の原稿２１０１が入力されると、両面原稿認識部４１３は、ステップＳ１８０１で白紙でないと判定し、ステップＳ１３０３以降へ進んで両面対応付け処理を実行し、表面原稿としてＲＡＭ３０３上の属性管理テーブルを更新する。
When the first original 2101 shown in FIG. 21A is input, the double-sided
図２１（ｂ）に示す２枚目の原稿２１０２が入力された場合は、両面原稿認識部４１３は、ステップ１８０１において白紙でないと判定し、ステップＳ１３０３以降の処理へ進む。ステップＳ１３０９において、対応原稿信頼度が０％でないことからステップＳ２２０１へ進む。
When the second original 2102 shown in FIG. 21B is input, the double-sided original recognizing
ステップＳ２２０１において、両面原稿認識部４１３は、ステップＳ１３０８で抽出された参照原稿画像データが裏面原稿として保存済みであるかを確認する。ここでは、抽出された原稿２１０１が表面原稿として保存されているためステップＳ２００１へ進み、最終的にステップＳ１３１１において、原稿２１０２が裏面原稿として保存される。
In step S2201, the double-sided
図２１（ｃ）に示す３枚目の原稿２１０３が入力されると、両面原稿認識部４１３は、ステップ１８０１において白紙でないと判定し、ステップＳ１２０２以降の処理を行う。そして、ステップＳ１３０９において、対応原稿信頼度が０％でないことからステップＳ２２０１へ進む。
When the third original 2103 shown in FIG. 21C is input, the double-sided original recognizing
ステップＳ２２０１において、両面原稿認識部４１３は、ステップＳ１３０８で抽出された参照原稿画像データが裏面原稿として保存済みであるかを確認する。ここでは、抽出された原稿２１０２がすでに裏面原稿として保存されていることからステップＳ１３０６へ進み、原稿画像データを破棄して、両面対応付け処理を終了する。
In step S2201, the double-sided
以上の処理により、ユーザの誤操作により、同一原稿を複数回読み取ってしまうような状況を回避することができる。 With the above processing, it is possible to avoid a situation where the same document is read a plurality of times due to an erroneous operation by the user.
［第５の実施形態］
第１〜４の実施形態では、原稿サイズが同じであることを前提として説明してきた。本実施形態では、ユーザが異なる原稿を同時にスキャンした際、異なるサイズの原稿同士で誤対応付けされてしまうことを防止する仕組みを提供する。
[Fifth Embodiment]
The first to fourth embodiments have been described on the assumption that the document sizes are the same. In the present embodiment, a mechanism is provided that prevents erroneous association between originals of different sizes when a user scans different originals at the same time.
図２３に注目原稿画像データ２３０２と参照原稿画像データ２３０１における対応原稿信頼度算出の様子を示す。
FIG. 23 shows how the corresponding original document reliability is calculated in the target
実施形態１〜４において、ステップＳ１２０４で対応原稿信頼度として、参照原稿画像データと注目原稿画像データでの重なり度合を用いた。この方法では、図２３（ｂ）に示すように、原稿同士の重なりがあるため、誤った両面対応付けがされてしまうことになる。それに対し、本実施形態では、この重なり度合に加え、図２３（ａ）で原稿画像データのサイズの比較を行い、サイズが異なっていた場合には、対応原稿信頼度を０％とし、同一サイズの場合のみ原稿の重なり度合を算出する処理を行う。 In the first to fourth embodiments, the degree of overlap between the reference document image data and the target document image data is used as the corresponding document reliability in step S1204. In this method, as shown in FIG. 23 (b), there is an overlap between the originals, resulting in incorrect double-sided correspondence. On the other hand, in the present embodiment, in addition to the degree of overlap, the sizes of the document image data are compared in FIG. 23A. If the sizes are different, the corresponding document reliability is set to 0% and the same size. Only in the case of, the process of calculating the degree of overlap of the originals is performed.
以上の処理により、原稿同士のサイズを比較することで、異なるサイズの原稿で誤った両面対応付けをすることを防止することができる。 By comparing the sizes of the originals by the above processing, it is possible to prevent erroneous double-sided correspondence between different-size originals.
［第６の実施形態］
第１〜５の実施形態では注目原稿画像データと参照原稿画像データの重なり度を対応原稿信頼度としてした。本実施形態では、注目原稿画像データと参照原稿画像データの距離を対応原稿信頼度として、両面対応付け処理及び除去原稿特定処理を実行する。
[Sixth Embodiment]
In the first to fifth embodiments, the degree of overlap between the target document image data and the reference document image data is set as the corresponding document reliability. In the present embodiment, the duplex matching process and the removed document specifying process are executed with the distance between the noted document image data and the reference document image data as the corresponding document reliability.
図２４（ａ）は、参照原稿画像データ（上段）と注目原稿画像データ（下段）の比較の様子を示している。 FIG. 24A shows a state of comparison between reference document image data (upper) and target document image data (lower).
図２４（ｂ）および図２４（ｃ）は、対応原稿信頼度にそれぞれの重心間の距離を用いた場合を示す。例えば、図２４（ｂ）に示すように、注目原稿画像データ２４０２の重心Ｇ１と参照原稿画像データ２４０１の重心Ｇ１’の距離を用いる。この重心間の距離の逆数をとることにより、距離が近いものほど対応原稿信頼度が高くなることになる。
FIG. 24B and FIG. 24C show the case where the distance between the centers of gravity is used as the corresponding document reliability. For example, as shown in FIG. 24B, the distance between the center of gravity G1 of the target
図２４（ｄ）および図２４（ｅ）は、対応原稿信頼度に原稿画像データの対応頂点間の距離を用いた場合を示す。例えば、図２４（ｄ）および図２４（ｅ）に示すように、注目原稿画像データ２４０２の頂点Ｖ１〜Ｖ４と、参照原稿画像データ２４０１の頂点Ｖ１’〜Ｖ４’の距離を用いる（Ｖ２とＶ２’の距離およびＶ４とＶ４’の距離図示せず）。そして、４頂点間の平均距離の逆数をとることにより、距離が近いものほど対応原稿信頼度が高くなることになる。もちろん、平均距離ではなく、最大距離・最小距離・総和距離などを用いることも可能である。
FIG. 24D and FIG. 24E show a case where the distance between corresponding vertices of the document image data is used as the corresponding document reliability. For example, as shown in FIGS. 24D and 24E, distances between the vertices V1 to V4 of the target
なお、ここでは重心間距離と頂点間距離の２つを紹介したが、注目原稿画像データの重心と参照原稿画像データの各頂点のとの距離、最も近い頂点同士の距離などを用いても構わない。また、これらの距離を示すものを組み合わせても構わない。 In this example, the distance between the center of gravity and the distance between the vertices are introduced. However, the distance between the center of gravity of the document image data of interest and each vertex of the reference document image data, the distance between the nearest vertices, and the like may be used. Absent. Moreover, you may combine what shows these distances.
最後に、離れすぎた原稿画像データ同士が対応付けられてしまうことを防止するために、上述の処理によって算出された対応原稿信頼度が所定値以下となるものは不適切であるとして、対応原稿信頼度を０％にする。その後、対応原稿信頼度が最大となる原稿画像データ同士を対応付けすればよい。 Finally, in order to prevent the document image data that are too far apart from being associated with each other, it is determined that the corresponding document reliability calculated by the above-described processing is less than a predetermined value is inappropriate. Set the reliability to 0%. Thereafter, the document image data having the maximum corresponding document reliability may be associated with each other.
以上の処理により、原稿の重なり度以外に原稿間の距離を用いることで両面原稿の対応付けを行うことができるようになる。また、原稿間の距離を用いることで、裏返し操作の前後で原稿が重なっていないような場合にも対応付けできるようになるため、名刺などの小さい原稿を扱う際の利便性が向上する。 With the above processing, it is possible to associate double-sided originals by using the distance between originals in addition to the degree of original overlap. Further, by using the distance between the originals, it is possible to make correspondence even when the originals are not overlapped before and after the flip operation, so that convenience when handling a small original such as a business card is improved.
［第７の実施形態］
第１〜６の実施形態では、裏返した原稿の置かれた位置が裏返し操作前の１枚の原稿に対して重なりを持つ場合について説明してきた。しかし、実際の操作では、裏返し操作により、裏返し前の複数の原稿と重なりが生じることがある。例えば、図２５（ａ）のように２枚の原稿２５０１と２５０２を読み取ったのち、図２５（ｂ）のように裏返し操作を行い、図２５（ｃ）のようにおいて裏面を読み取る。２５（ｃ）のタイミングにおける原稿２５０４が置かれている位置は、図２５（ａ）のタイミングにおける原稿２５０１の位置と２５０２の位置の両方に重なっていることになる。そこで、本実施形態では、このような複数原稿と対応付けの可能性が発生する場合にも、適切に対応付けを行う仕組みを提供する。
[Seventh Embodiment]
In the first to sixth embodiments, a case has been described in which the position where the inverted document is placed overlaps with one document before the flip operation. However, in an actual operation, an overlap operation may cause a plurality of documents before being turned over. For example, after two
図２５（ｄ）〜（ｉ）を参照して、本実施形態における対応原稿信頼度算出について説明する。ここでは、対応原稿信頼度には原稿画像データの重なり度合を用いて説明を行うが、他の手法により算出した対応原稿信頼度を用いてよい。 With reference to FIGS. 25D to 25I, the corresponding document reliability calculation in the present embodiment will be described. Here, the corresponding document reliability is described using the degree of overlap of document image data, but the corresponding document reliability calculated by another method may be used.
図２５（ｄ）に対応原稿信頼度算出の仕方を説明する図面である。原稿裏返し操作前に抽出された２枚の参照原稿画像データ２５１１および２５１２（上段）と、原稿裏返し後に抽出された２枚の注目原稿画像データ２５１３および２５１４（下段）を示している。図２５（ｅ）および図２５（ｆ）は、注目原稿画像データ２５１３（実線）に対して参照原稿画像データ２５１１と２５１２（破線）との原稿重なり度合を算出しているところである。また、図２５（ｇ）および図２５（ｈ）は、注目原稿画像データ２５１４（実線）と参照原稿画像データ２５１１と２５１２（破線）との原稿重なり度合を算出しているところである。図２５（ｉ）はそれぞれの比較した対応原稿信頼度を一覧表としてまとめたものである。
FIG. 25D is a diagram for explaining how to calculate the corresponding document reliability. Two reference
本実施形態では、有効な対応原稿信頼度が１つのみである注目原稿画像データを抽出し、その参照原稿画像データと両面対応付けを行う。ここで、有効な対応原稿信頼度は、値が所定範囲内になる対応原稿信頼度である。続いて、両面対応付けられた参照原稿画像データを除いて、同様の処理を繰り返していく。例えば図２５（ｉ）の場合、注目原稿画像データ２５１４は参照原稿画像データ２５１１に対してのみ有効な対応原稿信頼度（３４．４％）を持ち、参照原稿画像データ２５１１は注目原稿画像データ２５１４の候補対応原稿画像データとなる。そのためこの原稿画像データ同士を両面原稿として対応付けを行う。続いて、すでに対応付けされた参照原稿画像データ２５１１を除いて、残りの注目原稿画像データの両面対応付け処理を行う。すると、注目原稿画像データ２５１３は参照原稿画像データ２５１２に対してのみ有効な対応原稿信頼度（３８．５％）を持ち、参照原稿画像データ２５１１は注目原稿画像データ２５１４の候補対応原稿画像データとなる。そのため、この原稿画像データ同士を両面原稿として対応付けが行われる。
In the present embodiment, target document image data having only one valid corresponding document reliability is extracted, and double-sided association is performed with the reference document image data. Here, the effective corresponding document reliability is a corresponding document reliability whose value falls within a predetermined range. Subsequently, the same processing is repeated except for the reference document image data associated with both sides. For example, in the case of FIG. 25I, the target
以上のように、注目原稿画像データと参照原稿画像データのすべての組み合わせで対応原稿信頼度を算出し、有効な対応原稿信頼度が１つのものから順番に両面対応付けしていく。これにより、同一の原稿画像データに対して複数の原稿画像データが対応付けられてしまうことを防止することができる。 As described above, the corresponding manuscript reliability is calculated for all combinations of the target manuscript image data and the reference manuscript image data, and the effective correspondence manuscript reliability is associated with both sides in order from one. Thereby, it is possible to prevent a plurality of document image data from being associated with the same document image data.
（その他の実施例）
カメラスキャナ１０１は、第２〜７の実施形態のいずれかにおいて追加した処理を実行するか否かを設定する機能を備えてもよい。ユーザがカメラスキャナ１０１の操作表示部４０３などを介してそれについての事前設定を行うことができる。
(Other examples)
The
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (22)
前記検出手段で検出されたタイミングに基づき、前記読み取り領域を撮像し、撮像した画像から、原稿画像データと原稿画像データの前記読み取り領域内の位置情報とを取得する取得手段と、
前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿画像データ同士の位置関係から算出する算出手段と、
算出された前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、原稿の両面対応付け処理を行う両面対応付け処理手段と
を備えることを特徴とする画像処理装置。 Detecting means for detecting a timing at which the document in the reading area is stopped as a first timing, and detecting a timing at which the document in the reading area is stopped again immediately after the first timing as a second timing;
An acquisition unit that captures an image of the reading area based on the timing detected by the detection unit, and acquires document image data and position information of the document image data in the reading area from the captured image;
Calculating means for calculating a corresponding document reliability between the document image data acquired based on the first timing and the document image data acquired based on the second timing from the positional relationship between the document image data; ,
A double-sided correspondence process of originals is performed according to the corresponding original document reliability between the original image data acquired based on the calculated first timing and the original image data acquired based on the second timing. An image processing apparatus comprising: a double-sided correspondence processing unit.
前記算出手段は、前記第１のタイミングに基づき取得された原稿画像データと、前記第３のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿同士の位置関係から算出し、
算出された前記第１のタイミングに基づき取得された原稿画像データと前記第３のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、前記第３のタイミングで前記読み取り領域から除去された原稿を特定する特定手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。 The detection means detects, as a third timing, a timing at which the document is out of frame from the reading area between the first timing and the second timing,
The calculation means calculates a corresponding document reliability between the document image data acquired based on the first timing and the document image data acquired based on the third timing from the positional relationship between the documents. And
The reading at the third timing according to the corresponding document reliability between the document image data acquired based on the calculated first timing and the document image data acquired based on the third timing. The image processing apparatus according to claim 1, further comprising a specifying unit that specifies the document removed from the area.
前記両面対応付け処理手段は、前記フラグを用いることにより、前記両面対応付け処理が行わない原稿画像データを判定することを特徴とする請求項３に記載の画像処理装置。 The specifying unit sets a flag indicating that the original removed from the reading area and the original image data are not subject to duplex matching,
The image processing apparatus according to claim 3, wherein the double-side association processing unit determines document image data that is not subjected to the double-side association processing by using the flag.
前記作成手段は、白紙でないと判定した原稿画像データを出力ファイルとして作成し、白紙であると判定した原稿画像データを削除することを特徴とする請求項１２乃至１４のいずれかに記載の画像処理装置。 The double-side association processing unit determines whether the document image data acquired based on the second timing is blank,
15. The image processing according to claim 12, wherein the creating unit creates document image data determined not to be blank as an output file, and deletes document image data determined to be blank. apparatus.
前記作成手段は、同一原稿でないと判定した原稿画像データを出力ファイルとして作成し、同一原稿であると判定した原稿画像データを削除することを特徴とする請求項１２乃至１５のいずれかに記載の画像処理装置。 The double-side association processing unit compares the document image data with each other to determine whether the document image data acquired based on the second timing is the same as the document image data acquired based on the first timing. Judgment by
16. The document creation apparatus according to claim 12, wherein the creating unit creates document image data determined not to be the same document as an output file, and deletes the document image data determined to be the same document. Image processing device.
前記検出ステップで検出されたタイミングに基づき、前記読み取り領域を撮像し、撮像した画像から、原稿画像データと原稿画像データの前記読み取り領域内の位置情報とを取得する取得ステップと、
前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿画像データ同士の位置関係から算出する算出ステップと、
算出された前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、原稿の両面対応付け処理を行う両面対応付け処理ステップと
を備えることを特徴とする画像処理方法。 A detection step of detecting a timing at which the document in the reading area is stopped as a first timing, and detecting a timing at which the document in the reading area is stopped again immediately after the first timing as a second timing;
An acquisition step of imaging the reading area based on the timing detected in the detection step, and acquiring document image data and position information of the document image data in the reading area from the captured image;
A calculation step of calculating a corresponding document reliability between the document image data acquired based on the first timing and the document image data acquired based on the second timing from the positional relationship between the document image data; ,
A double-sided correspondence process of originals is performed according to the corresponding original document reliability between the original image data acquired based on the calculated first timing and the original image data acquired based on the second timing. An image processing method comprising: a double-sided association processing step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013040820A JP2014171023A (en) | 2013-03-01 | 2013-03-01 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013040820A JP2014171023A (en) | 2013-03-01 | 2013-03-01 | Image processing device, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014171023A true JP2014171023A (en) | 2014-09-18 |
Family
ID=51693123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013040820A Pending JP2014171023A (en) | 2013-03-01 | 2013-03-01 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014171023A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020088503A (en) * | 2018-11-20 | 2020-06-04 | シャープ株式会社 | Image reading apparatus, image formation apparatus, control program, and control method |
-
2013
- 2013-03-01 JP JP2013040820A patent/JP2014171023A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020088503A (en) * | 2018-11-20 | 2020-06-04 | シャープ株式会社 | Image reading apparatus, image formation apparatus, control program, and control method |
| JP7157638B2 (en) | 2018-11-20 | 2022-10-20 | シャープ株式会社 | Image reading device, image forming device, control program and control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4918171B1 (en) | Image processing apparatus and document reading system having the same | |
| KR102553581B1 (en) | Image processing apparatus that performs multi-crop processing, method of generating image in units of documents by multi-crop processing and storage medium | |
| JP5366699B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US9256180B2 (en) | Image display apparatus, display control method, and non-transitory computer-readable recording medium encoded with display control program | |
| JP2019161463A (en) | Image processing apparatus, program and image processing method | |
| US20190058805A1 (en) | Image processing apparatus, and method of controlling the same | |
| JP6049345B2 (en) | Image processing apparatus, method, and program | |
| US10291805B1 (en) | Image processing apparatus | |
| US20090073463A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP6277752B2 (en) | Image forming apparatus, image processing method, and program | |
| TW201545533A (en) | Intelligent image reproducing apparatus and method for reproducing image | |
| JP2014171023A (en) | Image processing device, image processing method, and program | |
| JP2014220772A (en) | Image processing apparatus and control method and program of the same | |
| US20150244900A1 (en) | Image processing device and method, image processing system, and non-transitory computer-readable medium | |
| JP2006072506A (en) | Photographic processor | |
| JP2019201358A (en) | Image processing apparatus, program, and image processing method | |
| JP2014216953A (en) | Image processing device, image processing method, and computer program | |
| JP2015076681A (en) | Information processing device and control method therefor, computer program and storage medium | |
| JP5819887B2 (en) | Print setting program and electronic device | |
| JP7073699B2 (en) | Image processing program, information processing device and image processing method | |
| JP7027248B2 (en) | Image processing equipment, programs, image processing methods | |
| JP2014121048A (en) | Image processing apparatus, image processing method and program | |
| JP5550309B2 (en) | Image processing apparatus and display control method | |
| US11165926B1 (en) | Image forming apparatus, information processing method, and non-transitory computer readable recording medium that stores information processing program | |
| JP7250526B2 (en) | Image processing device, program, image processing method |