JP6194407B2 - Document distortion correction apparatus, document distortion correction method, and program - Google Patents
Document distortion correction apparatus, document distortion correction method, and program Download PDFInfo
- Publication number
- JP6194407B2 JP6194407B2 JP2016508434A JP2016508434A JP6194407B2 JP 6194407 B2 JP6194407 B2 JP 6194407B2 JP 2016508434 A JP2016508434 A JP 2016508434A JP 2016508434 A JP2016508434 A JP 2016508434A JP 6194407 B2 JP6194407 B2 JP 6194407B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- document
- mesh
- plane
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 80
- 238000012937 correction Methods 0.000 title claims description 28
- 238000012545 processing Methods 0.000 claims description 124
- 230000008569 process Effects 0.000 claims description 55
- 238000013507 mapping Methods 0.000 claims description 28
- 230000010365 information processing Effects 0.000 description 53
- 238000010586 diagram Methods 0.000 description 28
- 230000006837 decompression Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G06T3/06—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
- H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0434—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 specially adapted for scanning pages of a book
Description
本発明は、原稿歪み補正装置、原稿歪み補正方法、および、プログラムに関する。 The present invention relates to a document distortion correction apparatus, a document distortion correction method, and a program.
従来、オーバヘッドスキャナ等の画像読取装置において、本などの厚みのある綴じ媒体の画像を取得する場合には、用紙の折り目や自然な紙の浮きなど立体的な形状の変化による影響で画像が歪む等のために、歪みを補正する技術が開発されている。 Conventionally, when an image of a binding medium having a thickness such as a book is acquired by an image reading apparatus such as an overhead scanner, the image is distorted due to a change in a three-dimensional shape such as a paper fold or a natural paper float. For this reason, a technique for correcting distortion has been developed.
例えば、ページ輪郭線に基づく歪曲成分を高さ成分に変換し、3次元形状に対し縦横のメッシュラインを生成し、メッシュラインが交差するメッシュ交点の座標をメッシュテーブルに格納し、メッシュモデルに基づく画像を平面化する方法が開発されている(特許文献1を参照)。 For example, a distortion component based on a page outline is converted into a height component, and vertical and horizontal mesh lines are generated for a three-dimensional shape. The coordinates of mesh intersections where mesh lines intersect are stored in a mesh table, and based on a mesh model A method for flattening an image has been developed (see Patent Document 1).
また、平坦でない歪みをもつ可展面を撮像し、撮像した画像から基準面に対する3次元プロファイルを表す第1のポイントセットを生成し、可展のメッシュを表す第2のポイントセットを第1のポイントセットに適合させて、第2のポイントセットを歪み補正のために、イメージをテクスチャマッピングする方法が開発されている(特許文献2を参照)。 In addition, a developable surface having a non-flat distortion is imaged, a first point set representing a three-dimensional profile with respect to the reference surface is generated from the captured image, and a second point set representing a developable mesh is defined as the first point set. A method for texture mapping of an image has been developed in order to adjust the second point set for distortion correction in conformity with the point set (see Patent Document 2).
しかしながら、従来の3次元的な歪みの補正方法では、等間隔にメッシュ分割を行って画像の平面化を行っており、原稿の歪みを正確に再現できないばかりか、処理負担が大きいという問題点を有していた。 However, in the conventional three-dimensional distortion correction method, the image is flattened by dividing the mesh at equal intervals, and not only the distortion of the original cannot be accurately reproduced, but also the processing load is large. Had.
特に、従来の方法をオーバヘッド型スキャナに適用しようとすると、フラットベッド型やADF(auto document feeder)型のスキャナに比較して、センサから読取対象までの距離が長いため、紙の浮きや折り目などの影響を受けて歪みやすく、メッシュ間に折り目などの顕著な変化点が存在すると補正結果が芳しくないなどの問題点を有していた。 In particular, if the conventional method is applied to an overhead scanner, the distance from the sensor to the reading target is longer than that of a flatbed type or ADF (auto document feeder) type scanner. The problem is that the correction result is not good when the mesh is easily distorted and there is a significant change point such as a crease between the meshes.
本発明は、上記問題点に鑑みてなされたもので、原稿の浮きや折り目等がある場合であっても的確に原稿歪みを補正することができる、原稿歪み補正装置、原稿歪み補正方法、および、プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems. An original distortion correction apparatus, an original distortion correction method, and an original distortion correction apparatus that can accurately correct original distortion even when the original is lifted or folded. The purpose is to provide a program.
このような目的を達成するため、本発明に係る原稿歪み補正装置は、3次元情報を矩形メッシュに分割する場合において、深度が急峻に変化する領域が細かくメッシュ化され、緩やかな部分が広い範囲でメッシュ化されるように、上記3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すメッシュ分割手段と、上記メッシュ分割手段により分割した上記3次元情報を平面に伸張させる伸張手段と、を備える。 In order to achieve such an object, in the document distortion correction device according to the present invention, when three-dimensional information is divided into rectangular meshes, a region where the depth changes sharply is finely meshed, and a gentle portion is a wide range. Mesh dividing means for repeating the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by dividing the mesh with respect to the three-dimensional information is equal to or greater than a threshold value with respect to the three-dimensional information , Stretching means for stretching the three-dimensional information divided by the mesh dividing means into a plane.
また、本発明に係る原稿歪み補正方法は、3次元情報を矩形メッシュに分割する場合において、深度が急峻に変化する領域が細かくメッシュ化され、緩やかな部分が広い範囲でメッシュ化されるように、上記3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すメッシュ分割ステップと、上記メッシュ分割ステップにて分割した上記3次元情報を平面に伸張させる伸張ステップと、を含む。 In the original distortion correction method according to the present invention, when the three-dimensional information is divided into rectangular meshes, the region where the depth changes sharply is finely meshed, and the gentle part is meshed in a wide range. The mesh division step for repeating the process of dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by mesh division exceeds a threshold for the three-dimensional information, and the mesh division step Extending the three-dimensional information to a plane.
また、本発明に係るプログラムは、3次元情報を矩形メッシュに分割する場合において、深度が急峻に変化する領域が細かくメッシュ化され、緩やかな部分が広い範囲でメッシュ化されるように、上記3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すメッシュ分割ステップと、上記メッシュ分割ステップにて分割した上記3次元情報を平面に伸張させる伸張ステップと、をコンピュータに実行させる。
Further, in the case of dividing the three-dimensional information into rectangular meshes, the program according to the present invention is configured so that the region where the depth changes sharply is finely meshed and the gentle part is meshed in a wide range. When the error of the approximate plane obtained by mesh division with respect to the dimension information is greater than or equal to a threshold value, a mesh division step that repeats the process of further dividing the rectangular mesh into a plurality of rectangles, and the above-mentioned 3 divided in the mesh division step Causing the computer to execute an extension step of extending the dimension information into a plane.
また、本発明に係るコンピュータ読み取り可能な記録媒体は、前記に記載の本発明に係るプログラムを記録する。 The computer-readable recording medium according to the present invention records the program according to the present invention described above.
この発明によれば、原稿の浮きや折り目等がある場合であっても的確に原稿歪みを補正することができる。 According to the present invention, it is possible to accurately correct document distortion even when the document is lifted or folded.
以下に、本発明に係る原稿歪み補正装置、原稿歪み補正方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。特に、本実施形態においては、読み取り対象を雑誌などの原稿として説明することがあるが、これに限られず、新聞紙や、ステープルで綴じられた媒体や、単票を重ねた束等を読み取り対象としてもよい。 Embodiments of a document distortion correction apparatus, a document distortion correction method, and a program according to the present invention will be described below in detail with reference to the drawings. In addition, this invention is not limited by this embodiment. In particular, in this embodiment, the reading target may be described as a manuscript such as a magazine. However, the reading target is not limited to this. Newspaper, a medium bound with staples, a stack of single sheets, and the like are read. Also good.
[1.本実施形態の構成]
本実施形態に係る情報処理装置100の構成について図1を参照して説明する。図1は、情報処理装置100の一例を示すハードウェア構成図である。[1. Configuration of this embodiment]
The configuration of the
図1に示すように、本実施形態は、原稿歪み補正方法を実行する情報処理装置100と、原稿画像を取得する画像読取装置12を備える。なお、情報処理装置100は、記憶部106および制御部102を備え、画像読取装置12は、パターン光源121および画像読取部122を備える。これら各部は任意の通信路を介して通信可能に接続されている。また、画像読取部122は、リニアセンサとエリアセンサのいずれであってもよく、あるいは2種類のセンサを備えてもよい。なお、本実施の形態において、パターン光源121を原稿に照射して3次元情報を取得する例について説明するが、これに限られず、パターン光源を用いずに、TOF(Time Of Flight)方式にて3次元情報を取得してもよい。
As shown in FIG. 1, the present embodiment includes an
ここで、図2は、情報処理装置100の一例を示す機能ブロック図である。記憶部106は、各種のデータベースやテーブルやファイルなどを格納する。記憶部106は、ストレージ手段であり、例えばRAM・ROM等のメモリ装置や、ハードディスクのような固定ディスク装置、フレキシブルディスク、光ディスク等を用いることができる。記憶部106には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラムが記録されている。ここで、図2は、情報処理装置100の記憶部106の一例を示すブロック図である。
Here, FIG. 2 is a functional block diagram illustrating an example of the
図2に示すように、記憶部106は、図示の如く、画像データ一時ファイル106a、3次元ファイル106b、加工画像ファイル106cを備える。
As shown in FIG. 2, the
このうち、画像データ一時ファイル106aは、読取制御部102aによりで読み取られた画像データを一時的に記憶する。
Among these, the image data temporary file 106a temporarily stores the image data read by the
また、3次元ファイル106bは、画像データ一時ファイル106aに格納された画像データに基づいて生成された3次元情報を記憶する。
The three-
また、加工画像ファイル106cは、画像データ一時ファイル106aに格納された画像データ、および/または、3次元ファイル106bに格納された3次元情報から、加工または編集された加工画像データを記憶する。
The processed image file 106c stores processed image data processed or edited from the image data stored in the temporary image data file 106a and / or the three-dimensional information stored in the three-
入出力インターフェース部108は、入力部112および出力部114を、制御部102と接続する。入力部112としては、画像読取装置12等の画像読取手段のほか、マウスやキーボード等を用いることができ、出力部114としては、モニタやディスプレイ等の表示手段や、マイク等の音声出力手段を用いることができる。
The input / output interface unit 108 connects the input unit 112 and the
制御部102は、情報処理装置100を統括的に制御するCPU等からなる。制御部102は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
The
図2に示すように、制御部102は、図示の如く、大別して、読取制御部102aと、3次元情報取得部102bと、クロップ処理部102cと、メッシュ分割部102eと、伸張処理部102fと、色マッピング部102gとを備える。
As shown in FIG. 2, the
読取制御部102aは、入力部112として画像読取装置12を制御して、原稿を含む画像を取得し、画像データ一時ファイル106aに格納する。例えば、読取制御部102aは、パターン光源121からパターン光が照射されるように制御して、画像読取部122を介して、パターン光が照射された原稿の画像を取得してもよい。より具体的には、読取制御部102aは、パターン光源121を制御して、対象物に対して位相パターンを照射し、パターン光源と同期するように、画像読取を実施する。この位相パターンを照射した複数枚の画像が取得されると、後述する、3次元情報取得102bが3次元形状を復元する。このほか、読取制御部102aは、パターン光を照射することなく、原稿の色情報(RGB情報等)を取得してもよい。すなわち、前者によって、深度情報が取得され、後者によって、色情報が取得されることとなる。
The
3次元情報取得部102bは、画像データ一時ファイル106aに格納された、パターン光が照射された原稿を含む画像データに基づいて、深度情報を含む3次元情報を取得し、3次元ファイル106bに格納する。例えば、3次元情報取得部102bは、公知のパターン光投影法に基づいて、3次元情報を取得してもよい。なお、3次元情報取得部102bは、公知のTOF方式に基づいて、3次元情報を取得してもよい。
The three-dimensional
クロップ処理部102cは、3次元情報において原稿領域をクロップ処理する。例えば、クロップ処理部102cは、3次元ファイル106bに格納された3次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行ってもよい。なお、クロップ処理部102cは、判定した原稿領域の外側の背景領域の深度情報を、伸張処理部102f等による後処理のために取得してもよい。なお、クロップ処理部102cは、クロップ処理した原稿領域の3次元情報を、3次元ファイル106bに格納する。
The
ここで、図2に示すように、本実施形態において、クロップ処理部102cは、画像データ一時ファイル106aに格納された色情報から色エッジ、および、3次元ファイル106bに格納された深度情報から深度エッジを抽出するエッジ抽出部102dを備える。そして、クロップ処理部102cは、エッジ抽出部102dにより抽出された色エッジおよび深度エッジに基づいて原稿領域を判定してもよい。ここで、クロップ処理部102cは、色エッジおよび深度エッジのうち、色エッジを優先して原稿領域を判定してもよい。より具体的には、色エッジおよび深度エッジの対応点間の距離が近い場合、深度よりも見た目の切れ目でクロップを行うため、クロップ処理部102cは、色エッジを優先して原稿領域を判定してもよい。
Here, as shown in FIG. 2, in the present embodiment, the
ここで、エッジ抽出部102dにより抽出された色エッジと深度エッジの対応点間の距離が閾値を超える場合、クロップ処理部102cは、画像中心から遠い点を優先して原稿領域を判定してもよい。換言すれば、色エッジと深度エッジの対応点間の距離が閾値を超える場合、原稿よりも外側で誤検出が起こることはないと考え、原稿欠けを防止してクロッピングの信頼性を上げるために、クロップ処理部102cは、色エッジおよび深度エッジのうち、画像中心から遠い点を優先して原稿領域を判定する。
Here, when the distance between the corresponding points of the color edge and the depth edge extracted by the
クロップ処理部102cは、原稿が綴じられた媒体であるときは、綴じ方向の走査により得られた深度エッジを優先して原稿領域を判定してもよい。すなわち、厚みのある綴じ媒体である場合、自然な紙の浮き上がりなどで立体的な形状の変化が起こるので、綴じ方向に深度エッジが現れやすい。そのため、クロップ処理部102cは、綴じ方向の走査により得られた深度エッジを色エッジよりも優先して原稿領域を判定する。反対に、クロップ処理部102cは、綴じ方向とは垂直方向の走査により得られた色エッジを深度エッジよりも優先して原稿領域を判定してもよい。
When the original is a bound medium, the
メッシュ分割部102eは、3次元情報を矩形メッシュに分割する。本実施形態において、メッシュ分割部102eは、3次元情報を矩形メッシュに分割する場合において、深度に応じて適応的に細かくメッシュ分割する。より具体的には、メッシュ分割部102eは、3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返す。これにより、紙の浮きや折り目などに応じて細かくメッシュを設定することができ、特にメッシュ間に折り目などの顕著な変化点が存在する場合は、更に細かくメッシュを設定することができるので、歪み補正の精度が向上する。 The mesh division unit 102e divides the three-dimensional information into rectangular meshes. In the present embodiment, the mesh division unit 102e adaptively finely divides the mesh according to the depth when dividing the three-dimensional information into rectangular meshes. More specifically, the mesh division unit 102e repeats the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by dividing the mesh is greater than or equal to a threshold for the three-dimensional information. This makes it possible to finely set the mesh according to paper floats and creases, especially when there are significant change points such as creases between the meshes. The accuracy of correction is improved.
ここで、メッシュ分割部102eは、3次元情報取得部102bにより取得された原稿領域と背景領域を含む3次元情報を矩形メッシュに分割することに限られず、クロップ処理部102cによりクロップ処理された原稿領域の3次元情報を矩形メッシュに分割してもよい。これにより、原稿領域のみの3次元情報を扱うことができ、演算負荷の軽減や、後述するばねモデルを用いることによる背景領域から悪影響を除去することができる。なお、本実施形態においては、原稿領域のクロップ処理によって、背景領域の3次元情報を除去する例について説明するが、これに限られず、読取制御部102aによる読取を行う際に、透明な原稿台に原稿を載置することによっても原稿領域のみの3次元情報を取得することができる。
Here, the mesh division unit 102e is not limited to dividing the three-dimensional information including the document region and the background region acquired by the three-dimensional
伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報を平面に伸張させる。より具体的には、伸張処理部102fは、メッシュ分割した各領域の3次元頂点間に、ばねモデルを適用した上で、3次元頂点を基準平面に伸張させる。ここで、伸張処理部102fは、3次元情報取得部102bにより取得された3次元情報において、クロップ処理部102cにより原稿領域と判定された領域の外側の背景領域の深度を、基準面の深度として平面に伸張させてもよい。なお、画像読取装置12と原稿台の位置関係が予め固定である場合等においては、伸張処理部102fは、予め設定された所定の深度平面に対して伸張させてもよい。
The
色マッピング部102gは、伸張処理部102fにより伸張された平面データ上に、画像データ一時ファイル106aに記憶された色情報をマッピングする。より具体的には、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB情報等)について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。
The
[2.本実施形態の処理]
上述した構成の情報処理装置100で実行される処理例について、図3〜図21を参照して説明する。なお、以下の実施形態の処理では、原稿歪み補正方法のみならず、クロッピング方法をも実施する例について説明するが、本願発明は、この処理例に限定されるものではなく、原稿歪み補正方法など説明中の一部処理のみを本願発明の対象としてもよいものである。[2. Processing of this embodiment]
An example of processing executed by the
[2−1.全体処理(その1)]
本実施形態の情報処理装置100における全体処理の一例について図3を参照して説明する。図3は、画像読取装置12から原稿台までの位置関係が固定である場合の情報処理装置100における全体処理の一例を示すフローチャートである。[2-1. Overall processing (part 1)]
An example of overall processing in the
図3に示すように、まず、3次元情報取得部102bは、読取制御部102aの処理により、画像読取装置12を制御して、原稿が載置されていない原稿台の画像を取得することにより、原稿台の深度情報を取得する(ステップSA−1)。なお、この処理は、初回だけ行われる処理であり、画像読取装置12から原稿台までの位置関係が固定であるため、2回目以降は、同じ原稿台の深度を利用する。
As shown in FIG. 3, first, the three-dimensional
つづいて、3次元情報取得部102bは、読取制御部102aの処理により、画像読取装置12を制御して、原稿が載置された原稿台の画像を取得することにより、原稿の色情報と3次元情報(深度情報等)を取得する(ステップSA−2)。なお、この3次元情報には、原稿領域と背景領域の3次元情報が含まれている。
Subsequently, the three-dimensional
そして、クロップ処理部102cは、3次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行う(ステップSA−3)。これにより、原稿領域のみの3次元情報が得られる。
Then, the
そして、メッシュ分割部102eは、深度に応じて適応的に細かくメッシュ分割することにより、3次元情報を矩形メッシュに分割する(ステップSA−4)。より具体的には、メッシュ分割部102eは、3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すことで、歪みに応じて適応的に細かくメッシュ分割を行う。 Then, the mesh dividing unit 102e divides the three-dimensional information into rectangular meshes by adaptively finely dividing the mesh according to the depth (step SA-4). More specifically, the mesh dividing unit 102e repeats the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by dividing the mesh is greater than or equal to a threshold for the three-dimensional information. Then, mesh division is adaptively finely performed according to the distortion.
そして、伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報を、ステップSA−1で得られた固定の深度の平面に伸張させる(ステップSA−5)。より具体的には、伸張処理部102fは、メッシュ分割した各領域の3次元頂点間に、ばねモデルを適用した上で、3次元頂点を、深度固定の基準平面に伸張させる。
Then, the
そして、色マッピング部102gは、伸張処理部102fにより伸張された平面データ上に、画像データ一時ファイル106aに記憶された色情報をマッピングする(ステップSA−6)。より具体的には、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB情報等)について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。
Then, the
以上が、本実施形態の情報処理装置100における全体処理の一例である。
The above is an example of the overall processing in the
[2−2.全体処理(その2)]
ここで、上述した全体処理の他の例について図4を参照して説明する。図4は、画像読取装置12から原稿台までの位置関係が可変である場合の情報処理装置100における全体処理の一例を示すフローチャートである。[2-2. Overall processing (2)]
Here, another example of the entire process described above will be described with reference to FIG. FIG. 4 is a flowchart illustrating an example of overall processing in the
図4に示すように、まず、3次元情報取得部102bは、読取制御部102aの処理により、画像読取装置12を制御して、原稿が載置された原稿台の画像を取得することにより、原稿の色情報と3次元情報(深度情報等)を取得する(ステップSB−1)。なお、この3次元情報には、原稿領域と背景領域の3次元情報が含まれている。
As shown in FIG. 4, first, the three-dimensional
そして、クロップ処理部102cは、3次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行う(ステップSB−2)。これにより、原稿領域のみの3次元情報が得られる。
Then, the
そして、クロップ処理部102cは、原稿領域と判定した外側の領域である背景領域の深度情報を、原稿台の平面の深度情報と推定して取得する(ステップSB−3)。ここで、図5は、原稿と原稿が載置された原稿台の関係を模式的に示した図である。図5に示すように、原稿領域の外側の背景領域は、原稿台の深度を表すことになるので、背景領域の深度情報を、原稿台の深度と推定することができる。
Then, the
そして、メッシュ分割部102eは、深度に応じて適応的に細かくメッシュ分割することにより、3次元情報を矩形メッシュに分割する(ステップSB−4)。より具体的には、メッシュ分割部102eは、3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すことで、歪みに応じて適応的に細かくメッシュ分割を行う。 Then, the mesh dividing unit 102e divides the three-dimensional information into rectangular meshes by adaptively finely dividing the mesh according to the depth (step SB-4). More specifically, the mesh dividing unit 102e repeats the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by dividing the mesh is greater than or equal to a threshold for the three-dimensional information. Then, mesh division is adaptively finely performed according to the distortion.
そして、伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報を、ステップSB−3で推定された原稿台の深度の平面に伸張させる(ステップSB−5)。より具体的には、伸張処理部102fは、メッシュ分割した各領域の3次元頂点間に、ばねモデルを適用した上で、3次元頂点を、推定された原稿台深度の基準平面に伸張させる。
Then, the
そして、色マッピング部102gは、伸張処理部102fにより伸張された平面データ上に、画像データ一時ファイル106aに記憶された色情報をマッピングする(ステップSB−6)。より具体的には、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB情報等)について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。
The
以上が、本実施形態の情報処理装置100における全体処理の一例である。
The above is an example of the overall processing in the
[2−3.クロッピング処理(その1)]
ここで、上述した全体処理における、より具体的なクロッピング処理の例について図6および図7を参照して説明する。図6は、本実施形態の情報処理装置100におけるクロッピング処理の一例を示すフローチャートである。また、図7は、図6におけるクロッピング処理の出力概念図である。[2-3. Cropping process (1)]
Here, a more specific example of the cropping process in the overall process described above will be described with reference to FIGS. FIG. 6 is a flowchart illustrating an example of the cropping process in the
図6に示すように、まず、クロップ処理部102cは、エッジ抽出部102dの処理により、画像データ一時ファイル106aに格納された色情報、および、3次元ファイル106bに格納された深度情報から、それぞれ色エッジと深度エッジを抽出する(ステップSC−1)。ここで、図7のMA−1は、抽出前の原稿綴じ媒体を示した図であり、MA−2は、色エッジの抽出例、MA−3は、深度エッジの抽出例を示している。なお、破線は、何らかの原因でエッジが抽出できなかった箇所を表している。また、白抜き線は、色エッジを表しており、一点鎖線は、深度エッジを表している。
As illustrated in FIG. 6, first, the
再び図6に戻り、クロップ処理部102cは、抽出した色エッジと深度エッジの各エッジについて輪郭を検出する(ステップSC−2)。ここで、クロップ処理部102cは、色と深度を用いて、以下のようにクロッピングの信頼性を向上させる。
Returning to FIG. 6 again, the
すなわち、画像全体に対して、以下のSC−3〜SC−8の処理を繰り返し実行する。 That is, the following processes SC-3 to SC-8 are repeatedly performed on the entire image.
繰り返し処理において、クロップ処理部102cは、色と深度の最外の輪郭について対応点を検出する(ステップSC−4)。
In the iterative processing, the
そして、クロップ処理部102cは、色と深度の対応点間の距離が閾値以下であるか否かを判定する(ステップSC−5)。
Then, the
色と深度の対応点間の距離が閾値以下である場合(ステップSC−5,Yes)、クロップ処理部102cは、色エッジの点をクロッピング対象点として、クロッピング対象の原稿領域を判定する(ステップSC−6)。ここで、図7のMA−4は、色エッジと深度エッジを重ね合わせた図である。図7に示すように、水平方向では、色エッジと深度エッジの両方が検出されており、この例では両者間は閾値以下であるので、色エッジがクロッピング対象点として選ばれる。これにより、深度よりも見た目の切れ目でクロップを行うことができる。
When the distance between the corresponding points of color and depth is equal to or smaller than the threshold (step SC-5, Yes), the
一方、色と深度の対応点間の距離が閾値を超える場合(ステップSC−5,No)、クロップ処理部102cは、画像中心から遠い点をクロッピング対象点として、クロッピング対象の原稿領域を判定する(ステップSC−7)。原稿よりも外側で誤検出が起こることはないと考えられるので、これにより、原稿欠けを防止してクロッピングの信頼性を向上させることができる。
On the other hand, when the distance between the corresponding points of color and depth exceeds the threshold value (No at Step SC-5), the
以上の繰り返し処理(ステップSC−3〜SC−8)が画像全体について実行されると、クロップ処理部102cは、判定したクロッピング対象点群を結んだものを、クロッピング対象の原稿領域と判定する(ステップSC−9)。
When the above iterative processing (steps SC-3 to SC-8) is performed on the entire image, the
以上が、本実施形態の情報処理装置100におけるクロッピング処理の一例である。
The above is an example of the cropping process in the
[2−4.クロッピング処理(その2)]
ここで、上述した全体処理におけるクロッピング処理の他の例について図8および図9を参照して説明する。図8は、本実施形態の情報処理装置100におけるクロッピング処理の他の例を示すフローチャートである。また、図9は、図8におけるクロッピング処理の出力概念図である。[2-4. Cropping process (2)]
Here, another example of the cropping process in the overall process described above will be described with reference to FIGS. FIG. 8 is a flowchart illustrating another example of the cropping process in the
図8に示すように、まず、クロップ処理部102cは、エッジ抽出部102dの処理により、画像データ一時ファイル106aに格納された色情報から水平方向の色エッジを抽出し、3次元ファイル106bに格納された深度情報から垂直方向の深度エッジを抽出する(ステップSD−1)。ここで、図9のMB−1は、エッジ抽出前の原稿綴じ媒体を示した図であり、MB−2は、水平方向の色エッジの抽出例、MB−3は、垂直方向の深度エッジの抽出例を示している。なお、破線は、何らかの原因でエッジが抽出できなかった箇所を表している。
As shown in FIG. 8, first, the
図9において、白抜き線は、水平方向の色エッジを表しており、一点鎖線は、垂直方向の深度エッジを表している。本実施形態のクロッピング処理(その2)では、綴じ媒体が原稿である場合に、その綴じ方向で深度エッジが現れやすいため、垂直方向の深度エッジを検出する。一方、綴じ方向とは垂直な水平方向では、深度エッジが検出しにくいので、色エッジを優先する。 In FIG. 9, white lines represent horizontal color edges, and alternate long and short dash lines represent vertical depth edges. In the cropping process (part 2) of the present embodiment, when the binding medium is a document, a depth edge is likely to appear in the binding direction, and thus a vertical depth edge is detected. On the other hand, in the horizontal direction perpendicular to the binding direction, it is difficult to detect the depth edge, so the color edge is prioritized.
すなわち、図8および図9<MB−3>に示すように、クロップ処理部102cは、抽出した垂直方向の深度エッジから、画像中の最上および最下の連続したエッジT(Top),B(Bottom)を検出する(SD−2)。
That is, as shown in FIG. 8 and FIG. 9 <MB-3>, the
そして、図8および図9<MB−2>に示すように、クロップ処理部102cは、抽出した水平方向の色エッジから、画像中の最左および最右の連続したエッジL(Left),R(Right)を検出する(SD−3)。
Then, as illustrated in FIGS. 8 and 9 <MB-2>, the
そして、クロップ処理部102cは、エッジT,Bの各々の端点と、エッジL,Rとの最短距離が閾値以下であるか否かを判定する(ステップSD−4)。
Then, the
最短距離が閾値以下である場合(ステップSD−4,Yes)、クロップ処理部102cは、図9<MB−4>に示すように、エッジT,BとエッジL,Rを統合して、クロップ対象の原稿領域を判定する(ステップSD−5)。これにより、深度エッジが現れにくい水平方向では、見た目の切れ目でクロップを行うことができる。
When the shortest distance is equal to or smaller than the threshold (step SD-4, Yes), the
一方、最短距離が閾値を超える場合(ステップSD−4,No)、クロップ処理部102cは、図9<MB−5>に示すように、エッジL,Rを使用せずに、深度エッジT,Bの両端点を結んで、クロップ対象の原稿領域を判定する(ステップSD−6)。これにより、深度よりも見た目の切れ目でクロップを行うことができる。これにより、原稿欠けを防止して、信頼性の高いクロップを行うことができる。
On the other hand, when the shortest distance exceeds the threshold (step SD-4, No), the
以上が、本実施形態の情報処理装置100におけるクロッピング処理の他の例である。
The above is another example of the cropping process in the
[2−5.原稿台深度推定処理]
本実施形態の情報処理装置100における原稿台深度推定処理の一例について図10および図11を参照して説明する。図10は、画像読取装置12から原稿台までの位置関係が未知である場合の情報処理装置100における原稿台深度推定処理の一例を示すフローチャートである。また、図11は、原稿台に載置された原稿を模式的に示した図である。[2-5. Document table depth estimation process]
An example of document table depth estimation processing in the
図10に示すように、まず、3次元情報取得部102bは、3次元ファイル106bを参照して、予め原稿台の平面情報が取得されているか否かを判定する(ステップSE−1)。
As shown in FIG. 10, first, the three-dimensional
予め原稿台の平面情報が取得されている場合(ステップSE−1,Yes)、原稿台深度推定処理を終え、一方、原稿台の平面情報が未だ取得されていない場合(ステップSE−1,No)、3次元情報取得部102bは、原稿領域の外側の背景領域に基づいて、原稿台の平面情報を取得する(ステップSE−2)。より具体的には、図11に示すように、3次元情報取得部102bは、クロップ処理部102cにより判定された原稿領域の外側の背景領域の3次元情報から平面ax+by+cz+d=0を求めることにより、原稿台の領域である背景領域の3次元情報から平面近似を行い原稿台の平面情報を取得する。
When the plane information of the document table is acquired in advance (Yes at Step SE-1), the document table depth estimation process is finished, and when the plane information of the document table is not acquired yet (Step SE-1, No). The three-dimensional
以上が、本実施形態の情報処理装置100における原稿台深度推定処理の例である。
The above is an example of document table depth estimation processing in the
[2−6.メッシュ分割処理]
本実施形態の情報処理装置100におけるメッシュ分割処理の一例について図12〜図15を参照して説明する。図12は、情報処理装置100におけるメッシュ分割処理の一例を示すフローチャートである。また、図13および図14は、原稿領域がメッシュ分割される様子を模式的に示した図である。また、図15は、最終的にメッシュ分割された結果を模式的に示す図である。[2-6. Mesh division processing]
An example of mesh division processing in the
図12に示すように、まず、メッシュ分割部102eは、クロップ処理部102cによりクロップ処理された原稿領域の3次元情報に基づく媒体曲面に対して、原稿台平面と垂直する平面で荒く矩形メッシュに分割する(ステップSF−1)。すなわち、図13に示すように、メッシュ分割部102eは、原稿領域の3次元情報を、所定の大きさのメッシュに均等分割してもよい。
As shown in FIG. 12, first, the mesh dividing unit 102e forms a rough rectangular mesh on a plane perpendicular to the platen plane with respect to the medium curved surface based on the three-dimensional information of the document area cropped by the
そして、メッシュ分割部102eは、メッシュ分割した各領域内の3次元ポイント群を平面に近似する(ステップSF−2)。 Then, the mesh division unit 102e approximates the three-dimensional point group in each region obtained by mesh division to a plane (step SF-2).
そして、メッシュ分割部102eは、メッシュ分割した各領域内の3次元ポイントと近似平面との距離(誤差)を計算する(ステップSF−3)。 Then, the mesh dividing unit 102e calculates a distance (error) between the three-dimensional point in each region divided by the mesh and the approximate plane (step SF-3).
近似平面との距離が閾値以上である場合(ステップSF−4,Yes)、メッシュ分割部102eは、メッシュ分割した領域中で距離が一番大きなポイントを検出して、このポイントを通る垂直平面で更に細かい矩形メッシュに分割して、新たな領域を追加する(ステップSF−5)。図14に示すように、最初の6分割メッシュにおいて、上段中央のメッシュの歪み量が大きく平面に近似しようとすると誤差が閾値以上となる場合、メッシュ分割部102eは、1つの矩形メッシュを4つの矩形メッシュに分割する。 When the distance to the approximate plane is equal to or greater than the threshold (Yes at step SF-4), the mesh dividing unit 102e detects the point having the largest distance in the mesh-divided region, and uses the vertical plane passing through this point. It is further divided into fine rectangular meshes, and a new area is added (step SF-5). As shown in FIG. 14, in the first 6-divided mesh, when the amount of distortion of the upper middle mesh is large and the error is greater than or equal to the threshold value, the mesh dividing unit 102e Divide into rectangular meshes.
一方、近似平面との距離が閾値未満である場合(ステップSF−4,No)、当該処理は行わず、次のステップに進む。 On the other hand, when the distance to the approximate plane is less than the threshold (No at Step SF-4), the process is not performed and the process proceeds to the next step.
そして、メッシュ分割部102eは、分割された全てのメッシュ領域についてチェックが終了したか否かを判定する(ステップSF−6)。まだ、判定を行っていないメッシュ領域がある場合は(ステップSF−6,No)、次の領域についてステップSF−2に戻り上述した処理を繰り返す。換言すると、近似平面と実際の3次元情報との距離に差がある場合は、メッシュ領域面積を小さくし、同様の処理を繰り返す。すなわち、深度が急峻に変化する領域は細かくメッシュ化され、ゆるやかな部分は広い範囲でメッシュ化される。 Then, the mesh division unit 102e determines whether or not the check has been completed for all divided mesh regions (step SF-6). If there is a mesh area that has not been determined yet (step SF-6, No), the process returns to step SF-2 for the next area and the above-described processing is repeated. In other words, if there is a difference in the distance between the approximate plane and the actual three-dimensional information, the mesh area is reduced and the same processing is repeated. That is, the region where the depth changes sharply is finely meshed, and the loose portion is meshed in a wide range.
一方、全てのメッシュ領域についてチェックが終了すると(ステップSF−6,Yes)、分割したメッシュ集合を記録して処理を終える(ステップSF−7)。図15に示すように、最終的に分割されたメッシュ領域は、原稿の歪み量に応じて適応的に細かくメッシュ分割が行われる。これにより、紙の浮きや折り目などに応じて細かくメッシュを設定することができ、特にメッシュ間に折り目などの顕著な変化点が存在する場合は、更に細かくメッシュを設定することができるので、歪み補正の精度が向上する。 On the other hand, when the check is completed for all the mesh regions (step SF-6, Yes), the divided mesh set is recorded and the process is finished (step SF-7). As shown in FIG. 15, the finally divided mesh region is adaptively finely divided according to the amount of distortion of the document. This makes it possible to finely set the mesh according to paper floats and creases, especially when there are significant change points such as creases between the meshes. The accuracy of correction is improved.
以上が、本実施形態の情報処理装置100におけるメッシュ分割処理の例である。
The above is an example of the mesh division processing in the
[2−7.伸張処理]
本実施形態の情報処理装置100における伸張処理の一例について図16〜図19を参照して説明する。図16は、本実施形態において適用するばねモデルを模式的に示した図である。図17は、情報処理装置100における伸張処理の一例を示すフローチャートである。また、図18は、伸張前の旧メッシュ集合を示した図であり、図19は、伸張後の新メッシュ集合を示した図である。[2-7. Decompression processing]
An example of decompression processing in the
伸張処理を行うにあたって、本実施形態では、ばねモデルを適用する。図16に示すように、3次元頂点をV(X,Y,Z)とおくと、2つの3次元頂点a,b間には、ばね係数K_dのばねがあるかのように収縮・伸張させる(M.S. Brown著” Document restoration using 3D shape: a general deskewing algorithm for arbitrarily warped documents, Computer Vision, 2001”参照)。 In performing the extension process, a spring model is applied in the present embodiment. As shown in FIG. 16, when the three-dimensional vertex is V (X, Y, Z), the two three-dimensional vertices a and b are contracted and expanded as if there is a spring having a spring coefficient K_d. (See MS Brown, "Document restoration using 3D shape: general deskewing algorithm for arbitrarily warped documents, Computer Vision, 2001").
具体的な伸張処理として、図17に示すように、まず、伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報をデモデリングして、3次元頂点を抽出する(ステップSG−1)。
As specific decompression processing, as shown in FIG. 17, first, the
そして、伸張処理部102fは、3次元頂点群の各頂点に作用する力を計算する(ステップSG−2)。より具体的には、伸張処理部102fは、下記の式に基づいて、2つの頂点a,b間の力を計算する。
そして、伸張処理部102fは、計算した3次元頂点間にはたらく力に基づいて、スピードと移動量を更新する(ステップSG−3)。より具体的には、伸張処理部102fは、下記の式に基づいて、2つの頂点a,b間の力から位置ベクトルと移動ベクトルを計算する。
そして、伸張処理部102fは、全ての頂点群が、原稿台平面(所定の深度)に到達したか否かを判定する(ステップSG−4)。
Then, the
全ての頂点群が原稿台平面に到達していない場合(SG−4,No)、伸張処理部102fは、ステップSG−2に処理を戻し、上述した処理を繰り返す。
If all the vertex groups have not reached the document table plane (SG-4, No), the
一方、全ての頂点群が原稿台平面に到達した場合(SG−4,Yes)、伸張処理部102fは、原稿台平面上ですべてのメッシュエッジに対して、現在の伸張後の長さと、伸張前の原長を比較して、頂点の位置を調整する(ステップSG−5)。すなわち、伸張処理部102fは、図18に示す伸張前の原長と、図19に示す伸張後の長さとを比較して、メッシュ領域の頂点位置を調整する。
On the other hand, when all the vertex groups have reached the platen plane (SG-4, Yes), the
そして、伸張処理部102fは、所定の収束条件を満たしたか否かを判定する(ステップSG−6)。所定の収束条件を満たしていない場合は(ステップSG−6,No)、伸張処理部102fは、ステップSG−5に処理を戻し、再調整を行う。
Then, the
所定の収束条件を満たした場合(ステップSG−6,Yes)、伸張処理部102fは、調整を終了して、伸張後の各頂点の新しい座標を新メッシュ集合として取得して処理を終える(ステップSG−7)。
When the predetermined convergence condition is satisfied (step SG-6, Yes), the
以上が、本実施形態の情報処理装置100における伸張処理の例である。
The above is an example of the decompression process in the
[2−8.マッピング処理]
本実施形態の情報処理装置100におけるマッピング処理の一例について図20および図21を参照して説明する。図20は、情報処理装置100におけるマッピング処理の一例を示すフローチャートである。また、図21は、メッシュ集合とRGB画像とのマッピング処理を模式的に示した図である。[2-8. Mapping process]
An example of the mapping process in the
図20に示すように、色マッピング部102gは、3次元ファイル106bに記憶された、伸張処理部102fによる伸張前のメッシュ四角頂点の元位置(X,Y,Z)を取得する(ステップSH−1,図21<MC−1>)。
As shown in FIG. 20, the
そして、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB画像)を取得して、対応するRGB画像中の位置(u,v)を取得する(ステップSH−2,図21<MC−2>)。
Then, the
そして、色マッピング部102gは、伸張処理部102fにより伸張された後の新メッシュ四角頂点の位置(X´,Y´,Z´)を取得する(ステップSH−3,図21<MC−3>)。
Then, the
そして、色マッピング部102gは、対応するRGB画像中の位置(u´,v´)を取得する(ステップSH−4,図21<MC−4>)。
Then, the
そして、色マッピング部102gは、4つの頂点RGB画像位置(u,v)と(u´,v´)を用いて、透視変換マトリクスを求める(ステップSH−5)。
The
そして、色マッピング部102gは、透視変換マトリクスを用いて、元四角中の各ピクセルの新しいRGB画像座標を求めてRGB情報を指定する(ステップSH−6)。
Then, the
以上の処理により、色マッピング部102gは、歪み補正が行われた2次元RGB画像を取得し、加工画像データとして加工画像ファイル106cに格納する。
Through the above processing, the
以上が、本実施形態の情報処理装置100の色マッピング処理の例である。
The above is an example of the color mapping process of the
[3.本実施形態のまとめ、及び他の実施形態]
以上、本実施形態によれば、情報処理装置100は、3次元情報を矩形メッシュに分割する場合において、深度に応じて適応的に細かくメッシュ分割し、分割した3次元情報を平面に伸張させる。これにより、原稿の浮きや折り目等がある場合であっても的確に原稿歪みを補正することができる。[3. Summary of this embodiment and other embodiments]
As described above, according to the present embodiment, when the three-dimensional information is divided into rectangular meshes, the
また、本実施形態によれば、3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すので、深度が急峻に変化する領域は細かくメッシュ化され、ゆるやかな部分は広い範囲でメッシュ化することができる。 In addition, according to the present embodiment, when the error of the approximate plane obtained by mesh division with respect to the three-dimensional information is greater than or equal to the threshold, the process of dividing the rectangular mesh into a plurality of rectangles is repeated, so that the depth is steep The region that changes to be finely meshed, and the loose part can be meshed in a wide range.
また、本実施形態によれば、原稿の3次元情報を取得し、3次元情報において原稿領域をクロップ処理し、クロップされた3次元情報を用いてメッシュ分割を行うので、原稿領域のみの3次元情報を扱うことができ、演算負荷の軽減や、後述するばねモデルを用いることによる背景領域から悪影響を除去することができる。 In addition, according to the present embodiment, the 3D information of the document is acquired, the document area is cropped in the 3D information, and mesh division is performed using the cropped 3D information. Information can be handled, and the adverse effect can be removed from the background area by reducing the calculation load and using a spring model described later.
また、本実施形態によれば、3次元情報取得手段により取得された3次元情報において、判定された原稿領域の背景領域の深度を得ることにより、平面に伸張させる際の基準面を得るので、原稿台までの距離が未知の場合であっても、原稿台までの深度を推定することができる。 In addition, according to the present embodiment, in the three-dimensional information acquired by the three-dimensional information acquisition unit, by obtaining the depth of the background area of the determined document area, a reference plane for extending to the plane is obtained. Even when the distance to the document table is unknown, the depth to the document table can be estimated.
また、本実施形態によれば、透明な原稿台に載置された原稿の3次元情報を取得し、3次元情報を用いてメッシュ分割を行うので、原稿領域のみの3次元情報を扱うことができ、演算負荷の軽減や、後述するばねモデルを用いることによる背景領域から悪影響を除去することができる。 In addition, according to the present embodiment, since the three-dimensional information of the document placed on the transparent document table is acquired and mesh division is performed using the three-dimensional information, it is possible to handle the three-dimensional information of only the document region. It is possible to reduce the calculation load and remove adverse effects from the background area by using a spring model described later.
また、本実施形態によれば、伸張された平面データ上に、色情報をマッピングするので、原稿歪みを補正した画像を取得することができる。 Further, according to the present embodiment, color information is mapped on the expanded plane data, so that an image with corrected document distortion can be acquired.
さらに、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。例えば、画像読取部122は、赤外領域以外の波長領域の光を検出してもよい。また、情報処理装置100がスタンドアローンの形態で処理を行う場合を一例に説明したが、情報処理装置100とは別筐体のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
Furthermore, the present invention may be implemented in various different embodiments other than the above-described embodiments within the scope of the technical idea described in the claims. For example, the
また、情報処理装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、情報処理装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて情報処理装置100に機械的に読み取られる。すなわち、ROMまたはHDDなどの記憶部106などには、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。また、このコンピュータプログラムは、情報処理装置100に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
In addition, regarding the
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。 In addition, the program according to the present invention may be stored in a computer-readable recording medium, and may be configured as a program product. Here, the “recording medium” means a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray (registered trademark). It includes any “portable physical medium” such as Disc. The “program” is a data processing method described in an arbitrary language or description method, and may be in any format such as source code or binary code. The “program” is not necessarily limited to a single configuration, but is distributed in the form of a plurality of modules and libraries, or in cooperation with a separate program represented by an OS (Operating System). Including those that achieve the function. In addition, a well-known structure and procedure can be used about the specific structure for reading a recording medium in each apparatus shown in embodiment, a reading procedure, or the installation procedure after reading.
記憶部106に格納される各種のデータベース等(画像データ一時ファイル106a、3次元ファイル106b、加工画像ファイル106c)は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理に用いる各種のプログラム、テーブル、および、データベース等を格納する。
Various databases and the like (image data temporary file 106a, three-
また、情報処理装置100は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、情報処理装置100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
The
以上のように、本発明に係る原稿歪み補正装置、原稿歪み補正方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。 As described above, the document distortion correction apparatus, the document distortion correction method, and the program according to the present invention can be implemented in many industrial fields, particularly in the image processing field that handles images read by a scanner. Useful.
12 画像読取装置
121 パターン光源
122 画像読取部
100 情報処理装置
102 制御部
102a 読取制御部
102b 3次元情報取得部
102c クロップ処理部
102d エッジ抽出部
102e メッシュ分割部
102f 伸張処理部
102g 色マッピング部
106 記憶部
106a 画像データ一時ファイル
106b 3次元ファイル
106c 加工画像ファイル
108 入出力インターフェース部
112 入力部
114 出力部DESCRIPTION OF SYMBOLS 12
Claims (7)
上記メッシュ分割手段により分割した上記3次元情報を平面に伸張させる伸張手段と、
を備えたことを特徴とする原稿歪み補正装置。 When 3D information is divided into rectangular meshes, the above 3D information is divided into meshes so that the region where the depth changes sharply is finely meshed and the gentle part is meshed over a wide range. Mesh division means for repeating the process of dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane is equal to or greater than a threshold ;
Stretching means for stretching the three-dimensional information divided by the mesh dividing means into a plane;
Original distortion correction apparatus characterized by comprising a.
原稿の上記3次元情報を取得する3次元情報取得手段と、
上記3次元情報において原稿領域をクロップ処理するクロップ処理手段と、
を更に備え、
上記メッシュ分割手段は、
クロップされた上記3次元情報を用いてメッシュ分割を行うことを特徴とする原稿歪み補正装置。 The document distortion correcting device according to claim 1 ,
3D information acquisition means for acquiring the 3D information of the original;
Crop processing means for cropping the document area in the three-dimensional information;
Further comprising
The mesh dividing means is
An original document distortion correction apparatus that performs mesh division using the cropped three-dimensional information.
上記伸張手段は、
上記3次元情報取得手段により取得された上記3次元情報において、上記クロップ処理手段により判定された上記原稿領域の背景領域の深度を得ることにより、平面に伸張させる際の基準面を得ることを特徴とする原稿歪み補正装置。 The document distortion correcting device according to claim 2 ,
The expansion means is
In the three-dimensional information acquired by the three-dimensional information acquisition means, a reference plane for expansion to a plane is obtained by obtaining the depth of the background area of the document area determined by the crop processing means. Document distortion correction device.
透明な原稿台に載置された原稿の上記3次元情報を取得する3次元情報取得手段、
を更に備え、
上記メッシュ分割手段は、上記3次元情報を用いてメッシュ分割を行うことを特徴とする原稿歪み補正装置。 The document distortion correcting device according to claim 1 ,
3D information acquisition means for acquiring the 3D information of a document placed on a transparent document table;
Further comprising
The document distortion correcting apparatus, wherein the mesh dividing means performs mesh division using the three-dimensional information.
上記伸張手段により伸張された平面データ上に、色情報をマッピングするマッピング手段を更に備えることを特徴とする原稿歪み補正装置。 The document distortion correction device according to any one of claims 1 to 4 ,
A document distortion correction apparatus, further comprising mapping means for mapping color information onto the plane data expanded by the expansion means.
上記メッシュ分割ステップにて分割した上記3次元情報を平面に伸張させる伸張ステップと、
を含むことを特徴とする原稿歪み補正方法。 When 3D information is divided into rectangular meshes, the above 3D information is divided into meshes so that the region where the depth changes sharply is finely meshed and the gentle part is meshed over a wide range. A mesh division step for repeating the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane is equal to or greater than a threshold ;
An extension step of extending the three-dimensional information divided in the mesh division step into a plane;
A document distortion correction method comprising:
上記メッシュ分割ステップにて分割した上記3次元情報を平面に伸張させる伸張ステップと、
をコンピュータに実行させるためのプログラム。 When 3D information is divided into rectangular meshes, the above 3D information is divided into meshes so that the region where the depth changes sharply is finely meshed and the gentle part is meshed over a wide range. A mesh division step for repeating the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane is equal to or greater than a threshold ;
An extension step of extending the three-dimensional information divided in the mesh division step into a plane;
A program that causes a computer to execute.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/057912 WO2015141009A1 (en) | 2014-03-20 | 2014-03-20 | Original document distortion correction apparatus, original document distortion correction method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015141009A1 JPWO2015141009A1 (en) | 2017-04-06 |
JP6194407B2 true JP6194407B2 (en) | 2017-09-06 |
Family
ID=54144009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016508434A Active JP6194407B2 (en) | 2014-03-20 | 2014-03-20 | Document distortion correction apparatus, document distortion correction method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6194407B2 (en) |
WO (1) | WO2015141009A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860475B (en) * | 2019-04-28 | 2023-12-19 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1013608A (en) * | 1996-06-26 | 1998-01-16 | Minolta Co Ltd | Image reader |
EP1067757A1 (en) * | 1999-07-09 | 2001-01-10 | Hewlett-Packard Company | Curled surface imaging system |
JP4095768B2 (en) * | 2000-11-24 | 2008-06-04 | 株式会社日立製作所 | Image processing method and non-contact image input apparatus using the same |
JP4918171B1 (en) * | 2011-07-21 | 2012-04-18 | パナソニック株式会社 | Image processing apparatus and document reading system having the same |
-
2014
- 2014-03-20 JP JP2016508434A patent/JP6194407B2/en active Active
- 2014-03-20 WO PCT/JP2014/057912 patent/WO2015141009A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2015141009A1 (en) | 2017-04-06 |
WO2015141009A1 (en) | 2015-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3580670B2 (en) | Method for associating input image with reference image, apparatus therefor, and storage medium storing program for implementing the method | |
US9665168B2 (en) | Image processing apparatus, information processing method, and program | |
JP4358193B2 (en) | Automatic image cropping method | |
CN110557515B (en) | Image processing apparatus, image processing method, and storage medium | |
JP5153593B2 (en) | Image processing apparatus and image processing method | |
EP1395952B1 (en) | Method and system for processing a non-linear two dimensional spatial transformation | |
KR102403964B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2009218953A (en) | Image processing apparatus, image processing method and image processing program | |
US7463772B1 (en) | De-warping of scanned images | |
JP2003304390A (en) | Image compensating device, program, memory medium, image compensating method, image reader, and image forming device | |
JP2009278363A (en) | Image processor and image processing method | |
JP6052997B2 (en) | Overhead scanner device, image acquisition method, and program | |
JP6421452B2 (en) | Copier, computer program for copier, and method executed by copier | |
US9232109B2 (en) | Image processing apparatus and image processing method specifying a type of original based on whether a high frequency component is included in an acquired spatial frequency feature including a feature of fiber of an original | |
CN112424565B (en) | Vehicle-mounted environment recognition device | |
Zhang et al. | Warped image restoration with applications to digital libraries | |
JP6194407B2 (en) | Document distortion correction apparatus, document distortion correction method, and program | |
CN115619656A (en) | Digital file deviation rectifying method and system | |
JP2004343667A (en) | Image processing apparatus, image processing program and recording medium | |
JP4013060B2 (en) | Image correction method and image correction apparatus | |
JP6194408B2 (en) | Cropping apparatus, cropping method, and program | |
JP6181779B2 (en) | Overhead scanner device, image acquisition method, and program | |
JP4456304B2 (en) | Distortion correction method | |
US20110110604A1 (en) | Cropping scanned pages to remove artifacts | |
US9811877B2 (en) | Image processing device selecting arrangement method for generating arranged image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6194407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |