JP2016053580A - 書籍読み取りシステム及び書籍読み取り方法 - Google Patents
書籍読み取りシステム及び書籍読み取り方法 Download PDFInfo
- Publication number
- JP2016053580A JP2016053580A JP2015226738A JP2015226738A JP2016053580A JP 2016053580 A JP2016053580 A JP 2016053580A JP 2015226738 A JP2015226738 A JP 2015226738A JP 2015226738 A JP2015226738 A JP 2015226738A JP 2016053580 A JP2016053580 A JP 2016053580A
- Authority
- JP
- Japan
- Prior art keywords
- book
- image
- page
- camera
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 51
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Scanning Arrangements (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
Abstract
Description
ページ状態測定部と、書籍画像取得部と、データ処理部とを備えており、
前記ページ状態測定部は、めくられている書籍のページ状態を測定する構成となっており、
前記書籍画像取得部は、複数の第1カメラを備えており、
前記複数の第1カメラは、互いに異なる方向から、前記書籍のページについての書籍画像をそれぞれ取得する構成となっており、
前記データ処理部は、前記ページ状態測定部で測定された前記書籍のページ状態の情報を用いて、前記書籍画像取得部で取得された前記書籍画像を補正する構成となっている
ことを特徴とする書籍読み取りシステム。
前記ページ状態測定部は、前記書籍のページに向けて既定のパターンを投影するためのパターン光源を備えており、
前記複数の第1カメラは、前記パターンが投影されているページの形状画像をさらに取得する構成となっている
項目1に記載の書籍読み取りシステム。
前記複数の第1カメラは、前記パターン光源から前記パターンが投影されているタイミングで前記形状画像を取得し、前記パターン光源から前記パターンが投影されていないタイミングで前記書籍画像を取得する構成となっている
項目2に記載の書籍読み取りシステム。
前記ページ状態測定部は、形状画像用の第2カメラを備えており、
前記第2カメラは、前記パターン光源から投影される波長の光を透過させ、それ以外の環境光を遮断するフィルタを備えており、
前記パターン光源は、既定の波長の光を用いて、前記書籍のページに向けて、前記既定のパターンを投影する構成とされており、
これによって、前記第2カメラは、前記書籍のページに投影された前記既定のパターンを取得可能とされている
項目1に記載の書籍読取システム。
前記第1カメラは、前記書籍の1ページ当たりで複数枚の書籍画像を取得する構成となっており、
前記データ処理部は、前記複数枚の書籍画像の情報を統合す ることで、ページ形状の歪みが補正された 書籍画像の精細度を向上させる構成となっている
項目1〜4のいずれか1項に記載の書籍読取システム。
本実施形態の書籍読み取りシステムは、書籍画像取得部1と、ページ状態測定部2と、データ処理部3と、制御部4とを備えている(図1参照)。
次に、図3を参照して、本実施形態に係る書籍読取システムの動作を説明する。
まず、制御部4により、ページ状態測定部2と書籍画像取得部1とを駆動して、書籍の形状画像と書籍画像とをそれぞれ取得する。
次に、データ処理部3のページ初期形状取得部31により、形状画像についての各撮影時刻での、ページ初期形状を取得する。この処理を、図4をさらに参照しながら説明する。
(可展面について)
ここで、本実施形態の説明において言及する可展面について説明する。可展面は、直線ベクトルξが動いた時の包絡面として描かれる曲面のうち、曲面上の任意の点のガウス曲率が0 となるものを指す。ここでは、可展面を描く各直線を母線と呼ぶ。また、母線(rulings) を結ぶ曲線ベクトルγを準線(directrix) と呼ぶ(図5参照)。可展面の一般式は、X(s, r) = γ(s)+rξ(s) で記述される。s は曲線γ の曲線長であり、rは単位ベクトルξの向きと長さを表す。可展面の記述例として、
形状画像から、可展面の3 次元形状を計算する方法を以下に説明する。本ステップは、形状画像の各点が、実際に投影された光源パターンのどの位置と対応するかを特定し、その対応を利用して各点の3次元位置を三角測量によって導出するものである。
この方法の概要を図7に示す。入力画像のレンズ歪みは補正されているものとする。まず、透視投影の関係式
(方法2)
連続する3 時刻に撮像された画像で、対応点を取得する。対応点を取得するために、連続する画像を3枚用意する。ここでは、時刻t−1, t, t + 1の画像を用意したものとする。なお、t−1,t + 1時刻目の画像が形状画像、t時刻目の画像が書籍画像とする。
本実施形態では、第1カメラが複数となっている。そこで、各カメラの座標系で記述された形状を、キャリブレーションで得られた座標変換を用いて基準座標系に位置合わせする。基準座標系は、メインカメラを1 つ選び、同カメラの座標系とする。このように、時刻ごとに、全てのカメラの形状を同一座標系に移動する。
ステップSB−2において同一座標に位置合わせされている3 次元点群を入力とした可展面の形状推定を述べる。可展面のモデルとして、
T×N2枚の書籍画像から、曲面上の同じ範囲を画像中で観測している2枚の画像のペアを複数作成する。取り出した2枚の画像から同一の点の位置を検出し、対応点として保存する。ここでTは撮影時間数、N2は第1カメラの台数である。
ここでは、ステップSB-4で検出された画像上の各対応点の可展面上の位置を求める。これは各カメラの光軸中心と画像点を結ぶ3次元直線と、可展面との交点を求める問題として算出が可能である。次に、算出された可展面上の3次元点から、平面に展開されたときの同点の座標を求める。これは、上述の可展面の概要で述べた手法を用いる。次に、展開された座標系での基準座標系を定め、同座標系への変換を求める。以上の手続きによって、画像上の点qに対応する可展面上の3次元点Xと展開面上の点u、及び各時刻の可展面を展開後に基準の展開面の座標系に位置合わせするための変換ψが求められる。
ステップSB-4で検出された、2枚の書籍画像間での対応点は、可展面の展開によって生成される補正画像上で、同じ位置になる。そこで、対応点について次のような最適化問題を解くことで、T時刻分の可展面を再推定する。この処理は、複数のカメラ視点で複数回撮像された観測情報を統合して、各時刻の可展面を推定しているものなので、本発明における「複数枚の書籍画像の情報を統合する処理」の一例に相当する。
ついで、図3のステップSA-4とSA-5を収束するまで繰り返す。これらの処理は、複数枚の書籍画像を統合して、1枚の補正された書籍画像を生成するものなので、本発明における「複数枚の書籍画像の情報を統合する処理」の一例に相当する。
ついで、データ処理部3の形状復元部33により、書籍画像の形状を復元する。この手続きはステップSA-4で補正画像Jを推定していた問題を、可展面パラメータΘを推定する問題に切り替えることで達成できる。これは
まず、推定された変形パラメータΘkを用いて推定撮像画像〜Ik を作成する。この画像の作成方法は、 ステップSA-4で述べたものと同じである。
次に、入力画像Ik と作成された推定撮像画像〜Ik の間で特徴点の対応を取得する。特徴点の対応は、ステップSB-4で述べたものと同じ手法を用いる。
本実施形態の手法では、補正画像を変化させずに、カメラ画像同士の対応点同士の位置の誤差を最小化する可展面パラメータを探索し、正しい可展面を復元する。
以下、本発明の第2実施形態に係るシステムを、図12を参照しながら以下に説明する。なお、第2実施形態の説明においては、前記した第1実施形態の説明と基本的に共通する要素については、同一符号を用いることにより、説明の煩雑を避ける。
11 第1カメラ
12 拡散光源
2 ページ状態測定部
21 第2カメラ
22 パターン光源
3 データ処理部
31 ページ初期形状取得部
32 補正画像復元部
33 形状復元部
4 制御部
Claims (5)
- ページ状態測定部と、書籍画像取得部と、データ処理部とを備えており、
前記ページ状態測定部は、めくられている書籍のページ状態を測定する構成となっており、
前記書籍画像取得部は、複数の第1カメラを備えており、
前記複数の第1カメラは、互いに異なる方向から、前記書籍のページについての書籍画像をそれぞれ取得する構成となっており、
前記データ処理部は、前記ページ状態測定部で測定された前記書籍のページ状態の情報を用いて、前記書籍画像取得部で取得された前記書籍画像を補正する構成となっている
ことを特徴とする書籍読み取りシステム。 - 前記ページ状態測定部は、前記書籍のページに向けて既定のパターンを投影するためのパターン光源を備えており、
前記複数の第1カメラは、前記パターンが投影されているページの形状画像をさらに取得する構成となっている
請求項1に記載の書籍読み取りシステム。 - 前記複数の第1カメラは、前記パターン光源から前記パターンが投影されているタイミングで前記形状画像を取得し、前記パターン光源から前記パターンが投影されていないタイミングで前記書籍画像を取得する構成となっている
請求項2に記載の書籍読み取りシステム。 - 前記ページ状態測定部は、形状画像用の第2カメラを備えており、
前記第2カメラは、前記パターン光源から投影される波長の光を透過させ、それ以外の環境光を遮断するフィルタを備えており、
前記パターン光源は、既定の波長の光を用いて、前記書籍のページに向けて、前記既定のパターンを投影する構成とされており、
これによって、前記第2カメラは、前記書籍のページに投影された前記既定のパターンを取得可能とされている
請求項1に記載の書籍読取システム。 - 前記第1カメラは、前記書籍の1ページ当たりで複数枚の書籍画像を取得する構成となっており、
前記データ処理部は、前記複数枚の書籍画像の情報を統合することで、ページ形状の歪みが補正された書籍画像の精細度を向上させる構成となっている
請求項1〜4のいずれか1項に記載の書籍読取システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US37551110P | 2010-08-20 | 2010-08-20 | |
US61/375,511 | 2010-08-20 | ||
US201161509038P | 2011-07-18 | 2011-07-18 | |
US61/509,038 | 2011-07-18 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012529618A Division JPWO2012023596A1 (ja) | 2010-08-20 | 2011-08-19 | 書籍読み取りシステム及び書籍読み取り方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016053580A true JP2016053580A (ja) | 2016-04-14 |
JP6099281B2 JP6099281B2 (ja) | 2017-03-22 |
Family
ID=45605248
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012529618A Pending JPWO2012023596A1 (ja) | 2010-08-20 | 2011-08-19 | 書籍読み取りシステム及び書籍読み取り方法 |
JP2015226738A Active JP6099281B2 (ja) | 2010-08-20 | 2015-11-19 | 書籍読み取りシステム及び書籍読み取り方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012529618A Pending JPWO2012023596A1 (ja) | 2010-08-20 | 2011-08-19 | 書籍読み取りシステム及び書籍読み取り方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9065962B2 (ja) |
EP (1) | EP2608147B1 (ja) |
JP (2) | JPWO2012023596A1 (ja) |
CN (1) | CN103069452B (ja) |
WO (1) | WO2012023596A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6236819B2 (ja) * | 2013-03-19 | 2017-11-29 | 大日本印刷株式会社 | 検査装置、検査方法、および、検査装置用のプログラム |
JP6163806B2 (ja) * | 2013-03-19 | 2017-07-19 | 大日本印刷株式会社 | 検査装置、検査方法、および、検査装置用のプログラム |
JP6728750B2 (ja) * | 2016-02-22 | 2020-07-22 | 株式会社リコー | 画像読取装置、画像形成装置、原稿画像表示方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001201457A (ja) * | 2000-01-20 | 2001-07-27 | Sukiyan Technol:Kk | ペットボトル内沈殿異物検査方法及びその装置 |
JP2003078725A (ja) * | 2001-02-14 | 2003-03-14 | Ricoh Co Ltd | 画像入力装置 |
JP2003244531A (ja) * | 2001-12-11 | 2003-08-29 | Ricoh Co Ltd | 画像入力装置 |
WO2007091604A1 (ja) * | 2006-02-09 | 2007-08-16 | Honda Motor Co., Ltd. | 三次元物体を検出する装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7508978B1 (en) * | 2004-09-13 | 2009-03-24 | Google Inc. | Detection of grooves in scanned images |
US7660458B1 (en) * | 2004-12-14 | 2010-02-09 | Google Inc. | Three-dimensional model construction using unstructured pattern |
-
2011
- 2011-08-19 CN CN201180040102.0A patent/CN103069452B/zh not_active Expired - Fee Related
- 2011-08-19 US US13/818,099 patent/US9065962B2/en active Active
- 2011-08-19 EP EP11818236.9A patent/EP2608147B1/en active Active
- 2011-08-19 WO PCT/JP2011/068734 patent/WO2012023596A1/ja active Application Filing
- 2011-08-19 JP JP2012529618A patent/JPWO2012023596A1/ja active Pending
-
2015
- 2015-11-19 JP JP2015226738A patent/JP6099281B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001201457A (ja) * | 2000-01-20 | 2001-07-27 | Sukiyan Technol:Kk | ペットボトル内沈殿異物検査方法及びその装置 |
JP2003078725A (ja) * | 2001-02-14 | 2003-03-14 | Ricoh Co Ltd | 画像入力装置 |
JP2003244531A (ja) * | 2001-12-11 | 2003-08-29 | Ricoh Co Ltd | 画像入力装置 |
WO2007091604A1 (ja) * | 2006-02-09 | 2007-08-16 | Honda Motor Co., Ltd. | 三次元物体を検出する装置 |
Non-Patent Citations (1)
Title |
---|
TAKASHI NAKASHIMA, BOOK FLIPPING SCANNING, vol. UIST2009, JPN6015024860, 5 October 2009 (2009-10-05), ISSN: 0003481643 * |
Also Published As
Publication number | Publication date |
---|---|
EP2608147A4 (en) | 2017-08-30 |
US20140009797A1 (en) | 2014-01-09 |
CN103069452A (zh) | 2013-04-24 |
JPWO2012023596A1 (ja) | 2013-10-28 |
US9065962B2 (en) | 2015-06-23 |
EP2608147A1 (en) | 2013-06-26 |
WO2012023596A1 (ja) | 2012-02-23 |
CN103069452B (zh) | 2017-05-24 |
JP6099281B2 (ja) | 2017-03-22 |
EP2608147B1 (en) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7317558B2 (en) | System and method for image processing of multiple images | |
JP6344050B2 (ja) | 画像処理システム、画像処理装置、プログラム | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2014131257A (ja) | 画像補正システム、画像補正方法及びプログラム | |
JP2001320652A (ja) | プロジェクタ装置 | |
WO2010055625A1 (ja) | 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム | |
JP2007323615A (ja) | 画像処理装置及びその処理方法 | |
JP2013005258A (ja) | ブレ補正装置、ブレ補正方法及び帳票 | |
JP6099281B2 (ja) | 書籍読み取りシステム及び書籍読み取り方法 | |
JP2015233266A (ja) | 画像処理システム、情報処理装置、プログラム | |
WO2010013289A1 (ja) | カメラ校正画像作成装置およびカメラ校正画像作成プログラム | |
JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
JP5151922B2 (ja) | 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム | |
CN108062790B (zh) | 应用于物体三维重建的三维坐标系建立方法 | |
JP4776983B2 (ja) | 画像合成装置及び画像合成方法 | |
JP2007323616A (ja) | 画像処理装置及びその処理方法 | |
EP1692869A2 (en) | Inspection apparatus and method | |
Anwar | Calibrating projector flexibly for a real-time active 3D scanning system | |
JP2022138883A (ja) | 画像生成方法、制御方法、および情報処理装置 | |
JP3452188B2 (ja) | 2次元動画像中の特徴点の追跡方法 | |
JPH1091790A (ja) | 三次元形状抽出方法及び装置並びに記憶媒体 | |
JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム | |
JP4796295B2 (ja) | カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6099281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |