JP2019004305A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2019004305A JP2019004305A JP2017117235A JP2017117235A JP2019004305A JP 2019004305 A JP2019004305 A JP 2019004305A JP 2017117235 A JP2017117235 A JP 2017117235A JP 2017117235 A JP2017117235 A JP 2017117235A JP 2019004305 A JP2019004305 A JP 2019004305A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature points
- conversion parameter
- extracted
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
図1は、本発明の第1実施形態の画像処理装置の構成を示すブロック図である。本実施形態における画像処理装置10は、撮像部101、画像記憶部102、特徴点検出部103、消失点検出部104、特徴点マッチング部105、エッジ検出部106、変換パラメータ導出部107、及び画像合成部108を含む。なお、撮像部101及び画像記憶部102は、画像処理装置10の外部に設置されていてもよい。
第1実施形態では、ステップS208の処理(4点選択処理)が図6に示すフローに従って実行される例を説明した。しかし、撮影対象によっては、ステップS206でマッチする特徴点の数が4点に満たない場合がある。この場合の処理を、図8を用いて説明する。図8は、第2実施形態においてステップS208で行われる4点選択処理を示すフローチャートである。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- 紙文書を撮像して得られる画像であって撮像範囲が各々異なる第1の画像と第2の画像との各画像から、両画像間で互いに対応する特徴点を抽出する特徴点抽出手段と、
前記各画像から両画像間で互いに対応するエッジを抽出するエッジ抽出手段と、
前記各画像から前記紙文書が属する平面の消失点を検出する消失点検出手段と、
前記抽出された特徴点と前記検出された消失点とを結ぶ直線と前記抽出されたエッジとの交点に対応する座標を用いて、画像合成のための変換パラメータを導出する変換パラメータ導出手段と、
前記導出された変換パラメータを用いて前記第1の画像と前記第2の画像とを合成する画像合成手段と、を備える
ことを特徴とする画像処理装置。 - 前記変換パラメータ導出手段は、
前記第1の画像と前記第2の画像との各々において、前記抽出された特徴点のうちの少なくとも1つを前記交点に再配置させ、
前記再配置後における各特徴点の座標を用いて前記画像合成のための変換パラメータを導出する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記変換パラメータ導出手段は、
前記再配置後における特徴点間の距離が、前記再配置前における特徴点間の距離より大きくなるように、前記抽出された特徴点のうちの少なくとも1つを前記交点に再配置する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記変換パラメータ導出手段は、
前記再配置前における特徴点間の距離が予め定められた一定値に満たない場合に、前記抽出された特徴点のうちの少なくとも1つを前記交点に再配置する
ことを特徴とする請求項2または請求項3に記載の画像処理装置。 - 前記特徴点抽出手段は、
前記各画像から、両画像間で互いに対応する4つの特徴点を抽出し、
前記変換パラメータ導出手段は、
前記再配置後における前記4つの特徴点の座標を用いて、前記画像合成のための変換パラメータとして透視投影変換の変換行列を導出する
ことを特徴とする請求項2から請求項4のうちのいずれか1項に記載の画像処理装置。 - 前記変換パラメータ導出手段は、
前記特徴点抽出手段によって4つ以上の特徴点が抽出された場合には、前記抽出された特徴点の中から、特徴点間の距離が最大となる4つの特徴点を選択し、前記再配置後における該4つの特徴点の座標を用いて、透視投影変換の変換行列を導出する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記変換パラメータ導出手段は、
前記特徴点抽出手段によって抽出された特徴点が4つに満たない場合には、前記再配置前における各特徴点と前記再配置後における各特徴点との中から選択した4つの特徴点の座標を用いて、透視投影変換の変換行列を導出する
ことを特徴とする請求項5または請求項6に記載の画像処理装置。 - 前記変換パラメータ導出手段は、
前記再配置前における各特徴点と前記再配置後における各特徴点との中から4つの特徴点を選択する際に、特徴点間の距離が最大になるように4つの特徴点を選択する
ことを特徴とする請求項7に記載の画像処理装置。 - 前記特徴点抽出手段は、
前記各画像から、両画像間で互いに対応する3つの特徴点を抽出し、
前記変換パラメータ導出手段は、
前記再配置後における前記3つの特徴点の座標を用いて、前記画像合成のための変換パラメータとしてアフィン変換の変換パラメータを導出する
ことを特徴とする請求項2から請求項4のうちのいずれか1項に記載の画像処理装置。 - 前記特徴点抽出手段は、
前記各画像から、両画像間で互いに対応する2つの特徴点を抽出し、
前記変換パラメータ導出手段は、
前記再配置後における前記2つの特徴点の座標を用いて、前記画像合成のための変換パラメータとして回転行列を導出する
ことを特徴とする請求項2から請求項4のうちのいずれか1項に記載の画像処理装置。 - 前記紙文書が帳票である
ことを特徴とする請求項1から請求項10のうちのいずれか1項に記載の画像処理装置。 - 紙文書を複数の領域に分けて撮像して得られる各部分画像を合成して、前記紙文書の全体画像を生成する画像処理装置であって、
一の部分画像と該一の部分画像と近接する他の部分画像とから、両画像間で互いに対応する特徴点を抽出する特徴点抽出手段と、
前記一の部分画像と前記他の部分画像とから、両画像間で互いに対応するエッジを抽出するエッジ抽出手段と、
前記一の部分画像と前記他の部分画像とから、前記紙文書が属する平面の消失点を検出する消失点検出手段と、
前記抽出された特徴点と前記検出された消失点とを結ぶ直線と前記抽出されたエッジとの交点を前記一の部分画像と前記他の部分画像との各々について求め、前記交点に対応する座標を用いて前記一の部分画像と前記他の部分画像とを合成するための変換パラメータを導出する変換パラメータ導出手段と、
前記変換パラメータ導出手段が導出する前記変換パラメータを使用して、前記各部分画像を合成して前記全体画像を生成する画像合成手段と、を備える
ことを特徴とする画像処理装置。 - 紙文書を撮像して得られる画像であって撮像範囲が各々異なる第1の画像と第2の画像との各画像から、両画像間で互いに対応する特徴点を抽出する特徴点抽出ステップと、
前記各画像から両画像間で互いに対応するエッジを抽出するエッジ抽出ステップと、
前記各画像から前記紙文書が属する平面の消失点を検出する消失点検出ステップと、
前記抽出された特徴点と前記検出された消失点とを結ぶ直線と前記抽出されたエッジとの交点に対応する座標を用いて、画像合成のための変換パラメータを導出する変換パラメータ導出ステップと、
前記導出された変換パラメータを用いて前記第1の画像と前記第2の画像とを合成する画像合成ステップと、を含む
ことを特徴とする画像処理方法。 - コンピュータを、請求項1から請求項12のうちのいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117235A JP6976733B2 (ja) | 2017-06-14 | 2017-06-14 | 画像処理装置、画像処理方法、およびプログラム |
US16/004,989 US10970845B2 (en) | 2017-06-14 | 2018-06-11 | Image processing apparatus, image processing method, and storage medium |
EP18176947.2A EP3416099A1 (en) | 2017-06-14 | 2018-06-11 | Image processing apparatus, image processing method, and a program |
CN201810615586.0A CN109089035B (zh) | 2017-06-14 | 2018-06-14 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117235A JP6976733B2 (ja) | 2017-06-14 | 2017-06-14 | 画像処理装置、画像処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019004305A true JP2019004305A (ja) | 2019-01-10 |
JP2019004305A5 JP2019004305A5 (ja) | 2020-07-30 |
JP6976733B2 JP6976733B2 (ja) | 2021-12-08 |
Family
ID=62599461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017117235A Active JP6976733B2 (ja) | 2017-06-14 | 2017-06-14 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10970845B2 (ja) |
EP (1) | EP3416099A1 (ja) |
JP (1) | JP6976733B2 (ja) |
CN (1) | CN109089035B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104992408B (zh) * | 2015-06-30 | 2018-06-05 | 百度在线网络技术(北京)有限公司 | 用于用户终端的全景图像生成方法和装置 |
CN107480710B (zh) * | 2017-08-01 | 2020-05-22 | 歌尔股份有限公司 | 特征点匹配结果处理方法和装置 |
US11393114B1 (en) * | 2017-11-08 | 2022-07-19 | AI Incorporated | Method and system for collaborative construction of a map |
CN110287854B (zh) * | 2019-06-20 | 2022-06-10 | 北京百度网讯科技有限公司 | 表格的提取方法、装置、计算机设备和存储介质 |
JP7223977B2 (ja) | 2019-09-13 | 2023-02-17 | パナソニックIpマネジメント株式会社 | 収穫ロボットシステム |
CN111145124A (zh) * | 2019-12-30 | 2020-05-12 | 北京华宇信息技术有限公司 | 一种图像倾斜的校正方法及装置 |
CN112241714B (zh) * | 2020-10-22 | 2024-04-26 | 北京字跳网络技术有限公司 | 图像中指定区域的识别方法、装置、可读介质和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000307947A (ja) * | 1999-04-16 | 2000-11-02 | Ricoh Co Ltd | 画像処理装置およびその方法 |
JP2002057879A (ja) * | 2000-08-10 | 2002-02-22 | Ricoh Co Ltd | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 |
JP2013108927A (ja) * | 2011-11-24 | 2013-06-06 | Topcon Corp | 航空写真撮像方法及び航空写真撮像装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3045804A (en) | 1959-08-10 | 1962-07-24 | Deere & Co | Material-handling apparatus |
JP3728040B2 (ja) * | 1996-12-27 | 2005-12-21 | キヤノン株式会社 | 画像形成装置及び方法 |
US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
JP4169462B2 (ja) * | 1999-08-26 | 2008-10-22 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体 |
JP2001128051A (ja) * | 1999-10-27 | 2001-05-11 | Ricoh Co Ltd | 撮像装置 |
JP2004342067A (ja) | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | 画像処理方法、画像処理装置、及びコンピュータプログラム |
JP3852934B2 (ja) * | 2003-05-20 | 2006-12-06 | 株式会社バンダイナムコゲームス | 画像処理システム、プログラム及び情報記憶媒体 |
JP4363151B2 (ja) | 2003-10-14 | 2009-11-11 | カシオ計算機株式会社 | 撮影装置、その画像処理方法及びプログラム |
JP3925521B2 (ja) * | 2004-08-19 | 2007-06-06 | セイコーエプソン株式会社 | スクリーンの一部の辺を用いたキーストーン補正 |
WO2007023715A1 (en) * | 2005-08-25 | 2007-03-01 | Ricoh Company, Ltd. | Image processing method and apparatus, digital camera, and recording medium recording image processing program |
US7330604B2 (en) * | 2006-03-02 | 2008-02-12 | Compulink Management Center, Inc. | Model-based dewarping method and apparatus |
JP4757142B2 (ja) * | 2006-08-10 | 2011-08-24 | キヤノン株式会社 | 撮影環境校正方法及び情報処理装置 |
CN101192269B (zh) | 2006-11-29 | 2012-05-02 | 佳能株式会社 | 从图像估计消失点的方法和装置、计算机程序及其存储介质 |
CN101267493B (zh) | 2007-03-16 | 2011-01-19 | 富士通株式会社 | 透视变形文档图像的校正装置和校正方法 |
CN101789122B (zh) | 2009-01-22 | 2013-06-26 | 佳能株式会社 | 用于校正畸变文档图像的方法和系统 |
CN102194212B (zh) | 2010-03-08 | 2013-09-25 | 佳能株式会社 | 图像处理方法、装置及系统 |
CN102012629B (zh) | 2010-11-25 | 2012-07-04 | 上海合合信息科技发展有限公司 | 用于文本图像拼接的拍摄方法 |
US9834153B2 (en) * | 2011-04-25 | 2017-12-05 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
US10289924B2 (en) * | 2011-10-17 | 2019-05-14 | Sharp Laboratories Of America, Inc. | System and method for scanned document correction |
AU2013222016A1 (en) * | 2013-08-30 | 2015-03-19 | Canon Kabushiki Kaisha | Method, system and apparatus for determining a property of an image |
US9064309B2 (en) * | 2013-10-29 | 2015-06-23 | Google Inc. | Automatic rectification of distortions in images |
KR102225620B1 (ko) * | 2014-04-03 | 2021-03-12 | 한화테크윈 주식회사 | 카메라 모델링 시스템 |
CN104299244B (zh) * | 2014-09-26 | 2017-07-25 | 东软集团股份有限公司 | 基于单目相机的障碍物检测方法及装置 |
US10354364B2 (en) * | 2015-09-14 | 2019-07-16 | Intel Corporation | Automatic perspective control using vanishing points |
RU2631765C1 (ru) * | 2016-04-26 | 2017-09-26 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот |
US10332262B2 (en) * | 2017-02-16 | 2019-06-25 | Adobe Inc. | Removal of background information from digital images |
-
2017
- 2017-06-14 JP JP2017117235A patent/JP6976733B2/ja active Active
-
2018
- 2018-06-11 EP EP18176947.2A patent/EP3416099A1/en active Pending
- 2018-06-11 US US16/004,989 patent/US10970845B2/en active Active
- 2018-06-14 CN CN201810615586.0A patent/CN109089035B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000307947A (ja) * | 1999-04-16 | 2000-11-02 | Ricoh Co Ltd | 画像処理装置およびその方法 |
JP2002057879A (ja) * | 2000-08-10 | 2002-02-22 | Ricoh Co Ltd | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 |
JP2013108927A (ja) * | 2011-11-24 | 2013-06-06 | Topcon Corp | 航空写真撮像方法及び航空写真撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6976733B2 (ja) | 2021-12-08 |
EP3416099A1 (en) | 2018-12-19 |
CN109089035A (zh) | 2018-12-25 |
US20180365837A1 (en) | 2018-12-20 |
US10970845B2 (en) | 2021-04-06 |
CN109089035B (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6976733B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
US10366504B2 (en) | Image processing apparatus and image processing method for performing three-dimensional reconstruction of plurality of images | |
US20150262346A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
KR20120130788A (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
JP2013005258A (ja) | ブレ補正装置、ブレ補正方法及び帳票 | |
CN110288511B (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
JP2019004305A5 (ja) | ||
CN104408696A (zh) | 一种针对侧扫声纳成像特点的图像拼接方法 | |
JP2019012361A (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP7118729B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2012133371A1 (ja) | 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム | |
JP2019012360A (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2019220032A (ja) | 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法 | |
KR101718309B1 (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 | |
KR102637913B1 (ko) | 영상 합성 방법 및 장치 | |
JP2013130930A (ja) | 画像処理システム、画像処理方法および画像処理用プログラム | |
JP5636966B2 (ja) | 誤差検出装置及び誤差検出プログラム | |
JP6717769B2 (ja) | 情報処理装置及びプログラム | |
JP6525693B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6234200B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6274778B2 (ja) | 画像処理方法、画像処理装置、及びコンピュータプログラム | |
JP2019028677A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2020204887A (ja) | 画像処理装置及びその制御方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200615 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6976733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |