JP2012022655A - 画像処理方法、画像処理装置、およびプログラム - Google Patents
画像処理方法、画像処理装置、およびプログラム Download PDFInfo
- Publication number
- JP2012022655A JP2012022655A JP2010162293A JP2010162293A JP2012022655A JP 2012022655 A JP2012022655 A JP 2012022655A JP 2010162293 A JP2010162293 A JP 2010162293A JP 2010162293 A JP2010162293 A JP 2010162293A JP 2012022655 A JP2012022655 A JP 2012022655A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- motion vector
- point
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 239000013598 vector Substances 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 13
- 230000000052 comparative effect Effects 0.000 description 10
- 238000009499 grossing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】複数の画像のうちの第1の画像の特徴点を抽出し、抽出された特徴点に対応する第2の画像の対応点を特定して、動きベクトルを決定する。その際に、第1の画像の特徴点と第2の画像の対応点との一致度に応じて、第1の画像に含まれる当該特徴点とは異なる特徴点に対して決定した動きベクトルを参照することにより、当該特徴点に対応する動きベクトルを決定する。
【選択図】図3
Description
図1に本発明で使用する画像処理方法のブロック図を示す。画像処理に使用する装置として、PCを使用すると想定して説明する。CPU101は、中央演算ユニット(Central Processing Unit)のことであり、他の機能ブロックや装置の制御を行う。ブリッジ部102は、CPU101と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。
色差=√((Rstd − Rref )^2 + (Gstd − Gref )^2 + (Bstd − Bref )^2)) 式(1)
ここで「^」はべき乗を表す。
V=(α1・V1+α2・V2+α3・V3+・・・+αn・Vn)/(α1+α2+α3+・・・+αn) 式(2)
また、スムージングを行う動きベクトルは全てではなく、信頼度が所定値以下の場合のみ処理実行させるようにしても良い。
本実施形態は、上述の実施形態1で基準画像の特徴点に対応する比較画像において1つであった対応点が、複数抽出された場合に対応するものである。したがって、以下、対応点が複数抽出された場合の比較画像に対する動きベクトルの仮決定(S302)および動きベクトルの信頼度決定方法(S303)を中心に説明する。図11は基準画像の特徴点、比較画像の対応点および動きベクトルを示す図である。
本実施形態では、上述の各実施形態の処理の精度を向上させるための追加の処理を行うものである。すなわち、全画像領域を精度良く処理するために、画像の四隅に特徴点を追加する。また、上述のドローネ三角形分割の手法を用いた補間精度を向上させるために意図して特徴点を追加し、この追加した特徴点について、動きベクトルを仮決定し、および動きベクトルの信頼度を決定する。特に、特徴点抽出により求めた特徴点が画像周囲に存在する場合の動きベクトルの信頼度に関する動きベクトルの仮決定、動きベクトルの信頼度決定方法について説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
Claims (9)
- 複数の画像を取得する取得ステップと、
前記取得ステップにおいて取得された、複数の画像のうちの第1の画像の特徴点を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記第1の画像の特徴点との一致度に応じて、前記複数の画像のうちの第2の画像に含まれる、前記第1の画像の前記特徴点に対応する対応点を特定する特定ステップと、
前記特定ステップにおいて特定された対応点の前記第2の画像における位置に基づき、前記第1の画像の特徴点に対応する動きベクトルを決定する決定ステップと、
を備え、
前記決定ステップは、前記第1の画像の特徴点と前記第2の画像の対応点との一致度に応じて、前記第1の画像に含まれる当該特徴点とは異なる特徴点に対して決定した動きベクトルを参照することにより、当該特徴点に対応する動きベクトルを決定することを特徴とする画像処理方法。 - 前記抽出ステップにおいて抽出された前記第2の画像の対応点との一致度に応じて、前記第1の画像の特徴点に対する動きベクトルの信頼度を決定する信頼度決定ステップをさらに備え、
前記決定ステップは、前記特定ステップにおいて特定された対応点の前記第2の画像における位置に基づき前記第1の画像の特徴点に対応する動きベクトルを仮決定し、前記信頼度決定ステップにおいて決定された信頼度の低い仮決定の動きベクトルを、近傍の動きベクトルにより補正することにより、動きベクトルを決定することを特徴とする請求項1に記載の画像処理方法。 - 前記信頼度決定ステップは、1つの前記特徴点に対応する前記対応点が一定の数より多い場合には、前記特徴点と前記対応点と一致度から決定される信頼度の値よりも低い値を前記信頼度として決定することを特徴とする請求項2に記載の画像処理方法。
- 前記抽出ステップにおいて抽出された特徴点に加え、前記第1の画像に特徴点を設定するステップをさらに備え、
前記信頼度決定ステップは、前記設定ステップにおいて設定された特徴点については、前記徴点と前記対応点との一致度から決定した信頼度の値よりも低い値を前記信頼度として決定することを特徴とする請求項2または3に記載の画像処理方法。 - 前記信頼度決定ステップは、第1の画像の予め定めた周囲領域に存在する特徴点については、前記徴点と前記対応点との一致度から決定した信頼度の値よりも低い値を前記信頼度として決定することを特徴とする請求項1乃至4のいずれかに記載の画像処理方法。
- 前記決定ステップは、前記特徴点と前記対応点の一致度が予め定めた値以下である場合には、前記第1の画像に含まれる当該特徴点に対応する前記第2の画像の対応点を参照せずに、当該特徴点と異なる特徴点に対して決定した動きベクトルを参照することにより、当該特徴点に対応する動きベクトルを決定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。
- 前記決定ステップにより決定された前記第1の画像に含まれる特徴点の動きベクトルを用いて前記第1の画像と前記第2の画像の位置合わせを行うことにより、前記第1の画像と前記第2の画像とを合成する合成ステップを有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。
- 請求項1乃至7のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
- 複数の画像を取得する取得手段と、
前記取得手段により取得された、複数の画像のうちの第1の画像の特徴点を抽出する抽出手段と、
前記抽出手段により抽出された前記第1の画像の特徴点との一致度に応じて、前記複数の画像のうちの第2の画像に含まれる、前記第1の画像の前記特徴点に対応する対応点を特定する特定手段と、
前記特定手段により特定された対応点の前記第2の画像における位置に基づき、前記第1の画像の特徴点に対応する動きベクトルを決定する決定手段と、
を備え、
前記決定手段は、前記第1の画像の特徴点と前記第2の画像の対応点との一致度に応じて、前記第1の画像に含まれる当該特徴点とは異なる特徴点に対して決定した動きベクトルを参照することにより、当該特徴点に対応する動きベクトルを決定することを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010162293A JP5791241B2 (ja) | 2010-07-16 | 2010-07-16 | 画像処理方法、画像処理装置、およびプログラム |
US13/178,978 US9202284B2 (en) | 2010-07-16 | 2011-07-08 | Image processing method, image processing apparatus and non-transitory computer-readable storage medium therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010162293A JP5791241B2 (ja) | 2010-07-16 | 2010-07-16 | 画像処理方法、画像処理装置、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012022655A true JP2012022655A (ja) | 2012-02-02 |
JP2012022655A5 JP2012022655A5 (ja) | 2013-08-29 |
JP5791241B2 JP5791241B2 (ja) | 2015-10-07 |
Family
ID=45467026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010162293A Active JP5791241B2 (ja) | 2010-07-16 | 2010-07-16 | 画像処理方法、画像処理装置、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9202284B2 (ja) |
JP (1) | JP5791241B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015087941A (ja) * | 2013-10-30 | 2015-05-07 | オリンパス株式会社 | 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム |
JP2015130082A (ja) * | 2014-01-08 | 2015-07-16 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
WO2016185832A1 (ja) * | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2018151689A (ja) * | 2017-03-09 | 2018-09-27 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6071289B2 (ja) | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6012310B2 (ja) | 2012-07-09 | 2016-10-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5956860B2 (ja) | 2012-07-09 | 2016-07-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
JP6039942B2 (ja) | 2012-07-09 | 2016-12-07 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
US10937195B2 (en) * | 2013-02-11 | 2021-03-02 | Google Llc | Label based approach for video encoding |
JP6221283B2 (ja) * | 2013-03-19 | 2017-11-01 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US10136063B2 (en) * | 2013-07-12 | 2018-11-20 | Hanwha Aerospace Co., Ltd | Image stabilizing method and apparatus |
EP3034000A1 (en) * | 2014-12-16 | 2016-06-22 | Agfa Healthcare | Motion correction method in dual energy radiography |
US10198976B2 (en) | 2015-07-31 | 2019-02-05 | Canon Kabushiki Kaisha | Display set and display method |
EP3340605B1 (en) * | 2015-08-19 | 2019-08-21 | Fujifilm Corporation | Imaging device, imaging method, program, and non-temporary recording medium |
US10284875B2 (en) * | 2016-08-08 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for determining feature point motion |
CN109316202B (zh) * | 2018-08-23 | 2021-07-02 | 苏州佳世达电通有限公司 | 影像校正方法及检测装置 |
WO2020041999A1 (en) * | 2018-08-29 | 2020-03-05 | Intel Corporation | Apparatus and method for feature point tracking using inter-frame prediction |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003224854A (ja) * | 2002-01-29 | 2003-08-08 | Hitachi Ltd | 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア |
JP3435084B2 (ja) * | 1998-05-21 | 2003-08-11 | 三洋電機株式会社 | オプティカルフロー推定方法および画像合成方法 |
JP2007122751A (ja) * | 2007-01-30 | 2007-05-17 | Monolith Co Ltd | 画像処理のための方法、装置、プログラム |
JP2009188837A (ja) * | 2008-02-07 | 2009-08-20 | Olympus Corp | 撮像装置及び撮像方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6694051B1 (en) | 1998-06-24 | 2004-02-17 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and recording medium |
US20050196107A1 (en) * | 2004-03-04 | 2005-09-08 | Gongen Gu | Optical multiplexer with improved manufacturability |
DE102004026597A1 (de) * | 2004-06-01 | 2005-12-29 | Micronas Gmbh | Verfahren zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind |
EP1843294B1 (en) | 2005-01-14 | 2010-09-15 | Morpho Inc. | Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device |
JP4398925B2 (ja) * | 2005-03-31 | 2010-01-13 | 株式会社東芝 | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
JP4752407B2 (ja) * | 2005-09-09 | 2011-08-17 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP4620607B2 (ja) * | 2006-02-24 | 2011-01-26 | 株式会社モルフォ | 画像処理装置 |
JP4417918B2 (ja) * | 2006-03-30 | 2010-02-17 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
KR20080066486A (ko) * | 2007-01-12 | 2008-07-16 | 삼성전자주식회사 | 움직임 벡터 추정 장치 및 방법 |
US20080278633A1 (en) * | 2007-05-09 | 2008-11-13 | Mikhail Tsoupko-Sitnikov | Image processing method and image processing apparatus |
JP5048542B2 (ja) * | 2008-02-07 | 2012-10-17 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
JP4623122B2 (ja) * | 2008-04-03 | 2011-02-02 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、およびプログラム |
JP4600530B2 (ja) * | 2008-06-17 | 2010-12-15 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP5075757B2 (ja) * | 2008-08-05 | 2012-11-21 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
JP5390828B2 (ja) | 2008-10-17 | 2014-01-15 | キヤノン株式会社 | 画像処理装置、及び、画像処理方法 |
JP5700968B2 (ja) * | 2010-07-16 | 2015-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2010
- 2010-07-16 JP JP2010162293A patent/JP5791241B2/ja active Active
-
2011
- 2011-07-08 US US13/178,978 patent/US9202284B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3435084B2 (ja) * | 1998-05-21 | 2003-08-11 | 三洋電機株式会社 | オプティカルフロー推定方法および画像合成方法 |
JP2003224854A (ja) * | 2002-01-29 | 2003-08-08 | Hitachi Ltd | 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア |
JP2007122751A (ja) * | 2007-01-30 | 2007-05-17 | Monolith Co Ltd | 画像処理のための方法、装置、プログラム |
JP2009188837A (ja) * | 2008-02-07 | 2009-08-20 | Olympus Corp | 撮像装置及び撮像方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015087941A (ja) * | 2013-10-30 | 2015-05-07 | オリンパス株式会社 | 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム |
JP2015130082A (ja) * | 2014-01-08 | 2015-07-16 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
WO2016185832A1 (ja) * | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10516825B2 (en) | 2015-05-21 | 2019-12-24 | Olympus Corporation | Image processing device, image processing method, and computer program product for correcting a motion vector of a low-reliability block |
JP2018151689A (ja) * | 2017-03-09 | 2018-09-27 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5791241B2 (ja) | 2015-10-07 |
US9202284B2 (en) | 2015-12-01 |
US20120014565A1 (en) | 2012-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5791241B2 (ja) | 画像処理方法、画像処理装置、およびプログラム | |
JP7429542B2 (ja) | 拡張現実、仮想現実、ロボティクスに適したグラフィカルな基準マーカ識別 | |
CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
WO2019042419A1 (zh) | 图像跟踪点获取方法、设备及存储介质 | |
US7747072B2 (en) | Image processing method, image processing program, its storage medium, and image processing device for extracting points from a color image | |
JP5700968B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2015197816A (ja) | 画像処理装置、画像処理方法 | |
US10424068B2 (en) | Image processing apparatus and image processing method for person identification | |
EP3726458A1 (en) | System and a method for stitching images using non-linear optimization and multi-constraint cost function minimization | |
JP7188201B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6331761B2 (ja) | 判定装置、判定方法及び判定プログラム | |
JP5558949B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5661359B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN115984856A (zh) | 文档图像矫正模型的训练方法、文档图像的矫正方法 | |
WO2015146728A1 (ja) | 物体検出装置 | |
JP7003617B2 (ja) | 推定装置、推定方法、及び推定プログラム | |
WO2022087846A1 (zh) | 图像的处理方法、装置、设备以及存储介质 | |
JP6818485B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012022653A (ja) | 画像処理装置および画像処理方法 | |
AU2014277851A1 (en) | Detecting a gap between text columns from text line fragments | |
US20230215050A1 (en) | Information processing apparatus, method, and storage medium to generate a color-difference map | |
JP6142701B2 (ja) | 画像処理装置及びプログラム | |
JP2015057730A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130712 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140707 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150420 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150804 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5791241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |