JP2010041151A - フレーム画像の動きベクトル推定装置及びプログラム - Google Patents
フレーム画像の動きベクトル推定装置及びプログラム Download PDFInfo
- Publication number
- JP2010041151A JP2010041151A JP2008199031A JP2008199031A JP2010041151A JP 2010041151 A JP2010041151 A JP 2010041151A JP 2008199031 A JP2008199031 A JP 2008199031A JP 2008199031 A JP2008199031 A JP 2008199031A JP 2010041151 A JP2010041151 A JP 2010041151A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- area
- motion vector
- correction target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】フレーム画像取得部22によって、通常フレームレートの複数のフレーム画像を取得し、サブフレーム画像取得部24によって、高速フレームレートの複数のサブフレーム画像を取得する。動領域抽出部26によって、基準サブフレーム画像の動領域を抽出する。動きベクトル推定部28によって、基準サブフレーム画像の各ブロック内に存在する動領域に対応する領域を、基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、各ブロック内に存在する動領域に対応する領域を、基準フレーム画像の時間重心に対応するサブフレーム画像までに含まれる複数の参照サブフレーム画像の各々について、直前探索された領域の近傍の探索範囲から順に探索することにより、参照フレーム画像から基準フレーム画像までの間の各ブロックの動きベクトルを推定する。
【選択図】図1
Description
富永英義、小松尚久、宮下壮史、花村剛、"階層画素情報を用いた動画像における動き量検出方式"、電子情報通信学会論文誌、1989年、Vol. J72−D2、No. 3、pp.395−403 田中豊、鄭文涛、金子豊、"階層化手法による固有値勾配法の動き推定精度の検討"、電子情報通信学会ソサイエティ大会講演論文集、1996年、情報・システム、p.185 吉田俊之、宮本敦司、酒井善則、"動画像の動きベクトルに対する信頼度関数とその応用"、電子情報通信学会論文誌、1997年、Vol.J80−D2、No. 5、pp.1192−1201
ベクトルVE =ベクトルve=ベクトルvo ・・・(5)
ベクトルVE1 =ベクトルve1=ベクトルvo1 ・・・(6)
ベクトルVE2 =ベクトルve2=ベクトルvo2 ・・・(7)
12、612 撮影装置
14、514、614 コンピュータ
16 CMOSイメージセンサ
20 非破壊読み出し部
22 フレーム画像取得部
24、624 サブフレーム画像取得部
26 動領域抽出部
28 動きベクトル推定部
30 反転部
32 ギャップ領域抽出部
34、534 補正対象領域特定部
38、538 動きベクトル補正部
40、540 動き補償部
42、542 符号化部
622 フレーム画像生成部
Claims (12)
- 撮影によって得られた第1のフレームレートの複数のフレーム画像、及び前記第1のフレーム画像より高速な第2のフレームレートの複数のサブフレーム画像を取得する取得手段と、
推定対象となる連続した2つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記2つのフレーム画像の間の動きベクトルを推定する推定手段と、
を含むフレーム画像の動きベクトル推定装置。 - 前記抽出手段は、前記基準サブフレーム画像の画素値と、前記基準サブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の少なくとも1つのサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、前記動領域として抽出する請求項1記載のフレーム画像の動きベクトル推定装置。
- 前記抽出手段は、前記推定手段における領域の探索に応じて、前記基準サブフレーム画像の画素値と、前記推定手段における領域の探索対象となるサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、前記動領域として抽出する請求項1記載のフレーム画像の動きベクトル推定装置。
- 前記推定手段は、前記複数のサブフレーム画像の各々について、前記分割された各ブロック内に存在する動領域に対応する領域を、前回探索された領域を含む所定の探索範囲内から順に探索する請求項1〜請求項3の何れか1項記載のフレーム画像の動きベクトル推定装置。
- 前記推定手段によって推定された前記ブロックの各々の動きベクトルを反転させる反転手段と、
前記推定対象の2つのフレーム画像の一方と、前記反転手段によって反転された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の2つのフレーム画像の他方の動き補償を行う動き補償手段と、
を更に含む請求項1〜請求項4の何れか1項記載のフレーム画像の動きベクトル推定装置。 - 前記推定対象の2つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、
前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域の各々について、前記推定対象の2つのフレーム画像の一方から、対応する領域を探索することにより、前記2つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記補正対象領域の各々の動きベクトルを推定する第2推定手段とを更に含み、
前記動き補償手段は、前記未推定領域及び前記補正対象領域の各々については、前記第2推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の他方の動き補償を行う請求項5記載のフレーム画像の動きベクトル推定装置。 - 前記推定対象の2つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、
前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域のうち、前記推定対象の2つのフレーム画像の一方に存在する動きぼけ領域に対応する第1補正対象領域の各々について、前記推定対象の2つのフレーム画像の一方から、対応する領域を探索することにより、前記2つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記第1補正対象領域の各々の動きベクトルを推定する第2推定手段と、
前記補正対象領域特定手段によって特定された補正対象領域のうち、前記推定対象の2つのフレーム画像の他方に存在する動きぼけ領域に対応する第2補正対象領域が、前記動領域に対応する領域となるサブフレーム画像であって、かつ、前記2つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、
前記推定対象の2つのフレーム画像の他方に対応するサブフレーム画像から、前記前後サブフレーム画像取得手段によって取得されたサブフレーム画像の前記第2補正対象領域に対応する領域を探索する第3の探索手段と、
前記第3の探索手段によって探索された前記領域に対応する前記ブロックを特定するブロック特定手段と、
前記ブロック特定手段によって特定された前記ブロックに対応して前記推定手段によって推定された動きベクトルを反転して、前記2つのフレーム画像の他方から一方までの間における前記第2補正対象領域の動きベクトルを推定する第3推定手段とを更に含み、
前記動き補償手段は、前記未推定領域及び前記第1補正対象領域の各々については、前記第2推定手段によって推定された動きベクトルを用い、前記第2補正対象領域については、前記第3推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の他方の動き補償を行う請求項5記載のフレーム画像の動きベクトル推定装置。 - 前記推定対象の2つのフレーム画像の他方と、前記推定手段によって推定された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の2つのフレーム画像の一方の動き補償を行う動き補償手段を更に含む請求項1〜請求項4の何れか1項記載のフレーム画像の動きベクトル推定装置。
- 前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記補正対象領域特定手段によって特定された前記補正対象領域について、前記推定対象の2つのフレーム画像の他方から、対応する領域を探索することにより、前記2つのフレーム画像の一方から他方までの間における、前記補正対象領域の各々の動きベクトルを推定する第2推定手段とを更に含み、
前記動き補償手段は、前記補正対象領域については、前記第2推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の一方の動き補償を行う請求項8記載のフレーム画像の動きベクトル推定装置。 - 前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記補正対象領域特定手段によって特定された前記補正対象領域のうち、前記推定対象の2つのフレーム画像の一方に存在する動きぼけ領域に対応する第1補正対象領域の各々について、前記推定対象の2つのフレーム画像の他方から、対応する領域を探索することにより、前記2つのフレーム画像の一方から他方までの間における、前記第1補正対象領域の各々の動きベクトルを推定する第2推定手段と、
前記補正対象領域特定手段によって特定された補正対象領域のうち、前記推定対象の2つのフレーム画像の他方に存在する動きぼけ領域に対応する第2補正対象領域が、前記動領域に対応する領域となるサブフレーム画像であって、かつ、前記2つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、
前記推定対象の2つのフレーム画像の他方に対応するサブフレーム画像から、前記前後サブフレーム画像取得手段によって取得されたサブフレーム画像の前記第2補正対象領域に対応する領域を探索する第3の探索手段と、
前記第3の探索手段によって探索された前記領域に対応する前記ブロックを特定するブロック特定手段と、
前記ブロック特定手段によって特定された前記ブロックに対応して前記推定手段によって推定された動きベクトルを、前記2つのフレーム画像の一方から他方までの間における前記第2補正対象領域の動きベクトルとして推定する第3推定手段とを更に含み、
前記動き補償手段は、前記第1補正対象領域については、前記第2推定手段によって推定された動きベクトルを用い、前記第2補正対象領域については、前記第3推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の一方の動き補償を行う請求項8記載のフレーム画像の動きベクトル推定装置。 - 前記2つのフレーム画像の一方を、前記2つのフレーム画像のうち先に撮影されたフレーム画像とし、前記2つのフレーム画像の他方を、前記2つのフレーム画像のうち後に撮影されたフレーム画像とした請求項1〜請求項10の何れか1項記載のフレーム画像の動きベクトル推定装置。
- コンピュータを、
撮影によって得られた第1のフレームレートの複数のフレーム画像、及び前記第1のフレーム画像より高速な第2のフレームレートの複数のサブフレーム画像を取得する取得手段、
推定対象となる連続した2つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段、及び
前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記2つのフレーム画像の間の動きベクトルを推定する推定手段
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008199031A JP5334241B2 (ja) | 2008-07-31 | 2008-07-31 | フレーム画像の動きベクトル推定装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008199031A JP5334241B2 (ja) | 2008-07-31 | 2008-07-31 | フレーム画像の動きベクトル推定装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010041151A true JP2010041151A (ja) | 2010-02-18 |
JP5334241B2 JP5334241B2 (ja) | 2013-11-06 |
Family
ID=42013262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008199031A Expired - Fee Related JP5334241B2 (ja) | 2008-07-31 | 2008-07-31 | フレーム画像の動きベクトル推定装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5334241B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104301736A (zh) * | 2014-10-13 | 2015-01-21 | 上海交通大学 | 一种减少存储带宽需求的超高清帧率上变换系统 |
CN111730626A (zh) * | 2019-03-25 | 2020-10-02 | 发那科株式会社 | 调整机器人装置的动作的动作调整装置及动作调整方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133299A (ja) * | 1992-10-15 | 1994-05-13 | Ricoh Co Ltd | 動きベクトル検出方法 |
-
2008
- 2008-07-31 JP JP2008199031A patent/JP5334241B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133299A (ja) * | 1992-10-15 | 1994-05-13 | Ricoh Co Ltd | 動きベクトル検出方法 |
Non-Patent Citations (1)
Title |
---|
JPN6013011793; ドゥイハンドコ、川人祥二、田所嘉昭、松澤昭: '非破壊補間撮像と反復ブロックマッチング法に基づくイメージセンサ上での低電力動きベクトル検出' 電子情報通信学会技術研究報告. ICD 集積回路 98(244), 19980820, p.15-p.20, 一般社団法人電子情報通信学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104301736A (zh) * | 2014-10-13 | 2015-01-21 | 上海交通大学 | 一种减少存储带宽需求的超高清帧率上变换系统 |
CN104301736B (zh) * | 2014-10-13 | 2017-08-01 | 上海交通大学 | 一种减少存储带宽需求的超高清帧率上变换系统 |
CN111730626A (zh) * | 2019-03-25 | 2020-10-02 | 发那科株式会社 | 调整机器人装置的动作的动作调整装置及动作调整方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5334241B2 (ja) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5284048B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
CN110322542B (zh) | 重建真实世界3d场景的视图 | |
JP5153940B2 (ja) | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 | |
CN104284059B (zh) | 用于稳定图像的设备和方法 | |
US9179071B2 (en) | Electronic device and image selection method thereof | |
US9202263B2 (en) | System and method for spatio video image enhancement | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
WO2010024479A1 (en) | Apparatus and method for converting 2d image signals into 3d image signals | |
KR20120099713A (ko) | 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘 | |
TW201127028A (en) | Method and apparatus for image stabilization | |
WO2009145749A1 (en) | System and method for depth extraction of images with forward and backward depth prediction | |
JP6173218B2 (ja) | 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 | |
KR102069269B1 (ko) | 영상 안정화 장치 및 방법 | |
KR102003460B1 (ko) | 왜곡제거장치 및 방법 | |
JP5334241B2 (ja) | フレーム画像の動きベクトル推定装置及びプログラム | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP2004356747A (ja) | 画像のマッチング方法および装置 | |
JP2019067169A (ja) | 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 | |
CN113870302A (zh) | 运动估计方法、芯片、电子设备以及存储介质 | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
EP2953093A1 (en) | Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing | |
CN106454066B (zh) | 图像处理设备及其控制方法 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
KR20130068520A (ko) | 영상 워핑 처리 방법 및 장치 | |
KR20140127049A (ko) | 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130726 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |