JP2020120363A - 映像処理装置、映像処理方法、及び映像処理プログラム - Google Patents
映像処理装置、映像処理方法、及び映像処理プログラム Download PDFInfo
- Publication number
- JP2020120363A JP2020120363A JP2019012524A JP2019012524A JP2020120363A JP 2020120363 A JP2020120363 A JP 2020120363A JP 2019012524 A JP2019012524 A JP 2019012524A JP 2019012524 A JP2019012524 A JP 2019012524A JP 2020120363 A JP2020120363 A JP 2020120363A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- motion vector
- camera
- angular velocity
- spatial frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
動画像の低空間周波数成分を抽出する空間周波数フィルタ部と、
前記空間周波数フィルタ部を通過した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出する角速度算出部と
を備えることを特徴とする。
動画像の低空間周波数成分を抽出するステップと、
低空間周波数成分を抽出した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出するステップと
を含むことを特徴とする。
(参考文献1)三池、長、三浦、杉村、“一般化勾配法によるオプティカルフローの検出:不均一照明下での物体運動の計測”、情報処理学会論文誌:コンピュータビジョンとイメージメディア(CVIM)(2008)
(参考文献2)安藤繁、“画像の時空間微分算法を用いた速度ベクトル分布計測システム”、計測自動制御学会論文集(1986) 22(12)、p.1330-1336、インターネット〈URL:https://doi.org/10.9746/sicetr1965.22.1330〉
12 フーリエ変換部
14 空間周波数フィルタ部
16 逆フーリエ変換部
30 動きベクトル推定部
50 平均動きベクトル算出部
70 角速度算出部
100 映像処理装置
Claims (7)
- 動画像の低空間周波数成分を抽出する空間周波数フィルタ部と、
前記空間周波数フィルタ部を通過した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出する角速度算出部と
を備えることを特徴とする映像処理装置。 - 前記空間周波数フィルタ部を通過した前記動画像に対して、勾配法によって動きベクトルを推定する動きベクトル推定部をさらに備え、
前記角速度算出部は、前記動きベクトルから前記動画像を撮影したカメラの角速度を算出することを特徴とする請求項1に記載の映像処理装置。 - 前記動画像内の領域の前記動きベクトルを平均化して平均動きベクトルを算出する平均動きベクトル算出部を更に備え、
前記角速度算出部は、該平均動きベクトルから前記動画像を撮影したカメラの角速度を算出する、請求項2に記載の映像処理装置。 - 前記空間周波数フィルタ部のカットオフ周波数は、前記動画像を撮影したカメラのフレームレートと、該カメラの最大角速度に基づいて定められる、請求項1から3の何れか一項に記載の映像処理装置。
- 前記空間周波数フィルタ部のカットオフ周波数は、前記動画像に含まれる動く対象物の大きさもしくは速度の少なくとも何れかに基づいて定められる、請求項1から4のいずれか一項に記載の映像処理装置。
- 動画像の低空間周波数成分を抽出するステップと、
低空間周波数成分を抽出した前記動画像に基づいて前記動画像を撮影したカメラの角速度を算出するステップと
を含むことを特徴とする映像処理方法。 - コンピュータを、請求項1から5のいずれか一項に記載の映像処理装置として機能させるための映像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019012524A JP7197785B2 (ja) | 2019-01-28 | 2019-01-28 | 映像処理装置、映像処理方法、及び映像処理プログラム |
PCT/JP2020/001000 WO2020158382A1 (ja) | 2019-01-28 | 2020-01-15 | 映像処理装置、映像処理方法、及び映像処理プログラム |
US17/310,237 US11756215B2 (en) | 2019-01-28 | 2020-01-15 | Image processing device, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019012524A JP7197785B2 (ja) | 2019-01-28 | 2019-01-28 | 映像処理装置、映像処理方法、及び映像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020120363A true JP2020120363A (ja) | 2020-08-06 |
JP7197785B2 JP7197785B2 (ja) | 2022-12-28 |
Family
ID=71842163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019012524A Active JP7197785B2 (ja) | 2019-01-28 | 2019-01-28 | 映像処理装置、映像処理方法、及び映像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11756215B2 (ja) |
JP (1) | JP7197785B2 (ja) |
WO (1) | WO2020158382A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11838630B2 (en) * | 2020-06-04 | 2023-12-05 | Canon Kabushiki Kaisha | Image capturing apparatus, control method therefor, and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04117077A (ja) * | 1989-10-17 | 1992-04-17 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
JPH05233815A (ja) * | 1992-02-21 | 1993-09-10 | Canon Inc | 動きベクトル検出装置 |
JP2006098541A (ja) * | 2004-09-28 | 2006-04-13 | Nikon Corp | カメラ |
JP2015105975A (ja) * | 2013-11-28 | 2015-06-08 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、プログラム、記憶媒体 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2239575B (en) | 1989-10-17 | 1994-07-27 | Mitsubishi Electric Corp | Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus |
US6741652B1 (en) | 1992-02-21 | 2004-05-25 | Canon Kabushiki Kaisha | Movement vector detecting device |
US5617166A (en) * | 1994-02-03 | 1997-04-01 | Nikon Corporation | Camera capable of reducing image blur |
US6734901B1 (en) * | 1997-05-20 | 2004-05-11 | Canon Kabushiki Kaisha | Vibration correction apparatus |
JP3697471B2 (ja) * | 1998-04-28 | 2005-09-21 | コニカミノルタフォトイメージング株式会社 | 振れ補正装置 |
EP3404479A1 (en) * | 2002-12-25 | 2018-11-21 | Nikon Corporation | Blur correction camera system |
US8395672B2 (en) * | 2007-07-13 | 2013-03-12 | Panasonic Corporation | Imaging device that detects inclination of image and apparatus in a rolling direction |
JP5204785B2 (ja) * | 2007-12-03 | 2013-06-05 | パナソニック株式会社 | 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法 |
US8494225B2 (en) * | 2010-02-19 | 2013-07-23 | Julian L. Center | Navigation method and aparatus |
JP5583992B2 (ja) * | 2010-03-09 | 2014-09-03 | パナソニック株式会社 | 信号処理装置 |
JP6040338B2 (ja) * | 2014-03-25 | 2016-12-07 | 富士フイルム株式会社 | 手ぶれ補正装置、撮像装置 |
JP6448218B2 (ja) * | 2014-05-12 | 2019-01-09 | キヤノン株式会社 | 撮像装置、その制御方法および情報処理システム |
US9210306B1 (en) * | 2014-05-31 | 2015-12-08 | Apple Inc. | Method and system for a single frame camera module active alignment tilt correction |
KR102149391B1 (ko) * | 2015-02-23 | 2020-08-28 | 삼성전기주식회사 | 손떨림 보정 장치 및 이를 포함하는 카메라 모듈 |
WO2017014071A1 (ja) * | 2015-07-22 | 2017-01-26 | ソニー株式会社 | カメラモジュール、固体撮像素子、電子機器、および撮像方法 |
JP6727791B2 (ja) * | 2015-11-05 | 2020-07-22 | キヤノン株式会社 | 追尾制御装置および追尾制御方法、撮像装置 |
WO2017090458A1 (ja) * | 2015-11-26 | 2017-06-01 | ソニー株式会社 | 撮影装置、および撮影方法、並びにプログラム |
JP2017116840A (ja) * | 2015-12-25 | 2017-06-29 | オリンパス株式会社 | 撮像装置 |
JP6674264B2 (ja) * | 2016-01-26 | 2020-04-01 | キヤノン株式会社 | 像振れ検出装置及び方法、及び撮像装置 |
JP6604908B2 (ja) * | 2016-06-10 | 2019-11-13 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
US10868961B2 (en) * | 2016-08-05 | 2020-12-15 | Sony Corporation | Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method |
US10911675B2 (en) * | 2017-12-28 | 2021-02-02 | Samsung Electronics Co., Ltd. | Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device |
-
2019
- 2019-01-28 JP JP2019012524A patent/JP7197785B2/ja active Active
-
2020
- 2020-01-15 WO PCT/JP2020/001000 patent/WO2020158382A1/ja active Application Filing
- 2020-01-15 US US17/310,237 patent/US11756215B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04117077A (ja) * | 1989-10-17 | 1992-04-17 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
JPH05233815A (ja) * | 1992-02-21 | 1993-09-10 | Canon Inc | 動きベクトル検出装置 |
JP2006098541A (ja) * | 2004-09-28 | 2006-04-13 | Nikon Corp | カメラ |
JP2015105975A (ja) * | 2013-11-28 | 2015-06-08 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20220130057A1 (en) | 2022-04-28 |
US11756215B2 (en) | 2023-09-12 |
JP7197785B2 (ja) | 2022-12-28 |
WO2020158382A1 (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6937809B2 (ja) | 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法 | |
US10404917B2 (en) | One-pass video stabilization | |
US8290212B2 (en) | Super-resolving moving vehicles in an unregistered set of video frames | |
CN104469139B (zh) | 图像捕获装置和图像捕获方法 | |
Lee et al. | Simultaneous localization, mapping and deblurring | |
KR20150037369A (ko) | 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치 | |
WO2012138828A2 (en) | Kalman filter approach to augment object tracking | |
KR101051389B1 (ko) | 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법 | |
CN109711241B (zh) | 物体检测方法、装置与电子设备 | |
WO2018098862A1 (zh) | 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备 | |
US10860891B2 (en) | Memory-guide simulated pattern recognition method | |
JP2015524946A (ja) | 画像解像度が改善された超解像画像を形成するための方法及び測定装置 | |
WO2020158382A1 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
JP2021120814A (ja) | 学習プログラム、学習方法、及び情報処理装置 | |
JP5709255B2 (ja) | 画像処理方法および監視装置 | |
JP4751871B2 (ja) | 撮像対象検出装置および方法 | |
JP6154759B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
Gottfried et al. | Time of flight motion compensation revisited | |
KR101350460B1 (ko) | 영상의 모션 블러를 제거하는 방법 및 장치 | |
Rajakaruna et al. | Image deblurring for navigation systems of vision impaired people using sensor fusion data | |
Muthuswamy et al. | Salient motion detection through state controllability | |
Florez et al. | Video stabilization taken with a snake robot | |
JP2007018269A (ja) | 映像中の動き確率計算方法、映像中の動き確率マップ計算方法、変化検出方法、及びプログラム | |
Barber et al. | Inferring changes in intrinsic parameters from motion blur | |
Wang et al. | SID: Sensor-Assisted Image Deblurring System for Mobile Devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7197785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |