JP2009290588A - 動きベクトル検出装置およびその方法、並びに撮像装置 - Google Patents
動きベクトル検出装置およびその方法、並びに撮像装置 Download PDFInfo
- Publication number
- JP2009290588A JP2009290588A JP2008141384A JP2008141384A JP2009290588A JP 2009290588 A JP2009290588 A JP 2009290588A JP 2008141384 A JP2008141384 A JP 2008141384A JP 2008141384 A JP2008141384 A JP 2008141384A JP 2009290588 A JP2009290588 A JP 2009290588A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- blocks
- detection target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】画像ブレ補正部15は、時間的に連続した画像データのフレーム内を複数のブロックに分割し、当該分割したブロック毎に前フレームと現フレームとのマッチングをとる動きベクトル検出機能を有し、画像ブレ補正部15は、各ブロック内の輝度値の最大値と最小値の差の大きさによって、動きベクトルの検出対象ブロックを選択し、この選択された検出対象ブロックに対してのみマッチングをとって動きベクトルを検出する。
【選択図】図1
Description
そのため、画像処理によってぶれのない動画像を得ることができる撮像装置などが種々提案されている。
この技術では、ブロックマッチング方法により動きベクトルを検出し、残差の積分値をもとにブロックを選択する。
上述したように、ブロック内の画像に特徴が無かったり、部分的に特異な動きをした部分のブロックなど、検出結果の信頼性に問題のあるブロックが含まれる場合があるが、これらのブロックの検出結果の影響を受けると正しい動きベクトルが検出できない場合がある。
本撮像装置10は、動きベクトルを検出するシステムとして代表的な、電子式手ブレ補正システムを例として示している。
これらの構成要素のうち画像ブレ補正部15等により処理部が構成される。
そして、画像ブレ補正部において、ブロック内の輝度値の最大値と最小値の差が閾値以下のブロックと、輝度値差が少ない方から一定の割合のブロックを、組み合わせにより動きベクトルの検出対象ブロックから除外することにより、演算処理量を少なくしつつ、高精度に動きを検出する。
本撮像装置10は、検出対象としたブロックで求めた動きベクトルが有効か無効かを判断する基準として、いわゆる管理図の手法を用いる。
このことにより、撮像装置10は、各ブロックの動きベクトル値のばらつきを、平均値と範囲によって管理し、該当ブロックの動きベクトルが管理限界を超えているかどうかで、有効か無効かを判断することにより、さらに高精度に動きを検出する。
撮像装置10は、動きベクトルの検出対象ブロック数を決定する場合に、管理図の手法を用いるのに合わせてブロック数を調整する機能を有する。
また、求められた各ブロックの検出結果に対して管理図の手法を用いることによってばらつきの限界を管理することで、特異な検出結果のブロックを除外して、更に信頼性の高い動きベクトルを選択できるように構成されている。
換言すれば、本実施形態の撮像装置10では、分割された複数のブロックにおいて輝度値の最大値と最小値の差が閾値以上のもののみブロックマッチングの動きベクトル検出を実施する。
検出された動きベクトルについて、管理図の手法を用いて有効か否かの判断をすることによって信頼性の高い動きベクトルの検出結果を得ることができる。
システム処理部14は、動きベクトル検出時のブロック数を決定するための情報を画像ブレ補正部15に供給する。
そして、画像ブレ補正部15は、各ブロック内の輝度値の最大値と最小値の差の大きさによって、動きベクトルの検出対象ブロックを選択し、この選択された検出対象ブロックに対してのみマッチングをとって動きベクトルを検出する処理部として機能する。
そして、選択する動きベクトルの検出対象ブロックの数は、管理に係る管理図における副群の倍数に設定される。
そこで、連続する画像間の動きベクトルを求め、動きに合わせて出力する画像の位置を、出力画像OIM1、OIM2の様にずらして出力することにより、ブレを補正し、見やすい画像とする。
動きベクトルを求める方法としては、ブロックマッチング法などが代表的である。
図3(B)は、カメラのぶれなどの要因によって、画像が右上方向にずれた時のイメージ図である。
この場合、画面全体が右上に移動するので、図3(C)に示すように、各ブロックの動きベクトルは、全て同じ右上方向として検出される。
逆に、画像全体のコントラストが高い場合は、動きベクトルを検出しやすいブロックが多いのだが、全ブロックをサーチ対象としてしまうと、演算処理量が増えてしまうという問題がある。
図6は、本実施形態に係る有効ブロックの選択処理を説明するためのフローチャートである。
まず、ステップST1において、画像ブレ補正部15は、画面全体の輝度値の最大値と最小値の差Yを求める。
その後、ステップST2において、画像ブレ補正部15は、各ブロックの輝度値の最大値と最小値の差を求める。
ステップST3において、画像ブレ補正部15は、ステップST2で求めた最小値の差の値Yが、閾値以下となるブロックの数を求める。
このブロックの数の大小により、動きベクトルのサーチを行うブロックの数を可変にする。
画像ブレ補正部15は、例では、Yとの差が30%以下のブロック数が16以下の場合は、サーチ対象は48ブロックとしている。
画像ブレ補正部15は、ステップST3、ST4〜ST8において、30%以下のブロック数が増える程、段々とサーチ対象ブロックを減らしている。
ステップST5において、画像ブレ補正部15は、Yとの差が30%以下のブロック数が17以上20以下の場合は、サーチ対象は44ブロックとしている。
ステップST6において、画像ブレ補正部15は、Yとの差が30%以下のブロック数が21以上24以下の場合は、サーチ対象は40ブロックとしている。
ステップST7において、画像ブレ補正部15は、Yとの差が30%以下のブロック数が25以上28以下の場合は、サーチ対象は36ブロックとしている。
ステップST8において、画像ブレ補正部15は、Yとの差が30%以下のブロック数が29以上の場合は、サーチ対象ブロック数を32としている。
ステップST9において、画像ブレ補正部15は、指定ブロック数の動きベクトルをサーチする。
これにより、ブロック精度を落とすことなく演算処理量を減らすことができる。
たとえば、システムの持つ処理能力や、画像のフレームレート、画素数などによって、最大サーチブロック数を調整できる。
また、サーチ対象のブロック数の最小値をある程度大きくしているのは、ブロック数が少なすぎると、検出精度が落ちてしまう可能性があるからである。
また、被写体の一部が動いてしまっているような場合は、ブロック毎の動きベクトルが一致しなくなる。
このため、図7(C)に示すように、一部のブロックのベクトルが実際のカメラのブレとは違う方向を示している。
この管理図の手法を用いることにより、各ブロックの動きベクトル値のばらつきを、平均値と範囲によって管理し、該当ブロックの動きベクトルが管理限界を超えているかどうかで、有効か無効かを判断し、有効ブロックのみの情報を使用することにより、ベクトル値の誤差を出さないようにする。
図9は、群ごとの平均値とばらつきを求めた例を示す図である。
図10は、管理限界に基づく無効ブロックの処理フローを示す図である。
全ブロック数が44ある場合、11群(G)あるとみなして、図9に示すような管理表TBLとしてまとめる。
xバー−R管理図の手法に従って、中心CL(総平均)、上方管理限界UCL、下方管理限界LCLを求めると、以下のようになる。
各ブロックの動きベクトルが整数値で求められている場合は、小数点以下を四捨五入するなどしてもよい。
上記の例の場合、最大値13、最小値1となる。この方式のフローチャートを図10に示している。
ステップST11において、画像ブレ補正部15は、各群のxバー(平均値)とR(範囲を求める。
ステップST12において、画像ブレ補正部15は、総平均を求める。
ステップST13において、画像ブレ補正部15は、上方管理限界UCL、下方管理限界LCLを求める。
ステップST14において、画像ブレ補正部15は、管理限界を超えているブロックを無効とする。
また、画像ブレ補正部15は、動きベクトルの検出対象ブロックを、画像データのフレーム内全体の輝度値の最大値と最小値の差によって決まる閾値と比較して選択する。
動きブレ補正部15は、動きベクトルの検出対象ブロックを、各ブロック内の輝度値の最大値と最小値の差の大きい順に所定数を選択する。
また、動きブレ補正部15は、選択された複数の検出対象ブロックについて検出した動きベクトルに対して、管理図の手法を用いて、ばらつきの管理限界を判定し、管理限界内にある動きベクトルのみを用いて、画像データのフレーム全体の動きベクトルを決定する。
したがって、本実施形態によれば、以下の効果を得ることができる。
また、各ブロックの動きベクトル値のばらつきを、平均値と範囲によって管理することで、分散の大きい場合や、動きベクトルが小さい場合も正確に無効ベクトルを判定することができる。
また、動きベクトルの検出対象ブロック数を調整することにより、無効ブロック判定を、より精度よく効率的に実施することができる。
Claims (7)
- 時間的に連続した画像データのフレーム内を複数のブロックに分割し、当該分割したブロック毎に前フレームと現フレームとのマッチングをとる動きベクトル検出装置であって、
各ブロック内の輝度値の最大値と最小値の差の大きさによって、動きベクトルの検出対象ブロックを選択し、当該選択された検出対象ブロックに対してのみマッチングをとって動きベクトルを検出する処理部
を有する動きベクトル検出装置。 - 前記処理部は、
前記動きベクトルの検出対象ブロックを、前記画像データのフレーム内全体の輝度値の最大値と最小値の差によって決まる閾値と比較して選択する
請求項1に記載の動きベクトル検出装置。 - 前記処理部は、
前記動きベクトルの検出対象ブロックを、前記各ブロック内の輝度値の最大値と最小値の差の大きい順に所定数選択する
請求項1または2に記載の動きベクトル検出装置。 - 前記処理部は、
前記選択された複数の検出対象ブロックについて検出した動きベクトルに対して、ばらつきの管理限界を判定し、当該管理限界内にある動きベクトルのみを用いて、前記画像データのフレーム全体の動きベクトルを決定する
請求項1から3の何れか一に記載の動きベクトル検出装置。 - 前記選択する動きベクトルの検出対象ブロックの数は、前記管理に係る管理図における副群の倍数に設定される
請求項4に記載の動きベクトル検出装置。 - 時間的に連続した画像データのフレーム内を複数のブロックに分割するステップと、
前記各ブロック内の輝度値の最大値と最小値の差を求めるステップと、
前記各ブロック内の輝度地の最大値と最小値の差の大きさによって、動きベクトルの検出対象ブロックを選択するステップと、
前記選択された検出対象ブロックに対してのみ前フレームと現フレームとのマッチングをとって動きベクトルを検出するステップと
を有する動きベクトル検出方法。 - 光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
時間的に連続した画像データのフレーム内を複数のブロックに分割し、当該分割したブロック毎に前フレームと現フレームとのマッチングをとる動きベクトル検出装置と、を有し、
前記動きベクトル検出装置は、
各ブロック内の輝度値の最大値と最小値の差の大きさによって、動きベクトルの検出対象ブロックを選択し、当該選択された検出対象ブロックに対してのみマッチングをとって動きベクトルを検出する処理部を含む
撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008141384A JP2009290588A (ja) | 2008-05-29 | 2008-05-29 | 動きベクトル検出装置およびその方法、並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008141384A JP2009290588A (ja) | 2008-05-29 | 2008-05-29 | 動きベクトル検出装置およびその方法、並びに撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009290588A true JP2009290588A (ja) | 2009-12-10 |
Family
ID=41459347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008141384A Pending JP2009290588A (ja) | 2008-05-29 | 2008-05-29 | 動きベクトル検出装置およびその方法、並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009290588A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037957A1 (ko) * | 2013-09-16 | 2015-03-19 | 에스케이텔레콤 주식회사 | 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법 |
CN115482409A (zh) * | 2022-08-15 | 2022-12-16 | 北京数美时代科技有限公司 | 一种图像识别模型训练方法、系统、存储介质和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005025475A (ja) * | 2003-07-01 | 2005-01-27 | Sharp Corp | 管理値更新装置、管理値更新システム、製造管理システム、管理値更新方法、管理値更新プログラム、管理値更新プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007067694A (ja) * | 2005-08-30 | 2007-03-15 | Mitsubishi Electric Corp | 画像符号化装置、カメラ、携帯端末機器および画像符号化方法 |
JP2007274213A (ja) * | 2006-03-30 | 2007-10-18 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
JP2008005109A (ja) * | 2006-06-21 | 2008-01-10 | Sony Corp | 手振れ補正方法、手振れ補正方法のプログラム、手振れ補正方法のプログラムを記録した記録媒体及び手振れ補正装置 |
JP2008011119A (ja) * | 2006-06-28 | 2008-01-17 | Kyocera Corp | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
-
2008
- 2008-05-29 JP JP2008141384A patent/JP2009290588A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005025475A (ja) * | 2003-07-01 | 2005-01-27 | Sharp Corp | 管理値更新装置、管理値更新システム、製造管理システム、管理値更新方法、管理値更新プログラム、管理値更新プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007067694A (ja) * | 2005-08-30 | 2007-03-15 | Mitsubishi Electric Corp | 画像符号化装置、カメラ、携帯端末機器および画像符号化方法 |
JP2007274213A (ja) * | 2006-03-30 | 2007-10-18 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
JP2008005109A (ja) * | 2006-06-21 | 2008-01-10 | Sony Corp | 手振れ補正方法、手振れ補正方法のプログラム、手振れ補正方法のプログラムを記録した記録媒体及び手振れ補正装置 |
JP2008011119A (ja) * | 2006-06-28 | 2008-01-17 | Kyocera Corp | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037957A1 (ko) * | 2013-09-16 | 2015-03-19 | 에스케이텔레콤 주식회사 | 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법 |
US9811887B2 (en) | 2013-09-16 | 2017-11-07 | Sk Telecom Co., Ltd. | Apparatus and method for image stabilization using image blur correction |
CN115482409A (zh) * | 2022-08-15 | 2022-12-16 | 北京数美时代科技有限公司 | 一种图像识别模型训练方法、系统、存储介质和电子设备 |
CN115482409B (zh) * | 2022-08-15 | 2023-04-14 | 北京数美时代科技有限公司 | 一种图像识别模型训练方法、系统、存储介质和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5088118B2 (ja) | 焦点調節装置 | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
CN116896675A (zh) | 用于使图像稳定化的电子装置及其操作方法 | |
JP2015012480A (ja) | 画像処理装置及び画像処理方法 | |
KR20080101778A (ko) | 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체 | |
KR100793284B1 (ko) | 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 | |
JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
JP5105616B2 (ja) | 撮像装置及びプログラム | |
JP2016009998A (ja) | 撮像装置、撮像方法及びプログラム | |
US8976258B2 (en) | Image processing apparatus, image capturing apparatus, and program | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6231816B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
KR101630307B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
JP2021111929A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
KR20210115185A (ko) | 이미지 처리 방법 및 장치 | |
JP2009290588A (ja) | 動きベクトル検出装置およびその方法、並びに撮像装置 | |
JP6020904B2 (ja) | 画像処理装置および撮像装置 | |
JP5179859B2 (ja) | 撮像装置及び撮像方法 | |
JP6016546B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2011135227A (ja) | 被写体追跡装置及びその制御方法 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
US11956538B2 (en) | Image capturing apparatus that performs blur correction and method of controlling same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130729 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130910 |