JP2021086596A

JP2021086596A - 周波数領域における映像のグローバル動き推定処理方法

Info

Publication number: JP2021086596A
Application number: JP2020033716A
Authority: JP
Inventors: 力松永; Tsutomu Matsunaga
Original assignee: For A Co Ltd
Current assignee: For A Co Ltd
Priority date: 2020-02-28
Filing date: 2020-02-28
Publication date: 2021-06-03

Abstract

【課題】周波数領域における効率的な映像のグローバル動き推定処理方法を実現することを目的とする。【解決手段】隣接２画像間のローリングシャッター動き歪みによるせん断変形を含むアフィン動きを、画像をフーリエ変換して、窓関数処理と平滑化処理を行った周波数領域におけるパワースペクトルマッチングにより推定するアフィン動き推定工程と、位相相関法により動きの並進成分を推定する並進動き推定工程と、を有する、周波数領域における映像のグローバル動き推定処理方法とする。【選択図】図３

Description

本発明は、周波数領域における効率的な映像のグローバル動き推定処理方法に関する。

従来、画像の動きの推定は、“特徴ベース”による方法と“領域ベース”による方法に大別される。特徴ベースの方法としては、Harris作用素やSIFT作用素によって抽出したコーナー等の画像特徴点や、ハフ変換によって検出した直線を用いるものが知られている。下記非特許文献１乃至３、特許文献１乃至３をご参照。

また、金澤氏及び金谷氏は、モザイク画像生成のために特徴点の対応から段階的に２画像間の射影変換を最適に計算した。本発明者は、海洋上の船舶から撮影される映像に含まれる画像の回転と上下動を除去するために、映像中の水平線を検出することにより動揺映像の安定化を行った。下記非特許文献４乃至５をご参照。

図１に下記非特許文献３に記載のＯＲＢ（Oriented FAST and Rotated BRIEF）による特徴点マッチング画像例を示している。領域ベースの方法としては、動画像圧縮符号化の国際標準規格ＭＰＥＧではブロックマッチングが用いられ、コンピュータビジョンではオプティカルフローがよく用いられるが、いずれも濃淡画素を直接処理するものである。下記非特許文献６乃至７をご参照。

２画像間の画像全体のグローバル動きの推定をオプティカルフローによって行い、カメラ映像の揺れを安定化させた例がある。下記非特許文献８をご参照。映像中の不要なブレを補正し、映像の安定化を行う処理を実現する装置は、一般に“ビデオスタビライザ（Video stabilizer）”と呼ばれる。

近年、低価格な携帯電話カメラからハイエンドのディジタル一眼レフカメラ（Digital single lens reflex camera，ＤＳＬＲ）まで、ＣＭＯＳセンサが多く使われてきている。ＣＭＯＳセンサは、低価格化、低消費電力化、大判化が可能であるが、これが従来のＣＣＤセンサと大きく異なる点は、ローリングシャッターと呼ばれる順次露光機構であり、それに起因して映像に動き歪み変形が生じる点である。シャッタースピードを上げると露光時間が短くなってブラー歪も低減されるが、露光量が減るので画像が暗くなる。ある程度の明るい画像を得ようとすれば、歪の発生を回避しきれないような撮影場面も少なくない。

これまでのスタビライザ処理の多くはＣＣＤセンサによるカメラを前提としているが、ＣＭＯＳセンサにおけるスタビライザ処理の研究もなされている。Ringaby とForssen は、携帯電話のカメラ映像を安定化するために、予めカメラの内部パラメータを校正した後、映像中の特徴点を抽出し、それを追跡した。カメラの運動を３次元回転モデルにより記述し、そのパラメータ推定には、再投影誤差の最小化を行うために非線形最適化を用いた。そして、推定したパラメータを平均化することによって安定化を行った。また、Grundmannらは、画面をブロック分割して、ブロック毎に隣接する２画像間の２次元射影変換を計算して、それらの空間的な重み付け平均により動き歪みを補正したが、射影変換を計算するためには、やはり、映像中の特徴点を用いている。下記非特許文献９乃至１０をご参照。

本発明者は、ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化して、並進動きの場合、そして、回転を含む一般的な運動の場合に拡張した。動きパラメータを“逆結合Lucas-Kanadeアルゴリズム”の更新量を１次近似した“近似逆結合Lucas-Kanade アルゴリズム”により推定し、動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を同時に行った。下記非特許文献１１乃至１２をご参照。

画像をフーリエ変換することによって周波数領域で動きの推定を行う位相相関法（Phase correlation，Ｐｈ．Ｃ）と呼ばれる処理が知られている。下記非特許文献１３、特許文献４をご参照。

US 6,711,293 B１, David G. Lowe, METHOD AND APPARATUS FOR IDENTIFYING SCALEINVARIANT FEATURES IN AN IMAGE AND USE OF SAME FOR LOCATING AN OBJECT IN AN IMAGE, Dateof Patent: Mar. 23, 2004 US 2009/0238460 A１, Ryuji Funayama, Hiromichi Yanagihara, Luc Van Gool, Tinne Tuytelaars,Herbert Bay, ROBUST INTEREST POINT DETECTOR AND DESCRIPTOR, Date of Patent: Sep. 24, 2009 US 3,069,654, Paul V. C. Hough, METHODS AND MEANS FOR RECOGNITION COMPLEXPATTEREN, Date of Patent: Dec. 18, 1962. US4,890,160, Graham A. Thomas, TV PICTURE MOTION VECTOR MEASUREMENT BY CORRELATION OF PICTURES, Date of Patent: Dec. 26, 1989. WO2015/186511, 福田和巳, 画像処理装置および画像処理方法, 国際公開日平成27 年12 月10 日（2015.12.10）特許第4938070号（特開2010-157210）, 李承勇, 趙城顯, 画像のブラ−除去方法および記録媒体, 登録日平成24 年3 月2 日（2012.3.2）

C. Harris and M. Stephens, A combined corner and edge detector, Proceedings of the 4th ALVEY vision conference, University of Manchester, England, September 1988, pp. 147-151. D. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60-2 (January 2004), 91-110. G. Bradski, K. Konolige, V. Rabaud and E. Rublee, ORB: An efficient alternative to SIFT or SURF,2011 IEEE International Conference on Computer Vision (ICCV 2011), Barcelona, 2011, pp. 2564-2571. 金澤靖, 金谷健一, 段階的マッチングによる画像モザイク生成, 電子情報通信学会論文誌D-II, J86-D-II-6 (2003), 816-824. 松永力, 水平線検出による船体動揺映像の安定化, 第15 回画像センシングシンポジウム(SSII09) 講演論文集, 横浜(パシフィコ横浜), 2009年6月. ISO/IEC-11172, Coding of moving pictures and associated audio for digital storage media up to 1.5 Mbits/s, 1993. B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, Proceedings of the 7th International Joint Conference on Artificial Intelligence - Volume 2 (IJCAI’81), Vancouver,BC, Canada, August 1981, pp. 674-679. M. Irani, B. Rousso and S. Peleg, Recovery of ego-motion using region alignment, IEEE Transactionson Pattern Analysis and Machine Intelligence, 19-3 (1997), 268-272. E. Ringaby and P.-E. Forssen, Efficient video rectification and stabilisation for cell-phones, International Journal of Computer Vision, 96-3 (2012), 335-352. M. Grundmann, V. Kwatra, D. Castro and I. Essa, Calibration-free rolling shutter removal, Proceedings of IEEE Conference on Computational Photography (ICCP2012), April 2012. 松永力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第19 回画像センシングシンポジウム(SSII2013) 講演論文集, 横浜(パシフィコ横浜), 2013年6月. 松永力, 対応点を用いないローリングシャッター歪み補正と映像の安定化〜並進から回転へ, 第21回画像センシングシンポジウム(SSII2015) 講演論文集, 横浜(パシフィコ横浜), 2015年6月. C. D. Kuglin and D. C. Hines, The phase correlation image alignment method, Proceedings of the 1975 International Conference on Cybernetics and Society, the Hyatt Regency Hotel, San Francisco, California,September 1975, pp. 163-165. E. De Castro and C. Morandi, Registration of translated and rotated images using finite Fouriertransforms, IEEE Transactions on Pattern Analysis and Machine Intelligence, 9-5 (1987), 700-703. B. S. Reddy and B. N. Chatterji, An FFT-based technique for translation, rotation, and scaleinvariantimage registration, IEEE Transactions on Image Processing, 5-8 (1996), 1266-1271. J. Biemond, R. L. Lagendijk, and R. M. Mersereau, Iterative methods for image deblurring,Proceedings of the IEEE, 78-5 (May 1990), 856-883. MaheshMohanM. R. andA.N. Rajagopalan, Going unconstrained with rolling shutter deblurring, 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, October 2017, pp. 4030-4038. S. Su and W. Heidrich, Rolling shutter motion deblurring, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, pp. 1529-1537. Rolling shutter and motion blur removal for depth cameras, 2016 IEEE International Conference on Robotics and Automation (ICRA), Stockholm, Sweden, May 2016, pp. 5098-5105. V. Ojansivu and J. Heikkila, Image registration using blur-invariant phase correlation, IEEE Signal Processing Letters, 14-7 (July 2007), 449-452. B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, Proceedings of the 7th International Joint Conference on Artificial Intelligence - Volume 2 (IJCAI’81), Vancouver, BC, Canada, August 1981, pp. 674-679. S. Baker and I. Matthews, Lucas-Kanade 20 years on: A unifying framework, International Journal of Computer Vision, 56-3 (2004), 221-255. M. Delbracio and G. Sapiro, Removing camera shake via weighted Fourier burst accumulation, IEEE Transactions on Image Processing, 24-11 (November 2015), 3293-3307. K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, Color image denoising via sparse 3D collaborative filtering with grouping constraint in luminance-chrominance space, Proceedings of IEEE InternationalConference on Image Processing (ICIP 2007), San Antonio, TX, USA, September 2007, pp. I-313-I-316.

問題点は大きく２つある。第一の問題点は、画像間の動きの推定である。特徴ベースの方法による画像間の動きの推定は、画像から特徴点を抽出した後の後処理として、画像間の特徴点の対応付けが必要となる（［図１］における画像毎の特徴点を結ぶ線を引くための処理）。

特徴点の対応付けに誤りが含まれていると、精密な画像間の位置合わせができない。誤対応を防ぐための様々な工夫、繰り返しランダムな特徴点のサンプリングとその判定作業も行われているが、画素のラスタスキャンによる処理を基本とする動画像に適用することは、処理時間が掛かり現実的ではない。

領域ベースの方法は動画像への適用も比較的容易であるものの、画像に含まれる不要な動きであるブレに起因するモーションブラーによる画像の劣化に対応することが難しい場合がある。

位相相関法による画像の動き推定は、並進動きのみならず回転、スケール変化を含む動きの推定方法が提案されている。しかしながら、ローリングシャッター動き歪みに見られるような、せん断変形を含むアフィン動きに関する拡張は知られていない。非特許文献１４乃至１５をご参照。

第二の問題点としては、画像間の動きの推定ができて、その推定結果により動き補正を行い画像の位置合わせができたとしても、ブレに起因するモーションブラーによる劣化は残ることである。そして、モーションブラーを除去することは容易ではない。

モーションブラーを除去する処理に関しては、古くから様々な方法が研究されてきたが、基本的に静止画像に対するものであり、反復による繰り返し計算になる。非特許文献１６をご参照。

特に、画像のモーションブラー等による劣化過程を表すシステム応答関数である点拡がり関数（Point spread function，ＰＳＦ）を未知とした場合に、ブラインド・デコンボリューションと呼ばれる。これを、画像自身から推定する方法が提案されている。特許文献５，６をご参照。

推定したＰＳＦを用いて真の画像を復元するが、これも、反復による再構成型の処理、すなわち、画像の生成・劣化過程を模倣して、その結果が観測画像と一致するように補正作業を繰り返し行い、真の画像を推定する処理になる。そして、その復元結果を用いて再びＰＳＦを推定する交互反復推定になる。このように、映像中のブラーを除去するには膨大な処理時間が掛かるため、映像処理としては、現実的でなない。反復による処理は、観測ノイズに対して脆弱でもある。

ローリングシャッターの場合の動き歪みによるモーションブラーを除去する方法も提案されているが、いずれも、反復による再構成型の処理である。非特許文献１７乃至１９をご参照。

本発明は上述した課題等を解決するために為されたものであり、映像におけるブラー除去処理として効率的かつ効果的な方法を提案することを目的とする。

映像中の不要な動きであるブレを補正する周波数領域におけるビデオスタビライザ処理をローリングシャッター動き歪みの場合に拡張する。隣接する２画像間のグローバル動きを画像をフーリエ変換することによる位相相開法を用いて並進成分を推定し、画像のフーリエ変換データから計算したパワースペクトルをLucas-Kanadeアルゴリズムを用いてアフィン動きを推定する。また、推定したアフィン変換による補正もすべて周波数領域において行う。ブレ補正結果の映像に対して映像ブレに起因するモーションブラーを直接的に時間方向のフレーム巡回型フィルタである１次遅れＩＩＲバイラテラルフィルタ構成としたフーリエ冪乗加算により除去する。フレーム巡回型フィルタ構成により、フレームメモリを劇的に減らすことが可能となる。これは、映像におけるブラー除去処理として、非常に効率的かつ効果的な方法となる。

本発明では、映像中の不要な動きであるブレを補正するビデオスタビライザ処理を周波数領域処理として実現する。隣接２画像間のグローバル動きを画像をフーリエ変換することによる位相相関法を用いて推定する。通常の位相相関法を改良したモーションブラーに対する不変性を有するブラー不変位相相関法を用いる。非特許文献２０をご参照。

２次元フーリエ変換における“アフィン定理”を用いて、画像のフーリエ変換データのパワースペクトルを画像と見なせば、アフィン動きを推定することができる。推定には、画像間の幾何学的な位置合わせに用いられるLucas-Kanadeアルゴリズムを用いる。反復毎にヘッセ行列を計算しない逆結合Lucas-Kanade アルゴリズムを１次近似した近似逆結合Lucas-Kanadeアルゴリズムにより、計算コストを低減する。そして、並進成分の推定には、位相相関法を用いる。非特許文献２１乃至２２をご参照。

ブレ補正のための画像の並進及び拡大補正処理もすべて周波数領域において行い、ブレ補正結果の映像に対して、映像ブレに起因するモーションブラーを画像のパワースペクトルを重みとするフーリエ冪乗加算処理により除去する。非特許文献２３をご参照。

フーリエ冪乗加算処理は、ブレ補正のための動き補正を周波数領域で行った結果を直接的に処理することが可能であるが、［非特許文献２３］における冪乗加算処理は時間方向の“ＦＩＲ（Finite impulse response）フィルタ”であり、連続的に入力される動画像列の場合、複数フレームに渡る加算平均には映像を蓄積するために膨大なメモリが必要となる。そこで、本発明では、時間方向のフレーム巡回型１次遅れＩＩＲバイラテラルフィルタ構成としたフーリエ冪乗加算により除去する。

画像に含まれる不要な動きであるブレを補正して、映像の安定化を図りつつ、ブレに起因するモーションブラーも除去することが可能となる。すべての処理は、画像をフーリエ変換した周波数領域において行われ、反復を行わない１パスによる処理であり、フレーム巡回型フィルタ構成により、フレームメモリを劇的に減らすことが可能となる。処理に掛かるフレーム遅延数も減る。映像におけるブラー除去処理として、非常に効率的かつ効果的な方法であり、映像の視認性が飛躍的に向上するだけでなく、映像を圧縮したファイル容量も劇的に低減し、圧縮効率も高まる。これは、圧縮コーデックに依らずに可能となる。

ＯＲＢ（Oriented FAST and Rotated BRIEF）による特徴点マッチング画像例を説明する図である。モーションブラー除去ビデオスタビライザ処理の全体ブロック図を説明する図である。モーションブラー除去ビデオスタビライザ処理を説明している詳細ブロック図である。ローリングシャッター機構において、走査時間の間にシーン中の物体が動くと、画像中では、どのように歪んで見えるのかを示す図であり、縦線が画像の右方向へ移動する場合（カメラが左を向く場合）とその結果の歪み画像（上段）、円が画像の下方向へ移動する場合（カメラが上を向く場合）とその結果の歪み画像（下段）である。ＣＭＯＳカメラの並進歪みを説明する図である。 Lucas-Kanadeアルゴリズム手順を説明する図である。逆結合／近似逆結合Lucas-Kanadeアルゴリズム手順を示す図であり、図７の手順の番号は、図６のLucas-Kanadeアルゴリズムと対応しており、手順９のそれぞれの場合のパラメータ更新の式の違いに注意する。画像中心フーリエ変換処理の流れを説明する概念図である。周波数領域における拡大補正を説明する概念図である。周波数領域における窓関数の係数を示す図である。ビデオスタビライザ処理アルゴリズム手順を示す図である。フーリエ冪乗加算処理アルゴリズム手順を示す図である。フレーム巡回型１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算処理（ＩＩＲ）のアルゴリズム手順を説明する図である。非線形エンハンサ処理アルゴリズム手順を説明する図である。非線形エンハンサ処理を説明するブロック図である。位相相関及びLucas-Kanadeスペクトルマッチングによる動き推定結果の画像例を示す図である。フーリエ冪乗加算処理の分析結果を説明する図である。モーションブラー除去処理結果の画像例であり、各段左から、典型的なブラー全体画像（Typical Shot(Whole)）とその枠内を切り出した部分画像（Typical Shot）、最良画像（Best Shot）、位置合わせ結果の単純加算平均（Align & Average）、フーリエ冪乗加算結果（FBA）、１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算結果（FBA(IIR)）である。フーリエ冪乗加算処理ブロックを説明する図である（複数の画像を記憶するための多くのメモリを要する）。フレーム巡回型１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算処理ブロック図である（メモリの削減が可能である）。

本発明の新しい特徴点としては、典型的には、
・すべての処理は、画像を２次元フーリエ変換することにより、画像間の動きの推定及び動きの補正も含め、周波数領域において行われる。このとき、何らの対応付けも行わない。
・周波数領域における画像間の動きの推定は、並進パラメータは位相相関法により行い、ローリングシャッター動き歪みによるせん断変形を含むアフィン動きパラメータはフーリエ変換画像データから計算したパワースペクトルを画像と見なして、そのスペクトル画像としての画素値の勾配情報に基づく最適化アルゴリズムにより推定する。
・スペクトル画像の画素値の勾配情報に基づくアフィン動きパラメータ推定の最適化アルゴリズムにおける反復過程で、２階微分であるヘッセ行列とその逆行列を反復毎に計算するのではなく、予め計算した結果を繰り返し用いて、さらに推定するパラメータの更新方法を１次近似により簡略化している。
・画像の不要な動きに起因するモーションブラーを除去する処理も、周波数領域において行われ、位置合わせ（Align）の結果のフーリエ変換画像を直接的に用いて行うことができる。
・モーションブラー除去処理は、画像のパワースペクトルを重みとした時間方向におけるフレーム巡回型フィルタ構成により、画像を蓄積するフレームメモリを劇的に減らしつつ、反復を行わない１パス処理である。明示的な点拡がり関数の推定も行わないし、ノイズに対してもロバストである。映像におけるモーションブラー除去を実現する効率的かつ効果的な方法である。
等が挙げられる。

また、本発明を具現化するための要素としては、典型的には、
・画像を２次元フーリエ変換するフーリエ変換部、
・フーリエ変換された画像を周波数領域において、窓関数処理を行う窓関数処理部、
・フーリエ変換された画像を周波数領域において窓関数処理を行った後、動き推定処理の安定化のためにフーリエ変換画像を平滑化する平滑化処理部、
・フーリエ変換されて、窓関数処理と平滑化処理を行った隣接２画像間の動きを、周波数領域における位相相関計算により推定する並進動き推定部、
・フーリエ変換された隣接２画像間の周波数領域における位相相関計算結果を逆フーリエ変換により位相相関平面を計算する位相相関平面計算部、
・位相相関平面における最大ピーク値を探索して、探索結果の最大ピーク値近傍の位相相関値に対して、水平垂直方向毎に２次関数、あるいはシンク関数を当てはめることにより、サブピクセル精度の動きパラメータを推定するサブピクセル精度動き推定部、
・フーリエ変換されて、窓関数処理と平滑化処理を行った隣接２画像間のローリングシャッター動き歪みによるせん断変形を含むアフィン動きを、周波数領域におけるパワースペクトルマッチングにより推定するアフィン動き推定部、
・動き推定結果の並進及びアフィン動きパラメータを用いて、窓関数処理及び平滑化処理を行う前のフーリエ変換された画像を直接周波数領域において動き補正するアフィン動き補正部、
・動き補正により位置合わせされたフーリエ変換画像に対して、そのパワースペクトルの平滑化を行い、べき乗処理による重み画像を計算する重み画像計算部、
・動き補正により位置合わせされたフーリエ変換画像に対して、パワースペクトル重み画像を用いたフレーム巡回型１次遅れＩＩＲバイラテラルフィルタ処理によりモーションブラーを除去するモーションブラー除去処理部、
・動き補正により位置合わせを行い、モーションブラー除去処理によりモーションブラーを除去したフーリエ変換画像を周波数領域において拡大補正する拡大補正部、
・動き補正により位置合わせを行い、モーションブラー除去処理によりモーションブラーを除去して、拡大補正を行ったフーリエ変換画像を逆フーリエ変換する逆フーリエ変換部、
等が挙げられる。

また、実現方法としては、例えば、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、映像を圧縮したＭＸＦファイルを処理するソフトウェア及びそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。各種カメラやテレビ受像機、映像録画再生装置等の個々の機器のみならず、カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、ビデオスタビライザ及びモーションブラー除去処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。

図２は、モーションブラー除去ビデオスタビライザ処理の全体ブロック図を説明する図である。

図３は、モーションブラー除去ビデオスタビライザ処理を説明している詳細ブロック図である。図３は図２と同じものを表現形式を変えて説明するものであり、図３に示す”ＦＢＡ”は図２に示す”Fourier Burst Accumulation(Motion deblur)”である（デブラー処理）。”Fourier Burst Accumulation(Motion deblur)”とは、端的に述べるとすると、複数の連続画像（例えば１０枚）のうち歪のない部分（例えば縦ブレの場合には画像中の縦線にはブレが生じず横ブレの場合には画像中の横線にはブレが生じない（ブレ動き方向と線延伸方向とが同一の場合）し静止画であればブラーは生じない）を自動的に抽出してこれを一つにまとめて利用（再構成）する技術である。但し、複数の連続画像（例えば１０枚〜２０枚等）を一時記憶しておくストレージ容量を削減する（典型的にはメモリを減らす）ため、”フレーム巡回型１次遅れＩＩＲバイラテラルフィルタ処理”を利用することが好ましい。図２及び図３の”Fourier Burst Accumulation(Motion deblur)”はブラー除去に関する今回の新しい追加された処理（特にＩＩＲ態様）であり、図３の”Power Spectrum”及び”LK Matching”の処理は画像間の動きの推定に関する今回の新しい追加された処理である。

窓関数処理を行った結果のフーリエ変換画像は、動き推定処理の安定化のため、ガウシアン平滑化処理（Gaussian）を行う。周波数領域におけるガウシアン平滑化処理は、“要素毎の乗算”になる。窓関数処理及び平滑化処理を行った隣接する２画像間のフーリエ変換画像に対して、位相相関（Phase Correlation）により並進パラメータ（Translation Vector）を推定する。同時に、フーリエ変換された画像データからパワースペクトルを計算して（Power Spectrum）、パワースペクトル同士のマッチングをLucas-Kanadeアルゴリズムにより行い（LK Matching）、アフィン動きパラメータ（Affine Vector）を推定する。ここで、パワースペクトルとは、フーリエ変換された画像データ（複素数）の絶対値に相当するものである。後述する［数１１］が、２次元フーリエ変換のアフィン定理であり、そのパワースペクトルを計算すると、すなわち絶対値を計算すると、［数１２］になる。

基準となる入力映像の第１画像フレームに対して位置合わせを行うために、第１画像フレームと入力画像フレームとの間で推定した並進パラメータとアフィン動きパラメータを合成した（Combine）した全アフィン動きパラメータ（Full Affine Vector）により、入力画像のフーリエ変換画像データを直接アフィン動き補正する（Affine Correction）。

或いは、隣接２画像フレーム間において推定した並進パラメータとアフィン動きパラメータを累積加算して合成した全アフィン動きパラメータ（Full Affine Vector）により、入力画像のフーリエ変換画像データを直接アフィン動き補正してもよい。

以下、ローリングシャッター機構による動き歪みのモデル、画像間のグローバル動き推定としての周波数領域における位相相関法及びLucas-Kanadeスペクトルマッチング、ローリングシャッター映像ブレに起因するモーションブラーを周波数領域において除去するフーリエ冪乗加算、モーションブラー除去結果をデノイジング処理した後の非線形エンハンサ処理について、順に説明する。また、各処理のアルゴリズム手順及び画像シミュレーション結果も示す。

［ローリングシャッター動き歪み］
ＣＭＯＳセンサはＣＣＤセンサとは異なるシャッター機構を持つ。ＣＣＤセンサではすべての画素が同時に露光されるが、ＣＭＯＳセンサの場合、小型、低価格を達成するためにライン走査による順次露光を用いている。したがって、カメラの動きが走査時間に比較して非常に大きい場合、ＣＭＯＳセンサの最初と最後のラインの時間差のために、ＣＭＯＳカメラ映像はカメラの動きによって歪む。［図４］は、そのようなローリングシャッター機構において、走査時間の間にシーン中の物体が動くと、画像中では、どのように歪んで見えるのかを示している。縦線が画像の右方向へ移動する場合（カメラが左を向く場合）とその結果の歪み画像（上段）、円が画像の下方向へ移動する場合（カメラが上を向く場合）とその結果の歪み画像（下段）である。物体とカメラの動きは相対的である。

ここで、上記［数３］に代入する”ｕ（ｘ）＝ｔ＝”の式の右辺右肩のＴ記号は、転置を表す記号であり、横書きスペースの都合上、縦ベクトルを横１行で表現するために用いられるものである。

並進動きによる歪み変形を表す変換行列Ａｎは、２次元アフィン変換になるが、その自由度（未知パラメータの個数）は４である。

［パワースペクトルマッチングによるアフィン動き推定］
位相相関法による画像の動き推定は、並進動きのみならず回転、スケール変化を含む動きの推定方法が提案されている。しかしながら、ローリングシャッター動き歪みに見られるような、せん断変形を含むアフィン動きに関する拡張は知られていない。けれども、２次元フーリエ変換における“アフィン定理”は知られている。

である。したがって、画像のフーリエ変換データのパワースペクトルを画像とみなせば、アフィン動きを推定することができる。１／｜Δ｜は、パワースペクトルの最大値により正規化すればよい。推定には、Lucas-Kanadeアルゴリズムを用いる。そして、並進成分の推定には、位相相関法を用いる。

［位相相関法］

これが、位相相関法（Phase correlation，Ｐｈ．Ｃ）として知られている方法である。

［位相相関法におけるサブピクセル精度の並進動き推定］
モーションブラーによる影響を回避するため、本発明では、通常の位相相関法を改良したブラー不変位相相関法を用いる。改良と言ってもその方法は極めて簡明なものである。モーションブラーのような点対称な点拡がり関数（Point spread funciotn，ＰＳＦ）のフーリエ変換は、実数になり、その位相値は、０あるいはπのいずれかになる。したがって、［数１６］の位相相関値を偶数乗することにより、ＰＳＦの影響を取り除くものである。注意すべきは、２乗した位相相関値を逆フーリエ変換した位相相関平面の最大ピーク値の位置が並進動き量の２倍になることである。位相相関計算における２乗処理により、並進動き量が２倍となるため、１／２としなければならないことに注意する。

実際には、離散化された２次元画像に対して離散フーリエ変換を行い、最終的に離散化された２次元相関平面が得られる。その最大ピーク位置はピクセル精度になるが、最大ピーク位置とその近傍データに対して２次関数を当てはめることにより、“サブピクセル精度”の位置を推定する。

いずれの方法でも、サブピクセル精度の動き量を推定することが可能であるが、それぞれ速度と精度の観点からトレードオフの関係にある。優先順位を考慮して、いずれかの方法を選べばよい。

［Lucas-Kanadeスペクトルマッチング］
画像のパワースペクトルを画像と見なせば、画像間の幾何学的な位置合わせに用いられるLucas-Kanadeアルゴリズムを適用することができる。Lucas-Kanadeアルゴリズムは画素を直接処理する領域ベースの手法であり、何らの画像特徴や対応付けを必要としない。ここで、画像のパワースペクトルとは、フーリエ変換画像データの絶対値である。

したがって、ｐは適当な初期値からΔｐを反復的に解くことによって、求めることができる。これは、ヘッセ行列を計算するのに２階微分を行わずに近似する「ガウス・ニュートン法」である。Lucas-Kanadeアルゴリズムの手順を［図６］に示す。

Lucas-Kanadeアルゴリズムの問題は、反復毎に更新した補正パラメータにより変換した入力スペクトル画像のヘッセ行列Ｈを計算しなければならないことである。そこで、基準スペクトル画像と入力スペクトル画像の役割を交換する。

変化量を加算により更新するのではなく、変化量による変換行列の逆行列を合成することにより更新する。

これは、逆結合Lucas-Kanadeアルゴリズム（Inverse Compositional Algorithm）と呼ばれ、Lucas-Kanadeアルゴリズムの効率的な方法として提案されている。しかし、変換の合成結果を１次近似しても、通常は問題ないことが確認できる。すなわち、パラメータの更新は逆方向の加算、つまり“減算”によってなされる。

このような逆結合の１次近似である“減算”によって、Lucas-Kanadeアルゴリズムの効率化が図れることから、これを“近似逆結合Lucas-Kanadeアルゴリズム”と称することにする。逆結合／近似逆結合Lucas-Kanadeアルゴリズム手順を［図７］に示す。図７の手順の番号は、［図６］のLucas-Kanadeアルゴリズムと対応している。図７において、手順９のそれぞれの場合のパラメータ更新の式の違いに注意する。

［周波数領域における並進動き歪み及び拡大補正］
位相相関法により推定した並進パラメータとLucas-Kanadeアルゴリズムにより推定したアフィン動きパラメータを用いて、映像のブレ補正のための画像の並進歪み補正も周波数領域において行う。具体的な計算としては、フーリエ変換画像データを、実部と虚部に分けて、それぞれを内挿補間処理により、アフィン変換する。境界領域のフーリエ変換画像データは、周期境界拡張して、補間処理を行えばよい。注意すべきは、画像座標における原点とフーリエ変換画像座標における原点を一致させなければならないことである。画像中心を原点とするためには、はじめに、画像左上を原点とするために１／２画像サイズだけシフトする。このとき、画像領域を越えた画素は、周期境界拡張する。そして、そのように左上原点とした画像をフーリエ変換する。さらに、フーリエ変換画像の中心を原点とするために１／２画像サイズだけシフトする。動き推定、補正、モーションブラー除去を行ったフーリエ変換画像データを元の画像に戻す際には、逆の変換を行なえばよい。

［図８］に画像中心フーリエ変換処理の流れ概念図を示す。ここでは、フーリエ変換された画像データとして振幅スペクトル画像を用いているが、実際のフーリエ変換された画像データは複素数であることに注意する。

周波数領域における並進歪み補正の結果は周期的になる。すなわち、画像を右に移動すると左側に移動による見切れた領域が現れ、画像を下に移動すると上側に移動による見切れた領域が現れる。並進歪み補正による画像の境界の見切れは、画像を拡大して、その中央領域を切り出すことにより補正する。並進歪み補正は２次元フーリエ変換のアフィン定理の［数１０］により補正が可能であり、拡大補正は、フーリエ変換画像を“ゼロ埋め（Zero padding）”拡張することにより可能となる。フーリエ変換のための“窓関数処理”も、フーリエ変換後の周波数領域において行うことが可能であり、フーリエ変換前の時間領域における窓関数処理結果をそのまま並進補正することによる画像周辺部分の輝度の低下を避けることができる。

図９に周波数領域における拡大補正の概念図を示す。ここでは、フーリエ変換された画像データとして振幅スペクトル画像を用いている。その画像中心部が直流成分であり、周辺部に行くに連れて高周波成分を表しているが、実際のフーリエ変換された画像データは複素数であることに注意する。

［周波数領域における窓関数処理］
時間領域における窓関数処理は“要素毎の乗算”であるが、周波数領域における窓関数処理は次のような“畳み込み積分（合成積）”になる。

［数３９］は、１次元フーリエ変換データＸ（ｋ）に対するそれぞれ３点、５点の畳み込み式であるが、画像の場合、水平垂直方向毎に行えばよい。［図１０］は、周波数領域における代表的な窓関数の係数である。

［図１１］にビデオスタビライザ処理アルゴリズム手順を示す。基準となる入力映像の第１画像フレームに対して位置合わせを行うために、隣接２画像フレーム間において推定した並進パラメータとアフィン動きパラメータを累積加算して合成した全アフィン動きパラメータにより、入力画像のフーリエ変換画像データを直接アフィン動き補正している。位相相関計算における２乗処理により、並進動き量が２倍となるため、１／２としている。

［フーリエ冪乗加算によるモーションブラー除去］
ビデオスタビライザ処理における劣化は、映像中の不要な動きであるブレだけではなく、映像ブレに起因するモーションブラーがある。映像中の不要なブレを補正して、安定化を行ったとしても、モーションブラーによる解像度の劣化は残ってしまう。

図１２にフーリエ冪乗加算処理アルゴリズム手順を示す。また、図１９にフーリエ冪乗加算処理ブロック図を示す。図１９の構成で、フーリエ冪乗加算処理は可能であるが、複数の画像を一時記憶する大きなストレージ容量（フレームメモリ）を必要とする。この点、後述する図２０のＩＩＲ形式はストレージ容量低減の観点からさらに好ましいといえる。

本発明では、フーリエ冪乗加算を次のような“１次遅れＩＩＲ（Infinite impulse response）バイラテラルフィルタ”による構成として処理する。

従来のフーリエ冪乗加算処理は、ブレ補正のための動き補正を周波数領域で行った結果を直接的に処理することが可能であり、モーションブラーを除去するための第一ステップとしての動き推定補正処理との親和性の高い処理であるが、冪乗加算処理は時間方向の“ＦＩＲ（Finite impulse response）フィルタ”であり、連続的に入力される動画像列の場合、複数フレームに渡る加算平均には映像を蓄積するために膨大なメモリが必要となる。フーリエ変換された画像データは複素数であり、その実数部と虚数部をそれぞれ格納するためには、通常の実数部のみの画像データの２倍のメモリが必要となる。これを、時間方向のフレーム巡回型の１次遅れＩＩＲバイラテラルフィルタによる構成とすることにより、フレームメモリが劇的に低減する。処理に掛かるフレーム遅延数も減る。１次遅れ係数αは、過去のフレームの影響を低減する忘却係数の役割を持つものであり、フレーム画像のパワースペクトルによる重みと時間方向の１次遅れ係数の両者を備えていることから、“バイラテラル（双側面）”と呼ぶ。図１３にフレーム巡回型１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算処理アルゴリズム手順を示す。図２０にフレーム巡回型１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算処理ブロック図を示す。

［非線形エンハンサ処理］
スタビライザ処理及びモーションブラー除去処理を行った結果に対して、デノイジング処理及びエンハンサ処理を行ってもよい。デノイジング処理後のエンハンサ処理として、画像エッジ成分の冪乗処理による高周波成分の復元を行う非線形エンハンサ処理を用いると効果的である。

［図１４］は、非線形エンハンサ処理アルゴリズム手順であり、［図１５］は、非線形エンハンサ処理のブロック図である。入力信号（Input）から、差分ガウシアンフィルタ（Difference of Gaussians、ＤｏＧ）により、そのエッジ成分を抽出する。ガウシアン差分を計算するためのガウシアン平滑化カーネルを、

とすると、画像Ｉ（ｘ）のＤｏＧフィルタは、

である（ただし、１次元の場合）。ここで、σ２＞σ１である。ＤｏＧフィルタはガウシアン平滑化フィルタの２次微分であるラプラシアンフィルタ（Laplacian of Gaussian，ＬｏＧ）の良い近似であり、計算効率も高い。画像の場合には、水平垂直方向に分離して処理を行うことができる。ラプラシアンフィルタ同様、方向に依らないエッジ検出が可能である。

ＤｏＧフィルタにより検出されたエッジ成分を、コアリング処理（Ｃｏｒｉｎｇ）により、その微小レベルを除去する。

レベルに関する非線形操作によるエッジ成分を適当にスケールして、原信号に加算する。不要なオーバーシュート、アンダーシュートを除去するために、入力信号における注目画素近傍領域における局所最小値・最大値を探索して（Local Min/Max Search）、探索結果の局所最小値・最大値（Local Min/Max）を用いて、エッジ成分をスケール加算したエンハンサ結果をクリップ処理（Clip[I(x)、Mix、Max]）した結果を出力（Output）する。

このような非線形エンハンサ処理を、複数の異なるσ値による差分ガウシアンフィルタを用いてマルチスケール拡張してもよい。マルチスケール拡張により、細かなエッジから緩やかなエッジに対するエンハンスが可能となる。

［モーションブラー画像の生成］
モーションブラー画像の生成を次のようにして行う。
１．平均０、標準偏差σ_ｔの正規乱数による並進パラメータｔ_ｎ，ｔ_ｎ＋１を用いて、適当な画像の中央領域を並進歪み変換して切り出したものをブレ画像とする。

生成したモーションブラー画像列を用いて、ブレ補正による映像の安定化とモーションブラー除去処理を行い、評価する。

［画像シミュレーション結果］
［図１６］は、位相相関及びLucas-Kanadeスペクトルマッチングによる動き推定結果の画像例である。適当な１枚の画像から生成したブラー画像列における２画像間の並進歪みを推定する。ブラー画像の生成には、並進動きレベルσ_ｔ＝５、内挿補間画像生成のためのＬ＝２０、Ｋ＝１５、ノイズレベルσ_ｎ＝１０とした。

図１６（ａ）第１画像と、図１６（ｂ）第２画像と、の間の並進歪みを推定するために、“ブラー不変位相相関法”を用いた。［図１１］のビデオスタビライザ処理アルゴリズム手順には、ブラー不変位相相関法による手順を記載している。位相相関計算における２乗処理により、並進動き量が２倍となるため、１／２としていることに注意する。カラーＲＧＢ画像をＲＧＢチャネル毎にフーリエ変換した後、Ｇ（緑）画像同士を用いて、位相相関計算を行う。フーリエ変換後の周波数領域にて、窓関数処理を行い、さらに、標準偏差σ＝２のガウシアン平滑化を行った結果に対して位相相関値を計算した。

位相相関平面における最大ピーク値近傍の水平垂直方向毎の位相相関値を２次元プロットしたものが同図１６（ｅ）である。ノイズの影響により、ややベースラインが変動して、ピーク幅が広がっているものの、明瞭なピークが認められる。水平垂直方向毎に、ピーク値を含む３点に２次関数を当てはめ、９点にシンク関数を当てはめた結果をそれぞれ（ｆ）（ｇ）に示す。２次関数の当てはめ結果は、水平1.0138、垂直4.3888、シンク関数の当てはめ結果は、水平0.9760、垂直4.3917であった。位相相関計算における２乗処理により、グラフのピーク位置は２倍されている。

図１６（ｃ）（ｄ）Ｇ（緑）画像の第１パワースペクトル画像と第２パワースペクトル画像から、近似逆結合Lucas-Kanadeアルゴリズムにより、アフィン動きを推定した。画像中の枠内の領域の“画素”を用いて推定処理を行った。モーションブラーの影響により、パワースペクトルが“割れる”場合があり、その影響を避けるため、画像中央領域の低周波数成分を用いてマッチングを行う。画像中央領域に固定の矩形重み関数を掛けるものであり、“Ｍ推定”とも見なせる。（ｈ）は、Lucas-Kanadeスペクトルマッチングにおける反復回数に対する［数２４］の残差グラフである。この場合は、６回の反復により収束した。

ブラー画像列を基準画像に位置合わせするために、並進成分を含めたアフィン動きパラメータの推定結果を用いて、アフィン補正する。アフィン補正も周波数領域において、フーリエ変換のアフィン定理を用いて行う。そのようにして、位置合わせ後のフーリエ変換された画像列に対して、直接的にフーリエ冪乗加算によるブラー除去処理を行う。

ＦＩＲフィルタ構成における処理フレーム数Ｍに相当する十分なフレーム数が経過すると、ほぼＦＩＲフィルタ構成による復元結果と同等な結果が得られており、入力画像に含まれるモーションブラーの影響を受けていない成分が抽出されて、前フレーム出力画像に合成されて、出力画像は徐々に復元されて行く。

［図１８］は、モーションブラー除去処理結果の画像例である。各段左から、典型的なブラー全体画像（Typical Shot(Whole)）とその枠内を切り出した部分画像（Typical Shot）、最良画像（Best Shot）、位置合わせ結果の単純加算平均（Align & Average）、フーリエ冪乗加算結果（FBA）、１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算結果（FBA(IIR)）である。位置合わせ結果の単純加算平均（Align & Average）、フーリエ冪乗加算結果（FBA）、１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算結果（FBA(IIR)）は本発明による効果確認を示す結果となる。フーリエ冪乗加算の結果はいずれも周波数領域における拡大補正の後、時間領域におけるデノイジング処理及び非線形エンハンサ処理を行っている。ここでは、デノイジング処理として、ＣＢＭ３Ｄを用いた。非特許文献２４をご参照。

非線形エンハンサ処理は、ＲＧＢ信号から輝度色差信号に変換して、輝度信号のみに対して行った。“ＦＩＲフィルタ”としてのフーリエ冪乗加算処理では、Ｍ＝１５フレームとした。１次遅れＩＩＲバイラテラルフィルタ構成によるフーリエ冪乗加算処理における１次遅れ係数α＝０．１とした。冪乗指数ｐはすべて１５とした。

本手法は、コンピュータ断層撮影（Computed tomography,ＣＴ）や核磁気共鳴画像法（Magnetic resonance imaging,ＭＲＩ）、合成開口レーダー（Synthetic aperture radar,ＳＡＲ）等のフーリエ変換された画像データに対しても有用だと思われる。また、映像の圧縮処理の際の前処理としても好適である。

上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用して、または／およびアレンジして、利用することが可能である。また、当業者には自明の事項であるので特筆はしていないが、ディジタル画像は、地デジ放送では水平垂直１９２０×１０８０画素サイズの画像が毎秒３０枚（フレーム）用いられる。そして、画素の値は通常は［０，２５５］の８ビット整数値となるので、画素のフーリエ変換は、１９２０×１０８０個の［０，２５５］画素値から算出するものとなる。

本発明は、映像機器全般、各種カメラやテレビ受像機・映像録画再生機等における様々な映像機器に使用可能であって、映像の圧縮処理の際の前処理としても好適である。

Claims

周波数領域における映像のグローバル動き推定処理方法において、
隣接２画像間のローリングシャッター動き歪みによるせん断変形を含むアフィン動きを、画像をフーリエ変換して、窓関数処理と平滑化処理を行った周波数領域におけるパワースペクトルマッチングにより推定するアフィン動き推定工程と、位相相関法により動きの並進成分を推定する並進動き推定工程と、を有する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
周波数領域における映像のグローバル動き推定処理方法において、
フーリエ変換されて、窓関数処理と平滑化処理を行った隣接２画像間のローリングシャッター動き歪みによるせん断変形を含むアフィン動きを、周波数領域におけるパワースペクトルマッチングにより推定するアフィン動き推定工程を有する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項２に記載の方法において、
動き推定結果の並進及びアフィン動きパラメータを用いて、窓関数処理及び平滑化処理を行う前のフーリエ変換された画像を直接周波数領域において動き補正するアフィン動き補正工程をさらに有する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項３に記載の方法において、
前記アフィン動き補正工程の動き補正は、位置合わせ（Ａｌｉｇｎ）である
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項４に記載の方法において、
前記アフィン動き補正により位置合わせされたフーリエ変換画像に対して、そのパワースペクトルの平滑化を行う
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項２乃至請求項５のいずれか一項に記載の方法において、
周波数領域における画像間の動きの推定において、並進パラメータは位相相関法により行う
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項２乃至請求項６のいずれか一項に記載の方法において、
前記アフィン動き推定工程は、スペクトル画像の画素値の勾配情報に基づくアフィン動きパラメータ推定の最適化アルゴリズムにおける反復過程で、２階微分であるヘッセ行列とその逆行列を反復毎に計算するのではなく、予め計算した結果を繰り返し用いて、さらに推定するパラメータの更新方法を１次近似により簡略化処理を遂行する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項２乃至請求項７のいずれか一項に記載の方法において、
前記フーリエ変換された画像を周波数領域において、窓関数処理を行う窓関数処理工程をさらに有する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項８に記載の方法において、
前記窓関数処理工程で前記窓関数処理を行った後、動き推定処理の安定化のためにフーリエ変換画像を平滑化する平滑化処理工程をさらに有する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項２乃至請求項９のいずれか一項に記載の方法において、
フーリエ変換された隣接２画像間の周波数領域における位相相関計算結果を逆フーリエ変換により位相相関平面を計算する位相相関平面計算工程をさらに有する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。
請求項１０に記載の方法において、
前記位相相関平面における最大ピーク値を探索して、探索結果の最大ピーク値近傍の位相相関値に対して、水平垂直方向毎に２次関数またはシンク関数を当てはめることにより、サブピクセル精度の動きパラメータを推定するサブピクセル精度動き推定工程をさらに有する
ことを特徴とする周波数領域における映像のグローバル動き推定処理方法。