JP2013020527A - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2013020527A JP2013020527A JP2011154627A JP2011154627A JP2013020527A JP 2013020527 A JP2013020527 A JP 2013020527A JP 2011154627 A JP2011154627 A JP 2011154627A JP 2011154627 A JP2011154627 A JP 2011154627A JP 2013020527 A JP2013020527 A JP 2013020527A
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- motion vector
- global motion
- image
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
【課題】より精度よく高速にグローバル動きベクトルを求めることができるようにする。
【解決手段】グローバル動きベクトル予測部は、過去の撮像画像のグローバル動きベクトルから、処理対象のフレームの撮像画像のグローバル動きベクトルの予測値を算出し、有効領域算出部は、その予測値に基づいて、撮像画像上の有効領域を定める。局所特徴量算出部は、撮像画像上の有効領域から局所特徴量を抽出し、積分射影部は、抽出された局所特徴量を所定方向の軸に射影することで、射影特徴ベクトルを算出する。グローバル動きベクトル算出部は、連続する2つのフレームの射影特徴ベクトルのマッチング処理を行うことにより、グローバル動きベクトルを算出する。本発明は、撮像装置に適用することができる。
【選択図】図8
【解決手段】グローバル動きベクトル予測部は、過去の撮像画像のグローバル動きベクトルから、処理対象のフレームの撮像画像のグローバル動きベクトルの予測値を算出し、有効領域算出部は、その予測値に基づいて、撮像画像上の有効領域を定める。局所特徴量算出部は、撮像画像上の有効領域から局所特徴量を抽出し、積分射影部は、抽出された局所特徴量を所定方向の軸に射影することで、射影特徴ベクトルを算出する。グローバル動きベクトル算出部は、連続する2つのフレームの射影特徴ベクトルのマッチング処理を行うことにより、グローバル動きベクトルを算出する。本発明は、撮像装置に適用することができる。
【選択図】図8
Description
本技術は画像処理装置および方法、並びにプログラムに関し、特に、画像間のグローバル動きベクトルを精度よく高速に求めることができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、連続して撮像された複数の静止画像に対し、それらの静止画像間のグローバルな動きベクトル(以下、グローバル動きベクトルと称する)を算出し、その算出結果に基づいて静止画像を並べて合成して、パノラマ画像を生成する技術が提案されている。
このように2つの画像間のグローバル動きベクトルを推定する手法として、主に3つの手法が知られている。
すなわち、第1の手法として、特徴点ベースでのグローバル動きベクトル推定手法が知られている。この手法では、図1に示すように連続して撮像された2つ画像A11と画像A12のそれぞれについて、特徴点が算出される。
図1の例では、画像A11上の円と、画像A12上の四角形とがそれぞれ特徴点を示している。例えば、代表的な特徴点としてはSIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)などが知られており、これらは被写体の拡大縮小、回転等に頑強な特徴を持つ。
次に画像A11上の特徴点と画像A12上の特徴点との対応付けが行なわれる。図1では、矢印の始点位置にある画像A11上の特徴点と、矢印の終点位置にある画像A12上の特徴点とが互いに対応する特徴点となっている。例えば特徴点の対応付けを行なう場合に、RANSAC(Random Sample Consensus)などのロバスト推定を行うことで、動被写体などのアウトライヤの除去がある程度可能となる。そして、画像A11と画像A12の特徴点の対応付けが確定すると、それらの対応付け結果が利用されて、画像間のグローバル動きベクトルが算出される。
また、第2の手法として、ブロックマッチングベースでのグローバル動きベクトル推定手法がある。ブロックマッチングによる動き推定はデジタルビデオ圧縮システム等に広く用いられている。
この手法では、図2に示すように画像A13が複数のブロックに分割され、各ブロックについて、画像A13と連続して撮像された画像A14から、画像A13上のブロックと一致する領域が探索される。
すなわち、例えば画像A13上のブロックBL11に対して、画像A14上のブロックBL11と同じ位置を中心とする探索領域TR11が定められる。そして、探索領域TR11内の各領域のうち、ブロックBL11内の画素の画素値との差分絶対値の総和など、ブロック同士の差分が最小となる領域を探索することで、ブロックBL11の動きベクトルが求められる。さらに、そのようにして求められた各ブロックの動きベクトルから、画像A13と画像A14の間のグローバル動きベクトルが求められる。
また、第3の手法として、積分射影法によるグローバル動きベクトル推定手法がある。この手法では、画像の特徴量が所定の軸に射影され、画像ごとに射影された一次元情報(特徴量)を利用して、画像間のグローバル動きベクトルが算出される。
具体的には、画像上のブロック内の各画素の画素値を特徴量として、特徴量を行方向および列方向に積分射影し、これらを利用して探索を行うことで、通常のブロックマッチングに比べて低コストでグローバル動きベクトルを算出する手法がある(例えば、非特許文献1参照)。
E.Ogura,Y.Ikeda,Y.Iida,Y.Hosoya,M.Takasima,K.Yamashita "A Cost Effective Motion Estimation Processor LSI Using a Simple and Efficient Algorithm" IEEE Transactions on Consumer Electronics 第41巻3号、1995/8
しかしながら、上述した技術では、精度よく高速にグローバル動きベクトルを算出することはできなかった。
例えば、第1の手法は、高精度にグローバル動きベクトルを算出することはできるが、計算コストが高い手法である。そのため、第1の手法は、パーソナルコンピュータのソフトウェア処理には適しているが、リソースがパーソナルコンピュータより劣っている装置、例えば携帯型端末装置やデジタルカメラ等には適していない。
また、第2の手法では、例えばデジタルカメラで撮像したビデオよりもはるかに解像度が高い画像間のグローバル動きベクトルを、デジタルカメラ内の処理で実現するには時間がかかってしまう。そのため、ある程度の処理時間が許容できる場合はよいが、連写撮影しながらシャッタ間の時間を利用して、画像の撮像と同時にグローバル動きベクトルを算出することは困難である。
さらに、第3の手法では、上述した第1の手法および第2の手法と比較して高速にグローバル動きベクトルを算出できる反面、高精度にグローバル動きベクトルを求めることができない。特に、画像間のグローバル動きベクトルを用いてパノラマ画像を生成するには、より高精度にグローバル動きベクトルを算出することが求められる。
本技術は、このような状況に鑑みてなされたものであり、精度よく高速にグローバル動きベクトルを算出できるようにするものである。
本技術の第1の側面の画像処理装置は、過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値を算出する予測部と、前記予測値に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部とを備える。
前記有効領域算出部には、前記撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域と、前記予測値とに基づいて前記有効領域を定めさせることができる。
前記特徴量算出部には、前記撮像画像上の前記所定方向に並ぶ画素に基づいて、前記特徴量を算出させることができる。
前記特徴量算出部には、前記撮像画像上の画素の勾配情報に基づいて、前記特徴量を算出させることができる。
前記特徴量算出部には、前記撮像画像の色情報に基づいて、前記特徴量を算出させることができる。
前記射影部には、互いに直交する2つの軸のそれぞれに前記特徴量を射影させて、前記軸ごとに前記射影特徴ベクトルを算出させることができる。
画像処理装置には、前記グローバル動きベクトルに基づいて前記撮像画像を合成し、パノラマ画像を生成するパノラマ合成部をさらに設けることができる。
画像処理装置には、前記グローバル動きベクトルに基づいて前記撮像画像に対する手振れ補正を行なう手振れ補正部をさらに設けることができる。
本技術の第1の側面の画像処理方法またはプログラムは、過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値を算出し、前記予測値に基づいて、前記撮像画像上の有効領域を定め、前記撮像画像上の前記有効領域から特徴量を抽出し、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルを算出するステップを含む。
本技術の第1の側面においては、過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値が算出され、前記予測値に基づいて、前記撮像画像上の有効領域が定められ、前記撮像画像上の前記有効領域から特徴量が抽出され、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルが算出され、前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルが算出される。
本技術の第2の側面の画像処理装置は、撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部とを備える。
本技術の第2の側面の画像処理方法またはプログラムは、撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域に基づいて、前記撮像画像上の有効領域を定め、前記撮像画像上の前記有効領域から特徴量を抽出し、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出するステップを含む。
本技術の第2の側面においては、撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域に基づいて、前記撮像画像上の有効領域が定められ、前記撮像画像上の前記有効領域から特徴量が抽出され、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルが算出され、前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルが算出される。
本技術の第1の側面および第2の側面によれば、精度よく高速にグローバル動きベクトルを算出することができる。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
[撮像装置の構成例]
図3は、本技術を適用した撮像装置の一実施の形態の構成例を示す図である。
[撮像装置の構成例]
図3は、本技術を適用した撮像装置の一実施の形態の構成例を示す図である。
この撮像装置11は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
すなわち、光学系は、被写体の光画像を集光するレンズ21、レンズ21からの光画像の光量を調整する絞り22、および集光された光画像を光電変換して電気信号に変換する撮像素子23から構成される。撮像素子23は、例えばCCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。
信号処理系は、サンプリング回路24、A/D(Analog/Digital)変換回路25、および画像処理回路26から構成される。サンプリング回路24は、例えば、相関2重サンプリング回路(CDS:Correlated Double Sampling)によって実現され、撮像素子23からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子23において発生するノイズが軽減される。サンプリング回路24において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。
A/D変換回路25は、サンプリング回路24から供給されるアナログ信号をデジタル信号に変換して、画像処理回路26に供給し、画像処理回路26は、A/D変換回路25から入力されるデジタル信号に所定の画像処理を施す。
また、記録系は、画像信号を符号化または復号する符号化/復号器27と、画像信号を記録するメモリ28とから構成される。符号化/復号器27は、画像処理回路26によって処理されたデジタル信号である画像信号を符号化してメモリ28に記録させたり、メモリ28から画像信号を読み出して復号し、画像処理回路26に供給したりする。
表示系は、D/A(Digital/Analog)変換回路29、ビデオエンコーダ30、および表示部31から構成される。
D/A変換回路29は、画像処理回路26によって処理された画像信号をアナログ化してビデオエンコーダ30に供給し、ビデオエンコーダ30は、D/A変換回路29からの画像信号を表示部31に適合する形式のビデオ信号にエンコードする。表示部31は、例えば、LCD(Liquid Crystal Display)等により実現され、ビデオエンコーダ30におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部31は、被写体の撮像時にはファインダとしても機能する。
制御系は、タイミング生成部32、操作入力部33、ドライバ34、および制御部35から構成される。また、画像処理回路26、符号化/復号器27、メモリ28、タイミング生成部32、操作入力部33、および制御部35は、バス36を介して相互に接続されている。
タイミング生成部32は、撮像素子23、サンプリング回路24、A/D変換回路25、および画像処理回路26の動作のタイミングを制御する。操作入力部33は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部35に供給する。
ドライバ34には所定の周辺機器が接続され、ドライバ34は接続された周辺機器を駆動する。例えばドライバ34は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部35に供給する。
制御部35は、撮像装置11の全体を制御する。例えば、制御部35は、ドライバ34を介して、ドライバ34に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部33からのコマンド等に基づいて、撮像装置11全体の動作を制御する。
次に、撮像装置11の動作について説明する。
撮像装置11では、被写体からの入射光、すなわち被写体の光画像は、レンズ21および絞り22を介して撮像素子23に入射し、撮像素子23によって光電変換されて電気信号とされる。撮像素子23で得られた電気信号は、サンプリング回路24によってノイズ成分が除去され、A/D変換回路25によってデジタル化された後、画像処理回路26が内蔵する図示せぬ画像メモリに一時的に格納される。
なお、通常の状態、つまりシャッタ操作がされる前の状態では、タイミング生成部32による信号処理系に対するタイミングの制御により、画像処理回路26の画像メモリには、一定のフレームレートで、絶えずA/D変換回路25からの画像信号が上書きされるようになされている。画像処理回路26の画像メモリ内の画像信号は、D/A変換回路29によってデジタル信号からアナログ信号に変換され、ビデオエンコーダ30によってビデオ信号に変換されて、ビデオ信号に対応する画像が表示部31に表示される。
この場合において、表示部31は、撮像装置11のファインダとしての機能も担っており、ユーザは、表示部31に表示される画像を見ながら構図を定め、操作入力部33としてのシャッタボタンを押下して、画像の撮像を指示する。シャッタボタンが押下されると、制御部35は、操作入力部33からの信号に基づいて、タイミング生成部32に対し、シャッタボタンが押下された直後の画像信号が保持されるように指示する。これにより、画像処理回路26の画像メモリに画像信号が上書きされないように、信号処理系が制御される。
そして、その後、画像処理回路26の画像メモリに保持されている画像信号が、符号化/復号器27によって符号化されてメモリ28に記録される。以上のような撮像装置11の動作によって、1枚の画像信号の取込みが完了する。
[画像処理回路の構成]
また、図3の画像処理回路26は、より詳細には図4に示すように構成される。
また、図3の画像処理回路26は、より詳細には図4に示すように構成される。
すなわち、画像処理回路26は、撮像画像保持部61、局所特徴量算出部62、積分射影部63、およびグローバル動きベクトル算出部64から構成される。
撮像画像保持部61には、撮像装置11により撮像された被写体の画像(以下、撮像画像と称する)が供給され、撮像画像保持部61は、供給された複数の撮像画像を保持する。撮像画像保持部61に供給される撮像画像は、撮像装置11が所定方向に移動(スイープ)している状態で連続して撮像された画像であり、撮像画像の撮像時には、連続して撮像される2つの撮像画像上に同じ被写体が含まれるように、撮像装置11が移動される。
なお、以下、連続して撮像された撮像画像のうち、t番目に撮像された撮像画像をフレームtの撮像画像とも称することとする。
局所特徴量算出部62は、撮像画像保持部61に保持されている撮像画像から局所特徴量を抽出し、積分射影部63に供給する。積分射影部63は、局所特徴量算出部62から供給された局所特徴量を所定方向の軸上に射影してグローバル動きベクトル算出部64に供給する。
グローバル動きベクトル算出部64は、積分射影部63から供給された、連続するフレームの撮像画像の射影された局所特徴量のマッチングを行なうことで、撮像画像のグローバル動きベクトルを算出し、出力する。ここで、撮像画像のグローバル動きベクトルは、撮像画像全体の動きベクトルであり、同じ被写体が重なるように2つの撮像画像を重ね合わせたときの撮像画像の位置関係を示している。換言すれば、グローバル動きベクトルは、撮像画像の撮像時における背景などの動きのない被写体に対する撮像装置11の動きを示しているということができる。
[グローバル動きベクトル算出処理の説明]
ところで、ユーザが操作入力部33を操作して、パノラマ画像の生成など、グローバル動きベクトルの算出が必要となる処理を指示すると、撮像装置11は、撮像画像を撮像してグローバル動きベクトルを算出するグローバル動きベクトル算出処理を開始する。以下、図5のフローチャートを参照して、撮像装置11によるグローバル動きベクトル算出処理について説明する。
ところで、ユーザが操作入力部33を操作して、パノラマ画像の生成など、グローバル動きベクトルの算出が必要となる処理を指示すると、撮像装置11は、撮像画像を撮像してグローバル動きベクトルを算出するグローバル動きベクトル算出処理を開始する。以下、図5のフローチャートを参照して、撮像装置11によるグローバル動きベクトル算出処理について説明する。
ステップS11において、撮像装置11は、撮像画像の撮像を開始する。すなわち、処理が開始されると、例えば、ユーザは撮像装置11を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置11に撮像させる。
被写体からの光はレンズ21および絞り22を介して撮像素子23に入射するので、撮像素子23は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像(画像信号)は、撮像素子23から、サンプリング回路24乃至符号化/復号器27を介してメモリ28に供給され、記録される。このとき、撮像画像は符号化/復号器27により符号化される。また、メモリ28への記録時において、各撮像画像には撮像順にフレーム番号が付される。
複数の撮像画像がメモリ28に順次記録されると、それらの撮像画像は、符号化/復号器27によりメモリ28から読み出されて復号され、画像処理回路26の撮像画像保持部61に供給されて保持される。
なお、撮像により得られた撮像画像が、メモリ28に記録されずに、直接、撮像画像保持部61に供給されるようにしてもよい。また、撮像画像は、撮像された1つの静止画像であってもよいし、撮影された動画像を構成する1フレーム分の画像であってもよい。
ステップS12において、局所特徴量算出部62は、撮像画像保持部61から処理対象のフレームを含む、連続する2つのフレームの撮像画像を取得し、それらの撮像画像から局所特徴量を抽出する。
例えば、撮像画像上の互いに直交する方向をx方向およびy方向とし、x方向とy方向を軸とするxy座標系における撮像画像上の座標(x,y)にある画素の画素値をv(x,y)とする。この場合、局所特徴量算出部62は、撮像画像上における各画素の画素値v(x,y)をそのまま局所特徴量とする。
なお、以下、x方向を水平方向とも呼ぶこととし、y方向を垂直方向とも呼ぶこととする。また、局所特徴量は、色情報(例えば、R,G,Bの各色の情報)である画素値そのものであってもよいし、画素の輝度値とされてもよい。
さらに、撮像画像の画素の差分絶対値や、画素の差分二乗値など、撮像画像の画素の勾配情報に基づいて局所特徴量が算出されるようにしてもよい。
すなわち、例えば撮像画像上の座標(x,y)にある画素の水平方向の局所特徴量として水平方向に隣接する画素の差分絶対値が求められ、垂直方向の局所特徴量として垂直方向に隣接する画素の差分絶対値が求められるようにしてもよい。この場合、例えば水平方向の局所特徴量として|v(x+1,y)−v(x,y)|が算出され、垂直方向の局所特徴量として|v(x,y+1)−v(x,y)|が算出される。
また、水平方向の局所特徴量および垂直方向の局所特徴量として、撮像画像上の水平方向に隣接する画素の差分二乗値と、撮像画像上の垂直方向に隣接する画素の差分二乗値が算出されるようにしてもよい。すなわち、この場合、水平方向の局所特徴量として(v(x+1,y)−v(x,y))2が算出され、垂直方向の局所特徴量として(v(x,y+1)−v(x,y))2が算出される。
局所特徴量算出部62は、撮像画像の各画素について局所特徴量を算出すると、算出した局所特徴量を積分射影部63に供給する。
ステップS13において、積分射影部63は、局所特徴量算出部62から供給された局所特徴量を所定方向の軸上に射影して射影特徴ベクトルを算出し、グローバル動きベクトル算出部64に供給する。
具体的には、例えば図6に示すように、処理対象のフレーム(t+1)の撮像画像FP(t+1)と、フレーム(t+1)の直前のフレームtの撮像画像FP(t)とから局所特徴量が抽出されたとする。なお、図6において、横方向および縦方向はx方向(水平方向)およびy方向(垂直方向)を示している。
積分射影部63は、撮像画像FP(t)の各画素について求められた水平方向の局所特徴量を水平方向の軸(以下、水平軸とも称する)に射影し、水平軸上の同じ位置に射影された局所特徴量の和を求めることで、水平軸射影特徴ベクトルH(t)を算出する。
ここで、撮像画像FP(t)が水平方向にX個および垂直方向にY個の合計X×Y個の画素からなる画像であるとする。この場合、積分射影部63は、水平方向(x方向)の位置xごとに水平軸射影特徴ベクトルH(t)の要素となる射影積分値ph(x)を算出し、各水平方向の位置xについて求めたX個の射影積分値ph(x)からなるベクトルを水平軸射影特徴ベクトルH(t)とする。射影積分値ph(x)は、x座標が同じである撮像画像FP(t)の画素の水平方向の局所特徴量の総和である。
同様に、積分射影部63は、撮像画像FP(t)の各画素について求められた垂直方向の局所特徴量を垂直方向の軸(以下、垂直軸とも称する)に射影し、垂直軸上の同じ位置に射影された局所特徴量の和を求めることで、垂直軸射影特徴ベクトルV(t)を算出する。すなわち、積分射影部63は、垂直方向(y方向)の位置yごとに垂直軸射影特徴ベクトルV(t)の要素となる射影積分値pv(y)を算出し、各垂直方向の位置yについて求めたY個の射影積分値pv(y)からなるベクトルを垂直軸射影特徴ベクトルV(t)とする。射影積分値pv(y)は、y座標が同じである撮像画像FP(t)の画素の垂直方向の局所特徴量の総和である。
したがって、例えば画素の画素値v(x,y)がそのまま局所特徴量とされた場合、水平軸射影特徴ベクトルH(t)を構成する射影積分値ph(x)、および垂直軸射影特徴ベクトルV(t)を構成する射影積分値pv(y)は、それぞれ次式(1)および式(2)で表される。なお、この場合には、水平方向および垂直方向の局所特徴量は、ともに画素の画素値v(x,y)とされる。
また、例えば水平方向に隣接する画素の差分絶対値、および垂直方向に隣接する画素の差分絶対値が、それぞれ水平方向および垂直方向の局所特徴量として求められた場合、射影積分値ph(x)および射影積分値pv(y)は、それぞれ次式(3)および式(4)で表される。
さらに、例えば水平方向に隣接する画素の差分二乗値、および垂直方向に隣接する画素の差分二乗値が、水平方向および垂直方向の局所特徴量として求められた場合、射影積分値ph(x)および射影積分値pv(y)は、それぞれ次式(5)および式(6)で表される。
積分射影部63は、このようにして撮像画像FP(t)の水平軸射影特徴ベクトルH(t)および垂直軸射影特徴ベクトルV(t)を算出すると、さらに同様の演算により撮像画像FP(t+1)の水平軸射影特徴ベクトルH(t+1)および垂直軸射影特徴ベクトルV(t+1)を算出する。
なお、図6では、局所特徴量が互いに直交する水平軸と垂直軸に射影される例について説明したが、射影される軸の方向は水平方向や垂直方向に限らず、どのような方向であってもよい。また、局所特徴量を射影する軸の数も2つに限らず、いくつであってもよい。
また、以下、水平軸射影特徴ベクトルと垂直軸射影特徴ベクトルを特に区別する必要のない場合、単に射影特徴ベクトルと称する。
図5のフローチャートの説明に戻り、射影特徴ベクトルが算出されると、ステップS14において、グローバル動きベクトル算出部64は、積分射影部63から供給された射影特徴ベクトルに基づいて撮像画像のグローバル動きベクトルを算出し、出力する。
具体的には、例えばグローバル動きベクトル算出部64は、水平軸射影特徴ベクトルH(t)と水平軸射影特徴ベクトルH(t+1)のマッチングを行なうことで、グローバル動きベクトルの水平方向の成分(x成分)を求める。
すなわち、グローバル動きベクトル算出部64は、水平軸射影特徴ベクトルH(t)と水平軸射影特徴ベクトルH(t+1)の同じx座標の射影積分値ph(x)がy方向に並ぶように、それらの水平軸射影特徴ベクトルをy方向に並べた状態とする。そして、グローバル動きベクトル算出部64は、水平軸射影特徴ベクトルH(t)に対して水平軸射影特徴ベクトルH(t+1)をx方向にずらしながら、それらの水平軸射影特徴ベクトルがy方向に重なっている部分について、x方向の同じ位置にある射影積分値ph(x)の差分絶対値の平均値を求める。
例えば、水平軸射影特徴ベクトルH(t)に対して水平軸射影特徴ベクトルH(t+1)がx方向にSだけシフト(平行移動)されたとする。この場合、水平軸射影特徴ベクトルH(t)の射影積分値ph(x)と、水平軸射影特徴ベクトルH(t+1)の射影積分値ph(x-S)との差分絶対値の平均値が求められる。
そして、グローバル動きベクトル算出部64は、射影積分値ph(x)の差分絶対値の平均値が最小となるシフト量Sを求め、得られたシフト量Sをグローバル動きベクトルの水平方向の成分(x成分)とする。
また、グローバル動きベクトル算出部64は、水平方向における場合と同様の演算を行なって、垂直軸射影特徴ベクトルV(t)と垂直軸射影特徴ベクトルV(t+1)のマッチングにより、グローバル動きベクトルの垂直方向の成分(y成分)を求める。このようにして得られたx成分とy成分からなるベクトルがグローバル動きベクトルとされる。
これにより、例えば図7に示すグローバル動きベクトルGVが得られる。なお、図7において、横方向および縦方向は、x方向およびy方向を示している。
図7の例では、フレームtの撮像画像FP(t)とフレーム(t+1)の撮像画像FP(t+1)の同じ被写体が重なるように、それらの画像が並べられている。また、撮像画像FP(t+1)の左上の頂点を始点とし、撮像画像FP(t)の左上の頂点を終点とするベクトルGVがフレーム(t+1)のグローバル動きベクトルとされている。このベクトルGVは、撮像画像FP(t)と撮像画像FP(t+1)の相対的な位置関係を示している。
図5のフローチャートの説明に戻り、ステップS15において、画像処理回路26は、全てのフレームの撮像画像について、処理を行なったか否かを判定する。例えば、全フレームの撮像画像のグローバル動きベクトルが算出された場合、全てのフレームについて処理を行なったと判定される。
ステップS15において、まだ全てのフレームについて処理を行なっていないと判定された場合、処理はステップS12に戻り、上述した処理が繰り返される。すなわち、次のフレームが処理対象のフレームとされて、そのフレームの撮像画像のグローバル動きベクトルが算出される。
これに対して、ステップS15において、全てのフレームについて処理を行なったと判定された場合、画像処理回路26は各部の処理を停止させ、グローバル動きベクトル算出処理は終了する。
以上のようにして、撮像装置11は、撮像画像の局所特徴量を所定方向の軸に射影し、その結果得られた射影特徴ベクトルのマッチングによりグローバル動きベクトルを求める。このように局所特徴量を所定方向の軸に射影することで、マッチング処理に用いられる情報(特徴量)の数を削減することができ、通常のブロックマッチングなどと比較して、より高速にグローバル動きベクトルを得ることができる。
なお、以上においては、局所特徴量として画素の画素値、画素間の差分絶対値、または画素間の差分二乗値を求める例について説明したが、これらは差分二乗値、差分絶対値、および画素の画素値の順で局所特徴量として有用であり、マッチング精度の向上を期待することができる。但し、マッチング処理の計算コストについては、画素の画素値、差分絶対値、および差分二乗値の順で計算コストが低い。
〈第2の実施の形態〉
[画像処理回路の構成]
また、以上においては、撮像画像全体から局所特徴量を抽出すると説明したが、撮像画像のグローバル動きベクトル算出に有用な領域(以下、有効領域と称する)のみから局所特徴量を抽出するようにしてもよい。
[画像処理回路の構成]
また、以上においては、撮像画像全体から局所特徴量を抽出すると説明したが、撮像画像のグローバル動きベクトル算出に有用な領域(以下、有効領域と称する)のみから局所特徴量を抽出するようにしてもよい。
そのような場合、図3の画像処理回路26は、図8に示すように構成される。なお、図8において、図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図8の画像処理回路26は、撮像画像保持部61、局所特徴量算出部62、積分射影部63、グローバル動きベクトル算出部64、グローバル動きベクトル保持部91、グローバル動きベクトル予測部92、および有効領域算出部93から構成される。
図8の画像処理回路26の構成は、新たにグローバル動きベクトル保持部91乃至有効領域算出部93が設けられている点で図4の画像処理回路26と異なり、その他の点では図4の画像処理回路26と同じとなっている。
グローバル動きベクトル保持部91は、グローバル動きベクトル算出部64から供給されたグローバル動きベクトルを保持するとともに、後段に出力する。また、グローバル動きベクトル保持部91は、保持しているグローバル動きベクトルを必要に応じてグローバル動きベクトル予測部92に供給する。
グローバル動きベクトル予測部92は、グローバル動きベクトル保持部91から供給された、過去のフレームのグローバル動きベクトルに基づいて、処理対象のフレームのグローバル動きベクトルを予測し、有効領域算出部93に供給する。
有効領域算出部93は、グローバル動きベクトル予測部92から供給されたグローバル動きベクトルの予測値に基づいて、撮像画像上の有効領域を定め、局所特徴量算出部62に供給する。また、局所特徴量算出部62は、撮像画像保持部61から取得した撮像画像上の領域のうち、有効領域算出部93から供給された有効領域から局所特徴量を抽出し、積分射影部63に供給する。
[グローバル動きベクトル算出処理の説明]
次に、図9のフローチャートを参照して、撮像装置11の画像処理回路26が図8に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS41の処理は図5のステップS11の処理と同様であるので、その説明は省略する。
次に、図9のフローチャートを参照して、撮像装置11の画像処理回路26が図8に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS41の処理は図5のステップS11の処理と同様であるので、その説明は省略する。
ステップS42において、グローバル動きベクトル予測部92は、グローバル動きベクトル保持部91から供給されたグローバル動きベクトルに基づいて、処理対象のフレームのグローバル動きベクトルの予測値を算出し、有効領域算出部93に供給する。
例えば、グローバル動きベクトル予測部92は、過去のフレームのグローバル動きベクトルの0次外挿や1次外挿により、処理対象のフレームのグローバル動きベクトルの予測値を算出する。
具体的には、処理対象のフレーム(t+1)のグローバル動きベクトルのx成分の予測値をxt+1とし、フレームtのグローバル動きベクトルのx成分をxtとする。このとき、0次外挿によりxt+1を求める場合には、例えば図10の上側に示すように、直前のフレーム(時刻)のxtがそのままxt+1とされる。なお、図10において、横方向は時間方向を示しており、縦方向はグローバル動きベクトルのx成分の大きさを示している。
また、x成分と同様に、グローバル動きベクトルのy成分についても、処理対象のフレーム(t+1)の直前のフレームtのグローバル動きベクトルのy成分が、そのままフレーム(t+1)のグローバル動きベクトルのy成分の予測値とされる。
さらに、処理対象のフレーム(t+1)の2つ前のフレーム(t−1)のグローバル動きベクトルのx成分をxt−1とすると、1次外挿によりxt+1を求める場合には、図中、下側に示すようにxt+1=xt+(xt−xt−1)を演算することで、予測値xt+1が算出される。この場合においても、x成分と同様の演算により、フレーム(t+1)のグローバル動きベクトルのy成分の予測値が求められる。
ステップS43において、有効領域算出部93は、グローバル動きベクトル予測部92から供給されたグローバル動きベクトルの予測値に基づいて、撮像画像上の有効領域を定め、局所特徴量算出部62に供給する。
ステップS44において、局所特徴量算出部62は、撮像画像保持部61から取得した撮像画像上の領域のうち、有効領域算出部93から供給された有効領域から局所特徴量を抽出し、積分射影部63に供給する。
ステップS45において、積分射影部63は、局所特徴量算出部62から供給された局所特徴量を所定方向の軸上に射影して射影特徴ベクトルを算出し、グローバル動きベクトル算出部64に供給する。
例えば、図11の上側に示すように、処理対象のフレーム(t+1)のグローバル動きベクトルのx成分およびy成分の予測値がそれぞれPGxおよびPGyであったとする。なお、図11において、横方向および縦方向は、x方向およびy方向を示している。
図11の上側には、フレームtの撮像画像FP(t)とフレーム(t+1)の撮像画像FP(t+1)が示されており、これらの撮像画像間の矢印が予測により得られたグローバル動きベクトルを表している。
このようにグローバル動きベクトルのx成分の予測値PGxと、y成分の予測値PGyが得られた場合、有効領域算出部93は図中、中央および下側に示すように、各撮像画像について、射影特徴ベクトルごとに有効領域を定める。
すなわち、有効領域算出部93は、図中、中央左側に示すように、撮像画像FP(t)の上端から予測値PGyの大きさだけ離れた位置までの領域を撮像画像FP(t)から除外して得られる有効領域AR(t)xを、水平軸射影特徴ベクトルH(t)算出時の有効領域とする。そして、局所特徴量算出部62は、撮像画像FP(t)上の有効領域AR(t)x内の各画素について水平方向の局所特徴量を算出し、積分射影部63は、算出された局所特徴量を水平軸に射影して水平軸射影特徴ベクトルH(t)を算出する。
また、有効領域算出部93は、図中、中央右側に示すように、撮像画像FP(t+1)の下端から予測値PGyの大きさだけ離れた位置までの領域を撮像画像FP(t+1)から除外して得られる有効領域AR(t+1)xを、水平軸射影特徴ベクトルH(t+1)算出時の有効領域とする。そして、局所特徴量算出部62は、撮像画像FP(t+1)上の有効領域AR(t+1)x内の各画素について水平方向の局所特徴量を算出し、積分射影部63は、算出された局所特徴量を水平軸に射影して水平軸射影特徴ベクトルH(t+1)を算出する。
グローバル動きベクトルのy成分の予測値PGyは、撮像画像FP(t)と撮像画像FP(t+1)のy方向の位置関係を示している。例えば、予測値PGyに基づいてこれらの撮像画像を重ね合わせると、図中、上側に示すように、撮像画像FP(t)と撮像画像FP(t+1)は、y方向に予測値PGyの大きさだけずれて重なることになる。そこで、一方の撮像画像の他方の撮像画像と重ならない部分を局所特徴量の抽出の対象外とすれば、両方の撮像画像が重なる部分だけが用いられて水平軸射影特徴ベクトルが算出されることになり、高精度にグローバル動きベクトルを算出することができる。
さらに、x成分における場合と同様に、有効領域算出部93は、図中、左下に示すように、撮像画像FP(t)の左端から予測値PGxの大きさだけ離れた位置までの領域を撮像画像FP(t)から除外して得られる有効領域AR(t)yを、垂直軸射影特徴ベクトルV(t)算出時の有効領域とする。そして、局所特徴量算出部62は、撮像画像FP(t)上の有効領域AR(t)y内の各画素について垂直方向の局所特徴量を算出し、積分射影部63は、算出された局所特徴量を垂直軸に射影して垂直軸射影特徴ベクトルV(t)を算出する。
また、有効領域算出部93は、図中、右下に示すように、撮像画像FP(t+1)の右端から予測値PGxの大きさだけ離れた位置までの領域を撮像画像FP(t+1)から除外して得られる有効領域AR(t+1)yを、垂直軸射影特徴ベクトルV(t+1)算出時の有効領域とする。そして、局所特徴量算出部62は、撮像画像FP(t+1)上の有効領域AR(t+1)y内の各画素について垂直方向の局所特徴量を算出し、積分射影部63は、算出された局所特徴量を垂直軸に射影して垂直軸射影特徴ベクトルV(t+1)を算出する。
図9のフローチャートの説明に戻り、水平軸射影特徴ベクトルと垂直軸射影特徴ベクトルが得られると、その後、ステップS46およびステップS47の処理が行なわれて、グローバル動きベクトル算出処理は終了する。なお、これらの処理は、図5のステップS14およびステップS15の処理と同様であるので、その説明は省略する。
但し、ステップS46では、算出されたグローバル動きベクトルは、グローバル動きベクトル算出部64からグローバル動きベクトル保持部91に供給されて一時的に保持されるとともに、グローバル動きベクトル保持部91から後段に出力される。
以上のようにして、撮像装置11は、過去のフレームのグローバル動きベクトルから、処理対象フレームのグローバル動きベクトルを予測して、その予測値から定められた有効領域から局所特徴量を抽出し、実際のグローバル動きベクトルを算出する。
このように、有効領域内の画素の局所特徴量のみを用いてグローバル動きベクトルを算出することで、より高速かつ高精度にグローバル動きベクトルを得ることができる。
例えば、図12に示すように、家や木などが被写体とされてフレームtの撮像画像FP(t)と、フレーム(t+1)の撮像画像FP(t+1)が連続して撮像されたとする。このとき、撮像画像FP(t)を撮像してから撮像画像FP(t+1)を撮像するまでの間に、撮像装置11が図中、右下方向に移動したものとする。なお、図中、横方向および縦方向はx方向およびy方向を示している。
このような場合、上述した第1の実施の形態では、図中、上側に示すように撮像画像FP(t)と撮像画像FP(t+1)の全体から局所特徴量が抽出されて水平軸射影特徴ベクトルH(t)と水平軸射影特徴ベクトルH(t+1)が算出されていた。
そのため、例えば撮像画像FP(t+1)についての水平軸射影特徴ベクトルH(t+1)の算出に、撮像画像FP(t)には含まれていない被写体、つまり図12の例ではバスの領域から抽出された局所特徴量が寄与することになる。そうすると、水平軸射影特徴ベクトルのマッチングに誤差が生じ、グローバル動きベクトルの算出精度が低下してしまう。
これに対して、図9を参照して説明したグローバル動きベクトル算出処理では、図中、下側に示すように撮像画像全体の領域から、グローバル動きベクトルのy成分の予測値PGyにより求まる領域が除外されて得られる有効領域のみから局所特徴量が抽出される。
すなわち、撮像画像FP(t)の図中、上側の領域を除外して得られた有効領域AR(t)xから局所特徴量が抽出されて水平軸射影特徴ベクトルH(t)が算出される。また、撮像画像FP(t+1)の図中、下側の領域を除外して得られた有効領域AR(t+1)xから局所特徴量が抽出されて水平軸射影特徴ベクトルH(t+1)が算出される。
このように有効領域を設定し、処理対象となる領域を制限することで、例えば撮像画像FP(t)には含まれておらず、撮像画像FP(t+1)のみに含まれている被写体(例えば、バス)の領域を除外して水平軸射影特徴ベクトルを算出することができる。つまり、撮像画像FP(t)と撮像画像FP(t+1)の両方に含まれる被写体の領域のみを処理対象とすれば、片方の撮像画像だけに含まれる被写体の影響を受けないため、水平軸射影特徴ベクトルのマッチング誤差のリスクを軽減させることができる。
なお、水平軸射影特徴ベクトルと同様に、垂直軸射影特徴ベクトルについても、有効領域を定めることで、マッチング誤差のリスクを軽減させることができる。
このようなマッチング誤差軽減の効果は、グローバル動きベクトルの予測値が、グローバル動きベクトルの真値に近いほど大きくなる。例えば、カメラ等の撮像装置11を動かしながらある程度の連写速度で撮像画像を連続して撮像する場合、手持ちで撮像しても、三脚に撮像装置11を固定して撮像しても、隣接するフレームのグローバル動きベクトルに極端に大きな差が生じないことが多い。そのため、グローバル動きベクトルの予測は比較的容易であり、高いマッチング誤差軽減効果を得ることができる。
また、撮像画像に対して有効領域を設定する場合、撮像画像全体の面積と、撮像画像上の有効領域を除く領域の面積の比の分だけ、局所特徴量の算出のコストが削減されることになる。特に、局所特徴量として高計算コストの特徴量を用いる場合、局所特徴量の算出コストの削減量はより多くなる。
〈第3の実施の形態〉
[画像処理回路の構成]
なお、以上においては、グローバル動きベクトルの予測値に基づいて有効領域を定める例について説明したが、予測値だけでなく、レンズ21の歪みに関する情報(以下、レンズ歪曲情報と称する)も用いられて有効領域が定められるようにしてもよい。
[画像処理回路の構成]
なお、以上においては、グローバル動きベクトルの予測値に基づいて有効領域を定める例について説明したが、予測値だけでなく、レンズ21の歪みに関する情報(以下、レンズ歪曲情報と称する)も用いられて有効領域が定められるようにしてもよい。
そのような場合、図3の画像処理回路26は、図13に示すように構成される。なお、図13において、図8における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図13の画像処理回路26は、撮像画像保持部61、局所特徴量算出部62、積分射影部63、グローバル動きベクトル算出部64、グローバル動きベクトル保持部91、グローバル動きベクトル予測部92、有効領域算出部93、およびレンズ歪曲情報保持部121から構成される。
図13の画像処理回路26の構成は、新たにレンズ歪曲情報保持部121が設けられた点で図8の画像処理回路26と異なり、その他の点では図8の画像処理回路26と同じ構成となっている。
レンズ歪曲情報保持部121は、レンズ21に関するレンズ歪曲情報を予め保持しており、保持しているレンズ歪曲情報を有効領域算出部93に供給する。また、有効領域算出部93は、グローバル動きベクトル予測部92から供給されたグローバル動きベクトルの予測値と、レンズ歪曲情報保持部121から供給されたレンズ歪曲情報とに基づいて有効領域を定め、局所特徴量算出部62に供給する。
[グローバル動きベクトル算出処理の説明]
次に、図14のフローチャートを参照して、撮像装置11の画像処理回路26が図13に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS71およびステップS72の処理は図9のステップS41およびステップS42の処理と同様であるので、その説明は省略する。
次に、図14のフローチャートを参照して、撮像装置11の画像処理回路26が図13に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS71およびステップS72の処理は図9のステップS41およびステップS42の処理と同様であるので、その説明は省略する。
ステップS73において、有効領域算出部93は、グローバル動きベクトル予測部92から供給されたグローバル動きベクトルの予測値と、レンズ歪曲情報保持部121から供給されたレンズ歪曲情報とに基づいて有効領域を定め、局所特徴量算出部62に供給する。
例えば、図15の上側に示すように、撮像画像FP上の中央の非歪曲領域SFには、撮像画像の撮像時においてレンズ21の影響により画像に歪みが生じず、撮像画像FPの端近傍の領域、つまり非歪曲領域SFを除く領域では画像に歪みが生じるとする。すなわち、レンズ21等の光学系の影響により生じる像歪曲が、ある程度許容できる範囲に収まる領域が非歪曲領域SFであるとする。
また、この非歪曲領域SFを特定する情報がレンズ歪曲情報であり、グローバル動きベクトルの予測値のx成分およびy成分が、それぞれPGxおよびPGyであったとする。
そのような場合、有効領域算出部93は、図中、中央に示すように、撮像画像FP(t)上の領域AR(t)x’および撮像画像FP(t+1)上の領域AR(t+1)x’を、水平軸射影特徴ベクトル算出時の有効領域とする。
ここで、領域AR(t)x’(以下、有効領域AR(t)x’と称する)は、撮像画像FP(t)の上端から予測値PGyの大きさだけ離れた位置までの領域を撮像画像FP(t)から除外して得られる領域のうち、非歪曲領域SF内に含まれる領域である。つまり、上述した図11における有効領域AR(t)x内の領域のうち、非歪曲領域SF内に含まれる領域である。
同様に、領域AR(t+1)x’(以下、有効領域AR(t+1)x’と称する)は、撮像画像FP(t+1)の下端から予測値PGyの大きさだけ離れた位置までの領域を撮像画像FP(t+1)から除外して得られる領域のうち、非歪曲領域SF内に含まれる領域である。
レンズ21により撮像画像上の被写体に歪みが生じると、その歪みの度合いによって各領域の被写体の動きベクトルに異なる誤差が生じるため、単一のグローバル動きベクトルの算出が困難となる。そこで、レンズ21による画像歪曲の影響が少ない領域(通常は画像の中央付近)のみが局所特徴量の抽出対象となるように、レンズ歪曲情報に基づいて、有効領域に対してさらに制限を加えることで、より高精度かつ高速にグローバル動きベクトルを得ることができるようになる。
すなわち、グローバル動きベクトルの予測値により定まる有効領域が、さらにより有用な領域のみに制限されるので、局所特徴量等の各演算のコストが削減されるとともにマッチング処理精度の向上を期待することができる。
x成分における場合と同様に、有効領域算出部93は図中、下側に示すように撮像画像FP(t)上の領域AR(t)y’および撮像画像FP(t+1)上の領域AR(t+1)y’を、垂直軸射影特徴ベクトル算出時の有効領域とする。
ここで、領域AR(t)y’(以下、有効領域AR(t)y’と称する)は、撮像画像FP(t)の左端から予測値PGxの大きさだけ離れた位置までの領域を撮像画像FP(t)から除外して得られる領域のうち、非歪曲領域SF内に含まれる領域である。つまり、上述した図11における有効領域AR(t)y内の領域のうち、非歪曲領域SF内に含まれる領域である。
また、領域AR(t+1)y’(以下、有効領域AR(t+1)y’と称する)は、撮像画像FP(t+1)の右端から予測値PGxの大きさだけ離れた位置までの領域を撮像画像FP(t+1)から除外して得られる領域のうち、非歪曲領域SF内に含まれる領域である。
図14のフローチャートの説明に戻り、有効領域が設定されると、その後、ステップS74乃至ステップS77の処理が行なわれてグローバル動きベクトル算出処理は終了する。なお、これらの処理は、図9のステップS44乃至ステップS47と同様であるので、その説明は省略する。
但し、ステップS74では、図15の有効領域AR(t)x’、有効領域AR(t)y’、有効領域AR(t+1)x’、および有効領域AR(t+1)y’のそれぞれから局所特徴量が抽出される。
以上のようにして、撮像装置11は、グローバル動きベクトルの予測値と、レンズ歪曲情報とから有効領域を定め、定めた有効領域から局所特徴量を抽出して、実際のグローバル動きベクトルを算出する。このように、レンズ歪曲情報により局所特徴量の抽出対象となる領域を制限することで、より高速かつ高精度にグローバル動きベクトルを得ることができる。
なお、グローバル動きベクトルの予測値と、レンズ歪曲情報とから有効領域が定められると説明したが、レンズ歪曲情報により示される非歪曲領域SFが有効領域とされるようにしてもよい。
〈第4の実施の形態〉
[画像処理回路の構成]
また、以上においては、レンズ歪曲情報により局所特徴量の抽出対象となる領域を制限する場合について説明したが、動被写体など特定の被写体(以下、対象外被写体と称する)の領域が、局所特徴量の抽出対象の領域から除外されるようにしてもよい。
[画像処理回路の構成]
また、以上においては、レンズ歪曲情報により局所特徴量の抽出対象となる領域を制限する場合について説明したが、動被写体など特定の被写体(以下、対象外被写体と称する)の領域が、局所特徴量の抽出対象の領域から除外されるようにしてもよい。
そのような場合、図3の画像処理回路26は、図16に示すように構成される。なお、図16において、図13における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図16の画像処理回路26は、撮像画像保持部61、局所特徴量算出部62、積分射影部63、グローバル動きベクトル算出部64、グローバル動きベクトル保持部91、グローバル動きベクトル予測部92、有効領域算出部93、および対象外被写体予測部151から構成される。
図16の画像処理回路26の構成は、図13のレンズ歪曲情報保持部121に代えて対象外被写体予測部151が設けられた点で図13の画像処理回路26と異なり、その他の点では図13の画像処理回路26と同じ構成となっている。
図16の画像処理回路26では、撮像画像保持部61に保持されている撮像画像は、局所特徴量算出部62だけでなく、対象外被写体予測部151にも供給される。対象外被写体予測部151は、撮像画像保持部61から供給された撮像画像から対象外被写体の領域を推定し、その推定結果を有効領域算出部93に供給する。
有効領域算出部93は、グローバル動きベクトル予測部92から供給されたグローバル動きベクトルの予測値と、対象外被写体予測部151から供給された対象外被写体の領域の推定結果とに基づいて有効領域を定め、局所特徴量算出部62に供給する。
[グローバル動きベクトル算出処理の説明]
次に、図17のフローチャートを参照して、撮像装置11の画像処理回路26が図16に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS101およびステップS102の処理は図14のステップS71およびステップS72の処理と同様であるので、その説明は省略する。
次に、図17のフローチャートを参照して、撮像装置11の画像処理回路26が図16に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS101およびステップS102の処理は図14のステップS71およびステップS72の処理と同様であるので、その説明は省略する。
ステップS103において、対象外被写体予測部151は、撮像画像保持部61から供給された撮像画像から対象外被写体の領域を推定し、その推定結果を有効領域算出部93に供給する。
例えば、対象外被写体予測部151は、人検出や顔検出により検出された人や顔の領域、物体検出により検出された車等の領域などの動く被写体の領域を、対象外被写体の領域とする。また、撮像画像FP(t)と撮像画像FP(t+1)の何れか一方のみに含まれている被写体の領域が検出され、対象外被写体の領域としてもよい。
さらに、対象外被写体予測部151は、撮像画像FP(t)から検出された対象外被写体の領域と、撮像画像FP(t+1)から検出された対象外被写体の領域との両方の領域からなる撮像画像上の領域を、最終的な対象外被写体の領域とする。
ステップS104において、有効領域算出部93は、グローバル動きベクトル予測部92からのグローバル動きベクトルの予測値と、対象外被写体予測部151からの対象外被写体の領域とに基づいて有効領域を定め、局所特徴量算出部62に供給する。
すなわち、有効領域算出部93は、グローバル動きベクトルの予測値から定まる撮像画像上の有効領域から、さらに対象外被写体の領域を除外して得られる領域を最終的な有効領域とする。具体的には、例えば図11の有効領域AR(t)x、有効領域AR(t)y、有効領域AR(t+1)x、および有効領域AR(t+1)yのそれぞれから、対象外被写体の領域が除外された領域、つまり対象外被写体の領域内に含まれていない領域が有効領域とされる。
有効領域が求められると、その後、ステップS105乃至ステップS108の処理が行なわれてグローバル動きベクトル算出処理は終了するが、これらの処理は図14のステップS74乃至ステップS77の処理と同様であるので、その説明は終了する。
以上のようにして、撮像装置11は、グローバル動きベクトルの予測値と、対象外被写体の領域とから有効領域を定め、定めた有効領域から局所特徴量を抽出して、実際のグローバル動きベクトルを算出する。
このように、対象外被写体の領域により局所特徴量の抽出対象となる領域を制限することで、より高速かつ高精度にグローバル動きベクトルを得ることができる。特に、対象外被写体として、グローバル動きベクトルの算出精度が低下するおそれのある被写体、つまり動きのある被写体の領域を局所特徴量の抽出対象外の領域とすることで、グローバル動きベクトルのロバスト性を向上させることができる。
なお、グローバル動きベクトルの予測値と、対象外被写体の領域とから有効領域が定められると説明したが、撮像画像上の対象外被写体の領域を除く全領域が有効領域とされるようにしてもよい。また、グローバル動きベクトルの予測値、対象外被写体の領域、およびレンズ歪曲情報に基づいて有効領域が定められるようにしてもよい。
〈第5の実施の形態〉
[画像処理回路の構成]
さらに、以上においては、撮像画像そのものから局所特徴量を抽出する例について説明したが、撮像画像を縮小させて、縮小後の撮像画像(以下、縮小画像とも称する)から局所特徴量を抽出するようにしてもよい。
[画像処理回路の構成]
さらに、以上においては、撮像画像そのものから局所特徴量を抽出する例について説明したが、撮像画像を縮小させて、縮小後の撮像画像(以下、縮小画像とも称する)から局所特徴量を抽出するようにしてもよい。
そのような場合、図3の画像処理回路26は、図18に示すように構成される。なお、図18において、図8における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図18の画像処理回路26は、撮像画像保持部61、画像縮小部181、局所特徴量算出部62、積分射影部63、グローバル動きベクトル算出部64、サブサンプリング推定部182、グローバル動きベクトル保持部91、ベクトル拡大部183、グローバル動きベクトル予測部92、および有効領域算出部93から構成される。
図18の画像処理回路26の構成は、新たに画像縮小部181、サブサンプリング推定部182、およびベクトル拡大部183が設けられた点で図8の画像処理回路26と異なり、その他の点では図8の画像処理回路26と同じ構成となっている。
画像縮小部181は、撮像画像保持部61から供給された撮像画像を縮小させて縮小画像を生成し、局所特徴量算出部62に供給する。局所特徴量算出部62は、画像縮小部181から供給された縮小画像上の領域のうち、有効領域算出部93から供給された有効領域から局所特徴量を抽出して積分射影部63に供給する。
また、サブサンプリング推定部182は、グローバル動きベクトル算出部64から供給されたグローバル動きベクトルと、水平軸射影特徴ベクトルおよび垂直軸射影特徴ベクトルとに基づいて、サブサンプリング精度のグローバル動きベクトルを算出し、グローバル動きベクトル保持部91に供給する。ベクトル拡大部183は、グローバル動きベクトル保持部91から供給されたグローバル動きベクトルを拡大して出力する。
[グローバル動きベクトル算出処理の説明]
次に、図19のフローチャートを参照して、撮像装置11の画像処理回路26が図18に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS131の処理は図9のステップS41の処理と同様であるので、その説明は省略する。
次に、図19のフローチャートを参照して、撮像装置11の画像処理回路26が図18に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS131の処理は図9のステップS41の処理と同様であるので、その説明は省略する。
ステップS132において、画像縮小部181は、撮像画像保持部61から処理対象のフレーム(t+1)の撮像画像FP(t+1)と、フレームtの撮像画像FP(t)とを取得して、それらの撮像画像を所定の縮小率で縮小させて縮小画像を生成する。画像縮小部181は、撮像画像を縮小して得られた縮小画像を局所特徴量算出部62に供給する。
縮小画像が生成されると、その後、ステップS133乃至ステップS137の処理が行われてグローバル動きベクトルが生成されるが、これらの処理は、図9のステップS42乃至ステップS46の処理と同様であるので、その説明は省略する。
但し、ステップS133乃至ステップS137の処理では、縮小画像に対して有効領域が定められ、縮小画像の有効領域から局所特徴量が抽出されて水平軸射影特徴ベクトルおよび垂直軸射影特徴ベクトルが生成され、グローバル動きベクトルが算出される。したがって、得られたグローバル動きベクトルは、縮小画像のグローバル動きベクトルとなる。
また、グローバル動きベクトル算出部64は、縮小画像についてグローバル動きベクトルを算出すると、算出されたグローバル動きベクトルと、水平軸射影特徴ベクトルおよび垂直軸射影特徴ベクトルとをサブサンプリング推定部182に供給する。
ステップS138において、サブサンプリング推定部182は、グローバル動きベクトル算出部64から供給されたグローバル動きベクトル、水平軸射影特徴ベクトル、および垂直軸射影特徴ベクトルに基づいて、サブサンプリング精度のグローバル動きベクトルを算出する。例えば、サブサンプリング推定部182は、等角直線フィッティングやパラボラフィッティングなどにより、サブサンプリング精度、つまり縮小画像の画素以下の精度のグローバル動きベクトルを算出する。
画像処理回路26によるグローバル動きベクトル算出処理では、最終的に撮像画像のグローバル動きベクトルを得ることを目的としているが、ステップS133乃至ステップS137では縮小画像が用いられて各処理が行われる。そのため、得られるグローバル動きベクトルは、最終的に得ようとする撮像画像のグローバル動きベクトルが縮小された、縮小画像のグローバル動きベクトルとなり、その精度も縮小画像のサンプリング(画素)の精度となる。
そこで、サブサンプリング推定部182は、縮小画像のサンプリング以下のサブサンプリング精度のグローバル動きベクトルを算出し、グローバル動きベクトル保持部91に供給する。グローバル動きベクトル保持部91は、サブサンプリング推定部182から供給されたグローバル動きベクトルを保持するとともに、ベクトル拡大部183に供給する。
また、グローバル動きベクトル保持部91は、保持しているグローバル動きベクトルを、過去のフレームの縮小画像のグローバル動きベクトルとして、グローバル動きベクトル予測部92に供給する。したがって、グローバル動きベクトル予測部92では、縮小画像のグローバル動きベクトルの予測値が算出されることになる。
ステップS139において、ベクトル拡大部183は、グローバル動きベクトル保持部91から供給されたグローバル動きベクトルを、縮小画像生成時の縮小率の逆数で拡大し、撮像画像のグローバル動きベクトルを生成する。つまり、縮小画像のグローバル動きベクトルが拡大されることで、撮像画像のグローバル動きベクトルが得られる。
ベクトル拡大部183が、得られた撮像画像のグローバル動きベクトルを出力すると、その後、ステップS140の処理が行われてグローバル動きベクトル算出処理は終了するが、この処理は図9のステップS47の処理と同様であるので、その説明は省略する。
以上のようにして撮像装置11は縮小画像を生成し、縮小画像上の有効領域から局所特徴量を抽出して縮小画像のグローバル動きベクトルを求め、得られたグローバル動きベクトルを拡大することで、撮像画像のグローバル動きベクトルを得る。
このように、縮小画像についてグローバル動きベクトルを算出し、得られたグローバル動きベクトルを拡大して撮像画像のグローバル動きベクトルとすることで、より高速かつ高精度にグローバル動きベクトルを得ることができる。
特に、縮小画像を用いてグローバル動きベクトルを算出することで、局所特徴量の抽出対象となる領域の面積を削減したり、マッチング処理の計算コストを削減したりすることができる。縮小画像を用いれば、撮像画像の縮小やグローバル動きベクトルの拡大などが必要となるが、全体としてグローバル動きベクトル算出の計算コストを削減することができ、より高速にグローバル動きベクトルを得ることができる。
また、撮像画像を縮小することで、撮像画像上の高周波成分が除去されるので、ノイズの削減効果を期待することができ、これによりグローバル動きベクトルのロバスト性を向上させることができる。
〈第6の実施の形態〉
[画像処理回路の構成]
なお、以上においては、画像処理回路26においてグローバル動きベクトルが算出される例について説明したが、算出されたグローバル動きベクトルが用いられて、パノラマ画像が生成されるようにしてもよい。
[画像処理回路の構成]
なお、以上においては、画像処理回路26においてグローバル動きベクトルが算出される例について説明したが、算出されたグローバル動きベクトルが用いられて、パノラマ画像が生成されるようにしてもよい。
そのような場合、例えば図20に示すように、n枚の撮像画像FP(1)乃至撮像画像FP(n)について、グローバル動きベクトルに基づいて、パノラマ画像の生成に用いられる短冊領域RE(1)乃至短冊領域RE(n)が定められる。そして、これらの短冊領域RE(1)乃至短冊領域RE(n)を並べて合成することで、1つのパノラマ画像PL11が生成される。なお、図20において、横方向および縦方向はx方向およびy方向を示している。
例えば、撮像画像の撮像時に撮像装置11を平行移動させる方向に平行な軸(以下、スイープ軸と称する)が図中、横方向、つまりx方向と平行である場合には、各撮像画像のグローバル動きベクトルのx成分に基づいて、短冊領域の端の位置が定められる。
また、パノラマ画像が生成される場合、図3の画像処理回路26は、図21に示すように構成される。なお、図21において、図18における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図21の画像処理回路26は、撮像画像保持部61、画像縮小部181、局所特徴量算出部62、積分射影部63、グローバル動きベクトル算出部64、サブサンプリング推定部182、グローバル動きベクトル保持部91、ベクトル拡大部183、グローバル動きベクトル予測部92、有効領域算出部93、短冊領域算出部211、およびパノラマ合成部212から構成される。
図21の画像処理回路26の構成は、新たに短冊領域算出部211、およびパノラマ合成部212が設けられた点で図18の画像処理回路26と異なり、その他の点では図18の画像処理回路26と同じ構成となっている。
なお、図21の画像処理回路26では、撮像画像保持部61に保持された撮像画像は、画像縮小部181およびパノラマ合成部212に供給される。
短冊領域算出部211は、ベクトル拡大部183から供給された各撮像画像のグローバル動きベクトルに基づいて、撮像画像上の短冊領域を定め、各短冊領域の端の位置(以下、接続位置と称する)を示す情報をパノラマ合成部212に供給する。
パノラマ合成部212は、短冊領域算出部211から供給された各短冊領域の接続位置を示す情報と、撮像画像保持部61から供給された撮像画像とに基づいて、パノラマ画像を生成し、出力する。
[グローバル動きベクトル算出処理の説明]
次に、図22のフローチャートを参照して、撮像装置11の画像処理回路26が図21に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS171乃至ステップS180の処理は図19のステップS131乃至ステップS140の処理と同様であるので、その説明は省略する。また、ステップS180において、全てのフレームについて処理が行われたと判定された場合、処理はステップS181に進む。
次に、図22のフローチャートを参照して、撮像装置11の画像処理回路26が図21に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS171乃至ステップS180の処理は図19のステップS131乃至ステップS140の処理と同様であるので、その説明は省略する。また、ステップS180において、全てのフレームについて処理が行われたと判定された場合、処理はステップS181に進む。
ステップS181において、短冊領域算出部211は、ベクトル拡大部183から供給された各撮像画像のグローバル動きベクトルに基づいて、撮像画像上の短冊領域を定め、各短冊領域の接続位置を示す情報をパノラマ合成部212に供給する。
例えば、短冊領域算出部211は図23に示すように、撮像時刻の古い順(フレーム番号の小さい順)に撮像画像上の短冊領域の接続位置、つまり撮像画像同士の接続位置を定めていく。なお、図23において、横方向はスイープ軸方向を示している。
図23では、3つの連続するフレーム(t−1)乃至フレーム(t+1)の撮像画像FP(t−1)乃至撮像画像FP(t+1)のそれぞれが、グローバル動きベクトルに基づいてスイープ軸方向に並べられている。撮像画像FP(t−1)乃至撮像画像FP(t+1)のうち、最もフレーム番号が小さいものは撮像画像FP(t−1)であるから、短冊領域算出部211は、まず撮像画像FP(t−1)と撮像画像FP(t)との接続位置を定める。
すなわち、図中、上側に示すように、短冊領域算出部211は、互いに隣接する撮像画像FP(t−1)と撮像画像FP(t)との互いに重なる、スイープ軸上の位置I0(t)から位置I1(t−1)までの範囲を探索範囲として接続位置を定める。ここで、位置I0(t)および位置I1(t−1)は、それぞれ撮像画像FP(t)の図中、左側の端の位置、および撮像画像FP(t−1)の図中、右側の端の位置である。
例えば、短冊領域算出部211は、撮像画像FP(t−1)の図中、左側の端の位置I0(t−1)と、撮像画像FP(t)の図中、右側の端の位置I1(t)との中間の位置S(t−1,t)を、撮像画像FP(t−1)と撮像画像FP(t)の接続位置とする。つまり、位置S(t−1,t)は、撮像画像FP(t−1)の短冊領域の図中、右側の端の位置であり、かつ撮像画像FP(t)の短冊領域の図中、左側の端の位置である。なお、以下、位置S(t−1,t)を接続位置S(t−1,t)とも称する。
次に、短冊領域算出部211は、図中、中央に示すように撮像画像FP(t)と撮像画像FP(t+1)との接続位置S(t,t+1)を定める。
ここで、撮像画像FP(t)と撮像画像FP(t+1)が互いに重なる領域の図中、左側の端、つまり撮像画像FP(t+1)の左端の位置I0(t+1)は、撮像画像FP(t−1)と撮像画像FP(t)の接続位置S(t−1,t)よりも図中、左側に位置している。撮像画像FP(t)と撮像画像FP(t+1)の接続位置は、撮像画像FP(t−1)と撮像画像FP(t)の接続位置よりも図中、右側に位置すべきであるから、接続位置S(t−1,t)よりも左側の領域は、接続位置S(t,t+1)の探索範囲から除外されるべきである。
そこで、短冊領域算出部211は、スイープ軸上の接続位置S(t−1,t)から、撮像画像FP(t)の図中、右端の位置I1(t)までの範囲を探索範囲として接続位置S(t,t+1)を定める。例えば、短冊領域算出部211は、撮像画像FP(t)の図中、左側の端の位置I0(t)と、撮像画像FP(t+1)の図中、右側の端の位置I1(t+1)との中間の位置を接続位置S(t,t+1)とする。
このようにして連続するフレームの撮像画像を接続するための接続位置が定められると、図中、下側に示すように、後段のパノラマ合成部212において、接続位置により定まる撮像画像上の短冊領域が互いに接続されてパノラマ画像とされる。なお、図中、下側において、撮像画像FP(t−1)乃至撮像画像FP(t+1)の斜線部分は、短冊領域を示している。
例えば、撮像画像FP(t)の短冊領域は、撮像画像FP(t)におけるスイープ軸方向の位置が、接続位置S(t−1,t)から接続位置S(t,t+1)までの領域とされる。このように、各撮像画像の隣接する他の撮像画像との接続位置を順次、定めていくことにより、各撮像画像の短冊領域を順次決定することができる。
なお、ここでは時系列順に撮像画像の接続位置を決定する方法について説明したが、他の基準で決定した順番で、各撮像画像の接続位置を逐次決定するようにしてもよい。
図22のフローチャートの説明に戻り、各撮像画像の短冊領域が定められると、処理はステップS181からステップS182へと進む。
ステップS182において、パノラマ合成部212は、短冊領域算出部211から供給された各短冊領域の接続位置を示す情報と、撮像画像保持部61から供給された撮像画像とに基づいてパノラマ画像を生成し、出力する。例えば、各撮像画像上の短冊領域が合成され、1つのパノラマ画像とされる。換言すれば、各撮像画像が接続位置で互いに接続され、パノラマ画像とされる。
より詳細には、パノラマ合成部212は、撮像画像の短冊領域を合成するにあたり、短冊領域の端近傍の部分については、隣接する2つの撮像画像の短冊領域を重み付き加算することにより、パノラマ画像を生成する。
例えば、図24に示すように、連続するフレームの撮像画像の短冊領域は、その端部分が互いに重なりを持つように定められる。なお、図24において横方向はスイープ軸方向を示しており、図24においては3つの連続するフレームの撮像画像FP(t−1)乃至撮像画像FP(t+1)が、x方向(スイープ軸方向)に並べられている。
図中、上側に示すように、撮像画像FP(t−1)の短冊領域RE(t−1)の図中、右端は、撮像画像FP(t)との接続位置S(t−1,t)よりもやや右側に位置している。また、撮像画像FP(t)の短冊領域RE(t)の図中、左端も撮像画像FP(t−1)との接続位置S(t−1,t)よりもやや左側に位置しており、短冊領域RE(t−1)と短冊領域RE(t)は、端近傍の領域が互いに重なっている。
そして、短冊領域RE(t−1)と短冊領域RE(t)とが接続される場合には、スイープ軸方向における、短冊領域RE(t)の左端の位置から、短冊領域RE(t−1)の右端の位置までの範囲では、短冊領域RE(t−1)と短冊領域RE(t)の同じ位置の画素の画素値が重み付き加算される。
同様に、短冊領域RE(t)と短冊領域RE(t+1)とは、接続位置S(t,t+1)近傍において互いに重なっており、短冊領域RE(t)と短冊領域RE(t+1)の接続時においても、それらの重なる部分では、画素値の重み付き加算が行われる。
短冊領域の重み付き加算では、図中、下側に示すように、スイープ軸方向の各位置によって重み付き加算の重みが変化する。図24の下側において、折れ線OMは、撮像画像FP(t−1)(短冊領域RE(t−1))の画素に乗算される重みの大きさを示している。
すなわち、短冊領域RE(t−1)における、図中、左端から、短冊領域RE(t)の左端の位置までの重みの大きさは「1」とされている。これは、短冊領域RE(t−1)における、短冊領域RE(t−1)の左端から、短冊領域RE(t)の左端の位置までの領域は、短冊領域RE(t−1)がそのままパノラマ画像とされるからである。
また、短冊領域RE(t−1)における、短冊領域RE(t)の左端から、短冊領域RE(t−1)の右端の位置までの短冊領域RE(t−1)の重みの大きさは、その位置が図中、右方向に行くにしたがって小さくなり、短冊領域RE(t−1)の右端の位置では、重みの大きさは「0」となっている。
短冊領域RE(t−1)と短冊領域RE(t)が重なる部分では、接続位置S(t−1,t)から、短冊領域RE(t)の左端により近くなるにしたがって、短冊領域RE(t−1)のパノラマ画像の生成に対する寄与率がより高くなる。逆に、接続位置S(t−1,t)から、短冊領域RE(t−1)の右端により近くなるにしたがって、短冊領域RE(t)のパノラマ画像の生成に対する寄与率がより高くなる。
さらに、撮像画像FP(t−1)における、図中、短冊領域RE(t−1)の右端よりも右側の位置では、撮像画像は、パノラマ画像の生成には用いられないので、重みの大きさは「0」とされている。
このように、短冊領域の端近傍については、2つの隣接する短冊領域を用いてパノラマ画像を生成し、その他の部分では1つの短冊領域をそのままパノラマ画像とすることで、撮像画像の重ね合わせによるパノラマ画像のぼけの発生を抑制することができる。
また、短冊領域の端部分を、位置により合成比率を変化させて、つまり重みに傾斜をつけて重み付き加算することで、より高品質なパノラマ画像を得ることができる。すなわち、接続される2つの短冊領域の互いに重なる部分において、被写体の位置にずれがあったり、画素の色が異なったりする場合であっても、重み付き加算によりスムージング効果が得られる。これにより、被写体の一部が欠損したり、パノラマ画像に色のむらが生じたりすることを抑制することができ、より自然なパノラマ画像を得ることができる。
パノラマ合成部212は、このようにして、撮像画像の短冊領域を接続し、1つのパノラマ画像を生成する。なお、トリミングが行われるようにし、接続された短冊領域からなる1つの画像の一部の領域がパノラマ画像とされてもよい。
例えば、ユーザが撮像装置11を手で持って、撮像装置11をスイープさせながら撮像画像を撮像させると、スープ軸方向と異なる方向の動きの成分を0とすることは困難である。そのため、例えば図25に示すように、連続して撮像された撮像画像上の短冊領域RE11乃至短冊領域RE17は、図中、上下方向にばらつくことがある。
なお、図25において、図中、横方向はスイープ軸方向(x方向)を示しており、縦方向は、y方向を示している。
図25の例では、スイープ軸は、各撮像画像の長手方向、つまりx方向と平行となっている。また、図25では、短冊領域RE11乃至短冊領域RE17の図中、上下方向の位置、つまりスイープ軸と垂直な方向の位置が、撮像画像ごとに異なっている。
そのため、各撮像画像の短冊領域を接続して得られる1つの画像は、矩形状とはならなくなる。そこで、パノラマ合成部212は、短冊領域RE11乃至短冊領域RE17を接続して得られる画像全体の領域に内接する、最も大きい矩形領域PL21を切り出して、パノラマ画像とする。このとき、矩形領域PL21の長辺は、スイープ軸と平行になるようにされる。このように、トリミングを行うことにより、見映えのよい矩形状のパノラマ画像を得ることができる。
図22のフローチャートの説明に戻り、パノラマ画像が生成されて出力されると、グローバル動きベクトル算出処理は終了する。
以上のようにして、撮像装置11は、撮像画像のグローバル動きベクトルを算出し、得られたグローバル動きベクトルを用いて撮像画像から短冊領域を切り出して、パノラマ画像を生成する。
なお、パノラマ画像の生成は、全てのフレームの撮像画像のグローバル動きベクトルが算出されてから行なわれてもよいし、グローバル動きベクトルの算出と、パノラマ画像の生成とが並列に行なわれるようにしてもよい。
〈第7の実施の形態〉
[画像処理回路の構成]
また、以上においては、算出されたグローバル動きベクトルがパノラマ画像の生成に用いられる場合について説明したが、算出されたグローバル動きベクトルが動画像の撮像時などの手振れ補正に用いられるようにしてもよい。
[画像処理回路の構成]
また、以上においては、算出されたグローバル動きベクトルがパノラマ画像の生成に用いられる場合について説明したが、算出されたグローバル動きベクトルが動画像の撮像時などの手振れ補正に用いられるようにしてもよい。
そのような場合、図3の画像処理回路26は、図26に示すように構成される。なお、図26において、図21における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図26の画像処理回路26は、撮像画像保持部61、画像縮小部181、局所特徴量算出部62、積分射影部63、グローバル動きベクトル算出部64、サブサンプリング推定部182、グローバル動きベクトル保持部91、ベクトル拡大部183、グローバル動きベクトル予測部92、有効領域算出部93、および手振れ補正部241から構成される。
図26の画像処理回路26の構成は、図21の短冊領域算出部211およびパノラマ合成部212に代えて手振れ補正部241が設けられている点で図21の画像処理回路26と異なり、その他の点では図21の画像処理回路26と同じ構成となっている。
手振れ補正部241は、撮像画像保持部61から供給された撮像画像と、ベクトル拡大部183から供給されたグローバル動きベクトルとに基づいて撮像画像の手振れ補正を行い、その結果得られた撮像画像を出力する。
[グローバル動きベクトル算出処理の説明]
次に、図27のフローチャートを参照して、撮像装置11の画像処理回路26が図26に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS211乃至ステップS219の処理は図22のステップS171乃至ステップS179の処理と同様であるので、その説明は省略する。
次に、図27のフローチャートを参照して、撮像装置11の画像処理回路26が図26に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップS211乃至ステップS219の処理は図22のステップS171乃至ステップS179の処理と同様であるので、その説明は省略する。
ステップS220において、手振れ補正部241は、撮像画像保持部61から供給された撮像画像と、ベクトル拡大部183から供給されたグローバル動きベクトルとに基づいて撮像画像の手振れ補正を行い、その結果得られた撮像画像を出力する。例えば、手振れ補正部241は、グローバル動きベクトルを用いて、手振れ成分がキャンセルされるように撮像画像を基準座標系に射影することで、撮像画像から手振れ成分を除去する。この例では、グローバル動きベクトルが撮像画像間の手振れを示すベクトルとなる。
ステップS221において、画像処理回路26は、全てのフレームの撮像画像について、処理を行なったか否かを判定する。例えば、全フレームの撮像画像の手振れ補正が行なわれた場合、全てのフレームについて処理を行なったと判定される。
ステップS221において、まだ全てのフレームについて処理を行なっていないと判定された場合、処理はステップS212に戻り、上述した処理が繰り返される。これに対して、ステップS221において、全てのフレームについて処理を行なったと判定された場合、画像処理回路26は各部の処理を停止させ、グローバル動きベクトル算出処理は終了する。
このようにして、撮像装置11は、撮像画像のグローバル動きベクトルを算出し、得られたグローバル動きベクトルを用いて撮像画像から手振れ成分を除去する。
以上のように、本技術を適用した撮像装置11によれば、精度よく高速にグローバル動きベクトルを算出することができる。
例えば、複数の撮像画像を合成してパノラマ画像を生成する場合、撮像画像のグローバル動きベクトルは、最終的なパノラマ画像の品質や計算コストに大きな影響を与える要素である。しかしながら、従来のグローバル動きベクトル算出方法では、低計算コストと高い算出精度とを両立させることができなかった。
これに対して、撮像装置11によれば、局所特徴量の射影によってマッチング処理時における特徴量の探索範囲の次元が削減され、低計算コストが実現される。具体的には、撮像装置11では、特徴量の探索範囲の次元が2次元から、1次元×2方向に削減される。
また、対象外被写体の領域やレンズ歪曲情報によって、局所特徴量の抽出対象となる領域を制限すれば、グローバル動きベクトルの算出精度に悪影響を及ぼす要因を排除することができる。すなわち、一方のフレームの撮像画像にしかない被写体や、レンズによる像の歪曲が生じる領域を処理対象の領域から除外することで、計算コストを削減するとともに、さらにグローバル動きベクトルの算出精度を向上させることができる。
以上のことから、撮像装置11によれば、低計算コストと高い算出精度とを両立させるグローバル動きベクトルの算出が可能である。また、このような技術を利用すれば、パーソナルコンピュータなどと比べて処理能力の低いデジタルカメラや携帯型端末機器などにおいても、例えば高速かつ高品質なパノラマ画像合成を行なうことができるようになる。さらに、その他、動画像の撮像時または再生時における手振れ補正などを行なうこともできる。
なお、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図28は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)301,ROM(Read Only Memory)302,RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インターフェース305が接続されている。入出力インターフェース305には、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307、ハードディスクや不揮発性のメモリなどよりなる記録部308、ネットワークインターフェースなどよりなる通信部309、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311を駆動するドライブ310が接続されている。
以上のように構成されるコンピュータでは、CPU301が、例えば、記録部308に記録されているプログラムを、入出力インターフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU301)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア311に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インターフェース305を介して、記録部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記録部308にインストールすることができる。その他、プログラムは、ROM302や記録部308に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本技術は、以下の構成とすることも可能である。
[1]
過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値を算出する予測部と、
前記予測値に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、
前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と
を備える画像処理装置。
[2]
前記有効領域算出部は、前記撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域と、前記予測値とに基づいて前記有効領域を定める
[1]に記載の画像処理装置。
[3]
前記特徴量算出部は、前記撮像画像上の前記所定方向に並ぶ画素に基づいて、前記特徴量を算出する
[1]または[2]に記載の画像処理装置。
[4]
前記特徴量算出部は、前記撮像画像上の画素の勾配情報に基づいて、前記特徴量を算出する
[1]乃至[3]の何れかに記載の画像処理装置。
[5]
前記特徴量算出部は、前記撮像画像の色情報に基づいて、前記特徴量を算出する
[1]または[2]に記載の画像処理装置。
[6]
前記射影部は、互いに直交する2つの軸のそれぞれに前記特徴量を射影して、前記軸ごとに前記射影特徴ベクトルを算出する
[1]乃至[5]の何れかに記載の画像処理装置。
[7]
前記グローバル動きベクトルに基づいて前記撮像画像を合成し、パノラマ画像を生成するパノラマ合成部をさらに備える
[1]乃至[6]の何れかに記載の画像処理装置。
[8]
前記グローバル動きベクトルに基づいて前記撮像画像に対する手振れ補正を行なう手振れ補正部をさらに備える
[1]乃至[6]の何れかに記載の画像処理装置。
過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値を算出する予測部と、
前記予測値に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、
前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と
を備える画像処理装置。
[2]
前記有効領域算出部は、前記撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域と、前記予測値とに基づいて前記有効領域を定める
[1]に記載の画像処理装置。
[3]
前記特徴量算出部は、前記撮像画像上の前記所定方向に並ぶ画素に基づいて、前記特徴量を算出する
[1]または[2]に記載の画像処理装置。
[4]
前記特徴量算出部は、前記撮像画像上の画素の勾配情報に基づいて、前記特徴量を算出する
[1]乃至[3]の何れかに記載の画像処理装置。
[5]
前記特徴量算出部は、前記撮像画像の色情報に基づいて、前記特徴量を算出する
[1]または[2]に記載の画像処理装置。
[6]
前記射影部は、互いに直交する2つの軸のそれぞれに前記特徴量を射影して、前記軸ごとに前記射影特徴ベクトルを算出する
[1]乃至[5]の何れかに記載の画像処理装置。
[7]
前記グローバル動きベクトルに基づいて前記撮像画像を合成し、パノラマ画像を生成するパノラマ合成部をさらに備える
[1]乃至[6]の何れかに記載の画像処理装置。
[8]
前記グローバル動きベクトルに基づいて前記撮像画像に対する手振れ補正を行なう手振れ補正部をさらに備える
[1]乃至[6]の何れかに記載の画像処理装置。
11 撮像装置, 26 画像処理回路, 62 局所特徴量算出部, 63 積分射影部, 64 グローバル動きベクトル算出部, 92 グローバル動きベクトル予測部, 93 有効領域算出部, 121 レンズ歪曲情報保持部, 151 対象外被写体予測部, 181 画像縮小部, 183 ベクトル拡大部, 211 短冊領域算出部, 212 パノラマ合成部
Claims (13)
- 過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値を算出する予測部と、
前記予測値に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、
前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と
を備える画像処理装置。 - 前記有効領域算出部は、前記撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域と、前記予測値とに基づいて前記有効領域を定める
請求項1に記載の画像処理装置。 - 前記特徴量算出部は、前記撮像画像上の前記所定方向に並ぶ画素に基づいて、前記特徴量を算出する
請求項2に記載の画像処理装置。 - 前記特徴量算出部は、前記撮像画像上の画素の勾配情報に基づいて、前記特徴量を算出する
請求項3に記載の画像処理装置。 - 前記特徴量算出部は、前記撮像画像の色情報に基づいて、前記特徴量を算出する
請求項2に記載の画像処理装置。 - 前記射影部は、互いに直交する2つの軸のそれぞれに前記特徴量を射影して、前記軸ごとに前記射影特徴ベクトルを算出する
請求項1に記載の画像処理装置。 - 前記グローバル動きベクトルに基づいて前記撮像画像を合成し、パノラマ画像を生成するパノラマ合成部をさらに備える
請求項1に記載の画像処理装置。 - 前記グローバル動きベクトルに基づいて前記撮像画像に対する手振れ補正を行なう手振れ補正部をさらに備える
請求項1に記載の画像処理装置。 - 過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値を算出する予測部と、
前記予測値に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、
前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と
を備える画像処理装置の画像処理方法であって、
前記予測部が前記予測値を算出し、
前記有効領域算出部が前記有効領域を定め、
前記特徴量算出部が前記特徴量を抽出し、
前記射影部が前記射影特徴ベクトルを算出し、
前記グローバル動きベクトル算出部が前記グローバル動きベクトルを算出する
ステップを含む画像処理方法。 - 過去の撮像画像について求められたグローバル動きベクトルに基づいて、処理対象の前記撮像画像のグローバル動きベクトルの予測値を算出し、
前記予測値に基づいて、前記撮像画像上の有効領域を定め、
前記撮像画像上の前記有効領域から特徴量を抽出し、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、
前記処理対象の前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記処理対象の前記撮像画像のグローバル動きベクトルを算出する
ステップを含む処理をコンピュータに実行させるプログラム。 - 撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、
前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と
を備える画像処理装置。 - 撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域に基づいて、前記撮像画像上の有効領域を定める有効領域算出部と、
前記撮像画像上の前記有効領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と
を備える画像処理装置の画像処理方法であって、
前記有効領域算出部が前記有効領域を定め、
前記特徴量算出部が前記特徴量を抽出し、
前記射影部が前記射影特徴ベクトルを算出し、
前記グローバル動きベクトル算出部が前記グローバル動きベクトルを算出する
ステップを含む画像処理方法。 - 撮像画像を撮像するための光学系の歪曲情報、または前記撮像画像上の特定の被写体の領域に基づいて、前記撮像画像上の有効領域を定め、
前記撮像画像上の前記有効領域から特徴量を抽出し、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、
前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出する
ステップを含む処理をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011154627A JP2013020527A (ja) | 2011-07-13 | 2011-07-13 | 画像処理装置および方法、並びにプログラム |
CN2012102360500A CN102883092A (zh) | 2011-07-13 | 2012-07-06 | 图像处理装置、方法及程序 |
US13/544,730 US20130016180A1 (en) | 2011-07-13 | 2012-07-09 | Image processing apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011154627A JP2013020527A (ja) | 2011-07-13 | 2011-07-13 | 画像処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013020527A true JP2013020527A (ja) | 2013-01-31 |
Family
ID=47484219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011154627A Withdrawn JP2013020527A (ja) | 2011-07-13 | 2011-07-13 | 画像処理装置および方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130016180A1 (ja) |
JP (1) | JP2013020527A (ja) |
CN (1) | CN102883092A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015061109A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
JP2017185254A (ja) * | 2017-05-23 | 2017-10-12 | ソニー株式会社 | 内視鏡システム、内視鏡画像処理装置、および画像処理方法 |
JP2019175112A (ja) * | 2018-03-28 | 2019-10-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6056319B2 (ja) * | 2012-09-21 | 2017-01-11 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9727586B2 (en) * | 2012-10-10 | 2017-08-08 | Samsung Electronics Co., Ltd. | Incremental visual query processing with holistic feature feedback |
US9036002B2 (en) * | 2012-10-30 | 2015-05-19 | Eastman Kodak Company | System for making a panoramic image |
JP2014176034A (ja) * | 2013-03-12 | 2014-09-22 | Ricoh Co Ltd | 映像伝送装置 |
US10229504B2 (en) * | 2013-03-18 | 2019-03-12 | Fotonation Limited | Method and apparatus for motion estimation |
US9355439B1 (en) * | 2014-07-02 | 2016-05-31 | The United States Of America As Represented By The Secretary Of The Navy | Joint contrast enhancement and turbulence mitigation method |
US9842264B2 (en) * | 2015-08-12 | 2017-12-12 | Chiman KWAN | Method and system for UGV guidance and targeting |
JP2019021968A (ja) * | 2017-07-11 | 2019-02-07 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
JP6545229B2 (ja) * | 2017-08-23 | 2019-07-17 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
JP2021121067A (ja) * | 2020-01-30 | 2021-08-19 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05344403A (ja) * | 1992-06-10 | 1993-12-24 | Sony Corp | 撮像装置 |
JP2006270676A (ja) * | 2005-03-25 | 2006-10-05 | Fujitsu Ltd | パノラマ画像生成プログラム、パノラマ画像生成装置、パノラマ画像生成方法 |
US7755667B2 (en) * | 2005-05-17 | 2010-07-13 | Eastman Kodak Company | Image sequence stabilization method and camera having dual path image sequence stabilization |
US7620204B2 (en) * | 2006-02-09 | 2009-11-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for tracking objects in videos using covariance matrices |
US20080165280A1 (en) * | 2007-01-05 | 2008-07-10 | Deever Aaron T | Digital video stabilization with manual control |
US8605942B2 (en) * | 2009-02-26 | 2013-12-10 | Nikon Corporation | Subject tracking apparatus, imaging apparatus and subject tracking method |
-
2011
- 2011-07-13 JP JP2011154627A patent/JP2013020527A/ja not_active Withdrawn
-
2012
- 2012-07-06 CN CN2012102360500A patent/CN102883092A/zh active Pending
- 2012-07-09 US US13/544,730 patent/US20130016180A1/en not_active Abandoned
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015061109A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
JP2017185254A (ja) * | 2017-05-23 | 2017-10-12 | ソニー株式会社 | 内視鏡システム、内視鏡画像処理装置、および画像処理方法 |
JP2019175112A (ja) * | 2018-03-28 | 2019-10-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP7117872B2 (ja) | 2018-03-28 | 2022-08-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102883092A (zh) | 2013-01-16 |
US20130016180A1 (en) | 2013-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013020527A (ja) | 画像処理装置および方法、並びにプログラム | |
JP5359783B2 (ja) | 画像処理装置および方法、並びにプログラム | |
US8189960B2 (en) | Image processing apparatus, image processing method, program and recording medium | |
JP5183297B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP4509917B2 (ja) | 画像処理装置及びカメラシステム | |
JP4898761B2 (ja) | オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法 | |
JP5487722B2 (ja) | 撮像装置と振れ補正方法 | |
US20090322891A1 (en) | Signal processing apparatus, signal processing method, program and recording medium | |
JP5202211B2 (ja) | 画像処理装置及び電子機器 | |
JP2011130327A (ja) | 画像処理装置および方法、並びにプログラム | |
JP5084696B2 (ja) | 画像処理装置、画像処理方法及び電子機器 | |
JP5569357B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5531603B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP2011114823A (ja) | 画像処理装置及び撮像装置 | |
JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP2013020528A (ja) | 画像処理装置および方法、並びにプログラム | |
JP5649927B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP2013031060A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2018066027A1 (ja) | 画像処理装置、撮像システム、画像処理方法および画像処理プログラム | |
JP4017578B2 (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体 | |
JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP5055571B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP2008293388A (ja) | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 | |
JP5645704B2 (ja) | 画像処理装置、及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |