JP2021096166A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】動画像から撮影装置の微細な振動成分を精度良く検出することができる画像処理装置及び画像処理プログラムを得る。【解決手段】画像処理装置１０は、複数の物体が被写体として含まれ、かつ、撮影装置２０による撮影によって得られた動画像を取得する取得部１１Ａと、取得部１１Ａによって取得された動画像における各フレーム画像間の、各フレーム画像を複数に分割した分割領域毎の上記物体の移動速度を示す物理量を導出する導出部１１Ｂと、導出部１１Ｂによって導出された分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域を抽出する抽出部１１Ｃと、抽出部１１Ｃによって抽出された分割領域の振動成分を撮影装置２０の振動成分であるとして特定する特定部１１Ｄと、を備える。【選択図】図２

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

大地震が発生した直後の建物の健全性を評価する際には、当該建物の詳細な診断を行うに先立って避難要否の判断を行うための一次的な診断が重要となる。そこで、本発明の発明者らは、特許文献１において、加速度センサ等に依存せずに一次的な簡易診断が可能となり得る建物の健全性の診断を行うシステムを提案している。

このシステムでは、撮影装置により対象となる建物が撮影された動画像を解析することで得られる、当該建物の固有振動数の地震発生前後の変化率等をもとに当該建物の健全性を数値化することができる。

対象となる建物の固有振動数を算出する場合において、特許文献２〜３及び非特許文献１に開示されている技術等を用いて動画像中の微振動成分を検出することで固有振動数を算定する場合には、撮影装置自身が微振動環境下に存在すると撮影装置の振動と建物の振動との切り分けが必要となる。

撮影装置の振動と建物の振動との時間周波数特性及び空間周波数特性が十分に異なる場合は、特許文献１にも記載されているように時空間周波数領域上で分離することが可能となる。しかし、撮影装置の振動特性と建物の振動特性とが時空間周波数領域上でラップする場合は単純に分離することができないため、本来計測したい建物の振動の固有振動数等の特性を正しく評価できない場合がある。

一方で、撮影装置の振動を軽減させる技術として、撮影装置と三脚等の付帯器具とを含めた撮影システム全体の重量を重くする、防振ゴムやスプリング等の器具を導入する等といった物理的な防振対策も考えられる。しかし、この対策では、地盤の振動等に含まれる数Ｈｚ以下程度の周波数帯域での劇的な効果は期待できない。

そこで、撮影装置の振動成分を検出（さらには除去まで）できるソフトウェア的な処理が必要とされている。なお、このようなソフトウェア的な対策は、特許文献１に記載されている移動撮影による建物の健全性を診断する用途に限らず、固定撮影での建物の健全性の診断の用途も含む、特許文献２〜３及び非特許文献１に代表される被写体の時空間フィルタリングに基づく動画像処理のみの振動解析手法において全般的に有用である。

ソフトウェア的な振動成分の検出処理及び除去処理に関する技術として、特許文献４には、機械式又は光学式ではない、デジタル式の手ぶれ補正技術が開示されている。この技術では、観賞や記録等の目視用途、パノラマ合成や３次元再構成等の画像間のマッチング用途等において、撮影装置自身の動きに起因する画像上の変動を除去することができる。

特開２０１８−１３６１９１号公報 米国特許出願公開第２０１４／００７２１９０号明細書 米国特許第９３２４００５号明細書 特開２０１９−００４４５１号公報

J.G. Chen, A. Davis, N. Wadhwa, F. Durand, W.T. Freeman, and O. Buyukozturk, "Video Camera-based Vibration Measurement for Condition Assessment of Civil Infrastructure", International Symposium Non-Destructive Testing in Civil Engineering (2015)

しかしながら、目視用途で主に検出や除去を行わなければならない対象は、数画素（ピクセル）以上に及ぶ変動成分であり、特許文献４に開示されている技術では、サブピクセル級の極微細な変動の検出等についてはなんら記載されていない。また、マッチング用途ではサブピクセル級の精度が要求される場合があるが、複数の画素の対応関係に基づく幾何変換をベースとすることが多く、建物の常時微動を撮影した動画像のような、一見すると動きが存在しないような被写体において撮影装置の振動成分が混入した場合に正しく機能するとは限らない。

本開示は、以上の事情を鑑みて成されたものであり、動画像から撮影装置の微細な振動成分を精度良く検出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。

請求項１に記載の本発明に係る画像処理装置は、複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得する取得部と、前記取得部によって取得された動画像における各フレーム画像間の、各フレーム画像を複数に分割した分割領域毎の前記物体の移動速度を示す物理量を導出する導出部と、前記導出部によって導出された前記分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域を抽出する抽出部と、前記抽出部によって抽出された分割領域の振動成分を前記撮影装置の振動成分であるとして特定する特定部と、を備える。

請求項１に記載の本発明に係る画像処理装置によれば、撮影装置による撮影によって得られた動画像における各フレーム画像間の分割領域毎の物体の移動速度を示す物理量を導出し、導出した分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域の振動成分を前記撮影装置の振動成分であるとして特定することで、動画像から撮影装置の微細な振動成分を精度良く検出することができる。

請求項２に記載の本発明に係る画像処理装置は、請求項１に記載の画像処理装置であって、前記導出部は、前記動画像に対して複素空間フィルタリング処理を行って位相画像を生成し、当該位相画像の時間的に隣接するフレーム画像間で、かつ、前記分割領域毎の差分を示す位相差信号を前記物理量として導出する。

請求項２に記載の本発明に係る画像処理装置によれば、前記動画像に対して複素空間フィルタリング処理を行って位相画像を生成し、当該位相画像の時間的に隣接するフレーム画像間で、かつ、前記分割領域毎の差分を示す位相差信号を前記物理量として導出することで、より簡易に物体の移動速度を示す物理量を導出することができる。

請求項３に記載の本発明に係る画像処理装置は、請求項２に記載の画像処理装置であって、前記導出部は、前記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に前記位相差信号を導出する。

請求項３に記載の本発明に係る画像処理装置によれば、前記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に前記位相差信号を導出することで、より高精度に当該位相差信号を導出することができる。

請求項４に記載の本発明に係る画像処理装置は、請求項２又は請求項３に記載の画像処理装置であって、前記特定部は、前記抽出部によって抽出された分割領域における前記位相差信号の代表値の時系列信号を、前記撮影装置の振動成分であるとして特定する。

請求項５に記載の本発明に係る画像処理装置は、請求項４に記載の画像処理装置であって、前記位相差信号の代表値は、各々当該位相差信号の、平均値、又は、中央値、又は、最大値、又は、最小値であるものである。

請求項４及び請求項５に記載の本発明に係る画像処理装置によれば、抽出された分割領域における前記位相差信号の代表値の時系列信号を、前記撮影装置の振動成分であるとして特定することで、前記代表値を適用しない場合に比較して、より簡易に撮影装置の振動成分を特定することができる。

請求項６に記載の本発明に係る画像処理装置は、請求項１〜請求項５の何れか１項に記載の画像処理装置であって、前記導出部は、前記動画像における予め定められた一部の領域のみを対象として前記物理量を導出する。

請求項６に記載の本発明に係る画像処理装置によれば、前記動画像における予め定められた一部の領域のみを対象として前記物理量を導出することで、演算負荷を低減することができる。

請求項７に記載の本発明に係る画像処理装置は、請求項６に記載の画像処理装置であって、前記一部の領域は、前記動画像におけるＳ／Ｎ比が所定レベル以上である領域であるものである。

請求項７に記載の本発明に係る画像処理装置によれば、前記一部の領域を、前記動画像におけるＳ／Ｎ比が所定レベル以上である領域とすることで、より効果的に演算負荷を低減しながら振動成分を精度よく検出することができる。

請求項８に記載の本発明に係る画像処理装置は、請求項１〜請求項７の何れか１項に記載の画像処理装置であって、前記分割領域は、前記動画像における１画素毎の領域、又は、複数の画素群毎の領域であるものである。

請求項８に記載の本発明に係る画像処理装置によれば、前記分割領域を、前記動画像における１画素毎の領域、又は、複数の画素群毎の領域とすることで、より簡易かつ高精度に撮影装置の振動成分を検出することができる。

請求項９に記載の本発明に係る画像処理プログラムは、複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得し、取得した動画像における各フレーム画像間の、各フレーム画像を複数に分割した分割領域毎の前記物体の移動速度を示す物理量を導出し、導出した前記分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域を抽出し、抽出した分割領域の振動成分を前記撮影装置の振動成分であるとして特定する、処理をコンピュータに実行させる。

請求項９に記載の本発明に係る画像処理プログラムによれば、撮影装置による撮影によって得られた動画像における各フレーム画像間の分割領域毎の物体の移動速度を示す物理量を導出し、導出した分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域の振動成分を前記撮影装置の振動成分であるとして特定することで、動画像から撮影装置の微細な振動成分を精度良く検出することができる。

以上説明したように、本発明によれば、動画像から撮影装置の微細な振動成分を精度良く検出することができる。

実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。 実施形態に係る動画像データベースの構成の一例を示す模式図である。 実施形態に係る振動成分特定処理の一例を示すフローチャートである。 実施形態に係る動画像（代表画像）の一例を示す正面図である。 実施形態に係る位相画像（水平成分）の一例を示す正面図である。 実施形態に係る位相画像（垂直成分）の一例を示す正面図である。 実施形態に係るアンラップ処理の説明に供するグラフである。 実施形態に係る位相差信号の度数分布の一例を示すグラフである。 実施形態に係る検証実験で用いるサンプル画像（正弦波画像）の一例を示す正面図である。 実施形態に係る検証実験において度数分布が最大となる位相差となる画素群における平均位相差信号の一例を示すグラフである。 実施形態に係る検証実験の説明に供する画素の移動量信号の一例を示すグラフである。 実施形態に係る検証実験の説明に供する時間周波数スペクトルの一例を示すグラフである。 実施形態に係る検証実験の説明に供する時間周波数スペクトルの一例を示すグラフである。

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。なお、本実施形態では、本発明を、風加振や地盤振動の影響下での微動状態における建物を撮影した動画像を処理対象とした画像処理装置に適用した場合について説明する。

まず、図１及び図２を参照して、本実施形態に係る画像処理装置１０の構成を説明する。なお、画像処理装置１０の例としては、パーソナルコンピュータ及びサーバコンピュータ等の情報処理装置が挙げられる。

図１に示すように、本実施形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、一時記憶領域としてのメモリ１２、不揮発性の記憶部１３、キーボードとマウス等の入力部１４、液晶ディスプレイ等の表示部１５、媒体読み書き装置（Ｒ／Ｗ）１６及び通信インタフェース（Ｉ／Ｆ）部１８を備えている。ＣＰＵ１１、メモリ１２、記憶部１３、入力部１４、表示部１５、媒体読み書き装置１６及び通信Ｉ／Ｆ部１８はバスＢ１を介して互いに接続されている。媒体読み書き装置１６は、記録媒体１７に書き込まれている情報の読み出し及び記録媒体１７への情報の書き込みを行う。

記憶部１３はＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現される。記憶媒体としての記憶部１３には、振動成分特定プログラム１３Ａが記憶されている。振動成分特定プログラム１３Ａは、振動成分特定プログラム１３Ａが書き込まれた記録媒体１７が媒体読み書き装置１６にセットされ、媒体読み書き装置１６が記録媒体１７からの振動成分特定プログラム１３Ａの読み出しを行うことで、記憶部１３へ記憶される。ＣＰＵ１１は、振動成分特定プログラム１３Ａを記憶部１３から読み出してメモリ１２に展開し、振動成分特定プログラム１３Ａが有するプロセスを順次実行する。また、記憶部１３には、動画像データベース１３Ｂ、複素空間フィルタデータベース１３Ｃ等の各種データベースが記憶される。

本実施形態に係る画像処理装置１０は、通信Ｉ／Ｆ部１８に、動画像の撮影を行う撮影装置２０が接続される。撮影装置２０は、撮影時に複数の建物を含むように撮影を行うためのものである。なお、撮影装置２０による撮影方法は、空撮、地上での人による移動撮影、三脚や固定部材等を用いた固定撮影等の何れの方法でもよい。また、本実施形態では、撮影装置２０としてカラー画像を撮影する撮影装置を適用しているが、これに限定されるものではなく、例えば、モノクロ画像を撮影する撮影装置を撮影装置２０として適用する形態としてもよい。

次に、図２を参照して、本実施形態に係る画像処理装置１０の機能的な構成について説明する。図２に示すように、画像処理装置１０は、取得部１１Ａ、導出部１１Ｂ、抽出部１１Ｃ及び特定部１１Ｄを含む。画像処理装置１０のＣＰＵ１１が振動成分特定プログラム１３Ａを実行することで、取得部１１Ａ、導出部１１Ｂ、抽出部１１Ｃ及び特定部１１Ｄとして機能する。

本実施形態に係る取得部１１Ａは、複数の物体が被写体として含まれ、かつ、撮影装置２０による撮影によって得られた動画像を取得する。なお、本実施形態では、上記物体として、建物を適用しているが、これに限定されるものではない。例えば、橋、塔等の建物を除く建造物、山、樹木等の自然物や、脈動などの生体情報、空調ダクトや変圧器などの設備機器、またはこれらの複数種類の組み合わせ等を上記物体として適用する形態としてもよい。

また、導出部１１Ｂは、取得部１１Ａによって取得された動画像における各フレーム画像間の、各フレーム画像を複数に分割した分割領域毎の上記物体の移動速度を示す物理量を導出する。なお、本実施形態では、上記分割領域として、複数の画素群毎の領域を適用しているが、これに限定されるものではない。例えば、撮影装置２０による撮影によって得られた動画像における１画素毎の領域を上記分割領域として適用する形態としてもよい。

本実施形態に係る導出部１１Ｂは、上記動画像に対して複素空間フィルタリング処理を行って位相画像を生成し、当該位相画像の時間的に隣接するフレーム画像間で、かつ、上記分割領域毎の差分を示す位相差信号を上記物理量として導出する。即ち、ここでいう「位相」は信号の「位置」を表す変量であり、上記位相画像は空間上の位置を示す位置情報を保有している。従って、時間的に隣接するフレーム画像間の位相画像の差分である位相差信号は、１フレームが経過する時間間隔における位置の変化である「変位」を表すため、単位時間当たりの変位、即ち上記移動速度と相関を有する変量となる。

また、本実施形態に係る導出部１１Ｂは、上記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に上記位相差信号を導出する。さらに、本実施形態に係る導出部１１Ｂは、上記動画像における予め定められた一部の領域のみを対象として上記物理量を導出する。なお、本実施形態では、上記一部の領域として、上記動画像におけるＳ／Ｎ比（Signal to Noise ratio）が所定レベル以上である領域を適用しているが、これに限定されるものではない。

また、本実施形態に係る抽出部１１Ｃは、導出部１１Ｂによって導出された分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域を抽出する。さらに、本実施形態に係る特定部１１Ｄは、抽出部１１Ｃによって抽出された分割領域の振動成分を撮影装置２０の振動成分であるとして特定する。

本実施形態に係る特定部１１Ｄは、抽出部１１Ｃによって抽出された分割領域における上記位相差信号の代表値の時系列信号を、撮影装置２０の振動成分であるとして特定する。なお、本実施形態では、上記位相差信号の代表値として、当該位相差信号の平均値を適用しているが、これに限定されるものではない。例えば、上記平均値に代えて、中央値、又は、最大値、又は、最小値を上記代表値として適用する形態としてもよい。

次に、図３を参照して、本実施形態に係る動画像データベース１３Ｂについて説明する。図３に示すように、本実施形態に係る動画像データベース１３Ｂは、予め割り振られた動画像ＩＤ（Identification）毎に、撮影装置２０による動画像の撮影によって得られた動画像情報が記憶されている。このように、本実施形態では、動画像情報を事前に撮影装置２０から取り込んで動画像データベース１３Ｂに登録しているが、これに限定されるものではない。例えば、撮影装置２０による撮影を常時実施し、所定レベル以上の振動が発生した際に撮影装置２０から得られる動画像情報をオンラインで、リアルタイム又は非リアルタイムで用いる形態等としてもよい。

一方、本実施形態に係る複素空間フィルタデータベース１３Ｃは、予め定められた複素空間フィルタ（本実施形態では、複素ガボールフィルタ（Gabor Filter））を示す情報が登録されている。但し、複素空間フィルタは複素ガボールフィルタに限定されるものではなく、空間位相特性が９０度だけ異なり、空間振幅特性が等しい空間フィルタ（実部フィルタ、虚部フィルタ）を組とした複素空間フィルタであれば、他のフィルタを複素空間フィルタとして適用してもよい。

次に、図４〜図８を参照して、本実施形態に係る画像処理装置１０の作用を説明する。ユーザによって振動成分特定プログラム１３Ａの実行を開始する指示入力が入力部１４を介して行われた場合に、画像処理装置１０のＣＰＵ１１が当該振動成分特定プログラム１３Ａを実行することにより、図４に示す振動成分特定処理が実行される。なお、ここでは、錯綜を回避するために、動画像データベース１３Ｂ及び複素空間フィルタデータベース１３Ｃが構築済みであり、処理対象とする動画像情報がユーザによって指定されている場合について説明する。

図４のステップ２００で、取得部１１Ａは、ユーザによって指定された動画像情報（以下、「処理対象動画像情報」という。）を動画像データベース１３Ｂから読み出すことにより取得する。

ステップ２０２で、導出部１１Ｂは、複素空間フィルタデータベース１３Ｃから複素空間フィルタを示す情報を読み出し、処理対象動画像情報に対して当該複素空間フィルタ（本実施形態では、複素ガボールフィルタ）による複素空間フィルタリング処理を行って位相画像を生成する。

即ち、まず、導出部１１Ｂは、読み出した複素空間フィルタを用いた複素空間フィルタリング処理を行うことで、処理対象動画像情報により示される動画像の各フレーム画像から、実部画像Ｉ_ｒｅと虚部画像Ｉ_ｉｍを算出する。次いで、導出部１１Ｂは、次の式（１）による演算を画素毎に行うことにより、位相画像Ｉ_θを算出する。

Ｉ_θ＝ｔａｎ^−１（Ｉ_ｉｍ／Ｉ_ｒｅ） （１）

以上の処理を処理対象動画像情報により示される動画像の全フレーム画像に実行する。複素空間フィルタリング処理は、空間領域上での畳み込みカーネルのコンボリューションによる方法と、空間周波数領域上でのフィルタ積による方法との何れの方法を適用してもよい。

例えば、処理対象動画像情報により示される動画像のうちの１枚の画像が、一例として図５に示す画像である場合、上述した複素空間フィルタリング処理によって得られる水平成分の位相画像が図６Ａに示すものとなり、垂直成分の位相画像が図６Ｂに示すものとなる。なお、図５に示す画像は、便宜上、建物を被写体としたものではなく、本発明の発明者らが制作した構造物を被写体として撮影したものを適用している。

ステップ２０４で、導出部１１Ｂは、導出した位相画像Ｉ_θにおける撮影装置２０の振動成分の検出対象とする領域（以下、「処理対象領域」という。）を決定する。本実施形態では、処理対象領域の決定方法として、Ｓ／Ｎ比が所定レベル以上である画素群を処理対象領域とする方法を適用している。ここで、Ｓ／Ｎ比が所定レベル以上である画素群の一例としては、取得部１１Ａによって取得した段階の処理対象動画像情報が示す動画像において、フレーム画像の空間１次微分フィルタ（例えば、Ｓｏｂｅｌフィルタ）、空間２次微分フィルタ（例えば、ラプラシアンフィルタ）、あるいはエッジ検出処理を施した出力画像が相当する。スパイク的なノイズ成分を除去して、領域の塊を確保する必要があれば、メディアンフィルタや、膨張処理及び収縮処理を併用する。導出部１１Ｂは、最終的に閾値処理により二値化することで処理対象領域を決定する。

なお、処理対象領域の決定方法は以上の方法に限定されるものではなく、例えば、ユーザによって予め指定された注目領域を処理対象領域として決定する形態としてもよい。

ステップ２０６で、導出部１１Ｂは、ステップ２０２の処理によって得られた位相画像Ｉ_θに対して位相アンラップ処理を行う。即ち、位相情報は、一般的には−π〜＋πの範囲で折り返される形でラッピングされている（即ち、例えばπ＋π／４→−π／４となる。）。そこで、本実施形態では、位相アンラップ処理（位相接続処理）を行う。位相アンラップ処理としては、例えば、インターネット（URL:https://www.researchgate.net/publication/265151826）、（URL:http://retrofocus28.blogspot.com/2013/12/phase-unwrapping_26.html）、（URL:https://jp.mathworks.com/help/dsp/ref/unwrap.html#f5-1119858）等に記載の既知のアルゴリズムを適用することができる。なお、導出した位相画像Ｉ_θがラッピングされていないものであれば、本ステップ２０６の処理は実行する必要がないことは言うまでもない。

図７には、処理対象とする画像が図５に示す画像の一部領域の画像である場合における、ステップ２０６の位相アンラップ処理による位相接続の前後における位相画像の一例が示されている。なお、図７に示す例では、位相接続前の位相画像の時系列の変化を破線で示し、位相接続後の位相画像の時系列の変化を実線で示している。

図７に示すように、位相接続により、＋１８０度を超えて−１８０度に折り返された信号が＋１８０度を超えて連続的に表される。但し、図７の例で用いた位相アンラップ処理は、位相が２回転以上することを想定していないため、図７における横軸の値が１２０フレーム付近で＋３６０度を超えた信号の折り返しが残ったままとなっている。これは、アンラップ後の信号に位相アンラップ処理を再度施すことで解消される。しかし、本発明はサブピクセル級の微弱な振動を対象としているが、位相ラッピングが生じる場合はサブピクセルを超えるような大きな動きを生じていると解釈することも可能なため、ラッピングが生じた画素群または画像領域は処理対象領域から除外することを検知する目的で位相アンラップ処理を利用することも可能である。

ステップ２０８で、導出部１１Ｂは、以上の処理を経て得られた位相画像Ｉ_θにおいて、ステップ２０４の処理によって決定した処理対象領域の各画素における、時間的に隣接するフレーム画像間の差分を示す時系列の信号である、上述した位相差信号を算出する。

ステップ２１０で、抽出部１１Ｃは、任意のフレームにおいて、ステップ２０８の処理によって導出した位相差信号の度数分布を算出する。図８には、ステップ２１０の処理によって得られた１フレームにおける度数分布の一例が示されている。なお、図８に示す度数分布では、隣り合うフレーム間の位相差を計算していることから、極端に大きな位相差は無視して、−９０度〜＋９０度の範囲内のみを１度刻みで計数している。

ステップ２１２で、抽出部１１Ｃは、算出した度数分布において度数が最大となる範囲の位相差を有する画素群における位相差信号の代表値を全フレームで求める。なお、本実施形態では、上記代表値として位相差信号の平均値を適用しているが、これに限定されるものではない。例えば、上記代表値として、位相差信号の中央値、又は、最大値、又は、最小値を適用する形態としてもよいことは上述した通りである。

ステップ２１４で、特定部１１Ｄは、ステップ２１２の処理によって得られた代表値の時系列信号を撮影装置２０の振動成分であるものと特定し、特定した振動成分を示す情報を記憶部１３の所定領域に記憶した後に本振動成分特定処理を終了する。

次に、図９〜図１２を参照して、本実施形態に係る画像処理装置１０による撮影装置の振動成分の特定に関する検証実験について説明する。

ここでは、図９に示す空間波長８画素で、かつ、１００画素×１００画素の正弦波画像を、撮影装置の振動成分に見立てた振幅０．５画素、時間周波数２Ｈｚで振動させた動画像で検証した。複素空間フィルタとしては、空間波長λ＝８画素にピークを持つガウス関数型のバンドパスフィルタを用いた。

この場合、度数分布が最大となる位相差θ_ｍａｘとなる画素群における平均位相差信号ΔＩ_{θ＿ａｖｅ}（ｔ）は図１０に示すものとなった。この信号は位相差θ_ｍａｘとなる画素群の平均角速度［ｒａｄ／ｓ］に相当するため、画素の移動量信号ｄ（ｔ）［画素］に変換するために以下の数式に示す操作を行った。この数式におけるｄ（ｔ）が撮影装置の振動成分の信号と推測される（図１１参照。）。

以上より、全画素において上記の振動成分が撮影装置の振動成分として存在すると仮定することができる。そこで、画像中の任意の１画素のみを抽出して振動検出を行った信号Ａ（ｔ）と、信号Ａ（ｔ）から上記の撮影装置の振動成分ｄ（ｔ）を差し引いた信号との、それぞれの時間周波数スペクトルを図１２Ａ及び図１２Ｂに示す。図１２Ａより信号Ａ（ｔ）は２Ｈｚにピークを持つことが分かる。検証用の動画像は撮影装置の振動に見立てた振動成分以外は含まれないため、図１２Ｂより、本実施形態に係る手法によって撮影装置の振動成分が除去されていることが確認された。

以上説明したように、本実施形態によれば、複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得する取得部１１Ａと、取得部１１Ａによって取得された動画像における各フレーム画像間の、各フレーム画像を複数に分割した分割領域毎の上記物体の移動速度を示す物理量を導出する導出部１１Ｂと、導出部１１Ｂによって導出された分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域を抽出する抽出部１１Ｃと、抽出部１１Ｃによって抽出された分割領域の振動成分を撮影装置の振動成分であるとして特定する特定部１１Ｄと、を備えている。従って、動画像から撮影装置の微細な振動成分を精度良く検出することができる。

また、本実施形態によれば、動画像に対して複素空間フィルタリング処理を行って位相画像を生成し、当該位相画像の時間的に隣接するフレーム画像間で、かつ、上記分割領域毎の差分を示す位相差信号を上記物理量として導出している。従って、より簡易に物体の移動速度を示す物理量を導出することができる。

また、本実施形態によれば、位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に位相差信号を導出している。従って、より高精度に当該位相差信号を導出することができる。

また、本実施形態によれば、抽出された分割領域における位相差信号の代表値の時系列信号を、撮影装置の振動成分であるとして特定している。従って、上記代表値を適用しない場合に比較して、より簡易に撮影装置の振動成分を特定することができる。

また、本実施形態によれば、動画像における予め定められた一部の領域のみを対象として上記物理量を導出している。従って、演算負荷を低減することができる。

また、本実施形態によれば、上記一部の領域を、動画像におけるＳ／Ｎ比が所定レベル以上である領域としている。従って、より効果的に演算負荷を低減しながら振動成分を精度よく検出することができる。

さらに、本実施形態によれば、上記分割領域を、動画像における１画素毎の領域、又は、複数の画素群毎の領域としている。従って、より簡易かつ高精度に撮影装置の振動成分を検出することができる。

なお、上記実施形態では、処理対象動画像情報により示される動画像の全体に対して位相画像を導出する場合について説明したが、これに限定されない。例えば、畳み込みカーネルによる手法に限定すれば、図４におけるステップ２０４の処理をステップ２０２の処理に先立って実行した上で、特定の注目画素とコンボリューションに必要な周辺画素のみの空間情報に限定して位相差信号まで算出するまでの処理を行い、注目画素を移動しながらステップ２０２の処理とステップ２０８の処理を繰り返して実行し、必要な画素全体の位相差信号を算出する形態としてもよい。この形態では、最終判定に至るまでの中間処理情報を逐次破棄しながら処理できるため、一連の処理の実施中に必要な記憶容量を最小限に抑えることが可能となる。

また、上記実施形態において、例えば、取得部１１Ａ、導出部１１Ｂ、抽出部１１Ｃ及び特定部１１Ｄの各処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、処理部を１つのプロセッサで構成してもよい。

処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

１０ 画像処理装置
１１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 導出部
１１Ｃ 抽出部
１１Ｄ 特定部
１２ メモリ
１３ 記憶部
１３Ａ 振動成分特定プログラム
１３Ｂ 動画像データベース
１３Ｃ 複素空間フィルタデータベース
１４ 入力部
１５ 表示部
１６ 媒体読み書き装置
１７ 記録媒体
１８ 通信Ｉ／Ｆ部
２０ 撮影装置

Claims (9)

1. 複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得する取得部と、
   前記取得部によって取得された動画像における各フレーム画像間の、各フレーム画像を複数に分割した分割領域毎の前記物体の移動速度を示す物理量を導出する導出部と、
   前記導出部によって導出された前記分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域を抽出する抽出部と、
   前記抽出部によって抽出された分割領域の振動成分を前記撮影装置の振動成分であるとして特定する特定部と、
   を備えた画像処理装置。
2. 前記導出部は、前記動画像に対して複素空間フィルタリング処理を行って位相画像を生成し、当該位相画像の時間的に隣接するフレーム画像間で、かつ、前記分割領域毎の差分を示す位相差信号を前記物理量として導出する、
   請求項１に記載の画像処理装置。
3. 前記導出部は、前記位相画像がラッピングされた位相である場合、当該位相画像の各画素の位相に対してアンラップ処理を行った後に前記位相差信号を導出する、
   請求項２に記載の画像処理装置。
4. 前記特定部は、前記抽出部によって抽出された分割領域における前記位相差信号の代表値の時系列信号を、前記撮影装置の振動成分であるとして特定する、
   請求項２又は請求項３に記載の画像処理装置。
5. 前記位相差信号の代表値は、各々当該位相差信号の、平均値、又は、中央値、又は、最大値、又は、最小値である、
   請求項４に記載の画像処理装置。
6. 前記導出部は、前記動画像における予め定められた一部の領域のみを対象として前記物理量を導出する、
   請求項１〜請求項５の何れか１項に記載の画像処理装置。
7. 前記一部の領域は、前記動画像におけるＳ／Ｎ比が所定レベル以上である領域である、
   請求項６に記載の画像処理装置。
8. 前記分割領域は、前記動画像における１画素毎の領域、又は、複数の画素群毎の領域である、
   請求項１〜請求項７の何れか１項に記載の画像処理装置。
9. 複数の物体が被写体として含まれ、かつ、撮影装置による撮影によって得られた動画像を取得し、
   取得した動画像における各フレーム画像間の、各フレーム画像を複数に分割した分割領域毎の前記物体の移動速度を示す物理量を導出し、
   導出した前記分割領域毎の物理量のうち、最も頻度が高い物理量に対応する分割領域を抽出し、
   抽出した分割領域の振動成分を前記撮影装置の振動成分であるとして特定する、
   処理をコンピュータに実行させるための画像処理プログラム。

Images