JP2013187799A - 画像処理装置、画像処理方法、コンピュータプログラム - Google Patents

Abstract

【解決手段】撮影対象全体を含む静止画像データを入力する静止画入力手段と、前記静止画データ、及びサイズ等の画像情報を格納する補助記憶装置と、前記静止画像データとフレーム静止画像を用いて、撮影終了までに使用するメモリ量を推定する使用メモリ量推定手段と、前記画像処理装置のメモリ残量と前記推定メモリ量を比較し、メモリ量が不足しているか否かを判定するメモリ量判定手段と、前記メモリ量の判定の結果、メモリ量が不足している場合は、メモリ量の不足を示すメッセージ、及び撮影可能な範囲を表示部に通知する通知手段と、を有する。
【効果】予めモザイキングに必要なメモリ量を推定し、メモリ量が不足している場合は、メモリ量の不足を示すメッセージ及び撮影可能な範囲を撮影者に通知することができる。
【選択図】図５（Ａ）

Description

本発明は、動画像から切り出した各フレーム静止画像を重ね合わせることで、一枚の大きな静止画像（モザイク画像）を構成する画像処理装置、画像処理方法、コンピュータプログラム、及び、そのプログラムを記憶したコンピュータ読出可能な記憶媒体に関するものである。

近年、互いに重複領域を含んでいる複数枚の静止画像から一枚の大きな静止画を構成する、モザイキング技術に関する研究が行われている。これは、各静止画像内の対応する点や領域を推定し、それをもとに画像を重ね合わせることで一枚の静止画像を構成する技術である。この技術は、現在デジタルカメラのパノラマ画像合成技術等に応用されている。

対象を動画像で撮影しそこから切り出した各フレーム静止画像をもとにモザイキングを行う技術に関しては、特にビデオモザイキング技術と呼ばれている。この技術を利用すれば、動画撮影機能付きの撮影装置を少しずつ移動させながら対象を撮影し、各フレーム静止画像を切り出すことで、それらから撮影対象全体を含む一枚の静止画像を構成することができる。

ビデオモザイキング技術は、動画像から切り出した各フレーム静止画像を用いるため、複数枚の静止画像を用いる通常のモザイキング処理と比べ、構成に用いる静止画像の総枚数が多くなるという特徴がある。特に、撮影速度が遅い場合には、撮影対象全体を撮影するのにかかる時間が長くなり、そこから切り出されるフレーム静止画像の総枚数が増加してしまう。この問題に対して、特許文献１による手法では、動画像の撮影時にカメラ側で撮影速度を推定し、速度が一定範囲内に納まっていない場合、ユーザに警告を通知し手動で適切な撮影速度に修正させることで対応している。それにより、撮影速度が遅くなる、即ち抽出されるフレーム静止画像が必要以上の枚数になるのを防ぎ、処理速度の低下を抑えることが可能になる。

特開２００７−３０６５２４号公報

しかしながら、従来の手法では、携帯電話に代表される動画撮影機能付きの撮影装置を少しずつ移動させながら対象を撮影する必要があるため、動画撮影が終了するまでは、動画像のデータ量、及び動画像から切り出した各フレーム静止画像のデータ量が不明である。一般に撮影対象が大きいほど、動画撮影が終了までの時間が多くかかってしまうこともあり、前記データ量は大きくなる傾向にある。従って、前記データ量が、モザイキングを行う画像処理装置のメモリ量を超える場合は、モザイキングが途中で終了してしまう。モザイキングが途中で終了してしまうと、撮影対象全体を含む一枚の静止画像は完成せず、動画撮影条件を変更するか、撮影対象範囲を小さくして再度初めから動画撮影を行わなければならないという課題がある。

撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
撮影対象全体を含む静止画像データを入力する静止画入力手段（１０１）と、
前記静止画データ、及びサイズ等の画像情報を格納する補助記憶装置（１０５）と、
前記静止画像データとフレーム静止画像を用いて、撮影終了までに使用するメモリ量を推定する使用メモリ量推定手段（３０６）と、
前記画像処理装置のメモリ残量と前記推定メモリ量を比較し、メモリ量が不足しているか否かを判定するメモリ量判定手段（３０７）と、
前記メモリ量の判定の結果、メモリ量が不足している場合は、メモリ量の不足を示すメッセージ、及び撮影可能な範囲を表示部に通知する通知手段（３０８）と、
を有する画像処理手段。

本発明によれば、予めモザイキングに必要なメモリ量を推定し、メモリ量が不足している場合は、メモリ量の不足を示すメッセージ、及び撮影可能な範囲を撮影者に通知する。これにより、撮影者は、メモリ残量による撮影対象の撮影可否、及び撮影可能な範囲を動画撮影開始時に把握することができる。例えば、撮影対象全体を含む一枚の静止画像が生成できない場合は即座に中断することが可能となる。従って、再度初めから動画撮影を行う必要がなくなる。

本発明に係る画像処理システムを示すブロック図 モザイキング処理部１０８が行う処理の概要を示す図 モザイキング処理部１０８を示すブロック図 画像重ね合わせ部３０５を示すブロック図 実施例１におけるシステムで実行する処理全体のフローチャート１ 実施例１におけるシステムで実行する処理全体のフローチャート２ 実施例１における特徴点抽出の例を示す図 実施例１における投影パラメータの計算式を示す図 実施例１におけるアフィン変換の式を示す図 実施例１における画像重ね合わせを示す図 実施例１における画像重ね合わせ部の処理全体のフローチャート 実施例１における注目画素から基準画素までの距離を示す図 実施例１における投影後の注目画素と対応する重ね合わせ平面上の画素を示す図 実施例１における撮影対象全体を含む静止画像データの例 実施例１における動画像データから切り出されたフレーム静止画像の例 実施例１における表示部の例 実施例２における撮影対象全体を含む静止画像データの例 実施例２における動画像データから切り出されたフレーム静止画像の例 実施例２におけるシステムで実行する処理全体のフローチャート

［実施例１］
以下、本発明を実施するための最良の形態について図面を用いて説明する。

図１は本発明に係る画像処理システムを示すブロック図である。

図１中、画像撮影装置１００は、静止画・動画入力部１０１と、表示部１０２と、操作部１０３と、ＣＰＵ１０４と、補助記憶装置１０５と、ＲＡＭ１０６と、ＲＯＭ１０７と、モザイキング処理部１０８とを有する。

以下、それぞれの構成要素について説明する。

静止画・動画入力部１０１は、レンズ、ＣＣＤなどのイメージセンサ、A/D変換器等を備えており、撮影によって取得した被写体の映像をデジタル形式の静止画像データ、または動画像データへ変換する。

表示部１０２は、ユーザーに対し通知すべき情報を表示する。

操作部１０３は、ユーザーによる操作を受け付ける。

ＣＰＵ１０４は、操作部１０３からユーザーが入力した情報、補助記憶装置１０５あるいはＲＯＭ１０７に記憶されたプログラム等に基づいて、システム全体の制御を行う。

補助記憶装置１０５は、システム制御ソフトフェア、静止画・動画入力部１０１によって生成された静止画像データ、または動画像データを格納する。

ＲＡＭ１０６は、ＣＰＵ１０４が動作するためのシステムワークメモリであり、動画像データを一時記憶するための画像メモリでもある。

ＲＯＭ１０７はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。

モザイキング処理部１０８は、図２に示すように、入力された動画像からフレーム静止画像を切り出し、そこから画像撮影装置の動きを推定した後、重ね合わせ平面上に投影することで一枚の大きな静止画像を構成する。

モザイキング処理部１０８は、図３に示すように、フレーム切り出し部３０１、特徴点抽出部３０２、特徴点追跡部３０３、投影パラメータ推定部３０４、画像重ね合わせ部３０５、使用メモリ量推定部３０６、メモリ量判定部３０７、通知部３０８から構成される。モザイキング処理部１０８は、静止画・動画入力部１０１が生成した、または補助記憶装置１０５に保存されている静止画像データ、または動画像データ３００が入力されると、各処理部３０１〜３０８で処理を行い、構成後静止画像３１０を生成して出力する。

フレーム切り出し部３０１は、動画像データ３００からフレーム静止画像を一枚ずつ切り出す。

特徴点抽出部３０２は、現在のフレーム静止画像から、その点周りで輝度勾配が大きく、フレーム間で追跡を行いやすい特徴点を抽出する。

特徴点追跡部３０３は、１つ前のフレーム静止画像において特徴点抽出部３０２によって抽出された特徴点を、１つ前のフレーム、現在のフレーム静止画像間で追跡する。

投影パラメータ推定部３０４は、特徴点追跡部３０３による特徴点の追跡結果をもとに、
現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。ここでは、特徴点の追跡結果より、１つ前のフレーム、現在のフレーム間での画像撮影装置の動きを推定することによって投影パラメータの計算を行う。

画像重ね合わせ部３０５は、現在のフレーム静止画像を、投影パラメータ推定部３０４が推定した投影パラメータを用いて、重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。

使用メモリ量推定部３０６は、動画撮影終了までの動画像のデータ量、及び撮影対象全体を含む一枚の静止画像を構成するために必要なフレーム静止画像の総枚数を推定する。これらのデータ量の合計がモザイキング処理に必要となるメモリ量と推定する。

メモリ量判定部３０７は、本画像処理システムのメモリ残量と、推定した使用メモリ量を比較し、メモリ量が不足しているか否かを判定する。

通知部３０８は、メモリ量の不足を示す警告メッセージを図１の表示部１０２へ送信する。

なお、モザイキング処理の詳細および、フレーム切り出し部３０１〜通知部３０８の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。

次に、画像重ね合わせ部３０５の詳細について説明する。画像重ね合わせ部３０５は、図４に示すように、距離計算部４０１、投影部４０２、画素値更新判定部４０３、画素値設定部４０４、距離記憶部４０５、画素値記憶部４０６から構成される。画像重ね合わせ部３０５は、フレーム切り出し部３０１が生成したフレーム静止画像４００、投影パラメータ推定部３０４が生成した投影パラメータ４１０が入力されると、各処理部４０１〜４０６で処理を行い、構成後静止画像３１０を生成して出力する。

距離計算部４０１は、フレーム静止画像内の注目画素から基準画素までの距離を計算する。

投影部４０２は、フレーム静止画像内の注目画素を、投影パラメータ推定部３０３が推定した投影パラメータを用いて重ね合わせ平面上に投影する。

画素値更新判定部４０３は、投影後のフレーム静止画像内の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値の更新を行うか否かを判定する。

画素値設定部４０４は、投影後のフレーム静止画像内の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値を設定する。

距離記憶部４０５は、距離計算部４０１によって計算された画像内の基準画素から注目画素までの距離の値を記憶する。

画素値記憶部４０６は、注目画素の画素値を記憶する。

なお、距離計算部４０１〜画素値記憶部４０６の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。

次に、モザイキング処理部１０８に静止画像データ、または動画像データ３００が入力されてから、モザイキング処理が終わり、構成後静止画像３１０が生成されるまでの間、システムで実行する処理全体のフローチャートを図５（Ａ）（Ｂ）に示す。

なお、本実施形態では、ＣＰＵ１０４が補助記憶装置１０５（コンピュータ読取可能な記憶媒体）に格納されたコンピュータプログラムを読み取り実行することによって、モザイキング処理部１０８（図３の各処理部３０１〜３０８、および図４の各処理部４０１〜４０６）として機能するものとするが、これに限るものではない。

例えば、モザイキング処理部１０８（図３の各処理部３０１〜３０８、および図４の各処理部４０１〜４０６）を、電子回路等のハードウェアで実現するように構成してもよい。

まず、図５（Ａ）のフローチャートを用いて撮影対象全体を含むデータを取得する方法について説明する。

まず、ステップＳ５０１において、静止画・動画入力部１０１は、静止画の撮影機能として動作することで、撮影対象全体を含むデータを静止画像データとして取得する。

尚、この時に取得する静止画像データは、撮影対象全体を含んでいれば低い解像度であっても構わない。

次に、ステップＳ５０２において、静止画・動画入力部１０１は、ステップＳ５０１で取得した静止画像データ、及び幅（ｗ１）、高さ（ｈ１）等の画像情報を補助記憶装置１０５に格納する。尚、静止画像データの例を図１３（Ａ）に示す。

このように後述する動画撮影に入る前に撮影対象全体を含む静止画像データとして記憶する。

次に、図５（Ｂ）のフローチャートを用いて動画撮影、及びモザイキングについて説明する。

まず、ステップＳ５０３において、静止画・動画入力部１０１は、動画の撮影機能として動作することで、撮影対象の端から動画像データとして取得を開始する。

次に、ステップＳ５０４において、フレーム切り出し部３０１は、動画像データ３００から最初のフレーム静止画像を切り出す。尚、フレーム静止画像の例を図１３（Ｂ）に示す。

次に、ステップＳ５０５において、使用メモリ量推定部３０６は、図５（Ａ）のステップＳ５０２で格納した撮影対象全体を含む静止画像データと、ステップＳ５０４で得られたフレーム静止画像の比較を行う。そして、動画撮影終了までの動画像のデータ量、及び対象全体を含む一枚の静止画像を構成するために必要なフレーム静止画像の総枚数を推定する。これらのデータ量の合計がモザイキング処理に必要となるメモリ量と推定する。

また、総枚数を推定する際には、例えば、撮影対象全体を含む静止画像データとフレーム静止画像の各々の幅と高さの情報だけではなく、画像の特徴量（エッジ等）を用いて不図示のパターンマッチングを行い、撮影対象全体を含む静止画像データに対するフレーム静止画像の縮尺率を算出し、これを利用する。尚、動画撮影の撮影速度は一定であるとする。

次に、ステップＳ５０６において、メモリ量判定部３０７は、本画像処理システムのメモリ残量と、ステップＳ５０５で推定した使用メモリ量を比較し、メモリ量が不足しているか否かを判定する。尚、本画像処理システムのメモリ残量は、図１のＲＡＭ１０６の使用可能な残りのワークメモリ量を意味する。使用メモリ量がメモリ残量よりも大きい場合は、ステップＳ５０７へ進む。

ステップＳ５０７において、通知部３０８は、メモリ量の不足、及び撮影の中断を促す警告メッセージを図１の表示部１０２へ送信する。表示部の例を図１４に示す。尚、図１４の右部は撮影可能な範囲を示している。

図１４において、「はい」が選択された場合、即ち、「撮影を中断する」が選択された場合、ステップＳ５０８において、動画撮影が中断される。

図１４において、「いいえ」が選択された場合、即ち、「撮影を中断しない」が選択された場合、ステップＳ５１４へ進み、撮影可能な範囲内で続行する。

ステップＳ５０６において、使用メモリ量がメモリ残量よりも小さい場合は、ステップＳ５１４へ進む。

ステップＳ５１４は、繰り返し処理を意味しており、ステップＳ５０９〜Ｓ５１３の処理を全フレームについて行う。

ステップＳ５０９において、フレーム切り出し部３０１は、動画像データ３００からフレーム静止画像を一枚ずつ切り出す。

ステップＳ５１０において、特徴点抽出部３０２は、フレーム静止画像から特徴点を抽出する。本実施例では、特徴点の抽出を行う際に、Harrisオペレータと呼ばれる、その点周りにおいて２つの直行する方向で輝度勾配が大きくなっている点を抽出する手法を用いた。例として、図６のような画像についてHarrisオペレータを用いると、図に示されるような特徴点が抽出される。この時、抽出する点の総数Ｎは自由に設定でき、本実施例ではＮ＝２００とする。なお他にも、ＳＩＦＴ等、特徴点の抽出が行えるものであれば何を用いてもよいものとする。

ステップＳ５１１において、特徴点追跡部３０３は、１つ前のフレームで特徴点抽出部４０２によって抽出された特徴点を、１つ前のフレーム、現在のフレーム静止画像間で追跡する。本実施例では、ＬＫ法と呼ばれる特徴点追跡アルゴリズムを用いたが、ブロックマッチング法等特徴点の追跡が行えるものであれば、何を用いても良いとする。他にも、両方のフレームそれぞれで特徴点を抽出し、点周りの輝度分布等より対応する点をマッチングすることを特徴点追跡の代用としても良い。

ステップＳ５１２において、投影パラメータ推定部３０４は、ステップＳ５１１における特徴点の追跡結果をもとに、現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。図７のように、１つ前のフレームで抽出した特徴点の、現フレームにおける追跡先の座標と重ね合わせ平面上における座標から投影パラメータを計算する。本実施例では、投影の種類として図８の式で表現されるアフィン変換を仮定した。この場合、３つの特徴点の現フレーム、重ね合わせ平面上の座標をもとにパラメータの計算を行う。なお、この時選択する３つの特徴点を何パターンか変えて、投票アルゴリズム等を用いて、すべての特徴点の動きを最もよく表現できるパラメータを探し出しても良いとする。また、投影の種類として透視変換等他のモデルを採用しても良いものとする。

ステップＳ５１３において、画像重ね合わせ部３０５は、現在のフレーム静止画像を、ステップＳ５１２で推定した投影パラメータを用いて、重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。その結果、図９のように重ね合わせ平面上の画像を更新することができる。

全てのフレームを処理していれば、処理を終了する。未処理のフレームがあればステップＳ５０９から繰り返す。

以上で、図５の説明を終了する。

次に、図５中のステップＳ５１３の処理の詳細について、図１０のフローチャートを用いて説明する。

図１０のステップＳ１００６は、繰り返し処理を意味しており、ステップＳ１００１〜Ｓ１００５の処理をフレーム静止画像内の画素ごとに全画素分行うものとし、ここでは、ある注目画素についての処理について説明する。

ステップＳ１００１において、距離計算部４０１は、注目画素から基準画素までの距離を計算する。ここでの距離とは、図１１に示すように、画像内で何画素分離れているかを表す値であり、単位はピクセルである。なお、本実施例では基準画素を画像の中心としているが、任意の画素を選んで良いものとする。

ステップＳ１００２において、投影部４０２は、ステップＳ５１２で推定した投影パラメータを用いて、注目画素を重ね合わせ平面上に投影する。

ステップＳ１００３において、画素値更新判定部４０３は、図１２に示すような投影後の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値を更新するか否かを判定する。判定は、ステップＳ１００１で計算された注目画素から基準画素までの距離に注目し、その値と後述するステップＳ１００５で距離記憶部４０５に記憶されている値とを比較することで行う。注目画素における距離の値の方が小さいと判定された場合はステップＳ１００４へ、大きいと判定された場合はステップＳ１００５の終了時点へ進む。図１２の例においては、画素値記憶部４０５に記憶されているのは、図内の過去フレームＡにおける距離であり、注目画素における距離の値の方が小さいため、ステップステップＳ１００４へ進む。

ステップＳ１００４において、画素値設定部４０４は、投影後の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値の更新を行う。

ステップＳ１００５において、距離記憶部４０５は、ステップＳ１００１で計算された注目画素から基準画素までの距離の値を記憶する。

全画素処理をしていれば処理を終了する。未処理の画素があればステップＳ１００１から繰り返す。

こうすることで、フレーム静止画像内の明るさムラの影響、および構成後の静止画像の画質の低下を抑えることが可能になる。

以上で、図１０の説明を終了する。

以上、説明したように予めモザイキングに必要なメモリ量を推定し、メモリ量が不足している場合は、メモリ量の不足を示すメッセージ、及び撮影可能な範囲を撮影者に通知する。これにより、撮影者は、メモリ残量による撮影対象の撮影可否、及び撮影可能な範囲を動画撮影開始時に把握することができる。例えば、撮影対象全体を含む一枚の静止画像が生成できない場合は即座に中断することが可能となる。従って、再度初めから動画撮影を行う必要がなくなる。

［実施例２］
実施例１では、撮影対象全体を含む静止画像データとして図１３（Ａ）に示すように不要な領域がない場合の説明を行った。

しかしながら、図１５（Ａ）に示すように本来必要な撮影対象以外の領域も取得されてしまう場合がある。このような場合、図５のステップＳ５０５の使用メモリ量の推定において、撮影対象全体を含む静止画像データと、フレーム静止画像の比較を行う際に速度低下が生じる。本実施例２では本来必要な撮影対象の領域を予め切り出すことで、使用メモリ量推定の速度低下を抑える方法について説明する。

図１６は本実施例２におけるフローチャートである。図５（Ａ）のフローチャートとの差分はステップＳ１６０１である。なお、実施例１との重複部分に関しては説明を省略する。

ステップＳ１６０１では、ステップＳ５０１で取得した静止画像データから撮影者にとって必要な撮影対象の領域の切り出しを行う。

切り出し方法については、例えば撮影対象となる領域の枠を自動検出することで枠内の領域を撮影対象とする方法がある。但し、これに限るものではなく、撮影者が不図示の操作部から任意の領域を指定してもよい。図１５（Ａ）の静止画像データから本来必要な撮影対象の領域を切り出した結果を図１５（Ｂ）に示す。

以上説明したように、本来必要な撮影対象の領域を予め切り出すことで、使用メモリ量推定の速度低下を抑えることが可能となる。

１００ 画像撮影装置
１０１ 静止画・動画入力部
１０２ 表示部
１０３ 操作部
１０４ ＣＰＵ
１０５ 補助記憶装置
１０８ モザイキング処理部

Claims (5)

1. 撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
   撮影対象全体を含む静止画像データを入力する静止画入力手段（１０１）と、
   前記静止画データ、及びサイズの画像情報を格納する補助記憶装置（１０５）と、
   前記静止画像データとフレーム静止画像を用いて、撮影終了までに使用するメモリ量を推定する使用メモリ量推定手段（３０６）と、
   前記画像処理装置のメモリ残量と前記推定メモリ量を比較し、メモリ量が不足しているか否かを判定するメモリ量判定手段（３０７）と、
   前記メモリ量の判定の結果、メモリ量が不足している場合は、メモリ量の不足を示すメッセージ、及び撮影可能な範囲を表示部に通知する通知手段（３０８）と、
   を有することを特徴とする画像処理装置。
2. 前記使用メモリ量推定部３０６は、動画撮影終了までの動画像のデータ量、及び撮影対象全体を含む一枚の静止画像を構成するために必要なフレーム静止画像の総枚数を推定し、これらのデータ量の合計がモザイキング処理に必要となるメモリ量と推定することを特徴とする請求項１に記載の画像処理装置。
3. 画像処理装置のメモリ残量は、ＲＡＭに代表される記憶装置において使用可能な残りのワークメモリ量であることを特徴とする請求項１に記載の画像処理装置。。
4. 撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
   撮影対象全体を含む静止画像データを入力する静止画入力手段（１０１）と、
   前記静止画像データから必要な撮影対象の領域の切り出しを行う切り出し手段と、
   前記切り出し後の静止画データ、及びサイズの画像情報を格納する補助記憶装置（１０５）と、
   前記静止画像データとフレーム静止画像を用いて、撮影終了までに使用するメモリ量を推定する使用メモリ量推定手段（３０６）と、
   前記画像処理装置のメモリ残量と前記推定メモリ量を比較し、メモリ量が不足しているか否かを判定するメモリ量判定手段（３０７）と、
   前記メモリ量の判定の結果、メモリ量が不足している場合は、メモリ量の不足を示すメッセージ、及び撮影可能な範囲を表示部に通知する通知手段（３０８）と、
   を有する画像処理装置。
5. 前記切り出し手段は、撮影対象となる領域の枠を自動検出することで枠内の領域を撮影対象とすることを特徴とする請求項５に記載の画像処理装置。