JP2016134679A

JP2016134679A - 画像処理装置及び画像処理装置の制御方法

Info

Publication number: JP2016134679A
Application number: JP2015006928A
Authority: JP
Inventors: 成己松岡; Narumi Matsuoka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-01-16
Filing date: 2015-01-16
Publication date: 2016-07-25
Anticipated expiration: 2035-01-16
Also published as: JP6516478B2

Abstract

【課題】被写体の写っていない画像を撮影していない場合や、固有の色域を持った静止物の前を移動体が横断する場合でも移動体を抽出できるようにする。
【解決手段】動画中の移動体を抽出する画像処理装置であって、移動体の写っていない移動体除去画像を生成する生成手段と、前記移動体除去画像と動画の各フレームにおける画像との差分を用いて移動体の一部である移動体シードを抽出する抽出手段と、前記抽出手段により抽出した移動体シードと、隣接した注目画素の特徴量を比較することで注目画素を移動体に分類し、さらに分類を終えた時点で移動体ではないと分類された画素を背景と分類する分類手段とを備え、前記抽出手段は、前記分類手段による分類に基づいて動画から移動体を抽出する。
【選択図】図２

Description

本発明は画像処理装置及び画像処理装置の制御方法に関し、特に、動画中の移動体を抽出するために用いて好適な技術に関する。

移動体を抽出する手法の一つとして背景差分法がある。これは、移動体が写っていない画像と移動体が写っている画像との差分を求め、差分が閾値以上であった領域を被写体として抽出する手法である。特許文献１では、連写撮影又は動画撮影された画像中に動きのある部分の存在が検出されない区間の画像を背景画像として記憶しておき、背景画像と一連の被写体込みの画像との差分を用いて被写体を抽出する構成が記載されている。

また、移動体を抽出する手法に、被写体追尾を用いる場合がある。これは、隣り合うフレーム間の画像において、対応する特徴点や領域を求めることで移動体を抽出する手法である。特許文献２では、数フレームの画像の色域を抽出し、抽出した色域の位置が変動したか否かを判定することで移動体を抽出する構成が記載されている。

特開２０１０−２８３６３７号公報特開２０００−３４８１８５号公報

しかしながら、前述の特許文献１で触れたような背景差分法を用いるには、移動体の写っていない画像を撮影することが必要となる。仮に、撮影した動画中に移動体の写っていない画像が存在しない場合があっても、動画のそれぞれのフレーム画像を用いて移動体を除去した移動体除去画像を作成し、代用する方法が考えられる。

このとき、各画素に対して、移動体以外すなわち背景を記録したフレームを選択することで、移動体除去画像を作成できる。しかし、例えば、移動体がある位置を中心とした周期運動をするなど、全フレームに渡って移動体を記録する画素がある場合、原理上移動体を除去できない。さらに、移動体と背景とを交互に記録する画素があり、誤って移動体を記録したフレームを選択した場合、移動体の除去に失敗する。

さらに、特許文献２で触れたような移動体を追尾する手法では、移動体を表す色域の判定を行っていないため、例えば、ある固有の色域を持った静止物の前を移動体が横切った場合では、静止物を誤って移動体として検出してしまう可能性がある。
本発明は前述の問題点に鑑み、被写体の写っていない画像を撮影していない場合や、固有の色域を持った静止物の前を移動体が横断する場合でも移動体を抽出できるようにすることを目的とする。

本発明の画像処理装置は、動画中の移動体を抽出する画像処理装置であって、移動体の写っていない移動体除去画像を生成する生成手段と、前記移動体除去画像と動画の各フレームにおける画像との差分を用いて移動体の一部である移動体シードを抽出する抽出手段と、前記抽出手段により抽出した移動体シードと、隣接した注目画素の特徴量を比較することで注目画素を移動体に分類し、さらに分類を終えた時点で移動体ではないと分類された画素を背景と分類する分類手段とを備え、前記抽出手段は、前記分類手段による分類に基づいて動画から移動体を抽出することを特徴とする。

本発明によれば、動画において移動体を正しく抽出することが可能となる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。実施形態に係る移動体抽出における全体の処理手順の一例を示すフローチャートである。実施形態に係る移動体除去画像の作成処理手順の一例を示すフローチャートである。実施形態に係る移動体の抽出処理手順の一例を示すフローチャートである。実施形態に係る移動体シードからの侵攻処理手順の一例を示すフローチャートである。実施形態に係る背景シードからの侵攻処理手順の一例を示すフローチャートである。実施形態に係る移動体除去画像作成の例を示す図である。実施形態に係る移動体除去画像作成の例および背景記録候補区間の例を示す図である。実施形態に係る背景記録候補区間の例を示す図である。実施形態に係る背景記録区間の選定例を示す図である。実施形態に係る背景記録区間の例を示す図である。実施形態に係る移動体抽出処理の例を示す図である。実施形態に係る移動体除去画像作成の例を示す図である。実施形態に係る移動体除去画像の例を示す図である。実施形態に係る移動体シードからの侵攻の例を示す図である。実施形態に係る背景シードからの侵攻の例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［第１の実施形態］
図１は、本発明の画像処理装置を実現する一つの例である撮像装置１００の基本構成を示すブロック図である。
撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。

光学系１０１は、レンズ、シャッター、絞りから構成されており、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。

ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。
一次記憶部１０４は、例えば、ＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶部１０４に記憶されている情報は、画像処理部１０５で利用されたり、記録媒体１０６へ記録されたりもする。

記録媒体１０６は、一次記憶部１０４に記憶されている、撮影により得られた画像のデータなどを記録する。なお、記録媒体１０６は、例えば、半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。

二次記憶部１０７は、例えば、ＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。
表示部１０８は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であってもよい。

なお、本実施形態の撮像装置１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０９から設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現してもよい。

図２に、本実施形態における移動体抽出の全体の流れを示し、図３、４、５、および６にそれぞれ移動体除去画像の作成の流れ、移動体の抽出の流れ、移動体シードからの侵攻の流れおよび背景シードからの侵攻の流れを示す。

図２〜図６のフローチャートは、ＣＰＵ１０３が二次記憶部１０７に記録されたプログラムを一次記憶部１０４のワークメモリ領域に展開して実行し、各部を制御することで実現する。
以下に、図１２の例を用いて、動画中の移動体を抽出する本実施形態について説明する。
まず、Ｓ２０１において、ＣＰＵ１０３は、動画の各画素に対して、背景を記録した区間（以下、背景記録区間）を選定することで、移動体を除去した移動体除去画像の作成を行う。

図７のＲＧＢ値の時間変動の例を用いて、ある画素における移動体除去画像を作成するためのフレーム選択の一連の流れを説明する。
Ｓ３０１において、ＣＰＵ１０３は、変数ｉに１を代入し、Ｓ３０２において、ＣＰＵ１０３は変数ｊに１を代入し、次に、Ｓ３０３において、ＣＰＵ１０３は、背景を記録した可能性のある区間（以下、背景記録候補区間）を選定する。背景を記録した場合、単一の色情報を連続的に記録するが、このような区間を求める手順を以下に述べる。

まず初めに、ＣＰＵ１０３は、ＲＧＢ値それぞれに対して、隣接フレーム間の差分を算出し、その絶対値を求める（図８（a））。
次に、ＣＰＵ１０３は、ＲＧＢ値各々の差分絶対値が第１の閾値以下となったフレームが、第２の閾値以上の期間だけ続く区間を求め、当該区間を背景記録候補区間として選定する。図８（b）および図９は、前述の選定方法により選定した背景記録候補区間を示す。なお、第１の閾値および第２の閾値は、それぞれ予めＣＰＵ１０３に記憶しておく。

次に、Ｓ３０４において、ＣＰＵ１０３は、Ｓ３０３において選定された背景記録候補区間から、実際に背景を記録した区間（以下、背景記録区間）の選定を行う。まず、ＣＰＵ１０３は、背景記録候補区間の中央のフレームにおけるＲＧＢ値を、各候補区間の代表値として抽出する。

次に、ＣＰＵ１０３は、前述した代表値の組合せを元にして、最も再現度の高い組合せを持った区間を求め、この区間を背景記録区間として選定する。ある区間sにおける再現度vote(s)は、初期値を０とし、式１を全て満たした場合に１加算することとする。なお、tは注目している区間s以外の区間番号を取ることとする。

|candi(s, R) - candi( t, R) | < thr3
|candi(s, G) - candi( t, G) | < thr3 ・・・式１
|candi(s, B) - candi ( t, B) | < thr3
ここで、candi(s, R)、candi(s, G)およびcandi(s, B)はそれぞれ区間sにおける代表値のＲ、ＧおよびＢを表し、thr3は第３の閾値をそれぞれ表す。
図９の例における各候補区間の再現度は、図１０のようになる。図１０より、図１１に示すように、区間１、３および５が背景記録区間として選定される。

Ｓ３０５において、ＣＰＵ１０３は、注目画素に適用するＲＧＢの画素値を決定する。Ｓ３０４において選定した背景記録区間の中から、ある任意のフレームを選択し、そのフレームにおけるＲＧＢ値を、注目画素における背景情報を記録したとして用いる。

Ｓ３０６において、ＣＰＵ１０３は、変数ｊを１だけインクリメントし、Ｓ３０７において、全列数の処理を行った否かを判定し、処理が終了していない場合にはＳ３０３に戻り、終了していればＳ３０８に進む。
Ｓ３０８において、ＣＰＵ１０３は、変数ｉを１だけインクリメントし、Ｓ３０９において、全行数の処理を行った否かを判定し、処理が終了していない場合にはＳ３０２に戻り、終了していれば移動体除去画像の作成処理を終了する。

背景記録区間の中から、任意のフレームを選ぶ選定方法に関しては、どのような手段であってもよいが、環境光の変化なども考慮して、より中央のフレームを選択することが望ましい。そこで、今回は背景記録区間のうち、時間的に中央に位置する区間に注目し、この区間の中央のフレームにおけるＲＧＢ値を用いることとした。

また、本実施形態において繰り返し同じ色を記録した区間を背景記録区間として選定したが、例えば、より長時間記録した区間を選定した区間や、区間単位での断続的な繰り返し回数を用いずに各区間での記録時間を用いて背景記録区間を選定してもよい。さらに、本実施形態において選定した背景記録区間に対し、中央の区間の中央のフレームを用いることとしたが、動画記録区間のうち、最も中央の時刻のフレームにおけるＲＧＢ値を用いるなど、他の評価基準により、利用するフレームを選定してもよい。さらに、あるフレームにおけるＲＧＢ値の組合せを用いる代わりに、背景記録区間のＲＧＢ値それぞれの最頻値や中央値などを個別に求めて、これを利用してもよい。

Ｓ２０１において、ＣＰＵ１０３は、前述の手順を各画素に対して繰り返し行う（Ｓ３０１からＳ３０９）ことで、移動体除去画像の作成を行う。
前述したように、各画素の特徴量の時間変動から再現度の高い特徴量の組み合わせを持ったフレームを選び出し、そのフレームにおける特徴量の組み合わせから移動体除去画像を生成する。特徴量は、色情報、輝度値、距離情報の少なくとも一つである。

図１２に、だるま落としの前面でヤジロベーが動くような動画における、ある１フレームの画像を示し、図１２の（１）、（２）および（３）それぞれの画素におけるＲＧＢ値の時間変動を図１３（ａ）、１３（ｂ）および１３（ｃ）にそれぞれ示す。

図１３（ａ）より、図１２の（１）の画素は周期的にヤジロベーの棒と背景が交互に記録されているが、背景の色の方がより継続的に記録されているため、この画素においては背景を記録したフレームを正しく選択できる。
次に、図１３（ｂ）より、図１２の（２）の画素は全フレームに渡ってヤジロベーの支点上の物体（以下、支点上物体）を記録している。このように、常に移動体が記録されるような画素に対しては、移動体の除去を行うことはできない。

さらに、図１３（c）より、図１２の（３）の画素は（１）の画素のように、周期的に支点上物体と背景が交互に記録されているが、支点上物体の方がより継続的に記録されている。そのため、この画素においては支点上物体を記録したフレームを誤って選択してしまう。このように、移動体除去画像は最大限移動体を除去したとはいえないが、このような場合であっても移動体を正しく抽出する方法については後述する。

図１４に、図１２の画像を含んだ動画に対して、Ｓ２０１の手順で作成した移動体除去画像を示す。
図１４より、移動体の一部は除去できているが、前記支点上物体など周期運動を行っている箇所の除去は行うことができない。

図２のフローチャートの説明に戻る。
Ｓ２０２において、ＣＰＵ１０３は、変数ｎに１を代入し、Ｓ２０３において、ＣＰＵ１０３は、移動体の抽出処理を行う。移動体抽出処理は、図４のフローチャートで説明する。
Ｓ４０１およびＳ４０２において、ＣＰＵ１０３は、移動体抽出に必要となるシードの作成を行う。ここでは、対象とするフレームの画像を構成する各画素から「移動体シード」又は「背景シード」を作成する。まず、Ｓ４０１では移動体シードを作成する。次に、Ｓ４０２で背景シードを作成する。

Ｓ４０１において、ＣＰＵ１０３は、移動体シードを作成する。移動体シードは、移動体を構成する全画素の一部分又は全体を指す。Ｓ２０１で作成した移動体除去画像と、移動体を抽出したいフレーム（以下、注目フレーム）の画像の差分絶対値が第３の閾値以上となった画素を、移動体シードとして作成する。

次に、Ｓ４０２においてＣＰＵ１０３は、背景シードを作成する。背景シードは、全フレームに渡って背景情報を記録した画素を指す。全フレームに渡って背景情報を記録したかどうかは、注目画素のＲＧＢ値の時間変動の差分の絶対値を求め、算出した差分絶対値が、全フレームに渡って第１の閾値以下となった画素を背景として判定する。
最後に、移動体シードとも背景シードとも判定されなかった画素を、不定とする。

次に、Ｓ４０３およびＳ４０４において、ＣＰＵ１０３は、Ｓ４０１およびＳ４０２において作成した「移動体シード」、「背景シード」および「不定」を利用して移動体の抽出を行う。注目画素と、その周囲の画素との特徴量を比較し、十分似ていた場合に、注目画素をその周囲の画素と同じグループ（ここでは、移動体又は背景）に属させる過程を、以下では「侵攻」と表記する。

まず、Ｓ４０３において、ＣＰＵ１０３は、移動体シードから不定に対する侵攻を行う。移動体シードから不定に対する侵攻を行う、注目画素を移動体に分類する処理手順を、図５のフローチャートに示す。
Ｓ５０１において、ＣＰＵ１０３は、注目する不定画素I_indetと、これに隣接する４近傍の画素のうち、移動体画素I_moveとで式２を満たした場合に、Ｓ５０２において、注目画素を移動体に追加する。ここで、thr4は第４の閾値を表す。
| I_indet(R) - I_move(R) | < thr4
| I_indet(G) - I_move (G) | < thr4 ・・・式２
| I_indet(B) - I_move (B) | < thr4

Ｓ５０３において、ＣＰＵ１０３は、移動体画素と隣接した全ての不定画素に対して、Ｓ５０２で移動体に追加されたか否かの判定を行う。移動体画素と隣接した全ての不定画素が移動体に追加されなくなるまで、ＣＰＵ１０３は、Ｓ５０１からＳ５０３を繰り返し行う。

図１５（ａ）、（ｂ）及び（ｃ）に、移動体シードから不定画素への侵攻の過程の例を示す。
図１５より、正しくは背景であるにも関わらず移動体シードに含まれた画素があることにより、背景の一部分が移動体として誤判定されている。また、移動体の色と似ていない色を持った領域に対しては侵攻できず、不定のままとなっている。
ここで、Ｓ５０４において、ＣＰＵ１０３は、移動体シードからの侵攻を終えた時点で不定となっていた画素は、移動体ではないと判断し、前述の不定画素を背景シードに加える。

前述した理由により、図１５（ｃ）のように、正しくは背景であるにも関わらず、移動体と判定される画素が存在することがある。これらの画素を正しく背景と判別するために、Ｓ４０４において、ＣＰＵ１０３は、背景シードから移動体への侵攻を行う。

背景シードから移動体への侵攻を行う処理手順を、図６のフローチャートに示す。
Ｓ６０１において、ＣＰＵ１０３は、注目する移動体画素I_moveと、これに隣接する４近傍の画素のうち、背景画素I_backとで式３を満たした場合に、Ｓ６０２において、注目画素を背景に追加する。ここで、thr5は第５の閾値を表す。なお、thr4とthr5は同じ値としてもよいが、thr5をthr4よりも小さい値として設定してもよい。これは、注目フレームの画像をリサイズするなどして、移動体のエッジ部がぼやけるような場合に背景からの侵攻時に曖昧なエッジを介して移動体に対して誤って侵攻をしてしまうことを避けるためである。
| I_move(R) - I_back(R) | < thr5
| I_move(G) - I_back (G) | < thr5 ・・・式３
| I_move(B) - I_back (B) | < thr5

Ｓ６０３において、ＣＰＵ１０３は、背景画素と隣接した全ての移動体画素に対して、Ｓ６０２で背景に追加されたか否かの判定を行う。背景画素と隣接した全ての移動体画素が背景に追加されなくなるまで、ＣＰＵ１０３は、Ｓ６０１からＳ６０３を繰り返し行う。
図１６（ａ）、（ｂ）に、背景シードから移動体画素への侵攻の過程を示す。さらに、図１６（ｃ）は、背景シードからの侵攻を終えた図、すなわち、移動体を抽出し終えた状態を示す。

Ｓ２０４において、ＣＰＵ１０３は、ｎを１だけインクリメントし、Ｓ２０５において、全フレームの処理を行ったか否かを判定し、処理が終了していない場合はＳ２０３に戻り、次のフレーム処理を行う。処理が終了していればＳ２０６に進む。
以上の手順（Ｓ２０３からＳ２０５）を入力動画の全フレームに対して繰り返し処理を行う。これにより、移動体の写っていない画像を撮影していない場合や、固有の色域を持った静止物の前を移動体が横断する場合でも移動体を抽出することができる。

さらに、Ｓ２０６において、ＣＰＵ１０３は、ある１枚の静止画（以下、代表静止画像）を作成する。ＣＰＵ１０３は、代表静止画像に本実施形態で抽出した移動体を合成することで、シネマグラフを作成することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００撮像装置
１０１光学系
１０２撮像素子
１０３ＣＰＵ
１０４一次記憶部
１０５画像処理部
１０６記録媒体
１０７二次記憶部
１０８表示部
１０９操作部

Claims

動画中の移動体を抽出する画像処理装置であって、
移動体の写っていない移動体除去画像を生成する生成手段と、
前記移動体除去画像と動画の各フレームにおける画像との差分を用いて移動体の一部である移動体シードを抽出する抽出手段と、
前記抽出手段により抽出した移動体シードと、隣接した注目画素の特徴量を比較することで注目画素を移動体に分類し、さらに分類を終えた時点で移動体ではないと分類された画素を背景と分類する分類手段とを備え、
前記抽出手段は、前記分類手段による分類に基づいて動画から移動体を抽出することを特徴とする画像処理装置。
前記生成手段は、動画のある区間のフレームの各画素において、特徴量の組合せの変動が閾値以下となるフレームが断続的に続いた回数を元にして再現度の高い組合せを持った区間を求め、前記再現度の高い区間から１つのフレームを選び出し、そのフレームにおける画素値を各画素に適用することで移動体除去画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記特徴量は、色情報、輝度値、距離情報の少なくとも一つであることを特徴とする請求項１または２に記載の画像処理装置。
前記分類手段は、移動体からの侵攻を終えた時点で移動体ではない画素を背景と分類し、さらに、背景から移動体への侵攻を行うことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
前記侵攻とは、注目画素を移動体または背景に分類することであることを特徴とする請求項４に記載の画像処理装置。
各フレームの画像において抽出した移動体を、静止画に合成する合成手段をさらに備え、
前記合成手段は、シネマグラフを作成することを特徴とする請求項１に記載の画像処理装置。
動画中の移動体を抽出する画像処理装置の制御方法であって、
移動体の写っていない移動体除去画像を生成する生成工程と、
前記移動体除去画像と動画の各フレームにおける画像との差分を用いて移動体の一部である移動体シードを抽出する抽出工程と、
前記抽出工程において抽出した移動体シードと、隣接した注目画素の特徴量を比較することで注目画素を移動体に分類し、さらに分類を終えた時点で移動体ではないと分類された画素を背景と分類する分類工程とを備え、
前記抽出工程は、前記分類工程における分類に基づいて動画から移動体を抽出することを特徴とする画像処理装置の制御方法。