JP2018045693A - 動画像背景除去方法及び動画像背景除去システム - Google Patents

Abstract

【課題】動画像背景除去方法及び動画像背景除去システムを提供する。
【解決手段】１つの動的映像におけるある動画像オブジェクトを映像から取り出すことを目的とする動画像背景除去方法及び動画像背景除去システムを提供する。先ず映像から複数のフレーム画像を取得して画像処理した後、各フレームの画像特徴を識別し、画像を色彩領域として処理した後、各色彩領域における各画素値の前後のフレームにおける変化量を比較し、各色彩領域の変化量を形成し、前後のフレームの各色彩領域の変化量に基づいて同様に動画像の目標物体を決定すると共に、目標物体の輪郭を取得し、目標物体以外の色彩領域を透明領域として設定した後、背景を除去した目標物体を生成する。
【選択図】図６

Description

本発明は、画像処理方法である動画像背景除去方法及び動画像背景除去システムに関し、特に動画像を前景及び後景に分離させるように処理する動画像背景除去方法及び動画像背景除去システムに関する。

画像背景除去（背景消去）機能は、その多くが静止画像を対象としたものである。画像背景除去（背景消去）機能を有するツールとしては、例えば画像処理ソフトウェアにおけるマジックワンド機能がある。画像処理ソフトウェアにおけるマジックワンド機能は、ユーザがマジックワンドを操作して透明にしようとする色領域をクリックし、次いでソフトウェアプログラムによってこの色領域を除去するステップを有する。必要に応じて、透明にしようとする色領域を数回クリックした後、この静止画像における目標物体以外の領域を透明な画像にすることで、背景除去の目的を達成することができる。別のツールとしてはベジェ曲線（ｐａｔｈ）を用いたものがある。ベジェ曲線を用いたツールは、ユーザがマウス又はペン型ツールを操作して、背景を除去しようとする画像の縁に、ベジェ曲線を用いて所定の距離毎に画像の輪郭を描画し、最後に輪郭以外の領域を削除することによって、同じく背景除去の目的を達成することができるものである。

動画像の背景を除去しようとする場合、従来技術においては、１つの背景を必要に応じて変化させることのできる動的物体を撮影する必要があるとき、先ず映画のようにグリーンスクリーン又はその他の単色スクリーンの前で、ある移動中の物体を撮影する方式を考慮する。このグリーンスクリーンの前での撮影が完了した後、後続のプロセスにおいてこの移動物体の個別の映像を取得することができ、簡単に、この移動物体の背景画像を加える、又は、この移動物体をその他の背景画像に重ね合わせることができる。

しかしながら、若しグリーンスクリーンの前で撮影された動画像からではなく、１つの既に完成された映像の中からそのうちの１つの移動中の物体を取り出そうとする場合は、従来技術においては、映像処理のソフトウェアによって、画像（例えば毎秒３０フレーム）をフレーム（ｆｒａｍｅ）毎の静止画像として取り込んで、各フレーム画像に対して個別に背景除去の処理を実行し、目標物体を残した後、背景除去処理を行った各フレーム画像を再度組み合わせることで、１つの背景画像がなく選択した物体のみが残る映像を形成しなければならなかった。

従来技術では後続のプロセスにおいて映像の中のある目標物体以外の画像を除去しなければならない煩雑な過程を経る必要があることに鑑み、本発明は、主として画像処理によって、画像を色彩領域として処理し、色彩領域の変化に基づいて動的映像における各フレーム画像の前景及び後景を分離させることで、動画像の背景除去の目的を達成することが可能な、動画像背景除去方法及び動画像背景除去システムを提供することを課題とする。

本発明に係る動画像背景除去方法は、記憶装置から映像を取得する工程と、映像から複数のフレーム画像を取り出し、各フレーム画像をコンピュータシステムのメモリに一時保存する工程と、各フレームの画像特徴を分析し、各フレームにおける隣接する画素の関係を取得する工程と、各フレーム画像における画像特徴に基づいて各フレーム画像を識別データがそれぞれ設けられる複数の色彩領域に区分けし、各色彩領域を所属の色彩領域にそれぞれ関連する識別データを有する複数の画素値が記憶されるメモリに記憶する工程と、各色彩領域における各画素値の前後のフレームにおける変化量を比較して、各色彩領域の変化量を形成する工程と、前後のフレームの各色彩領域の変化量に基づいて目標物体を決定し、目標物体に含まれる１つの色彩領域又は隣接する複数の色彩領域を取得し、各フレームにおける目標物体に含まれる１つの又は複数の色彩領域の識別データを併せてメモリに記憶する工程と、目標物体以外の色彩領域を透明領域として設定する工程と、を含む。

本発明に係る動画像背景除去システムは、主として、１つの又は複数の処理ユニットと、映像を取得する入力ユニットと、背景を除去した後の動画像を出力する出力ユニットと、プログラムを記憶するメモリユニットと、を含む。

メモリユニットは、動画像背景除去方法を実行するプログラムを記憶する。１つの又は複数の処理ユニットよってプログラムに以下のステップを実行させる。即ち、プログラムに、映像から複数のフレーム画像を取り出す工程と、各フレームの画像特徴を分析し、各フレームにおける隣接する画素の関係を取得する工程と、各フレーム画像における画像特徴に基づいて各フレーム画像を複数の色彩領域に区分けする工程と、各色彩領域における各画素値の前後のフレームにおける変化量を比較して、各色彩領域の変化量を形成する工程と、前後のフレームにおける各色彩領域の変化量に基づいて目標物体を決定すると共に、目標物体に含まれる色彩領域を取得する工程と、目標物体以外の色彩領域を透明領域として設定して、背景が除去された動画像を形成する工程と、を実行させる。

本発明に係るコンピュータ読み取り可能な記憶装置は、プログラムを記憶する。１つの又は複数のプロセッサによってプログラムに以下のステップを実行させる。即ち、プログラムに、映像を取得する工程と、映像から複数のフレーム画像を取り出す工程と、各フレームの画像特徴を分析し、各フレームにおける隣接する画素の関係を取得する工程と、各フレーム画像における画像特徴に基づいて各フレーム画像を複数の色彩領域に区分けし、各色彩領域を所属の色彩領域にそれぞれ関連する識別データを有する複数の画素値が記憶されるメモリに記憶する工程と、各色彩領域における各画素値の前後のフレームにおける変化量を比較して、各色彩領域の変化量を形成する工程と、前後のフレームにおける各色彩領域の変化量に基づいて目標物体を決定すると共に、目標物体の輪郭又は目標物体に含まれる色彩領域を取得する工程と、目標物体以外の色彩領域を透明領域として設定する工程と、を実行させる。

本発明に係る動画像背景除去方法は、コンピュータシステムに適用され、回路及び／又はソフトウェアモジュールを介して、映像から動的目標物体を取り込み、背景を除去した動画像を生成することを実現する。背景を除去する方式の１つとしては、映像における各フレームの画像の細部を処理した後、色彩領域を形成し、色彩領域の、前後のフレームにおける変化に基づいて、その中の目標物体を判断する。例えば、前後のフレームを比較した後の動的状態が相対的に大きい色彩領域の組み合わせが、システムが取り込もうとする目標物体となる。これにより、一般的な静止画像の背景除去技術とは異なり、更には従来技術において採用される、予めグリーンスクリーンを利用した上で、後続のプロセスにおいて処理することで個別の動画像を得る方式とは異なり、本発明に係る動画像背景除去方法は、背景を除去した動画像をより素早く生成することができ、一般的なコンピュータシステムでの利用にも適している。

動的物体が落下する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 動的物体が落下する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 動的物体が落下する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 他の動的物体が移動する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 他の動的物体が移動する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 他の動的物体が移動する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 他の動的物体が移動する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 他の動的物体が移動する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。 本発明に係る動画像背景除去方法を用いて領域を区別する実施例を示す図である。 本発明に係る動画像背景除去方法を用いて色彩領域間の小領域を処理する実施例を示す図である。 本発明に係る動画像背景除去システムの回路ブロックの実施例を示す図である。 本発明に係る動画像背景除去方法の実施例を示すフロー（１）である。 本発明に係る動画像背景除去方法の実施例を示すフロー（２）である。 ソフトウェアプログラムを利用して目標物体の色彩領域を増減する実施例を示す図である。 ソフトウェアプログラムを利用して目標物体の色彩領域を増減する実施例を示す図である。 本発明に係る動画像背景除去方法の実施例を示すフロー（３）である。

本発明が所定の目的を達成するために採用した技術、方法及び効果を更に理解することができるように、以下、図面を用いながら本発明を詳しく説明する。当業者は、本明細書及び図面の内容に基づいて、本発明の目的、特徴を具体的に理解することができる。但し、図面は、説明の便宜上、参考のために用いるものに過ぎず、本発明を制限するものではない。

本発明に係る動画像背景除去方法及び動画像背景除去システムは、動的映像における主要な目標物体及び背景を判断することができ、前景及び後景を分離させることができる。本発明の主な目的は、既にビデオ製作が完了している動画像における特定の目標動画像を、背景を除去した上で単独で取り出して、１つの背景が透明な動画像にすることができることによって、この動画像を他の背景に重ね合わせることができるようにすることにある。

特に、本発明に係る動画像背景除去方法は、一連の自動プロセスによって動画像の背景を除去する効果を達成するものであり、各色彩領域の前後のフレームにおける変化を考慮するものである。映像形成時の状況を考慮しているため、特定の状況下において、変化量の大きいものを取り出そうとする目標物体として設定してもよいし、変化量の小さいものを目標物体として設定してもよい。更に、本発明に係る動画像背景除去方法はモバイル機器に適用され、更に前景及び後景双方の変動を考慮するものであるためモバイル機器によって撮影された映像に適用される。

先ず、図１Ａ乃至図１Ｃの状況参考図を用いて説明する。これらの図面は、動的物体が落下する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。

図１Ａに示すように、映像１０は動画像であり、移動中の物体１０１は、落下するボールであり、背景はレンガ壁である。レンガ壁の主な画像は複数のブロック形状のレンガ１０３及び隣接するレンガ１０３同士の間の長尺状の間隙１０５である。

図１Ｂは、映像１０における時間が進んだ状態の物体１０１'を示す。この物体１０１'は図１Ａの物体１０１に対して既に一定距離移動したボールであり、背景は依然として複数のレンガ１０３及び隣接するレンガ１０３同士の間の間隙１０５から成るレンガ壁である。

次いで、図１Ｃは、背景除去処理を行った映像１０'を示す。本発明に係る動画像背景除去方法の画像処理ステップを経た後、上述したレンガ壁等の背景画像を除去し、落下中の目標物体１０１"を残すことができる。その背景は類似性が高いため、間隙１０５はノイズとして処理し、無視できる。主なレンガ１０３は、全体として１つの色彩領域を構成する画像と捉え、例えば透明画像１０７又はその他の除去しやすい単色画像として処理する。目標物体１０１"は１つの動的状態の画像であり、如何なる背景画像にも適用することができるため、従来のグリーンスクリーンによって背景が除去された映像を製作するのと似た目的を達成することができる。但し、異なる点は、本発明に係る動画像背景除去方法は、ビデオ製作が完了している映像から動的目標物体を直接取り出す技術であり、その画像を色彩領域として処理することと目標物体の輪郭を探す手段とが従来技術とは異なる。

図２Ａ乃至図２Ｄは、他の動的物体が移動する映像について、本発明に係る動画像背景除去方法によって背景の除去が完了する状況を示す図である。

図２Ａは、映像２０における移動中の物体２０１を示す。この物体２０１はランニング中の人間であり、背景２０３は風景である。この映像２０を製作した際に、カメラが物体２０１を追うように移動して撮影が行われた。従って、背景２０３自体も１つの移動中の画像である。

図２Ｂに示すように、本発明に係る動画像背景除去方法において映像２０を処理する際には、先ず映像２０から複数のフレーム（ｆｒａｍｅ）を取り出して、各フレームの画素情報を取得した後、画素の情報及び隣接する画素の関係に基づいて、色彩領域によって処理する。その際、細部は無視してもよく、各フレームの画像を比較的面積の大きな色彩領域、例えば図に示す色彩領域２１１（２１１ａ、２１１ｂ、２１１ｃ）、２１２、２１３、２１４、２１５及び２１６として処理する。

例えば、図２Ａは、背景が山、太陽、家を含む１つの図案であり、前景がランニング中の人間であることを示す。動画像背景除去ステップを経た後、図２Ｂに示す細部が無視された色彩領域２１１（２１１ａ、２１１ｂ、２１１ｃ）、２１２、２１３、２１４、２１５及び２１６を形成することができる。各色彩領域の形成は、その画素が形成する画像特徴と関連している。これにより、色彩領域の画像変化に基づいて、目標物体（例えば色彩領域２１１）の輪郭又は目標物体に含まれる色彩領域を得ることができる。

図２Ｃに示すように、色彩領域を処理するステップは、更に映像２０における前後のフレームの画像変化に関する。映像２０における移動中の各色彩領域２１１（２１１ａ、２１１ｂ、２１１ｃ）、２１２、２１３、２１４、２１５及び２１６は、前後のフレームにおいて１つの変位を形成する（二点鎖線で変位量を表示）。これは色彩領域の変化量を計算する際の参考となる。ユーザがモバイル機器を手で持ってオリジナルの映像を撮影した場合、手振れの問題が生じるため、前後のフレーム画像における前景又は背景が移動する問題がある。しかしながら、本発明の背景除去のメカニズムにおいては、色彩領域の変化（画像変位）を考慮する際に、この全体的な変位も同時に考慮するため、手振れによって背景除去の効果に影響が生じることはない。

各色彩領域における各画素値の前後のフレーム（前のフレームと後のフレーム）の変化量を比較することによって、各色彩領域の前後のフレームにおける変化量を算出することができる。例えば、各色彩領域における全体的な画素値変化の平均値（又はその他の統計値）を計算し、隣接する色彩領域が１つの閾値範囲（状況の相違によって変動する）内の変化量を有する時、同一の色彩領域と見做すことができる。例えば、本実施例において、隣接する色彩領域２１１ａ、２１１ｂ及び２１１ｃが３つの色彩領域であると初歩的に判断されても、変化量を分析した結果、１つの色彩領域２１１と見做すことができる。

図２Ｄの背景除去処理を行った映像２０'に示すように、色彩領域２１２、２１３、２１４、２１５及び２１６は、動的状態（変化量）が低いため、相対的に安定した背景２１７と見做すことができる。色彩領域２１１は、他の色彩領域２１２、２１３、２１４、２１５及び２１６に対して動的状態（変化量）が大きい１つの色彩領域であり、取り込もうとする目標物体２１１'となる。この目標物体が占める位置を確定した後、以上のステップを繰り返すことで、最初の映像２０の中から取得された各フレームにおける目標物体２１１'を得ることができることによって、連続画像における目標物体２１１'の輪郭又は目標物体２１１'に含まれる色彩領域を得ることができるため、動的状態の目標物体２１１'を背景２１７から分離させることができる。目標物体２１１'に含まれる色彩領域は１つの全体的な領域を形成し、この領域に含まれる範囲を元の映像２０に適用することで、他の背景画像に重ね合わせることができる、背景を除去した動画像が得られる。

映像における目標物体２１１'を取得する際に、動画像背景除去システムは、図２Ｅに示す本発明に係る動画像背景除去方法を実現するソフトウェアプログラムによって提供される、ユーザに後続の操作を実行させるためのユーザインターフェースを提供する。ユーザインターフェース、例えばモバイル機器のタッチディスプレイ又は特定の装置によって提供される操作インターフェースにより、ユーザは、動画像背景除去システムにおいて背景を除去した目標物体２１１'を得た後、更にタッチジェスチャー又は特定の操作方式（例えばエアジェスチャー、ａｉｒ ｇｅｓｔｕｒｅ）を利用してユーザインターフェース上で回復した背景の色彩領域２１２'を選択することができ、既に目標物体２１１'であると判断したその色彩領域を削除することもできる。図８Ａ及び図８Ｂに示すように、一例として、前記ユーザインターフェースに、以上のプロセスにおいて背景の一部分と見做された背景の色彩領域２１２'が再度選択された後に、残されたオブジェクトとなることが表示されている。

図３は、本発明に係る動画像背景除去方法を用いて領域を区別する実施例を示す図である。図３は、１つの映像中の各フレーム画像のある領域を示し、この領域は、アレイ状の画素３０１から成る。

１つの実施例において、動画像背景除去方法によって、映像中の各フレームの画像を取得する場合、各フレームの画像特徴を分析して取得する。画像特徴とは、各フレーム画像における画素の類似性分布をいう。１枚の画像において隣接する画素は、一定の類似性を有する。この類似性が所定の範囲内であれば、同一の色彩領域と見做すことができ、隣接する画素が大きな差異を有する場合は、色彩領域同士の境界線を区分けすることができる。

図３に示すように、隣接する画素値の差異が設定した範囲内にある場合は、一定の類似性を有しており、同一の色彩領域と見做すことができる。反対に、隣接する画素値の差異が設定した範囲の類似性を超えている場合は、同一の色彩領域ではないから、各色彩領域を区分けすることができる。図３に示すように、色彩領域３１、３２及び３３の間には色彩領域の境界線３１１及び３１２を描画することができる。上述した例を参考にすると、これら境界線３１１及び３１２に前後のフレームの色彩領域の変化量を合わせて計算することで目標物体の輪郭又はそれに含まれる色彩領域を判断することができる。

１つの画像に色彩領域３１、３２及び３３が構成される場合、動画像背景除去システムのメモリ（例えばモバイル機器のメモリ）において各色彩領域にそれぞれ１つの識別データ（例えば色彩領域ＩＤ）を付与して記憶できる場合は、色彩領域内の各画素の画素値に所属の色彩領域に関連する識別データが記憶されることによって、動画像背景除去システムが各フレームの色彩領域を取得する際に、前後のフレームの画素が識別データによって測位され、前後のフレーム画素の差異を計算することができる。

次いで、図４は、本発明に係る動画像背景除去方法を用いて色彩領域間の小領域を処理する実施例を示す図である。

図４において、１つの映像中の各フレーム画像について画像特徴を分析することで判断された色彩領域４１、４２、４３、４４、４５、４６、４０１、４０２、４０３、４０４を示す。各フレーム画像を分析することで各フレームにおける隣接する画素の関係、例えば画素の間の色関係を取得し、元の各フレーム画像を特定の色空間に変換することができる。１つの実施例において、複数のフレーム画像を色相−彩度−輝度（ＨＳＬ、Hue-Saturation-Luminosity/Lightness）の色空間に変換し、隣接する画素の間の色相値（Ｈ値）を取得する。隣接する画素の間の関係は、更に彩度（Ｓ値、色純度）及び輝度（Ｌ値）の関係、又は他の色相−彩度−明度（ＨＳＶ、Hue-Saturation-Value）の色空間の関係である。これらの関係が各フレームの画像特徴を形成している。そこで、動画像背景除去システムにおいて作動する回路及び／又はソフトウェアモジュールは、各フレーム画像における画像特徴に基づいて、画素値が近い（図７の第１の閾値を参照）画素を１つの色彩領域に分類することができる。これにより、各フレーム画像を複数の色彩領域に区分けすることができる。各色彩領域は複数の画素値を含む。各画素値には更に所属の色彩領域に関連する識別データが記憶される。

図４に示すように、例えば色彩領域４１、４２、４３、４４、４５、４６である大色彩領域と、例えば色彩領域４０１、４０２、４０３、４０４である、大色彩領域の間の小色彩領域が存在する。動画像背景除去システムの実施例に基づいて、大小色彩領域の間には割合閾値（図７の第２の閾値を参照）が設けられてもよい。例えば、各フレームにおいて色彩領域を区分けする場合、動画像背景除去システムは隣接する各色彩領域が占める面積の差異を計算することができ、差異が所定の割合閾値又はある面積の閾値より大きいとき（図７の第２の閾値を参照）、即ち大色彩領域の間の小色彩領域の隣接する大色彩領域に対する面積又は相対的な割合が相対的に小さいとき、これら小色彩領域は無視できるノイズと見做すことができる。

その後、動画像背景除去システムにおけるメモリユニットがこれら小色彩領域の識別データ（色彩領域ＩＤ）を記録して、演算時にこの色彩領域を無視することができるか、又は、直接小色彩領域を大色彩領域に加えることができる。この処理を行った後、図１Ａに示すように、小細部が、大色彩領域に加えられ、又は無視されることで、全体の背景が１つの背景と見做されることから、背景を除去する目的をより達成しやすい。

図４に示すように、色彩領域４１、４２、４３、４４、４５、４６が同様に１つの色系統、彩度及び／又は輝度の色彩領域に属し、更にそれらの間の色彩領域４０１、４０２、４０３、４０４を無視する場合、全面の背景が１つの背景画像と見做される。

次いで、図５は、本発明に係る動画像背景除去方法を実現する動画像背景除去システムの回路ブロックの実施例を示す図である。動画像背景除去システムは、コンピュータシステムにおいて作動するハードウェア又はそれにソフトウェア機能が加えられたものであってよく、携帯式装置であってもよい。動画像背景除去システムは、撮影された映像の背景を除去して重要な動画像（目標物体）を残すことが随時可能であり、背景を除去した後の画像を他の用途に用いることができ、例えば他の背景画像に貼り付けることができる。

本実施例において、記憶装置５１は、例えば上述したコンピュータシステムにおける記憶装置、メモリ又は外部ストレージであり、撮影が完了した動画像を記憶する。当該動画像はコンピュータシステム５０によって取得され、その演算回路によって、又はソフトウェアモジュールとの組み合わせによって、動画像背景除去方法を実行することで、背景を除去した動画像を出力することができる。

コンピュータシステム５０において、背景除去プロセスを実現する主要な回路は、互いに電気的に接続されたメモリユニット５０１、１つの又は複数の処理ユニット５０３、入力ユニット５０５及び出力ユニット５０７等を含む。コンピュータシステム５０において、入力ユニット５０５が記憶装置５１から映像を取得した後、処理ユニット５０３が映像から各フレーム画像を取り出すことを含む処理を行い、画像ファイルを先にメモリユニット５０１に一時保存すると共に、画像ファイルを分析して画像特徴を得た後、領域を決定することができる。各領域は、識別データを付与された後、メモリユニット５０１に記憶される。メモリユニット５０１には、各領域における画素値が更に記憶される。次いでメモリユニット５０１に一時保存された画像情報を利用して、処理ユニット５０３が領域の前後のフレームの変化に基づいて判断して映像中の目標物体を得て、出力ユニット５０７を介して出力することができる。

出力された目標物体は、特定の記憶装置に記憶することができるだけでなく、画像オブジェクトデータベース５２に出力することもできる。動画像背景除去システムによって処理されて背景が除去された１つの又は複数の動画像ファイルを記憶することで、参考にして使用できるように他のユーザに提供することが可能なライブラリが構成される。本発明に係る動画像背景除去方法によって処理済みであるため、各動画像は背景による干渉がないことから、更に多くの応用に供することができる。

１つの実施例において、メモリユニット５０１は、１つの又は複数の処理ユニット５０３と電気的に接続されることができる。メモリユニット５０１は、動画像背景除去方法を実行するプログラムを記憶するのに用いられる。１つの又は複数の処理ユニット５０３によってプログラムを実行することで、プログラムに図６及び図７の実施例の動画像背景除去方法のフローを実行させることができる。

図６は、本発明に係る動画像背景除去方法の実施例を示すフローである。当該動画像背景除去方法はコンピュータシステムにおいて実行される。この動画像背景除去方法のフローの説明については図１Ａ乃至図１Ｃ、及び図２Ａ乃至図２Ｄの背景除去を示す図を参考にすることができる。

最初に、ステップＳ６０１において、本発明に係る動画像背景除去方法を実行するコンピュータシステムが、ある記憶装置から映像を取得する。一般的に各映像は毎秒複数のフレーム画像から成る。ステップＳ６０３において、画像処理手段を介して、複数のフレーム画像を取り出すことができる。先ず複数のフレーム画像をコンピュータシステムのメモリに一時保存すると共に、次いで各フレーム画像の特徴を分析する（ステップＳ６０５）。その目的は、各フレーム画像における画素を分類し、画像特徴に基づいて画像を、処理しやすく且つ効果的に目標物体を含む範囲を得ることができるいくつかの大領域に区分けすることにある。

各フレームの画像特徴を分析する主な目的は、各フレームにおける隣接する画素の関係を取得することにある。隣接する画素の関係は上述した実施例で述べた通りであり、目的に基づいて画像を特定の色空間に変換することができる。例えば、元々画像が赤−緑−青（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）空間である場合、色相−彩度−輝度（ＨＳＬ）の色空間に選択的に変換することができる。しかしながら、本発明は特定の色空間に限定されない。前記隣接する画素値の画像特徴は、例えば色相関係、彩度関係及び輝度（グレイレベル）、又は色相、彩度及び明度の関係等であり、これらの関係によって各フレームの画像特徴が形成される。

次いで、ステップＳ６０７において、動画像背景除去システムは、画像特徴に基づいて画素値が近いものを１つの色彩領域に分類することで、各フレーム画像を複数の色彩領域に区分けすることができる。各色彩領域には例えばＩＤである識別データが設けられる。識別データはメモリに記録される。各色彩領域は複数の画素値を含む。各画素値は更にメモリに記憶される。各画素値には、所属の色彩領域に関連する識別データが記憶される。即ちメモリには各色彩領域の識別データ及びこの識別データに関連する画素データが記憶される。更にステップＳ６０９において、動画像背景除去システムは、各色彩領域における各画素の前後のフレームにおける変化量を比較する。即ち、動画像背景除去システムは、少なくとも前後の２つのフレーム、又はマルチフレーム、又は選択された一定数の連続するフレームの画素の変化を比較する。各色彩領域の複数の画素の前後のフレームにおける変化量からは統計値を演算することができ、各色彩領域の変化量が示される。そのため、ステップＳ６１１において、前後のフレームの各色彩領域の変化量に基づいて目標物体を決定することができる。また、当該目標物体に含まれる１つの色彩領域又は隣接する複数の色彩領域を取得すると共に、目標物体の輪郭を取得することができる。各フレームにおける目標物体に含まれる１つの又は複数の色彩領域の識別データは、前記メモリに合わせて記憶される。

後続のステップにおいては、この目標物体以外の色彩領域を透明領域として設定するか、又はこの目標物体以外の色彩領域を所定の数値に設定することもできる。例えば、目標物体以外の色彩領域値を０に設定するか、又は目標物体以外の色彩領域を除去に係る所定値に設定し、この背景除去処理を行った動画像を生成すると共に記憶する。ここでいう透明領域とは、特定のソフトウェアプログラムが除去可能と認定した背景領域であり、背景を除去した動画像をこのソフトウェアプログラムにおいて他の静的又は動的状態の背景と結合することができる。このソフトウェアプログラムは上述したプロセスによって０又は特定の固定値に設定された背景画像を識別することができることによって、対応画像を除去することができる。

上述したステップにおいて、前後のフレーム画像における色彩領域を決定する場合、閾値を利用して同一の色彩領域に属する画素を決定することができる。更に閾値を用いて、無視できる小色彩領域をフィルタリングでふるい落とすことができる。また、各色彩領域の変化を判断する場合も、閾値を補助的に用いることができ、色彩領域の相対的な変化量に基づいて、前景及び後景に属する色彩領域を同時に判断することができる。前景に属する色彩領域は、目標物体の色彩領域と見做すことができ、その後、元の画像に適用することで、背景を除去した画像をスムーズに生成することができる。

図７は実施例を示す動画像背景除去方法のフローである。

ステップＳ７０１において、映像として組み合わされる各フレーム画像を取り出しそれぞれ動画像背景除去システムのメモリに一時保存し、次いで各フレーム画像における隣接する画素の画像差を計算する。画像差は、例えば画素値の間のある単色値の差、色相の差、彩度の差、又は、明度若しくは輝度の差、又はこれら差値の全部又は一部の組み合わせによって形成された総合的な差である。次いで、ステップＳ７０３において、隣接する画素の差値を第１の閾値と比較する。これについては、差値の範囲を設け、差異がこの範囲の閾値内にある画素は、差異が相対的に小さいことを示し、同一の色彩領域に分類することができる。これにより、各フレーム画像における色彩領域を決定することができる。第１の閾値は異なる画像に基づいて調整することができることによって、動画像背景除去システムは、目標物体を適切に取り出す色彩領域を正確に得ることができる。

しかしながら、画像を色彩領域に区分けした後、画像の複雑度が高ければ高いほど相対的に複雑な色彩領域を生成する可能性があり、画像処理の複雑度を高める可能性もある。従って、ステップＳ７０５において、色彩領域が得られた後、隣接する色彩領域の面積の差、又は隣接する色彩領域の面積の割合を計算することができる。ステップＳ７０７において、第２の閾値と比較する。この第２の閾値によって、隣接する色彩領域の面積の差又は割合が大きすぎるか否かを検出することができる。相対的に小さい色彩領域と相対的に大きい色彩領域との差が第２の閾値より大きい場合は、相対的に小さい色彩領域を無視できるノイズであると決定し、その画素を表示した後は計算対象としないか、又は隣接する色彩領域と合併することができる。このステップの後、各フレーム画像を数の少ない大色彩領域に区分けすることができる。

次いで、１つの動画像において連続するフレームの画像にも一定の変化があるはずである。ステップＳ７０９において、動画像背景除去システムは、各色彩領域の前後のフレームにおける画素値の変化量の統計値を計算する。例えば、色彩領域の変化量は、各色彩領域における複数の画素値の前後のフレームにおける変化量を計算した平均値を各色彩領域の変化量としたものである。ステップＳ７１１において、この変化量を分析することで、動的状態の大きい色彩領域及び動的状態の小さい色彩領域を得ることができる。

ステップＳ７１３において、色彩領域の変化量、又は動的状態を、第３の閾値と比較することで目標物体を決定することができる。各色彩領域の変化量が第３の閾値と比較した際に大きい１つの又は隣接する複数の色彩領域を目標物体と設定するが、特定状況下において、色彩領域の変化量が第３の閾値に比べて小さいものを目標物体と設定することを排除しない。又は、１つの範囲の閾値を設け、隣接する色彩領域の前後のフレーム（２つの以上のフレーム）における変化量が互いにこの範囲の閾値内にある場合、１つの大領域の物体と設定することができ、他の色彩領域と比較した後、第３の閾値より更に大きかったとき、目標物体を得ることができる。１つの実施例において、第３の閾値は距離の閾値であり、前後のフレームにおける各色彩領域の変化量について前後のフレームにおける同一の色彩領域の変位距離を計算した後、この距離の閾値と比較することで、目標物体を判断することができる。

例えば、図１Ａ乃至図１Ｃに示すように、物体（１０１、１０１'、１０１"）は背景画像（レンガ１０３）に対して動的状態が大きい画像オブジェクトであり、背景に属する色彩領域は動的状態が似ている色彩領域である。ステップＳ７１３において第３の閾値と比較することで動的状態が相対的に大きい１つの又は複数の色彩領域を決定することができる。従って、図１Ａ乃至図１Ｃにおいて、動的状態が相対的に大きい色彩領域が、システムが取得しようとする目標物体となる。

図２Ａ乃至図２Ｄに示すように、映像（２０）は前景（物体２０１）及び背景（２０３）を含む動画像である。前景に属する色彩領域（２０１ａ、２０１ｂ、２０１ｃ）は、この動的映像においては動的状態が相対的に大きい物体であり、合併することで目標物体の輪郭又は目標物体に含まれる色彩領域を得ることができる。背景に属する色彩領域（２１２、２１３、２１４、２１５、２１６）は、似ている動的状態を有する可能性がある。従って、消去すべき背景画像及び取り出そうとする目標物体を比較によって決定することができる。

各映像のビデオ製作の方式が異なるため、特定のカメラ運動において、目標物体が相対的に小さい動的状態を有し、背景が相対的に大きいものの動的状態が似ている画像を生成することも可能であり、同様に第３の閾値によって目標物体に属する１つの又は複数の色彩領域を決定して得ることができる。

更に、映像を本発明に係る動画像背景除去方法のフローによって処理することで、目標物体をスムーズに得ることができるが、映像が複雑度が高く複数の物体を有する動画像である場合、上述した動画像背景除去方法のフローでは、ユーザがコンピュータシステムの入力手段（例えばタッチディスプレイ、マウス、キーボード、タッチペン等）を介してどの物体が背景の除去処理を行おうとする画像であるかを決定して、それ以外のこの目標物体に属しない色彩領域を背景画像と見做して除去することができるようにすることを排除しない。

本発明に係るコンピュータ読み取り可能な記憶装置は、プログラムを記憶する。１つの又は複数のプロセッサによってプログラムを実行することによって、プログラムに図６又は図７に示す動画像背景除去方法のフローを実行させる。

上述した実施例における動画像背景除去方法のフローによって動画像背景除去の目的を実現し、最終的な目標物体を生成した際、動画像背景除去システムは、ソフトウェアプログラムが起動したユーザインターフェースによって、ユーザに色彩領域を選択的に増減させて、カスタマイズした目標図案を生成させることができる。

図８Ａは、ソフトウェアプログラムを利用して目標物体の色彩領域を増減する実施例を示す図である。このソフトウェアプログラムは、本発明に係る動画像背景除去システムにおいて作動し、タッチディスプレイ又は特定の操作インターフェースを有するコンピュータシステムであってよい。

本発明に係る動画像背景除去方法によってある映像を処理して目標物体を得た後、動画像背景除去システムが提供するソフトウェアプログラム、例えば図に示すコンピュータ装置８０におけるユーザインターフェース、例えばタッチディスプレイ、又はその他の操作インターフェースによって、色彩領域を増加又は減少させる機能を提供する。図に示すように、コンピュータ装置８０には、背景を除去することで取得された目標物体が表示され、第１の色彩領域８１及び第２の色彩領域８３が表示されている。破線で表示した第３の色彩領域８５は、背景と見做されて除去された色彩領域を示している。

ユーザインターフェースのある位置に、色彩領域を増加（"＋"）及び減少（"−"）させる相互インターフェースを提供し、ユーザがクリックジェスチャー及び塗るジェスチャーを実行することで色彩領域を増加又は減少させることができる。コンピュータシステムが実行するソフトウェアプログラムについて言えば、上述した実施例の動画像背景除去方法によって目標物体を決定した後、ユーザインターフェースを介して色彩領域を増加させる又は色彩領域を減少させる命令を取得することができることによって、色彩領域を増加又は減少させた目標物体を形成することができる。

例えば、タッチディスプレイ又は特定の操作インターフェースにおける操作ジェスチャーを用いる場合、色彩領域を増加させる機能においては、クリックジェスチャーによって画像中の特定領域における色相範囲の色彩領域を増加させ、又は塗るジェスチャーによって画像におけるジェスチャーが行われた領域の他の色相範囲の色彩領域を増加させることができる。また、色彩領域を減少させる機能においては、クリックジェスチャーによって画像中の特定領域におけるある色相範囲の色彩領域を減少させ、又は塗るジェスチャーによって画像におけるジェスチャーが行われた領域のある色相範囲の色彩領域を減少させることができる。

タッチディスプレイを例にすると、クリックジェスチャーは、タッチディスプレイにおいて１つのタッチ範囲を形成し、動画像背景除去システムはタッチ範囲の中心ポイントをタッチポイントとして取得し、領域中のあるポイントの画像をクリックした場合、動画像背景除去システムはポイントの画像の色相値を決定すると共に、この色相値と関連する色差範囲を決定し、好ましくは広い色差範囲を採用する。その理由としては、タッチ面積が小さ過ぎて選択した色相値が不十分となる問題を解決することで、この色差範囲内の関連色彩領域を増加又は減少させることができるようにするためである。塗るジェスチャーは、手指をタッチディスプレイ上で一定距離移動させた後、動画像背景除去システムはこの移動距離上の画像の色相値を取得し、好ましくは狭い色差範囲を採用する。その理由としては、消去ジェスチャーによって生成される過剰な色相値範囲の問題を低減することで、この消去ジェスチャーによってこの色差範囲内の関連色彩領域を増加又は減少させることができるようにするためである。

次いで、図８Ｂに示すように、色彩領域を減少させる機能において、ジェスチャーによって図８Ａにおける第１の色彩領域８１中の線を選択し、この図における変更後の第１の色彩領域８１'を形成する。また、色彩領域を増加させる機能において、ジェスチャーによって図８Ａにおける目標物体とはなっていない第３の色彩領域８５を選択し、この図における増加後の第３の色彩領域８５'を形成する。これにより、ユーザインターフェース並びにソフトウェア及びハードウェアの組み合わせを通じて、より自由度の高い目標物体決定機能を提供する。

以上のようにユーザインターフェースを介して目標物体の色彩領域を増減する方式以外に、図９においては、誤判断された目標物体を排除することができる動画像背景除去方法のフローを更に提供する。

本発明に係る動画像背景除去方法を利用した後、１つ以上の目標物体が生成されている場合、動画像背景除去システムは、以下のステップを通じて目標物体であると誤判断された色彩領域を排除する。

映像中の各フレーム画像における色彩領域を決定した後、ステップＳ９０１において、各色彩領域の前後のフレームにおける変化量を分析する。ステップＳ９０３において、第３の閾値と比較することで１つの色彩領域又は隣接する複数の色彩領域が形成する目標物体を取得し、同時に複数の色彩領域によって形成された領域がこの条件を満たす場合は、同時に２つ以上の目標物体を判断する。ステップＳ９０５において、連続する複数のフレーム画像を検査することで、そのうちの一時的に出現した領域を排除し、誤判断された目標物体と見做し、動画像背景除去システムが能動的に、背景を削除しようとする透明領域として設定する。或いはステップＳ９０７において、各分離した領域の面積を比較し、面積が最大の領域を目標物体として設定し、それ以外の面積が小さい領域を誤判断された目標物体と見做し、透明領域として設定することができる。

以上の実施例から分かるように、本発明に係る動画像背景除去方法は、コンピュータシステムに適用され、回路及び／又はソフトウェアモジュールを介して、映像から動的目標物体を取り込み、背景を除去した動画像を生成することを実現する。背景を除去する方式の１つとしては、映像における各フレームの画像の細部を処理した後、色彩領域を形成し、色彩領域の前後のフレームにおける変化に基づいて、その中の目標物体を判断する。例えば、前後のフレームを比較した後の動的状態が相対的に大きい色彩領域の組み合わせが、動画像背景除去システムが取り込もうとする目標物体となる。これにより、本発明に係る動画像背景除去方法は、一般的な静止画像の背景除去技術とは異なり、更には従来技術において採用される、予めグリーンスクリーンを利用した上で、後続のプロセスにおいて処理することで個別の動画像を得る方式とは異なる。本発明に係る動画像背景除去方法は、背景を除去した動画像をより素早く生成することができ、一般的なコンピュータシステムでの利用にも適している。

以上は本発明の好ましい実施例に過ぎず、本発明の特許請求の範囲を制限するものではない。従って、本発明の明細書及び図面の内容に基づいて為された等価の構造変更は、いずれも本発明の特許請求の範囲に含まれる。

１０、１０' 映像
１０１、１０１'、１０１" 物体
１０３ レンガ
１０５ 間隙
１０７ 透明画像
２０、２０' 映像
２０１ 物体
２０３ 背景
２１７ 背景
２１１、２１１ａ、２１１ｂ、２１１ｃ、２１２、２１３、２１４、２１５、２１６ 色彩領域
２１１' 目標物体
２１２' 回復的背景色彩領域
３０１ 画素
３１、３２、３３ 色彩領域
３１１、３１２ 境界線
４１、４２、４３、４４、４５、４６、４０１、４０２、４０３、４０４ 色彩領域
５１ 記憶装置
５０ コンピュータシステム
５０１ メモリユニット
５０３ 処理ユニット
５０５ 入力ユニット
５０７ 出力ユニット
５２ 画像オブジェクトデータベース
８０ コンピュータ装置
８１ 第１の色彩領域
８３ 第２の色彩領域
８５ 第３の色彩領域
８１' 変更後の第１の色彩領域
８５' 増加後の第３の色彩領域
ステップＳ６０１〜Ｓ６１１ 動画像背景除去フロー
ステップＳ７０１〜Ｓ７１３ 動画像背景除去フロー
ステップＳ９０１〜Ｓ９０７ 動画像背景除去フロー

Claims (10)

1. 記憶装置から映像を取得する工程と、
   前記映像から複数のフレーム画像を取り出し、各フレーム画像をコンピュータシステムのメモリに一時保存する工程と、
   各前記フレームの画像特徴を分析し、各前記フレームにおける隣接する画素の関係を取得する工程と、
   各前記フレーム画像における前記画像特徴に基づいて各前記フレーム画像を識別データがそれぞれ設けられる複数の色彩領域に区分けし、各色彩領域を所属の色彩領域にそれぞれ関連する識別データを有する複数の画素値が記憶される前記メモリに記憶する工程と、
   各前記色彩領域における各前記画素値の前後のフレームにおける変化量を比較して、各前記色彩領域の変化量を形成する工程と、
   前記前後のフレームの各前記色彩領域の変化量に基づいて目標物体を決定し、前記目標物体に含まれる１つの前記色彩領域又は隣接する複数の前記色彩領域を取得し、各前記フレームにおける前記目標物体に含まれる１つの又は複数の前記色彩領域の前記識別データを併せて前記メモリに記憶する工程と、
   前記目標物体以外の前記色彩領域を透明領域として設定する工程と、
   を含むことを特徴とする動画像背景除去方法。
2. 各前記フレームにおける隣接する画素の画像差が第１の閾値内にある画素を同一の前記色彩領域に分類すると共に、各前記フレームにおいて前記色彩領域に区分けする際に、隣接する各前記色彩領域が占める面積の差異を計算し、前記差異が第２の閾値より大きい場合、相対的に小さい前記色彩領域を無視できるノイズと見做し、
   各前記色彩領域の変化量は各前記色彩領域における複数の画素値の前記前後のフレームにおける変化量を計算した統計値であることを特徴とする請求項１に記載の動画像背景除去方法。
3. 前記前後のフレームの各前記色彩領域の変化量を第３の閾値と比較した際に１つの又は隣接する複数の前記色彩領域を取得すると共に、前記色彩領域を前記目標物体として設定し、
   前記目標物体以外の前記色彩領域を前記映像の背景画像として設定する、又は、前記前後のフレームにおける前記色彩領域の変化量を前記第３の閾値と比較した場合に小さい１つの又は複数の前記色彩領域を前記映像の背景画像として設定することを特徴とする請求項２に記載の動画像背景除去方法。
4. 前記前後のフレームにおける各前記色彩領域の変化量は前記前後のフレームの同一の前記色彩領域の変位距離を計算したものであり、
   前記第３の閾値は距離の閾値であることを特徴とする請求項３に記載の動画像背景除去方法。
5. 各前記フレームの前記画像特徴を分析する前に、前記複数のフレーム画像を色相−彩度−輝度の色空間に変換することによって、各前記フレームにおける画素の色相、彩度又は輝度の分布を取得し、
   各前記フレームの前記画像特徴は各前記フレームにおける隣接する画素の色相、彩度及び輝度のいずれか１つ又はそれらの組み合わせの画像差であることを特徴とする請求項４に記載の動画像背景除去方法。
6. 前記目標物体を決定した後、ユーザインターフェースを提供し、前記ユーザインターフェースを介して、前記色彩領域を増加させる又は前記色彩領域を減少させる命令を取得し、前記色彩領域を増加させた又は前記色彩領域を減少させた目標物体を形成し、
   同時に複数の前記色彩領域によって形成された領域を目標物体であると判断した場合、前記目標物体以外の領域を排除するステップを実行し、
   前記標物体以外の領域を排除するステップは、
   前記映像における連続する前記複数のフレーム画像中の一時的に出現した領域を検査して能動的に透明領域として設定するステップ、又は、前記複数の領域の面積を比較して、面積が最大の領域を前記目標物体として設定し、それ以外の面積が小さい領域を透明領域として設定するステップ、
   を含むことを特徴とする請求項５に記憶の動画像背景除去方法。
7. １つの又は複数の処理ユニットと、
   前記１つの又は複数の処理ユニットと電気的に接続され、映像を取得するための入力ユニットと、
   前記１つの又は複数の処理ユニットと電気的に接続され、動画像背景除去システムで処理して背景を除去した動画像を出力するための出力ユニットと、
   前記１つの又は複数の処理ユニットと電気的に接続され、動画像背景除去方法を実行するプログラムを記憶するためのメモリユニットと、
   を含み、
   前記１つの又は複数の処理ユニットによって前記プログラムに、
   前記映像から複数のフレーム画像を取り出す工程と、
   各フレームの画像特徴を分析し、各前記フレームにおける隣接する画素の関係を取得する工程と、
   各前記フレーム画像における前記画像特徴に基づいて各前記フレーム画像を所属の色彩領域にそれぞれ関連する識別データを有する複数の画素値が記憶される複数の色彩領域に区分けする工程と、
   各前記色彩領域における各前記画素値の前後のフレームにおける変化量を比較して、各前記色彩領域の変化量を形成する工程と、
   前記前後のフレームの各前記色彩領域の変化量に基づいて目標物体を決定すると共に、前記目標物体の輪郭又は前記目標物体に含まれる前記色彩領域を取得する工程と、
   前記目標物体以外の前記色彩領域を透明領域として設定して、前記背景が除去された動画像を形成する工程と、
   を実行させることを特徴とする動画像背景除去システム。
8. 前記動画像背景除去システムで処理された後の背景が除去された１つの又は複数の動画像ファイルを記憶する画像オブジェクトデータベースを更に含むことを特徴とする請求項７に記載の動画像背景除去システム。
9. 前記動画像背景除去システムは、ジェスチャーによる前記色彩領域の増加又は前記色彩領域の減少の命令を受信して、前記色彩領域が増加した又は前記色彩領域が減少した前記目標物体を形成するための、タッチディスプレイを有するコンピュータシステムであることを特徴とする請求項７に記憶の動画像背景除去システム。
10. クリックジェスチャーによって各前記フレーム画像における色相範囲の前記色彩領域を増加又は減少し、又は、塗るジェスチャーによって各前記フレーム画像における前記塗るジェスチャーが行われた他の色相範囲の前記色彩領域を増加又は減少することを特徴とする請求項９に記載の動画像背景除去システム。

Images