JP2017091298A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP2017091298A
JP2017091298A JP2015221943A JP2015221943A JP2017091298A JP 2017091298 A JP2017091298 A JP 2017091298A JP 2015221943 A JP2015221943 A JP 2015221943A JP 2015221943 A JP2015221943 A JP 2015221943A JP 2017091298 A JP2017091298 A JP 2017091298A
Authority
JP
Japan
Prior art keywords
area
region
pixel
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015221943A
Other languages
English (en)
Inventor
広太 竹内
Kota Takeuchi
広太 竹内
直己 伊藤
Naoki Ito
直己 伊藤
明 小島
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015221943A priority Critical patent/JP2017091298A/ja
Publication of JP2017091298A publication Critical patent/JP2017091298A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】任意背景のシーンにおいて、色情報の画像に加えてデプスマップを用い、ジャギーの発生を防ぎながら任意領域の抽出を実行することのできる画像処理装置を提供する。【解決手段】カラー画像から前景領域を抽出する画像処理装置であって、カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力手段と、デプスマップのデータを参照して、カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、不明領域の各画素の色が近傍の前景領域の画素の色または近傍の背景領域の画素の色のいずれに近いかに基づいて、不明領域の画素を背景領域または前景領域のいずれかに振り分けることによって、抽出すべき前景領域を抽出する領域抽出手段とを備える。【選択図】図1

Description

本発明は、所望の画像を画像処理によって生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
映像中からの任意領域の抽出は、数多くの映像アプリケーションで用いられている。テレビ局やスタジオ等では、グリーンバック背景に被写体を設置し被写体領域のみを抽出するクロマキー技術が古くから研究開発され、現在も広く普及し使われている。被写体領域のみを抽出することにより、例えば抽出領域を任意のCG映像の中に挿入するという映像編集と組み合わせることができるため、より付加価値の高い映像を創出することができる。このような利点から、テレビにおけるバーチャルスタジオや、映画におけるCG編集作業において、クロマキー技術による任意領域の抽出技術は不可欠なものとなっている。
クロマキー技術では被写体の背景が制限されてしまうため、屋外でのロケ映像や実際のスポーツ競技においては、用いることができないという本質的な課題がある。そのため、古くから任意背景における任意領域の抽出技術が検討されている。例えば、背景差分を用いる手法(例えば、非特許文献1参照)や、色勾配やエッジ情報を用いる手法(例えば、非特許文献2参照)が挙げられる。
波部斉, 和田俊和,松山隆司. "照明変化に対して頑健な背景差分法." 情処学研報, CVIM115-3 (1999). Rother, Carsten, Vladimir Kolmogorov, and Andrew Blake. "Grabcut: Interactive foreground extraction using iterated graph cuts." ACM Transactions on Graphics (TOG) 23.3 (2004): P.309-314.
背景差分を用いる手法では、事前に背景を撮影し、抽出対象画像と背景画像を画素ごとに比較することで、差分値の大きい画素のみを抽出対象領域とするという概念に基づいている。背景が変動しない状況では正しく動作するが、実際の利用では時刻による太陽光の変化、照明変動、被写体の動きによる影の変動等があるため、抽出領域以外の領域においても背景画像との差分が大きくなってしまうことで、正しく抽出領域のみを抽出できないという問題がある。
一方で画像中の色勾配やエッジ情報を用いる手法が提案されている。この方法では、任意領域の輪郭を滑らかに切り出すことができるため、品質の高い領域抽出を行うことができる。しかし、色情報のみを用いているため、例えば背景と抽出領域の色が似ている場合には、うまく動作しないことがある。また、動画像の全てのフレームを処理しなければならない撮影編集作業においては、計算量が多く処理時間が問題となってしまう。
また、色情報から成る画像に加え、デプスマップと呼ばれるカメラから被写体までの距離情報を併せることで、任意領域の抽出をする手法が考えられる。奥行き情報を用いることで、色情報が似ている状況においても、抽出領域か否かを判断することができるため、より容易に高速に領域抽出をできる可能性がある。
しかし多くの場合、デプスマップの解像度は、画像の解像度に比べ著しく低いため、デプスマップを画像と同じサイズまでアップサンプルする必要がある。このアップサンプルにより、正しくデプスマップをリサイズできないため、輪郭部分にジャギー(階段状のギザギザのこと)が生じてしまうという問題がある。
本発明は、このような事情に鑑みてなされたもので、任意背景のシーンにおいて、色情報の画像に加えてデプスマップを用い、ジャギーの発生を防ぎながら任意領域の抽出を実行することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
本発明の一態様は、カラー画像から前景領域を抽出する画像処理装置であって、前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力手段と、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出手段とを備える画像処理装置である。
本発明の一態様は、前記画像処理装置であって、前記カラー画像をグリッドに分割し、各グリッド内に前記前景領域の画素が含まれていなかったグリッドを特定し、該グリッドを前記領域抽出手段の対象外とする処理領域選択手段をさらに備える。
本発明の一態様は、前記画像処理装置であって、前記前景領域を拡大した後に、縮小を行うことにより、前記前景領域と前記背景領域、もしくは前景領域と不明領域との境界において発生するノイズを除去する事前処理手段をさらに備える。
本発明の一態様は、カラー映像から前景領域を抽出する画像処理装置であって、前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力手段と、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出手段と、連続するフレームの画像から動きベクトルを算出するフレーム差分算出手段とを備え、前記初期領域抽出手段は、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理装置である。
本発明の一態様は、カラー画像から前景領域を抽出する画像処理装置が行う画像処理方法であって、前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力ステップと、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出ステップとを有する画像処理方法である。
本発明の一態様は、カラー映像から前景領域を抽出する画像処理装置が行う画像処理方法であって、前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力ステップと、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出ステップと、連続するフレームの画像から動きベクトルを算出するフレーム差分算出ステップとを有し、前記初期領域抽出ステップでは、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理方法である。
本発明の一態様は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。
本発明によれば、所望の画像に対する画像処理によって、ジャギーの発生を抑制しながら、かつ画像の任意領域を抽出することができるという効果が得られる。
本発明の第1実施形態による画像処理装置の構成を示すブロック図である。 図1に示す画像処理装置の動作を示すフローチャートである。 図1に示す処理領域選択部13の詳細動作を示す図である。 図1に示す事前処理部14の詳細動作を示す図である。 図1に示す領域抽出部15の詳細動作を示す図である。 本発明の第2実施形態による画像処理装置の構成を示すブロック図である。 図6に示す画像処理装置の動作を示すフローチャートである。
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による画像処理装置を説明する。ここでは、動画像(映像)の各フレーム(画像)に対する処理を説明するが、映像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。なお、本明細書において、画像とは、静止画像、または動画像を構成する1フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。
図1は第1実施形態における画像処理装置の構成を示すブロック図である。画像処理装置1は、コンピュータ装置によって構成し、図1に示すように、入力部11、初期領域抽出部12、処理領域選択部13、事前処理部14、領域抽出部15及び終了判定部16を備えている。
次に、図2を参照して、図1に示す画像処理装置1の処理動作を説明する。図2は、図1に示す画像処理装置1の処理動作を示すフローチャートである。
まず、入力部11は、カラー映像及びデプスマップストリームを外部から読み込み、初期領域抽出部12に対し、同期した1フレームずつカラー画像とデプスマップを出力する(ステップS1)。以下では、カラー画像を単に画像と称し、画像とデプスマップを併せ入力情報と称する。画像とデプスマップの解像度が等しいことを前提としているが、異なる場合は、入力部11において両者のサイズを併せるためのリサイズ処理を施せばよい。なお、入力部11は、1フレームの画像と、1フレーム分のデプスマップのみを入力してもよい。以下の処理は、フレーム毎に行うため、以下の処理を連続するフレームに対して順次行うことにより、映像に対する処理を実現することができる。
次に、初期領域抽出部12は、領域抽出を行うためのおおまかな初期領域の算出を行って初期領域の抽出を行う(ステップS2)。抽出結果を記録するために、画像と同じサイズの初期領域画像を用意する。以下の説明では、初期領域として抽出された画素が成す領域を抽出領域、初期領域ではないと判断された画素が成す領域を背景領域、判断が付かなかった画素が成す領域を不明領域と称する。初期領域画像の画素は、初期領域、背景領域、不明領域の3状態をとりうる1チャネルの画像とする。
初期領域の抽出においては、入力したデプスマップを用いた領域抽出を行う。ここで、初期領域を抽出する方法として、画素ごとにデプス値の閾値処理を行い、任意の奥行きの範囲内に存在する画素のみを抽出領域として算出、それ以外の範囲の画素を背景領域として算出する方法が適用できる。
しかし、デプス値の閾値処理では、カメラの光軸方向に対し垂直に立っている物体しか抽出することができないため、任意の三次元平面を設定し、その三次元平面から一定の距離の範囲内に存在する画素を抽出する方法を用いるようにしてもよい。その他、これに類し、おおまかに抽出領域の画素を抽出する方法を用いても構わない。また、ノイズやオクルージョンによりデプス値が取得できていない画素については、抽出領域か否かの判断が付かないため、判断が付かない状態(不明領域)として記録を行う。このようにして、初期領域抽出部は、初期領域画像を出力する。
次に、処理領域選択部13は、処理を施す領域を算出して選択する(ステップS3)。ここで、図3を参照して、処理領域選択部13の処理動作の詳細を説明する。図3は、図1に示す処理領域選択部の詳細動作を示す図である。処理領域選択部13では、処理対象画素を示すマスク画像と、処理を行うと判断されたグリッドの左上画像座標群を出力する。処理領域選択部13は、画像全体に対する処理を極力削減し処理を高速化するために、初期領域抽出部12では精確に領域抽出が行われなかったであろうグリッドを選択し、以後の処理では処理の必要ない画素には処理を行わない判定を行わせる(ステップS4)ために存在する。
始めに、画像と同サイズのマスク画像を生成し、これを以下では処理対象画素を示すマスク画像と称する。画像301を、まずグリッドに分割する。グリッドのサイズは任意のサイズで構わない。画像座標302、303、304に示す様に、各グリッドの左上画像座標を基準にし、ここではあるひとつのグリッド305について説明する。グリッド305およびその近傍領域を含んだ拡張グリッド306に着目する。グリッド305と拡張グリッド306のサイズの差分307、308、309、310の大きさは任意に設定して構わない。これらの値が大きければ最終的な領域抽出の精度は向上するが、計算量の増大するため、適当な大きさを選択する。
図3の右図は、グリッド305および拡張グリッド306の拡大図311を示す。破線312はグリッド305を示し、白で示す画素からなる領域313は背景領域、斜線で示す画素からなる領域314は不明領域、濃いグレーで示す画素からなる領域315は抽出領域をそれぞれ示している。拡張グリッド311に含まれている画素の中に、1画素でも抽出領域に属する画素が含まれているとき、グリッド312に含まれるすべての画素を処理対象画素として判定し、処理対象画素を示すマスク画像に記録する。
逆に、この条件を満たさない拡張グリッド311に含まれる画素に対しては、処理対象画素ではない画素として、処理対象画素を示すマスク画像に記録する。拡張グリッド311の場合では、条件を満たしているため、拡張グリッド306に含まれているすべての画素が、処理対象画素として判定される。この処理をすべてのグリッドに対して行い、座標302、303、304のような処理対象と判定されたグリッドの左上画像座標を記録する。
次に、事前処理部14は、前述の処理領域選択部13において処理対象画素として判定された画素と同位置の画素において、初期領域画像に対するフィルタリング処理等の、ノイズを除去するための事前処理を行う(ステップS5)。入力として、処理領域選択部13において出力された処理対象画素を示すマスク画像と、初期領域抽出部12において出力された初期領域画像を用いる。
初期領域抽出部12では、デプスマップを用いた領域抽出を行ったが、デプスマップ自体の精度が高くないため、初期領域画像の抽出結果の精度は高くない。特に、前景領域と背景領域、もしくは不明領域との境界において、多くのノイズが観測される傾向が強い。そのため、事前処理部14においては、フィルタリング処理等を用い、これらのノイズを除去する。
ここで、図4を参照して、事前処理としてフィルタリング処理を用いた方法について説明する。ここではまず抽出領域を拡大するフィルタリング処理をかけた後、抽出領域を縮小するフィルタリング処理を行っている。抽出領域を拡大することにより、抽出領域中に含まれるノイズを除去することができる、そののち抽出領域を縮小することにより、拡大処理により膨らんだ境界を戻しつつ、境界付近に現れるノイズを除去することができる。
まず初めに、事前処理を行った結果の領域画像を保存するために、初期領域画像と同サイズ同フォーマットの画像を用意する。以下ではこの画像を編集領域画像と称する。編集領域画像の初期値として、初期領域画像をコピーする。初期領域画像中の領域401が処理対象画素として選択されているとする。初期領域画像中のある一部を拡大した拡大図402に示す。
以下、マスク画像に有効な画素として記録されており、かつ、抽出領域に含まれているすべての画素に対して抽出領域拡大のためのフィルタリング処理を行う。初期領域に含まれている画素403に着目し、説明する。まず、画素403の近傍領域404に着目する。近傍領域404に含まれている画素のうち1画素でも背景領域または不明領域に属する画素があれば、近傍領域404に含まれている画素の状態を抽出領域として判定し、編集領域画像を上書きする。画像405が編集領域画像の一部を拡大した画像であり、図402が図405、画素403が画素406、近傍領域404が近傍領域407にそれぞれ対応している。抽出領域に含まれているすべての画素に対して、前述のフィルタリング処理を行った後、編集領域画像を、初期領域画像に上書き保存する。
次に、抽出領域に含まれているすべての画素に対して抽出領域縮小のためのフィルタリング処理を行う。初期領域画像中のある一部の拡大図408を示す。初期領域に含まれている画素409に着目し、説明する。まず、画素409の近傍領域410に着目する。近傍領域410に含まれている画素のうち1画素でも背景領域または不明領域に属する画素があれば、近傍領域410に含まれている画素の状態を不明領域として判定し、編集領域画像を上書きする。画像411が編集領域画像の一部を拡大した画像であり、拡大図408が図411、画素409が画素412、近傍領域410が近傍領域413にそれぞれ対応している。
前述のフィルタリング処理以外に、バイラテラルフィルタ、モルフォロジー変換、等、これらに類するノイズ除去手法をもちいても構わない。このようにして、事前処理部14では編集領域画像を出力する。
次に、領域抽出部15は、抽出領域の算出を行う(ステップS6)。領域抽出部15では、処理領域選択部13で出力された処理を行うと判断されたグリッドの左上画像座標群と、事前処理部14で出力された編集領域画像と、入力部11から出力された画像を入力とし、さらに精確に領域抽出を行い、領域抽出結果画像を出力する。領域抽出結果画像は画像と同じサイズであり、各画素は抽出領域、背景領域、不明領域のいずれかの状態をとりうるものとする。
ここで、図5を参照して、領域抽出部15の処理動作について説明をする。領域抽出部15では、マスク画像を参照し処理領域選択部13で処理を行うと判断されたグリッドのみに対して、処理を行う。この処理を行うか否かの判断は、処理領域選択部13で出力された処理対象と判定されたグリッドの左上画像座標を用いることで行うことができる。
次に、処理対象であるグリッドをグリッド501とし、その拡大領域502に着目する。処理対象であるグリッドに含まれており、且つ、編集領域画像が示す画素の状態が不明領域に属する画素に対してのみ、画素毎に以下の処理を行う。条件を満たす画素の一つとして、画素503を例にして説明を進める。領域504のように濃いグレーの領域を抽出領域、領域505のように斜線の領域を不明領域、領域506のように白い領域を背景領域として示している。
まず、拡大領域502の中に含まれていて、抽出領域に含まれている幾つかの画素を抽出側シード(抽出すべき画素の候補)、背景領域に含まれている幾つかの画素を背景側シード(背景の画素の候補)として選択する。これらシードとして選択される画素の選び方については、どのように選らんでも構わない。図5においては、それぞれのシードとなる画素は一定間隔ごとに選択された方法を示しており、507−1〜5は抽出側シード、508−1〜5は背景側シードを示している。
次に、画素503が抽出側領域か、背景側領域化かの判断を行うための処理を、色情報を用いて、画素503の色と、すべてのシード画素の色と比較し、最も色が近いシードが属する領域を画素503の領域として判断し、領域抽出結果画像に記録する。比較方法については、どのような方法を用いても構わない。例えば、RGB各色のSSD(Sum of Squared Distance)を用いる方法や、RGBではなく輝度・明度・彩度の色空間に変換した後に各画素値の差分を用いても構わない。この処理を、処理グリッドに含まれているすべての不明領域の画素について行うことによって、処理グリッドに含まれるすべての画素が、抽出領域もしくは背景領域に分類される。最後に、領域抽出部15は、抽出領域結果画像を保存、もしくはディスプレイ等に画像出力する(ステップS7)。
次に、終了判定部16は、入力情報中の全てのフレーム画像に対して処理を完了したかを判断し、完了していなければ前述の処理を繰り返し、完了していれば処理を終了する(ステップS8)。
<第2実施形態>
次に、本発明の第2実施形態による画像処理装置を説明する。図6は本発明の第2実施形態による画像処理装置の構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図1に示す装置と異なる点は、フレーム差分算出部17が新たに設けられている点である。フレーム差分算出部17は、処理が完了したフレームの抽出領域結果画像から、次フレームの初期領域を設定する際に用いるために有用な情報を抽出する。
次に、図6に示す画像処理装置1の処理動作を説明する。図7は、図6に示す画像処理装置1の処理動作を示すフローチャートである。この図に示す画像処理装置1の処理動作が図2に示す処理動作と異なる点は、ステップS9が新たに追加されている点である。
図7では、図2に示す処理動作に加え、次フレーム画像との差分を算出する処理(ステップS9)が追加されている。終了判定部の処理(ステップS8)の後、次フレームとの差分情報として、画像またはデプスマップ、または両方、の動きベクトルを算出する。動きベクトルは、オプティカルフローなど公知の方法を用いて算出することができるため、ここでは、詳細な説明を省略する。また、動きベクトルは、全画素に対し算出してもよいし、画素を間引くなどして一部の画素について算出してもよい。
初期領域抽出部12では、前述した処理に加え、算出された動きベクトルと現在のフレーム情報を用いて、抽出領域の初期領域を抽出する。前フレームにて、抽出領域として判断された画素に対し、動きベクトルを用いて動き予測を行い、初期の編集領域とする。
このように、次のフレームとの差分を算出することにより、初期領域抽出の精度を向上させることができる。
以上説明したように、デプスマップによる奥行情報を利用して、前景領域、不明領域、背景領域に分けた後、不明領域の各画素を前景領域または背景領域に振り分けるようにした。振り分けの基準は、近傍の前景領域の画素の色、近傍の背景領域の画素の色、いずれに近いかで分ける。
このように構成することによって、色情報の画像に加えてデプスマップを用い、処理対象となるグリッドを判別しながら、局所的に色情報に基づく抽出領域の算出を行うことで、ジャギーの発生を抑制しながら、かつ高速に任意領域を抽出することができるようになる。
前述した実施形態における画像処理装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
所望の画像に対する画像処理によって、ジャギーの発生を抑制しながら、かつ高速に画像の任意領域を抽出することが不可欠な用途に適用できる。
1・・・画像処理装置、11・・・入力部、12・・・初期領域抽出部、13・・・処理領域選択部、14・・・事前処理部、15・・・領域抽出部、16・・・終了判定部、17・・・フレーム差分算出部

Claims (7)

  1. カラー画像から前景領域を抽出する画像処理装置であって、
    前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力手段と、
    前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、
    前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出手段と
    を備える画像処理装置。
  2. 前記カラー画像をグリッドに分割し、各グリッド内に前記前景領域の画素が含まれていなかったグリッドを特定し、該グリッドを前記領域抽出手段の対象外とする処理領域選択手段をさらに備える請求項1に記載の画像処理装置。
  3. 前記前景領域を拡大した後に、縮小を行うことにより、前記前景領域と前記背景領域、もしくは前景領域と不明領域との境界において発生するノイズを除去する事前処理手段をさらに備える請求項1または2に記載の画像処理装置。
  4. カラー映像から前景領域を抽出する画像処理装置であって、
    前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力手段と、
    前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、
    前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出手段と、
    連続するフレームの画像から動きベクトルを算出するフレーム差分算出手段とを備え、
    前記初期領域抽出手段は、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理装置。
  5. カラー画像から前景領域を抽出する画像処理装置が行う画像処理方法であって、
    前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力ステップと、
    前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、
    前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出ステップと
    を有する画像処理方法。
  6. カラー映像から前景領域を抽出する画像処理装置が行う画像処理方法であって、
    前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力ステップと、
    前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、
    前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出ステップと、
    連続するフレームの画像から動きベクトルを算出するフレーム差分算出ステップとを有し、
    前記初期領域抽出ステップでは、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理方法。
  7. コンピュータを、請求項1から4のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
JP2015221943A 2015-11-12 2015-11-12 画像処理装置、画像処理方法及び画像処理プログラム Pending JP2017091298A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015221943A JP2017091298A (ja) 2015-11-12 2015-11-12 画像処理装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221943A JP2017091298A (ja) 2015-11-12 2015-11-12 画像処理装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2017091298A true JP2017091298A (ja) 2017-05-25

Family

ID=58770675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221943A Pending JP2017091298A (ja) 2015-11-12 2015-11-12 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2017091298A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021243A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 オブジェクト抽出装置およびそのスーパーピクセルラベリング方法
CN111238465A (zh) * 2018-11-28 2020-06-05 台达电子工业股份有限公司 地图建置设备及其地图建置方法
CN112149592A (zh) * 2020-09-28 2020-12-29 上海万面智能科技有限公司 图像处理方法、装置以及计算机设备
CN112532882A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像显示方法和装置
CN112581490A (zh) * 2020-12-28 2021-03-30 西安理工大学 一种复杂曲面干涉测量中前景区域提取方法
JP7412947B2 (ja) 2019-10-01 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法,カラー画像階層化方法およびカラー画像階層化装置
JP2009003576A (ja) * 2007-06-19 2009-01-08 Canon Inc 機器制御装置及び制御方法
JP2012008027A (ja) * 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012048393A (ja) * 2010-08-25 2012-03-08 Canon Inc 情報処理装置およびその動作方法
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法,カラー画像階層化方法およびカラー画像階層化装置
JP2009003576A (ja) * 2007-06-19 2009-01-08 Canon Inc 機器制御装置及び制御方法
JP2012008027A (ja) * 2010-06-25 2012-01-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012048393A (ja) * 2010-08-25 2012-03-08 Canon Inc 情報処理装置およびその動作方法
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021243A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 オブジェクト抽出装置およびそのスーパーピクセルラベリング方法
CN111238465A (zh) * 2018-11-28 2020-06-05 台达电子工业股份有限公司 地图建置设备及其地图建置方法
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
JP7412947B2 (ja) 2019-10-01 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN112149592A (zh) * 2020-09-28 2020-12-29 上海万面智能科技有限公司 图像处理方法、装置以及计算机设备
CN112532882A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像显示方法和装置
CN112581490A (zh) * 2020-12-28 2021-03-30 西安理工大学 一种复杂曲面干涉测量中前景区域提取方法

Similar Documents

Publication Publication Date Title
JP2017091298A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6889417B2 (ja) 一連の画像の画像内のオブジェクト境界安定化のための画像処理装置及び方法
EP3104332B1 (en) Digital image manipulation
GB2544375B (en) Dehazing photos and videos using visual artifact suppression
KR101670282B1 (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
TWI387935B (zh) 影像生成方法、及其程式與記錄有程式的記錄媒體
WO2018082185A1 (zh) 图像处理方法和装置
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
CN107622504B (zh) 用于处理图片的方法和装置
JP2008245719A (ja) 対象領域抽出方法および装置ならびにプログラム
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
JP2020129276A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6914734B2 (ja) シルエット抽出装置、方法およびプログラム
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
KR20210008087A (ko) 지평면 검출에 기초한 이미지 시퀀스로부터의 사람 객체의 손실 발 복구
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
US10650488B2 (en) Apparatus, method, and computer program code for producing composite image
KR100989435B1 (ko) 다시점 영상 처리 방법 및 장치
KR100960694B1 (ko) 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체
CN116563172B (zh) 一种vr全球化在线教育互动优化增强方法及装置
JP2010147937A (ja) 画像処理装置
WO2023221636A1 (zh) 视频处理方法、装置、设备、存储介质和程序产品
CN111652025A (zh) 一种人脸的处理、直播方法、装置、电子设备和存储介质
CN113256484B (zh) 一种对图像进行风格化处理的方法及装置
JP6811679B2 (ja) シルエット抽出装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190730