JP2014035597A - 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法 - Google Patents

Abstract

【課題】２次元動画を３次元動画に変換した場合に奥行きの不自然な変動を防止することができる画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法を提供する。
【解決手段】オブジェクト追跡部１２は、一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出する。オブジェクト内奥行き情報生成部１４２は、抽出されたオブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成する。背景奥行き情報生成部１４１は、抽出されたオブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成する。立体画像生成部１５は、生成されたオブジェクト領域奥行き情報及び背景領域奥行き情報を用いて視差を有する多視点画像を生成する。
【選択図】図１

Description

本発明は、２次元動画を３次元動画に変換する画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムを記録した記録媒体及び画像処理方法に関する。

二眼ステレオ方式の立体画像表示装置では、左眼用画像と右眼用画像を用いて立体表示を行う。左眼用画像と右眼用画像の間における被写体の座標の横方向のずれを視差と呼び、視差に応じて被写体が画面から飛び出すような感覚、あるいは画面の奥にあるような感覚を見る者に与えることができる。視差は奥行き方向に知覚される距離と対応している。
多眼方式の立体画像表示装置は、互いに視差を有する複数枚の画像を用いて立体表示を行う。この複数枚の画像をそれぞれ視点画像と呼ぶ。二眼ステレオ方式の立体画像表示装置の場合も左眼用画像と右眼用画像をそれぞれ視点画像と呼ぶことができる。

立体画像を撮影する方法としては、複数のカメラユニットを横に並べた二眼式カメラや多眼式カメラによって撮影する方法が知られている。二眼式または多眼式カメラを構成する各カメラユニットで撮影された画像をそれぞれ視点画像として立体画像表示装置で表示すると、立体感のある画像が観察される。視差は、被写体とカメラとの距離に応じて異なる。

このような二眼式または多眼式カメラを用いて立体画像を撮影する以外にも、立体画像を作成する技術が検討されており、通常のカメラによる撮影で得られた２次元画像から、画像処理によって立体画像を作成する技術は２Ｄ３Ｄ変換と呼ばれている。二眼ステレオ式立体画像表示用の２Ｄ３Ｄ変換の代表的な方法は、２次元画像の解析によって各画素の奥行き値を生成し、その奥行き値に基づいて左眼用画像と右眼用画像を作成する。多眼式立体画像表示用の場合は、各画素の奥行き値を生成した後、その奥行き値に基づいて、表示に必要な全ての視点画像を作成する。

各画素の奥行き値の生成には様々な方法があるが、特許文献１に開示される２次元映像を３次元映像に変換する装置では、遠近に関する画像特徴量を用いて画面内の全領域をその画面に含まれている物体毎にグループ分けを行い、各グループの奥行き情報を生成している。

また、別の例としては、２次元画像から特徴情報の抽出によって複数のオブジェクトを抽出し、さらに複数のオブジェクトを分割し、複数のオブジェクトの奥行き順序を決定することにより、重畳する物体を分離して、物体間の配置順序を明確にすることにより、立体画像の品質を改善する装置が開示されている（特許文献２参照）。

特開平１１−８８６２号公報 特開２０１１−２２３５６６号公報

特許文献１、２のような従来の装置を動画に適用する場合、各フレームは、前のフレームの結果とは関係なく独立に処理が行われる。

しかしながら、オブジェクト（画面に含まれている物体）領域の抽出においては、画像上のノイズの影響などにより、本来オブジェクト領域に含まれる画素をオブジェクト領域外として扱い、あるいは、本来オブジェクト領域に含まれない画素を誤ってオブジェクト領域内の画素として抽出するというような誤抽出が生じる場合がある。各フレームで独立に処理を行った場合は、誤抽出の程度が各フレームで異なり、抽出したオブジェクト領域の境界が、本来の境界に対してフレーム毎に変動する場合がある。

このようなオブジェクト領域抽出結果から得られる各画素の奥行き値は、オブジェクト領域の境界近傍で、オブジェクトの本来の動きとは関係なく奥行き値がフレーム毎に不自然に変動するという問題があった。

本発明は、斯かる事情に鑑みてなされたものであり、２次元動画を３次元動画に変換した場合に奥行きの不自然な変動を防止することができる画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムを記録した記録媒体及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、２次元動画を３次元動画に変換する画像処理装置において、複数のフレームの一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出するオブジェクト領域追跡手段と、前記オブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成するオブジェクト領域奥行き生成手段と、前記オブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成する背景領域奥行き生成手段と、前記オブジェクト領域奥行き情報及び前記背景領域奥行き情報を用いて多視点画像を生成する多視点画像生成手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記オブジェクト領域追跡手段は、前記一のフレームのオブジェクト領域内の画素値で表される特徴量及び前記他のフレームの探索領域内の画素値で表される特徴量の類似度に基づいて、前記他のフレームのオブジェクト領域を抽出することを特徴とする。

本発明に係る画像処理装置は、前記オブジェクト領域追跡手段は、前記一のフレームのオブジェクト領域内の画素値及び前記他のフレームの探索領域内の画素値を用いて表される尤度に基づいて、前記他のフレームのオブジェクト領域を抽出することを特徴とする。

本発明に係る画像処理装置は、前記一のフレームは、開始フレームであることを特徴とする。

本発明に係る画像処理装置は、前記一のフレームは、ユーザが選択した任意のフレームであることを特徴とする。

本発明に係る画像処理装置は、前記オブジェクト領域追跡手段は、各フレームの１つ前又は１つ後のフレームのオブジェクト領域情報を用いて前記各フレームのオブジェクト領域を抽出することを特徴とする。

本発明に係る画像処理装置は、前記一のフレームのフレーム画像内の画素値に基づいてオブジェクト領域を抽出する抽出手段を備えることを特徴とする。

本発明に係る画像処理装置は、前記オブジェクト領域追跡手段は、任意のフレーム画像上でオブジェクト領域を追跡することができない場合、新たなオブジェクト領域を抽出するようにしてあることを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、２次元動画を３次元動画に変換させるためのコンピュータプログラムにおいて、コンピュータに、複数のフレームの一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出するステップと、前記オブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成するステップと、前記オブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成するステップと、前記オブジェクト領域奥行き情報及び前記背景領域奥行き情報を用いて多視点画像を生成するステップとを実行させることを特徴とする。

本発明に係る記録媒体は、前述の発明に係るコンピュータプログラムを記録してあることを特徴とする。

本発明に係る画像処理方法は、２次元動画を３次元動画に変換する画像処理装置による画像処理方法において、複数のフレームの一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出するステップと、前記オブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成するステップと、前記オブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成するステップと、前記オブジェクト領域奥行き情報及び前記背景領域奥行き情報を用いて多視点画像を生成するステップとを含むことを特徴とする。

本発明にあっては、オブジェクト領域追跡手段は、一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出する。オブジェクト領域情報は、例えば、フレーム画像（２次元動画のフレームの画像）上のオブジェクト領域を表す画像であるオブジェクトマスクである。そして、オブジェクト領域追跡手段は、一のフレームのオブジェクト領域を占める物体が、他のフレームにおいて占める領域をそのフレームのオブジェクト領域として抽出し、各フレームのオブジェクトマスクを作成する。

オブジェクト領域奥行き生成手段は、抽出されたオブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成する。奥行き情報（奥行きマップ）は、フレーム画像の各画素の奥行き値を示す画像である。すなわち、オブジェクト領域奥行き生成手段は、各フレーム画像及びオブジェクトマスクを用いて、オブジェクト領域内の各画素の奥行き値、すなわちオブジェクト領域奥行きマップを生成する。また、背景領域奥行き生成手段は、抽出されたオブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成する。すなわち、背景領域奥行き生成手段は、各フレーム画像に基づいて、背景領域の各画素の奥行き値、すなわち背景奥行きマップを生成する。

多視点画像生成手段は、オブジェクト領域奥行き生成手段及び背景領域奥行き生成手段が生成した奥行き情報を用いて視差を有する多視点画像を生成する。

上述の構成により、各フレームでのオブジェクト領域を抽出するために、一のフレームのオブジェクト領域を利用するので、全くこれらの情報がない状態で、２次元画像からオブジェクト領域を抽出する場合に比べて、オブジェクト領域の誤検出（本来オブジェクト領域に含まれる画素を背景領域として誤検出し、あるいは本来背景領域である画素を誤ってオブジェクト領域の画素として抽出すること）を防止することができる。そして、奥行き値がフレーム毎に不自然に変動する事態を防止することができる。

本発明にあっては、オブジェクト領域追跡手段は、一のフレームのオブジェクト領域内の画素値で表される特徴量及び他のフレームの探索領域内の画素値で表される特徴量の類似度に基づいて、他のフレームのオブジェクト領域を抽出する。例えば、オブジェクト領域及び探索領域の対応する画素の輝度値の差分の絶対値を各領域の全画素それぞれについて算出し、算出した差分の絶対値を合計した合計値を特徴量として求め、合計値が最も小さいときに最も類似するとすることができる。上述の構成により、奥行き値がフレーム毎に不自然に変動する事態を防止することができる。

本発明にあっては、オブジェクト領域追跡手段は、一のフレームのオブジェクト領域内の画素値及び他のフレームの探索領域内の画素値を用いて表される尤度に基づいて、他のフレームのオブジェクト領域を抽出する。尤度は、例えば、他のフレームの探索領域内においてオブジェクト領域内であるかに応じて、探索領域を中心領域、探索領域、非探索領域に分けて求めることができる。上述の構成により、奥行き値がフレーム毎に不自然に変動する事態を防止することができる。

本発明にあっては、一のフレームは、開始フレームである。

本発明にあっては、一のフレームは、ユーザが選択した任意のフレームである。

本発明にあっては、オブジェクト領域追跡手段は、各フレームの１つ前又は１つ後のフレームのオブジェクト領域情報を用いて各フレームのオブジェクト領域を抽出する。オブジェクト追跡を行う際に１つ前のフレーム画像と１つ前のフレームで生成したオブジェクト領域の情報、あるいは１つ後のフレーム画像と１つ後のフレームで生成したオブジェクト領域の情報を用いるので、時間の経過とともにオブジェクトの形状又は位置が変化する場合でも、現フレームと前フレーム間、あるいは現フレームと後フレーム間では変化が比較的小さく、精度よくオブジェクトを追跡することが可能となる。

本発明にあっては、一のフレームのフレーム画像内の画素値に基づいてオブジェクト領域を抽出する抽出手段を備える。ユーザが予め作成したオブジェクトマスクを入力する必要がなくなる。

本発明にあっては、オブジェクト領域追跡手段は、任意のフレーム画像上でオブジェクト領域を追跡することができない場合、新たなオブジェクト領域を抽出する。例えば、シーン（場面）が変わることにより、変わる前まで追跡していたオブジェクトが消えてしまい追跡することができない場合には、変わった次のシーン（場面）で新たにオブジェクト抽出を行ってオブジェクトマスクを生成することにより、シーン（場面）が変わった後もオブジェクト領域を追跡することができる。

本発明によれば、２次元動画を３次元動画に変換した場合に奥行きの不自然な変動を防止することができる。

実施の形態１の画像処理装置の構成を示すブロック図である。 開始フレームオブジェクトマスクの一例を示す説明図である。 開始フレームオブジェクトマスクの一例を示す説明図である。 開始フレームオブジェクトマスクの一例を示す説明図である。 オブジェクト領域の追跡結果の一例を示す説明図である。 オブジェクト追跡部の構成例を示すブロック図である。 探索領域マスクの一例を示す説明図である。 奥行き情報生成部において奥行きマップを生成する過程を示す説明図である。 奥行き情報生成部において奥行きマップを生成する過程を示す説明図である。 奥行き情報生成部において奥行きマップを生成する過程を示す説明図である。 奥行き情報生成部において奥行きマップを生成する過程を示す説明図である。 奥行き情報生成部において奥行きマップを生成する過程を示す説明図である。 右眼用画像の生成手順の一例を示すフローチャートである。 実施の形態１の画像処理装置のオブジェクト追跡処理により奥行き値の不自然な動きを防止する一例を示す説明図である。 画像処理装置が生成した奥行き値の一例を示す説明図である。 実施の形態１の画像処理装置の処理手順の一例を示すフローチャートである。 実施の形態２の画像処理装置の処理手順の一例を示すフローチャートである。 実施の形態３の追跡元に用いるフレームの一例を示す説明図である。 実施の形態３の画像処理装置の処理手順の一例を示すフローチャートである。 実施の形態３の画像処理装置の処理手順の一例を示すフローチャートである。 実施の形態４の画像処理装置の構成を示すブロック図である。 実施の形態１〜４の画像処理装置の機能を実現するコンピュータの一例を示す説明図である。

（実施の形態１）
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は実施の形態１の画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、装置全体を制御する制御部１０、入力部１１、オブジェクト追跡部１２、記憶部１３、奥行き情報生成部１４、立体画像生成部１５、出力部１６などを備える。また、奥行き情報生成部１４は、背景奥行き情報生成部１４１、オブジェクト内奥行き情報生成部１４２、奥行き情報合成部１４３などを備える。

画像処理装置１００は、２次元動画を３次元動画に変換するための画像処理を行うものである。

入力部１１は、２次元動画を外部の装置から取得し、フレーム画像を順次オブジェクト追跡部１２へ出力する。入力部１１は、２次元動画の最初のフレームのフレーム画像（開始フレーム画像とも称する）を記憶部１３に記憶する。

また、入力部１１は、外部の装置から開始オブジェクトマスクを取得し、記憶部１３に記憶する。オブジェクトマスクとは、フレーム画像上のオブジェクト領域を表す画像であり、画像サイズはフレーム画像と同一である。例えば、オブジェクト領域内の画素値を１、オブジェクト領域外の画素値を０とすることで、オブジェクト領域を表す。開始フレームオブジェクトマスクとは、開始フレームのオブジェクトマスクである。

開始フレームオブジェクトマスクは、予めユーザが作成する。ユーザは、画像編集ソフトウェア等を用い、開始フレーム画像内の前景として表示させたい物体の領域を抽出し、開始フレームオブジェクトマスクを作成する。ユーザが注目した１つの物体が占める領域だけを抽出してもよいし、複数の物体が占める領域を抽出してもよい。図２、図３及び図４は開始フレームオブジェクトマスクの一例を示す説明図である。図２は、開始フレーム画像の例であり、地面の上にうさぎと木が立っているシーンである。図３は、うさぎの領域を抽出したオブジェクトマスクであり、１つの物体が占める領域を抽出した例である。白がオブジェクト領域内、黒がオブジェクト領域外を表す。図４は、うさぎと木の領域を抽出したオブジェクトマスクであり、２つの物体が占める領域を抽出した例である。

なお、オブジェクトマスクで抽出された領域をオブジェクト領域、それ以外を背景領域と呼ぶ。

オブジェクト追跡部１２は、開始フレームのオブジェクト領域を占める物体が、他のフレームにおいて占める領域をそのフレームのオブジェクト領域として抽出し、各フレームのオブジェクトマスクを作成する。オブジェクト領域は、静止している場合もあるが、時間経過とともに移動や変形が連続的に生じる場合もある。オブジェクト領域の抽出は、各フレームにおいて、開始フレームのオブジェクト領域の近傍を探索し、開始フレームのオブジェクト領域と類似度が高い領域を抽出することによって行う。このように、オブジェクト領域が分かっているフレームにおけるオブジェクト領域の情報を用いて、他のフレームのオブジェクト領域を抽出する処理をオブジェクト追跡と呼ぶ。

オブジェクト追跡部１２は、まず、記憶部１３から開始フレーム画像及び開始フレームオブジェクトマスクを読み出す。開始フレームのフレーム番号を１とする。次に、開始フレームの次のフレーム（フレーム番号２）のフレーム画像を入力部１１から取得する。これを現フレーム画像とする。そして、オブジェクト追跡によって現フレーム画像のオブジェクト領域を抽出し、現フレームのオブジェクトマスクを生成する。現フレームのオブジェクトマスクとフレーム画像は、奥行き情報生成部１４へ出力する。なお、開始フレームのフレーム番号を１、次のフレームのフレーム番号を２とする。

同様に、オブジェクト追跡部１２は、フレーム番号３のフレーム画像を入力部１１から取得し、これを現フレーム画像とする。そして、オブジェクト追跡によって現フレーム画像のオブジェクト領域を抽出し、現フレーム（フレーム番号３）のオブジェクトマスクを生成する。現フレームのオブジェクトマスクとフレーム画像は、奥行き情報生成部１４へ出力する。オブジェクト追跡部１２は、フレーム番号４以降のフレームについても同様の処理を繰り返す。

次に、オブジェクト追跡処理の詳細について説明する。オブジェクト追跡は様々な方法が知られているが、例として、テンプレートマッチングを用いた方法を説明する。各フレームにおける処理は、まず、現フレーム画像、及び開始フレーム画像それぞれを各画素が輝度値で表される輝度画像に変換する。

現フレームと開始フレームの輝度画像をそれぞれＦ（x，ｙ）、Ｇ（ｘ，ｙ）とする。（ｘ，ｙ）は座標を表す。

次に、開始フレームオブジェクトマスクをＭｇ（ｘ，ｙ）とし、オブジェクトが存在する領域の左端及び右端のｘ座標を求め、それぞれＸＳ、ＸＥとする。また、オブジェクトが存在する領域の上端及び下端のｙ座標を求め、それぞれＹＳ、ＹＥとする。

そして、式（１）、式（２）、式（３）を満たす（ｕ，ｖ）を求め、求めた（ｕ，ｖ）を用いて、式（４）によって現フレームのオブジェクトマスクＭｆ（ｘ，ｙ）を生成する。開始フレームオブジェクトマスク、現フレームオブジェクトマスクとも、オブジェクトマスクの画素値１はオブジェクト領域、画素値０は背景領域を示している。

式（２）、式（３）において、Δは探索範囲を表す正の定数である。ｕ、ｖはそれぞれ整数とする。また、式（１）において、座標（ｘ＋ｕ，ｙ＋ｖ）が現フレーム画像内からはみ出る場合は、画像端処理として、画像内の最も近い画素の座標に置き換える。

オブジェクト追跡部１２は、式（２）、（３）を満たす全ての（ｕ，ｖ）について、開始フレーム画像においてオブジェクト領域内の座標（ｘ，ｙ）の輝度値と、現フレーム画像の座標（ｘ＋ｕ，ｙ＋ｖ）の輝度値との差分の絶対値を算出し、開始フレームのオブジェクト領域内の全画素それぞれについて算出した差分の絶対値を合計した合計値を求める。そして、合計値が最も小さいときのベクトル（ｕ，ｖ）を求める。これが式（１）の意味である。（ｕ，ｖ）は、オブジェクト領域全体が、開始フレームから現フレームへ移動した際の動きベクトルを示しており、合計値が最も小さい（ｕ，ｖ）を選択するというのは、最も類似度が高くなる（ｕ，ｖ）を選択することに相当する。

このようにして求められたベクトル（ｕ，ｖ）を用いて、開始フレームオブジェクトマスクを、式（４）のように、ベクトル（ｕ，ｖ）だけ移動させることにより、現フレームでのオブジェクトマスクを生成することができる。

図５はオブジェクト領域の追跡結果の一例を示す説明図である。図５の左列はフレーム画像、右列はオブジェクトマスクを示し、上段は開始フレーム、中段はフレーム番号２、下段はフレーム番号３である。フレーム番号２のオブジェクトマスクは、開始フレーム画像と、開始フレームオブジェクトマスクと、フレーム番号２のフレーム画像とを入力してオブジェクト追跡処理を行って得られた例である。同様に、フレーム番号３のオブジェクトマスクは、開始フレーム画像と、開始フレームオブジェクトマスクと、フレーム番号３のフレーム画像とを入力してオブジェクト追跡処理を行って得られた例である。開始フレームオブジェクトマスクで抽出されているうさぎの領域が、フレーム番号２とフレーム番号３のオブジェクトマスクにおいても抽出されていることが分かる。

上述したテンプレートマッチングを用いた方法は、オブジェクト領域のフレーム間の動きが平行移動の場合に精度よく求めることができる。回転等の他の動きや、変形を伴う場合にも適している手法の例を次に示す。

図６はオブジェクト追跡部１２の構成例を示すブロック図である。オブジェクト追跡部１２は、探索領域設定部５１１と、尤度算出部５１２と、領域抽出部５１３と、後処理部５１４とを有している。探索領域設定部５１１は、開始フレームオブジェクトマスクを読み込み、探索領域マスクを作成する。

図７は探索領域マスクの一例を示す説明図である。図７Ａは開始フレームオブジェクトマスクの例であり、図７Ｂは、図７Ａから作成した探索領域マスクの例である。探索領域マスクは、探索領域、中心領域、非探索領域の３つの領域から構成される。探索領域マスクの作成方法は、まず、開始フレームオブジェクトマスクのオブジェクト領域の輪郭の近傍を探索領域とし、次に、探索領域よりも内側の領域を中心領域とする。残りの領域を非探索領域とする。

探索領域は、図７Ｂに粗い斜線で示した領域であり、開始フレームオブジェクトマスクのオブジェクト領域の輪郭から距離が探索距離以下にある画素を抽出したものである。開始フレーム画像においてオブジェクト領域の画素と背景領域の画素の両方が含まれる。尤度算出部５１２において、現フレーム画像のオブジェクト領域であるか背景領域であるかが確定していない領域として扱われる。探索距離は予め与えられた定数値である。

中心領域は、図７Ｂに白色（斜線なし）で示した領域であり、開始フレーム画像のオブジェクト領域にあり、かつ、開始フレーム画像のオブジェクト領域の輪郭から距離が探索距離より大きい画素を抽出したものである。尤度算出部５１２において、現フレーム画像においてオブジェクト領域であることが確定した領域として扱われる。

非探索領域は、図７Ｂに細かい斜線で示した領域であり、開始フレーム画像の背景領域にあり、かつ、開始フレーム画像のオブジェクト領域の輪郭から距離が探索距離より大きい画素を抽出したものである。尤度算出部５１２において、現フレーム画像において背景領域であることが確定した領域として扱われる。

尤度算出部５１２は、現フレーム画像の各画素について、オブジェクト領域に含まれる尤度Ｐ（ｘ，ｙ）を求める。以下の（１）〜（３）の手順で行う。（１）探索領域マスクにおいて非探索領域の画素は、尤度Ｐ（ｘ，ｙ）を０とする。（２）探索領域マスクにおいて中心領域の画素は、尤度Ｐ（ｘ，ｙ）を１とする。（３）探索領域マスクにおいて探索領域の画素は、（５）式で尤度Ｐ（ｘ，ｙ）を算出する。

Ｈ（ｘ，ｙ）は開始フレームオブジェクトマスク、Ｆ（ｘ，ｙ）、Ｆ^p (ｘ，ｙ）はそれぞれ現フレーム画像、開始フレーム画像を示す。（５）式はフィルタ演算となっており、g（ｌ，σ）はガウス関数、σ_s , σ_c はフィルタの特性を制御する定数である。２Ｂ＋１はウィンドウサイズ、αは定数である。

現フレーム画像のある画素（ｘ，ｙ）を注目画素と呼ぶと、（５）式は、各注目画素について、その周囲に正方形のウィンドウを設定し、開始フレームオブジェクトマスクのウィンドウ内に含まれる画素の中でオブジェクト領域内にある画素数をカウントするものである。ただし、注目画素との色の類似度が高く、注目画素と距離が近い画素ほど、高い重みを付けてカウントしている。Ｑ（ｘ，ｙ）は正規化するための係数である。ｌ_s は注目画素との距離、ｌ_c は色の類似度を示している。｛ｒ，ｇ，ｂ｝は、フレーム画像の３つの色成分を示す。また、（５）式において、Ｑ（ｘ，ｙ）がαより小さい場合は、注目画素の近傍に、開始フレーム画像で色が似ている画素が無いと判断し、尤度を０とする。

領域抽出部５１３では、尤度算出部５１２で算出した尤度Ｐ（ｘ，ｙ）の閾値処理により、閾値以上の画素をオブジェクト領域、閾値未満の画素を背景領域と判定する。閾値は予め定めた定数とする。全ての画素について判定を行い、現フレームのオブジェクトマスクを作成する。

後処理部５１４では、領域抽出部で作成したオブジェクトマスクの補正のために２つの処理を行う。１つは、穴埋め処理による補正であり、周囲をオブジェクト領域内と判定された画素で囲まれている画素は、オブジェクト領域内にあると判定し直す処理である。これは判定の誤りを減らす効果がある。もう１つは、フレーム間での平滑化処理による補正である。フレーム間での平滑化処理は、例えば、現フレームの１つ前のフレームで生成されたオブジェクトマスクと、現フレームの２つ前のフレームで生成されたオブジェクトマスクと、現フレームで穴埋め処理を行ったオブジェクトマスクの３つを用い、現フレームと、２つ前のフレームが両方ともオブジェクト領域内である画素は、１つ前のフレームもオブジェクト領域内であると修正し、逆に、現フレームと、２つ前のフレームが両方とも背景領域である画素は、１つ前のフレームも背景領域と修正する。これはメディアンフィルタに相当する。１つ前のフレームのオブジェクトマスクを修正するため、出力が１フレーム遅延する。また、２つ前のフレームのオブジェクトマスクを保持しておく必要がある。

以上の方法で、回転等の平行移動以外の動きや、変形を伴う場合にもオブジェクト追跡を行うことができる。ただし、ここで示した式と性質が類似の他の式を用いて計算されてもよい。例えば（７）式は、ガウス関数を用いたが、指数関数などの他の関数であってもよい。また、開始フレーム画像のオブジェクト領域内の画素値や画像特徴量との類似度を元にして、現フレーム画像でのオブジェクト領域を抽出する手法であればよく、（５）式のように尤度を定義しなくてもよい。また、計算量削減のために、後処理部５１４は省略してもよい。

オブジェクト追跡処理は、上述の例に限定されるものではなく、Ｍｅａｎ Ｓｈｉｆt法、特徴点追跡を用いた手法など、いずれの手法を用いてもよい。

オブジェクト追跡部１２は、生成したオブジェクトマスクを奥行き情報生成部１４へ出力する。

奥行き情報生成部１４は、オブジェクト追跡部１２が出力した各フレームのオブジェクトマスク及び各フレーム画像を用いて、各フレーム画像の奥行きマップを生成する。各フレームの奥行きマップとフレーム画像は、立体画像生成部１５へ出力する。

奥行きマップは、フレーム画像の各画素の奥行き値を示す画像であり、画像サイズはフレーム画像と同一である。例えば、奥行き値を画素値が０から２５５の範囲で示し、最も手前側の位置を画素値２５５で表し、最も奥側の位置を画素値０とすることで奥行き値を表す。

背景奥行き情報生成部１４１は、各フレーム画像に基づいて、背景領域の各画素の奥行き値、すなわち背景奥行きマップを生成する。

背景奥行きマップは、例えば、消失点位置を推定し、消失点位置に基づいて生成する。消失点位置の推定は、例えば、画像全体で特徴点を抽出し、それらを通る直線をハフ変換で検出し、検出した直線の交点に基づいて算出することができる。奥行き値の生成は、例えば、式（１０）、式（１１）を用いて消失点位置を最も奥側とし、各画素について、消失点位置からの距離に比例する奥行き値を与える。Ｋ_b（ｘ，ｙ）は背景奥行きマップを表す。（Ｘ，Ｙ）は消失点の座標であり、Ｍ，Ｎはそれぞれ横、縦の画像サイズである。ｂ_ｍｉｎ，ｂ_ｍａｘは、背景奥行きマップの奥行き値の最小値と最大値であり、予め与えられた定数とする。背景奥行きマップは、背景領域の中だけで算出し、オブジェクト領域においては、特に値を定めない。

なお、背景奥行きマップ生成部は、消失点を用いた手法に限らず、例えば全体を一定値とするなど、他のいかなる方法を用いてもよい。

オブジェクト内奥行き情報生成部１４２は、各フレームのフレーム画像及びオブジェクトマスクを用いて、オブジェクト領域内の各画素の奥行き値、すなわちオブジェクト領域奥行きマップを生成する。例えば、オブジェクト領域内の全体に一定値を与える。この際、一定値は予め定められた定数とする。予め定められた一定値は、フレームごとに変化する値であってもよい。その他の例として、画像特徴量に基づいて奥行き値を生成する。例えば、コントラストを用い、コントラストの大きさに比例した奥行き値を与える。この際は、予め定められたオブジェクト領域奥行きマップの奥行き値の最小値と最大値の範囲内の値を用いて奥行き値を生成する。オブジェクト領域奥行きマップは、オブジェクト領域の中だけで算出し、背景領域においては、特に値を定めない。

奥行き情報合成部１４３は、背景奥行き情報生成部１４１で生成した背景奥行きマップに、オブジェクト内奥行き情報生成部１４２で生成したオブジェクト領域奥行きマップを重畳させることで両者を合成してフレーム画像全体の奥行きマップを生成する。

図８ないし図１２は奥行き情報生成部１４において奥行きマップを生成する過程を示す説明図である。図８は、フレーム画像の例であり、図９は、図８に対して生成されたオブジェクトマスクである。図１０は、背景奥行きマップ生成部で作成された背景奥行きマップの例である。×印が推定された消失点の位置であり、消失点を最も奥側とし、他の画素については消失点からの距離に応じた奥行き値が与えられている。オブジェクト領域内については値を設定しておらず、黒で示している。図１１は、オブジェクト内奥行き生成部で作成されたオブジェクト領域奥行きマップの例であり、オブジェクト領域に一定の奥行き値を与えている。背景領域については値を設定しておらず、黒で示している。図１２は、奥行き情報合成部で生成された奥行きマップの例である。図１０に図１１を重畳して、画像全体に奥行き値が設定された奥行きマップが生成されている。

なお、前述の例では、背景奥行き情報生成部１４１は、背景領域にだけ値を持つ背景奥行きマップを生成する構成であるが、これに限定されるものではなく、背景奥行き情報生成部でオブジェクト領域にも奥行き値を与え、オブジェクト領域奥行きマップを生成する際に、背景奥行きマップのオブジェクト領域の奥行き値に所定値を加算又は減算して生成する構成とすることもできる。

立体画像生成部１５は、多視点画像を生成する生成手段としての機能を有する。立体画像生成部１５は、奥行き情報生成部１４が出力した奥行きマップ及びフレーム画像を用いて視差を有する多視点画像を生成する。視点が２つの場合は、多視点画像は、左眼用画像及び右眼用画像とすることができる。

まず、視点が２つの場合について、生成方法を説明する。例として、左眼用画像にフレーム画像をそのまま用い、右眼用画像を生成する場合を説明する。

最初に奥行きマップから視差マップを生成する。例えば、Ｄ（ｘ，ｙ）＝β・Ｋ（ｘ，ｙ）＋γによって求める。

Ｄ（ｘ，ｙ）は生成する視差マップ、Ｋ（ｘ，ｙ）は奥行き情報生成部１４で得られた奥行きマップである。βとγは予め与えられた定数である。この視差マップ生成は、上述のように奥行きマップの線形変換によって行ったが、これに限らず、反比例などの他の変換によって求めてもよい。

次に、フレーム画像の各画素について、その座標の視差値を視差マップから読み取り、生成する右眼用画像において、視差値分だけ座標を移動させた画素に画素値をコピーする。この処理をフレーム画像の全ての画素について行うが、同一の画素に複数の画素値が割り当てられる場合は、ｚバッファ法に基づき、視差値が飛び出し方向に最大の画素の画素値を用いる。

図１３は右眼用画像の生成手順の一例を示すフローチャートである。以下、図１３を参照しながら生成手順を説明する。（ｘ，ｙ）は画像内の座標を示すが、図１３では各行での処理であり、ｙは一定である。Ｆ、Ｇ、Ｄはそれぞれフレーム画像、生成する右眼用画像、視差マップを示している。Ｚは、処理の過程において右眼用画像の各画素の視差値を保持するための配列であり、ｚバッファと呼ぶ。Ｗは画像の横方向の画素数である。

まず、ステップＳ１において、ｚバッファを初期値ＭＩＮで初期化する。視差値は飛出し方向の場合に正値、奥行き方向の場合に負値をとるものとし、ＭＩＮは、奥行き情報生成部１４で生成した奥行き値の最小値から求められる視差値よりも小さい値とする。さらに、以降のステップで左端画素から順に処理を行うために、ｘに０を入力する。

ステップＳ２において、視差マップの視差値と、その視差値分だけ座標を移動させた画素のｚバッファの値を比較し、視差値がｚバッファの値より大きいか否かを判定する。視差値がｚバッファの値よりも大きい場合は、ステップＳ３に進み、右眼用画像にフレーム画像の画素値を割り当てる。また、ｚバッファの値を更新する。

次にステップＳ４において、現在の座標が右端画素である場合は終了し、現在の座標が右端画素でない場合はステップＳ５に進み、右隣りの画素へ移動してステップＳ２に戻る。ステップＳ２において、視差値がｚバッファの値以下の場合は、ステップＳ３を通らずにステップＳ４へ進む。これらの手順を全ての行で行う。

立体画像生成部１５は、図１３に示した処理の後、生成された右眼用画像について、画素値が割り当てられていない画素について補間処理を行い、画素値を割り当てる。補間処理は、画素値未割当の画素について、その左側で最も近傍の画素値割当済の画素と、その右側で最も近傍の画素値割当済の画素との画素値の平均値を用いて行う。この補間処理は、平均値を用いる方法に限らず、フィルタ処理などの他の方法であってもよい。

また、上述の例では、左眼用画像にフレーム画像をそのまま用い、右眼用画像を生成する場合について示したが、これに限らず、右眼用画像にフレーム画像をそのまま用い、左眼用画像を生成してもよい。また、左目用画像と右目用画像の両方を生成し、どちらにもフレーム画像をそのまま用いなくてもよい。

視点が３つ以上の多視点画像を生成する場合については、上述の２視点の場合と同様に、ｚバッファ法と補間処理を用いて全ての視点画像を生成する。

出力部１６は、立体画像生成部１５が生成した立体画像（視点数が２または３以上の多視点画像）を、例えば、出力部１６に画像表示機能を具備させて、立体画像を表示させることもできる。また、出力部１６は、立体画像生成部１５が生成した立体画像を不図示の記録装置に記録することもできる。

このように、出力部１６から立体画像を出力することにより、取得した２次元動画を３次元動画に変換することができる。

図１４は実施の形態１の画像処理装置１００のオブジェクト追跡処理により奥行き値の不自然な動きを防止する一例を示す説明図である。例として円形のオブジェクトが右方向に等速運動する場合を示している。×印はある画素の位置を示し、全ての×印は同じ画素（同じ座標）を示している。図１４Ａは実施の形態１によるオブジェクト追跡処理の一例を示し、図１４Ｂは比較例として、従来のオブジェクト抽出処理の一例を示す。従来のオブジェクト抽出処理とは、各フレームでオブジェクトを抽出する場合に、２次元画像の情報だけを用い、開始フレームオブジェクトマスクを用いない手法である。

図１４Ａでは、フレーム番号１のオブジェクトマスク（開始フレームオブジェクトマスク）はユーザによって作成されて与えられる。

画像処理装置１００は、フレーム番号２において、開始フレームオブジェクトマスクを利用して、オブジェクト追跡を行い、オブジェクト領域を抽出する。フレーム番号１でのオブジェクト領域の形状が分かっているため、オブジェクト追跡により正確にオブジェクト領域が抽出でき、円形のオブジェクト領域がフレーム番号２においても正しく抽出される。

同様に、画像処理装置１００は、フレーム番号３以降において、開始フレームオブジェクトマスクを利用して、オブジェクト追跡を行い、オブジェクト領域を抽出する。フレーム番号１でのオブジェクト領域の形状が分かっているため、オブジェクト追跡により正確にオブジェクト領域が抽出でき、円形のオブジェクト領域がフレーム番号３以降においても正しく抽出される。フレーム番号１から３では、×印で示した画素は、抽出したオブジェクト領域内に存在している。フレーム番号４と５では、×印は背景領域に存在している。

これに対して、図１４Ｂの比較例では、開始フレームオブジェクトマスクが与えられず、まず、フレーム番号１でオブジェクト領域を抽出する。そして、フレーム番号２において、フレーム番号１のオブジェクトマスクを利用することなく、新たにオブジェクト領域を抽出する。しかし、オブジェクト領域の抽出処理は容易ではなく、正しくオブジェクト領域を抽出することができない場合が多い。破線は、本来のオブジェクト領域を示し、実線は、オブジェクト抽出処理で抽出されたオブジェクト領域を示す。図１４Ｂから分かるように、オブジェクト領域の輪郭が本来のオブジェクト領域の輪郭から少しずれてしまっている。

同様に、フレーム番号３以降において、フレーム番号１のオブジェクトマスクを利用することなく、新たにオブジェクト領域を抽出する。抽出したオブジェクト領域を破線で示している。フレーム番号３と４は、本来のオブジェクト領域の輪郭から大きくずれてしまった例である。フレーム番号１，２，４では、×印で示した画素は、抽出したオブジェクト領域内に存在している。フレーム番号３と５では、×印は背景領域に存在している。フレーム番号３では、×印は、本来はオブジェクト領域に存在するが、誤って背景領域と扱われている。フレーム番号４では、×印は、本来は背景領域に存在するが、誤ってオブジェクト領域と扱われている。

図１５は画像処理装置１００が生成した奥行き値の一例を示す説明図である。図１５Ａは、図１４Ａに×印で示した位置の画素について、画像処理装置１００が生成した奥行き値の例である。×印は、フレーム番号１から３では抽出したオブジェクト領域に存在しているため、一定の奥行き値となっている。フレーム番号４と５では背景領域と判定されているため、フレーム番号１から３より小さい奥行き値となっている。

図１５Ｂは、図１４Ｂに×印で示した位置の画素について、画像処理装置１００が生成した奥行き値の例である。×印は、フレーム番号１，２，４では抽出したオブジェクト領域に存在しているため、一定の奥行き値となっている。フレーム番号３と５では背景領域と判定されているため、小さい奥行き値となっている。フレーム番号３は、本来はオブジェクト領域であるが誤って背景領域と判定されているため、小さい奥行き値となっており、フレーム番号４は、本来は背景領域であるが誤ってオブジェクト領域と判定されているため、大きい奥行き値となっている。これにより、奥行き値が振動的に変動し、不自然となっている。

上述のように、本実施の形態１の画像処理装置では、各フレームでのオブジェクト領域を抽出するために、開始フレームのオブジェクト領域を利用するので、全くこれらの情報がない状態で、２次元画像からオブジェクト領域を抽出する場合に比べて、オブジェクト領域の誤検出（本来オブジェクト領域に含まれる画素を背景領域として誤検出し、あるいは本来背景領域である画素を誤ってオブジェクト領域の画素として抽出すること）を防止することができる。そして、奥行き値がフレーム毎に不自然に変動する事態を防止することができる。

次に、実施の形態１の画像処理装置１００の動作について説明する。図１６は実施の形態１の画像処理装置１００の処理手順の一例を示すフローチャートである。以下、処理の主体を便宜上制御部１０とする。

制御部１０は、開始フレームオブジェクトマスクを取得する（Ｓ１１）。制御部１０は、フレーム番号１（最初のフレーム）のフレーム画像を取得する（Ｓ１２）。

制御部１０は、開始フレームオブジェクトマスクを用いて、フレーム番号１の奥行きマップを生成する（Ｓ１３）。制御部１０は、フレーム番号１のフレーム画像及びステップＳ１３で生成した奥行きマップを用いて、フレーム１の多視点画像を生成する（Ｓ１４）。制御部１０は、変数ＮをＮ＝１で初期化する（Ｓ１５）。

制御部１０は、フレーム番号Ｎ＋１のフレーム画像を取得し（Ｓ１６）、フレーム番号１のフレーム画像と開始フレームオブジェクトマスクを用いたオブジェクト追跡によってフレーム番号Ｎ＋１のオブジェクトマスクを生成する（Ｓ１７）。

制御部１０は、フレーム番号Ｎ＋１で生成したオブジェクトマスクを用いて、フレーム番号Ｎ＋１の奥行きマップを生成する（Ｓ１８）。制御部１０は、フレーム番号Ｎ＋１のフレーム画像及びステップＳ１８で生成した奥行きマップを用いて、フレーム場号Ｎ＋１の多視点画像を生成する（Ｓ１９）。

制御部１０は、フレーム残の有無を判定し（Ｓ２０）、フレーム残ありの場合（Ｓ２０でＹＥＳ）、すなわち動画の途中のフレームである場合、Ｎ＋１をＮに置き換え（Ｓ２１）、ステップＳ１６以降の処理を繰り返す。フレーム残なしの場合（Ｓ２０でＮＯ）、制御部１０は、処理を終了する。

上述の例では、全てのフレームでオブジェクト追跡を行う場合について示したが、これに限らず、オブジェクト領域が途中のフレームにおいて画像内に存在しなくなった場合は、そこで追跡処理を終了してもよい。オブジェクト領域が画像内に存在するかどうかの判定は、例えば、オブジェクトマスクにおいてオブジェクト領域に含まれる画素数をカウントし、その閾値処理によって行う。この処理は、例えば、ステップＳ１７において行い、フレームＮのオブジェクトマスクにおけるオブジェクト領域に含まれる画素数が閾値未満の場合は、追跡処理を行わずフレームＮ＋１のオブジェクトマスク全体を背景領域とする。

上述のように、開始フレームオブジェクトマスクを用いて、オブジェクト追跡により、各フレームのオブジェクト領域を抽出する。なお、開始フレームオブジェクトマスクは、所望のオブジェクトを抽出して予め作成したものを取得することができ、フレーム番号１のフレーム画像とともに、所定の記憶部に記憶しておく。上述の構成により、オブジェクト領域を精度良く抽出することができるので、３次元動画において奥行きの不自然な変動を防止することができる。

（実施の形態２）
実施の形態１では、開始フレームを追跡元としてフレーム２以降の各フレームのオブジェクト追跡を行う構成であった。実施の形態２では、１つ前のフレームを追跡元として各フレームのオブジェクト追跡を行う点が異なる。なお、実施の形態２の画像処理装置の構成は実施の形態１と同様である。オブジェクト追跡部１２の内容のみが実施の形態１と異なり、他の部分の処理は同じである。

図１７は実施の形態２の画像処理装置１００の処理手順の一例を示すフローチャートである。以下、処理の主体を便宜上制御部１０とする。

制御部１０は、開始フレームオブジェクトマスクを取得する（Ｓ３１）。制御部１０は、フレーム番号１（最初のフレーム）のフレーム画像を取得する（Ｓ３２）。

制御部１０は、開始フレームオブジェクトマスクを用いて、フレーム番号１の奥行きマップを生成する（Ｓ３３）。制御部１０は、フレーム番号１のフレーム画像及びステップＳ３３で生成した奥行きマップを用いて、フレーム１の多視点画像を生成する（Ｓ３４）。制御部１０は、変数ＮをＮ＝１で初期化する（Ｓ３５）。

制御部１０は、フレーム番号Ｎ＋１のフレーム画像を取得し（Ｓ３６）、フレーム番号Ｎのフレーム画像とフレーム番号Ｎのオブジェクトマスクを用いたオブジェクト追跡によってフレーム番号Ｎ＋１のオブジェクトマスクを生成する（Ｓ３７）。この際、フレーム番号Ｎ＋１のフレーム画像とオブジェクトマスクを記憶部１３に記憶しておく。

制御部１０は、フレーム番号Ｎ＋１で生成したオブジェクトマスクを用いて、フレーム番号Ｎ＋１の奥行きマップを生成する（Ｓ３８）。制御部１０は、フレーム番号Ｎ＋１のフレーム画像及びステップＳ３８で生成した奥行きマップを用いて、フレーム場号Ｎ＋１の多視点画像を生成する（Ｓ３９）。

制御部１０は、フレーム残の有無を判定し（Ｓ４０）、フレーム残ありの場合（Ｓ４０でＹＥＳ）、すなわち動画の途中のフレームである場合、Ｎ＋１をＮに置き換え（Ｓ４１）、ステップＳ３６以降の処理を繰り返す。フレーム残なしの場合（Ｓ４０でＮＯ）、制御部１０は、処理を終了する。

上述のように、実施の形態２では、オブジェクト追跡を行う際に１つ前のフレーム画像と１つ前のフレームで生成したオブジェクト領域の情報を用いるので、時間の経過とともにオブジェクトの形状又は位置が変化する場合でも、現フレームと１つ前のフレーム間では変化が比較的小さく、精度よくオブジェクトを追跡することが可能となる。

（実施の形態３）
実施の形態１及び２では、開始フレームのオブジェクトマスクが予め与えられ、オブジェクト追跡を行う構成であった。実施の形態３では、予めオブジェクトマスクが与えられるフレームが開始フレームではなく、途中のフレームである点が異なる。オブジェクトマスクが与えられる途中のフレームをキーフレームと呼び、与えられたオブジェクトマスクをキーフレームオブジェクトマスクと呼ぶ。なお、実施の形態３の画像処理装置の構成は実施の形態１と同様である。オブジェクト追跡部１２の内容のみが実施の形態１と異なり、他の部分の処理は同じである。

図１８は実施の形態３の追跡元に用いるフレームの一例を示す説明図である。フレーム番号１（開始フレーム）からフレーム番号Ｅ（終了フレーム）で構成される動画像において、ユーザが任意のフレーム（フレーム番号Ｋ）を選択し、それをキーフレームとする。ユーザは、画像編集ソフトウェア等を用い、キーフレーム画像内の前景として表示させたい物体の領域を抽出し、キーフレームオブジェクトマスクを作成する。

オブジェクト追跡部１２は、まず、キーフレームから終了フレームまでの間のフレームにおいて、実施の形態２と同様に、１つ前のフレームを追跡元としてオブジェクト追跡を行い、オブジェクトマスクを生成する。その後、キーフレームから開始フレームまでの間のフレームにおいて、１つ後のフレーム（フレーム番号が１つ大きいフレーム）を追跡元として、フレーム番号を遡る方向へ向かって、順にオブジェクト追跡を行い、オブジェクトマスクを生成する。

図１９及び図２０は実施の形態３の画像処理装置１００の処理手順の一例を示すフローチャートである。以下、処理の主体を便宜上制御部１０とする。

制御部１０は、キーフレームオブジェクトマスクを取得する（Ｓ５１）。制御部１０は、キーフレームのフレーム画像を取得する（Ｓ５２）。制御部１０は、キーフレームオブジェクトマスクを用いて、キーフレームの奥行きマップを生成する（Ｓ５３）。

制御部１０は、キーフレームのフレーム画像及びステップＳ５３で生成した奥行きマップを用いて、キーフレームの多視点画像を生成する（Ｓ５４）。制御部１０は、変数ＮをＮ＝Ｋで初期化する（Ｓ５５）。

制御部１０は、フレーム番号Ｎ＋１のフレーム画像を取得し（Ｓ５６）、フレーム番号Ｎのフレーム画像とフレーム番号Ｎのオブジェクトマスクを用いたオブジェクト追跡によってフレーム番号Ｎ＋１のオブジェクトマスクを生成する（Ｓ５７）。この際、フレーム番号Ｎ＋１のフレーム画像とオブジェクトマスクを記憶部１３に記憶しておく。

制御部１０は、フレーム番号Ｎ＋１で生成したオブジェクトマスクを用いて、フレーム番号Ｎ＋１の奥行きマップを生成する（Ｓ５８）。制御部１０は、フレーム番号Ｎ＋１のフレーム画像及びステップＳ５８で生成した奥行きマップを用いて、フレーム番号Ｎ＋１の多視点画像を生成する（Ｓ５９）。

制御部１０は、フレーム番号Ｎ＋１が終了フレーム番号Ｅより小さいか否かを判定し、すなわちフレーム残の有無を判定し（Ｓ６０）、フレーム残ありの場合（Ｓ６０でＹＥＳ）、すなわち動画の途中のフレームである場合、Ｎ＋１をＮに置き換え（Ｓ６１）、ステップＳ５６以降の処理を繰り返す。

フレーム残なしの場合（Ｓ６０でＮＯ）、制御部１０は、変数ＮをＮ＝Ｋで再度初期化する（Ｓ６２）。

制御部１０は、フレーム番号Ｎ−１のフレーム画像を取得し（Ｓ６３）、フレーム番号Ｎのフレーム画像とフレーム番号Ｎのオブジェクトマスクを用いたオブジェクト追跡によってフレーム番号Ｎ−１のオブジェクトマスクを生成する（Ｓ６４）。この際、フレーム番号Ｎ−１のフレーム画像とオブジェクトマスクを記憶部１３に記憶しておく。

制御部１０は、フレーム番号Ｎ−１で生成したオブジェクトマスクを用いて、フレーム番号Ｎ−１の奥行きマップを生成する（Ｓ６５）。制御部１０は、フレーム番号Ｎ−１のフレーム画像及びステップＳ６５で生成した奥行きマップを用いて、フレーム番号Ｎ−１の多視点画像を生成する（Ｓ６６）。

制御部１０は、フレーム番号Ｎ−１が開始フレーム番号１より大きいか否かを判定し、すなわちフレーム残の有無を判定し（Ｓ６７）、フレーム残ありの場合（Ｓ６７でＹＥＳ）、すなわち動画の途中のフレームである場合、Ｎ−１をＮに置き換え（Ｓ６８）、ステップＳ６３以降の処理を繰り返す。フレーム残なしの場合（Ｓ６７でＮＯ）、制御部１０は、処理を終了する。

上述の例では、１つ前のフレームまたは１つ後のフレームを追跡元としてオブジェクト追跡を行う場合について示したが、これに限らず、全てのフレームにおいてキーフレーム画像を追跡元としてもよい。

上述のように、実施の形態３では、ユーザがオブジェクトマスクを与えるフレームをキーフレームとし、終了フレームへ進む方向と、開始フレームへ遡る方向の両方にオブジェクト追跡を行うため、ユーザが任意のフレームのオブジェクトマスクを与えても全てのフレームでオブジェクトを追跡することが可能となる。

（実施の形態４）
図２１は実施の形態４の画像処理装置１１０の構成を示すブロック図である。実施の形態１との相違点は、オブジェクト抽出部１７を備える点である。オブジェクト抽出部１７は、開始フレームオブジェクトマスクを外部の装置から取得する代わりに、画像処理装置１１０内で開始フレームオブジェクトマスクを生成するためのものである。他の部分の処理は図１の例と同じである。

オブジェクト抽出部１７は、入力部１１から２次元動画の最初のフレームのフレーム画像を取得し、取得したフレーム画像内の画素値に基づいてオブジェクト抽出処理を行い、開始フレームオブジェクトマスクを生成する。生成した開始フレームオブジェクトマスクは記憶部１３に記憶する。

オブジェクト抽出処理は、例えば、色による領域分割を行い、予め定めた特定色領域を抽出してオブジェクト領域とする。

なお、オブジェクト抽出部１７は、開始フレームとフレーム番号２のそれぞれのフレーム画像を取得し、開始フレームオブジェクトマスクを生成してもよい。この場合、オブジェクト抽出処理は、フレーム間差分の閾値処理により、画素値に変化があった画素を背景と異なる運動をするオブジェクトとみなし、オブジェクト領域として抽出することができる。他の例として、開始フレームとフレーム番号２の間のグローバルモーションを計算し、動きベクトルがグローバルモーションと異なる領域をオブジェクト領域として抽出することができる。オブジェクト抽出部１７は、開始フレームオブジェクトマスクの生成を行うだけであって、その後のフレームでの処理は実施しない。

上述の実施の形態において、オブジェクト追跡部１２が、任意のフレームでのフレーム画像上でオブジェクト領域を追跡することができない場合、オブジェクト抽出部１７で当該任意のフレーム以降のフレーム画像上で新たなオブジェクト領域を抽出するようにしてもよい。例えば、シーン（場面）が変わることにより、変わる前まで追跡していたオブジェクトが消えてしまい追跡することができない場合には、変わった次のシーン（場面）で新たにオブジェクト抽出を行ってオブジェクトマスクを生成することにより、シーン（場面）が変わった後もオブジェクト領域を追跡することができる。

上述のように、実施の形態４で、オブジェクト抽出部を備えることによって、ユーザが予め作成したオブジェクトマスクを入力する必要がなくなる。

本実施の形態１〜４の画像処理装置１００、１１０は、ＣＰＵ、ＲＡＭなどを備えたコンピュータを用いて実現することもできる。図２２は実施の形態１〜４の画像処理装置１００、１１０の機能を実現するコンピュータ２００の一例を示す説明図である。

本実施の形態の画像処理装置１００、１１０は、コンピュータ２００に実行させるためのプログラム（コンピュータプログラム）を記録したコンピュータ読み取り可能な記録媒体２０１に、上述のオブジェクト追跡処理、オブジェクト抽出処理、奥行き情報生成処理、立体画像生成処理などの各処理を記録しておく。そして、当該記録媒体２０１に記録したプログラムを光ディスク読取装置等で読み込ませることにより、コンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で画像処理部を実現することができる。また、当該コンピュータプログラムをインターネット等の通信ネットワーク２０２からダウンロードすることもできる。

この結果、前記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなものそのものがプログラムメディアであってもよいし、また、外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。ここで、前記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。前述の記録媒体は、画像処理装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

本実施の形態の画像処理装置としては、例えば、ブルーレイ・ＤＶＤレコーダ、ＧＰＵ（Graphics Processing Unit）又は３Ｄグラフィックスアクセラレータなどのような半導体チップ（ＩＣ）、２Ｄ３Ｄ変換ソフトウェアなどがある。また、画像処理装置と表示部とを備えた画像表示装置としては、例えば、テレビジョン受信機、サイネージなどのディスプレイ、タブレット（タブレット型の情報処理端末装置）、携帯電話機などがある。

上述の実施の形態において、２次元画像は、ビデオカメラ又はカメラ等の撮像装置で撮像された画像、コンピュータグラフィック（ＣＧ）で作成された画像などを含む。

１０ 制御部
１１ 入力部
１２ オブジェクト追跡部
５１１ 探索領域設定部
５１２ 尤度算出部
５１３ 領域抽出部
５１４ 後処理部
１３ 記憶部
１４ 奥行き情報生成部
１４１ 背景奥行き情報生成部
１４２ オブジェクト内奥行き情報生成部
１４３ 奥行き情報合成部
１５ 立体画像生成部
１６ 出力部
１７ オブジェクト抽出部

Claims (11)

1. ２次元動画を３次元動画に変換する画像処理装置において、
   複数のフレームの一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出するオブジェクト領域追跡手段と、
   前記オブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成するオブジェクト領域奥行き生成手段と、
   前記オブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成する背景領域奥行き生成手段と、
   前記オブジェクト領域奥行き情報及び前記背景領域奥行き情報を用いて多視点画像を生成する多視点画像生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記オブジェクト領域追跡手段は、
   前記一のフレームのオブジェクト領域内の画素値で表される特徴量及び前記他のフレームの探索領域内の画素値で表される特徴量の類似度に基づいて、前記他のフレームのオブジェクト領域を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクト領域追跡手段は、
   前記一のフレームのオブジェクト領域内の画素値及び前記他のフレームの探索領域内の画素値を用いて表される尤度に基づいて、前記他のフレームのオブジェクト領域を抽出することを特徴とする請求項１に記載の画像処理装置。
4. 前記一のフレームは、開始フレームであることを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
5. 前記一のフレームは、ユーザが選択した任意のフレームであることを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
6. 前記オブジェクト領域追跡手段は、
   各フレームの１つ前又は１つ後のフレームのオブジェクト領域情報を用いて前記各フレームのオブジェクト領域を抽出することを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
7. 前記一のフレームのフレーム画像内の画素値に基づいてオブジェクト領域を抽出する抽出手段を備えることを特徴とする請求項１から請求項６までのいずれか１項に記載の画像処理装置。
8. 前記オブジェクト領域追跡手段は、
   任意のフレーム画像上でオブジェクト領域を追跡することができない場合、新たなオブジェクト領域を抽出するようにしてあることを特徴とする請求項１から請求項７までのいずれか１項に記載の画像処理装置。
9. コンピュータに、２次元動画を３次元動画に変換させるためのコンピュータプログラムにおいて、
   コンピュータに、
   複数のフレームの一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出するステップと、
   前記オブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成するステップと、
   前記オブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成するステップと、
   前記オブジェクト領域奥行き情報及び前記背景領域奥行き情報を用いて多視点画像を生成するステップと
   を実行させることを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
11. ２次元動画を３次元動画に変換する画像処理装置による画像処理方法において、
    複数のフレームの一のフレームのオブジェクト領域情報を用いて他のフレームのオブジェクト領域を抽出するステップと、
    前記オブジェクト領域における奥行き情報を表すオブジェクト領域奥行き情報を生成するステップと、
    前記オブジェクト領域以外の領域である背景領域における奥行き情報を表す背景領域奥行き情報を生成するステップと、
    前記オブジェクト領域奥行き情報及び前記背景領域奥行き情報を用いて多視点画像を生成するステップと
    を含むことを特徴とする画像処理方法。