JP2014192794A - 奥行き制作支援装置、奥行き制作方法、及びプログラム - Google Patents

Abstract

【課題】被写体全体がカメラに向かって前進・後退する動画中の被写体輪郭線の奥行き設定を簡単な操作で行える奥行き制作支援装置を提供する。
【解決手段】複数のフレームで構成される動画像の、少数のキーフレームのマスク画像の輪郭線に全体に一律の奥行きであるベース奥行き値を設定し、隣り合うキーフレーム間の輪郭線のベース奥行き値を補間処理により求める。次に、少数のキーフレームの輪郭線上の局所的な凹凸を示す位置にアンカーポイントを設け、アンカーポイントの奥行き値を設定する。アンカーポイントの奥行き値とベース奥行き値を加算することにより最終奥行き値を求めるとともに、キーフレーム以外の全フレームの最終奥行き値を補間処理により求め、奥行き画像を制作する。
【選択図】図３

Description

本発明は、立体視を実現するための視差画像を生成する視差画像生成装置が利用する奥行き画像を制作する奥行き制作支援装置等に関する。

従来、３次元映像表示システムでは、大別して、２視差方式のものと、３以上の視差を持つ多視差方式のものがある。いずれの方式も、必要な視点数からシーンを見た映像を準備する必要がある。

最も直接的な映像の制作方法としては、必要な視差数分のカメラを用意し、同一シーンを所定の間隔に配置された複数のカメラで撮影する方法が考えられる。最近では２視差を直接撮影できるカメラが市販されているが、多視差を直接撮影できるカメラは一般的でない。

また、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を作成し、複数のカメラ位置を設定してレンダリングする方法も考えられる。３次元ＣＧ画像には奥行き情報が含まれており、３次元画像から多視差方式に対応した視差画像を作成することは可能である。しかし、カメラ位置の数が多い場合、レンダリング回数が多くなり、時間とコストがかかるという問題がある。さらに、ほとんどの映像はＣＧ画像ではなく実写であり、実写から３次元映像を作成することが求められている。

実写映像による多視差映像を制作する為に、平面（２Ｄ）映像を基にして多視差映像に変換する手法（いわゆる２次元／３次元変換の手法）は、いくつか存在する。しかし、多視差映像に変換する手法では、奥行き情報がない。そのため全てのシーン（フレーム）において手作業で１枚ずつ奥行き情報を作成する必要が生じ、非常に作業負荷が高かった。

そこで、奥行き値を設定するための手法として、例えば、特許文献１には、ユーザ指示に応じてメッシュ形状を変形させ、奥行き値を設定する技術が提案されている。また、特許文献２には、ユーザ指示に応じて等高線を描き、その等高線に奥行き値を設定する技術が提案されている。また、非特許文献１には、３次元空間内において、映像の選択部分をユーザが移動・回転させ、奥行き値を設定する技術が提案されている。

しかしながら、特許文献１に記載の技術は、操作すべき項目が多く、１フレーム分の奥行き情報を設定するために長時間を要し、設定した奥行き値が確認し難いという課題があった。また、特許文献２に記載の技術は、等高線を描き、奥行き情報を設定するために長時間を要するだけでなく、被写体が複雑な形状をしている場合、等高線の描写が困難になるという課題があった。また、非特許文献１に記載の技術は、設定方法は簡略化されているものの、異なるフレームにおける奥行き値の比較ができないため、位置関係の矛盾が生じやすいという課題があった。

そこで、本発明者らは、特許文献３において、（１）グラフとスライドバーを使用して奥行き値を設定する技術、（２）グラフとプレビュー画面を使用して奥行き値を確認する技術、（３）キーフレーム間の奥行き値を補間する技術、（４）前述の技術に基づいて奥行き画像及びラベル画像を生成する技術、を提案している。

さらに、本出願人は、特許文献４及び特許文献５において、局所的な凹凸を表現した奥行き画像を制作する技術を提案している。

特表２０１０−５１６１５５号公報 特表２０１１−５２３３２３号公報 特願２０１１−１６８９２０号 特願２０１２−０６９９２３号 特願２０１２−２２２８４０号

DepthDirector: A System for Adding Depth to Movies

しかしながら、特許文献１及び特許文献２に記載の技術では、操作すべき項目が多く、１フレーム分の奥行き情報を設定するために長時間を要するという従来からの課題がある。また、特許文献３に記載の技術では、マスク領域の局所的な出っ張りを表現できないという課題が残されているが、その課題を特許文献４に記載の技術で解決している。

しかしながら、特許文献４に記載の技術では、静止画像の局所的な凹凸を表現した奥行き画像を制作するものである。そこで、特許文献４に記載の技術を動画像に対応させることも可能であるが、１フレームずつ手作業で奥行き情報を設定するために多くの時間を要し、非常に作業負荷が高くなる課題があった。この課題を、特許文献５に記載の技術で解決している。

特許文献５に記載の技術では、動画像の各フレームの被写体に設定した一筆書きの輪郭線へ奥行き値を設定する際、輪郭線の少数の代表点（以下、アンカーポイントと記載する）への奥行き値を入力し、それらの間を補間することにより奥行き設定を行う。

図１６は、特許文献５に記載の技術による奥行き設定を説明する図である。
図１６（ａ）のフレームａから図１６（ｂ）のフレームｂにかけて、被写体がカメラに向かって前進してくるような画像に対してアンカーポイントを設置した状況を示している。

奥行き値の範囲は１〜２５５であり、フレームａからフレームｂにかけて、奥行き値を＋５０増加させるように設定されている。すなわち、指先に設置したアンカーポイントの奥行き値はフレームａでは１５０、フレームｂでは２００に設定されている。ここで、フレームｂにおいて被写体全体をより飛びださせるように更に＋５０奥行き値を増加させる設定をする場合、フレームｂのすべてのアンカーポイントの奥行き値を１つ１つ変更する必要があり、手間と時間がかかるという問題がある。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とするところは、被写体全体がカメラに向かって前進・後退する動画中の被写体輪郭線の奥行き設定を簡単な操作で行える奥行き制作支援装置等を提供することである。

前述した目的を達成するために、第１の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置であって、元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のフレームのマスク画像を読み込むマスク画像入力手段と、前記マスク画像に対して輪郭線を設定する輪郭線設定手段と、前記複数のフレームのマスク画像に対して、キーとなる第１のフレームを少なくとも２つ設定し、前記第１のフレーム毎に、輪郭線全体に一律の値である第１の奥行き値を設定するベース奥行き値設定手段と、隣り合う２つの前記第１のフレーム間にあるフレームの前記第１の奥行き値を、隣り合う２つの前記第１のフレームに設定された前記第１の奥行き値から補間により求めるベース奥行き値補間手段と、前記複数のフレームのマスク画像に対して、キーとなる第２のフレームを少なくとも２つ設定し、各前記第２のフレームの輪郭線上の対応する位置に複数の第１の点を設定し、前記第１の点に輪郭線上の局所的な凹凸を表す第２の奥行き値を設定するアンカーポイント設定手段と、前記第２のフレームの前記第１の点に設定された前記第２の奥行き値と、当該第２のフレームの前記第１の奥行き値を加算し、前記第２のフレームの前記第１の点の最終奥行き値を決定し、前記第２のフレームの隣り合う前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第１の点の前記最終奥行き値から補間により求める奥行き決定手段と、を具備することを特徴とする奥行き制作支援装置である。

第１の発明によって、動画中の被写体輪郭線の奥行き設定を簡単な操作で行うことが可能になる。
例えば、被写体全体がカメラに向かって前進したり、カメラから遠ざかるよう後退する動画について、ベース奥行き値設定手段により、被写体の輪郭線に一律の第１の奥行き値を設定し、アンカーポイント設定手段により、輪郭線上の特定の点（第１の点）に輪郭線上の局所的な凹凸を表す第２の奥行き値を設定するという簡単な操作により、前記奥行き決定手段が、前記第１の奥行き値と前記第２の奥行き値を加算して第１の点の最終的な奥行き値を求め、この値を元に輪郭線上の各位置の最終奥行き値を補間により求めることが可能になる。

前記輪郭線は、１ストロークで描画される閉曲線であることが好ましい。
また、前記第１のフレームは、前記複数のフレームのマスク画像のうちの最初のフレームと最後のフレームを含むことが望ましい。

前記ベース奥行き値補間手段は、前記隣り合う２つの第１のフレームに設定された前記第１の奥行き値を、前記隣り合う２つの第１のフレーム間にあるフレームと、前記隣り合う２つの第１のフレームとの間隔の比率によって線形補間することにより、前記隣り合う２つの第１のフレーム間にあるフレームの前記第１の奥行き値を決定する。
また、前記奥行き決定手段は、前記第２のフレームの前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記第１の点と前記輪郭線上の各位置の距離の比率によって前記第１の点の最終奥行き値を線形補間することにより求める。

前記奥行き決定手段は、隣り合う前記第２のフレーム間の各フレームの、前記第２のフレームに設定された前記第１の点に対応する第２の点の位置情報を、前記隣り合う第２のフレームの前記第１の点の位置情報を、前記隣り合う２つの第２のフレーム間にあるフレームと、前記隣り合う２つの第２のフレームとの間隔の比率によって線形補間することにより求め、前記第２の点の最終奥行き値を、前記隣り合う第２のフレームの前記第１の点の前記最終奥行き値を、前記隣り合う２つの第２のフレーム間にあるフレームと、前記隣り合う２つの第２のフレームとの間隔の比率によって線形補間することにより求める。

前記奥行き決定手段は、隣り合う２つの前記第２の点間の輪郭線上の各位置の最終奥行き値を、前記第２の点と前記輪郭線上の各位置の距離の比率によって前記第２の点の最終奥行き値を線形補間することにより求める。
これにより、全フレームのマスク画像の輪郭線上の全ての位置の最終奥行き値が決定可能になる。

前記奥行き決定手段は、前記最終奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出し、前記奥行き画像を作成する。
これにより、全フレームのマスク画像の全画素の最終奥行き値が求まり、奥行き画像の制作が可能になる。

第１の発明によって、被写体全体がカメラに向かって前進したり、カメラから遠ざかるよう後退する動画において、被写体全体の動きについて第１の奥行き値を設定し、輪郭線上の局所的な凹凸について第２の奥行き値を設定することにより、被写体全体の動きと、局所的な凹凸の奥行きを分けて設定可能になり、各フレームの輪郭線上の点の奥行き値を被写体全体の動きと局所的な凹凸を考慮していちいち入力する手間を省き、簡単な操作による奥行き画像制作が可能になる。

第２の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作方法であって、コンピュータが、元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のフレームのマスク画像を読み込むマスク画像入力ステップと、前記マスク画像に対して輪郭線を設定する輪郭線設定ステップと、前記複数のフレームのマスク画像に対して、キーとなる第１のフレームを少なくとも２つ設定し、前記第１のフレーム毎に、輪郭線全体に一律の値である第１の奥行き値を設定するベース奥行き値設定ステップと、隣り合う２つの前記第１のフレーム間にあるフレームの前記第１の奥行き値を、隣り合う２つの前記第１のフレームに設定された前記第１の奥行き値から補間により求めるベース奥行き値補間ステップと、前記複数のフレームのマスク画像に対して、キーとなる第２のフレームを少なくとも２つ設定し、各前記第２のフレームの輪郭線上の対応する位置に複数の第１の点を設定し、前記第１の点に輪郭線上の局所的な凹凸を表す第２の奥行き値を設定するアンカーポイント設定ステップと、前記第２のフレームの前記第１の点に設定された前記第２の奥行き値と、当該第２のフレームの前記第１の奥行き値を加算し、前記第２のフレームの前記点の最終奥行き値を決定し、前記第２のフレームの隣り合う前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第１の点の前記最終奥行き値から補間により求める奥行き決定ステップと、を実行することを特徴とする奥行き制作方法である。

第３の発明は、コンピュータを、立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置として機能させるためのプログラムであって、コンピュータを、元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のフレームのマスク画像を読み込むマスク画像入力手段、前記マスク画像に対して輪郭線を設定する輪郭線設定手と、前記複数のフレームのマスク画像に対して、キーとなる第１のフレームを少なくとも２つ設定し、前記第１のフレーム毎に、輪郭線全体に一律の値である第１の奥行き値を設定するベース奥行き値設定手段、隣り合う２つの前記第１のフレーム間にあるフレームの前記第１の奥行き値を、隣り合う２つの前記第１のフレームに設定された前記第１の奥行き値から補間により求めるベース奥行き値補間手段、前記複数のフレームのマスク画像に対して、キーとなる第２のフレームを少なくとも２つ設定し、各前記第２のフレームの輪郭線上の対応する位置に複数の第１の点を設定し、前記第１の点に輪郭線上の局所的な凹凸を表す第２の奥行き値を設定するアンカーポイント設定手段、前記第２のフレームの前記第１の点に設定された前記第２の奥行き値と、当該第２のフレームの前記第１の奥行き値を加算し、前記第２のフレームの前記第１の点の最終奥行き値を決定し、前記第２のフレームの隣り合う前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第１の点の前記最終奥行き値から補間により求める奥行き決定手段、として機能させるためのプログラムである。

本発明により、被写体全体がカメラに向かって前進・後退する動画中の被写体輪郭線の奥行き設定を簡単な操作で行える奥行き制作支援装置等を提供することが可能になる。

本発明の実施の形態に係る奥行き制作支援装置１のハードウエアの構成例を示す図 奥行き制作支援装置１及び視差画像生成装置の入出力データを示す図 動画像の奥行き制作支援処理の流れを示すフローチャート 奥行き制作支援装置１への入力データを示す図 奥行き制作支援装置１の処理の対象となる２次元画像３１の一例を示す図 ２次元画像３１から作成されるマスク画像５１の一例を示す図 マスク画像５１に設定された輪郭線６１の一例を示す図 カメラに向かって前進する被写体のマスク画像の説明図 ベース奥行き値設定画面７０の一例を示す図 ベース奥行き値の設定方法を説明する図 ベース奥行き値設定データ８０の一例を示す図 ベース奥行き値データ８５の一例を示す図 アンカーポイント設定画面９０の一例を示す図 本実施形態の奥行き制作支援装置１による奥行き値設定方法を説明する図 奥行き決定処理（図３のステップ６）の処理の詳細を示すフローチャート 従来の奥行き値設定方法を説明する図

以下、添付図面に基づいて、本発明に係るエッチングレート測定装置の好適な実施形態について詳細に説明する。

図１は、本発明の実施形態に係る輪郭線対応点決定支援装置１のハードウエア構成図である。尚、図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

輪郭線対応点決定支援装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。

ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、輪郭線対応点決定支援装置１が行う後述する処理を実行する。ＲＯＭは、不揮発性メモリであり、輪郭対応点決定支援装置１のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理を輪郭線対応点決定支援装置１に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。

通信制御部１４は、通信制御装置、通信ポート等を有し、輪郭線対応点決定支援装置１とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、輪郭線対応点決定支援装置１に対して、操作指示、動作指示、データ入力等を行うことができる。

表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して輪郭線対応点決定支援装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。

周辺機器Ｉ／Ｆ（インタフェース）部１７は、輪郭線対応点決定支援装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して輪郭線対応点決定支援装置１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続携帯は有線、無線を問わない。

バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２は、奥行き制作支援装置１および視差画像生成装置２の入出力データを示す図である。図２に示すように、奥行き制作支援装置１は、２次元画像３、背景画像４、マスク画像５、輪郭線６、および奥行き値７を入力データとし、奥行き画像８、およびラベル画像９を出力データとする。視差画像生成装置２は、２次元画像３、奥行き画像８、およびラベル画像９を入力データとし、視差画像１０を出力データとする。

２次元画像３、背景画像４、マスク画像５、輪郭線６は、奥行き制作支援装置１の制御部１１（以下、「制御部１１」と略記する。）が生成してもよいし、メディア入出力部１３、通信制御部１４等を介して外部から取得してもよい。
また、本実施の携帯の奥行き制作支援装置１では、奥行き値７については、少数のフレーム及び少数の輪郭線上の点についての奥行き値７を入力部１５を介して入力することにより、奥行き制作支援装置１がその他のフレーム及びその他の輪郭線上の点についての奥行き値７を生成する。詳細については後述する。

２次元画像３は、動画像（平面映像）の１枚分のフレーム画像または静止画像である。動画像（平面映像）には、例えば、単位時間当たり所定のフレーム数（通常、１秒間に３０フレーム）のカラー静止画像が含まれており、各画素がＲＧＢ各２５６段階の階調を持つ。

背景画像４は、背景の奥行き感を示す画像である。背景画像４は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。

マスク画像５は、特定の被写体を識別するための２値化画像である。マスク画像５は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。

輪郭線６は、マスク画像５の２値の境界を示す線である。輪郭線６は、制御部１１が輪郭線検出処理を行って生成するようにしてもよいし、ユーザがマウス等を使用して入力してもよい。

奥行き値７は、被写体の奥行き方向の位置を定義する値である。本発明では、奥行き値７の画素値の範囲を０〜２５５の２５６階調として表現する。０が黒、２５５が白、１〜２５４がグレー（中間調）に対応する。ユーザの入力操作によって、マスク画像の少数のフレームに設定されるベース奥行き値と、輪郭線６に沿っていくつかの点（以下、アンカーポイントと呼ぶ）について設定される局所的な凹凸の奥行き値が入力されると、制御部１１によって輪郭線６の内部領域の各画素の奥行き値７が算出され、設定される。

奥行き制作支援装置１は、２次元画像３、背景画像４、マスク画像５、輪郭線６、および奥行き値７に基づいて、奥行き画像８の制作を支援するものである。特に、本発明の実施の形態における奥行き制作支援装置１は、カメラに向かって前進したりカメラから遠ざかるように後退する立体物（被写体）の奥行き値の設定を簡単に行えるようにする方法に特徴がある。

奥行き画像８は、２次元画像３に係るカメラから被写体までの奥行き値を画素値に置き換えた画像である。ここで、カメラとは、視差画像生成装置２の内部処理において定義される仮想的なカメラを意味する。

奥行き画像８は、例えば、画素値の範囲が０〜２５５（８ビット）のグレースケールであり、０（黒）が最も奥、２５５（白）が最も手前を意味する場合が多いが、逆であってもよい。以下では、説明を分かり易くするために、奥行き画像８は、画素値の範囲が０〜２５５であり、０（黒）が最も奥、２５５（白）が最も手前を意味するものとする。

ラベル画像９は、それぞれの２次元画像３に対応付けて、２次元画像３に記録されたシーンを構成する被写体を識別する固有の数値（ラベル値）によって領域分けし、このラベル値を画素値に置き換えた（ラベリングされた）画像である。例えば、背景、建物、および人物から構成されるシーンにおいて、背景、建物、および人物に相当するラベル値として、それぞれＬ０、Ｌ１、Ｌ２を割り当て、対応する２次元画像３の各画素がどの被写体に属しているかを、Ｌ０、Ｌ１、Ｌ２の画素値に置き換えることによって表現する。

ラベル画像９は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、本発明のように、奥行き制作支援装置１が自動的に生成してもよい。

視差画像１０は、立体視を実現するための画像である。本発明の実施の形態では、視差画像１０は、特に、両目視差（約６０ｍｍ〜７０ｍｍ程度）を利用し、裸眼観察によって立体視を実現するための画像である。

尚、本発明の実施の形態では詳細に述べないが、複数の視差画像１０をディスプレイの仕様に合わせて合成し、ディスプレイに表示することによって、裸眼観察による立体視を実現することが可能となる。複数の視差画像１０の合成処理については、公知の技術を利用すればよい。

視差画像生成装置２は、２次元画像３、奥行き画像８、およびラベル画像９に基づいて視差画像１０を生成するものである。視差画像生成装置２の詳細は、本出願人が先に出願した、特願２０１０−１７６８６４号、および特願２０１１−５５８７８号に記載されている。

図３は、奥行き制作支援装置１が実行する動画像の奥行き制作支援処理の流れを説明するフローチャートである。

ステップ１において、奥行き制作支援装置１の制御部１１（以下、制御部１１ともいう。）は、ユーザからの指示に基づいて入力画像群（動画像）を読み込む。
ステップ２において、制御部１１は、ユーザによって輪郭抽出が指示されると、マスク画像５の輪郭を検出し、マスク画像上に輪郭線６を描画する。輪郭線６は、１ストロークで描画される閉曲線である。尚、輪郭線６の検出方法は、例えば、画素値の変化に基づいてエッジ（境界）を認識するといった一般的な手法を用いればよい。また、輪郭線６は、ユーザがマウス等の入力部１５を用いて入力したり、軌跡の形状を変形して得るようにしてもよい。

次に、制御部１１は、ステップ３において、ベース奥行き値８３の設定を行う。
ベース奥行き値８３の設定（ステップ３）は、本実施形態の奥行き制作支援装置１の特徴的な処理構成である。
ベース奥行き値８３は、一旦、被写体の輪郭線６に一律に設定される奥行き値であり、被写体全体の奥行き方向の位置を決定するものである。制御部１１は、少数のフレームについてのベース奥行き値８３の設定を支援する画面を表示部１６に表示し、ユーザに入力させる。
ベース奥行き値８３の設定については、後述する。

次に、制御部１１は、ステップ４において、ステップ３で設定された少数のフレームについてのベース奥行き値８３を元に、全てのフレームのベース奥行き値８３を補間により求める。

次に、制御部１１は、ステップ５において、少数のフレーム上に対応する点（以下、アンカーポイントと呼ぶ）を設定し、マスク画像の輪郭線の局所的な凹凸を表す奥行き値を設定する。制御部１１は、アンカーポイントと、アンカーポイントの奥行き値の入力を支援する画面を表示部１６に表示し、ユーザに入力させる。

次に、制御部１１は、ステップ６において、ステップ４のベース奥行き値補間処理及びステップ５のアンカーポイントの設定処理によって求まった、ベース奥行き値８３及び局所的な凹凸を表す奥行き値を元に、全てのフレームについて、輪郭線上の全ての点の最終奥行き値を算出し、奥行き画像を作成する。

以下、図３に示した動画像の奥行き制作支援処理について詳細に説明する。
図４は、奥行き制作支援装置１が扱う入力画像群を説明するための図である。

図４に示すように、入力画像群は、フレームごとに、２次元画像、被写体１から被写体ｎのｎ枚のマスク画像、及び背景画像が１組になっている。マスク画像の枚数ｎは、動画像に現れる立体物（被写体）の数に対応する。背景画像は、２次元画像のなかの立体物（被写体）を除いた部分の画像である。
例えば、フレーム数が１０００枚の場合、２次元画像は１０００枚、マスク画像はｎ×１０００枚、背景画像は１０００枚準備される。

図５は、図３のステップ１によって奥行き制作支援装置１に入力させる１フレーム分の２次元画像３１の一例を示す図である。
図５に示す２次元画像３１には１つの立体物（被写体）からなるので、１フレームの入力画像群は、二次元画像と１枚のマスク画像と、背景画像で構成される。
図５に示す二次元画像３１は、男性の被写体が左手でカメラ方向に腕を伸ばして指を指している。

図６は、図３のステップ１によって奥行き制作支援装置１に入力させる図５に示した二次元画像３１のマスク画像５１を示す図である。
マスク画像５１は奥行きについての情報を持たないため、被写体の向きや指を指している方向は不明である。そのため、奥行き画像制作支援装置１は、マスク画像５１の奥行き値７を設定して奥行き画像８を作成する処理を後述のように行うのである。

図７は、図３のステップ２によって、制御部１１がマスク画像５１について検出した輪郭線６１を示している。輪郭線６１は、マスク画像５１の画素値が変化するエッジ部分を認識する一般的な手法を用いて求めることができ、１ストロークで描画される閉曲線である。

制御部１１は、図３のステップ２によって、同一の被写体の全てのフレームについて輪郭線を得る。
図８は、図６、図７に示したマスク画像５１と同一の被写体の異なる２つのフレーム（フレームａとフレームｂ）の輪郭線の例を示す図である。

図８の輪郭線は、図５に示した腕を前に出して前方を指差している男性が、フレームａのカメラから遠い位置から、フレームｂのカメラ方向に前進している例を示している。
このような場合、被写体は同じように腕を前に出して前方を指差しているが、被写体全体は、フレームａではカメラから遠い、奥行きの深い奥の位置にあり、フレームｂでは、奥行きの浅い手前の位置にある。

次に、制御部１１は、図３のステップ３において、ベース奥行き値の設定を行う。
ベース奥行き値は、図８に示したような、被写体全体の奥行きを表す値である。

制御部１１は、図３のステップ３において、まず、ベース奥行き値を設定するための画面を表示部１６に表示す。
図９は、ベース奥行き値設定画面例７０を示す図である。

図９に示すように、ベース奥行き値設定画面７０は、例えば、マスク選択用プルダウン７１、画像表示領域７２、ベース奥行き値の設定領域７３、キーフレーム設定ボタン７７、キーフレーム選択ボタン７８、キーフレーム削除ボタン７９、ベース奥行き値設定ボタン６５、終了ボタン６６等で構成される。
また、ベース奥行き値設定領域７３は、ベース奥行き値表示領域７６、フレーム選択用スライダ７４、ベース奥行き値設定用スライダ７５等で構成される。

ベース奥行き値表示領域７６は、横軸をフレーム番号、縦軸をベース奥行き値として設定されたベース奥行き値を表示する。
縦軸のベース奥行き値は、１〜２５５の値を採ることが可能で、１が最も奥、２５５が最も手前であることを表す。

マスク選択用プルダウン７１は、ベース奥行き値を設定するマスク画像５を選択するためのプルダウンメニューであり、現在処理中の動画像についてのマスク画像に付された識別番号等が表示され、その中から、選択することが可能である。
図４のように、処理する動画像の二次元画像にｎ個の被写体が含まれ、ｎ個のマスク画像がある場合、マスク選択用プルダウン７１にはｎ個のマスク画像の識別番号等が表示され、その中の一つをユーザに選択させるようにする。

画像表示領域７２には、マスク選択用プルダウン７１で選択されたマスク画像の、フレーム選択用スライダ７４で選択されたフレームのマスク画像が表示される。
ユーザは、フレーム選択用スライダ７４をスライドさせて画像表示領域７２に表示されるマスク画像を見ながら、ベース奥行き値を設定するフレーム（以降、ベース奥行き値設定キーフレームと呼ぶ）を決定することが可能である。

フレーム選択用スライダ７４を所望の位置にスライドさせて、キーフレーム設定ボタン７７をマウス等でクリックすることにより、ベース奥行き値設定キーフレームを決定することが可能である。
次に、決定したベース奥行き値設定キーフレームのベース奥行き値を、ベース奥行き値設定用スライダ７５を所望の位置にスライドさせて、ベース奥行き値設定ボタン６５をマウス等でクリックすることによりベース奥行き値を決定することが可能である。

既に設定してあるキーフレームのマスク画像を画像表示領域７２に表示させたい場合には、キーフレーム選択ボタン７８を操作する。また、ベース奥行き値設定キーフレームを削除したい場合には、フレーム選択用スライダ７４を削除したいキーフレームの位置にスライドさせるか、キーフレーム選択ボタン７８してベース奥行き値設定キーフレームの位置に合わせて、キーフレーム削除ボタン７９をクリックすればよい。

図９のベース奥行き値設定画面７０は一例であり、画面の構成はこれに限ることはない。

図１０は、図８の２つのフレーム（フレームａ及びフレームｂ）のベース奥行き値を設定する場合のベース奥行き値設定領域７３の部分を、図１１は、ベース奥行き値の設定データ８０の例を示している。

図１０（ａ）に示すように、被写体が奥にあるフレームａ（フレーム番号２２）のベース奥行き値を例えば１００に設定し、被写体が手前に前進しているフレームｂ（フレーム番号３２）では、図１０（ｂ）に示すように、ベース奥行き値を例えば１５０に設定する。
設定されたベース奥行き値は、ベース奥行き設定キーフレームの番号とともに記憶部１２に格納される。

すなわち、図１１に示すように、ベース奥行き値は、ベース奥行き値設定データ８０として記憶部１２に格納される。
ベース奥行き値設定データ８０は、例えば、マスク画像の識別番号８１、ベース奥行き値設定キーフレームの番号８２、及び、ベース奥行き値８３で構成される。

図１１の例では、マスク画像１について、６つのベース奥行き値設定キーフレーム８２についてベース奥行き値８３が設定されたことを示している。
以上、図３のステップ３のベース奥行き値の設定処理により、被写体全体の奥行き方向の位置が、少数のベース奥行き値設定キーフレーム８２について決定される。

次に、制御部１１は、図３のステップ４のベース奥行き値補間処理により、記憶部１２に格納されているベース奥行き値設定データ８０を元に、当該マスク画像の全フレームについてのベース奥行き値を求める。

すなわち、隣り合う２つのベース奥行き値設定キーフレーム８２間の各フレーム８４についてのベース奥行き値８３を、隣り合う２つのベース奥行き値設定キーフレーム８２で設定されたベース奥行き値８３を用いて補間により求める。
例えば、図１１の例では、隣り合う２つのベース奥行き値設定キーフレーム８２番号「２２」と「３２」の間にあるフレーム番号２３〜３１についてのベース奥行き値８３を求める場合には、ベース奥行き値設定キーフレーム「２２」と「３２」のベース奥行き値８３の値である「１００」と「１５０」を用いて、求めるフレーム番号と両ベース奥行き値設定キーフレームの番号の比率に応じて線形補間して求めればよい。

図３のステップ４のベース奥行き値補間処理により、ベース奥行き値設定データ８０として記憶部１２に格納されたベース奥行き値設定キーフレーム間の全フレームについてのベース奥行き値８３が求められ、ベース奥行き値データ８５として記憶部１２に格納される。

図１２に示すように、ベース奥行き値データ８５は、マスク画像の識別番号８１、フレーム番号８４、及びベース奥行き値８３で構成される。
ベース奥行き値補間処理（図３のステップ４）により、特定の被写体のマスク画像が含まれる全フレームについてベース奥行き値８３が求まる。

次に、制御部１１は、図３のステップ５のアンカーポイントの設定処理を実行する。すなわち、表示部１６に、アンカーポイント設定画面９０を表示させ、ユーザにアンカーポイントを設定させる。

図１３は、アンカーポイント設定画面９０の一例を示す図である。
図１３に示す例では、アンカーポイント設定画面９０は、マスク選択用プルダウン９１、画像表示領域９２、アンカーポイントの設定領域９３、フレーム選択用スライダ９４、キーフレーム設定ボタン９６、キーフレーム削除ボタン９７、キーフレーム選択ボタン９８、終了ボタン９９等で構成される。

また、アンカーポイントの設定領域９３は、アンカーポイントの奥行き設定用スライダ８６、奥行き値表示部８７、設定ボタン８８、削除ボタン８９等で構成される。
図１３のアンカーポイント設定画面９０は一例であり、画面の構成はこれに限ることはない。

マスク選択用プルダウン９１は、アンカーポイントを設定するマスク画像５を選択するためのプルダウンメニューであり、現在処理中の動画像についてのマスク画像に付された識別番号等が表示され、その中から、選択することが可能である。

画像表示領域９２には、マスク選択用プルダウン９１で選択されたマスク画像５の、フレーム選択用スライダ９４で選択されたフレームのマスク画像が表示される。
ユーザは、フレーム選択用スライダ９４をスライドさせて画像表示領域９２に表示されるマスク画像を見ながら、アンカーポイントを設定するフレーム（以降、アンカーポイント設定キーフレームと呼ぶ）を決定することが可能である。

フレーム選択用スライダ９４を所望の位置にスライドさせて、キーフレーム設定ボタン９６をマウス等でクリックすることにより、アンカーポイント設定キーフレームを決定することが可能である。
図１３の例では、フレーム選択用スライダ９４をスライドさせて、フレーム３２をアンカーポイント設定キーフレームとしている。
決定したアンカーポイント設定キーフレームを決定すると、画像表示領域９２には、アンカーポイント設定キーフレームのマスク画像が輪郭線とともに表示される。

次に、制御部１１は、この輪郭線上に、局所的な凹凸を表すためのアンカーポイントを設定させる。すなわち、輪郭線上の局所的な凹凸の部分にマウス等によりカーソルを合わせクリックすることにより、アンカーポイントを設定する。
アンカーポイントは、画像表示領域９２において、例えば、図１３に示すように、○印で表示される。

図１３の例では、輪郭線の右下端から左回りに、腕の下の部分、手の甲の小指側の部分、人差し指の先、親指の付け根、首の付け根、反対側の首の付け根にアンカーポイントが設定されている。

次に、各アンカーポイントの奥行き値を、アンカーポイントの設定領域９３のアンカーポイントの奥行き設定用スライダ８６を使用して入力させる。
アンカーポイントの奥行き値は、−２５５〜＋２５５の値をとり、先に決定した輪郭線に一律に与えられたベース奥行き値に対する凹凸の程度を表す。

画像表示領域９２に表示されている輪郭線上のアンカーポイントの位置を決定した後、アンカーポイントの奥行き設定用スライダ８６を所望の位置にスライドして、設定ボタン８８をクリックすることにより奥行き値を設定するようにすればよい。奥行き値表示部８７には、アンカーポイントの奥行き設定用スライダ８６のスライド位置の奥行き値が表示される。

図１３の例では、先に位置を設定したアンカーポイントに対してアンカーポイントの奥行き値が設定され、輪郭線の右下端から左回りに、腕の下の部分のアンカーポイントに「０」、手の甲の小指側のアンカーポイントに「８０」、人差し指の先のアンカーポイントに「１００」、親指の付け根のアンカーポイントに「８０」、首の付け根のアンカーポイントに「０」、反対側の首の付け根のアンカーポイントに「０」の奥行き値が設定されている。

制御部１１は、設定されたアンカーポイントの位置情報とアンカーポイントの奥行き値は、マスク画像の識別番号、アンカーポイントのキーフレームのフレーム番号とともに、アンカーポイント情報として記憶部１２に格納する。

キーフレーム削除ボタン９７は、既に設定されているアンカーポイント設定キーフレームを削除する際にクリックする。
キーフレーム選択ボタン９８は、既に設定されているアンカーポイント設定キーフレームを選択する際に、クリックする。

アンカーポイントは、少なくとも２つのキーフレームの輪郭線上の対応する位置に設けられる。
図１４は、図８の、フレームａからフレームｂにかけて、被写体がカメラ方向に前進するマスク画像対するアンカーポイントの奥行き値設定を示す図である。

図１４（ａ）のフレームａついては先に設定したベース奥行き値「１００」が既に設定されており、アンカーポイントの設定処理（図３のステップ５）により、輪郭線の右下端から左回りに、腕の下の部分のアンカーポイントに「０」、手の甲の小指側のアンカーポイントに「８０」、人差し指の先のアンカーポイントに「１００」、親指の付け根のアンカーポイントに「８０」、首の付け根のアンカーポイントに「０」、反対側の首の付け根のアンカーポイントに「０」の奥行き値が設定されている。

被写体がカメラ方向に前進した図１４（ｂ）のフレームｂにおいても、フレームａのアンカーポイントの位置と対応する位置にアンカーポイントが設定され、フレーム（ａ）と同様に、腕の下の部分のアンカーポイントに「０」、手の甲の小指側のアンカーポイントに「８０」、人差し指の先のアンカーポイントに「１００」、親指の付け根のアンカーポイントに「８０」、首の付け根のアンカーポイントに「０」、反対側の首の付け根のアンカーポイントに「０」の奥行き値が設定されている。
図１４（ｂ）のフレームｂでは、先に設定したベース奥行き値「１５０」が既に設定されている。

図１４の場合、フレームａからフレームｂにかけて、腕を上げて指す輪郭線の形状は変わっていないので、図１４（ａ）のフレームａと図１４（ｂ）のフレームｂにおけるアンカーポイントの位置、奥行き値は同一になっている。
フレームの経過に従って、輪郭線の形状が変化するような場合には、アンカーポイントの位置はキーフレームの輪郭線上の対応する位置に設定され、アンカーポイントの奥行き値も異なる値に設定してもよい。

以上に示すように、アンカーポイントの設定処理（図３のステップ５）により、複数のアンカーポイントのキーフレームの輪郭線上の対応する複数の位置にアンカーポイントが設定され、アンカーポイントの奥行き値が設定される。

次に、制御部１１は、図３のステップ６において、ステップ３〜５で設定されたベース奥行き値とアンカーポイントの奥行き値を元に、最終的な奥行き値を求め、奥行き画像８を生成する。

図１５は、図３のステップ６の奥行き決定処理の流れを示すフローチャートである。
まず、制御部１１は、各アンカーポイントのキーフレームに設定されたアンカーポイントについて、最終奥行き値を求める（ステップ６１）。

すなわち、図１２に示すようなベース奥行き値データ８５を参照し、アンカーポイントのキーフレームのフレーム８４についてベース奥行き値８３を読み出し、ステップ５のアンカーポイントの設定処理において設定された各アンカーポイントの奥行き値と加算し、各アンカーポイントの最終奥行き値を算出する。
これによって、各アンカーポイントのキーフレームの、各アンカーポイントの最終奥行き値が求まる。

次に、ステップ６２において、制御部１１は、各アンカーポイントのキーフレームについて、隣り合うアンカーポイント間の輪郭線上の各点の最終奥行き値を、隣り合うアンカーポイントの最終奥行き値から補間処理により算出する。
これにより、各アンカーポイントのキーフレームの輪郭線の最終奥行き値が確定する。

次に、ステップ６３において、制御部１１は、隣り合うアンカーポイントのキーフレーム間の各フレームについて、輪郭線上の各点の奥行き値を算出する。
すなわち、まず、各フレームの輪郭線上に、アンカーポイントに対応する点の位置を求める。これは、当該フレームの両側にあるアンカーポイントのキーフレームにおけるアンカーポイントの位置情報を、対象フレームから両キーフレームまでのフレーム数の比率により補間することで求めることができる。

次に、アンカーポイントに対応する点の最終奥行き値を求める。これは、当該フレームの両側のアンカーポイントのキーフレームの対応するアンカーポイントの最終奥行き値を、対象フレームから両キーフレームまでのフレーム数の比率により補間することで求めることができる。
最後に、隣り合うアンカーポイントに対応する点の最終奥行き値を元に、その間の輪郭線上の点の最終奥行き値を求める。

ステップ６３により、全フレームについて、輪郭線上の点の最終奥行き値が求まる。

次に、ステップ６４において、制御部１１は、各フレームについて、輪郭線（閉曲線）内部の奥行き値を算出する。例えば、輪郭線内部の奥行き値は、輪郭線上の各点の最終奥行き値を用いて、輪郭線の内部領域が滑らかな平面を描くように計算される。

次に、ステップ６５において、制御部１１は、各フレームについて、輪郭線上の最終奥行き値及び輪郭線内部の奥行き値から、奥行き画像を作成し、出力する。
これにより、本実施の形態の奥行き制作支援装置１の動画像の奥行き制作支援処理が完了する。

以上のように、本発明の奥行き制作支援装置１により、被写体全体がカメラ方向に前進する動画像や、被写体がカメラ方向から後退する動画像について、マスク画像の輪郭線に与える奥行き値を簡単な操作で設定することが可能となり、立体視を実現する動画像処理を容易に行えるようになる。

以上、添付図を参照しながら、本発明の実施の形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………奥行き制作支援装置
２………視差画像生成装置
３、３１………２次元画像
５、５１、８１………マスク画像
６、６１………輪郭線
７………奥行き値
８………奥行き画像
７０………ベース奥行き値設定画面
８０………ベース奥行き値設定データ
８２………ベース奥行き値設定キーフレーム
８３………ベース奥行き値
８５………ベース奥行き値データ
９０………アンカーポイント設定画面

Claims (10)

1. 立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置であって、
   元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のフレームのマスク画像を読み込むマスク画像入力手段と、
   前記マスク画像に対して輪郭線を設定する輪郭線設定手段と、
   前記複数のフレームのマスク画像に対して、キーとなる第１のフレームを少なくとも２つ設定し、前記第１のフレーム毎に、輪郭線全体に一律の値である第１の奥行き値を設定するベース奥行き値設定手段と、
   隣り合う２つの前記第１のフレーム間にあるフレームの前記第１の奥行き値を、隣り合う２つの前記第１のフレームに設定された前記第１の奥行き値から補間により求めるベース奥行き値補間手段と、
   前記複数のフレームのマスク画像に対して、キーとなる第２のフレームを少なくとも２つ設定し、各前記第２のフレームの輪郭線上の対応する位置に複数の第１の点を設定し、前記第１の点に輪郭線上の局所的な凹凸を表す第２の奥行き値を設定するアンカーポイント設定手段と、
   前記第２のフレームの前記第１の点に設定された前記第２の奥行き値と、当該第２のフレームの前記第１の奥行き値を加算し、前記第２のフレームの前記第１の点の最終奥行き値を決定し、前記第２のフレームの隣り合う前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第１の点の前記最終奥行き値から補間により求める奥行き決定手段と、
   を具備することを特徴とする奥行き制作支援装置。
2. 前記輪郭線は、１ストロークで描画される閉曲線である
   ことを特徴とする請求項１に記載の奥行き制作支援装置。
3. 前記第１のフレームは、前記複数のフレームのマスク画像のうちの最初のフレームと最後のフレームを含む
   ことを特徴とする請求項１に記載の奥行き制作支援装置。
4. 前記ベース奥行き値補間手段は、前記隣り合う２つの第１のフレームに設定された前記第１の奥行き値を、前記隣り合う２つの第１のフレーム間にあるフレームと、前記隣り合う２つの第１のフレームとの間隔の比率によって線形補間することにより、前記隣り合う２つの第１のフレーム間にあるフレームの前記第１の奥行き値を決定する
   ことを特徴とする請求項１又は請求項３に記載の奥行き制作支援装置。
5. 前記奥行き決定手段は、前記第２のフレームの前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記第１の点と前記輪郭線上の各位置の距離の比率によって前記第１の点の最終奥行き値を線形補間することにより求める
   ことを特徴とする請求項１又は請求項２に記載の奥行き制作支援装置。
6. 前記奥行き決定手段は、隣り合う前記第２のフレーム間の各フレームの、前記第２のフレームに設定された前記第１の点に対応する第２の点の位置情報を、前記隣り合う第２のフレームの前記第１の点の位置情報を、前記隣り合う２つの第２のフレーム間にあるフレームと、前記隣り合う２つの第２のフレームとの間隔の比率によって線形補間することにより求め、前記第２の点の最終奥行き値を、前記隣り合う第２のフレームの前記第１の点の前記最終奥行き値を、前記隣り合う２つの第２のフレーム間にあるフレームと、前記隣り合う２つの第２のフレームとの間隔の比率によって線形補間することにより求める
   ことを特徴とする請求項１に記載の奥行き制作支援装置。
7. 前記奥行き決定手段は、隣り合う２つの前記第２の点間の輪郭線上の各位置の最終奥行き値を、前記第２の点と前記輪郭線上の各位置の距離の比率によって前記第２の点の最終奥行き値を線形補間することにより求める
   ことを特徴とする請求項６に記載の奥行き制作支援装置。
8. 前記奥行き決定手段は、前記最終奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出し、前記奥行き画像を作成する
   ことを特徴とする請求項１乃至請求項７のいずれかに記載の奥行き制作支援装置。
9. 立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作方法であって、
   コンピュータが、
   元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のフレームのマスク画像を読み込むマスク画像入力ステップと、
   前記マスク画像に対して輪郭線を設定する輪郭線設定ステップと、
   前記複数のフレームのマスク画像に対して、キーとなる第１のフレームを少なくとも２つ設定し、前記第１のフレーム毎に、輪郭線全体に一律の値である第１の奥行き値を設定するベース奥行き値設定ステップと、
   隣り合う２つの前記第１のフレーム間にあるフレームの前記第１の奥行き値を、隣り合う２つの前記第１のフレームに設定された前記第１の奥行き値から補間により求めるベース奥行き値補間ステップと、
   前記複数のフレームのマスク画像に対して、キーとなる第２のフレームを少なくとも２つ設定し、各前記第２のフレームの輪郭線上の対応する位置に複数の第１の点を設定し、前記第１の点に輪郭線上の局所的な凹凸を表す第２の奥行き値を設定するアンカーポイント設定ステップと、
   前記第２のフレームの前記第１の点に設定された前記第２の奥行き値と、当該第２のフレームの前記第１の奥行き値を加算し、前記第２のフレームの前記第１の点の最終奥行き値を決定し、前記第２のフレームの隣り合う前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第１の点の前記最終奥行き値から補間により求める奥行き決定ステップと、
   を実行することを特徴とする奥行き制作方法。
10. コンピュータを、立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置として機能させるためのプログラムであって、
    コンピュータを、
    元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のフレームのマスク画像を読み込むマスク画像入力手段、
    前記マスク画像に対して輪郭線を設定する輪郭線設定手と、
    前記複数のフレームのマスク画像に対して、キーとなる第１のフレームを少なくとも２つ設定し、前記第１のフレーム毎に、輪郭線全体に一律の値である第１の奥行き値を設定するベース奥行き値設定手段、
    隣り合う２つの前記第１のフレーム間にあるフレームの前記第１の奥行き値を、隣り合う２つの前記第１のフレームに設定された前記第１の奥行き値から補間により求めるベース奥行き値補間手段、
    前記複数のフレームのマスク画像に対して、キーとなる第２のフレームを少なくとも２つ設定し、各前記第２のフレームの輪郭線上の対応する位置に複数の第１の点を設定し、前記第１の点に輪郭線上の局所的な凹凸を表す第２の奥行き値を設定するアンカーポイント設定手段、
    前記第２のフレームの前記第１の点に設定された前記第２の奥行き値と、当該第２のフレームの前記第１の奥行き値を加算し、前記第２のフレームの前記第１の点の最終奥行き値を決定し、前記第２のフレームの隣り合う前記第１の点間の輪郭線上の各位置の最終奥行き値を、前記隣り合う前記第１の点の前記最終奥行き値から補間により求める奥行き決定手段、
    として機能させるためのプログラム。

Images