JP2014075726A - 奥行き制作支援装置、奥行き制作支援方法、およびプログラム - Google Patents

Abstract

【課題】動画像中の立体物の局所的な凹凸を表現した奥行き画像を簡単な操作で制作する奥行き制作支援装置等を提供する。
【解決手段】フレームＦ４１、フレームＦ４３には、動画像中の局所的に凹凸を表現する部分が追加輪郭線として設定され、その追加輪郭線が元の輪郭線と結合され、新たな輪郭線が生成されている。奥行き制作支援装置は、フレームＦ４１とフレームＦ４３の新たな輪郭線の各ポイント位置を補間し、フレームＦ４１とフレームＦ４３の新たな輪郭線に沿って指定された各アンカーポイントＡＰの位置を補間し、フレームＦ４１とフレームＦ４３の各アンカーポイントＡＰに設定された奥行き値を補間することで、フレームＦ４２の輪郭線、アンカーポイントＡＰの位置、アンカーポイントＡＰの奥行き値を計算する。奥行き制作支援装置は、計算された奥行き値から輪郭線上の奥行き値、輪郭線内部の奥行き値を計算し、奥行き画像を出力する。
【選択図】図１８

Description

本発明は、立体視を実現するための視差画像を生成する視差画像生成装置が利用する奥行画像を制作する奥行き制作支援装置等に関するものである。

従来、３次元映像表示システムでは、大別して、２視差方式のものと、３以上の視差を持つ多視差方式のものがある。いずれの方式も、必要な視点数からシーンを見た映像を準備する必要がある。

最も直接的な映像の制作方法としては、必要な視差数分のカメラを用意し、同一シーンを所定の間隔に配置された複数のカメラで撮影する方法が考えられる。最近では２視差を直接撮影できるカメラが市販されているが、多視差を直接撮影できるカメラは一般的でない。

また、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を作成し、複数のカメラ位置を設定してレンダリングする方法も考えられる。３次元ＣＧ画像には奥行き情報が含まれており、３次元画像から多視差方式に対応した視差画像を作成することは可能である。しかし、カメラ位置の数が多い場合、レンダリング回数が多くなり、時間とコストがかかるという問題がある。さらに、ほとんどの映像はＣＧ画像ではなく実写であり、実写から３次元映像を作成することが求められている。

実写映像による多視差映像を制作する為に、平面（２Ｄ）映像を基にして多視差映像に変換する手法（いわゆる２次元／３次元変換の手法）は、いくつか存在する。しかし、多視差映像に変換する手法では、奥行き情報がない。そのため全てのシーン（フレーム）において手作業で１枚ずつ奥行き情報を作成する必要が生じ、非常に作業負荷が高かった。

そこで、奥行き値を設定するための手法として、例えば、特許文献１には、ユーザ指示に応じてメッシュ形状を変形させ、奥行き値を設定する技術が提案されている。また、特許文献２には、ユーザ指示に応じて等高線を描き、その等高線に奥行き値を設定する技術が提案されている。

しかしながら、特許文献１に記載の技術は、操作すべき項目が多く、１フレーム分の奥行き情報を設定するために長時間を要し、設定した奥行き値が確認し難いという課題があった。また、特許文献２に記載の技術は、等高線を描き、奥行き情報を設定するために長時間を要するだけでなく、被写体が複雑な形状をしている場合、等高線の描写が困難になるという課題があった。

そこで、本出願人は、特許文献３において、（１）グラフとスライドバーを使用して奥行き値を設定する技術、（２）グラフとプレビュー画面を使用して奥行き値を確認する技術、（３）キーフレーム間の奥行き値を補間する技術、（４）前述の技術に基づいて奥行き画像およびラベル画像を生成する技術、を提案している。

さらに、本出願人は、特許文献４において、局所的な凹凸を表現した奥行き画像を制作する技術を提案している。

特表２０１０−５１６１５５号公報 特表２０１１−５２３３２３号公報 特願２０１１−１６８９２０号公報 特願２０１２−０６９９２３号公報

しかしながら、特許文献１および特許文献２に記載の技術では、操作すべき項目が多く、１フレーム分の奥行き情報を設定するために長時間を要するという従来からの課題がある。また特許文献３に記載の技術では、マスク領域の局所的な出っ張りを表現できないという課題が残されているが、その課題を特許文献４に記載の技術で解決している。

しかしながら、特許文献４に記載の技術では、静止画像の局所的な凹凸を表現した奥行き画像を制作するものである。そこで、特許文献４に記載の技術を動画像に対応させることも可能であるが、１フレームずつ手作業で奥行き情報を設定するために多くの時間を要し、非常に作業負荷が高くなる課題があった。

本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、動画像中の立体物の局所的な凹凸を表現した奥行き画像を簡単な操作で制作することを支援する奥行き制作支援装置などを提供することである。

前述した目的を達成するための第１の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作支援装置であって、元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力手段と、前記マスク画像に対して輪郭線を設定する輪郭線設定手段と、前記特定の被写体のうち、局所的に凹凸を表現する部分が出現する第１のフレームおよび、前記局所的に凹凸を表現する部分が消滅する直前の第２のフレームに対して追加輪郭線を設定する追加輪郭線設定手段と、前記第１のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第１の輪郭線を設定するとともに、前記第２のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第２の輪郭線を設定する輪郭線再設定手段と、前記第１の輪郭線の値および前記第２の輪郭線の値を補間することにより、前記第１と第２のフレーム間にあるマスク画像に対して第３の輪郭線を設定する第１の補間手段と、前記第１の輪郭線に沿って第１の複数の点を設定するとともに、前記第２の輪郭線に沿って第２の複数の点を設定するアンカーポイント設定手段と、前記第１の複数の点の位置情報および前記第２の複数の点の位置情報をそれぞれ補間することにより、前記第３の輪郭線に沿って第３の複数の点を設定する第２の補間手段と、前記アンカーポイント設定手段によって設定された前記第１の複数の点、および前記第２の複数の点に対してそれぞれ奥行き値を設定する奥行き値設定手段と、前記第１の複数の点および前記第２の複数の点に設定された奥行き値をそれぞれ補間することにより、前記第３の複数の点に対して奥行き値を設定する第３の補間手段と、を具備することを特徴とする奥行き制作支援装置である。
第１の発明によって、動画像中の立体物の局所的な凹凸を表現した奥行き画像の制作支援を簡単な操作ですることが可能となる。

第１の発明は、前記奥行き値設定手段および前記第３の補間手段によって設定された奥行き値に基づき、前記第１乃至第３の輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出手段と、前記奥行き値算出手段によって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成手段と、をさらに具備することが望ましい。
これによって、動画像中の立体物の局所的な凹凸を表現した奥行き画像を簡単な操作で制作することが可能となる。

前記第1の補間手段、前記第２の補間手段、及び、前記第３の補間手段は、前記第１のフレーム及び前記第２のフレームの間隔と、前記第１のフレーム及び前記マスク画像に係る前記フレームの間隔との比率によって、値を線形補間する。
これによって、フレーム間隔に応じて値を線形補間することによって、滑らかに値を補間することができる。

前記アンカーポイント設定手段は、前記第１の輪郭線に沿って設定した前記第１の複数の点の位置情報を記憶するとともに、前記第２の輪郭線に沿って設定した前記第２の複数の点の位置情報を記憶する。
これによって、精度良くアンカーポイント位置を設定することが可能となる。

前記第１乃至第３の輪郭線は、１ストロークで描画される閉曲線である。
これによって、被写体の輪郭線の内部に重なりがあるような画像であっても、重なりを境界（輪郭線）として表現することが可能となる。

第２の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作支援装置の奥行き制作支援方法であって、元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力ステップと、前記マスク画像に対して輪郭線を設定する輪郭線設定ステップと、前記特定の被写体のうち、局所的に凹凸を表現する部分が出現する第１のフレームおよび、前記局所的に凹凸を表現する部分が消滅する直前の第２のフレームに対して追加輪郭線を設定する追加輪郭線設定ステップと、前記第１のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第１の輪郭線を設定するとともに、前記第２のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第２の輪郭線を設定する輪郭線再設定ステップと、前記第１の輪郭線の値および前記第２の輪郭線の値を補間することにより、前記第１と第２のフレーム間にあるマスク画像に対して第３の輪郭線を設定する第１の補間ステップと、前記第１の輪郭線に沿って第１の複数の点を設定するとともに、前記第２の輪郭線に沿って第２の複数の点を設定するアンカーポイント設定ステップと、前記第１の複数の点の位置情報および前記第２の複数の点の位置情報をそれぞれ補間することにより、前記第３の輪郭線に沿って第３の複数の点を設定する第２の補間ステップと、前記アンカーポイント設定ステップで設定された前記第１の複数の点、および前記第２の複数の点に対してそれぞれ奥行き値を設定する奥行き値設定ステップと、前記第１の複数の点および前記第２の複数の点に設定された奥行き値をそれぞれ補間することにより、前記第３の複数の点に対して奥行き値を設定する第３の補間ステップと、を含むことを特徴とする奥行き制作支援方法である。
第２の発明によって、動画像中の立体物の局所的な凹凸を表現した奥行き画像の制作支援を簡単な操作ですることが可能となる。

第３の発明は、コンピュータを、立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作支援装置として機能させるプログラムであって、元の映像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力手段と、前記マスク画像に対して輪郭線を設定する輪郭線設定手段と、前記特定の被写体のうち、局所的に凹凸を表現する部分が出現する第１のフレームおよび、前記局所的に凹凸を表現する部分が消滅する直前の第２のフレームに対して追加輪郭線を設定する追加輪郭線設定手段と、前記第１のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第１の輪郭線を設定するとともに、前記第２のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第２の輪郭線を設定する輪郭線再設定手段と、前記第１の輪郭線の値および前記第２の輪郭線の値を補間することにより、前記第１と第２のフレーム間にあるマスク画像に対して第３の輪郭線を設定する第１の補間手段と、前記第１の輪郭線に沿って第１の複数の点を設定するとともに、前記第２の輪郭線に沿って第２の複数の点を設定するアンカーポイント設定手段と、前記第１の複数の点の位置情報および前記第２の複数の点の位置情報をそれぞれ補間することにより、前記第３の輪郭線に沿って第３の複数の点を設定する第２の補間手段と、前記アンカーポイント設定手段によって設定された前記第１の複数の点、および前記第２の複数の点に対してそれぞれ奥行き値を設定する奥行き値設定手段と、前記第１の複数の点および前記第２の複数の点に設定された奥行き値をそれぞれ補間することにより、前記第３の複数の点に対して奥行き値を設定する第３の補間手段と、を具備することを特徴とする奥行き制作装置として機能させるプログラムである。
第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の奥行き制作支援装置を得ることができる。

本発明により、動画像中の立体物の局所的な凹凸を表現した奥行き画像を簡単な操作で制作することが可能な奥行き制作支援装置などを提供することができる。

本発明の実施の形態に係る奥行き制作支援装置のハードウェアの構成例を示す図である。 奥行き制作支援装置および視差画像生成装置の入出力データを示す図である。 動画像の奥行き制作支援処理を説明するフローチャートである。 動画像の奥行き制作支援画面の表示例を示す図である。 入力画像の例を示す図である。 マスク画像の例を示す図である。 マスク画像上に描画される輪郭線の例を示す図である。 追加輪郭線の例を示す図である。 元の輪郭線と追加輪郭線とが結合されて生成された新たな輪郭線の例を示す図である。 追加輪郭線が設定された場合の入力画像と追加輪郭線情報の対応付けを模式的に示す図である。 アンカーポイント設定部を含む動画像の奥行き制作支援画面の表示例を示す図である。 マスク画像に設定された輪郭線に対し、アンカーポイントが設定される処理を説明するための図である。 図３のステップＳ５の奥行き画像出力処理の詳細を説明するフローチャートである。 図１３のステップＳ１２の追加輪郭線の取得処理の詳細を説明するフローチャートである。 図１４のステップＳ３３〜Ｓ３５における追加輪郭線のキーフレーム補間処理の詳細を説明する図である。 図１３のステップＳ１５のアンカーポイント取得処理の詳細を説明するフローチャートである。 図１６のステップＳ４３〜ステップＳ４５におけるアンカーポイント位置のキーフレーム補間処理の詳細を説明する図である。 図１６のステップＳ４８〜ステップＳ５０におけるアンカーポイント奥行き値のキーフレーム補間処理の詳細を説明する図である。

以下、図面に基づいて、本発明の実施の形態を詳細に説明する。

［本発明の実施の形態］
図１は、本発明の実施の形態に係る奥行き制作支援装置１のハードウェアの構成例を示す図である。尚、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

奥行き制作支援装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。

ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、奥行き制作支援装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、奥行き制作支援装置１のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を奥行き制作支援装置１に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。

通信制御部１４は、通信制御装置、通信ポート等を有し、奥行き制作支援装置１とネットワーク間の通信を媒介する通信インターフェイスであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、奥行き制作支援装置１に対して、操作指示、動作指示、データ入力等を行うことができる。

表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して奥行き制作支援装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。

周辺機器Ｉ／Ｆ（インターフェイス）部１７は、奥行き制作支援装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して奥行き制作支援装置１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢ（Universal
Serial Bus）やＩＥＥＥ（The Institute of Electrical and Electronics Engineers）１３９４やＲＳ−２３５Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。

バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２は、奥行き制作支援装置１および視差画像生成装置２の入出力データを示す図である。図２に示すように、奥行き制作支援装置１は、２次元画像３、背景画像４、マスク画像５、輪郭線６、および奥行き値７を入力データとし、奥行き画像８、およびラベル画像９を出力データとする。視差画像生成装置２は、２次元画像３、奥行き画像８、およびラベル画像９を入力データとし、視差画像１０を出力データとする。

２次元画像３、背景画像４、およびマスク画像５は、奥行き制作支援装置１の制御部１１（以下、「制御部１１」と略記する。）が生成してもよいし、メディア入出力部１３、通信制御部１４等を介して外部から取得してもよい。また、輪郭線６および奥行き値７は、奥行き制作支援装置１の入力部１５を介して入力してもよいし、予め輪郭線６および奥行き値７が定義されたファイルを外部から取得してもよい。

２次元画像３は、動画像（平面映像）の１枚分のフレーム画像または静止画像である。動画像（平面映像）には、例えば、単位時間当たり所定のフレーム数（通常、１秒間に３０フレーム）のカラー静止画像が含まれており、各画素がＲＧＢ各２５６段階の階調を持つ。

背景画像４は、背景の奥行き感を示す画像である。背景画像４は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。

マスク画像５は、特定の被写体を識別するための２値化画像である。マスク画像５は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。

輪郭線６は、マスク画像５の２値の境界を示す線である。輪郭線６は、制御部１１が輪郭線検出処理を行って生成するようにしてもよいし、ユーザがマウス等を使用して入力してもよい。

奥行き値７は、被写体の奥行き方向の位置を定義する値である。本発明では、奥行き値７の画素値の範囲を０〜２５５の２５６階調として表現する。０が黒、２５５が白、１〜２５４がグレー（中間調）に対応する。ユーザの入力操作によって、輪郭線６に沿っていくつかの点（以下、アンカーポイントと呼ぶ）が指定され、各アンカーポイントに対してそれぞれ奥行き値７が入力されると、制御部１１によって輪郭線６の内部領域の各画素の奥行き値７が算出され、設定される。

奥行き制作支援装置１は、２次元画像３、背景画像４、マスク画像５、輪郭線６、および奥行き値７に基づいて、奥行き画像８の制作を支援するものである。特に、本発明の実施の形態における奥行き制作支援装置１は、動画像中の立体物の局所的な出っ張り（または窪み）を表現した奥行き画像を作成するために、輪郭線６に追加輪郭線を設定し、追加輪郭線が出現するフレーム間を補間し、さらに追加輪郭線上のアンカーポイント位置および奥行き値を補間する方法に特徴がある。

奥行き画像８は、２次元画像３に係るカメラから被写体までの奥行き値を画素値に置き換えた画像である。ここで、カメラとは、視差画像生成装置２の内部処理において定義される仮想的なカメラを意味する。

奥行き画像８は、例えば、画素値の範囲が０〜２５５（８ビット）のグレースケールであり、０（黒）が最も奥、２５５（白）が最も手前を意味する場合が多いが、逆であってもよい。以下では、説明を分かり易くするために、奥行き画像８は、画素値の範囲が０〜２５５であり、０（黒）が最も奥、２５５（白）が最も手前を意味するものとする。

ラベル画像９は、それぞれの２次元画像３に対応付けて、２次元画像３に記録されたシーンを構成する被写体を識別する固有の数値（ラベル値）によって領域分けし、このラベル値を画素値に置き換えた（ラベリングされた）画像である。例えば、背景、建物、および人物から構成されるシーンにおいて、背景、建物、および人物に相当するラベル値として、それぞれＬ０、Ｌ１、Ｌ２を割り当て、対応する２次元画像３の各画素がどの被写体に属しているかを、Ｌ０、Ｌ１、Ｌ２の画素値に置き換えることによって表現する。

ラベル画像９は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、本発明のように、奥行き制作支援装置１が自動的に生成してもよい。

視差画像１０は、立体視を実現するための画像である。本発明の実施の形態では、視差画像１０は、特に、両目視差（約６０ｍｍ〜７０ｍｍ程度）を利用し、裸眼観察によって立体視を実現するための画像である。

尚、本発明の実施の形態では詳細に述べないが、複数の視差画像１０をディスプレイの仕様に合わせて合成し、ディスプレイに表示することによって、裸眼観察による立体視を実現することが可能となる。複数の視差画像１０の合成処理については、公知の技術を利用すればよい。

視差画像生成装置２は、２次元画像３、奥行き画像８、およびラベル画像９に基づいて視差画像１０を生成するものである。視差画像生成装置２の詳細は、本出願人が先に出願した、特願２０１０−１７６８６４号、および特願２０１１−５５８７８号に記載されている。

（奥行き制作支援処理）
図３は、奥行き制作支援装置１が実行する動画像の奥行き制作支援処理を説明するフローチャートである。

ステップＳ１において、制御部１１は、ユーザからの指示に基づいて入力画像群（動画像）を読み込む。ステップＳ２において、制御部１１は、ユーザによって輪郭抽出が指示されると、マスク画像５の輪郭を検出し、マスク画像上に輪郭線６を描画する。輪郭線は、１ストロークで描画される閉曲線となる。なお、輪郭線の検出方法は、例えば画素値の変化に基づいてエッジ（境界）を認識するといった一般的な手法を用いればよい。また、輪郭線は、ユーザがマウス等によって入力したり、軌跡の形状を変更したりしてもよい。

次に、ユーザは、立体物のうち、局所的に凹凸を表現したい部分に対し、更に追加輪郭線の設定処理を行う。例えば、ユーザは、図４に示すような動画像の奥行き制作支援画面４０を表示部１６に表示させる。図４の例の場合、動画像の奥行き制作支援画面４０には、画像表示領域４１、追加輪郭線設定部４２、スライダ４３、「キーフレーム削除」ボタン４４、「新規作成」チェックボックス４５、「ポイント追加」チェックボックス４６、「削除」ボタン４７、デプス値（奥行き値）入力欄４８、「設定」ボタン４９、「削除」ボタン５０、「プレレンダリング」ボタン５１、「レンダリング」ボタン５２が表示されている。

画像表示領域４１には、読み込まれた入力画像（動画像）が表示される。追加輪郭線設定部４２では、ユーザによって、追加輪郭線を追加したい開始フレームの位置にスライダ４３が横方向に移動（操作）され、所望のフレームが画像表示領域４１に表示されている状態で「新規作成」チェックボックス４５にチェックを入れられ、画像表示領域４１にマウス等を用いて追加輪郭線が入力されると、その開始フレームがキーフレームとして追加される。次に、追加輪郭線の終了フレームの位置にスライダ４３が横方向に移動（操作）され、所望のフレームが画像表示領域４１に表示されている状態で画像表示領域４１にマウス等を用いて追加輪郭線が入力されると、その終了フレームがキーフレームとして追加される。開始フレームと終了フレームがキーフレームとして追加された後に「新規作成」チェックボックス４５のチェックが外されると「追加輪郭線」として設定される。

また所定の「追加輪郭線」が選択されている状態で、スライダ４３が横方向に移動（操作）され、所望のフレームが画像表示領域４１に表示されている状態で「ポイント追加」チェックボックス４６にチェックが入れられ、画像表示領域４１にマウス等を用いて追加輪郭線が入力された後に、「ポイント追加」チェックボックス４６のチェックが外されると、そのフレームがキーフレームとして、選択中の「追加輪郭線」に追加される。

図４の例では、「追加輪郭線０」に対して、フレームＦ１が開始フレーム、フレームＦ４が終了フレーム、フレームＦ２、Ｆ３が追加フレームとして設定され、「追加輪郭線１」に対して、フレームＦ５が開始フレーム、フレームＦ６が終了フレームとして設定されていることが明示されている。

「削除」ボタン４７は、画像表示領域４１に表示されている画像（フレーム）に既に設定されている追加輪郭線を削除する場合に操作される。デプス値入力欄４８は、選択されているアンカーポイントに対して奥行き値を数値（０〜２５５）で入力するための入力欄である。「設定」ボタン４９は、デプス値入力欄４８に入力された奥行き値をマスク画像５に設定する場合に操作される。「削除」ボタン５０は、既に設定されているアンカーポイントを削除する場合に操作される。「プレレンダリング」ボタン５１は、現設定によって書き出される奥行き画像を表示領域４１に表示させ、設定内容の確認を行う場合に操作される。「レンダリング」ボタン５２は、奥行き画像とラベル画像の書き出しを実施する場合に操作される。

ここで、図５〜図１０を参照して、動画像やマスク画像等が入力画像群をして読み込まれ、輪郭線が検出され、さらに追加輪郭線が設定されるまでの処理について説明する。

図５（Ａ）〜図５（Ｅ）は、入力画像群として読み込まれた０〜６０フレームで構成される動画像のうち、５つのフレームをサンプリングした入力画像の例を示す図である。

図５（Ａ）は、フレームＦ１１の入力画像Ｐ１を示し、図５（Ｂ）は、フレームＦ１２の入力画像Ｐ２を示し、図５（Ｃ）は、フレームＦ１３の入力画像Ｐ３を示し、図５（Ｄ）は、フレームＦ１４の入力画像Ｐ４を示し、図５（Ｅ）は、フレームＦ１５の入力画像Ｐ５を示している。

制御部１１は、図５（Ａ）〜図５（Ｅ）の動画像と図６（Ａ）〜図６（Ｅ）のマスク画像を読み込むと（ステップＳ１）、マスク画像の輪郭を検出し、図７（Ａ）〜図７（Ｅ）に示すように、マスク画像上に輪郭線を描画する（ステップＳ２）。図６（Ａ）〜図６（Ｅ）は、図５（Ａ）〜図５（Ｅ）の入力画像Ｐ１〜Ｐ５に対応するマスク画像Ｍ１〜Ｍ５を示し、図７（Ａ）〜図７（Ｅ）は、図６（Ａ）〜図６（Ｅ）のマスク画像Ｍ１〜Ｍ５上に描画される輪郭線６１〜６５を示している。輪郭線６１〜６５は、いずれも１ストロークで描画されている。

ユーザは、以上のようなマスク画像Ｍ１〜Ｍ５上に輪郭線６１〜６５が描画された入力画像を、動画像の奥行き制作支援画面４０の画像表示領域４１に表示させる。そして、ユーザは、局所的に凹凸を表現したい部分が出現する開始フレームを画像表示領域４１に表示させ、「新規作成」チェックボックス４５にチェックを入れ、マウス等を用いて追加輪郭線を入力すると、その開始フレームがキーフレームとして追加される。次に、局所的に凹凸を表現したい部分が消滅する直前の終了フレームを画像表示領域４１に表示させ、マウス等を用いて追加輪郭線が入力されると、その終了フレームがキーフレームとして追加される。開始フレームと終了フレームがキーフレームとして追加された後に「新規作成」チェックボックス４５のチェックが外されると「追加輪郭線」として設定される。

以上のような操作を行うことにより、局所的に凹凸を表現したい部分が出現している開始フレームと終了フレームに、それぞれ追加輪郭線の設定を行うことができる。

図８（Ａ）〜図８（Ｅ）は、図５（Ａ）〜図５（Ｅ）の入力画像Ｐ１〜Ｐ５に対して、以上のような操作によって追加輪郭線７１〜７３が描画された様子を示している。図８（Ａ）の例では、男の子の左腕が紙面の凸方向（手前）に突出しているために追加輪郭線７１が描画されている。図８（Ｂ）の例では、男の子の左腕が紙面の凸方向（手前）に突出しているために追加輪郭線７１が引き続き描画されているとともに、男の子の右足が紙面の凸方向（手前）に突出しているために新たに追加輪郭線７２が描画されている。図８（Ｃ）の例では、男の子の左足が紙面の凸方向（手前）に突出しているために追加輪郭線７２が引き続き描画され、男の子の左腕と体との重なりが無くなったため追加輪郭線７１は消滅している。図８（Ｅ）の例では、男の子の左足が紙面の凸方向（手前）に突出しているために新たな追加輪郭線７３が描画されている。なお、図８（Ｄ）の例では、局所的に凹凸を表現したい部分が消滅しているため（すなわち、男の子の左足が紙面の凹方向（奥）に下がっているため）、追加輪郭線は描画されていない。

そして、図８（Ａ）〜図８（Ｅ）に示すような追加輪郭線が描画されると、その追加輪郭線のマスク画像が生成され（図示せず）、図７に示した元のマスク画像Ｍ１〜Ｍ５から追加輪郭線のマスク画像が引かれ、新たなマスク画像が生成される（図示せず）。新たなマスク画像では、被写体の足や腕が表現されることになる。新たなマスク画像が生成されると、新たなマスク画像の輪郭線が検出され、新たな追加輪郭線が生成され、描画される。

図９（Ａ）〜図９（Ｅ）は、マスク画像Ｍ１〜Ｍ５に対して設定された新たな輪郭線８１〜８５の例を示している。新たな輪郭線８１〜８５は、元の輪郭線６１〜６５と追加輪郭線７１〜７３とがそれぞれ結合され、１ストロークで描画される閉曲線となっている。つまり被写体の輪郭線の内部に重なりがあるような画像であっても、重なりを境界（輪郭線）として表現することができ、奥行き値を設定することができる。

図１０は、追加輪郭線が設定された場合の入力画像と追加輪郭線情報の対応付けを模式的に示す図である。

図１０に示すように、画像、マスク画像、および追加輪郭線情報（追加輪郭線の各ポイント位置）がフレーム毎に対応付けられ、記憶部１２に記憶されている。図１０の例の場合、追加輪郭線Ａは、開始フレームがフレームＦ２１、終了フレームがフレームＦ２４のキーフレーム間に設定され、追加輪郭線Ｂは、開始フレームがフレームＦ２４、終了フレームがフレームＦ２５のキーフレーム間に設定され、追加輪郭線Ｃは、開始フレームがフレームＦ２６、終了フレームがフレームＦ２８のキーフレーム間に設定されている。

このような対応付けがなされたマスク画像を奥行き制作支援画面４０の画像表示領域４１に表示させた場合、例えば、マスク画像Ｍ１（マスク画像Ａ）には、追加輪郭線Ａの追加輪郭線情報を含む輪郭線８１が表示され、マスク画像Ｍ２（マスク画像Ｄ）には、追加輪郭線Ａ、Ｂの追加輪郭線情報を含む輪郭線８２が表示され、マスク画像Ｍ５（マスク画像Ｇ）には、追加輪郭線Ｃの追加輪郭線情報を含む輪郭線８５が表示される。

図３の説明に戻る。ステップＳ３において、制御部１１は、ユーザによって輪郭線に沿った位置にアンカーポイントが指定されると、アンカーポイントを示すマークをマスク画像上に表示させる。アンカーポイントを指定する場合には、例えば、図１１に示すように、動画像の奥行き制作支援画面４０にアンカーポイント設定部９１を表示させる。アンカーポイント設定部９１では、ユーザによって、奥行き値を設定したいフレームの位置にスライダ４３が横方向に移動（操作）され、所望のフレームが画像表示領域４１に表示されている状態でアンカーポイントがマウス等を用いて指定され、そのアンカーポイントに対し、奥行き値が設定されると、奥行き値が設定されたことを示すマークが表示される。マークの表示方法は特に問わないが、所定の色が付与された丸印等である。図１１の例では、フレームＦ３１〜フレームＦ３３に対し、アンカーポイントおよび奥行き値が設定されていることが明示されている。

ここで、図１２を参照して、マスク画像に設定された輪郭線に対し、アンカーポイントが設定される処理について説明する。

図１２は、キーフレームとなる開始フレームと終了フレームのマスク画像を示している。ユーザは、マスク画像の輪郭線上において、特徴点となる位置にアンカーポイントを設定する。図１２の例では、開始フレームにおいて、首右側、右手先、右腕脇、右足先、股、左足先、左肘、左腕脇、左手先、首左側を特徴点として、それぞれアンカーポイントＡＰ１〜ＡＰ１０が設定されている。同様に、終了フレームにおいて、首右側、右手先、右腕脇、右足先、股、左足先、左肘、左腕脇、左手先、首左側を特徴点として、それぞれアンカーポイントＡＰ１１〜ＡＰ２０が設定されている。

制御部１１は、設定されたアンカーポイントに対し、アンカーポイントを一意に識別するためのＩＤを付与する。また制御部１１は、スタートポイントＳ（例えば、輪郭線の最右上）を起点とし、各アンカーポイントが輪郭線全体の長さの何％の位置にあるかを計算し、その位置情報をＩＤに紐付けてそれぞれ記憶する。

図３の説明に戻る。ステップＳ４において、制御部１１は、ユーザによってアンカーポイントに奥行き値が設定されると、ステップＳ５に進み、奥行き画像を制作し、出力する。

（奥行き画像出力処理）
図１３は、図３のステップＳ５の奥行き画像出力処理の詳細を説明するフローチャートである。この処理を開始するにあたり、制御部１１は、動画像の全てのフレームを読み込み、フレーム毎に処理を行う。

ステップＳ１１において、制御部１１は、現フレームに追加輪郭線があるか否かを判定し、現フレームに追加輪郭線があると判定した場合、ステップＳ１２に進み、追加輪郭線の取得処理を行う。

（追加輪郭線取得処理）
ここで、図１４のフローチャートを参照して、図１３のステップＳ１２の追加輪郭線の取得処理の詳細について説明する。

ステップＳ３１において、制御部１１は、現フレームが追加輪郭線のキーフレームであるか否かを判定し、現フレームが追加輪郭線のキーフレームであると判定した場合、ステップＳ３２に進み、記憶部１２に記憶されている追加輪郭線の各ポイント位置（座標値）を返す。例えば、現フレームが、図１０に示すフレームＦ２１の場合、追加輪郭線Ａのキーフレームであると判定され、その追加輪郭線Ａの各ポイント位置が返される。

ステップＳ３１において、制御部１１は、現フレームが追加輪郭線のキーフレームではないと判定した場合、ステップＳ３３に進み、前後キーフレームの値を取得する。例えば、現フレームが、図１０に示すフレームＦ２２の場合、フレームＦ２１の追加輪郭線Ａの各ポイント位置（座標値）、およびフレームＦ２４の追加輪郭線Ａの各ポイント位置が取得される。

ステップＳ３４において、制御部１１は、ステップＳ３３の処理で取得した値（座標値）、前後キーフレームまでの距離を用いて、追加輪郭線の各ポイント位置を計算（キーフレーム補間）する。

図１５は、図１４のステップＳ３３、Ｓ３４における追加輪郭線のキーフレーム補間処理の詳細を説明する図である。

図１５の例では、フレームＦ３１〜フレームＦ３３のキーフレーム間に、追加輪郭線Ａが設定されており、フレームＦ３１の追加輪郭線Ａは、ポイントＰ３１〜Ｐ４０を結ぶ線とされ、フレームＦ３３の追加輪郭線Ａは、ポイントＰ４１〜Ｐ５０を結ぶ線とされる。そして、制御部１１は、キーフレーム補間しようとしている現フレームがフレームＦ３２の場合、フレームＦ３１の追加輪郭線Ａの各ポイントＰ３１〜Ｐ４０の座標値、およびフレームＦ３３の追加輪郭線Ａの各ポイントＰ４１〜Ｐ５０の座標値を取得する。

次に、制御部１１は、取得したポイントＰ３１とポイントＰ４１の座標値を線形補間することにより、ポイントＰ５１を計算する。同様に、制御部１１は、ポイントＰ３２〜Ｐ４０とポイントＰ４２〜Ｐ５０とのそれぞれの座標値を線形補間することにより、ポイントＰ５２〜Ｐ６０を計算する。

以上のようにして、キーフレーム間において、追加輪郭線を構成する各ポイントの座標値を線形補間することにより、他のフレームに対し、違和感のない範囲で自動的に追加輪郭線を生成することができる。これにより、全フレームの追加輪郭線を手作業で設定する手間が省け、作業効率が大幅に良くなる。なお、補間方法は、線形補間に限らず、他の補間方法を適用することも勿論可能である。

図１４の説明に戻る。ステップＳ３５において、制御部１１は、計算した追加輪郭線の各ポイント位置（座標値）を返す。そして、ステップＳ３２またはステップＳ３５の処理の後、図１３のステップＳ１３に戻る。

図１３のステップＳ１３において、制御部１１は、ステップＳ１２の処理で取得した追加輪郭線の各ポイント位置に基づいて、元のマスク画像に追加輪郭線のマスク画像が引かれた新規マスク画像を生成する。またステップＳ１１において、現フレームに追加輪郭線がないと判定した場合には、新規マスク画像は生成されずにステップＳ１４に進む。

ステップＳ１４において、制御部１１は、マスク画像の輪郭を検出し、マスク画像上に輪郭線を描画する。ステップＳ１５において、制御部１１は、現フレームのアンカーポイントを取得する。

（アンカーポイント取得処理）
ここで、図１６のフローチャートを参照して、図１３のステップＳ１５のアンカーポイント取得処理の詳細について説明する。

ステップＳ４１において、制御部１１は、現フレームがアンカーポイント位置のキーフレームであるか否かを判定し、現フレームがアンカーポイント位置のキーフレームであると判定した場合、ステップＳ４２に進み、記憶部１２に記憶されている、スタートポイントＳを起点として輪郭線全体の何％の位置にあるかを示す各アンカーポイントの位置情報を取得する。例えば、現フレームが、図１２に示す開始フレームの場合、アンカーポイント位置のキーフレームであると判定され、スタートポイントＳを起点として輪郭線全体の何％の位置にあるかを示すアンカーポイントＡＰ１〜ＡＰ１０の位置情報が取得される。

ステップＳ４１において、制御部１１は、現フレームがアンカーポイント位置のキーフレームではないと判定した場合、ステップＳ４３に進み、前後キーフレームの値を取得する。ステップＳ４４において、制御部１１は、ステップＳ４３の処理で取得した値、前後キーフレームまでの距離を用いて、アンカーポイント位置を計算（キーフレーム補間）する。ステップＳ４５において、制御部１１は、ステップＳ４４で計算したアンカーポイント位置を取得する。

図１７は、図１６のステップＳ４３〜ステップＳ４５におけるアンカーポイント位置のキーフレーム補間処理の詳細を説明する図である。

図１７の例では、開始フレームのフレームＦ４１にアンカーポイントＡＰ１〜ＡＰ１０が設定されており、終了フレームのフレームＦ４３にアンカーポイントＡＰ１１〜ＡＰ２０が設定されている。そして、制御部１１は、キーフレーム補間しようとしている現フレームがフレームＦ４２の場合、フレームＦ４１における、スタートポイントＳを起点として輪郭線全体の何％の位置にあるかを示すアンカーポイントＡＰ１〜ＡＰ１０の位置情報、およびフレームＦ４３における、スタートポイントＳを起点として輪郭線全体の何％の位置にあるかを示すアンカーポイントＡＰ１１〜ＡＰ２０の位置情報を、それぞれ取得する。

次に、制御部１１は、取得したアンカーポイントＡＰ１の位置情報とアンカーポイントＡＰ１１の位置情報とを線形補間することにより、アンカーポイントＡＰ２１の位置を計算する。同様に、制御部１１は、アンカーポイントＡＰ２〜ＡＰ１０の位置情報とアンカーポイントＡＰ１２〜ＡＰ２０の位置情報とをそれぞれ線形補間することにより、アンカーポイントＡＰ２２〜ＡＰ３０の位置を計算する。

以上のようにして、キーフレーム間において、スタートポイントＳを起点として輪郭線全体の何％の位置にあるかを示す各アンカーポイントの位置情報を線形補間することにより、他のフレームに対し、違和感のない範囲で自動的にアンカーポイントを生成することができる。これにより、全フレームのアンカーポイントを手作業で設定する手間が省け、作業効率が大幅に良くなる。

図１６の説明に戻る。ステップＳ４６において、制御部１１は、現フレームがアンカーポイント奥行き値のキーフレームであるか否かを判定し、現フレームがアンカーポイント奥行き値のキーフレームであると判定した場合、ステップＳ４７に進み、記憶されている、アンカーポイント奥行き値を取得する。

ステップＳ４６において、制御部１１は、現フレームがアンカーポイント奥行き値のキーフレームではないと判定した場合、ステップＳ４８に進み、前後キーフレームの値を取得する。ステップＳ４９おいて、制御部１１は、ステップＳ４８の処理で取得した値、前後キーフレームまでの距離を用いて、アンカーポイント奥行き値を計算（キーフレーム補間）する。ステップＳ５０において、制御部１１は、ステップＳ４９で計算したアンカーポイント奥行き値を取得する。

図１８は、図１６のステップＳ４８〜ステップＳ５０におけるアンカーポイント奥行き値のキーフレーム補間処理の詳細を説明する図である。

図１８の例では、開始フレームのフレームＦ４１において、アンカーポイントＡＰ１、ＡＰ２、ＡＰ４、ＡＰ６、ＡＰ９に、それぞれ、「５０」、「６０」、「９０」、「８０」、「１００」の奥行き値が設定され、終了フレームのフレームＦ４３において、アンカーポイントＡＰ１１、ＡＰ１２、ＡＰ１４、ＡＰ１６、ＡＰ１９に、それぞれ、「６０」、「７０」、「１００」、「９０」、「１１０」の奥行き値が設定されている。そして、制御部１１は、キーフレーム補間しようとしている現フレームがフレームＦ４２の場合、フレームＦ４１におけるアンカーポイントＡＰ１、ＡＰ２、ＡＰ４、ＡＰ６、ＡＰ９の奥行き値、フレームＦ４３におけるアンカーポイントＡアンカーポイントＡＰ１１、ＡＰ１２、ＡＰ１４、ＡＰ１６、ＡＰ１９の奥行き値をそれぞれ取得する。

次に、制御部１１は、取得したアンカーポイントＡＰ１の奥行き値である「５０」とアンカーポイントＡＰ１１の奥行き値である「６０」とを線形補間することにより、アンカーポイントＡＰ２１の奥行き値を計算する。図１８の例では、フレームＦ４２は、フレームＦ４１とフレームＦ４３のほぼ中間位置にあるため、「５５（＝（５０＋６０）／２」」と計算される。同様に、制御部１１は、アンカーポイントＡＰ２、ＡＰ４、ＡＰ６、ＡＰ９の奥行き値とアンカーポイントＡＰ１２、ＡＰ１４、ＡＰ１６、ＡＰ１９の奥行き値とをそれぞれ線形補間することにより、アンカーポイントＡＰ２２、ＡＰ２４、ＡＰ２６、ＡＰ２９の奥行き値を計算する。

以上のようにして、キーフレーム間において、アンカーポイント奥行き値を線形補間することにより、他のフレームに対し、違和感のない範囲で自動的にアンカーポイント奥行き値を計算することができる。これにより、全フレームのアンカーポイント奥行き値を手作業で設定する手間が省け、作業効率が大幅に良くなる。

図１６の説明に戻る。ステップＳ５１において、制御部１１は、取得したアンカーポイントの位置情報、およびアンカーポイント奥行き値を返す。

図１３の説明に戻る。ステップＳ１６において、制御部１１は、輪郭線上の奥行き値を計算する。例えば、輪郭線上の奥行き値は、輪郭線上の各点が奥行方向に滑らかな傾斜を描くように奥行き値が計算される。ステップＳ１７において、制御部１１は、輪郭線（閉曲線）内部の奥行き値を計算する。例えば、輪郭線内部の奥行き値は、輪郭線の内部領域が滑らかな平面を描くように計算される。

ステップＳ１８において、制御部１１は、輪郭線上の奥行き値、および輪郭線内部の奥行き値が計算された奥行き画像を出力する。ステップＳ１９において、制御部１１は、現フレームが最終フレームであるか否かを判定し、現フレームが最終フレームではないと判定した場合、ステップＳ２０に進み、次のフレームの処理へ移動し、ステップＳ１１に戻り、上述した処理を繰り返し実行する。そして、ステップＳ１９において、制御部１１は、現フレームが最終フレームであると判定すると奥行き画像出力処理（動画像の奥行き制作支援処理）を終了する。

［本発明の実施の形態における効果］
以上のように、ユーザが、開始フレームおよび終了フレームの２つのキーフレームに対し、追加輪郭線、アンカーポイント、アンカーポイント奥行き値を設定するという簡単な操作だけで、追加輪郭線を構成する各ポイントの座標値を線形補間し、各アンカーポイントの位置情報を線形補間し、さらに、アンカーポイント奥行き値を線形補間することができ、違和感のない範囲で自動的に、他のフレームに対し、追加輪郭線、アンカーポイント、およびアンカーポイント奥行き値の生成を行うことができる。

以上、添付図面を参照しながら、本発明に係る奥行き制作支援装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………奥行き制作支援装置
３………２次元画像
５………マスク画像
６………輪郭線
７………奥行き値
８………奥行き画像
１１………制御部
１２………制御部
１６………表示部

Claims (7)

1. 立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置であって、
   元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力手段と、
   前記マスク画像に対して輪郭線を設定する輪郭線設定手段と、
   前記特定の被写体のうち、局所的に凹凸を表現する部分が出現する第１のフレームおよび、前記局所的に凹凸を表現する部分が消滅する直前の第２のフレームに対して追加輪郭線を設定する追加輪郭線設定手段と、
   前記第１のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第１の輪郭線を設定するとともに、前記第２のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第２の輪郭線を設定する輪郭線再設定手段と、
   前記第１の輪郭線の値および前記第２の輪郭線の値を補間することにより、前記第１と第２のフレーム間にあるマスク画像に対して第３の輪郭線を設定する第１の補間手段と、
   前記第１の輪郭線に沿って第１の複数の点を設定するとともに、前記第２の輪郭線に沿って第２の複数の点を設定するアンカーポイント設定手段と、
   前記第１の複数の点の位置情報および前記第２の複数の点の位置情報をそれぞれ補間することにより、前記第３の輪郭線に沿って第３の複数の点を設定する第２の補間手段と、
   前記アンカーポイント設定手段によって設定された前記第１の複数の点、および前記第２の複数の点に対してそれぞれ奥行き値を設定する奥行き値設定手段と、
   前記第１の複数の点および前記第２の複数の点に設定された奥行き値をそれぞれ補間することにより、前記第３の複数の点に対して奥行き値を設定する第３の補間手段と、
   を具備することを特徴とする奥行き制作支援装置。
2. 前記奥行き値設定手段および前記第３の補間手段によって設定された奥行き値に基づき、前記第１乃至第３の輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出手段と、
   前記奥行き値算出手段によって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成手段と、をさらに具備する
   ことを特徴とする請求項１に記載の奥行き制作支援装置。
3. 前記第1の補間手段、前記第２の補間手段、及び、前記第３の補間手段は、前記第１のフレーム及び前記第２のフレームの間隔と、前記第１のフレーム及び前記マスク画像に係る前記フレームの間隔との比率によって、値を線形補間する
   ことを特徴とする請求項１又は請求項２に記載の奥行き制作支援装置。
4. 前記アンカーポイント設定手段は、前記第１の輪郭線に沿って設定した前記第１の複数の点の位置情報を記憶するとともに、前記第２の輪郭線に沿って設定した前記第２の複数の点の位置情報を記憶する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の奥行き制作支援装置。
5. 前記第１乃至第３の輪郭線は、１ストロークで描画される閉曲線である
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の奥行き制作支援装置。
6. 立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援方法であって、
   元の動画像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力ステップと、
   前記マスク画像に対して輪郭線を設定する輪郭線設定ステップと、
   前記特定の被写体のうち、局所的に凹凸を表現する部分が出現する第１のフレームおよび、前記局所的に凹凸を表現する部分が消滅する直前の第２のフレームに対して追加輪郭線を設定する追加輪郭線設定ステップと、
   前記第１のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第１の輪郭線を設定するとともに、前記第２のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第２の輪郭線を設定する輪郭線再設定ステップと、
   前記第１の輪郭線の値および前記第２の輪郭線の値を補間することにより、前記第１と第２のフレーム間にあるマスク画像に対して第３の輪郭線を設定する第１の補間ステップと、
   前記第１の輪郭線に沿って第１の複数の点を設定するとともに、前記第２の輪郭線に沿って第２の複数の点を設定するアンカーポイント設定ステップと、
   前記第１の複数の点の位置情報および前記第２の複数の点の位置情報をそれぞれ補間することにより、前記第３の輪郭線に沿って第３の複数の点を設定する第２の補間ステップと、
   前記アンカーポイント設定ステップで設定された前記第１の複数の点、および前記第２の複数の点に対してそれぞれ奥行き値を設定する奥行き値設定ステップと、
   前記第１の複数の点および前記第２の複数の点に設定された奥行き値をそれぞれ補間することにより、前記第３の複数の点に対して奥行き値を設定する第３の補間ステップと、
   を含むことを特徴とする奥行き制作支援方法。
7. コンピュータを、立体視を実現するための視差画像の生成処理に利用する奥行き画像の制作を支援する奥行き制作支援装置として機能させるプログラムであって、
   元の映像の各フレーム内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力手段と、
   前記マスク画像に対して輪郭線を設定する輪郭線設定手段と、
   前記特定の被写体のうち、局所的に凹凸を表現する部分が出現する第１のフレームおよび、前記局所的に凹凸を表現する部分が消滅する直前の第２のフレームに対して追加輪郭線を設定する追加輪郭線設定手段と、
   前記第１のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第１の輪郭線を設定するとともに、前記第２のフレームに設定されている前記輪郭線と前記追加輪郭線とを連結し、新たな第２の輪郭線を設定する輪郭線再設定手段と、
   前記第１の輪郭線の値および前記第２の輪郭線の値を補間することにより、前記第１と第２のフレーム間にあるマスク画像に対して第３の輪郭線を設定する第１の補間手段と、
   前記第１の輪郭線に沿って第１の複数の点を設定するとともに、前記第２の輪郭線に沿って第２の複数の点を設定するアンカーポイント設定手段と、
   前記第１の複数の点の位置情報および前記第２の複数の点の位置情報をそれぞれ補間することにより、前記第３の輪郭線に沿って第３の複数の点を設定する第２の補間手段と、
   前記アンカーポイント設定手段によって設定された前記第１の複数の点、および前記第２の複数の点に対してそれぞれ奥行き値を設定する奥行き値設定手段と、
   前記第１の複数の点および前記第２の複数の点に設定された奥行き値をそれぞれ補間することにより、前記第３の複数の点に対して奥行き値を設定する第３の補間手段と、
   を具備することを特徴とする奥行き制作支援装置として機能させるプログラム。

Images