JP2006186510A - 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム - Google Patents

擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム Download PDF

Info

Publication number
JP2006186510A
JP2006186510A JP2004376017A JP2004376017A JP2006186510A JP 2006186510 A JP2006186510 A JP 2006186510A JP 2004376017 A JP2004376017 A JP 2004376017A JP 2004376017 A JP2004376017 A JP 2004376017A JP 2006186510 A JP2006186510 A JP 2006186510A
Authority
JP
Japan
Prior art keywords
image
depth
pseudo
basic
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004376017A
Other languages
English (en)
Other versions
JP4214528B2 (ja
Inventor
Kunio Yamada
邦男 山田
Keizo Kono
景三 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2004376017A priority Critical patent/JP4214528B2/ja
Publication of JP2006186510A publication Critical patent/JP2006186510A/ja
Application granted granted Critical
Publication of JP4214528B2 publication Critical patent/JP4214528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】独立した1枚の画面内の情報のみを用いて、かつ簡便な処理によって、自然な擬似立体画像を生成することを可能とする、擬似立体画像生成装置、擬似立体画像生成プログラム、擬似立体画像表示システムを提供する。
【解決手段】どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うために、基本となる3種類のシーン構造のそれぞれについて奥行き値を示す3種類の基本奥行きモデルを用いる。上部の高域成分評価部2と下部の高域成分評価部3からの入力非立体画像の輝度信号の高域成分評価値の値に応じて合成比率8を決定し、その合成比率8に応じて3種類の基本奥行きモデルを合成する。加算器10において、合成した基本奥行きモデルと非立体画像のR信号9とを重畳して奥行き推定データ11を生成する。前記奥行き推定データの生成処理は、入力する非立体画像の数を数えて所定枚数毎に行なう。
【選択図】図1

Description

本発明は擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システムに係り、特に通常の動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない動画像(非立体動画像)から擬似的な立体画像を作成する擬似立体動画像生成装置及び擬似立体動画像生成プログラム並びに擬似立体画像表紙システムに関する。
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像(非立体画像)から、擬似的な立体化画像を生成する処理が行われる。
また、立体視に限らず前記非立体画像のシーンから立体構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチは数多く研究・検討がなされている(例えば、非特許文献1参照)。この非特許文献1記載のツァー・インツー・ザ・ピクチャ(Tour Into the Picture)法では、撮影済みの画像から近影物を除去し、遠近法における消失点を決定した上で、それを基にシーンの概略的な構成を推定して視点移動を行うことを可能にしている。
また、前記非特許文献1では奥行き構造が長方形を断面とするチューブ状になっているのに対して、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる非立体画像から立体画像への変換方法も従来から知られている(例えば、特許文献1参照)。この特許文献1記載の発明は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、前記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。
また、古典的な非立体画像から立体画像への変換手法として、シェープ・フロム・モーション("shape from motion")法が知られている(例えば、非特許文献2参照)。これは、動画像の動き情報から画像の奥行き量を推定し、この奥行き量を用いて立体画像を構成するというものである。
さらに、非立体画像をブロック状に分割し、それぞれについて輝度積算、高周波成分積算、輝度コントラスト算出、彩度積算の計算を行うことにより画像の奥行き量を推定する手法も開示されている(例えば、特許文献2参照)。
Y.Horry, K.Anjyo, K.Arai:"Tour Into the Picture:Using a Spidery Mesh Interface to Make Animation from a Single Image",SIGGRAPH'97 Proceedings,pp.225-232(1997) C.Tomasi and T.Kanade: "Shape and Motion from Image Streams under Orthography: A Factorization Method", Int. Journal of Computer Vision.Vol.9,No.2, pp.137-154(1992) 特開平9−185712号公報 特許3005474号
しかしながら、前記非特許文献1のツァー・インツー・ザ・ピクチャ法や特許文献1の手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、効果は限定的である。
また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない。
また、前記非特許文献2のような、動画像の動き情報を基本とするシェープ・フロム・モーション法では、連続する動画像間の画像相関性を利用するために、静止画もしくは相対的に動きが停止している動画像の立体化は原理的に困難である。更に、動画像の動き情報から画像の奥行き量を推定する処理は、処理内容が複雑であり、動画像のリアルタイム性を損なわずに立体画像を表示し続けるには高速な処理装置、及び処理プログラムの実現手段が必要となる。
更に特許文献2の手法では、画像の奥行き量をブロック単位で得る構成のため、各ブロックの境界付近で不自然な立体画像となりやすい。そして、この不自然な立体画像は。補正や内挿を施す処理を行ったとしても、ブロック境界を意識しない画素単位での自然な立体画像を得ることは困難である。
本発明は以上の課題を鑑みてなされたものである。
本発明は、高速処理を必要とする動画像間の相関性を用いずに、独立した1枚の画面内の情報のみを用いて、かつ簡便な処理によって、自然な擬似立体画像を生成することを可能とするための、擬似立体画像生成装置、及び擬似立体画像生成プログラム、並びに擬似立体画像表示システムを提供することを目的とする。
そこで上記課題を解決するために本発明は、以下の装置、プログラム及びシステムを提供するものである。
(1)奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する擬似立体画像生成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び/又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段(4、5、6)と、
入力する前記非立体画像の数をカウントしたカウント数が所定の値になるときにのみ前記入力する前記非立体画像を出力する第一の出力部と、入力する非立体画像を前記カウントに数に関係なくそのまま出力する第二の出力部とを持つ画像入力手段(1)と、
前記画像入力手段の前記第一の出力部から前記非立体画像が入力した場合は、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定し、算定した合成比率の値を出力し、前記画像入力手段の前記第一の出力部から前記非立体画像が入力しない場合は前記算定処理を行わず待機状態となる算定手段(2、3、7、70)と、
前記算定手段により前記複数の基本奥行きモデル間の合成比率の値が入力した場合は、前記記憶手段から読み出した前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成、記憶し、前記合成比率の値が入力しない場合は、直前の前記複数の基本奥行きモデル間の合成比率の値が入力した時に生成、記憶した合成基本奥行きモデルの記憶状態を保持する、合成・記憶手段(7、71〜74)と、
前記合成・記憶手段に記憶している合成基本奥行きモデルと、前記画像入力手段の前記第二の出力機能から入力する前記非立体画像とから前記奥行き推定データを生成する生成手段(10)と、
を有することを特徴とする擬似立体画像生成装置。
(2)奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似的な立体動画像を生成し表示する擬似立体画像表示システムであって、
前記奥行き推定データを生成する上記(1)記載の擬似立体画像生成装置(30)と、
前記擬似立体画像生成装置の生成手段より供給される前記奥行き推定データと擬似立体画像生成の対象となる前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成装置(40)と、
前記複数視点画像生成装置で生成した複数の別視点画像及び/または擬似立体画像生成の対象となる前記非立体画像を用いて擬似立体画像を表示する表示装置(50)と、
から構成することを特徴とする擬似立体画像表示システム。
(3)奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
入力する前記非立体画像の数をカウントしたカウント数によって前記奥行き推定データの基となる合成奥行き基本モデル生成処理を実行するか否かを判断する判断機能(S1)と、
前記判断機能が、合成奥行き基本モデル生成処理を実行すると判断したならば、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを合成するための合成比率を算定する算定機能(S2、S3、S4)と、
前記算定機能により前記複数の基本奥行きモデル間の合成比率の値が入力したならば、前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成し、生成した前記合成基本奥行きモデルを記憶手段に書き込む処理を行い、前記合成比率の値が入力されない場合は、前記合成基本モデルの生成処理及び記憶手段への書き込み処理を行わない、合成機能(S5)と、
前記記憶手段に記憶してある前記合成基本奥行きモデルを読み出して、読み出した前記合成基本奥行きモデルと前記入力する前記非立体画像とから前記奥行き推定データを生成する生成機能(S6)と
をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。
(4)上記(3)記載の擬似立体画像生成プログラムにおいて生成した奥行き推定データに応じて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成機能をコンピュータに実現させることを特徴とする複数視点画像生成プログラム。
本発明の擬似立体画像生成装置、及び擬似立体画像生成プログラムによれば、ツァー・インツー・ザ・ピクチャ法などで用いている遠近法的な推定を行なうことなしに奥行き推定データを生成するので、遠近法を適合できないシーンにおいても、違和感の無い擬似立体画像を得るための奥行き推定データを生成することができる。
また、高速処理が必要となる動画像間の画像相関性の評価を用いずに、奥行き推定データ生成の対象となる一枚の非立体画像(静止画像・動画の場合1フレームまたは1フィールド)を基本にして奥行き推定データを生成するので、処理が単純になり、動画像のリアルタイム処理の実現に有利となる。
また、基本奥行きモデルを参照して奥行き推定データを生成するので、生成処理が簡便となる。
更に、画像を明確なブロックとして分けずに奥行き推定データを生成するので、各ブロックの境界付近で不自然な立体画像となること無しに自然な擬似立体画像を得るための奥行き推定データを生成することができる。
更に加えて、非立体動画像の全てのフレームまたはフィールドに対して奥行き推定データを算出せずに所定のフレーム毎またはフィールド毎に奥行き推定データを算出することにより、奥行き推定データ算出に要する処理量を軽減することが可能となる。
また、本発明の立体画像表示システムによれば、前記擬似立体画像生成装置によって生成した奥行き推定データを用いて、どのような非立体画像からも違和感の少ない擬似立体画像を表示することができる。
更に、本発明の別視点画像生成プログラムによれば、前記擬似立体画像生成プログラムで生成した奥行き推定データを用いて、どのような非立体画像からも擬似立体表示した場合に違和感の少ない別視点画像を生成することができる。
<基本原理>
本発明の擬似立体画像生成装置及び擬似立体画像生成プログラムでは、所謂シェープ・フロム・モーションのような動き情報を利用した奥行き推定は行わず、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、その非立体画像のシーンの奥行き構造を推定する。このとき推定されるシーンの奥行き構造は厳密なものではなく、"経験知からあるタイプのシーン奥行き構造が比較的近い可能性が高いので選択する"という程度のものにとどめ、誤判定された場合でも強い違和感を感じさせないようなものを採用する、所謂フェイルセーフの思想に基づくものとする。この理由は、事実上1枚の非立体画像からその内容を確実に検知し、詳細なシーン構造を決定することは技術的に不可能であるためである。
現実のシーン構造は無限に存在するが、本発明ではどのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うために、基本となるシーン構造について奥行き値を示す基本奥行きモデルを複数(例えば、3種類)用意する。そして、それらを上記の非立体画像の、画面内の所定領域における輝度信号の高域成分の算定値に応じて合成比率を変化させて合成し、この合成した合成基本奥行きモデルを用いて擬似立体画像を生成する。
基本奥行きモデルを用いることの利点は、本来複雑な構造である現実の3次元のシーンについて、比較的単純な数式で表現される曲面や平面を用いて近似することにより、視覚的な広がり(奥行き感)と動き推定や消失点決定などのプロセスのない簡便な演算処理を両立することである。
合成比率の変化の例としては、通常の球状の凹面を示す第1の基本奥行きモデルの使用を基本にしながらも、上記の高域成分の算定値が例えば画面上部の高域成分が少ないことを示している場合は、画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第2の基本奥行きモデルの比率を増加させ、また、上記の高域成分の算定値が例えば画面下部の高域成分が少ないことを示している場合は、画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる第3の基本奥行きモデルの比率を増加させるといった処理を行う。このようにして、本発明では、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーンの奥行き構造を得ることが可能になる。
<基本奥行きモデル>
ここで、本実施例で使用する複数の基本奥行きモデルの一例について説明する。
図20は、前記基本奥行きモデルを表すための座標系を示した図である。基本奥行きモデル画像の中心を座標の原点とするxy平面に画素を配置し、z軸方向を各画素毎の奥行き量とする。
本実施例では3種類の基本奥行きモデルを使用している。以下各基本奥行きモデルについて詳細に説明する。
[タイプ1]
基本奥行きモデルタイプ1は、図20の座標系によれば各画素毎の奥行き量zは数式1で表される。rは球の半径、wは基本奥行きモデル1の画像の水平サイズ、hは基本奥行きモデル1の画像の垂直サイズであるとする。
ここで、画像サイズが水平640画素、垂直480画素の基本奥行きモデルの例では、水平サイズw=640、h=480となり、半径r=1000となる。
前記数式1で算出した奥行き情報を輝度値としてグレイスケールで表した例を図4に示す。ここでは、前記数式1で算出される奥行きzを255−2×zで正規化し、0から255の8ビットで表している。値0(暗い)が最も奥行きが深く、255(明るい)が最も奥行きが浅いことを示す。また図5は奥行き量を加味した立体構造を示した図である。
この基本奥行きモデルタイプ1でこのような凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより違和感の少ない立体感及び適度な奥行き感が得られるからである。基本奥行きモデルタイプ1が使用されるシーン構成の一例として、図6のようなシーンがあげられる。
[タイプ2]
基本奥行きモデルタイプ2は、図20の座標系によれば各画素毎の奥行き量zは数式2で表される。rは円筒、及び球の半径、wはモデル画像の水平サイズ、hはモデル画像の垂直サイズである。
ここで、画像サイズが水平640画素、垂直480画素の基本奥行きモデルの例では、水平サイズw=640、h=480となり、半径r=1000となる。
前記数式2で算出した奥行き情報を輝度値としてグレイスケールで表した例を図7に示す。ここでは、前記数式2で算出される奥行きzを255−2×zで正規化し、0から255の8ビットで表している。値0(暗い)が最も奥行きが深く、255(明るい)が最も奥行きが浅いことを示す。また図8は奥行き量を加味した立体構造を示した図である。
この基本奥行きモデルタイプ2は、前記上部の高域成分評価値が小さい場合に、画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深く設定するものである。基本奥行きモデルタイプ2が使用されるシーン構成の一例として、図9のようなシーンがあげられる。
[タイプ3]
基本奥行きモデルタイプ3は、図20の座標系によれば各画素毎の奥行き量zは数式3で表される。rは円筒の半径、wはモデル画像の水平サイズ、hはモデル画像の垂直サイズである。
ここで、画像サイズが水平640画素、垂直480画素の基本奥行きモデルの例では、水平サイズw=640、h=480となり、半径r=1000としている。
前記数式3で算出した奥行き情報を輝度値としてグレイスケールで表した例を図10に示す。ここでは、前記数式3で算出される奥行きzを255−2×zで正規化し、0から255の8ビットで表している。値0(暗い)が最も奥行きが深く、255(明るい)が最も奥行きが浅いことを示す。また図11は奥行き量を加味した立体構造を示した図である。
この基本奥行きモデルタイプ3は前記下部の高域成分評価値が小さい場合に、画面下部に平坦な地面もしくは水面に広がるシーンと認識し、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きZが小さくなるように設定したものである。基本奥行きモデルタイプ3が使用されるシーン構成の一例として、図12のようなシーンがあげられる。
上記の3種類のモデルは、あくまで一例であり、別の形状を持つモデルの使用することや、3種類に限らない数のモデルを使用することも可能である。また、モデルの合成比について、画面上部・下部の高域成分を算定した結果をもとに決定しているが、この算定領域について限定されるものではなく、算定されるものも輝度の高域成分に限定されない。
<装置の構成>
次に、本発明の擬似立体画像生成装置の具体的な実施例を図面と共に説明する。図1は本発明の擬似立体画像生成装置の一実施例のブロック図である。
本実施例の擬似立体画像生成装置は、擬似立体化を行う非立体画像が入力される画像入力部1と、画像入力部1からの非立体画像の上部約20%の高域成分評価値(top_act)を計算により求める上部の高域成分評価部2と、画像入力部1からの非立体画像の下部約20%の高域成分評価値(bottom_act)を計算により求める下部の高域成分評価部3と、前述した擬似立体画像を生成する際の基本となる3種類の基本奥行きモデルを記憶する3つのフレームメモリ4、5及び6と、前記top_act及び前記bottom_actの各値に応じて決定する合成比率により、フレームメモリ4、5及び6から読み出す前記3種類の基本奥行きモデルを合成して合成基本奥行きモデルを生成し、記憶する合成・記憶部7と、合成部・記憶部7により得られる合成基本奥行きモデルに、画像入力部1の基になる画像の三原色信号(RGB信号)のうちの赤色信号(R信号)を重畳し最終的な奥行き推定データ11を得る加算器10とより構成されている。
<処理の詳細説明>
<擬似立体画像生成装置>
次に、図1の実施例の動作を図3のフローチャートと共に詳細に説明する。
まず、画像入力部1に擬似立体化を行うべき非立体動像を入力する(ステップS0)。非立体動画像は時間的に連続するフレームにより構成される。このフレームは、例えば8ビットで量子化されている画像データとする。また、この入力画像の画像サイズは、例えば、水平720画素、垂直486画素とする。
そして入力したフレームから三原色信号(RGB信号)のうちの赤色信号(R信号)9を抽出して加算器10に出力する。
また入力するフレームの数nをカウントし、このカウント数nが予め決定している所定数kの倍数になったならば、フレームを上部の高域成分評価部2と下部の高域成分評価部3とに出力し、合成基本奥行きモデル生成処理を開始する。カウント数nが所定数kの倍数でなければ、フレームの出力を停止する(ステップS1)。ここでkの値を例えば3とすると、2フレームおきにフレームの出力を行い、合成基本奥行きモデル生成処理を行うことになる。
次に上部の高域成分評価部2は、前記画像入力部1からフレームが入力したならば、下記の処理を開始する。フレームが入力されない場合は処理を開始せずに、入力待ち状態で待機する。
フレームの画面の上部約20%、即ち、640×96画素の範囲を水平8画素、垂直8画素のN個のブロックに分割し、各ブロック内の点(i,j)における輝度信号をY(i,j)としたとき、各ブロックについて下記数式4による計算を行う。この計算結果を上部の高域成分評価値(top_act)とする(ステップS2)。
また、同様に下部の高域成分評価部3は、前記画像入力部1からフレームが入力したならば、下記の処理を開始する。フレームが入力されない場合は処理を開始せずに、入力待ち状態で待機する。
フレームの画面の下部約20%を水平8画素、垂直8画素のブロックに分割し、各ブロック内の点(i,j)における輝度信号をY(i,j)としたとき、各ブロックについて前記と同様に数式4による計算を行う。この計算結果を下部の高域成分評価値(bottom_act)とする(ステップS3)。
そして前記上部の高域成分評価部3で計算したtop_actと前記bottom_actを合成部7に供給する。
ここで合成・記憶部7の詳細な内部構成と動作について説明する。
図2は上記合成・記憶部7の構成を示したものである。
供給されるフレームの画面のtop_actとbottom_actを基に各基本奥行きモデルの合成比率km (但しm=1、2、3:mの値は基本奥行きモデルの対応に対応する )を決定する合成比率決定部70と、前記合成比率決定部70で生成した各基本奥行きモデルの合成比率kmによって各奥行き基本モデルを合成する3つの乗算器71〜73と1つの加算器74、及び合成された合成基本奥行きモデルを保持するフレームメモリ75より構成する。
このような構成の合成・記憶部7の内部の動作を以下に説明する。
合成比率決定部70により合成する前記3種類の基本奥行きモデルにおける合成比率k1(n)、k2(n)、k3(n)を決定する(ステップS4)。但しk1(n)+k2(n)+k3(n)=1とする。
次にステップ4で求めたnフレームにおける合成比率km (但しm=1、2、3:mの値は基本奥行きモデルの対応に対応する)により対応する基本奥行きモデルを合成し、合成基本奥行きモデルを生成する(ステップ5)。
ステップ5で生成する合成基本奥行きモデルは、ステップ1の判断処理により、入力する非立体画像のnフレームからn+k−1フレームまで適用されることになる。 換言すれば、kフレーム分は、ステップ2〜5までの合成基本奥行きモデル生成処理を行わずに、nフレームにおいて求めた合成基本奥行きモデルを使用して奥行き推定データを算出することとなる。この場合のkの具体的な値は、通常の動きのシーンの場合は2〜3、ゆっくりした動きのシーンで4〜6などとすれば良いが、動きの大きさに応じて適応的に変化させる方法でもよい。
図13はステップS4で決定される合成比率の決定条件の一例を示す。図13はtop_actを横軸、bottom_actを縦軸とし、予め指定された値tps,tpl,bms,bmlとの兼ね合いにより基本奥行きモデルタイプを選択もしくは合成することを示す。図13において、複数の基本奥行きモデルタイプを記載している部分については、高域成分評価値(activity)に応じて線形に合成する。
例えば、Type1/2では
(top_act−tps):(tpl−top_act)
の比率で基本奥行きモデルタイプ1(Type1)と基本奥行きモデルタイプ2(Type2)の合成比率を決定する。すなわち、Type1/2の合成比率は、基本奥行きモデルタイプ3(Type3)は使用せず、
Type1:Type2:Type3 =
(top_act−tps):(tpl−top_act):0
で合成比率を決定する。
また、Type2/3、Type1/3については
(bottom_act−bms):(bml−bottom_act)
の比率で基本奥行きモデルタイプ2と基本奥行きモデルタイプ3の合成比率を決定し、基本奥行きモデルタイプ1と基本奥行きモデルタイプ3の合成比率を決定する。すなわち、Type2/3の合成比率は、基本奥行きモデルタイプ1(Type1)は使用せず、
Type1:Type2:Type3 =
0:(bottom_act−bms):(bml−bottom_act)
で合成比率を決定し、Type1/3の合成比率は、基本奥行きモデルタイプ2(Type2)は使用せず、
Type1:Type2:Type3 =
(bottom_act−bms):0:(bml−bottom_act)
で合成比率を決定する。
更に、Type1/2/3においては、Type1/2,Type1/3の合成比率の平均を採用しており、
Type1:Type2:Type3 =
(top_act−tps)+(bottom_act−bms):
(tpl−top_act):(bml−bottom_act)
で合成比率を決定する。なお、図2における合成比率k1、k2、k3は
k1= Type1/(Type1+Type2+Type3)
k2= Type2/(Type1+Type2+Type3)
k3= Type3/(Type1+Type2+Type3)
のように表現する。
なおこのステップ5の奥行きモデル合成処理においては、計算済みの基本奥行きモデルタイプをフレームメモリから呼び出すのでなく、その都度数式1〜3を用いた計算によって生成したものを使用しても構わない。また、その都度数式1〜3を用いた計算によって生成したものをフレームメモリに一旦記憶して、呼び出して使用しても構わない。
このように、本実施例では、基本となるシーンの奥行き構造モデルとして3種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定し、基本奥行きモデルタイプ1を基本にしながらも、画面上部の高域成分が少ない場合は上部に空もしくは平坦な壁が存在するシーンと認識して上部の奥行きを深くした基本奥行きモデルタイプ2の比率を増加させ、画面下部の高域成分が少ない場合は下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる基本奥行きモデルタイプ3の比率を増加させるといった処理を行うようにしたため、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うことが可能になる。
再び図1及び図3に戻って説明する。
上記のようにして合成器7にて得た合成基本奥行きモデルを加算器10に供給し、ここで画像入力部1により入力した、基となる擬似立体画像生成対象の非立体画像の三原色信号(RGB信号)のうちの赤色信号(R信号)9と重畳して最終的な奥行き推定データ11を生成する(ステップS6)。前記R信号はそのままの値を用いなくても良く、本実施例では例えば1/10にして重畳している。
R信号を使用する理由の一つは、R信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。基本奥行きモデル1の一例である図6の手前に人物を配したサンプルである図14に対して、R信号を重畳したときの奥行き推定データ11の画像の例を図15に示す。また図16にその3次元構造を示す。図15、図16においてはR信号の比較的大きな人物や並木が一段全面に出たような形態になっている。
赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。さらに双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
以上の処理により、奥行き推定データを生成する擬似立体画像生成装置を実現できる。
そして、前記擬似立体画像生成装置により生成した奥行き推定データ11を基に別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側(鼻側)に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。
画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
より具体的な処理の流れを図17に示す。ここでは、入力画像に対応する奥行き推定データ11を8ビットの輝度値Ydで表すものとする。
テクスチャシフト部12では、このYdについて小さい値すなわち奥に位置するものから順に、その値に対応する部分の入力画像15のテクスチャを(Yd−m)/n画素右にシフトする。ここで、mは画面上の奥行きに表示する奥行きデータであり、これより大きなYdに関しては画面より手前に、小さなYdに関しては奥に表示される。また、nは奥行き感を調整するパラメータである。これらのパラメータは例えばm=200、n=20などとする。
上記動作は本発明の「非立体画像のテクスチャのシフト」に対応するものであり、換言するならば、非立体画像の各画素を奥行き信号の値に応じてそれぞれを左右に移動する処理である。
シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部18において、入力画像15の対応部分で充填する、若しくは公知の文献(山田邦男,望月研二,相澤清晴,齊藤隆弘:” 領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償", 映情学誌, Vol.56, No.5, pp. 863~866 (2002. 5))に記載の手法で充填する。
オクルージョン補償部18でオクルージョン補償した画像は、ポスト処理部19により、平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減することによって左目画像21を生成し、入力画像15を右目画像20とすることによりステレオペアが構成される。これらの右目画像20と左目画像21とは、図示していない出力手段により出力する。
図18に以上の手順で生成したステレオペアの一例を示す。但し、ここでは、左右の違いをわかりやすくするための強調がなされている。なお、左右反転することで、左目画像を原画、右目画像を生成した別視点画像のステレオペアを構成してもよい。
また、上記処理においては、右目画像もしくは左目画像のどちらかを入力画像、他方を生成された別視点画像とするようなステレオペアを構成しているが、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。
以上の処理によりステレオペア生成装置を実現できる。
なお、本実施例ではステレオペア生成装置として2視点での例を説明しているが、2視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。
これまでに述べた擬似立体画像生成装置及びステレオペア生成装置を組み合わせることにより、図19に示す本発明に係る非立体画像を擬似立体画像として立体視することを可能にする擬似立体画像表示システムを構成することができる。同図中、図1及び図17と同一構成部分には同一符号を付し、その説明を省略する。
図19に示す擬似立体画像表示システムは、図1に示した擬似立体画像生成装置30で
生成した擬似立体画像である奥行き推定データと、画像入力部1に入力された非立体画像
とを図17に示した構成のステレオペア生成装置40のテクスチャシフト部17に供給し、これによりステレオペア生成装置40で生成されたステレオペア画像(右目画像20及び左目画像21)をステレオ表示装置50に供給する構成である。
ここで、上記のステレオ表示装置50とは、偏光メガネを用いたプロジェクションシス
テム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しく
はディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式の
ステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各
画像に対応した2台のプロジェクタによるプロジェクタシステムを含む。また、上記のよ
うに2視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
このように、本実施の形態によれば、基本奥行きモデルの決定において、3種類の基本
奥行きモデルの合成を基本にし、経験知に基づき、現実のシーン構造に比較的に近い可能
性が高いようにすることを目標としつつも、複雑なシーンの場合には、球面の基本モデル
タイプ1が主体になるように、いわばフェイルセーフに配慮した処理を行う。従って得られたステレオペア(擬似立体画像)は、左画像について目立った破綻がなく、また立体視した場合、大きな違和感がないため、動画像からシーン内容に応じた奥行きモデルを構築することが可能になり、これを基に違和感の少ない擬似立体画像を生成することができる。
さらに基本奥行きモデルの生成処理を所定フレームおきに行う構成にすることにより、基本奥行きモデルの生成処理に要する処理量を軽減することが可能となる。
本実施例においては、カウントする画像の数の単位をフレームで説明しているが、フィールドを単位として実現してもよい。
なお、本発明は、ハードウェアにより図1の構成の擬似立体画像作成装置を構成する場
合に限定されるものではなく、図3の手順を実行するコンピュータプログラムによるソフ
トウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラ
ムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュ
ータに取り込まれてもよい。

本発明の擬似立体画像生成装置の一実施例のブロック図である。 本発明の擬似立体画像生成装置の一実施例における“合成部7”のブロック図である。 本発明の擬似立体画像生成プログラムの一実施例のフローチャートである。 本発明の一実施例における基本奥行きモデルタイプ1の奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ1の立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ1が使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデルタイプ2の奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ2の立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ2が使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデルタイプ3の奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ3の立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ3が使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデル合成比率決定条件を説明する図である。 本発明の一実施例における画像サンプルの一例を示す図である。 本発明の一実施例におけるR信号を重畳した奥行き画像の一例を示す図である。 本発明の一実施例におけるR信号を重畳した奥行きの立体構造を示す図である。 本発明の一実施例におけるステレオペアの生成の処理の流れを示す図である。 本発明の一実施例における擬似立体化されたステレオペアの一例を示す図である。 本発明の一実施例における擬似立体画像表示システムを示す図である。 本発明の一実施例における基本奥行きモデルの座標系を示す図である。
符号の説明
1 画像入力部
2 上部の高域成分評価部
3 下部の高域成分評価部
4、5、6 フレームメモリ
7 合成部
9 R信号
10 加算器
11 奥行き推定データ




Claims (4)

  1. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する擬似立体画像生成装置であって、
    基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び/又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段と、
    入力する前記非立体画像の数をカウントしたカウント数が所定の値になるときにのみ前記入力する前記非立体画像を出力する第一の出力部と、入力する非立体画像を前記カウントに数に関係なくそのまま出力する第二の出力部とを持つ画像入力手段と、
    前記画像入力手段の前記第一の出力部から前記非立体画像が入力した場合は、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定し、算定した合成比率の値を出力し、前記画像入力手段の前記第一の出力部から前記非立体画像が入力しない場合は前記算定処理を行わず待機状態となる算定手段と、
    前記算定手段により前記複数の基本奥行きモデル間の合成比率の値が入力した場合は、前記記憶手段から読み出した前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成、記憶し、前記合成比率の値が入力しない場合は、直前の前記複数の基本奥行きモデル間の合成比率の値が入力した時に生成、記憶した合成基本奥行きモデルの記憶状態を保持する、合成・記憶手段と、
    前記合成・記憶手段に記憶している合成基本奥行きモデルと、前記画像入力手段の前記第二の出力機能から入力する前記非立体画像とから前記奥行き推定データを生成する生成手段と、
    を有することを特徴とする擬似立体画像生成装置。
  2. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似的な立体動画像を生成し表示する擬似立体画像表示システムであって、
    前記奥行き推定データを生成する請求項1記載の擬似立体画像生成装置と、
    前記擬似立体画像生成装置の生成手段より供給される前記奥行き推定データと擬似立体画像生成の対象となる前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成装置と、
    前記複数視点画像生成装置で生成した複数の別視点画像及び/または擬似立体画像生成の対象となる前記非立体画像を用いて擬似立体画像を表示する表示装置と、
    から構成することを特徴とする擬似立体画像表示システム。
  3. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
    入力する前記非立体画像の数をカウントしたカウント数によって前記奥行き推定データの基となる合成奥行き基本モデル生成処理を実行するか否かを判断する判断機能と、
    前記判断機能が、合成奥行き基本モデル生成処理を実行すると判断したならば、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを合成するための合成比率を算定する算定機能と、
    前記算定機能により前記複数の基本奥行きモデル間の合成比率の値が入力したならば、前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成し、生成した前記合成基本奥行きモデルを記憶手段に書き込む処理を行い、前記合成比率の値が入力されない場合は、前記合成基本モデルの生成処理及び記憶手段への書き込み処理を行わない、合成機能と、
    前記記憶手段に記憶してある前記合成基本奥行きモデルを読み出して、読み出した前記合成基本奥行きモデルと前記入力する前記非立体画像とから前記奥行き推定データを生成する生成機能と
    をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。
  4. 請求項3記載の擬似立体画像生成プログラムにおいて生成した奥行き推定データに応じて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成機能をコンピュータに実現させることを特徴とする複数視点画像生成プログラム。


JP2004376017A 2004-12-27 2004-12-27 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム Active JP4214528B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004376017A JP4214528B2 (ja) 2004-12-27 2004-12-27 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004376017A JP4214528B2 (ja) 2004-12-27 2004-12-27 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム

Publications (2)

Publication Number Publication Date
JP2006186510A true JP2006186510A (ja) 2006-07-13
JP4214528B2 JP4214528B2 (ja) 2009-01-28

Family

ID=36739308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004376017A Active JP4214528B2 (ja) 2004-12-27 2004-12-27 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム

Country Status (1)

Country Link
JP (1) JP4214528B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084937A1 (en) * 2007-01-10 2008-07-17 Real Image Corp. Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
WO2010137406A1 (ja) 2009-05-26 2010-12-02 ソニー株式会社 画像表示装置、画像観察用眼鏡、および画像表示制御方法、並びにプログラム
JP2013066025A (ja) * 2011-09-16 2013-04-11 Jvc Kenwood Corp 映像表示装置及び映像表示方法
JP2013157671A (ja) * 2012-01-26 2013-08-15 Sony Corp 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム
US8654179B2 (en) 2008-12-25 2014-02-18 Panasonic Corporation Image processing device and pseudo-3D image creation device
US8873939B2 (en) 2011-05-16 2014-10-28 Kabushiki Kaisha Toshiba Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084937A1 (en) * 2007-01-10 2008-07-17 Real Image Corp. Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
KR100894874B1 (ko) 2007-01-10 2009-04-24 주식회사 리얼이미지 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
AU2008204084B2 (en) * 2007-01-10 2010-08-26 Real Image Corp. Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
US8571304B2 (en) 2007-01-10 2013-10-29 Real Image Corp. Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
US8654179B2 (en) 2008-12-25 2014-02-18 Panasonic Corporation Image processing device and pseudo-3D image creation device
WO2010137406A1 (ja) 2009-05-26 2010-12-02 ソニー株式会社 画像表示装置、画像観察用眼鏡、および画像表示制御方法、並びにプログラム
US8773519B2 (en) 2009-05-26 2014-07-08 Sony Corporation Image display apparatus, glasses for image observation, image display control method, and program
US8873939B2 (en) 2011-05-16 2014-10-28 Kabushiki Kaisha Toshiba Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium
JP2013066025A (ja) * 2011-09-16 2013-04-11 Jvc Kenwood Corp 映像表示装置及び映像表示方法
JP2013157671A (ja) * 2012-01-26 2013-08-15 Sony Corp 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム
US9317957B2 (en) 2012-01-26 2016-04-19 Sony Corporation Enhancement of stereoscopic effect of an image through use of modified depth information

Also Published As

Publication number Publication date
JP4214528B2 (ja) 2009-01-28

Similar Documents

Publication Publication Date Title
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US7262767B2 (en) Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
JP5402483B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
JP5402504B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
JP4489610B2 (ja) 立体視可能な表示装置および方法
US20090195643A1 (en) Medial axis decomposition of 2d objects to synthesize binocular depth
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
US9041773B2 (en) Conversion of 2-dimensional image data into 3-dimensional image data
JP2007264722A (ja) 画像処理装置
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
CN102034265A (zh) 一种三维视图获取方法
TW201315209A (zh) 呈現立體影像之系統及方法
JP4214527B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
JP5692051B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP5691965B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP4214528B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
KR102091860B1 (ko) 영상 부호화 방법 및 장치
CN106412562B (zh) 三维场景中显示立体内容的方法及其系统
US8976175B2 (en) Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device
JP4419139B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
CN102186093B (zh) 一种生成立体图像的方法和系统
KR100272132B1 (ko) 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치
JP5500092B2 (ja) 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
Li et al. High-quality view interpolation based on depth maps and its hardware implementation
JP6056459B2 (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081010

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081023

R151 Written notification of patent or utility model registration

Ref document number: 4214528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5