JP2006325173A - ２眼式立体表示装置およびプログラム - Google Patents
２眼式立体表示装置およびプログラム Download PDFInfo
- Publication number
- JP2006325173A JP2006325173A JP2005203783A JP2005203783A JP2006325173A JP 2006325173 A JP2006325173 A JP 2006325173A JP 2005203783 A JP2005203783 A JP 2005203783A JP 2005203783 A JP2005203783 A JP 2005203783A JP 2006325173 A JP2006325173 A JP 2006325173A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- pixel
- luminance
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】 従来１画素の大きさにより決定された奥行きの分解能を大幅に向上させ、奥行き方向に滑らかな動きを表現可能とする２眼式立体表示装置を提供する。
【解決手段】 画像処理部と、前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる２眼式立体表示装置であって、前記画像処理部は、左眼用画像と右眼用画像の各々において、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換する。
【選択図】 図２
【解決手段】 画像処理部と、前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる２眼式立体表示装置であって、前記画像処理部は、左眼用画像と右眼用画像の各々において、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換する。
【選択図】 図２
Description
本発明は、２眼式立体表示装置およびプログラムに係り、特に、左眼および右眼用に各々視点の異なる２種類、またはそれ以上の画像を用意し、左眼および右眼別々に異なる画像を提示する両眼視差による立体視を基本とした２眼式立体表示装置に関する。
従来の２眼式立体表示装置は、左右眼用に使用する画像の１画素の大きさによって、左右眼の位置との関係から三角測量の原理により表現可能な奥行きの分解能が決定されている。（下記、非特許文献１参照）
このため、２眼式立体表示装置を用いた場合には、図１２（ａ）に示すように、視差は画像の１画素の大きさで決定されるので、図１２（ｂ）に示すように、より高い奥行き分解能で表示することができず、奥行き方向への滑らかな動きが表現できなかった。
他方、一般的なＣＧ（Computer Graphics）では、正方形で表された画素の輝度を計算する際、図１３の黒丸に示すように、ある１つのサンプル点を想定し、その点に集まる光線を計算することにより、その点の輝度を求めていた。
しかしながら、このような方法では、２眼立体視における視差が画素周期単位となり離散化してしまい、そのため、奥行きも離散化されてしまうという問題点があった。
これを回避する方法の一つに、２眼式立体表示装置とは異なる方式として、２枚、またはそれ以上の画像を奥行き方向に重ねて配置し、重なるように表示した各画像間の輝度比を変化させることで連続的な奥行きを表現する方式がある（下記、特許文献１参照）。
この方式は画像間の輝度の比により奥行きが表現できるので、画像の階調数（例えば、８ビットの画像なら２５６段階）まで奥行きの表現が可能である。しかし、この方式は画像を２枚以上重ねる特殊な装置が必要となり、通常の２眼式立体表示装置とは異なる。
さらに、画像処理の観点で比較的近い技術に、液晶画面などに表示される文字のエッジの輝度をコントロールして、可読性を向上させる技術があるが（下記、非特許文献２参照）、これらは字を読みやすくするなどが目的であり、２眼式立体表示に用いられた例はなく、また、１画素未満の視差を表現した例もない。
このため、２眼式立体表示装置を用いた場合には、図１２（ａ）に示すように、視差は画像の１画素の大きさで決定されるので、図１２（ｂ）に示すように、より高い奥行き分解能で表示することができず、奥行き方向への滑らかな動きが表現できなかった。
他方、一般的なＣＧ（Computer Graphics）では、正方形で表された画素の輝度を計算する際、図１３の黒丸に示すように、ある１つのサンプル点を想定し、その点に集まる光線を計算することにより、その点の輝度を求めていた。
しかしながら、このような方法では、２眼立体視における視差が画素周期単位となり離散化してしまい、そのため、奥行きも離散化されてしまうという問題点があった。
これを回避する方法の一つに、２眼式立体表示装置とは異なる方式として、２枚、またはそれ以上の画像を奥行き方向に重ねて配置し、重なるように表示した各画像間の輝度比を変化させることで連続的な奥行きを表現する方式がある（下記、特許文献１参照）。
この方式は画像間の輝度の比により奥行きが表現できるので、画像の階調数（例えば、８ビットの画像なら２５６段階）まで奥行きの表現が可能である。しかし、この方式は画像を２枚以上重ねる特殊な装置が必要となり、通常の２眼式立体表示装置とは異なる。
さらに、画像処理の観点で比較的近い技術に、液晶画面などに表示される文字のエッジの輝度をコントロールして、可読性を向上させる技術があるが（下記、非特許文献２参照）、これらは字を読みやすくするなどが目的であり、２眼式立体表示に用いられた例はなく、また、１画素未満の視差を表現した例もない。
なお、本願発明に関連する先行技術文献としては以下のものがある。
特許第３０２２５５８号明細書（三次元表示方法及び装置）
大越孝敬、「三次元画像工学」、朝倉書店発行、１９９１年、ｐｐ．６３
岡田哲ほか５名、「カラー液晶対応ＬＣフォントＬＣＦＯＮＴ．Ｃ」、 シャープ技報第８１号、ｐ．２５〜２８、２００１年１２月
従来の２眼式立体表示装置では、装置構成上１画素の大きさが決まっており、これが制約となり左右眼の位置から三角測量の原理で奥行き表現の分解能が決定されていた。
このため、これまで物理的に１画素未満の視差を表現することはできないと考えられ、奥行き方向に滑らかな動きが表現できないという問題があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、従来１画素の大きさにより決定された奥行きの分解能を大幅に向上させ、奥行き方向に滑らかな動きを表現可能とする２眼式立体表示装置を提供することにある。
また、本発明の他の目的は、前述の２眼式立体表示装置をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
このため、これまで物理的に１画素未満の視差を表現することはできないと考えられ、奥行き方向に滑らかな動きが表現できないという問題があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、従来１画素の大きさにより決定された奥行きの分解能を大幅に向上させ、奥行き方向に滑らかな動きを表現可能とする２眼式立体表示装置を提供することにある。
また、本発明の他の目的は、前述の２眼式立体表示装置をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
即ち、本発明は、画像処理部と、前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる２眼式立体表示装置であって、前記画像処理部は、左眼用画像と右眼用画像の各々において、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換することを特徴とする。
ここで、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右両側の内側部分である。
また、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左（または右）の内側部分と、画像中に表示される物体の右（または左）の外側部分である。
また、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右の外側部分である。
即ち、本発明は、画像処理部と、前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる２眼式立体表示装置であって、前記画像処理部は、左眼用画像と右眼用画像の各々において、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換することを特徴とする。
ここで、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右両側の内側部分である。
また、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左（または右）の内側部分と、画像中に表示される物体の右（または左）の外側部分である。
また、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右の外側部分である。
また、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右両側の内側部分と、画像中に表示される物体の左右の外側部分である。
また、前記領域は、左眼用画像の右（または左）側の内側部分と、右眼用画像の左（または右）側の内側部分である。
また、前記領域は、左眼用画像の右（または左）側の外側部分と、右眼用画像の左（または右）側の外側部分である。
また、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右方向において、立体画像出力部の１画素の整数倍の領域である。
また、本発明では、前記画像処理部が、画像出力部よりも高い空間密度で画像の計算を行い、画像出力部の画素に表示する輝度を、当該画素の領域に含まれる計算値の平均とする。
また、本発明では、前記画像処理部が、計算場所の左右方向の密度をそれと垂直方向の密度に比べ大きくする。
また、前記領域は、左眼用画像の右（または左）側の内側部分と、右眼用画像の左（または右）側の内側部分である。
また、前記領域は、左眼用画像の右（または左）側の外側部分と、右眼用画像の左（または右）側の外側部分である。
また、前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右方向において、立体画像出力部の１画素の整数倍の領域である。
また、本発明では、前記画像処理部が、画像出力部よりも高い空間密度で画像の計算を行い、画像出力部の画素に表示する輝度を、当該画素の領域に含まれる計算値の平均とする。
また、本発明では、前記画像処理部が、計算場所の左右方向の密度をそれと垂直方向の密度に比べ大きくする。
また、本発明では、前記画像処理部が、計算場所の左右方向の密度が不均一な場合に、計算場所の間隔に比例した重み付けを行い平均する。
また、本発明では、前記画像処理部が、画素境界に近い場所の重みを中央部の重みより大きくして平均の演算を行うことを特徴とする請求項９または請求項１０に記載の２眼式立体表示装置。
また、本発明では、前記画像処理部が、前記画素輝度の計算において、画像をぼかすことにより多数のサンプル点を平均するのと同等な演算効果を得る。
また、本発明では、前記画像処理部が、計算された画素輝度について、該画素の左右の輝度に対する当該画素の内分比を引数とする関数を用いて、該画素の輝度を補正する。
また、本発明では、前記画像処理部が、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の赤、緑、青のそれぞれの輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換する。
また、本発明は、前述の画像処理部をコンピュータに実行させるためのプログラムである。
また、本発明では、前記画像処理部が、画素境界に近い場所の重みを中央部の重みより大きくして平均の演算を行うことを特徴とする請求項９または請求項１０に記載の２眼式立体表示装置。
また、本発明では、前記画像処理部が、前記画素輝度の計算において、画像をぼかすことにより多数のサンプル点を平均するのと同等な演算効果を得る。
また、本発明では、前記画像処理部が、計算された画素輝度について、該画素の左右の輝度に対する当該画素の内分比を引数とする関数を用いて、該画素の輝度を補正する。
また、本発明では、前記画像処理部が、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の赤、緑、青のそれぞれの輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換する。
また、本発明は、前述の画像処理部をコンピュータに実行させるためのプログラムである。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、立体表示される物体のエッジ部を僅かに加工することにより、１画素未満の視差に相当する奥行き表示が可能となるため、従来問題となっていた奥行き方向の不連続感を大幅に減少させることが可能となる。
本発明によれば、立体表示される物体のエッジ部を僅かに加工することにより、１画素未満の視差に相当する奥行き表示が可能となるため、従来問題となっていた奥行き方向の不連続感を大幅に減少させることが可能となる。
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［本発明の２眼式立体表示装置の構成］
本発明は、左眼および右眼に独立に画像を提示して立体視させる２眼式立体表示装置に関する。
図１は、本発明の２眼式立体表示装置の概略構成を示すブロック図である。
図１に示すように、本発明の２眼式立体表示装置１００は、３次元データ出力部１０１と、画像処理部１０２と、立体画像出力部１０３とを有する。また、画像処理部１０２は、左眼用画像処理部１０２Ｌと、右眼用画像処理部１０２Ｒとから構成され、それぞれの画像処理部（１０２Ｌ，１０２Ｒ）は、対応点抽出部１１１と、画素変換部１１２とで構成される。
３次元データ出力部１０１は、既存の３次元データから２眼式立体表示用に生成される従来の左右眼用画像に加え、奥行き情報を意味する視差情報（画素数＋α、ここでαは、１画素未満の視差）を出力する。
本発明の中心的機能となる画像処理部１０２の各眼用画像処理部（１０２Ｌ，１０２Ｒ）において、対応点抽出部１１１で、視差データから左眼用画像と右眼用画像の対応点が抽出され、抽出された対応点情報を元に、画素変換部１１２で、以下に説明する方法で対応点の画素変換を行い、出力された左右眼用画像を、立体画像出力部１０３に表示する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［本発明の２眼式立体表示装置の構成］
本発明は、左眼および右眼に独立に画像を提示して立体視させる２眼式立体表示装置に関する。
図１は、本発明の２眼式立体表示装置の概略構成を示すブロック図である。
図１に示すように、本発明の２眼式立体表示装置１００は、３次元データ出力部１０１と、画像処理部１０２と、立体画像出力部１０３とを有する。また、画像処理部１０２は、左眼用画像処理部１０２Ｌと、右眼用画像処理部１０２Ｒとから構成され、それぞれの画像処理部（１０２Ｌ，１０２Ｒ）は、対応点抽出部１１１と、画素変換部１１２とで構成される。
３次元データ出力部１０１は、既存の３次元データから２眼式立体表示用に生成される従来の左右眼用画像に加え、奥行き情報を意味する視差情報（画素数＋α、ここでαは、１画素未満の視差）を出力する。
本発明の中心的機能となる画像処理部１０２の各眼用画像処理部（１０２Ｌ，１０２Ｒ）において、対応点抽出部１１１で、視差データから左眼用画像と右眼用画像の対応点が抽出され、抽出された対応点情報を元に、画素変換部１１２で、以下に説明する方法で対応点の画素変換を行い、出力された左右眼用画像を、立体画像出力部１０３に表示する。
［本発明の原理］
以下、本発明の原理について、図２を用いて説明する。
本発明は、２眼式立体表示装置で表示される物体に、各眼用画像処理部（１０２Ｌ，１０２Ｒ）において、表示輝度に応じた画像処理を施すことにより、１画素未満の視差に相当する奥行きを表現可能とするものである。
ここでは、簡単のため黒い四角のエッジ部分に画像処理を施し、画面に対して手前に、視差を１画素＋α分、浮き出させる例を説明する。
まず、黒い四角は、図２の左上の元画像の左眼用画像および右眼用画像に示すように、１画素分の視差がつけられ（１画素分相対的に内側によっている）、表示面に対して手前に飛び出すように表示されている。
この場合の左眼用画像および右眼用画像の輝度分布は、図２の右上のグラフのようになる。通常の２眼式立体表示装置では、このような輝度分布となっており、視差は１画素の整数倍で表現される。
本発明では、図２の四角のエッジ部を加工することにより、＋α分を手前に飛び出させるように変化させる。
まず、図２の四角の外側のエッジ（左眼用画像は四角の左側、右眼用画像は四角の右側）について四角の領域内の１画素分の領域を、元画像（黒）より明るくなるように輝度を変更する。
次に、四角の内側のエッジ（左眼用画像は四角の右側、右眼用画像は四角の左側）について四角の領域外の１画素分の領域に元画像（白）より暗くなるように輝度を変更する。
この場合の左眼用画像および右眼用画像各々の輝度分布は、図２の左下の２つのグラフのようになり、これらを重ねると図２の右下のグラフのようになる。
以下、本発明の原理について、図２を用いて説明する。
本発明は、２眼式立体表示装置で表示される物体に、各眼用画像処理部（１０２Ｌ，１０２Ｒ）において、表示輝度に応じた画像処理を施すことにより、１画素未満の視差に相当する奥行きを表現可能とするものである。
ここでは、簡単のため黒い四角のエッジ部分に画像処理を施し、画面に対して手前に、視差を１画素＋α分、浮き出させる例を説明する。
まず、黒い四角は、図２の左上の元画像の左眼用画像および右眼用画像に示すように、１画素分の視差がつけられ（１画素分相対的に内側によっている）、表示面に対して手前に飛び出すように表示されている。
この場合の左眼用画像および右眼用画像の輝度分布は、図２の右上のグラフのようになる。通常の２眼式立体表示装置では、このような輝度分布となっており、視差は１画素の整数倍で表現される。
本発明では、図２の四角のエッジ部を加工することにより、＋α分を手前に飛び出させるように変化させる。
まず、図２の四角の外側のエッジ（左眼用画像は四角の左側、右眼用画像は四角の右側）について四角の領域内の１画素分の領域を、元画像（黒）より明るくなるように輝度を変更する。
次に、四角の内側のエッジ（左眼用画像は四角の右側、右眼用画像は四角の左側）について四角の領域外の１画素分の領域に元画像（白）より暗くなるように輝度を変更する。
この場合の左眼用画像および右眼用画像各々の輝度分布は、図２の左下の２つのグラフのようになり、これらを重ねると図２の右下のグラフのようになる。
通常の２眼式立体表示装置では、図２の右上のグラフのような左眼用画像および右眼用画像の視差分布を持つことになるが、画像処理を施すことで、図２右下のグラフのような輝度分布となり、これを人間が観察することで１画素未満の視差αを表現可能となる。
この場合のαは、エッジ部の輝度を変化させない（画像処理を施さない）ものから、最大に変化させる（エッジ部を無くす、あるいは追加する）ことで、視差αを０≦α≦１の範囲で変化させることが可能となる。
以下にエッジ部の輝度の与え方に関する典型的な例を示す。
図２の例で説明すると、四角のエッジ部の輝度は、例えば、下記（１）式のようになる。
左眼用画像の左側のエッジ輝度＋右眼用画像の左側のエッジ輝度＝四角の輝度
左眼用画像の右側のエッジ輝度＋右眼用画像の右側のエッジ輝度＝四角の輝度
・・・・・・・・・・・・・・ （１）
また、１画素未満の視差αを指定した場合、左眼用画像および右眼用画像の輝度値は、例えば、下記（２）式で決定できる。
左眼用画像の右側のエッジ輝度＝四角の輝度×α
右眼用画像の左側のエッジ輝度＝四角の輝度×α
左眼用画像の左側のエッジ輝度＝四角の輝度−右眼用画像の左側のエッジ輝度
右眼用画像の右側のエッジ輝度＝四角の輝度−左眼用画像の右側のエッジ輝度
・・・・・・・・・・・・・・ （２）
前述の（２）式は、あくまでもエッジの輝度部の変化と知覚される奥行き変化が線形な場合である。しかしながら、知覚現象には当然のことながら非線形性が含まれる場合もあり、この場合にはαがその関数であるf(α) と置き換わることは明らかである。特に、エッジ部の大きさや観察距離などが変化するとこの関数も変化する。
前述の（１）式は、典型的な例を示しており、必ずしもこれに限定されるものではない。
但し、計算の容易さや自然さなどから便利あるいは有利な場合が多い。また、これらの和が四角の輝度よりも低い場合には１画素分の視差を全て表現できない欠点を有するが、輝度階調数が少ない場合などに一定の奥行き範囲を詳細に表現できる。
次に、これらの和が四角の輝度より大きい場合には１画素分の視差以上に表現できるが、輝度が高いエッジ部のために違和感がある欠点がある。
これらの但書きから考えて、１画素未満の視差を表現できるエッジ部の輝度の与え方にはかなりの自由度があるが、あくまでもこれが１画素未満の視差を与えるために行われていることが重要である。また、これらの但書きは以下の実施例にも当然適用される。
この場合のαは、エッジ部の輝度を変化させない（画像処理を施さない）ものから、最大に変化させる（エッジ部を無くす、あるいは追加する）ことで、視差αを０≦α≦１の範囲で変化させることが可能となる。
以下にエッジ部の輝度の与え方に関する典型的な例を示す。
図２の例で説明すると、四角のエッジ部の輝度は、例えば、下記（１）式のようになる。
左眼用画像の左側のエッジ輝度＋右眼用画像の左側のエッジ輝度＝四角の輝度
左眼用画像の右側のエッジ輝度＋右眼用画像の右側のエッジ輝度＝四角の輝度
・・・・・・・・・・・・・・ （１）
また、１画素未満の視差αを指定した場合、左眼用画像および右眼用画像の輝度値は、例えば、下記（２）式で決定できる。
左眼用画像の右側のエッジ輝度＝四角の輝度×α
右眼用画像の左側のエッジ輝度＝四角の輝度×α
左眼用画像の左側のエッジ輝度＝四角の輝度−右眼用画像の左側のエッジ輝度
右眼用画像の右側のエッジ輝度＝四角の輝度−左眼用画像の右側のエッジ輝度
・・・・・・・・・・・・・・ （２）
前述の（２）式は、あくまでもエッジの輝度部の変化と知覚される奥行き変化が線形な場合である。しかしながら、知覚現象には当然のことながら非線形性が含まれる場合もあり、この場合にはαがその関数であるf(α) と置き換わることは明らかである。特に、エッジ部の大きさや観察距離などが変化するとこの関数も変化する。
前述の（１）式は、典型的な例を示しており、必ずしもこれに限定されるものではない。
但し、計算の容易さや自然さなどから便利あるいは有利な場合が多い。また、これらの和が四角の輝度よりも低い場合には１画素分の視差を全て表現できない欠点を有するが、輝度階調数が少ない場合などに一定の奥行き範囲を詳細に表現できる。
次に、これらの和が四角の輝度より大きい場合には１画素分の視差以上に表現できるが、輝度が高いエッジ部のために違和感がある欠点がある。
これらの但書きから考えて、１画素未満の視差を表現できるエッジ部の輝度の与え方にはかなりの自由度があるが、あくまでもこれが１画素未満の視差を与えるために行われていることが重要である。また、これらの但書きは以下の実施例にも当然適用される。
以上は、簡単な説明であるが、表示画像がシンプルな四角等でない場合は、決定したいエッジ部と隣り合う被写体の輝度（上の例の場合は四角の輝度）や背景輝度、さらにはエッジ部に使用する画素数、左右のエッジに適用するか、また左右のうち片方のエッジを用いて計算するかの情報を用いて計算することになる。
また、前述までの説明では、１画素未満の視差αを画面に対して手前（＋）方向に変化させる場合の例を説明したが、逆に画面の奥方向に１画素未満の視差α分だけ変化させる場合も、同様に四角の外側のエッジ（左眼用画像は四角の左側、右眼用画像は四角の右側）について四角の外側の領域を追加し、内側のエッジについて四角の内側をより明るくするように処理を施すことで実現可能である。
前述したような輝度分布を生じさせ、観察者に左右眼で融合させることにより、１画素未満の視差を表現することが可能となる。
なお、図１では、従来の左右視差画像を対応点抽出部１１１に入力し、各画像の対応点を求めた上で、画素変換部１１２で、視差を１画素サイズ未満の分解能で微調整する画像処理を行っているが、通常の２次元画像を直接、画素変換部１１２に入力し、表示に必要な視差を１画素サイズ未満の分解能で付与する画像処理を行うことも可能である。
その場合には、入力された２次元画像における任意の画素の対応点は、同一画像の同一画素とすればよく、対応点抽出部１１１は不要となる。
また、従来の左右視差像を原画にする場合には、３次元データ出力部がなくなり、対応点抽出後に、例えば周辺の視差との変化を例えばゆるやかに内挿する形で１画素未満の視差αを求めて、後の画像処理を行うことも可能である。
また、前述までの説明では、１画素未満の視差αを画面に対して手前（＋）方向に変化させる場合の例を説明したが、逆に画面の奥方向に１画素未満の視差α分だけ変化させる場合も、同様に四角の外側のエッジ（左眼用画像は四角の左側、右眼用画像は四角の右側）について四角の外側の領域を追加し、内側のエッジについて四角の内側をより明るくするように処理を施すことで実現可能である。
前述したような輝度分布を生じさせ、観察者に左右眼で融合させることにより、１画素未満の視差を表現することが可能となる。
なお、図１では、従来の左右視差画像を対応点抽出部１１１に入力し、各画像の対応点を求めた上で、画素変換部１１２で、視差を１画素サイズ未満の分解能で微調整する画像処理を行っているが、通常の２次元画像を直接、画素変換部１１２に入力し、表示に必要な視差を１画素サイズ未満の分解能で付与する画像処理を行うことも可能である。
その場合には、入力された２次元画像における任意の画素の対応点は、同一画像の同一画素とすればよく、対応点抽出部１１１は不要となる。
また、従来の左右視差像を原画にする場合には、３次元データ出力部がなくなり、対応点抽出後に、例えば周辺の視差との変化を例えばゆるやかに内挿する形で１画素未満の視差αを求めて、後の画像処理を行うことも可能である。
［実施例１］
本実施例では、前述した［本発明の原理］において、元画像の四角の外側と内側の両方に画像処理を施したのに対して、元の画像のエッジの内側のみを加工する場合を示す。
具体的には、図２の四角について、左眼用画像の四角の右側のエッジに領域を追加、また右眼用画像の四角の左側のエッジに領域を追加していたものを、図３の［実施例１］に示すように、四角の内側（左眼用画像の四角の右側のエッジの内側、右眼用画像の四角の左側のエッジの内側）に画像処理を施す実施例である。
この方法でも、１画素未満の視差を表現するという基本的な発明の効果は同じであり、各エッジの領域の明るさの計算方法は、前述の［本発明の原理］と同じである。但し、本実施例を用いた場合は全体として四角が横方向に小さくなったように知覚される。
本実施例では、前述した［本発明の原理］において、元画像の四角の外側と内側の両方に画像処理を施したのに対して、元の画像のエッジの内側のみを加工する場合を示す。
具体的には、図２の四角について、左眼用画像の四角の右側のエッジに領域を追加、また右眼用画像の四角の左側のエッジに領域を追加していたものを、図３の［実施例１］に示すように、四角の内側（左眼用画像の四角の右側のエッジの内側、右眼用画像の四角の左側のエッジの内側）に画像処理を施す実施例である。
この方法でも、１画素未満の視差を表現するという基本的な発明の効果は同じであり、各エッジの領域の明るさの計算方法は、前述の［本発明の原理］と同じである。但し、本実施例を用いた場合は全体として四角が横方向に小さくなったように知覚される。
［実施例２］
本実施例では、図３の［実施例２］に示すように、前述の実施例１において元画像の四角の内側のみに画像処理を施したものと逆に、四角の内側については画像処理を施さず、外側にのみ領域を追加し、この領域の明るさを変化させることで１画素未満の視差を表現するものである。
この方法でも１画素未満の視差を表現するという基本的な発明の効果は同じであり、エッジ領域の明るさの計算方法は上記実施の形態と同じである。ただし、全体として四角が横方向に大きくなったように知覚される。
本実施例では、図３の［実施例２］に示すように、前述の実施例１において元画像の四角の内側のみに画像処理を施したものと逆に、四角の内側については画像処理を施さず、外側にのみ領域を追加し、この領域の明るさを変化させることで１画素未満の視差を表現するものである。
この方法でも１画素未満の視差を表現するという基本的な発明の効果は同じであり、エッジ領域の明るさの計算方法は上記実施の形態と同じである。ただし、全体として四角が横方向に大きくなったように知覚される。
［実施例３］
本実施例では、前述の実施例１、２において、元画像の四角の左右エッジにおける領域の追加と、四角の内側の輝度の変更を同時に行っていたものを、図３の［実施例３］に示すように、左眼用画像の右側と右眼用画像の左側の四角の内側のみに追加することで実現するものである。
同様に左眼用画像の左側と右眼用画像の右側の四角の外側にのみ領域を追加することでも実現可能である。
この方法においては、四角の片方のエッジが固定されるため、１画素未満の視差の表現範囲が半分になり、０≦α≦１／２となる。
１／２画素未満の視差αが指定された場合、エッジ部の輝度は、下記（３）式で決定できる。
エッジ部の輝度＝四角の輝度×α ・・・・・・・・・・・・・・・・ （３）
本実施例では、前述の実施例１、２において、元画像の四角の左右エッジにおける領域の追加と、四角の内側の輝度の変更を同時に行っていたものを、図３の［実施例３］に示すように、左眼用画像の右側と右眼用画像の左側の四角の内側のみに追加することで実現するものである。
同様に左眼用画像の左側と右眼用画像の右側の四角の外側にのみ領域を追加することでも実現可能である。
この方法においては、四角の片方のエッジが固定されるため、１画素未満の視差の表現範囲が半分になり、０≦α≦１／２となる。
１／２画素未満の視差αが指定された場合、エッジ部の輝度は、下記（３）式で決定できる。
エッジ部の輝度＝四角の輝度×α ・・・・・・・・・・・・・・・・ （３）
［実施例４］
本実施例では、図３の［実施例４］に示すように、前述の実施例３において、四角の外側に領域を追加することのみで１画素未満の視差を表現する方法に対して、四角の内側の領域の輝度を変更することのみで１画素未満の視差を表現するものである。
この方法においても、実施例３と同様に、四角の片方のエッジが固定されるため、１画素未満の視差の表現範囲が半分になり、０≦α≦１／２となる。
１／２画素未満の視差αが指定された場合、エッジ部の輝度は、下記（４）式で決定できる。
エッジ部の輝度＝四角の輝度×α ・・・・・・・・・・・・・・・・ （４）
本実施例では、図３の［実施例４］に示すように、前述の実施例３において、四角の外側に領域を追加することのみで１画素未満の視差を表現する方法に対して、四角の内側の領域の輝度を変更することのみで１画素未満の視差を表現するものである。
この方法においても、実施例３と同様に、四角の片方のエッジが固定されるため、１画素未満の視差の表現範囲が半分になり、０≦α≦１／２となる。
１／２画素未満の視差αが指定された場合、エッジ部の輝度は、下記（４）式で決定できる。
エッジ部の輝度＝四角の輝度×α ・・・・・・・・・・・・・・・・ （４）
［実施例５］
本実施例では、前述の実施例１〜４において四角の外側に１画素分の領域を追加、あるいは四角の内側に１画素分の領域の輝度を変化させた方法に対して、１画素分ではなく複数画素の領域を追加／画像処理したものである。
エッジ部の領域に複数画素を用いた場合は、その画素数に応じてαの範囲が決定される。
例えば、図３の［実施例５］に示すように、２画素のエッジ部を使用する場合、αの範囲は０≦α≦２となる。
この範囲で視差αを指定した場合のエッジ部の輝度は、下記（５）式で決定できる。
エッジ部の輝度＝四角の輝度×α／（αの最大値） ・・・・・・・・・ （５）
この時、前述の実施例４に示すように、四角の左右片方のエッジのみ画像処理を施す場合等の（αの最大値）は、エッジを物体の左右に適用する場合は下記（６）式、エッジを物体の左右片方に適用する場合は、下記（７）式となる。
αの最大値＝エッジに使用する画素数／１ ・・・・・・・・・・・・・ （６）
αの最大値＝エッジに使用する画素数／２ ・・・・・・・・・・・・・ （７）
本実施例では、前述の実施例１〜４において四角の外側に１画素分の領域を追加、あるいは四角の内側に１画素分の領域の輝度を変化させた方法に対して、１画素分ではなく複数画素の領域を追加／画像処理したものである。
エッジ部の領域に複数画素を用いた場合は、その画素数に応じてαの範囲が決定される。
例えば、図３の［実施例５］に示すように、２画素のエッジ部を使用する場合、αの範囲は０≦α≦２となる。
この範囲で視差αを指定した場合のエッジ部の輝度は、下記（５）式で決定できる。
エッジ部の輝度＝四角の輝度×α／（αの最大値） ・・・・・・・・・ （５）
この時、前述の実施例４に示すように、四角の左右片方のエッジのみ画像処理を施す場合等の（αの最大値）は、エッジを物体の左右に適用する場合は下記（６）式、エッジを物体の左右片方に適用する場合は、下記（７）式となる。
αの最大値＝エッジに使用する画素数／１ ・・・・・・・・・・・・・ （６）
αの最大値＝エッジに使用する画素数／２ ・・・・・・・・・・・・・ （７）
［実施例６］
本実施例では、前述のエッジの処理方法について、元画像の四角のエッジの外側に領域を付加した上で四角の同じエッジの内側も輝度を変更する場合について説明する。
本実施例の基本は、前述の［本発明の原理］と同じであるが、エッジの画像処理方法が異なる。
前述の［本発明の原理］では、エッジの外側、あるいは内側の１画素の領域について処理を施しているが、エッジの外側の領域と内側の領域について同時に処理を施しても、１画素未満の視差の表現は可能である。
エッジの外側と内側の輝度を同じとした場合は、１画素未満の視差αに対するエッジの輝度の決定方法は、前述の［本発明の原理］で説明した方法と同じである。
ただし、エッジが１画素の場合に比べ、本実施例のように複数画素処理する場合は、元画像のエッジ部が空間的により劣化し、シャープなエッジを表現し難くなる。
さらに、エッジの外側と内側で異なる輝度を設定することも可能であるが、この場合はαに対する輝度の決定方法はより複雑化する。
本実施例では、前述のエッジの処理方法について、元画像の四角のエッジの外側に領域を付加した上で四角の同じエッジの内側も輝度を変更する場合について説明する。
本実施例の基本は、前述の［本発明の原理］と同じであるが、エッジの画像処理方法が異なる。
前述の［本発明の原理］では、エッジの外側、あるいは内側の１画素の領域について処理を施しているが、エッジの外側の領域と内側の領域について同時に処理を施しても、１画素未満の視差の表現は可能である。
エッジの外側と内側の輝度を同じとした場合は、１画素未満の視差αに対するエッジの輝度の決定方法は、前述の［本発明の原理］で説明した方法と同じである。
ただし、エッジが１画素の場合に比べ、本実施例のように複数画素処理する場合は、元画像のエッジ部が空間的により劣化し、シャープなエッジを表現し難くなる。
さらに、エッジの外側と内側で異なる輝度を設定することも可能であるが、この場合はαに対する輝度の決定方法はより複雑化する。
［実施例７］
前述の［本発明の原理］および各実施例では、簡単のため背景を白、四角を黒と２値を使用した例を示したが、本実施例では、より実際に使用しやすい例として、図４の実施例７に示すように、背景が薄いグレーで、四角が濃いグレーの場合について説明する。
これまでの例と同様に視差を１画素＋α（αは１画素未満の視差）を付けて、四角を画面に対して手前に飛び出して知覚させる場合について説明する。
濃いグレーの四角は、図４の元画像と同様に、１画素分左右画像間で相対的に内側に寄っており、画面に対して視差１画素分だけ手前に飛び出している。
ここで、前述の［本発明の原理］で示したように、左眼用画像の四角の右側と右眼用画像の四角の左側にエッジの領域を追加し、さらに、左眼用画像の四角の左エッジの内側と右眼用画像の四角の右エッジの内側の領域に画像処理を施す。
この場合のエッジ領域の輝度の決定方法は、１画素未満の視差αに対し、下記（８）式で決定される。
左眼用画像の右側のエッジ輝度＝（四角の輝度−背景の輝度）×α＋背景の輝度
右眼用画像の左側のエッジ輝度＝（四角の輝度−背景の輝度）×α＋背景の輝度
左眼用画像の左側のエッジ輝度＝四角の輝度−（四角の輝度−背景の輝度）×α
右眼用画像の右側のエッジ輝度＝四角の輝度−（四角の輝度−背景の輝度）×α
・・・・・・・・・・・・・・ （８）
前述の［本発明の原理］および各実施例では、簡単のため背景を白、四角を黒と２値を使用した例を示したが、本実施例では、より実際に使用しやすい例として、図４の実施例７に示すように、背景が薄いグレーで、四角が濃いグレーの場合について説明する。
これまでの例と同様に視差を１画素＋α（αは１画素未満の視差）を付けて、四角を画面に対して手前に飛び出して知覚させる場合について説明する。
濃いグレーの四角は、図４の元画像と同様に、１画素分左右画像間で相対的に内側に寄っており、画面に対して視差１画素分だけ手前に飛び出している。
ここで、前述の［本発明の原理］で示したように、左眼用画像の四角の右側と右眼用画像の四角の左側にエッジの領域を追加し、さらに、左眼用画像の四角の左エッジの内側と右眼用画像の四角の右エッジの内側の領域に画像処理を施す。
この場合のエッジ領域の輝度の決定方法は、１画素未満の視差αに対し、下記（８）式で決定される。
左眼用画像の右側のエッジ輝度＝（四角の輝度−背景の輝度）×α＋背景の輝度
右眼用画像の左側のエッジ輝度＝（四角の輝度−背景の輝度）×α＋背景の輝度
左眼用画像の左側のエッジ輝度＝四角の輝度−（四角の輝度−背景の輝度）×α
右眼用画像の右側のエッジ輝度＝四角の輝度−（四角の輝度−背景の輝度）×α
・・・・・・・・・・・・・・ （８）
［実施例８］
前述の［本発明の原理］および各実施例では、簡単のため、背景を白、四角を黒と２値を使用した画像、あるいは、グレースケールの画像について説明した。本実施例では、カラー画像を用いた場合について説明する。
図４の実施例８は、赤い背景に青い四角を上記と同様に視差１画素＋α（αは１画素未満の視差）を付ける例である。
人間は両眼視差の検出に輝度情報を用いているため、カラー画像を用いた場合のエッジ部分の輝度の決定方法は、前述の［本発明の原理］および各実施例と同じでよい。
ただし、同じ輝度であっても色は無数に変化させることが可能であるため、αの値に応じて背景と四角の色の中間値を用いる方法や、四角あるいは背景と同じ色にするという方法がある。
αの値に応じて背景と四角の色（赤青緑の三原色）の輝度を用い計算する方法として、前述の実施例７で説明した式を拡張した、下記（９）式のような計算が可能である。
前述の［本発明の原理］および各実施例では、簡単のため、背景を白、四角を黒と２値を使用した画像、あるいは、グレースケールの画像について説明した。本実施例では、カラー画像を用いた場合について説明する。
図４の実施例８は、赤い背景に青い四角を上記と同様に視差１画素＋α（αは１画素未満の視差）を付ける例である。
人間は両眼視差の検出に輝度情報を用いているため、カラー画像を用いた場合のエッジ部分の輝度の決定方法は、前述の［本発明の原理］および各実施例と同じでよい。
ただし、同じ輝度であっても色は無数に変化させることが可能であるため、αの値に応じて背景と四角の色の中間値を用いる方法や、四角あるいは背景と同じ色にするという方法がある。
αの値に応じて背景と四角の色（赤青緑の三原色）の輝度を用い計算する方法として、前述の実施例７で説明した式を拡張した、下記（９）式のような計算が可能である。
左眼用画像の右側のエッジ輝度（赤成分）
＝（四角の赤成分の輝度−背景の赤成分の輝度）×α＋背景の赤成分の輝度
左眼用画像の右側のエッジ輝度（青成分）
＝（四角の青成分の輝度−背景の青成分の輝度）×α＋背景の青成分の輝度
左眼用画像の右側のエッジ輝度（緑成分）
＝（四角の緑成分の輝度−背景の緑成分の輝度）×α＋背景の緑成分の輝度
右眼用画像の左側のエッジ輝度（赤成分）
＝（四角の赤成分の輝度−背景の赤成分の輝度）×α＋背景の赤成分の輝度
右眼用画像の左側のエッジ輝度（青成分）
＝（四角の青成分の輝度−背景の青成分の輝度）×α＋背景の青成分の輝度
右眼用画像の左側のエッジ輝度（緑成分）
＝（四角の緑成分の輝度−背景の緑成分の輝度）×α＋背景の緑成分の輝度
左眼用画像の左側のエッジ輝度（赤成分）
＝四角の赤成分の輝度−（四角の赤成分の輝度−背景の赤成分の輝度）×α
左眼用画像の左側のエッジ輝度（青成分）
＝四角の青成分の輝度−（四角の青成分の輝度−背景の青成分の輝度）×α
左眼用画像の左側のエッジ輝度（緑成分）
＝四角の緑成分の輝度−（四角の緑成分の輝度−背景の緑成分の輝度）×α
右眼用画像の右側のエッジ輝度（赤成分）
＝四角の赤成分の輝度−（四角の赤成分の輝度−背景の赤成分の輝度）×α
右眼用画像の右側のエッジ輝度（青成分）
＝四角の青成分の輝度−（四角の青成分の輝度−背景の青成分の輝度）×α
右眼用画像の右側のエッジ輝度（緑成分）
＝四角の緑成分の輝度−（四角の緑成分の輝度−背景の緑成分の輝度）×α
・・・・・・・・・・・・・・ （９）
なお、図３〜５では、説明の便宜上、一様な背景上に一様な物体を表示する場合に、表示物体の左右エッジ部分のみにおいて画素値を変換する例を示しているが、一様でない背景上に一様でない物体を表示する一般的な場合には、左右視差画像のすべて画素の各々を表示物体と見なし、前述実施例７あるいは実施例８で示した式に基づき、対応点ごとに画素値を変換すればよい。
＝（四角の赤成分の輝度−背景の赤成分の輝度）×α＋背景の赤成分の輝度
左眼用画像の右側のエッジ輝度（青成分）
＝（四角の青成分の輝度−背景の青成分の輝度）×α＋背景の青成分の輝度
左眼用画像の右側のエッジ輝度（緑成分）
＝（四角の緑成分の輝度−背景の緑成分の輝度）×α＋背景の緑成分の輝度
右眼用画像の左側のエッジ輝度（赤成分）
＝（四角の赤成分の輝度−背景の赤成分の輝度）×α＋背景の赤成分の輝度
右眼用画像の左側のエッジ輝度（青成分）
＝（四角の青成分の輝度−背景の青成分の輝度）×α＋背景の青成分の輝度
右眼用画像の左側のエッジ輝度（緑成分）
＝（四角の緑成分の輝度−背景の緑成分の輝度）×α＋背景の緑成分の輝度
左眼用画像の左側のエッジ輝度（赤成分）
＝四角の赤成分の輝度−（四角の赤成分の輝度−背景の赤成分の輝度）×α
左眼用画像の左側のエッジ輝度（青成分）
＝四角の青成分の輝度−（四角の青成分の輝度−背景の青成分の輝度）×α
左眼用画像の左側のエッジ輝度（緑成分）
＝四角の緑成分の輝度−（四角の緑成分の輝度−背景の緑成分の輝度）×α
右眼用画像の右側のエッジ輝度（赤成分）
＝四角の赤成分の輝度−（四角の赤成分の輝度−背景の赤成分の輝度）×α
右眼用画像の右側のエッジ輝度（青成分）
＝四角の青成分の輝度−（四角の青成分の輝度−背景の青成分の輝度）×α
右眼用画像の右側のエッジ輝度（緑成分）
＝四角の緑成分の輝度−（四角の緑成分の輝度−背景の緑成分の輝度）×α
・・・・・・・・・・・・・・ （９）
なお、図３〜５では、説明の便宜上、一様な背景上に一様な物体を表示する場合に、表示物体の左右エッジ部分のみにおいて画素値を変換する例を示しているが、一様でない背景上に一様でない物体を表示する一般的な場合には、左右視差画像のすべて画素の各々を表示物体と見なし、前述実施例７あるいは実施例８で示した式に基づき、対応点ごとに画素値を変換すればよい。
［実施例９］
前述したように、一般的なＣＧでは、正方形で表された画素の輝度を計算する際、図１３の黒丸で示すように、ある１つのサンプル点１３１を想定し、その点に集まる光線を計算することにより、その点の輝度を求めていたが、このような方法では、２眼立体視における視差が画素周期単位となり離散化してしまい、そのため、奥行きも離散化されてしまうという問題点があった。
本実施例は、この問題点を解決するための実施例であり、図５は、本実施例を説明するための概略図である。
図５に示すように、本実施例では、画素中に複数のサンプル点１３１を設け、それらの輝度を平均したものを画素の輝度として用いる。
本方法では、画素内にオブジェクトの端があった場合、その位置に応じて平均値が変化する。得られた平均値は、前述の実施例１〜８のエッジ領域の輝度に相当する。
前述したように、一般的なＣＧでは、正方形で表された画素の輝度を計算する際、図１３の黒丸で示すように、ある１つのサンプル点１３１を想定し、その点に集まる光線を計算することにより、その点の輝度を求めていたが、このような方法では、２眼立体視における視差が画素周期単位となり離散化してしまい、そのため、奥行きも離散化されてしまうという問題点があった。
本実施例は、この問題点を解決するための実施例であり、図５は、本実施例を説明するための概略図である。
図５に示すように、本実施例では、画素中に複数のサンプル点１３１を設け、それらの輝度を平均したものを画素の輝度として用いる。
本方法では、画素内にオブジェクトの端があった場合、その位置に応じて平均値が変化する。得られた平均値は、前述の実施例１〜８のエッジ領域の輝度に相当する。
［実施例１０］
しかしながら、前述の図５に示す方法では、サンプル点１３１の数だけ計算量が増大するという問題があった。本実施例では、この問題を解決するための実施例である。
図６は、本実施例を説明するための概略図であり、本実施例では、サンプル点１３１を横方向（または、左右方向）にだけ並べるものである。このサンプル点１３１で平均輝度を計算することにより同様の効果が得られる。
なお、図６では、一直線にサンプル点１３１を並べたが、蛇行していてもよい。２列や千鳥であってもよく、斜めでもよい。また、横方向の位置が等間隔でもなくてもよいが、その場合に、間隔で重み付けすると等間隔の場合とほぼ同様の計算結果となる。
以上では、ＣＧにおいて、表示画素数より多いサンプル点について輝度値を算出する例について説明したが、これらの実施例は、被写体を撮影した自然画像において、撮影時の画素数よりも少ない画素数で表示を行う際に、撮影時の画素の輝度値から表示画素の輝度値を求める場合にも適用可能である。
しかしながら、前述の図５に示す方法では、サンプル点１３１の数だけ計算量が増大するという問題があった。本実施例では、この問題を解決するための実施例である。
図６は、本実施例を説明するための概略図であり、本実施例では、サンプル点１３１を横方向（または、左右方向）にだけ並べるものである。このサンプル点１３１で平均輝度を計算することにより同様の効果が得られる。
なお、図６では、一直線にサンプル点１３１を並べたが、蛇行していてもよい。２列や千鳥であってもよく、斜めでもよい。また、横方向の位置が等間隔でもなくてもよいが、その場合に、間隔で重み付けすると等間隔の場合とほぼ同様の計算結果となる。
以上では、ＣＧにおいて、表示画素数より多いサンプル点について輝度値を算出する例について説明したが、これらの実施例は、被写体を撮影した自然画像において、撮影時の画素数よりも少ない画素数で表示を行う際に、撮影時の画素の輝度値から表示画素の輝度値を求める場合にも適用可能である。
［実施例１１］
前述の実施例９、１０では、サンプル点１３１を増やす方法を述べたが、図１３に示す方法であっても、ＣＧの画素演算における仮想カメラをピンボケの設定にしたり、可動的なアンジュレーターを仮想カメラの前面に設けることにより、仮想カメラの画像を画素程度にぼかしても良い。
また、図５、図６に示す方法で、サンプル点１３１の間隔程度ぼかすことにより、サンプル点１３１の数を減らしても同様の効果を得ることができる。
図７は、本実施例を説明するための概略図であり、仮想カメラの画像をぼかす場合を説明した図である。なお、図７において、１３２は仮想カメラの撮像素子、１３３はレンズであり、また、同図において、点線、破線は物体上の異なる場所から発せられた光線を示す。
ピントが合った状態では、仮想カメラの撮像素子１３２上の１点に物体上の１点が対応して結像するとして演算を行う。すなわち、仮想的な撮像素子１３２の画素の１点をサンプル点とした場合は、物体上のある１点から到達した光だけを計算する。そのため、これまでに述べたように画素内で複数のサンプル点１３１を設けて計算する必要がある。
しかし、仮想的な撮像素子１３２の位置を、図７の「ぼけた条件での撮像素子の位置」にずらすことにより、画素内の１点に物体上の複数の点からの光が集まるとして演算を行うことができる。
すなわち、サンプル点１３１が１点であっても、ピントが合った状態において複数のサンプル点１３１を使用した場合と同等な計算上の効果を得ることができる。したがって、サンプル点１３１が少ない分、演算の高速化が可能となる。
前述の実施例９、１０では、サンプル点１３１を増やす方法を述べたが、図１３に示す方法であっても、ＣＧの画素演算における仮想カメラをピンボケの設定にしたり、可動的なアンジュレーターを仮想カメラの前面に設けることにより、仮想カメラの画像を画素程度にぼかしても良い。
また、図５、図６に示す方法で、サンプル点１３１の間隔程度ぼかすことにより、サンプル点１３１の数を減らしても同様の効果を得ることができる。
図７は、本実施例を説明するための概略図であり、仮想カメラの画像をぼかす場合を説明した図である。なお、図７において、１３２は仮想カメラの撮像素子、１３３はレンズであり、また、同図において、点線、破線は物体上の異なる場所から発せられた光線を示す。
ピントが合った状態では、仮想カメラの撮像素子１３２上の１点に物体上の１点が対応して結像するとして演算を行う。すなわち、仮想的な撮像素子１３２の画素の１点をサンプル点とした場合は、物体上のある１点から到達した光だけを計算する。そのため、これまでに述べたように画素内で複数のサンプル点１３１を設けて計算する必要がある。
しかし、仮想的な撮像素子１３２の位置を、図７の「ぼけた条件での撮像素子の位置」にずらすことにより、画素内の１点に物体上の複数の点からの光が集まるとして演算を行うことができる。
すなわち、サンプル点１３１が１点であっても、ピントが合った状態において複数のサンプル点１３１を使用した場合と同等な計算上の効果を得ることができる。したがって、サンプル点１３１が少ない分、演算の高速化が可能となる。
図８、図９は、仮想的なアンジュレーター（undulator）を設ける場合を説明する図である。アンジュレーター１３５とは、光に擾乱（弱い散乱）を与える機能を有する光学素子である。
図８は、アンジュレーター１３５を設けない場合、図９は、アンジュレーター１３５を設けた場合である。
アンジュレーター１３５を設けない場合には、図８に示すように、撮像素子上の１点が物体の１点に対応して求められる。
これに対し、アンジュレーター１３５を設けた場合には、図９に示すように、光線の方向が乱されるとするため、撮像素子上の１点に物体の複数の点からの光が収束するとして演算を行うことができる。
すなわち、サンプル点１３１が１点であっても、ピントが合った状態において複数のサンプル点１３１を使用した場合と同等な計算上の効果を得ることができる。したがって、サンプル点が少ない分、演算の高速化が可能となる。
なお、本実施例ではアンジュレーター１３５の設置場所をレンズ１３３と物体の間とした図を示したが、レンズ１３３と撮像素子１３２の間に設けてもよいことは言うまでもない。
ぼかし方は任意であるが、ボケの広がりに画素が外接する条件から、内接する条件程度の範囲が好適である。また、仮想カメラの開口を矩形とすることで、矩形状のボケとし、画素に画素形状とボケの形状を類似させても良いことはいうまでもない。
図８は、アンジュレーター１３５を設けない場合、図９は、アンジュレーター１３５を設けた場合である。
アンジュレーター１３５を設けない場合には、図８に示すように、撮像素子上の１点が物体の１点に対応して求められる。
これに対し、アンジュレーター１３５を設けた場合には、図９に示すように、光線の方向が乱されるとするため、撮像素子上の１点に物体の複数の点からの光が収束するとして演算を行うことができる。
すなわち、サンプル点１３１が１点であっても、ピントが合った状態において複数のサンプル点１３１を使用した場合と同等な計算上の効果を得ることができる。したがって、サンプル点が少ない分、演算の高速化が可能となる。
なお、本実施例ではアンジュレーター１３５の設置場所をレンズ１３３と物体の間とした図を示したが、レンズ１３３と撮像素子１３２の間に設けてもよいことは言うまでもない。
ぼかし方は任意であるが、ボケの広がりに画素が外接する条件から、内接する条件程度の範囲が好適である。また、仮想カメラの開口を矩形とすることで、矩形状のボケとし、画素に画素形状とボケの形状を類似させても良いことはいうまでもない。
図１０は、エッジ幅が大きいときの、例えば、エッジ幅の視角が１分を超えるような場合の、奥行き感と歪みを示す説明図である。
エッジ幅が狭い場合には、物体の輝度に対するエッジの輝度の比と奥行き感は、破線のように比例関係にあるが、エッジ幅を大きくすると実線のように非線形な関係になる。
実施例の平均演算において、エッジの左右端に、中央部より大きな重みを持たせることにより、この非線形を解消できる。また、サンプル点の密度を、エッジの左右端で、中央部より高くすることにより同等の効果を得てもよい。
この非線形の影響は、図１１のように、前述の方法で計算された当該画素の輝度をＸ、左右に隣接する画素の輝度をＡ，Ｂとすると、以下のようにして補正できる。
図１０において、輝度比（β）と奥行き（ｄ）の関係が、ｄ＝ｇ（β）、β＝Ｇ（ｄ）の関係にあるとする（ここでは、関数ｄ＝ｇ（β）を特性曲線と呼ぶことにする）。但し、Ｇはｇの逆関数である。
まず、Ａ＞Ｂの場合について説明する。このときの輝度比は、当該画素の輝度の周辺がその輝度に対する内分比なので、β＝（Ｘ−Ｂ）／（Ａ−Ｂ）であり、また、この画像で表現しようとしている奥行きは、表示しようとした規格化奥行きと輝度比の関係が線形な場合の規格化奥行きであり、ｄ＝βである。
エッジ幅が狭い場合には、物体の輝度に対するエッジの輝度の比と奥行き感は、破線のように比例関係にあるが、エッジ幅を大きくすると実線のように非線形な関係になる。
実施例の平均演算において、エッジの左右端に、中央部より大きな重みを持たせることにより、この非線形を解消できる。また、サンプル点の密度を、エッジの左右端で、中央部より高くすることにより同等の効果を得てもよい。
この非線形の影響は、図１１のように、前述の方法で計算された当該画素の輝度をＸ、左右に隣接する画素の輝度をＡ，Ｂとすると、以下のようにして補正できる。
図１０において、輝度比（β）と奥行き（ｄ）の関係が、ｄ＝ｇ（β）、β＝Ｇ（ｄ）の関係にあるとする（ここでは、関数ｄ＝ｇ（β）を特性曲線と呼ぶことにする）。但し、Ｇはｇの逆関数である。
まず、Ａ＞Ｂの場合について説明する。このときの輝度比は、当該画素の輝度の周辺がその輝度に対する内分比なので、β＝（Ｘ−Ｂ）／（Ａ−Ｂ）であり、また、この画像で表現しようとしている奥行きは、表示しようとした規格化奥行きと輝度比の関係が線形な場合の規格化奥行きであり、ｄ＝βである。
しかし、実際には非線形性が存在するので、人間が知覚する奥行きはｇ（β）となってしまう。したがって、輝度比がβ’＝Ｇ（ｄ）となるようにすればよい。
このときの当該画素の輝度Ｘ’は、下記（１０）式で表される。
Ｘ’＝Ｂ＋Ｇ（β）
＝Ｂ＋Ｇ（（Ｘ−Ｂ）／（Ａ−Ｂ）） ・・・・・・・・・・・・ （１０）
同様にして、Ｂ＞Ａの場合における、当該画素の輝度Ｘ’は、下記（１１）式で表される。
Ｘ’＝Ａ＋Ｇ（（Ｘ−Ａ）／（Ｂ−Ａ）） ・・・・・・・・・・・・ （１１）
また、ＸがＡとＢの間にない場合は、Ｘ’＝Ｘとすればよい。
これにより、エッジ幅が大きくても奥行きの歪みはなく、自然な立体像を表示することができる。
なお、関数ｄは、特性曲線そのものではなく、例えば、複数の直線により折れ線近似を行った式など、ｄの近似式であってもよいことはいうまでもない。
また、表示装置の画素の配置は、実施例であげた正方配列だけでなく、デルタ配列などでもよく、また、画素配置や、画素ピッチが異なる表示装置を用いてもよい。
さらに、本発明の２眼式立体表示装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
このときの当該画素の輝度Ｘ’は、下記（１０）式で表される。
Ｘ’＝Ｂ＋Ｇ（β）
＝Ｂ＋Ｇ（（Ｘ−Ｂ）／（Ａ−Ｂ）） ・・・・・・・・・・・・ （１０）
同様にして、Ｂ＞Ａの場合における、当該画素の輝度Ｘ’は、下記（１１）式で表される。
Ｘ’＝Ａ＋Ｇ（（Ｘ−Ａ）／（Ｂ−Ａ）） ・・・・・・・・・・・・ （１１）
また、ＸがＡとＢの間にない場合は、Ｘ’＝Ｘとすればよい。
これにより、エッジ幅が大きくても奥行きの歪みはなく、自然な立体像を表示することができる。
なお、関数ｄは、特性曲線そのものではなく、例えば、複数の直線により折れ線近似を行った式など、ｄの近似式であってもよいことはいうまでもない。
また、表示装置の画素の配置は、実施例であげた正方配列だけでなく、デルタ配列などでもよく、また、画素配置や、画素ピッチが異なる表示装置を用いてもよい。
さらに、本発明の２眼式立体表示装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
１００ ２眼式立体表示装置
１０１ ３次元データ出力部
１０２ 画像処理部
１０２Ｌ 左眼用画像処理部
１０２Ｒ 右眼用画像処理部
１０３ 立体画像出力部
１１１ 対応点抽出部
１１２ 画素変換部
１３１ サンプル点
１３２ 撮像素子
１３３ レンズ
１３５ アンジュレーター
１０１ ３次元データ出力部
１０２ 画像処理部
１０２Ｌ 左眼用画像処理部
１０２Ｒ 右眼用画像処理部
１０３ 立体画像出力部
１１１ 対応点抽出部
１１２ 画素変換部
１３１ サンプル点
１３２ 撮像素子
１３３ レンズ
１３５ アンジュレーター
Claims (16)
- 画像処理部と、
前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、
観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる２眼式立体表示装置であって、
前記画像処理部は、左眼用画像と右眼用画像の各々において、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換することを特徴とする２眼式立体表示装置。 - 前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右両側の内側部分であることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左（または右）の内側部分と、画像中に表示される物体の右（または左）の外側部分であることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右の外側部分であることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右両側の内側部分と、画像中に表示される物体の左右の外側部分であることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記領域は、左眼用画像の右（または左）側の内側部分と、右眼用画像の左（または右）側の内側部分であることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記領域は、左眼用画像の右（または左）側の外側部分と、右眼用画像の左（または右）側の外側部分であることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記領域は、左眼用画像と右眼用画像の画像中に表示される物体の左右方向において、立体画像出力部の１画素の整数倍の領域であることを特徴とする請求項１ないし請求項７のいずれか１項に記載の２眼式立体表示装置。
- 前記画像処理部は、画像出力部よりも高い空間密度で画像の計算を行い、画像出力部の画素に表示する輝度を、当該画素の領域に含まれる計算値の平均とすることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記画像処理部は、計算場所の左右方向の密度をそれと垂直方向の密度に比べ大きくすることを特徴とする請求項９に記載の２眼式立体表示装置。
- 前記画像処理部は、計算場所の左右方向の密度が不均一な場合に、計算場所の間隔に比例した重み付けを行い平均することを特徴とする請求項９または請求項１０に記載の２眼式立体表示装置。
- 前記画像処理部は、画素境界に近い場所の重みを中央部の重みより大きくして平均の演算を行うことを特徴とする請求項９または請求項１０に記載の２眼式立体表示装置。
- 前記画像処理部は、前記画素輝度の計算において、画像をぼかすことにより多数のサンプル点を平均するのと同等な演算効果を得ることを特徴とする請求項１に記載の２眼式立体表示装置。
- 前記画像処理部は、計算された画素輝度について、該画素の左右の輝度に対する当該画素の内分比を引数とする関数を用いて、該画素の輝度を補正することを特徴とする請求項１ないし請求項１３のいずれか１項に記載の２眼式立体表示装置。
- 前記画像処理部は、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の赤、緑、青のそれぞれの輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換することを特徴とする請求項１ないし請求項１４のいずれか１項に記載の２眼式立体表示装置。
- 前記請求項１ないし請求項１５のいずれか１項に記載の画像処理部をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005203783A JP4535954B2 (ja) | 2005-04-18 | 2005-07-13 | ２眼式立体表示装置およびプログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005119446 | 2005-04-18 | ||
| JP2005203783A JP4535954B2 (ja) | 2005-04-18 | 2005-07-13 | ２眼式立体表示装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006325173A true JP2006325173A (ja) | 2006-11-30 |
| JP4535954B2 JP4535954B2 (ja) | 2010-09-01 |
Family
ID=37544471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005203783A Expired - Fee Related JP4535954B2 (ja) | 2005-04-18 | 2005-07-13 | ２眼式立体表示装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4535954B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011010255A (ja) * | 2009-10-29 | 2011-01-13 | Sony Corp | 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
| WO2011132404A1 (ja) * | 2010-04-20 | 2011-10-27 | パナソニック株式会社 | ３ｄ映像記録装置及び３ｄ映像信号処理装置 |
| EP2536159A1 (en) * | 2010-02-12 | 2012-12-19 | Sony Corporation | Image processing device, image processing method, and program |
| US8848036B2 (en) | 2009-06-29 | 2014-09-30 | Sony Corporation | Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device and stereoscopic image data reception method |
| US8860782B2 (en) | 2009-06-29 | 2014-10-14 | Sony Corporation | Stereo image data transmitting apparatus and stereo image data receiving apparatus |
| US8860786B2 (en) | 2009-06-29 | 2014-10-14 | Sony Corporation | Stereo image data transmitting apparatus and stereo image data receiving apparatus |
| US8963995B2 (en) | 2009-06-29 | 2015-02-24 | Sony Corporation | Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1051811A (ja) * | 1996-08-07 | 1998-02-20 | Sanyo Electric Co Ltd | 立体感調整方法および立体感調整装置 |
| JP2001118074A (ja) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体 |
-
2005
- 2005-07-13 JP JP2005203783A patent/JP4535954B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1051811A (ja) * | 1996-08-07 | 1998-02-20 | Sanyo Electric Co Ltd | 立体感調整方法および立体感調整装置 |
| JP2001118074A (ja) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8848036B2 (en) | 2009-06-29 | 2014-09-30 | Sony Corporation | Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device and stereoscopic image data reception method |
| US8860782B2 (en) | 2009-06-29 | 2014-10-14 | Sony Corporation | Stereo image data transmitting apparatus and stereo image data receiving apparatus |
| US8860786B2 (en) | 2009-06-29 | 2014-10-14 | Sony Corporation | Stereo image data transmitting apparatus and stereo image data receiving apparatus |
| US8937642B2 (en) | 2009-06-29 | 2015-01-20 | Sony Corporation | Stereo image data transmitting apparatus and stereo image data receiving apparatus |
| US8963995B2 (en) | 2009-06-29 | 2015-02-24 | Sony Corporation | Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method |
| JP2011010255A (ja) * | 2009-10-29 | 2011-01-13 | Sony Corp | 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
| EP2536159A1 (en) * | 2010-02-12 | 2012-12-19 | Sony Corporation | Image processing device, image processing method, and program |
| EP2536159A4 (en) * | 2010-02-12 | 2014-06-11 | Sony Corp | IMAGE PROCESSING DEVICE, IMAGE PROCESSING PROCESS AND CORRESPONDING PROGRAM |
| US9088774B2 (en) | 2010-02-12 | 2015-07-21 | Sony Corporation | Image processing apparatus, image processing method and program |
| EP3079360A1 (en) * | 2010-02-12 | 2016-10-12 | Sony Corporation | Image processing apparatus, image processing method, and program |
| WO2011132404A1 (ja) * | 2010-04-20 | 2011-10-27 | パナソニック株式会社 | ３ｄ映像記録装置及び３ｄ映像信号処理装置 |
| JP5374641B2 (ja) * | 2010-04-20 | 2013-12-25 | パナソニック株式会社 | ３ｄ映像記録装置及び３ｄ映像信号処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4535954B2 (ja) | 2010-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5615136B2 (ja) | 立体画像補正方法、立体表示装置、および立体画像生成装置 | |
| KR101913035B1 (ko) | 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법 | |
| US11036123B2 (en) | Video presentation device, method thereof, and recording medium | |
| JP6027026B2 (ja) | レンチキュラ印刷および表示におけるぼけアーチファクトを低減する方法およびシステム | |
| JP4535954B2 (ja) | ２眼式立体表示装置およびプログラム | |
| JP5289416B2 (ja) | 立体画像表示装置、方法およびプログラム | |
| US20130127861A1 (en) | Display apparatuses and methods for simulating an autostereoscopic display device | |
| KR20120048301A (ko) | 디스플레이 장치 및 방법 | |
| US10636125B2 (en) | Image processing apparatus and method | |
| US10547832B2 (en) | Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images | |
| JP2015162718A (ja) | 画像処理方法、画像処理装置及び電子機器 | |
| JP2019186762A (ja) | 映像生成装置、映像生成方法、プログラム、およびデータ構造 | |
| JP2011154342A (ja) | 画像処理装置及び画像処理方法 | |
| KR20120101881A (ko) | 영상 디스플레이 방법 및 장치 | |
| KR20120054182A (ko) | 입체 디스플레이의 화질 측정 장치 및 방법, 이를 이용한 화질 분석 방법 | |
| JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術 | |
| JP6457964B2 (ja) | 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム | |
| US20130106845A1 (en) | Stereoscopic image display apparatus | |
| JP6615818B2 (ja) | 映像生成装置、映像生成方法、およびプログラム | |
| US11350065B2 (en) | Video generation device, video generation method, and program | |
| EP3984214B1 (en) | Multifocal display device and method | |
| JP2009237310A (ja) | 疑似３次元表示方法および疑似３次元表示装置 | |
| JP2020088496A (ja) | 錯視立体画像生成装置及びそのプログラム | |
| US20130076733A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| Didyk et al. | Exceeding Physical Limitations: Apparent Display Qualities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4535954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140625 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |