JP2001103512A - Stereoscopic image display device - Google Patents
Stereoscopic image display deviceInfo
- Publication number
- JP2001103512A JP2001103512A JP27306899A JP27306899A JP2001103512A JP 2001103512 A JP2001103512 A JP 2001103512A JP 27306899 A JP27306899 A JP 27306899A JP 27306899 A JP27306899 A JP 27306899A JP 2001103512 A JP2001103512 A JP 2001103512A
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- eye
- display device
- image display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は立体画像表示装置に
係り、特に、視差を持った２系統のカメラの位置姿勢を
検出し、検出された位置姿勢を視点とした時の対象物の
３次元モデルを再構築し、２系統のカメラからの各画像
と重畳して表示するようにした立体画像表示装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional image display apparatus, and more particularly to a method of detecting the position and orientation of two cameras having parallax and using the detected position and orientation as a viewpoint. The present invention relates to a stereoscopic image display device in which a model is reconstructed and superimposed and displayed on each image from two cameras.
【０００２】[0002]
【従来の技術】従来、立体画像表示装置に関する技術と
して、例えば、文献「３次元プロッタ手法を用いた臓器
の立体表示及び生体との合成観察の試み」（映像情報
（Ｍ）、Ｖｏｌ．２６，Ｎｏ．２０，ｐ．１１６９）に
おいては、図１に示すように、３次元立体表示装置２１
上に表示されたコンピュータによる画像生成に係るＣＧ
画像２３と、観察者が肉眼２２で見ている実像２４とを
ハーフミラー２５により重畳させて表示している。2. Description of the Related Art Conventionally, as a technique relating to a three-dimensional image display apparatus, for example, a document "trial display of an organ using a three-dimensional plotter technique and synthesis observation with a living body" (Video Information (M), Vol. 26, Vol. No. 20, p. 1169), as shown in FIG.
CG related to image generation by computer displayed above
The image 23 and the real image 24 viewed by the observer with the naked eye 22 are displayed by being superimposed by the half mirror 25.
【０００３】また、特開平９−１４７１４２号公報にお
いては、図２に示すように、被観察物体３１としての頭
部の移動を検出するトラッキング手段としての位置・姿
勢検出３４及び決定手段３５を用いれば、移動する視点
に対応するコンピュータによる画像生成に係る画像を観
察者３２が見ている表示手段３３上に生成することが可
能になる技術が開示されている。In Japanese Patent Application Laid-Open No. Hei 9-147142, as shown in FIG. 2, a position / posture detection 34 and a determination means 35 are used as tracking means for detecting the movement of the head as the object 31 to be observed. For example, a technology is disclosed that enables an image related to image generation by a computer corresponding to a moving viewpoint to be generated on a display unit 33 viewed by an observer 32.
【０００４】ところで、一般に、コンピュータによる画
像生成においては計算時間による時間的な遅れが生じ
る。[0004] In general, in computer-generated images, there is a time delay due to the calculation time.
【０００５】また、表示装置上に表示されたＣＧ画像
と、観察者が肉眼で見ている像とを重畳させ表示するよ
うな場合においては、肉眼で見えている画像に対し遅れ
時間に頭部が移動した分のずれ（ダイナミックレジスト
レーションエラー）が生じてしまう場合がある。In a case where a CG image displayed on a display device and an image viewed by the observer are superimposed and displayed, the head is delayed with respect to the image viewed by the naked eye. In some cases, a shift (dynamic registration error) may occur due to the movement of.
【０００６】また、画像の生成に時間がかかると、ライ
ブ画像と生成画像との間のずれ（ダイナミックレジスト
レーションエラー）が大きくなり、使用上で支障をきた
す場合がある。If it takes a long time to generate an image, a shift (dynamic registration error) between the live image and the generated image increases, which may hinder use.
【０００７】しかるに、コンピュータの処理能力には限
界がある一方、表示画像に対しての要求は高解像度など
複雑化の一途をたどっている。However, while the processing capability of a computer is limited, the demand for a display image is becoming more and more complicated, such as high resolution.
【０００８】なお、文献「Ｉｍｐｒｏｖｉｎｇ Ｓｔａ
ｔｉｃ ａｎｄ ＤｙｎａｍｉｃＲｅｇｉｓｔｒａｔｉ
ｏｎ ｉｎ ａｎ Ｏｐｔｉｃａｌ Ｓｅｅ−ｔｈｒｏ
ｕｇｈ ＨＭＤ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩ
ＧＧＲＡＰＨ ′９４，ｐｐ．１９７−２０４」では、
図３に示すように、頭部の動きを検出するセンサ４０に
より検出された観察者の頭部４１の位置姿勢情報をもと
に、画像生成用コンピュータ４２により視線に対応した
ＣＧ画像を生成する際に、画像生成用コンピュータ４２
内において頭部の動きを予測し画像生成の時間遅れによ
るダイナミックレジストレーションエラーを少なくする
試みがなされている。[0008] The document "Improving Sta."
tic and DynamicRegistrati
on in an Optical See-thro
good HMD Proceedings of SI
GGRAPH '94, pp. 197-204 "
As shown in FIG. 3, based on the position and orientation information of the observer's head 41 detected by the sensor 40 that detects the movement of the head, a computer-generated image 42 generates a CG image corresponding to the line of sight. At this time, the image generation computer 42
Attempts have been made to reduce the dynamic registration error due to the time delay of image generation by predicting the movement of the head.
【０００９】[0009]
【発明が解決しようとする課題】しかしながら、上述し
た図１及び図２に示すような従来の技術による手法にお
いて、両眼視差を用いた立体視を行った場合には、カメ
ラ位置姿勢の計測計算を、左右視野のそれぞれに対して
行う必要があるので、その計算に時間がかかると、それ
が２系統になるため、更なる時間の遅れを招く恐れがあ
った。However, when stereoscopic viewing using binocular parallax is performed in the above-described conventional technique as shown in FIGS. 1 and 2, measurement and calculation of the camera position and orientation are performed. Must be performed for each of the left and right visual fields, and if the calculation takes a long time, the calculation is performed in two systems, which may cause a further delay in time.
【００１０】また、上述した図３に示すような従来の技
術による手法において、両眼視差を用いた立体視を行っ
た場合には、予測を行うための計算を、左右視野のそれ
ぞれに対して行う必要があるので、その予測計算に時間
がかかると、それが２系統になるため、更なる時間の遅
れを招く恐れがあった。[0010] Further, in the above-described conventional technique as shown in FIG. 3, when stereoscopic vision using binocular parallax is performed, calculation for performing prediction is performed for each of the left and right visual fields. Since it is necessary to perform the calculation, if the prediction calculation takes a long time, there are two systems, and there is a possibility that a further time delay may be caused.
【００１１】本発明は、以上のような従来技術の不具合
に鑑みてなされたもので、立体視を行う場合でも、時間
遅れの少ない画像重畳システムとして構成される立体画
像表示装置を提供することを目的とする。The present invention has been made in view of the above-mentioned problems in the prior art, and provides a stereoscopic image display apparatus configured as an image superimposing system with a small time delay even when performing stereoscopic viewing. Aim.
【００１２】[0012]
【課題を解決するための手段】本発明によると、上記課
題を解決するために、（１） 観察対象を撮像する複数
の撮像手段と、上記複数の撮像手段の位置及び姿勢を各
々検出する位置姿勢検出手段と、上記観察対象の３次元
データを保持するデータ保持手段と、各撮像手段の位置
及び姿勢に応じて上記３次元データより２次元画像を各
々生成し、上記各撮像手段の撮像した各画像と重畳する
画像重畳手段と、を具備する立体画像表示装置におい
て、上記位置姿勢検出手段の各検出結果より、各撮像手
段の相対的な位置及び姿勢を求める相対位置検出手段
と、上記上記相対位置検出手段によって求めた相対的な
位置及び姿勢を用いて、一つの撮像手段の位置及び姿勢
より他の撮像手段の位置及び姿勢を求める手段をさらに
具備することを特徴とする立体画像表示装置が提供され
る。According to the present invention, in order to solve the above-mentioned problems, (1) a plurality of image pickup means for picking up an image of an object to be observed and a position for detecting the position and orientation of each of the plurality of image pickup means Attitude detecting means, data holding means for holding the three-dimensional data of the observation object, two-dimensional images are respectively generated from the three-dimensional data according to the position and attitude of each imaging means, and the two-dimensional images are taken by each of the imaging means. A stereoscopic image display device comprising: an image superimposing unit that superimposes each image; a relative position detecting unit that obtains a relative position and orientation of each imaging unit from each detection result of the position and orientation detecting unit; The apparatus further comprises means for calculating the position and orientation of another imaging means from the position and orientation of one imaging means using the relative position and orientation determined by the relative position detection means. A three-dimensional image display device is provided.
【００１３】また、本発明によると、上記課題を解決す
るために、（２） 撮像手段の位置及び姿勢より、所定
時間後の撮像手段の位置及び姿勢を予測する予測手段を
さらに具備し、上記画像重畳手段は、上記予測手段で予
測された各撮像手段の位置及び姿勢に応じて上記３次元
データより２次元画像を各々生成することを特徴とする
（１）記載の立体画像表示装置が提供される。According to the present invention, in order to solve the above-mentioned problems, the present invention further comprises (2) a prediction means for predicting the position and orientation of the imaging means after a predetermined time from the position and orientation of the imaging means, The stereoscopic image display device according to (1), wherein the image superimposing means generates a two-dimensional image from the three-dimensional data according to the position and orientation of each imaging means predicted by the predicting means. Is done.
【００１４】また、本発明によると、上記課題を解決す
るために、（３） 複数の撮像手段で観察対象を撮像し
た画像を立体表示するとともに、各撮像手段の位置及び
姿勢を検出する立体画像表示装置において、一つの撮像
手段の位置及び姿勢のみを実測で検出し、他の撮像手段
の位置及び姿勢は、予め求めておいた各撮像手段の相対
的な位置及び姿勢を用いて導出するようにしたことを特
徴とする立体画像表示装置が提供される。Further, according to the present invention, in order to solve the above-mentioned problems, (3) a stereoscopic image for detecting the position and orientation of each image pickup means while displaying an image obtained by picking up an observation target by a plurality of image pickup means. In the display device, only the position and orientation of one imaging unit are detected by actual measurement, and the positions and orientations of the other imaging units are derived using the relative positions and orientations of the imaging units obtained in advance. There is provided a three-dimensional image display device characterized in that:
【００１５】[0015]
【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１６】（第１の実施の形態）図４は、本発明によ
る立体画像表示装置の第１の実施の形態の構成を示すブ
ロック図である。(First Embodiment) FIG. 4 is a block diagram showing a configuration of a first embodiment of a stereoscopic image display apparatus according to the present invention.
【００１７】すなわち、この第１の実施の形態による立
体画像表示装置は、次のように構成されている。That is, the three-dimensional image display device according to the first embodiment is configured as follows.
【００１８】図４において、参照符号１、２は、それぞ
れ左目用、右目用のライブ画像を入力するためのカメ
ラ、参照符号３は、被観察物体１１の３次元モデルデー
タ格納部、参照符号４は、左目用カメラ１の位置姿勢を
検出するための左目用視野位置検出手段、参照符号５
は、右目用カメラ２の位置姿勢を検出するための右目用
視野位置検出手段、参照符号６は、左目用及び右目用視
野位置検出手段４、５からの出力に基づいてカメラ１、
２の相対対位置姿勢を求めるための相対位置検出手段、
参照符号７は、相対位置検出手段６からの相対位置デー
タ及び左目用視野位置検出手段４からの左目用視野位置
姿勢データに基づき、右目用の視野位置姿勢データを求
める右目用視野位置計算手段、参照符号８は、３次元モ
デルデータ格納部３の３次元モデルデータと左目用視野
位置検出手段４及び右目用視野位置計算手段７からの左
右の視野位置姿勢データに基づき、それぞれの視野に対
応する画像データを再構成し、左目用及び右目用カメラ
１、２からの左目用、右目用のライブ画像との重畳を行
う画像再構成重畳手段、参照符号９は、重畳された左右
の画像データを立体画像表示するための画像表示手段で
ある。In FIG. 4, reference numerals 1 and 2 denote cameras for inputting live images for the left and right eyes, respectively. Reference numeral 3 denotes a three-dimensional model data storage for the object to be observed 11 and reference numeral 4. Is left-eye field-of-view position detecting means for detecting the position and orientation of the left-eye camera 1;
Is a view position detecting means for the right eye for detecting the position and orientation of the camera 2 for the right eye, and reference numeral 6 is a camera 1 based on outputs from the view position detecting means 4 and 5 for the left eye and the right eye.
Relative position detecting means for determining the relative position and orientation of (2),
Reference numeral 7 denotes a right-view field position calculating unit that calculates right-eye field position / posture data based on relative position data from the relative position detector 6 and left-eye field position / posture data from the left-eye field position detector 4. Reference numeral 8 corresponds to each visual field based on the three-dimensional model data in the three-dimensional model data storage unit 3 and the left and right visual field position / posture data from the left-eye visual field position detecting means 4 and the right-eye visual field position calculating means 7. Image reconstruction superimposing means for reconstructing the image data and superimposing with the left-eye and right-eye live images from the left-eye and right-eye cameras 1 and 2; This is an image display unit for displaying a stereoscopic image.
【００１９】次に、この第１の実施の形態による立体画
像表示装置の作用を説明する。Next, the operation of the three-dimensional image display device according to the first embodiment will be described.
【００２０】左目用及び右目用カメラ１、２は立体視を
するための視差を得るため、通常、眼幅に相当する５０
ｍｍから１００ｍｍの間隔をおいて配置されているが、
この間隔を広く取ればそれだけ大きな視差を得ることが
できる。The left-eye and right-eye cameras 1 and 2 usually have a size corresponding to the interpupillary distance of 50 to obtain parallax for stereoscopic vision.
It is arranged at an interval of 100 mm to 100 mm,
If this interval is widened, a larger parallax can be obtained.
【００２１】また、左目用及び右目用カメラ１、２は、
図５に示すように、輻輳角Θと呼ばれる収束角度を持つ
ことで、立体視を容易にするようになっている。The left-eye and right-eye cameras 1 and 2
As shown in FIG. 5, by having a convergence angle called a convergence angle Θ, stereoscopic viewing is facilitated.
【００２２】この場合、被観察物体１１が、視点の近く
にある場合には輻輳角はより大きくした方が見やすいこ
とが知られている。In this case, it is known that when the object to be observed 11 is near the viewpoint, it is easier to see if the convergence angle is increased.
【００２３】そのため、被観察物体１１の位置による輻
輳角や視差の大小による見易さを調整するために、カメ
ラの設置幅、輻輳角については調整を行う場合がある。Therefore, in order to adjust the convergence angle depending on the position of the observed object 11 and the visibility according to the magnitude of the parallax, the installation width of the camera and the convergence angle are sometimes adjusted.
【００２４】図４において、カメラ１、２からの画像デ
ータは、画像再構成重畳手段８に入力される。In FIG. 4, image data from the cameras 1 and 2 is input to an image reconstruction superimposing means 8.
【００２５】この画像再構成重畳手段８には、同時に、
その時点のカメラ１、２の視野位置検出手段４、５の検
出結果（Ｌ，Ｒ）及び３次元モデルデータ格納部３から
の３次元モデルデータが入力され、それらに基づいて右
目用、左目用のＣＧ画像データが生成される。At the same time, the image reconstruction superimposing means 8
The detection results (L, R) of the visual field position detection means 4 and 5 of the cameras 1 and 2 at that time and the three-dimensional model data from the three-dimensional model data storage unit 3 are input, and based on them, for the right eye and the left eye Is generated.
【００２６】ここで、画像再構成重畳手段８は、３次元
モデルデータ格納部３の３次元モデルデータと左目用視
野位置検出手段４及び右目用視野位置計算手段７からの
左右の視野位置姿勢データに基づき、それぞれの視野に
対応する画像データを再構成することにより、右目用、
左目用のＣＧ画像データを生成したのち、左目用及び右
目用カメラ１、２からの左目用、右目用のライブ画像と
の重畳を行う。Here, the image reconstruction superimposing means 8 includes the three-dimensional model data in the three-dimensional model data storage 3 and the left and right visual field position / posture data from the left-eye visual field position detecting means 4 and the right-eye visual field position calculating means 7. By reconstructing the image data corresponding to each field of view based on
After the CG image data for the left eye is generated, the CG image data is superimposed with the live images for the left and right eyes from the left and right eye cameras 1 and 2.
【００２７】そして、このようにして重畳された画像デ
ータは、画像表示手段９において立体視表示される。The image data thus superimposed is stereoscopically displayed on the image display means 9.
【００２８】この状態において、観察者は、カメラ１、
２の設置幅、輻輳角についての調整を行う。In this state, the observer moves the camera 1,
Adjustment of the installation width and convergence angle of 2 is performed.
【００２９】一旦、調整を行った後は、同じ被観察物体
１１を観察している間は再調整の必要がない。Once the adjustment has been made, there is no need to readjust while the same object 11 is being observed.
【００３０】以上において、カメラ１、２の視野位置検
出手段４、５の検出結果として与えられるＬ及びＲは、
各カメラの基準座標系の中での位置姿勢を表し、例え
ば、左目視野Ｌは次のように表記できる。In the above, L and R given as detection results of the visual field position detecting means 4 and 5 of the cameras 1 and 2 are as follows:
It represents the position and orientation of each camera in the reference coordinate system. For example, the left-eye field of view L can be expressed as follows.
【００３１】ここで、座標系は直交座標系とし、基準座
標としてＧ（Ｘ，Ｙ，Ｚ）を用いるものとする。Here, the coordinate system is an orthogonal coordinate system, and G (X, Y, Z) is used as the reference coordinates.
【００３２】[0032]
【数１】 (Equation 1)
【００３３】Ｒｏｔはｘ，ｙ，ｚ軸回りの回転行列を、
ｔｘ，ｔｙ，ｔｚは基準座標の中での座標値を表す。Rot represents a rotation matrix around the x, y, and z axes.
tx, ty, and tz represent coordinate values in the reference coordinates.
【００３４】カメラ１、２の視野位置検出にはトラッキ
ング装置が用いられるが、例えば、赤外光を発光するＬ
ＥＤを複数個もち、これらを順に発光させ、それを複数
個のＣＣＤラインセンサで検出する方式などがある。A tracking device is used for detecting the position of the visual field of the cameras 1 and 2. For example, L which emits infrared light is used.
There is a method of having a plurality of EDs, emitting them in order, and detecting them with a plurality of CCD line sensors.
【００３５】しかし、複数個のＬＥＤの発光、検出結果
の計算、及び結果の通信などに数ｍｓ〜数１０ｍｓの時
間がかかる。However, it takes several milliseconds to several tens of milliseconds to emit light of a plurality of LEDs, calculate a detection result, and communicate the result.
【００３６】画像表示手段９としてＣＲＴなどを用いる
場合には、そのリフレッシュレートは３０ｍｓ程度であ
り、この検出による遅れは無視できない。When a CRT or the like is used as the image display means 9, the refresh rate is about 30 ms, and the delay due to this detection cannot be ignored.
【００３７】上記調整が終わった状態の右目、左目視野
用の座標値をそれぞれＬ0 ，Ｒ0 とする。The coordinate values for the visual field of the right eye and the left eye after the above-mentioned adjustment are set to L 0 and R 0 , respectively.
【００３８】ここで、両視野の相対的な関係はＷ＝Ｌ0
／Ｒ0 として表される。Here, the relative relationship between the two visual fields is W = L 0
/ R 0 .
【００３９】この両視野の相対的な関係Ｗが求まった後
は、右目用視野位置検出手段５を停止し、左目用視野位
置検出手段４のみを働かせるようにする。After the relative relationship W between the two visual fields is determined, the visual field position detecting means 5 for the right eye is stopped, and only the visual field position detecting means 4 for the left eye is operated.
【００４０】この状態で、得られた左目用視野位置検出
結果ＬにＷを乗ずることにより、その時点での右目用視
野位置検出結果Ｒを得ることができる。In this state, by multiplying the obtained left-eye view position detection result L by W, the right-eye view position detection result R at that time can be obtained.
【００４１】このＬ及びＲを用いて、３次元モデルデー
タ格納部３から右目用、左目用の３次元モデルデータに
基づきＣＧ画像を生成する このようにして生成されたＣＧ画像にカメラ１、２から
の画像信号が重畳されて画像表示手段９において立体視
表示される。Using these L and R, a CG image is generated from the three-dimensional model data storage unit 3 based on the right-eye and left-eye three-dimensional model data. Are superimposed and displayed stereoscopically on the image display means 9.
【００４２】このことにより、調整時以外は視野位置検
出手段４、５のうちのを１つだけ動作させれば良く、立
体視を行う場合でも、時間遅れの少ない画像重畳システ
ムを提供することが可能となる。Thus, only one of the field-of-view position detecting means 4 and 5 needs to be operated except during adjustment, and an image superimposing system with a small time delay can be provided even when performing stereoscopic viewing. It becomes possible.
【００４３】なお、上述したようなこの第１の実施の形
態の各構成は、当然、各種の変形、変更が可能である。It is to be noted that each configuration of the first embodiment as described above can of course be variously modified and changed.
【００４４】例えば、右目用視野位置検出結果だけを用
い、左目用視野位置を計算することもできる。For example, it is also possible to calculate the left-eye field position using only the right-eye field position detection result.
【００４５】また、多数のカメラを用い、同時に複数の
視野の画像を入力する３次元計測装置などにおいても応
用が可能である。Further, the present invention can be applied to a three-dimensional measuring device or the like that uses a large number of cameras and simultaneously inputs images in a plurality of visual fields.
【００４６】（第２の実施の形態）次に、本発明の第２
の実施の形態を図６を用いて説明する。(Second Embodiment) Next, a second embodiment of the present invention will be described.
The embodiment will be described with reference to FIG.
【００４７】図６は、本発明による立体画像表示装置の
第２の実施の形態の構成を示すブロック図である。FIG. 6 is a block diagram showing the configuration of a stereoscopic image display apparatus according to a second embodiment of the present invention.
【００４８】すなわち、この第２の実施の形態による立
体画像表示装置は、次のように構成されている。That is, the stereoscopic image display device according to the second embodiment is configured as follows.
【００４９】図６において、参照符号１、２は、それぞ
れ左目用、右目用のライブ画像を入力するためのカメ
ラ、参照符号３は、被観察物体１１の３次元モデルデー
タ格納部、参照符号４は、左目用カメラ１の位置姿勢を
検出するための左目用視野位置検出手段、参照符号５
は、右目用カメラ２の位置姿勢を検出するための右目用
視野位置検出手段、参照符号１０は、左目用視野位置検
出手段４からの出力に基づいて左目用視野位置を予測す
る左目用視野位置予測手段、参照符号６は、左目用及び
右目用視野位置検出手段４、５からの出力に基づいてカ
メラ１、２の相対対位置姿勢を求めるための相対位置検
出手段、参照符号７は、相対位置検出手段６からの相対
位置データ及び左目用視野位置検出手段４からの左目用
視野位置姿勢データ並び左目用視野位置予測手段１０か
らの出力に基づき、右目用の視野位置姿勢データを求め
る右目用視野位置計算手段、参照符号８は、３次元モデ
ルデータ格納部３の３次元モデルデータと左目用視野位
置検出手段４及び右目用視野位置計算手段７からの左右
の視野位置姿勢データに基づき、それぞれの視野に対応
する画像データを再構成し、左目用及び右目用カメラ
１、２からの左目用、右目用のライブ画像との重畳を行
う画像再構成重畳手段、参照符号９は、重畳された左右
の画像データを立体画像表示するための画像表示手段で
ある。In FIG. 6, reference numerals 1 and 2 are cameras for inputting live images for the left and right eyes, respectively, and reference numeral 3 is a three-dimensional model data storage of the observed object 11 and reference numeral 4 Is left-eye field-of-view position detecting means for detecting the position and orientation of the left-eye camera 1;
Is a right-view field position detecting means for detecting the position and orientation of the right-eye camera 2, and reference numeral 10 is a left-view field position for predicting a left-eye field position based on an output from the left-eye field position detecting means 4. The predicting means, reference numeral 6 is a relative position detecting means for obtaining the relative position and orientation of the cameras 1, 2 based on the output from the left-eye and right-eye visual field position detecting means 4, 5. Based on the relative position data from the position detecting means 6, the left-eye view position / posture data from the left-eye view position detecting means 4, and the output from the left-eye view position predicting means 10, the right-eye view position / posture data is obtained. View position calculating means, reference numeral 8 denotes three-dimensional model data in the three-dimensional model data storage unit 3 and left and right view position / posture data from the left eye view position detecting means 4 and right eye view position calculating means 7. Image reconstruction superimposing means for reconstructing image data corresponding to each field of view based on the data and superimposing the image data with the left-eye and right-eye live images from the left-eye and right-eye cameras 1 and 2, reference numeral 9 Is an image display means for displaying the superimposed left and right image data in a stereoscopic image.
【００５０】次に、この第２の実施の形態による立体画
像表示装置の作用を説明すると、左目用視野位置予測手
段１０を使用するか使用しないかが、上述した第１の実
施の形態による立体画像表示装置の作用とことなり、基
本的な作用は第１の実施の形態に準じている。Next, the operation of the stereoscopic image display apparatus according to the second embodiment will be described. The use of the left-eye visual field position estimating means 10 depends on whether the stereoscopic image display apparatus according to the first embodiment is used. This is different from the operation of the image display device, and the basic operation is similar to that of the first embodiment.
【００５１】したがって、ここでは第１の実施の形態の
作用と異なる点のみについて説明するものとする。Therefore, only the differences from the operation of the first embodiment will be described here.
【００５２】前述したように、被観察物体１１の位置に
よる輻輳角や視差の大小による見易さを調整するため
に、カメラの設置幅、輻輳角については調整を行う場合
には、左目用視野位置予測手段１０を使用しないで、相
対位置検出手段６により左目用及び右目用視野位置検出
手段４、５からの出力に基づいてカメラ１、２の相対位
置姿勢検出を行うことにより、両視野の相対的な関係Ｗ
を求める。As described above, in order to adjust the convergence angle depending on the position of the observed object 11 and the visibility according to the magnitude of the parallax, when the installation width of the camera and the convergence angle are adjusted, the left-eye field of view is adjusted. By using the relative position detecting means 6 to detect the relative position and orientation of the cameras 1 and 2 based on the outputs from the left-eye and right-eye visual field position detecting means 4 and 5 without using the position predicting means 10, Relative relationship W
Ask for.
【００５３】これは、眼幅、輻榛角の設定時において
は、処理の時間遅れはあまり問題にならないため、左目
用視野位置予測手段１０を用いずに、左目用及び右目用
視野位置検出手段４、５からの出力を用いて相対位置検
出を行うことにより、両視野の相対的な関係Ｗを求める
ようにしているものである。This is because the processing time delay does not cause much problem when setting the interpupillary distance and the angle of convergence, so that the left-eye and right-eye visual position detecting means are used without using the left-eye visual position predicting means 10. By performing relative position detection using outputs from 4, 5 and 5, a relative relationship W between the two visual fields is obtained.
【００５４】次に、調整を終了し、被観察物体１１の観
察を始める時点から、右目用視野位置検出手段５を停止
し、左目用視野位置検出手段４からの出力Ｌを左目用視
野位置予測手段１０にへ入力させる。Next, from the time when the adjustment is completed and the observation of the object to be observed 11 is started, the visual field position detecting means 5 for the right eye is stopped, and the output L from the visual field position detecting means 4 for the left eye is used to predict the visual field position for the left eye. Input to the means 10.
【００５５】そして、左目用視野位置予測手段１０にお
いては、時間遅れの分の予測を行いＬ´を求める。Then, the left-view visual field position predicting means 10 predicts the time delay to obtain L '.
【００５６】この左目用視野位置予測手段１０として
は、カルマンフィルタ等を用い、速度、位置を推定する
方法や、予測用に加速度センサなどを用意しその出力を
あわせて用いる方法がある。As the visual field position estimating means 10 for the left eye, there are a method of estimating a speed and a position using a Kalman filter or the like, and a method of using an acceleration sensor or the like for prediction and using its output.
【００５７】次に、左目用視野位置予測手段１０によっ
て予測されたＬ´にＷを乗ずることにより、右目視野位
置の予測後の結果であるＲ´を得ることができる。Next, by multiplying L ′ predicted by the left-eye visual field position predicting means 10 by W, R ′, which is the result after prediction of the right-eye visual field position, can be obtained.
【００５８】このようにして得られたＬ´及びＲ´を用
いて、第１の実施の形態と同様にして画像再構成重畳手
段８に３次元モデルデータ格納部３からの３次元モデル
データに基づき右目用、左目用の画像データを生成する
ことにより、画像表示手段９において立体視表示が可能
となる。Using the L 'and R' thus obtained, the image reconstruction superimposing means 8 converts the three-dimensional model data from the three-dimensional model data storage 3 into the three-dimensional model data in the same manner as in the first embodiment. By generating the image data for the right eye and the left eye based on this, the image display means 9 can perform stereoscopic display.
【００５９】このことにより、調整時以外は視野位置検
出手段４、５のうちのを１つだけ動作させれば良く、立
体視を行う場合でも、時間遅れの少ない画像重畳システ
ムを提供することが可能となる。Thus, it is sufficient to operate only one of the visual field position detecting means 4 and 5 except for the time of adjustment, and it is possible to provide an image superimposing system with a small time delay even when performing stereoscopic viewing. It becomes possible.
【００６０】なお、上述したようなこの第２の実施の形
態の各構成は、当然、各種の変形、変更が可能である。It is to be noted that each configuration of the second embodiment as described above can of course be variously modified and changed.
【００６１】例えば、右目用視野位置検出結果だけを用
い、左目用視野位置を計算することもできる。For example, it is also possible to calculate the left-eye field position using only the right-eye field position detection result.
【００６２】また、多数のカメラを用い、同時に複数の
視野の画像を入力する３次元計測装置などにおいても応
用が可能である。Further, the present invention can be applied to a three-dimensional measuring device or the like which uses a large number of cameras and simultaneously inputs images in a plurality of visual fields.
【００６３】そして、上述したような実施の形態で示し
た本明細書には、特許請求の範囲に示した請求項１乃至
３以外にも、以下に付記１乃至付記２として示すような
発明が含まれている。In the present specification described in the above-described embodiment, in addition to claims 1 to 3 described in the claims, the inventions described below as supplementary notes 1 and 2 are described. include.
【００６４】（付記１）視差を持った２系統の画像を入
力する手段（１）、（２）と、被観察物体（１１）の３
次元コンピュータグラフィクスモデル（３）とを備え、
該入力手段の位置姿勢を検出する手段（４）、（５）
から検出された位置姿勢に基づき入力手段の視点位置か
らの視野を３次元モデル（３）に基づき再生し、入力手
段（１）と（２）との相対関係を求めることで、観察時
は位置姿勢検出手段（４）または（５）のみを使い視差
を持った２系統の視点の位置姿勢を算出して３次元モデ
ルを再構築し、２系統の入力手段による視差を持ったラ
イブ画像を、再構成された３次元モデルに対して重畳し
て表示することを特徴とする立体画像表示装置。(Supplementary Note 1) Means (1) and (2) for inputting two systems of images having parallax, and three of the object to be observed (11)
A three-dimensional computer graphics model (3),
Means (4), (5) for detecting the position and orientation of the input means
The visual field from the viewpoint position of the input means is reproduced based on the three-dimensional model (3) based on the position and orientation detected from, and the relative relationship between the input means (1) and (2) is obtained. The three-dimensional model is reconstructed by calculating the position and orientation of two viewpoints having parallax using only the posture detecting means (4) or (5), and a live image having parallax by two input means is obtained. A stereoscopic image display device characterized by superimposing and displaying a reconstructed three-dimensional model.
【００６５】（作用）入力手段の位置姿勢を検出する手
段（４）、（５）から検出された位置姿勢に基づき、２
つの入力手段の相対的関係（Ｗ）を求める。(Operation) Based on the position and orientation detected by the position and orientation detection means (4) and (5) of the input means,
The relative relationship (W) between the two input means is obtained.
【００６６】次に、左目用視野位置検出手段（４）の情
報に基づき左目視点の位置姿勢（Ｌ）を求め、（Ｌ）に
（Ｗ）を乗ずることで（５）の出力結果である右目視点
の位置姿勢と等価な（Ｒ）が求まる。Next, the position and orientation (L) of the viewpoint of the left eye is obtained based on the information of the visual field position detecting means (4) for the left eye, and (L) is multiplied by (W) to obtain the output result of (5). (R) equivalent to the position and orientation of the viewpoint is obtained.
【００６７】求まった（Ｌ）及び（Ｒ）に基づき視点か
らの画像の再構築を行う。An image is reconstructed from the viewpoint based on the obtained (L) and (R).
【００６８】（効果）初期処理において２つの入力手段
の位置姿勢の相対的関係（Ｗ）を求めることで、システ
ムの稼動中は１つの検出手段ゝから両目に対応するそれ
ぞれの視点の位置姿勢を計算でき、システムの高速化が
図れる。(Effect) By calculating the relative relationship (W) between the positions and orientations of the two input means in the initial processing, the position and orientation of each viewpoint corresponding to both eyes can be determined from one detection means 中 while the system is operating. Calculation can be performed, and the system can be speeded up.
【００６９】（付記２）視差を持った２系統の画像を入
力する手段（１）、（２）と、被観察物体（１１）の３
次元コンピュータグラフィクスモデル（３）とを備え、
該入力手段の位置姿勢を検出する手段（４）、（５）
から検出された位置姿勢に基づき入力手段の視点位置か
らの視野を３次元モデル（３）に基づき再生し、画像の
表示時の位置姿勢を推定する位置予測手段（６）を備
え、入力手段（１）と（２）との相対関係を求めること
で、観察時は位置姿勢検出手段（４）及び位置予測手段
（６）を使い視差を持った２系統の視点の位置姿勢を算
出して３次元モデルを再構築し、２系統の入力手段によ
る視差を持ったライブ画像を、再構成された３次元モデ
ルに対して重畳して表示することを特徴とする立体画像
表示装置。(Supplementary Note 2) Means (1) and (2) for inputting two systems of images having parallax, and three of the object (11) to be observed
A three-dimensional computer graphics model (3),
Means (4), (5) for detecting the position and orientation of the input means
A position prediction unit (6) for estimating a position and orientation when displaying an image by reproducing a visual field from the viewpoint position of the input unit based on the position and orientation detected from the input unit based on the three-dimensional model (3); By obtaining the relative relationship between 1) and (2), the position and orientation of two viewpoints having parallax are calculated using the position and orientation detection means (4) and the position prediction means (6) during observation. A three-dimensional image display device which reconstructs a three-dimensional model and superimposes and displays a live image having parallax by two input means on a reconstructed three-dimensional model.
【００７０】（作用）入力手段の位置姿勢を検出する手
段（４）、（５）から検出された位置姿勢に基づき、２
つの入力手段の相対的関係（Ｗ）を求める。(Operation) Based on the position and orientation detected by the means (4) and (5) for detecting the position and orientation of the input means,
The relative relationship (W) between the two input means is obtained.
【００７１】次に、左目用視野位置検出手段（４）の情
報に基づき視点の位置姿勢（Ｌ）を求め、（Ｌ）を位置
予測手段（６）に入力することによって、予測時点の位
置姿勢（Ｌ´）を求める。Next, the position / posture (L) of the viewpoint is obtained based on the information of the left-eye visual field position detecting means (4), and (L) is input to the position predicting means (6) to obtain the position / posture at the time of prediction. (L ') is obtained.
【００７２】次に、（Ｌ´）に（Ｗ）を乗ずることで右
目視点の予測時点の位置姿勢（Ｒ´）が求まる。Next, by multiplying (L ′) by (W), the position and orientation (R ′) at the time of prediction of the right eye viewpoint is obtained.
【００７３】求まった（Ｌ´）及び（Ｒ´）に基づき視
点からの画像の再構築を行う。An image is reconstructed from the viewpoint based on the obtained (L ') and (R').
【００７４】（効果）２つの入力手段の位置姿勢の相対
的関係（Ｗ）を求め、１つの検出手段からの位置姿勢情
報により予測時点の位置姿勢を推定することによって、
もう一方の予測時点の位置姿勢が予測計算をすることな
しに求められ、システムの高速化が図れる。(Effect) The relative relationship (W) between the position and orientation of the two input means is obtained, and the position and orientation at the prediction time are estimated from the position and orientation information from one detecting means.
The position and orientation at the other prediction point can be obtained without performing a prediction calculation, and the system can be speeded up.
【００７５】[0075]
【発明の効果】従って、以上説明したように、本発明に
よれば、立体視を行う場合でも、時間遅れの少ない画像
重畳システムとして構成される立体画像表示装置を提供
することができる。Therefore, as described above, according to the present invention, it is possible to provide a stereoscopic image display device configured as an image superimposing system with a small time delay even when performing stereoscopic viewing.
【図１】図１は、３次元立体表示装置２１上に表示され
たコンピュータによる画像生成に係るＣＧ画像２３と、
観察者が肉眼２２で見ている実像２４とをハーフミラー
２５により重畳させて表示する従来の技術を示す図であ
る。FIG. 1 is a CG image 23 related to image generation by a computer displayed on a three-dimensional stereoscopic display device 21;
FIG. 3 is a diagram showing a conventional technique of displaying a real image 24 viewed by an observer with the naked eye 22 by superimposing the real image 24 on a half mirror 25.
【図２】図２は、被観察物体３１としての頭部の移動を
検出するトラッキング手段としての位置・姿勢検出３４
及び決定手段３５を用いることにより、移動する視点に
対応するコンピュータによる画像生成に係る画像を観察
者３２が見ている表示手段３３上に生成する従来の技術
を示す図である。FIG. 2 is a position / posture detection 34 as a tracking unit for detecting the movement of the head as the object to be observed 31;
FIG. 9 is a diagram illustrating a conventional technique of generating an image related to image generation by a computer corresponding to a moving viewpoint on a display unit 33 viewed by an observer 32 by using a determination unit 35.
【図３】図３は、頭部の動きを検出するセンサ４０によ
り検出された観察者の頭部４１の位置姿勢情報をもと
に、画像生成用コンピュータ４２により視線に対応した
ＣＧ画像を生成する際に、画像生成用コンピュータ４２
内において頭部の動きを予測し画像生成の時間遅れによ
るダイナミックレジストレーションエラーを少なくする
試みがなされている従来の技術を示す図である。FIG. 3 is a diagram illustrating an example in which an image generation computer generates a CG image corresponding to a line of sight based on position and orientation information of an observer's head 41 detected by a sensor 40 that detects the movement of the head. In doing so, the image generation computer 42
FIG. 3 is a diagram showing a conventional technique in which an attempt is made to reduce the dynamic registration error due to a time delay of image generation by predicting the movement of the head within the image.
【図４】図４は、本発明による立体画像表示装置の第１
の実施の形態の構成を示すブロック図である。FIG. 4 is a first view of a stereoscopic image display device according to the present invention;
FIG. 3 is a block diagram showing a configuration of the embodiment.
【図５】図５は、左目用及び右目用カメラ１、２が輻輳
角Θと呼ばれる収束角度を持つことで、立体視を容易に
するようになっていることを示す図である。FIG. 5 is a diagram showing that the left-eye and right-eye cameras 1 and 2 have a convergence angle called a convergence angle Θ to facilitate stereoscopic viewing.
【図６】図６は、本発明による立体画像表示装置の第２
の実施の形態の構成を示すブロック図である。FIG. 6 is a second view of the stereoscopic image display device according to the present invention.
FIG. 3 is a block diagram showing a configuration of the embodiment.
１１…被観察物体、 １、２…左目用、右目用のライブ画像を入力するための
カメラ、 ３…被観察物体１１の３次元モデルデータ格納部、 ４…左目用視野位置検出手段、 ５…右目用視野位置検出手段、 ６…相対位置検出手段、 ７…右目用視野位置計算手段、 ８…画像再構成重畳手段、 ９…画像表示手段、 １０…左目用視野位置予測手段。Reference numeral 11: object to be observed, 1, 2: camera for inputting live images for the left eye and right eye, 3: three-dimensional model data storage unit for the object to be observed 11, 4: visual field position detecting means for left eye, 5 ... Right eye visual field position detecting means, 6 ... Relative position detecting means, 7 ... Right eye visual field position calculating means, 8 ... Image reconstruction superimposing means, 9 ... Image display means, 10 ... Left eye visual field position estimating means.
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA19 AA20 AA31 BB05 BB29 CC00 CC16 DD06 EE00 FF05 FF09 FF61 GG07 GG13 JJ03 JJ05 JJ19 JJ26 PP01 QQ00 QQ24 QQ26 SS02 SS13 2H059 AA10 AA13 AA18 AA35 5C061 AA06 AA20 AB04 AB08 AB12 AB14 AB17 ──────────────────────────────────────────────────続 き Continuing on the front page F term (reference) 2F065 AA04 AA19 AA20 AA31 BB05 BB29 CC00 CC16 DD06 EE00 FF05 FF09 FF61 GG07 GG13 JJ03 JJ05 JJ19 JJ26 PP01 QQ00 QQ24 QQ26 SS02 SS13 2H059 AA1AAAB18AA18AAB18A AB17
Claims (3)
姿勢検出手段と、 上記観察対象の３次元データを保持するデータ保持手段
と、 各撮像手段の位置及び姿勢に応じて上記３次元データよ
り２次元画像を各々生成し、上記各撮像手段の撮像した
各画像と重畳する画像重畳手段と、 を具備する立体画像表示装置において、 上記位置姿勢検出手段の各検出結果より、各撮像手段の
相対的な位置及び姿勢を求める相対位置検出手段と、 上記相対位置検出手段によって求めた相対的な位置及び
姿勢を用いて、一つの撮像手段の位置及び姿勢より他の
撮像手段の位置及び姿勢を求める手段をさらに具備する
ことを特徴とする立体画像表示装置。A plurality of image pickup means for picking up an image of an observation target; a position and orientation detection means for respectively detecting positions and orientations of the plurality of image pickup means; a data holding means for holding three-dimensional data of the observation object; A three-dimensional image display device comprising: a two-dimensional image generated from the three-dimensional data according to the position and orientation of each imaging unit; and an image superimposing unit configured to superimpose each image captured by each imaging unit. A relative position detecting means for obtaining a relative position and orientation of each imaging means from each detection result of the position and orientation detecting means; and one imaging means using the relative position and orientation determined by the relative position detecting means. A stereoscopic image display device further comprising means for obtaining the position and orientation of another imaging means from the position and orientation of the stereoscopic image.
後の撮像手段の位置及び姿勢を予測する予測手段をさら
に具備し、 上記画像重畳手段は、上記予測手段で予測された各撮像
手段の位置及び姿勢に応じて上記３次元データより２次
元画像を各々生成することを特徴とする請求項１記載の
立体画像表示装置。2. The apparatus according to claim 1, further comprising: a prediction unit configured to predict a position and a posture of the imaging unit after a predetermined time from a position and a posture of the imaging unit. The three-dimensional image display device according to claim 1, wherein a two-dimensional image is generated from the three-dimensional data according to a position and a posture.
像を立体表示するとともに、各撮像手段の位置及び姿勢
を検出する立体画像表示装置において、 一つの撮像手段の位置及び姿勢のみを実測で検出し、他
の撮像手段の位置及び姿勢は、予め求めておいた各撮像
手段の相対的な位置及び姿勢を用いて導出するようにし
たことを特徴とする立体画像表示装置。3. A three-dimensional image display device for stereoscopically displaying an image of an observation target captured by a plurality of imaging means and detecting the position and orientation of each imaging means, wherein only the position and orientation of one imaging means are measured. A three-dimensional image display device, wherein the detected position and orientation of the other imaging means are detected and derived using the relative position and orientation of each imaging means determined in advance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27306899A JP4144981B2 (en) | 1999-09-27 | 1999-09-27 | Stereoscopic image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27306899A JP4144981B2 (en) | 1999-09-27 | 1999-09-27 | Stereoscopic image display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001103512A true JP2001103512A (en) | 2001-04-13 |
| JP4144981B2 JP4144981B2 (en) | 2008-09-03 |
Family
ID=17522709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27306899A Expired - Fee Related JP4144981B2 (en) | 1999-09-27 | 1999-09-27 | Stereoscopic image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4144981B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007536584A (en) * | 2004-05-06 | 2007-12-13 | ライカ ミクロジュステムス（シュヴァイツ）アーゲー | microscope |
| JP2011112808A (en) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | Image pickup apparatus |
| US8780185B2 (en) | 2009-11-25 | 2014-07-15 | Olympus Imaging Corp. | Image pickup apparatus having a display controlled using interchangeable lens information and/or finder information |
-
1999
- 1999-09-27 JP JP27306899A patent/JP4144981B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007536584A (en) * | 2004-05-06 | 2007-12-13 | ライカ ミクロジュステムス（シュヴァイツ）アーゲー | microscope |
| JP4642842B2 (en) * | 2004-05-06 | 2011-03-02 | ライカ インストルメンツ（シンガポール）プライベート リミテッド | microscope |
| JP2011112808A (en) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | Image pickup apparatus |
| US8780185B2 (en) | 2009-11-25 | 2014-07-15 | Olympus Imaging Corp. | Image pickup apparatus having a display controlled using interchangeable lens information and/or finder information |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4144981B2 (en) | 2008-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6570566B1 (en) | Image processing apparatus, image processing method, and program providing medium | |
| Azuma et al. | Improving static and dynamic registration in an optical see-through HMD | |
| US10095031B1 (en) | Non-overlapped stereo imaging for virtual reality headset tracking | |
| JP3728160B2 (en) | Depth image measuring apparatus and method, and mixed reality presentation system | |
| US6445815B1 (en) | Measurement of depth image considering time delay | |
| US5870136A (en) | Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications | |
| TWI520576B (en) | Method and system for converting 2d images to 3d images and computer-readable medium | |
| US20080204453A1 (en) | Method and apparatus for generating three-dimensional model information | |
| JPH10112831A (en) | Display method and display device for real space image and virtual space image | |
| US11609645B2 (en) | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system | |
| JPH07287761A (en) | Device and method for processing picture | |
| GB2390005A (en) | Screening Apparatus | |
| JP2000041173A (en) | Deciding method for visual point position attitude, camera device and visual point position sensor | |
| WO2005124735A1 (en) | Image display system, image display method, and image display program | |
| US10460466B2 (en) | Line-of-sight measurement system, line-of-sight measurement method and program thereof | |
| JP2009258058A (en) | Three-dimensional object position measuring device | |
| JP2849313B2 (en) | Image recording and playback device | |
| EP3706070A1 (en) | Processing of depth maps for images | |
| CN110969706B (en) | Augmented reality device, image processing method, system and storage medium thereof | |
| JP2001103512A (en) | Stereoscopic image display device | |
| JP3848092B2 (en) | Image processing apparatus and method, and program | |
| JP4710081B2 (en) | Image creating system and image creating method | |
| Skulimowski et al. | Refinement of depth from stereo camera ego-motion parameters | |
| JP2006197036A (en) | Device and method for stereoscopic image display | |
| JP2002159022A (en) | Apparatus and method for generating parallax image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080617 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |