JP2012133179A - Stereoscopic device and control method of stereoscopic device - Google Patents
Stereoscopic device and control method of stereoscopic device Download PDFInfo
- Publication number
- JP2012133179A JP2012133179A JP2010285840A JP2010285840A JP2012133179A JP 2012133179 A JP2012133179 A JP 2012133179A JP 2010285840 A JP2010285840 A JP 2010285840A JP 2010285840 A JP2010285840 A JP 2010285840A JP 2012133179 A JP2012133179 A JP 2012133179A
- Authority
- JP
- Japan
- Prior art keywords
- video
- eye
- stereoscopic
- display device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、立体視を実現する立体視装置、及び立体視装置の制御方法に関する。 The present invention relates to a stereoscopic device that realizes a stereoscopic view and a method for controlling the stereoscopic device.
立体視装置の例が特許文献１に記載されている。この特許文献１の立体視装置では、左右の視差を考慮した右眼用画像及び左眼用画像のうち、例えば左眼用画像を実像としてディスプレイ装置に表示し、右眼用画像を虚像としてコード情報などから生成してヘッドマウントディスプレイ（以下、ＨＭＤディスプレイと記す）に表示する。そして、ディスプレイ装置の実像を左眼で見ている状態で同時にＨＭＤディスプレイの虚像を右眼で見ることにより立体視を実現している。 An example of a stereoscopic device is described in Patent Document 1. In the stereoscopic device of Patent Document 1, for example, the left-eye image is displayed as a real image on the display device among the right-eye image and the left-eye image in consideration of the left-right parallax, and the right-eye image is coded as a virtual image. It is generated from information and displayed on a head mounted display (hereinafter referred to as HMD display). Then, stereoscopic viewing is realized by simultaneously viewing the virtual image of the HMD display with the right eye while viewing the real image of the display device with the left eye.
しかしながら、上記特許文献１に記載された技術は、立体視非対応型ディスプレイ装置（以下、既存ディスプレイ装置と記す）を使用して映像の立体視を実現することができるものの、既存ディスプレイ装置の表示画面に対する眼の位置が変化した場合に、それに対応した正しい立体視ができないという問題があった。 However, although the technique described in Patent Document 1 described above can realize stereoscopic viewing of an image using a non-stereoscopic display device (hereinafter referred to as an existing display device), the display of the existing display device When the position of the eye with respect to the screen changes, there is a problem that correct stereoscopic viewing corresponding to the position cannot be performed.
本発明の目的は、上述した課題を解決する立体視装置、及び立体視装置の制御方法を提供することにある。 An object of the present invention is to provide a stereoscopic device and a method for controlling the stereoscopic device that solve the above-described problems.
上述した課題を解決するために、本発明の一態様による立体視装置は、入力された映像を左眼用と右眼用の映像に分離する立体映像分離部と、前記立体映像分離部で分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応部と、前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理部とを備えることを特徴とする。 In order to solve the above-described problem, a stereoscopic device according to an aspect of the present invention includes a stereoscopic video separation unit that separates an input video into a left-eye video and a right-eye video, and the stereoscopic video separation unit A display corresponding unit for displaying one of the left-eye image and the right-eye image on the display device and displaying the other of the left-eye image and the right-eye image on a monocular head-mounted display device; Corresponding to the shape of the video display area of the display device specified according to the position of the left eye or the right eye with respect to the display device, a deformation process is performed on the other video displayed on the head mounted display device. And a video deformation processing unit for performing the processing.
また、本発明の一態様による立体視装置の制御方法は、入力された映像を左眼用と右眼用の映像に分離する立体映像分離ステップと、前記立体映像分離ステップで分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応ステップと、前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理ステップとを備えることを特徴とする。 The stereoscopic device control method according to one aspect of the present invention includes a stereoscopic video separation step of separating an input video into a left-eye video and a right-eye video, and the left eye separated in the stereoscopic video separation step. A display corresponding step of displaying one of the left and right eye images on the display device, and displaying the other of the left eye and right eye images on the monocular head mounted display device, and the display device Video deformation processing for performing deformation processing on the other video displayed on the head mounted display device in accordance with the shape of the video display area of the display device specified according to the position of the left eye or right eye And a step.
本発明によれば、ディスプレイ装置の映像表示エリアに対する眼の位置が変化した場合でも、それに対応した正しい立体視が可能になる。 According to the present invention, even when the position of the eye with respect to the video display area of the display device changes, correct stereoscopic vision corresponding to the change is possible.
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１の実施形態］
図１は、本発明の立体視装置の一実施形態に係る追加型立体視装置１００の概略構成を示すブロック図である。
また、図２は、図１中のＨＭＤ装置の構成を示す外観図である。
図１において、追加型立体視装置１００は、立体映像入力部１１０から入力された立体映像を処理する映像処理部１０と、利用者の頭部の片眼部分に装着する単眼用ヘッドマウントディスプレイ装置（以下、ＨＭＤ装置と記す）２０とを備えている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an additional stereoscopic device 100 according to an embodiment of the stereoscopic device of the present invention.
FIG. 2 is an external view showing a configuration of the HMD device in FIG.
In FIG. 1, an additional stereoscopic device 100 includes a video processing unit 10 that processes a stereoscopic video input from a stereoscopic video input unit 110, and a monocular head-mounted display device that is attached to one eye part of a user's head. (Hereinafter referred to as an HMD device) 20.
また、映像処理部１０は、映像変形処理部１、表示対応部２、及び立体映像分離部１１を備えている。また、ＨＭＤ装置２０は、補正用映像入力部２１とＨＭＤディスプレイ部２２とを備えている。
補正用映像入力部２１は、図２（ａ）に示すようにＨＭＤ装置２０の表側（立体視非対応型ディスプレイ装置（以下、既存ディスプレイ装置と記す）１２０側）に設置されている。また、ＨＭＤディスプレイ部２２は、図２（ｂ）に示すようにＨＭＤ装置２０の裏側（眼球側）に設置されている。
The video processing unit 10 includes a video deformation processing unit 1, a display corresponding unit 2, and a stereoscopic video separation unit 11. The HMD device 20 also includes a correction video input unit 21 and an HMD display unit 22.
As shown in FIG. 2A, the correction video input unit 21 is installed on the front side of the HMD device 20 (stereoscopic incompatible display device (hereinafter referred to as an existing display device) 120 side). Moreover, the HMD display part 22 is installed in the back side (eyeball side) of the HMD apparatus 20, as shown in FIG.2 (b).
立体映像分離部１１は、立体映像入力部１１０から入力された立体映像を左眼用と右眼用の映像Ｇ１、Ｇ２に分離する。
映像変形処理部１は、既存ディスプレイ装置１２０に対する左眼または右眼の位置に応じて特定される既存ディスプレイ装置１２０の映像表示エリアの形状に対応して、ＨＭＤディスプレイ部２２に表示される例えば右眼用の映像Ｇ２に対して変形処理を行う。例えば、映像変形処理部１は、既存ディスプレイ装置１２０の映像表示エリア１２１（図４参照）に近接して配置されている映像補正用マーカＢ１〜Ｂ４に基づいて、左眼用及び右眼用の映像Ｇ１、Ｇ２のうち、例えば右眼用の映像Ｇ２に対して変形処理を行う。ここで、映像表示エリア１２１とは、ディスプレイ画面において表示される映像部分の領域である。
また、映像変形処理部１は、映像変形用補正点検出部１２と映像変形処理実行部１３とを有している。
The stereoscopic video separation unit 11 separates the stereoscopic video input from the stereoscopic video input unit 110 into left-eye and right-eye videos G1 and G2.
The video deformation processing unit 1 is displayed on the HMD display unit 22 corresponding to the shape of the video display area of the existing display device 120 specified according to the position of the left eye or the right eye with respect to the existing display device 120, for example, right Deformation processing is performed on the eye image G2. For example, the video deformation processing unit 1 is for the left eye and the right eye based on the video correction markers B1 to B4 arranged in the vicinity of the video display area 121 (see FIG. 4) of the existing display device 120. Of the videos G1 and G2, for example, a deformation process is performed on the video G2 for the right eye. Here, the video display area 121 is an area of a video portion displayed on the display screen.
The video deformation processing unit 1 includes a video deformation correction point detection unit 12 and a video deformation processing execution unit 13.
映像変形用補正点検出部１２（補正用マーカ検出部）は、補正用映像入力部２１から外部映像を受け取り、その外部映像から映像補正用マーカＢ１〜Ｂ４を検出する。そして、映像変形用補正点検出部１２は、補正用映像入力部２１から受け取った外部映像中の映像補正用マーカＢ１〜Ｂ４の部分の位置から映像変形補正用データＤ１を生成する。例えば、映像変形補正用データＤ１は、既存ディスプレイ装置１２０における映像補正用マーカＢ１〜Ｂ４の位置に対応した座標データである。 The video deformation correction point detection unit 12 (correction marker detection unit) receives an external video from the correction video input unit 21 and detects video correction markers B1 to B4 from the external video. Then, the video deformation correction point detection unit 12 generates video deformation correction data D1 from the positions of the video correction markers B1 to B4 in the external video received from the correction video input unit 21. For example, the video deformation correction data D1 is coordinate data corresponding to the positions of the video correction markers B1 to B4 in the existing display device 120.
映像変形処理実行部１３は、映像変形用補正点検出部１２で生成された映像変形補正用データＤ１に基づいて、立体映像分離部１１で分離された左眼用及び右眼用の映像Ｇ１、Ｇ２のうち、例えば、右眼用の映像Ｇ２に対して変形処理を行う。具体的には、映像変形処理実行部１３は、既存ディスプレイ装置１２０を肉眼で見た場合の映像表示エリア１２１（図３参照）の形状と、そのときのＨＭＤディスプレイ部２２の映像表示エリア２３の形状とが同じ形状になるように、映像変形補正用データＤ１を利用して、ＨＭＤディスプレイ部２２の映像表示エリア２３の補正を行う。 The video deformation processing execution unit 13 is based on the video deformation correction data D1 generated by the video deformation correction point detection unit 12, and the left-eye and right-eye video G1 separated by the stereoscopic video separation unit 11, Of G2, for example, a deformation process is performed on the right-eye video G2. Specifically, the video deformation processing execution unit 13 forms the shape of the video display area 121 (see FIG. 3) when the existing display device 120 is viewed with the naked eye, and the video display area 23 of the HMD display unit 22 at that time. The video display area 23 of the HMD display unit 22 is corrected using the video deformation correction data D1 so that the shape is the same.
表示対応部２は、立体映像分離部１１によって分離された左眼用と右眼用の映像Ｇ１、Ｇ２のうち、例えば、左眼用の映像Ｇ１を既存ディスプレイ装置１２０に表示すると共に、右眼用の映像Ｇ２の変形後の映像Ｇ２ａをＨＭＤディスプレイ部２２に表示する。また、表示対応部２は、映像同期部１４及び映像遅延部１５を備えている。この場合、図３に示すように、左眼Ａ１と右眼Ａ２に入射する映像光は通過経路が異なるため、表示対応部２では、映像同期部１４が映像遅延部１５を利用することにより左眼用と右眼用の映像Ｇ１、Ｇ２ａの同期を取る。 The display corresponding unit 2 displays, for example, the left-eye image G1 on the existing display device 120 among the left-eye and right-eye images G1 and G2 separated by the stereoscopic image separation unit 11, and the right-eye. The video G2a after the transformation of the video G2 for use is displayed on the HMD display unit 22. The display corresponding unit 2 includes a video synchronization unit 14 and a video delay unit 15. In this case, as shown in FIG. 3, the video light incident on the left eye A1 and the right eye A2 has different passage paths. Therefore, in the display corresponding unit 2, the video synchronization unit 14 uses the video delay unit 15 to the left. The images G1 and G2a for the eye and right eye are synchronized.
補正用映像入力部２１は、既存ディスプレイ装置１２０に配置された映像補正用マーカＢ１〜Ｂ４を含む外部映像を取り込む。例えば、図４に示すように、映像補正用マーカＢ１〜Ｂ４は、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に対応した位置に配置される。図４に示す例では、既存ディスプレイ装置１２０の映像表示エリア１２１は四角形状である。この例の場合、映像補正用マーカＢ１〜Ｂ４は、この映像表示エリア１２１の周縁部に形成された既存ディスプレイ装置外枠部１２２における映像表示エリア１２１の四隅に接する位置にそれぞれ配置されている。 The correction video input unit 21 captures an external video including the video correction markers B1 to B4 arranged on the existing display device 120. For example, as shown in FIG. 4, the video correction markers B <b> 1 to B <b> 4 are arranged at positions corresponding to the shape of the video display area 121 of the existing display device 120. In the example shown in FIG. 4, the video display area 121 of the existing display device 120 has a quadrangular shape. In the case of this example, the video correction markers B <b> 1 to B <b> 4 are arranged at positions in contact with the four corners of the video display area 121 in the existing display device outer frame portion 122 formed at the peripheral edge of the video display area 121.
補正用映像入力部２１は、既存ディスプレイ装置１２０の映像表示エリア１２１に対応して配置された４つの映像補正用マーカＢ１〜Ｂ４を含む、既存ディスプレイ装置１２０の映像を撮影し、この撮影映像を外部映像として取り込む。 The correction video input unit 21 shoots the video of the existing display device 120 including the four video correction markers B1 to B4 arranged corresponding to the video display area 121 of the existing display device 120, and uses the captured video. Import as external video.
次に、本実施形態の動作について、図５等を参照して説明する。
図５は、本実施形態の追加型立体視装置１００の動作を示すフローチャートである。
はじめに、利用者は、ＨＭＤ装置２０を頭部に装着する（ステップＳ１１）。この場合、ＨＭＤディスプレイ部２２の映像表示エリア２３の表面が例えば右眼に対向するようにセットされる。
Next, the operation of this embodiment will be described with reference to FIG.
FIG. 5 is a flowchart showing the operation of the additional stereoscopic device 100 of the present embodiment.
First, the user wears the HMD device 20 on the head (step S11). In this case, the surface of the video display area 23 of the HMD display unit 22 is set so as to face the right eye, for example.
すると、補正用映像入力部２１は、既存ディスプレイ装置１２０の映像補正用マーカＢ１〜Ｂ４を含んだ外部映像を読み取り、その映像データを映像変形用補正点検出部１２に供給する（ステップＳ１２）。
次に、映像変形用補正点検出部１２では、外部映像の画像解析を行い、外部映像の中の映像補正用マーカＢ１〜Ｂ４を検出し、これを映像変形補正用座標データに変換する（ステップＳ１３）。
Then, the correction video input unit 21 reads an external video including the video correction markers B1 to B4 of the existing display device 120, and supplies the video data to the video deformation correction point detection unit 12 (step S12).
Next, the video deformation correction point detection unit 12 performs image analysis of the external video, detects video correction markers B1 to B4 in the external video, and converts them into video deformation correction coordinate data (step). S13).
一方、追加型立体視装置１００の映像処理部１０には、立体映像入力部１１０から立体映像が入力されている（ステップＳ１４）。入力された立体映像は、立体映像分離部１１によって、左眼用と右眼用の映像Ｇ１、Ｇ２に分離される（ステップＳ１５）。そして、立体映像分離部１１によって分離された左眼用の映像Ｇ１は映像同期部１４に入力され、右眼用の映像Ｇ２は映像変形処理実行部１３に入力される。 On the other hand, stereoscopic video is input from the stereoscopic video input unit 110 to the video processing unit 10 of the additional stereoscopic device 100 (step S14). The input stereoscopic image is separated into left-eye and right-eye images G1 and G2 by the stereoscopic image separation unit 11 (step S15). The left-eye video G1 separated by the stereoscopic video separation unit 11 is input to the video synchronization unit 14, and the right-eye video G2 is input to the video deformation processing execution unit 13.
映像変形処理実行部１３は、映像変形用補正点検出部１２で生成された映像変形補正用座標データを用いて、立体映像分離部１１から受け取った右眼用の映像Ｇ２の変形処理を行う（ステップＳ１６）。例えば、図６に示すように、利用者が既存ディスプレイ装置１２０の映像表示エリア１２１の正面に対峙し映像表示エリア１２１を正面から見た場合には、利用者には既存ディスプレイ装置１２０が図４に示したような長方形に見えている。これに対して、利用者が図７に示すように既存ディスプレイ装置１２０の映像表示エリア１２１を斜め方向から見た場合には、利用者には既存ディスプレイ装置１２０が図８に示す台形のように変形して見える。 The video deformation processing execution unit 13 performs a deformation process on the right-eye video G2 received from the stereoscopic video separation unit 11 using the video deformation correction coordinate data generated by the video deformation correction point detection unit 12 ( Step S16). For example, as shown in FIG. 6, when the user faces the front of the video display area 121 of the existing display device 120 and looks at the video display area 121 from the front, the existing display device 120 is displayed to the user as shown in FIG. It looks like a rectangle as shown in. On the other hand, when the user views the video display area 121 of the existing display device 120 from an oblique direction as shown in FIG. 7, the existing display device 120 appears to the user as a trapezoid as shown in FIG. It looks deformed.
このような現象を考慮して、映像変形処理実行部１３は、利用者の視覚上での、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に合うように、映像変形補正用データＤ１を利用してＨＭＤディスプレイ部２２の映像表示エリア２３の形状の補正を行う。
例えば、図７は、利用者が既存ディスプレイ装置１２０の映像表示エリア１２１を右斜め方向から見た場合の一例である。この場合、映像変形処理実行部１３は、ＨＭＤディスプレイ部２２の映像表示エリア２３の形状が、図８に示すような左側の辺が右側の辺よりも短くなった台形になるように、右眼用の映像Ｇ２の変形処理を行う。ここで、ＨＭＤディスプレイ部２２の映像表示エリア２３の形状とは、ＨＭＤディスプレイ部２２の映像表示部分の形状のことである。また、図１に示した右眼用の映像Ｇ２ａは、変形処理後の右眼用の映像を示している。
In consideration of such a phenomenon, the video deformation processing execution unit 13 uses the video deformation correction data D1 so as to match the shape of the video display area 121 of the existing display device 120 on the user's vision. Then, the shape of the video display area 23 of the HMD display unit 22 is corrected.
For example, FIG. 7 is an example when the user views the video display area 121 of the existing display device 120 from the diagonally right direction. In this case, the video transformation processing execution unit 13 causes the right eye so that the shape of the video display area 23 of the HMD display unit 22 is a trapezoid in which the left side is shorter than the right side as shown in FIG. The transformation process of the video image G2 is performed. Here, the shape of the video display area 23 of the HMD display unit 22 is the shape of the video display part of the HMD display unit 22. Also, the right-eye video G2a shown in FIG. 1 shows the right-eye video after the deformation process.
その後、左眼用と右眼用の映像Ｇ１、Ｇ２ａは映像同期部１４に入力され、映像同期部１４は、映像遅延部１５を用いて左眼用と右眼用の映像Ｇ１、Ｇ２ａの同期処理を行う（ステップＳ１７）。左眼用と右眼用の映像Ｇ１、Ｇ２では通過する経路が異なっており、どちらかの映像に遅延が生じる。この同期処理は、この遅延を修正するために行う。
左眼用と右眼用の映像Ｇ１、Ｇ２ａは同期されて、右眼用の映像Ｇ２ａがＨＭＤディスプレイ部２２に出力され、左眼用の映像Ｇ１が既存ディスプレイ装置１２０に出力される（ステップＳ１８）。これによって利用者は、左眼用と右眼用の映像Ｇ１、Ｇ２ａから立体視を体感することができる。
Thereafter, the left-eye and right-eye videos G1 and G2a are input to the video synchronization unit 14, and the video synchronization unit 14 uses the video delay unit 15 to synchronize the left-eye and right-eye videos G1 and G2a. Processing is performed (step S17). The path through which the left-eye and right-eye images G1 and G2 pass is different, and a delay occurs in one of the images. This synchronization process is performed to correct this delay.
The left-eye and right-eye videos G1 and G2a are synchronized, the right-eye video G2a is output to the HMD display unit 22, and the left-eye video G1 is output to the existing display device 120 (step S18). ). As a result, the user can experience stereoscopic vision from the left-eye and right-eye videos G1 and G2a.
以上のように、本実施形態によれば、追加型立体視装置１００（立体視装置）は、立体映像分離部１１と、表示対応部２と、映像変形処理部１とを備える。立体映像分離部１１が、入力された映像を左眼用と右眼用の映像Ｇ１、Ｇ２に分離する。また、表示対応部２が、立体映像分離部１１で分離された左眼用と右眼用の映像Ｇ１、Ｇ２のいずれか一方を既存ディスプレイ装置１２０に表示すると共に、左眼用及び右眼用の映像Ｇ１、Ｇ２の他方をＨＭＤディスプレイ部２２に表示する。そして、映像変形処理部１は、既存ディスプレイ装置１２０に対する左眼または右眼の位置に応じて特定されるディスプレイ装置１２０の映像表示エリア１２１の形状に対応して、ＨＭＤディスプレイ部２２に表示される他方の映像に対して変形処理を行う。 As described above, according to the present embodiment, the additional stereoscopic device 100 (stereoscopic device) includes the stereoscopic video separation unit 11, the display corresponding unit 2, and the video deformation processing unit 1. The stereoscopic video separation unit 11 separates the input video into left-eye and right-eye videos G1 and G2. In addition, the display corresponding unit 2 displays one of the left-eye and right-eye images G1 and G2 separated by the stereoscopic image separation unit 11 on the existing display device 120, and the left-eye and right-eye images. The other of the videos G1 and G2 is displayed on the HMD display unit 22. Then, the video transformation processing unit 1 is displayed on the HMD display unit 22 corresponding to the shape of the video display area 121 of the display device 120 specified according to the position of the left eye or the right eye with respect to the existing display device 120. Deformation processing is performed on the other video.
これにより、追加型立体視装置１００は、立体視非対応型ディスプレイである既存ディスプレイ装置１２０を使用して立体視を実現させることができると共に、既存ディスプレイ装置１２０に対する利用者の眼の位置（既存ディスプレイ装置１２０から見て例えば上下左右）が変わっても、正しい立体視が可能になる。すなわち、例えば、利用者が既存ディスプレイ装置１２０として立体視非対応型ディスプレイを持っている場合に、この追加型立体視装置１００を追加すれば、高品質な立体映像を低コストで視聴することができる。 Accordingly, the additional stereoscopic device 100 can realize stereoscopic viewing using the existing display device 120 that is a stereoscopic non-compliant display, and the position of the user's eyes with respect to the existing display device 120 (existing Even when the display device 120 changes, for example, up, down, left, and right, a correct stereoscopic view is possible. That is, for example, when a user has a stereoscopic non-compatible display as the existing display device 120, if this additional stereoscopic device 100 is added, a high-quality stereoscopic image can be viewed at low cost. it can.
また、本実施形態において、追加型立体視装置１００は、既存ディスプレイ装置１２０の映像表示エリア１２１に近接して映像補正用マーカＢ１〜Ｂ４を配置し、映像変形処理部１は、映像補正用マーカＢ１〜Ｂ４の位置に基づいて、ＨＭＤディスプレイ部２２に表示される他方の映像に対して変形処理を行う。これにより、利用者の視覚上での、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に合うように、ＨＭＤディスプレイ部２２に表示される他方の映像に対して変形処理を行うことができる。 In the present embodiment, the additional stereoscopic device 100 arranges the video correction markers B1 to B4 in the vicinity of the video display area 121 of the existing display device 120, and the video deformation processing unit 1 displays the video correction marker. Based on the positions of B1 to B4, deformation processing is performed on the other image displayed on the HMD display unit 22. Thereby, a deformation | transformation process can be performed with respect to the other image | video displayed on the HMD display part 22 so that the shape of the image | video display area 121 of the existing display apparatus 120 may match with a user's vision.
また、本実施形態において、追加型立体視装置１００は、既存ディスプレイ装置１２０に配置された映像補正用マーカＢ１〜Ｂ４を含む外部映像を入力する補正用映像入力部２１を備え、映像変形処理部１は、映像変形用補正点検出部１２と映像変形処理実行部１３とを備えている。そして、映像変形用補正点検出部１２が、外部映像から映像補正用マーカＢ１〜Ｂ４を検出し、該検出した映像補正用マーカの位置から映像変形補正用データＤ１を生成する。映像変形処理実行部１３が、映像変形補正用データＤ１に基づいて、左眼用及び右眼用の映像の他方の映像に対して変形処理を行う。 Further, in the present embodiment, the additional stereoscopic device 100 includes a correction video input unit 21 that inputs an external video including video correction markers B1 to B4 arranged on the existing display device 120, and includes a video deformation processing unit. 1 includes a video deformation correction point detection unit 12 and a video deformation processing execution unit 13. Then, the video deformation correction point detection unit 12 detects the video correction markers B1 to B4 from the external video, and generates video deformation correction data D1 from the detected position of the video correction marker. Based on the video deformation correction data D1, the video deformation processing execution unit 13 performs a deformation process on the other of the left-eye video and the right-eye video.
これにより、ＨＭＤディスプレイ部２２に表示される映像部分の形状が、利用者の視覚上の、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に対応したものになる。そのため、追加型立体視装置１００では、既存ディスプレイ装置１２０に対する利用者の眼の位置が変わっても、より正しい立体視が可能になる。 Accordingly, the shape of the video portion displayed on the HMD display unit 22 corresponds to the shape of the video display area 121 of the existing display device 120 on the user's visual perception. Therefore, in the additional stereoscopic device 100, even if the position of the user's eyes with respect to the existing display device 120 is changed, more correct stereoscopic viewing is possible.
また、本実施形態において、映像変形補正用データＤ１は、既存ディスプレイ装置１２０における映像補正用マーカＢ１〜Ｂ４の位置に対応した座標データとしたので、映像変形補正用データＤ１の生成が容易となる。 In the present embodiment, the video deformation correction data D1 is coordinate data corresponding to the positions of the video correction markers B1 to B4 in the existing display device 120. Therefore, the video deformation correction data D1 can be easily generated. .
また、本実施形態において、映像補正用マーカＢ１〜Ｂ４は、既存ディスプレイ装置１２０の映像表示エリア１２１の形状に対応した位置に配置したので、映像処理部１０は、既存ディスプレイ装置１２０の映像表示エリア１２１の形状の変化を的確に検出することができる。 In the present embodiment, since the video correction markers B1 to B4 are arranged at positions corresponding to the shape of the video display area 121 of the existing display device 120, the video processing unit 10 uses the video display area of the existing display device 120. The change in the shape of 121 can be accurately detected.
また、本実施形態において、既存ディスプレイ装置１２０の映像表示エリア１２１は四角形状であって、映像補正用マーカＢ１〜Ｂ４は、該映像表示エリア１２１に対応した既存ディスプレイ装置の四隅にそれぞれ配置されている。これにより、映像処理部１０は、ＨＭＤディスプレイ部２２に表示される映像部分の形状を既存ディスプレイ装置１２０の映像表示エリア１２１の形状に合わせやすくなる。 In the present embodiment, the video display area 121 of the existing display device 120 has a quadrangular shape, and the video correction markers B1 to B4 are respectively arranged at the four corners of the existing display device corresponding to the video display area 121. Yes. Accordingly, the video processing unit 10 can easily match the shape of the video portion displayed on the HMD display unit 22 with the shape of the video display area 121 of the existing display device 120.
また、本実施形態において、表示対応部２は、左眼用及び右眼用の映像Ｇ１、Ｇ２ａの同期処理を行う映像同期部１４を備える。
これにより、追加型立体視装置１００は、左眼用と右眼用の映像Ｇ１、Ｇ２で通過する経路が異なることによる映像の同期ずれを防止することができる。
In the present embodiment, the display corresponding unit 2 includes a video synchronization unit 14 that performs synchronization processing of the left-eye and right-eye videos G1 and G2a.
As a result, the additional stereoscopic device 100 can prevent the video from being out of sync due to different paths through which the left-eye video G1 and the right-eye video G1 pass.
また、本実施形態において、立体映像分離部１１に入力される映像は、立体映像である。これにより、立体映像分離部１１は、入力された映像を立体視化処理する必要がなく、追加型立体視装置１００は、立体映像の立体視を既存ディスプレイ装置１２０で実現するごとができる。 In the present embodiment, the video input to the stereoscopic video separation unit 11 is a stereoscopic video. Accordingly, the stereoscopic video separation unit 11 does not need to perform stereoscopic processing on the input video, and the additional stereoscopic device 100 can realize stereoscopic viewing of the stereoscopic video on the existing display device 120.
また、本発明の実施形態によれば、追加型立体視装置１００（立体視装置）の制御方法は、立体映像分離ステップ（Ｓ１５）と、表示対応ステップ（Ｓ１７、Ｓ１８）と、映像変形処理ステップ（Ｓ１３、Ｓ１６）とを備える。立体映像分離ステップは、入力された映像を左眼用と右眼用の映像に分離する。表示対応ステップは、立体映像分離ステップで分離された左眼用と右眼用の映像のいずれか一方を既存ディスプレイ装置１２０に表示すると共に、左眼用及び右眼用の映像の他方をＨＭＤディスプレイ部２２に表示する。映像変形処理ステップは、既存ディスプレイ装置１２０に対する左眼または右眼の位置に応じて特定される既存ディスプレイ装置の映像表示エリア１２１の形状に対応して、ＨＭＤディスプレイ部２２に表示される左眼用または右眼用の映像に対して変形処理を行う。これにより、追加型立体視装置１００の制御方法では、上述の追加型立体視装置１００と同様の作用効果を奏する。 In addition, according to the embodiment of the present invention, the control method of the additional stereoscopic device 100 (stereoscopic device) includes a stereoscopic video separation step (S15), a display corresponding step (S17, S18), and a video deformation processing step. (S13, S16). In the stereoscopic video separation step, the input video is separated into a left-eye video image and a right-eye video image. The display corresponding step displays either the left-eye video or the right-eye video separated in the stereoscopic video separation step on the existing display device 120 and the other of the left-eye video and the right-eye video on the HMD display. Displayed on the unit 22. The video transformation processing step is for the left eye displayed on the HMD display unit 22 corresponding to the shape of the video display area 121 of the existing display device specified according to the position of the left eye or the right eye with respect to the existing display device 120. Alternatively, deformation processing is performed on the right-eye video. Thereby, in the control method of additional stereoscopic device 100, the same operation effect as above-mentioned additional stereoscopic device 100 is produced.
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、映像補正用マーカＢ１〜Ｂ４は、既存ディスプレイ装置１２０の四隅に配置するようにしたが、これに限定されるものではない。これは、ＨＭＤディスプレイ部２２と既存ディスプレイ装置１２０の映像部分（映像表示エリア１２１）の形状を合わせるためのものであるので、マーカの数を増やす或いは減らす、またはマーカの位置を変更するようにした場合でも、形状を合わせることができればその方法も利用可能である。
The present invention is not limited to the above embodiments, and can be modified without departing from the spirit of the present invention.
For example, although the video correction markers B1 to B4 are arranged at the four corners of the existing display device 120, the present invention is not limited to this. This is for matching the shape of the video part (video display area 121) of the HMD display unit 22 and the existing display device 120. Therefore, the number of markers is increased or decreased, or the positions of the markers are changed. Even in this case, the method can be used if the shape can be matched.
また、上記の各実施形態において、立体映像入力部１１０から立体映像分離部１１に入力される映像が、立体映像である場合について説明したが、立体視化されていない映像が入力される形態でもよい。この場合、立体映像分離部１１は、立体映像入力部１１０から入力された映像を立体視用に変換した上で左眼用と右眼用の映像Ｇ１、Ｇ２に分離する。これにより、立体視化されていない映像を立体視することができる。
上記の各実施形態において、既存ディスプレイ装置１２０に適用する形態を説明したが、立体視対応型ディスプレイ装置に適用してもよい。この場合、上述のように立体視化されていない映像を立体視することができる。
Further, in each of the above-described embodiments, the case where the video input from the stereoscopic video input unit 110 to the stereoscopic video separation unit 11 is a stereoscopic video has been described, but the video that is not stereoscopically input may also be input. Good. In this case, the stereoscopic video separation unit 11 converts the video input from the stereoscopic video input unit 110 for stereoscopic viewing, and then separates the video for the left eye and the video for the right eye G1 and G2. As a result, an image that has not been stereoscopically viewed can be stereoscopically viewed.
In each of the above embodiments, the form applied to the existing display device 120 has been described. However, the embodiment may be applied to a stereoscopic display device. In this case, it is possible to stereoscopically view an image that is not stereoscopically viewed as described above.
上述の映像処理部１０の各機能は、ソフトウェアで構成してもよいし、論理回路などのハードウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理部１０の内部にコンピュータシステムを備えることになる。そして、上述した映像処理部１０の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。 Each function of the video processing unit 10 described above may be configured by software or hardware such as a logic circuit. When configured by software, the video processing unit 10 is provided with a computer system. The process of the video processing unit 10 described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
１ 映像変形処理部
２ 表示対応部
１０ 映像処理部
１１ 立体映像分離部
１２ 映像変形用補正点検出部
１３ 映像変形処理実行部
１４ 映像同期部
１５ 映像遅延部
２０ ＨＭＤ装置
２１ 補正用映像入力部
２２ ＨＭＤディスプレイ部
２３、１２１ 映像表示エリア
１００ 追加型立体視装置
１１０ 立体映像入力部
１２０ 既存ディスプレイ装置
１２２ 既存ディスプレイ装置外枠部
Ｇ１ 左眼用の映像
Ｇ２ 右眼用の映像
Ｂ１〜Ｂ４ 映像補正用マーカ
Ｄ１ 映像変形補正用データ
DESCRIPTION OF SYMBOLS 1 Image | video deformation | transformation processing part 2 Display corresponding | compatible part 10 Image | video processing part 11 Three-dimensional image separation part 12 Image | video deformation | transformation correction point detection part 13 Image | video deformation | transformation process execution part 14 Image | video synchronization part 15 Image | video delay part 20 HMD apparatus 21 Correction | amendment image input part 22 HMD display unit 23, 121 Video display area 100 Additional stereoscopic device 110 Stereo video input unit 120 Existing display device 122 Existing display device outer frame G1 Left-eye video G2 Right-eye video B1-B4 Video correction marker D1 Video deformation correction data
Claims (9)
前記立体映像分離部で分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応部と、
前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理部と
を備えることを特徴とする立体視装置。 A stereoscopic image separation unit that separates the input image into a left-eye image and a right-eye image;
Either one of the left-eye and right-eye images separated by the stereoscopic image separation unit is displayed on a display device, and the other of the left-eye and right-eye images is displayed on a monocular head-mounted display device. A display corresponding part to be displayed;
Corresponding to the shape of the video display area of the display device specified according to the position of the left eye or the right eye with respect to the display device, a deformation process is performed on the other video displayed on the head mounted display device. A stereoscopic device comprising: a video deformation processing unit.
前記映像変形処理部は、
前記外部映像から前記映像補正用マーカを検出し、該検出した映像補正用マーカの位置から映像変形補正用データを生成する補正用マーカ検出部と、
前記映像変形補正用データに基づいて、前記他方の映像に対して変形処理を行う映像変形処理実行部とを有することを特徴とする請求項２に記載の立体視装置。 A correction video input unit for inputting an external video including the video correction marker;
The video deformation processing unit
A correction marker detection unit that detects the video correction marker from the external video and generates video deformation correction data from the position of the detected video correction marker;
The stereoscopic device according to claim 2, further comprising: a video deformation processing execution unit that performs a deformation process on the other video based on the video deformation correction data.
左眼用及び右眼用の映像の同期処理を行う映像同期部を備えることを特徴とする請求項１から請求項６のいずれか１項に記載の立体視装置。 The display corresponding unit is
The stereoscopic device according to claim 1, further comprising: a video synchronization unit that performs synchronization processing of the left-eye video and the right-eye video.
前記立体映像分離ステップで分離された左眼用と右眼用の映像のいずれか一方をディスプレイ装置に表示すると共に、左眼用及び右眼用の映像の他方を単眼用のヘッドマウントディスプレイ装置に表示する表示対応ステップと、
前記ディスプレイ装置に対する左眼または右眼の位置に応じて特定される前記ディスプレイ装置の映像表示エリアの形状に対応して、前記ヘッドマウントディスプレイ装置に表示される前記他方の映像に対して変形処理を行う映像変形処理ステップとを備えることを特徴とする立体視装置の制御方法。 A stereoscopic image separation step for separating the input image into a left-eye image and a right-eye image;
One of the left-eye and right-eye images separated in the stereoscopic image separation step is displayed on a display device, and the other of the left-eye and right-eye images is displayed on a monocular head-mounted display device. Display corresponding steps to be displayed;
Corresponding to the shape of the video display area of the display device specified according to the position of the left eye or the right eye with respect to the display device, a deformation process is performed on the other video displayed on the head mounted display device. A method for controlling a stereoscopic device, comprising: a video transformation processing step to be performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010285840A JP2012133179A (en) | 2010-12-22 | 2010-12-22 | Stereoscopic device and control method of stereoscopic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010285840A JP2012133179A (en) | 2010-12-22 | 2010-12-22 | Stereoscopic device and control method of stereoscopic device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012133179A true JP2012133179A (en) | 2012-07-12 |
Family
ID=46648845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010285840A Pending JP2012133179A (en) | 2010-12-22 | 2010-12-22 | Stereoscopic device and control method of stereoscopic device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012133179A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160062499A (en) * | 2014-11-25 | 2016-06-02 | 삼성전자주식회사 | Computing apparatus and method for providing 3-dimensional interaction |
| WO2018212437A1 (en) * | 2017-05-19 | 2018-11-22 | 주식회사 맥스트 | Calibration method for matching of augmented reality objects and head mounted display for performing same |
-
2010
- 2010-12-22 JP JP2010285840A patent/JP2012133179A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160062499A (en) * | 2014-11-25 | 2016-06-02 | 삼성전자주식회사 | Computing apparatus and method for providing 3-dimensional interaction |
| KR102310994B1 (en) * | 2014-11-25 | 2021-10-08 | 삼성전자주식회사 | Computing apparatus and method for providing 3-dimensional interaction |
| WO2018212437A1 (en) * | 2017-05-19 | 2018-11-22 | 주식회사 맥스트 | Calibration method for matching of augmented reality objects and head mounted display for performing same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102415502B1 (en) | Method and apparatus of light filed rendering for plurality of user | |
| JP5494283B2 (en) | 3D display device and 3D display device control method | |
| US8928655B2 (en) | Display device and display method | |
| JP4903888B2 (en) | Image display device, image display method, and image correction method | |
| US9123171B1 (en) | Enhancing the coupled zone of a stereoscopic display | |
| US20130106843A1 (en) | Information processing apparatus, display control method, and program | |
| WO2013108285A1 (en) | Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method | |
| JP4634863B2 (en) | Stereoscopic image generation apparatus and stereoscopic image generation program | |
| JP2010107685A (en) | Three-dimensional display apparatus, method, and program | |
| JP2010259017A (en) | Display device, display method and display program | |
| US20170257614A1 (en) | Three-dimensional auto-focusing display method and system thereof | |
| CN102116937B (en) | Apparatus and method for displaying three-dimensional image | |
| JP2012060236A (en) | Image processing apparatus, image processing method, and computer program | |
| KR101228916B1 (en) | Apparatus and method for displaying stereoscopic 3 dimensional image in multi vision | |
| JP2018157331A (en) | Program, recording medium, image generating apparatus, image generation method | |
| JP2012133179A (en) | Stereoscopic device and control method of stereoscopic device | |
| US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
| US20130293687A1 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
| KR101754976B1 (en) | Contents convert method for layered hologram and apparatu | |
| JP5222407B2 (en) | Image display device, image display method, and image correction method | |
| JP2013070286A (en) | Display control program, display control system, display control apparatus, and display control method | |
| KR102242923B1 (en) | Alignment device for stereoscopic camera and method thereof | |
| US20140085434A1 (en) | Image signal processing device and image signal processing method | |
| US9547933B2 (en) | Display apparatus and display method thereof | |
| TWI826033B (en) | Image display method and 3d display system |