JP2017153006A - Stereoscopic image adjustment device and stereoscopic image adjustment method - Google Patents

Stereoscopic image adjustment device and stereoscopic image adjustment method Download PDF

Info

Publication number
JP2017153006A
JP2017153006A JP2016035211A JP2016035211A JP2017153006A JP 2017153006 A JP2017153006 A JP 2017153006A JP 2016035211 A JP2016035211 A JP 2016035211A JP 2016035211 A JP2016035211 A JP 2016035211A JP 2017153006 A JP2017153006 A JP 2017153006A
Authority
JP
Japan
Prior art keywords
stereoscopic image
image
stereoscopic
marker
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016035211A
Other languages
Japanese (ja)
Other versions
JP6626367B2 (en
Inventor
隼人 渡邉
Hayato Watanabe
隼人 渡邉
河北 真宏
Masahiro Kawakita
真宏 河北
直人 岡市
Naoto Okaichi
直人 岡市
洗井 淳
Jun Arai
淳 洗井
三科 智之
Tomoyuki Mishina
智之 三科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to JP2016035211A priority Critical patent/JP6626367B2/en
Publication of JP2017153006A publication Critical patent/JP2017153006A/en
Application granted granted Critical
Publication of JP6626367B2 publication Critical patent/JP6626367B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To correct a position of an element image for an optical element array at high precision in integral stereoscopic system.SOLUTION: A stereoscopic image adjustment device 100 comprises: element image generation means 120 of generating an element image group so that a stereoscopic image of a marker is reproduced; a detector 110 that detects the stereoscopic image of the plurality of markers reproduced by displaying the element image group on a display screen of a stereoscopic image display device 200; and correction value calculating means 130 of calculating a correction value for correcting a whole of the element image group displayed on the display screen on the basis of an error of a detection position and a reference position displaying each maker. The stereoscopic image adjustment device repeatedly performs a sequential processing of the operations of the generation of the element image group, the detection of the stereoscopic image of the reproduced markers, the calculation of the correction value, and the correction of the element image group on the basis of the correction value while increasing a depth distance.SELECTED DRAWING: Figure 1

Description

本発明は、立体像調整方法及び立体像調整装置に関し、特に、インテグラル立体方式で再生される立体像についての立体像調整装置及び立体像調整方法に関する。   The present invention relates to a stereoscopic image adjustment method and a stereoscopic image adjustment device, and more particularly to a stereoscopic image adjustment device and a stereoscopic image adjustment method for a stereoscopic image reproduced by an integral stereoscopic method.

空間像再生方式の1つであるインテグラル立体方式では、水平方向と垂直方向に視差のある裸眼立体映像表示が可能である。一般的にインテグラル立体方式では、ディスプレイ前面に光学素子アレイ(例えばレンズアレイ)を配置し、対応する要素画像をディスプレイに表示することで、立体像を再生することができる。なお、光学素子アレイを構成する光学素子を要素光学素子という。例えば、レンズアレイを構成するレンズを要素レンズという。   The integral stereoscopic method, which is one of the aerial image reproducing methods, can display an autostereoscopic image with parallax in the horizontal direction and the vertical direction. In general, in the integral stereoscopic system, a stereoscopic image can be reproduced by arranging an optical element array (for example, a lens array) on the front surface of the display and displaying a corresponding element image on the display. In addition, the optical element which comprises an optical element array is called an element optical element. For example, lenses constituting the lens array are referred to as element lenses.

実際の表示システムでは、光学素子アレイとディスプレイとの位置関係誤差や光学的な歪み等により、要素画像と要素光学素子(例えば要素レンズ)との位置関係にずれが生じる。特に、ディスプレイにプロジェクタを使用した場合、投射歪みの影響により要素画像に幾何学的歪みが生じ、立体像の再生品質低下の大きな要因となる。そのため、ディスプレイに表示する要素画像と、光学素子アレイを構成する要素光学素子との位置合わせを高精度に行うことがインテグラル立体方式の課題となっていた。   In an actual display system, a positional relationship between an element image and an element optical element (for example, an element lens) is shifted due to a positional relationship error between the optical element array and the display, optical distortion, or the like. In particular, when a projector is used for the display, geometrical distortion occurs in the element image due to the influence of projection distortion, which is a major factor in reducing the reproduction quality of a stereoscopic image. For this reason, it has been a problem of the integral three-dimensional system to perform highly accurate alignment between the element image displayed on the display and the element optical elements constituting the optical element array.

従来、複数台のプロジェクタを使用したインテグラル立体ディスプレイの開発例が開示されている(非特許文献1参照)。非特許文献1に記載されている方法では、水平方向と垂直方向との2種類のグレイコードパターン(縞パターン)を投射し、観察者側から、カメラで撮影することで、要素画像の補正を行っている。   Conventionally, a development example of an integral stereoscopic display using a plurality of projectors has been disclosed (see Non-Patent Document 1). In the method described in Non-Patent Document 1, two kinds of gray code patterns (stripe patterns) in the horizontal direction and the vertical direction are projected, and the image of the element image is corrected by photographing with a camera from the observer side. Is going.

また、他の従来技術として、プロジェクタでスクリーン枠に位置検出用のマーカーを表示する方法が開示されている(特許文献1参照)。特許文献1に記載されている方法では、画面内への立体表示と、スクリーン枠へのマーカー表示とを同時に行うことができるため、熱や振動といったシステム稼働中の位置ずれに対して、表示を中断することなく補正ができるという利点がある。   As another conventional technique, a method of displaying a marker for position detection on a screen frame by a projector is disclosed (see Patent Document 1). In the method described in Patent Document 1, since the three-dimensional display on the screen and the marker display on the screen frame can be performed at the same time, the display is performed against the positional deviation during the system operation such as heat and vibration. There is an advantage that correction can be performed without interruption.

特開2008−219190号公報JP 2008-219190 A

H. Liao, et. al, "Scalable High-resolution integral videography autostereoscopic display with a seamless multiprojection system", Applied Optics, Vol. 44, No. 3, 2005H. Liao, et. Al, "Scalable High-resolution integral videography autostereoscopic display with a seamless multiprojection system", Applied Optics, Vol. 44, No. 3, 2005

しかしながら、非特許文献1に記載されている方法では、2次元のグレイコードパターンを使用することから、要素画像の補正精度はカメラ解像度や撮影距離によって制約され、サブピクセルレベルでの高精度な補正は困難であった。
また、特許文献1の方法では、スクリーンの周囲に配置された映像を表示しない枠へマーカーを表示するので、スクリーンの中央部等の画面内側に局所的な歪みがある場合には、そのような歪の補正に対応することができない。
However, since the method described in Non-Patent Document 1 uses a two-dimensional gray code pattern, the correction accuracy of element images is limited by the camera resolution and shooting distance, and high-precision correction at the sub-pixel level. Was difficult.
Further, in the method of Patent Document 1, since a marker is displayed on a frame that does not display an image arranged around the screen, if there is local distortion inside the screen, such as the center of the screen, such a It cannot cope with distortion correction.

本発明は、以上のような問題点に鑑みてなされたものであり、インテグラル立体方式において、光学素子アレイに対して要素画像の位置を高い精度で補正できる立体像調整装置及び立体像調整方法を提供することを課題とする。   The present invention has been made in view of the above problems, and in an integral stereoscopic method, a stereoscopic image adjustment apparatus and a stereoscopic image adjustment method capable of correcting the position of an element image with respect to an optical element array with high accuracy. It is an issue to provide.

前記課題を解決するために、本発明に係る立体像調整装置は、位置を検出するマーカーを用いて立体像を調整する立体像調整装置であって、要素画像生成手段と、検出器と、補正値算出手段と、を備えることとした。   In order to solve the above problems, a stereoscopic image adjustment apparatus according to the present invention is a stereoscopic image adjustment apparatus that adjusts a stereoscopic image using a marker that detects a position, and includes an element image generation unit, a detector, and a correction And a value calculating means.

かかる構成によれば、立体像調整装置は、要素画像生成手段によって、立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する。そして、立体像調整装置は、検出器によって、前記立体映像表示装置の前記表示面に前記要素画像群を表示することで再生された複数のマーカーの立体像を検出する。そして、立体像調整装置は、補正値算出手段によって、各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する。そして、立体像調整装置は、要素画像群の生成、再生された複数のマーカーの立体像の検出、前記補正値の算出、前記補正値に基づく要素画像群の補正の一連の処理を、前記奥行き距離を大きくしながら繰り返し行う。
このように立体像調整装置では、マーカー自体を立体像として用いており、マーカーの立体像では、表示面からの奥行き距離を用いて位置を補正することができる。この奥行き距離を大きくしていくと、マーカーの立体像についての基準位置から検出位置までのずれが大きくなることから、光学素子アレイを介した要素画像における補正値をより細かく求めることができる。したがって、立体像調整装置では、サブピクセルレベルの補正をすることができ、従来の2次元の平面パターンを利用する補正方法に比べて高精度な補正が可能になる。
According to such a configuration, the stereoscopic image adjusting device is set in advance by the element image generating unit so as to display the marker at a position that is a predetermined depth distance from the display surface of the stereoscopic video display device. A group of element images displayed on the display surface is generated so that a stereoscopic image of the marker is reproduced at the reference position. Then, the stereoscopic image adjusting device detects a stereoscopic image of a plurality of markers reproduced by displaying the element image group on the display surface of the stereoscopic video display device by a detector. Then, the stereoscopic image adjustment device is displayed on the display surface based on an error between the detection position detected from the stereoscopic image of each marker and the reference position to display each marker by the correction value calculation means. A correction value for correcting the entire element image group is calculated. Then, the stereoscopic image adjustment device performs a series of processes of generating an element image group, detecting a reproduced stereoscopic image of a plurality of markers, calculating the correction value, and correcting the element image group based on the correction value. Repeat while increasing the distance.
As described above, in the stereoscopic image adjusting apparatus, the marker itself is used as a stereoscopic image, and the position of the marker stereoscopic image can be corrected using the depth distance from the display surface. As this depth distance is increased, the deviation from the reference position to the detection position for the three-dimensional image of the marker increases, so that the correction value in the element image via the optical element array can be obtained more finely. Therefore, the stereoscopic image adjustment apparatus can perform correction at the sub-pixel level, and can perform correction with higher accuracy than a conventional correction method using a two-dimensional plane pattern.

また、前記課題を解決するために、本発明に係る立体像調整方法は、位置を検出するマーカーを用いて立体像を調整する立体像調整方法であって、要素画像生成工程と、立体像検出工程と、補正値算出工程と、要素画像補正工程と、を一連の補正処理として含み、初めに、立体映像表示装置の表示面近傍に事前に設定された初期奥行き距離だけ離間させて複数のマーカーの立体像を表示して、前記一連の補正処理を行い、その後、前記表示面から複数のマーカーの立体像までの奥行き距離を大きくした上で前記一連の処理を繰り返すことで、複数のマーカーの立体像を調整することとした。   In order to solve the above problems, a stereoscopic image adjustment method according to the present invention is a stereoscopic image adjustment method that adjusts a stereoscopic image using a marker for detecting a position, and includes an element image generation step and a stereoscopic image detection. And a correction value calculation step and an element image correction step as a series of correction processes. First, a plurality of markers are separated by an initial depth distance set in advance near the display surface of the stereoscopic video display device. The three-dimensional image is displayed, the series of correction processes is performed, and then the series of processes is repeated after increasing the depth distance from the display surface to the three-dimensional image of the plurality of markers. The stereoscopic image was adjusted.

かかる手順によれば、立体像調整方法は、要素画像生成工程にて、要素画像生成手段によって、立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する。そして、立体像調整方法は、再生表示工程にて、前記立体映像表示装置によって、前記表示面に表示された前記要素画像群から複数のマーカーの立体像を再生表示する。そして、立体像調整方法は、立体像検出工程にて、検出器によって、再生された複数のマーカーの立体像を検出する。そして、立体像調整方法は、補正値算出工程にて、補正値算出手段によって、各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする前記基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する。そして、立体像調整方法は、要素画像補正工程にて、前記要素画像生成手段によって、算出された前記補正値をもとに、前記表示面に表示される要素画像群全体を補正する。   According to such a procedure, the stereoscopic image adjustment method causes the element image generation unit to display a marker at a position spaced by a predetermined depth distance from the display surface of the stereoscopic video display device by the element image generation unit in the element image generation step. A group of element images displayed on the display surface is generated so that a three-dimensional image of the marker is reproduced at a preset reference position. The stereoscopic image adjustment method reproduces and displays a stereoscopic image of a plurality of markers from the group of element images displayed on the display surface by the stereoscopic video display device in the reproduction display step. In the three-dimensional image adjustment method, the three-dimensional image of the reproduced plurality of markers is detected by the detector in the three-dimensional image detection step. The stereoscopic image adjustment method is based on an error between the detection position detected from the stereoscopic image of each marker by the correction value calculation means and the reference position to display each marker in the correction value calculation step. Then, a correction value for correcting the entire element image group displayed on the display surface is calculated. In the three-dimensional image adjustment method, in the element image correction step, the element image generation unit corrects the entire element image group displayed on the display surface based on the calculated correction value.

本発明によれば、マーカー自体を立体像として用いているので、インテグラル立体方式において、光学素子アレイに対して要素画像の位置を高い精度で補正できる。   According to the present invention, since the marker itself is used as a stereoscopic image, the position of the element image can be corrected with high accuracy with respect to the optical element array in the integral stereoscopic system.

本発明の第1実施形態に係る立体像調整装置の構成を表す概略図である。It is the schematic showing the structure of the three-dimensional image adjustment apparatus which concerns on 1st Embodiment of this invention. 立体像マーカーの説明図であり、(a)は再生表示される立体像マーカー、(b)はその輝度分布、(c)は対応する要素画像群をそれぞれ示している。It is explanatory drawing of a stereoscopic image marker, (a) is the stereoscopic image marker reproduced | regenerated and displayed, (b) is the luminance distribution, (c) has each shown the corresponding element image group. 立体像マーカーの画面内での配置例を示す図である。It is a figure which shows the example of arrangement | positioning in the screen of a three-dimensional image marker. 立体像マーカーの表示位置の誤差の説明図であり、(a)は奥行き距離が小さい場合、(b)は奥行き距離が大きい場合をそれぞれ示している。It is explanatory drawing of the error of the display position of a three-dimensional image marker, (a) has shown the case where depth distance is small, (b) has respectively shown the case where depth distance is large. 本発明の第1実施形態に係る立体像調整方法の流れを表すフローチャートである。It is a flowchart showing the flow of the three-dimensional image adjustment method which concerns on 1st Embodiment of this invention. 図5に示す事前校正工程の流れを表すフローチャートである。It is a flowchart showing the flow of the prior calibration process shown in FIG. 図5に示す補正値算出処理の流れを表すフローチャートである。It is a flowchart showing the flow of the correction value calculation process shown in FIG. (a)〜(d)は立体像マーカーの他の例を示す図である。(A)-(d) is a figure which shows the other example of a stereo image marker. 本発明の第4実施形態に係る立体像調整方法の流れを表すフローチャートである。It is a flowchart showing the flow of the three-dimensional image adjustment method which concerns on 4th Embodiment of this invention. (a)〜(c)は立体映像表示装置を追加する場合に用いる立体像マーカーの表示パターンの一例である。(A)-(c) is an example of the display pattern of the stereoscopic image marker used when adding a stereoscopic video display apparatus. (a)〜(c)は立体映像表示装置を追加する場合に用いる立体像マーカーの表示パターンの他の例である。(A)-(c) is another example of the display pattern of the stereoscopic image marker used when adding a stereoscopic video display apparatus.

図1を参照し、本発明の実施形態に係る立体像調整装置100及び立体像調整方法について、説明する。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするために誇張していることがある。   With reference to FIG. 1, the three-dimensional image adjustment apparatus 100 and the three-dimensional image adjustment method which concern on embodiment of this invention are demonstrated. Note that the size, positional relationship, and the like of the members shown in each drawing may be exaggerated for clarity of explanation.

[立体映像表示装置]
まず、立体像調整方法において立体像調整装置100と協働する立体映像表示装置について説明する。ここでは光学素子アレイとしてレンズアレイ220を用いたインテグラル方式の立体映像表示装置200の場合について説明する。この立体映像表示装置200は、画像表示部210と、レンズアレイ220と、を備えている。
[3D image display device]
First, a stereoscopic video display apparatus that cooperates with the stereoscopic image adjustment apparatus 100 in the stereoscopic image adjustment method will be described. Here, the case of the integral type stereoscopic image display apparatus 200 using the lens array 220 as the optical element array will be described. The stereoscopic video display device 200 includes an image display unit 210 and a lens array 220.

画像表示部210は、プロジェクタ211でスクリーン212に画像を投影表示するものである。画像表示部210には、各要素レンズ221に1対1で対応した要素画像群が表示される。この立体像調整方法では、位置を検出するマーカーの立体像(以下、立体像マーカーという)を再生するための要素画像群を表示する。画像表示部210は、1回の表示で画面内に複数個の立体像マーカーを表示する。なお、要素画像群は要素画像生成手段120により生成する。   The image display unit 210 projects and displays an image on the screen 212 by the projector 211. In the image display unit 210, an element image group corresponding to each element lens 221 on a one-to-one basis is displayed. In this stereoscopic image adjustment method, an element image group for reproducing a stereoscopic image of a marker for detecting a position (hereinafter referred to as a stereoscopic image marker) is displayed. The image display unit 210 displays a plurality of stereoscopic image markers on the screen in a single display. The element image group is generated by the element image generation means 120.

画像表示部210の前面(表示面の近傍に)には、レンズアレイ220が配置されている。このレンズアレイ220は、2次元に配列された微小な要素レンズ221で構成されている。レンズアレイ220には、要素レンズ221が密集した状態で配置されている。レンズアレイ220のサイズは、画像表示部210の表示面(スクリーン212)のサイズと同程度である。図1では、8個の要素レンズ221を一次元で図示したが、要素レンズの個数は任意であり、典型的には数万以上となる。   A lens array 220 is disposed on the front surface of the image display unit 210 (in the vicinity of the display surface). This lens array 220 is composed of minute element lenses 221 arranged in two dimensions. In the lens array 220, the element lenses 221 are arranged in a dense state. The size of the lens array 220 is approximately the same as the size of the display surface (screen 212) of the image display unit 210. In FIG. 1, the eight element lenses 221 are illustrated in a one-dimensional manner, but the number of element lenses is arbitrary and is typically tens of thousands or more.

本実施形態では、一例として、要素レンズ221が両凸レンズであるものとした。なお、要素レンズ221の形状は円形に限らず、正方形でもよい。また、要素レンズ221の配列は、俵積状いわゆるラインオフセット状であるものとしたが、正方格子状(グリッド構造)としてもよい。   In the present embodiment, as an example, the element lens 221 is a biconvex lens. The shape of the element lens 221 is not limited to a circle but may be a square. In addition, the arrangement of the element lenses 221 is a so-called line offset shape, but may be a square lattice shape (grid structure).

レンズアレイ220と画像表示部210の表示面との距離は、例えば数mm程度であり、概ね、要素レンズ221の焦点距離と同様の距離である。このレンズアレイ220には、表示面に表示された要素画像からの光が入射する。これにより、インテグラル立体映像を再生することができる。   The distance between the lens array 220 and the display surface of the image display unit 210 is about several millimeters, for example, and is generally the same as the focal length of the element lens 221. Light from the element image displayed on the display surface is incident on the lens array 220. Thereby, the integral stereoscopic video can be reproduced.

実際のシステムを構成した場合、各要素画像と各要素レンズ221との位置関係は、画像表示部210に表示された画像の幾何学ひずみや倍率、回転、さらにレンズアレイ220の要素レンズ221の配列誤差等から、要素画像と要素レンズ221の位置にずれが生じている。そのため、立体映像表示装置200によって再生される立体像は、このずれにより、歪むとともに、視域や再生奥行き位置等が正しくない立体像が生成される。   When an actual system is configured, the positional relationship between each element image and each element lens 221 is the geometric distortion, magnification, and rotation of the image displayed on the image display unit 210, and the arrangement of the element lenses 221 in the lens array 220. There is a deviation between the position of the element image and the element lens 221 due to an error or the like. For this reason, the stereoscopic image reproduced by the stereoscopic video display device 200 is distorted due to this shift, and a stereoscopic image having an incorrect viewing zone, reproduction depth position, and the like is generated.

[立体像調整装置]
立体像調整装置100は、位置を検出するマーカーを用いて立体像を調整する装置であり、検出器110と、要素画像生成手段120と、補正値算出手段130と、を備えている。
[3D image adjustment device]
The stereoscopic image adjustment apparatus 100 is an apparatus that adjusts a stereoscopic image using a marker that detects a position, and includes a detector 110, an element image generation unit 120, and a correction value calculation unit 130.

<検出器>
検出器110は、立体映像表示装置200の表示面に要素画像群を表示することで再生された複数の立体像マーカーを検出するものである。検出器110は、例えばフォトディテクターやデジタルカメラから構成され、本実施形態では単一のカメラであるものとする。このように、検出器110にカメラを使用する場合、ピント位置を立体像マーカーの奥行き位置に制御する。また、内部パラメータが既知であり、撮影画像に対してはカメラ光学系の歪み補正を行うものとする。検出器110は、観察者側から、立体像(表示面の近傍に複数個再生された立体像マーカー)を捉える。
<Detector>
The detector 110 detects a plurality of stereoscopic image markers reproduced by displaying an element image group on the display surface of the stereoscopic video display device 200. The detector 110 is composed of, for example, a photo detector or a digital camera, and is assumed to be a single camera in this embodiment. Thus, when a camera is used for the detector 110, the focus position is controlled to the depth position of the stereoscopic image marker. Further, it is assumed that the internal parameters are known and the camera optical system distortion correction is performed on the captured image. The detector 110 captures a stereoscopic image (a plurality of stereoscopic image markers reproduced near the display surface) from the viewer side.

<要素画像生成手段>
要素画像生成手段120は、所定の位置に立体像マーカーが再生されるように要素画像群を生成するものである。ここで、所定の位置とは、立体映像表示装置200の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置である。つまり、所定の位置は、3次元空間の位置であり、基準位置は画面内の位置(2次元空間の位置)である。なお、基準位置は、この立体像調整装置の利用者が、立体像マーカーを表示させたい所望の位置であり、例えば事前校正で求めた表示装置の画面内を表す位置情報で特定することができる。
<Element image generation means>
The element image generation unit 120 generates an element image group so that the stereoscopic image marker is reproduced at a predetermined position. Here, the predetermined position is a position that is separated from the display surface of the stereoscopic video display device 200 by a predetermined depth distance, and is a preset reference position where the marker is to be displayed. That is, the predetermined position is a position in the three-dimensional space, and the reference position is a position in the screen (a position in the two-dimensional space). Note that the reference position is a desired position where the user of the stereoscopic image adjustment device wants to display the stereoscopic image marker, and can be specified by position information representing the inside of the screen of the display device obtained by pre-calibration, for example. .

この要素画像生成手段120は、画像処理手段で構成され、要素画像の生成方法は特に限定されない。要素画像生成手段120は、補正値算出手段130から補正係数が入力されると、この補正係数を使用して、画像処理で要素画像群全体に対して、要素画像のひずみを補正する補正処理を行う。   The element image generation means 120 is constituted by an image processing means, and the element image generation method is not particularly limited. When the correction coefficient is input from the correction value calculation means 130, the element image generation means 120 uses this correction coefficient to perform correction processing for correcting the distortion of the element image for the entire element image group by image processing. Do.

<立体像マーカー>
ここで、再生される立体像マーカーについて説明する。マーカーの形状の具体例として、余弦二乗の輝度分布を持つ円を使用する方法が下記参考文献1に記載されている。
参考文献1:金澤勝、外3名、"副尺視力に基づく画像解像度と階調の相乗効果の一検討とマルチ画面の位置合わせ用信号への適用"、映像情報メディア学会誌 vol. 57, no. 11, 2003, p. 1491-1500
<3D image marker>
Here, the reproduced stereoscopic image marker will be described. As a specific example of the shape of the marker, a method of using a circle having a luminance distribution of cosine square is described in Reference Document 1 below.
Reference 1: Masaru Kanazawa, 3 others, "Study on synergy between image resolution and gradation based on vernier vision and application to multi-screen alignment signal", Journal of the Institute of Image Information and Television Engineers vol. 57, no. 11, 2003, p. 1491-1500

本実施形態では、例えば、図2(a)に示すように、立体像マーカーMが、正面視で円形状であり、中心ほど高い輝度分布を有しているものとする。なお、円形の外側の黒色の部分は、表示面の背景を表している。この立体像マーカーMのx軸方向の輝度分布を図2(b)に示す。また、図2(c)に示すような要素画像群Ieを画像表示部210に表示し、レンズアレイ220を介して観察すると、図2(a)に示す立体像マーカーMを検出することができる。なお、要素画像群Ieは多数の要素レンズ221に対応している。 In the present embodiment, for example, as illustrated in FIG. 2A, the stereoscopic image marker M is circular in a front view and has a luminance distribution that is higher toward the center. The black portion outside the circle represents the background of the display surface. The luminance distribution in the x-axis direction of the stereoscopic image marker M is shown in FIG. Further, when the element image group I e as shown in FIG. 2C is displayed on the image display unit 210 and observed through the lens array 220, the stereoscopic image marker M shown in FIG. it can. The element image group I e corresponds to a large number of element lenses 221.

図3は、レンズアレイ220を介して、一例として水平11個×垂直7個の合計77個の立体像マーカーを再生表示した状態を模式的に示す。なお、レンズアレイ220において立体像が表示されるべき範囲の四隅C1,C2,C3,C4が、立体映像表示装置200の表示面の四隅に相当する。 FIG. 3 schematically shows a state in which a total of 77 stereoscopic image markers of 11 horizontal × 7 vertical are reproduced and displayed through the lens array 220 as an example. Note that the four corners C 1 , C 2 , C 3 , and C 4 in the range where the stereoscopic image is to be displayed in the lens array 220 correspond to the four corners of the display surface of the stereoscopic video display device 200.

<立体像マーカーの奥行き距離>
立体像マーカーは、奥行き距離が大きければ大きいほど、高感度にずれ量を検出できる。図4(a)及び図4(b)は、要素画像の位置のずれと立体像の再生位置(検出位置)のずれの関係を示している。このうち、図4(a)では、表示面から所定の奥行き距離(f+z1)の位置に、立体像マーカーの基準位置を黒丸で表し、立体像マーカーの再生位置(検出位置)を白丸で表している。ここで、fは要素レンズ221の焦点距離、z1は、レンズアレイ220を基準とした奥行き距離である。また、要素レンズ221に対応する要素画像が表示された表示面から焦点距離fだけ離間してレンズアレイ220が配置されている。立体像マーカーは、いくつかの画素が関わって再生されている。ここでは、13画素からなる要素画像を一次元で模式的に示し、要素画像の位置のずれΔpは2画素であるもとして示した。このときの立体像の再生位置のずれ(誤差)はΔg1である。
<Depth distance of stereoscopic marker>
The stereoscopic image marker can detect the shift amount with higher sensitivity as the depth distance increases. FIG. 4A and FIG. 4B show the relationship between the shift in the position of the element image and the shift in the reproduction position (detection position) of the stereoscopic image. 4A, the reference position of the stereoscopic image marker is represented by a black circle and the reproduction position (detection position) of the stereoscopic image marker is represented by a white circle at a predetermined depth distance (f + z 1 ) from the display surface. ing. Here, f is a focal length of the element lens 221, and z 1 is a depth distance based on the lens array 220. Further, the lens array 220 is arranged at a focal distance f away from the display surface on which the element image corresponding to the element lens 221 is displayed. The stereoscopic image marker is reproduced with some pixels involved. Here, an element image consisting of 13 pixels is schematically shown in a one-dimensional manner, and the element image position shift Δp is shown as 2 pixels. At this time, the deviation (error) of the reproduction position of the stereoscopic image is Δg 1 .

また、図4(b)では、同様に、表示面から所定の奥行き距離(f+z2)の位置に、立体像マーカーの基準位置を黒丸で表し、立体像マーカーの再生位置(検出位置)を白丸で表している。ここで、z2は、レンズアレイ220を基準とした奥行き距離である。このときの立体像の再生位置のずれ(誤差)はΔg2である。 In FIG. 4B, similarly, the reference position of the stereoscopic image marker is represented by a black circle at a predetermined depth distance (f + z 2 ) from the display surface, and the reproduction position (detection position) of the stereoscopic image marker is a white circle. It is represented by Here, z 2 is a depth distance based on the lens array 220. Shift playback position of the stereoscopic image of this time (error) is Delta] g 2.

そして、要素画像の位置のずれをΔp、立体像の再生位置のずれをΔg、レンズの焦点距離をf、立体像のレンズアレイ220からの奥行き距離をzとすると、式(1)の関係がある。なお、Δgはマーカーによって異なる。   If the displacement of the position of the element image is Δp, the displacement of the reproduction position of the stereoscopic image is Δg, the focal length of the lens is f, and the depth distance of the stereoscopic image from the lens array 220 is z, the relationship of Expression (1) is satisfied. is there. Note that Δg varies depending on the marker.

ここで、奥行き距離と補正精度の関係について述べる。立体像を、要素レンズ221の焦点距離fのN倍の奥行き位置に表示したとき、要素画像の位置誤差Δp[mm]が、立体像ではN×Δp[mm]の位置誤差として検出される。画素ピッチをP[mm]とすると、検出器110で立体像を検出するときの分解能がN×P[mm]より細かければ、サブピクセル単位で補正を行うことが可能となる。よって、奥行き距離が大きいほど、補正を高精度で行うことができる。   Here, the relationship between the depth distance and the correction accuracy will be described. When a stereoscopic image is displayed at a depth position N times the focal length f of the element lens 221, the positional error Δp [mm] of the element image is detected as a positional error of N × Δp [mm] in the stereoscopic image. If the pixel pitch is P [mm], correction can be performed in units of sub-pixels if the resolution when the detector 110 detects a stereoscopic image is smaller than N × P [mm]. Therefore, the correction can be performed with higher accuracy as the depth distance is larger.

<補正値算出手段>
図1に戻って立体像調整装置100の構成の説明を続ける。
補正値算出手段130は、各立体像マーカーから検出された検出位置と各マーカーを表示させようとする基準位置との誤差に基づいて、表示面に表示される要素画像群全体を補正するための補正値を算出するものである。この補正値算出手段130は、誤差値算出手段131と、位置ずれ算出手段132と、補正値生成手段133と、を備えている。
<Correction value calculation means>
Returning to FIG. 1, the description of the configuration of the stereoscopic image adjustment apparatus 100 will be continued.
The correction value calculation means 130 corrects the entire group of element images displayed on the display surface based on the error between the detection position detected from each stereoscopic image marker and the reference position to display each marker. A correction value is calculated. The correction value calculation unit 130 includes an error value calculation unit 131, a positional deviation calculation unit 132, and a correction value generation unit 133.

誤差値算出手段131は、検出器110で捉えたデータを解析し、図2(a)に示した立体像マーカーMの輝度分布の最も高い中心位置を当該立体像マーカーMの位置として検出する。具体的には、誤差値算出手段131は、図2(b)で示した輝度パターンを抜き出し、二次式で近似して頂点座標を求める。あるいは、誤差値算出手段131は、図2(a)に示した立体像マーカーMの画像から、周辺画素との輝度勾配の積算が最大となる一点を求めてもよい。この誤差値算出手段131は、立体像マーカーMの検出位置と基準位置との誤差値をマーカー毎に算出する。なお、図4に示した記号と同様に表すと、立体像マーカーMの誤差値とは、x方向の再生位置のずれΔgx、及びy方向の再生位置のずれΔgyのことである。 The error value calculation means 131 analyzes the data captured by the detector 110 and detects the center position of the highest luminance distribution of the stereoscopic image marker M shown in FIG. 2A as the position of the stereoscopic image marker M. Specifically, the error value calculation unit 131 extracts the luminance pattern shown in FIG. 2B and approximates it with a quadratic expression to obtain vertex coordinates. Alternatively, the error value calculation unit 131 may obtain one point where the integration of the luminance gradient with the surrounding pixels is maximum from the image of the stereoscopic image marker M shown in FIG. The error value calculation unit 131 calculates an error value between the detection position of the stereoscopic image marker M and the reference position for each marker. Incidentally, when expressed in the same manner and symbols shown in FIG. 4, the error value of the stereoscopic image markers M, is that the deviation Delta] g x, and deviation Delta] g y in the y-direction playback position in the x-direction playback position.

位置ずれ算出手段132は、誤差値から要素画像における位置のずれをマーカー毎に算出するものである。なお、図4に示した記号と同様に表すと、要素画像における位置のずれは、x方向のずれΔpx及びy方向のずれΔpyのことであり、後記する式(2)に示す記号と同様に表すと、x方向のずれdx(x,y)及びy方向のずれdy(x,y)のことである。この要素画像における位置のずれは、要素画像の離散的な補正値となる。ここで、離散的とは、マーカー毎に算出されていることを意味する。この位置ずれ算出手段132は、全ての立体像マーカーに対して、前記式(1)からΔpを算出することで、要素画像の離散的な補正値を得ることができる。 The positional deviation calculation means 132 calculates the positional deviation in the element image for each marker from the error value. Incidentally, when expressed in the same manner and symbols shown in FIG. 4, the deviation of the position in the element image is that in the x direction of the displacement Delta] p x and y direction deviation Delta] p y, and symbols shown in equation (2) to be described later In other words, the deviation d x (x, y) in the x direction and the deviation d y (x, y) in the y direction. This positional deviation in the element image becomes a discrete correction value of the element image. Here, discrete means that it is calculated for each marker. The positional deviation calculation means 132 can obtain a discrete correction value of the element image by calculating Δp from the equation (1) for all the stereoscopic image markers.

補正値生成手段133は、すべてのマーカーについて算出した要素画像における位置のずれから、要素画像の全画素の位置を補正するための歪補正値を補間生成するものである。補正値生成手段133は、離散的な補正値から、要素画像群全体の補正値を補間生成するための補正係数を算出する。図3に示したように、画面上でマーカーの全個数が77個であれば、77個の離散的な補正値を用いて、それらの間を埋めるため補正係数を算出する。補正値生成手段133は、算出した補正係数を、要素画像生成手段120に出力する。   The correction value generation means 133 interpolates and generates distortion correction values for correcting the positions of all the pixels in the element image from the positional shifts in the element image calculated for all the markers. The correction value generation means 133 calculates a correction coefficient for interpolating and generating correction values for the entire element image group from discrete correction values. As shown in FIG. 3, if the total number of markers on the screen is 77, a correction coefficient is calculated to fill the gap between the 77 discrete correction values. The correction value generation unit 133 outputs the calculated correction coefficient to the element image generation unit 120.

具体的な方法としては、誤差分布を最小二乗法により4次元の多項式で近似する方法が下記参考文献2に記載されている。
参考文献2:日下部裕一、金澤勝、岡野文男、"超高精細映像表示システムのコンバーゼンス誤差と素子位置調整の自動化"、映像情報メディア学会誌vol. 60, no. 2, 2006, p. 234-241
As a specific method, a method of approximating an error distribution with a four-dimensional polynomial by the least square method is described in Reference Document 2 below.
Reference 2: Yuichi Kusakabe, Masaru Kanazawa, Fumio Okano, “Automation of Convergence Error and Element Position Adjustment for Ultra High-Definition Video Display System”, Journal of the Institute of Image Information and Television Engineers vol. 60, no. 2, 2006, p. 234- 241

この方法を利用して補正値の近似式を導出する例を示す。例えば、水平方向について考えると、立体像マーカーの検出位置座標を(x,y)、対応する要素画像の水平方向の補正値をdx(x,y)としたとき、式(2)でEが最小となる補正係数ax(i,j)を求めればよい。また、補正係数ax(i,j)を使用して、補正値の近似式は式(3)のようになる。 An example in which an approximate expression of a correction value is derived using this method will be described. For example, considering the horizontal direction, when the detection position coordinate of the stereoscopic image marker is (x, y) and the horizontal correction value of the corresponding element image is d x (x, y), E in Equation (2) The correction coefficient a x (i, j) that minimizes the value of the value may be obtained. Further, using the correction coefficient a x (i, j), the approximate expression of the correction value is as shown in Expression (3).

式(3)を要素画像の全ての画素に適用することで、要素画像全体の補正を行うことができる。ただし、計算時間を短縮するために、任意の個数のサンプル点のみ補正値を補間生成し、残りの画素は線形補間により補正値を求めてもよい。以上、水平方向の補正について述べたが、垂直方向についても同様である。   By applying Expression (3) to all the pixels of the element image, the entire element image can be corrected. However, in order to shorten the calculation time, correction values may be generated by interpolation only for an arbitrary number of sample points, and correction values may be obtained for the remaining pixels by linear interpolation. Although the correction in the horizontal direction has been described above, the same applies to the vertical direction.

立体像調整装置100は、上記構成により、要素画像群の生成、再生された複数の立体像マーカーの検出、補正値の算出、補正値に基づく要素画像群の補正、の一連の処理を、立体像マーカーの奥行き距離を大きくしながら繰り返し行う。   With the above configuration, the stereoscopic image adjustment apparatus 100 performs a series of processes of generating an element image group, detecting a reproduced plurality of stereoscopic image markers, calculating a correction value, and correcting the element image group based on the correction value. Repeat while increasing the depth distance of the image marker.

[立体像調整方法の流れ]
次に、立体像調整方法の流れについて図5を参照して説明する。立体像調整装置100は、立体映像表示装置200と協働して、位置を検出するマーカーを用いて以下のステップS13A〜ステップS17Bの一連の補正処理を繰り返すことで、立体像を調整する。この立体像調整方法では、一連の補正処理の前に、例えば事前校正を予め行っておく(ステップS10)。この事前校正の詳細については後記する。
[Flow of 3D image adjustment method]
Next, the flow of the stereoscopic image adjustment method will be described with reference to FIG. The three-dimensional image adjustment apparatus 100 adjusts the three-dimensional image by cooperating with the three-dimensional image display apparatus 200 and repeating a series of correction processes in the following steps S13A to S17B using a marker for detecting the position. In this stereoscopic image adjustment method, prior calibration is performed in advance, for example, before a series of correction processes (step S10). Details of this pre-calibration will be described later.

立体像調整装置100は、例えば、要素画像生成手段120に開始指示が入力されるまで待機し(ステップS11:No)、開始指示が入力されたと判定した場合(ステップS11:Yes)、一連の処理を開始する。   For example, the stereoscopic image adjustment apparatus 100 stands by until a start instruction is input to the element image generation unit 120 (step S11: No), and when it is determined that the start instruction is input (step S11: Yes), a series of processes To start.

要素画像生成手段120は、立体映像表示装置200の表示面から所定の奥行き距離Dに関する識別子を整数iとした奥行き距離Diを設定する(ステップS12)。ここで、各奥行き距離Diは、事前に設定されており、このうち、奥行き距離の初期値(初期奥行き距離D0)は、立体映像表示装置200の表示面近傍に設定されている。なお、識別子iの初期値は0であり、iの値が大きいほど奥行き距離Diも大きいものとする。 The element image generation unit 120 sets a depth distance D i with an identifier i regarding the predetermined depth distance D as an integer i from the display surface of the stereoscopic video display device 200 (step S12). Here, each depth distance D i is set in advance, and among these, the initial value of the depth distance (initial depth distance D 0 ) is set near the display surface of the stereoscopic video display device 200. Note that the initial value of the identifier i is 0, and the depth distance D i is greater as the value of i is greater.

要素画像生成手段120は、設定された奥行き距離Diだけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、立体像マーカーが再生されるように表示面に表示される要素画像群を生成する(ステップS13A:要素画像生成工程)。
また、立体映像表示装置200は、表示面に表示された要素画像群から立体像マーカーを再生表示する(ステップS13B:再生表示工程)。なお、この要素画像生成工程と再生表示工程とは一対の処理工程であり、連続的に行われる。
Element image generating means 120 is a position separated by the depth distance D i that is set, and the preset reference position to try to display the marker on the display surface as stereoscopic image markers are reproduced The element image group to be displayed is generated (step S13A: element image generation step).
In addition, the stereoscopic video display device 200 reproduces and displays a stereoscopic image marker from the group of element images displayed on the display surface (step S13B: reproduction display step). The element image generation step and the reproduction display step are a pair of processing steps and are performed continuously.

そして、立体像調整装置100は、検出器110によって、再生された立体像マーカーを検出する(ステップS14A:立体像検出工程)。また、立体像調整装置100は、補正値算出手段130によって、立体像マーカーの位置を検出する(ステップS14B)。なお、検出器110が、立体像マーカーの位置検出を行うようにしてもよい。   Then, the stereoscopic image adjustment apparatus 100 detects the reproduced stereoscopic image marker by the detector 110 (step S14A: stereoscopic image detection step). In addition, the stereoscopic image adjustment apparatus 100 detects the position of the stereoscopic image marker by the correction value calculation unit 130 (step S14B). The detector 110 may detect the position of the stereoscopic image marker.

そして、立体像調整装置100は、要素画像生成手段120によって、全マーカーの表示が終了したか否かを判別する(ステップS15)。表示されていないマーカーがある場合(ステップS15:No)、要素画像生成手段120は、ステップS13Aに戻る。   Then, the stereoscopic image adjustment apparatus 100 determines whether or not the display of all markers has been completed by the element image generation unit 120 (step S15). When there is a marker that is not displayed (step S15: No), the element image generation unit 120 returns to step S13A.

一方、ステップS15において、全マーカーの表示が終了した場合(ステップS15:Yes)、立体像調整装置100は、補正値算出手段130によって、表示面に表示される要素画像群全体を補正するための補正値を算出する補正値算出処理を行う(ステップS16:補正値算出工程)。この補正値算出処理の詳細については後記する。   On the other hand, when the display of all markers is completed in step S15 (step S15: Yes), the stereoscopic image adjustment apparatus 100 uses the correction value calculation unit 130 to correct the entire element image group displayed on the display surface. A correction value calculation process for calculating a correction value is performed (step S16: correction value calculation step). Details of this correction value calculation processing will be described later.

そして、立体像調整装置100では、補正値算出手段130によって算出された補正値をもとに、要素画像生成手段120が、表示面に表示される要素画像群全体を補正することで、各立体像マーカーの要素画像を補正する(ステップS17A:要素画像補正工程)。続いて、立体映像表示装置200は、補正された要素画像群から複数の立体像マーカーを再生表示する(ステップS17B)。なお、ステップS17A及びステップS17Bは一対の処理工程であり、連続的に行われる。   In the three-dimensional image adjustment apparatus 100, the element image generation unit 120 corrects the entire element image group displayed on the display surface based on the correction value calculated by the correction value calculation unit 130. The element image of the image marker is corrected (step S17A: element image correction step). Subsequently, the stereoscopic image display apparatus 200 reproduces and displays a plurality of stereoscopic image markers from the corrected elemental image group (step S17B). Steps S17A and S17B are a pair of processing steps and are performed continuously.

そして、人が立体像を観察して、補正されたことを確認し、問題なければ終了指示を装置に入力する。そして、立体像調整装置100は、例えば、要素画像生成手段120に終了指示が入力されたと判定した場合(ステップS18:Yes)、処理を終了する。
一方、人が立体像を観察して、微調整が必要だと思えば、奥行き距離の変更指示を装置に入力する。例えば、要素画像生成手段120に、奥行き距離の変更指示が入力されたと判定した場合(ステップS18:No)、奥行き距離Dに関する識別子iに1を加え(ステップS19)、ステップS12に戻る。すなわち、立体映像表示装置200の表示面から立体像マーカーまでの奥行き距離Diを以前よりも大きくした状態で、前記一連の処理を繰り返す。ステップS19は、少なくとも1回は行う。上記流れにより、順次、立体像マーカーを、表示面からの奥行き距離を大きくしながら、表示し、一連の補正処理を行って、補正精度を高めていくことができる。
Then, a person observes the stereoscopic image to confirm that the correction has been made, and if there is no problem, inputs a termination instruction to the apparatus. Then, for example, when the stereoscopic image adjustment apparatus 100 determines that an end instruction has been input to the element image generation unit 120 (step S18: Yes), the process ends.
On the other hand, if a person observes a stereoscopic image and thinks that fine adjustment is necessary, an instruction to change the depth distance is input to the apparatus. For example, when it is determined that an instruction to change the depth distance is input to the element image generation unit 120 (step S18: No), 1 is added to the identifier i regarding the depth distance D (step S19), and the process returns to step S12. That is, in a state where the depth distance D i is larger than the previous from the display surface of the stereoscopic image display device 200 to the stereoscopic image markers and repeats the series of processing. Step S19 is performed at least once. With the above-described flow, the stereoscopic image marker can be sequentially displayed while increasing the depth distance from the display surface, and a series of correction processes can be performed to improve the correction accuracy.

<事前校正工程>
事前校正工程(ステップS10)は、カメラ(検出器110)とレンズ(レンズアレイ220)との位置関係を取得する工程である。図6に示すように、検出器110は、立体映像表示装置200の表示面の四隅を検出する(ステップS10A)。すなわち、検出器110は、図3に示すようなレンズアレイ220の四隅C1,C2,C3,C4を捉える。具体的には、検出器110で撮影した画像を基に、四隅の位置を手動で指定する。
<Pre-calibration process>
The pre-calibration step (step S10) is a step of acquiring the positional relationship between the camera (detector 110) and the lens (lens array 220). As shown in FIG. 6, the detector 110 detects the four corners of the display surface of the stereoscopic video display device 200 (step S10A). That is, the detector 110 captures the four corners C 1 , C 2 , C 3 , and C 4 of the lens array 220 as shown in FIG. Specifically, the positions of the four corners are manually designated based on the image photographed by the detector 110.

次に、補正値算出手段130によって、表示面の四隅が検出器110に投影された位置を算出する(ステップS10B)。このように、本実施形態では、マーカーに対して予め設定された基準位置は、表示面の四隅が検出器110に投影された位置から算出されている。なお、表示面の四隅C1,C2,C3,C4の検出精度は、マーカーの基準位置の算出精度に影響するため、サブピクセルレベルで高精度に検出を行うものとする。 Next, the correction value calculation means 130 calculates the positions at which the four corners of the display surface are projected onto the detector 110 (step S10B). Thus, in the present embodiment, the reference positions set in advance for the markers are calculated from the positions at which the four corners of the display surface are projected onto the detector 110. Note that the detection accuracy of the four corners C 1 , C 2 , C 3 , and C 4 of the display surface affects the calculation accuracy of the reference position of the marker, so that detection is performed with high accuracy at the subpixel level.

<補正値算出処理>
図5に示す補正値算出処理の流れについて図7を参照して説明する。
まず、補正値生成手段133は、例えば、立体像マーカーの識別子kの初期値を1に設定する(ステップS161)。そして、誤差値算出手段131は、k番目の立体像マーカーについて、その検出位置と基準位置との誤差値を算出する(ステップS162:誤差値算出工程)。そして、位置ずれ算出手段132は、k番目の立体像マーカーについて、誤差値から要素画像における位置のずれ(離散的な補正値)を算出する(ステップS163:位置ずれ算出工程)。続いて、補正値生成手段133は、すべての立体像マーカーの選択が終了したか否かを判別する(ステップS164)。
<Correction value calculation process>
The flow of the correction value calculation process shown in FIG. 5 will be described with reference to FIG.
First, for example, the correction value generation unit 133 sets the initial value of the identifier k of the stereoscopic image marker to 1 (step S161). Then, the error value calculation unit 131 calculates an error value between the detection position and the reference position for the k-th stereoscopic image marker (step S162: error value calculation step). Then, the positional deviation calculation means 132 calculates the positional deviation (discrete correction value) in the element image from the error value for the k-th stereoscopic image marker (step S163: positional deviation calculation step). Subsequently, the correction value generation unit 133 determines whether or not selection of all the stereoscopic image markers has been completed (step S164).

全立体像マーカーの選択が終了した場合(ステップS164:Yes)、補正値生成手段133は、すべての立体像マーカーについて算出した要素画像における位置のずれ(離散的な補正値)から、要素画像の全画素の位置を補正するための歪補正値を補間生成する(補正値生成工程)。すなわち、補正値生成手段133は、まず、算出した要素画像における位置の補正値(位置のずれから、要素画像における位置の誤差分布を近似する多項式(前記した式(3))のための補正係数を算出する(ステップS165)。そして、補正値生成手段133は、この算出された補正係数を用いて多項式から要素画像の少なくとも一部の画素の位置の補正値を補間生成する(ステップS166)。   When the selection of all the stereoscopic image markers is completed (step S164: Yes), the correction value generation unit 133 calculates the element image from the positional deviation (discrete correction values) in the element images calculated for all the stereoscopic image markers. A distortion correction value for correcting the positions of all pixels is generated by interpolation (correction value generation step). That is, the correction value generation unit 133 first calculates a correction coefficient for the calculated position image correction value (a polynomial that approximates the error distribution of the position in the element image from the position shift (formula (3) described above)). Then, the correction value generation means 133 interpolates and generates correction values for the positions of at least some pixels of the element image from the polynomial using the calculated correction coefficient (step S166).

一方、前記ステップS164において、選択されていない立体像マーカーがある場合(ステップS164:No)、補正値生成手段133は、立体像マーカーの識別子kに1を加え(ステップS167)、ステップS162に戻る。   On the other hand, when there is an unselected stereoscopic image marker in step S164 (step S164: No), the correction value generation unit 133 adds 1 to the identifier k of the stereoscopic image marker (step S167) and returns to step S162. .

本実施形態によれば、再生される立体像の位置を検出するためのマーカー自体が立体像であり、この奥行き距離を大きくしていくと、立体像マーカーについての基準位置から検出位置までのずれが大きくなることから、従来の2次元の平面パターンを利用する補正方法に比べて高精度な補正が可能になる。   According to the present embodiment, the marker itself for detecting the position of the reproduced stereoscopic image is a stereoscopic image, and when the depth distance is increased, the deviation from the reference position to the detection position for the stereoscopic image marker is increased. Therefore, the correction can be performed with higher accuracy than the conventional correction method using a two-dimensional plane pattern.

(第2実施形態)
立体像マーカーは、輝度分布を持つ円形状に限定されるものではなく、図8に例示した形状でも構わない。
図8(a)に示す立体像マーカーMaは、正面視で十字形状である。
図8(b)に示す立体像マーカーMbは、ドットパターンの形状であり、全体として見れば十字の中心及び十字の両端部に対応した合計5か所にドットが配置されている。
図8(c)に示す立体像マーカーMcは、十字形状に輝度分布を持つ形状を組み合わせたものである。
図8(d)に示す立体像マーカーMdは、ドットパターンと、輝度分布と、カラーとを組み合わせたものである。中心には輝度分布を持つ青い円形が配置され、その周囲であって全体として見れば十字の両端部に対応した合計4か所に赤いドットが配置されている。
(Second Embodiment)
The stereoscopic image marker is not limited to a circular shape having a luminance distribution, and may have the shape illustrated in FIG.
The stereoscopic image marker Ma shown in FIG. 8A has a cross shape when viewed from the front.
The stereoscopic image marker Mb shown in FIG. 8B has a dot pattern shape, and dots are arranged at a total of five locations corresponding to the center of the cross and both ends of the cross as a whole.
The stereoscopic image marker Mc shown in FIG. 8C is a combination of a cross shape and a shape having a luminance distribution.
The stereoscopic image marker Md shown in FIG. 8D is a combination of a dot pattern, a luminance distribution, and a color. A blue circle having a luminance distribution is arranged at the center, and red dots are arranged in a total of four places corresponding to both ends of the cross when viewed as a whole.

例えば十字形状の場合、補正値算出手段130(例えば誤差値算出手段131)は、検出器110で捉えたデータを解析し、図8(a)に示す立体像マーカーMaの形状から、表示された立体像マーカーの再生位置を検出すると共に、立体像の回転方向(再生方向)も検出する。   For example, in the case of a cross shape, the correction value calculation unit 130 (for example, the error value calculation unit 131) analyzes the data captured by the detector 110 and displays the data from the shape of the stereoscopic image marker Ma shown in FIG. The reproduction position of the stereoscopic image marker is detected, and the rotation direction (reproduction direction) of the stereoscopic image is also detected.

具体的には、補正値算出手段130は、エッジ検出で形状を抜き出し、十字形状の水平方向、垂直方向の座標の最小値、最大値から4つの端点を検出し、対向した2つの端点を繋ぐ2つの線分の交点位置を当該立体像マーカーの位置として検出すると共に、線分のいずれかの傾きを再生方向として検出する。   Specifically, the correction value calculation means 130 extracts the shape by edge detection, detects four end points from the minimum and maximum values of the horizontal and vertical coordinates of the cross shape, and connects the two opposite end points. The intersection position of the two line segments is detected as the position of the stereoscopic image marker, and any inclination of the line segment is detected as the reproduction direction.

ここで、再生方向の傾きを補正する場合、補正角度をθ、画像中心を(Cx,Cy)、立体像マーカーの検出座標を(x,y)、補正後の座標を(x′,y′)として、式(4)及び式(5)により回転補正を行うことができる。この回転補正は、図7のステップS162に入る前の前段処理として行うことができる。 Here, when correcting the inclination in the reproduction direction, the correction angle is θ, the image center is (C x , C y ), the stereoscopic image marker detection coordinates are (x, y), and the corrected coordinates are (x ′, As y ′), rotation correction can be performed by the equations (4) and (5). This rotation correction can be performed as a pre-process before entering step S162 in FIG.

(第3実施形態)
第1実施形態では、画像表示部210は、1回の表示で画面内に複数個の立体像マーカーを表示するものとしたが、以下の(1)〜(3)のように、時間分割で異なる位置又は/及び異なる形状で立体像マーカーを順次再生表示するようにしてもよい。
(Third embodiment)
In the first embodiment, the image display unit 210 displays a plurality of stereoscopic image markers on the screen in one display. However, as shown in the following (1) to (3), the image display unit 210 performs time division. The stereoscopic image markers may be sequentially reproduced and displayed at different positions or / and different shapes.

(1)立体像マーカーを異なる位置で表示する具体例は、最初に、図3に示すように水平11個×垂直7個の合計77個の立体像マーカーを表示し、次に、立体像マーカーの0.5個分だけ水平方向に位置をずらし、水平方向に隣り合う2つの立体像マーカーの中間位置に、立体像マーカーが表示されるように表示することができる。この場合、マーカーの個数を実質的に増やす効果がある。なお、立体像マーカーの0.5個分だけシフトする方向は、水平方向に限るものではなく、垂直方向であってもよい。また、水平及び垂直方向に均等にずらして斜め45度の位置に表示してもよいし、45度以外の角度で斜めにマーカーを表示することもできる。 (1) A specific example of displaying stereoscopic image markers at different positions is as follows. First, as shown in FIG. 3, a total of 77 stereoscopic image markers of 11 horizontal pixels × 7 vertical pixels are displayed. Can be displayed so that the stereoscopic image marker is displayed at an intermediate position between two stereoscopic image markers adjacent in the horizontal direction. In this case, there is an effect of substantially increasing the number of markers. Note that the direction of shifting by 0.5 of the three-dimensional image marker is not limited to the horizontal direction, and may be the vertical direction. Also, the marker may be displayed at a position of 45 degrees obliquely shifted in the horizontal and vertical directions, or the marker may be displayed obliquely at an angle other than 45 degrees.

(2)また、立体像マーカーを異なる形状で表示する具体例は、最初に、図2(a)に示すように輝度分布を持つ立体像マーカーMを表示し、次に、図8(a)に示すように十字形状の立体像マーカーMaを表示することができる。
(3)さらに、立体像マーカーを異なる位置且つ異なる形状で表示してもよい。
(2) As a specific example of displaying the stereoscopic image marker in a different shape, first, the stereoscopic image marker M having a luminance distribution is displayed as shown in FIG. 2A, and then, FIG. The cross-shaped stereoscopic image marker Ma can be displayed as shown in FIG.
(3) Further, the stereoscopic image marker may be displayed at different positions and different shapes.

これらの場合の立体像調整方法の流れは、次の点が変更される。
ステップS13B(図5参照)にて、立体映像表示装置200が立体像マーカーを再生表示するので、この時点で人が立体像マーカーを観察することができる。そして、立体像マーカーを異なる位置や異なる形状で表示したい場合、変更指示を装置に入力する。
The following points are changed in the flow of the stereoscopic image adjustment method in these cases.
In step S13B (see FIG. 5), the stereoscopic image display apparatus 200 reproduces and displays the stereoscopic image marker, so that a person can observe the stereoscopic image marker at this point. If the stereoscopic image marker is to be displayed at a different position or different shape, a change instruction is input to the apparatus.

そして、立体像調整装置100の要素画像生成手段120は、変更指示が入力されると、全マーカーの表示が終了していないと判別し(ステップS15:No)、要素画像生成手段120は、ステップS13Aに戻って、変更指示に応じた要素画像群を生成する。
なお、上記(1)〜(3)のいずれの方法で時分割処理を行うのか事前に決めておく。
Then, when the change instruction is input, the element image generation unit 120 of the stereoscopic image adjustment apparatus 100 determines that the display of all markers is not completed (step S15: No), and the element image generation unit 120 Returning to S13A, an element image group corresponding to the change instruction is generated.
In addition, it is determined in advance which of the above methods (1) to (3) is used for the time division processing.

(第4実施形態)
本発明の立体像調整方法は、複数台の立体映像表示装置200を使用した立体像の調整にも適用することができる。例えば2台であれば、1台目の立体映像表示装置200を移動させて、その同じ位置に2台目の立体映像表示装置200を設置してもよいし、異なる位置に設置しておいてもよい。第4実施形態に係る立体像調整装置100の構成は、第1実施形態と同様であるが、立体像マーカーの基準位置を再設定する点が相違する。ここでは、一例として補正値算出手段130が基準位置を再設定することした。
(Fourth embodiment)
The three-dimensional image adjustment method of the present invention can also be applied to adjustment of a three-dimensional image using a plurality of three-dimensional image display devices 200. For example, if there are two, the first stereoscopic video display device 200 may be moved and the second stereoscopic video display device 200 may be installed at the same position, or may be installed at different positions. Also good. The configuration of the stereoscopic image adjustment apparatus 100 according to the fourth embodiment is the same as that of the first embodiment, except that the reference position of the stereoscopic image marker is reset. Here, as an example, the correction value calculation means 130 resets the reference position.

この立体像調整方法では、まず、複数台の立体映像表示装置200の中で、基準となる立体映像表示装置200を決定しておく。そして、基準となる立体映像表示装置200(第1の立体映像表示装置)では、事前校正により立体像マーカーの基準位置を決定する。そして、立体像調整装置100を用い、立体像マーカーを生成するための要素画像の補正処理をして、立体像を予め調整しておく。別の立体映像表示装置200(第2の立体映像表示装置)では、事前校正は不要である。   In this stereoscopic image adjustment method, first, a reference stereoscopic video display device 200 is determined from among a plurality of stereoscopic video display devices 200. Then, in the reference stereoscopic image display device 200 (first stereoscopic image display device), the reference position of the stereoscopic image marker is determined by pre-calibration. Then, the stereoscopic image is adjusted in advance by performing a correction process of the element image for generating the stereoscopic image marker using the stereoscopic image adjusting apparatus 100. In another stereoscopic video display device 200 (second stereoscopic video display device), prior calibration is unnecessary.

[立体像調整方法の流れ]
第4実施形態に係る立体像調整方法の流れについて図9を参照して説明する。ここでは、既に、1台目の立体映像表示装置200を用いて一連の処理を繰り返すことで、再生表示される複数の立体像マーカーを調整し終えており、再生表示位置が補正済みの立体像マーカーを表示可能となっているものとする。
[Flow of 3D image adjustment method]
The flow of the stereoscopic image adjustment method according to the fourth embodiment will be described with reference to FIG. Here, a plurality of stereoscopic image markers to be reproduced and displayed have already been adjusted by repeating a series of processes using the first stereoscopic image display device 200, and the stereoscopic image whose reproduction display position has been corrected. Assume that the marker can be displayed.

まず、立体像調整装置100において、要素画像生成手段120は、奥行き距離Diを設定する(ステップS12)。なお、識別子iの初期値は0である。そして、要素画像生成手段120は、設定された奥行き距離Diだけ離間した位置に、1台目の立体映像表示装置200によって、表示位置が補正済みの立体像マーカーが再生されるように要素画像群を生成する(ステップS23A)。そして、1台目の立体映像表示装置200によって、調整済みの複数の立体像マーカーを再生表示する(ステップS23B)。なお、ステップS23A及びステップS23Bは一対の処理工程である。 First, in the stereoscopic image adjustment apparatus 100, the element image generation unit 120 sets the depth distance D i (step S12). The initial value of the identifier i is 0. The element image generating means 120, only a position separated depth distance D i which is set by the first unit of the stereoscopic image display apparatus 200, the elemental image so that the display position is corrected stereoscopic image markers are reproduced A group is generated (step S23A). Then, a plurality of adjusted stereoscopic image markers are reproduced and displayed by the first stereoscopic video display device 200 (step S23B). Step S23A and step S23B are a pair of processing steps.

次に、立体像調整装置100は、検出器110によって、1台目の立体映像表示装置200によって再生表示された複数の立体像マーカーを検出する(ステップS24A)。そして、立体像調整装置100は、補正値算出手段130によって、複数の立体像マーカーの位置を検出する(ステップS24B)。なお、検出器110が、立体像マーカーの位置検出を行うようにしてもよい。   Next, the stereoscopic image adjustment apparatus 100 detects a plurality of stereoscopic image markers reproduced and displayed by the first stereoscopic image display apparatus 200 by the detector 110 (step S24A). Then, the stereoscopic image adjustment apparatus 100 detects the positions of the plurality of stereoscopic image markers by the correction value calculation unit 130 (step S24B). The detector 110 may detect the position of the stereoscopic image marker.

そして、補正値算出手段130は、これら複数の立体像マーカーの検出位置、すなわち、補正済みの立体像マーカーの再生表示位置を、2台目の立体映像表示装置200で表示する複数の立体像マーカーにとっての基準位置として新たに設定する。   Then, the correction value calculation means 130 displays a plurality of stereoscopic image markers for displaying the detection positions of the plurality of stereoscopic image markers, that is, the reproduction display positions of the corrected stereoscopic image markers on the second stereoscopic image display device 200. Is newly set as a reference position for the user.

続いて、要素画像生成手段120は、設定された奥行き距離Diだけ離間した位置であり、かつ、設定された基準位置に、2台目の立体映像表示装置200によって追加する立体像マーカーが再生されるように要素画像群を生成する(ステップS33A)。そして、2台目の立体映像表示装置200によって、追加する立体像マーカーを再生表示する(ステップS33B)。なお、ステップS33A及びステップS33Bは一対の処理工程である。 Subsequently, the element image generation unit 120 reproduces a stereoscopic image marker added by the second stereoscopic video display device 200 at a position separated by the set depth distance D i and at the set reference position. As described above, an element image group is generated (step S33A). Then, the stereoscopic image marker to be added is reproduced and displayed by the second stereoscopic video display device 200 (step S33B). Step S33A and step S33B are a pair of processing steps.

ステップS33Bに続く、以下のステップS14A〜ステップS19の処理では、2台目の立体映像表示装置200を用いて、図5に示す処理と同様の処理を行うので詳細な説明を省略する。なお、2台目の立体映像表示装置200を用いるので、ステップS15でNoの場合にステップS33Aに戻る。   In the processing of the following steps S14A to S19 following step S33B, the same processing as the processing shown in FIG. 5 is performed using the second stereoscopic video display device 200, and thus detailed description thereof is omitted. Since the second stereoscopic video display device 200 is used, if the result is No in step S15, the process returns to step S33A.

このようにして、2台目の立体映像表示装置200の表示面から立体像マーカーまでの奥行き距離Diを以前よりも大きくした状態で、前記一連の処理を繰り返すことにより、2台目の立体映像表示装置200によって再生表示される立体像マーカーを調整することができる。 In this manner, from the display surface of the second unit of the stereoscopic image display apparatus 200 in a state where the depth distance D i is larger than the previous until stereoscopic image markers, by repeating the series of processes, two eye stereoscopic The stereoscopic image marker reproduced and displayed by the video display device 200 can be adjusted.

2台目の立体映像表示装置200を用いた具体例について図10(a)〜図10(c)を参照して説明する。以下では、補正済みの1台目の立体映像表示装置200に用いる立体像マーカーのことを第1の立体像マーカーと呼び、追加する2台目の立体映像表示装置200に用いる立体像マーカーを第2の立体像マーカーと呼ぶ。   A specific example using the second stereoscopic video display device 200 will be described with reference to FIGS. 10 (a) to 10 (c). Hereinafter, the stereoscopic image marker used for the corrected first stereoscopic image display device 200 is referred to as a first stereoscopic image marker, and the stereoscopic image marker used for the second stereoscopic image display device 200 to be added is the first stereoscopic image marker. This is called a 2D image marker.

ここでは、第2の立体像マーカーの位置を、第1の立体像マーカーの位置に重ねた状態が分かるように、それぞれのマーカーを直径が異なる2つの同心円で示した。
第1の立体像マーカーは、同心円の重複部(小さな円)を黒で示し、それ以外を白で示している。
第2の立体像マーカーは、同心円の重複部(小さな円)を白で示し、それ以外を黒で示している。
第1の立体像マーカーと第2の立体像マーカーとは互いに重ねて円の中心を一致させると、1つの黒い円になるような形状である。
なお、これらの形状は一例であって、立体像マーカーはこれらの形状に限るものではない。例えば、第1の立体像マーカーと第2の立体像マーカーとを同一形状としつつ色分けにより、ずれを検出し易いようにしてもよい。また、時間分割で、第1の立体像マーカーを再生表示して検出を行った後、第2の立体像マーカーのみを再生表示するようにしてもよい。
Here, each marker is indicated by two concentric circles having different diameters so that the position of the second stereoscopic image marker is superimposed on the position of the first stereoscopic image marker.
In the first stereoscopic image marker, overlapping portions (small circles) of concentric circles are shown in black, and the others are shown in white.
In the second stereoscopic image marker, concentric overlapping portions (small circles) are shown in white, and the others are shown in black.
The first stereoscopic image marker and the second stereoscopic image marker are shaped so as to form one black circle when they overlap each other and the centers of the circles coincide.
Note that these shapes are examples, and the stereoscopic image marker is not limited to these shapes. For example, the first stereoscopic image marker and the second stereoscopic image marker may have the same shape and may be easily detected by color coding. Alternatively, only the second stereoscopic image marker may be reproduced and displayed after the first stereoscopic image marker is reproduced and displayed in time division.

図10(a)は、補正済みの1台目の立体映像表示装置200の表示面に第1の立体像マーカーの要素画像を4行×5列の配置で表示し、レンズアレイ220を通して再生された第1の立体像マーカーを検出した状態を模式的に表している。   FIG. 10A shows the element image of the first stereoscopic image marker on the display surface of the corrected first stereoscopic image display device 200 in an arrangement of 4 rows × 5 columns and is reproduced through the lens array 220. The state in which the first stereoscopic image marker is detected is schematically shown.

図10(b)は、第1の立体像マーカーの検出位置を基準位置とした上で、2台目の立体映像表示装置200を用いて、そのレンズアレイ220を通して初期奥行き距離で再生された第2の立体像マーカーを検出した状態を模式的に表している。   FIG. 10 (b) shows the first reproduction reproduced at the initial depth distance through the lens array 220 using the second stereoscopic image display device 200 with the detection position of the first stereoscopic image marker as the reference position. The state which detected the two-dimensional image marker of 2 is represented typically.

図10(c)は、2台目の立体映像表示装置200を用いて、第2の立体像マーカーの奥行き距離を大きくして一連の補正処理を繰り返した後に、そのレンズアレイ220を通して再生された第2の立体像マーカーを検出した状態を模式的に表している。   FIG. 10 (c) is reproduced through the lens array 220 after repeating a series of correction processes by increasing the depth distance of the second stereoscopic image marker using the second stereoscopic image display device 200. The state which detected the 2nd stereoscopic image marker is represented typically.

図10(a)〜図10(c)に示す例では、全ての第2の立体像マーカーが、全ての第1の立体像マーカーに重なるように位置合わせすることとしたが、図11(a)〜図11(c)に示すように、その一部だけが重なるように位置合わせをしてもよい。   In the example shown in FIGS. 10A to 10C, all the second stereoscopic image markers are aligned so as to overlap with all the first stereoscopic image markers, but FIG. ) To 11 (c), the alignment may be performed so that only a part thereof overlaps.

図11(a)は、補正済みの1台目の立体映像表示装置200の表示面に第1の立体像マーカーの要素画像を4行×5列の配置で表示し、レンズアレイ220の一方の側(図において左)に再生された第1の立体像マーカーを検出した状態を模式的に表している。   FIG. 11A shows the element image of the first stereoscopic image marker in an arrangement of 4 rows × 5 columns on the display surface of the corrected first stereoscopic image display device 200, and one of the lens arrays 220 is displayed. The state which detected the 1st stereoscopic image marker reproduced | regenerated to the side (left in a figure) is represented typically.

図11(b)は、第1の立体像マーカーの他方の端部の一列(図において右端の一列)の検出位置を、第2の立体像マーカーの一方の端部の一列(図において左端の一列)の基準位置とした上で、2台目の立体映像表示装置200を用いて、そのレンズアレイ220を通して初期奥行き距離で再生された第2の立体像マーカーを検出した状態を模式的に表している。   FIG. 11B shows the detection position of one row of the other end of the first stereoscopic image marker (the row of the right end in the drawing) and the row of one end of the second stereoscopic image marker (the left end of the drawing). A state in which the second stereoscopic image marker reproduced at the initial depth distance through the lens array 220 is detected using the second stereoscopic image display device 200 with the reference position in one row) is schematically represented. ing.

図11(c)は、2台目の立体映像表示装置200を用いて、第2の立体像マーカーの奥行き距離を大きくして一連の補正処理を繰り返した後に、そのレンズアレイ220を通して再生された第2の立体像マーカーを検出した状態を模式的に表している。
なお、立体映像表示装置200間で立体像マーカーが重なる範囲については、表示システムの構成に合わせて任意に設定することができる。
FIG. 11C shows a second stereoscopic image display device 200 that is reproduced through the lens array 220 after repeating a series of correction processes by increasing the depth distance of the second stereoscopic image marker. The state which detected the 2nd stereoscopic image marker is represented typically.
Note that the range in which the stereoscopic image markers overlap between the stereoscopic video display devices 200 can be arbitrarily set according to the configuration of the display system.

第4実施形態によれば、基準となる立体映像表示装置200で再生した立体像マーカーから検出した検出位置を、別の立体映像表示装置200で再生する立体像マーカーの基準位置として、別の立体映像表示装置200で再生した立体像マーカーの位置を、この基準位置に合わせていくことで、複数台の立体映像表示装置200を使用した立体像の調整をすることができる。   According to the fourth embodiment, the detection position detected from the stereoscopic image marker reproduced by the reference stereoscopic image display device 200 is used as another stereoscopic image marker as the reference position of the stereoscopic image marker reproduced by another stereoscopic image display device 200. By adjusting the position of the stereoscopic image marker reproduced by the video display device 200 to this reference position, the stereoscopic image using a plurality of stereoscopic video display devices 200 can be adjusted.

以上、本発明の各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、検出器110は、カメラであるものとしたが、検出器110に例えばフォトディテクターを使う場合、事前校正では、レンズアレイ220の四隅に2次元マーカーや発光素子を設置して検出器110で捉えるようにしてもよい。   As mentioned above, although each embodiment of this invention was described, this invention is not limited to these, It can implement in the range which does not change the meaning. For example, the detector 110 is assumed to be a camera, but when a photo detector is used for the detector 110, for example, in the pre-calibration, two-dimensional markers and light emitting elements are installed at the four corners of the lens array 220, and the detector 110 is used. You may make it catch.

また、検出器110は、単体のカメラであるものとしたが、複数の視点から立体像を撮影して当該立体像の3次元位置を検出する多視点カメラであってもよい。このようにすることで、立体像マーカーの再生位置の検出精度を高めることができる。   The detector 110 is a single camera. However, the detector 110 may be a multi-viewpoint camera that captures a stereoscopic image from a plurality of viewpoints and detects a three-dimensional position of the stereoscopic image. By doing in this way, the detection accuracy of the reproduction position of a stereoscopic image marker can be improved.

補正値算出手段130の誤差値算出手段131が、検出器110で捉えたデータを解析し、立体像マーカーの位置を検出するものとしたが、検出器110自体が、立体像マーカーの位置を測定して検出するようにしてもよい(ステップS14Bの変形例)。   The error value calculation means 131 of the correction value calculation means 130 analyzes the data captured by the detector 110 and detects the position of the stereoscopic image marker. However, the detector 110 itself measures the position of the stereoscopic image marker. In this case, the detection may be performed (modified example of step S14B).

立体映像表示装置200は、画像表示部210の前面に、光学素子アレイとしてレンズアレイ220を使用したが、代わりにピンホールアレイを配置してもよい。
画像表示部210は、プロジェクタ211でスクリーン212に画像を投影表示するものとしたが、代わりに、液晶パネルやEL(Electroluminescence)等を利用した直視型ディスプレイであってもよい。この直視型ディスプレイとしては、スーパーハイビジョン(7680×4320画素)の透過型液晶ディスプレイが好適に用いられる。また、直視型ディスプレイのバックライトは、面状光源でもよいし、点光源アレイでもよい。
In the stereoscopic image display device 200, the lens array 220 is used as the optical element array on the front surface of the image display unit 210, but a pinhole array may be arranged instead.
The image display unit 210 projects and displays an image on the screen 212 by the projector 211, but may instead be a direct-view display using a liquid crystal panel, EL (Electroluminescence), or the like. As this direct-view display, a transmissive liquid crystal display of Super Hi-Vision (7680 × 4320 pixels) is preferably used. Further, the backlight of the direct view display may be a planar light source or a point light source array.

立体像調整装置100では、全体処理の統括は、補正値生成手段130又は要素画像生成手段120で行うことができるし、それらとは別に専用の統括処理手段を設けてもよい。立体像調整装置100において、補正値生成手段130と要素画像生成手段120とを分けて説明したが、これら2つの機能を1つのコンピュータで実現することもできる。   In the stereoscopic image adjustment apparatus 100, the overall processing can be integrated by the correction value generating unit 130 or the element image generating unit 120, or a dedicated integrated processing unit may be provided separately from them. In the three-dimensional image adjustment apparatus 100, the correction value generation unit 130 and the element image generation unit 120 have been described separately. However, these two functions can be realized by a single computer.

100 立体像調整装置
110 検出器
120 要素画像生成手段
130 補正値算出手段
131 誤差値算出手段
132 位置ずれ算出手段
133 補正値生成手段
200 立体映像表示装置
210 画像表示部
211 プロジェクタ
212 スクリーン
220 レンズアレイ(光学素子アレイ)
221 要素レンズ(要素光学素子)
DESCRIPTION OF SYMBOLS 100 Stereoscopic image adjustment apparatus 110 Detector 120 Element image generation means 130 Correction value calculation means 131 Error value calculation means 132 Position shift calculation means 133 Correction value generation means 200 Stereoscopic image display apparatus 210 Image display section 211 Projector 212 Screen 220 Lens array ( Optical element array)
221 Element lens (element optical element)

Claims (10)

位置を検出するマーカーを用いて立体像を調整する立体像調整装置であって、
立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する要素画像生成手段と、
前記立体映像表示装置の前記表示面に前記要素画像群を表示することで再生された複数のマーカーの立体像を検出する検出器と、
各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする前記基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する補正値算出手段と、を備え、
要素画像群の生成、再生された複数のマーカーの立体像の検出、前記補正値の算出、前記補正値に基づく要素画像群の補正の一連の処理を、前記奥行き距離を大きくしながら繰り返し行うことを特徴とする立体像調整装置。
A stereoscopic image adjusting device that adjusts a stereoscopic image using a marker for detecting a position,
The three-dimensional image of the marker is reproduced at a predetermined reference position where the marker is to be displayed at a position separated from the display surface of the stereoscopic image display device by a predetermined depth distance. Element image generation means for generating element image groups to be displayed;
A detector for detecting a stereoscopic image of a plurality of markers reproduced by displaying the element image group on the display surface of the stereoscopic video display device;
Based on the error between the detection position detected from the stereoscopic image of each marker and the reference position to display each marker, a correction value for correcting the entire group of element images displayed on the display surface is calculated. Correction value calculation means for performing,
A series of processes of generating an element image group, detecting a stereoscopic image of a plurality of reproduced markers, calculating the correction value, and correcting the element image group based on the correction value is repeatedly performed while increasing the depth distance. A three-dimensional image adjustment device characterized by the above.
前記補正値算出手段は、
検出位置と基準位置との誤差値をマーカー毎に算出する誤差値算出手段と、
前記誤差値から要素画像における位置のずれをマーカー毎に算出する位置ずれ算出手段と、
すべてのマーカーについて算出した前記要素画像における位置のずれから、前記要素画像の全画素の位置を補正するための歪補正値を補間生成する補正値生成手段と、を備えることを特徴とする請求項1に記載の立体像調整装置。
The correction value calculating means includes
An error value calculating means for calculating an error value between the detection position and the reference position for each marker;
A positional deviation calculation means for calculating a positional deviation in the element image from the error value for each marker;
The correction value generating means for interpolating and generating a distortion correction value for correcting the position of all the pixels of the element image from the position shift in the element image calculated for all the markers. The three-dimensional image adjustment apparatus according to 1.
マーカーの立体像は、正面視で円形状であり、中心ほど高い輝度分布を有し、
前記検出器は、前記立体像の輝度分布の最も高い中心位置を当該立体像の位置として検出することを特徴とする請求項1又は請求項2に記載の立体像調整装置。
The three-dimensional image of the marker is circular in front view and has a higher luminance distribution toward the center.
The stereoscopic image adjusting apparatus according to claim 1, wherein the detector detects a center position having the highest luminance distribution of the stereoscopic image as a position of the stereoscopic image.
マーカーの立体像は、正面視で十字形状であり、
前記検出器は、前記十字形状の水平方向及び垂直方向における4つの端点を検出し、対向した2つの端点を繋ぐ2つの線分の交点位置を当該立体像の位置として検出すると共に、前記線分のいずれかの傾きを当該立体像の再生方向として検出することを特徴とする請求項1又は請求項2に記載の立体像調整装置。
The three-dimensional image of the marker is a cross shape in front view,
The detector detects four end points of the cross shape in the horizontal direction and the vertical direction, detects an intersection point position of two line segments connecting the two opposite end points as a position of the stereoscopic image, and the line segment. The three-dimensional image adjustment apparatus according to claim 1, wherein any one of the inclinations is detected as a reproduction direction of the stereoscopic image.
前記検出器は、単一のカメラ、又は、複数の視点から立体像を撮影して当該立体像の3次元位置を検出する多視点カメラであることを特徴とする請求項1から請求項4のいずれか一項に記載の立体像調整装置。   5. The detector according to claim 1, wherein the detector is a single camera or a multi-view camera that captures a stereoscopic image from a plurality of viewpoints and detects a three-dimensional position of the stereoscopic image. The three-dimensional image adjustment apparatus as described in any one of Claims. 位置を検出するマーカーを用いて立体像を調整する立体像調整方法であって、
要素画像生成手段によって、立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する要素画像生成工程と、
前記立体映像表示装置によって、前記表示面に表示された前記要素画像群から複数のマーカーの立体像を再生表示する再生表示工程と、
検出器によって、再生された複数のマーカーの立体像を検出する立体像検出工程と、
補正値算出手段によって、各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする前記基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する補正値算出工程と、
前記要素画像生成手段によって、算出された前記補正値をもとに、前記表示面に表示される要素画像群全体を補正する要素画像補正工程と、を一連の補正処理として含み、
初めに、前記立体映像表示装置の表示面近傍に事前に設定された初期奥行き距離だけ離間させて複数のマーカーの立体像を表示して、前記一連の補正処理を行い、
その後、前記表示面から複数のマーカーの立体像までの奥行き距離を大きくした上で前記一連の処理を繰り返すことで、複数のマーカーの立体像を調整することを特徴とする立体像調整方法。
A stereoscopic image adjustment method for adjusting a stereoscopic image using a marker for detecting a position,
The element image generation means reproduces the stereoscopic image of the marker at a predetermined reference position where the marker is to be displayed at a position that is separated from the display surface of the stereoscopic video display device by a predetermined depth distance. An element image generation step for generating an element image group to be displayed on the display surface,
A reproduction display step of reproducing and displaying a stereoscopic image of a plurality of markers from the group of element images displayed on the display surface by the stereoscopic video display device;
A three-dimensional image detection step of detecting a three-dimensional image of a plurality of reproduced markers by a detector;
The correction value calculation means corrects the entire group of element images displayed on the display surface based on the error between the detection position detected from the stereoscopic image of each marker and the reference position where each marker is to be displayed. A correction value calculation step for calculating a correction value for
An element image correction step of correcting the entire group of element images displayed on the display surface based on the correction value calculated by the element image generation means, as a series of correction processes,
First, a stereoscopic image of a plurality of markers is displayed at a predetermined initial depth distance in the vicinity of the display surface of the stereoscopic video display device, and the series of correction processes is performed.
Thereafter, the stereoscopic image of the plurality of markers is adjusted by repeating the series of processes after increasing the depth distance from the display surface to the stereoscopic image of the plurality of markers.
前記立体映像表示装置によって、一度に複数の立体像を再生表示することを特徴とする請求項6に記載の立体像調整方法。   The stereoscopic image adjustment method according to claim 6, wherein a plurality of stereoscopic images are reproduced and displayed at a time by the stereoscopic image display device. 前記立体映像表示装置によって、時間分割で異なる位置又は/及び異なる形状で立体像を順次再生表示することを特徴とする請求項6に記載の立体像調整方法。   The stereoscopic image adjustment method according to claim 6, wherein the stereoscopic image display device sequentially reproduces and displays stereoscopic images at different positions and / or different shapes in time division. 前記要素画像生成工程の前に事前校正工程を有し、
前記事前校正工程は、
前記検出器によって、前記立体映像表示装置の前記表示面の四隅を検出する工程と、
前記補正値算出手段によって、前記表示面の四隅が前記検出器に投影された位置を算出する工程と、を有し、
マーカーに対して予め設定された基準位置は、前記表示面の四隅が前記検出器に投影された位置から算出されることを特徴とする請求項6から請求項8のいずれか一項に記載の立体像調整方法。
A pre-calibration step before the element image generation step;
The pre-calibration step includes
Detecting the four corners of the display surface of the stereoscopic image display device by the detector;
Calculating the positions at which the four corners of the display surface are projected onto the detector by the correction value calculating means,
9. The reference position preset with respect to the marker is calculated from positions at which the four corners of the display surface are projected onto the detector. 10. 3D image adjustment method.
前記立体映像表示装置を用いて前記一連の処理を繰り返すことで、再生表示される複数のマーカーの立体像を調整した後に、当該立体映像表示装置によって、調整された複数のマーカーの立体像を再生表示する工程と、
前記検出器によって、前記再生表示された複数のマーカーの立体像を検出する工程と、をさらに含み、
前記補正値算出手段が、マーカーを表示させようとする基準位置に代えて、各マーカーの立体像から検出された検出位置を新たな基準位置に設定した上で、
追加された別の立体映像表示装置によって、初めに、複数のマーカーそれぞれに対して、当該別の立体映像表示装置の表示面近傍に事前に設定された初期奥行き距離だけ離間した位置であり、かつ、前記新たな基準位置に、前記複数のマーカーの立体像を再生表示して、前記一連の補正処理を行い、
その後、前記別の立体映像表示装置の前記表示面から複数のマーカーの立体像までの奥行き距離を大きくした上で前記一連の処理を繰り返すことで、前記別の立体映像表示装置によって再生表示される複数のマーカーの立体像を調整することを特徴とする請求項9に記載の立体像調整方法。
By repeating the series of processes using the stereoscopic video display device, the stereoscopic image of the plurality of markers to be reproduced and displayed is adjusted, and then the stereoscopic image of the adjusted markers is reproduced by the stereoscopic video display device. A process of displaying;
Detecting a stereoscopic image of the plurality of markers displayed and reproduced by the detector, and
In place of the reference position to display the marker, the correction value calculating means, after setting the detection position detected from the stereoscopic image of each marker as a new reference position,
By the added another stereoscopic video display device, first, for each of the plurality of markers, the position is separated by an initial depth distance set in advance near the display surface of the different stereoscopic video display device, and , The three-dimensional image of the plurality of markers is reproduced and displayed at the new reference position, and the series of correction processes is performed.
Thereafter, the depth distance from the display surface of the another stereoscopic image display device to the stereoscopic images of the plurality of markers is increased, and the series of processing is repeated to reproduce and display by the other stereoscopic image display device. The three-dimensional image adjustment method according to claim 9, wherein a three-dimensional image of a plurality of markers is adjusted.
JP2016035211A 2016-02-26 2016-02-26 Stereoscopic image adjustment device and stereoscopic image adjustment method Active JP6626367B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016035211A JP6626367B2 (en) 2016-02-26 2016-02-26 Stereoscopic image adjustment device and stereoscopic image adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016035211A JP6626367B2 (en) 2016-02-26 2016-02-26 Stereoscopic image adjustment device and stereoscopic image adjustment method

Publications (2)

Publication Number Publication Date
JP2017153006A true JP2017153006A (en) 2017-08-31
JP6626367B2 JP6626367B2 (en) 2019-12-25

Family

ID=59741014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016035211A Active JP6626367B2 (en) 2016-02-26 2016-02-26 Stereoscopic image adjustment device and stereoscopic image adjustment method

Country Status (1)

Country Link
JP (1) JP6626367B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022524320A (en) * 2019-03-07 2022-05-02 深▲ゼン▼市立体通科技有限公司 Automatic calibration method and electronic equipment for image placement on a naked-eye 3D display
JP7416651B2 (en) 2020-03-25 2024-01-17 日本放送協会 Lens array and stereoscopic display device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022524320A (en) * 2019-03-07 2022-05-02 深▲ゼン▼市立体通科技有限公司 Automatic calibration method and electronic equipment for image placement on a naked-eye 3D display
JP7327834B2 (en) 2019-03-07 2023-08-16 深▲ゼン▼市立体通科技有限公司 Auto-calibration method and electronic device for image placement in naked-eye 3D display
JP7416651B2 (en) 2020-03-25 2024-01-17 日本放送協会 Lens array and stereoscopic display device

Also Published As

Publication number Publication date
JP6626367B2 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US9165536B2 (en) Systems and methods for projecting composite images
US8902300B2 (en) Autostereoscopic display apparatus
JP4714116B2 (en) 3D image display apparatus and 3D image display method
US20070211216A1 (en) Stereoscopic display device and method
US8982460B2 (en) Autostereoscopic display apparatus
JP5772688B2 (en) Autostereoscopic display device
CN103947199A (en) Image processing device, three-dimensional image display device, image processing method and image processing program
Zhou et al. A unified method for crosstalk reduction in multiview displays
JP5767502B2 (en) 3D image display device
JP6626367B2 (en) Stereoscopic image adjustment device and stereoscopic image adjustment method
US9190020B2 (en) Image processing device, image processing method, computer program product, and stereoscopic display apparatus for calibration
JP2019149777A (en) Image processing apparatus and image processing program
KR102128336B1 (en) 3d image distortion correction system and method
Watanabe et al. Wide viewing angle projection-type integral 3D display system with multiple UHD projectors
TWI462568B (en) Image display method of stereo display apparatus
JP4393496B2 (en) 3D image display device
JP6748563B2 (en) Stereoscopic image measuring device and stereoscopic image measuring method
JP7312585B2 (en) Positional deviation correction amount calculation device and its program
Pu et al. P‐3.6: Local compensation in 3D light field display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191129

R150 Certificate of patent or registration of utility model

Ref document number: 6626367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250