JP2011141381A - Stereoscopic image display device and stereoscopic image display method - Google Patents

Stereoscopic image display device and stereoscopic image display method Download PDF

Info

Publication number
JP2011141381A
JP2011141381A JP2010001323A JP2010001323A JP2011141381A JP 2011141381 A JP2011141381 A JP 2011141381A JP 2010001323 A JP2010001323 A JP 2010001323A JP 2010001323 A JP2010001323 A JP 2010001323A JP 2011141381 A JP2011141381 A JP 2011141381A
Authority
JP
Japan
Prior art keywords
viewer
parallax
image display
parallax image
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010001323A
Other languages
Japanese (ja)
Inventor
Yuji Yamanaka
祐治 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2010001323A priority Critical patent/JP2011141381A/en
Publication of JP2011141381A publication Critical patent/JP2011141381A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a stereoscopic image display device and a stereoscopic image display method, capable of displaying an excellent stereoscopic image, according to the position and attitude of a viewer, even when the direction of a line connecting a right eye and a left eye is inclined or vertical, not horizontal because the viewer lies on a sofa. <P>SOLUTION: The stereoscopic image display device includes: a parallax image output part 10 outputting a standard parallax image; a viewer's attitude detection part 20 detecting the attitude data of the viewer W including the tilt angle of the line connecting the right and left eyes of the viewer W; a parallax adjusting part 30 adjusting the parallax of the standard parallax image, based on the attitude data of the viewer W of the viewer's attitude detection part 20; a parallax image display part 40 displaying a parallax image outputted from the parallax adjusting part 30; and stereoscopic viewing spectacles worn by the viewer W, to stereoscopically view the parallax image displayed on the parallax image display part 40. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、テレビジョン装置やパーソナルコンピュータのディスプレイ、携帯電話のディスプレイなどの画像表示装置を用いた立体画像表示装置であって右眼と左眼の視差を利用して視聴者に立体像を観察させる立体画像表示装置及びその表示方法に関するものである。   The present invention is a stereoscopic image display device using an image display device such as a television device, a display of a personal computer, a display of a mobile phone, etc., and observes a stereoscopic image to a viewer using the parallax between the right eye and the left eye The present invention relates to a stereoscopic image display device and a display method thereof.

従来より、視差を含む左眼用と右眼用の画像を視聴者の左眼と右眼でそれぞれ観察させることで、立体感を与える立体画像表示装置が既に知られている。例えば、緑と赤の透明フィルムを使用したメガネで左眼と右眼で鑑賞する画像を異ならしめ観客に立体画像を見せる映画などは初歩的な立体画像表示である。   2. Description of the Related Art Conventionally, stereoscopic image display devices that give a stereoscopic effect by observing left-eye and right-eye images including parallax with a viewer's left eye and right eye are already known. For example, a movie or the like in which the images viewed with the left and right eyes with glasses using green and red transparent films are made different and the stereoscopic image is shown to the audience is a rudimentary stereoscopic image display.

また近年では、左眼用と右眼用の画像を交互に表示装置に表示し、それと同期して開閉するシャッターを備えたメガネを通して立体感を与えるテレビジョン装置が実用化されている。また、空間的に左眼用と右眼用画像を交互に表示し、偏光を利用して立体画像を表示する方式もある。   In recent years, television devices that display images for the left eye and right eye alternately on a display device and give a stereoscopic effect through glasses equipped with a shutter that opens and closes in synchronization with the images have been put into practical use. There is also a method of spatially displaying images for the left eye and right eye alternately and displaying a stereoscopic image using polarized light.

また例えば、特許文献１では、右眼と左眼の視差を利用して視聴者に立体像を観察させる立体画像表示装置に関して、良好な立体画像を見ることができる視聴者の眼の位置の自由度が高く、その結果座席等により拘束されずに任意の位置に任意の姿勢で所在する視聴者に対して良好な立体画像を提供することが可能な立体画像表示装置が提案されている。   Further, for example, in Patent Document 1, regarding a stereoscopic image display apparatus that allows a viewer to observe a stereoscopic image using the parallax between the right eye and the left eye, the position of the viewer's eyes that can see a favorable stereoscopic image is free. There has been proposed a stereoscopic image display apparatus that is capable of providing a favorable stereoscopic image to a viewer who is highly constrained and consequently is not restricted by a seat or the like and is located at an arbitrary position and in an arbitrary posture.

しかしながら、特許文献１記載の立体画像表示装置では、視聴者の左右の眼を結ぶ線が水平であることを仮定しており、左右画像に与える視差の方向も水平に固定したものであった。そのため、視聴者がソファに横になったりして左右の眼を結ぶ線が水平ではなく斜めや鉛直方向になった場合に良好な立体画像を提供できないという問題があった。   However, in the stereoscopic image display device described in Patent Document 1, it is assumed that the line connecting the left and right eyes of the viewer is horizontal, and the direction of parallax applied to the left and right images is also fixed horizontally. For this reason, there is a problem that a good stereoscopic image cannot be provided when the viewer lies on the sofa and the line connecting the left and right eyes is not horizontal but oblique or vertical.

本発明は、以上の従来技術における問題に鑑みてなされたものであり、視聴者がソファに横になったりして左右の眼を結ぶ線が水平ではなく斜めや鉛直方向になった場合にも、視聴者の位置、姿勢に対応し、良好な立体画像を表示可能な立体画像表示装置及び立体画像表示方法を提供することを目的とする。   The present invention has been made in view of the above problems in the prior art, and even when the viewer lies on the sofa and the line connecting the left and right eyes is not horizontal but diagonal or vertical. Another object of the present invention is to provide a stereoscopic image display device and a stereoscopic image display method capable of displaying a favorable stereoscopic image corresponding to the position and orientation of the viewer.

前記課題を解決するために提供する本発明は、以下の通りである。
〔１〕 標準視差画像（左右画像２００，２１０）を出力する視差画像出力部（視差画像出力部１０）と、視聴者（視聴者Ｗ）の左右の眼を結ぶ線の傾き角度（角度θ）を含む視聴者の姿勢情報を検出する視聴者姿勢検出部（視聴者姿勢検出部２０）と、前記視聴者姿勢検出部の視聴者の姿勢情報に基づいて前記標準視差画像の視差を調整する視差調整部（視差調整部３０）と、前記視差調整部から出力される視差画像を表示する視差画像表示部（視差画像表示部４０）と、視聴者が装着して前記視差画像表示部に表示された視差画像を立体視するための立体視眼鏡（シャッターメガネ５００）と、を備えることを特徴とする立体画像表示装置（図１，図２）。
〔２〕 前記視聴者姿勢検出部は、視聴者の左右の眼を結ぶ線の傾き角度と該視聴者と前記視差画像表示部との距離とを視聴者の姿勢情報として検出することを特徴とする前記〔１〕に記載の立体画像表示装置。
〔３〕 前記視聴者姿勢検出部は、撮像装置（ステレオカメラ４１０）を有し（図４）、該撮像装置で視聴者を撮影した画像（図５）に基づいて、視聴者の左右の眼を結ぶ線（ｍ１）の傾き角度（角度θ）を検出することを特徴とする前記〔１〕に記載の立体画像表示装置。
〔４〕 前記撮像装置は、ステレオカメラであり、前記視聴者姿勢検出部は、該ステレオカメラで視聴者を撮影した画像における視差を用いて、前記視聴者と前記視差画像表示部との距離を算出することを特徴とする前記〔３〕に記載の立体画像表示装置。
〔５〕 前記視聴者姿勢検出部は、前記立体視眼鏡（シャッターメガネ５００）に設けられた撮像装置（ステレオカメラ５１０）を有し（図６）、該撮像装置で前記視差画像表示部を撮影した画像（図７）に基づいて、視聴者の左右の眼を結ぶ線の傾き角度を検出することを特徴とする前記〔１〕に記載の立体画像表示装置。
〔６〕 前記撮像装置は、ステレオカメラであり、前記視聴者姿勢検出部は、該ステレオカメラで前記視差画像表示部を撮影した画像における視差を用いて、前記視聴者と前記視差画像表示部との距離を算出することを特徴とする前記〔５〕に記載の立体画像表示装置。
〔７〕 前記視聴者姿勢検出部は、前記立体視眼鏡（シャッターメガネ５００）に設けられた加速度センサ（加速度センサ５２０）を有し（図１２）、該加速度センサで検出された加速度に基づいて、視聴者の左右の眼を結ぶ線の傾き角度を検出することを特徴とする前記〔１〕に記載の立体画像表示装置。
〔８〕 所定の視差画像を表示する視差画像表示部と、視聴者が装着して前記視差画像表示部に表示された視差画像を立体視するための立体視眼鏡と、を備える立体画像表示装置における立体画像表示方法であって、入力された画像情報に基づいて標準視差画像を出力する視差画像出力工程（Ｓ１）と、視聴者の左右の眼を結ぶ線の傾き角度を含む視聴者の姿勢情報を検出する視聴者姿勢検出工程（Ｓ２）と、前記視聴者の姿勢情報に基づいて前記標準視差画像の視差を調整する視差調整工程（Ｓ３）と、前記視差調整工程で得られた視差画像を前記視差画像表示部に表示する視差画像表示工程（Ｓ４）と、を備えることを特徴とする立体画像表示方法（図１６）。 The present invention provided to solve the above problems is as follows.
[1] Inclination angle (angle θ) of a line connecting the parallax image output unit (parallax image output unit 10) that outputs standard parallax images (left and right images 200 and 210) and the left and right eyes of the viewer (viewer W) A viewer posture detector (viewer posture detector 20) for detecting viewer posture information including the parallax for adjusting the parallax of the standard parallax image based on the viewer posture information of the viewer posture detector An adjustment unit (parallax adjustment unit 30), a parallax image display unit (parallax image display unit 40) that displays a parallax image output from the parallax adjustment unit, and a viewer wearing and displaying the parallax image on the parallax image display unit A stereoscopic image display device (FIGS. 1 and 2), comprising stereoscopic glasses (shutter glasses 500) for stereoscopically viewing the parallax image.
[2] The viewer posture detection unit detects a tilt angle of a line connecting the left and right eyes of the viewer and a distance between the viewer and the parallax image display unit as viewer posture information. The stereoscopic image display device according to [1].
[3] The viewer posture detection unit includes an imaging device (stereo camera 410) (FIG. 4), and the left and right eyes of the viewer based on an image (FIG. 5) captured by the imaging device. The stereoscopic image display device according to [1], wherein an inclination angle (angle θ) of a line (m1) connecting the two is detected.
[4] The imaging device is a stereo camera, and the viewer posture detection unit uses a parallax in an image obtained by photographing the viewer with the stereo camera to determine a distance between the viewer and the parallax image display unit. The stereoscopic image display device according to [3], wherein the three-dimensional image display device calculates.
[5] The viewer posture detection unit includes an imaging device (stereo camera 510) provided in the stereoscopic glasses (shutter glasses 500) (FIG. 6), and the parallax image display unit is captured by the imaging device. The stereoscopic image display apparatus according to [1], wherein an inclination angle of a line connecting the left and right eyes of the viewer is detected based on the image (FIG. 7).
[6] The imaging device is a stereo camera, and the viewer attitude detection unit uses the parallax in an image obtained by photographing the parallax image display unit with the stereo camera, and the viewer, the parallax image display unit, The stereoscopic image display device according to [5], wherein the distance is calculated.
[7] The viewer posture detection unit includes an acceleration sensor (acceleration sensor 520) provided in the stereoscopic glasses (shutter glasses 500) (FIG. 12), and based on the acceleration detected by the acceleration sensor. The stereoscopic image display apparatus according to [1], wherein an inclination angle of a line connecting the left and right eyes of the viewer is detected.
[8] A stereoscopic image display device comprising: a parallax image display unit for displaying a predetermined parallax image; and stereoscopic glasses for stereoscopic viewing of the parallax image worn by a viewer and displayed on the parallax image display unit The stereoscopic image display method in the above, which includes a parallax image output step (S1) for outputting a standard parallax image based on input image information, and a viewer's posture including an inclination angle of a line connecting the left and right eyes of the viewer Viewer posture detection step (S2) for detecting information, parallax adjustment step (S3) for adjusting the parallax of the standard parallax image based on the viewer posture information, and the parallax image obtained in the parallax adjustment step A stereoscopic image display method (FIG. 16), comprising: a parallax image display step (S4) for displaying the image on the parallax image display unit.

本発明の立体画像表示装置及び立体画像表示方法によれば、視聴者がソファに横になるなど左右の眼を結ぶ線が水平ではなく斜めや鉛直方向になった場合でも、視聴者の左右の眼を結ぶ線の傾き角度を含む視聴者の姿勢情報を検出し、その検出値に基づいて表示する左右画像のズレ量、ズレ角度を変化させるので、視聴者の位置、姿勢に対応し、良好な立体画像を表示することができる。   According to the stereoscopic image display device and the stereoscopic image display method of the present invention, even when the line connecting the left and right eyes is not horizontal but oblique or vertical, such as when the viewer lies on the sofa, Detects viewer posture information including the tilt angle of the line connecting the eyes, and changes the amount and angle of the left and right images to be displayed based on the detected value. 3D images can be displayed.

本発明に係る立体画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the stereo image display apparatus which concerns on this invention. 視差画像出力部が出力する標準視差画像の例を示す図である。It is a figure which shows the example of the standard parallax image which a parallax image output part outputs. 視聴者姿勢検出部が有するステレオカメラの構成を示す概略図である。It is the schematic which shows the structure of the stereo camera which a viewer attitude | position detection part has. 視差画像表示部にステレオカメラを取り付けた構成例を示す外観図である。It is an external view which shows the structural example which attached the stereo camera to the parallax image display part. 図４のステレオカメラで視聴者を撮影した画像である。FIG. 5 is an image obtained by photographing a viewer with the stereo camera of FIG. 4. FIG. シャッターメガネにステレオカメラを取り付けた構成例を示す外観図である。It is an external view which shows the structural example which attached the stereo camera to the shutter glasses. 図６のステレオカメラで立体画像表示装置を撮影した画像である。It is the image which image | photographed the stereo image display apparatus with the stereo camera of FIG. 画像処理のハフ変換に関する説明図（１）である。It is explanatory drawing (1) regarding the Hough conversion of an image process. 画像処理のハフ変換に関する説明図（２）である。It is explanatory drawing (2) regarding the Hough conversion of an image process. 画像処理のハフ変換に関する説明図（３）である。It is explanatory drawing (3) regarding the Hough conversion of an image process. 画像処理のハフ変換に関する説明図（４）である。It is explanatory drawing (4) regarding the Hough conversion of an image process. シャッターメガネに加速度センサを取り付けた構成例を示す外観図である。It is an external view which shows the structural example which attached the acceleration sensor to the shutter glasses. 視聴者の左右の眼を結ぶ線が斜めに傾いていた場合の視差角度の調整画像例を示す図である。It is a figure which shows the adjustment image example of a parallax angle when the line which connects a viewer's right and left eyes inclines diagonally. 視差画像表示部と視聴者との距離に基づき、左右画像の視差量を調整した調整画像例を示す図である。It is a figure which shows the example of an adjustment image which adjusted the parallax amount of the left-right image based on the distance of a parallax image display part and a viewer. 視差画像表示部が空間的に交互に左右画像を表示する例を示す図である。It is a figure which shows the example in which a parallax image display part displays a left-right image alternately spatially. 本発明に係る立体画像表示方法の具体的手順を示すフローチャートである。It is a flowchart which shows the specific procedure of the stereo image display method which concerns on this invention.

以下に、本発明に係る立体画像表示装置及び立体画像表示方法の構成について説明する。
図１は、本発明の撮像装置の一実施形態の機能ブロックについて説明する図である。
本発明に係る立体画像表示装置は、視差画像出力部１０、視聴者姿勢検出部２０、視差調整部３０、視差画像表示部４０で構成され、視聴者Ｗは視差画像表示部４０に表示された視差画像を立体視眼鏡を通してみることで立体感を得る。 The configuration of the stereoscopic image display device and the stereoscopic image display method according to the present invention will be described below.
FIG. 1 is a diagram illustrating functional blocks of an embodiment of an imaging apparatus according to the present invention.
The stereoscopic image display device according to the present invention includes a parallax image output unit 10, a viewer posture detection unit 20, a parallax adjustment unit 30, and a parallax image display unit 40, and the viewer W is displayed on the parallax image display unit 40. A stereoscopic effect is obtained by viewing the parallax image through stereoscopic glasses.

ここで、視差画像出力部１０は、標準視差画像を出力するものであり、例えば図２に示すような左眼用と右眼用の一組の視差画像を出力する。図２において、符号２００が左眼用画像、符号２１０が右眼用画像であり、手前の人物像２０１と２１１には大きな視差があり、奥の植物２０２と２１２の視差は小さくなっている。この視差の違いにより視聴者は立体感を得ることができ、大きな視差を含む領域は、小さな視差を含む領域よりも近くにあるように感じられる。なお、左眼用画像２００と右眼用画像２１０を合わせて、左右画像２００，２１０あるいは視差画像２００，２１０ともいう。   Here, the parallax image output unit 10 outputs a standard parallax image, and outputs, for example, a pair of parallax images for the left eye and the right eye as shown in FIG. In FIG. 2, reference numeral 200 is an image for the left eye and reference numeral 210 is an image for the right eye. The human images 201 and 211 in the foreground have a large parallax, and the parallax between the plants 202 and 212 in the back is small. Due to the difference in parallax, the viewer can obtain a stereoscopic effect, and the area including the large parallax feels closer to the area including the small parallax. The left-eye image 200 and the right-eye image 210 are also collectively referred to as left and right images 200 and 210 or parallax images 200 and 210.

視聴者姿勢検出部２０は、視聴者Ｗの左右の眼を結ぶ線の傾き角度を含む視聴者Ｗの姿勢情報を検出するものである。なお、ここでいう視聴者Ｗの左右の眼を結ぶ線の傾き角度は、視差画像表示部４０における水平方向の基準線（水平線）または垂直方向の基準線（垂直線）に対する視聴者Ｗの左右の眼を結ぶ線の傾きの角度である。   The viewer posture detection unit 20 detects posture information of the viewer W including the inclination angle of the line connecting the left and right eyes of the viewer W. Here, the inclination angle of the line connecting the left and right eyes of the viewer W is the left and right of the viewer W with respect to the horizontal reference line (horizontal line) or the vertical reference line (vertical line) in the parallax image display unit 40. Is the angle of inclination of the line connecting the eyes.

また、視聴者姿勢検出部２０は、視聴者Ｗの左右の眼を結ぶ線の傾き角度と該視聴者Ｗと視差画像表示部４０との距離とを視聴者の姿勢情報として検出することが好適である。   Moreover, it is preferable that the viewer posture detection unit 20 detects the inclination angle of the line connecting the left and right eyes of the viewer W and the distance between the viewer W and the parallax image display unit 40 as the posture information of the viewer. It is.

このとき、視聴者姿勢検出部２０には、視聴者の姿勢情報を検出する手段として、撮像装置、例えば図３に示すようなステレオカメラを使用することができる。ステレオカメラは一組のカメラ光学系で構成されており、図３に示すようにイメージセンサ３００、３１０を別体としてもよいし、一枚のイメージセンサを用いてもよい。   At this time, an imaging device, for example, a stereo camera as shown in FIG. 3 can be used as the viewer posture detection unit 20 as means for detecting viewer posture information. The stereo camera is composed of a set of camera optical systems, and the image sensors 300 and 310 may be separated as shown in FIG. 3, or a single image sensor may be used.

図３において、それぞれのカメラの光軸間の距離を基線長Ｂと呼び、レンズ３０１、３１１とイメージセンサ３００、３１０との距離をfとする。いま、被写体距離Ｌのある点Ｐがそれぞれのカメラで結像される点をＰa，Ｐbとすると、光軸からの距離はｄa，ｄbとなる。視差は左右の画像のズレ量であるので視差Ｄ ＝ ｄa ＋ ｄbとなる。このとき、視差から被写体距離を求めるには次式（１）を用いることができる。
Ｌ ＝ Ｂｆ ／ Ｄ ・・・(１) In FIG. 3, the distance between the optical axes of the respective cameras is referred to as a baseline length B, and the distance between the lenses 301 and 311 and the image sensors 300 and 310 is defined as f. Now, let P a and P b be points where a certain point P with an object distance L is imaged by the respective cameras, the distances from the optical axis are d a and d b . Parallax becomes disparity D = d a + d b are the displacement amount of the left and right images. At this time, the following equation (1) can be used to obtain the subject distance from the parallax.
L = Bf / D (1)

なお、Ｂ，ｆはステレオカメラ設計時に既知の値である。また、視差Ｄを求めるためには、デジタル画像に対してブロックマッチング法や相互相関関数を求める方法がある。ここでは本発明の本質ではないため詳細は割愛する。   B and f are known values when designing a stereo camera. In order to obtain the parallax D, there are a block matching method and a method of obtaining a cross-correlation function for a digital image. Here, details are omitted because they are not the essence of the present invention.

ここで、視聴者姿勢検出部２０は、視差画像表示部４０に撮像装置を有し、該撮像装置で視聴者Ｗを撮影した画像に基づいて、視聴者Ｗの左右の眼を結ぶ線の傾き角度を検出することが好ましい。また、この撮像装置は、ステレオカメラであり、視聴者姿勢検出部２０は、該ステレオカメラで視聴者Ｗを撮影した画像における視差を用いて、視聴者Ｗと視差画像表示部４０との距離を算出するとよい。   Here, the viewer posture detection unit 20 includes an imaging device in the parallax image display unit 40, and the inclination of a line connecting the left and right eyes of the viewer W based on an image obtained by capturing the viewer W with the imaging device. It is preferable to detect the angle. In addition, this imaging device is a stereo camera, and the viewer posture detection unit 20 uses the parallax in an image obtained by capturing the viewer W with the stereo camera to determine the distance between the viewer W and the parallax image display unit 40. It is good to calculate.

図４に、立体画像表示装置の視差画像表示部４０にステレオカメラ４１０を取り付けた場合の構成を示す。視差画像表示部４０に撮像装置としてステレオカメラ４１０を取り付けた場合には、式（１）で求めた被写体距離Ｌを、視差画像表示部４０と視聴者Ｗとの距離として視差調整部３０に出力する。なお、このステレオカメラを必ずしも視差画像表示部４０に取り付ける必要は無く、例えば部屋の壁や天井に取り付けた場合にも、視差画像表示部４０とステレオカメラとの距離をオフセット量として記憶しておき、視差画像表示部４０と視聴者Ｗとの距離を出力するようにしてもよい。   FIG. 4 shows a configuration when a stereo camera 410 is attached to the parallax image display unit 40 of the stereoscopic image display device. When the stereo camera 410 is attached to the parallax image display unit 40 as an imaging device, the subject distance L obtained by Expression (1) is output to the parallax adjustment unit 30 as the distance between the parallax image display unit 40 and the viewer W. To do. Note that this stereo camera does not necessarily have to be attached to the parallax image display unit 40. For example, even when the stereo camera is attached to a wall or ceiling of a room, the distance between the parallax image display unit 40 and the stereo camera is stored as an offset amount. The distance between the parallax image display unit 40 and the viewer W may be output.

つぎに、視聴者姿勢検出部２０において、視聴者Ｗの左右の眼を結ぶ線の傾き角度をステレオカメラ４１０の画像からつぎのようにして求めるとよい。すなわち、まずステレオカメラ４１０で視聴者Ｗを撮影し図５に示す画像を取得し、ついでこの画像から視聴者Ｗの左右の眼の位置を認識し、それらを結んだ線ｍ１と視差画像表示部４０の水平線ｍ２とのなす角度θを求める。そして、視聴者姿勢検出部２０は、この角度θの情報を視差調整部３０に出力する。   Next, the viewer attitude detection unit 20 may obtain the inclination angle of the line connecting the left and right eyes of the viewer W from the image of the stereo camera 410 as follows. That is, first, the viewer W is photographed by the stereo camera 410 and the image shown in FIG. 5 is acquired, then the positions of the left and right eyes of the viewer W are recognized from this image, and the line m1 connecting them and the parallax image display unit An angle θ formed by 40 horizontal lines m2 is obtained. Then, the viewer posture detection unit 20 outputs information on the angle θ to the parallax adjustment unit 30.

なお、ここでは眼の認識には眼のテンプレートを用いたブロックマッチング法を利用することができる。あるいは近年、デジタルカメラに実装されているヒトの顔を検出するアルゴリズムを用いてもよい。また、ステレオカメラ４１０で得られた左右画像両方を必ずしも使用する必要はなく、どちらか一方の画像を使用してよい。   Here, a block matching method using an eye template can be used for eye recognition. Alternatively, in recent years, an algorithm for detecting a human face mounted on a digital camera may be used. Moreover, it is not always necessary to use both the left and right images obtained by the stereo camera 410, and either one of the images may be used.

以上のように、ステレオカメラ４１０を用いて視聴者Ｗの左右の眼を結ぶ線の傾き角度と視差画像表示部４０と視聴者Ｗの距離を検出することが可能である。   As described above, the stereo camera 410 can be used to detect the inclination angle of the line connecting the left and right eyes of the viewer W and the distance between the parallax image display unit 40 and the viewer W.

次に、視聴者姿勢検出部２０の別の実施形態として、立体視眼鏡に設けられた撮像装置を有し、該撮像装置で視差画像表示部４０を撮影した画像に基づいて、視聴者Ｗの左右の眼を結ぶ線の傾き角度を検出することが好ましい。また、この撮像装置は、ステレオカメラであり、視聴者姿勢検出部２０は、該ステレオカメラで視差画像表示部４０を撮影した画像における視差を用いて、視聴者Ｗと視差画像表示部４０との距離を算出するとよい。   Next, as another embodiment of the viewer posture detection unit 20, the viewer W has an imaging device provided in stereoscopic glasses, and based on an image obtained by capturing the parallax image display unit 40 with the imaging device, the viewer W's It is preferable to detect an inclination angle of a line connecting the left and right eyes. Further, this imaging device is a stereo camera, and the viewer posture detection unit 20 uses the parallax in an image obtained by capturing the parallax image display unit 40 with the stereo camera, and uses the parallax between the viewer W and the parallax image display unit 40. It is good to calculate the distance.

図６は、立体視眼鏡であるシャッターメガネ５００にステレオカメラ５１０を取り付けた構成例である。
このように、シャッターメガネ５００にステレオカメラ５１０を取り付けることで立体画像表示装置（視差画像表示部４０）と視聴者Ｗとの距離を検出することができる。このときの距離計測の方法は、前述した視差画像表示部４０に撮像装置としてステレオカメラ４１０を取り付けた場合の考え方を適用することができ、該ステレオカメラで視差画像表示部４０を撮影した画像における視差を用いて式（１）で被写体距離Ｌを求め、立体画像表示装置（視差画像表示部４０）と視聴者Ｗとの距離として視差調整部３０に出力する。 FIG. 6 is a configuration example in which a stereo camera 510 is attached to shutter glasses 500 that are stereoscopic glasses.
Thus, the distance between the stereoscopic image display device (parallax image display unit 40) and the viewer W can be detected by attaching the stereo camera 510 to the shutter glasses 500. The method of distance measurement at this time can be applied to the above-described concept when the stereo camera 410 is attached as the imaging device to the parallax image display unit 40, and in the image obtained by capturing the parallax image display unit 40 with the stereo camera. Using the parallax, the subject distance L is obtained by Expression (1), and is output to the parallax adjustment unit 30 as the distance between the stereoscopic image display device (parallax image display unit 40) and the viewer W.

また、図７に、ステレオカメラ５１０が立体画像表示装置（視差画像表示部４０）を撮影した画像を示す。
ここで、撮影された画像の水平線に対する視差画像表示部４０の水平線の傾き、すなわち視差画像表示部４０の傾きφは、視聴者Ｗの左右の眼を結ぶ線の角度θに等しく、視差画像表示部４０の傾きφは、例えば画像処理のハフ変換で検出することができる。 FIG. 7 shows an image obtained by the stereo camera 510 taken by the stereoscopic image display device (parallax image display unit 40).
Here, the inclination of the horizontal line of the parallax image display unit 40 with respect to the horizontal line of the captured image, that is, the inclination φ of the parallax image display unit 40 is equal to the angle θ of the line connecting the left and right eyes of the viewer W, and the parallax image display The inclination φ of the unit 40 can be detected by, for example, Hough transform of image processing.

ハフ変換を具体的に以下に説明する。
まず、ｘｙ画像空間中の直線は、ａを傾き、ｂを切片としたとき、次の式（２）で表すことができる（図８）。
ｙ ＝ ａｘ ＋ ｂ ・・・（２） The Hough transform will be specifically described below.
First, a straight line in the xy image space can be expressed by the following equation (2), where a is an inclination and b is an intercept (FIG. 8).
y = ax + b (2)

つまり、傾きとｙ切片とのふたつのパラメータで直線を表現することができるので、これらのパラメータを座標軸にした空間（ａｂパラメータ空間）では、ｘｙ画像空間中のある直線を１点で表すことができる（図９）。   That is, since a straight line can be expressed by two parameters of the inclination and the y-intercept, a straight line in the xy image space can be expressed by one point in a space (ab parameter space) using these parameters as coordinate axes. (Fig. 9)

一方、ｘｙ画像空間中の直線をＬとするとき、直線Ｌ上の点（ｘi, ｙi）は、次の式（３）によってａｂパラメータ空間に写像される。
ｂ ＝ −ｘiａ ＋ ｙi ・・・（３） On the other hand, when the straight line in the xy image space is L, the point (x i , y i ) on the straight line L is mapped to the ab parameter space by the following equation (3).
b = −x i a + y i (3)

すなわち、ｘｙ画像空間中の点は、ａｂパラメータ空間では傾き−ｘiと切片ｙiの直線で表すことができる。 That is, the point in xy image space can be represented by a straight line of slope -x i and intercept y i is ab parameter space.

ここで、図１０に示すような直線Ｌ上の複数の点をａｂパラメータ空間に写像すると、点の数だけ直線を描くことができ、これらの直線はａｂパラメータ空間内の１点（ａ、ｂ）で交差する（図１１）。
そして、この交差する点の座標を検出すれば、ｘｙ画像空間中の直線を決定することができる。 Here, when a plurality of points on the straight line L as shown in FIG. 10 are mapped to the ab parameter space, it is possible to draw straight lines as many as the number of points, and these straight lines are one point (a, b) in the ab parameter space. ) (FIG. 11).
If the coordinates of the intersecting points are detected, a straight line in the xy image space can be determined.

このような直線検出原理を、一般にハフ変換とよぶ。ハフ変換の利点は、エッジ検出などの処理によって直線が完全に検出できず、線がとぎれていても直線を検出できる点である。   Such a straight line detection principle is generally called Hough transform. The advantage of the Hough transform is that a straight line cannot be completely detected by processing such as edge detection, and a straight line can be detected even if the line is broken.

実際のハフ変換を利用した直線検出処理は、つぎのように行う。
まず、処理対象画像にエッジ抽出オペレータなどを適用して、その出力画像を用意する。この画像の各画素値は、エッジ強度に対応しているが、ある閾値を用意して２値化処理を行い、線の上に位置する可能性がある画素（線候補画素）を用意する。
ａｂパラメータ空間を小さなセルに分割し、線候補画素をａｂパラメータ空間に写像したときに生成される直線が通過するセルの値を１だけ増やす。この処理は投票とよばれる。
この投票処理を、すべての線候補画素について行う。結果として、ａｂパラメータ空間の各セルは、直線が通過した回数を値としてもつ。この値は投票度数とよばれる。
ａｂパラメータ空間で、投票度数が大きなセルを探索すると、そのセルの座標がｘｙ画像空間中の直線の傾きと切片に相当する。
以上より、視差画像表示部４０の輪郭直線部を検出し、その傾きから視聴者の左右の眼を結ぶ線の角度θを知ることが可能である。 The straight line detection process using the actual Hough transform is performed as follows.
First, an output image is prepared by applying an edge extraction operator or the like to the processing target image. Each pixel value of this image corresponds to the edge strength, but a threshold value is prepared and binarization processing is performed to prepare pixels (line candidate pixels) that may be positioned on the line.
The ab parameter space is divided into small cells, and the value of the cell through which a straight line generated when line candidate pixels are mapped to the ab parameter space is increased by one. This process is called voting.
This voting process is performed for all line candidate pixels. As a result, each cell in the ab parameter space has the value of the number of times the straight line has passed. This value is called the vote count.
When a cell having a high vote count is searched in the ab parameter space, the coordinates of the cell correspond to the slope and intercept of a straight line in the xy image space.
As described above, the contour straight line portion of the parallax image display unit 40 can be detected, and the angle θ of the line connecting the right and left eyes of the viewer can be known from the inclination.

次に、視聴者姿勢検出部２０のさらに別の実施形態として、上述したステレオカメラを用いるほかに、立体視眼鏡に設けられた加速度センサを有し、該加速度センサで検出された加速度に基づいて、視聴者の左右の眼を結ぶ線の傾き角度を検出することを行うとよい。   Next, as still another embodiment of the viewer posture detection unit 20, in addition to using the above-described stereo camera, the viewer posture detection unit 20 includes an acceleration sensor provided in the stereoscopic glasses, based on the acceleration detected by the acceleration sensor. The inclination angle of the line connecting the left and right eyes of the viewer may be detected.

なお、ここでいう加速度センサとは、加速度の測定を目的とした慣性センサであり、加速度の変動のみではなく、直流の加速度を検出可能であり、重力を検出することができる。また、加速度センサには静電容量方式、ピエゾ抵抗方式、熱検知方式などがあり、それぞれに特徴があるが、いずれの方式も重力を検出可能であるという点で傾き検出に適している。それぞれの方式の原理や構造は本発明の本質ではないので省略する。   The acceleration sensor here is an inertial sensor for the purpose of measuring acceleration, and can detect not only acceleration fluctuations but also DC acceleration, and can detect gravity. In addition, the acceleration sensor includes an electrostatic capacity method, a piezoresistive method, a heat detection method, and the like, each of which has a characteristic, but any method is suitable for tilt detection in that gravity can be detected. Since the principle and structure of each method are not the essence of the present invention, they are omitted.

ここで、加速度センサで検出した重力加速度から視聴者の左右の眼を結ぶ線の傾き角度θを検出するには、つぎのように行うとよい。
まず、図１２に示すように、一軸の加速度センサ５２０をシャッターメガネ５００に組み込む構成とする。このとき、加速度センサ５２０の検出方向は矢印Ａで示した方向である。 Here, in order to detect the inclination angle θ of the line connecting the right and left eyes of the viewer from the gravitational acceleration detected by the acceleration sensor, the following may be performed.
First, as shown in FIG. 12, the uniaxial acceleration sensor 520 is configured to be incorporated in the shutter glasses 500. At this time, the detection direction of the acceleration sensor 520 is the direction indicated by the arrow A.

シャッターメガネ５００をかけて視聴者Ｗの左右の眼を結んだ線が水平である場合、加速度センサ５２０の出力加速度は１Ｇ（Ｇは重力加速度の単位）であり、シャッターメガネ５００の傾きに応じて出力加速度は変化する。例えば、視聴者Ｗが寝転んで左右の眼を結んだ線が垂直（重力加速度方向と平行）の場合、重力加速度の矢印Ａ方向成分はゼロなので、出力加速度は０Ｇとなる。   When the line connecting the left and right eyes of the viewer W wearing the shutter glasses 500 is horizontal, the output acceleration of the acceleration sensor 520 is 1 G (G is a unit of gravitational acceleration), and depending on the inclination of the shutter glasses 500 The output acceleration changes. For example, when the viewer W lies down and the line connecting the left and right eyes is vertical (parallel to the gravitational acceleration direction), the arrow A component of the gravitational acceleration is zero, so the output acceleration is 0G.

すなわち、この出力加速度ｇと傾きの関係は次の式（４）で表される。
ｓｉｎ（π／２ − θ） ＝ ｇ ・・・（４） That is, the relationship between the output acceleration g and the inclination is expressed by the following equation (4).
sin (π / 2−θ) = g (4)

よって、傾き角度θはアークサイン関数Ｓｉｎ-1により次の式（５）のように算出される。
θ ＝ π／２ − Ｓｉｎ-1ｇ ・・・（５） Therefore, the inclination angle θ is calculated by the arc sine function Sin −1 as in the following equation (5).
θ = π / 2−Sin −1 g (5)

以上のようにして、立体画像を試聴するためのシャッターメガネ５００に組み込んだ加速度センサ５２０により視聴者Ｗの左右の眼を結ぶ線の傾き角度θを知ることが可能である。   As described above, it is possible to know the inclination angle θ of the line connecting the left and right eyes of the viewer W with the acceleration sensor 520 incorporated in the shutter glasses 500 for listening to the stereoscopic image.

なお、視差画像表示部４０と視聴者Ｗとの距離についてはレーザー測距計を用いて検出するようにしてもよい。   The distance between the parallax image display unit 40 and the viewer W may be detected using a laser rangefinder.

つぎに、視差調整部３０について説明する。
視差調整部３０は、視聴者姿勢検出部２０の出力（視聴者Ｗの姿勢情報）に基づき、視差画像出力部１０から入力された標準視差画像の視差量および視差角度を調整するものである。 Next, the parallax adjustment unit 30 will be described.
The parallax adjustment unit 30 adjusts the parallax amount and parallax angle of the standard parallax image input from the parallax image output unit 10 based on the output of the viewer posture detection unit 20 (posture information of the viewer W).

図１３に、視聴者Ｗの左右の眼を結ぶ線が斜めに傾いていた場合の視差角度の調整画像例を示す。
視差調整部３０は、視聴者姿勢検出部２０の出力（視聴者Ｗの姿勢情報）における視聴者Ｗの左右の眼を結ぶ線の傾き角度が斜めであった場合、図２に示すような視差画像出力部１０から出力されたオリジナルの左右画像（標準視差画像）２００，２１０のように画面の水平方向の視差では無く、画面の斜め方向に視差を与えた左右画像６００，６１０を、視差画像表示部４０に出力する。このように視差画像における視差角度を視聴者姿勢検出部２０で検出した角度に等しくすることで視聴者Ｗは良好な立体画像を鑑賞することができる。 FIG. 13 shows an adjustment image example of the parallax angle when the line connecting the left and right eyes of the viewer W is inclined obliquely.
When the inclination angle of the line connecting the left and right eyes of the viewer W in the output of the viewer posture detection unit 20 (the posture information of the viewer W) is oblique, the parallax adjustment unit 30 has a parallax as illustrated in FIG. The right and left images 600 and 610 that are given the parallax in the diagonal direction of the screen, not the parallax in the horizontal direction of the screen as in the original left and right images (standard parallax images) 200 and 210 output from the image output unit 10, are parallax images. Output to the display unit 40. Thus, the viewer W can appreciate a good stereoscopic image by making the parallax angle in the parallax image equal to the angle detected by the viewer posture detection unit 20.

また、図１４に、視差画像表示部４０と視聴者Ｗとの距離に基づき、左右画像の視差量を調整した調整画像例を示す。
視差調整部３０は、視聴者姿勢検出部２０の出力（視聴者Ｗの姿勢情報）における視差画像表示部４０と視聴者Ｗとの距離に基づいて、図２に示すような視差画像出力部１０から出力されたオリジナルの左右画像（標準視差画像）２００，２１０を調整する。すなわち、図２に示した左右画像２００，２１０に示す視差量を基準として、視差画像表示部４０と視聴者Ｗとの距離が遠ければ、図１４のようにより大きな視差を与えて視聴者に与える立体感を標準的な状態と同様にすることができる。例えば、標準的な視聴距離Ｌ１に対して、検出した視聴距離Ｌ2がＬ2 ＝ ２Ｌ1の場合、視差量をオリジナルの２倍にすれば標準的な視聴距離Ｌ1で視聴したときと同様の立体感を得ることができる。 FIG. 14 shows an example of an adjusted image in which the amount of parallax between the left and right images is adjusted based on the distance between the parallax image display unit 40 and the viewer W.
The parallax adjustment unit 30 is based on the distance between the parallax image display unit 40 and the viewer W in the output of the viewer posture detection unit 20 (posture information of the viewer W), as shown in FIG. The original left and right images (standard parallax images) 200 and 210 output from the above are adjusted. That is, if the distance between the parallax image display unit 40 and the viewer W is long with reference to the parallax amounts shown in the left and right images 200 and 210 shown in FIG. 2, a larger parallax is given to the viewer as shown in FIG. The stereoscopic effect can be made the same as in the standard state. For example, for a standard viewing distance L 1, when viewing distance L 2 detected is L 2 = 2L 1, when viewed on a standard viewing distance L 1 if the parallax amount to twice the original and A similar stereoscopic effect can be obtained.

視差画像表示部４０は、視差調整部３０で視聴者の姿勢情報に基づいた視差を与えられた視差画像を表示するものであり、左眼用画像と右眼用画像を時間的に交互に表示する。これに対して、視聴者Ｗは視差画像表示部４０における左眼用画像と右眼用画像の切替えタイミングと同期して開閉するシャッターを備えたシャッターメガネ５００を通して鑑賞することで立体画像を感得することができる。また、空間的に左眼用画像と右眼用画像を交互に表示し、偏光を利用してそれぞれの眼にうつる画像を選択することで立体画像を表示してもよい。   The parallax image display unit 40 displays the parallax image given the parallax based on the viewer's posture information by the parallax adjustment unit 30, and alternately displays the left-eye image and the right-eye image temporally. To do. On the other hand, the viewer W senses a stereoscopic image by viewing through the shutter glasses 500 provided with a shutter that opens and closes in synchronization with the switching timing of the left-eye image and the right-eye image in the parallax image display unit 40. be able to. Alternatively, the stereoscopic image may be displayed by spatially displaying the left eye image and the right eye image alternately and selecting an image that passes through each eye using polarized light.

図１５に、空間的に交互に左右画像を表示する例を示す。
図１５は、視差画像表示部４０の表示画像の拡大図であり、例えば符号８００は左眼用画像を表示する画素列、符号８１０は右眼用画像を表示する画素列を示している。画素列８００と画素列８１０に互いに直交する偏光フィルタを取り付けておき、視聴者Ｗは偏光フィルタがレンズ部に取り付けられた立体視眼鏡を装着して立体画像を鑑賞する。なおこのとき、左眼用レンズの偏光フィルタは画素列８００に取り付けられた偏光フィルタと同じ偏光方向、右眼用レンズはそれと直交する方向の偏光フィルタを用いる。 FIG. 15 shows an example in which left and right images are displayed alternately in space.
FIG. 15 is an enlarged view of a display image of the parallax image display unit 40. For example, reference numeral 800 indicates a pixel column that displays an image for the left eye, and reference numeral 810 indicates a pixel column that displays an image for the right eye. Polarization filters that are orthogonal to each other are attached to the pixel column 800 and the pixel column 810, and the viewer W wears stereoscopic glasses in which the polarization filter is attached to the lens unit to view a stereoscopic image. At this time, the polarizing filter for the left-eye lens uses the same polarizing direction as the polarizing filter attached to the pixel array 800, and the right-eye lens uses the polarizing filter in the direction orthogonal thereto.

つぎに、本発明に係る立体画像表示方法について説明する。
本発明に係る立体画像表示方法は、所定の視差画像を表示する視差画像表示部と、視聴者が装着して前記視差画像表示部に表示された視差画像を立体視するための立体視眼鏡と、を備える立体画像表示装置（本発明の立体画像表示装置）における立体画像表示方法であって、入力された画像情報に基づいて標準視差画像を出力する視差画像出力工程と、視聴者の左右の眼を結ぶ線の傾き角度を含む視聴者の姿勢情報を検出する視聴者姿勢検出工程と、前記視聴者の姿勢情報に基づいて前記標準視差画像の視差を調整する視差調整工程と、前記視差調整工程で得られた視差画像を前記視差画像表示部に表示する視差画像表示工程と、を備えることを特徴とするものである。 Next, the stereoscopic image display method according to the present invention will be described.
A stereoscopic image display method according to the present invention includes a parallax image display unit that displays a predetermined parallax image, and stereoscopic glasses that are stereoscopically viewed by the viewer and displayed on the parallax image display unit. A stereoscopic image display method in a stereoscopic image display device (stereoscopic image display device of the present invention) comprising: a parallax image output step of outputting a standard parallax image based on input image information; A viewer posture detection step of detecting viewer posture information including an inclination angle of a line connecting the eyes, a parallax adjustment step of adjusting a parallax of the standard parallax image based on the viewer posture information, and the parallax adjustment A parallax image display step of displaying the parallax image obtained in the step on the parallax image display unit.

図１６に、本発明に係る立体画像表示方法の具体的手順を示す。
（Ｓ１） まず、左眼用画像と右眼用画像の１組の標準視差画像を視差画像出力部１０から出力する。
（Ｓ２） 視聴者姿勢検出部２０で視聴者の左右の眼を結んだ線の傾き角度を含む視聴者の姿勢情報を検出し、該視聴者の姿勢情報が視差調整部３０に送られる。
（Ｓ３） 視差調整部３０では、視聴者がソファに横になるなどして視差画像表示部４０に対して斜めになっているような姿勢であっても良好な立体感を得られるように、ステップＳ２の姿勢情報に基づいてステップＳ１の標準視差画像の視差角度を調整する。また、視聴者が標準的な視聴距離とは異なる距離にいても標準視聴距離にいるときと同様の立体感が得られるように視差量を調整することも行う。
（Ｓ４） 視差角度、視差量の調整を受けた左眼用画像と右眼用画像からなる視差画像を視差画像表示部４０で時間的あるいは空間的に交互に表示する。
（Ｓ５） 視聴者は交互に表示される左右画像の切り替えに同期してシャッターを開閉するシャッターメガネを通して視差画像表示部４０を観察し、立体画像を鑑賞する。 FIG. 16 shows a specific procedure of the stereoscopic image display method according to the present invention.
(S1) First, a set of standard parallax images of a left-eye image and a right-eye image is output from the parallax image output unit 10.
(S2) The viewer posture detection unit 20 detects viewer posture information including the inclination angle of the line connecting the left and right eyes of the viewer, and the viewer posture information is sent to the parallax adjustment unit 30.
(S3) In the parallax adjustment unit 30, so that a good stereoscopic effect can be obtained even when the viewer is inclined with respect to the parallax image display unit 40, such as lying on the sofa. Based on the posture information in step S2, the parallax angle of the standard parallax image in step S1 is adjusted. Further, the parallax amount is also adjusted so that the same stereoscopic effect as when the viewer is at the standard viewing distance can be obtained even when the viewer is at a distance different from the standard viewing distance.
(S4) The parallax image composed of the image for the left eye and the image for the right eye that has been adjusted for the parallax angle and the parallax amount is displayed alternately in time or space on the parallax image display unit 40.
(S5) The viewer observes the parallax image display unit 40 through shutter glasses that open and close the shutter in synchronization with the switching of the left and right images displayed alternately, and appreciates the stereoscopic image.

以上のように、視聴者がソファに横になるなど左右の眼を結ぶ線が水平ではなく斜めや鉛直方向になった場合でも、視聴者の左右の眼を結ぶ線の傾き角度を含む視聴者の姿勢情報を検出し、その検出値に基づいて左右画像のズレ量、ズレ角度を変化させるので、視聴者の位置、姿勢に対応し、良好な立体画像を表示・鑑賞することができる。   As described above, even if the line connecting the left and right eyes is not horizontal but diagonal or vertical, such as when the viewer lies on the sofa, the viewer includes the inclination angle of the line connecting the left and right eyes of the viewer Since the posture information is detected and the shift amount and the shift angle of the left and right images are changed based on the detected value, it is possible to display and appreciate a good stereoscopic image corresponding to the position and posture of the viewer.

なお、これまで本発明を図面に示した実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。   Although the present invention has been described with the embodiments shown in the drawings, the present invention is not limited to the embodiments shown in the drawings, and other embodiments, additions, modifications, deletions, etc. Can be changed within the range that can be conceived, and any embodiment is included in the scope of the present invention as long as the effects and advantages of the present invention are exhibited.

１０ 視差画像出力部
２０ 視聴者姿勢検出部
３０ 視差調整部
４０ 視差画像表示部
２００，６００，７００ 左眼用画像
２１０，６１０，７１０ 右眼用画像
２０１，２１１ 人物像
２０２，２１２ 植物
３００，３１０ イメージセンサ
３０１，３１１ レンズ
４１０，５１０ ステレオカメラ
５００ シャッターメガネ
５２０ 加速度センサ
８００ 左眼用画像を表示する画素列
８１０ 右眼用画像を表示する画素列
Ｗ 視聴者 DESCRIPTION OF SYMBOLS 10 Parallax image output part 20 Viewer attitude | position detection part 30 Parallax adjustment part 40 Parallax image display part 200,600,700 Left eye image 210,610,710 Right eye image 201,211 Human image 202,212 Plant 300,310 Image Sensor 301, 311 Lens 410, 510 Stereo Camera 500 Shutter Glasses 520 Acceleration Sensor 800 Pixel Row Displaying Left Eye Image 810 Pixel Row Displaying Right Eye Image W Viewer

特開平１０−２６８２３１号公報JP-A-10-268231

Claims (8)

標準視差画像を出力する視差画像出力部と、
視聴者の左右の眼を結ぶ線の傾き角度を含む視聴者の姿勢情報を検出する視聴者姿勢検出部と、
前記視聴者姿勢検出部の視聴者の姿勢情報に基づいて前記標準視差画像の視差を調整する視差調整部と、
前記視差調整部から出力される視差画像を表示する視差画像表示部と、
視聴者が装着して前記視差画像表示部に表示された視差画像を立体視するための立体視眼鏡と、
を備えることを特徴とする立体画像表示装置。 A parallax image output unit that outputs a standard parallax image;
A viewer posture detection unit for detecting viewer posture information including an inclination angle of a line connecting the left and right eyes of the viewer;
A parallax adjustment unit that adjusts the parallax of the standard parallax image based on the posture information of the viewer of the viewer posture detection unit;
A parallax image display unit that displays a parallax image output from the parallax adjustment unit;
Stereoscopic glasses for stereoscopic viewing of the parallax image worn by the viewer and displayed on the parallax image display unit;
A stereoscopic image display device comprising: 前記視聴者姿勢検出部は、視聴者の左右の眼を結ぶ線の傾き角度と該視聴者と前記視差画像表示部との距離とを視聴者の姿勢情報として検出することを特徴とする請求項１に記載の立体画像表示装置。   The viewer orientation detection unit detects an inclination angle of a line connecting the left and right eyes of the viewer and a distance between the viewer and the parallax image display unit as viewer orientation information. The stereoscopic image display device according to 1. 前記視聴者姿勢検出部は、撮像装置を有し、該撮像装置で視聴者を撮影した画像に基づいて、視聴者の左右の眼を結ぶ線の傾き角度を検出することを特徴とする請求項１に記載の立体画像表示装置。   The viewer orientation detection unit includes an imaging device, and detects an inclination angle of a line connecting the left and right eyes of the viewer based on an image obtained by photographing the viewer with the imaging device. The stereoscopic image display device according to 1. 前記撮像装置は、ステレオカメラであり、
前記視聴者姿勢検出部は、該ステレオカメラで視聴者を撮影した画像における視差を用いて、前記視聴者と前記視差画像表示部との距離を算出することを特徴とする請求項３に記載の立体画像表示装置。 The imaging device is a stereo camera,
The said viewer attitude | position detection part calculates the distance of the said viewer and the said parallax image display part using the parallax in the image which image | photographed the viewer with this stereo camera. Stereoscopic image display device. 前記視聴者姿勢検出部は、前記立体視眼鏡に設けられた撮像装置を有し、該撮像装置で前記視差画像表示部を撮影した画像に基づいて、視聴者の左右の眼を結ぶ線の傾き角度を検出することを特徴とする請求項１に記載の立体画像表示装置。   The viewer posture detection unit includes an imaging device provided in the stereoscopic glasses, and an inclination of a line connecting the left and right eyes of the viewer based on an image obtained by capturing the parallax image display unit with the imaging device. The stereoscopic image display device according to claim 1, wherein an angle is detected. 前記撮像装置は、ステレオカメラであり、
前記視聴者姿勢検出部は、該ステレオカメラで前記視差画像表示部を撮影した画像における視差を用いて、前記視聴者と前記視差画像表示部との距離を算出することを特徴とする請求項５に記載の立体画像表示装置。 The imaging device is a stereo camera,
The distance between the viewer and the parallax image display unit is calculated using the parallax in an image obtained by photographing the parallax image display unit with the stereo camera. The three-dimensional image display apparatus described in 1. 前記視聴者姿勢検出部は、前記立体視眼鏡に設けられた加速度センサを有し、該加速度センサで検出された加速度に基づいて、視聴者の左右の眼を結ぶ線の傾き角度を検出することを特徴とする請求項１に記載の立体画像表示装置。   The viewer posture detection unit includes an acceleration sensor provided in the stereoscopic glasses, and detects an inclination angle of a line connecting the left and right eyes of the viewer based on the acceleration detected by the acceleration sensor. The stereoscopic image display apparatus according to claim 1, wherein: 所定の視差画像を表示する視差画像表示部と、視聴者が装着して前記視差画像表示部に表示された視差画像を立体視するための立体視眼鏡と、を備える立体画像表示装置における立体画像表示方法であって、
入力された画像情報に基づいて標準視差画像を出力する視差画像出力工程と、
視聴者の左右の眼を結ぶ線の傾き角度を含む視聴者の姿勢情報を検出する視聴者姿勢検出工程と、
前記視聴者の姿勢情報に基づいて前記標準視差画像の視差を調整する視差調整工程と、
前記視差調整工程で得られた視差画像を前記視差画像表示部に表示する視差画像表示工程と、
を備えることを特徴とする立体画像表示方法。 A stereoscopic image in a stereoscopic image display device, comprising: a parallax image display unit that displays a predetermined parallax image; and stereoscopic glasses that are worn by a viewer and displayed stereoscopically on the parallax image displayed on the parallax image display unit Display method,
A parallax image output step of outputting a standard parallax image based on the input image information;
A viewer posture detection step of detecting viewer posture information including an inclination angle of a line connecting the left and right eyes of the viewer;
A parallax adjustment step of adjusting the parallax of the standard parallax image based on the posture information of the viewer;
A parallax image display step of displaying the parallax image obtained in the parallax adjustment step on the parallax image display unit;
A stereoscopic image display method comprising:
JP2010001323A 2010-01-06 2010-01-06 Stereoscopic image display device and stereoscopic image display method Pending JP2011141381A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010001323A JP2011141381A (en) 2010-01-06 2010-01-06 Stereoscopic image display device and stereoscopic image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010001323A JP2011141381A (en) 2010-01-06 2010-01-06 Stereoscopic image display device and stereoscopic image display method

Publications (1)

Publication Number Publication Date
JP2011141381A true JP2011141381A (en) 2011-07-21

Family

ID=44457279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010001323A Pending JP2011141381A (en) 2010-01-06 2010-01-06 Stereoscopic image display device and stereoscopic image display method

Country Status (1)

Country Link
JP (1) JP2011141381A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011165068A (en) * 2010-02-12 2011-08-25 Nec System Technologies Ltd Image generation device, image display system, image generation method, and program
JP2011239128A (en) * 2010-05-10 2011-11-24 Mitsubishi Electric Corp Three-dimensional video display device and three-dimensional video display system
EP2423753A1 (en) 2010-08-25 2012-02-29 Ricoh Company, Ltd. Electrophotographic photoreceptor, and image forming apparatus and process cartridge using same
CN103947199A (en) * 2011-11-16 2014-07-23 株式会社东芝 Image processing device, three-dimensional image display device, image processing method and image processing program
US9477305B2 (en) 2012-03-07 2016-10-25 Fujitsu Limited Stereoscopic image display apparatus and computer-readable recording medium storing program thereon
JP2017163528A (en) * 2015-12-23 2017-09-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Tridimensional rendering with adjustable disparity direction

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302158A (en) * 1994-05-02 1995-11-14 Wacom Co Ltd Information input device
JPH08328170A (en) * 1995-05-31 1996-12-13 Nec Corp Viewpoint follow-up type stereoscopic image display
JPH10113343A (en) * 1996-07-03 1998-05-06 Hitachi Ltd Method, device and system for recognizing action and behavior
JPH1184313A (en) * 1997-09-02 1999-03-26 Minolta Co Ltd Video observation device
JP2001222723A (en) * 2000-02-09 2001-08-17 Gen Tec:Kk Method and device for generating stereoscopic image
JP2001296501A (en) * 2000-04-12 2001-10-26 Nippon Hoso Kyokai <Nhk> Method and device for controlling stereoscopic image display
JP2006084963A (en) * 2004-09-17 2006-03-30 Seiko Epson Corp Stereoscopic image display device
JP2006133665A (en) * 2004-11-09 2006-05-25 Seiko Epson Corp Three-dimensional image display device
JP2006253777A (en) * 2005-03-08 2006-09-21 Seiko Epson Corp Stereoscopic image display device
JP2008146221A (en) * 2006-12-07 2008-06-26 Sony Corp Image display system
JP2009055081A (en) * 2007-08-23 2009-03-12 Sony Corp Wearable automatic imaging apparatus, image tilt correction method, and image tilt correction system and program
JP2009116609A (en) * 2007-11-06 2009-05-28 Sony Corp Operating device, information processing device, operating method, and information processing system
JP2011071898A (en) * 2009-09-28 2011-04-07 Panasonic Corp Stereoscopic video display device and stereoscopic video display method

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302158A (en) * 1994-05-02 1995-11-14 Wacom Co Ltd Information input device
JPH08328170A (en) * 1995-05-31 1996-12-13 Nec Corp Viewpoint follow-up type stereoscopic image display
JPH10113343A (en) * 1996-07-03 1998-05-06 Hitachi Ltd Method, device and system for recognizing action and behavior
JPH1184313A (en) * 1997-09-02 1999-03-26 Minolta Co Ltd Video observation device
JP2001222723A (en) * 2000-02-09 2001-08-17 Gen Tec:Kk Method and device for generating stereoscopic image
JP2001296501A (en) * 2000-04-12 2001-10-26 Nippon Hoso Kyokai <Nhk> Method and device for controlling stereoscopic image display
JP2006084963A (en) * 2004-09-17 2006-03-30 Seiko Epson Corp Stereoscopic image display device
JP2006133665A (en) * 2004-11-09 2006-05-25 Seiko Epson Corp Three-dimensional image display device
JP2006253777A (en) * 2005-03-08 2006-09-21 Seiko Epson Corp Stereoscopic image display device
JP2008146221A (en) * 2006-12-07 2008-06-26 Sony Corp Image display system
JP2009055081A (en) * 2007-08-23 2009-03-12 Sony Corp Wearable automatic imaging apparatus, image tilt correction method, and image tilt correction system and program
JP2009116609A (en) * 2007-11-06 2009-05-28 Sony Corp Operating device, information processing device, operating method, and information processing system
JP2011071898A (en) * 2009-09-28 2011-04-07 Panasonic Corp Stereoscopic video display device and stereoscopic video display method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011165068A (en) * 2010-02-12 2011-08-25 Nec System Technologies Ltd Image generation device, image display system, image generation method, and program
JP2011239128A (en) * 2010-05-10 2011-11-24 Mitsubishi Electric Corp Three-dimensional video display device and three-dimensional video display system
EP2423753A1 (en) 2010-08-25 2012-02-29 Ricoh Company, Ltd. Electrophotographic photoreceptor, and image forming apparatus and process cartridge using same
CN103947199A (en) * 2011-11-16 2014-07-23 株式会社东芝 Image processing device, three-dimensional image display device, image processing method and image processing program
US9477305B2 (en) 2012-03-07 2016-10-25 Fujitsu Limited Stereoscopic image display apparatus and computer-readable recording medium storing program thereon
JP2017163528A (en) * 2015-12-23 2017-09-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Tridimensional rendering with adjustable disparity direction

Similar Documents

Publication Publication Date Title
CN102098524B (en) Tracking type stereo display device and method
KR20110124473A (en) 3-dimensional image generation apparatus and method for multi-view image
JP2009210840A (en) Stereoscopic image display device and method, and program
KR20120016408A (en) Method for processing image of display system outputting 3 dimensional contents and display system enabling of the method
JP4928476B2 (en) Stereoscopic image generating apparatus, method thereof and program thereof
CN211128024U (en) 3D display device
JP4432462B2 (en) Imaging apparatus and method, imaging system
JP2011141381A (en) Stereoscopic image display device and stereoscopic image display method
US20130106843A1 (en) Information processing apparatus, display control method, and program
JP2002232913A (en) Double eye camera and stereoscopic vision image viewing system
JP2010181826A (en) Three-dimensional image forming apparatus
CN110381305A (en) Naked eye 3D&#39;s removes crosstalk method, system, storage medium and electronic equipment
TWI462569B (en) 3d video camera and associated control method
JP2013074473A (en) Panorama imaging apparatus
KR20140135416A (en) Stereo Camera
KR102112491B1 (en) Method for description of object points of the object space and connection for its implementation
JP2012244466A (en) Stereoscopic image processing device
WO2020244273A1 (en) Dual camera three-dimensional stereoscopic imaging system and processing method
JP2011182003A (en) Panorama camera and 360-degree panorama stereoscopic video system
JPH08116556A (en) Image processing method and device
JP5351878B2 (en) Stereoscopic image display apparatus and method, and program
TW201325201A (en) 3-dimensional display which is capable of tracking viewer
WO2023005606A1 (en) Display device and display method therefor
KR102242923B1 (en) Alignment device for stereoscopic camera and method thereof
US20240040220A1 (en) Camera having imaging lenses with varied inter-lens spacings

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140909