JP2010171573A - Three-dimensional image display-imaging device, communication system, and display device - Google Patents

Three-dimensional image display-imaging device, communication system, and display device Download PDF

Info

Publication number
JP2010171573A
JP2010171573A JP2009010627A JP2009010627A JP2010171573A JP 2010171573 A JP2010171573 A JP 2010171573A JP 2009010627 A JP2009010627 A JP 2009010627A JP 2009010627 A JP2009010627 A JP 2009010627A JP 2010171573 A JP2010171573 A JP 2010171573A
Authority
JP
Japan
Prior art keywords
display
dimensional image
imaging
image
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009010627A
Other languages
Japanese (ja)
Inventor
Katsuji Yasui
勝至 保井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Epson Imaging Devices Corp
Original Assignee
Epson Imaging Devices Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Epson Imaging Devices Corp filed Critical Epson Imaging Devices Corp
Priority to JP2009010627A priority Critical patent/JP2010171573A/en
Publication of JP2010171573A publication Critical patent/JP2010171573A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a three-dimensional image display-imaging device, a communication system, and a display device which can alleviate an inconsistency of a movement of an arm or the like of correspondents in a television-phone system using a three-dimensional image. <P>SOLUTION: In a three-dimensional image display-imaging device 1, image pickup devices 60R and 60L take an image of a correspondent PA located in front of a display range 20 from an observing point (right eye observing point VR and left eye observing point VL) set within the display range 20. Therefore, in a three-dimensional figure image PA1 displayed in a three-dimensional image display-imaging device 1 of another correspondent PB, a direction of a visual line and an arm position are in the same state where one correspondent PA actually faces to the other correspondent PB. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、3次元画像の表示および撮像を行なう3次元画像表示・撮像装置、該3次元画像表示・撮像装置を用いた通信システム、および当該3次元画像表示・撮像装置に用いられる表示装置に関するものである。   The present invention relates to a three-dimensional image display / imaging device that displays and captures a three-dimensional image, a communication system using the three-dimensional image display / imaging device, and a display device used in the three-dimensional image display / imaging device. Is.

従来から、テレビ電話やテレビ会議システムなどの通信システムに用いられる画像表示・撮像装置として、表示装置と撮像素子を組み合わせたものが用いられている。このような画像表示・撮像装置では、一般に、図12(a)に示すように、表示装置2の上方に撮像素子60が設置された構成となっている。かかる通信システムにおいて、通信者は、通信中は撮像素子60ではなく表示装置2で表示された画像を見ている。このため、通信相手の視線が下方を向いた状態の画像が表示装置2に映し出されるので、通信者同士は視線を合わせることができないという問題点がある。   2. Description of the Related Art Conventionally, a combination of a display device and an image sensor has been used as an image display / imaging device used in a communication system such as a videophone or a video conference system. In general, such an image display / imaging apparatus has a configuration in which an imaging element 60 is installed above the display apparatus 2 as shown in FIG. In such a communication system, a communicator watches an image displayed on the display device 2 instead of the image sensor 60 during communication. For this reason, an image in a state in which the line of sight of the other party of communication is directed downward is displayed on the display device 2, so that there is a problem that the communication parties cannot align their lines of sight.

このような問題点に対し、特許文献1には、テレビ電話システムに用いられる表示・撮像装置において、透過状態および反射状態に切り換えられる調光ガラスや、透過状態および散乱状態に切り換えられる動的散乱板を用いることにより、液晶パネルの背面側から撮像を行ない、通信者同士の視線を一致させる技術が提案されている。   In order to solve such problems, Patent Document 1 discloses a light control glass that can be switched between a transmission state and a reflection state and a dynamic scattering that can be switched between a transmission state and a scattering state in a display / imaging device used in a videophone system. A technique has been proposed in which imaging is performed from the back side of the liquid crystal panel and the lines of sight of the communicators are matched by using a plate.

特許第2859416号Japanese Patent No. 2859416

一方、画面から立体物が飛び出すように表示する3次元画像表示装置が提案されており、かかる3次元画像表示装置をテレビ電話システムに用いれば更に臨場感を高めることができると考えられる。それには、3次元画像表示装置に撮像素子を追加して3次元画像表示・撮像装置とする必要がある。   On the other hand, a three-dimensional image display device that displays a three-dimensional object so that it pops out from the screen has been proposed, and it is considered that the presence can be further enhanced if such a three-dimensional image display device is used in a videophone system. For this purpose, it is necessary to add an image sensor to the three-dimensional image display device to obtain a three-dimensional image display / image pickup device.

しかしながら、3次元画像を利用したテレビ電話システムでは、特許文献1で掲げられた視線の不一致という問題に加えて、画像で映し出された通信相手の動きと、自分の実際の位置とが一致せず、大きな違和感を感じるという問題がある。例えば、3次元画像表示装置に撮像素子を追加するにあたって、図12(a)に一点鎖線で示すように、表示装置2の下方に右目用画像を得るための撮像素子60Rと、左目用画像を得るための撮像素子60Lとを配置した場合、通信者同士が握手するような動作を行おうとすると、図12(b)、(c)に示すような違和感が発生する。すなわち、図12(b)に示すように、一方の通信者PAが他方の通信者PBの3次元人物画像PB1に向けて腕を伸ばしても、図12(c)に示すように、他方の通信者PBの3次元画像表示・撮像装置1に表示された一方の通信者PAの3次元人物画像PA1を見ると、通信者PBが実際に腕を伸ばした方向と大きく異なる方向に通信者PAの腕が伸びているように見えてしまう。   However, in a videophone system using a three-dimensional image, in addition to the problem of line-of-sight mismatch described in Patent Document 1, the movement of the communication partner displayed in the image does not match the actual position of the communication partner. There is a problem of feeling a great sense of incongruity. For example, when an image sensor is added to a three-dimensional image display device, an image sensor 60R for obtaining a right eye image and a left eye image are displayed below the display device 2 as shown by a dashed line in FIG. When the image pickup device 60L for obtaining is arranged, if an operation is performed such that the communicators shake hands, an uncomfortable feeling as shown in FIGS. 12B and 12C occurs. That is, as shown in FIG. 12B, even if one communicator PA extends his arm toward the three-dimensional person image PB1 of the other communicator PB, as shown in FIG. When the three-dimensional person image PA1 of one of the communication parties PA displayed on the 3D image display / imaging device 1 of the communication person PB is viewed, the communication person PA is in a direction that is significantly different from the direction in which the communication person PB actually extends his arm. It looks like my arms are stretched.

かかる事象に関しては、従来、3次元画像を利用したテレビ電話システムという思想が一切ないため、特許文献1には解決手段が開示されていないだけでなく、課題自身が開示されていない。   Conventionally, there is no idea of a videophone system using a three-dimensional image regarding such an event, so that the solution is not disclosed in Patent Document 1, and the problem itself is not disclosed.

以上の点に鑑みて、本発明の課題は、3次元画像を利用したテレビ電話などの通信システムにおいて通信者同士の腕などの動きの不一致を緩和することができる3次元画像表示・撮像装置、該3次元画像表示・撮像装置を用いた通信システム、および当該3次元画像表示・撮像装置に用いられる表示装置を提供することにある。   In view of the above points, the subject of the present invention is a three-dimensional image display / imaging device that can alleviate inconsistencies in movement of arms of communicators in a communication system such as a videophone using three-dimensional images, It is an object of the present invention to provide a communication system using the three-dimensional image display / imaging device and a display device used for the three-dimensional image display / imaging device.

上記問題を解決するために、本発明に係る3次元画像表示・撮像装置は、3次元画像を表示する表示領域を備えた表示装置と、前記表示領域の前方に位置する被写体の3次元画像用の視差画像を撮像する第1および第2の撮像素子と、を有し、前記第1の撮像素子は、前記表示領域上に設定された第1の位置から前記被写体をみた像を撮像し、前記第2の撮像素子は、前記表示領域上に設定された第2の位置から前記被写体をみた像を撮像することを特徴とする。   In order to solve the above problems, a 3D image display / imaging device according to the present invention is provided with a display device having a display area for displaying a 3D image, and a 3D image of a subject located in front of the display area. First and second imaging elements that capture the parallax image of the first imaging element, the first imaging element captures an image of the subject viewed from a first position set on the display area, The second image pickup device picks up an image of the subject viewed from a second position set on the display area.

本発明では、3次元画像表示・撮像装置の表示領域の前方に位置する一方の通信者を第1および第2の撮像素子で撮像するため、かかる撮像素子で撮像された3次元画像用の視差画像によって、他方の通信者の3次元画像表示・撮像装置において、一方の通信者の像を3次元画像として表示することができる。その際、3次元画像表示・撮像装置では、撮像素子が、表示領域の前方に位置する一方の通信者を表示領域内に設定された視点からみた像を撮像している。このため、通信者相手の3次元画像表示・撮像装置で表示された3次元画像では、視線の向きに加えて、自分の実際の腕の位置と通信相手の画像の腕の位置とが一致あるいは略一致する。このため、3次元画像を利用したテレビ電話などの通信システムにおいて、違和感のない3次元画像を映し出すことができる。   In the present invention, one communicator located in front of the display area of the three-dimensional image display / imaging device is imaged by the first and second imaging elements, and thus the parallax for the three-dimensional image captured by the imaging element. The image of one communicator can be displayed as a three-dimensional image on the other communicator's three-dimensional image display / imaging device. At that time, in the three-dimensional image display / imaging apparatus, the imaging element captures an image of one communicator positioned in front of the display area as viewed from the viewpoint set in the display area. For this reason, in the 3D image displayed on the 3D image display / imaging device of the communication partner, in addition to the direction of the line of sight, the actual arm position matches the arm position of the communication partner image or It almost agrees. For this reason, in a communication system such as a videophone using a three-dimensional image, it is possible to project a three-dimensional image without a sense of incongruity.

本発明において、前記第1の位置と前記第2の位置は、前記表示領域を左右に2等分する垂直線を中心とする対称位置に設定されていることが好ましい。通常、3次元画像表示・撮像装置の表示領域では、通信相手の画像が左右方向における略中央位置に表示される。このため、第1の位置と第2の位置とを表示領域を左右に2等分する垂直線を中心とする対称位置に設定すれば、3次元画像表示・撮像装置には、通信相手の3次元画像が自然な感じで表示されるとともに、通信相手が腕を動かした際、3次元画像における通信相手の腕の位置と、自分の腕の実際の位置との関係が自然である。   In the present invention, it is preferable that the first position and the second position are set to symmetrical positions around a vertical line that bisects the display region into left and right. Usually, in the display area of the three-dimensional image display / imaging device, the image of the communication partner is displayed at a substantially central position in the left-right direction. For this reason, if the first position and the second position are set to symmetrical positions around a vertical line that bisects the display area in the left and right directions, the 3D image display / imaging apparatus has 3 communication partners. The three-dimensional image is displayed with a natural feeling, and when the communication partner moves his / her arm, the relationship between the position of the communication partner's arm in the three-dimensional image and the actual position of his / her arm is natural.

本発明において、前記第1の位置および前記第2の位置は、前記表示領域を上下に2等分する水平線から上方にずれた位置に設定されていることが好ましい。通常、3次元画像表示・撮像装置の表示領域では、通信相手の目が上下方向の中央よりやや上方位置に表示される。従って、右目視点および左目視点を表示領域のやや上方に設定すれば、3次元画像表示・撮像装置には、通信相手の3次元画像が自然な感じで表示されるとともに、通信相手が腕を動かした際、3次元画像における通信相手の腕の位置と、自分の腕の実際の位置との関係が自然である。   In the present invention, it is preferable that the first position and the second position are set at positions shifted upward from a horizontal line that bisects the display region into two equal parts. Usually, in the display area of the three-dimensional image display / imaging device, the eyes of the communication partner are displayed at a position slightly above the center in the vertical direction. Therefore, if the right eye viewpoint and the left eye viewpoint are set slightly above the display area, the 3D image of the communication partner is displayed with a natural feeling on the 3D image display / imaging device, and the communication partner moves his / her arm. In this case, the relationship between the position of the arm of the communication partner in the three-dimensional image and the actual position of his / her arm is natural.

本発明において、前記第1の位置および前記第2の位置は、前記表示領域に前記3次元画像として表示された3次元人物画像と重なる位置に設定されていることが好ましい。このように構成すると、3次元画像表示・撮像装置には、通信相手の3次元画像が自然な感じで表示されるとともに、通信相手が腕を動かした際、3次元画像における通信相手の腕の位置と、自分の腕の実際の位置との関係が自然である。   In the present invention, it is preferable that the first position and the second position are set at positions that overlap with a three-dimensional human image displayed as the three-dimensional image in the display area. With this configuration, the 3D image display / imaging device displays the 3D image of the communication partner with a natural feeling, and when the communication partner moves the arm, the communication partner's arm in the 3D image is displayed. The relationship between the position and the actual position of my arm is natural.

本発明において、前記第1の位置は、前記3次元人物画像の右目と重なる位置に設定され、前記第2の位置は、前記3次元人物画像の左目と重なる位置に設定されていることが好ましい。このように構成すると、3次元画像表示・撮像装置には、通信相手の3次元画像が自然な感じで表示されるとともに、通信相手が腕を動かした際、3次元画像における通信相手の腕の位置と、自分の腕の実際の位置との関係が自然である。   In the present invention, it is preferable that the first position is set to a position overlapping the right eye of the three-dimensional human image, and the second position is set to a position overlapping the left eye of the three-dimensional human image. . With this configuration, the 3D image display / imaging device displays the 3D image of the communication partner with a natural feeling, and when the communication partner moves the arm, the communication partner's arm in the 3D image is displayed. The relationship between the position and the actual position of my arm is natural.

本発明において、前記撮像素子は、前記表示領域の背面から前記被写体を撮像する構成を採用することができる。かかる構成を採用すれば、光路を簡素化することができるので、3次元画像表示・撮像装置の小型化を図ることができる。   In the present invention, the imaging device may employ a configuration for imaging the subject from the back of the display area. By adopting such a configuration, the optical path can be simplified, so that the three-dimensional image display / imaging apparatus can be reduced in size.

本発明において、前記表示領域および前記撮像素子のうちの一方の要素は、前記被写体に対面する位置に配置されているとともに、他方の要素は前記被写体に対面する位置からずれた位置に配置され、前記被写体と前記一方の要素との間には、前記被写体と前記一方の要素とを結ぶ光路から前記被写体と前記他方の要素とを結ぶ光路を分離するためのハーフミラーが配置されている構成を採用することができる。かかる構成を採用すれば、表示領域には、撮像光路を確保することがない。従って、表示領域上の視点を表示領域上のいずれの位置に設定しても、画像の品位を低下させることがない。それ故、右目視点を3次元人物画像の右目と重なる位置に設定し、左目視点を3次元人物画像の左目と重なる位置に設定するなど、撮像光路の視点を表示領域上の最適位置に設定することができる。   In the present invention, one element of the display area and the image sensor is disposed at a position facing the subject, and the other element is disposed at a position shifted from the position facing the subject, A half mirror is disposed between the subject and the one element to separate an optical path connecting the subject and the other element from an optical path connecting the subject and the one element. Can be adopted. If such a configuration is adopted, an imaging optical path is not secured in the display area. Therefore, even if the viewpoint on the display area is set to any position on the display area, the quality of the image is not deteriorated. Therefore, the viewpoint of the imaging optical path is set to the optimum position on the display area, for example, the right eye viewpoint is set to a position overlapping the right eye of the 3D human image, and the left eye viewpoint is set to a position overlapping the left eye of the 3D human image. be able to.

本発明において、前記表示装置としては、前記表示領域を構成する表示パネルを有する直視型表示装置を用いることができる。例えば、前記表示装置としては、前記表示パネルとして液晶パネルを備えた液晶表示装置を用いることができる。また、本発明において、前記表示装置としては、前記表示パネルとして有機エレクトロルミネッセンスパネルを備えた有機エレクトロルミネッセンス表示装置や、前記表示パネルとしてプラズマ表示パネルを備えたプラズマ表示装置などを用いることもできる。   In the present invention, as the display device, a direct-view display device having a display panel constituting the display area can be used. For example, as the display device, a liquid crystal display device including a liquid crystal panel as the display panel can be used. In the present invention, as the display device, an organic electroluminescence display device including an organic electroluminescence panel as the display panel, a plasma display device including a plasma display panel as the display panel, and the like can be used.

かかる直視型表示装置を用いた場合に、3次元画像を表示するには、固定バリア方式、可変バリア方式、レンティキュラーレンズ方式、偏光フィルター方式などを用いることができる。固定バリア方式を採用した場合、前記表示装置は、前記表示領域を前面側で覆うパララックスバリアを備えている。可変バリア方式を採用した場合、前記表示装置は、前記表示領域を前面側で覆う状態に配置され可変バリア装置を備え、当該可変バリア装置では、入射光を透過させる透過状態と、前記表示領域と重なるパララックスバリアを表示するバリア状態とが実行される。レンティキュラーレンズ方式を採用した場合、前記表示装置は、前記前記表示領域を前面側で覆うレンティキュラーレンズシートを備えている。偏光フィルター方式を採用した場合、前記表示装置は、前記表示領域を前面側で覆う偏光フィルターを備え、当該偏光フィルターは、前記表示パネルの水平方向の画素配列における奇数列に対応させて配列されている第1の微細偏光素子と、前記画素配列における偶数列に対応させて配列されている第2の微細偏光素子を備え、前記第1の微細偏光素子と前記第2の微細偏光素子を通過する光の偏光方向が異なる構成を有する。   When such a direct-view display device is used, a fixed barrier method, a variable barrier method, a lenticular lens method, a polarizing filter method, or the like can be used to display a three-dimensional image. When the fixed barrier method is employed, the display device includes a parallax barrier that covers the display area on the front side. When the variable barrier method is employed, the display device includes a variable barrier device that is disposed in a state of covering the display region on the front side, and the variable barrier device includes a transmission state that transmits incident light, and the display region. A barrier state displaying overlapping parallax barriers is executed. When the lenticular lens method is employed, the display device includes a lenticular lens sheet that covers the display area on the front side. When the polarization filter method is adopted, the display device includes a polarization filter that covers the display area on the front side, and the polarization filter is arranged in correspondence with the odd-numbered columns in the horizontal pixel arrangement of the display panel. A first micro-polarizing element and a second micro-polarizing element arranged corresponding to an even number column in the pixel arrangement, and pass through the first micro-polarizing element and the second micro-polarizing element. It has a configuration in which the polarization direction of light is different.

本発明において、前記表示装置としては、前記表示領域を構成する被投射部材と、該被投射部材に3次元画像を投射表示するプロジェクターと、を備えた投射型表示装置を用いることもできる。かかる投射型表示装置としては、前記プロジェクターとして、前記右目用画像光および前記左目用画像光を交互に投射する1台のプロジェクター、あるいは1ライン置きに右目用画像光と左目用画像光とを出射する1台のプロジェクターを備えている構成を採用することができる。また、投射型表示装置としては、前記プロジェクターとして、右目用画像光および左目用画像光を各々投射する左右1組のプロジェクターを備え、前記右目用画像光と前記左目用画像光の偏光方向が異なる構成を採用することができる。   In the present invention, as the display device, a projection type display device including a projection member that constitutes the display area and a projector that projects and displays a three-dimensional image on the projection member can also be used. As such a projection display device, as the projector, one projector that alternately projects the right-eye image light and the left-eye image light, or right-eye image light and left-eye image light are emitted every other line. It is possible to employ a configuration including one projector that performs the above-described process. The projection display device includes a pair of right and left projectors that project right-eye image light and left-eye image light as the projector, and the polarization directions of the right-eye image light and the left-eye image light are different. A configuration can be employed.

本発明を適用した3次元画像表示・撮像装置は、3次元画像表示・撮像装置同士が回線を介して第2の表示装置と接続された通信システムに用いることができる。この場合、前記3次元画像表示・撮像装置の前記撮像素子により撮像された画像が、前記第2の表示装置によって3次元画像として表示される。   The three-dimensional image display / imaging device to which the present invention is applied can be used in a communication system in which three-dimensional image display / imaging devices are connected to a second display device via a line. In this case, an image captured by the image sensor of the three-dimensional image display / imaging device is displayed as a three-dimensional image by the second display device.

本発明を適用した3次元画像表示・撮像装置は、3次元画像表示・撮像装置同士が回線を介して接続された通信システムに用いることができる。この場合、前記3次元画像表示・撮像装置同士の間では、一方の3次元画像表示・撮像装置の前記撮像素子により撮像された画像が他方の3次元画像表示・撮像装置の前記表示装置によって3次元画像として表示され、他方の3次元画像表示・撮像装置の前記撮像素子により撮像された画像が一方の3次元画像表示・撮像装置の前記表示装置によって3次元画像として表示される。   The three-dimensional image display / imaging apparatus to which the present invention is applied can be used in a communication system in which three-dimensional image display / imaging apparatuses are connected to each other via a line. In this case, between the 3D image display / imaging devices, an image captured by the imaging element of one 3D image display / imaging device is displayed by the display device of the other 3D image display / imaging device. An image displayed as a three-dimensional image and captured by the image sensor of the other three-dimensional image display / imaging device is displayed as a three-dimensional image by the display device of one of the three-dimensional image display / imaging devices.

また、本発明の通信システムでは、前記3次元画像表示・撮像装置は、マイクおよびスピーカーを備え、前記3次元画像表示・撮像装置同士の間では、一方の3次元画像表示・撮像装置の前記スピーカーに入力された音声が他方の3次元画像表示・撮像装置の前記スピーカーによって再生され、他方の3次元画像表示・撮像装置の前記スピーカーに入力された音声が一方の3次元画像表示・撮像装置の前記スピーカーによって再生される。   In the communication system of the present invention, the three-dimensional image display / imaging device includes a microphone and a speaker, and the speaker of one of the three-dimensional image display / imaging devices is between the three-dimensional image display / imaging devices. Is reproduced by the speaker of the other 3D image display / imaging apparatus, and the audio input to the speaker of the other 3D image display / imaging apparatus is reproduced by the other 3D image display / imaging apparatus. Played by the speaker.

本発明において、前記撮像素子が前記表示領域の背面から前記被写体を撮像する構成を採用する場合、表示装置は以下の構成を有することを特徴とする。   In the present invention, when the imaging device adopts a configuration in which the subject is imaged from the back of the display area, the display device has the following configuration.

まず、本発明に係る表示装置は、3次元画像を表示する表示領域を備えた表示パネルを有し、前記表示領域には、少なくとも当該表示パネルの前記表示領域の背面側に配置された3次元画像撮像用の撮像素子によって前記表示領域の正面に位置する被写体を撮像する際、撮像光路が構成されることを特徴とする。   First, a display device according to the present invention includes a display panel having a display area for displaying a three-dimensional image, and the display area includes at least a three-dimensional display arranged on the back side of the display area of the display panel. An imaging optical path is configured when imaging an object located in front of the display area by an imaging device for imaging.

また、本発明の別の形態に係る表示装置は、3次元画像を表示する表示領域を備えた液晶パネルと、当該液晶パネルの背面側に対向配置された導光板、および該導光板に光を供給するバックライト用光源を備えたバックライト装置と、を有し、前記表示領域には、少なくとも当該表示領域の背面側に配置された3次元画像撮像用の撮像素子によって前記表示領域の正面に位置する被写体を撮像する際、撮像光路が構成され、前記導光板には、前記撮像光路を介して前記被写体を撮像するための穴あるいは透光部が構成されていることを特徴とする。   A display device according to another aspect of the present invention includes a liquid crystal panel having a display area for displaying a three-dimensional image, a light guide plate disposed opposite to the back side of the liquid crystal panel, and light to the light guide plate. A backlight device including a backlight light source to be supplied, and at least a three-dimensional image capturing element disposed on the back side of the display area in front of the display area in the display area. An imaging optical path is configured when imaging a positioned subject, and a hole or a translucent portion for imaging the subject is configured in the light guide plate through the imaging optical path.

また、本発明の別の形態に係る表示装置は、3次元画像を表示する表示領域を備えた液晶パネルと、当該液晶パネルの背面側に対向配置された導光板、および該導光板に光を供給するバックライト用光源を備えたバックライト装置と、を有し、前記表示領域には、少なくとも前記導光板において前記表示領域と重なる領域の背面側に配置された3次元画像撮像用の撮像素子によって前記表示領域の正面に位置する被写体を撮像する際、撮像光路が構成され、前記導光板では、前記液晶パネルに光を出射する光散乱モードと、前記撮像光路を介して前記被写体を撮像するための透光モードと、が実行されることを特徴とする。かかる構成によれば、表示領域の背面から被写体を撮像する構成を採用した場合でも、導光板に対して撮像光路や撮像素子を設けるための特殊な構造を採用する必要がないので、品位の高い画像を表示することができる。   A display device according to another aspect of the present invention includes a liquid crystal panel having a display area for displaying a three-dimensional image, a light guide plate disposed opposite to the back side of the liquid crystal panel, and light to the light guide plate. A backlight device including a backlight light source to be supplied, and the display area includes at least a back surface of an area overlapping with the display area in the light guide plate. When imaging a subject located in front of the display area, an imaging optical path is configured, and the light guide plate captures the subject through a light scattering mode in which light is emitted to the liquid crystal panel and the imaging optical path. And a translucent mode is executed. According to such a configuration, even when a configuration in which a subject is imaged from the back of the display area is employed, it is not necessary to employ a special structure for providing an imaging optical path and an imaging element with respect to the light guide plate. An image can be displayed.

また、本発明の別の形態に係る表示装置は、表示領域を構成する被投射部材と、当該被投射部材の前記表示領域に3次元画像を投射表示するプロジェクターと、を有し、前記被投射部材は、当該被投射部材の背面側に配置された3次元画像撮像用の撮像素子から前記被投射部材の正面に位置する被写体を撮像可能とする透光部を備えていることを特徴とする。   In addition, a display device according to another aspect of the present invention includes a projection member that forms a display area, and a projector that projects and displays a three-dimensional image on the display area of the projection member, and the projection target The member includes a light-transmitting portion that can image a subject located in front of the projection member from an imaging element for capturing a three-dimensional image arranged on the back side of the projection member. .

本発明の実施の形態1に係る3次元画像表示・撮像装置、および通信システムの説明図である。It is explanatory drawing of the three-dimensional image display and imaging device which concerns on Embodiment 1 of this invention, and a communication system. 本発明の実施の形態1に係る3次元画像表示・撮像装置において、表示装置2として用いた液晶表示装置の説明図である。FIG. 3 is an explanatory diagram of a liquid crystal display device used as the display device 2 in the three-dimensional image display / imaging device according to Embodiment 1 of the present invention. 図2に示す表示装置に用いたバックライト装置の説明図である。It is explanatory drawing of the backlight apparatus used for the display apparatus shown in FIG. 図2に示す表示装置に用いたバックライト装置の導光板の説明図である。It is explanatory drawing of the light-guide plate of the backlight apparatus used for the display apparatus shown in FIG. 本発明の実施の形態1に係る3次元画像表示・撮像装置において、表示装置として用いた別の液晶表示装置の説明図である。It is explanatory drawing of another liquid crystal display device used as a display apparatus in the three-dimensional image display and imaging device which concerns on Embodiment 1 of this invention. 図5(a)に示す表示装置に用いたバックライト装置の動作を示す説明図である。It is explanatory drawing which shows operation | movement of the backlight apparatus used for the display apparatus shown to Fig.5 (a). 図1に示す3次元画像表示・撮像装置に用いた表示装置において3次元画像を表示するための光学部材の説明図である。It is explanatory drawing of the optical member for displaying a three-dimensional image in the display apparatus used for the three-dimensional image display and imaging device shown in FIG. 本発明の実施の形態2に係る3次元画像表示・撮像装置の説明図である。It is explanatory drawing of the three-dimensional image display and imaging device which concerns on Embodiment 2 of this invention. 図8に示す3次元画像表示・撮像装置に用いた表示装置において3次元画像を表示するための光学部材の説明図である。It is explanatory drawing of the optical member for displaying a three-dimensional image in the display apparatus used for the three-dimensional image display and imaging device shown in FIG. 本発明の実施の形態3に係る3次元画像表示・撮像装置の説明図である。It is explanatory drawing of the three-dimensional image display and imaging device which concerns on Embodiment 3 of this invention. 本発明を適用した3次元画像表示・撮像装置を搭載した電子機器の説明図である。It is explanatory drawing of the electronic device carrying the three-dimensional image display and imaging device to which this invention is applied. 本発明の比較例に係る3次元画像表示・撮像装置、および通信システムの説明図である。It is explanatory drawing of the three-dimensional image display and imaging device which concerns on the comparative example of this invention, and a communication system.

図面を参照して、本発明の実施の形態を説明する。なお、以下の説明では、図12を参照して説明した構成との対応関係が分りやすいように、対応する部分には同一の符号を付して説明する。   Embodiments of the present invention will be described with reference to the drawings. In the following description, the same reference numerals are given to the corresponding portions so that the correspondence with the configuration described with reference to FIG. 12 can be easily understood.

[実施形態1]
(全体構成)
図1は、本発明の実施の形態1に係る3次元画像表示・撮像装置、および通信システムの説明図であり、図1(a)、(b)、(c)は各々、3次元画像表示・撮像装置の説明図、この3次元画像表示・撮像装置を用いた通信システムの一方の通信者の様子を示す説明図、および他方の通信者の様子を示す説明図である。
[Embodiment 1]
(overall structure)
FIG. 1 is an explanatory diagram of a three-dimensional image display / imaging apparatus and a communication system according to Embodiment 1 of the present invention. FIGS. 1 (a), (b), and (c) are respectively three-dimensional image displays. FIG. 4 is an explanatory diagram of an imaging device, an explanatory diagram showing a state of one communicator of a communication system using the three-dimensional image display / imaging device, and an explanatory diagram showing a state of the other communicator.

図1において、3次元画像表示・撮像装置1は、3次元画像を表示する表示領域20を備えた表示装置2と、表示領域20の前方に位置する被写体(通信者PA、PB)を3次元画像用に撮像する右目用および左目用の撮像素子60R、60Lとを有している。本形態において、表示装置2は、表示パネル100を備えた直視型表示装置であり、かかる表示装置2としては、表示パネル100として液晶パネルを備えた液晶表示装置や、表示パネル100として有機エレクトロルミネッセンスパネルを備えた有機エレクトロルミネッセンス表示装置などを用いることができる。撮像素子60R、60Lとしては、例えばCCDやCMOSなどを用いることができる。   In FIG. 1, a three-dimensional image display / imaging device 1 displays a display device 2 having a display area 20 for displaying a three-dimensional image and a subject (communications PA, PB) positioned in front of the display area 20 in three dimensions. It has image sensors 60R and 60L for the right eye and the left eye that capture images. In this embodiment, the display device 2 is a direct-view type display device provided with a display panel 100. As the display device 2, a liquid crystal display device provided with a liquid crystal panel as the display panel 100, or an organic electroluminescence as the display panel 100. An organic electroluminescence display device including a panel can be used. As the image sensors 60R and 60L, for example, a CCD, a CMOS, or the like can be used.

本形態において、右目用および左目用の撮像素子60R、60Lはいずれも、表示パネル100の表示領域20の背面側に配置されており、表示パネル100を介して表示領域20の前方に位置する被写体(通信者PA、PB)を撮像する。従って、右目用の撮像素子60Rは、表示領域20上に設定された右目視点VR(第1の位置)から被写体をみた像を撮像し、左目用の撮像素子60Lは、表示領域上に設定された左目視点VL(第2の位置)から被写体をみた像を撮像することになる。   In the present embodiment, the right-eye and left-eye imaging devices 60R and 60L are both arranged on the back side of the display area 20 of the display panel 100, and the subject is positioned in front of the display area 20 via the display panel 100. (Communicators PA, PB) are imaged. Accordingly, the image sensor 60R for the right eye captures an image of the subject viewed from the right eye viewpoint VR (first position) set on the display area 20, and the image sensor 60L for the left eye is set on the display area. An image of the subject viewed from the left eye viewpoint VL (second position) is taken.

このように構成した3次元画像表示・撮像装置1は、回線3を介して接続されたテレビ電話システムなどの通信システムに用いられている。このため、3次元画像表示・撮像装置1同士の間では、一方の通信者PAの3次元画像表示・撮像装置1の撮像素子60R、60Lにより撮像された画像が他方の通信者PBの3次元画像表示・撮像装置1の表示装置2によって3次元人物画像PA1として表示される。また、他方の通信者PBの3次元画像表示・撮像装置1の撮像素子60R、60Lにより撮像された画像が一方の通信者PAの3次元画像表示・撮像装置の表示装置2によって3次元人物画像PB1として表示される。   The three-dimensional image display / imaging apparatus 1 configured as described above is used in a communication system such as a videophone system connected via a line 3. For this reason, between the three-dimensional image display / imaging devices 1, the images captured by the imaging elements 60 </ b> R and 60 </ b> L of the three-dimensional image display / imaging device 1 of one communicator PA are the three-dimensional images of the other communicator PB. The image is displayed as a three-dimensional human image PA1 by the display device 2 of the image display / imaging device 1. In addition, an image captured by the imaging elements 60R and 60L of the other communication person PB's 3D image display / imaging apparatus 1 is converted into a 3D human image by the display apparatus 2 of the 3D image display / imaging apparatus of one communication party PA. Displayed as PB1.

また、3次元画像表示・撮像装置1は、マイクおよびスピーカー(図示せず)を備えている。このため、3次元画像表示・撮像装置1同士の間では、一方の通信者PAの3次元画像表示・撮像装置1のスピーカーに入力された音声が他方の通信者PBの3次元画像表示・撮像装置1のスピーカーによって再生される。また、他方の通信者PBの3次元画像表示・撮像装置1の記スピーカーに入力された音声が一方の通信者PAの3次元画像表示・撮像装置1のスピーカーによって再生される。   The three-dimensional image display / imaging device 1 includes a microphone and a speaker (not shown). Therefore, between the 3D image display / imaging devices 1, the voice input to the speaker of the 3D image display / imaging device 1 of one communicator PA is displayed and captured by the other communicator PB. It is reproduced by the speaker of the device 1. In addition, the voice input to the speaker of the other communicator PB's 3D image display / imaging device 1 is reproduced by the speaker of the 3D image display / imaging device 1 of one communicator PA.

(視点位置)
このように構成した3次元画像表示・撮像装置1において、本形態において、右目視点VRと左目視点VLは、表示領域20を左右に2等分する垂直線20vを中心とする対称位置に設定されている。また、右目視点VRおよび左目視点VLは、表示領域20を上下に2等分する水平線20hから上方にずれた位置に設定され、表示領域20に3次元画像として表示された通信相手の3次元人物画像PA1、PB1の目と略同じ高さ位置に設定されている。
(Viewpoint position)
In the three-dimensional image display / imaging apparatus 1 configured as described above, in the present embodiment, the right eye viewpoint VR and the left eye viewpoint VL are set at symmetrical positions around a vertical line 20v that bisects the display area 20 into left and right. ing. The right-eye viewpoint VR and the left-eye viewpoint VL are set at positions shifted upward from a horizontal line 20h that divides the display area 20 into two equal parts, and are displayed as three-dimensional images of the communication partner displayed in the display area 20 as a three-dimensional image. It is set at a height position substantially the same as the eyes of the images PA1 and PB1.

ここで、右目視点VRおよび左目視点VLは、表示領域20に表示された3次元人物画像PA1、PB1と重なる位置に設定されていることが好ましく、右目視点VRおよび左目視点VLは、表示領域20に表示された3次元人物画像PA1、PB1の右目および左面と重なる位置に設定されていることが好ましい。但し、表示領域20に対して、撮像素子60R、60Lの撮像光路を確保した場合に、撮像光路に相当する部分では表示品位が低下する。そこで、本形態では、右目視点VRおよび左目視点VLを3次元人物画像PA1、PB1からずれた位置に設定されている。   Here, the right eye viewpoint VR and the left eye viewpoint VL are preferably set at positions that overlap with the three-dimensional person images PA1 and PB1 displayed in the display area 20, and the right eye viewpoint VR and the left eye viewpoint VL are displayed in the display area 20. Is preferably set at a position overlapping the right eye and the left face of the three-dimensional person images PA1 and PB1 displayed in FIG. However, when the imaging optical paths of the imaging elements 60R and 60L are secured with respect to the display area 20, the display quality deteriorates in the portion corresponding to the imaging optical path. Therefore, in this embodiment, the right eye viewpoint VR and the left eye viewpoint VL are set at positions shifted from the three-dimensional person images PA1 and PB1.

(本形態の主な効果)
このように構成した3次元画像表示・撮像装置1では、一方の通信者PAの3次元画像表示・撮像装置1では、撮像素子60R、60Lが、表示領域20の前方に位置する一方の通信者PAを表示領域20内に設定された第1の位置および第2の位置(右目視点VRおよび左目視点VL)からみた視差画像を撮像している。このため、他方の通信者PBの3次元画像表示・撮像装置1で表示された3次元人物画像PA1では、視線の向きや腕の位置などが、一方の通信者PAが他方の通信者PBと実際に対面しているのと同じ状態にある。
(Main effects of this form)
In the 3D image display / imaging apparatus 1 configured as described above, in the 3D image display / imaging apparatus 1 of one communicator PA, the image sensors 60R and 60L are one communicator positioned in front of the display area 20. A parallax image obtained by viewing PA from the first position and the second position (the right eye viewpoint VR and the left eye viewpoint VL) set in the display area 20 is captured. For this reason, in the 3D human image PA1 displayed on the 3D image display / imaging device 1 of the other communicator PB, the direction of the line of sight, the position of the arm, etc. are different from the other communicator PB. It is in the same state as actually meeting.

かかる処理は、他方の通信者の3次元画像表示・撮像装置でも同様に行なわれる。すなわち、他方の通信者PBの3次元画像表示・撮像装置1では、撮像素子60R、60Lが、表示領域20の前方に位置する他方の通信者PBを表示領域20内に設定された視点(右目視点VRおよび左目視点VL)からみた視差画像を撮像している。このため、一方の通信者PAの3次元画像表示・撮像装置1で表示された3次元人物画像PB1では、視線の向きや腕の位置などが、他方の通信者PBが一方の通信者PAと実際に対面しているのと同じ状態にある。   Such processing is similarly performed in the other communicator's three-dimensional image display / imaging device. That is, in the three-dimensional image display / imaging device 1 of the other communicator PB, the imaging elements 60R and 60L have the viewpoint (right eye) set in the display area 20 with the other communicator PB positioned in front of the display area 20. A parallax image viewed from the viewpoint VR and the left eye viewpoint VL) is captured. Therefore, in the three-dimensional human image PB1 displayed on the three-dimensional image display / imaging device 1 of one communicator PA, the direction of the line of sight, the position of the arm, etc. It is in the same state as actually meeting.

従って、一方の通信者PAおよび他方の通信者PBが、3次元人物画像PA1、PB1に向かって腕を伸ばして握手しようとする動作を行なった際、一方の通信者PA1の腕の実際の位置と他方の通信者PBの3次元人物画像PB1における腕の位置とが略一致する。また、他方の通信者PBの腕の実際の位置と一方の通信者PAの3次元人物画像PA1における腕の位置とが略一致している。このため、違和感のない3次元画像での双方向通信を行なうことができる。   Therefore, when one communicator PA and the other communicator PB perform an operation of extending their arms toward the three-dimensional person images PA1 and PB1, the actual positions of the arms of the one communicator PA1. And the position of the arm in the three-dimensional person image PB1 of the other communicator PB substantially match. Further, the actual position of the arm of the other communicator PB and the position of the arm of the one communicator PA in the three-dimensional person image PA1 substantially coincide. For this reason, two-way communication with a three-dimensional image without a sense of incongruity can be performed.

また、本形態の3次元画像表示・撮像装置1において、右目視点VRと左目視点VLは、表示領域20を左右に2等分する垂直線20vを中心とする対称位置に設定されている。通常、3次元画像表示・撮像装置1の表示領域20では、通信相手の画像が左右方向における略中央位置に表示される。このため、右目視点VRと左目視点VLとを表示領域20を左右に2等分する垂直線を中心とする対称位置に設定すれば、3次元画像表示・撮像装置1には、通信相手の3次元画像が自然な感じで表示されるとともに、通信相手が腕を動かした際、3次元画像における通信相手の腕の位置と、自分の腕の実際の位置との関係が自然である。   Further, in the three-dimensional image display / imaging apparatus 1 of the present embodiment, the right eye viewpoint VR and the left eye viewpoint VL are set at symmetrical positions around a vertical line 20v that bisects the display area 20 to the left and right. Usually, in the display area 20 of the three-dimensional image display / imaging device 1, the image of the communication partner is displayed at a substantially central position in the left-right direction. For this reason, if the right eye viewpoint VR and the left eye viewpoint VL are set to symmetrical positions around a vertical line that bisects the display area 20 to the left and right, the three-dimensional image display / imaging apparatus 1 has three communication partners. The three-dimensional image is displayed with a natural feeling, and when the communication partner moves his / her arm, the relationship between the position of the communication partner's arm in the three-dimensional image and the actual position of his / her arm is natural.

また、本形態の3次元画像表示・撮像装置1において、右目視点VRと左目視点VLは、表示領域20を上下に2等分する水平線20hよりやや上方に設定されている。通常、3次元画像表示・撮像装置1の表示領域20では、通信相手の目が上下方向の中央よりやや上方位置に表示される。従って、右目視点VRおよび左目視点VLを表示領域20のやや上方に設定すれば、3次元画像表示・撮像装置1には、通信相手の3次元画像が自然な感じで表示されるとともに、通信相手が腕を動かした際、3次元画像における通信相手の腕の位置と、自分の腕の実際の位置との関係が自然である。   In the three-dimensional image display / imaging device 1 of the present embodiment, the right eye viewpoint VR and the left eye viewpoint VL are set slightly above the horizontal line 20h that divides the display area 20 into two equal parts. Usually, in the display area 20 of the three-dimensional image display / imaging device 1, the eyes of the communication partner are displayed at a position slightly above the center in the vertical direction. Accordingly, if the right eye viewpoint VR and the left eye viewpoint VL are set slightly above the display area 20, the 3D image of the communication partner is displayed with a natural feeling on the 3D image display / imaging device 1, and the communication partner is displayed. When the arm moves, the relationship between the position of the arm of the communication partner in the three-dimensional image and the actual position of his / her arm is natural.

また、右目視点VRおよび左目視点VLを3次元画像として表示された3次元人物画像と重なる位置、好ましくは、右目視点VRを3次元人物画像の右目と重なる位置に設定し、左目視点VLを3次元人物画像の左目と重なる位置に設定すれば、3次元画像における通信相手の腕の位置と、自分の腕の実際の位置との違和感を大幅に解消することができる。   Further, the right eye viewpoint VR and the left eye viewpoint VL are set to a position overlapping the 3D human image displayed as a 3D image, preferably the right eye viewpoint VR is set to a position overlapping the right eye of the 3D human image, and the left eye viewpoint VL is set to 3 If the position is set so as to overlap the left eye of the three-dimensional human image, the sense of discomfort between the position of the arm of the communication partner in the three-dimensional image and the actual position of the user's own arm can be largely eliminated.

(表示装置2の具体的構成例1)
図2は、本発明の実施の形態1に係る3次元画像表示・撮像装置1において、表示装置2として用いた液晶表示装置の説明図であり、図2(a)、(b)は各々、液晶表示装置の説明図、および電気的構成を示すブロック図である。
(Specific configuration example 1 of the display device 2)
FIG. 2 is an explanatory diagram of a liquid crystal display device used as the display device 2 in the three-dimensional image display / imaging device 1 according to Embodiment 1 of the present invention, and FIGS. It is explanatory drawing of a liquid crystal display device, and a block diagram which shows an electric structure.

図2(a)に示す表示装置2は、表示パネル100としての液晶パネル120と、液晶パネル120の表示領域20の背面側に配置されたバックライト装置150とを備えた液晶表示装置である。   A display device 2 shown in FIG. 2A is a liquid crystal display device including a liquid crystal panel 120 as the display panel 100 and a backlight device 150 arranged on the back side of the display area 20 of the liquid crystal panel 120.

液晶パネル120は、一対の基板101、102がシール材103を介して貼り合わされた構造を有し、基板101、102の間には液晶104が封入されている。基板101の内面上には、表示領域20における1ドットのサブ画素毎に画素電極105が形成されており、基板102の内面上には、カラーフィルターたるRGBの各色の着色層106、および対向電極107が形成されている。RGBの各色の着色層106は、画素電極105に対応する位置に形成され、対向電極107は、基板102の略全面に形成されている。ここで、液晶パネル120は透過型液晶パネルであり、一対の基板101、102はいずれも、ガラス基板などの透光性基板からなる。また、画素電極105および対向電極107はいずれも、ITOなどの透光性導電膜からなる。かかる液晶パネル120は、アクティブマトリクス型液晶パネルであり、公知の液晶駆動方法により表示駆動される。例えば、液晶パネル120における基板101の内面上に、複数の走査線やデータ線をマトリクス状に配置し、各走査線と各データ線の交点に対応する位置にTFT素子などのスイッチング素子を設ける。また、走査線とデータ線との交点に対応する位置にサブ画素を構成し、サブ画素毎に画素電極105を設けてスイッチング素子と電気的に接続する。そして、各データ線および各走査線の一端をそれぞれデータ線駆動回路および走査線駆動回路と電気的に接続することにより、各データ線および各走査線に、データ線駆動回路および走査線駆動回路を介して、外部の制御部からの制御信号に基づくデータ信号および走査信号を供給する。これらの構成により、外部の制御部から供給された制御信号に基づき、表示内容に応じたデータ信号を各データ線に供給し、各画素電極105と対向する対向電極107との間の液晶分子に電圧を加えてサブ画素毎に表示状態を制御する。   The liquid crystal panel 120 has a structure in which a pair of substrates 101 and 102 are bonded to each other with a sealant 103 interposed therebetween, and a liquid crystal 104 is sealed between the substrates 101 and 102. A pixel electrode 105 is formed for each sub-pixel of one dot in the display area 20 on the inner surface of the substrate 101. On the inner surface of the substrate 102, a colored layer 106 of each color of RGB as a color filter, and a counter electrode 107 is formed. The colored layers 106 for each color of RGB are formed at positions corresponding to the pixel electrodes 105, and the counter electrode 107 is formed on the substantially entire surface of the substrate 102. Here, the liquid crystal panel 120 is a transmissive liquid crystal panel, and each of the pair of substrates 101 and 102 is made of a translucent substrate such as a glass substrate. Further, both the pixel electrode 105 and the counter electrode 107 are made of a light-transmitting conductive film such as ITO. The liquid crystal panel 120 is an active matrix type liquid crystal panel and is driven to display by a known liquid crystal driving method. For example, a plurality of scanning lines and data lines are arranged in a matrix on the inner surface of the substrate 101 in the liquid crystal panel 120, and a switching element such as a TFT element is provided at a position corresponding to the intersection of each scanning line and each data line. In addition, subpixels are configured at positions corresponding to the intersections between the scanning lines and the data lines, and pixel electrodes 105 are provided for the respective subpixels to be electrically connected to the switching elements. Then, by electrically connecting one end of each data line and each scanning line to the data line driving circuit and the scanning line driving circuit, respectively, the data line driving circuit and the scanning line driving circuit are connected to each data line and each scanning line. Through this, a data signal and a scanning signal based on a control signal from an external control unit are supplied. With these configurations, based on a control signal supplied from an external control unit, a data signal corresponding to the display content is supplied to each data line, and the liquid crystal molecules between each pixel electrode 105 and the counter electrode 107 facing each other are supplied to the data lines. A display state is controlled for each sub-pixel by applying a voltage.

バックライト装置150は、液晶パネル120の背面側に重ねて配置された導光板151と、この導光板151に光を供給する光源152とを備えている。光源152は、例えばLED(Light Emitting Diode)や冷陰極管である。かかるバックライト装置150では、光源152から出射された光は、導光板151の端部から入射した後、導光板151の両面151e、151fで反射を繰り返して導光板151の内部を伝搬しながら、液晶パネル120と対向する面151eから出射される。   The backlight device 150 includes a light guide plate 151 disposed on the back side of the liquid crystal panel 120 and a light source 152 that supplies light to the light guide plate 151. The light source 152 is, for example, an LED (Light Emitting Diode) or a cold cathode tube. In the backlight device 150, the light emitted from the light source 152 is incident from the end of the light guide plate 151, and then repeatedly reflected on both surfaces 151 e and 151 f of the light guide plate 151 to propagate inside the light guide plate 151. The light is emitted from the surface 151e facing the liquid crystal panel 120.

そして、液晶パネル120に入射した光は、画素電極105と対向電極107との間で配向が制御された液晶104によって光変調されて出射し、画像を表示する。液晶パネル120と導光板151との間には、下偏光板112b、拡散板113、プリズムシート114が配置される。また、液晶パネル120において基板102の外面には上偏光板112aが重ねて配置されている。ここで、表示装置2は、下偏光板112bおよび上偏光板112aの向きによってノーマリブラックあるいはノーマリホワイトのいずれかに設定される。表示装置2をノーマリブラックとして構成した場合、画素電極105と対向電極107との間に電界が印加されていない画素は暗表示となり、画素電極105と対向電極107との間に電界が印加された画素は明表示となる。これに対して、表示装置2をノーマリホワイトとして構成した場合、画素電極105と対向電極107との間に電界が印加されていない画素は明表示となり、画素電極105と対向電極107との間に電界が印加された画素は暗表示となる。   The light incident on the liquid crystal panel 120 is light-modulated and emitted by the liquid crystal 104 whose orientation is controlled between the pixel electrode 105 and the counter electrode 107, and displays an image. Between the liquid crystal panel 120 and the light guide plate 151, a lower polarizing plate 112b, a diffusion plate 113, and a prism sheet 114 are disposed. In the liquid crystal panel 120, an upper polarizing plate 112 a is disposed on the outer surface of the substrate 102. Here, the display device 2 is set to either normally black or normally white depending on the orientation of the lower polarizing plate 112b and the upper polarizing plate 112a. When the display device 2 is configured as normally black, a pixel to which no electric field is applied between the pixel electrode 105 and the counter electrode 107 is darkly displayed, and an electric field is applied between the pixel electrode 105 and the counter electrode 107. The displayed pixels are brightly displayed. On the other hand, when the display device 2 is configured as normally white, a pixel to which no electric field is applied between the pixel electrode 105 and the counter electrode 107 is brightly displayed, and the pixel electrode 105 and the counter electrode 107 are not displayed. A pixel to which an electric field is applied is darkly displayed.

液晶パネル120の前側には、後述する固定バリア方式、可変バリア方式、レンティキュラーレンズ方式、偏光フィルター方式などによって、3次元画像を形成するための3次元画像形成用の光学部材190が配置されている。かかる光学部材190の詳細な構成は後述する。   On the front side of the liquid crystal panel 120, an optical member 190 for forming a three-dimensional image for forming a three-dimensional image by a fixed barrier method, a variable barrier method, a lenticular lens method, a polarizing filter method, etc., which will be described later, is disposed. Yes. The detailed configuration of the optical member 190 will be described later.

このように構成した液晶装置を図1に示す3次元画像表示・撮像装置の表示装置2として用いた場合には、撮像素子60R、60Lによって被写体の撮像を可能とする撮像光路を確保する必要がある。そこで、本形態では、まず、導光板151には、2つの貫通穴151hが設けられており、かかる2つの貫通穴151hの内部に撮像素子60R、60Lが配置されている。   When the liquid crystal device configured as described above is used as the display device 2 of the three-dimensional image display / imaging device shown in FIG. 1, it is necessary to secure an imaging optical path that enables imaging of the subject by the imaging elements 60R and 60L. is there. Therefore, in this embodiment, first, the light guide plate 151 is provided with two through holes 151h, and the image pickup devices 60R and 60L are disposed inside the two through holes 151h.

また、液晶パネル120は画像を表示する際、バックライト装置150から出射された光を変調して3次元画像を表示するが、撮像素子60R、60Lによって被写体の撮像を行なう場合、液晶パネル120において、撮像素子60R、60Lの撮影口60aと重なる領域を透光状態の撮像光路を構成する。より具体的には、表示装置2がノーマリブラックである場合、撮像素子60R、60Lによって被写体の撮像を行なうときは、液晶パネル120におい撮像素子60R、60Lの撮影口60aと重なる領域で画素電極105と対向電極107との間に電界を印加して透光状態とする。従って、撮像素子60R、60Lは、液晶パネル120の背面側に配置されているが、表示領域20に対面する被写体(通信者PA、PB)を撮像することができる。   Further, when displaying an image, the liquid crystal panel 120 modulates the light emitted from the backlight device 150 and displays a three-dimensional image. When the subject is imaged by the imaging elements 60R and 60L, the liquid crystal panel 120 The imaging optical path in a translucent state is configured in an area overlapping with the imaging ports 60a of the imaging elements 60R and 60L. More specifically, when the display device 2 is normally black, when the subject is imaged by the imaging elements 60R and 60L, the pixel electrode is located in a region overlapping the imaging port 60a of the imaging elements 60R and 60L in the liquid crystal panel 120. An electric field is applied between the counter electrode 107 and the counter electrode 107 to obtain a light-transmitting state. Therefore, the image sensors 60R and 60L are arranged on the back side of the liquid crystal panel 120, but can image a subject (communications PA and PB) facing the display area 20.

本形態の液晶パネル120において、撮像素子60R、60Lの撮影口60aと重なる領域では、撮像素子60R、60Lによって被写体の撮像を行なうときを除いて通常の光変調を行い、撮像素子60R、60Lによって被写体の撮像を行なうときのみ、透光状態とする。なお、撮像素子60R、60Lの撮影口60aと重なる領域では、撮像素子60R、60Lによって被写体の撮像を行なうときを除いて完全な遮光状態(暗状態)とし、撮像素子60R、60Lによって被写体の撮像を行なうときのみ、透光状態(明状態)としてもよい。   In the liquid crystal panel 120 of the present embodiment, in a region overlapping with the imaging openings 60a of the image sensors 60R and 60L, normal light modulation is performed except when the subject is imaged by the image sensors 60R and 60L, and the image sensors 60R and 60L Only when the subject is imaged, the light transmitting state is set. It should be noted that in the region overlapping with the imaging openings 60a of the image sensors 60R and 60L, a completely light-shielded state (dark state) is obtained except when the subject is imaged by the image sensors 60R and 60L. It is good also as a translucent state (bright state) only when performing.

表示装置2がノーマリホワイトである場合、液晶パネル120におい撮像素子60R、60Lの撮影口60aと重なる領域で画素電極105と対向電極107との間に電界を印加せずに透光状態とする。従って、撮像素子60R、60Lは、液晶パネル120の背面側に配置されているが、表示領域20に対面する被写体(通信者PA、PB)を撮像することができる。かかる観点からすれば、表示装置2がノーマリホワイトである場合、液晶パネル120におい撮像素子60R、60Lの撮影口60aと重なる領域では画素電極105を省略した構成を採用してもよく、この場合、画素電極105を省略した部分では、常に透光状態にある。   When the display device 2 is normally white, the liquid crystal panel 120 is in a light-transmitting state without applying an electric field between the pixel electrode 105 and the counter electrode 107 in a region overlapping the imaging ports 60a of the image pickup devices 60R and 60L. . Therefore, the image sensors 60R and 60L are arranged on the back side of the liquid crystal panel 120, but can image a subject (communications PA and PB) facing the display area 20. From this point of view, when the display device 2 is normally white, a configuration in which the pixel electrode 105 is omitted in the area where the liquid crystal panel 120 overlaps with the imaging ports 60a of the imaging elements 60R and 60L may be employed. The portion where the pixel electrode 105 is omitted is always in a light transmitting state.

このように構成した液晶パネル120において、撮像素子60R、60Lの撮影口60aの位置は、導光板151の出射側の面151eの位置よりも前側に位置する。このため、導光板151の内部を伝播する光が貫通穴151h内部に漏れた場合でも、かかる漏れ光が、撮像素子60R、60Lの撮影口60aから入射することがない。   In the liquid crystal panel 120 configured as described above, the positions of the photographing ports 60a of the image pickup devices 60R and 60L are located on the front side of the position of the exit-side surface 151e of the light guide plate 151. For this reason, even when the light propagating through the light guide plate 151 leaks into the through hole 151h, the leaked light does not enter from the imaging ports 60a of the image sensors 60R and 60L.

また、導光板151において、撮像素子60R、60Lを配置する部分については貫通穴151hに代えて、出射側の面151eで開口する凹部や、出射面とは反対側の面151fで開口する凹部としてもよい。導光板151において、出射面とは反対側の面151fで開口する凹部を形成した場合でも、その底部は撮像用透光部として機能する。但し、導光板151において、撮像素子60R、60Lを配置する部分を貫通穴151hとすれば、撮像素子60R、60Lに接続する配線等を貫通穴151hから引き出すことからできる。なお、導光板151において、撮像素子60R、60Lを配置する部分を凹部とする場合、出射側の面151eで開口する凹部であれば、出射面とは反対側の面151fで開口する凹部に比較して、撮像素子60R、60Lの前面で導光体151を伝播する光によって撮像が妨げられることを防止することができる。   In addition, in the light guide plate 151, the portions where the image pickup devices 60R and 60L are arranged are replaced with through holes 151h, as concave portions that are opened on the outgoing side surface 151e, or concave portions that are opened on the side 151f opposite to the outgoing side. Also good. In the light guide plate 151, even when a concave portion opened on the surface 151f opposite to the exit surface is formed, the bottom portion functions as an imaging light transmitting portion. However, if the portions where the image sensors 60R and 60L are arranged in the light guide plate 151 are through holes 151h, the wirings connected to the image sensors 60R and 60L can be drawn from the through holes 151h. In addition, in the light guide plate 151, when the portions where the image pickup devices 60R and 60L are arranged are concave portions, the concave portion opened on the outgoing surface 151e is compared with the concave portion opened on the opposite surface 151f to the outgoing surface. Thus, it is possible to prevent the imaging from being hindered by the light propagating through the light guide 151 in front of the imaging elements 60R and 60L.

また、本形態の表示装置2において、拡散板113には、撮像素子60R、60Lと重なる位置に貫通穴113hが設けられている。このため、撮像素子60R、60Lは、拡散板113に形成された散乱パターンの影響を受けずに被写体(通信者PA、PB)を撮像することができる。かかる観点からすれば、プリズムシート114においても、撮像素子60R、60Lの位置に対応する領域に貫通穴を設けることが好ましい。   Further, in the display device 2 of the present embodiment, the diffusion plate 113 is provided with a through hole 113h at a position overlapping the imaging elements 60R and 60L. For this reason, the image sensors 60R and 60L can image the subject (communications PA and PB) without being affected by the scattering pattern formed on the diffusion plate 113. From this point of view, it is preferable that the prism sheet 114 also has a through hole in a region corresponding to the position of the imaging elements 60R and 60L.

さらに、図2(a)に示す構成では、基板102において、撮像素子60R、60Lが位置する部分にも着色層106が形成されているが、基板102において、撮像素子60R、60Lが位置する部分には、着色層106が形成されていない構成や、着色層106に代えて無色透明の樹脂層が形成されている構成を採用することが好ましい。このような構成を採用すれば、表示領域20の前側に位置する被写体をカラーで撮像した際、色調の優れた画像を得ることができる。   Further, in the configuration shown in FIG. 2A, the colored layer 106 is also formed on the portion of the substrate 102 where the imaging elements 60R and 60L are located, but the portion where the imaging elements 60R and 60L are located on the substrate 102. It is preferable to adopt a configuration in which the colored layer 106 is not formed or a configuration in which a colorless and transparent resin layer is formed instead of the colored layer 106. By adopting such a configuration, an image with excellent color tone can be obtained when a subject located in front of the display area 20 is imaged in color.

かかる表示装置2は概ね、図2(b)に示す電気的構成を有している。図2(b)において、まず、制御部140は、例えばCPU(Central Processing Unit)などにより構成され、液晶パネル120だけでなく、撮像素子60R、60Lや記憶部142とも接続されている。記憶部142には、液晶パネル120における撮像光路の位置や範囲を示す情報(撮像情報)が記録されている。制御部140は、かかる撮像情報に基づいて、撮像光路に相当する部分を外部からの光が透過可能な透光モードに設定する。これにより、撮像素子60R、60Lは、液晶パネル120を挟んで反対側にいる被写体を撮影することが可能となる。   Such a display device 2 generally has an electrical configuration shown in FIG. 2B, first, the control unit 140 is configured by a CPU (Central Processing Unit), for example, and is connected not only to the liquid crystal panel 120 but also to the imaging elements 60R and 60L and the storage unit 142. Information (imaging information) indicating the position and range of the imaging optical path in the liquid crystal panel 120 is recorded in the storage unit 142. Based on the imaging information, the control unit 140 sets a portion corresponding to the imaging optical path to a translucent mode in which light from the outside can be transmitted. As a result, the image sensors 60R and 60L can capture a subject on the opposite side of the liquid crystal panel 120.

撮像素子60R、60Lは、被写体を撮像した後、画像信号として制御部140に供給する。制御部140は、撮像素子60R、60Lからの画像信号に基づいて画像データを生成し、図1を参照して説明した回線3を介して、通信相手の3次元画像表示・撮像装置1に送信するとともに、通信相手の3次元画像表示・撮像装置1から送信されてきた画像データに基づいて液晶パネル120を制御し、画像を表する。制御部140の上述の処理は、例えばプログラムなどにより行われる。従って、記憶部142には、上述の処理を行うためのプログラムが格納されている。   The imaging elements 60R and 60L capture the subject and supply it to the control unit 140 as an image signal. The control unit 140 generates image data based on the image signals from the image pickup devices 60R and 60L, and transmits the image data to the communication partner 3D image display / image pickup apparatus 1 via the line 3 described with reference to FIG. At the same time, the liquid crystal panel 120 is controlled based on the image data transmitted from the communication partner 3D image display / imaging device 1 to display an image. The above-described processing of the control unit 140 is performed by, for example, a program. Therefore, the storage unit 142 stores a program for performing the above-described processing.

(バックライト装置150の構成)
図3は、図2に示す表示装置2(液晶表示装置)に用いたバックライト装置150の説明図であり、図3(a)、(b)、(c)は各々、導光板151に1つの光源152を配置した場合の説明図、導光板151の2辺に光源152を配置した場合の説明図、および導光板151の別の2辺に光源152を配置した場合の説明図である。
(Configuration of the backlight device 150)
3 is an explanatory diagram of the backlight device 150 used in the display device 2 (liquid crystal display device) shown in FIG. 2. FIGS. 3 (a), 3 (b), and 3 (c) each show one light guide plate 151. FIG. FIG. 5 is an explanatory diagram when two light sources 152 are disposed, an explanatory diagram when light sources 152 are disposed on two sides of the light guide plate 151, and an explanatory diagram when light sources 152 are disposed on another two sides of the light guide plate 151.

図2(a)を参照して説明したバックライト装置150において、導光板151に光源152を設けるにあたっては、図3(a)に示すように、導光板151の1辺に相当する位置に光源152を設けてもよいが、この場合、導光板151内を伝播する光が貫通穴151hで遮られてしまい、貫通穴151hの影Shが発生してしまう。従って、図3(b)、(c)に示すように、導光板151の2辺に相当する位置に光源152を設けることが好ましい。図3(b)に示すバックライト装置150では、導光板151において左右で相対向する2辺に相当する位置に光源152が配置され、図3(c)に示すバックライト装置150では、導光板151において上下で相対向する2辺に相当する位置に光源152が配置されている。   In the backlight device 150 described with reference to FIG. 2A, when the light source 152 is provided on the light guide plate 151, the light source is positioned at a position corresponding to one side of the light guide plate 151, as shown in FIG. 152 may be provided, but in this case, light propagating in the light guide plate 151 is blocked by the through hole 151h, and a shadow Sh of the through hole 151h is generated. Therefore, as shown in FIGS. 3B and 3C, it is preferable to provide the light source 152 at a position corresponding to two sides of the light guide plate 151. In the backlight device 150 shown in FIG. 3B, the light source 152 is disposed at a position corresponding to two sides facing each other on the left and right sides of the light guide plate 151. In the backlight device 150 shown in FIG. In 151, the light source 152 is arranged at a position corresponding to two opposite sides on the upper and lower sides.

本形態では、導光板151には2つの貫通穴151hが形成されている。従って、図3(c)に示すように、2つの貫通穴151hが並んでいる横方向と直交する縦方向に位置する2辺に光源152を配置すれば、2つの貫通穴151hで挟まれた領域に影が発生することを完全に防止することができる。   In this embodiment, the light guide plate 151 has two through holes 151h. Therefore, as shown in FIG. 3C, if the light source 152 is disposed on two sides located in the vertical direction orthogonal to the horizontal direction in which the two through holes 151h are arranged, the light source 152 is sandwiched between the two through holes 151h. It is possible to completely prevent the area from being shaded.

(導光板151の構成例)
図4は、図2に示す表示装置2(液晶表示装置)に用いたバックライト装置150の導光板151の説明図であり、図4(a)、(b)は各々、導光板151の貫通穴151hをテーパー状にした場合の説明図、および貫通穴151hの側壁を遮光面にした場合の説明図である。
(Configuration example of light guide plate 151)
FIG. 4 is an explanatory diagram of the light guide plate 151 of the backlight device 150 used in the display device 2 (liquid crystal display device) shown in FIG. 2, and FIGS. 4 (a) and 4 (b) each show through the light guide plate 151. It is explanatory drawing at the time of making hole 151h into a taper shape, and explanatory drawing at the time of making the side wall of through-hole 151h into a light-shielding surface.

図2(a)を参照して説明したように、導光板151には貫通穴151hが設けられており、貫通穴151hに設けられる撮像素子60R、60Lは、その撮影口60aの位置が、導光板151の出射側の面151eの位置よりも高くなるように設定されている。但し、図4(a)に示すように、貫通穴151hを、出射側の面151eで開口面積が小で、反対側の面151fで開口面積が大のテーパー穴として形成してもよい。かかる構成によれば、撮像素子60R、60Lの撮影口60aの位置は、導光板151の出射側の面151eの位置よりも低く設定することができる。すなわち、貫通穴151hをテーパー形状にすれば、導光板151内を伝播する光は、貫通穴151hの壁面で反射するので、貫通穴151hの内部に漏れることがない。   As described with reference to FIG. 2 (a), the light guide plate 151 is provided with a through hole 151h. The imaging devices 60R and 60L provided in the through hole 151h have the positions of the imaging ports 60a guided. It is set to be higher than the position of the surface 151e on the light exit side of the optical plate 151. However, as shown in FIG. 4A, the through hole 151h may be formed as a tapered hole having a small opening area on the outgoing side surface 151e and a large opening area on the opposite side surface 151f. According to such a configuration, the position of the imaging port 60a of the image pickup devices 60R and 60L can be set lower than the position of the exit-side surface 151e of the light guide plate 151. That is, if the through hole 151h is tapered, light propagating in the light guide plate 151 is reflected by the wall surface of the through hole 151h, and therefore does not leak into the through hole 151h.

また、図4(b)に示すように、貫通穴151hの内側壁に遮光材151iを設けてもよい。かかる構成を採用した場合も、撮像素子60R、60Lの撮影口60aの位置は、導光板151の出射側の面151eの位置よりも低く設定することができる。すなわち、貫通穴151hをテーパー形状にすれば、導光板151内を伝播する光は、貫通穴151hの壁面で遮光されるので、貫通穴151hの内部に漏れることがない。   Further, as shown in FIG. 4B, a light shielding material 151i may be provided on the inner wall of the through hole 151h. Even when such a configuration is adopted, the positions of the imaging ports 60a of the image sensors 60R and 60L can be set lower than the position of the exit-side surface 151e of the light guide plate 151. That is, if the through hole 151h is tapered, the light propagating through the light guide plate 151 is shielded by the wall surface of the through hole 151h, so that it does not leak into the through hole 151h.

(表示装置2の具体的構成例2)
図5は、本発明の実施の形態1に係る3次元画像表示・撮像装置1において、表示装置2として用いた別の液晶表示装置の説明図であり、図5(a)、(b)は各々、液晶表示装置の説明図、および電気的構成を示すブロック図である。図6は、図5(a)に示す表示装置2に用いたバックライト装置の動作を示す説明図であり、図6(a)、(b)は各々、透明電極に電圧を印加しない状態の説明図、および透明電極に電圧を印加した状態の説明図である。なお、図5に示す表示装置2の基本的な構成は、図2を参照して説明した構成と同様であるので、共通する部分には同一の符号を付して図示し、それらの説明を省略する。
(Specific configuration example 2 of the display device 2)
FIG. 5 is an explanatory diagram of another liquid crystal display device used as the display device 2 in the three-dimensional image display / imaging device 1 according to Embodiment 1 of the present invention, and FIGS. FIG. 2 is an explanatory diagram of a liquid crystal display device and a block diagram showing an electrical configuration. FIG. 6 is an explanatory diagram showing the operation of the backlight device used in the display device 2 shown in FIG. 5 (a). FIGS. 6 (a) and 6 (b) each show a state in which no voltage is applied to the transparent electrode. It is explanatory drawing and explanatory drawing of the state which applied the voltage to the transparent electrode. The basic configuration of the display device 2 shown in FIG. 5 is the same as the configuration described with reference to FIG. 2, and therefore, common portions are denoted by the same reference numerals and the description thereof is omitted. Omitted.

図5(a)に示す表示装置2は、図2(a)に示す表示装置と同様、表示パネル100としての液晶パネル120と、液晶パネル120の表示領域20の背面側に配置されたバックライト装置170とを備えた液晶表示装置である。液晶パネル120は、一対の基板101、102がシール材103を介して貼り合わされた構造を有し、基板101、102の間には液晶104が封入されている。バックライト装置170は、液晶パネル120の背面側に重ねて配置された導光板171と、この導光板171に光を供給する光源152とを備えており、光源152は、例えばLEDや冷陰極管である。なお、図5(a)には、導光板171の一方の端面にのみ光源152が配置されているが、導光板171の両端に光源152が設けられてことが好ましい。   Similar to the display device shown in FIG. 2A, the display device 2 shown in FIG. 5A has a liquid crystal panel 120 as the display panel 100 and a backlight disposed on the back side of the display area 20 of the liquid crystal panel 120. A liquid crystal display device including the device 170. The liquid crystal panel 120 has a structure in which a pair of substrates 101 and 102 are bonded to each other with a sealant 103 interposed therebetween, and a liquid crystal 104 is sealed between the substrates 101 and 102. The backlight device 170 includes a light guide plate 171 disposed on the back side of the liquid crystal panel 120, and a light source 152 that supplies light to the light guide plate 171. The light source 152 is, for example, an LED or a cold cathode tube. It is. In FIG. 5A, the light source 152 is disposed only on one end surface of the light guide plate 171, but it is preferable that the light source 152 is provided on both ends of the light guide plate 171.

かかる表示装置2を、図1を参照して説明した3次元画像表示・撮像装置1に搭載すると、導光板171の背面側に撮像素子60R、60Lが配置される。ここで、撮像素子60R、60Lはいずれも、表示パネル100の表示領域20の背面側に配置されており、表示パネル100を介して表示領域20の前方に位置する被写体(通信者PA、PB)を撮像する。従って、右目用の撮像素子60Rは、表示領域20上に設定された右目視点VRから被写体をみた像を撮像し、左目用の撮像素子60Lは、表示領域上に設定された左目視点VLから被写体をみた像を撮像することになる。   When the display device 2 is mounted on the three-dimensional image display / imaging device 1 described with reference to FIG. 1, the imaging elements 60 </ b> R and 60 </ b> L are arranged on the back side of the light guide plate 171. Here, both of the image sensors 60R and 60L are arranged on the back side of the display area 20 of the display panel 100, and subjects (communications PA and PB) positioned in front of the display area 20 via the display panel 100. Image. Accordingly, the image sensor 60R for the right eye captures an image of the subject viewed from the right eye viewpoint VR set on the display area 20, and the image sensor 60L for the left eye captures the object from the left eye viewpoint VL set on the display area. The image which saw the image is taken.

本形態において、導光板171は、外部からの光を透過する透光モードと、光源152からの光を液晶パネル120に向けて出射する光出射モード(光散乱モード)との間で切り換える光学素子(動的散乱板)である。従って、導光板171には貫通穴が設けられてない。かかる導光板171は、ガラスなどの透光性の基板181、182が貼り合わされてなる構造を有し、基板181、182の間には、ポリマー分散液晶(PDLC)184が封入されている。   In this embodiment, the light guide plate 171 is an optical element that switches between a light transmission mode that transmits light from the outside and a light emission mode (light scattering mode) that emits light from the light source 152 toward the liquid crystal panel 120. (Dynamic scattering plate). Accordingly, the light guide plate 171 is not provided with a through hole. The light guide plate 171 has a structure in which light-transmitting substrates 181 and 182 such as glass are bonded to each other, and a polymer dispersed liquid crystal (PDLC) 184 is sealed between the substrates 181 and 182.

ポリマー分散液晶184は、多数の小さなネマティック液晶小滴(数ミクロン径)がポリマー内に分散された構造を有している。基板181の内面上には透明電極185が形成され、基板182の内面上には透明電極186が形成されている。従って、導光板171において、ポリマー分散液晶184は、一対の透明電極185、186に挟持された構造を有している。   The polymer dispersed liquid crystal 184 has a structure in which a large number of small nematic liquid crystal droplets (diameter of several microns) are dispersed in a polymer. A transparent electrode 185 is formed on the inner surface of the substrate 181, and a transparent electrode 186 is formed on the inner surface of the substrate 182. Therefore, in the light guide plate 171, the polymer dispersed liquid crystal 184 has a structure sandwiched between a pair of transparent electrodes 185 and 186.

かかる導光板171において、図6(a)に示すように、透明電極185、186間に電圧が印加されない状態では、ネマティック液晶の分子はランダムな方向を向く。そのため、導光板171は、入射光を分散する光散乱状態となり、光源152から出射された光を散乱させて、液晶パネル120へ向けて出射する。(光散乱モード)
これに対して、図6(b)に示すように、透明電極185、186間に電圧が印加された状態では、ネマティック液晶の分子は電界の方向に揃う。そのため、ポリマー分散液晶184は透明になる。従って、導光板171は入射光を透過する光透過状態となるので、外部からの光が透過して撮像素子60R、60Lに入射することが可能となる(透光モード)。
In such a light guide plate 171, as shown in FIG. 6A, when no voltage is applied between the transparent electrodes 185 and 186, the nematic liquid crystal molecules are oriented in a random direction. For this reason, the light guide plate 171 enters a light scattering state in which incident light is dispersed, scatters the light emitted from the light source 152, and emits the light toward the liquid crystal panel 120. (Light scattering mode)
On the other hand, as shown in FIG. 6B, when a voltage is applied between the transparent electrodes 185 and 186, the nematic liquid crystal molecules align in the direction of the electric field. Therefore, the polymer dispersed liquid crystal 184 becomes transparent. Therefore, since the light guide plate 171 is in a light transmissive state that transmits incident light, light from the outside can be transmitted and incident on the imaging elements 60R and 60L (translucent mode).

かかる構成によれば、表示領域20の背面から被写体を撮像する構成を採用した場合でも、導光板171に対して撮像光路や撮像素子60R、60Lを設けるための特殊な構造を採用する必要がないので、品位の高い画像を表示することができる。   According to such a configuration, even when a configuration in which a subject is imaged from the back surface of the display area 20 is employed, it is not necessary to employ a special structure for providing the imaging optical path and the imaging elements 60R and 60L with respect to the light guide plate 171. Therefore, a high quality image can be displayed.

本形態の表示装置2においては、図5(b)に示すように、制御部140は、液晶パネル120、撮像素子60R、60L、および記憶部142と接続されるとともに、バックライト装置170とも接続されている。記憶部142には、液晶パネル120における撮像領域の位置や範囲の情報を示す撮像情報が記録されている。   In the display device 2 of the present embodiment, as shown in FIG. 5B, the control unit 140 is connected to the liquid crystal panel 120, the image sensors 60R and 60L, and the storage unit 142, and also connected to the backlight device 170. Has been. The storage unit 142 stores imaging information indicating the position and range information of the imaging area on the liquid crystal panel 120.

制御部140は、導光板171を光出射モードにする期間(光出射モード期間/光散乱モード)と透光モードにする期間(透光モード期間)とで時分割に駆動する。具体的には、制御部140は、光出射モード期間において透明電極185、186間に電圧を印加せず、透光モード期間において透明電極185、186間に電圧を印加する制御を行う。   The controller 140 drives the light guide plate 171 in a time-sharing manner during a period in which the light guide plate 171 is in the light emission mode (light emission mode period / light scattering mode) and a period in which the light guide plate 171 is in the light transmission mode (light transmission mode period). Specifically, the control unit 140 performs control to apply a voltage between the transparent electrodes 185 and 186 in the light transmission mode period without applying a voltage between the transparent electrodes 185 and 186 in the light emission mode period.

透光モード期間では、制御部140は、液晶パネル120においても、外部からの光が透過する透光モードに設定する制御を行うとともに、撮像素子60R、60Lを制御して被写体を撮影させる。より具体的には、撮像素子60R、60Lによって被写体の撮像を行なう場合、液晶パネル120の全体を透光状態とする。なお、撮像素子60R、60Lによって被写体の撮像を行なう場合、液晶パネル120において、撮像素子60R、60Lの撮影口60aと重なる領域のみに透光状態の撮像光路を構成してもよい。   In the light transmission mode period, the control unit 140 controls the liquid crystal panel 120 to set the light transmission mode in which light from the outside is transmitted, and controls the imaging elements 60R and 60L to photograph the subject. More specifically, when the subject is imaged by the imaging elements 60R and 60L, the entire liquid crystal panel 120 is set in a light-transmitting state. In the case where an image of a subject is picked up by the image pickup devices 60R and 60L, a light-transmitting image pickup optical path may be configured only in a region of the liquid crystal panel 120 that overlaps the image pickup opening 60a of the image pickup devices 60R and 60L.

そして、制御部140は、撮像素子60R、60Lからの画像信号に基づいて画像データを生成し、図1を参照して説明した回線3を介して、通信相手の3次元画像表示・撮像装置1に送信するとともに、通信相手の3次元画像表示・撮像装置1から送信されてきた画像データに基づいて液晶パネル120を制御し、画像を表する。制御部140の上述の処理は、例えば、記憶部142に格納されているプログラムなどにより行われる。   Then, the control unit 140 generates image data based on the image signals from the image sensors 60R and 60L, and the communication partner's three-dimensional image display / imaging device 1 via the line 3 described with reference to FIG. And the liquid crystal panel 120 is controlled based on the image data transmitted from the 3D image display / imaging device 1 of the communication partner to display an image. The above-described processing of the control unit 140 is performed by a program stored in the storage unit 142, for example.

(3次元画像形成用の光学部材190の構成)
図7は、図1に示す3次元画像表示・撮像装置1に用いた表示装置2において3次元画像を表示するための光学部材190(図2、図5参照)の説明図であり、図7(a)、(b)、(c)、(d)は各々、レンティキュラーレンズ方式用の光学部材190の説明図、固定バリア方式用の光学部材190の説明図、可変バリア方式用の光学部材190の説明図、および偏光フィルター方式用の光学部材190の説明図である。
(Configuration of optical member 190 for three-dimensional image formation)
7 is an explanatory diagram of an optical member 190 (see FIGS. 2 and 5) for displaying a three-dimensional image on the display device 2 used in the three-dimensional image display / imaging device 1 shown in FIG. (A), (b), (c), (d) is an explanatory diagram of an optical member 190 for a lenticular lens system, an explanatory diagram of an optical member 190 for a fixed barrier system, and an optical member for a variable barrier system It is explanatory drawing of 190 and explanatory drawing of the optical member 190 for polarization filter systems.

図2や図5を参照して説明した表示装置2において、3次元画像を表示するには、レンティキュラーレンズ方式、固定バリア方式、可変バリア方式、偏光フィルター方式を用いることができる。   In the display device 2 described with reference to FIGS. 2 and 5, a lenticular lens method, a fixed barrier method, a variable barrier method, and a polarization filter method can be used to display a three-dimensional image.

まず、レンティキュラーレンズ方式を採用する場合、表示装置2では、図7(a)に示すレンティキュラーレンズシート191(光学部材190)によって表示領域20の前面側を覆った構成とする。レンティキュラーレンズシート191は、透明な樹脂シートなどの表面に断面凸弧状の微小な凸条レンズを多数形成したものであり、各凸条レンズの列は液晶パネル120の上下方向に延びている。従って、レンティキュラーレンズシート191の背後の液晶パネル120から出射された画像光は、各画素の位置に対応して形成されている各凸条レンズに入射した後、屈折して出射する。その際、屈折を考慮した表示光を液晶パネル120から出射させることにより、異なる方向に異なる画像光を出射させることができる。よって、レンティキュラーレンズシート191を介して液晶パネル120を見ている通信者PA、PBの左右の目には、異なる画像光(3次元画像表示用の右目用画像光および左目用画像光)が到達するので、裸眼での3次元画像表示を行うことができる。   First, when the lenticular lens method is adopted, the display device 2 has a configuration in which the front side of the display region 20 is covered with a lenticular lens sheet 191 (optical member 190) shown in FIG. The lenticular lens sheet 191 is formed by forming a large number of minute convex lenses having a convex arc shape in cross section on the surface of a transparent resin sheet or the like, and the rows of convex lenses extend in the vertical direction of the liquid crystal panel 120. Accordingly, the image light emitted from the liquid crystal panel 120 behind the lenticular lens sheet 191 is refracted and emitted after being incident on each convex lens formed corresponding to the position of each pixel. At that time, by emitting display light in consideration of refraction from the liquid crystal panel 120, different image light can be emitted in different directions. Therefore, different image lights (right eye image light and left eye image light for three-dimensional image display) are transmitted to the left and right eyes of the communication parties PA and PB who are looking at the liquid crystal panel 120 via the lenticular lens sheet 191. Therefore, it is possible to display a three-dimensional image with the naked eye.

ここで、レンティキュラーレンズシート191には、撮像素子60R、60Lによって撮像するための撮像用透光部191a、191bが形成され、かかる撮像用透光部191a、191bは、レンティキュラーレンズシート191に形成された貫通穴や平坦部からなる。なお、撮像用透光部191a、191bを貫通穴として形影すれば、撮像素子60R、60Lに到達する光の減衰を防止することができる。   Here, the lenticular lens sheet 191 is formed with imaging translucent portions 191a and 191b for imaging by the imaging elements 60R and 60L. The imaging translucent portions 191a and 191b are formed on the lenticular lens sheet 191. It consists of a formed through hole or flat part. Note that if the imaging light-transmitting portions 191a and 191b are shaped as through holes, attenuation of light reaching the imaging elements 60R and 60L can be prevented.

固定バリア方式を採用する場合、表示装置2では、図7(b)に示すパララックスバリアシート192(光学部材190)によって表示領域20の前面側を覆った構成とする。ここで、パララックスバリアシート192には、格子状の遮光パターン192e(パララックスバリア)が形成され、かかる遮光パターン192eによって、微細なスリット192fが形成されている。かかるスリット192fは、液晶パネル120の上下方向に延びており、このスリット192fの左右の目で見るときの視差を利用して、液晶パネル120の正面にいる通信者PA、PBの左右の目に異なった画像光を到達させることが可能である。よって、各スリット192fの左右の目位置からの視差を考慮して左目用画像および右目用画像を液晶パネル120に表示することにより、観察者の左右の目に、左目用画像および右目用画像を各々、到達させることができる。よって、裸眼での3次元画像表示を行うことができる。   When the fixed barrier method is employed, the display device 2 has a configuration in which the front side of the display region 20 is covered with a parallax barrier sheet 192 (optical member 190) illustrated in FIG. Here, on the parallax barrier sheet 192, a lattice-shaped light shielding pattern 192e (parallax barrier) is formed, and a fine slit 192f is formed by the light shielding pattern 192e. The slits 192f extend in the vertical direction of the liquid crystal panel 120. By using the parallax when viewed with the left and right eyes of the slit 192f, the left and right eyes of the communicators PA and PB in front of the liquid crystal panel 120 are used. Different image lights can be made to reach. Therefore, the left eye image and the right eye image are displayed on the liquid crystal panel 120 in consideration of the parallax from the left and right eye positions of each slit 192f, so that the left eye image and the right eye image are displayed on the left and right eyes of the observer. Each can be reached. Therefore, it is possible to display a three-dimensional image with the naked eye.

また、パララックスバリアシート192には、撮像素子60R、60Lによって撮像するための撮像用透光部192a、192bが形成され、かかる撮像用透光部192a、192bは、遮光パターン192eの非形成領域からなる。   The parallax barrier sheet 192 is formed with imaging translucent portions 192a and 192b for imaging by the imaging elements 60R and 60L, and the imaging translucent portions 192a and 192b are regions where the light shielding pattern 192e is not formed. Consists of.

可変バリア方式を採用する場合、表示装置2では、図7(c)に示す可変バリア装置193(光学部材190)によって表示領域20の前面側を覆った構成とする。かかる可変バリア装置193では、入射光を透過させる透過状態と、表示領域20と重なる領域にパララックスバリア193cを表示するバリア状態とが実行される。従って、透過状態では、撮像素子60R、60Lによる撮像が可能となる。このため、可変バリア装置193を用いた場合、撮像用透光部を形成する必要がない。それ故、表示領域20で表示される3次元画像では、撮像用透光部を形成することによる劣化が発生しない。   When the variable barrier method is employed, the display device 2 has a configuration in which the front side of the display region 20 is covered by the variable barrier device 193 (optical member 190) illustrated in FIG. In the variable barrier device 193, a transmission state in which incident light is transmitted and a barrier state in which the parallax barrier 193c is displayed in an area overlapping the display area 20 are executed. Therefore, in the transmissive state, it is possible to capture images with the image sensors 60R and 60L. For this reason, when the variable barrier device 193 is used, it is not necessary to form the imaging light transmitting part. Therefore, the three-dimensional image displayed in the display area 20 does not deteriorate due to the formation of the imaging translucent part.

偏光フィルター方式を採用する場合、表示装置2では、図7(d)に示す偏光フィルター194によって表示領域20の前面側を覆った構成とする。かかる偏光フィルター194では、液晶パネル120(表示パネル100)の水平方向の画素配列における奇数列に対応させて配列されている第1の微細偏光素子194aと、画素配列における偶数列に対応させて配列されている第2の微細偏光素子194bとを備えており、第1の微細偏光素子194aと第2の微細偏光素子194bを通過する光の偏光方向が異なる。また、液晶パネル120の奇数列と偶数列の各画素列の一方に左目用画像を表示し、他方に右目用画像を表示すれば、左目用画像と右目用画像が異なる偏光の画像光として出射される。よって、左右の目の偏光方向が異なる偏光メガネをかけてこの液晶パネル120を見ることにより、左右の目にそれぞれ左目用画像と右目用画像を到達させることができ、3次元画像表示を行うことができる。   When the polarizing filter method is employed, the display device 2 is configured to cover the front side of the display region 20 with the polarizing filter 194 shown in FIG. In the polarizing filter 194, the first fine polarizing elements 194a arranged in correspondence with the odd-numbered columns in the horizontal pixel arrangement of the liquid crystal panel 120 (display panel 100), and arranged in correspondence with the even-numbered columns in the pixel arrangement. The second fine polarizing element 194b is provided, and the polarization directions of the light passing through the first fine polarizing element 194a and the second fine polarizing element 194b are different. Further, if the left-eye image is displayed on one of the odd-numbered and even-numbered pixel columns of the liquid crystal panel 120 and the right-eye image is displayed on the other, the left-eye image and the right-eye image are emitted as image lights having different polarizations. Is done. Accordingly, by viewing the liquid crystal panel 120 with polarized glasses having different polarization directions for the left and right eyes, the left eye image and the right eye image can be made to reach the left and right eyes, respectively, and three-dimensional image display is performed. Can do.

かかる偏光フィルター194は透光性を備えている。このため、偏光フィルター194を用いた場合、撮像用透光部を形成する必要がない。それ故、表示領域20で表示される3次元画像では、撮像用透光部を形成することによる劣化が発生しない。   Such a polarizing filter 194 has translucency. For this reason, when the polarizing filter 194 is used, it is not necessary to form an imaging light transmitting portion. Therefore, the three-dimensional image displayed in the display area 20 does not deteriorate due to the formation of the imaging translucent part.

[実施の形態2]
図8は、本発明の実施の形態2に係る3次元画像表示・撮像装置の説明図であり、図8(a)、(b)は各々、被写体に表示装置2を対面させた場合の説明図、および被写体に撮像素子60R、60Lを対面させた場合の説明図である。図9は、図8に示す3次元画像表示・撮像装置1に用いた表示装置2において3次元画像を表示するための光学部材190の説明図であり、図9(a)、(b)、(c)、(d)は各々、レンティキュラーレンズ方式用の光学部材190の説明図、固定バリア方式用の光学部材190の説明図、可変バリア方式用の光学部材190の説明図、および偏光フィルター方式用の光学部材190の説明図である。
[Embodiment 2]
FIG. 8 is an explanatory diagram of a three-dimensional image display / imaging device according to Embodiment 2 of the present invention, and FIGS. 8A and 8B each illustrate the case where the display device 2 faces the subject. It is explanatory drawing at the time of making image pick-up element 60R and 60L face a figure and a to-be-photographed object. FIG. 9 is an explanatory diagram of an optical member 190 for displaying a three-dimensional image on the display device 2 used in the three-dimensional image display / imaging device 1 shown in FIG. 8, and FIG. 9 (a), FIG. (C) and (d) are respectively an explanatory diagram of an optical member 190 for a lenticular lens system, an explanatory diagram of an optical member 190 for a fixed barrier system, an explanatory diagram of an optical member 190 for a variable barrier system, and a polarizing filter. It is explanatory drawing of the optical member 190 for a system.

本形態では、図8(a)、(b)を参照して以下に説明するように、表示領域20および撮像素子60R、60Lのうちの一方の要素は、被写体に対面する位置に配置されているとともに、他方の要素は被写体に対面する位置からずれた位置に配置されている。また、被写体と一方の要素との間には、被写体と一方の要素とを結ぶ光路から被写体と他方の要素とを結ぶ光路を分離するためのハーフミラー7が配置されている。   In this embodiment, as will be described below with reference to FIGS. 8A and 8B, one element of the display area 20 and the image sensors 60R and 60L is arranged at a position facing the subject. The other element is arranged at a position shifted from the position facing the subject. A half mirror 7 is disposed between the subject and one element to separate the optical path connecting the subject and the other element from the optical path connecting the subject and the one element.

より具体的には、図8(a)に示す3次元画像表示・撮像装置1では、表示装置2および撮像素子60R、60Lのうち、表示装置2の表示パネル100(液晶パネル120)は、被写体(通信者PA、PB)に対面する位置に配置されているとともに、撮像素子60R、60Lは、被写体に対面する位置からずれた位置に配置されている。また、被写体と表示装置2との間には、被写体と表示装置2とを結ぶ光路から被写体と撮像素子60R、60Lとを結ぶ光路を分離するためのハーフミラー7が45°の角度で配置されている。   More specifically, in the three-dimensional image display / imaging device 1 shown in FIG. 8A, the display panel 100 (liquid crystal panel 120) of the display device 2 is the subject of the display device 2 and the imaging elements 60R and 60L. The image sensors 60R and 60L are arranged at positions shifted from the positions facing the subject while being arranged at positions facing the (communications PA and PB). In addition, a half mirror 7 is disposed between the subject and the display device 2 at an angle of 45 ° for separating the optical path connecting the subject and the imaging devices 60R and 60L from the optical path connecting the subject and the display device 2. ing.

かかる構成によれば、通信者PA、PBは、ハーフミラー7を透過してきた画像を観察する。また、撮像素子60R、60Lは、ハーフミラー7で反射してきた通信者PA、PBの像を撮影する。   According to such a configuration, the communication parties PA and PB observe the image that has passed through the half mirror 7. The image sensors 60R and 60L capture images of the communication parties PA and PB reflected by the half mirror 7.

図8(b)に示す3次元画像表示・撮像装置1では、表示装置2および撮像素子60R、60Lのうち、撮像素子60R、60Lは、被写体(通信者PA、PB)に対面する位置に配置されているとともに、表示装置2の表示パネル100(液晶パネル120)は、被写体に対面する位置からずれた位置に配置されている。また、被写体と撮像素子60R、60Lとの間には、被写体と撮像素子60R、60Lとを結ぶ光路から被写体と表示装置2とを結ぶ光路を分離するためのハーフミラー7が45°の角度で配置されている。   In the three-dimensional image display / imaging device 1 shown in FIG. 8B, among the display device 2 and the imaging devices 60R and 60L, the imaging devices 60R and 60L are arranged at positions facing the subject (communication parties PA and PB). In addition, the display panel 100 (liquid crystal panel 120) of the display device 2 is arranged at a position shifted from the position facing the subject. Further, a half mirror 7 for separating the optical path connecting the subject and the display device 2 from the optical path connecting the subject and the imaging elements 60R and 60L between the subject and the imaging elements 60R and 60L is at an angle of 45 °. Has been placed.

かかる構成によれば、通信者PA、PBは、ハーフミラー7で反射してきた画像を観察する。また、撮像素子60R、60Lは、ハーフミラー7を透過してきた通信者PA、PBの像を撮影する。   According to such a configuration, the communication parties PA and PB observe the image reflected by the half mirror 7. The image sensors 60R and 60L capture images of the communication parties PA and PB that have passed through the half mirror 7.

かかる構成によれば、表示領域20には、撮像光路を確保することがない。従って、撮像素子60R、60Lで撮像する際の視点を表示領域20上のいずれの位置に設定しても、画像の品位を低下させることがない。それ故、右目視点を3次元人物画像の右目と重なる位置に設定し、左目視点を3次元人物画像の左目と重なる位置に設定するなど、撮像光路の視点を表示領域20上の最適位置に設定することができる。   According to this configuration, an imaging optical path is not secured in the display area 20. Therefore, the quality of the image is not deteriorated regardless of the position on the display area 20 when the viewpoint at the time of imaging with the imaging elements 60R and 60L is set. Therefore, the viewpoint of the imaging optical path is set to the optimum position on the display area 20 such that the right eye viewpoint is set to a position overlapping the right eye of the 3D human image, and the left eye viewpoint is set to a position overlapping the left eye of the 3D human image. can do.

図8を参照して説明した3次元画像表示・撮像装置1に用いた表示装置2において、3次元画像を表示する場合にも、レンティキュラーレンズ方式、固定バリア方式、可変バリア方式、偏光フィルター方式を用いることができる。   In the display device 2 used in the three-dimensional image display / imaging device 1 described with reference to FIG. 8, a lenticular lens method, a fixed barrier method, a variable barrier method, and a polarization filter method are also used when displaying a three-dimensional image. Can be used.

まず、レンティキュラーレンズ方式を採用する場合、表示装置2では、図9(a)に示すレンティキュラーレンズシート191(光学部材190)によって表示領域20の前面側を覆った構成とする。但し、レンティキュラーレンズシート191には、撮像素子60R、60Lによって撮像するための撮像用透光部を形成する必要がない。それ故、表示領域20で表示される3次元画像では、撮像用透光部を形成することによる劣化が発生しない。   First, when the lenticular lens method is adopted, the display device 2 has a configuration in which the front side of the display region 20 is covered with a lenticular lens sheet 191 (optical member 190) shown in FIG. However, the lenticular lens sheet 191 does not need to be formed with an imaging translucent part for imaging with the imaging elements 60R and 60L. Therefore, the three-dimensional image displayed in the display area 20 does not deteriorate due to the formation of the imaging translucent part.

固定バリア方式を採用する場合、表示装置2では、図9(b)に示すパララックスバリアシート192(光学部材190)によって表示領域20の前面側を覆った構成とする。ここで、パララックスバリアシート192には、格子状の遮光パターン192e(パララックスバリア)および微細なスリット192fが形成されている。但し、パララックスバリアシート192には、撮像素子60R、60Lによって撮像するための撮像用透光部が形成されていない。それ故、表示領域20で表示される3次元画像では、撮像用透光部を形成することによる劣化が発生しない。   When the fixed barrier method is employed, the display device 2 has a configuration in which the front side of the display region 20 is covered with a parallax barrier sheet 192 (optical member 190) illustrated in FIG. Here, the parallax barrier sheet 192 is formed with a lattice-shaped light shielding pattern 192e (parallax barrier) and fine slits 192f. However, the parallax barrier sheet 192 is not formed with an imaging translucent part for imaging with the imaging elements 60R and 60L. Therefore, the three-dimensional image displayed in the display area 20 does not deteriorate due to the formation of the imaging translucent part.

可変バリア方式を採用する場合、表示装置2では、図9(c)に示す可変バリア装置193(光学部材190)によって表示領域20の前面側を覆った構成とする。かかる可変バリア装置193では、入射光を透過させる透過状態と、表示領域20と重なる領域にパララックスバリア193cを表示するバリア状態とが実行される。従って、透過状態では、撮像素子60R、60Lによる撮像が可能となる。かかる可変バリア装置193を用いた場合、撮像用透光部を形成する必要がない。それ故、表示領域20で表示される3次元画像では、撮像用透光部を形成することによる劣化が発生しない。   When the variable barrier method is employed, the display device 2 has a configuration in which the front side of the display region 20 is covered by the variable barrier device 193 (optical member 190) illustrated in FIG. In the variable barrier device 193, a transmission state in which incident light is transmitted and a barrier state in which the parallax barrier 193c is displayed in an area overlapping the display area 20 are executed. Therefore, in the transmissive state, it is possible to capture images with the image sensors 60R and 60L. When such a variable barrier device 193 is used, it is not necessary to form an imaging light transmitting portion. Therefore, the three-dimensional image displayed in the display area 20 does not deteriorate due to the formation of the imaging translucent part.

偏光フィルター方式を採用する場合、表示装置2では、図9(d)に示す偏光フィルター194によって表示領域20の前面側を覆った構成とする。かかる偏光フィルター194では、液晶パネル120(表示パネル100)の水平方向の画素配列における奇数列に対応させて配列されている第1の微細偏光素子194aと、画素配列における偶数列に対応させて配列されている第2の微細偏光素子194bとを備えており、第1の微細偏光素子194aと第2の微細偏光素子194bを通過する光の偏光方向が異なる。かかる偏光フィルター194を用いた場合、撮像用透光部を形成する必要がない。それ故、表示領域20で表示される3次元画像では、撮像用透光部を形成することによる劣化が発生しない。   When the polarizing filter method is employed, the display device 2 is configured to cover the front side of the display region 20 with the polarizing filter 194 shown in FIG. In the polarizing filter 194, the first fine polarizing elements 194a arranged in correspondence with the odd-numbered columns in the horizontal pixel arrangement of the liquid crystal panel 120 (display panel 100), and arranged in correspondence with the even-numbered columns in the pixel arrangement. The second fine polarizing element 194b is provided, and the polarization directions of the light passing through the first fine polarizing element 194a and the second fine polarizing element 194b are different. When such a polarizing filter 194 is used, it is not necessary to form an imaging translucent part. Therefore, the three-dimensional image displayed in the display area 20 does not deteriorate due to the formation of the imaging translucent part.

[実施の形態3]
図10は、本発明の実施の形態3に係る3次元画像表示・撮像装置の説明図であり、図10(a)、(b)は各々、プロジェクターを2台用いた場合の説明図、およびプロジェクターを1台用いた場合の説明図である。
[Embodiment 3]
FIG. 10 is an explanatory diagram of a three-dimensional image display / imaging apparatus according to Embodiment 3 of the present invention, and FIGS. 10A and 10B are explanatory diagrams when two projectors are used, and It is explanatory drawing at the time of using one projector.

図10(a)、(b)に示すように、本形態の3次元画像表示・撮像装置1において、表示装置200は、表示領域20を構成するスクリーンなどの被投射部材8と、被投射部材8に3次元画像を投射表示するプロジェクター9とを備えている。かかる表示装置200では、被投射部材8の表示領域20に被写体(通信者PA、PB)が対面し、被投射部材8の背面に撮像素子60R、60Rが配置される。このため、被投射部材8の表示領域20には、撮像光路を確保するための撮像用透光部8a、8bが形成され、かかる撮像用透光部8a、8bが被写体を撮像する際の右目視点VRおよび左目視点VLとなる。   As shown in FIGS. 10A and 10B, in the three-dimensional image display / imaging device 1 of the present embodiment, the display device 200 includes a projection member 8 such as a screen constituting the display region 20, and a projection member. 8 includes a projector 9 for projecting and displaying a three-dimensional image. In the display device 200, the subject (communications PA, PB) faces the display area 20 of the projection member 8, and the imaging elements 60 </ b> R and 60 </ b> R are arranged on the back surface of the projection member 8. For this reason, in the display area 20 of the projection member 8, imaging light transmission parts 8a and 8b for securing an imaging optical path are formed, and the right eye when the imaging light transmission parts 8a and 8b image the subject. The viewpoint VR and the left eye viewpoint VL are obtained.

このような3次元画像表示・撮像装置1のうち、図10(a)に示す3次元画像表示・撮像装置1では、プロジェクター9として、右目用画像光を投射する右面用のプロジェクター9Rと、左目用画像光を投射する左面用のプロジェクター9Lとが用いられている。また、プロジェクター9R、プロジェクター9Lの前側には、偏光特性が異なる偏光素子91R、91Lが配置されている。このため、右目用画像光と左目用画像光の偏光方向が異なっている。かかる構成の3次元画像表示・撮像装置1では、偏光メガネを用いて、表示領域20に表示された画像を見れば、3次元画像として認識することができる。   Among such three-dimensional image display / imaging devices 1, in the three-dimensional image display / imaging device 1 shown in FIG. 10A, as the projector 9, a right-side projector 9R that projects right-eye image light, and a left-eye A left-side projector 9L that projects image light for use is used. In addition, polarizing elements 91R and 91L having different polarization characteristics are arranged on the front side of the projector 9R and the projector 9L. For this reason, the polarization directions of the right-eye image light and the left-eye image light are different. In the three-dimensional image display / imaging device 1 having such a configuration, if an image displayed in the display area 20 is viewed using polarized glasses, it can be recognized as a three-dimensional image.

また、図10(b)に示す3次元画像表示・撮像装置1では、1台のプロジェクター9を備える表示装置200が用いられており、かかるプロジェクター9は、右目用画像光および左目用画像光を交互に投射する。あるいは、プロジェクター9は、1ライン置きに右目用画像光と左目用画像光とを出射する。従って、液晶シャッターメガネ95などの高速シャッター付きのメガネを用いて、表示領域20に表示された画像を見れば、3次元画像として認識することができる。   Further, in the three-dimensional image display / imaging device 1 shown in FIG. 10B, a display device 200 including one projector 9 is used, and the projector 9 outputs right eye image light and left eye image light. Project alternately. Alternatively, the projector 9 emits right eye image light and left eye image light every other line. Therefore, if an image displayed in the display area 20 is viewed using glasses with a high-speed shutter such as the liquid crystal shutter glasses 95, it can be recognized as a three-dimensional image.

[電子機器への搭載例]
次に、上述した実施形態に係る3次元画像表示・撮像装置1のうち、実施の形態1に係る直視型の表示装置2を用いた3次元画像表示・撮像装置1は、図11に示す電子機器に搭載することができる。
[Example of mounting on electronic devices]
Next, among the three-dimensional image display / imaging device 1 according to the above-described embodiment, the three-dimensional image display / imaging device 1 using the direct-view display device 2 according to the first embodiment is an electronic device illustrated in FIG. Can be mounted on equipment.

図11(a)に、表示装置2を備えたモバイル型のパーソナルコンピューターの構成を示す。パーソナルコンピューター2000は、表示装置2と本体部2010を備える。本体部2010には、電源スイッチ2001及びキーボード2002が設けられている。図11(b)に、表示パネル100を備えた携帯電話機の構成を示す。携帯電話機3000は、複数の操作ボタン3001及びスクロールボタン3002、並びに表示パネル100を備える。スクロールボタン3002を操作することによって、表示パネル100に表示される画面がスクロールされる。図11(c)に、表示パネル100を搭載した情報携帯端末(PDA:Personal Digital Assistants)の構成を示す。情報携帯端末4000は、複数の操作ボタン4001及び電源スイッチ4002、並びに表示パネル100を備える。電源スイッチ4002を操作すると、住所録やスケジュール帳といった各種の情報が表示パネル100に表示される。   FIG. 11A shows the configuration of a mobile personal computer provided with the display device 2. The personal computer 2000 includes the display device 2 and the main body 2010. The main body 2010 is provided with a power switch 2001 and a keyboard 2002. FIG. 11B shows a configuration of a mobile phone provided with the display panel 100. The cellular phone 3000 includes a plurality of operation buttons 3001, scroll buttons 3002, and the display panel 100. By operating the scroll button 3002, the screen displayed on the display panel 100 is scrolled. FIG. 11C shows the configuration of an information portable terminal (PDA: Personal Digital Assistants) on which the display panel 100 is mounted. The information portable terminal 4000 includes a plurality of operation buttons 4001, a power switch 4002, and the display panel 100. When the power switch 4002 is operated, various kinds of information such as an address book and a schedule book are displayed on the display panel 100.

1・・3次元画像表示・撮像装置、2・・表示装置、7・・ハーフミラー、8・・被投射部材、9・・プロジェクター、20・・表示領域、60R、60L・・撮像素子、100・・表示パネル、120・・液晶パネル、150、170・・バックライト装置、151,171・・導光板、152・・光源、190・・3次元画像表示用の光学部材、PA、PB・・通信者(被写体)、VL・・左目視点、VR・・右目視点 1 .... 3D image display / imaging device, 2 .... display device, 7 .... half mirror, 8 .... projected member, 9 .... projector, 20 .... display area, 60R, 60L ..., imaging device, 100 ..Display panel, 120..Liquid crystal panel, 150, 170..Backlight device, 151,171..Light guide plate, 152..Light source, 190..Optical member for three-dimensional image display, PA, PB .. Communicator (subject), VL ·· Left eye view, VR · · Right eye view

Claims (15)

3次元画像を表示する表示領域を備えた表示装置と、
前記表示領域の前方に位置する被写体の3次元画像用の視差画像を撮像する第1および第2の撮像素子と、
を有し、
前記第1の撮像素子は、前記表示領域上に設定された第1の位置から前記被写体をみた像を撮像し、
前記第2の撮像素子は、前記表示領域上に設定された第2の位置から前記被写体をみた像を撮像することを特徴とする3次元画像表示・撮像装置。
A display device having a display area for displaying a three-dimensional image;
First and second imaging elements that capture parallax images for a three-dimensional image of a subject located in front of the display area;
Have
The first image sensor captures an image of the subject viewed from a first position set on the display area;
The three-dimensional image display / imaging apparatus, wherein the second imaging element captures an image of the subject viewed from a second position set on the display area.
前記第1の位置と前記第2の位置は、前記表示領域を左右に2等分する垂直線を中心とする対称位置に設定されていることを特徴とする請求項1に記載の3次元画像表示・撮像装置。   2. The three-dimensional image according to claim 1, wherein the first position and the second position are set to symmetrical positions around a vertical line that bisects the display area into left and right halves. Display / imaging device. 前記第1の位置および前記第2の位置は、前記表示領域を上下に2等分する水平線から上方にずれた位置に設定されていることを特徴とする請求項1または2に記載の3次元画像表示・撮像装置。   3. The three-dimensional image according to claim 1, wherein the first position and the second position are set to positions shifted upward from a horizontal line that bisects the display area in two. Image display / imaging device. 前記第1の位置および前記第2の位置は、前記表示領域に前記3次元画像として表示された3次元画像と重なる位置に設定されていることを特徴とする請求項1乃至3の何れか一項に記載の3次元画像表示・撮影装置。   The said 1st position and the said 2nd position are set to the position which overlaps with the three-dimensional image displayed as the said three-dimensional image in the said display area. The three-dimensional image display / photographing device according to item. 前記撮像素子は、前記表示領域の背面から前記被写体を撮像することを特徴とする請求項1乃至4の何れか一項に記載の3次元画像表示・撮像装置。   5. The three-dimensional image display / imaging apparatus according to claim 1, wherein the imaging element images the subject from a back surface of the display area. 前記表示領域および前記撮像素子のうちの一方の要素は、前記被写体に対面する位置に配置されているとともに、他方の要素は前記被写体に対面する位置からずれた位置に配置され、
前記被写体と前記一方の要素との間には、前記被写体と前記一方の要素とを結ぶ光路から前記被写体と前記他方の要素とを結ぶ光路を分離するためのハーフミラーが配置されていることを特徴とする請求項1乃至5の何れか一項に記載の3次元画像表示・撮像装置。
One element of the display area and the image sensor is disposed at a position facing the subject, and the other element is disposed at a position shifted from the position facing the subject,
A half mirror is arranged between the subject and the one element to separate an optical path connecting the subject and the other element from an optical path connecting the subject and the one element. The three-dimensional image display / imaging device according to any one of claims 1 to 5, wherein
前記表示装置は、前記表示領域を構成する表示パネルを有する直視型表示装置であることを特徴とする請求項5または6に記載の3次元画像表示・撮像装置。   The three-dimensional image display / imaging device according to claim 5 or 6, wherein the display device is a direct-view display device having a display panel constituting the display area. 前記表示装置は、前記表示領域を構成する被投射部材、および該被投射部材に3次元画像を投射表示するプロジェクターを備えた投射型表示装置であることを特徴とする請求項5または6に記載の3次元画像表示・撮像装置。   The said display apparatus is a projection type display apparatus provided with the to-be-projected member which comprises the said display area, and the projector which projects and displays a three-dimensional image on this to-be-projected member. 3D image display / imaging device. 請求項1乃至8のいずれか一項に記載の3次元画像表示・撮像装置と3次元画像を表示する表示領域を備えた第2の表示装置とが回線を介して接続された通信システムであって、
前記3次元画像表示・撮像装置の前記撮像素子により撮像された画像が前記第2の表示装置によって3次元画像として表示されることを特徴とする通信システム。
A communication system in which the 3D image display / imaging device according to any one of claims 1 to 8 and a second display device having a display area for displaying a 3D image are connected via a line. And
A communication system, wherein an image picked up by the image pickup device of the three-dimensional image display / image pickup device is displayed as a three-dimensional image by the second display device.
請求項1乃至8のいずれか一項に記載の3次元画像表示・撮像装置同士が回線を介して接続された通信システムであって、
前記3次元画像表示・撮像装置同士の間では、一方の3次元画像表示・撮像装置の前記撮像素子により撮像された画像が他方の3次元画像表示・撮像装置の前記表示装置によって3次元画像として表示され、他方の3次元画像表示・撮像装置の前記撮像素子により撮像された画像が一方の3次元画像表示・撮像装置の前記表示装置によって3次元画像として表示されることを特徴とする通信システム。
A communication system in which the three-dimensional image display / imaging devices according to any one of claims 1 to 8 are connected via a line,
Between the three-dimensional image display / imaging devices, an image captured by the imaging element of one three-dimensional image display / imaging device is converted into a three-dimensional image by the display device of the other three-dimensional image display / imaging device. A communication system that is displayed and displayed as a three-dimensional image by the display device of one of the three-dimensional image display / imaging devices, the image captured by the imaging element of the other three-dimensional image display / imaging device. .
前記3次元画像表示・撮像装置は、マイクおよびスピーカーを備え、
前記3次元画像表示・撮像装置同士の間では、一方の3次元画像表示・撮像装置の前記スピーカーに入力された音声が他方の3次元画像表示・撮像装置の前記スピーカーによって再生され、他方の3次元画像表示・撮像装置の前記スピーカーに入力された音声が一方の3次元画像表示・撮像装置の前記スピーカーによって再生されることを特徴とする請求項10に記載の通信システム。
The three-dimensional image display / imaging device includes a microphone and a speaker,
Between the three-dimensional image display / imaging devices, the sound input to the speaker of one three-dimensional image display / imaging device is reproduced by the speaker of the other three-dimensional image display / imaging device, and the other three 11. The communication system according to claim 10, wherein sound input to the speaker of the three-dimensional image display / imaging device is reproduced by the speaker of one of the three-dimensional image display / imaging devices.
3次元画像を表示する表示領域を備えた表示パネルを有し、
前記表示領域には、少なくとも当該表示パネルの前記表示領域の背面側に配置された3次元画像撮像用の撮像素子によって前記表示領域の正面に位置する被写体を撮像する際、撮像光路が構成されることを特徴とする表示装置。
A display panel having a display area for displaying a three-dimensional image;
In the display area, an imaging optical path is configured when an image of a subject located in front of the display area is picked up by an image pickup device for capturing a three-dimensional image at least on the back side of the display area of the display panel. A display device characterized by that.
3次元画像を表示する表示領域を備えた液晶パネルと、
当該液晶パネルの背面側に対向配置された導光板、および該導光板に光を供給するバックライト用光源を備えたバックライト装置と、
を有し、
前記表示領域には、少なくとも当該表示領域の背面側に配置された3次元画像撮像用の撮像素子によって前記表示領域の正面に位置する被写体を撮像する際、撮像光路が構成され、
前記導光板には、前記撮像光路を介して前記被写体を撮像するための穴あるいは透光部が構成されていることを特徴とする表示装置。
A liquid crystal panel having a display area for displaying a three-dimensional image;
A light guide plate disposed opposite to the back side of the liquid crystal panel, and a backlight device including a backlight light source for supplying light to the light guide plate;
Have
In the display area, an imaging optical path is configured when an image of a subject located in front of the display area is picked up by at least a three-dimensional image pickup imaging element arranged on the back side of the display area.
The display device according to claim 1, wherein the light guide plate is configured with a hole or a translucent part for imaging the subject through the imaging optical path.
3次元画像を表示する表示領域を備えた液晶パネルと、
当該液晶パネルの背面側に対向配置された導光板、および該導光板に光を供給するバックライト用光源を備えたバックライト装置と、
を有し、
前記表示領域には、少なくとも前記導光板において前記表示領域と重なる領域の背面側に配置された3次元画像撮像用の撮像素子によって前記表示領域の正面に位置する被写体を撮像する際、撮像光路が構成され、
前記導光板では、前記液晶パネルに光を出射する光散乱モードと、前記撮像光路を介して前記被写体を撮像するための透光モードと、が実行されることを特徴とする表示装置。
A liquid crystal panel having a display area for displaying a three-dimensional image;
A light guide plate disposed opposite to the back side of the liquid crystal panel, and a backlight device including a backlight light source for supplying light to the light guide plate;
Have
In the display area, an imaging optical path is provided when an image of a subject located in front of the display area is picked up by a three-dimensional image pickup imaging element disposed at least on the back side of the area overlapping the display area in the light guide plate. Configured,
The display device, wherein the light guide plate executes a light scattering mode for emitting light to the liquid crystal panel and a light transmission mode for imaging the subject through the imaging optical path.
表示領域を構成する被投射部材と、
当該被投射部材の前記表示領域に3次元画像を投射表示するプロジェクターと、
を有し、
前記被投射部材は、当該被投射部材の背面側に配置された3次元画像撮像用の撮像素子から前記被投射部材の正面に位置する被写体を撮像可能とする透光部を備えていることを特徴とする表示装置。
A projection member constituting a display area;
A projector for projecting and displaying a three-dimensional image on the display area of the projection member;
Have
The projection member includes a translucent part that can capture an image of a subject located in front of the projection member from an imaging element for capturing a three-dimensional image arranged on the back side of the projection member. Characteristic display device.
JP2009010627A 2009-01-21 2009-01-21 Three-dimensional image display-imaging device, communication system, and display device Pending JP2010171573A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009010627A JP2010171573A (en) 2009-01-21 2009-01-21 Three-dimensional image display-imaging device, communication system, and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009010627A JP2010171573A (en) 2009-01-21 2009-01-21 Three-dimensional image display-imaging device, communication system, and display device

Publications (1)

Publication Number Publication Date
JP2010171573A true JP2010171573A (en) 2010-08-05

Family

ID=42703289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009010627A Pending JP2010171573A (en) 2009-01-21 2009-01-21 Three-dimensional image display-imaging device, communication system, and display device

Country Status (1)

Country Link
JP (1) JP2010171573A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176755A (en) * 2010-12-24 2011-09-07 青岛海信数字多媒体技术国家重点实验室有限公司 Control method and device based on eye movement three-dimensional display angle
JP2017501621A (en) * 2013-12-27 2017-01-12 インテル・コーポレーション Display with embedded camera, information processing system, camera sensor assembly integrated with display, and method of operating display
JP2019533324A (en) * 2016-09-09 2019-11-14 グーグル エルエルシー 3D telepresence system
JP2020161121A (en) * 2019-03-27 2020-10-01 ダイコク電機株式会社 Video output system
JP2020160341A (en) * 2019-03-27 2020-10-01 ダイコク電機株式会社 Video output system
US11074757B2 (en) 2018-12-19 2021-07-27 Casio Computer Co., Ltd. Display device, display method, and recording medium
US11140314B2 (en) 2019-11-29 2021-10-05 Seiko Epson Corporation Imaging display device, imaging display system, and control method of imaging display device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315388A (en) * 1991-04-15 1992-11-06 Toshiba Corp Television telephone set
JPH10224825A (en) * 1997-02-10 1998-08-21 Canon Inc Image display system, image display device in the system, information processing unit, control method and storage medium
JP2000298253A (en) * 1999-04-14 2000-10-24 Seiko Epson Corp Liquid crystal display device with image pickup function, computer, television telephone, and digital camera
JP2002027419A (en) * 2000-07-05 2002-01-25 Hitachi Ltd Image terminal device and communication system using the same
JP2003506973A (en) * 1999-08-10 2003-02-18 ホワイト・ピーター・マクダフィー Communications system
JP2007163816A (en) * 2005-12-14 2007-06-28 I-O Data Device Inc Display device and its control method
JP2008228170A (en) * 2007-03-15 2008-09-25 Seiko Epson Corp Image display device and television telephone device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315388A (en) * 1991-04-15 1992-11-06 Toshiba Corp Television telephone set
JPH10224825A (en) * 1997-02-10 1998-08-21 Canon Inc Image display system, image display device in the system, information processing unit, control method and storage medium
JP2000298253A (en) * 1999-04-14 2000-10-24 Seiko Epson Corp Liquid crystal display device with image pickup function, computer, television telephone, and digital camera
JP2003506973A (en) * 1999-08-10 2003-02-18 ホワイト・ピーター・マクダフィー Communications system
JP2002027419A (en) * 2000-07-05 2002-01-25 Hitachi Ltd Image terminal device and communication system using the same
JP2007163816A (en) * 2005-12-14 2007-06-28 I-O Data Device Inc Display device and its control method
JP2008228170A (en) * 2007-03-15 2008-09-25 Seiko Epson Corp Image display device and television telephone device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176755A (en) * 2010-12-24 2011-09-07 青岛海信数字多媒体技术国家重点实验室有限公司 Control method and device based on eye movement three-dimensional display angle
JP2017501621A (en) * 2013-12-27 2017-01-12 インテル・コーポレーション Display with embedded camera, information processing system, camera sensor assembly integrated with display, and method of operating display
JP2019533324A (en) * 2016-09-09 2019-11-14 グーグル エルエルシー 3D telepresence system
JP2022009242A (en) * 2016-09-09 2022-01-14 グーグル エルエルシー Three-dimensional telepresence system
JP7001675B2 (en) 2016-09-09 2022-01-19 グーグル エルエルシー 3D telepresence system
JP7443314B2 (en) 2016-09-09 2024-03-05 グーグル エルエルシー 3D telepresence system
US11074757B2 (en) 2018-12-19 2021-07-27 Casio Computer Co., Ltd. Display device, display method, and recording medium
JP2020161121A (en) * 2019-03-27 2020-10-01 ダイコク電機株式会社 Video output system
JP2020160341A (en) * 2019-03-27 2020-10-01 ダイコク電機株式会社 Video output system
US11140314B2 (en) 2019-11-29 2021-10-05 Seiko Epson Corporation Imaging display device, imaging display system, and control method of imaging display device

Similar Documents

Publication Publication Date Title
JP4768878B2 (en) 3D image display device, electronic apparatus, and driving method of 3D image display device
CN100533268C (en) Display device with image pickup device
CN110264967B (en) Display device and control method thereof
JP2010171573A (en) Three-dimensional image display-imaging device, communication system, and display device
JP2010015015A (en) Electro-optical device and electronic equipment
JP5607430B2 (en) Stereoscopic display device and electronic device
CN103165087B (en) Liquid crystal display device and driving method therefor as well as electronic apparatus
JP5071041B2 (en) Display device and electronic device
TWI514007B (en) Display device
JP2004048644A (en) Information processor, information processing system and interlocutor display method
US20140267242A1 (en) Display device
WO2011108139A1 (en) Teleconference system
JP2022520133A (en) Display panel, display device and display method
KR20080001518A (en) 3-dimension display device using light controlling film
JP2009524117A (en) Stereoscopic image display device
US8525957B2 (en) Display apparatus, electronic equipment, mobile electronic equipment, mobile telephone, and image pickup apparatus
TWI399570B (en) 3d display and 3d display system
JP2008191261A (en) Liquid crystal display device
JP2007074666A (en) Display imaging apparatus
CN113253457A (en) Display device and display control method thereof
JP5963637B2 (en) Display device with imaging device
WO2020026496A1 (en) Electronic device
JP2008228170A (en) Image display device and television telephone device
JP2014228852A (en) Display device
JP2751112B2 (en) Imaging display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111213