JP2007156757A - Display device - Google Patents

Display device Download PDF

Info

Publication number
JP2007156757A
JP2007156757A JP2005349978A JP2005349978A JP2007156757A JP 2007156757 A JP2007156757 A JP 2007156757A JP 2005349978 A JP2005349978 A JP 2005349978A JP 2005349978 A JP2005349978 A JP 2005349978A JP 2007156757 A JP2007156757 A JP 2007156757A
Authority
JP
Japan
Prior art keywords
imaging
image
display
display panel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005349978A
Other languages
Japanese (ja)
Inventor
Hiromi Kato
浩巳 加藤
Osamu Teranuma
修 寺沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005349978A priority Critical patent/JP2007156757A/en
Publication of JP2007156757A publication Critical patent/JP2007156757A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display deice reduced in heating value noise and size capable of capturing an image with high resolution. <P>SOLUTION: This display device is provided with a display 2 having light permeability and an image pickup unit. Each image pickup unit is provided with image pickup parts 41a and 42a(or 42a and 42b) having an imaging optical system and an image selection part. The image pickup parts 41a and 41b(or 42a and 42b) receive the rays of light made incident from an observer side to a display panel 2, and passing through the display panel 2 and the image pickup optical system, and pick up the status of the observer side in the same region within the display region of the display panel 2. The image selection part compares the images picked up by the image pickup parts 41a and 41b(42a or 42b) with each other, and selects the image having the least number of pixels whose luminance exceed a threshold, and defines it as a pickup image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、表示装置、特には画像入力機能を供えた表示装置に関する。   The present invention relates to a display device, and more particularly to a display device provided with an image input function.

近年、表示装置の分野においては、表示機能に加え、入力機能をも兼ね備えた表示装置が普及してきている。このような表示装置の一例としては、タッチパネル付の表示装置が挙げられる(例えば、特許文献1参照。)。特許文献1に開示の表示装置は、プロジェクタが照射した光を表示領域へと導き、導かれた光のうち表示領域上に置かれたユーザの指で反射された光をCCDカメラで受光することによってタッチ位置の検出を行なっている。   In recent years, in the field of display devices, display devices having an input function in addition to a display function have become widespread. An example of such a display device is a display device with a touch panel (see, for example, Patent Document 1). The display device disclosed in Patent Document 1 guides light emitted from a projector to a display area, and receives light reflected by a user's finger placed on the display area with the CCD camera. The touch position is detected by.

また、タッチパネル付の表示装置の他に、画像そのものを取り込むことができるように構成された液晶表示装置も開示されている(例えば、特許文献2参照)。特許文献2に開示された液晶表示装置は、アクティブマトリクス基板上にマトリクス状に配置された複数個のフォトダイオードを備えており、これにより、表示画面上の物体の画像を取り込んでいる。
特開2001−350586号公報(第1図) 特開2004−159273号公報(第2図−第3図)
In addition to a display device with a touch panel, a liquid crystal display device configured to be able to capture an image itself is also disclosed (see, for example, Patent Document 2). The liquid crystal display device disclosed in Patent Document 2 includes a plurality of photodiodes arranged in a matrix on an active matrix substrate, thereby capturing an image of an object on a display screen.
JP 2001-350586 A (FIG. 1) JP 2004-159273 A (FIGS. 2 to 3)

しかしながら、特許文献1に開示の表示装置においては、プロジェクタを使用する必要があるため、電源ファンによる騒音が大きいという問題、発熱量が大きいという問題、装置全体を小型化できないという問題がある。   However, in the display device disclosed in Patent Document 1, since it is necessary to use a projector, there are a problem that the noise caused by the power supply fan is large, a problem that the heat generation amount is large, and a problem that the entire apparatus cannot be reduced in size.

また、特許文献2に開示の液晶表示装置は、画像の取り込みを可能とする構成を備えているが、結像光学系を備えていないため、特許文献2に開示の液晶表示装置において、鮮明な取り込み画像を得ることは不可能である。特許文献2の液晶表示装置には、高解像度の取り込みを行なうことが不可能であるという問題がある。   Further, the liquid crystal display device disclosed in Patent Document 2 has a configuration that enables capturing of an image, but does not include an imaging optical system. It is impossible to obtain a captured image. The liquid crystal display device of Patent Document 2 has a problem that it is impossible to capture a high resolution.

本発明の目的は、上記問題を解消し、発熱量が少なく、静音化及び小型化が可能であって、且つ高解像度の画像の取り込みを可能とし得る表示装置を提供することにある。   An object of the present invention is to provide a display device that solves the above-described problems, generates a small amount of heat, can be reduced in size and size, and can capture a high-resolution image.

上記目的を達成するために本発明における表示装置は光透過性を有する表示パネルと、撮像ユニットとを備え、前記撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備え、前記複数の撮像部それぞれは、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する光を受光して、前記表示パネルの表示領域内の同一の領域における観察者側の状態を撮像し、前記画像選択部は、前記複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、選択した画像のデータを外部に出力することを特徴とする。   In order to achieve the above object, a display device according to the present invention includes a light-transmissive display panel and an imaging unit, and the imaging unit includes a plurality of imaging units having an imaging optical system, and an image selection unit. Each of the plurality of imaging units receives light that is incident on the display panel from the observer side and passes through the display panel and the imaging optical system, and is the same in the display area of the display panel. The image selection unit compares the images captured by each of the plurality of imaging units with each other, and selects and selects the image with the smallest number of pixels whose luminance exceeds the threshold. The image data is output to the outside.

以上のように本発明における表示装置によれば、液晶表示パネルやEL表示パネルといった光透過性の表示パネルを用いて画像を表示できるため、発熱量の減少化、静音化及び小型化を達成できる。更に、本発明における表示装置においては、撮像部が結像光学系を備えるため、従来の入力機能を備えた表示装置に比べて、高解像度の画像の取り込みを達成できる。   As described above, according to the display device of the present invention, since an image can be displayed using a light-transmissive display panel such as a liquid crystal display panel or an EL display panel, a reduction in heat generation, a reduction in noise, and a reduction in size can be achieved. . Furthermore, in the display device according to the present invention, since the imaging unit includes the imaging optical system, it is possible to capture a high-resolution image as compared with a display device having a conventional input function.

本発明における表示装置は光透過性を有する表示パネルと、撮像ユニットとを備え、前記撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備え、前記複数の撮像部それぞれは、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する光を受光して、前記表示パネルの表示領域内の同一の領域における観察者側の状態を撮像し、前記画像選択部は、前記複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、選択した画像のデータを外部に出力することを特徴とする。   The display device according to the present invention includes a light-transmissive display panel and an imaging unit, and the imaging unit includes a plurality of imaging units having an imaging optical system and an image selection unit, and the plurality of imaging units. Each receives light that is incident on the display panel from the viewer side and passes through the display panel and the imaging optical system, and is on the viewer side in the same region within the display region of the display panel. The image selection unit compares the images captured by the plurality of imaging units with each other, selects an image with the smallest number of pixels whose luminance exceeds a threshold value, and outputs data of the selected image to the outside It is characterized by doing.

上記特徴により、本発明における表示装置によれば、発熱量の減少化、静音化及び小型化を図ることができ、更に、高解像度の画像の取り込みが可能となる。また、本発明における表示装置では、一つの領域が複数の撮像部によって撮像され、撮像された各画像のうち白とびが少ない画像が当該領域の撮像画像として出力される。このため、外部から表示領域に指向性が高い光が入射した場合に、撮像画像に白とびが生じるのを抑制できる。   With the above features, the display device according to the present invention can reduce the amount of heat generation, reduce the noise, and reduce the size, and can capture a high-resolution image. Further, in the display device according to the present invention, one area is captured by a plurality of imaging units, and an image with little overexposure among the captured images is output as a captured image of the area. For this reason, it is possible to suppress overexposure in the captured image when light having high directivity is incident on the display region from the outside.

また、上記本発明における表示装置は、前記表示パネルの観察者側へ検出光を出射する検出光源部を備え、前記複数の撮像部それぞれが、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する前記検出光を受光して、前記表示領域内の同一の領域における観察者側の状態を撮像する態様とするのが好ましい。上記態様によれば、撮像画像の解像度の向上を図ることができる。   Further, the display device according to the present invention includes a detection light source unit that emits detection light to the viewer side of the display panel, each of the plurality of imaging units is incident on the display panel from the viewer side, and It is preferable that the detection light passing through the display panel and the imaging optical system is received to image a state on the observer side in the same area in the display area. According to the above aspect, the resolution of the captured image can be improved.

また、上記本発明における表示装置においては、前記複数の撮像部は、前記表示パネルの裏側における、前記表示パネルの厚み方向において前記表示領域と重なる領域の周辺に、前記複数の撮像部のうちの一部の撮像部の撮像方向と、他の一部の撮像部の撮像方向とが、観察者側から見たときに交差するように配置されている態様とするのも好ましい。上記態様によれば、観察者側から入射した指向性が高い光(環境光)が、複数の撮像部全てに同時に入射するのを抑制できるため、撮像部が撮像した全ての画像に白とびが生じてしまう事態を回避できる。つまり、上記態様によれば、撮像画像に白とびが生じるのをよりいっそう抑制できる。   Moreover, in the display device according to the present invention, the plurality of imaging units are located on the back side of the display panel, in the periphery of the region overlapping the display region in the thickness direction of the display panel. It is also preferable that the imaging directions of some imaging units and the imaging directions of some other imaging units are arranged so as to intersect when viewed from the observer side. According to the above aspect, since light with high directivity (environmental light) incident from the observer side can be prevented from being incident on all of the plurality of image capturing units at the same time, overexposure is performed on all images captured by the image capturing unit. The situation that occurs can be avoided. That is, according to the said aspect, it can suppress further that overexposure arises in a captured image.

更に、上記本発明における表示装置は、前記撮像ユニットを複数個備え、前記複数個の撮像ユニットそれぞれは、前記表示領域内の異なる領域を撮像対象とし、各撮像ユニットに備えられた前記複数の撮像部は、それらを備える撮像ユニットが撮像対象としている領域の観察者側の状態を撮像する態様とするのも好ましい。上記態様によれば、一つの撮像ユニットが撮像対象とする領域の面積を小さくできるため、撮像部それぞれの撮像領域を狭くすることができる。よって、撮像ユニットが単一である場合に比べて、各撮像部が求める光学的撮像距離(焦点距離)を短くすることができ、表示装置の薄型化を図ることができる。   Furthermore, the display device according to the present invention includes a plurality of the imaging units, and each of the plurality of imaging units targets a different area within the display area as an imaging target, and the plurality of imaging units included in each imaging unit. It is also preferable that the unit images the state on the observer side of the region that is an imaging target by the imaging unit including them. According to the said aspect, since the area of the area | region which one imaging unit makes into an imaging object can be made small, the imaging area of each imaging part can be narrowed. Therefore, compared with the case where there is a single imaging unit, the optical imaging distance (focal length) required by each imaging unit can be shortened, and the display device can be thinned.

また、この場合においては、前記複数個の撮像ユニットそれぞれの撮像対象となる領域のうち、隣接する領域同士が部分的に重なり合っているのが好ましい。これにより、被写体の位置の認識を正確に行うことができる。   In this case, it is preferable that adjacent regions partially overlap each other among regions to be imaged of the plurality of imaging units. Thereby, the position of the subject can be accurately recognized.

また、上記本発明における表示装置においては、前記検出光源部が、700nm以上の波長の光を出射し、前記複数の撮像部それぞれが、700nm以上の波長の光のみを受光するのが好ましく、特には、前記検出光源部が、800nm以上1000nm以下の波長の光を照射し、前記複数の撮像部それぞれが、800nm以上の波長の光のみを受光するのが好ましい。このような場合は、可視光によるノイズを除去でき、更なる撮像画像の高解像度化を図ることができる。   In the display device according to the present invention, it is preferable that the detection light source unit emits light having a wavelength of 700 nm or more, and each of the plurality of imaging units receives only light having a wavelength of 700 nm or more. Preferably, the detection light source unit emits light having a wavelength of 800 nm or more and 1000 nm or less, and each of the plurality of imaging units receives only light having a wavelength of 800 nm or more. In such a case, noise due to visible light can be removed, and the resolution of the captured image can be further increased.

更に、上記本発明における表示装置においては、前記表示パネルは、液晶表示パネルであっても良いし、EL表示パネルであっても良い。   Furthermore, in the display device according to the present invention, the display panel may be a liquid crystal display panel or an EL display panel.

(実施の形態1)
以下、本発明の実施の形態1における表示装置について、図1〜図6を参照しながら説明する。最初に、本実施の形態1における表示装置の全体構成について図1〜図4を用いて説明する。
(Embodiment 1)
Hereinafter, the display device according to Embodiment 1 of the present invention will be described with reference to FIGS. First, the overall configuration of the display device according to the first embodiment will be described with reference to FIGS.

図1は、本発明の実施の形態1における表示装置の概略構成を示す断面図である。図2は、図1に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。図3は、図1及び図2に示した撮像部の概略構成を示す断面図である。図4は、図1及び図2に示した検出光源部の概略構成を示す図であり、図4(a)は検出光の出射方向に沿って切断した断面図、図4(b)は正面図である。   FIG. 1 is a cross-sectional view showing a schematic configuration of a display device according to Embodiment 1 of the present invention. FIG. 2 is a plan view showing the positional relationship between the imaging unit and the display panel that constitute the display device shown in FIG. FIG. 3 is a cross-sectional view illustrating a schematic configuration of the imaging unit illustrated in FIGS. 1 and 2. 4 is a diagram showing a schematic configuration of the detection light source unit shown in FIGS. 1 and 2, FIG. 4A is a cross-sectional view cut along the emission direction of detection light, and FIG. 4B is a front view. FIG.

図1及び図2に示すように、本実施の形態1における表示装置は、光透過性を有する表示パネル2と、撮像ユニットとを備えている。撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備えている。本実施の形態1においては、撮像部41a及び41bを有する第1の撮像ユニットと、撮像部42a及び42bを有する第2の撮像ユニットと、撮像部43a及び43bを有する第3の撮像ユニットと、撮像部44a及び44bを有する第4の撮像ユニットとが備えられている。なお、図1及び図2においては、画像選択部の図示は省略している。画像選択部については図5及び図6を用いて後述する。また、図1においては、図示の関係上、撮像部43a〜44bについては図示を省略している。   As shown in FIGS. 1 and 2, the display device according to the first embodiment includes a display panel 2 having optical transparency and an imaging unit. The imaging unit includes a plurality of imaging units having an imaging optical system and an image selection unit. In the first embodiment, a first imaging unit having imaging units 41a and 41b, a second imaging unit having imaging units 42a and 42b, a third imaging unit having imaging units 43a and 43b, And a fourth imaging unit having imaging units 44a and 44b. In FIG. 1 and FIG. 2, the illustration of the image selection unit is omitted. The image selection unit will be described later with reference to FIGS. In FIG. 1, the illustration of the imaging units 43 a to 44 b is omitted because of the illustration.

また、図2に示すように、本実施の形態1においては、第1の撮像ユニット〜第4の撮像ユニットは、表示パネル2の表示領域3内の異なる領域をそれぞれ撮像対象としている。具体的には、第1の撮像ユニットは領域Aを撮像対象とし、撮像領域(2)は領域Bを撮像対象としている。更に、第3の撮像ユニットは領域Cを撮像対象とし、第4の撮像ユニットは領域Dを撮像対象としている。   As shown in FIG. 2, in the first embodiment, the first to fourth imaging units have different areas in the display area 3 of the display panel 2 as imaging targets. Specifically, the first imaging unit has an area A as an imaging target, and the imaging area (2) has an area B as an imaging target. Furthermore, the third imaging unit has an area C as an imaging target, and the fourth imaging unit has an area D as an imaging target.

更に、同一の撮像ユニットに備えられた複数の撮像部は、それらを備える撮像ユニットが撮像対象としている領域の観察者側の状態を撮像する。即ち、同一の撮像ユニットに備えられた複数の撮像部は、同一の領域の観察者側の状態を撮像する。よって、本実施の形態1においては、領域Aの観察者側の状態は、撮像部41aと41bとによって撮像され、領域Bの観察者側の状態は、撮像部42aと42bとによって撮像される。また、領域Cの観察者側の状態は、撮像部43aと43bとによって撮像され、領域Dの観察者側の状態は、撮像部44aと44bとによって撮像される。但し、各撮像ユニットが撮像対象とする領域は、被写体1の位置の認識が正確に行われるようにするため、図2に示すように、隣接する領域同士が部分的に重なり合うように設定するのが好ましい。   Further, the plurality of imaging units provided in the same imaging unit images the state on the observer side of the region that is the imaging target of the imaging unit including them. That is, the plurality of image pickup units provided in the same image pickup unit pick up an image of the state on the observer side of the same region. Therefore, in the first embodiment, the state of the region A on the observer side is imaged by the imaging units 41a and 41b, and the state of the region B on the observer side is imaged by the imaging units 42a and 42b. . Further, the state on the observer side of the region C is imaged by the imaging units 43a and 43b, and the state on the observer side of the region D is imaged by the imaging units 44a and 44b. However, the areas to be imaged by each imaging unit are set so that adjacent areas partially overlap as shown in FIG. 2 so that the position of the subject 1 can be accurately recognized. Is preferred.

また、本実施の形態1において、表示パネル2は液晶表示パネルであり、表示装置は液晶表示装置である。表示パネル2の裏面側には、表示パネル2を照明するためのバックライト装置5が配置されている。表示パネル2は、アクティブマトリクス基板2cと、液晶層2bと、フィルタ基板(対向基板)2aとを備えている。液晶層2bは、アクティブマトリクス基板2cとフィルタ基板2aとによって挟み込まれている。液晶層2bを封止するためのシールについては、図示を省略している。また、フィルタ基板2a及びアクティブマトリクス基板2cそれぞれにおける液晶層2b側の反対側の面には、図示していないが、偏光板が設けられている。   In the first embodiment, the display panel 2 is a liquid crystal display panel, and the display device is a liquid crystal display device. On the back side of the display panel 2, a backlight device 5 for illuminating the display panel 2 is disposed. The display panel 2 includes an active matrix substrate 2c, a liquid crystal layer 2b, and a filter substrate (counter substrate) 2a. The liquid crystal layer 2b is sandwiched between the active matrix substrate 2c and the filter substrate 2a. Illustration of a seal for sealing the liquid crystal layer 2b is omitted. In addition, a polarizing plate (not shown) is provided on the surface opposite to the liquid crystal layer 2b side in each of the filter substrate 2a and the active matrix substrate 2c.

アクティブマトリクス基板2cには、マトリクス状に配置された複数のアクティブ素子(図示せず)が形成されている。アクティブ素子は画素を構成しており、画素が設けられた領域と厚み方向(図1中の太線の矢印で示す)において重なる領域が、表示領域3となっている。また、アクティブマトリクス基板2cには、図示していないが、ゲート駆動回路やソース駆動回路といった駆動回路が設けられている。フィルタ基板2aには、各画素に対応する複数のカラーフィルタ(図示せず)や、対向電極が形成されている。   A plurality of active elements (not shown) arranged in a matrix are formed on the active matrix substrate 2c. The active element constitutes a pixel, and a region overlapping with the region where the pixel is provided in the thickness direction (indicated by a thick line arrow in FIG. 1) is a display region 3. Further, although not shown, the active matrix substrate 2c is provided with a drive circuit such as a gate drive circuit and a source drive circuit. A plurality of color filters (not shown) corresponding to each pixel and counter electrodes are formed on the filter substrate 2a.

なお、表示パネル2は、光透過性を備えたものであれば良い。表示パネル2としては、その他、EL表示パネルが挙げられる。表示パネル2がEL表示パネルである場合は、EL表示パネルが自発光であるため、バックライト装置を配置する必要はない。更に、この場合は、表示パネル2は、例えば、透明基板上に、透明電極(アノード)となるITO(Indium Tin Oxide)膜、正孔輸送層、電子輸送層、背面電極(カソード)等を順に積層して構成される。   In addition, the display panel 2 should just be provided with the light transmittance. Other examples of the display panel 2 include an EL display panel. When the display panel 2 is an EL display panel, it is not necessary to arrange a backlight device because the EL display panel emits light. Furthermore, in this case, the display panel 2 is, for example, an ITO (Indium Tin Oxide) film that becomes a transparent electrode (anode), a hole transport layer, an electron transport layer, a back electrode (cathode), etc. in this order on a transparent substrate. It is constructed by stacking.

バックライト装置5は、直下型のバックライト装置であり、複数の蛍光ランプ6と、光学層13とを備えている。複数の蛍光ランプ6は、バスタブ型の筐体8に、互いに平行な状態で配置されている(図2参照)。また、筐体8の内面には反射シートが貼付されている。光学層13は、拡散板9、拡散シート10、プリズムシート11、反射/偏光シート12を順に積層して形成されている。   The backlight device 5 is a direct-type backlight device and includes a plurality of fluorescent lamps 6 and an optical layer 13. The plurality of fluorescent lamps 6 are disposed in a bathtub-type housing 8 in a state parallel to each other (see FIG. 2). A reflective sheet is attached to the inner surface of the housing 8. The optical layer 13 is formed by sequentially laminating a diffusion plate 9, a diffusion sheet 10, a prism sheet 11, and a reflection / polarization sheet 12.

このように、本実施の形態1においては、表示装置は、液晶表示装置である。よって、撮像部41a〜44bは、バックライト装置5からの照明光への悪影響を考慮して、表示パネルの裏面側であって、表示パネル2の厚み方向において表示領域3と重なる領域の周辺に配置されている。但し、この場合、撮像部41a〜44bは斜め方向から撮像を行わなければならないため、撮像された画像に台形歪みが発生する可能性がある。このため、本実施の形態1においては、撮像部41a〜44bにシフト光学系を備えさせている。   Thus, in the first embodiment, the display device is a liquid crystal display device. Therefore, the imaging units 41a to 44b are arranged on the back surface side of the display panel and around the area overlapping the display area 3 in the thickness direction of the display panel 2 in consideration of adverse effects on the illumination light from the backlight device 5. Has been placed. However, in this case, since the imaging units 41a to 44b must perform imaging from an oblique direction, trapezoidal distortion may occur in the captured image. For this reason, in this Embodiment 1, the imaging parts 41a-44b are provided with the shift optical system.

具体的には、図3に示すように、撮像部41a〜44bは、結像光学系を構成するレンズ素子30と、レンズ素子30によって結像された像を受光する固体撮像素子32と、光学フィルタ31とを備えている。固体撮像素子32は、CCD固体撮像素子や、MOS型固体撮像素子といった固体撮像素子である。光学フィルタ31は、後述する検出光のみを固体撮像素子32に導くために設けられており、本実施の形態1では、赤外領域以上の波長の光のみを透過させるハイパスフィルタである。   Specifically, as illustrated in FIG. 3, the imaging units 41 a to 44 b include a lens element 30 that forms an imaging optical system, a solid-state imaging element 32 that receives an image formed by the lens element 30, and an optical unit. And a filter 31. The solid-state imaging device 32 is a solid-state imaging device such as a CCD solid-state imaging device or a MOS solid-state imaging device. The optical filter 31 is provided to guide only detection light, which will be described later, to the solid-state imaging device 32. In the first embodiment, the optical filter 31 is a high-pass filter that transmits only light having a wavelength equal to or greater than the infrared region.

また、レンズ素子30と固体撮像素子32とは、いわゆるシフト光学系を構成している。つまり、固体撮像素子32及びレンズ素子30は、固体撮像素子32の受光面の中心を通る法線32aとレンズ素子30の光軸30aとが平行となり、且つ、光軸30aが法線32aからシフトした状態でフレーム33に保持されている。更に、図1に示したように、撮像部41a〜44bそれぞれは、固体撮像素子32の受光面が表示領域3に対して平行となり、且つ、固体撮像素子32の法線32aがレンズ素子30の光軸30aよりも表示領域3の外側に位置するように配置される。   The lens element 30 and the solid-state imaging element 32 constitute a so-called shift optical system. That is, in the solid-state imaging element 32 and the lens element 30, the normal line 32a passing through the center of the light receiving surface of the solid-state imaging element 32 and the optical axis 30a of the lens element 30 are parallel, and the optical axis 30a is shifted from the normal line 32a. In this state, the frame 33 is held. Further, as illustrated in FIG. 1, in each of the imaging units 41 a to 44 b, the light receiving surface of the solid-state imaging device 32 is parallel to the display region 3, and the normal line 32 a of the solid-state imaging device 32 is the lens element 30. It arrange | positions so that it may be located in the outer side of the display area 3 rather than the optical axis 30a.

このように、本実施の形態1では、撮像部41a〜44bは、シフト光学系を採用しているため、斜め方向からの撮像であっても、固体撮像素子32の受光面には、台形歪みの少ない像が結像される。本実施の形態1によれば、撮像部41a〜44bが撮像した画像において台形歪みの発生は抑制される。   Thus, in this Embodiment 1, since the imaging parts 41a-44b employ | adopted the shift optical system, even if it is imaging from the diagonal direction, the light-receiving surface of the solid-state image sensor 32 has trapezoid distortion. An image with less is formed. According to the first embodiment, the occurrence of trapezoidal distortion is suppressed in the images captured by the imaging units 41a to 44b.

なお、図2及び図3に示す矢印は、各撮像部の撮像方向を示している。撮像方向は、固体撮像素子32の受光面の中心と撮像対象となる領域の中心とを結ぶ線に沿った方向である。また、本実施の形態1では、撮像部41a〜44bは、表示領域3上及びその近傍に存在するものを被写体1として撮像する。よって、撮像部41a〜44bのレンズ素子30(結像光学系)の合焦範囲は、表示パネル2の表面近傍、例えば、表示領域3から観察者側に1cmの範囲内に設定するのが好ましい。   2 and 3 indicate the imaging direction of each imaging unit. The imaging direction is a direction along a line connecting the center of the light receiving surface of the solid-state imaging device 32 and the center of the region to be imaged. Further, in the first embodiment, the imaging units 41 a to 44 b capture an image of the subject 1 on the display area 3 and in the vicinity thereof. Therefore, the focusing range of the lens element 30 (imaging optical system) of the imaging units 41a to 44b is preferably set within the range of 1 cm near the surface of the display panel 2, for example, from the display area 3 to the viewer side. .

また、本実施の形態1では、撮像部41a〜44bの光学的撮像距離(結像光学系の焦点距離)を稼ぐため、表示パネル2とバックライト装置5とは、従来の液晶表示装置に比べて距離を置いて配置される。具体的には、表示パネル2とバックライト装置5とは、フレーム20によって、一定の距離Lを置いて保持されており、これらの間には空洞が存在している。また、撮像部41a〜44bもフレーム20に保持されている。   Further, in the first embodiment, the display panel 2 and the backlight device 5 are compared with a conventional liquid crystal display device in order to increase the optical imaging distance (focal length of the imaging optical system) of the imaging units 41a to 44b. Placed at a distance. Specifically, the display panel 2 and the backlight device 5 are held at a certain distance L by the frame 20, and a cavity exists between them. In addition, the imaging units 41 a to 44 b are also held in the frame 20.

例えば、表示パネル2の大きさが、30インチ程度であるならば、表示パネル2とバックライト装置5との距離Lは15cm程度に設定される。表示パネル2とバックライト装置5との間には、表示装置の強度を高めるため、透明の樹脂材料を充填する等しても良い。   For example, if the size of the display panel 2 is about 30 inches, the distance L between the display panel 2 and the backlight device 5 is set to about 15 cm. A transparent resin material may be filled between the display panel 2 and the backlight device 5 in order to increase the strength of the display device.

更に、表示パネル2とバックライト装置5との距離が大きいため、図1及び図2に示すように、バックライト装置5は、その発光領域の面積が表示領域3の面積よりも大きくなるように構成するのが好ましい。これは、表示パネル2とバックライト装置5との距離が大きいと、表示パネル2の照射領域が減少する傾向にあるからである。   Further, since the distance between the display panel 2 and the backlight device 5 is large, as shown in FIGS. 1 and 2, the backlight device 5 has a light emitting area larger than the display area 3. It is preferable to configure. This is because the irradiation area of the display panel 2 tends to decrease when the distance between the display panel 2 and the backlight device 5 is large.

また、本実施の形態1においては、撮像ユニット毎に、異なる領域を撮像対象としている。このため、単一の撮像ユニットによって表示領域3全体を撮像する場合に比べて、一つの撮像ユニットが撮像する領域を狭くすることができ、撮像部41a〜44bが求める光学的撮像距離を短くすることができる。よって、単一の撮像ユニットしか設けられない場合に比べて、表示パネル2とバックライト装置5との間の距離Lを短くでき、表示装置の薄型化を図ることができる。   Further, in the first embodiment, a different area is set as an imaging target for each imaging unit. For this reason, compared with the case where the entire display area 3 is imaged by a single imaging unit, the imaging area of one imaging unit can be narrowed, and the optical imaging distance required by the imaging units 41a to 44b is shortened. be able to. Therefore, the distance L between the display panel 2 and the backlight device 5 can be shortened compared to the case where only a single imaging unit is provided, and the display device can be thinned.

また、図1及び図2に示すように、本実施の形態1においては、表示装置は、表示パネル2の観察者側に検出光を出射する検出光源部7を備えている。図4に示すように、本実施の形態1において、検出光源部7は、検出光を出射する複数個の光源21を備えている。各光源21は、それぞれの出射方向が一致するように並列に配置されている。また、各光源21は、波長が赤外領域にある光を出射する発光ダイオードである。なお、22は、検出光源部7のフレームであり、23は、各光源21をフレーム22に固定する樹脂製の固定部材である。また、24は、透明の樹脂材料によって形成された導光路である。   As shown in FIGS. 1 and 2, in the first embodiment, the display device includes a detection light source unit 7 that emits detection light to the viewer side of the display panel 2. As shown in FIG. 4, in the first embodiment, the detection light source unit 7 includes a plurality of light sources 21 that emit detection light. The light sources 21 are arranged in parallel so that their emission directions coincide. Each light source 21 is a light emitting diode that emits light having a wavelength in the infrared region. Reference numeral 22 denotes a frame of the detection light source unit 7, and reference numeral 23 denotes a resin fixing member that fixes each light source 21 to the frame 22. Reference numeral 24 denotes a light guide formed of a transparent resin material.

更に、図2に示すように、本実施の形態1では、検出光の光量ロスを少なくするため、検出光源部7は、表示パネル2の観察者側において、表示領域3の周辺に複数個配置されている。具体的には、検出光源部7は、4つ配置されており、各検出光源部7は、表示領域3のいずれかの辺に沿って、表示領域3を囲むように配置されている。但し、検出光源部7の数は特に限定されるものではない。例えば、検出光源部7の数が2つであって、対向する2辺にのみ検出光源部7が配置された態様であっても良い。また、検出光源部7は、表示パネル2の裏面側に、検出光の出射方向を観察者側に向けた状態で配置することもできるが、照射効率の点から、図1及び図2に示すように、表示パネル2の観察者側に配置するのが好ましい。   Furthermore, as shown in FIG. 2, in the first embodiment, a plurality of detection light source units 7 are arranged around the display area 3 on the viewer side of the display panel 2 in order to reduce the light amount loss of the detection light. Has been. Specifically, four detection light source units 7 are arranged, and each detection light source unit 7 is arranged so as to surround the display region 3 along any side of the display region 3. However, the number of the detection light source parts 7 is not specifically limited. For example, the number of the detection light source units 7 may be two, and the detection light source units 7 may be arranged only on two opposite sides. In addition, the detection light source unit 7 can be arranged on the back surface side of the display panel 2 with the detection light emission direction directed toward the observer side. From the viewpoint of irradiation efficiency, the detection light source unit 7 is shown in FIGS. Thus, it is preferable to arrange on the viewer side of the display panel 2.

このように、本実施の形態1においては、表示装置が検出光源部7を備えているため、検出光源部7から出射された検出光は、表示領域3上又はその近傍に存在する被写体1で反射される。更に、反射された検出光は、表示パネル2の観察者側から表示パネル2に入射し、そして、表示パネル2及び結像光学系(図3参照)を通過する。本実施の形態1では、撮像部41a〜44bは、この表示パネル2及び結像光学系を通過した検出光を受光し、これによって、撮像対象となる領域の観察者側の状態を撮像する。   As described above, in the first embodiment, since the display device includes the detection light source unit 7, the detection light emitted from the detection light source unit 7 is from the subject 1 existing on or near the display region 3. Reflected. Further, the reflected detection light enters the display panel 2 from the observer side of the display panel 2 and passes through the display panel 2 and the imaging optical system (see FIG. 3). In the first embodiment, the imaging units 41a to 44b receive the detection light that has passed through the display panel 2 and the imaging optical system, thereby imaging the state on the observer side of the region to be imaged.

よって、本実施の形態における表示装置によれば、発熱量の減少化、静音化及び小型化を達成でき、しかも、撮像部41a〜44bが結像光学系を備えるため、従来の入力機能を備えた表示装置に比べて、高解像度の画像の取り込みを達成できる。   Therefore, according to the display device in the present embodiment, the amount of heat generation can be reduced, the noise can be reduced, and the size can be reduced. Moreover, since the imaging units 41a to 44b include the imaging optical system, the conventional input function is provided. Compared to a display device, it is possible to capture a high-resolution image.

ところで、表示装置は、様々な環境で使用されるため、外部から表示領域3に指向性が高い環境光が入射することがある。このような光としては、例えば、太陽光が挙げられ、検出光と同様に波長が赤外領域にあるものも存在する。よって、このような光が表示領域に入射した場合は、撮像された画像に白とびが発生してしまい、画像の品質が低下してしまう。なお、白とびとは、画像を構成する画素の一部の輝度が閾値を超えてしまい、画像の一部又は全部が白っぽくなってしまうことをいう。   By the way, since the display device is used in various environments, ambient light having high directivity may be incident on the display region 3 from the outside. Such light includes, for example, sunlight, and there is also light having a wavelength in the infrared region in the same manner as detection light. Therefore, when such light is incident on the display area, overexcitation occurs in the captured image, and the quality of the image is degraded. Note that overexposure means that the luminance of part of the pixels constituting the image exceeds a threshold value, and part or all of the image becomes whitish.

このため、本実施の形態1においては、上述したように、一つの撮像対象となる領域を複数の撮像部によって角度を変えて撮像が行われている。例えば、図2に示す領域Aに指向性の高い光が入射した場合において、撮像部41aが撮像した画像には大きな白とびが発生しているが、撮像部41bが撮像した画像には目立った白とびが発生していない場合がある。このとき、撮像部41bが撮像した画像を領域Aの撮像画像とすれば、品質低下の少ない撮像画像を得ることができる。   For this reason, in this Embodiment 1, as above-mentioned, the area | region used as one imaging object is imaged by changing the angle by the several imaging part. For example, when light with high directivity is incident on the area A shown in FIG. 2, a large overexposure occurs in the image captured by the imaging unit 41a, but the image captured by the imaging unit 41b is conspicuous. There may be no whiteout. At this time, if the image picked up by the image pickup unit 41b is taken as the picked-up image of the region A, a picked-up image with little quality degradation can be obtained.

よって、上述したように各撮像ユニットは、撮像部に加えて、画像選択部を備えている。画像選択部は、複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、それを撮像画像としている。   Therefore, as described above, each imaging unit includes an image selection unit in addition to the imaging unit. The image selection unit compares images captured by each of the plurality of imaging units, selects an image having the smallest number of pixels whose luminance exceeds a threshold value, and uses the selected image as a captured image.

更に、図2に示すように、各撮像ユニットにおいては、二つの撮像部は、一方の撮像部の撮像方向と、他方の撮像部の撮像方向とが、観察者側から見たときに交差するように配置されている。このため、観察者側から入射した指向性が高い環境光が、一方の撮像部と他方の撮像部とに同時に入射するのを抑制できるため、両方の撮像部が撮像した画像に白とびが生じてしまう事態を回避でき、白とびの少ない撮像画像を容易に得ることができる。   Furthermore, as shown in FIG. 2, in each imaging unit, the two imaging units intersect when the imaging direction of one imaging unit and the imaging direction of the other imaging unit are viewed from the observer side. Are arranged as follows. For this reason, environmental light incident from the observer side and having high directivity can be prevented from being incident on one imaging unit and the other imaging unit at the same time, so that the images captured by both imaging units are overexposed. It is possible to avoid such a situation and easily obtain a captured image with less overexposure.

また、観察者側から見たときにおける、一方の撮像部の撮像方向と他方の撮像部の撮像方向とのなす角度は、表示装置に入射する環境光の入射角度を考慮して決定すれば良い。但し、両方の撮像部への環境光の同時入射をより効果的に抑制するためには、観察者側から見たときにおける、一方の撮像部の撮像方向と他方の撮像部の撮像方向とのなす角度は、図2に示すように、90度であるのが好ましい。また、両者のなす角度を90度とするときは、図2に示すように、表示領域3の直交する2辺に合わせて、撮像部を配置するのが好ましい。   Further, the angle formed by the imaging direction of one imaging unit and the imaging direction of the other imaging unit when viewed from the observer side may be determined in consideration of the incident angle of the ambient light incident on the display device. . However, in order to more effectively suppress the simultaneous incidence of ambient light to both imaging units, the imaging direction of one imaging unit and the imaging direction of the other imaging unit when viewed from the observer side As shown in FIG. 2, the angle formed is preferably 90 degrees. In addition, when the angle formed by both is 90 degrees, it is preferable to dispose the imaging unit along two orthogonal sides of the display region 3 as shown in FIG.

また、本実施の形態1においては、表示装置は、更に制御装置を備えており、各撮像ユニットによって得られた画像に対して画像処理等を行なっている。ここで、画像選択部による画像選択処理と、制御装置による画像処理とについて説明する。先ず、制御装置の構成について図5を用いて説明する。図5は、図1及び図2に示す表示装置に備えられた制御装置の構成を示すブロック図である。   In the first embodiment, the display device further includes a control device, and performs image processing and the like on images obtained by the respective imaging units. Here, image selection processing by the image selection unit and image processing by the control device will be described. First, the configuration of the control device will be described with reference to FIG. FIG. 5 is a block diagram illustrating a configuration of a control device provided in the display device illustrated in FIGS. 1 and 2.

図5に示すように、本実施の形態1においては、第1の撮像ユニット〜第4の撮像ユニット毎に、画像選択部45〜48が備えられている。例えば、画像選択部45は、撮像部41a及び41bそれぞれが撮像した画像を互いに比較する。具体的には、画像選択部45は、画像毎に、輝度が閾値以上となった画素の数を計測し、計測した値を比較する。次に、画像選択部45は、輝度が閾値以上となった画素が最も少ない画像を選択する。更に、画像選択部45は、選択した画像を撮像画像とし、選択した画像の撮像データを画像入力制御装置105に出力する。   As shown in FIG. 5, in the first embodiment, image selection units 45 to 48 are provided for each of the first to fourth imaging units. For example, the image selection unit 45 compares the images captured by the imaging units 41a and 41b with each other. Specifically, the image selection unit 45 measures the number of pixels whose luminance is equal to or greater than a threshold for each image, and compares the measured values. Next, the image selection unit 45 selects an image having the smallest number of pixels whose luminance is equal to or higher than the threshold value. Furthermore, the image selection unit 45 sets the selected image as a captured image, and outputs captured image data of the selected image to the image input control device 105.

なお、選択の基準となる輝度の閾値は、工場出荷段階で予め設定されていても良いし、表示装置の利用者が任意に設定できる態様となっていても良い。また、画像選択部は、単一であって、各撮像ユニットが共有する態様であっても良い。   It should be noted that the threshold value of luminance serving as a reference for selection may be set in advance at the factory shipment stage, or may be in an aspect that can be arbitrarily set by the user of the display device. Further, the image selection unit may be single and shared by each imaging unit.

また、図5に示すように、本実施の形態1における表示装置110は、撮像部4が出力した撮像データに基づいて画像処理等を行う制御装置109を備えている。制御装置109は、主に、画像処理装置100と、画像入力制御部105と、表示制御部107とを備えている。また、制御装置109は、外部装置108に接続されている。外部装置108としては、例えば、パーソナルコンピュータ、ゲーム機器、テレビチューナ、DVDプレイヤー、更には家庭電化製品等の表示装置に映像信号を出力する各種機器が挙げられる。   As shown in FIG. 5, the display device 110 according to the first embodiment includes a control device 109 that performs image processing and the like based on imaging data output from the imaging unit 4. The control device 109 mainly includes an image processing device 100, an image input control unit 105, and a display control unit 107. The control device 109 is connected to the external device 108. Examples of the external device 108 include a personal computer, a game device, a TV tuner, a DVD player, and various devices that output video signals to a display device such as a home appliance.

画像入力制御部105は、外部装置108の制御信号による指示に応じて、第1の撮像ユニット〜第4の撮像ユニットに撮像データの出力を求める。第1の撮像ユニット〜第4の撮像ユニットそれぞれは、画像入力制御部105から制御信号によって出力要請が通知されると、選択した画像の撮像データを画像入力制御部105へと出力する。画像入力制御部105は、第1の撮像ユニット〜第4の撮像ユニット毎にメモリ106に撮像データを一旦記憶させた後、各撮像データを画像処理装置100へと出力する。また、画像入力制御部105は、外部装置108の制御信号による指示に応じて、各撮像ユニットの撮像部に対して、撮像の指示、感度設定、解像度設定等を行うこともできる。   The image input control unit 105 obtains output of imaging data from the first imaging unit to the fourth imaging unit in response to an instruction by a control signal from the external device 108. Each of the first to fourth imaging units outputs imaging data of the selected image to the image input control unit 105 when an output request is notified by a control signal from the image input control unit 105. The image input control unit 105 temporarily stores imaging data in the memory 106 for each of the first to fourth imaging units, and then outputs each imaging data to the image processing apparatus 100. Further, the image input control unit 105 can also perform an imaging instruction, sensitivity setting, resolution setting, and the like for the imaging unit of each imaging unit in response to an instruction by a control signal of the external device 108.

画像処理装置100に入力された各撮像データは、先ず、画像合成部101によって合成され、一つの画像データとされ、ノイズ除去部102へと送られる。ノイズ除去部102は、先ず、画像合成部101が出力した画像データから、オフセット成分を減算する。更に、ノイズ除去部102は、オフセット成分の除去後の画像データから、表示成分の除去を行う。その後、ノイズ除去部102は、得られた画像データを画像認識部103へと出力する。   Each piece of imaging data input to the image processing apparatus 100 is first synthesized by the image synthesis unit 101 to be converted into one image data and sent to the noise removal unit 102. First, the noise removal unit 102 subtracts the offset component from the image data output by the image synthesis unit 101. Furthermore, the noise removing unit 102 removes display components from the image data after removing the offset components. Thereafter, the noise removal unit 102 outputs the obtained image data to the image recognition unit 103.

ここで、オフセット成分とは、バックライト装置5(図1参照)から照射された後、表示装置110の構成部材の表面や構成部材間の界面等で反射され、撮像部41a〜44bの固体撮像素子32(図3参照)に入射した光量成分をいう。また、表示成分とは、表示パネル2を介して外部から撮像部41a〜44bに入射した光量成分をいう。表示成分は、表示領域3(図1及び図2参照)に表示される画像によって変動する。   Here, the offset component is irradiated from the backlight device 5 (see FIG. 1), and then reflected by the surface of the constituent member of the display device 110, the interface between the constituent members, and the like, and solid-state imaging of the imaging units 41a to 44b. The light quantity component incident on the element 32 (see FIG. 3). The display component refers to a light amount component incident on the imaging units 41 a to 44 b from the outside via the display panel 2. The display component varies depending on the image displayed in the display area 3 (see FIGS. 1 and 2).

表示成分は、設定された基準データから算出され、算出された値を用いて上記の処理が行われる。オフセット成分は予め設定され、画像処理装置100が備えるメモリ(図示せず)に格納されている。表示成分を算出するための基準データも同様に予め設定され、画像処理装置100が備えるメモリ(図示せず)に格納されている。   The display component is calculated from the set reference data, and the above processing is performed using the calculated value. The offset component is set in advance and stored in a memory (not shown) provided in the image processing apparatus 100. The reference data for calculating the display component is similarly set in advance and stored in a memory (not shown) included in the image processing apparatus 100.

オフセット成分の設定は、例えば、次の手順によって行うことができる。先ず、表示領域3への外部からの光の入射が遮断された状態とする。例えば、表示装置を暗室に配置することによって、または、検出光を透過させるが、可視光を透過させないシートや暗幕によって表示領域3を覆うことによって行う。更に、表示領域3上に被写体となる物体が存在しない状態とする。   The offset component can be set by the following procedure, for example. First, it is assumed that the incidence of light from the outside to the display area 3 is blocked. For example, the display device is placed in a dark room, or the display region 3 is covered with a sheet or dark curtain that transmits detection light but does not transmit visible light. Furthermore, it is assumed that there is no object as a subject on the display area 3.

次に、バックライト装置5の光源6の点灯と検出光源部7による検出光の照射とを行い、このときに第1の撮像ユニット〜第4の撮像ユニットが出力する撮像データを取得する。このとき取得された撮像データ、即ち上記状態で撮像部41a〜44bの固体撮像素子32に入射した光量成分が、オフセット成分となる。オフセット成分の設定は、表示装置の工場出荷段階で行うこともできるし、使用を開始した後にユーザが随時行うこともできる。   Next, the light source 6 of the backlight device 5 is turned on and the detection light source unit 7 irradiates the detection light, and the imaging data output by the first to fourth imaging units at this time is acquired. The imaging data acquired at this time, that is, the light amount component incident on the solid-state imaging device 32 of the imaging units 41a to 44b in the above state becomes an offset component. The setting of the offset component can be performed at the factory shipment stage of the display device, or can be performed by the user as needed after the start of use.

また、表示成分を算出するための基準データの設定は、例えば次の手順によって行なうことができる。先ず、表示装置110の設置環境下において、表示領域3上に被写体となる物体が存在しない状態とする。次に、外光成分が表示パネル2を介して撮像部41a〜44bに入射したときに、これらが出力する撮像データの最大値および最小値、即ち、表示パネル2が白表示状態時及び黒表示状態にある時の撮像データを取得する。次に、取得された撮像データから、表示装置110の設置環境下における、外光成分の入射による表示成分の出力幅を算出する。このとき算出された出力幅のデータが、表示成分を算出するためのデータ(基準データ)となる。上述した設定作業は、表示装置110の使用環境が同じであれば、設置時に一度行えばそれで良い。   The reference data for calculating the display component can be set, for example, by the following procedure. First, under the installation environment of the display device 110, it is assumed that there is no object as a subject on the display area 3. Next, when an external light component enters the imaging units 41a to 44b via the display panel 2, the maximum value and the minimum value of the imaging data output by these components, that is, when the display panel 2 is in a white display state and black display is displayed. Capture image data when in a state. Next, the output width of the display component due to the incidence of the external light component in the installation environment of the display device 110 is calculated from the acquired imaging data. Data of the output width calculated at this time becomes data (reference data) for calculating the display component. If the use environment of the display device 110 is the same, the setting operation described above may be performed once at the time of installation.

また、表示成分は、表示装置110を使用している状況下で、映像信号から得られる表示画像の階調レベルと、予め算出された出力幅(基準データ)とから算出される。上述した表示成分の除去は、具体的には、次の手順によって行われる。先ず、ノイズ除去部102は、外部装置108から出力された映像信号から、表示画像の階調レベルを抽出し、抽出した階調レベルと基準データとから表示成分を算出する。次に、ノイズ除去部102は、このとき各撮像ユニットが出力した撮像データから表示成分を減算する。また、上述のように、表示成分は、表示領域に表示される画像によって変動することから、表示状態の変化に応じて随時表示成分を算出する必要がある。   The display component is calculated from the gradation level of the display image obtained from the video signal and the output width (reference data) calculated in advance under the situation where the display device 110 is used. Specifically, the above-described removal of the display component is performed by the following procedure. First, the noise removing unit 102 extracts the gradation level of the display image from the video signal output from the external device 108, and calculates a display component from the extracted gradation level and reference data. Next, the noise removing unit 102 subtracts the display component from the imaging data output by each imaging unit at this time. Further, as described above, since the display component varies depending on the image displayed in the display area, it is necessary to calculate the display component as needed according to the change in the display state.

また、画像認識部103は、ノイズ除去が行われた画像データに基づいて、被写体の画像及び位置を特定し、これらを画像データとして外部装置108へと出力する。外部装置108は、入力された画像データを用いて各種の処理を行い、処理が反映された映像信号を表示制御部107へと出力する。外部装置108が行う処理としては、例えば、外部装置108がパーソナルコンピュータであるならば、カーソルの移動処理やクリック動作処理等が挙げられる。更に、表示制御部107は、映像信号に基づいて制御信号を生成し、これを表示パネル2の駆動回路(図示せず)に出力する。   Further, the image recognition unit 103 identifies the image and position of the subject based on the image data from which noise has been removed, and outputs these to the external device 108 as image data. The external device 108 performs various types of processing using the input image data, and outputs a video signal reflecting the processing to the display control unit 107. Examples of processing performed by the external device 108 include cursor movement processing and click operation processing if the external device 108 is a personal computer. Further, the display control unit 107 generates a control signal based on the video signal and outputs it to a drive circuit (not shown) of the display panel 2.

次に、撮像ユニット及び制御装置で行われる処理について図6を用いて説明する。図6は、図1及び図2に示す表示装置で行われる処理を示す流れ図である。図6に示す処理は、撮像部41a〜41bが撮像を行う度に、つまり、1フレーム毎に実施される。   Next, processing performed by the imaging unit and the control device will be described with reference to FIG. FIG. 6 is a flowchart showing processing performed in the display device shown in FIGS. 1 and 2. The process illustrated in FIG. 6 is performed every time the imaging units 41a to 41b perform imaging, that is, for each frame.

図6に示すように、先ず、画像入力制御部105が第1の撮像ユニット〜第4の撮像ユニットに撮像データの出力を指示すると、全ての撮像部41a〜44bは撮像を行い、撮像した画像を対応する画像選択部45〜48に出力する(ステップS1)
次に、各画像選択部は、対応する撮像部が撮像した画像について、輝度が閾値以上となった画素の数を計測する(ステップS2)。続いて、各画像選択部は、対応する撮像部が撮像した画像について、ステップS2で計測した値を比較する(ステップS3)。例えば、画像選択部46は、撮像部42aが撮像した画像と撮像部42bが撮像した画像とを比較する。
As shown in FIG. 6, first, when the image input control unit 105 instructs the first imaging unit to the fourth imaging unit to output imaging data, all the imaging units 41 a to 44 b perform imaging and the captured images. Are output to the corresponding image selection units 45 to 48 (step S1).
Next, each image selection unit measures the number of pixels whose luminance is equal to or greater than a threshold value for the image captured by the corresponding imaging unit (step S2). Subsequently, each image selection unit compares the value measured in step S2 with respect to the image captured by the corresponding imaging unit (step S3). For example, the image selection unit 46 compares the image captured by the imaging unit 42a with the image captured by the imaging unit 42b.

次に、各画像選択部は、輝度が閾値以上となっている画素の数が少ない方の画像を、撮像対象とする領域の画像として選択し(ステップS4)、選択した画像(選択画像)を画像入力制御装置105に出力する(ステップS5)。この後、上述したように、画像入力制御部105は、第1の撮像ユニット〜第4の撮像ユニット毎に、メモリ106に選択画像の撮像データを一旦記憶させ、その後、各撮像データを画像処理装置100に出力する。   Next, each image selection unit selects an image having a smaller number of pixels whose luminance is equal to or higher than a threshold as an image of the region to be imaged (step S4), and selects the selected image (selected image). It outputs to the image input control apparatus 105 (step S5). Thereafter, as described above, the image input control unit 105 temporarily stores the imaging data of the selected image in the memory 106 for each of the first imaging unit to the fourth imaging unit, and then performs image processing on each imaging data. Output to the device 100.

なお、輝度が閾値以上となっている画素が両方の画像において存在しない場合は、画像選択部が、例えば、ステップS4において、最高輝度と最低輝度の比、即ちコントラスト比の高い方の画像を選択する態様としても良い。この態様によれば、後述の画像処理における処理を行い易いものとできる。   Note that if there is no pixel whose luminance is greater than or equal to the threshold value in both images, the image selection unit, for example, selects an image with a higher ratio of the highest luminance and the lowest luminance, that is, a higher contrast ratio in step S4. It is good also as an aspect to do. According to this aspect, it is possible to easily perform processing in image processing described later.

更に、表示領域3の垂直方向の辺に沿って配置された撮像部といったように、予め優先的に選択される撮像部を設定しておき、輝度が閾値以上となっている画素が存在しない場合は、優先順位が高い撮像部が撮像した画像が選択されるようにしても良い。また、上述したコントラスト比の比較を行い、コントラスト比が同じである場合に、優先順位が高い撮像部が撮像した画像が選択される態様であっても良い。なお、撮像部の優先順位は、表示パネルの大きさや、表示装置の用途等を鑑みて適宜設定できる。   Furthermore, when an imaging unit that is preferentially selected is set in advance, such as an imaging unit arranged along a vertical side of the display area 3, and there is no pixel whose luminance is equal to or greater than a threshold value The image picked up by the image pickup unit having a high priority may be selected. Alternatively, the above-described contrast ratio comparison may be performed, and when the contrast ratio is the same, an image captured by an imaging unit with a high priority may be selected. The priority order of the imaging units can be appropriately set in consideration of the size of the display panel, the use of the display device, and the like.

次に、画像合成部101は、画像合成を行い、選択画像を一つの画像とし、得られた一つの画像の画像データをノイズ除去部102に出力する(ステップS6)。更に、ノイズ除去部102は、上述のノイズ除去を行い、ノイズが除去された画像の画像データを画像認識部103に出力する(ステップS7)。その後、画像認識部103は、ノイズが除去された画像の中から、被写体の画像とその位置とを特定し、位置情報と共に被写体の画像の画像データを外部装置108へと出力する(ステップS8)。   Next, the image composition unit 101 performs image composition, sets the selected image as one image, and outputs the obtained image data of one image to the noise removal unit 102 (step S6). Further, the noise removal unit 102 performs the above-described noise removal, and outputs the image data of the image from which the noise has been removed to the image recognition unit 103 (step S7). Thereafter, the image recognition unit 103 identifies the subject image and its position from the image from which the noise has been removed, and outputs the image data of the subject image together with the position information to the external device 108 (step S8). .

以上のステップS1〜S8により、被写体1の撮像は終了する。なお、ステップS1〜S8は、設定された回数で連続して行われる場合もあるし、画像入力部105が指示を行ったときのみ行われる場合もある。   With the above steps S1 to S8, the imaging of the subject 1 is completed. Note that steps S1 to S8 may be performed continuously for a set number of times, or may be performed only when the image input unit 105 gives an instruction.

以上のように、本実施の形態1における表示装置において、表示領域3内の撮像対象となる領域が複数の撮像部によって撮像され、撮像された各画像のうち白とびが少ない画像が当該領域の撮像画像とされる。このため、本実施の形態1における表示装置によれば、外部から表示領域に指向性が高い光が入射した場合に、撮像画像に白とびが生じるのを抑制できる。   As described above, in the display device according to the first embodiment, a region to be imaged in the display region 3 is imaged by a plurality of imaging units, and among the captured images, an image with less overexposure is included in the region. The captured image. For this reason, according to the display apparatus in this Embodiment 1, when the light with high directivity injects into the display area from the outside, it can suppress that an overshoot occurs in a captured image.

本実施の形態1において、制御装置109は、例えば、CPUを内蔵したICチップによって提供できる。ICチップは、例えば、FPCを介して表示パネル2に接続された基板上に搭載できる。この場合、ICチップに内蔵されたCPUは、表示制御部107、画像入力制御部105、及び画像処理装置100として機能することができる。また、画像選択部45は、CPUを内蔵したICチップによっても提供できるし、カウンタ回路と比較回路とを内蔵したICチップによっても提供できる。   In the first embodiment, the control device 109 can be provided by, for example, an IC chip with a built-in CPU. The IC chip can be mounted on a substrate connected to the display panel 2 via an FPC, for example. In this case, the CPU built in the IC chip can function as the display control unit 107, the image input control unit 105, and the image processing apparatus 100. The image selection unit 45 can be provided by an IC chip with a built-in CPU, or can be provided by an IC chip with a built-in counter circuit and comparison circuit.

(実施の形態2)
次に、本発明の実施の形態2における表示装置について、図7〜図11を参照しながら説明する。最初に、本実施の形態2における表示装置の全体構成について図7〜図9を用いて説明する。
(Embodiment 2)
Next, a display device according to Embodiment 2 of the present invention will be described with reference to FIGS. First, the overall configuration of the display device according to the second embodiment will be described with reference to FIGS.

図7は、本発明の実施の形態2における表示装置の概略構成を示す断面図である。図8は、図7に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。図9は、図7及び図8に示した撮像部の概略構成を示す断面図である。   FIG. 7 is a cross-sectional view showing a schematic configuration of the display device according to Embodiment 2 of the present invention. FIG. 8 is a plan view showing the positional relationship between the imaging unit and the display panel that constitute the display device shown in FIG. FIG. 9 is a cross-sectional view illustrating a schematic configuration of the imaging unit illustrated in FIGS. 7 and 8.

図7及び図8に示すように、本実施の形態2における表示装置は、撮像部51a〜54aを備えており、この点で、実施の形態1における表示装置と異なっている。なお、この点以外については、本実施の形態2における表示装置は、実施の形態1における表示装置と同様に構成されている。以下、相違点について説明する。   As shown in FIGS. 7 and 8, the display device according to the second embodiment includes imaging units 51a to 54a, and is different from the display device according to the first embodiment in this respect. Except for this point, the display device in the second embodiment is configured in the same manner as the display device in the first embodiment. Hereinafter, differences will be described.

図9に示すように、撮像部51a〜54bにおいては、実施の形態1において図3に示した撮像部41a〜44bと異なり、レンズ素子34と、固体撮像素子32とによってシフト光学系が構成されていない。本実施の形態2においては、レンズ素子34及び固体撮像素子32は、レンズ素子34の光軸34aと固体撮像素子32の受光面の中心を通る法線32aとが一致するように、フレーム35に保持されている。   As shown in FIG. 9, in the imaging units 51 a to 54 b, unlike the imaging units 41 a to 44 b shown in FIG. 3 in the first embodiment, the shift optical system is configured by the lens element 34 and the solid-state imaging element 32. Not. In the second embodiment, the lens element 34 and the solid-state image sensor 32 are arranged on the frame 35 so that the optical axis 34a of the lens element 34 and the normal line 32a passing through the center of the light-receiving surface of the solid-state image sensor 32 coincide. Is retained.

このため、撮像部51a〜54bは、図1及び図2に示すように、撮像方向を撮像対象となる領域に向けて傾斜させた状態で配置されている。なお、本実施の形態2では、撮像方向は、レンズ素子34の光軸34aと固体撮像素子32の受光面の中心を通る法線32aとに一致する。   For this reason, as shown in FIGS. 1 and 2, the imaging units 51 a to 54 b are arranged in a state where the imaging direction is inclined toward the area to be imaged. In the second embodiment, the imaging direction coincides with the optical axis 34 a of the lens element 34 and the normal line 32 a passing through the center of the light receiving surface of the solid-state imaging element 32.

このように、本実施の形態2では、撮像部51a〜55bにおいてシフト光学系が採用されていないため、実施の形態1に比べて、結像光学系を構成するレンズ系の小径化や、結像光学系の簡略化を図ることができ、更には、設計コストの低減を図ることができる。但し、撮像部51a〜55bにおいて、シフト光学系を採用していないため、各撮像部が撮像した画像は、台形状に歪んでしまう。このため、本実施の形態2においては、後述するように、制御装置によって、台形状に歪んだ撮像画像が矩形状に補正される。   As described above, in the second embodiment, the shift optical system is not employed in the imaging units 51a to 55b. Therefore, compared with the first embodiment, the diameter of the lens system constituting the imaging optical system is reduced, and the connection is reduced. The image optical system can be simplified, and the design cost can be reduced. However, since the imaging units 51a to 55b do not employ a shift optical system, images captured by the imaging units are distorted in a trapezoidal shape. Therefore, in the second embodiment, as described later, the captured image distorted in the trapezoidal shape is corrected to a rectangular shape by the control device.

ここで、本実施の形態2における制御装置による画像処理について説明する。先ず、制御装置の構成について図10を用いて説明する。図10は、図7及び図8に示す表示装置に備えられた制御装置の構成を示すブロック図である。図11は、図7及び図8に示す表示装置で行われる処理を示す流れ図である。   Here, the image processing by the control device in the second embodiment will be described. First, the configuration of the control device will be described with reference to FIG. FIG. 10 is a block diagram illustrating a configuration of a control device provided in the display device illustrated in FIGS. 7 and 8. FIG. 11 is a flowchart illustrating processing performed in the display device illustrated in FIGS. 7 and 8.

図10に示すように、本実施の形態2における制御装置109は、画像処理装置100が、画像補正部104を備えており、この点で、実施の形態1における制御装置と異なっている。本実施の形態2においては、画像入力制御部105が出力した各撮像ユニットの撮像データについて、先ず、画像補正部104によって台形歪みの補正が行われ、その後、画像合成、オフセット成分及び表示成分の除去(ノイズ除去)、画像認識が行われる。   As shown in FIG. 10, the control device 109 according to the second embodiment is different from the control device according to the first embodiment in that the image processing apparatus 100 includes an image correction unit 104. In the second embodiment, the image data of each imaging unit output by the image input control unit 105 is first corrected for trapezoidal distortion by the image correction unit 104, and then the image composition, offset component, and display component are corrected. Removal (noise removal) and image recognition are performed.

つまり、本実施の形態2においては、図11に示すように、画像選択部45〜48が選択画像の撮像データを出力すると(ステップS5)、画像補正部104が各選択画像の歪みの補正を行い(ステップS9)、その後、実施の形態1と同様に、ステップS6〜S8が実行される。   That is, in the second embodiment, as shown in FIG. 11, when the image selection units 45 to 48 output the imaging data of the selected image (step S5), the image correction unit 104 corrects the distortion of each selected image. Is performed (step S9), and then steps S6 to S8 are executed in the same manner as in the first embodiment.

具体的には、画像補正部104は、台形状の撮像画像の上底、下底、高さを算出する。上底、下底、高さの算出は、撮像部51a〜54bの位置、撮像領域の大きさ及び位置から算出できる。また、上底、下底、高さの算出は、予め表示領域3に複数個の目印を配置しておき、撮像画像に含まれる目印に基づいて行うこともできる。   Specifically, the image correction unit 104 calculates the upper base, the lower base, and the height of the trapezoidal captured image. Calculation of the upper base, the lower base, and the height can be calculated from the positions of the imaging units 51a to 54b and the size and position of the imaging area. The calculation of the upper base, the lower base, and the height can be performed based on the marks included in the captured image by arranging a plurality of marks in the display area 3 in advance.

次に、画像補正部104は、撮像画像の上底及び下底のうち短い方が大きい方と同じになるように、走査線の位置に応じて倍率を変えながら、撮像画像を拡大する。また、走査線方向に垂直な方向(高さ方向)については、画像補正部104は、高さが本来の高さとなるように、撮像画像を拡大又は縮小する。なお、本来の高さは、撮像領域の大きさから予め設定される。   Next, the image correction unit 104 enlarges the captured image while changing the magnification according to the position of the scanning line so that the shorter one of the upper base and the lower base of the captured image is the same as the larger one. In the direction perpendicular to the scanning line direction (height direction), the image correcting unit 104 enlarges or reduces the captured image so that the height becomes the original height. The original height is set in advance from the size of the imaging area.

このように、本実施の形態2においては、撮像部51a〜51bにおいてシフト光学系を採用しないことによる問題は、撮像後の画像処理によって解消している。また、本実施の形態2においても、表示領域3上にある被写体1の光学像は結像光学系によって受光面に結像される。よって、本実施の形態2における表示装置を用いた場合も、実施の形態1と同様に、従来比べて鮮明な光学像を得ることができ、高解像度の画像の取り込みを達成できる。更に、本実施の形態2においても、各撮像ユニットが複数の撮像部を備えているため、外部から表示領域に指向性が高い光が入射した場合に、撮像画像に白とびが生じるのを抑制できる。   As described above, in the second embodiment, the problem caused by not employing the shift optical system in the imaging units 51a to 51b is solved by the image processing after imaging. Also in the second embodiment, the optical image of the subject 1 on the display area 3 is formed on the light receiving surface by the imaging optical system. Therefore, even when the display device according to the second embodiment is used, a clear optical image can be obtained as compared with the conventional one, and high-resolution image capture can be achieved as in the first embodiment. Further, also in the second embodiment, since each imaging unit includes a plurality of imaging units, it is possible to suppress overexposure in a captured image when light having high directivity is incident on the display area from the outside. it can.

本発明において「結像光学系」とは、表示パネルの表面近傍と撮像部の受光面とに焦点を有し、表示パネルの表面近傍の像を受光面に結像させるレンズ系をいう。よって、図3及び図9の例では、結像光学系は、レンズ素子のみによって構成されているが、複数のレンズ素子を備えたレンズ群で構成されていても良い。但し、図3に示したシフト光学系を構成する場合は、結像光学系は、斜め光が蹴られずにレンズ系を透過するように設計されている必要がある。この場合、結像光学系は、シフト光学系が構成されない場合に比べて、大口径のレンズ系によって構成する必要がある。   In the present invention, the “imaging optical system” refers to a lens system having a focal point in the vicinity of the surface of the display panel and the light receiving surface of the imaging unit, and forming an image in the vicinity of the surface of the display panel on the light receiving surface. Therefore, in the example of FIGS. 3 and 9, the imaging optical system is configured by only the lens elements, but may be configured by a lens group including a plurality of lens elements. However, when the shift optical system shown in FIG. 3 is configured, the imaging optical system needs to be designed so that oblique light is transmitted through the lens system without being kicked. In this case, the imaging optical system needs to be configured by a lens system having a large aperture as compared with the case where the shift optical system is not configured.

また、本発明において、一つの撮像ユニットが備える撮像部の数は、特に限定されるものでない。一つの撮像部が、3個以上の撮像部を備える態様であっても良い。撮像部の数は、撮像対象とする領域の大きさや、撮像可能な範囲を考慮して適宜設定できる。更に、一つの表示領域に配置される撮像ユニットの数も限定されるものではない。一つの表示領域に対して一つの撮像ユニットが配置された態様であっても良い。また、一つの表示領域が実施の形態1及び2に示した4分割以外の数に分割された場合、分割数に合わせて複数個の撮像ユニットを配置すれば良い。   In the present invention, the number of image capturing units included in one image capturing unit is not particularly limited. One imaging unit may include three or more imaging units. The number of image capturing units can be set as appropriate in consideration of the size of the area to be imaged and the imageable range. Further, the number of imaging units arranged in one display area is not limited. A mode in which one imaging unit is arranged for one display area may be employed. In addition, when one display area is divided into a number other than the four divisions shown in the first and second embodiments, a plurality of imaging units may be arranged in accordance with the division number.

以上のように、本発明の表示装置は、入力機能を備えており、パーソナルコンピュータ、テレビ、ゲーム機器等の表示装置として有用であり、産業上の利用可能性を有している。   As described above, the display device of the present invention has an input function, is useful as a display device for personal computers, televisions, game machines, and the like, and has industrial applicability.

図1は、本発明の実施の形態1における表示装置の概略構成を示す断面図である。FIG. 1 is a cross-sectional view showing a schematic configuration of a display device according to Embodiment 1 of the present invention. 図2は、図1に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。FIG. 2 is a plan view showing the positional relationship between the imaging unit and the display panel that constitute the display device shown in FIG. 図3は、図1及び図2に示した撮像部の概略構成を示す断面図である。FIG. 3 is a cross-sectional view illustrating a schematic configuration of the imaging unit illustrated in FIGS. 1 and 2. 図4は、図1及び図2に示した検出光源部の概略構成を示す図であり、図4(a)は検出光の出射方向に沿って切断した断面図、図4(b)は正面図である。4 is a diagram showing a schematic configuration of the detection light source unit shown in FIGS. 1 and 2, FIG. 4A is a cross-sectional view cut along the emission direction of detection light, and FIG. 4B is a front view. FIG. 図5は、図1及び図2に示す表示装置に備えられた制御装置の構成を示すブロック図である。FIG. 5 is a block diagram illustrating a configuration of a control device provided in the display device illustrated in FIGS. 1 and 2. 図6は、図1及び図2に示す表示装置で行われる処理を示す流れ図である。FIG. 6 is a flowchart showing processing performed in the display device shown in FIGS. 1 and 2. 図7は、本発明の実施の形態2における表示装置の概略構成を示す断面図である。FIG. 7 is a cross-sectional view showing a schematic configuration of the display device according to Embodiment 2 of the present invention. 図8は、図7に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。FIG. 8 is a plan view showing the positional relationship between the imaging unit and the display panel constituting the display device shown in FIG. 図9は、図7及び図8に示した撮像部の概略構成を示す断面図である。FIG. 9 is a cross-sectional view illustrating a schematic configuration of the imaging unit illustrated in FIGS. 7 and 8. 図10は、図7及び図8に示す表示装置に備えられた制御装置の構成を示すブロック図である。FIG. 10 is a block diagram illustrating a configuration of a control device provided in the display device illustrated in FIGS. 7 and 8. 図11は、図7及び図8に示す表示装置で行われる処理を示す流れ図である。FIG. 11 is a flowchart showing processing performed in the display device shown in FIGS. 7 and 8.

符号の説明Explanation of symbols

1 被写体
2 表示パネル
2a フィルタ基板
2b 液晶層
2c アクティブマトリクス基板
3 表示領域
5 バックライト装置
6 蛍光ランプ
7 検出光源部
8 筐体
9 拡散板
10 拡散シート
11 プリズムシート
12 反射/偏光シート
13 光学層
20 表示装置のフレーム
21 検出光源部の光源
22 検出光源部フレーム
23 固定部材
24 導光路
30、34 レンズ素子(結像光学系)
30a、34a 光軸
31 光学フィルタ
32 固体撮像素子
32a 固体撮像素子の受光面の中心を通る法線
33、35 撮像部のフレーム
41a、41b 撮像領域Aを撮像する撮像部
42a、42b 撮像領域Bを撮像する撮像部
43a、43b 撮像領域Cを撮像する撮像部
44a、44b 撮像領域Dを撮像する撮像部
45〜48、55〜58 画像選択部
51a、51b 撮像領域Aを撮像する撮像部
52a、52b 撮像領域Bを撮像する撮像部
53a、53b 撮像領域Cを撮像する撮像部
54a、54b 撮像領域Dを撮像する撮像部
100 画像処理装置
101 画像合成部
102 ノイズ除去部
103 画像認識部
104 画像補正部
105 画像入力制御部
106 メモリ
107 表示制御部
108 外部装置
109 制御装置
110 表示装置
DESCRIPTION OF SYMBOLS 1 Subject 2 Display panel 2a Filter substrate 2b Liquid crystal layer 2c Active matrix substrate 3 Display area 5 Backlight device 6 Fluorescent lamp 7 Detection light source part 8 Case 9 Diffusion plate 10 Diffusion sheet 11 Prism sheet 12 Reflection / polarization sheet 13 Optical layer 20 Display device frame 21 Light source of detection light source unit 22 Detection light source unit frame 23 Fixing member 24 Light guide path 30, 34 Lens element (imaging optical system)
30a, 34a Optical axis 31 Optical filter 32 Solid imaging device 32a Normal line passing through the center of the light receiving surface of the solid imaging device 33, 35 Imaging unit frame 41a, 41b Imaging unit 42a, 42b imaging imaging region A Imaging region B Imaging units 43a and 43b for imaging Imaging units 44a and 44b for imaging imaging region C Imaging units 45 to 48 and 55 to 58 imaging selection unit 51a and 51b Imaging units 52a and 52b for imaging imaging region A Imaging units 53a and 53b that capture the imaging region B Imaging units 54a and 54b that capture the imaging region C Imaging unit that captures the imaging region D 100 Image processing device 101 Image composition unit 102 Noise removal unit 103 Image recognition unit 104 Image correction unit 105 Image Input Control Unit 106 Memory 107 Display Control Unit 108 External Device 109 Control Device 11 Display device

Claims (8)

光透過性を有する表示パネルと、撮像ユニットとを備え、
前記撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備え、
前記複数の撮像部それぞれは、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する光を受光して、前記表示パネルの表示領域内の同一の領域における観察者側の状態を撮像し、
前記画像選択部は、前記複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、選択した画像のデータを外部に出力することを特徴とする表示装置。
A display panel having optical transparency and an imaging unit;
The imaging unit includes a plurality of imaging units having an imaging optical system, and an image selection unit,
Each of the plurality of imaging units receives light that is incident on the display panel from the observer side and passes through the display panel and the imaging optical system, and is the same area in the display area of the display panel The state of the observer side in
The image selection unit compares the images captured by each of the plurality of imaging units, selects an image having the smallest number of pixels whose luminance exceeds a threshold value, and outputs data of the selected image to the outside. Display device.
前記表示パネルの観察者側へ検出光を出射する検出光源部を備え、
前記複数の撮像部それぞれが、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する前記検出光を受光して、前記表示領域内の同一の領域における観察者側の状態を撮像する請求項1に記載の表示装置。
A detection light source unit that emits detection light to an observer side of the display panel;
Each of the plurality of imaging units receives the detection light that is incident on the display panel from the observer side and passes through the display panel and the imaging optical system, and is in the same region within the display region. The display device according to claim 1, wherein the state on the observer side is imaged.
前記複数の撮像部は、前記表示パネルの裏側における、前記表示パネルの厚み方向において前記表示領域と重なる領域の周辺に、前記複数の撮像部のうちの一部の撮像部の撮像方向と、他の一部の撮像部の撮像方向とが、観察者側から見たときに交差するように配置されている請求項1または2に記載の表示装置。   The plurality of imaging units are arranged on the back side of the display panel, around a region overlapping the display region in the thickness direction of the display panel, and the imaging direction of some of the plurality of imaging units 3. The display device according to claim 1, wherein the imaging directions of some of the imaging units are arranged so as to intersect when viewed from the observer side. 前記撮像ユニットを複数個備え、
前記複数個の撮像ユニットそれぞれは、前記表示領域内の異なる領域を撮像対象とし、
各撮像ユニットに備えられた前記複数の撮像部は、それらを備える撮像ユニットが撮像対象としている領域の観察者側の状態を撮像する請求項1に記載の表示装置。
A plurality of the imaging units are provided,
Each of the plurality of imaging units has a different area within the display area as an imaging target,
The display device according to claim 1, wherein the plurality of imaging units included in each imaging unit capture an image of a state on an observer side of an area that is an imaging target of the imaging unit including the imaging units.
前記複数個の撮像ユニットそれぞれの撮像対象となる領域のうち、隣接する領域同士が部分的に重なり合っている請求項4に記載の表示装置。   The display device according to claim 4, wherein adjacent regions of the plurality of imaging units are partially overlapped with each other. 前記検出光源部が、700nm以上の波長の光を出射し、
前記複数の撮像部それぞれが、700nm以上の波長の光のみを受光する請求項2に記載の表示装置。
The detection light source unit emits light having a wavelength of 700 nm or more;
The display device according to claim 2, wherein each of the plurality of imaging units receives only light having a wavelength of 700 nm or more.
前記検出光源部が、800nm以上1000nm以下の波長の光を照射し、
前記複数の撮像部それぞれが、800nm以上の波長の光のみを受光する請求項6に記載の表示装置。
The detection light source unit irradiates light having a wavelength of 800 nm to 1000 nm;
The display device according to claim 6, wherein each of the plurality of imaging units receives only light having a wavelength of 800 nm or more.
前記表示パネルが、液晶表示パネルまたはEL表示パネルである請求項1〜請求項7のいずれかに記載の表示装置。   The display device according to claim 1, wherein the display panel is a liquid crystal display panel or an EL display panel.
JP2005349978A 2005-12-02 2005-12-02 Display device Withdrawn JP2007156757A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005349978A JP2007156757A (en) 2005-12-02 2005-12-02 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005349978A JP2007156757A (en) 2005-12-02 2005-12-02 Display device

Publications (1)

Publication Number Publication Date
JP2007156757A true JP2007156757A (en) 2007-06-21

Family

ID=38241051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005349978A Withdrawn JP2007156757A (en) 2005-12-02 2005-12-02 Display device

Country Status (1)

Country Link
JP (1) JP2007156757A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116586A (en) * 2007-11-06 2009-05-28 Denso Corp Touch-type operational inputting device
WO2010038510A1 (en) * 2008-10-02 2010-04-08 シャープ株式会社 Display device and touch panel
JP2011039726A (en) * 2009-08-10 2011-02-24 Nlighten Trading (Shanghai) Co Wide-area infrared light source multi-touch screen
EP2417513A1 (en) * 2009-04-05 2012-02-15 Radion Engineering Co. Ltd. Unified input and display system and method
JP2014130374A (en) * 2008-03-14 2014-07-10 Samsung Display Co Ltd Liquid crystal display, display system and method for recognizing object shape using liquid crystal display
KR101494787B1 (en) 2008-03-05 2015-02-23 엘지디스플레이 주식회사 Touch screen device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116586A (en) * 2007-11-06 2009-05-28 Denso Corp Touch-type operational inputting device
KR101494787B1 (en) 2008-03-05 2015-02-23 엘지디스플레이 주식회사 Touch screen device
JP2014130374A (en) * 2008-03-14 2014-07-10 Samsung Display Co Ltd Liquid crystal display, display system and method for recognizing object shape using liquid crystal display
WO2010038510A1 (en) * 2008-10-02 2010-04-08 シャープ株式会社 Display device and touch panel
EP2417513A1 (en) * 2009-04-05 2012-02-15 Radion Engineering Co. Ltd. Unified input and display system and method
EP2417513A4 (en) * 2009-04-05 2013-10-30 Radion Engineering Co Ltd Unified input and display system and method
US8884925B2 (en) 2009-04-05 2014-11-11 Radion Engineering Co. Ltd. Display system and method utilizing optical sensors
JP2011039726A (en) * 2009-08-10 2011-02-24 Nlighten Trading (Shanghai) Co Wide-area infrared light source multi-touch screen

Similar Documents

Publication Publication Date Title
US8767117B2 (en) Imaging device and method to correct the focus detection pixels using peripheral standard pixels and correcting defective peripheral standard pixels as well if found
US9479688B2 (en) Image capture apparatus
JP4404927B2 (en) Display system and indication position detection method
JP2007156648A (en) Display unit
US20110285680A1 (en) Image display device, electronic apparatus, image display system, method of acquiring method, and program
TW200819899A (en) Combination camera/projector system
CN101060637A (en) Rear-projection type display apparatus, and control method for rear-projection type display apparatus
CN106537248A (en) Projection-type display device
JP2007156757A (en) Display device
JP2011118330A (en) Image display device with imaging unit
WO2007013272A1 (en) Display device and backlight device
JP2007226439A (en) Display device and electronic apparatus
JP5475393B2 (en) Imaging system and correction method
JP2019074323A (en) Display panel inspection device and display panel inspection method
US10178333B2 (en) Image sensor and imaging device
JP5144006B2 (en) Camera with display screen
JP2009188461A (en) Imaging apparatus
JP2002359758A (en) Image pickup device and mobile terminal employing it
WO2017130725A1 (en) Focal point detection device and imaging device
WO2007026463A1 (en) Liquid crystal display device
US20130293732A1 (en) Imaging systems and methods
WO2007026462A1 (en) Liquid crystal display device
JP2007156647A (en) Display device
JP2013205543A (en) Image display device
JP2014050001A (en) Imaging display device and imaging method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090203