JP2007163816A - Display device and its control method - Google Patents

Display device and its control method Download PDF

Info

Publication number
JP2007163816A
JP2007163816A JP2005359715A JP2005359715A JP2007163816A JP 2007163816 A JP2007163816 A JP 2007163816A JP 2005359715 A JP2005359715 A JP 2005359715A JP 2005359715 A JP2005359715 A JP 2005359715A JP 2007163816 A JP2007163816 A JP 2007163816A
Authority
JP
Japan
Prior art keywords
liquid crystal
unit
camera
display device
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005359715A
Other languages
Japanese (ja)
Other versions
JP4728793B2 (en
Inventor
Osamu Hashizume
修 橋爪
Yasuhiko Handa
靖彦 半田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IO Data Device Inc
Original Assignee
IO Data Device Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IO Data Device Inc filed Critical IO Data Device Inc
Priority to JP2005359715A priority Critical patent/JP4728793B2/en
Publication of JP2007163816A publication Critical patent/JP2007163816A/en
Application granted granted Critical
Publication of JP4728793B2 publication Critical patent/JP4728793B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display device which is provided with a camera on the rear surface side of a transmission type liquid crystal panel, is thinned, and suppresses flicker of a display screen. <P>SOLUTION: The display device 1 is provided with: a liquid crystal display part 3 provided with the transmission type liquid crystal panel 3a and displaying inputted image data; a backlight unit 5 disposed on the rear surface side of the liquid crystal display part 3; a camera unit 4 disposed on the rear surface side of the backlight unit 5; a hole 5a formed in the backlight unit 5 in a position corresponding to the position of a lens 4a of the camera unit 4; and a shutter controlling part 10 forming image data by which display of a region 6 in the vicinity of the hole 5a is made to be off-display where light from a front surface side is transmitted for every predetermined period based on image data inputted from an external part and outputting the image data to the liquid crystal display part 3 and outputting the image data inputted from the external part as it is to the liquid crystal display part 3 in a period except the predetermined period. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ディスプレイ装置に関し、特にカメラを一体化したディスプレイ装置およびその制御方法に関する。   The present invention relates to a display device, and more particularly to a display device integrated with a camera and a control method thereof.

従来、テレビ電話システムやテレビ会議システム等において、ディスプレイ装置に表示された人物と対面して会話するために、ディスプレイ装置にカメラを配置する試みが、さまざまになされている。   2. Description of the Related Art Conventionally, in videophone systems, video conference systems, and the like, various attempts have been made to place a camera on a display device in order to converse with a person displayed on the display device.

例えば、特許文献1には、使用者の視線位置に合わせて、ディスプレイ装置の上部から小型カメラを懸垂させた映像表示撮像装置が開示されている。また、特許文献2には、反射型液晶ディスプレイ装置の背部にカメラを設置し、反射板にハーフミラーを用いることで、使用者の映像を撮像するカメラ内蔵型画像表示装置が開示されている。   For example, Patent Document 1 discloses a video display imaging device in which a small camera is suspended from the upper part of a display device in accordance with the user's line-of-sight position. Patent Document 2 discloses an image display device with a built-in camera that captures an image of a user by installing a camera on the back of a reflective liquid crystal display device and using a half mirror as a reflective plate.

また、特許文献3には、透過型液晶画面を所定間隔でオフ状態とすることで、透過型液晶画面の後背部に設置されたビデオカメラに、前面の映像を撮像可能にした対面会話装置が開示されている。
さらに、特許文献4には、透過型液晶ディスプレイ装置の背面側の偏光板に孔を設け、この孔を介して使用者の映像を撮像するカメラを備えるカメラ一体型ディスプレイ装置が開示されている。
特開平11−284970号公報(段落0015〜0016、図1) 特開2003−259321号公報(段落0010〜0013、図1) 実開昭64−11076号公報 特許第3387136号公報(段落0011〜0014、図1)
Further, Patent Document 3 discloses a face-to-face conversation apparatus that enables a front-side image to be captured by a video camera installed at the back of the transmissive liquid crystal screen by turning the transmissive liquid crystal screen off at predetermined intervals. It is disclosed.
Further, Patent Document 4 discloses a camera-integrated display device including a hole in a polarizing plate on the back side of a transmissive liquid crystal display device and a camera that captures a user's image through the hole.
JP-A-11-284970 (paragraphs 0015 to 0016, FIG. 1) JP 2003-259321 A (paragraphs 0010 to 0013, FIG. 1) Japanese Utility Model Publication No. 64-11076 Japanese Patent No. 3387136 (paragraphs 0011 to 0014, FIG. 1)

しかしながら、特許文献1に記載のカメラ内蔵型画像表示装置は、カメラ保持部材が表示装置の前面に配置されるため、透過性の高い材料でカメラ保持部材を作成した場合であっても、その部分の表示が歪んでしまい、正確な表示ができなくなるとともに、使用者に違和感を与えてしまうという問題点がある。
また、特許文献2に記載されたカメラ内蔵型画像表示装置は、反射型液晶を用いるため、暗所では使用できず、また反射板としてハーフミラーを用いることで、入射光の反射率が低下し、液晶表示部分の彩度が低下してしまうという問題点がある。
However, since the camera-holding type image display device described in Patent Document 1 is arranged on the front surface of the display device, even if the camera-holding member is made of a highly transmissive material, the portion Display is distorted, accurate display cannot be performed, and the user feels uncomfortable.
In addition, since the camera built-in type image display device described in Patent Document 2 uses a reflective liquid crystal, it cannot be used in a dark place, and the use of a half mirror as a reflector reduces the reflectance of incident light. There is a problem that the saturation of the liquid crystal display portion is lowered.

また、特許文献3に記載された対面会話装置は、液晶画面の全面を所定間隔でオフとし、その間にビデオカメラが前面側の映像を撮像するため、液晶画面のフリッカー(ちらつき)が発生するという問題点があった。
さらに、特許文献4に記載されたカメラ一体型ディスプレイ装置は、背面側の偏光板に孔を設けたことで、バックライトから背面側の偏光板を透過して液晶パネルに入射する光の照度むらが発生することを抑制する必要がある。そのため、背面側の偏光板と液晶パネルとの間に所定の間隔を設ける必要があり、薄型のカメラ一体型ディスプレイ装置を作成することが難しいという問題点があった。
In the face-to-face conversation device described in Patent Document 3, the entire surface of the liquid crystal screen is turned off at predetermined intervals, and the video camera picks up the image on the front side during that time, so that flickering of the liquid crystal screen occurs. There was a problem.
Furthermore, the camera-integrated display device described in Patent Document 4 is provided with a hole in the polarizing plate on the back side, so that the illuminance unevenness of light that passes through the polarizing plate on the back side from the backlight and enters the liquid crystal panel is uneven. It is necessary to suppress the occurrence of Therefore, it is necessary to provide a predetermined interval between the polarizing plate on the back side and the liquid crystal panel, and it is difficult to produce a thin camera-integrated display device.

そこで、本発明では、前記した問題を解決し、透過型液晶パネルの背部にカメラを備え、薄型化が可能であり、画面全体におけるフリッカーを抑えることができるディスプレイ装置およびその制御方法を提供することを目的とする。   Accordingly, the present invention provides a display device that solves the above-described problems, can be thinned with a camera on the back of a transmissive liquid crystal panel, and can suppress flicker in the entire screen, and a control method thereof. With the goal.

前記課題を解決するためになされた本発明に係るディスプレイ装置は、透過型液晶パネルを備え、入力された画像データを表示する液晶表示部と、液晶表示部の背面側に配置されるバックライトユニットと、バックライトユニットの背面側に配置されるカメラユニットと、カメラユニットのレンズの位置に合わせてバックライトユニットに形成された孔と、外部から入力された画像データに基づいて、孔の近傍領域の表示を前面側からの光が透過するオフ表示にした画像データを所定時間ごとに生成して液晶表示部に出力し、所定時間以外では外部から入力された画像データを液晶表示部に出力するシャッター制御部と、を備えることを特徴とする。   A display device according to the present invention, which has been made to solve the above problems, includes a transmissive liquid crystal panel, a liquid crystal display unit that displays input image data, and a backlight unit disposed on the back side of the liquid crystal display unit And a camera unit arranged on the back side of the backlight unit, a hole formed in the backlight unit in accordance with the position of the lens of the camera unit, and a region near the hole based on image data input from the outside Is generated every predetermined time and output to the liquid crystal display unit, and image data input from the outside is output to the liquid crystal display unit outside the predetermined time. And a shutter control unit.

このように、構成された本発明に係るディスプレイ装置は、バックライトユニットのみに孔を設けることで、孔周囲の光の回折により、液晶パネルとその背面側に設置されるバックライトユニットとを所定間隔を空けて設置する必要がない。また、液晶表示部の表示領域のうち、孔の近傍領域のみを点滅制御することで、画面全体におけるフリッカーを抑えることができる。
本発明のその他の態様については、後記する実施の形態において説明する。
As described above, the thus configured display device according to the present invention provides a predetermined hole between the liquid crystal panel and the backlight unit installed on the back side thereof by diffracting light around the hole by providing the hole only in the backlight unit. There is no need to install them at intervals. In addition, flickering of the entire screen can be suppressed by controlling blinking of only the region near the hole in the display region of the liquid crystal display unit.
Other aspects of the present invention will be described in the embodiments described later.

本発明に係るディスプレイ装置およびその制御方法によると、液晶画面のフリッカーをほぼ意識することのない、薄型のカメラ内蔵型ディスプレイ装置を具現することが可能になる。また、カメラのレンズ開口部を大きくできるため、カメラから出力される映像信号のS/N比を大きくすることもできる。   According to the display device and the control method thereof according to the present invention, it is possible to implement a thin camera-equipped display device that is almost unaware of the flicker of the liquid crystal screen. Further, since the lens opening of the camera can be enlarged, the S / N ratio of the video signal output from the camera can be increased.

次に、本発明の実施形態に係るカメラ内蔵ディスプレイ装置について、適宜図面を参照しながら詳細に説明する。   Next, a display device with a built-in camera according to an embodiment of the present invention will be described in detail with reference to the drawings as appropriate.

(カメラ内蔵ディスプレイ装置の構成)
図1は、本実施の形態に係るカメラ内蔵ディスプレイ装置の構成を示す図面であって、(a)はカメラ内蔵ディスプレイ装置の正面図であり、(b)はその部分縦断面図である。図1(a)に示すように、本実施形態のカメラ内蔵ディスプレイ装置1は、樹脂等で形成された筐体2の内部に、液晶表示部3と、液晶表示部3の背部に設置されるカメラユニット4とを備えて構成される。また、液晶表示部3とカメラユニット4との間には、バックライトユニット5(図1(b)参照)が間挿されている。さらに、カメラ内蔵ディスプレイ装置1は、液晶表示部3の表示およびカメラユニット4の動作を制御する図示しないシャッター制御部(図2参照)を有している。
なお、以下の説明において、カメラ内蔵ディスプレイ装置1が画像を表示する側(図1(b)において左側)を前面側と称し、その反対側(図1(b)において右側)を背面側と称す。
(Configuration of display device with built-in camera)
FIG. 1 is a diagram showing a configuration of a display device with a built-in camera according to the present embodiment, in which (a) is a front view of the display device with a built-in camera, and (b) is a partial longitudinal sectional view thereof. As shown in FIG. 1A, the camera built-in display device 1 according to the present embodiment is installed in a liquid crystal display unit 3 and a back part of the liquid crystal display unit 3 inside a housing 2 formed of resin or the like. And a camera unit 4. A backlight unit 5 (see FIG. 1B) is interposed between the liquid crystal display unit 3 and the camera unit 4. Further, the camera built-in display device 1 has a shutter control unit (not shown) (see FIG. 2) that controls the display of the liquid crystal display unit 3 and the operation of the camera unit 4.
In the following description, the side on which the camera-equipped display device 1 displays an image (left side in FIG. 1B) is referred to as the front side, and the opposite side (right side in FIG. 1B) is referred to as the back side. .

(液晶表示部)
図1(b)に示すように、液晶表示部3は、例えば、TSTN(Triple Super Twisted Nematic)型の液晶パネル3aが、前面側に配置される前面偏光板3bおよび背面側に配置される背面偏光板3cから挟まれて構成されている。さらに、液晶表示部3には、液晶パネル3aの駆動回路である図示しない液晶駆動回路が含まれている。液晶表示部3は、外部に接続された図示しないコンピュータ等から表示画像データを取得すると、液晶パネル3aを駆動させて、表示画像データに対応した画像を表示する。
(Liquid crystal display)
As shown in FIG. 1B, the liquid crystal display unit 3 includes, for example, a TSTN (Triple Super Twisted Nematic) type liquid crystal panel 3a, a front polarizing plate 3b arranged on the front side, and a back side arranged on the back side. It is configured to be sandwiched between the polarizing plates 3c. Further, the liquid crystal display unit 3 includes a liquid crystal driving circuit (not shown) which is a driving circuit for the liquid crystal panel 3a. When the display image data is acquired from a computer (not shown) or the like connected to the outside, the liquid crystal display unit 3 drives the liquid crystal panel 3a to display an image corresponding to the display image data.

また、液晶表示部3の略中央には、後記する開口データ切換部(図2参照)によって、液晶表示部3の表示が点滅表示される領域であるシャッター領域6が設定されており、このシャッター領域6を介して、前面側からの光がカメラユニット4に入射する。
このシャッター領域6の大きさは、カメラユニット4のレンズ4aの大きさに応じて予め設定され、撮像される画像に影響を及ぼさない最小の大きさに設定することが望ましい。なお、このシャッター領域6についての詳しい説明は後記する。
In addition, a shutter area 6 which is an area where the display of the liquid crystal display section 3 blinks is set by an aperture data switching section (see FIG. 2) which will be described later, in the approximate center of the liquid crystal display section 3. Light from the front side enters the camera unit 4 via the region 6.
The size of the shutter region 6 is set in advance according to the size of the lens 4a of the camera unit 4, and is desirably set to a minimum size that does not affect the captured image. A detailed description of the shutter area 6 will be given later.

(カメラユニット)
カメラユニット4は、CCD(Charge Coupled Device)素子またはCMOS(Complementary Metal Oxide Semiconductor)素子等の図示しない固体撮像素子と、前面側から入射した光をこの固体撮像素子に結像するレンズ4aとを備えるユニットとして構成される。カメラユニット4は、固体撮像素子が撮像した信号をカメラ撮像データとして出力する図示しないカメラ制御回路を備えて構成され、前面側から入射した光を撮像してカメラ撮像データを出力する。
なお、カメラユニット4のレンズ4aとしてはフレネルレンズを用いることが望ましい。レンズ4aとしてフレネルレンズを用いることで、薄型で画角の大きなレンズを具現可能である。これにより、カメラ内蔵ディスプレイ装置1の厚さをさらに薄く構成することが可能となる。また、フレネルレンズ以外にも、ガラスやプラスチック等から形成された非球面レンズ等を適用することももちろん可能である。
また、バックライトユニットから照射される光の回折により、表示画面の照度むらを抑制するために、レンズ4aの口径は、10mm程度よりも小さいことが望ましい。
(Camera unit)
The camera unit 4 includes a solid-state image sensor (not shown) such as a CCD (Charge Coupled Device) element or a CMOS (Complementary Metal Oxide Semiconductor) element, and a lens 4a that focuses light incident from the front side on the solid-state image sensor. Configured as a unit. The camera unit 4 includes a camera control circuit (not shown) that outputs a signal imaged by the solid-state imaging device as camera imaging data, images the light incident from the front side, and outputs camera imaging data.
Note that it is desirable to use a Fresnel lens as the lens 4 a of the camera unit 4. By using a Fresnel lens as the lens 4a, a thin lens with a large angle of view can be realized. Thereby, it becomes possible to further reduce the thickness of the display device 1 with a built-in camera. In addition to the Fresnel lens, it is of course possible to apply an aspherical lens made of glass or plastic.
Further, in order to suppress unevenness in the illuminance of the display screen due to diffraction of light emitted from the backlight unit, it is desirable that the diameter of the lens 4a is smaller than about 10 mm.

(バックライトユニット)
バックライトユニット5は、光源である冷陰極管や、有機エレクトロルミネセントシートや、LED(Light Emitting Diode)等からの光を均一に拡散させて無指向性に近い光を前面側に向かって照射するよう構成されている。
また、液晶表示部3のシャッター領域6の後背部に対応した、バックライトユニット5の略中央には、液晶表示部3を介して前面側からの光を取り込むための小さな孔5aが形成されている。この孔5aの背面側に、カメラユニット4のレンズ4aが配置されている。
(Backlight unit)
The backlight unit 5 irradiates light from the cold cathode tube, which is a light source, an organic electroluminescent sheet, an LED (Light Emitting Diode), and the like toward the front side with light that is nearly non-directional. It is configured to
In addition, a small hole 5 a for taking in light from the front side through the liquid crystal display unit 3 is formed in the approximate center of the backlight unit 5 corresponding to the rear part of the shutter region 6 of the liquid crystal display unit 3. Yes. The lens 4a of the camera unit 4 is disposed on the back side of the hole 5a.

さらに、図1(b)に示すように、孔5aの前面側は、テーパー状に広がって形成されており、この孔5aのテーパー近傍領域は、液晶表示部3の孔5aが配置された背面部にバックライトユニット5の光を均一に拡散させるためのライトガイド5bとして機能する。
このライトガイド5bにより、液晶表示部3のシャッター領域6に、バックライトユニット5から照射された光が良好に拡散され、照度むらを抑制できる。
Further, as shown in FIG. 1B, the front surface side of the hole 5a is formed so as to expand in a taper shape, and a region near the taper of the hole 5a is a back surface where the hole 5a of the liquid crystal display unit 3 is disposed. It functions as a light guide 5b for uniformly diffusing the light of the backlight unit 5 in the part.
By this light guide 5b, the light irradiated from the backlight unit 5 is favorably diffused into the shutter region 6 of the liquid crystal display unit 3, and uneven illuminance can be suppressed.

(シャッター制御部のブロック)
次に、図2は、本実施形態に係るカメラ内蔵ディスプレイ装置1のシャッター制御部の概略的なブロック図の例である。図2に示すように、カメラ内蔵ディスプレイ装置1のシャッター制御部10は、カメラ制御部12からタイミング信号を取得すると、液晶表示部3の表示領域のうち、シャッター領域6のみを前面側からの光が透過する表示(以下、オフ表示と称す)にした表示画像データを生成する開口データ切換部11と、カメラユニット4の動作を要求するカメラ動作要求情報を外部のパーソナルコンピュータ等から取得すると、内部クロックに基づいて、所定のタイミング(例えば、1/30sec)ごとに、開口データ切換部11にタイミング信号を送信し、同じタイミングで、カメラ制御部12に接続されたカメラユニット4に、カメラ駆動信号を送信するカメラ制御部12と、を備えて構成される。
なお、開口データ切換部11は、液晶表示部3に接続され、タイミング信号の受信時以外は、外部から取得した表示画像データを、そのまま液晶表示部3に受け渡す。
また、表示画像データは、ディスプレイケーブルを介して外部のパーソナルコンピュータ等から入力され、カメラ動作要求情報およびカメラ撮像データは、例えばUSB(Universal Serial Bus)ケーブル等を介してパーソナルコンピュータとの間で入出力される。なお、表示画像データは、パーソナルコンピュータ等からの映像信号であっても、テレビジョンやDVD(Digital Versatile Disc)プレイヤー等の映像信号であってもよい。
(Block of the shutter control unit)
Next, FIG. 2 is an example of a schematic block diagram of a shutter control unit of the display device 1 with a built-in camera according to the present embodiment. As shown in FIG. 2, when the shutter control unit 10 of the camera-equipped display device 1 acquires a timing signal from the camera control unit 12, only the shutter region 6 of the display region of the liquid crystal display unit 3 is light from the front side. If the aperture data switching unit 11 that generates display image data that is displayed in a transparent manner (hereinafter referred to as OFF display) and camera operation request information that requests the operation of the camera unit 4 are acquired from an external personal computer or the like, Based on the clock, a timing signal is transmitted to the aperture data switching unit 11 at every predetermined timing (for example, 1/30 sec), and a camera drive signal is transmitted to the camera unit 4 connected to the camera control unit 12 at the same timing. And a camera control unit 12 for transmitting the information.
Note that the aperture data switching unit 11 is connected to the liquid crystal display unit 3 and delivers display image data acquired from the outside to the liquid crystal display unit 3 as it is except when a timing signal is received.
Display image data is input from an external personal computer or the like via a display cable, and camera operation request information and camera imaging data are input to or from a personal computer via a USB (Universal Serial Bus) cable or the like. Is output. The display image data may be a video signal from a personal computer or the like, or a video signal from a television or a DVD (Digital Versatile Disc) player.

(カメラ内蔵ディスプレイ装置の動作)
次に、カメラ内蔵ディスプレイ装置1のシャッター制御部10の動作について、図3に示したシャッター制御部10の動作を説明するフローチャートを参照しつつ、詳しく説明する(適宜、図1、2参照のこと)。
例えば、ここで、パーソナルコンピュータ等の外部の装置から入力される表示画像データは、1秒間に60フレーム(60fps)であり、シャッター領域6におけるカメラユニット4への前面側からの光の透過間隔は、1/15secであるとする。つまり、シャッター領域における表示画像データのフレーム数は、45fpsになる。この光の透過間隔は、予め設定されてカメラ制御部12に記録されていることとする。また、液晶表示部3の表示領域のうち、シャッター領域6となる領域の位置情報も、予め設定されて開口データ切換部11に記録されていることとする。
なお、前述の光の透過間隔の値は、カメラ内蔵ディスプレイ装置1に接続されたパーソナルコンピュータ等から変更することもできる。
また、シャッター領域6のフリッカーを抑えるために、シャッター領域6における表示画像のフレーム数は、10fps程度以上確保することが望ましい。
(Operation of display device with built-in camera)
Next, the operation of the shutter control unit 10 of the camera built-in display device 1 will be described in detail with reference to the flowchart illustrating the operation of the shutter control unit 10 shown in FIG. 3 (see FIGS. 1 and 2 as appropriate). ).
For example, the display image data input from an external device such as a personal computer is 60 frames per second (60 fps), and the light transmission interval from the front side to the camera unit 4 in the shutter region 6 is It is assumed that 1/15 sec. That is, the number of frames of display image data in the shutter area is 45 fps. The light transmission interval is set in advance and recorded in the camera control unit 12. Further, it is assumed that the position information of the area to be the shutter area 6 in the display area of the liquid crystal display section 3 is also preset and recorded in the aperture data switching section 11.
The value of the light transmission interval described above can also be changed from a personal computer connected to the display device 1 with a built-in camera.
In order to suppress flicker in the shutter area 6, it is desirable to secure the number of frames of the display image in the shutter area 6 to about 10 fps or more.

はじめに、カメラ内蔵ディスプレイ装置1のシャッター制御部10は、外部のパーソナルコンピュータ等から表示画像データを入力されると、開口データ切換部11が、入力された表示画像データをそのまま、液晶表示部3に受け渡す(ステップS101)。この表示画像データを取得した液晶表示部3は、表示画像データに応じた画像を表示する。   First, when the display image data is input from an external personal computer or the like, the shutter control unit 10 of the camera-equipped display device 1 causes the aperture data switching unit 11 to input the input display image data to the liquid crystal display unit 3 as it is. Deliver (step S101). The liquid crystal display unit 3 that has acquired the display image data displays an image corresponding to the display image data.

次に、シャッター制御部10のカメラ制御部12は、内部クロックにより所定時間(1/15sec)ごとに、パーソナルコンピュータ等の外部の装置またはカメラ内蔵ディスプレイ装置1の内部に用意した図示しないタイミング生成回路から送信されたカメラ動作要求情報を検出したか否かを判定する(ステップS102)。ここで、カメラ動作要求情報を検出しなかった場合は(ステップS102で‘No’の場合)、ステップS101に戻って、シャッター制御部10は、入力された表示画像データをそのまま液晶表示部3に送信する。
ここで、カメラ動作要求情報を検出したか否かの判定は、1/15secごとに実施されるため、1/60secごとに開口データ切換部11に入力される表示画像データは、ステップS102の判定が行われない期間は、ステップS101において、そのまま、液晶表示部3に送信される。
Next, the camera control unit 12 of the shutter control unit 10 uses an internal clock to generate a timing generation circuit (not shown) prepared in an external device such as a personal computer or the display device 1 with a built-in camera every predetermined time (1/15 sec). It is determined whether the camera operation request information transmitted from is detected (step S102). If the camera operation request information is not detected (“No” in step S102), the process returns to step S101, and the shutter control unit 10 directly inputs the input display image data to the liquid crystal display unit 3. Send.
Here, since the determination whether or not the camera operation request information is detected is performed every 1/15 sec, the display image data input to the aperture data switching unit 11 every 1/60 sec is determined in step S102. During the period in which the operation is not performed, it is transmitted to the liquid crystal display unit 3 as it is in step S101.

一方、ステップS102においてカメラ動作要求情報を検出した場合(ステップS102で‘Yes’の場合)、カメラ制御部12は、開口データ切換部11にタイミング信号を送信する(ステップS103)。このタイミング信号を受信した開口データ切換部11は、入力された表示画像データのシャッター領域6に相当する領域をオフ表示としたシャッター画像データを生成して、液晶表示部3に送信する(ステップS104)。このシャッター画像データを受信した液晶表示部3は、シャッター画像データに対応する表示画像データからシャッター領域6のみがオフ表示された画像を表示する(シャッターが開放されている状態)。これにより、前面側からの光は、液晶表示部3のシャッター領域6を透過してカメラユニット4に入射する。   On the other hand, when camera operation request information is detected in step S102 (“Yes” in step S102), the camera control unit 12 transmits a timing signal to the aperture data switching unit 11 (step S103). Receiving this timing signal, the aperture data switching unit 11 generates shutter image data in which the area corresponding to the shutter area 6 of the input display image data is turned off, and transmits it to the liquid crystal display unit 3 (step S104). ). The liquid crystal display unit 3 that has received the shutter image data displays an image in which only the shutter area 6 is displayed off from the display image data corresponding to the shutter image data (in a state where the shutter is opened). Thereby, the light from the front side passes through the shutter region 6 of the liquid crystal display unit 3 and enters the camera unit 4.

そして、カメラ制御部12は、カメラユニット4にカメラ駆動信号を送信し(ステップS105)、このカメラ駆動信号を受信したカメラユニット4は、液晶表示部3のシャッター領域6を透過して入射した前面側の被写体の画像を撮像して、カメラ撮像データとして外部の装置に出力する。なお、カメラ制御部12が送信するカメラ駆動信号は、ステップS102の判定とは関係なく、カメラ動作要求情報が入力された時点で送信される。   Then, the camera control unit 12 transmits a camera drive signal to the camera unit 4 (step S105), and the camera unit 4 that has received this camera drive signal passes through the shutter region 6 of the liquid crystal display unit 3 and enters the front surface. An image of the subject on the side is captured and output to an external device as camera imaging data. The camera drive signal transmitted by the camera control unit 12 is transmitted when the camera operation request information is input regardless of the determination in step S102.

なお、カメラ制御部12がカメラユニット4に送信するカメラ駆動信号は、開口データ切換部11に送信したタイミング信号と同期して、1/15secごとに送信することもできる。この場合、カメラユニットは、タイミング信号と同期したカメラ駆動信号により、1/15sec間隔で被写体の画像を撮像することになる。   The camera drive signal transmitted from the camera control unit 12 to the camera unit 4 can be transmitted every 1/15 sec in synchronization with the timing signal transmitted to the aperture data switching unit 11. In this case, the camera unit captures an image of the subject at an interval of 1/15 sec by a camera drive signal synchronized with the timing signal.

以上、説明した本実施形態に係るカメラ内蔵ディスプレイ装置1によると次のような効果が得られる。
まず、カメラ内蔵ディスプレイ装置1の奥行きを薄く構成できる。また、カメラ内蔵ディスプレイ装置1の構造が簡単であるため、カメラ内蔵ディスプレイ装置1の製造コストを抑えることができる。また、バックライトユニット5の孔5aの周囲にライトガイド5bを設けたことで、液晶表示部3の孔5aに対応する領域における照度むらの発生をより抑制することができる。
As described above, the camera built-in display device 1 according to the present embodiment described above provides the following effects.
First, the depth of the camera-equipped display device 1 can be reduced. Moreover, since the structure of the display device 1 with a built-in camera is simple, the manufacturing cost of the display device 1 with a built-in camera can be suppressed. Further, by providing the light guide 5b around the hole 5a of the backlight unit 5, it is possible to further suppress the occurrence of illuminance unevenness in the region corresponding to the hole 5a of the liquid crystal display unit 3.

また、カメラユニット4のレンズ4aとして、フレネルレンズを用いたことで、カメラ内蔵ディスプレイユニット1の奥行きをさらに薄く構成することができる。
さらに、シャッター領域6のみを点滅制御するため、使用者が液晶表示部3のフリッカーをほとんど意識することがない。
Further, by using a Fresnel lens as the lens 4a of the camera unit 4, the depth of the camera built-in display unit 1 can be further reduced.
Furthermore, since only the shutter area 6 is controlled to blink, the user is hardly aware of the flicker of the liquid crystal display unit 3.

以上、本発明の実施形態について詳細に説明したが、本発明は前記した実施形態に限定されず、本発明の技術分野に属する当業者であれば、本発明の趣旨を逸脱しない範囲で様々な実施形態を実施可能である。
例えば、前記の実施形態において、カメラユニット4を1つ備える例を示したが、2組以上のカメラユニット4、孔5a、ライトガイド5b及びシャッター領域6を備える構成としてもよい。例えば、カメラユニット4を2つ備えることで、これらのカメラユニット4から出力されるカメラ撮像データにより、ステレオ視が可能となる。
As mentioned above, although embodiment of this invention was described in detail, this invention is not limited to above-described embodiment, If it is those skilled in the art which belongs to the technical field of this invention, various in the range which does not deviate from the meaning of this invention. Embodiments can be implemented.
For example, in the above-described embodiment, an example in which one camera unit 4 is provided has been described, but a configuration in which two or more sets of camera units 4, holes 5a, light guides 5b, and shutter regions 6 are provided may be employed. For example, by providing two camera units 4, stereo viewing can be performed using camera imaging data output from these camera units 4.

また、2つのカメラユニット4が撮像した画像を交互に補完することで、各シャッター領域6のオフ表示の間隔を長くしつつ、補完されたカメラ画像の単位時間あたりのフレーム数を大きくとることができる。
また、さらに多くのカメラユニット4を備えて、液晶表示部3の表示領域のうち、テレビ電話等の対面通話が行われるアプリケーションが実行されている領域近傍のカメラユニット4を選択して使用することもできる。
したがって、本発明は特許請求の範囲に記載された技術的思想により定められる。
Further, by alternately complementing the images captured by the two camera units 4, it is possible to increase the number of frames per unit time of the complemented camera images while increasing the off display interval of each shutter region 6. it can.
Further, more camera units 4 are provided, and the camera unit 4 in the vicinity of an area where an application for performing a face-to-face call such as a videophone is executed is selected from the display area of the liquid crystal display unit 3 and used. You can also.
Therefore, the present invention is defined by the technical idea described in the claims.

また、本発明に係るディスプレイ装置は、一般的なパーソナルコンピュータ用のディスプレイ装置や液晶テレビ等のほかに、携帯電話またはPDA(Personal Digital Assistant)、ムービーカメラ等のディスプレイ装置として利用可能である。
例えば、本発明に係るディスプレイ装置を液晶テレビに適用して、テレビ局等でアナウンス原稿を液晶表示部3に表示すると、アナウンサの視線がカメラから外れないため、視聴者に違和感を与えることがない。
The display device according to the present invention can be used as a display device for a mobile phone, a PDA (Personal Digital Assistant), a movie camera, etc., in addition to a display device for a general personal computer, a liquid crystal television, and the like.
For example, when the display device according to the present invention is applied to a liquid crystal television and an announcement document is displayed on the liquid crystal display unit 3 at a television station or the like, the line of sight of the announcer does not deviate from the camera, so that the viewer does not feel discomfort.

また、カメラユニット4が撮像した画像をそのまま液晶表示部3に表示させることで鏡として利用したり、プリクラ(登録商標)に適用することもできる。また、液晶表示部3を白色表示(画面全体をオフ表示)することで、カメラユニット4の撮影照明として用いたり、ATM(Automated Teller Machine)の操作パネルに適用することで監視カメラとしても利用できる。
また、カメラユニット4をディスプレイ装置に内蔵することなく、液晶表示部3の後背部に、分離可能に配置することもできる。
Further, the image captured by the camera unit 4 can be displayed on the liquid crystal display unit 3 as it is to be used as a mirror, or applied to a photo booth (registered trademark). In addition, the liquid crystal display unit 3 can be used as photographing illumination for the camera unit 4 by displaying white (displaying the entire screen off) or as a surveillance camera by being applied to an operation panel of an ATM (Automated Teller Machine). .
Further, the camera unit 4 can be separably disposed on the back of the liquid crystal display unit 3 without being incorporated in the display device.

カメラ内蔵ディスプレイ装置の構成を示す図面であって、(a)はカメラ内蔵ディスプレイ装置の正面図であり、(b)は、カメラ内蔵ディスプレイ装置の部分断面図である。It is drawing which shows the structure of a display apparatus with a built-in camera, Comprising: (a) is a front view of a display apparatus with a built-in camera, (b) is a fragmentary sectional view of a display apparatus with a built-in camera. 制御回路のブロック構成図である。It is a block block diagram of a control circuit. 制御回路の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of a control circuit.

符号の説明Explanation of symbols

1 カメラ内蔵ディスプレイ装置
2 筐体
3 液晶表示部
4 バックライトユニット
5 カメラユニット
5a 孔
5b ライトガイド
6 シャッター領域
10 シャッター制御部
11 開口データ切換部
12 カメラ制御部
DESCRIPTION OF SYMBOLS 1 Camera built-in display apparatus 2 Case 3 Liquid crystal display part 4 Backlight unit 5 Camera unit 5a Hole 5b Light guide 6 Shutter area 10 Shutter control part 11 Aperture data switching part 12 Camera control part

Claims (5)

透過型液晶パネルを備え、入力された画像データを表示する液晶表示部と、
前記液晶表示部の背面側に配置されるバックライトユニットと、
前記バックライトユニットの背面側に配置されるカメラユニットと、
前記カメラユニットのレンズの位置に合わせて前記バックライトユニットに形成された孔と、
外部から入力された画像データに基づいて、前記孔の近傍領域の表示を前面側からの光が透過するオフ表示にした画像データを、所定時間ごとに生成して前記液晶表示部に出力し、前記所定時間以外では外部から入力された画像データをそのまま前記液晶表示部に出力するシャッター制御部と、
を備えることを特徴とするディスプレイ装置。
A liquid crystal display that includes a transmissive liquid crystal panel and displays input image data;
A backlight unit disposed on the back side of the liquid crystal display unit;
A camera unit disposed on the back side of the backlight unit;
A hole formed in the backlight unit in accordance with the position of the lens of the camera unit;
Based on image data input from the outside, the display of the area near the hole is turned off display through which light from the front side is transmitted, and is generated every predetermined time and output to the liquid crystal display unit, A shutter control unit that outputs image data input from the outside to the liquid crystal display unit as it is outside the predetermined time;
A display device comprising:
前記孔は、前面側に向けてテーパー状に広がっていること、
を特徴とする請求項1に記載のディスプレイ装置。
The hole extends in a tapered shape toward the front side;
The display device according to claim 1.
前記カメラユニットのレンズに、フレネルレンズを用いたこと、
を特徴とする請求項1または請求項2に記載のディスプレイ装置。
Using a Fresnel lens for the lens of the camera unit,
The display device according to claim 1, wherein the display device is a display device.
前記カメラユニットと前記孔を複数備え、
前記シャッター制御部は、前記複数のカメラに対するシャッター制御を行う構成を有すること、
を特徴とする請求項1ないし請求項3のいずれか1項に記載のディスプレイ装置。
A plurality of the camera unit and the hole;
The shutter control unit has a configuration for performing shutter control for the plurality of cameras;
The display device according to claim 1, wherein the display device is a display device.
透過型液晶パネルを備える液晶表示部と、前記液晶表示部の背面側に配置されるバックライトユニットと、前記バックライトユニットの背面側に配置されるカメラユニットと、前記カメラユニットのレンズの位置に合わせて前記バックライトユニットに形成された孔と、前記孔の近傍領域の表示を前面側からの光が透過するオフ表示にした画像データを生成するシャッター制御部とを備えるディスプレイ装置の制御方法であって、
前記シャッター制御部は、外部から入力された画像データに基づいて、前記孔の近傍領域の表示を前面側からの光が透過するオフ表示にした画像データを所定時間ごとに生成して前記液晶表示部に出力し、
所定時間以外では、外部から入力された画像データをそのまま液晶表示部に出力すること、
を特徴とするディスプレイ装置の制御方法。
A liquid crystal display unit including a transmissive liquid crystal panel, a backlight unit disposed on the back side of the liquid crystal display unit, a camera unit disposed on the back side of the backlight unit, and a lens position of the camera unit In addition, there is provided a control method for a display device comprising: a hole formed in the backlight unit; and a shutter control unit that generates image data in which a display of a region near the hole is turned off to transmit light from the front side. There,
The shutter control unit generates image data at predetermined time intervals based on image data input from the outside to generate image data in which the display of the area near the hole is turned off to transmit light from the front side. Output to
Outside the predetermined time, image data input from the outside is directly output to the liquid crystal display unit,
A control method for a display device.
JP2005359715A 2005-12-14 2005-12-14 Display device and control method thereof Active JP4728793B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005359715A JP4728793B2 (en) 2005-12-14 2005-12-14 Display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005359715A JP4728793B2 (en) 2005-12-14 2005-12-14 Display device and control method thereof

Publications (2)

Publication Number Publication Date
JP2007163816A true JP2007163816A (en) 2007-06-28
JP4728793B2 JP4728793B2 (en) 2011-07-20

Family

ID=38246772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005359715A Active JP4728793B2 (en) 2005-12-14 2005-12-14 Display device and control method thereof

Country Status (1)

Country Link
JP (1) JP4728793B2 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010171573A (en) * 2009-01-21 2010-08-05 Epson Imaging Devices Corp Three-dimensional image display-imaging device, communication system, and display device
US20110181587A1 (en) * 2010-01-22 2011-07-28 Sony Corporation Image display device having imaging device
JP2011151652A (en) * 2010-01-22 2011-08-04 Sony Corp Image display apparatus with imaging device
JP2013061436A (en) * 2011-09-13 2013-04-04 Lenovo Singapore Pte Ltd Electronic device having liquid crystal shutter
US8502756B2 (en) 2009-11-02 2013-08-06 Sony Corporation Image display device with imaging unit
US8514337B2 (en) 2011-10-03 2013-08-20 Kabushiki Kaisha Toshiba Electronic apparatus
JP2014081653A (en) * 2010-10-29 2014-05-08 Apple Inc Camera lens structures and display structures for electronic devices
CN107144995A (en) * 2017-05-17 2017-09-08 广东欧珀移动通信有限公司 Display screen, display device and mobile terminal
KR101800669B1 (en) * 2011-09-07 2017-12-20 엘지디스플레이 주식회사 Liquid crystal display devece
WO2018083817A1 (en) * 2016-11-07 2018-05-11 京セラディスプレイ株式会社 Image display device
JP2018109686A (en) * 2016-12-28 2018-07-12 京セラ株式会社 Liquid crystal display device
CN110428737A (en) * 2019-07-30 2019-11-08 Oppo广东移动通信有限公司 A kind of terminal device
CN110557477A (en) * 2018-06-01 2019-12-10 Oppo广东移动通信有限公司 display screen assembly, electronic equipment and display control method
WO2020017153A1 (en) * 2018-07-20 2020-01-23 株式会社ジャパンディスプレイ Display device and electronic apparatus with display device incorporated therein
WO2020095607A1 (en) * 2018-11-09 2020-05-14 株式会社ジャパンディスプレイ Electronic apparatus
JP2021043299A (en) * 2019-09-10 2021-03-18 株式会社ジャパンディスプレイ Display
WO2021070867A1 (en) * 2019-10-07 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 Electronic device
US11516375B2 (en) 2019-03-27 2022-11-29 Japan Display Inc. Display device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443518A (en) * 2020-04-07 2020-07-24 捷开通讯(深圳)有限公司 Electronic device and driving method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6411076A (en) * 1988-05-17 1989-01-13 Kawasaki Steel Co Gas shielded arc welding method for hydrogen inductive cracking resistant steel
JPH0255774A (en) * 1988-08-23 1990-02-26 Idemitsu Kosan Co Ltd Mineral oil-based plasticizer for coating
JPH04317287A (en) * 1990-12-31 1992-11-09 American Teleph & Telegr Co <Att> Display system
JP2002027419A (en) * 2000-07-05 2002-01-25 Hitachi Ltd Image terminal device and communication system using the same
JP2002094955A (en) * 2000-02-22 2002-03-29 Philips Japan Ltd Image display and pickup device
JP2005328461A (en) * 2004-05-17 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Video conference apparatus and multi-point conference system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6411076U (en) * 1987-07-09 1989-01-20
JPH0255774U (en) * 1988-10-17 1990-04-23

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6411076A (en) * 1988-05-17 1989-01-13 Kawasaki Steel Co Gas shielded arc welding method for hydrogen inductive cracking resistant steel
JPH0255774A (en) * 1988-08-23 1990-02-26 Idemitsu Kosan Co Ltd Mineral oil-based plasticizer for coating
JPH04317287A (en) * 1990-12-31 1992-11-09 American Teleph & Telegr Co <Att> Display system
JP2002094955A (en) * 2000-02-22 2002-03-29 Philips Japan Ltd Image display and pickup device
JP2002027419A (en) * 2000-07-05 2002-01-25 Hitachi Ltd Image terminal device and communication system using the same
JP2005328461A (en) * 2004-05-17 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Video conference apparatus and multi-point conference system

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010171573A (en) * 2009-01-21 2010-08-05 Epson Imaging Devices Corp Three-dimensional image display-imaging device, communication system, and display device
US8502756B2 (en) 2009-11-02 2013-08-06 Sony Corporation Image display device with imaging unit
US8847860B2 (en) 2009-11-02 2014-09-30 Sony Corporation Image display device with imaging unit
US20110181587A1 (en) * 2010-01-22 2011-07-28 Sony Corporation Image display device having imaging device
JP2011151652A (en) * 2010-01-22 2011-08-04 Sony Corp Image display apparatus with imaging device
JP2014081653A (en) * 2010-10-29 2014-05-08 Apple Inc Camera lens structures and display structures for electronic devices
KR101800669B1 (en) * 2011-09-07 2017-12-20 엘지디스플레이 주식회사 Liquid crystal display devece
JP2013061436A (en) * 2011-09-13 2013-04-04 Lenovo Singapore Pte Ltd Electronic device having liquid crystal shutter
US8514337B2 (en) 2011-10-03 2013-08-20 Kabushiki Kaisha Toshiba Electronic apparatus
US11029558B2 (en) 2016-11-07 2021-06-08 Kyocera Corporation Image display apparatus
JPWO2018083817A1 (en) * 2016-11-07 2019-09-19 京セラ株式会社 Image display device
WO2018083817A1 (en) * 2016-11-07 2018-05-11 京セラディスプレイ株式会社 Image display device
JP2018109686A (en) * 2016-12-28 2018-07-12 京セラ株式会社 Liquid crystal display device
CN107144995A (en) * 2017-05-17 2017-09-08 广东欧珀移动通信有限公司 Display screen, display device and mobile terminal
CN110557477A (en) * 2018-06-01 2019-12-10 Oppo广东移动通信有限公司 display screen assembly, electronic equipment and display control method
JP7166824B2 (en) 2018-07-20 2022-11-08 株式会社ジャパンディスプレイ Display device and electronic equipment incorporating the display device
CN112437898A (en) * 2018-07-20 2021-03-02 株式会社日本显示器 Display device and electronic apparatus incorporating the same
JP2020013068A (en) * 2018-07-20 2020-01-23 株式会社ジャパンディスプレイ Display device and electronic device incorporating the same
US11531225B2 (en) 2018-07-20 2022-12-20 Japan Display Inc. Display device and electronic equipment incorporating the display device
WO2020017153A1 (en) * 2018-07-20 2020-01-23 株式会社ジャパンディスプレイ Display device and electronic apparatus with display device incorporated therein
US11215862B2 (en) 2018-07-20 2022-01-04 Japan Display Inc. Display device and electronic equipment incorporating the display device
WO2020095607A1 (en) * 2018-11-09 2020-05-14 株式会社ジャパンディスプレイ Electronic apparatus
US11516375B2 (en) 2019-03-27 2022-11-29 Japan Display Inc. Display device
CN110428737A (en) * 2019-07-30 2019-11-08 Oppo广东移动通信有限公司 A kind of terminal device
CN110428737B (en) * 2019-07-30 2022-03-18 Oppo广东移动通信有限公司 Terminal equipment
JP2021043299A (en) * 2019-09-10 2021-03-18 株式会社ジャパンディスプレイ Display
US11209703B2 (en) 2019-09-10 2021-12-28 Japan Display Inc. Display device
JP7262348B2 (en) 2019-09-10 2023-04-21 株式会社ジャパンディスプレイ Display device
EP4044574A4 (en) * 2019-10-07 2022-11-09 Sony Semiconductor Solutions Corporation Electronic device
WO2021070867A1 (en) * 2019-10-07 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 Electronic device
US11917306B2 (en) 2019-10-07 2024-02-27 Sony Semiconductor Solutions Corporation Electronic device that corrects images captured on a side opposite a displaying surface

Also Published As

Publication number Publication date
JP4728793B2 (en) 2011-07-20

Similar Documents

Publication Publication Date Title
JP4728793B2 (en) Display device and control method thereof
JP4411059B2 (en) Display device with camera, communication device, and communication system
EP2225602B1 (en) Display device with capture capabilities
EP2692133B1 (en) Video conferencing display device
US8384754B2 (en) Method and system of providing lighting for videoconferencing
US20110279689A1 (en) Integrated Display Camera Using Oscillating Display Elements
JP2012503211A (en) Monitor with built-in camera and method for operating the same
WO2012013156A1 (en) Display screen and terminal device using same
US20110285861A1 (en) Integrated Display Camera Using A Pinhole Image Capturing Device
JP5942130B2 (en) Display device
US20150269779A1 (en) Head-Mounted Augumented Reality Display System
KR20150000293A (en) Mobile device
JP2020500431A (en) Camera photosensitive element, camera and photographing terminal
CN111505859A (en) Liquid crystal display screen, display method and terminal
JP2007295187A (en) Projector
EP3690533A1 (en) Liquid crystal display, display method and terminal
JP3122531B2 (en) Display / imaging device
JP2000298253A (en) Liquid crystal display device with image pickup function, computer, television telephone, and digital camera
US11184526B2 (en) Electronic apparatus and control method thereof
US20120019646A1 (en) Video display systems
JPH11122544A (en) Image pickup device
JP2016065929A (en) Electronic apparatus, video system and eyeglasses device
JP2005031480A (en) Imaging functional possession type display device
US11750910B2 (en) Display apparatus
CN210120604U (en) Terminal device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110415

R150 Certificate of patent or registration of utility model

Ref document number: 4728793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250