JP2002016896A - Display device and tv phone - Google Patents

Display device and tv phone

Info

Publication number
JP2002016896A
JP2002016896A JP2000199776A JP2000199776A JP2002016896A JP 2002016896 A JP2002016896 A JP 2002016896A JP 2000199776 A JP2000199776 A JP 2000199776A JP 2000199776 A JP2000199776 A JP 2000199776A JP 2002016896 A JP2002016896 A JP 2002016896A
Authority
JP
Japan
Prior art keywords
display device
terminal
communication terminal
image
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000199776A
Other languages
Japanese (ja)
Other versions
JP4509315B2 (en
Inventor
Jiyunichi Ujii
淳一 氏井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2000199776A priority Critical patent/JP4509315B2/en
Publication of JP2002016896A publication Critical patent/JP2002016896A/en
Application granted granted Critical
Publication of JP4509315B2 publication Critical patent/JP4509315B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a display device and a TV phone which can transmit the image of a talker captured by a camera along the natural line of sight of the camera to the talker on the other side. SOLUTION: A portable TV phone terminal 20 having a camera 11 is attached to the back of the display device 2 so that the center axis of the lens 11a of the camera 11 may become coincident with the horizontal or vertical center axis 2a of the device 2 and the lens 11a may be positioned on the outside of the peripheral edge section of the device 2. Consequently, the image of the talker can be made to coincide with the line of vision of the camera 11. The TV phone terminal 20 is electrically connected to the display device 2 and the image data received by means of the terminal 20 from the other side are displayed on the display 24 of the device 2. In addition, audio data are outputted from the loudspeaker 22 of the device 2. On the other hand, the voices of the talker are inputted from the microphone 23 of the device 2.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、携帯通信端末の表
示画面を拡大表示する表示装置及び、該表示装置に接続
可能な撮像機能を有する携帯テレビ電話端末とを接続し
てなるテレビ電話に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device for enlarging and displaying a display screen of a portable communication terminal, and a videophone connected to a portable videophone terminal having an imaging function connectable to the display device.

【0002】[0002]

【従来の技術】従来、携帯通信端末は、通話することを
主な使用目的として考えられていたが、近年では、デー
タレートの著しい増加に伴い、音声データだけでなく、
画像データも送受信できるようになっている。例えば、
携帯通信端末にカメラを設け、これにより通話中におけ
る自分の顔や、周囲の様子などを音声データとともに送
信したり、また通話相手からこのような画像データを受
信することができる携帯テレビ電話端末が提案されてい
る。
2. Description of the Related Art Conventionally, portable communication terminals have been considered to be used mainly for talking. However, in recent years, with a remarkable increase in data rates, not only voice data,
Image data can also be transmitted and received. For example,
A mobile communication terminal is provided with a camera, which enables a mobile videophone terminal to transmit its own face and surroundings along with voice data during a call, and to receive such image data from a call partner. Proposed.

【0003】しかしながら、上述したような携帯テレビ
電話端末は、携帯性を重要視しているため、表示用の液
晶パネルのサイズに制約があった。このため、液晶パネ
ルに映し出される画像は小さくならざるを得ないため、
お年寄りが使用する場合や、卓上で使用する場合等には
画像が見にくく使いづらいという弊害があった。これに
対し、該携帯テレビ電話端末を外部の表示装置に接続
し、携帯テレビ電話端末の表示画像を外部表示装置に表
示させることによって、上述したような画像の見づらさ
を解消することが提案されている。
However, in the portable videophone terminal described above, since portability is regarded as important, the size of a liquid crystal panel for display is limited. For this reason, the image projected on the liquid crystal panel must be small,
When used by an elderly person or when used on a desk, there is a problem that images are difficult to see and it is difficult to use. On the other hand, it has been proposed that the portable videophone terminal is connected to an external display device, and the display image of the portable videophone terminal is displayed on the external display device, thereby eliminating the above-mentioned difficulty in viewing the image. ing.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、外部表
示装置に画像を表示すると、通話者は外部表示装置に表
示されている通話相手の画像を見ながら話をするため、
携帯テレビ電話端末に設けられたカメラによって撮像さ
れる通話者の画像は、目線がずれた画像となり、大変不
自然な画像を相手通話者に送信することとなるという問
題が生じた。
However, when an image is displayed on the external display device, the caller talks while viewing the image of the other party displayed on the external display device.
The image of the caller picked up by the camera provided in the mobile videophone terminal is an image whose eyes are deviated, and a very unnatural image is transmitted to the other caller.

【0005】本発明はこのような事情に鑑みてなされた
もので、その目的とするところは、カメラ目線の自然な
通話者の画像を相手通話者に送信することができる表示
装置及びテレビ電話を提供することである。
[0005] The present invention has been made in view of such circumstances, and an object of the present invention is to provide a display device and a videophone capable of transmitting a natural caller's image of a camera to a caller. To provide.

【0006】[0006]

【課題を解決するための手段】上記目的を達成するため
に、本発明は、カメラを備えた携帯通信端末に着脱可能
であり、前記携帯通信端末が他の通信機から受信した画
像データを表示する表示装置であって、前記携帯通信端
末から前記画像データが入力される画像データ入力端子
と、前記画像データ入力端子を介して入力された画像を
表示する表示画面と、前記携帯通信端末が有するカメラ
のレンズの中心軸を、前記表示画面の水平方向または垂
直方向における中心軸に一致させ、且つ前記レンズが当
該表示装置の周縁部より外側に位置するよう、前記携帯
通信端末を当該表示装置の背面に装着させる装着部材と
を具備することを特徴とする。
In order to achieve the above object, the present invention is detachable from a portable communication terminal equipped with a camera, and the portable communication terminal displays image data received from another communication device. An image data input terminal to which the image data is input from the mobile communication terminal; a display screen for displaying an image input through the image data input terminal; The mobile communication terminal is mounted on the display device such that the center axis of the lens of the camera is aligned with the center axis in the horizontal direction or the vertical direction of the display screen, and the lens is located outside the periphery of the display device. And a mounting member to be mounted on the back surface.

【0007】上記構成によれば、カメラを有する携帯通
信端末は当該表示装置の背面に取り付けられ、また、そ
のカメラは、カメラのレンズの中心軸が、当該表示装置
の水平方向または垂直方向における中心軸に一致するよ
うに、且つ前記レンズが当該表示装置の周縁部より外側
に位置するように配置されているので、通話者が当該表
示装置の表示画面を見ながら通話をしていたとしても、
撮像される通話者の画像は略カメラ目線とすることがで
きる。
According to the above configuration, the portable communication terminal having the camera is attached to the back of the display device, and the camera has a camera whose center axis is aligned with the center of the display device in the horizontal or vertical direction. Since it is arranged so as to coincide with the axis and the lens is located outside the peripheral portion of the display device, even if the caller is talking while looking at the display screen of the display device,
The captured image of the caller may be approximately looking at the camera.

【0008】また、上記構成の表示装置において、前記
装着部材は、前記携帯通信端末の前記レンズの下縁部を
表示装置の上縁下面に近接して配置することを特徴とす
る。上記構成によれば、カメラのレンズをより通話者の
目線に近い場所に設置するので、このカメラによって撮
像される通話者の画像は、よりカメラ目線の画像とする
ことができる。
Further, in the display device having the above-mentioned structure, the mounting member is arranged such that a lower edge portion of the lens of the portable communication terminal is close to a lower surface of an upper edge of the display device. According to the above configuration, the lens of the camera is placed closer to the caller's line of sight, so that the image of the caller captured by the camera can be an image of the camera's line of sight.

【0009】また、上記構成の表示装置は、電源端子を
更に有し、前記携帯通信端末が接続された状態で、前記
携帯通信端末へ電源の供給を可能とすることを特徴とす
る。上記構成によれば、当該表示装置と携帯通信端末と
を接続する接続端子(実施形態では、ジャック端子12
及びプラグ端子21)に、上述の画像データ出力端子に
加え、電源端子を設けるので、この電源端子から携帯通
信端末は電源を得ることができる。
Further, the display device having the above configuration further includes a power supply terminal, and is capable of supplying power to the portable communication terminal in a state where the portable communication terminal is connected. According to the above configuration, the connection terminal (in the embodiment, the jack terminal 12) for connecting the display device and the portable communication terminal.
And the plug terminal 21) is provided with a power terminal in addition to the image data output terminal described above, so that the portable communication terminal can obtain power from this power terminal.

【0010】また、上記構成の表示装置は、スピーカ
と、マイクロフォンと、前記携帯通信端末と音声データ
の送受を行う音声データ入出力端子とを有し、前記マイ
クロフォンから出力された音声データは前記音声データ
入出力端子を介して前記携帯通信端末へ出力され、ま
た、前記音声データ入出力端子を介して入力された音声
データは前記スピーカによって放音されることを特徴と
する。上記構成によれば、画像データだけでなく音声デ
ータをも携帯通信端末と表示装置間で送受信可能とする
ことができ、これにより、他の通信機器から当該携帯通
信端末が受信した音声データを表示装置に設けられてい
る比較的大きなスピーカによって放音することができる
ので、音声が聞きやすくなる。また、マイクも表示装置
に設けられている感度の比較的良いものを使用できるの
で、大きな声を発しなくてもよい。
[0010] The display device having the above configuration has a speaker, a microphone, and an audio data input / output terminal for transmitting and receiving audio data to and from the portable communication terminal. The audio data output from the microphone is the audio data. The audio data output to the portable communication terminal via a data input / output terminal and the audio data input via the audio data input / output terminal are emitted by the speaker. According to the above configuration, it is possible to transmit and receive not only image data but also audio data between the mobile communication terminal and the display device, thereby displaying audio data received by the mobile communication terminal from another communication device. Since the sound can be emitted by a relatively large speaker provided in the device, the sound can be easily heard. In addition, since a microphone having relatively good sensitivity provided in the display device can be used as the microphone, it is not necessary to produce a loud voice.

【0011】請求項1〜請求項4のいずれかの項に記載
の表示装置と、カメラと画像通信機能を有し、前記表示
装置に接続可能な携帯通信端末とを接続してなるテレビ
電話。上記携帯通信端末は、カメラと画像通信機能を有
する所謂テレビ電話機能を有する携帯テレビ電話端末で
あり、この携帯テレビ電話端末を本発明の表示装置に脱
着可能とすることにより、そのときの状況に応じて、当
該表示装置に拡大表示させた相手の画像を見ながら通話
したり、あるいは、携帯通信端末を携帯しながら携帯通
信端末に付加されているディスプレイに表示される相手
の様子を確認しながら通話することができる。
A videophone comprising the display device according to any one of claims 1 to 4 connected to a camera and a portable communication terminal having an image communication function and connectable to the display device. The mobile communication terminal is a mobile videophone terminal having a so-called videophone function having a camera and an image communication function. By making this mobile videophone terminal detachable from the display device of the present invention, the situation at that time can be improved. In response, the user talks while viewing the image of the other party enlarged and displayed on the display device, or checks the state of the other party displayed on the display attached to the mobile communication terminal while carrying the mobile communication terminal. You can talk.

【0012】また、上記テレビ電話において、前記携帯
通信端末は、当該携帯通信端末と前記表示装置との接続
状況を検出し、前記検出結果に応じた検出信号を出力す
る検出手段と、前記検出手段から出力された検出信号が
入力され、該検出信号に基づいて音声データと前記画像
データの出力先を前記携帯テレビ電話端末の各部または
前記表示装置の各部のいずれかに切り替える切替手段と
を有することを特徴とする。
[0012] In the videophone, the portable communication terminal detects a connection state between the portable communication terminal and the display device, and outputs a detection signal corresponding to the detection result; Switching means for receiving a detection signal output from the device and switching output destinations of audio data and the image data to any of the units of the portable videophone terminal or each of the units of the display device based on the detection signal. It is characterized by.

【0013】上記構成によれば、携帯通信端末が外部の
表示装置に接続されているか否かを検出し、この接続状
況に応じて、スピーカ、マイク、ディスプレイを切り替
えるので、通話者はこれらの切り替えを手動で行う必要
がない。したがって、携帯通信端末を表示装置の背面に
設けられている装着部材に挿入するだけで、表示装置の
表示画面に画像を表示させることができ、また、携帯通
信端末を取り出した場合には、設定変更を行わずに携帯
通信端末として使用することができる。
According to the above configuration, it is detected whether or not the portable communication terminal is connected to the external display device, and the speaker, the microphone, and the display are switched according to the connection status. Need not be done manually. Therefore, the image can be displayed on the display screen of the display device only by inserting the mobile communication terminal into the mounting member provided on the back surface of the display device. It can be used as a mobile communication terminal without making any changes.

【0014】[0014]

【発明の実施の形態】以下、図面を参照し、本発明の一
実施形態について説明する。図1に、本発明の一実施形
態によるテレビ電話の外観図を示す。この図に示すよう
に、本実施形態によるテレビ電話は、携帯テレビ通信端
末20と携帯テレビ通信端末20によって受信された画
像を拡大表示するための表示装置2とから構成されてい
る。ここで、まず本発明のテレビ電話の構成要素である
携帯テレビ通信端末20について、その構成と動作とを
図を参照して説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows an external view of a videophone according to an embodiment of the present invention. As shown in the figure, the videophone according to the present embodiment includes a mobile TV communication terminal 20 and a display device 2 for enlarging and displaying an image received by the mobile TV communication terminal 20. Here, the configuration and operation of the portable TV communication terminal 20 which is a component of the videophone of the present invention will be described with reference to the drawings.

【0015】まず始めに本実施形態における携帯テレビ
通信端末20の斜視図を図3に示す。この図に示すよう
に、携帯テレビ電話端末20は、その端末本体の正面
に、液晶板からなるディスプレイ(画像表示手段)30
を備えている。このディスプレイ30には、電話番号、
電界ピクトなど携帯電話装置における通信機能情報及び
画像情報の両方あるいはいずれか一方が表示されるよう
になっている。
First, a perspective view of the portable television communication terminal 20 according to the present embodiment is shown in FIG. As shown in this figure, a portable videophone terminal 20 has a display (image display means) 30 made of a liquid crystal plate on the front of the terminal body.
It has. This display 30 has a telephone number,
Both or one of the communication function information and the image information in the mobile phone device such as the electric field pictogram are displayed.

【0016】端末本体には、その上部における正面側
に、カメラ11が設けられており、このカメラ11によ
って画像が撮影されるようになっている。また、ディス
プレイ30の下方側には、操作用の複数のキー14が設
けられており、これらキー14を押下することにより、
各種の操作を行うことができるようになっている。
The terminal body is provided with a camera 11 on an upper front side thereof, and an image is taken by the camera 11. Further, a plurality of operation keys 14 are provided below the display 30, and when these keys 14 are pressed,
Various operations can be performed.

【0017】例えば、キー14a、14bはフックスイ
ッチであり、キー14aを押下するとオフフックされ、
キー14bを押下するとオンフックされる。
For example, the keys 14a and 14b are hook switches.
When the key 14b is pressed, the user goes on-hook.

【0018】端末本体には、その上部におけるカメラ1
1の側部にスピーカ31が設けられ、下方には、マイク
32が設けられており、マイク32によって音声入力が
行われ、スピーカ31から相手方の音声、着信音、アラ
ーム等が発せられるようになっている。また、端末本体
の上端には、伸縮可能なアンテナ13が設けられてお
り、図3には図示されぬ内蔵の無線部が、アンテナ13
を介して画像データ及び音声データの通信を行うように
なっている。また、端末本体の下端には、外部の表示機
器と音声データ及び画像データを外部機器と通信するた
めのジャック端子12が設けられている。
The terminal body has a camera 1 at its upper part.
A speaker 31 is provided on the side of the speaker 1 and a microphone 32 is provided below the speaker 31. Voice input is performed by the microphone 32, and the other party's voice, ringtone, alarm, and the like are emitted from the speaker 31. ing. An extendable antenna 13 is provided at the upper end of the terminal body, and a built-in wireless unit (not shown in FIG.
The communication of image data and audio data is performed via the. Further, a jack terminal 12 for communicating an external display device and audio data and image data with the external device is provided at a lower end of the terminal body.

【0019】次に、本発明の一実施形態におけるテレビ
電話について説明する。図1は本実施形態におけるテレ
ビ電話の斜視図であり、図2は本実施形態におけるテレ
ビ電話の断面図を示している。そして、図から分かるよ
うに本実施形態におけるテレビ電話は、上記携帯テレビ
電話端末20を表示装置2に収納した構成となってい
る。
Next, a videophone according to an embodiment of the present invention will be described. FIG. 1 is a perspective view of the videophone according to the embodiment, and FIG. 2 is a cross-sectional view of the videophone according to the embodiment. As can be seen from the figure, the videophone in the present embodiment has a configuration in which the portable videophone terminal 20 is housed in the display device 2.

【0020】図1に示すように、表示装置2の本体表面
には、携帯テレビ電話端末20から送出される画像デー
タを拡大表示する液晶ディスプレイ24(以下、ディス
プレイと略称する)、携帯テレビ電話端末20から送出
される音声データを放音するスピーカ22が表示装置本
体の左右下方に、また、使用者の音声を受け取るマイク
23が表示装置表面の上方に設けられている。そして、
表示装置の下端にはディスプレイ24の中心軸2aの軸
線に沿うように表示装置本体を支えるためのスタンド3
5が設けられている。
As shown in FIG. 1, a liquid crystal display 24 (hereinafter abbreviated as a display) for enlarging and displaying image data transmitted from the portable videophone terminal 20 is provided on the surface of the main body of the display device 2. A speaker 22 that emits audio data transmitted from the speaker 20 is provided below the left and right sides of the display device main body, and a microphone 23 that receives a user's voice is provided above the display device surface. And
At the lower end of the display device, a stand 3 for supporting the display device main body along the axis of the central axis 2a of the display 24.
5 are provided.

【0021】また、図2に示すように、表示装置2の背
面には本装置を動作させるための電源を得るプラグ80
及び携帯テレビ電話端末20を収納するための収納部2
6が設けられている。収納部26は、携帯テレビ電話端
末20のレンズ11a(図1参照)が表示装置2の上端
面2cよりも上側に設けられ、且つこのレンズ11aの
下端がなるべく携帯テレビ電話端末対応表示装置50の
上端面2cに近接するように携帯テレビ電話端末20を
収納する構造となっている。更に、収納部26は、携帯
テレビ電話端末20のレンズ11aの中心軸11bと表
示装置2の中心軸2aとが一致するように携帯テレビ電
話端20を収納する構造となっている。
As shown in FIG. 2, a plug 80 for obtaining a power supply for operating the present device is provided on the back of the display device 2.
And storage section 2 for storing portable videophone terminal 20
6 are provided. The storage unit 26 is provided with the lens 11a (see FIG. 1) of the portable videophone terminal 20 provided above the upper end surface 2c of the display device 2, and the lower end of the lens 11a of the portable videophone terminal compatible display device 50 as much as possible. The portable videophone terminal 20 is housed so as to be close to the upper end face 2c. Further, the storage section 26 is configured to store the mobile videophone end 20 such that the central axis 11b of the lens 11a of the mobile videophone terminal 20 and the central axis 2a of the display device 2 match.

【0022】また、図2に示すように収納部26の基底
上面には、携帯テレビ電話端末20のジャック端子12
と接続可能なプラグ端子21が設けられており、このジ
ャック端子12とプラグ端子21が接続することによ
り、携帯テレビ電話端末20と表示装置2は電気的に接
続され、データの送受信等を行うことが可能となる。具
体的には、ジャック端子12及びプラグ端子21は、各
々電源端子部、グランド端子部、音声データ端子部、画
像データ端子部、クロックデータ端子部からなる5つの
接点を有し、これらの接点がそれぞれ互いに接続するこ
とにより、双方向でのデータ通信が可能となるのに加
え、携帯テレビ電話端末20は表示装置2から電源の供
給を受けることができる。これにより、携帯テレビ電話
端末20の非動作時には、この表示装置2を充電器のご
とく使用することも可能となる。
As shown in FIG. 2, the jack terminal 12 of the portable videophone terminal 20 is
The portable videophone terminal 20 and the display device 2 are electrically connected by connecting the jack terminal 12 and the plug terminal 21 to perform transmission and reception of data. Becomes possible. Specifically, each of the jack terminal 12 and the plug terminal 21 has five contacts including a power supply terminal portion, a ground terminal portion, an audio data terminal portion, an image data terminal portion, and a clock data terminal portion. By connecting each other, bidirectional data communication becomes possible, and in addition, the portable videophone terminal 20 can receive power supply from the display device 2. Thus, when the portable videophone terminal 20 is not operating, the display device 2 can be used like a charger.

【0023】次に、図4を用いて、本実施形態にかかる
テレビ電話の内部構成、機能および動作について説明す
る。図4は、本実施形態におけるテレビ電話の内部構成
を示すブロック図である。同図において、符号73は端
末全体を制御するCPUであり、符号74は種々のデー
タを記憶しておくためのメモリである。このメモリ74
には、制御プログラムの他、自動応答通話を許可した相
手方を特定するための情報(以下、暗証番号という。)
や外部入力された画像データ等が記憶されている。
Next, the internal configuration, functions and operations of the videophone according to this embodiment will be described with reference to FIG. FIG. 4 is a block diagram illustrating the internal configuration of the videophone according to the present embodiment. In the figure, reference numeral 73 denotes a CPU for controlling the entire terminal, and reference numeral 74 denotes a memory for storing various data. This memory 74
In addition to the control program, information for specifying the other party to whom the automatic answering call is permitted (hereinafter, referred to as a password).
And image data input from the outside.

【0024】まず、携帯テレビ電話端末20が表示装置
2に電気的に接続されていない場合(通常表示モード)
における、外部とのデータ通信、即ち、音声データ及び
画像データの送受信について説明する。この場合、携帯
テレビ電話端末20のジャック端子12と表示装置2の
プラグ端子21は接続されていないので、接続検出部6
6は信号切替部67、68a及び68bに、”L(ロ
ー)”の検出信号Sgを出力する。これにより、信号切
替部67、68a及び68bは、図4中実線で示す接続
先を選択する。即ち、信号切替部67は接続先を液晶ド
ライバ69に、信号切替部68aは接続先をA/D変換
部70に、信号切替部68bは接続先をD/A変換部7
1とする。
First, when the portable videophone terminal 20 is not electrically connected to the display device 2 (normal display mode)
, Data communication with the outside, that is, transmission and reception of audio data and image data will be described. In this case, since the jack terminal 12 of the portable videophone terminal 20 and the plug terminal 21 of the display device 2 are not connected, the connection detecting unit 6
Reference numeral 6 outputs an "L (low)" detection signal Sg to the signal switching units 67, 68a, and 68b. As a result, the signal switching units 67, 68a, and 68b select a connection destination indicated by a solid line in FIG. That is, the signal switching unit 67 sets the connection destination to the liquid crystal driver 69, the signal switching unit 68a sets the connection destination to the A / D conversion unit 70, and the signal switching unit 68b sets the connection destination to the D / A conversion unit 7.
Let it be 1.

【0025】《通常表示モード》 〈送信〉まず、通常表示モードにおいて外部に対し、画
像データと音声データとを送信する場合について説明す
る。なお、以下の説明は、外部との接続が完了した後の
動作である。
<< Normal Display Mode >><Transmission> First, a case where image data and audio data are transmitted to the outside in the normal display mode will be described. The following description is an operation after the connection with the outside is completed.

【0026】まず、カメラ11で撮像された画像は、画
像コーデック63で符号化され、多重化/分離回路64
へ送られる。他方、マイク32で入力された音声は、A
/D(アナログ/ディジタル)変換部70においてディ
ジタル信号へ変換された後、信号切替部68aを介して
音声コーデック65へ送られ、そこで符号化されて多重
化/分離回路64へ送られる。
First, an image picked up by the camera 11 is encoded by an image codec 63,
Sent to On the other hand, the voice input by the microphone 32 is A
After being converted into a digital signal by the / D (analog / digital) conversion section 70, the signal is transmitted to the audio codec 65 via the signal switching section 68a, where it is encoded and transmitted to the multiplexing / demultiplexing circuit 64.

【0027】多重化/分離回路64では、画像コーデッ
ク63からの画像データと音声コーデック65からの音
声データとが多重化される。そして、これら画像データ
と音声データとが多重化されてなる多重化データは、時
分割多重回路62へ送られ、無線部61を介してアンテ
ナ13から送信される。
The multiplexing / demultiplexing circuit 64 multiplexes the image data from the image codec 63 and the audio data from the audio codec 65. The multiplexed data obtained by multiplexing the image data and the audio data is transmitted to the time division multiplexing circuit 62 and transmitted from the antenna 13 via the radio unit 61.

【0028】〈受信〉次に、携帯テレビ電話端末20が
多重化データをアンテナ13で受信した場合について説
明する。アンテナ13で受信された多重化データは、無
線部61及び時分割多重回路62を介して多重化/分離
回路64へ送られ、そこで画像データと音声データとに
分離される。
<Reception> Next, a case where the portable videophone terminal 20 receives multiplexed data via the antenna 13 will be described. The multiplexed data received by the antenna 13 is sent to a multiplexing / demultiplexing circuit 64 via a radio unit 61 and a time division multiplexing circuit 62, where it is separated into image data and audio data.

【0029】分離された画像データは、画像コーデック
63で復号化され、信号切替部67を介して液晶ドライ
バ69へ出力される。液晶ドライバ69はこの画像デー
タに基づいて駆動することにより、ディスプレイ30に
画像を表示する。一方、分離された音声データは、音声
コーデック65で復号化され、信号切替部68bを介し
てD/A変換部71へ送出され、ここでアナログ信号へ
変換される。スピーカー31はこのアナログ信号に基づ
いて放音する。
The separated image data is decoded by the image codec 63 and output to the liquid crystal driver 69 via the signal switching section 67. The liquid crystal driver 69 displays an image on the display 30 by driving based on the image data. On the other hand, the separated audio data is decoded by the audio codec 65, sent to the D / A conversion unit 71 via the signal switching unit 68b, and converted into an analog signal. The speaker 31 emits sound based on this analog signal.

【0030】次に、携帯テレビ電話端末20が表示装置
2の収納部26に収納され、ジャック端子12とプラグ
端子21とが接続することによって、双方が電気的に接
続された場合(拡大表示モード)における外部とのデー
タ通信について説明する。この場合、携帯テレビ電話端
末20内の接続検出部66は、ジャック端子12とプラ
グ端子21の接続を検出し、信号切替部67、68a及
び68bに、”H(ハイ)”の検出信号Sgを出力す
る。これにより、信号切替部67、68a及び68b
は、点線で示す接続先を選択する。即ち、信号切替部6
7は、画像データの出力先を液晶ドライバ69からI/
F部72へと切り替える。また、信号切替部68は、接
続先をA/D変換部70からI/F部72へ切り替え
る。更に、信号切替部68bは接続先をD/A変換部7
1からI/F部72へ切り替える。
Next, when the portable videophone terminal 20 is stored in the storage section 26 of the display device 2 and the jack terminal 12 and the plug terminal 21 are connected to each other to electrically connect them (enlarged display mode). ) Will be described. In this case, the connection detection unit 66 in the portable videophone terminal 20 detects the connection between the jack terminal 12 and the plug terminal 21 and sends the "H (high)" detection signal Sg to the signal switching units 67, 68a, and 68b. Output. Thereby, the signal switching units 67, 68a and 68b
Selects the connection destination indicated by the dotted line. That is, the signal switching unit 6
Reference numeral 7 denotes an output destination of the image data from the liquid crystal driver
Switch to F section 72. The signal switching unit 68 switches the connection destination from the A / D conversion unit 70 to the I / F unit 72. Further, the signal switching unit 68b sets the connection destination to the D / A conversion unit 7
1 to the I / F unit 72.

【0031】《拡大表示モード》 〈送信〉まず、拡大表示モードにおいて外部に対し、画
像データと音声データとを送信する場合について説明す
る。なお、以下の説明は、外部との接続が完了した後の
動作である。
<< Enlarged Display Mode >><Transmission> First, a case where image data and audio data are transmitted to the outside in the enlarged display mode will be described. The following description is an operation after the connection with the outside is completed.

【0032】まず、カメラ11で撮像された画像は、画
像コーデック63で符号化され、多重化/分離回路64
へ送られる。他方、表示装置2のマイク23で入力され
た音声は、A/D変換部52においてディジタル信号へ
変換された後、I/F部51、プラグ端子21、ジャッ
ク端子12、I/F部72及び信号切替部68aを介し
て音声コーデック65へ送出される。そして、入力され
た音声データは、ここで符号化され、多重化/分離回路
64へ送られる。
First, an image picked up by the camera 11 is encoded by an image codec 63, and a multiplexing / demultiplexing circuit 64 is provided.
Sent to On the other hand, the sound input by the microphone 23 of the display device 2 is converted into a digital signal by the A / D conversion unit 52, and then the I / F unit 51, the plug terminal 21, the jack terminal 12, the I / F unit 72, The signal is transmitted to the audio codec 65 via the signal switching unit 68a. The input audio data is encoded here and sent to the multiplexing / demultiplexing circuit 64.

【0033】多重化/分離回路64では、画像コーデッ
ク63からの画像データと音声コーデック65からの音
声データとが多重化される。そして、これら画像データ
と音声データとが多重化されてなる多重化データは、時
分割多重回路62へ送られ、無線部61を介してアンテ
ナ13から送信される。
The multiplexing / demultiplexing circuit 64 multiplexes the image data from the image codec 63 and the audio data from the audio codec 65. The multiplexed data obtained by multiplexing the image data and the audio data is transmitted to the time division multiplexing circuit 62 and transmitted from the antenna 13 via the radio unit 61.

【0034】〈受信〉次に、携帯テレビ電話端末20が
多重化データをアンテナ13で受信した場合について説
明する。アンテナ13で受信された多重化データは、無
線部61及び時分割多重回路62を介して多重化/分離
回路64へ送られ、そこで画像データと音声データとに
分離される。
<Reception> Next, a case where the portable videophone terminal 20 receives multiplexed data via the antenna 13 will be described. The multiplexed data received by the antenna 13 is sent to a multiplexing / demultiplexing circuit 64 via a radio unit 61 and a time division multiplexing circuit 62, where it is separated into image data and audio data.

【0035】分離された画像データは、画像コーデック
63で復号化され、信号切替部67を介してI/F部7
2へ出力され、ジャック端子12、プラグ端子21、I
/F部51を介して表示装置2内の液晶ドライバ53へ
出力される。液晶ドライバ53は、入力された画像デー
タに基づいて駆動することにより、ディスプレイ24に
画像を表示する。一方、分離された音声データは、音声
コーデック65で復号化され、信号切替部68bを介し
てI/F部72へ出力され、更にジャック端子12、プ
ラグ端子21、I/F部51を介して表示装置2内のD
/A変換部54へ送出される。D/A変換部54は入力
されたディジタルデータである音声データをアナログ信
号に変換し、スピーカ22はこのアナログ信号に基づい
て放音する。
The separated image data is decoded by the image codec 63, and is sent to the I / F unit 7 via the signal switching unit 67.
2, the jack terminal 12, the plug terminal 21, I
It is output to the liquid crystal driver 53 in the display device 2 via the / F unit 51. The liquid crystal driver 53 displays an image on the display 24 by driving based on the input image data. On the other hand, the separated audio data is decoded by the audio codec 65, output to the I / F unit 72 via the signal switching unit 68b, and further via the jack terminal 12, the plug terminal 21, and the I / F unit 51. D in the display device 2
/ A conversion unit 54. The D / A converter 54 converts the input digital audio data into an analog signal, and the speaker 22 emits sound based on the analog signal.

【0036】これにより、携帯テレビ電話端末20が受
信した音声データは、表示装置2のスピーカ22から放
音され、同じく画像データは表示装置2のディスプレイ
24に表示されるので、使用者は、表示装置2の大きな
ディスプレイで受信した画像を見ることができるととも
に、受信した音声も大きな音で聞くことができる。ま
た、携帯テレビ電話端末20のカメラ11のレンズ11
aが、通話者をカメラ目線で撮影できる位置に設けられ
ていることにより、自然な通話者の画像を撮像して、相
手に送信することが可能となる。
As a result, the audio data received by the portable videophone terminal 20 is emitted from the speaker 22 of the display device 2 and the image data is displayed on the display 24 of the display device 2. The received image can be viewed on the large display of the device 2 and the received sound can be heard with a loud sound. Also, the lens 11 of the camera 11 of the portable videophone terminal 20
Since a is provided at a position where the caller can be photographed by looking at the camera, it is possible to capture a natural caller's image and transmit it to the other party.

【0037】なお、本実施形態における携帯テレビ電話
端末20に、通話モードを音声のみの音声モード、画像
のみの画像モード、及び画像&音声によるVPモードの
いずれかに切り換えることができるキーを設けることに
より、上記通話モードを使用状況に応じて切り替えるよ
うにしても良い。また、以上述べた実施の形態は本発明
を説明するための一例であり、本発明は、上記の実施の
形態に限定されるものではなく、発明の要旨の範囲で種
々の変形が可能である。
It is to be noted that the portable videophone terminal 20 in the present embodiment is provided with a key capable of switching the call mode to any one of a voice-only voice mode, an image-only image mode, and an image & voice VP mode. Thus, the call mode may be switched according to the use situation. The embodiments described above are merely examples for describing the present invention, and the present invention is not limited to the above embodiments, and various modifications are possible within the scope of the invention. .

【0038】[0038]

【発明の効果】以上説明したように、本発明の表示装置
によれば、カメラを有する携帯通信端末は当該表示装置
の背面に取り付けられ、また、そのカメラは、カメラの
レンズの中心軸が、当該表示装置の水平方向または垂直
方向における中心軸に一致するように、且つ前記レンズ
が当該表示装置の周縁部より外側に位置するように配置
されているので、通話者が当該表示装置の表示画面を見
ながら通話をしていたとしても、撮像される通話者の画
像は略カメラ目線とすることができるので、自然な通話
者の画像を通話相手に送信することができ、あたかも実
際に対向して会話をしているような感覚を提供すること
ができるという効果を奏する。
As described above, according to the display device of the present invention, the portable communication terminal having the camera is attached to the back of the display device. Since the lens is disposed so as to coincide with the central axis in the horizontal or vertical direction of the display device and the lens is located outside the peripheral portion of the display device, the caller can display the display screen of the display device. Even if you are talking while watching the call, the image of the caller can be taken almost from the camera, so you can send a natural caller's image to the caller, as if you were actually facing This has the effect of providing a feeling of having a conversation.

【0039】また、上記表示装置において、カメラのレ
ンズをより通話者の目線に近い場所に設置するので、こ
のカメラによって撮像される通話者の画像は、よりカメ
ラ目線の画像とすることができ、通話者はより自然に通
話を楽しむことが可能となるという効果を奏する。
Further, in the above display device, since the lens of the camera is set closer to the line of sight of the caller, the image of the caller captured by the camera can be an image of the line of sight of the camera. There is an effect that the caller can enjoy the call more naturally.

【0040】また、上記表示装置においては、電源端子
を更に設け、前記携帯通信端末が接続された状態で、前
記携帯通信端末へ電源の供給を可能としたので、携帯通
信端末は当該表示装置を充電器としても使用することが
できるという効果が得られる。
In the above display device, a power supply terminal is further provided, and power can be supplied to the portable communication terminal in a state where the portable communication terminal is connected. The effect that it can be used also as a charger is obtained.

【0041】また、画像データだけでなく音声データを
も携帯通信端末と表示装置間で送受信可能とすることに
より、他の通信機器から当該携帯通信端末が受信した音
声データを表示装置に設けられている比較的大きなスピ
ーカによって放音することができるので、通話者が少々
離れた場所に座って通話を行っていたとしても、相手の
発音を正確に聞き取ることができるという効果をもたら
す。また、マイクについても、表示装置に設けられてい
る比較的感度の良いものを使用できるので、通話者は大
きな声を発する必要がなく、自然に会話を楽しむことが
できるという効果を奏する。
In addition, not only image data but also audio data can be transmitted and received between the portable communication terminal and the display device, so that audio data received by the portable communication terminal from another communication device is provided on the display device. Since the sound can be emitted by a relatively large speaker, even if the caller is sitting a little away and talking, the sound of the other party can be accurately heard. In addition, since a microphone having relatively high sensitivity provided in the display device can be used as the microphone, there is an effect that the caller does not need to utter a loud voice and can enjoy conversation naturally.

【0042】また、本発明のテレビ電話によれば、携帯
テレビ電話端末を上記表示装置に脱着可能とすることに
より、そのときの状況に応じて、当該表示装置に拡大表
示させた相手の画像を見ながら通話したり、あるいは、
携帯通信端末を携帯しながら携帯通信端末に付加されて
いるディスプレイに表示される相手の様子を確認しなが
ら通話することができるので、利便性に富んだテレビ電
話を提供することが可能となる。
Further, according to the videophone of the present invention, the portable videophone terminal can be detachably attached to the display device, so that the image of the other party enlarged and displayed on the display device can be displayed according to the situation at that time. Call while watching, or
Since the user can talk while checking the state of the other party displayed on the display attached to the mobile communication terminal while carrying the mobile communication terminal, a highly convenient videophone can be provided.

【0043】また、上記テレビ電話において、携帯通信
端末が外部の表示装置に接続されているか否かを検出
し、この接続状況に応じて、スピーカ、マイク、ディス
プレイを切り替えるので、通話者はこれらの切り替えを
手動で行う必要がない。したがって、携帯通信端末を表
示装置の背面に設けられている装着部材に挿入するだけ
で、表示装置の表示画面に画像を表示させることがで
き、また、携帯通信端末を取り出した場合には、設定変
更を行わずに携帯通信端末として使用することができ、
使用者の手を煩わせることなく、だれでも簡単に操作す
ることができるという利点が得られる。
Further, in the videophone, it is detected whether or not the portable communication terminal is connected to an external display device, and the speaker, the microphone, and the display are switched according to the connection status. No need to switch manually. Therefore, the image can be displayed on the display screen of the display device only by inserting the mobile communication terminal into the mounting member provided on the back surface of the display device. You can use it as a mobile device without making any changes,
An advantage is obtained that any user can easily operate without troublesome operation of the user.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 この発明の一実施形態によるテレビ電話の斜
視図である。
FIG. 1 is a perspective view of a videophone according to an embodiment of the present invention.

【図2】 同実施形態におけるテレビ電話の断面図であ
る。
FIG. 2 is a sectional view of the videophone according to the embodiment.

【図3】 同実施形態における携帯テレビ電話端末の斜
視図である。
FIG. 3 is a perspective view of the mobile videophone terminal in the embodiment.

【図4】 同実施形態におけるテレビ電話の内部構成を
示すブロック図である。
FIG. 4 is a block diagram showing an internal configuration of the videophone in the embodiment.

【符号の説明】[Explanation of symbols]

2 表示装置 2a 表示装置の中心軸 11 カメラ 11a レンズ 11b レンズの中心軸 12 ジャック端子 20 携帯テレビ電話端末 21 プラグ端子 22、31 スピーカ 23、32 マイク 24、30 ディスプレイ 26 収納部(装着部材) Reference Signs List 2 display device 2a central axis of display device 11 camera 11a lens 11b central axis of lens 12 jack terminal 20 portable videophone terminal 21 plug terminal 22, 31 speaker 23, 32 microphone 24, 30 display 26 storage unit (mounting member)

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 カメラを備えた携帯通信端末に着脱可能
であり、前記携帯通信端末が他の通信機から受信した画
像データを表示する表示装置であって、 前記携帯通信端末から前記画像データが入力される画像
データ入力端子と、 前記画像データ入力端子を介して入力された画像を表示
する表示画面と、 前記携帯通信端末が有するカメラのレンズの中心軸を、
前記表示画面の水平方向または垂直方向における中心軸
に一致させ、且つ前記レンズが当該表示装置の周縁部よ
り外側に位置するよう、前記携帯通信端末を当該表示装
置の背面に装着させる装着部材と、 を具備することを特徴とする表示装置。
1. A display device that is detachably attached to a portable communication terminal equipped with a camera and displays image data received by the portable communication terminal from another communication device, wherein the image data is transmitted from the portable communication terminal. An image data input terminal to be input, a display screen for displaying an image input through the image data input terminal, and a center axis of a camera lens of the mobile communication terminal,
A mounting member for mounting the portable communication terminal on the back surface of the display device so that the display screen is aligned with a central axis in a horizontal direction or a vertical direction, and the lens is located outside a peripheral portion of the display device. A display device comprising:
【請求項2】 前記装着部材は、前記携帯通信端末の前
記レンズの下縁部を表示装置の上縁下面に近接して配置
することを特徴とする請求項1に記載の表示装置。
2. The display device according to claim 1, wherein the mounting member arranges a lower edge portion of the lens of the portable communication terminal close to a lower surface of an upper edge of the display device.
【請求項3】 電源端子を更に有し、前記携帯通信端末
が接続された状態で、前記携帯通信端末へ電源の供給を
可能とすることを特徴とする請求項1または請求項2に
記載の表示装置。
3. The mobile communication terminal according to claim 1, further comprising a power supply terminal, wherein power can be supplied to the mobile communication terminal in a state where the mobile communication terminal is connected. Display device.
【請求項4】 スピーカと、 マイクロフォンと、 前記携帯通信端末と音声データの送受を行う音声データ
入出力端子と、 を有し、 前記マイクロフォンから出力された音声データは前記音
声データ入出力端子を介して前記携帯通信端末へ出力さ
れ、また、前記音声データ入出力端子を介して入力され
た音声データは前記スピーカによって放音されることを
特徴とする請求項1〜請求項3のいずれかの項に記載の
表示装置。
4. A speaker, a microphone, and an audio data input / output terminal for transmitting and receiving audio data to and from the portable communication terminal, wherein audio data output from the microphone is transmitted through the audio data input / output terminal. The audio data output to the portable communication terminal through the audio data input / output terminal and emitted by the speaker. The display device according to claim 1.
【請求項5】 請求項1〜請求項4のいずれかの項に記
載の表示装置と、 カメラと画像通信機能を有し、前記表示装置に接続可能
な携帯通信端末と、 を接続してなるテレビ電話。
5. A display device comprising: a display device according to claim 1; and a mobile communication terminal having a camera and an image communication function and connectable to the display device. Videophone.
【請求項6】 前記携帯通信端末は、 当該携帯通信端末と前記表示装置との接続状況を検出
し、前記検出結果に応じた検出信号を出力する検出手段
と、 前記検出手段から出力された検出信号が入力され、該検
出信号に基づいて音声データと前記画像データの出力先
を前記携帯テレビ電話端末の各部または前記表示装置の
各部のいずれかに切り替える切替手段と、 を有することを特徴とする請求項5に記載のテレビ電
話。
6. A detecting means for detecting a connection status between the mobile communication terminal and the display device, and outputting a detection signal corresponding to the detection result, and detecting the detection output from the detecting means. A switching unit that receives a signal and switches the output destination of the audio data and the image data to any of the units of the portable videophone terminal or each of the units of the display device based on the detection signal. The videophone according to claim 5.
JP2000199776A 2000-06-30 2000-06-30 Display device and video phone Expired - Fee Related JP4509315B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000199776A JP4509315B2 (en) 2000-06-30 2000-06-30 Display device and video phone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000199776A JP4509315B2 (en) 2000-06-30 2000-06-30 Display device and video phone

Publications (2)

Publication Number Publication Date
JP2002016896A true JP2002016896A (en) 2002-01-18
JP4509315B2 JP4509315B2 (en) 2010-07-21

Family

ID=18697738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000199776A Expired - Fee Related JP4509315B2 (en) 2000-06-30 2000-06-30 Display device and video phone

Country Status (1)

Country Link
JP (1) JP4509315B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176568A (en) * 2000-12-06 2002-06-21 Hyper Electronics:Kk Holding device for portable telephone terminal with camera
JP2008165115A (en) * 2007-01-04 2008-07-17 Toshiba Corp Display device
JP2008182615A (en) * 2007-01-26 2008-08-07 Casio Hitachi Mobile Communications Co Ltd Portable terminal apparatus and program
JP2009139972A (en) * 2009-02-06 2009-06-25 Konica Minolta Holdings Inc Cassette type radiographic image detector and system
KR200447635Y1 (en) 2009-01-13 2010-02-11 김성동 Mobile phone holder recognizing video commnunication signal and connecting to mobile phone

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109891A (en) * 1989-09-25 1991-05-09 Hitachi Ltd Portable radio telephone set
JP2000308033A (en) * 1999-04-19 2000-11-02 Sharp Corp Video telephone supporting device and video telephone system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109891A (en) * 1989-09-25 1991-05-09 Hitachi Ltd Portable radio telephone set
JP2000308033A (en) * 1999-04-19 2000-11-02 Sharp Corp Video telephone supporting device and video telephone system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176568A (en) * 2000-12-06 2002-06-21 Hyper Electronics:Kk Holding device for portable telephone terminal with camera
JP2008165115A (en) * 2007-01-04 2008-07-17 Toshiba Corp Display device
JP2008182615A (en) * 2007-01-26 2008-08-07 Casio Hitachi Mobile Communications Co Ltd Portable terminal apparatus and program
KR200447635Y1 (en) 2009-01-13 2010-02-11 김성동 Mobile phone holder recognizing video commnunication signal and connecting to mobile phone
JP2009139972A (en) * 2009-02-06 2009-06-25 Konica Minolta Holdings Inc Cassette type radiographic image detector and system

Also Published As

Publication number Publication date
JP4509315B2 (en) 2010-07-21

Similar Documents

Publication Publication Date Title
CN101355680B (en) Portable communication terminal and video telephone system using the same
JP2000332908A (en) Portable video telephone terminal
JPH07264280A (en) Cordless telephone set
JP3487280B2 (en) Mobile phone terminal with image transmission function
US6547620B1 (en) Communication apparatus, memory medium and method
US7119827B2 (en) Method for performing a camera function in a mobile communication terminal
JP2002171321A (en) Mobile radio terminal
JP2003078601A (en) Portable terminal
JP3153747B2 (en) Wireless image transmission telephone
JP2000253455A (en) Portable radio terminal
JP4509315B2 (en) Display device and video phone
KR100547741B1 (en) Speaker device of mobile terminal
KR101638924B1 (en) Electronic Device
JP2003032344A (en) Portable terminal
JP2003022066A (en) Communication terminal device and method for displaying space character
JPH02113656A (en) Visual telephone
JP3330205B2 (en) Image communication terminal
KR20030019773A (en) Hands free set with lcd monitor
JP2012100135A (en) Portable communication terminal and computer software of the same
JP2006211703A (en) Portable video telephone terminal
JP2000333148A (en) Portable visual telephone terminal
JP2004112820A (en) Mobile videophone terminal
JP2004023386A (en) Charging device and communication terminal
JP2001169258A (en) Communication apparatus
KR20050120850A (en) Method for displaying images in a terminal with a camera and two indications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4509315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees