JP2001160958A - Photographed image data correction method for mobile video phone and system thereof - Google Patents
Photographed image data correction method for mobile video phone and system thereofInfo
- Publication number
- JP2001160958A JP2001160958A JP34415299A JP34415299A JP2001160958A JP 2001160958 A JP2001160958 A JP 2001160958A JP 34415299 A JP34415299 A JP 34415299A JP 34415299 A JP34415299 A JP 34415299A JP 2001160958 A JP2001160958 A JP 2001160958A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- photographing
- unit
- photographed image
- tilt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、携帯テレビジョン
(適宜、テレビと略称する)電話装置における撮影画像
データ補正方法及びその装置に関し、特に、携帯撮影時
の手ぶれや車両内などに搭載した際の振動による装置の
位置変位による傾きの撮影画像のぶれ(適宜、手ぶれの
みをもって説明する)を軽減し、かつ、撮影画像データ
を高圧縮率で送信する携帯テレビ電話装置における撮影
画像データ補正方法及びその装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for correcting photographed image data in a portable television (hereinafter abbreviated as "television") telephone device and a device therefor. A method of correcting captured image data in a portable videophone device that reduces blurring of a captured image having a tilt due to positional displacement of the device due to vibration of the device (appropriately described only with camera shake) and transmits captured image data at a high compression ratio Regarding the device.
【0002】[0002]
【従来の技術】従来、通話音声とともに撮影画像データ
を送受信する携帯テレビ電話機が用いられている。この
種類の携帯テレビ電話機は、例えば、音声データととも
に撮影画像データの高帯域伝送(例えば、RCR−ST
D−27F規格/伝送速度32kbps×2)が可能な
同一周波数による時分割多重接続(TDMA/TDD)
方式のデジタルコードレス電話システム(例えば、PH
S:Personal HandyphoneSystem /DECT:Digital Eu
ropean Cordless Telecommunication、以下、PHSの
みをもって説明する)を用いた例が知られている。2. Description of the Related Art Conventionally, a portable videophone for transmitting and receiving photographed image data together with a call voice has been used. This type of portable videophone is capable of transmitting high-bandwidth image data together with audio data (for example, RCR-ST).
Time-division multiple access (TDMA / TDD) using the same frequency capable of D-27F standard / transmission rate of 32 kbps × 2
Digital cordless telephone system (for example, PH
S: Personal HandyphoneSystem / DECT: Digital Eu
An example using ropean Cordless Telecommunication (hereinafter, only PHS) is known.
【0003】また、PHSやTDMA(CDMA)方式
のPDC(Personal Digital Cellular Telecommunicat
ion System) を併用し、かつ、無線電話通信網の伝送
状態、例えば、PHS伝送状態の悪化によってPDC伝
送に切り替える例が知られている(例えば、特開平10
−126856号「携帯テレビ電話装置」)。[0003] Also, PDC (Personal Digital Cellular Telecommunication) of PHS or TDMA (CDMA) system is used.
It is known to switch to PDC transmission due to deterioration of the transmission state of the wireless telephone communication network, for example, PHS transmission state (for example, Japanese Patent Laid-Open No.
-126856, "Portable videophone device").
【0004】このような携帯テレビ電話機は、その携帯
性の特徴から、持ち歩きながら周囲の風景を撮影した
り、車両による移動中に外の景色や車内の人や、その様
子を通信中に装置を動かしながらテレビ電話を行う場合
が多い。すなわち、撮影時の手ぶれや車両内などに搭載
した際の振動による撮影画像のぶれ(画面上での表示画
像の変位)が発生する。したがって、撮影画像を自装置
で確認する場合や、撮影した画像を伝送したテレビ電話
相手先での表示画像が極めて目視し難いものとなってし
まう。[0004] Due to its portability, such portable videophones can be used to take pictures of the surrounding scenery while carrying them, or to communicate with the outside scenery or people in the car while traveling by vehicle, or to communicate with them while communicating. In many cases, video calls are made while moving. That is, blurring of the captured image (displacement of the displayed image on the screen) due to camera shake at the time of shooting or vibration when mounted in a vehicle or the like occurs. Therefore, when the photographed image is confirmed by the own device, the displayed image at the other party of the videophone that transmitted the photographed image is extremely difficult to see.
【0005】また、前記した撮影画像のぶれが発生する
と、結果的にカラー動画伝送におけるデータ量が増大化
し、テレビ画像伝送における画像処理量が増加してしま
う。換言すれば、高圧縮率による画像伝送ができ難くな
ってしまう。このような携帯テレビ電話のカラー動画伝
送のフォーマットとして、MPEG4(Motion Picture
Expert Group)方式が採用される場合が多い。このMP
EG4方式では、その符号化にハフマン符号化と離散コ
サイン変換を用い、かつ、動き補償フレーム間予測(予
測符号化)を採用している。このようなカラー動画伝送
において、撮影画像のぶれを伴う撮影画像データの変化
量が多い複雑な撮影画像は、比較的品質劣化が生じない
圧縮率が、撮影画像のぶれの無い撮影画像に対して大幅
に低下する。[0005] In addition, when the blurring of the photographed image occurs, the data amount in color moving image transmission increases as a result, and the image processing amount in television image transmission increases. In other words, it becomes difficult to transmit an image at a high compression rate. MPEG4 (Motion Picture) is used as a format for transmitting color moving pictures of such a portable videophone.
Expert Group) method is often adopted. This MP
In the EG4 method, Huffman coding and discrete cosine transform are used for the coding, and motion compensation inter-frame prediction (prediction coding) is employed. In such a color moving image transmission, a complex photographed image having a large amount of change in photographed image data accompanied by a blurred photographed image has a relatively low compression ratio that does not cause deterioration in the quality, and a compression ratio that does not cause the photographed image to be blurred. It drops significantly.
【0006】[0006]
【発明が解決しようとする課題】このように、上記従来
例では、撮影時の手ぶれや車両内などに搭載した際の振
動による撮影画像のぶれで、撮影画像を自装置で確認す
る場合や、撮影画像を伝送したテレビ電話相手先で極め
て目視し難い表示画面となってしまうという欠点があ
る。As described above, in the above-mentioned conventional example, when the photographed image is confirmed by its own device due to a camera shake at the time of photographing or a shake of the photographed image due to vibration when mounted in a vehicle or the like, There is a disadvantage that the display screen becomes extremely difficult to see at the other party of the videophone that transmitted the captured image.
【0007】また、このような撮影画像のぶれが生じる
とテレビ画像伝送における画像処理量が増加して、高圧
縮率による画像伝送ができ難くなってしまう。換言すれ
ば、高品質のテレビ電話伝送が出来なくなるという欠点
がある。[0007] Further, when such blurring of the photographed image occurs, the amount of image processing in television image transmission increases, and it becomes difficult to transmit an image at a high compression rate. In other words, there is a disadvantage that high-quality videophone transmission cannot be performed.
【0008】本発明は、このような従来の技術における
課題を解決するものであり、撮影画像のぶれを軽減して
高品質の表示画面が可能になるとともに、撮影画像デー
タの圧縮率を高めて伝送データ量を抑えることが出来る
携帯テレビ電話装置における撮影画像データ補正方法及
びその装置の提供を目的とする。The present invention has been made to solve the above-mentioned problems in the prior art, and it is possible to reduce a blur of a photographed image and to provide a high-quality display screen, and to increase a compression ratio of photographed image data. It is an object of the present invention to provide a method for correcting captured image data in a portable videophone device capable of suppressing the amount of transmission data and a device therefor.
【0009】[0009]
【課題を解決するための手段】上記課題を達成するため
に、本発明の携帯テレビ電話装置における撮影画像デー
タ補正方法は、携帯テレビ電話装置の傾きに対する撮影
画像データの補正を行うものであり、撮影した撮影画像
データを蓄積する段階と、当該携帯テレビ電話装置の傾
きを検出する段階と、この傾き検出情報に対応して蓄積
した撮影画像データを傾きのない状態に補正する段階と
を有している。To achieve the above object, a method for correcting photographed image data in a portable videophone device according to the present invention is to correct photographed image data with respect to the inclination of the portable videophone device. Storing the captured image data, detecting the tilt of the portable videophone device, and correcting the stored captured image data to have no tilt corresponding to the tilt detection information. ing.
【0010】前記撮影において、遠近撮影設定が行われ
た際に、撮影の対象領域が変化していると判断して、蓄
積した撮影画像データを傾きのない状態への補正を停止
している。In the above-mentioned photographing, when the perspective photographing is set, it is determined that the photographing target area has changed, and the correction of the accumulated photographed image data to a state without inclination is stopped.
【0011】本発明の携帯テレビ電話装置は、当該装置
の傾きに対する撮影画像データの補正を行うものであ
り、撮影対象を撮影した撮影画像データを送出する撮影
手段と、前記撮影手段からの撮影画像データを蓄積する
蓄積手段と、当該携帯テレビ電話装置の傾きを検出する
傾き検出手段と、前記傾き検出手段からの傾き検出情報
に対応して前記蓄積手段で蓄積した撮影画像データを傾
きのない状態に補正する補正手段とを備える構成として
ある。A portable videophone apparatus according to the present invention corrects photographed image data with respect to the inclination of the apparatus. The photographing means sends out photographed image data of a photographed object, and the photographed image from the photographing means is transmitted. Accumulating means for accumulating data; inclination detecting means for detecting the inclination of the portable videophone device; and a state where the photographed image data accumulated by the accumulating means has no inclination corresponding to the inclination detection information from the inclination detecting means. And a correction means for correcting the error.
【0012】前記補正手段で補正した撮影画像データを
圧縮して出力する圧縮手段を備える構成としてある。[0012] The image processing apparatus may further include a compression means for compressing and outputting the photographed image data corrected by the correction means.
【0013】前記撮影手段に遠近撮影設定部を備え、遠
近撮影設定が行われた際に撮影の対象領域が変化してい
ると判断して、傾きのない状態への補正を停止する構成
としてある。[0013] The photographing means is provided with a perspective photographing setting section, and when the perspective photographing setting is performed, it is determined that the photographing target area has changed, and the correction to the state without inclination is stopped. .
【0014】前記補正手段の傾きのない状態への補正を
オン・オフする設定操作手段を備える構成としてある。The apparatus is provided with a setting operation means for turning on / off the correction of the correction means to a state without inclination.
【0015】また、前記撮影手段が本体装置に着脱可能
に配置される構成としてある。Further, the photographing means is arranged so as to be detachable from the main unit.
【0016】前記携帯テレビ電話装置に、無線電話通信
網との音声・画像通信を行うための無線通信手段と、少
なくとも符号化及び復号化の処理による音声通信を行う
ための音声処理手段とを備える構成としてある。また、
前記携帯テレビ電話装置に、有線電話通信網との音声・
画像通信を行うための有線接続処理手段と、少なくとも
符号化及び復号化の処理による音声通信を行うための音
声処理手段とをさらに備える構成としてある。The portable videophone device includes a wireless communication unit for performing voice / image communication with a wireless telephone communication network, and a voice processing unit for performing at least voice communication by encoding and decoding processes. There is a configuration. Also,
The portable videophone device has a voice communication with a wired telephone communication network.
The configuration further includes a wired connection processing unit for performing image communication and a voice processing unit for performing at least voice communication by encoding and decoding processes.
【0017】前記傾き検出手段を、当該装置の傾きを、
水銀の移動による接点のオンを含む機械的な変化によっ
て検出する構成、あるいは、当該装置の傾きを、撮影に
おける前後の撮影画像データの輪郭の変化を含む電気的
な変化によって検出する構成としてある。The inclination detecting means may detect the inclination of the apparatus by
It is configured to detect by a mechanical change including turning on a contact due to movement of mercury, or to detect an inclination of the device by an electrical change including a change in outline of photographed image data before and after photographing.
【0018】前記補正手段における撮影画像データの傾
きのない状態への補正として、傾きを検出した時点での
撮影画像データを蓄積手段で蓄積せずに、前回取り込ん
だ撮影画像データ又は傾きを検出した後に取り込んだ撮
影画像データを用いる構成としてある。The correction means corrects the photographed image data to a state where there is no inclination by detecting the previously captured photographed image data or inclination without accumulating the photographed image data at the time of detecting the inclination. The configuration uses captured image data captured later.
【0019】本発明は、携帯電話本体部及び撮影・画像
表示装置を有し、この撮影・画像表示装置の傾きに対す
る撮影画像データを補正する分離型の携帯テレビ電話装
置において、撮影・画像表示装置に、撮影対象を撮影し
た撮影画像データを送出する撮影手段と、この撮影・画
像表示装置の傾きを検出する傾き検出手段と、受信撮影
画像データを画面表示する画面表示手段と、携帯電話本
体部からの撮影画像データを受信し、かつ、携帯電話本
体部へ撮影手段が出力する撮影画像データを転送するた
めの無線通信手段と、携帯電話本体部に、撮影・画像表
示装置へ受信画像データを送信し、かつ、撮影・画像表
示装置からの撮影手段が出力する撮影画像データを受信
するための本体側無線通信手段とを備え、携帯電話本体
部、撮影画像表示装置の一方に、撮影画像データを蓄積
する蓄積手段と、傾き検出手段からの傾き検出情報に対
応して蓄積手段で蓄積した撮影画像データを傾きのない
状態に補正する補正手段とを備えた構成である。According to the present invention, there is provided a separate type portable videophone apparatus having a portable telephone main body and a photographing / image display device for correcting photographed image data with respect to the inclination of the photographing / image display device. A photographing means for transmitting photographed image data of a photographed object, a tilt detecting means for detecting the inclination of the photographing / image display device, a screen display means for displaying the received photographed image data on a screen, and a mobile phone main body. Wireless communication means for receiving the photographed image data from the camera and transferring the photographed image data output by the photographing means to the mobile phone main body; and transmitting the received image data to the photographing / image display device to the mobile phone main body. A main body side wireless communication means for transmitting and receiving photographed image data output by the photographing means from the photographing / image display device; A storage unit for storing the captured image data, and a correction unit for correcting the captured image data stored in the storage unit to a state without tilt in accordance with the tilt detection information from the tilt detection unit. It is.
【0020】このような本発明の携帯テレビ電話装置に
おける撮影画像データ補正方法及びその装置は、撮影し
た撮影画像データを蓄積し、かつ、当該携帯テレビ電話
装置の傾きを検出する。この傾き検出情報に対応して蓄
積した撮影画像データの位置変位による傾きのない状態
に補正している。また、撮影画像データを、例えば、M
PEG4方式で圧縮して伝送している。Such a method for correcting photographed image data in the portable videophone device of the present invention and the device accumulate the photographed image data and detect the inclination of the portable videophone device. Correction is made so that there is no tilt due to the positional displacement of the captured image data accumulated corresponding to the tilt detection information. Also, the captured image data is, for example, M
The data is transmitted after being compressed by the PEG4 system.
【0021】この結果、撮影画像のぶれが軽減されて高
品質の画面表示が可能になる。すなわち、撮影画像を自
装置で確認する場合や、撮影画像を送信したテレビ電話
相手先の表示画像が高品質で映し出される。As a result, the blurring of the photographed image is reduced, and a high-quality screen can be displayed. That is, a case where the photographed image is confirmed by the own device or a display image of the videophone destination that transmitted the photographed image is displayed with high quality.
【0022】また、本発明では、撮影画像データが圧縮
率を高めて伝送される。したがって、伝送データ量の増
大を抑えることが出来るようになる。すなわち、撮影画
像のぶれが発生し難いため、結果的に撮影画像データ量
が増大化せずに、高圧縮率による画像伝送が可能にな
る。例えば、MPEG4方式において、撮影画像のぶれ
を伴う撮影画像データの変化量が多い複雑な撮影画像に
おいて、比較的品質劣化が生じない圧縮率が、撮影画像
のぶれが無い状態の撮影画像に対して大幅に低下しなく
なる。Further, according to the present invention, photographed image data is transmitted with a high compression ratio. Therefore, an increase in the amount of transmission data can be suppressed. That is, since blurring of a captured image is unlikely to occur, image transmission at a high compression ratio can be performed without increasing the amount of captured image data as a result. For example, in the MPEG4 system, in a complex photographed image having a large amount of change in photographed image data accompanied by blurring of the photographed image, the compression ratio at which the quality does not relatively deteriorate is smaller than that of a photographed image in a state where the photographed image is not blurred It will not drop significantly.
【0023】また、本発明では、遠近撮影(ズーム)設
定が行われた際に撮影の対象領域が変化していると判断
して、傾きのない状態への補正を停止している。この結
果、遠近撮影設定機構(ズーム機構)を併設した携帯テ
レビ電話装置において、撮影画像データに対する効果的
な補正が可能になる。換言すれば、携帯テレビ電話装置
の多機能化が推進される。Further, according to the present invention, when the perspective photographing (zoom) setting is performed, it is determined that the photographing target area has changed, and the correction to the state without inclination is stopped. As a result, in a portable videophone device provided with a perspective photographing setting mechanism (zoom mechanism), it is possible to effectively correct photographed image data. In other words, multifunctional portable videophone devices are promoted.
【0024】さらに、傾きのない状態への補正をオン・
オフする設定操作手段を備えており、撮影画像データの
補正処理のオン・オフが可能になる。すなわち、撮影状
態の選択の自由度が向上する。したがって、撮影画像の
ぶれが撮影画像表示において必要な場合(例えば、走っ
ている状態を送信したい場合)に、その撮影画像のぶれ
をそのまま(オフ状態)伝送可能になる。In addition, the correction to the state without inclination is turned on.
The apparatus is provided with a setting operation means for turning off, and it is possible to turn on / off the correction processing of the captured image data. That is, the degree of freedom in selecting a shooting state is improved. Therefore, when the blur of the photographed image is necessary for displaying the photographed image (for example, when a running state is to be transmitted), the blur of the photographed image can be transmitted as it is (OFF state).
【0025】また、本発明では撮影手段(カメラ部)が
本体装置に着脱可能に配置されている。この結果、例え
ば、装置を顔の横に位置する状態での音声通話を行いな
がら、通話者の顔の撮影が可能になる。換言すれば、撮
影の自由度が向上する。In the present invention, the photographing means (camera unit) is detachably mounted on the main unit. As a result, for example, it is possible to capture the face of the caller while making a voice call with the device positioned beside the face. In other words, the degree of freedom of photographing is improved.
【0026】さらに、本発明は、無線通信や有線通信に
よるテレビ電話が可能である。また、当該装置の傾きを
機械的な変化や電気的な変化をもって検出している。こ
れによって、設計(構成)の自由度が向上する。Further, according to the present invention, a videophone by wireless communication or wired communication is possible. Further, the inclination of the device is detected by a mechanical change or an electrical change. Thereby, the degree of freedom of design (configuration) is improved.
【0027】また、本発明は、携帯電話本体部及び撮影
・画像表示装置を分離した分離型の携帯テレビ電話装置
において、撮影・画像表示装置の傾きに対する撮影画像
データを補正している。この場合、受信撮影画像データ
に対する大型の画面表示が可能になり、また、通話者の
撮影も、その対面した撮影が容易に可能になる。Further, according to the present invention, in a separate type portable videophone device in which a portable telephone main body and a photographing / image display device are separated, photographed image data with respect to a tilt of the photographing / image display device is corrected. In this case, it is possible to display a large-sized screen on the received image data, and also to easily shoot the caller in a face-to-face manner.
【0028】[0028]
【発明の実施の形態】以下、本発明の携帯テレビ電話装
置における撮影画像データ補正方法及びその装置の実施
の形態を図面を参照して詳細に説明する。図1は本発明
の携帯テレビ電話装置における撮影画像データ補正方法
及びその装置の実施形態における構成を示すブロック図
である。また、図2は携帯テレビ電話装置の正面外観構
成を示す正面図であり、図3は実施形態の動作の処理手
順を示す流れ図である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of a method for correcting photographed image data in a portable videophone apparatus and an apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing an embodiment of a method for correcting photographed image data in a portable videophone device of the present invention and the device. FIG. 2 is a front view showing a front external configuration of the portable videophone device, and FIG. 3 is a flowchart showing a processing procedure of an operation of the embodiment.
【0029】この携帯テレビ電話装置は、図1及び図2
に示すように携帯電話本体部1と、この携帯電話本体部
1とワイヤード接続によって着脱可能に配置されたCC
D素子及び対物レンズなどの光学系からなる撮影手段と
してのカメラ部2とから概略構成されている。This portable videophone device is shown in FIGS.
As shown in FIG. 1, a mobile phone body 1 and a CC which is detachably connected to the mobile phone body 1 by wired connection.
And a camera section 2 as a photographing means including an optical system such as a D element and an objective lens.
【0030】携帯電話本体部1は、手ぶれ補正機能の有
効/無効を設定(制御部14での手ぶれ補正モードの設
定/解除)する設定操作手段としての手ぶれ補正処理オ
ン(ON)スイッチ11が設けられ、かつ、当該装置の
撮影時の手ぶれや振動が加わった際の傾き情報を検出す
る傾き検出手段としての傾き情報検出部12が設けられ
ている。The mobile phone main unit 1 is provided with a camera shake correction processing ON (ON) switch 11 as a setting operation means for setting the enable / disable of the camera shake correction function (setting / cancellation of the camera shake correction mode in the control unit 14). In addition, an inclination information detection unit 12 is provided as inclination detection means for detecting inclination information when camera shake or vibration is applied during photographing of the apparatus.
【0031】また、携帯電話本体部1には、カメラ部2
での遠近撮影(ズーム撮影)の焦点距離に関する設定情
報を検出するズーム設定部13とともに、補正手段とし
ての制御部14が設けられている。この制御部14は、
本発明の実施形態にかかる画像処理(撮影時の手ぶれや
車両内などに搭載した際の振動による撮影画像のぶれを
軽減し、かつ、撮影画像データを高圧縮率で送信する動
作)及び無線電話通信網との通信に関する制御を各部の
間で実行する。Further, the camera unit 2 is provided in the mobile phone main unit 1.
A control unit 14 as a correction unit is provided together with a zoom setting unit 13 that detects setting information relating to the focal length of perspective photography (zoom photography). This control unit 14
Image processing according to an embodiment of the present invention (operation for reducing camera shake during shooting or blurring of a shot image due to vibration when mounted in a vehicle, and transmitting shot image data at a high compression rate) and a wireless telephone Control regarding communication with the communication network is executed between the respective units.
【0032】携帯電話本体部1は、制御部14の制御で
対象の撮影画像を取り込み、必要な画像処理(例えば、
増幅や輪郭補正)を行う撮影手段としての画像入力部1
5とともに、画像入力部15からの撮影画像データを蓄
積する蓄積手段としての画像メモリ部16を備えてい
る。また、撮影時の手ぶれや車両内などに搭載した際の
振動による撮影画像のぶれを補正する補正手段としての
画像補正部17を備えている。The mobile phone main unit 1 captures a target photographed image under the control of the control unit 14 and performs necessary image processing (for example,
Image input unit 1 as photographing means for performing amplification and contour correction)
5 and an image memory unit 16 as storage means for storing captured image data from the image input unit 15. In addition, an image correction unit 17 is provided as a correction unit that corrects camera shake during shooting or camera shake of a shot image due to vibration when the camera is mounted in a vehicle or the like.
【0033】また、携帯電話本体部1は、カメラ部2で
撮影したカラー撮影画像データを、前記したMPEG4
規格などによって圧縮/伸長などの処理を行う圧縮手段
としての画像処理部18とともに、受話音声データを復
号化し、かつ、送話信号を符号化するコーディック処理
を行う音声処理手段としての音声処理部19を有してい
る。Further, the portable telephone main unit 1 converts the color photographed image data photographed by the camera unit 2 into the MPEG4 image data.
Along with the image processing unit 18 as compression means for performing processing such as compression / decompression according to standards, etc., as well as an audio processing unit 19 as audio processing means for decoding received voice data and performing codec processing for encoding a transmission signal. have.
【0034】携帯電話本体部1は、送受信周波数の設
定、復調/変調、受信電界強度検出(RSSI)及びT
DMA/TDD処理などを行い、図示しないセル基地局
との無線回線接続(エアインターフェース)をアンテナ
を通じて行うための無線通信手段としての無線処理部2
0とともに、撮影した撮影画像データ及び受信した撮影
画像データや通信にかかる文字データなどを表示する液
晶ディスプレイ(LCD)などを用いた表示部21を備
えている。また、電源オン・オフ(ON/OFF)、テ
ンキー、機能選択キーなどを有した入力操作部22を備
えている。The mobile phone main unit 1 sets a transmission / reception frequency, demodulation / modulation, reception electric field strength detection (RSSI), and T
A wireless processing unit 2 as a wireless communication unit for performing a DMA / TDD process or the like and performing a wireless line connection (air interface) with a cell base station (not shown) through an antenna.
A display unit 21 using a liquid crystal display (LCD) or the like for displaying captured image data, received captured image data, character data for communication, and the like together with 0. Further, an input operation unit 22 having power on / off (ON / OFF), numeric keys, function selection keys, and the like is provided.
【0035】音声処理部19には、音声処理手段として
の通話用のマイクロホン19a及びスピーカ19bが接
続されている。なお、この種の携帯電話本体部1には、
呼び出し表示用の発光ダイオード、リンガ及び表示部2
1用の照明部等が設けられるが、その図示は省略した。The voice processing unit 19 is connected to a microphone 19a for voice communication and a speaker 19b as voice processing means. In addition, this type of mobile phone main body 1 includes:
Light-emitting diode, ringer and display unit 2 for calling display
Although a lighting unit for one is provided, the illustration thereof is omitted.
【0036】次に、本発明の実施形態の動作について説
明する。なお、撮影画像を自装置で確認する場合や、撮
影画像を伝送したテレビ電話相手先の表示画像ぶれの要
因として、携帯撮影時の手ぶれや車両内などに搭載した
際の振動があるが、以下の説明においては手ぶれのみを
もって説明する。Next, the operation of the embodiment of the present invention will be described. In addition, when confirming the photographed image on the own device or as a cause of the blurred display image of the videophone partner transmitting the photographed image, there are camera shake during mobile photographing and vibration when mounted in a vehicle, etc. In the description, only the camera shake will be described.
【0037】図1を参照すると、制御部14は、無線電
話通信網との通信に関する制御を各部の間で実行する。
この無線電話通信網を通じた通信は、当該装置がPHS
の場合、RCR−STD−27F規格(伝送速度32k
bps×2)に基づいて行われる。すなわち、入力操作
部22における電源オン・オフ、テンキー及び機能選択
キーの選択操作によって、無線処理部20が、送受信周
波数の設定、復調/変調、受信電界強度検出(RSS
I)及びTDMA/TDD処理などを行うとともに、図
示しないセル基地局との無線回線接続(エアインターフ
ェース)をアンテナを通じて行う。Referring to FIG. 1, control unit 14 executes control related to communication with a wireless telephone communication network among the units.
Communication via this wireless telephone communication network is performed by the PHS
In the case of, RCR-STD-27F standard (transmission speed 32k
bps × 2). That is, the wireless processing unit 20 sets the transmission / reception frequency, demodulates / modulates, and detects the received field strength (RSS
In addition to performing I) and TDMA / TDD processing, a wireless line connection (air interface) with a cell base station (not shown) is performed through an antenna.
【0038】マイクロホン19aからの送話データ及び
スピーカ19bへの受話データが無線処理部20と音声
処理部19との間で処理される。すなわち、音声処理部
19は、受話音声データを復号化し、送話信号を符号化
するコーディック処理を行う。また、表示部21は、撮
影した撮影画像データ及び受信した撮影画像データや通
信にかかるデータ、例えば、受信電界強度を示すシンボ
ルマーク、オン/オフフック状態や入力電話番号等を表
示する。また、表示部21では、制御部14の制御によ
る文字データなどを画面表示する。Transmission data from the microphone 19a and reception data to the speaker 19b are processed between the radio processing unit 20 and the voice processing unit 19. That is, the voice processing unit 19 performs a codec process of decoding the received voice data and encoding the transmission signal. Further, the display unit 21 displays photographed image data, received photographed image data, and data related to communication, such as a symbol mark indicating a received electric field strength, an on / off hook state, an input telephone number, and the like. The display unit 21 displays character data and the like under the control of the control unit 14 on a screen.
【0039】制御部14は、例えば、RCR−STD−
27F規格に基づいた時分割多重化接続(TDMA/T
DD方式)による図示しないセル基地局との間の送受信
接続の制御を行う。例えば、モバイルアシステッド(Mo
bile Assisted)ハンドオーバ処理や図示しない他のセ
ル基地局との間とのローミングを処理する。また、制御
部14は、位置登録シーケンスの実行や制御チャネル
(CCH)や情報チャネル(TCH)によって送信−受
信−隣接局基地局波受信などを繰り返す制御を行い、そ
のテレビ電話を行っている。The control unit 14 is, for example, an RCR-STD-
Time division multiplexing connection (TDMA / T
Control of transmission / reception connection with a cell base station (not shown) according to the DD system (DD system). For example, Mobile Assisted (Mo
bile Assisted) It performs handover processing and roaming with another cell base station (not shown). In addition, the control unit 14 performs control such as execution of a location registration sequence and transmission / reception / reception of an adjacent station base station wave using a control channel (CCH) or an information channel (TCH), thereby performing a videophone call.
【0040】次に、本発明の実施形態にかかる画像処
理、すなわち、手ぶれを軽減し、かつ、撮影画像データ
を高圧縮率で送信する動作について説明する。Next, image processing according to the embodiment of the present invention, that is, an operation of reducing camera shake and transmitting captured image data at a high compression rate will be described.
【0041】図1から図3において、制御部14の制御
によって、画像入力部15がカメラ部2で撮影された撮
影画像データを出力し、この撮影画像データを画像メモ
リ部16に蓄積する(ステップS31)。制御部14
は、手ぶれ補正処理を行うかを、手ぶれ補正処理オンス
イッチ11のオン信号の取り込みによって判断する(ス
テップS32)。1 to 3, under the control of the control unit 14, the image input unit 15 outputs photographed image data photographed by the camera unit 2, and stores the photographed image data in the image memory unit 16 (step). S31). Control unit 14
Determines whether or not to perform the camera shake correction process by capturing the ON signal of the camera shake correction process ON switch 11 (step S32).
【0042】ここで手ぶれ補正処理を行わないオフ信号
を制御部14が手ぶれ補正処理オンスイッチ11から取
り込んだ場合(ステップS32:No)、傾き情報検出
部12及び画像補正部17による手ぶれ補正処理を行わ
ないで手ぶれ補正処理が可能かの判断に戻る(ステップ
S37)。When the control unit 14 receives an OFF signal for not performing the camera shake correction processing from the camera shake correction processing ON switch 11 (step S32: No), the camera shake correction processing by the tilt information detection unit 12 and the image correction unit 17 is performed. If not, the process returns to the determination as to whether the camera shake correction process is possible (step S37).
【0043】ステップS32で手ぶれ補正処理設定がオ
ンの場合(ステップS32:Yes)、制御部14は、
傾き情報検出部12からの傾き検出情報を取り込む。手
ぶれ補正処理設定がオフの場合は、例えば、画像メモリ
部16に蓄積している撮影画像データを順次、制御部1
4が読み出して表示部21に送出し、ここで撮影画像を
表示する。If the camera shake correction processing setting is ON in step S32 (step S32: Yes), the control unit 14
The tilt detection information from the tilt information detection unit 12 is fetched. When the camera shake correction processing setting is off, for example, the control unit 1 sequentially stores the captured image data stored in the image memory unit 16.
4 reads out and sends it to the display unit 21, where the captured image is displayed.
【0044】なお、手ぶれ補正処理設定がオフの場合
に、制御部14の制御で画像メモリ部16に蓄積してい
る撮影画像データを、画像処理部18によって圧縮して
表示部21で画面表示するようにしても良い。また、手
ぶれ補正処理設定がオフの場合に、制御部14の制御で
画像メモリ部16に蓄積している撮影画像データを、そ
の手ぶれ補正を行わないで無線処理部20通じて図示し
ない無線電話通信網を通じてテレビ電話相手先に送信し
ても良い。これは、携帯テレビ電話機を手に持ちながら
走っている状態を送信したい場合などである。When the camera shake correction processing setting is off, the photographed image data stored in the image memory section 16 under the control of the control section 14 is compressed by the image processing section 18 and displayed on the display section 21 on the screen. You may do it. Further, when the camera shake correction processing setting is off, the photographed image data stored in the image memory unit 16 under the control of the control unit 14 is transferred to the wireless processing unit 20 via the wireless processing unit 20 without performing the camera shake correction. It may be transmitted to a videophone destination through a network. This is a case where the user wants to transmit a state of running while holding the portable videophone in his hand.
【0045】ステップS32で手ぶれ補正処理設定がオ
ンの場合(手ぶれ補正処理オンスイッチ11がオン)、
制御部14が傾き情報検出部12からの検出情報を取り
込む(ステップS33)。制御部14が、さらにズーム
設定部13からズーム設定情報を取り込む(ステップS
34)。次に、制御部14は、ズーム設定部13から取
り込んだズーム設定情報が直前に比較したときの情報か
ら変更されたかどうかを比較する(ステップS35)。If the camera shake correction processing setting is ON in step S32 (the camera shake correction processing ON switch 11 is ON),
The control unit 14 captures the detection information from the tilt information detection unit 12 (Step S33). The control unit 14 further takes in the zoom setting information from the zoom setting unit 13 (Step S
34). Next, the control unit 14 compares whether or not the zoom setting information fetched from the zoom setting unit 13 has been changed from the information obtained immediately before (step S35).
【0046】このステップS35でズーム設定情報に変
更がなかった場合(No)、画像補正部17にて画像メ
モリ部16に蓄積された撮影画像データについて、傾き
情報に基づいて手ぶれ補正を実行する(ステップS3
6)。ステップS34においてズーム設定情報に変更が
あった場合(Yes)、焦点距離の変更により撮影して
いる対象エリアが大きく変化している可能性があるた
め、ステップS37に移行し、手ぶれ補正処理を行わな
いで手ぶれ補正処理が可能かの判断に戻る。If the zoom setting information has not been changed in step S35 (No), the image correcting section 17 executes camera shake correction on the photographed image data stored in the image memory section 16 based on the tilt information ( Step S3
6). If there is a change in the zoom setting information in step S34 (Yes), there is a possibility that the target area being photographed has changed significantly due to a change in the focal length, so the flow shifts to step S37 to perform a camera shake correction process. The process returns to the determination as to whether or not the camera shake correction process can be performed.
【0047】次に、傾き情報検出部12による手ぶれ検
出(傾き検出)及び画像補正部17での撮影画像データ
に対する手ぶれ補正について説明する。このような手ぶ
れ検出及び撮影画像データに対する手ぶれ補正は、多種
のものが周知である。例えば、傾き情報検出部12は、
その傾き検出(撮影方向の前後及び左右)として、機械
的に傾きを検出する場合と電気的に傾きを検出する方法
が周知である。Next, a description will be given of a camera shake detection (tilt detection) by the tilt information detecting unit 12 and a camera shake correction to the photographed image data by the image correcting unit 17. Various types of such camera shake detection and camera shake correction for captured image data are well known. For example, the tilt information detection unit 12
As the tilt detection (back and forth and left and right of the photographing direction), there are well-known methods of mechanically detecting the tilt and a method of electrically detecting the tilt.
【0048】機械的な傾き検出では、例えば、密封絶縁
管内の両端に二つの接点を設け、かつ、水銀を封入した
傾斜検出器が周知である。この傾斜検出器の二つを水平
かつ十字上に配置して、その90度間隔で位置する四つ
の接点の導通状態から撮影方向の前後及び左右の傾き
(手ぶれ)を検出している。For mechanical tilt detection, for example, a tilt detector provided with two contacts at both ends in a sealed insulating tube and filled with mercury is well known. Two of these tilt detectors are arranged horizontally and on a cross, and the front and rear and right and left tilts (camera shake) of the photographing direction are detected from the conduction state of the four contacts located at 90-degree intervals.
【0049】このようにして傾き情報検出部12で検出
した情報に基づいて画像補正部17が撮影画像データに
対する補正を行う。例えば、傾きを検出した際に、この
時点での撮影画像データを画像メモリ部16に蓄積せず
に、前回取り込んだ手ぶれのない状態の撮影画像データ
を制御部14が取り込んで画像処理部18に送出して、
その補正処理を行う。また、傾きを検出した際に、この
時点での撮影画像データを画像メモリ部16に蓄積せず
に、傾きを検出した後の傾き検出が行われなくなった状
態の撮影画像を取り込んで、その置き換えによる手ぶれ
補正処理を行う。The image correcting section 17 corrects the photographed image data based on the information detected by the tilt information detecting section 12 as described above. For example, when the inclination is detected, the control unit 14 captures the previously captured image data in a state without camera shake without storing the captured image data at this point in the image memory unit 16 and stores the captured image data in the image processing unit 18. Send it out,
The correction processing is performed. Further, when the inclination is detected, the captured image data at this point is not stored in the image memory unit 16 but the captured image in a state where the inclination is not detected after the inclination is detected is taken in and replaced. Is performed.
【0050】また、傾き情報検出部12における電気的
な傾きの検出では、画像入力部15からの撮影画像デー
タを制御部14を通じて傾き情報検出部12が取り込
み、X方向前後の撮影画像データにおける輪郭を、例え
ば、微分してそれぞれ取り込んで、その変化量から撮影
方向の左右方向での傾き(手ぶれ)を検出する。また、
Y方向前後の撮影画像データにおける輪郭を、例えば、
微分してそれぞれ取り込み、その変化量から撮影方向の
前後方向での傾き(手ぶれ)を検出している。In the detection of the electrical inclination by the inclination information detection unit 12, the inclination information detection unit 12 takes in the photographic image data from the image input unit 15 through the control unit 14, and outputs the contours in the photographic image data before and after the X direction. Are differentiated and taken in, for example, and the inclination (camera shake) in the left-right direction of the shooting direction is detected from the amount of change. Also,
For example, the outline in the captured image data before and after the Y direction is
Differentiation is taken in, and the inclination (camera shake) in the front-back direction of the photographing direction is detected from the amount of change.
【0051】このようにして傾き情報検出部12で検出
した手ぶれの検出情報に基づいて画像補正部17が撮影
画像データに対する補正を行う。この場合、機械的又は
電気的な傾き検出が行われ、その構成(設計)の自由度
が向上する。The image correcting section 17 corrects the photographed image data based on the detection information of the camera shake detected by the tilt information detecting section 12 as described above. In this case, mechanical or electrical tilt detection is performed, and the degree of freedom of the configuration (design) is improved.
【0052】なお、この実施形態において、図2ではカ
メラ部2を携帯電話本体部1に装着した状態を示した
が、カメラ部2は携帯電話本体部1にワイヤード接続に
よって着脱可能に配置されており、カメラ部2を携帯電
話本体部1から取り外して、その撮影を行うことも可能
である。いわゆる、分離型携帯テレビ電話装置としての
使用も可能である。この場合の動作も前記と同様であ
り、その使用の自由度が向上する。例えば、装置を顔の
横に位置する状態での音声通話を行いながら、通話者の
顔の撮影が可能になる。In this embodiment, FIG. 2 shows a state in which the camera unit 2 is mounted on the mobile phone main unit 1, but the camera unit 2 is detachably arranged on the mobile phone main unit 1 by a wired connection. In addition, it is also possible to detach the camera unit 2 from the mobile phone main unit 1 and take an image thereof. It can also be used as a so-called separate type portable videophone device. The operation in this case is the same as that described above, and the degree of freedom of use is improved. For example, it is possible to take an image of the face of the caller while making a voice call with the device positioned beside the face.
【0053】次に、分離型テレビ電話装置の他の実施形
態について説明する。図4は、他の実施形態の携帯テレ
ビ電話装置の正面外観構成を示す正面図である。また、
図5は、他の実施形態の携帯テレビ電話装置の構成を示
すブロック図であり、図6は、他の実施形態の撮影及び
撮影画像表示装置の構成の一例を示すブロック図であ
る。Next, another embodiment of the separation type videophone device will be described. FIG. 4 is a front view showing a front external configuration of a portable videophone device according to another embodiment. Also,
FIG. 5 is a block diagram illustrating a configuration of a portable videophone device according to another embodiment. FIG. 6 is a block diagram illustrating an example of a configuration of a shooting and captured image display device according to another embodiment.
【0054】この例の分離型携帯テレビ電話装置は、携
帯電話本体部1A及び撮影・画像表示装置30で概略構
成されている。携帯電話本体部1Aの外観構成では、図
1に示したカメラ部2及び手ぶれ補正処理オンスイッチ
11が設けられていない。これ以外は、図1と同様の構
成である。The separated type portable videophone device of this example is schematically constituted by a mobile phone main body 1A and a photographing / image display device 30. In the external configuration of the mobile phone main unit 1A, the camera unit 2 and the camera shake correction processing ON switch 11 shown in FIG. 1 are not provided. Except for this, the configuration is the same as that of FIG.
【0055】図4において撮影・画像表示装置30は、
例えば、人の手のひらに載る程度の大きさであり、開閉
自在な二つ折りの構造である。この二つ折りの構造にお
ける一方に、携帯電話本体部より大きなサイズの画面表
示部を備える液晶ディスプレイ(LCD)31が配置さ
れ、さらに、回転可能なカメラ部32が設けられてい
る。また、二つ折りの構造における他方にフラットパネ
ルで構成されて、各種の操作を行うための入力操作部3
3やスピーカ34が設けられている。なお、スピーカ3
4は、テレビ電話における音声出力を行うものであり、
設けられていない場合もある。In FIG. 4, the photographing / image display device 30
For example, it has a size that can be placed on the palm of a human hand, and has a two-fold structure that can be freely opened and closed. On one side of the two-fold structure, a liquid crystal display (LCD) 31 having a screen display unit larger in size than the mobile phone main body is arranged, and further, a rotatable camera unit 32 is provided. An input operation unit 3 configured with a flat panel on the other side of the two-fold structure for performing various operations.
3 and a speaker 34 are provided. The speaker 3
Reference numeral 4 denotes an audio output for a videophone.
It may not be provided.
【0056】図5において、携帯電話本体部1Aには、
前記した画像入力部15(図1)及び傾き検出部12と
ともに、ズーム設定部13及び手ぶれ補正処理オンスイ
ッチ11が設けられておらず、新たに微弱電波(例え
ば、Bluetooth/IEEE802 標準)や赤外線(例えば、Ir
DA1.1)で撮影・画像表示装置30と双方向通信
(送受信の撮影画像データ)を行うための無線通信部2
5が設けられている。In FIG. 5, the mobile phone body 1A has
Neither the image input unit 15 (FIG. 1) and the tilt detection unit 12 nor the zoom setting unit 13 and the camera shake correction processing on switch 11 are provided, and a weak radio wave (for example, Bluetooth / IEEE802 standard) or infrared ( For example, Ir
DA1.1), a wireless communication unit 2 for performing two-way communication (transmitted and received captured image data) with the capture / image display device 30
5 are provided.
【0057】図6において、この撮影・画像表示装置3
0は、基本的かつ一例の構成であり、図1と同様の構成
のカメラ部32(図4)とともに、撮影や画面表示に関
する各種の操作を行うための入力操作部33が設けられ
ている。さらに、テレビ電話における音声出力を行うス
ピーカ34とともに、携帯電話本体部1Aと微弱電波や
赤外線で双方向通信を行うための無線通信部40が設け
られ、また、無線通信部40からの撮影画像データを表
示画像するための処理(例えば、輝度処理、X/Y駆動
処理)を施す出力映像信号処理部41を有している。In FIG. 6, the photographing / image display device 3
Reference numeral 0 denotes a basic and example configuration, which includes a camera unit 32 (FIG. 4) having the same configuration as that of FIG. 1 and an input operation unit 33 for performing various operations related to shooting and screen display. Further, a wireless communication unit 40 for performing two-way communication with the mobile phone main unit 1A using weak radio waves or infrared rays is provided together with a speaker 34 for outputting audio in a videophone, and photographed image data from the wireless communication unit 40 is provided. Is provided with an output video signal processing unit 41 for performing a process (for example, a brightness process, an X / Y drive process) for displaying a display image.
【0058】さらに、撮影・画像表示装置30には、無
線通信部40からの音声像データを処理を施す音声信号
処理部42とともに、カメラ部32からの撮影画像を取
り込み、必要な画像処理を行う撮影手段としての入力映
像信号処理部43と、図1と同様の傾き検出部44、ズ
ーム設定部45及び手ぶれ補正処理オン(ON)スイッ
チ46を備えている。Further, the photographing / image display device 30 fetches a photographed image from the camera unit 32 together with an audio signal processing unit 42 for processing the audio image data from the wireless communication unit 40 and performs necessary image processing. An input video signal processing unit 43 as a photographing unit, an inclination detection unit 44, a zoom setting unit 45, and a camera shake correction processing ON (ON) switch 46 similar to those in FIG. 1 are provided.
【0059】次に、この図4から図6に示す分離型携帯
テレビ電話装置の基本的なテレビ電話としての動作や本
発明に対応する手ぶれ補正処理の動作は、前記した実施
形態と同様の処理である。この、他の実施形態の動作で
は、携帯電話本体部1A及び撮影・画像表示装置30と
の間で微弱電波や赤外線による双方向通信を行ってい
る。この双方向通信による送受信データは、撮影・画像
表示装置30で撮影され、その画像処理が施されたカラ
ー撮影画像データであり、さらに、撮影・画像表示装置
30に転送される携帯電話本体部1Aで受信したテレビ
電話における撮影画像データである。Next, the operation as a basic videophone of the separable portable videophone device shown in FIGS. 4 to 6 and the operation of the camera shake correction process according to the present invention are the same as those in the above-described embodiment. It is. In the operation of the other embodiment, two-way communication is performed between the mobile phone main body 1A and the photographing / image display device 30 using weak radio waves or infrared rays. The transmitted / received data by this two-way communication is color photographed image data which is photographed by the photographing / image display device 30 and subjected to the image processing, and is further transferred to the photographing / image display device 30 by the cellular phone main body 1A. Is the captured image data of the videophone received in step (a).
【0060】図5の携帯電話本体部1Aにおける無線通
信部25及び図6の撮影・画像表示装置30の無線通信
部40以外の動作は、前記した実施形態と同様であり、
その動作説明を省略する。Operations other than the wireless communication unit 25 in the mobile phone main unit 1A in FIG. 5 and the wireless communication unit 40 in the photographing / image display device 30 in FIG. 6 are the same as those in the above-described embodiment.
The description of the operation is omitted.
【0061】なお、ここでは、傾き情報検出部44、ズ
ーム設定部45及び手ぶれ補正処理オンスイッチ46を
撮影・画像表示装置30内に設けているが、図1と同様
に携帯電話本体部1Aに設けても良い。この場合、これ
らの傾き検出部44、ズーム設定部45及び手ぶれ補正
処理オンスイッチ46に関する制御信号を携帯電話本体
部1A及び撮影・画像表示装置30との間で微弱電波や
赤外線による双方向通信によって伝送し、このシーケン
スで撮影・画像表示装置30内に設けた場合と同様に動
作するようにすれば良い。Here, the tilt information detecting section 44, the zoom setting section 45, and the camera shake correction processing ON switch 46 are provided in the photographing / image display apparatus 30, but as in FIG. May be provided. In this case, control signals relating to the tilt detection unit 44, the zoom setting unit 45, and the camera shake correction processing on switch 46 are transmitted to the mobile phone main unit 1A and the photographing / image display device 30 by bidirectional communication using weak radio waves or infrared rays. The sequence may be transmitted, and the sequence may be performed in the same manner as the case where the sequence is provided in the photographing / image display device 30.
【0062】また、図5の携帯電話本体部1Aと図6の
撮影・画像表示装置30との間は、微弱電波による転送
に代えて、前記の実施形態におけるカメラ部2の場合と
同様にワイヤード及びインターフェース処理によって接
続する構成でも良い。Further, between the mobile phone main unit 1A of FIG. 5 and the photographing / image display device 30 of FIG. Alternatively, the connection may be made by interface processing.
【0063】この図4から図6に示す分離型携帯テレビ
電話装置は、携帯電話本体部1A及び撮影・画像表示装
置30を離した状態でのテレビ電話が可能である。すな
わち、携帯電話本体部1Aを手に保持して音声専用の携
帯電話と同様の状態で使用し、かつ、撮影・画像表示装
置30を通話者と対面するように配置することによっ
て、通話者の撮影が会話時に可能であり、また、携帯電
話本体部1Aより大きなサイズの画面表示が液晶ディス
プレイ(LCD)31で行われるため、そのテレビ電話
が容易になる。換言すれば、使い勝手が良くなる。The separation type portable videophone device shown in FIGS. 4 to 6 enables a videophone with the mobile phone main unit 1A and the photographing / image display device 30 being separated. That is, by holding the mobile phone main unit 1A in the hand and using it in the same state as a mobile phone dedicated to voice, and arranging the photographing / image display device 30 so as to face the caller, It is possible to take a picture during a conversation, and a liquid crystal display (LCD) 31 displays a screen larger in size than the mobile phone main body 1A. In other words, the usability is improved.
【0064】なお、この実施形態では、画像処理部18
がMPEG4規格による圧縮/伸長を行う例をもって説
明したが、他の方式も適用可能である。例えば、カラー
静止画を圧縮/伸長するJPEG(Joint Photographic
Expert Group)方式によって、撮影画像データを連続
的(コマ送り)に送信する場合にもそのまま適用でき
る。また、広帯域伝送が可能な場合、例えば、飛び越し
走査を行うNTSC方式などの適用が可能な伝送形態に
も、本発明の実施形態にかかる手ぶれ補正の画像処理の
適用が可能である。したがって、構成(設計)が自由に
行えるようになる。In this embodiment, the image processing unit 18
Has described an example of performing compression / decompression according to the MPEG4 standard, but other methods are also applicable. For example, JPEG (Joint Photographic) that compresses / expands color still images
The method can be applied to the case where the photographed image data is continuously (frame-forwarded) transmitted by the Expert Group method. Further, when wideband transmission is possible, the image processing for image stabilization according to the embodiment of the present invention can be applied to a transmission mode to which, for example, the NTSC system that performs interlaced scanning can be applied. Therefore, the configuration (design) can be freely performed.
【0065】また、この実施形態では、PHSとしての
携帯テレビ電話装置、すなわち、無線方式の携帯テレビ
電話装置について説明したが、これに限定されない。例
えば、携帯テレビ電話装置と同様な有線回線に接続する
小型卓上型テレビ電話機にも適用できる。すなわち、こ
の小型卓上型テレビ電話機を携帯し、例えば、公衆電話
(ISDN回線など)にケーブル/コネクタをもって接
続によってテレビ電話を行う場合、すなわち、小型卓上
型テレビ電話機を人の手で保持して使用する場合の手ぶ
れの補正を行う際にも適用できる。この場合、構成(設
計)の自由度が向上する。Further, in this embodiment, the portable videophone device as the PHS, that is, the wireless videophone device has been described, but the present invention is not limited to this. For example, the present invention can be applied to a small desktop videophone connected to a wired line similar to a portable videophone device. That is, when carrying the small desk-top videophone, for example, by making a videophone call by connecting to a public telephone (such as an ISDN line) with a cable / connector, that is, using the small desk-top videophone held by human hands This can be applied to the case where camera shake is corrected. In this case, the degree of freedom of the configuration (design) is improved.
【0066】さらに、この実施形態では、PHSをもっ
て説明したが、他の伝送方式にもそのまま適用可能であ
る。例えば、現状ではPHSよりも伝送速度が遅いTD
MA方式のPDCやW−CDMA方式(IMT−200
0)やCDMA方式(IS−95)にもそのまま適用可
能である。この場合も構成(設計)の自由度が向上す
る。Further, in this embodiment, the description has been made with the PHS, but the present invention can be applied to other transmission systems as they are. For example, TD, which currently has a lower transmission speed than PHS
PDC of MA system and W-CDMA system (IMT-200
0) and CDMA (IS-95). Also in this case, the degree of freedom of the configuration (design) is improved.
【0067】[0067]
【発明の効果】以上の説明から明らかなように、本発明
の携帯テレビ電話装置における撮影画像データ補正方法
及びその装置によれば、撮影した撮影画像データを蓄積
し、当該装置の傾きを検出した際に、この傾き検出情報
に対応して蓄積した撮影画像データを、当該装置が傾い
ていない状態に補正している。また、撮影画像データ
を、圧縮して伝送している。As is apparent from the above description, according to the method for correcting photographed image data in the portable videophone device of the present invention, the photographed image data is accumulated and the inclination of the device is detected. At this time, the photographed image data stored corresponding to the tilt detection information is corrected so that the device is not tilted. Further, the photographed image data is transmitted after being compressed.
【0068】この結果、撮影画像のぶれが軽減されて高
品質の画面表示が可能になる。すなわち、撮影画像を自
装置で確認する場合や、撮影画像を送信したテレビ電話
相手先の表示画像が高品質で映し出されるという効果が
ある。As a result, blurring of the photographed image is reduced, and a high-quality screen display can be performed. In other words, there is an effect that the captured image is confirmed by the own device, and a display image of the videophone partner transmitting the captured image is displayed with high quality.
【0069】また、本発明によれば、撮影画像データが
圧縮率を高めて伝送される。したがって、伝送データ量
の増大を抑えることが出来るようになる。すなわち、撮
影画像のぶれが発生し難いため、結果的に撮影画像デー
タ量が増大化せずに、高圧縮率による画像伝送が可能に
なるという効果がある。According to the present invention, photographed image data is transmitted with a high compression ratio. Therefore, an increase in the amount of transmission data can be suppressed. That is, since blurring of a captured image is unlikely to occur, there is an effect that image transmission with a high compression ratio becomes possible without increasing the amount of captured image data as a result.
【0070】また、本発明によれば、遠近撮影の設定が
行われた際に撮影の対象領域が変化していると判断し
て、傾きのない状態への補正を停止している。この結
果、遠近撮影設定機構を併設した携帯テレビ電話装置に
おいて、撮影画像データに対する効果的な補正が可能に
なり、結果的に携帯テレビ電話装置の多機能化が推進さ
れるという効果がある。Further, according to the present invention, when the setting of the perspective photographing is performed, it is determined that the photographing target area has changed, and the correction to the state without the inclination is stopped. As a result, in a portable videophone device provided with a perspective photographing setting mechanism, effective correction of photographed image data becomes possible, and as a result, the multifunctionality of the portable videophone device is promoted.
【0071】さらに、本発明によれば、傾きのない状態
への補正をオン・オフする設定操作手段を備えており、
撮影画像データの補正処理のオン・オフが可能になる。
この結果、撮影状態の選択の自由度が向上するという効
果が有る。Further, according to the present invention, there is provided a setting operation means for turning on / off the correction to a state where there is no tilt,
It is possible to turn on / off the correction processing of the captured image data.
As a result, there is an effect that the degree of freedom in selecting a shooting state is improved.
【0072】また、本発明によれば、撮影手段が本体装
置に着脱可能に配置されている。この結果、例えば、装
置を顔の横に位置する状態での音声通話を行いながら、
通話者の顔の撮影が可能になる。換言すれば、撮影の自
由度が向上するという効果がある。Further, according to the present invention, the photographing means is detachably disposed on the main unit. As a result, for example, while making a voice call with the device positioned next to the face,
The face of the caller can be photographed. In other words, there is an effect that the degree of freedom of photographing is improved.
【0073】さらに、本発明によれば、無線通信や有線
通信によるテレビ電話が可能である。また、当該装置の
傾きを機械的な変化や電気的な変化をもって検出してい
る。これによって、設計(構成)の自由度が向上すると
いう効果が有る。Further, according to the present invention, a videophone by wireless communication or wired communication is possible. Further, the inclination of the device is detected by a mechanical change or an electrical change. Thereby, there is an effect that the degree of freedom of design (configuration) is improved.
【0074】また、本発明によれば、携帯電話本体部及
び撮影・画像表示装置を分離した分離型の携帯テレビ電
話装置において、撮影・画像表示装置の傾きに対する撮
影画像データを補正している。この結果、受信撮影画像
データに対する大型の画面表示が可能になり、また、通
話者の撮影も、その対面した撮影が容易に可能になると
いう効果が有る。Further, according to the present invention, in a separate type portable videophone device in which the portable telephone main body and the photographing / image display device are separated, the photographed image data with respect to the inclination of the photographing / image display device is corrected. As a result, it is possible to display a large-sized screen on the received image data, and it is also possible to easily perform the face-to-face shooting of the caller.
【図1】本発明の携帯テレビ電話装置における撮影画像
データ補正方法及びその装置の実施形態における構成を
示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an embodiment of a captured image data correction method and a device in a portable videophone device of the present invention.
【図2】実施形態にあって携帯テレビ電話装置の正面外
観構成を示す正面図である。FIG. 2 is a front view showing a front appearance configuration of the portable videophone device in the embodiment.
【図3】実施形態にあって実施形態の動作の処理手順を
示す流れ図である。FIG. 3 is a flowchart showing a processing procedure of an operation of the embodiment in the embodiment.
【図4】他の実施形態の携帯テレビ電話装置の正面外観
構成を示す正面図である。FIG. 4 is a front view showing a front external configuration of a portable videophone device according to another embodiment.
【図5】他の実施形態の携帯テレビ電話装置の構成を示
すブロック図である。FIG. 5 is a block diagram illustrating a configuration of a portable videophone device according to another embodiment.
【図6】他の実施形態の撮影及び撮影・画像表示装置の
構成を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration of a shooting and shooting / image display device according to another embodiment.
1 携帯電話本体部 2 カメラ部 11 手ぶれ補正処理オンスイッチ 12 傾き情報検出部 13 ズーム設定部 14 制御部 15 画像入力部 16 画像メモリ部 17 画像補正部 18 画像処理部 19 音声処理部 19a マイクロホン 19b スピーカ 20 無線処理部 21,31 表示部 22,33 入力操作部 30 撮影・画像表示装置 32 カメラ部 Reference Signs List 1 mobile phone main unit 2 camera unit 11 camera shake correction processing on switch 12 tilt information detection unit 13 zoom setting unit 14 control unit 15 image input unit 16 image memory unit 17 image correction unit 18 image processing unit 19 audio processing unit 19a microphone 19b speaker Reference Signs List 20 wireless processing unit 21, 31 display unit 22, 33 input operation unit 30 shooting / image display device 32 camera unit
Claims (13)
画像データの補正方法において、 撮影した撮影画像データを蓄積する段階と、 当該携帯テレビ電話装置の傾きを検出する段階と、 この傾き検出情報に対応して蓄積した撮影画像データを
傾きのない状態に補正する段階と、 を有することを特徴とする携帯テレビ電話装置における
撮影画像データ補正方法。1. A method for correcting photographed image data with respect to the inclination of a portable videophone device, comprising: storing photographed photographed image data; detecting the inclination of the portable videophone device; Correcting the stored captured image data so that the captured image data does not have a tilt. A method for correcting captured image data in a portable videophone device, comprising:
れた際に、撮影の対象領域が変化していると判断して、 蓄積した撮影画像データを傾きのない状態への補正を停
止することを特徴とする請求項1記載の携帯テレビ電話
装置における撮影画像データ補正方法。2. A method according to claim 1, wherein when the perspective setting is performed in the photographing, it is determined that the photographing target area has changed, and the correction of the accumulated photographed image data to a state without inclination is stopped. 2. The method for correcting captured image data in a portable videophone device according to claim 1, wherein:
を補正する携帯テレビ電話装置において、 撮影対象を撮影した撮影画像データを送出する撮影手段
と、 前記撮影手段からの撮影画像データを蓄積する蓄積手段
と、 当該携帯テレビ電話装置の傾きを検出する傾き検出手段
と、 前記傾き検出手段からの傾き検出情報に対応して前記蓄
積手段で蓄積した撮影画像データを傾きのない状態に補
正する補正手段と、 を備えることを特徴とする携帯テレビ電話装置。3. A portable videophone device for correcting photographed image data with respect to an inclination of the device, a photographing means for transmitting photographed image data of a photographed object, and a storing means for storing photographed image data from the photographing means. A tilt detection unit that detects a tilt of the portable videophone device, and a correction unit that corrects the captured image data stored in the storage unit to a state without tilt in accordance with the tilt detection information from the tilt detection unit. A portable videophone device comprising:
を圧縮して出力する圧縮手段を備えることを特徴とする
請求項3記載の携帯テレビ電話装置。4. The portable videophone device according to claim 3, further comprising a compression unit for compressing and outputting the photographed image data corrected by said correction unit.
いると判断して、 傾きのない状態への補正を停止することを特徴とする請
求項3記載の携帯テレビ電話装置。5. A perspective photographing setting unit is provided in the photographing means, and when the perspective photographing setting is performed, it is determined that the photographing target area has changed, and the correction to the state without inclination is stopped. The portable videophone device according to claim 3, wherein:
をオン・オフする設定操作手段を備えることを特徴とす
る請求項3記載の携帯テレビ電話装置。6. The portable videophone device according to claim 3, further comprising a setting operation unit for turning on / off the correction of the correction unit to a state without inclination.
置されることを特徴とする請求項3記載の携帯テレビ電
話装置。7. The portable videophone apparatus according to claim 3, wherein said photographing means is detachably mounted on said main apparatus.
に、 無線電話通信網との音声・画像通信を行うための無線通
信手段と、 少なくとも符号化及び復号化の処理による音声通信を行
うための音声処理手段と、 を備えることを特徴とする携帯テレビ電話装置。8. The portable videophone device according to claim 3, further comprising: wireless communication means for performing voice / image communication with a wireless telephone communication network; and for performing voice communication by at least encoding and decoding processing. A portable videophone device comprising: a voice processing unit;
に、 有線電話通信網との音声・画像通信を行うための有線接
続処理手段と、 少なくとも符号化及び復号化の処理による音声通信を行
うための音声処理手段と、 をさらに備えることを特徴とする携帯テレビ電話装置。9. The portable videophone device according to claim 3, wherein: a wired connection processing unit for performing voice / image communication with a wired telephone communication network; and a voice communication by at least encoding and decoding processes. A portable videophone device, further comprising: audio processing means.
機械的な変化によって検出することを特徴とする請求項
3記載の携帯テレビ電話装置。10. The portable videophone device according to claim 3, wherein the tilt detecting means detects the tilt of the device by a mechanical change including turning on a contact due to movement of mercury.
の輪郭の変化を含む電気的な変化によって検出すること
を特徴とする請求項3記載の携帯テレビ電話装置。11. The portable videophone according to claim 3, wherein the inclination detecting means detects an inclination of the apparatus by an electrical change including a change in outline of photographed image data before and after photographing. apparatus.
の傾きのない状態への補正として、 傾きを検出した時点での撮影画像データを蓄積手段で蓄
積せずに、前回取り込んだ撮影画像データ又は傾きを検
出した後に取り込んだ撮影画像データを用いることを特
徴とする請求項3記載の携帯テレビ電話装置。12. The correction means for correcting the captured image data to a state in which the captured image is not tilted, wherein the captured image data at the time when the tilt is detected is not stored in the storage means, and the captured image data or the tilt previously captured is used. 4. The portable videophone device according to claim 3, wherein photographed image data taken after detection is used.
置を有し、この撮影・画像表示装置の傾きに対する撮影
画像データを補正する分離型の携帯テレビ電話装置にお
いて、 前記撮影・画像表示装置に、 撮影対象を撮影した撮影画像データを送出する撮影手段
と、 この撮影・画像表示装置の傾きを検出する傾き検出手段
と、 受信撮影画像データを画面表示する画面表示手段と、 前記携帯電話本体部からの撮影画像データを受信し、か
つ、前記携帯電話本体部へ前記撮影手段が出力する撮影
画像データを転送するための無線通信手段とを備え、 前記携帯電話本体部に、 前記撮影・画像表示装置へ受信画像データを送信し、か
つ、前記撮影・画像表示装置からの前記撮影手段が出力
する撮影画像データを受信するための本体側無線通信手
段とを備え、 前記携帯電話本体部、前記撮影・画像表示装置の一方
に、 撮影画像データを蓄積する蓄積手段と、 前記傾き検出手段からの傾き検出情報に対応して前記蓄
積手段で蓄積した撮影画像データを傾きのない状態に補
正する補正手段とを備えたことを特徴とする携帯テレビ
電話装置。13. A separation type portable videophone device having a mobile phone main body and a photographing / image display device, and correcting photographed image data with respect to the inclination of the photographing / image display device. A photographing means for transmitting photographed image data of a photographing target; a tilt detecting means for detecting a tilt of the photographing / image display device; a screen display means for displaying received photographed image data on a screen; Wireless communication means for receiving photographed image data from the camera and transferring photographed image data output by the photographing means to the mobile phone main body, wherein the mobile phone main body includes the photographing / image display. A main body side wireless communication unit for transmitting the received image data to the device, and receiving the photographed image data output by the photographing unit from the photographing / image display device; A storage unit for storing captured image data in one of the mobile phone main unit and the photographing / image display device; and photographed image data stored in the storage unit corresponding to inclination detection information from the inclination detection unit. And a correcting means for correcting the tilt angle to a state without tilt.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34415299A JP3636011B2 (en) | 1999-12-03 | 1999-12-03 | Method and apparatus for correcting photographic image data in portable videophone device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34415299A JP3636011B2 (en) | 1999-12-03 | 1999-12-03 | Method and apparatus for correcting photographic image data in portable videophone device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001160958A true JP2001160958A (en) | 2001-06-12 |
JP3636011B2 JP3636011B2 (en) | 2005-04-06 |
Family
ID=18367045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34415299A Expired - Fee Related JP3636011B2 (en) | 1999-12-03 | 1999-12-03 | Method and apparatus for correcting photographic image data in portable videophone device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3636011B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2039148A1 (en) * | 2006-07-10 | 2009-03-25 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
JP2010002513A (en) * | 2008-06-18 | 2010-01-07 | Sony Corp | Electronic binoculars |
WO2017022367A1 (en) * | 2015-08-05 | 2017-02-09 | ソニー株式会社 | Signal processing device and signal processing method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03109891A (en) * | 1989-09-25 | 1991-05-09 | Hitachi Ltd | Portable radio telephone set |
JPH04157987A (en) * | 1990-10-22 | 1992-05-29 | Matsushita Electric Ind Co Ltd | Image pickup device |
JPH04314274A (en) * | 1991-04-12 | 1992-11-05 | Sharp Corp | Video camera with video image blur correction function |
JPH04373374A (en) * | 1991-06-24 | 1992-12-25 | Canon Inc | Image pickup device |
JPH08275049A (en) * | 1995-03-31 | 1996-10-18 | Hitachi Ltd | Image pickup device |
JPH11177876A (en) * | 1997-12-12 | 1999-07-02 | Canon Inc | Deflection correction device, image pickup device, camera unit and lens unit |
JPH11252197A (en) * | 1998-02-27 | 1999-09-17 | Kyocera Corp | Removable radio communication terminal system |
JPH11308589A (en) * | 1998-04-23 | 1999-11-05 | Canon Inc | Image transmitter and its method |
JPH11317934A (en) * | 1998-05-06 | 1999-11-16 | Canon Inc | Image communication device |
-
1999
- 1999-12-03 JP JP34415299A patent/JP3636011B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03109891A (en) * | 1989-09-25 | 1991-05-09 | Hitachi Ltd | Portable radio telephone set |
JPH04157987A (en) * | 1990-10-22 | 1992-05-29 | Matsushita Electric Ind Co Ltd | Image pickup device |
JPH04314274A (en) * | 1991-04-12 | 1992-11-05 | Sharp Corp | Video camera with video image blur correction function |
JPH04373374A (en) * | 1991-06-24 | 1992-12-25 | Canon Inc | Image pickup device |
JPH08275049A (en) * | 1995-03-31 | 1996-10-18 | Hitachi Ltd | Image pickup device |
JPH11177876A (en) * | 1997-12-12 | 1999-07-02 | Canon Inc | Deflection correction device, image pickup device, camera unit and lens unit |
JPH11252197A (en) * | 1998-02-27 | 1999-09-17 | Kyocera Corp | Removable radio communication terminal system |
JPH11308589A (en) * | 1998-04-23 | 1999-11-05 | Canon Inc | Image transmitter and its method |
JPH11317934A (en) * | 1998-05-06 | 1999-11-16 | Canon Inc | Image communication device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2039148A1 (en) * | 2006-07-10 | 2009-03-25 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
EP2039148A4 (en) * | 2006-07-10 | 2009-11-25 | Ricoh Kk | Imaging apparatus and imaging method |
US8022998B2 (en) | 2006-07-10 | 2011-09-20 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
JP2010002513A (en) * | 2008-06-18 | 2010-01-07 | Sony Corp | Electronic binoculars |
US9188791B2 (en) | 2008-06-18 | 2015-11-17 | Sony Corporation | Electronic binoculars |
WO2017022367A1 (en) * | 2015-08-05 | 2017-02-09 | ソニー株式会社 | Signal processing device and signal processing method |
Also Published As
Publication number | Publication date |
---|---|
JP3636011B2 (en) | 2005-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3397163B2 (en) | mobile phone | |
KR100703364B1 (en) | Method of displaying video call image | |
WO2010024415A1 (en) | Communication device | |
JP3809723B2 (en) | Compound equipment | |
KR100689384B1 (en) | Mobile communication terminal having camera function and method thereof | |
KR20010107671A (en) | Data transmission method, apparatus using same, and data transmission system | |
JP5294889B2 (en) | Imaging apparatus and imaging method | |
EP1662761B1 (en) | Method for performing a camera function in a mobile communication terminal | |
JP2004289688A (en) | Television telephone apparatus | |
JP2005151450A (en) | Mobile terminal, video phone system, control program, and recording medium with program recorded thereon | |
JP4028694B2 (en) | CAMERA DEVICE AND ELECTRONIC DEVICE HAVING THE CAMERA DEVICE | |
JP3636011B2 (en) | Method and apparatus for correcting photographic image data in portable videophone device | |
KR100815121B1 (en) | Method for magnifying of selected area using screen division in portable communication terminal | |
JP2004166159A (en) | Cellular phone with built-in camera | |
JP2001111976A (en) | Video photographing device and communication terminal equipment | |
JP4440079B2 (en) | Communication terminal | |
KR100663429B1 (en) | Mobile communication terminal for controlling zoom function and method thereof | |
JP2003188801A (en) | Mobile phone terminal with videophone function | |
KR100678059B1 (en) | Portable composite commmunication terminal having mirror mode and implementation method therof | |
KR100403369B1 (en) | Apparatus and method for indicating direction of camera viewer point in mobile wireless terminal | |
JP4293358B2 (en) | Mobile phone terminal with image communication function | |
JP2003189007A (en) | Cellular phone terminal device with tv telephone function | |
KR100606067B1 (en) | Mobile communication terminal having camera function and method thereof | |
KR100664154B1 (en) | Method for displaying of picture move in wireless terminal | |
JP2012100135A (en) | Portable communication terminal and computer software of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041227 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |