JP2006186764A - Imaging apparatus, and mobile apparatus and mobile phone provided with the same - Google Patents

Imaging apparatus, and mobile apparatus and mobile phone provided with the same Download PDF

Info

Publication number
JP2006186764A
JP2006186764A JP2004379218A JP2004379218A JP2006186764A JP 2006186764 A JP2006186764 A JP 2006186764A JP 2004379218 A JP2004379218 A JP 2004379218A JP 2004379218 A JP2004379218 A JP 2004379218A JP 2006186764 A JP2006186764 A JP 2006186764A
Authority
JP
Japan
Prior art keywords
image data
unit
camera shake
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004379218A
Other languages
Japanese (ja)
Other versions
JP4179279B2 (en
Inventor
Kazuo Nomura
和生 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004379218A priority Critical patent/JP4179279B2/en
Priority to DE602005004496T priority patent/DE602005004496T2/en
Priority to EP05026075A priority patent/EP1679884B1/en
Priority to US11/311,803 priority patent/US7522826B2/en
Priority to CNB2005101350342A priority patent/CN100423548C/en
Publication of JP2006186764A publication Critical patent/JP2006186764A/en
Application granted granted Critical
Publication of JP4179279B2 publication Critical patent/JP4179279B2/en
Priority to US12/400,215 priority patent/US8026948B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus which prevents a user from being made conscious of a correction processing time and to provide a mobile apparatus and a mobile phone. <P>SOLUTION: The imaging apparatus is constituted so that an image storage section temporarily stores original image data imaged by an imaging section, an image data size reduction section reduces a size of the original image data to form display image data, and an image display section displays the display image data, wherein an angular velocity detection section to detect an angular velocity of the imaging section (step S5), a camera-shake discrimination section discriminates whether or not a camera-shake takes place in the original image data on the basis of the detected angular velocity (steps S9, S12), a first camera-shake correction section corrects the camera-shake of the display image data and display the corrected data to the image display section when a result of the discrimination indicates a camera-shake occurrence state (step S13), and a second camera-shake correction section corrects the camera-shake of the original image data to form corrected image data while the first camera-shake correction section displays the display image data on the image display section (steps S15 to S17). <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、被写体を撮像して画像データを生成する撮像部を有する撮像装置並びにこれを使用した携帯機器及び携帯電話機に関する。   The present invention relates to an imaging device having an imaging unit that captures an image of a subject and generates image data, and a portable device and a mobile phone using the imaging device.

従来、手振れ補正モードが選択されたときに、自動的にシャッタ速度をn倍速くして感度もn倍高くし、撮影者が一度シャッタボタンを押すと、自動的に連続してnコマ分の撮影を行い、各コマの撮影画像に対応するデジタル画像データのずれ量を検出し、検出されたずれ量分だけ各デジタル画像データ補正した後に合成して1コマ分のデジタル画像データを生成することにより、最終的に生成されたデジタル画像データはノイズ量が不変で、かつ手ぶれ量を1/nに軽減するようにした手ぶれ補正装置が知られている(例えば、特許文献3参照)。
特開平11−88810号公報(第1頁、図1) 特開平11−95307号公報(第1頁、図1) 特開2004−266648号公報(第1頁、図1)
Conventionally, when the camera shake correction mode is selected, the shutter speed is automatically increased by n times and the sensitivity is increased by n times, and once the photographer presses the shutter button, the image is automatically captured continuously for n frames. And detecting the shift amount of the digital image data corresponding to the captured image of each frame, correcting each digital image data by the detected shift amount, and combining them to generate digital image data for one frame. In addition, there is known a camera shake correction apparatus in which the finally generated digital image data has a constant noise amount and reduces the camera shake amount to 1 / n (see, for example, Patent Document 3).
JP-A-11-88810 (first page, FIG. 1) JP-A-11-95307 (first page, FIG. 1) JP 2004-266648 A (first page, FIG. 1)

しかしながら、上記特許文献1及び2に記載された従来例にあっては、単にカメラに手振れが発生したことを知らせる機能を備えているだけで、手振れを補正した画像データを確認することはできず、再度撮影を行わなければならず、再撮影を行うことができない場合には、手振れ状態の画像データを保存するしか方法がなく、ユーザの使い勝手が悪いという未解決の課題を有している。   However, the conventional examples described in the above-mentioned Patent Documents 1 and 2 simply have a function of notifying the camera that camera shake has occurred, and cannot check image data corrected for camera shake. If the image has to be taken again and cannot be taken again, the only way to save the image data in the camera shake state is to solve the problem of unsatisfactory user convenience.

また、上記特許文献3に記載された従来例にあっては、手ぶれ補正モードが設定されると、自動的にシャッタ速度を上げると共に感度も上げて複数枚の画像データを撮像し、撮像した複数枚の画像データを同時に処理する必要があり、必要となるメモリ量及び演算処理量が大きくなってしまい、補正処理後の画像データを表示部に表示するまでの時間が長くなり、ユーザーに補正処理時間が長いという印象を与えてしまうという未解決の課題がある。   Further, in the conventional example described in Patent Document 3, when the camera shake correction mode is set, a plurality of image data is captured by automatically increasing the shutter speed and increasing the sensitivity and capturing a plurality of image data. It is necessary to process the image data of the sheet at the same time, which increases the amount of memory and calculation processing required, and increases the time until the image data after correction processing is displayed on the display unit. There is an unresolved issue that gives the impression that time is long.

そこで、本発明は、上記従来例の未解決の課題に着目したものであり、ユーザーに補正処理時間を意識させることがない撮像装置並びに携帯機器及び携帯電話機を提供することを目的としている。   Accordingly, the present invention focuses on the unsolved problems of the above-described conventional example, and an object thereof is to provide an imaging device, a mobile device, and a mobile phone that do not make the user aware of the correction processing time.

第1の発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部と、該撮像部で撮像した原画像データを一時格納する画像記憶部と、該画像記憶部に格納されている画像データのサイズを縮小して表示用画像データを形成する画像データサイズ縮小部と、該画像データサイズ縮小部で形成した表示用画像データを表示する画像表示部とを備えた撮像装置であって、
撮像した画像データに手振れが発生しているか否かを判定する手振れ判定部と、該手振れ判定部の判定結果が手振れ発生状態であるときに、前記画像データサイズ縮小部で形成した表示用画像データを手振れ補正して画像表示部に表示する第1の手振れ補正部と、該第1の手振れ補正部で前記画像表示部に表示用画像データを表示している間に前記原画像データを手振れ補正して補正画像データを形成する第2の手振れ補正部とを備えたことを特徴としている。
An imaging device according to a first aspect of the present invention is stored in the imaging unit that images a subject and generates image data, an image storage unit that temporarily stores original image data captured by the imaging unit, and the image storage unit. An image data size reduction unit that reduces the size of image data that is displayed to form display image data, and an image display unit that displays the display image data formed by the image data size reduction unit. And
A camera shake determination unit that determines whether or not camera shake has occurred in the captured image data, and display image data that is formed by the image data size reduction unit when the determination result of the camera shake determination unit is a camera shake occurrence state A first camera shake correction unit that corrects camera shake and displays the image on the image display unit, and the original image data is corrected while the display image data is being displayed on the image display unit by the first camera shake correction unit. And a second camera shake correction unit for forming corrected image data.

この第1の発明では、電子撮像部で被写体を撮像して画像データを生成したときに、手振れ判定部で撮像した画像データに手振れが発生しているか否かを判定し、手振れが発生しているときに、第1の手振れ補正部で画像データ縮小部で形成した表示用画像データについて手振れ補正を行って画像表示部に表示されるので、画像表示部に補正画像を表示するまでの時間を短縮することができ、ユーザーが補正画像を視認している状態で、第2の手振れ補正部で、原画像データに対して手振れ補正を行うので、ユーザーに手振れ補正処理時間を意識させることなく、現画像データの手振れ補正処理を行うことができる。   In the first invention, when the electronic imaging unit captures a subject and generates image data, it is determined whether or not camera shake has occurred in the image data captured by the camera shake determination unit. The image data for display formed by the image data reduction unit in the first camera shake correction unit is displayed on the image display unit, so that the time until the corrected image is displayed on the image display unit is reduced. Since the camera shake correction is performed on the original image data in the second camera shake correction unit in a state where the user can visually recognize the corrected image, without making the user aware of the camera shake correction processing time, A camera shake correction process for the current image data can be performed.

第2の発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部と、該撮像部で撮像した原画像データを一時格納する画像記憶部と、該画像記憶部に格納されている画像データのサイズを縮小して表示用画像データを形成する画像データサイズ縮小部と、該画像データサイズ縮小部で形成した表示用画像データを表示する画像表示部とを備えた撮像装置であって、前記撮像部の角速度を検出する角速度検出部と、該角速度検出部で検出した角速度に基づいて撮像した画像データに手振れが発生しているか否かを判定する手振れ判定部と、該手振れ判定部の判定結果が手振れ発生状態であるときに、前記画像データサイズ縮小部で形成した表示用画像データを手振れ補正して画像表示部に表示する第1の手振れ補正部と、該第1の手振れ補正部で前記画像表示部に表示用画像データを表示している間に前記原画像データを手振れ補正して補正画像データを形成する第2の手振れ補正部とを備えたことを特徴としている。   An imaging device according to a second aspect of the invention is stored in the imaging unit that images a subject and generates image data, an image storage unit that temporarily stores original image data captured by the imaging unit, and the image storage unit. An image data size reduction unit that reduces the size of image data that is displayed to form display image data, and an image display unit that displays the display image data formed by the image data size reduction unit. An angular velocity detection unit that detects an angular velocity of the imaging unit, a camera shake determination unit that determines whether or not a camera shake occurs in image data captured based on the angular velocity detected by the angular velocity detection unit, and the camera shake determination A first camera shake correction unit that corrects the image data for display formed by the image data size reduction unit and displays the image data on the image display unit when the determination result of the unit is a camera shake occurrence state; A shake correction unit includes a second shake correction unit that corrects the original image data to form corrected image data while displaying the display image data on the image display unit. .

この第2の発明では、電子撮像部で被写体を撮像して画像データを生成したときに、ジャイロセンサ等の角速度検出部で角速度を検出し、手振れ判定部で撮像した画像データに手振れが発生しているか否かを判定し、手振れが発生しているときに、第1の手振れ補正部で画像データ縮小部で形成した表示用画像データについて手振れ補正を行って画像表示部に表示されるので、画像表示部に補正画像を表示するまでの時間を短縮することができ、ユーザーが補正画像を視認している状態で、第2の手振れ補正部で、原画像データに対して手振れ補正を行うので、ユーザーに手振れ補正処理時間を意識させることなく、現画像データの手振れ補正処理を行うことができる。   In the second aspect of the invention, when the electronic image pickup unit picks up the subject and generates image data, the angular velocity detection unit such as a gyro sensor detects the angular velocity, and the camera shake occurs in the image data picked up by the camera shake determination unit. When the camera shake is occurring, the first camera shake correction unit performs the camera shake correction on the display image data formed by the image data reduction unit, and is displayed on the image display unit. The time until the corrected image is displayed on the image display unit can be shortened, and the camera shake correction is performed on the original image data by the second camera shake correction unit while the user is viewing the corrected image. Therefore, it is possible to perform the camera shake correction process for the current image data without making the user aware of the camera shake correction process time.

また、第3の発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部と、該撮像部で撮像した原画像データを一時格納する画像記憶部と、該画像記憶部に格納されている画像データのサイズを縮小して表示用画像データを形成する画像データサイズ縮小部と、該画像データサイズ縮小部で形成した表示用画像データを表示する画像表示部とを備えた撮像装置であって、前記撮像部の角速度を検出する角速度検出部と、該角速度検出部で検出した角速度に基づいて前記画像記憶部に記憶されている原画像データに手振れが発生しているか否かを判定する第1の手振れ判定部と、該第1の手振れ判定部の判定結果が手振れ発生状態であるときに、前記画像データサイズ縮小部で形成した表示用画像データに手振れが発生しているか否かを判定する第2の手振れ判定部と、該第2の手振れ判定部の判定結果が手振れ発生状態であるときに前記縮小画像データを手振れ補正して前記画像表示部に表示する第1の手振れ補正部と、該第1の手振れ補正部で前記画像表示部に表示用画像データを表示している間に前記原画像データを手振れ補正して補正画像データを形成する第2の手振れ補正部とを備えたことを特徴としている。   An image pickup apparatus according to a third aspect of the invention is an image pickup unit that picks up a subject and generates image data, an image storage unit that temporarily stores original image data picked up by the image pickup unit, and a storage in the image storage unit. An image pickup apparatus comprising: an image data size reduction unit that reduces the size of the image data that is displayed to form display image data; and an image display unit that displays the display image data formed by the image data size reduction unit An angular velocity detection unit that detects an angular velocity of the imaging unit, and whether or not camera shake has occurred in the original image data stored in the image storage unit based on the angular velocity detected by the angular velocity detection unit Whether the camera shake has occurred in the image data for display formed by the image data size reduction unit when the determination result of the first camera shake determination unit and the determination result of the first camera shake determination unit are in the state of occurrence of camera shake A first camera shake determination unit that determines whether or not the reduced image data is subjected to camera shake correction and is displayed on the image display unit when a determination result of the second camera shake determination unit is a camera shake occurrence state. A correction unit; and a second camera shake correction unit configured to correct the original image data to form corrected image data while displaying the display image data on the image display unit by the first camera shake correction unit. It is characterized by having.

この第3の発明では、第1の手振れ判定部で原画像データに手振れが発生していると判定したときに、第2の手振れ判定部で縮小された表示用画像データに手振れが発生しているか否かを判定し、手振れが発生していないときには直ちに表示用画像データを画像表示部に表示することができ、手振れが発生しているときには、第1の手振れ補正部で表示用画像データを手振れ補正して画像表示部に表示することにより、補正表示用画像データを画像表示部により短時間で表示することが可能となり、この補正表示用画像データを表示部で表示している状態で、第2の手振れ補正部で、原画像データに対して手振れ補正処理を行って補正画像データを形成するので、ユーザーが補正処理時間を意識させることなく、原画像データの手振れ補正処理を行うことができる。   In the third aspect of the invention, when the first camera shake determination unit determines that camera shake has occurred in the original image data, camera shake has occurred in the display image data reduced by the second camera shake determination unit. The display image data can be immediately displayed on the image display unit when no camera shake has occurred, and when the camera shake has occurred, the display image data is displayed by the first camera shake correction unit. By correcting the camera shake and displaying it on the image display unit, it becomes possible to display the correction display image data in a short time on the image display unit, and in the state where the correction display image data is displayed on the display unit, Since the second image stabilization unit performs image stabilization processing on the original image data to form corrected image data, the image stabilization processing for the original image data can be performed without the user being aware of the correction processing time. It can be carried out.

第4の発明に係る撮像装置は、第2又は第3の発明において、前記角速度検出部は、ジャイロセンサで構成されていることを特徴としている。
この第4の発明では、ジャイロセンサで角速度を検出するので、撮像部の角速度を正確に検出することができ、正確な回転角度を算出することができる。
第5の発明に係る撮像装置は、第4の発明において、前記ジャイロセンサは、方形の水晶薄板で構成される固定基板と、該固定基板の一方の対向側面に支持部を介して平行に配設された一対の励振用振動腕と、前記固定基板の他方の対向側面に連設された検出用振動腕とで構成されていることを特徴としている。
An imaging device according to a fourth invention is characterized in that, in the second or third invention, the angular velocity detection unit is constituted by a gyro sensor.
In the fourth aspect of the invention, since the angular velocity is detected by the gyro sensor, the angular velocity of the imaging unit can be accurately detected, and an accurate rotation angle can be calculated.
An image pickup apparatus according to a fifth invention is the imaging device according to the fourth invention, wherein the gyro sensor is arranged in parallel with a fixed substrate formed of a rectangular quartz thin plate, and one opposing side surface of the fixed substrate via a support portion. It is characterized by comprising a pair of excitation vibration arms provided and a detection vibration arm connected to the other opposing side surface of the fixed substrate.

この第5の発明では、ジャイロセンサを小型化することができ、デジタルカメラや携帯電話機等に容易に搭載することができる。
第6の発明に係る撮像装置は、第1乃至第6の発明の何れか1つにおいて、前記第1の手振れ補正部は、表示用画像データを手振れ補正して画像表示部に表示する際に、手振れ補正を行ったことを表す手振れ補正マークを補正表示用画像データと共に表示するように構成されていることを特徴としている。
In the fifth aspect of the invention, the gyro sensor can be reduced in size and can be easily mounted on a digital camera, a cellular phone, or the like.
An image pickup apparatus according to a sixth invention is the image pickup device according to any one of the first to sixth inventions, wherein the first camera shake correction unit corrects the image data for display and displays the image data on the image display unit. The camera shake correction mark indicating that the camera shake correction has been performed is displayed together with the correction display image data.

この第6の発明では、表示用画像データを手振れ補正して画像表示部に表示する際に、手振れ補正を行ったことを表す補正マークを補正表示用画像データと共に表示するので、ユーザーが手振れが発生したことを認識することができる。
第7の発明に係る撮像装置は、第1乃至第6の発明の何れか1つにおいて、前記第2の手振れ補正部は、原画像データに対する手振れ補正が終了したときに、形成した補正画像データを画像データ縮小部に供給するように構成されていることを特徴としている。
In the sixth aspect of the invention, when the display image data is corrected and displayed on the image display unit, a correction mark indicating that the camera shake correction has been performed is displayed together with the correction display image data. You can recognize what happened.
In any one of the first to sixth inventions, the image pickup device according to a seventh aspect is the corrected image data formed when the second hand shake correction unit finishes the hand shake correction for the original image data. Is supplied to the image data reduction unit.

この第7の発明では、第2の手振れ補正部で、原画像データに対する手振れ補正が終了したときに、形成した補正画像データを画像データ縮小部に供給するので、補正画像データが表示用画像データに縮小されて画像表示部に表示されるので、ユーザーが補正画像データを確認することができる。
第8の発明に係る撮像装置は、第1乃至第6の発明の何れか1つにおいて、前記第2の手振れ補正部は、原画像データに対する手振れ補正が終了したときに、形成した補正画像データを表示するか否かを選択する選択表示を前記画像表示部に表示するように構成されていることを特徴としている。
In the seventh aspect of the invention, when the second camera shake correction unit completes the camera shake correction for the original image data, the formed corrected image data is supplied to the image data reduction unit. Since the image is reduced and displayed on the image display unit, the user can check the corrected image data.
The imaging device according to an eighth aspect of the present invention is the imaging device according to any one of the first to sixth aspects, wherein the second camera shake correction unit forms the corrected image data formed when the camera shake correction for the original image data is completed. A selection display for selecting whether to display or not is configured to be displayed on the image display unit.

この第8の発明では、原画像データに対する手振れ補正が終了したときに、形成した補正画像データを表示するか否かを選択する選択表示を画像表示部に表示するので、ユーザーが補正画像データを表示するか否かを選択することができる。
第9の発明に係る携帯機器は、第1乃至第8の発明の何れか1つの撮像装置を備えているので、手振れ補正処理をユーザーが意識することなく行うことができる。
In the eighth aspect of the invention, when the camera shake correction for the original image data is completed, a selection display for selecting whether or not to display the formed corrected image data is displayed on the image display unit. Whether to display or not can be selected.
Since the mobile device according to the ninth aspect includes any one of the imaging devices according to the first to eighth aspects, the camera shake correction process can be performed without the user being aware of it.

第10の発明に係る携帯電話機は、第1乃至第8の発明の何れか1つの撮像装置を備えているので、手振れし易いと共に、演算処理能力に限界がある携帯電話機でユーザーに画像補正処理を意識させることなく、手振れ補正処理を行うことができる。   Since the mobile phone according to the tenth invention includes any one of the imaging devices according to the first to eighth inventions, the image correction processing is easily performed on the user by the mobile phone which is easy to shake and has a limited calculation processing capability. The camera shake correction process can be performed without being aware of the above.

以下、本発明を携帯電話機に適用した場合の実施の形態を図面に基づいて説明する。
図1は、本発明の一実施形態を示す斜視図であって、図中、CTは携帯電話機であり、長方形板状のベース部材1とこのベース部材1の上面を覆う蓋部材2とがヒンジ3を介して連結された構成を有する。
ベース部材1には、図1(a)に示すように、その上面に操作ボタンを有する操作部4が配置されていると共に、ヒンジ3とは反対側にマイク5が配置され、さらに図1(b)に示すようにヒンジ3側の端面に外部に突出して無線通信基地局と通信する無線通信用アンテナ6が取付けられている。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments in the case where the present invention is applied to a mobile phone will be described below based on the drawings.
FIG. 1 is a perspective view showing an embodiment of the present invention, in which CT is a mobile phone, and a rectangular plate-like base member 1 and a lid member 2 covering the upper surface of the base member 1 are hinged. 3 connected to each other.
As shown in FIG. 1A, the base member 1 is provided with an operation portion 4 having operation buttons on its upper surface, and a microphone 5 is disposed on the side opposite to the hinge 3. As shown in b), a radio communication antenna 6 that protrudes to the outside and communicates with the radio communication base station is attached to the end face on the hinge 3 side.

蓋部材2には、図1(a)に示すようにベース部材1との対向面に画像表示部8が設けられていると共に、画像表示部8のヒンジ3とは反対側にスピーカ9が設けられている。ここで、画像表示部8としては、例えば液晶パネル、有機ELパネル又はプラズマディスプレイパネルなどを適用することができる。
また、蓋部材2の裏面には図1(b)に示すように、撮像装置10が取付けられていると共に、この撮像装置10の近傍における蓋部材2の内部に角速度検出部としてのジャイロセンサ11が設けられている。
As shown in FIG. 1A, the lid member 2 is provided with an image display unit 8 on the surface facing the base member 1, and a speaker 9 is provided on the opposite side of the image display unit 8 from the hinge 3. It has been. Here, as the image display unit 8, for example, a liquid crystal panel, an organic EL panel, a plasma display panel, or the like can be applied.
Further, as shown in FIG. 1B, an imaging device 10 is attached to the back surface of the lid member 2, and a gyro sensor 11 as an angular velocity detection unit is provided inside the lid member 2 in the vicinity of the imaging device 10. Is provided.

このジャイロセンサ11は、図2に示すように、センサ本体111が圧電材料等を使用したパッケージ112内に収容されており、このパッケージ112内は、センサ本体111を収容できる形態の箱状に形成されており、センサ本体111を励振する励振回路等の駆動手段(図示せず)とセンサ本体111からの振動を検出する回路(図示せず)等を備えている。   As shown in FIG. 2, the gyro sensor 11 includes a sensor body 111 housed in a package 112 using a piezoelectric material or the like, and the package 112 is formed in a box shape capable of housing the sensor body 111. And a drive means (not shown) such as an excitation circuit for exciting the sensor body 111, a circuit (not shown) for detecting vibration from the sensor body 111, and the like.

センサ本体111は、水晶をエッチングして薄板状に形成された正方形の固定基板113と、この固定基板113の一方の対向側面に支持部114及び115を介して平行に配設された一対の励振用振動腕116及び117と、固定基板113の他方の対向側面に連接された検出用振動腕118及び119とで構成されている。各励振用振動腕116及び117には、夫々長手方向に並んだ長い溝120及び121が形成されており、これら溝120及び121内に互いに異極となる励振用電極122及び123が配設されている。   The sensor main body 111 includes a square fixed substrate 113 formed into a thin plate by etching a crystal, and a pair of excitations arranged in parallel on one opposing side surface of the fixed substrate 113 via support portions 114 and 115. The vibration arms 116 and 117 for detection and the vibration arms 118 and 119 for detection connected to the other opposite side surface of the fixed substrate 113 are configured. Each of the vibrating arms for excitation 116 and 117 is formed with long grooves 120 and 121 arranged in the longitudinal direction, and excitation electrodes 122 and 123 having different polarities are arranged in the grooves 120 and 121, respectively. ing.

そして、このジャイロセンサ11では、励振用振動腕116及び117に駆動手段としての図示しない励振回路から、駆動用電圧を印加することにより、図2で矢印Eに示すように、それらの先端部同志が接近したり離間したりするようにして振動する。この際に、図2に示すように、紙面の平面内で固定基板113の中心Oの回りに、回転角速度ωが働くと、コリオリの力Fcは、図2のFの方向に働く。この振動は支持部114及び115及び固定基板113を介して検出用振動腕118及び119に伝達される。つまり、励振用振動腕116及び117はX軸方向の振動の方向と回転角速度ωとのベクトル積の方向に働くコリオリの力Fcを受けて、次式にしたがって、Y軸に沿って+Y方向及び−Y方向に交互に振動するようになっている(ウオーク振動)。この振動は支持部114及び115と固定基板113を介して検出用振動腕118及び119に伝達されて、これら検出用振動腕118及び119が図2で矢印Hで示すようによう振動する。   In the gyro sensor 11, by applying a driving voltage to the excitation vibrating arms 116 and 117 from an excitation circuit (not shown) as a driving means, as shown by an arrow E in FIG. Vibrate as they approach and separate. At this time, as shown in FIG. 2, when the rotational angular velocity ω acts around the center O of the fixed substrate 113 in the plane of the paper, the Coriolis force Fc acts in the direction F of FIG. This vibration is transmitted to the detection vibrating arms 118 and 119 via the support portions 114 and 115 and the fixed substrate 113. In other words, the excitation vibrating arms 116 and 117 receive the Coriolis force Fc acting in the vector product direction of the vibration direction in the X-axis direction and the rotational angular velocity ω, and according to the following formula, It vibrates alternately in the -Y direction (walk vibration). This vibration is transmitted to the detection vibrating arms 118 and 119 via the support portions 114 and 115 and the fixed substrate 113, and the detection vibrating arms 118 and 119 vibrate as indicated by an arrow H in FIG.

Fc=2mV・ω
ここで、mは励振用振動腕116及び117の振動部分の質量、Vは励振用振動腕116及び117の速度である。
このため、検出用振動腕118及び119は、その断面を表す図3に示すように、図2のH方向の振動によって、検出用振動腕118及び119の一方の検出用電極124と他方の検出用電極125との間には、矢印で示すような電界が生じる。この検出用振動腕118及び119の振動に基づく電界を、信号として取り出することにより、角速度ωを検出することができる。このような構成のジャイロセンサ11を使用することにより、1mm角程度の小さなパッケージとすることができ、携帯電話機CTに十分に搭載することが可能な大きさとなる。
Fc = 2mV · ω
Here, m is the mass of the vibrating portion of the excitation vibrating arms 116 and 117, and V is the velocity of the excitation vibrating arms 116 and 117.
For this reason, as shown in FIG. 3 showing a cross section of the detection vibrating arms 118 and 119, one detection electrode 124 of the detection vibrating arms 118 and 119 and the other detection are caused by the vibration in the H direction of FIG. An electric field as indicated by an arrow is generated between the working electrode 125. The angular velocity ω can be detected by taking out an electric field based on the vibration of the vibrating arms for detection 118 and 119 as a signal. By using the gyro sensor 11 having such a configuration, a small package of about 1 mm square can be obtained, and the size can be sufficiently mounted on the mobile phone CT.

そして、撮像装置10は、図4に示すように、被写体を撮像する撮像部12と、この撮像部12から出力される原画像データを格納するRAM、DRAM等で構成される画像記憶部としてのバッファメモリ13と、このバッファメモリ13に格納された原画像データを例えばJPEG形式で画像圧縮処理して圧縮画像データを生成する画像圧縮部14と、この画像圧縮部14から出力される圧縮画像データを記憶するフラッシュメモリ15と、このフラッシュメモリ15に記憶されている圧縮画像データを読出してJPEG形式に従って画像伸張してバッファメモリ13に格納する画像伸張部16と、バッファメモリ13に格納されている画像データを低画素数に縮小した表示用画像データを記憶するVRAM17と、このVRAM17に記憶されている表示用画像データを画像表示部8に表示する表示制御部18と、撮像部12、バッファメモリ13、画像圧縮部14、フラッシュメモリ15、画像伸長部16、VRAM17、表示制御部18を制御する制御部としてのマイクロコンピュータ19、フラッシュメモリ15に記憶されている画像データを外部のパーソナルコンピュータやプリンタ等に出力するインタフェース部20とを備えている。   As shown in FIG. 4, the imaging device 10 is an image storage unit that includes an imaging unit 12 that captures an image of a subject and RAM, DRAM, and the like that store original image data output from the imaging unit 12. A buffer memory 13, an image compression unit 14 that generates compressed image data by subjecting the original image data stored in the buffer memory 13 to image compression processing in, for example, JPEG format, and compressed image data output from the image compression unit 14 Is stored in the buffer memory 13, the image decompression unit 16 that reads the compressed image data stored in the flash memory 15, decompresses the image according to the JPEG format, and stores the decompressed image data in the buffer memory 13. A VRAM 17 for storing display image data obtained by reducing the image data to a low number of pixels, and the VRAM 17 A display control unit 18 for displaying the displayed display image data on the image display unit 8, an imaging unit 12, a buffer memory 13, an image compression unit 14, a flash memory 15, an image expansion unit 16, a VRAM 17, and a display control unit 18. A microcomputer 19 as a control unit to be controlled and an interface unit 20 for outputting image data stored in the flash memory 15 to an external personal computer, a printer or the like are provided.

ここで、撮像部12は、レンズ21を透過して入射した被写体像がCCD撮像素子22によって光電変換され、このCCD撮像素子22から出力される光電変換されたアナログ信号がA/D変換部23でデジタル信号に変換されて画像処理部24に供給され、この画像処理部で、例えばカンマ補正やホワイトバランス調整などの各種画像補正処理を施してバッファメモリ13に出力するように構成されている。   Here, in the imaging unit 12, the subject image that has entered through the lens 21 is photoelectrically converted by the CCD imaging device 22, and the photoelectrically converted analog signal output from the CCD imaging device 22 is converted into the A / D conversion unit 23. The digital signal is converted into a digital signal and supplied to the image processing unit 24. The image processing unit performs various image correction processes such as comma correction and white balance adjustment, and outputs the result to the buffer memory 13.

バッファメモリ13は例えば1200×1600ピクセルの画像データを記憶するように構成され、VRAM17は例えば120×160ピクセルの表示用画像データを記憶するように構成されている。
マイクロコンピュータ19には、ジャイロセンサ11で検出した角速度及び操作部4から入力される操作信号が入力され、内装されたROMやRAMに格納されているオペレーティングシステム、アプリケーションプログラムなどの各種のプログラムを実行して、撮像部12、バッファメモリ13、画像圧縮部14、フラッシュメモリ15、画像伸長部16、VRAM17、表示制御部18を制御する。
The buffer memory 13 is configured to store image data of 1200 × 1600 pixels, for example, and the VRAM 17 is configured to store image data for display of 120 × 160 pixels, for example.
The microcomputer 19 receives the angular velocity detected by the gyro sensor 11 and the operation signal input from the operation unit 4, and executes various programs such as an operating system and application programs stored in the built-in ROM and RAM. Then, the imaging unit 12, the buffer memory 13, the image compression unit 14, the flash memory 15, the image expansion unit 16, the VRAM 17, and the display control unit 18 are controlled.

そして、マイクロコンピュータ19では、図5に示す撮像処理を実行する。
この画像処理は、メニュー画面で撮影モードが選択されたときに実行開始され、先ず、ステップS1で、操作部4でシャッタボタン4sが押されたか否かを判定し、シャッタボタン4sが押されていないときには、ステップS2に移行して、撮像部12で撮像された画像データをバッファメモリ13に格納し、次いでステップS3に移行して、バッファメモリ13に格納された画像データを縮小して表示用画像データを形成し、これをVRAM17に格納し、次いでステップS4に移行して、VRAM17に格納された表示用画像データを画像表示部8に出力して表示してから前記ステップS1に戻る。
Then, the microcomputer 19 executes the imaging process shown in FIG.
This image processing is started when the shooting mode is selected on the menu screen. First, in step S1, it is determined whether or not the shutter button 4s is pressed by the operation unit 4, and the shutter button 4s is pressed. If not, the process proceeds to step S2, and the image data captured by the imaging unit 12 is stored in the buffer memory 13, and then the process proceeds to step S3 to reduce the image data stored in the buffer memory 13 for display. Image data is formed, stored in the VRAM 17, and then the process proceeds to step S4, where the display image data stored in the VRAM 17 is output and displayed on the image display unit 8, and then the process returns to step S1.

また、ステップS1の判定結果が、シャッタボタン4sが押されたときにはステップS5に移行して、ジャイロセンサ11で検出した角速度を読込み、次いでステップS6に移行して、読込んだ角速度を積分演算して回転角度θを算出する。
次いで、ステップS7に移行して、撮像部12から出力されるデジタル画像データをバッファメモリ13に例えば1200×1600ピクセルの静止画像データとして格納し、次いでステップS8に移行して、バッファメモリ13に格納されている静止画像データを120×160ピクセルの表示用画像データに縮小してVRAM17に格納する。
If the determination result of step S1 is that the shutter button 4s is pressed, the process proceeds to step S5, the angular velocity detected by the gyro sensor 11 is read, and then the process proceeds to step S6, where the read angular velocity is integrated. To calculate the rotation angle θ.
Next, the process proceeds to step S7, and the digital image data output from the imaging unit 12 is stored as still image data of, for example, 1200 × 1600 pixels in the buffer memory 13, and then the process proceeds to step S8 and stored in the buffer memory 13. The still image data thus displayed is reduced to display image data of 120 × 160 pixels and stored in the VRAM 17.

次いで、ステップS9に移行して、回転角度θが予め設定した原画像データに手振れが発生する第1の閾値θt1を超えているか否かを判定し、θ≦θt1であるときには原画像データに手振れが発生していないものと判断してステップS10に移行し、VRAM17に格納されている表示用画像データを画像表示部8に供給して表示し、次いでステップS11に移行して、バッファメモリ13に格納されている原画像データを画像圧縮部14に供給してJPEG形式で圧縮した圧縮画像データを形成し、この圧縮画像データにジャイロセンサ11で検出した加速度を例えばメタデータとして付加してフラッシュメモリ15に記憶してから撮像処理を終了する。   Next, the process proceeds to step S9, where it is determined whether or not the rotation angle θ exceeds a first threshold value θt1 at which camera shake occurs in preset original image data. If θ ≦ θt1, camera shake is detected in the original image data. In step S 10, the display image data stored in the VRAM 17 is supplied to the image display unit 8 for display, and then the process proceeds to step S 11 in the buffer memory 13. The stored original image data is supplied to the image compression unit 14 to form compressed image data compressed in the JPEG format. The acceleration detected by the gyro sensor 11 is added to the compressed image data as, for example, metadata, and the flash memory. 15, the imaging process is terminated.

一方、ステップS9の判定結果がθ>θt1であるときには、ステップS12に移行して、回転角度θが縮小された表示用画像データに手振れが発生する第1の閾値θt1より大きな値の第2の閾値θt2(>θt1)を超えているか否かを判定し、θ≦θt2であるときには縮小された表示用画像データに手振れが発生していないもの判断して後述するステップS14にジャンプする。   On the other hand, when the determination result in step S9 is θ> θt1, the process proceeds to step S12, and a second value that is larger than the first threshold value θt1 at which camera shake occurs in the display image data with the rotation angle θ reduced. It is determined whether or not the threshold value θt2 (> θt1) is exceeded. If θ ≦ θt2, it is determined that no camera shake has occurred in the reduced display image data, and the process jumps to step S14 to be described later.

また、ステップS12の判定結果がθ>θt2であるときには、縮小した表示用画像データに手振れが発生したものと判断してステップS13に移行して、VRAM17に格納されている表示用画像データに対して回転角度θに基づいて手振れ補正処理を行ってから再度VRAM17に書込んでから前記ステップS14に移行する。
ステップS14では、VRAM17に格納されている表示用画像データを画像表示部8に出力して表示してからステップS15に移行する。
If the determination result in step S12 is θ> θt2, it is determined that camera shake has occurred in the reduced display image data, the process proceeds to step S13, and the display image data stored in the VRAM 17 is detected. Then, after performing the camera shake correction process based on the rotation angle θ, the process is written again in the VRAM 17, and then the process proceeds to step S14.
In step S14, the display image data stored in the VRAM 17 is output and displayed on the image display unit 8, and then the process proceeds to step S15.

このステップS15では、バッファメモリ13に格納されている原画像データに対して回転角度θに基づいて手振れ補正処理を行って補正画像データを形成し、次いでステップS16に移行して、形成された補正画像データを画像圧縮部14に供給してJPEG形式で画像圧縮した圧縮画像データを形成し、次いでステップS17に移行して、圧縮画像データにジャイロセンサ11で検出した加速度を例えばメタデータとして付加してからフラッシュメモリ15に記憶する保存処理を行ってから撮像処理を終了する。   In step S15, camera shake correction processing is performed on the original image data stored in the buffer memory 13 based on the rotation angle θ to form corrected image data. Then, the process proceeds to step S16, and the formed correction is performed. The image data is supplied to the image compression unit 14 to form compressed image data obtained by compressing the image in the JPEG format. Then, the process proceeds to step S17, and the acceleration detected by the gyro sensor 11 is added to the compressed image data as, for example, metadata. Then, after performing the storage process stored in the flash memory 15, the imaging process is terminated.

この図5の処理において、ステップS2の処理及びジャイロセンサ11が角速度検出部に対応し、ステップS3及びS8の処理及びVRAM17が画像データサイズ縮小部に対応し、ステップS9及びS10の処理が手振れ判定部に対応し、このうちステップS9の処理が第1の手振れ判定部に対応し、ステップS10の処理が第2の手振れ判定部に対応し、ステップS13の処理が第1の手振れ補正部に対応し、ステップS15〜S17の処理が第2の手振れ補正部に対応している。   In the process of FIG. 5, the process of step S2 and the gyro sensor 11 correspond to the angular velocity detection unit, the process of steps S3 and S8 and the VRAM 17 correspond to the image data size reduction unit, and the process of steps S9 and S10 are determined as camera shake. The processing in step S9 corresponds to the first camera shake determination unit, the processing in step S10 corresponds to the second camera shake determination unit, and the processing in step S13 corresponds to the first camera shake correction unit. The processing in steps S15 to S17 corresponds to the second camera shake correction unit.

次に、上記実施形態の動作を説明する。
今、携帯電話機CTを図1(a)に示すように、ベース部材1に対して蓋部材2を開いた状態で、画像表示部8にメニュー画面から撮影モードを選択すると、図5に示す撮像処理が実行開始される。
このときシャッタボタン4sを押していない状態では、レンズ21を被写体に向けると、被写体像がレンズ21を透過してCCD撮像素子22上に結像され、このCCD撮像素子22で光電変換され、このCCD撮像素子22から出力されるアナログ信号がA/D変換部23でデジタル信号に変換された後画像処理部24で、ガンマ補正やホワイトバランス調整などの各種画像補正処理を施した画像データがバッファメモリ13に格納される(ステップS2)。このバッファメモリ13に格納された画像データは縮小処理されて表示用画像データとしてVRAM17に記憶され(ステップS3)、このVRAM17に記憶された表示用画像データが画像表示部8に表示される(ステップS4)。
Next, the operation of the above embodiment will be described.
As shown in FIG. 1A, when the cellular phone CT is in a state where the lid member 2 is opened with respect to the base member 1 and the photographing mode is selected from the menu screen on the image display unit 8, the imaging shown in FIG. The process is started.
At this time, when the shutter button 4s is not pressed, when the lens 21 is directed toward the subject, the subject image passes through the lens 21 and is formed on the CCD image pickup device 22, and is photoelectrically converted by the CCD image pickup device 22. After the analog signal output from the image sensor 22 is converted into a digital signal by the A / D converter 23, the image data subjected to various image correction processes such as gamma correction and white balance adjustment in the image processing unit 24 is buffer memory. 13 (step S2). The image data stored in the buffer memory 13 is reduced and stored in the VRAM 17 as display image data (step S3), and the display image data stored in the VRAM 17 is displayed on the image display unit 8 (step S3). S4).

このため、画像表示部8に表示された被写体画像を視認しながら構図を考え、構図が決定された時点で、シャッタボタン4sを押すとシャッタ音が発せられる。
このように、シャッタボタン4sが押されると、図5の処理において、ステップS1からステップS5に移行して、そのときのジャイロセンサ11で検出した角速度が読込まれ、読込んだ角速度を積分演算することにより回転角度θが算出される(ステップS6)。
Therefore, a composition is considered while visually recognizing the subject image displayed on the image display unit 8, and when the composition is determined, the shutter sound is emitted when the shutter button 4s is pressed.
In this way, when the shutter button 4s is pressed, in the process of FIG. 5, the process proceeds from step S1 to step S5, the angular velocity detected by the gyro sensor 11 at that time is read, and the read angular velocity is integrated. Thus, the rotation angle θ is calculated (step S6).

次いで、撮像部12から出力される画像データをバッファメモリ13に1200×1600ピクセルの原画像データとして格納し(ステップS7)、次いで原画像データを縮小処理して120×160ピクセルの表示用画像データを形成し、これをVRAM17に記憶する(ステップS8)。
そして、回転角度θをもとにバッファメモリ13に格納された原画像データに手振れが発生しているか否かを判定し、回転角度θが第1の閾値θr1以下であるときには原画像データに手振れが発生していないものと判断してステップS10に移行し、VRAM17に格納されている表示用画像データを画像表示部8に出力して表示し、次いでバッファメモリ13に記憶されている原画像データを画像圧縮部14に供給してJPEG形式で画像圧縮し、圧縮画像データにジャイロセンサ11で検出した加速度をメタデータとして付加してフラッシュメモリ15に記憶する。
Next, the image data output from the imaging unit 12 is stored in the buffer memory 13 as original image data of 1200 × 1600 pixels (step S7), and then the original image data is subjected to reduction processing to display image data of 120 × 160 pixels. Is stored in the VRAM 17 (step S8).
Then, based on the rotation angle θ, it is determined whether or not camera shake has occurred in the original image data stored in the buffer memory 13, and when the rotation angle θ is equal to or less than the first threshold θr1, camera shake is detected in the original image data. In step S 10, the display image data stored in the VRAM 17 is output to the image display unit 8 for display, and then the original image data stored in the buffer memory 13 is displayed. Is compressed in the JPEG format and the acceleration detected by the gyro sensor 11 is added to the compressed image data as metadata and stored in the flash memory 15.

しかしながら、ステップS9の判定結果が、回転角度θが第1の閾値θt1を超えている場合には、原画像データに手振れが発生しているものと判断し、次いで回転角度θが第2の閾値θt2を超えているか否かを判定する(ステップS12)。
このとき、回転角度θが第2の閾値θt2以下であるときには、原画像データに対してピクセル数で1/100に縮小された表示用画像データを画像表示部8で表示したときに手振れ状態を判読できないものと判断して、VRAM17に格納されている表示用画像データをそのまま画像表示部8に表示する。このとき、VRAM17に格納されている表示用画像データをそのまま画像表示部8に表示するので、画像表示部8への表示を直ちに行うことができる。
However, if the result of determination in step S9 is that the rotation angle θ exceeds the first threshold θt1, it is determined that camera shake has occurred in the original image data, and then the rotation angle θ is the second threshold. It is determined whether or not θt2 is exceeded (step S12).
At this time, when the rotation angle θ is equal to or smaller than the second threshold θt2, the camera shake state is displayed when the display image data displayed on the image display unit 8 is reduced to 1/100 the number of pixels with respect to the original image data. The image data for display stored in the VRAM 17 is displayed on the image display unit 8 as it is. At this time, the display image data stored in the VRAM 17 is displayed on the image display unit 8 as it is, so that the display on the image display unit 8 can be immediately performed.

そして、画像表示8に表示用画像データを表示している間に、バックグランドでバッファメモリ13に記憶されている原画像データに対して回転角度θに基づいて手振れ補正処理を実行し(ステップS15)、原画像データに対する手振れ補正処理が終了すると、補正画像データを画像圧縮部14に供給して圧縮画像データを形成し(ステップS16)、この圧縮画像データにジャイロセンサ11で検出した加速度をメタデータとして付加してフラッシュメモリ15に記憶する(ステップS17)。   Then, while displaying the display image data on the image display 8, a camera shake correction process is executed on the original image data stored in the buffer memory 13 in the background based on the rotation angle θ (step S15). ) When the camera shake correction process for the original image data is completed, the corrected image data is supplied to the image compression unit 14 to form compressed image data (step S16), and the acceleration detected by the gyro sensor 11 is added to the compressed image data. The data is added and stored in the flash memory 15 (step S17).

したがって、ユーザーが画像表示部8に表示されている表示用画像データを視認して保存するか否かを判断している間に原画像データの手振れ補正処理を完了することができ、時間の掛かる原画像データの手振れ補正処理をユーザーが意識することなく、手振れ補正処理を完了することができる。
ところが、回転角度θが第2の閾値θt2を超えているときには、VRAM17に格納されている表示用画像データのそのまま画像表示部8に表示したときに手振れが認識されるものと判断して、VRAM17に格納されている表示用画像データに対して回転角度θに基づいて手振れ補正処理を行って補正表示画像データを形成し、これをVRAM17に再格納し(ステップS13)、このVRAM17に格納された補正表示用画像データを画像表示部8に出力して表示する。
Therefore, it is possible to complete the camera shake correction processing of the original image data while the user determines whether to visually view and store the display image data displayed on the image display unit 8, which takes time. The camera shake correction process can be completed without the user being aware of the camera shake correction process of the original image data.
However, when the rotation angle θ exceeds the second threshold θt2, it is determined that camera shake is recognized when the display image data stored in the VRAM 17 is displayed as it is on the image display unit 8, and the VRAM 17 Is subjected to camera shake correction processing based on the rotation angle θ to form corrected display image data, which is stored again in the VRAM 17 (step S13), and stored in the VRAM 17. The corrected display image data is output to the image display unit 8 and displayed.

このため、VRAM17に格納されている表示用画像データは原画像データに対してピスセル数で1/100に縮小されたデータであるので、この表示用画像データに対して手振れ補正処理を行ったときの補正処理時間が原画像データを手振れ補正処理する場合に比較して遥かに短時間で処理することができ、この補正表示用画像データを映像表示部8に短時間で表示することができ、この場合もユーザーが手振れ補正時間を意識することなく映像表示部8に補正表示画像データを表示することができる。   For this reason, the display image data stored in the VRAM 17 is data obtained by reducing the original image data to 1/100 of the number of piscells. Therefore, when the camera shake correction process is performed on the display image data, The correction processing time can be processed in a much shorter time than when the original image data is subjected to camera shake correction processing, and the corrected display image data can be displayed on the video display unit 8 in a short time. Also in this case, the corrected display image data can be displayed on the video display unit 8 without the user being aware of the camera shake correction time.

そして、映像表示部8に補正表示画像データを表示して、ユーザーが補正表示用画像データを視認して保存するか否かを判断している間に、そのバックグランドでバッファメモリ13に格納されている多くのピクセル数を有する原画像データに対して回転角度θに基づいて手振れ補正処理を完了することができ、時間の掛かる原画像データの手振れ補正処理をユーザーが意識することなく、手振れ補正処理を完了することができる。   Then, the corrected display image data is displayed on the video display unit 8 and stored in the buffer memory 13 in the background while the user determines whether to visually recognize and store the corrected display image data. The camera shake correction process can be completed based on the rotation angle θ for the original image data having a large number of pixels, and the camera shake correction process is performed without the user being aware of the time-consuming camera shake correction process. Processing can be completed.

この撮像処理を繰り返して、フラッシュメモリ15複数の圧縮画像データを記憶し、記憶した圧縮画像データを外部のパーソナルコンピュータ又はプリンタに出力したい場合には、インタフェース部20にパーソナルコンピュータ又はプリンタを接続してから、フラッシュメモリ15に記憶されている圧縮画像データを転送することにより、パーソナルコンピュータ又はプリンタに圧縮画像データを出力して、パーソナルコンピュータに接続された大画面の表示装置で表示したり、プリンタで印刷したりすることができる。   When this imaging process is repeated to store a plurality of compressed image data in the flash memory 15 and to output the stored compressed image data to an external personal computer or printer, a personal computer or printer is connected to the interface unit 20. Then, by transferring the compressed image data stored in the flash memory 15, the compressed image data is output to a personal computer or a printer and displayed on a large-screen display device connected to the personal computer. Can be printed.

このように上記実施形態によれば、撮像部12で撮像した原画像データを手振れ補正する必要が生じたときには、この原画像データを縮小した表示用画像データについて手振れ補正の有無を判断し、手振れ補正の必要がないときには表示用画像データを画像表示部8に直ちに表示し、手振れ補正の必要があるときには少ないピクセル数の表示用画像データに対して手振れ補正処理を行った補正表示用画像データを画像表示部8に短時間で表示し、何れの場合の画像表示部8に表示用画像データを表示している間にピクセル数が多く時間が掛かる原画像データに対して手振れ補正処理を行って、補正原画像データをフラッシュメモリ15に記憶するので、原画像データを手振れ補正した後の補正原画像データに基づいて表示画像データを形成して画像表示部に表示する場合に比較して、遥かに短時間で画像表示部に手振れ補正された表示用画像データを表示することができ、ユーザーに手振れ補正処理時間を意識させることなく、原画像データの手振れ補正を行うことかできる。   As described above, according to the embodiment, when it is necessary to perform camera shake correction on the original image data captured by the imaging unit 12, the presence or absence of camera shake correction is determined for the display image data obtained by reducing the original image data. When there is no need for correction, the display image data is immediately displayed on the image display unit 8, and when there is a need for camera shake correction, the corrected display image data obtained by performing the camera shake correction processing on the display image data with a small number of pixels. A camera shake correction process is performed on the original image data which is displayed on the image display unit 8 in a short time and has a large number of pixels while the display image data is displayed on the image display unit 8 in any case. Since the corrected original image data is stored in the flash memory 15, the display image data is formed based on the corrected original image data after the original image data is corrected for camera shake. Compared to displaying on the image display unit, the image data for display can be displayed in the image display unit in a much shorter time, and the original image can be displayed without making the user aware of the camera shake correction processing time. Data shake correction can be performed.

しかも、原画像データに手振れ補正を行う必要が生じたときに、原画像データを縮小した表示用画像データに手振れ補正が必要であるか否かを判断するようにしたので、表示用画像データでは手振れ補正を必要としない場合に表示用画像データをそのまま画像表示部8に表示することができ、画像表示部8での画像表示を待ち時間なく表示することができる。   In addition, when it is necessary to perform camera shake correction on the original image data, it is determined whether camera shake correction is necessary for the display image data obtained by reducing the original image data. When image stabilization is not required, the display image data can be displayed as it is on the image display unit 8, and the image display on the image display unit 8 can be displayed without waiting time.

なお、上記実施形態においては、原画像データを手振れ補正する必要がある場合に、手振れ補正を完了した補正原画像データをそのままフラッシュメモリ15に記憶する場合について説明したが、これに限定されるものではなく、図6に示すように、前述した図5のステップS17の後に、フラッシュメモリ17に格納された補正圧縮画像データを画像伸長部16で読出して、JPEG形式で画像伸長してからバッファメモリ13に格納するステップS18と、バッファメモリ13に格納された補正原画像データを縮小して表示用画像データを形成し、これをVRAM17に格納するステップS19と、VRAM17に格納された表示用画像データを画像表示部18に出力して画像表示するステップS20とを追加して、手振れ補正した最終的な補正画像データを縮小した表示用画像データを映像表示部8に自動表示して、ユーザーの確認を受けるようにしてもよい。また、手振れ補正した最終的な補正画像データを自動表示する場合に代えて、図7に示すように、ステップS17及びS18の間に画像表示部8に最終的な補正画像データを表示するか否かを選択するための表示ボタン及び非表示ボタンを形成した選択画面を表示するステップS21と、操作部4で表示ボタンが選択されたか否かを判定するステップS22と、このステップS22の判定結果が、表示ボタンが選択されたときには前記ステップS18に移行し、表示ボタンが選択されていないときにはステップS23に移行して、非表示ボタンが選択されたか否かを判定し、非表示ボタンが選択されたときにそのまま撮像処理を終了し、非表示ボタンが選択されていないときには前記ステップS22に戻るようにして、手振れ補正した最終的な補正画像データを確認するか否かをユーザーに選択させるようにしてもよい。   In the above-described embodiment, the case where the original image data needs to be subjected to camera shake correction and the corrected original image data for which camera shake correction is completed is stored in the flash memory 15 as it is, but the present invention is not limited to this. Instead, as shown in FIG. 6, after step S17 of FIG. 5 described above, the corrected compressed image data stored in the flash memory 17 is read by the image decompression unit 16 and decompressed in the JPEG format before being buffered. Step S18 to be stored in Step 13, Step S19 in which the corrected original image data stored in the buffer memory 13 is reduced to form display image data and stored in the VRAM 17, and Display image data stored in the VRAM 17 Is output to the image display unit 18 to display the image, and the final image is subjected to camera shake correction. Do corrected image data is automatically displayed on the video display unit 8 the image data for display by reducing the, it may be received user confirmation. Further, instead of automatically displaying the final corrected image data subjected to camera shake correction, as shown in FIG. 7, whether or not the final corrected image data is displayed on the image display unit 8 between steps S17 and S18. Step S21 for displaying a selection screen on which a display button and a non-display button for selecting the button are displayed; Step S22 for determining whether or not the display button is selected on the operation unit 4; and the determination result of Step S22 is When the display button is selected, the process proceeds to step S18. When the display button is not selected, the process proceeds to step S23, where it is determined whether or not the non-display button is selected, and the non-display button is selected. Sometimes, the imaging process is ended as it is, and when the non-display button is not selected, the process returns to the step S22 to finally correct the camera shake. Whether to confirm the corrected image data may be selected by the user.

また、上記実施形態においては、本発明を携帯電話機CTに適用した場合について説明したが、これに限定されるものではなく、デジタルカメラ等のように単独の撮像装置やPDA(Personal Digital Assistant)等の携帯機器に適用することもできる。
さらに、上記実施形態においては、角速度検出部としてジャイロセンサ11を適用した場合について説明したが、これに限定されるものではなく、他の角速度センサを適用するようにしてもよい。
In the above embodiment, the case where the present invention is applied to the mobile phone CT has been described. However, the present invention is not limited to this, and a single imaging device such as a digital camera, a PDA (Personal Digital Assistant), etc. It can also be applied to other portable devices.
Furthermore, although the case where the gyro sensor 11 was applied as an angular velocity detection part was demonstrated in the said embodiment, it is not limited to this, You may make it apply another angular velocity sensor.

さらにまた、上記実施形態においては、手振れ判定部で角速度検出部で検出した角速度に基づいて手振れが発生しているか否かを判定する場合について説明したが、これに限定されるものではなく、手振れ発生状態を画像データをソフトウェア処理することにより検出して手振れが発生しているか否かを判定するようにしてもよい。   Furthermore, in the above-described embodiment, the case has been described in which it is determined whether or not camera shake has occurred based on the angular velocity detected by the angular velocity detection unit in the camera shake determination unit, but the present invention is not limited to this. The occurrence state may be detected by software processing of the image data to determine whether or not camera shake has occurred.

本発明を携帯電話機に適用した場合の一実施形態を示す斜視図である。It is a perspective view which shows one Embodiment at the time of applying this invention to a mobile telephone. ジャイロセンサを示す構成図である。It is a block diagram which shows a gyro sensor. 図2のD−D線概略断面図である。It is the DD sectional schematic sectional drawing of FIG. 撮像装置の一例を示すブロック図である。It is a block diagram which shows an example of an imaging device. 図4のマイクロコンピュータで実行する撮像処理手順の一例を示すフローチャートである。6 is a flowchart illustrating an example of an imaging process procedure executed by the microcomputer of FIG. 4. マイクロコンピュータで実行する撮像処理手順の他の例を示すフローチャートである。It is a flowchart which shows the other example of the imaging process procedure performed with a microcomputer. マイクロコンピュータで実行する撮像処理手順のさらに他の例を示すフローチャートである。It is a flowchart which shows the further another example of the imaging process procedure performed with a microcomputer.

符号の説明Explanation of symbols

CT…携帯電話機、1…ベース部材、2…蓋部材、4…操作部、4s…シャッタボタン、8…画像表示部、10…撮像装置、11…ジャイロセンサ、12…撮像部、13…バッファメモリ、14…画像圧縮部、15…フラッシュメモリ、16……画像伸長部、17…VRAM、18…表示制御部、19…マイクロコンピュータ、111…センサ本体、112…パッケージ、113…固定基板、114,115…支持部、116,117…励振用振動腕、118,119…検出用振動腕

CT: mobile phone, 1 ... base member, 2 ... lid member, 4 ... operation unit, 4s ... shutter button, 8 ... image display unit, 10 ... imaging device, 11 ... gyro sensor, 12 ... imaging unit, 13 ... buffer memory , 14 ... Image compression unit, 15 ... Flash memory, 16 ... Image decompression unit, 17 ... VRAM, 18 ... Display control unit, 19 ... Microcomputer, 111 ... Sensor body, 112 ... Package, 113 ... Fixed substrate, 114, 115 ... Supporting part, 116,117 ... Excitation vibration arm, 118,119 ... Detection vibration arm

Claims (10)

被写体を撮像して画像データを生成する撮像部と、該撮像部で撮像した原画像データを一時格納する画像記憶部と、該画像記憶部に格納されている画像データのサイズを縮小して表示用画像データを形成する画像データサイズ縮小部と、該画像データサイズ縮小部で形成した表示用画像データを表示する画像表示部とを備えた撮像装置であって、
撮像した画像データに手振れが発生しているか否かを判定する手振れ判定部と、該手振れ判定部の判定結果が手振れ発生状態であるときに、前記画像データサイズ縮小部で形成した表示用画像データを手振れ補正して画像表示部に表示する第1の手振れ補正部と、該第1の手振れ補正部で前記画像表示部に表示用画像データを表示している間に前記原画像データを手振れ補正して補正画像データを形成する第2の手振れ補正部とを備えたことを特徴とする撮像装置。
An imaging unit that captures an image of a subject and generates image data, an image storage unit that temporarily stores original image data captured by the imaging unit, and a reduced size of the image data stored in the image storage unit An image pickup apparatus comprising: an image data size reduction unit that forms image data for use; and an image display unit that displays display image data formed by the image data size reduction unit,
A camera shake determination unit that determines whether or not camera shake has occurred in the captured image data, and display image data that is formed by the image data size reduction unit when the determination result of the camera shake determination unit is a camera shake occurrence state A first camera shake correction unit that corrects camera shake and displays the image on the image display unit, and the original image data is corrected while the display image data is being displayed on the image display unit by the first camera shake correction unit. And a second camera shake correction unit that forms corrected image data.
被写体を撮像して画像データを生成する撮像部と、該撮像部で撮像した原画像データを一時格納する画像記憶部と、該画像記憶部に格納されている画像データのサイズを縮小して表示用画像データを形成する画像データサイズ縮小部と、該画像データサイズ縮小部で形成した表示用画像データを表示する画像表示部とを備えた撮像装置であって、
前記撮像部の角速度を検出する角速度検出部と、該角速度検出部で検出した角速度に基づいて撮像した画像データに手振れが発生しているか否かを判定する手振れ判定部と、該手振れ判定部の判定結果が手振れ発生状態であるときに、前記画像データサイズ縮小部で形成した表示用画像データを手振れ補正して画像表示部に表示する第1の手振れ補正部と、該第1の手振れ補正部で前記画像表示部に表示用画像データを表示している間に前記原画像データを手振れ補正して補正画像データを形成する第2の手振れ補正部とを備えたことを特徴とする撮像装置。
An imaging unit that captures an image of a subject and generates image data, an image storage unit that temporarily stores original image data captured by the imaging unit, and a reduced size of the image data stored in the image storage unit An image pickup apparatus comprising: an image data size reduction unit that forms image data for use; and an image display unit that displays display image data formed by the image data size reduction unit,
An angular velocity detection unit that detects an angular velocity of the imaging unit, a camera shake determination unit that determines whether or not camera shake has occurred in image data captured based on the angular velocity detected by the angular velocity detection unit, and a camera shake determination unit A first camera shake correction unit that corrects camera shake of display image data formed by the image data size reduction unit and displays the image on the image display unit when the determination result is a camera shake occurrence state; and the first camera shake correction unit. An image pickup apparatus comprising: a second camera shake correction unit that corrects camera shake of the original image data to form corrected image data while displaying the display image data on the image display unit.
被写体を撮像して画像データを生成する撮像部と、該撮像部で撮像した原画像データを一時格納する画像記憶部と、該画像記憶部に格納されている画像データのサイズを縮小して表示用画像データを形成する画像データサイズ縮小部と、該画像データサイズ縮小部で形成した表示用画像データを表示する画像表示部とを備えた撮像装置であって、
前記撮像部の角速度を検出する角速度検出部と、該角速度検出部で検出した角速度に基づいて前記画像記憶部に記憶されている原画像データに手振れが発生しているか否かを判定する第1の手振れ判定部と、該第1の手振れ判定部の判定結果が手振れ発生状態であるときに、前記画像データサイズ縮小部で形成した表示用画像データに手振れが発生しているか否かを判定する第2の手振れ判定部と、該第2の手振れ判定部の判定結果が手振れ発生状態であるときに前記縮小画像データを手振れ補正して前記画像表示部に表示する第1の手振れ補正部と、該第1の手振れ補正部で前記画像表示部に表示用画像データを表示している間に前記原画像データを手振れ補正して補正画像データを形成する第2の手振れ補正部とを備えたことを特徴とする撮像装置。
An imaging unit that captures an image of a subject and generates image data, an image storage unit that temporarily stores original image data captured by the imaging unit, and a reduced size of the image data stored in the image storage unit An image pickup apparatus comprising: an image data size reduction unit that forms image data for use; and an image display unit that displays display image data formed by the image data size reduction unit,
An angular velocity detection unit that detects an angular velocity of the imaging unit, and a first unit that determines whether camera shake has occurred in the original image data stored in the image storage unit based on the angular velocity detected by the angular velocity detection unit When the determination result of the first camera shake determination unit and the first camera shake determination unit is a camera shake occurrence state, it is determined whether or not camera shake has occurred in the display image data formed by the image data size reduction unit. A second camera shake determination unit; and a first camera shake correction unit configured to perform camera shake correction on the reduced image data and display the image display unit when the determination result of the second camera shake determination unit is a camera shake occurrence state, A second camera shake correction unit that forms the corrected image data by correcting the original image data while the display image data is being displayed on the image display unit by the first camera shake correction unit; Features Imaging device.
前記角速度検出部は、ジャイロセンサで構成されていることを特徴とする請求項2又は3に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the angular velocity detection unit includes a gyro sensor. 前記ジャイロセンサは、方形の水晶薄板で構成される固定基板と、該固定基板の一方の対向側面に支持部を介して平行に配設された一対の励振用振動腕と、前記固定基板の他方の対向側面に連設された検出用振動腕とで構成されていることを特徴とする請求項4に記載の撮像装置。   The gyro sensor includes a fixed substrate composed of a rectangular quartz thin plate, a pair of excitation vibrating arms disposed in parallel on one opposing side surface of the fixed substrate via a support, and the other of the fixed substrate The imaging apparatus according to claim 4, further comprising: a detection vibrating arm continuously provided on the opposite side surface of the imaging device. 前記第1の手振れ補正部は、表示用画像データを手振れ補正して画像表示部に表示する際に、手振れ補正を行ったことを表す手振れ補正マークを補正表示用画像データと共に表示するように構成されていることを特徴とする請求項1乃至5の何れか1項に記載の撮像装置。   The first camera shake correction unit is configured to display a camera shake correction mark indicating that the camera shake correction is performed together with the correction display image data when the display image data is subjected to camera shake correction and displayed on the image display unit. The imaging apparatus according to claim 1, wherein the imaging apparatus is provided. 前記第2の手振れ補正部は、原画像データに対する手振れ補正が終了したときに、形成した補正画像データを画像データ縮小部に供給するように構成されていることを特徴とする請求項1乃至6の何れか1項に記載の撮像装置。   The second camera shake correction unit is configured to supply the formed corrected image data to the image data reduction unit when the camera shake correction for the original image data is completed. The imaging device according to any one of the above. 前記第2の手振れ補正部は、原画像データに対する手振れ補正が終了したときに、形成した補正画像データを表示するか否かを選択する選択表示を前記画像表示部に表示するように構成されていることを特徴とする請求項1乃至6の何れか1項に記載の撮像装置。   The second camera shake correction unit is configured to display on the image display unit a selection display for selecting whether or not to display the formed corrected image data when the camera shake correction for the original image data is completed. The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus. 請求項1乃至8の何れか1項に記載の撮像装置を備えたことを特徴とする携帯機器。   A portable device comprising the imaging device according to claim 1. 請求項1乃至8の何れか1項に記載の撮像装置を備えたことを特徴とする携帯電話機。

A mobile phone comprising the imaging device according to claim 1.

JP2004379218A 2004-12-28 2004-12-28 IMAGING DEVICE AND MOBILE DEVICE AND MOBILE PHONE HAVING THE SAME Active JP4179279B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004379218A JP4179279B2 (en) 2004-12-28 2004-12-28 IMAGING DEVICE AND MOBILE DEVICE AND MOBILE PHONE HAVING THE SAME
DE602005004496T DE602005004496T2 (en) 2004-12-28 2005-11-30 Imaging device and portable device as well as portable phone with it
EP05026075A EP1679884B1 (en) 2004-12-28 2005-11-30 Imaging apparatus and portable device and portable telephone using the same
US11/311,803 US7522826B2 (en) 2004-12-28 2005-12-19 Imaging apparatus and portable device and portable telephone using same
CNB2005101350342A CN100423548C (en) 2004-12-28 2005-12-21 Imaging apparatus and portable device and portable telephone using the same
US12/400,215 US8026948B2 (en) 2004-12-28 2009-03-09 Imaging apparatus and portable device and portable telephone using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004379218A JP4179279B2 (en) 2004-12-28 2004-12-28 IMAGING DEVICE AND MOBILE DEVICE AND MOBILE PHONE HAVING THE SAME

Publications (2)

Publication Number Publication Date
JP2006186764A true JP2006186764A (en) 2006-07-13
JP4179279B2 JP4179279B2 (en) 2008-11-12

Family

ID=36739516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004379218A Active JP4179279B2 (en) 2004-12-28 2004-12-28 IMAGING DEVICE AND MOBILE DEVICE AND MOBILE PHONE HAVING THE SAME

Country Status (2)

Country Link
JP (1) JP4179279B2 (en)
CN (1) CN100423548C (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007032148A1 (en) * 2005-09-15 2007-03-22 Nittoh Kogaku K.K Image processor
US7893964B2 (en) 2006-12-06 2011-02-22 Sanyo Electric Co., Ltd. Image correction apparatus, method thereof and electronics device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
CN102957869B (en) * 2011-09-26 2016-08-17 斯凯普公司 Video stabilization
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation
JP6160027B2 (en) * 2012-04-27 2017-07-12 セイコーエプソン株式会社 Vibrating piece and gyro sensor, electronic device and moving body
US9762848B2 (en) * 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
CN104253934A (en) * 2013-06-26 2014-12-31 中兴通讯股份有限公司 Jittering detection method and system
CN104427233B (en) * 2013-09-02 2018-12-14 联想(北京)有限公司 Information processing method and information processing equipment
EP3136726B1 (en) * 2015-08-27 2018-03-07 Axis AB Pre-processing of digital images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847388B2 (en) * 1999-05-13 2005-01-25 Flashpoint Technology, Inc. Method and system for accelerating a user interface of an image capture unit during play mode
JP2001028699A (en) * 1999-07-14 2001-01-30 Nikon Gijutsu Kobo:Kk Electronic camera
JP2001320610A (en) * 2000-05-02 2001-11-16 Nikon Corp Electronic still camera
KR100477647B1 (en) * 2002-06-01 2005-03-23 삼성전자주식회사 Motion correction apparatus for image and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007032148A1 (en) * 2005-09-15 2007-03-22 Nittoh Kogaku K.K Image processor
JP2007081905A (en) * 2005-09-15 2007-03-29 Nitto Kogaku Kk Image processing apparatus
US7893964B2 (en) 2006-12-06 2011-02-22 Sanyo Electric Co., Ltd. Image correction apparatus, method thereof and electronics device

Also Published As

Publication number Publication date
CN100423548C (en) 2008-10-01
JP4179279B2 (en) 2008-11-12
CN1819626A (en) 2006-08-16

Similar Documents

Publication Publication Date Title
US7522826B2 (en) Imaging apparatus and portable device and portable telephone using same
JP4196942B2 (en) IMAGING DEVICE AND MOBILE PHONE HAVING THE SAME
CN100423548C (en) Imaging apparatus and portable device and portable telephone using the same
JP4479679B2 (en) Captured image display system, image receiving apparatus and control method thereof
US9019387B2 (en) Imaging device and method of obtaining image
US20090067827A1 (en) Mobile device
JP2000125184A (en) Camera
JP2007243335A (en) Camera shake correction method, camera shake correction apparatus, and imaging apparatus
JP2006005877A (en) Digital still camera, mobile phone with digital still camera packaged therein, and camera-shake prevention method for digital still camera
JP4179278B2 (en) IMAGING DEVICE AND MOBILE DEVICE AND MOBILE PHONE HAVING THE SAME
JP2009065248A (en) Image pickup device and its control method
JP2007036843A (en) Imaging apparatus with projection display function, and portable electronic device
JP2009246468A (en) Photographing device and control method of photographing device
JP2012123092A (en) Imaging apparatus and program
JP2009021724A (en) Portable terminal device and program
JP2008294712A (en) Portable communication terminal device, and camera part mixed foreign matter removing method in portable communication terminal device
JP5414303B2 (en) Portable electronic device and control method thereof
JP5324980B2 (en) Mobile terminal and image direction correction method
JPWO2022071270A5 (en)
JP2023051392A (en) Blur correction device, imaging device, blur correction method, and blur correction program
JP2006074678A (en) Portable device with camera
KR20070034491A (en) Imaging device
JP2010022061A (en) Photographed image display system, image receiving apparatus, and method of controlling the same and server
JP2007019781A (en) Imaging apparatus having vibration detection means
JP2006238235A (en) Imaging apparatus

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

R150 Certificate of patent or registration of utility model

Ref document number: 4179279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250