JP4404200B2 - Imaging apparatus and image file generation program - Google Patents

Imaging apparatus and image file generation program Download PDF

Info

Publication number
JP4404200B2
JP4404200B2 JP2004184804A JP2004184804A JP4404200B2 JP 4404200 B2 JP4404200 B2 JP 4404200B2 JP 2004184804 A JP2004184804 A JP 2004184804A JP 2004184804 A JP2004184804 A JP 2004184804A JP 4404200 B2 JP4404200 B2 JP 4404200B2
Authority
JP
Japan
Prior art keywords
image data
image
information
composition information
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004184804A
Other languages
Japanese (ja)
Other versions
JP2006013677A (en
JP2006013677A5 (en
Inventor
敦 渋谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004184804A priority Critical patent/JP4404200B2/en
Publication of JP2006013677A publication Critical patent/JP2006013677A/en
Publication of JP2006013677A5 publication Critical patent/JP2006013677A5/ja
Application granted granted Critical
Publication of JP4404200B2 publication Critical patent/JP4404200B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像装置、および、画像ファイル生成プログラムに関する。 The present invention relates to an imaging device and an image file generation program .

近年、デジタルカメラや携帯電話などの撮影機能を有する携帯情報端末では、CCDの高解像度化に伴って、撮影もしくは再生可能な画像データのサイズが表示部のサイズより大きくなる。このような携帯情報端末では、一般に、表示部で画像データを再生表示させる場合、画像データ全体を確認できるように、表示部の表示サイズに合わせるべく、画像データを縮小する。この場合、縮小率が大きくなり、画像データの細部を確認しにくくなる。このため、ズームやズーム位置を移動させる操作が必須となる。従来の携帯情報端末では、ユーザが自ら画像データの拡大/縮小操作を行なったり、画像処理技術における従来の技術を適用し、画像サイズが表示部の表示可能サイズよりも広い場合、スクロールする回数を自動的に決定して、自動スクロールさせることが考案されている(例えば、特許文献1参照)。   In recent years, in a portable information terminal having a photographing function such as a digital camera or a mobile phone, the size of image data that can be photographed or reproduced becomes larger than the size of the display unit as the resolution of the CCD increases. In such a portable information terminal, in general, when image data is reproduced and displayed on the display unit, the image data is reduced to fit the display size of the display unit so that the entire image data can be confirmed. In this case, the reduction ratio becomes large and it becomes difficult to confirm details of the image data. For this reason, an operation for moving the zoom or the zoom position is essential. In the conventional portable information terminal, when the user performs the enlargement / reduction operation of the image data himself or applies the conventional technology in the image processing technology and the image size is wider than the displayable size of the display unit, the number of times of scrolling is set. It has been devised to automatically determine and automatically scroll (see, for example, Patent Document 1).

特開2000−267646号公報(第3頁、図3)JP 2000-267646 A (page 3, FIG. 3)

しかしながら、上記従来技術では、画像データの拡大/縮小操作やスクロール操作をマニュアルで行ったり、予め決められている自動スクロールでズーム位置を移動させていたので、ユーザの操作が煩雑になったり、ユーザが所望する適切なスクロールを行うことができないという問題がある。特に、携帯情報端末には、予め用意されている複数の構図情報のうち、ユーザが選択した構図情報に基づいて被写体の立ち位置を決めて撮影する機能(ベストショット機能)を有するものがある。このような携帯情報端末では、撮影時にユーザが選択した構図情報に従って、被写体の立ち位置(顔の部分)にフォーカシングすべく、機器側で自動的にオートフォーカスポイント(AFポイント)を決めて撮影する。   However, in the above-described prior art, the image data enlargement / reduction operation and scroll operation are manually performed, and the zoom position is moved by a predetermined automatic scroll. However, there is a problem that the appropriate scrolling desired cannot be performed. In particular, some portable information terminals have a function (best shot function) of determining a standing position of a subject based on composition information selected by a user from among a plurality of pieces of composition information prepared in advance. In such a portable information terminal, in accordance with the composition information selected by the user at the time of shooting, an autofocus point (AF point) is automatically determined and shot on the device side in order to focus on the subject's standing position (face portion). .

このように撮影した画像を再生する場合、当然、フォーカスポイントを拡大して再生表示することで、ピントが合っているか瞬時に確認することが可能となる。しかしながら、従来技術の携帯情報端末では、拡大/縮小のやり方や、スクロールパターンがフォーカスポイントと関係付けられていないため、ピントが合っているかをチェックするためには、AFポイントが表示部の略中央にくるように、ユーザがマニュアルでスクロール操作したり、拡大操作する必要がでてくる。   When playing back an image taken in this way, it is naturally possible to instantly check whether the subject is in focus by enlarging and displaying the focus point. However, in the portable information terminal of the prior art, since the enlargement / reduction method and the scroll pattern are not related to the focus point, the AF point is approximately the center of the display unit in order to check whether the focus is in focus. The user needs to perform a scroll operation or an enlargement operation manually.

また、人物などの被写体が画面端に位置するように構図を決めて撮影した場合などでは、単に、撮影した画像を全画面表示したのでは、被写体の細部が見にくいことがある。この場合、従来技術では、ユーザがマニュアルでスクロール操作したり、拡大操作する必要がでてくる。   In addition, when a subject such as a person is photographed with a composition so that the subject is positioned at the edge of the screen, it may be difficult to see details of the subject simply by displaying the captured image on the full screen. In this case, according to the conventional technique, the user needs to perform a scroll operation or an enlargement operation manually.

このように、従来技術では、ユーザがマニュアルでスクロール操作したり、拡大操作するために、煩雑な操作が必要となるという問題がある。   As described above, the conventional technique has a problem that a complicated operation is required for the user to perform a scroll operation or an enlargement operation manually.

そこで本発明は、煩雑な操作なしに、画像を効果的に再生することができる撮像装置、および、画像ファイル生成プログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus and an image file generation program capable of effectively reproducing an image without complicated operations .

上記目的達成のため、請求項1の発明は、少なくともフレーム内の被写体の立ち位置と撮影条件とを含む構図情報を複数記憶する構図情報記憶手段と、前記構図情報記憶手段に記憶されている構図情報を選択する選択手段と、この選択手段により選択された構図情報に基づいて撮影を実行し、撮影に基づく画像データを取得する画像データ取得手段と、この画像データ取得手段により画像データが取得されると、前記選択手段によって選択された構図情報に基づいてこの画像データを再生する際の再生方法を示す再生制御情報を生成する再生制御情報生成手段と、前記画像データ取得手段により取得された画像データと、前記再生制御情報生成手段により生成された再生制御情報とを含む画像ファイルを生成する画像ファイル生成手段とを具備することを特徴とする。 To achieve the above object, the invention of claim 1 is a composition information storage means for storing a plurality of composition information including at least a standing position of a subject in a frame and a photographing condition, and a composition stored in the composition information storage means. Selection means for selecting information, imaging based on composition information selected by the selection means, image data acquisition means for acquiring image data based on the imaging, and image data acquired by the image data acquisition means Then, based on the composition information selected by the selection means, reproduction control information generation means for generating reproduction control information indicating a reproduction method when reproducing the image data, and the image acquired by the image data acquisition means Image file generation means for generating an image file including data and reproduction control information generated by the reproduction control information generation means. Characterized in that it.

また、請求項2記載の発明は、上記請求項1記載の発明において、前記再生制御情報は、フォーカス位置に基づいて表示を制御する再生パターン情報を含むことを特徴とする。According to a second aspect of the present invention, in the first aspect of the present invention, the reproduction control information includes reproduction pattern information for controlling display based on a focus position.

また、請求項3記載の発明は、上記請求項1記載の発明において、前記再生制御情報は、前記被写体の顔部分に基づいて表示を制御する再生パターン情報を含むことを特徴とする。According to a third aspect of the present invention, in the first aspect of the present invention, the reproduction control information includes reproduction pattern information for controlling display based on a face portion of the subject.

また、上記目的達成のため、請求項4記載の発明は、撮像部を備える情報処理装置が具備するコンピュータを、少なくともフレーム内の被写体の立ち位置と撮影条件とを含む構図情報を複数記憶する記憶部から特定の構図情報を選択する選択手段、この選択手段によって選択された構図情報に基づいて前記撮像部に撮影を実行させ、撮影に基づく画像データを取得させる画像データ取得手段、この画像データ取得手段によって画像データが取得されると、前記選択手段によって選択された構図情報に基づいてこの画像データを再生する際の再生方法を示す再生制御情報を生成する再生制御情報生成手段、前記画像データ取得手段によって取得された画像データと、前記再生制御情報生成手段によって生成された再生制御情報とを含む画像ファイルを生成する画像ファイル生成手段として機能させることを特徴とする。 In order to achieve the above object, the invention according to claim 4 stores a plurality of pieces of composition information including at least the standing position of the subject in the frame and the photographing conditions in a computer included in the information processing apparatus including the imaging unit. Selection means for selecting specific composition information from the section, image data acquisition means for causing the imaging section to perform shooting based on the composition information selected by the selection means, and acquiring image data based on the shooting, and acquiring the image data When the image data is acquired by the means, reproduction control information generation means for generating reproduction control information indicating a reproduction method when reproducing the image data based on the composition information selected by the selection means, the image data acquisition An image file including the image data acquired by the means and the reproduction control information generated by the reproduction control information generation means. Characterized in that to function as an image file generation means for generating a Le.

本発明によれば、画像データが取得されると、選択された構図情報に基づいてこの画像データを再生する際の再生制御情報を生成され、取得された画像データとこの再生制御情報とを含む画像ファイルを生成するので、煩雑な操作なしに、画像を効果的に再生することができるという利点が得られる。 According to the present invention, when image data is acquired, reproduction control information for reproducing the image data is generated based on the selected composition information, and the acquired image data and the reproduction control information are included. Since the image file is generated, there is an advantage that the image can be effectively reproduced without a complicated operation .

以下、本発明の実施の形態を、デジタルカメラに適用した一実施例として、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described as an example applied to a digital camera with reference to the drawings.

A.実施形態の構成
図1は、本実施形態によるデジタルカメラの構成を示すブロック図である。画像取得部10は、レンズ11、シャッタ12、LPF13からなる。レンズ11は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ12は、シャッタボタン6が操作されると、制御部20によって駆動されるドライバ14により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ14で行なう。LPF13は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
A. Configuration of Embodiment FIG. 1 is a block diagram illustrating a configuration of a digital camera according to the present embodiment. The image acquisition unit 10 includes a lens 11, a shutter 12, and an LPF 13. The lens 11 is a normal optical lens and includes a lens group in which aspherical lenses are stacked. The shutter 12 is a so-called mechanical shutter that is operated by a driver 14 driven by the control unit 20 when the shutter button 6 is operated. Depending on the digital camera, a mechanical shutter may not be provided, and in the case of a model equipped with a retractable lens structure and mechanical zoom, these drivers are also controlled by the driver 14. The LPF 13 is a crystal low-pass filter and is mounted to prevent the occurrence of moire.

次に、アナログ信号処理部15は、撮像センサ(CCD,CMOS)16、サンプリング/信号増幅処理部17、A/Dコンバータ18からなる。撮像センサ16は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。サンプリング/信号増幅処理部17は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行なう。A/Dコンバータ18は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する(RGB,CMYG各色について12bitデータに変換してバスラインに出力する)。   Next, the analog signal processing unit 15 includes an image sensor (CCD, CMOS) 16, a sampling / signal amplification processing unit 17, and an A / D converter 18. The imaging sensor 16 forms a subject image (image), and converts the intensity of light of each color of RGB into a current value. The sampling / signal amplification processing unit 17 performs correlated double sampling processing and signal amplification processing for suppressing noise and color unevenness. The A / D converter 18 is also called an analog front end, and converts the sampled / amplified analog signal into a digital signal (converts each color of RGB and CMYG into 12-bit data and outputs it to the bus line).

次に、制御部(CPU)20は、後述するプログラムメモリ格納されるプログラムに基づいてデジタルカメラ(撮像装置)の全体を制御する。プレビューエンジン22は、録画モード(記録モード、撮影モードともいう)において、画像取得部10、アナログ信号処理部15を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ26に格納されたデジタルデータ、および、画像メモリ31に格納されたデジタルデータを表示部25に表示させるために間引き処理を行なう。   Next, the control unit (CPU) 20 controls the entire digital camera (imaging device) based on a program stored in a program memory described later. The preview engine 22 is stored in the image buffer 26 immediately after detection of digital data input via the image acquisition unit 10 and the analog signal processing unit 15 in the recording mode (also referred to as recording mode or photographing mode) or shutter operation detection. Thinning processing is performed in order to display the digital data and the digital data stored in the image memory 31 on the display unit 25.

D/Aコンバータ23は、プレビューエンジン22により間引き処理されたデジタルデータを変換し、後段のドライバ24に出力する。ドライバ24は、後段の表示部25に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部27、制御部20を介して入力された制御信号に基づいて表示部25を駆動させる。表示部25は、カラーTFT液晶や、STN液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。   The D / A converter 23 converts the digital data thinned out by the preview engine 22 and outputs it to the driver 24 at the subsequent stage. The driver 24 includes a buffer area for temporarily storing digital data displayed on the display unit 25 at the subsequent stage, and drives the display unit 25 based on a control signal input via the key operation unit 27 and the control unit 20. The display unit 25 includes a color TFT liquid crystal, an STN liquid crystal, or the like, and displays a preview image, image data after shooting, a setting menu, and the like.

イメージバッファ26は、アナログ信号処理部15、もしくはデジタル信号処理部28を介して入力され、デジタル信号処理部28に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部27は、シャッタボタン6を含め、記録/再生モードの切り換えキー、十字キー、メニューキー等からなり、特に、本実施形態では、構図情報を選択したり、被写体の撮影位置を指定する際に用いられる。デジタル信号処理部28は、アナログ信号処理部15を介して入力されたデジタルデータ(非圧縮のRAWイメージデータ)に対して、ホワイトバランス処理、色処理、階調処理、輸郭強調を行なう。   The image buffer 26 temporarily stores digital data immediately after photographing until it is input via the analog signal processing unit 15 or the digital signal processing unit 28 and passed to the digital signal processing unit 28. The key operation unit 27 includes a shutter button 6 and includes a recording / playback mode switching key, a cross key, a menu key, and the like. In particular, in this embodiment, composition information is selected and a photographing position of a subject is designated. Used when. The digital signal processing unit 28 performs white balance processing, color processing, gradation processing, and outline emphasis on the digital data (uncompressed RAW image data) input via the analog signal processing unit 15.

また、デジタル信号処理部28は、画像取得部10およびアナログ信号処理部15により取り込んだ画像データからExif規格に従った画像ファイルを生成する際に、事前に選択(登録)されている構図情報から、AFポイントの座標(AF座標)、その構図情報に適切な再生パターン(スクロールやズームを規定した情報)を取り出し、これらAF座標、再生パターンを、Exif規格に従った画像ファイルのタグ情報に挿入する。上記構図情報は、さまざまな撮影シーン(背景を入れて撮影、ポートレート、ツーショット、夜景など)を考慮して、被写体の撮影フレーム内における立ち位置やそのAF座標、撮影条件(露出や露光時間など)を予め設定した情報である。なお、該構図情報の詳細については後述する。   Also, the digital signal processing unit 28 uses composition information selected (registered) in advance when generating an image file according to the Exif standard from the image data captured by the image acquisition unit 10 and the analog signal processing unit 15. , AF point coordinates (AF coordinates), and reproduction patterns appropriate for the composition information (information specifying scrolling and zooming) are extracted, and these AF coordinates and reproduction patterns are inserted into tag information of the image file according to the Exif standard. To do. The above composition information takes into consideration various shooting scenes (shooting with background, portrait, two-shot, night view, etc.), the standing position of the subject in the shooting frame, its AF coordinates, shooting conditions (exposure, exposure time, etc.) ) Is preset information. Details of the composition information will be described later.

画像圧縮/伸張処理部29は、デジタル信号処理部28を介して入力されたデジタルデータ(非圧縮のRAWイメージデータ)をJPEG方式に圧縮符号化したり、再生モードにおいては、JPEG形式のファイルを伸張する。プログラムメモリ30は、制御部20にロードされる各種プログラムや、ベストショット機能におけるEV値、色補正情報、被写体の撮影フレーム内における立ち位置やそのAF座標、撮影条件(露出や露光時間など)を示す構図情報等の各種をテーブル単位で格納する。また、DCF規格に準拠されているファイルに埋め込むべき各種情報も記憶している。画像メモリ31は、各種ファイル形式に変換されたデジタルデータを格納する。カードI/F32は、外部記録媒体33と撮像装置本体との間のデータ交換を制御する。外部記録媒体33は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等からなる。外部接続用I/F34は、USBコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。   The image compression / decompression processing unit 29 compresses and encodes digital data (uncompressed RAW image data) input via the digital signal processing unit 28 into the JPEG format, or decompresses a JPEG format file in the playback mode. To do. The program memory 30 stores various programs loaded in the control unit 20, EV value in the best shot function, color correction information, standing position of the subject in the shooting frame, its AF coordinates, and shooting conditions (such as exposure and exposure time). Various types of composition information to be shown are stored in units of tables. In addition, various information to be embedded in a file compliant with the DCF standard is also stored. The image memory 31 stores digital data converted into various file formats. The card I / F 32 controls data exchange between the external recording medium 33 and the imaging apparatus main body. The external recording medium 33 includes a compact flash (registered trademark), a memory stick, an SD card, and the like. The external connection I / F 34 includes a USB connector slot and the like, is connected to a personal computer or the like, and is used for transferring photographed image data.

A−2.画像ファイルフォーマット
次に、図2は、本実施形態によるデジタルカメラで取り扱う画像ファイルフォーマットを示す概念図である。本実施形態では、撮影した画像データをExif規格に従った画像ファイルとして保存するようになっている。Exif規格では、ファイル中の「タグ」と呼ばれる情報付加部分に撮影情報やファイル情報を記録可能となっている。Exif規格の画像ファイルは、Exif規格のファイルであることを識別するためのヘッダ、画像データに関する種々の情報を含むタグ情報とサムネイル画像データとからなる画像付加情報、および撮影したオリジナルの元画像データからなる。タグ情報には、画素数、圧縮モード、カメラの機種名、絞り値、シャッター速度、撮影日時、ユーザ情報といった各種情報が記録できる。本実施形態では、ユーザ情報領域に、撮影時に使用された構図情報を識別するためのベストショット種別、該構図情報におけるAF座標および再生パターンからなる「再生情報」を記録するようになっている。
A-2. Image File Format Next, FIG. 2 is a conceptual diagram showing an image file format handled by the digital camera according to the present embodiment. In the present embodiment, captured image data is stored as an image file according to the Exif standard. In the Exif standard, shooting information and file information can be recorded in an information addition portion called “tag” in a file. The Exif standard image file is a header for identifying that the file is an Exif standard file, image additional information including tag information including various information related to the image data and thumbnail image data, and the original original image data captured Consists of. Various information such as the number of pixels, compression mode, camera model name, aperture value, shutter speed, shooting date and time, and user information can be recorded in the tag information. In the present embodiment, “reproduction information” including the best shot type for identifying composition information used at the time of shooting, AF coordinates in the composition information, and a reproduction pattern is recorded in the user information area.

なお、構図情報とは、前述したように、被写体と背景などの位置関係や撮影条件(露出や露光時間など)などを、様々な撮影シーンに応じて予め設定したものある。ユーザは、事前に撮影シーンに応じた構図情報を選択し、該選択した構図情報の構図(被写体と背景などの位置関係:ベストショットイメージ)に従って被写体の立ち位置などを決めて実際の撮影を行う。デジタルカメラ側では、選択された構図情報のAF座標で合焦させ、該構図情報に設定されている露出、露光時間で撮影を行う。これにより、ユーザは、面倒な設定を行うことなく、撮影シーンに最適な条件で撮影することが可能となる。   Note that the composition information is information in which the positional relationship between the subject and the background, the shooting conditions (exposure, exposure time, etc.) and the like are set in advance according to various shooting scenes, as described above. The user selects composition information according to the shooting scene in advance, and determines the standing position of the subject according to the composition (positional relationship between the subject and the background: best shot image) of the selected composition information, and performs actual shooting. . On the digital camera side, focusing is performed with the AF coordinates of the selected composition information, and shooting is performed with the exposure and exposure time set in the composition information. As a result, the user can shoot under the optimum conditions for the shooting scene without making troublesome settings.

ここで、図3(a)は、ベストショットイメージの一例を示す概念図であり、同図(b)は、その構図情報に対する再生情報である。図3(a),(b)に示す例は、1人の被写体のほぼ上半身をフレームの中央に入るようにして撮影するベストショットであり、この場合、構図情報種別「BS001」、AF座標(被写体の顔部分)「x1、y1」、該構図情報に対する再生パターン「P001(ズーム)」が再生情報として画像ファイルのタグ情報に記録される。   Here, FIG. 3A is a conceptual diagram showing an example of the best shot image, and FIG. 3B is reproduction information for the composition information. The example shown in FIGS. 3A and 3B is a best shot in which the upper body of one subject is photographed so as to enter the center of the frame. In this case, the composition information type “BS001”, AF coordinates ( The face portion of the subject) “x1, y1” and the reproduction pattern “P001 (zoom)” for the composition information are recorded as reproduction information in the tag information of the image file.

図4(a)〜(d)は、上記図3(a)に示すベストショットイメージで撮影した画像データを再生する際の様子を示す模式図である。該再生パターンP001では、図4(a)〜同図(d)に示すように、撮影した元画像全体が入るように表示部25に表示した状態から徐々にAF座標位置を中心として被写体の顔部分にズームインしていくように再生する。   FIGS. 4A to 4D are schematic views showing a state when image data captured with the best shot image shown in FIG. 3A is reproduced. In the reproduction pattern P001, as shown in FIGS. 4A to 4D, the face of the subject is gradually centered on the AF coordinate position from the state displayed on the display unit 25 so that the entire captured original image is included. Play as you zoom in on the part.

また、図5(a)は、ベストショットイメージの他の例を示す概念図であり、同図(b)は、その構図情報に対する再生情報である。図5(a),(b)に示す例は、1人の被写体の全身をフレームの中央に入るようにして撮影するベストショットであり、この場合、構図情報種別「BS002」、AF座標(被写体の顔部分)「x2、y2」、該構図情報に対する再生パターン「P002(スクロール&ズーム)」が再生情報として画像ファイルのタグ情報に記録される。   FIG. 5A is a conceptual diagram showing another example of the best shot image, and FIG. 5B is reproduction information for the composition information. The examples shown in FIGS. 5A and 5B are best shots in which the whole body of one subject is photographed so as to enter the center of the frame. In this case, composition information type “BS002”, AF coordinates (subject Face portion) “x2, y2” and a reproduction pattern “P002 (scroll & zoom)” for the composition information are recorded in the tag information of the image file as reproduction information.

図6(a)〜(d)は、上記図5(a)に示すベストショットイメージで撮影した画像データを再生する際の再生パターンP002の様子を示す模式図である。該再生パターンP002では、図6(a)〜同図(d)に示すように、撮影した元画像全体が入るように表示部25に表示した状態から、まず、被写体の足元付近にズームインし、徐々にAF座標位置を中心とした被写体の顔部分に縦スクロールしていくように再生する。   FIGS. 6A to 6D are schematic diagrams showing the state of the reproduction pattern P002 when reproducing the image data captured with the best shot image shown in FIG. In the reproduction pattern P002, as shown in FIGS. 6 (a) to 6 (d), from the state displayed on the display unit 25 so that the entire captured original image is entered, first, the vicinity of the subject's feet is zoomed in, Reproduction is performed so that the face portion of the subject is gradually scrolled vertically with the AF coordinate position as the center.

次に、図7(a)は、ベストショットイメージの他の例を示す概念図であり、同図(b)は、その構図情報に対する再生情報である。図7(a),(b)に示す例は、1人の被写体の上半身をフレームの左側に入るようにして撮影するベストショット(背景とともに撮影する)であり、この場合、構図情報種別「BS003」、AF座標(被写体の顔部分)「x3、y3」、該構図情報に対する再生パターン「P001(ズーム)」が再生情報として画像ファイルのタグ情報に記録される。   Next, FIG. 7A is a conceptual diagram showing another example of the best shot image, and FIG. 7B is reproduction information for the composition information. The example shown in FIGS. 7A and 7B is a best shot (captured together with the background) that is taken so that the upper body of one subject enters the left side of the frame. In this case, the composition information type “BS003” ”, AF coordinates (face portion of subject)“ x3, y3 ”, and reproduction pattern“ P001 (zoom) ”for the composition information are recorded as reproduction information in the tag information of the image file.

図8(a)〜(d)は、上記図7(a)に示すベストショットイメージで撮影した画像データを再生する際の再生パターンP001の様子を示す模式図である。該再生パターンP001は、前述した図3の再生パターンP001と同じであるが、AF座標が異なるので、図4(a)〜(d)に示す再生パターンとは異なる。この場合、図8(a)〜同図(d)に示すように、撮影した元画像全体が入るように表示部25に表示した状態から、徐々にAF座標位置を中心として、横方向に流れるように、被写体の顔部分にズームインしていくように再生する。   FIGS. 8A to 8D are schematic diagrams showing the state of the reproduction pattern P001 when reproducing the image data captured with the best shot image shown in FIG. 7A. The reproduction pattern P001 is the same as the reproduction pattern P001 of FIG. 3 described above, but differs from the reproduction patterns shown in FIGS. 4A to 4D because the AF coordinates are different. In this case, as shown in FIGS. 8A to 8D, the image gradually flows in the horizontal direction centering on the AF coordinate position from the state displayed on the display unit 25 so that the entire captured original image is included. In this way, playback is performed so as to zoom in on the face portion of the subject.

次に、図9(a)は、ベストショットイメージの他の例を示す概念図であり、同図(b)は、その構図情報に対する再生情報である。図9(a),(b)に示す例は、2人の被写体の上半身をフレームの中央に入るようにして撮影するベストショットであり、この場合、構図情報種別「BS004」、AF座標(2つ被写体の顔部分)「x4、y4/x5、x5」、該構図情報に対する再生パターン「P003(スクロール&ズーム)」が再生情報として画像ファイルのタグ情報に記録される。   Next, FIG. 9A is a conceptual diagram showing another example of the best shot image, and FIG. 9B is reproduction information for the composition information. The examples shown in FIGS. 9A and 9B are best shots in which the upper bodies of two subjects are photographed so as to enter the center of the frame. In this case, the composition information type “BS004”, AF coordinates (2 The face portion of the subject) “x4, y4 / x5, x5” and the reproduction pattern “P003 (scroll and zoom)” for the composition information are recorded as reproduction information in the tag information of the image file.

図10(a)〜(d)は、上記図9(a)に示すベストショットイメージで撮影した画像データを再生する際の再生パターンP003の様子を示す模式図である。該再生パターンP003では、図10(a)〜同図(d)に示すように、撮影した元画像全体が入るように表示部25に表示した状態から、まず、徐々にAF座標(x4、y4)を中心とした被写体の顔部分にズームインし、その状態で、AF座標(x5、y5)を中心とした他方の被写体の顔部分に横スクロールしていった後、AF座標(x4、y4)とAF座標(x5、y5)とが同時に入るように、すなわち2人の被写体の顔部分が入るように、ズームアウトしていくように再生する。   FIGS. 10A to 10D are schematic views showing the state of the reproduction pattern P003 when reproducing the image data taken with the best shot image shown in FIG. 9A. In the reproduction pattern P003, as shown in FIGS. 10A to 10D, first, the AF coordinates (x4, y4) are gradually increased from the state where the entire captured original image is displayed on the display unit 25. ) Is zoomed in on the face portion of the subject, and in that state, after scrolling horizontally to the face portion of the other subject centering on the AF coordinates (x5, y5), AF coordinates (x4, y4) And AF coordinates (x5, y5) are entered at the same time, that is, reproduction is performed so as to zoom out so that the face portions of two subjects enter.

B.実施形態の動作
次に、上述した実施形態の動作について説明する。
B−1.撮影モード
図11は、デジタルカメラの撮影時の動作を説明するためのフローチャートである。撮影モードが選択されると、まず、撮像モジュール(画像取得部10、アナログ信号処理部15)を起動し(ステップS10)、撮像モジュールにより撮影されている映像をリアルタイムでスルー画像として表示部25に表示する(ステップS12)。次に、シャッターキーが押下されたか否かを判断し(ステップS14)、シャッターキーが押下されない場合には、構図情報選択モードが選択されたか否かを判断する(ステップS16)。そして、構図情報選択モードが選択されていなければ、ステップS12へ戻り、スルー画像の表示を継続する。
B. Operation of Embodiment Next, the operation of the above-described embodiment will be described.
B-1. Shooting Mode FIG. 11 is a flowchart for explaining the operation of the digital camera during shooting. When the shooting mode is selected, first, the imaging module (the image acquisition unit 10 and the analog signal processing unit 15) is activated (step S10), and the video captured by the imaging module is displayed on the display unit 25 in real time as a through image. Display (step S12). Next, it is determined whether or not the shutter key is pressed (step S14). If the shutter key is not pressed, it is determined whether or not the composition information selection mode is selected (step S16). If the composition information selection mode is not selected, the process returns to step S12 to continue displaying the through image.

一方、構図情報選択モードが選択されると、図示しない構図情報選択画面を表示部25に表示する(ステップS18)。構図情報選択画面には、前述した図3(a)、図5(a)、図7(a)、図9(a)に示すようなベストショットイメージとその説明(撮影条件)などが表示される。次に、いずれかの構図情報が選択されたか否かを判断する(ステップS20)。ユーザは、構図情報選択画面からこれから撮影しようとする条件に合致した構図情報を選択する。そして、構図情報が選択されない場合には、ステップS18へ戻り、構図情報選択画面の表示を継続する。   On the other hand, when the composition information selection mode is selected, a composition information selection screen (not shown) is displayed on the display unit 25 (step S18). The composition information selection screen displays the best shot image and its description (shooting conditions) as shown in FIGS. 3A, 5A, 7A, and 9A. The Next, it is determined whether any composition information has been selected (step S20). The user selects composition information that matches the condition to be photographed from the composition information selection screen. If composition information is not selected, the process returns to step S18 to continue displaying the composition information selection screen.

一方、いずれかの構図情報が選択されると、選択された構図情報を登録し(ステップS22)、ステップS12へ戻る。ユーザは、構図情報を登録すると、その構図情報のベストショットイメージに合わせて立ち位置などの構図を決めてシャッターを押下することになる。シャッターキーが押下されると、撮像モジュールにより取り込まれた画像データをイメージバッファ26に格納する(ステップS24)。   On the other hand, when any composition information is selected, the selected composition information is registered (step S22), and the process returns to step S12. When the user registers the composition information, the user determines the composition such as the standing position in accordance with the best shot image of the composition information and presses the shutter. When the shutter key is pressed, the image data captured by the imaging module is stored in the image buffer 26 (step S24).

次に、登録されている構図情報のAF座標を取得し(ステップS26)、再生パターンを取得し(ステップS28)、これらAF座標、再生パターンをタグ情報として挿入し、Exif規格に合った画像ファイルを生成して画像メモリ31に格納する(ステップS30)。   Next, the AF coordinates of the registered composition information are acquired (step S26), the reproduction pattern is acquired (step S28), the AF coordinates and the reproduction pattern are inserted as tag information, and the image file conforms to the Exif standard. Is stored in the image memory 31 (step S30).

B−2.再生モード
次に、図12は、デジタルカメラの再生時の動作を説明するためのフローチャートである。再生モードが選択されると、まず、画像メモリ31に格納されている画像ファイルを検索する(ステップS40)。そして、見つかった画像ファイルのリストを一覧表示する(ステップS42)。次に、一覧表示したリストの中からいずれかの画像ファイルが選択されたか否かを判断する(ステップS44)。ユーザは、一覧表示されたリストの中から再生表示したい画像ファイルを選択する。そして、画像ファイルが選択されない場合には、ステップS42に戻り、一覧表示を継続する。
一方、いずれかの画像ファイルが選択されると、画像ファイルのタグ情報からAF座標、再生パターンを取り出し(ステップS46)、これらAF座標、再生パターンに従って、元画像データを再生表示する(ステップS48)。
B-2. Playback Mode Next, FIG. 12 is a flowchart for explaining the operation of the digital camera during playback. When the reproduction mode is selected, first, an image file stored in the image memory 31 is searched (step S40). Then, a list of found image files is displayed as a list (step S42). Next, it is determined whether any image file has been selected from the displayed list (step S44). The user selects an image file to be reproduced and displayed from the list displayed. If no image file is selected, the process returns to step S42 and the list display is continued.
On the other hand, when one of the image files is selected, the AF coordinates and the reproduction pattern are extracted from the tag information of the image file (step S46), and the original image data is reproduced and displayed according to the AF coordinates and the reproduction pattern (step S48). .

ここで、図13(a)〜(d)、および図14(a)〜(h)は、各々、表示部25での再生例を示す模式図である。図13(a)〜(d)の例では、前述した図3(a)に示す構図情報により撮影した画像データを再生表示する様子を示している。この例では、まず、撮影した元画像全体が入るように表示部25に表示し(図13(a))、その状態から徐々にAF座標位置PP1を中心として被写体の顔部分にズームしていく(図13(b)〜(d))。   Here, FIGS. 13A to 13D and FIGS. 14A to 14H are schematic views showing examples of reproduction on the display unit 25, respectively. In the example of FIGS. 13A to 13D, the image data captured by the composition information shown in FIG. 3A is reproduced and displayed. In this example, first, the entire captured original image is displayed on the display unit 25 (FIG. 13A), and from that state, gradually zooming to the face portion of the subject centering on the AF coordinate position PP1. (FIGS. 13B to 13D).

また、図14(a)〜(h)の例では、前述した図9(a)に示す構図情報により撮影した画像データを再生表示する様子を示している。この例では、まず、撮影した元画像全体が入るように表示部25に表示し(図14(a))、その状態から、徐々にAF座標PP2を中心とした被写体の顔部分にズームし(図14(b)〜(c))、次いで、AF座標PP3を中心とした他方の被写体の顔部分に横スクロールし(図14(d)、(e))、その後、AF座標PP2とAF座標PP3とが同時に入るように、すなわち2人の被写体の顔部分が入るように、ズームアウトしていく(図14(g)、(h))。   In the examples of FIGS. 14A to 14H, the image data captured by the composition information shown in FIG. 9A is reproduced and displayed. In this example, first, the entire photographed original image is displayed on the display unit 25 (FIG. 14A), and from that state, the subject is gradually zoomed to the face portion centered on the AF coordinate PP2 ( 14 (b) to (c)), and then horizontally scrolls to the face portion of the other subject centered on the AF coordinate PP3 (FIGS. 14 (d) and 14 (e)), and then AF coordinates PP2 and AF coordinates The zoom-out is performed so that PP3 enters at the same time, that is, the face portions of two subjects enter (FIGS. 14G and 14H).

上述した実施形態によれば、構図情報に従って、撮影時の注目点(AFポイント)に自動的にズームさせることで、煩雑な操作なしに、ピントが合っているかを容易に確認することができる。また、実施形態によれば、画像ファイルに挿入した構図情報に従って、拡大/縮小、スクロールを組み合わせて画像を自動的に再生することで、効果的に画像を再生することができる。   According to the above-described embodiment, it is possible to easily confirm whether the subject is in focus without complicated operation by automatically zooming to the attention point (AF point) at the time of shooting according to the composition information. Further, according to the embodiment, an image can be effectively reproduced by automatically reproducing the image by combining enlargement / reduction and scrolling according to the composition information inserted in the image file.

なお、上述した実施形態においては、デジタルカメラに付いてのみ説明したが、これに限らず、通常のカメラ付き携帯電話や撮影機能付き、もしくは撮影機能を装着可能な携帯情報端末(PDA)などに適用してもよい。   In the above-described embodiment, only the digital camera has been described. However, the present invention is not limited to this, and the present invention is not limited to this. You may apply.

本実施形態によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by this embodiment. 本実施形態によるデジタルカメラで取り扱う画像ファイルフォーマットを示す概念図である。It is a conceptual diagram which shows the image file format handled with the digital camera by this embodiment. ベストショットイメージの一例を示す概念図、およびその構図情報に対する再生情報である。It is the conceptual diagram which shows an example of a best shot image, and the reproduction | regeneration information with respect to the composition information. 図3(a)に示すベストショットイメージで撮影した画像データを再生する際の様子を示す模式図であるIt is a schematic diagram which shows the mode at the time of reproducing | regenerating the image data image | photographed with the best shot image shown to Fig.3 (a). ベストショットイメージの他の例を示す概念図、およびその構図情報に対する再生情報である。It is the conceptual diagram which shows the other example of a best shot image, and the reproduction | regeneration information with respect to the composition information. 図5(a)に示すベストショットイメージで撮影した画像データを再生する際の様子を示す模式図である。It is a schematic diagram which shows a mode at the time of reproducing | regenerating the image data image | photographed with the best shot image shown to Fig.5 (a). ベストショットイメージの他の例を示す概念図、およびその構図情報に対する再生情報である。It is the conceptual diagram which shows the other example of a best shot image, and the reproduction | regeneration information with respect to the composition information. 図7(a)に示すベストショットイメージで撮影した画像データを再生する際の様子を示す模式図である。It is a schematic diagram which shows the mode at the time of reproducing | regenerating the image data image | photographed with the best shot image shown to Fig.7 (a). ベストショットイメージの他の例を示す概念図、およびその構図情報に対する再生情報である。It is the conceptual diagram which shows the other example of a best shot image, and the reproduction | regeneration information with respect to the composition information. 図9(a)に示すベストショットイメージで撮影した画像データを再生する際の様子を示す模式図である。It is a schematic diagram which shows a mode at the time of reproducing | regenerating the image data image | photographed with the best shot image shown to Fig.9 (a). デジタルカメラの撮影時の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement at the time of imaging | photography of a digital camera. デジタルカメラの再生時の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement at the time of reproduction | regeneration of a digital camera. 表示部25での再生例を示す模式図である。11 is a schematic diagram illustrating an example of reproduction on the display unit 25. FIG. 表示部25での再生例を示す模式図である。11 is a schematic diagram illustrating an example of reproduction on the display unit 25. FIG.

符号の説明Explanation of symbols

10 画像取得部(画像データ取得手段、撮影制御手段)
11 レンズ
12 シャッタ
13 LPF
14 ドライバ
15 アナログ信号処理部(画像データ取得手段)
16 撮像センサ(画像データ取得手段)
17 サンプリング/信号増幅処理部(画像データ取得手段)
18 A/Dコンバータ(画像データ取得手段)
20 制御部(表示制御手段、再生制御情報生成手段、画像ファイル生成手段)
22 プレビューエンジン
23 D/Aコンバータ
24 ドライバ
25 表示部(表示手段)
26 イメージバッファ
27 キー操作部(指示手段、選択手段)
28 デジタル信号処理部
29 画像圧縮/伸張処理部
30 プログラムメモリ(記憶手段、構図情報記憶手段)
31 画像メモリ(画像ファイル記憶手段)
32 カードI/F
33 外部記録媒体
34 外部接続I/F
10 Image acquisition unit (image data acquisition means, photographing control means)
11 Lens 12 Shutter 13 LPF
14 Driver 15 Analog signal processor (image data acquisition means)
16 Imaging sensor (image data acquisition means)
17 Sampling / signal amplification processing section (image data acquisition means)
18 A / D converter (image data acquisition means)
20 control unit (display control means, reproduction control information generation means, image file generation means)
22 Preview Engine 23 D / A Converter 24 Driver 25 Display Unit (Display Unit)
26 Image buffer 27 Key operation unit (instruction means, selection means)
28 Digital Signal Processing Unit 29 Image Compression / Expansion Processing Unit 30 Program Memory (Storage Unit, Composition Information Storage Unit)
31 Image memory (image file storage means)
32 card I / F
33 External recording medium 34 External connection I / F

Claims (4)

少なくともフレーム内の被写体の立ち位置と撮影条件とを含む構図情報を複数記憶する構図情報記憶手段と、
前記構図情報記憶手段に記憶されている構図情報を選択する選択手段と、
この選択手段により選択された構図情報に基づいて撮影を実行し、撮影に基づく画像データを取得する画像データ取得手段と、
この画像データ取得手段により画像データが取得されると、前記選択手段によって選択された構図情報に基づいてこの画像データを再生する際の再生方法を示す再生制御情報を生成する再生制御情報生成手段と、
前記画像データ取得手段により取得された画像データと、前記再生制御情報生成手段により生成された再生制御情報とを含む画像ファイルを生成する画像ファイル生成手段と
を具備することを特徴とする撮像装置。
Composition information storage means for storing a plurality of composition information including at least the standing position of the subject in the frame and the shooting conditions;
Selecting means for selecting composition information stored in the composition information storage means;
Image data acquisition means for executing imaging based on the composition information selected by the selection means and acquiring image data based on the imaging;
When the image data is acquired by the image data acquisition means, reproduction control information generation means for generating reproduction control information indicating a reproduction method when reproducing the image data based on the composition information selected by the selection means; ,
An image pickup apparatus comprising: an image file generation unit configured to generate an image file including the image data acquired by the image data acquisition unit and the reproduction control information generated by the reproduction control information generation unit.
前記再生制御情報は、フォーカス位置に基づいて表示を制御する再生パターン情報を含むことを特徴とする請求項記載の撮像装置。 The reproduction control information, the imaging apparatus according to claim 1, characterized in that it comprises a reproduction pattern information for controlling the display based on the focus position. 前記再生制御情報は、前記被写体の顔部分に基づいて表示を制御する再生パターン情報を含むことを特徴とする請求項1記載の撮像装置。The imaging apparatus according to claim 1, wherein the reproduction control information includes reproduction pattern information for controlling display based on a face portion of the subject. 撮像部を備える情報処理装置が具備するコンピュータを、A computer included in an information processing apparatus including an imaging unit,
少なくともフレーム内の被写体の立ち位置と撮影条件とを含む構図情報を複数記憶する記憶部から特定の構図情報を選択する選択手段、Selection means for selecting specific composition information from a storage unit that stores a plurality of composition information including at least the standing position of the subject in the frame and the shooting conditions;
この選択手段によって選択された構図情報に基づいて前記撮像部に撮影を実行させ、撮影に基づく画像データを取得させる画像データ取得手段、Image data acquisition means for causing the imaging unit to perform shooting based on the composition information selected by the selection means and acquiring image data based on the shooting;
この画像データ取得手段によって画像データが取得されると、前記選択手段によって選択された構図情報に基づいてこの画像データを再生する際の再生方法を示す再生制御情報を生成する再生制御情報生成手段、When the image data is acquired by the image data acquisition means, reproduction control information generation means for generating reproduction control information indicating a reproduction method when reproducing the image data based on the composition information selected by the selection means,
前記画像データ取得手段によって取得された画像データと、前記再生制御情報生成手段によって生成された再生制御情報とを含む画像ファイルを生成する画像ファイル生成手段Image file generation means for generating an image file including the image data acquired by the image data acquisition means and the reproduction control information generated by the reproduction control information generation means
として機能させることを特徴とする画像ファイル生成プログラム。An image file generation program characterized by functioning as
JP2004184804A 2004-06-23 2004-06-23 Imaging apparatus and image file generation program Expired - Fee Related JP4404200B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004184804A JP4404200B2 (en) 2004-06-23 2004-06-23 Imaging apparatus and image file generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004184804A JP4404200B2 (en) 2004-06-23 2004-06-23 Imaging apparatus and image file generation program

Publications (3)

Publication Number Publication Date
JP2006013677A JP2006013677A (en) 2006-01-12
JP2006013677A5 JP2006013677A5 (en) 2007-07-19
JP4404200B2 true JP4404200B2 (en) 2010-01-27

Family

ID=35780414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004184804A Expired - Fee Related JP4404200B2 (en) 2004-06-23 2004-06-23 Imaging apparatus and image file generation program

Country Status (1)

Country Link
JP (1) JP4404200B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195099A (en) * 2006-01-23 2007-08-02 Fujifilm Corp Photographing apparatus
JP4923674B2 (en) * 2006-03-30 2012-04-25 カシオ計算機株式会社 Digital camera, focus position specifying method, program
JP4916815B2 (en) * 2006-08-21 2012-04-18 富士フイルム株式会社 Imaging support system and imaging apparatus
JP4697604B2 (en) * 2006-12-26 2011-06-08 富士フイルム株式会社 Imaging apparatus and imaging control method
JP4707735B2 (en) * 2008-07-23 2011-06-22 キヤノンソフトウェア株式会社 Information processing apparatus, imaging apparatus, image display method, storage medium, and program

Also Published As

Publication number Publication date
JP2006013677A (en) 2006-01-12

Similar Documents

Publication Publication Date Title
JP4250543B2 (en) Imaging apparatus, information processing apparatus, and control method thereof
JP5025532B2 (en) Imaging apparatus, imaging apparatus control method, and imaging apparatus control program
JP4655135B2 (en) Imaging apparatus, imaging area display method, and imaging area display program
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP4000293B2 (en) Digital camera
JP4735166B2 (en) Image display apparatus and program
JP4696614B2 (en) Image display control device and program
JP2006094082A (en) Image photographing device, and program
JP4404200B2 (en) Imaging apparatus and image file generation program
JP2001028699A (en) Electronic camera
JP2008118495A (en) Imaging apparatus
JP2004248171A (en) Moving image recorder, moving image reproduction device, and moving image recording and reproducing device
JP4678273B2 (en) Imaging apparatus, moving image storage method, and moving image storage program
JP4888829B2 (en) Movie processing device, movie shooting device, and movie shooting program
JP4826480B2 (en) Imaging apparatus, image management method, and program
JP4379191B2 (en) Electronic camera and image processing program
JP4360395B2 (en) Information processing device
JP2005278003A (en) Image processing apparatus
JP4828486B2 (en) Digital camera, photographing method and photographing program
JP2007228233A (en) Photographic device
JP4227066B2 (en) Image capturing apparatus and image reproducing method of image capturing apparatus
JP2000299800A (en) Image pickup method and device and storage medium
JP2001111938A (en) Digital camera, image processing method, and recording medium
JP2002152557A (en) Electronic camera device and picture processor
JP4018696B2 (en) Imaging apparatus and control method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4404200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091027

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees