JP2001045409A - Electronic camera - Google Patents

Electronic camera

Info

Publication number
JP2001045409A
JP2001045409A JP11215153A JP21515399A JP2001045409A JP 2001045409 A JP2001045409 A JP 2001045409A JP 11215153 A JP11215153 A JP 11215153A JP 21515399 A JP21515399 A JP 21515399A JP 2001045409 A JP2001045409 A JP 2001045409A
Authority
JP
Japan
Prior art keywords
image
still
moving image
still image
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11215153A
Other languages
Japanese (ja)
Other versions
JP4179711B2 (en
Inventor
Akira Inoue
晃 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP21515399A priority Critical patent/JP4179711B2/en
Publication of JP2001045409A publication Critical patent/JP2001045409A/en
Application granted granted Critical
Publication of JP4179711B2 publication Critical patent/JP4179711B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an electronic camera by which a user can slowly confirm contents of a specific picture among moving pictures without need for troublesome operation. SOLUTION: This electronic camera has a still picture release switch 31 used to instruct photographing of the still picture and a consecutive shot release 32 used to instruct start and stop of photographing a moving picture. The electronic camera records a moving picture, which is photographed by an instruction of the consecutive shot release 32 under control by a system controller 21, to a memory card 20. In the case that photographing of a still picture is instructed by the still picture release switch 31 while a moving picture is photographed, a still picture flag is set to the still picture when photographing of the still picture in the moving picture recorded in the memory card 20 is instructed, and the still picture with the still picture flag added thereto is displayed in parallel with reproduction display of the moving picture when the moving picture recorded in the memory card 20 is reproduced in a way of picture-in-picture display form.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、連写機能を有する
電子カメラに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic camera having a continuous shooting function.

【0002】[0002]

【従来の技術】被写体像を撮像光学系により固体撮像素
子、例えばCCD二次元イメージセンサ上に結像して電
気信号に変換し、これにより得られた静止画の画像信号
を半導体メモリや磁気ディスクのような記録媒体に記録
する電子カメラが広く普及しつつある。
2. Description of the Related Art An image of a subject is formed on a solid-state image sensor, for example, a CCD two-dimensional image sensor by an imaging optical system and converted into an electric signal. Electronic cameras that record on such recording media are becoming widespread.

【0003】また、記録媒体の容量の増大と画像処理速
度の向上に伴い、静止画像の撮影のみでなく、時間的に
連続した複数の静止画像からなる動画画像を撮影し、再
生時にこれを連続して再生表示する、いわゆる連写機能
を有する電子カメラも種々製品化されている。
With the increase in the capacity of the recording medium and the improvement in image processing speed, not only a still image but also a moving image composed of a plurality of temporally continuous still images has been photographed. Various types of electronic cameras having a so-called continuous shooting function for performing playback and display have also been commercialized.

【0004】[0004]

【発明が解決しようとする課題】動画画像の再生時にお
いては、動画画像を構成する複数の静止画像の中の特定
の一枚ないし数枚の画像だけをゆっくり確認したい場合
がしばしばある。このような場合、従来の電子カメラで
は動画画像の再生状態を連続的な再生から1コマ単位で
の再生に切り替え、所望の画像が選択されるまでコマ送
り操作を行い、所望の画像が表示された時点でコマ送り
操作を停止するようにしていた。
When reproducing a moving image, it is often desired to slowly check only one or several specific images among a plurality of still images constituting the moving image. In such a case, in the conventional electronic camera, the playback state of the moving image is switched from continuous playback to playback in units of one frame, and a frame advance operation is performed until a desired image is selected, whereby a desired image is displayed. The frame advance operation was stopped at the point of time.

【0005】しかし、このような方法では動画画像中の
任意の画像を選択するのに要する手間がかかるという問
題があった。
[0005] However, such a method has a problem that it takes time and effort to select an arbitrary image in the moving image.

【0006】本発明は、煩雑な操作を必要とすることな
く、動画画像中の特定の画像の内容をゆっくりと確認す
ることが可能な電子カメラを提供することを目的とす
る。
SUMMARY OF THE INVENTION An object of the present invention is to provide an electronic camera capable of slowly confirming the contents of a specific image in a moving image without requiring complicated operations.

【0007】[0007]

【課題を解決するための手段】上記の課題を解決するた
め、本発明は動画画像の撮影時に動画画像中の所望の静
止画像に対して識別情報を付加し、動画画像の再生時に
該識別情報が付加されている静止画像を表示画面の一部
を用いて表示するようにしたことを骨子としている。
In order to solve the above-mentioned problems, the present invention adds identification information to a desired still image in a moving image when capturing a moving image, and adds the identification information when reproducing the moving image. The main point is that a still image to which is added is displayed using a part of the display screen.

【0008】すなわち、本発明に係る電子カメラは、静
止画像の撮影を指示する第1のレリーズ手段と、時間的
に連続した複数の静止画像からなる動画画像の撮影の開
始および停止を指示する第2のレリーズ手段と、この第
2のレリーズ手段による指示により撮影された動画画像
を記録媒体に記録する記録手段と、第2のレリーズ手段
による指示により動画画像の撮影が行われている状態で
第1のレリーズ手段による静止画像の撮影が指示された
場合に、記録媒体に記録される動画画像中の該静止画像
の撮影が指示された時点の静止画像に識別情報を付加す
る記録制御手段と、記録媒体に記録されている動画画像
の再生表示時に、該動画画像の再生表示と並行して識別
情報が付加された静止画像を表示画面の一部を用いて所
定時間にわたり再生表示する制御を行う再生制御手段と
を具備したことを特徴とする。
That is, the electronic camera according to the present invention comprises a first release means for instructing the photographing of a still image and a second release means for instructing the start and stop of the photographing of a moving image composed of a plurality of temporally continuous still images. A second release means, a recording means for recording a moving image captured by an instruction from the second release means on a recording medium, and a second release means in which a moving image is being captured by the second release means. Recording control means for adding identification information to a still image of the moving image recorded on the recording medium when the photographing of the still image is instructed when photographing of the still image by the release means is instructed; At the time of reproducing and displaying the moving image recorded on the recording medium, the still image to which the identification information is added is reproduced for a predetermined time using a part of the display screen in parallel with the reproducing and displaying of the moving image. Characterized by comprising a reproduction control means for performing control to display.

【0009】このような構成とすることにより、動画画
像を構成する個々の静止画像については、例えばピクチ
ャ・イン・ピクチャ画像の親画像として、また動画画像
を構成する複数の静止画像の中で識別情報が付加された
静止画像については、ピクチャ・イン・ピクチャ画像の
子画像としてそれぞれ表示することによって、撮影時に
ユーザが特に重要と思われるシーンでは静止画像の撮影
指示を行って識別情報を付加しておくだけで、再生時に
特別なキー操作などの煩雑な操作を行うことなく、その
静止画像の内容をゆっくりと確認することが可能とな
る。
With such a configuration, each still image constituting a moving image is identified as, for example, a parent image of a picture-in-picture image or among a plurality of still images constituting a moving image. The still image to which the information has been added is displayed as a child image of the picture-in-picture image, and in a scene considered to be particularly important at the time of shooting, the user gives a still image shooting instruction and adds identification information. By simply performing such operations, it is possible to slowly check the contents of the still image without performing a complicated operation such as a special key operation during reproduction.

【0010】再生制御手段は、動画画像中に識別情報が
付加された静止画像が複数個存在する場合、これら複数
個の静止画像を順次選択的に再生表示する制御を行うよ
うにしてもよいし、これら複数個の静止画像を並行して
再生表示する制御を行うようにしてもよい。このように
すると、撮影時にユーザが特に重要と思われたシーンが
幾つかあり、それらのシーン毎に識別情報を付加してお
くことで、それらの各シーンの静止画像を順次にあるい
は同時に確認することができる。
[0010] When there are a plurality of still images to which identification information is added in the moving image, the reproduction control means may perform control for selectively reproducing and displaying these plurality of still images sequentially. Alternatively, control for reproducing and displaying the plurality of still images in parallel may be performed. In this way, there are some scenes that are considered particularly important by the user at the time of shooting, and by adding identification information to each of these scenes, the still images of those scenes are confirmed sequentially or simultaneously. be able to.

【0011】[0011]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1は、本発明の一実施形態に係
る電子カメラの構成を示す図である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing a configuration of an electronic camera according to one embodiment of the present invention.

【0012】被写体光は撮像レンズ1を通過し、さらに
絞り2によって光量が制御される。撮像レンズ1はAF
モータ3により駆動され、絞り2は絞りモータ4により
駆動される。AFモータ3および絞りモータ4は、それ
ぞれモータドライバ5および6により駆動される。
The subject light passes through the imaging lens 1, and the amount of light is controlled by the diaphragm 2. The imaging lens 1 is AF
The aperture 2 is driven by a motor 3, and the aperture 2 is driven by an aperture motor 4. The AF motor 3 and the aperture motor 4 are driven by motor drivers 5 and 6, respectively.

【0013】撮像レンズ1および絞り2を通過した被写
体光は、カラー固体撮像素子であるCCD二次元カラー
イメージセンサ(以下、単にCCDという)7に入射す
る。これによって、CCD7の撮像面上に被写体像が結
像される。CCD7は、光電変換を行う複数の画素を二
次元のマトリクス状に配列して撮像面を構成し、さらに
撮像面にカラーフィルタを配置したものであり、CCD
ドライバ8によって駆動制御されることにより、撮像面
に結像された被写体像に対応した信号電荷を蓄積する。
撮像面に蓄積された信号電荷は、画素信号と呼ばれる電
気信号としてCCD7から読み出される。
The subject light that has passed through the imaging lens 1 and the aperture 2 enters a CCD two-dimensional color image sensor (hereinafter simply referred to as a CCD) 7 which is a color solid-state imaging device. Thus, a subject image is formed on the imaging surface of the CCD 7. The CCD 7 includes a plurality of pixels that perform photoelectric conversion arranged in a two-dimensional matrix to form an imaging surface, and further includes a color filter disposed on the imaging surface.
The driving control by the driver 8 accumulates signal charges corresponding to the subject image formed on the imaging surface.
The signal charges accumulated on the imaging surface are read out from the CCD 7 as electric signals called pixel signals.

【0014】CCD7から読み出された画素信号は、A
/D変換器9によりディジタル信号に変換された後、画
像処理部10、AE(自動露出)処理部11、AF(自
動焦点調整)処理部12およびAWB(自動ホワイトバ
ランス調整)処理部13に入力される。画像処理部10
では、画素信号に対して色信号の分離、CDS(相関二
重サンプリング)その他の処理が施されることにより、
所定フォーマットのカラー画像信号が生成される。
The pixel signal read from the CCD 7 is A
After being converted into a digital signal by the / D converter 9, the digital signal is input to an image processing unit 10, an AE (automatic exposure) processing unit 11, an AF (automatic focus adjustment) processing unit 12, and an AWB (automatic white balance adjustment) processing unit 13. Is done. Image processing unit 10
By performing color signal separation, CDS (correlated double sampling) and other processes on pixel signals,
A color image signal of a predetermined format is generated.

【0015】AE処理部11では、A/D変換器9より
出力されるディジタル化された画素信号を受け、各画素
からの画素信号の累積加算を主体とする演算処理を行
い、この累積加算値に基づき被写体の明るさに応じたA
E評価値(測光値)を求め、このAE評価値に基づいて
絞りモータ4を介して絞り2を制御することで光量を制
御したり、さらにはCCDドライバ8を介してCCD7
の電荷蓄積時間を制御することにより、自動露出(A
E)処理を行う。
The AE processing section 11 receives the digitized pixel signal output from the A / D converter 9 and performs an arithmetic processing mainly on the cumulative addition of the pixel signals from each pixel. A according to the brightness of the subject based on
An E evaluation value (photometric value) is obtained, and the amount of light is controlled by controlling the aperture 2 via an aperture motor 4 based on the AE evaluation value.
The automatic exposure (A
E) Perform processing.

【0016】AF処理部12では、A/D変換器9より
出力されるディジタル化された画素信号を受けて、例え
ば1画面分の画素信号の高周波成分をハイパスフィルタ
により抽出し、これに対して累積加算等の演算処理を行
うことによって高域側の輪郭成分量に対応するAF評価
値を算出し、これに基づいてAFモータ3を介して撮像
レンズ1を光軸方向に制御して自動焦点調整(AF)処
理を行う。
The AF processing unit 12 receives the digitized pixel signal output from the A / D converter 9 and extracts, for example, a high-frequency component of a pixel signal for one screen by a high-pass filter. An AF evaluation value corresponding to the contour component amount on the high frequency side is calculated by performing arithmetic processing such as cumulative addition, and based on the calculated AF evaluation value, the imaging lens 1 is controlled in the optical axis direction via the AF motor 3 to automatically focus. An adjustment (AF) process is performed.

【0017】AWB処理部13では、A/D変換器9よ
り出力されるディジタル化された画素信号を受けて、被
写体の色温度によらず白が正しく再現されるように画像
処理部10でのカラー画像信号の生成を制御する、自動
ホワイトバランス調整(AWB)処理を行う。
The AWB processing unit 13 receives the digitized pixel signal output from the A / D converter 9 and receives the digitized pixel signal in the image processing unit 10 so that white is correctly reproduced regardless of the color temperature of the subject. An automatic white balance (AWB) process for controlling generation of a color image signal is performed.

【0018】画像処理部10によって生成されたカラー
画像信号は、バッファメモリ14に一時的に記憶され
る。バッファメモリ14から読み出されるカラー画像信
号は表示処理部15に導かれ、ここで表示出力に適した
形態に変換された後、TFT方式などのカラー液晶ディ
スプレイ(LCD)16に供給され、画像として表示さ
れる。
The color image signal generated by the image processing unit 10 is temporarily stored in the buffer memory 14. A color image signal read from the buffer memory 14 is guided to a display processing unit 15, where it is converted into a form suitable for display output, and then supplied to a color liquid crystal display (LCD) 16 of a TFT system or the like to be displayed as an image. Is done.

【0019】バッファメモリ14には、さらに圧縮処理
部17および伸長処理部18が接続される。圧縮処理部
17および伸長処理部18には、記録再生処理部19を
介して画像データおよび付随するデータを記録するため
の記録媒体であるメモリカード20が接続される。メモ
リカード20は、例えばカード型フラッシュメモリのよ
うな半導体メモリを用いて構成される。記録媒体はメモ
リカード20に限られるものではなく、例えばハードデ
ィスクやフロッピディスクのような磁気記録媒体等、種
々の形態のものを使用できる。
The buffer memory 14 is further connected to a compression processing section 17 and an expansion processing section 18. A memory card 20 as a recording medium for recording image data and accompanying data is connected to the compression processing section 17 and the expansion processing section 18 via a recording / reproduction processing section 19. The memory card 20 is configured using a semiconductor memory such as a card-type flash memory, for example. The recording medium is not limited to the memory card 20, and various forms such as a magnetic recording medium such as a hard disk or a floppy disk can be used.

【0020】圧縮処理部17は、バッファメモリ14に
記憶された画像信号を読み出して所定の圧縮方式、例え
ばJPEG方式により圧縮(符号化)処理を行う。圧縮
処理部17で符号化された画像データは、記録再生処理
部19によりメモリカード20への記録に適した形態と
された後、メモリカード20に記録される。但し、メモ
リカード20には通常の静止画像はJPEGファイルと
して記録されるが、時間的に連続した複数の静止画像で
ある動画画像はモーションJPEGファイルとして記録
される。
The compression processing section 17 reads out the image signal stored in the buffer memory 14 and performs a compression (encoding) process by a predetermined compression method, for example, a JPEG method. The image data encoded by the compression processing unit 17 is converted into a form suitable for recording on the memory card 20 by the recording and reproduction processing unit 19, and then recorded on the memory card 20. However, a normal still image is recorded as a JPEG file on the memory card 20, while a moving image, which is a plurality of temporally continuous still images, is recorded as a motion JPEG file.

【0021】メモリカード20に記録された画像データ
は、記録再生処理部19を介して再生され、伸長処理部
18により圧縮処理部17の圧縮方式と逆の処理で伸長
(復号化)処理される。伸長処理された画像信号はバッ
ファメモリ14に一時記憶され、表示処理部15を経て
液晶ディスプレイ16で適宜表示出力することが可能で
ある。
The image data recorded on the memory card 20 is reproduced through a recording / reproducing processing section 19 and decompressed (decoded) by a decompression processing section 18 in a process reverse to the compression method of the compression processing section 17. . The decompressed image signal is temporarily stored in the buffer memory 14, and can be appropriately displayed and output on the liquid crystal display 16 via the display processing unit 15.

【0022】システムコントローラ21は、操作部30
からの指令に基づいて各部を制御するものであり、CP
Uを用いて構成される。具体的には、システムコントロ
ーラ21はCCDドライバ8、A/D変換器9、画像処
理部10、AE処理部11、AF処理部12、AWB処
理部13、バッファメモリ14、表示処理部15、圧縮
処理部17、伸長処理部18および記録再生処理部19
の制御を行う。
The system controller 21 includes an operation unit 30
Each part is controlled based on a command from the
U. Specifically, the system controller 21 includes a CCD driver 8, an A / D converter 9, an image processing unit 10, an AE processing unit 11, an AF processing unit 12, an AWB processing unit 13, a buffer memory 14, a display processing unit 15, Processing unit 17, decompression processing unit 18, and recording / reproduction processing unit 19
Control.

【0023】操作部30は、カメラのユーザによる操作
に基づいて各種の動作を行わせるための指令信号を発生
してシステムコントローラ21に伝達する。この操作部
30には、特に本発明に関係するものとして、静止画レ
リーズスイッチ31、連写レリーズスイッチ32および
モードスイッチ33が設けられている。
The operation unit 30 generates a command signal for performing various operations based on the operation of the camera user and transmits the command signal to the system controller 21. The operation unit 30 is provided with a still image release switch 31, a continuous shooting release switch 32, and a mode switch 33, which are particularly related to the present invention.

【0024】静止画レリーズスイッチ31は、静止画像
の撮影を指示するためのスイッチである。連写レリーズ
スイッチ32は、時間的に連続した複数の静止画像から
なる動画画像の撮影の開始および停止を指示するための
2段動作のスイッチであり、第1段動作で動画画像の撮
影開始、第2段動作で撮影停止を指示する。モードスイ
ッチ33は、記録(撮影)モードと再生(表示)モード
を切り替えるためのスイッチである。
The still image release switch 31 is a switch for giving an instruction to shoot a still image. The continuous shooting release switch 32 is a two-stage operation switch for instructing start and stop of shooting of a moving image composed of a plurality of temporally continuous still images. An instruction to stop shooting is issued in the second stage operation. The mode switch 33 is a switch for switching between a recording (photographing) mode and a reproduction (display) mode.

【0025】システムコントローラ21は、連写レリー
ズスイッチ32による指示により動画画像の撮影が行わ
れている状態で、静止画レリーズスイッチ31による静
止画像の撮影が指示された場合に、メモリカード20に
記録される動画画像中の対応する静止画像、すなわち静
止画像の撮影が指示された瞬間の時点で撮影される静止
画像に静止画フラグを付加する記録制御を記録再生処理
部19に対して行う。この静止画フラグは、これが付加
された静止画像が独立して表示されるべき静止画像であ
る旨を示す識別情報である。
The system controller 21 records the still image on the memory card 20 when the still image release switch 31 is instructed to shoot the still image while the moving image is being shot by the continuous shooting release switch 32. The recording control unit 19 controls the recording and reproduction processing unit 19 to add a still image flag to a corresponding still image in the moving image to be shot, that is, a still image shot at the moment when the shooting of the still image is instructed. The still image flag is identification information indicating that the still image to which the still image flag is added is a still image to be displayed independently.

【0026】さらに、システムコントローラ21は、メ
モリカード20に記録されている動画画像の再生表示時
に、動画画像の再生表示と並行して、静止画フラグが付
加された静止画像を液晶ディスプレイ16の表示画面の
一部を用いて所定時間にわたり再生表示する再生制御を
記録再生処理部19に対して行う。
Further, at the time of reproducing and displaying the moving image recorded on the memory card 20, the system controller 21 displays the still image with the still image flag added thereto on the liquid crystal display 16 in parallel with the reproducing and displaying of the moving image. The reproduction control for reproducing and displaying for a predetermined time using a part of the screen is performed on the recording / reproduction processing unit 19.

【0027】次に、図2に示すフローチャートを用い
て、本実施形態における動画画像の撮影時の動作手順に
ついて説明する。なお、これらの動作はシステムコント
ローラ21による制御とシステムコントローラ21自体
の処理として実現される。
Next, an operation procedure at the time of capturing a moving image in the present embodiment will be described with reference to the flowchart shown in FIG. These operations are realized as control by the system controller 21 and processing of the system controller 21 itself.

【0028】まず、連写レリーズスイッチ32の第1段
動作がなされたか否か、つまり連写レリーズがオンかど
うかを調べ(ステップA1)、連写レリーズオンであれ
ば撮影動作を行う(ステップA2)。この撮影動作で
は、AE処理部11、AF処理部12およびAWB処理
部13でのAF動作、AE動作およびAWB動作が順次
実行された後、CCD7による撮像、画像処理部10で
の画像処理、バッファメモリ14を介しての圧縮処理部
17での圧縮処理、記録再生処理部19によるメモリカ
ード20への動画画像の記録が行われる。圧縮処理部1
7の圧縮処理は例えばJPEG方式であり、動画画像の
撮影時にはメモリカード20に静止画像がモーションJ
PEGファイルとして記録されることになる。
First, it is checked whether or not the first-step operation of the continuous shooting release switch 32 has been performed, that is, whether or not the continuous shooting release is on (step A1). If the continuous shooting release is on, a photographing operation is performed (step A2). ). In this photographing operation, after the AF operation, the AE operation and the AWB operation in the AE processing unit 11, the AF processing unit 12, and the AWB processing unit 13 are sequentially performed, the imaging by the CCD 7, the image processing in the image processing unit 10, the buffering, The compression processing by the compression processing unit 17 via the memory 14 and the recording of the moving image on the memory card 20 by the recording / reproduction processing unit 19 are performed. Compression processing unit 1
7 is, for example, a JPEG method. When a moving image is captured, a still image is
It will be recorded as a PEG file.

【0029】この動画画像撮影時の静止画像の1回の撮
影が終わる毎に、ユーザによって静止画レリーズスイッ
チ31がオン、つまり静止画レリーズがなされたかどう
かを調べ(ステップA3)、静止画レリーズがなされた
場合は、対応する静止画像、つまり静止画レリーズオン
とされた瞬間の時点で撮影された静止画像に静止画フラ
グFがセットされる(ステップA4)。
Each time one shooting of a still image at the time of shooting a moving image is completed, it is checked whether or not the still image release switch 31 has been turned on by the user, that is, whether or not the still image has been released (step A3). If so, the still image flag F is set in the corresponding still image, that is, the still image captured at the moment when the still image release is turned on (step A4).

【0030】次に、連写レリーズスイッチ32の第2段
動作がなされたか否か、つまり連写レリーズがオフかど
うかを調べ(ステップA5)、連写レリーズがオフでな
い場合、つまり連写レリーズがオンのままの場合には、
ステップA6で次の撮影タイミングが到来するまで一定
時間(例えば、動画画像の撮影が5コマ/秒とすると
0.2秒間)待機した後、ステップA2〜A6の動作を
ステップA5で連写レリーズオフとなるまで繰り返す。
1回の動画画像撮影中に静止画レリーズが複数回なされ
ることもあり、その場合は静止画レリーズの都度、静止
画フラグFがセットされることになる。
Next, it is determined whether or not the second-step operation of the continuous shooting release switch 32 has been performed, that is, whether or not the continuous shooting release has been turned off (step A5). If left on,
After waiting for a predetermined time (for example, 0.2 seconds when the moving image is shot at 5 frames / second) until the next shooting timing comes in step A6, the operations in steps A2 to A6 are turned off in step A5. Repeat until.
In some cases, a still image release is performed a plurality of times during a single moving image image shooting. In such a case, the still image flag F is set each time a still image is released.

【0031】ステップA5で連写レリーズオフになる
と、メモリカード20に記録されたモーションJPEG
ファイルの後処理、例えばファイルヘッダ部の設定等が
行われる(ステップA7)。このような一連の動画画像
撮影処理により、ユーザの希望する静止画像に静止画フ
ラグFが付加された動画画像の記録が行われる。
When the continuous shooting release is turned off in step A5, the motion JPEG recorded on the memory card 20 is turned off.
Post-processing of the file, for example, setting of a file header portion is performed (step A7). Through such a series of moving image photographing processing, a moving image in which the still image flag F is added to the still image desired by the user is recorded.

【0032】図3は、メモリカード20に動画画像とし
て記録されるモーションJPEGファイルの一構成例を
示している。このモーションJPEGファイル(拡張
子:mjp)は、例えば記録開始時刻(年、月、日、
時、分、秒)により自動時に付与されるファイル名“9
90309101004”を有する。さらに、このモー
ションJPEGファイルは“990309101004
−01”,“990309101004−02”,“9
90309101004−03”,…というファイル名
のJPEG静止画ファイル(拡張子:jpg)により構
成される。そして、静止画レリーズがなされたJPEG
静止画ファイルに静止画フラグF(F=1)が付与され
る。
FIG. 3 shows an example of the configuration of a motion JPEG file recorded as a moving image on the memory card 20. The motion JPEG file (extension: mjp) has a recording start time (year, month, day,
(Hour, minute, second)
The motion JPEG file is “990309101004”.
-01 "," 990309101004-02 "," 9
90309910104-03 ",... And a JPEG still image file (extension: jpg) with a file name of JPEG still image release.
A still image flag F (F = 1) is added to the still image file.

【0033】次に、図4に示すフローチャートを用い
て、上述のようにして記録された動画画像(モーション
JPEGファイル)の再生時の動作手順について説明す
る。この動作も、システムコントローラ21による制御
とシステムコントローラ21自体の処理として実現され
る。
Next, with reference to a flowchart shown in FIG. 4, an operation procedure at the time of reproducing a moving image (motion JPEG file) recorded as described above will be described. This operation is also realized as control by the system controller 21 and processing of the system controller 21 itself.

【0034】まず、初期設定としてI=0にセットする
(ステップB1)。ここで、Iはピクチャ・イン・ピク
チャ(以下、PinPと記載する)画像の再生時に
“1”にセットされるフラグである。
First, I = 0 is set as an initial setting (step B1). Here, I is a flag that is set to “1” when a picture-in-picture (hereinafter referred to as PinP) image is reproduced.

【0035】この初期設定の後、メモリカード20に記
録されているモーションJPEGファイルの先頭画像を
選択し(ステップB2)、選択した静止画像を展開、つ
まり再生および復号し(ステップB3)、表示する(ス
テップB4)。この静止画像の表示は、ステップB5で
一定時間(例えば0.5秒)経過したと判断されるまで
行う。
After this initial setting, the first image of the motion JPEG file recorded on the memory card 20 is selected (step B2), and the selected still image is expanded, that is, reproduced and decoded (step B3) and displayed. (Step B4). The display of the still image is performed until it is determined in step B5 that a predetermined time (for example, 0.5 seconds) has elapsed.

【0036】次に、I=1かどうかを調べ(ステップB
6)、I=1であればさらにj=Jかどうかを調べる
(ステップB7)。ここで、jはPinP画像の連続表
示枚数カウンタの値である。また、JはPinP画像の
最大連続表示枚数(例えば6枚)であり、時間にして
0.5×6=3秒である。j=JであればI,Jを0に
セットする(ステップB8)。
Next, it is checked whether I = 1 (step B).
6) If I = 1, it is further checked whether j = J (step B7). Here, j is the value of the continuous display number counter of PinP images. J is the maximum number of consecutively displayed PinP images (for example, 6), and is 0.5 × 6 = 3 seconds in time. If j = J, I and J are set to 0 (step B8).

【0037】ステップB6でI=1でない場合は、ステ
ップB9に移る。また、ステップB6でI=1であり、
ステップB7でj=Jでない場合も、ステップB9に移
る。さらに、ステップB7でj=Jの場合は、I,Jを
0にセットした後、ステップB9に移る。ステップB9
では、モーションJPEGファイルの次の静止画像の有
無を調べる(ステップB9)。次の画像がない場合は、
処理は終了する。ステップB9で次の静止画像があれ
ば、その画像を選択し(ステップB10)、引き続きそ
の画像に静止画フラグFがセットされているかどうか、
つまりF=1かどうかを調べる(ステップB11)。
If I = 1 is not satisfied in step B6, the process proceeds to step B9. Also, at step B6, I = 1,
If j = J is not satisfied in step B7, the process proceeds to step B9. Further, if j = J in step B7, I and J are set to 0, and then the process proceeds to step B9. Step B9
Then, the presence or absence of the next still image in the motion JPEG file is checked (step B9). If you don't have the next image,
The process ends. If there is a next still image in step B9, that image is selected (step B10), and whether or not still image flag F is set for that image is determined.
That is, it is checked whether or not F = 1 (step B11).

【0038】ここで、F=1であればステップB10で
選択された画像を親画像および子画像としたPinP画
像を展開して表示する(ステップB12)。この後、
I,Jにそれぞれ1をセットし(ステップB13)、ス
テップB4に戻る。また、F=1でない場合は、さらに
I=1かどうかを調べ(ステップB14)、I=1であ
ればステップB10で選択された画像を親画像、直前の
F=1の画像を子画像としたPinP画像を展開して表
示する(ステップB15)。この後、jを1インクリメ
ントし(ステップB16)、ステップB4に戻る。ま
た、ステップB4でI=1でなければ、PinP画像の
表示を行わず、ステップB10で選択された画像のみを
展開して表示し(ステップB17)、ステップB4に戻
る。
Here, if F = 1, a PinP image with the image selected in step B10 as a parent image and a child image is developed and displayed (step B12). After this,
1 is set to each of I and J (step B13), and the process returns to step B4. If F = 1 is not satisfied, it is further checked whether I = 1 (step B14). If I = 1, the image selected in step B10 is defined as a parent image, and the immediately preceding image with F = 1 is defined as a child image. The developed PinP image is developed and displayed (step B15). Thereafter, j is incremented by 1 (step B16), and the process returns to step B4. If I is not 1 in step B4, the PinP image is not displayed, only the image selected in step B10 is developed and displayed (step B17), and the process returns to step B4.

【0039】このように本実施形態では、動画画像の撮
影時にユーザによる静止画レリーズ操作により所望の静
止画像に識別情報である静止画フラグFを付加してお
き、この動画画像の再生表示時に、図4のステップB1
5において静止画フラグFが付加されている静止画像を
表示画面の一部(子画面)を用いてPinP画像として
所定時間(この例では、PinP画像の最大連続表示枚
数Jで定まる例えば3秒間)にわたって再生表示する。
As described above, in the present embodiment, the still image flag F, which is identification information, is added to a desired still image by a user's still image release operation at the time of shooting a moving image, and when the moving image is reproduced and displayed, Step B1 in FIG.
5, a still image to which the still image flag F is added is used as a PinP image using a part of the display screen (small screen) for a predetermined time (in this example, 3 seconds determined by the maximum continuous display number J of PinP images). Playback display.

【0040】従って、動画画像の撮影時に静止画レリー
ズ操作を行うだけの極めて簡単な操作によって、再生表
示時にユーザが希望する特定の静止画像の内容をゆっく
り確認することが可能となり、本発明の所期の目的を達
成することができる。
Therefore, it is possible to slowly confirm the contents of a specific still image desired by the user at the time of reproduction and display by an extremely simple operation of performing a still image release operation when capturing a moving image. The purpose of the period can be achieved.

【0041】図5は、本実施形態におけるPinP画像
の表示例であり、液晶ディスプレイ16または外部ディ
スプレイの表示画面50に、親画像51と子画像52が
表示される。図4のステップB15では、親画像51と
して動画画像の各静止画像が順次表示され、子画像52
として静止画フラグFが付加された特定の静止画像が表
示される。
FIG. 5 shows a display example of a PinP image according to the present embodiment. A parent image 51 and a child image 52 are displayed on the display screen 50 of the liquid crystal display 16 or an external display. In step B15 of FIG. 4, each still image of the moving image is sequentially displayed as the parent image 51, and the child image 52 is displayed.
, A specific still image to which the still image flag F is added is displayed.

【0042】より具体的には、図5は運動会の徒競走の
様子を動画画像として撮影した場合の表示画面の例であ
り、親画像51は徒競走の全選手がゴールした直後の画
像、子画像52は例えば撮影者の子供がゴールした瞬間
の画像を表している。すなわち、撮影者の子供が参加し
ている徒競走の様子を動画画像として撮影している状況
で、撮影者が我が子のゴールした瞬間に静止画レリーズ
を行ったときの表示画面であり、親画像は51は動画画
像の刻々と変化する静止画像、子画像52は静止画レリ
ーズにより静止画フラグFが付加された静止画像であ
る。これは図4のステップB15での表示画面に相当し
ている。
More specifically, FIG. 5 is an example of a display screen when a state of a sports race at an athletic meet is photographed as a moving image, and a parent image 51 is an image immediately after all players of a sports race have completed a goal, and a child image 52. Represents, for example, an image at the moment when the child of the photographer finishes the goal. In other words, this is a display screen when the photographer performs a still image release at the moment when the child finishes a goal in a situation where a photographer's child is participating in a race where the child is participating as a moving image. The image 51 is a still image that changes every moment of a moving image, and the child image 52 is a still image to which a still image flag F is added by a still image release. This corresponds to the display screen in step B15 in FIG.

【0043】一方、図4のステップB12では、それま
で再生表示された静止画像に静止画フラグFが付加され
ていないために、親画像としては上記と同じく動画画像
の各静止画像が順次表示されるが、子画像も親画像と同
じ静止画像が再生表示されることになる。
On the other hand, in step B12 of FIG. 4, since the still image flag F has not been added to the still image reproduced and displayed so far, each still image of the moving image is sequentially displayed as the parent image as described above. However, the same still image as the parent image is reproduced and displayed for the child image.

【0044】上記の実施形態では、図5に示したように
静止画フラグFが付加された最新の一つの静止画像のみ
が子画像52として表示されるようにしており、動画画
像の撮影時に静止画フラグFが付加された静止画像が複
数個存在する場合には、それらの静止画像が子画像52
として順次再生表示される。しかし、本発明における再
生表示の形態はこれに限られるものではなく、例えば図
6に示すように静止画フラグFが付加された複数個の静
止画像を並行して再生表示するようにしてもよい。
In the above embodiment, as shown in FIG. 5, only the latest still image to which the still image flag F has been added is displayed as the child image 52, and the still image is captured when a moving image is shot. When there are a plurality of still images to which the image flag F is added, the still images are
Are sequentially reproduced and displayed. However, the form of the reproduction display in the present invention is not limited to this. For example, a plurality of still images to which the still image flag F is added as shown in FIG. 6 may be reproduced and displayed in parallel. .

【0045】すなわち、図6(a)の表示画面60で
は、親画像61として動画画像を構成する各静止画像が
再生表示されるが、子画像62a,62bとしては静止
画フラグFが付加された最新の二つの静止画像が再生表
示される。図6(b)の表示画面60は、図6(a)と
ほぼ同様であるが、子画像62a,62bとしては再生
表示される複数の静止画像のサイズを例えば時刻の新し
い画像ほど大きくなるように異ならせている。
That is, on the display screen 60 in FIG. 6A, still images constituting a moving image are reproduced and displayed as the parent image 61, but the still image flag F is added as the child images 62a and 62b. The two latest still images are reproduced and displayed. The display screen 60 in FIG. 6B is almost the same as that in FIG. 6A, but the size of a plurality of still images reproduced and displayed as the child images 62a and 62b is increased, for example, for an image with a newer time. It is different.

【0046】[0046]

【発明の効果】以上説明したように、本発明によれば動
画画像を構成する複数の静止画像の中で識別情報が付加
された静止画像を動画画像の再生表示と並行して表示画
面の一部を用いて表示することにより、撮影時にユーザ
が特に重要と思われるシーンでは静止画レリーズ指示を
行って静止画フラグのような識別情報を付加しておくだ
けで、再生時に特別なキー操作などの煩雑な操作を行う
ことなく、重要なシーンの静止画像の内容をゆっくりと
確認することが可能な電子カメラを提供することができ
る。
As described above, according to the present invention, a still image to which identification information is added among a plurality of still images constituting a moving image is displayed on the display screen in parallel with the reproduction display of the moving image. By using the display, the user can give a still image release instruction and add identification information such as a still image flag in a scene that is considered to be particularly important at the time of shooting. It is possible to provide an electronic camera capable of slowly confirming the contents of a still image of an important scene without performing the complicated operation of.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態に係る電子カメラの構
成を示すブロック図
FIG. 1 is a block diagram showing a configuration of an electronic camera according to a first embodiment of the present invention.

【図2】同実施形態における動画画像撮影時の処理手順
を示すフローチャート
FIG. 2 is a flowchart showing a processing procedure at the time of capturing a moving image in the embodiment.

【図3】同実施形態におけるメモリカードに記録された
動画画像であるモーションJPEGファイルの構成を示
す図
FIG. 3 is an exemplary view showing a configuration of a motion JPEG file which is a moving image recorded on a memory card in the embodiment.

【図4】同実施形態における動画画像再生時の処理手順
を示すフローチャート
FIG. 4 is an exemplary flowchart showing a processing procedure when reproducing a moving image in the embodiment.

【図5】同実施形態における動画画像および静止画フラ
グが付与された静止画像の表示画面の例を示す図
FIG. 5 is an exemplary view showing an example of a display screen of a moving image and a still image to which a still image flag is added according to the embodiment;

【図6】同実施形態における動画画像および静止画フラ
グが付与された静止画像の表示画面の他の例を示す図
FIG. 6 is an exemplary view showing another example of a display screen of a moving image and a still image to which a still image flag is added according to the embodiment;

【符号の説明】[Explanation of symbols]

1…撮像レンズ 2…絞り 3…AFモータ 4…絞りモータ 5,6…モータドライバ 7…CCD(撮像素子) 8…CCDドライバ 9…A/D変換器 10…画像処理部 11…自動露出処理部 12…自動焦点調整処理部 13…自動ホワイトバランス調整処理部 14…バッファメモリ 15…表示処理部 16…液晶ディスプレイ 17…圧縮処理部 18…伸長処理部 19…記録再生処理部(記録手段) 20…メモリカード 21…システムコントローラ(記録制御手段、再生制御
手段) 30…操作部 31…静止画レリーズスイッチ(第1のレリーズ手段) 32…連写レリーズスイッチ(第2のレリーズ手段) 33…モードスイッチ
DESCRIPTION OF SYMBOLS 1 ... Imaging lens 2 ... Aperture 3 ... AF motor 4 ... Aperture motor 5, 6 ... Motor driver 7 ... CCD (imaging element) 8 ... CCD driver 9 ... A / D converter 10 ... Image processing unit 11 ... Automatic exposure processing unit DESCRIPTION OF SYMBOLS 12 ... Autofocus adjustment processing part 13 ... Automatic white balance adjustment processing part 14 ... Buffer memory 15 ... Display processing part 16 ... Liquid crystal display 17 ... Compression processing part 18 ... Decompression processing part 19 ... Recording / reproducing processing part (recording means) 20 ... Memory card 21 ... System controller (recording control means, playback control means) 30 ... Operation unit 31 ... Still image release switch (first release means) 32 ... Continuous shooting release switch (second release means) 33 ... Mode switch

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/907 H04N 5/781 520B 5/91 5/91 E Fターム(参考) 5C022 AA13 AB04 AB12 AB17 AB29 AC03 AC31 AC32 AC42 AC54 AC56 AC69 AC74 5C052 AA17 AB04 CC11 DD02 EE02 EE03 EE08 GA02 GA03 GA07 GB06 GC03 GC05 GD03 GE04 GE08 GF04 5C053 FA08 FA27 GB36 JA21 KA03 KA04 KA24 KA25 LA01 LA06──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/907 H04N 5/781 520B 5/91 5/91 EF Term (Reference) 5C022 AA13 AB04 AB12 AB17 AB29 AC03 AC31 AC32 AC42 AC54 AC56 AC69 AC74 5C052 AA17 AB04 CC11 DD02 EE02 EE03 EE08 GA02 GA03 GA07 GB06 GC03 GC05 GD03 GE04 GE08 GF04 5C053 FA08 FA27 GB36 JA21 KA03 KA04 KA24 KA25 LA01 LA06

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】静止画像の撮影を指示する第1のレリーズ
手段と、 時間的に連続した複数の静止画像からなる動画画像の撮
影の開始および停止を指示する第2のレリーズ手段と、 前記第2のレリーズ手段による指示により撮影された動
画画像を記録媒体に記録する記録手段と、 前記第2のレリーズ手段による指示により動画画像の撮
影が行われている状態で前記第1のレリーズ手段による
静止画像の撮影が指示された場合に、前記記録媒体に記
録される動画画像中の該静止画像の撮影が指示された時
点の静止画像に識別情報を付加する記録制御手段と、 前記記録媒体に記録されている動画画像の再生表示時
に、該動画画像の再生表示と並行して、前記識別情報が
付加された静止画像を表示画面の一部を用いて所定時間
にわたり再生表示する制御を行う再生制御手段とを具備
したことを特徴とする電子カメラ。
A first release means for instructing the photographing of a still image; a second release means for instructing a start and stop of photographing of a moving image composed of a plurality of temporally continuous still images; Recording means for recording, on a recording medium, a moving image captured by an instruction from the second release means; and stationary by the first release means in a state where the moving image is captured by the instruction from the second release means. A recording control unit that adds identification information to a still image at the time when the photographing of the still image in the moving image recorded on the recording medium is instructed when photographing of the image is instructed; and recording on the recording medium. At the time of reproducing and displaying the moving image, the still image to which the identification information is added is reproduced and displayed for a predetermined time using a part of the display screen in parallel with the reproducing and displaying of the moving image. An electronic camera, comprising: a playback control unit that controls the electronic camera.
【請求項2】前記再生制御手段は、前記記録媒体に記録
されている動画画像中に前記識別情報が付加された静止
画像が複数個存在する場合、これら複数個の静止画像を
順次選択的に再生表示する制御を行うことを特徴とする
請求項1記載の電子カメラ。
2. When there are a plurality of still images to which the identification information is added in a moving image recorded on the recording medium, the reproduction control means sequentially selects the plurality of still images. 2. The electronic camera according to claim 1, wherein control for reproducing and displaying is performed.
【請求項3】前記再生制御手段は、前記記録媒体に記録
されている動画画像中に前記識別情報が付加された静止
画像が複数個存在する場合、これら複数個の静止画像を
並行して再生表示する制御を行うことを特徴とする請求
項1記載の電子カメラ。
3. The reproduction control means, if there are a plurality of still images to which the identification information is added in a moving image recorded on the recording medium, reproduces the plurality of still images in parallel. 2. The electronic camera according to claim 1, wherein display control is performed.
JP21515399A 1999-07-29 1999-07-29 Electronic camera Expired - Fee Related JP4179711B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21515399A JP4179711B2 (en) 1999-07-29 1999-07-29 Electronic camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21515399A JP4179711B2 (en) 1999-07-29 1999-07-29 Electronic camera

Publications (2)

Publication Number Publication Date
JP2001045409A true JP2001045409A (en) 2001-02-16
JP4179711B2 JP4179711B2 (en) 2008-11-12

Family

ID=16667554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21515399A Expired - Fee Related JP4179711B2 (en) 1999-07-29 1999-07-29 Electronic camera

Country Status (1)

Country Link
JP (1) JP4179711B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009044A (en) * 2001-06-26 2003-01-10 Canon Inc Method and device for recording and reproducing
JP2008507227A (en) * 2004-07-21 2008-03-06 ノキア コーポレイション Portable electronic devices with picture-in-picture capabilities
JP2009246777A (en) * 2008-03-31 2009-10-22 Canon Inc Image data recording apparatus, image data playback apparatus, and image data erasing apparatus
CN103167233A (en) * 2011-12-16 2013-06-19 三星电子株式会社 Display apparatus and method
US9118844B2 (en) 2011-05-25 2015-08-25 Olympus Corporation Imaging apparatus, image processing apparatus, and imaging method for providing a special effect superimposing still image data on moving image data

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009044A (en) * 2001-06-26 2003-01-10 Canon Inc Method and device for recording and reproducing
US8437623B2 (en) 2001-06-26 2013-05-07 Canon Kabushiki Kaisha Recording apparatus and method
JP2008507227A (en) * 2004-07-21 2008-03-06 ノキア コーポレイション Portable electronic devices with picture-in-picture capabilities
JP2009246777A (en) * 2008-03-31 2009-10-22 Canon Inc Image data recording apparatus, image data playback apparatus, and image data erasing apparatus
US9118844B2 (en) 2011-05-25 2015-08-25 Olympus Corporation Imaging apparatus, image processing apparatus, and imaging method for providing a special effect superimposing still image data on moving image data
CN103167233A (en) * 2011-12-16 2013-06-19 三星电子株式会社 Display apparatus and method
EP2605503A3 (en) * 2011-12-16 2014-09-17 Samsung Electronics Co., Ltd. Display apparatus and method
US9699347B2 (en) 2011-12-16 2017-07-04 Samsung Electronics Co., Ltd. Display apparatus and method
CN103167233B (en) * 2011-12-16 2018-07-27 三星电子株式会社 Show device and method
US10579211B2 (en) 2011-12-16 2020-03-03 Samsung Electronics Co., Ltd. Display apparatus and method
US11099711B2 (en) 2011-12-16 2021-08-24 Samsung Electronics Co., Ltd. Display apparatus and method

Also Published As

Publication number Publication date
JP4179711B2 (en) 2008-11-12

Similar Documents

Publication Publication Date Title
JP2003008948A (en) Electronic camera and its image display method, and image recording method
US8428121B2 (en) Image pick-up apparatus for shooting and reproducing a moving image
JP4449973B2 (en) Imaging apparatus and program thereof
JP2002101329A (en) Digital camera, image reproduction device and method
US8018497B2 (en) Image pick-up apparatus having still image advancing/retreating manipulation function, and method and non-transitory computer readable medium therefor
JP2000125185A (en) Electronic camera
JP2009194770A (en) Imaging device, moving image reproducing apparatus, and program thereof
JPH1188811A (en) Camcorder and photographing method
JP2003219341A (en) Movie still camera and operation control method thereof
JP2000295568A (en) Electronic camera
JP2005117369A (en) Moving image recorder, moving image reproducer and digital camera
JP2004072550A (en) Imaging device and picture reproducing device
JP4179711B2 (en) Electronic camera
JP4467232B2 (en) Image recording apparatus and method
JP2011223399A (en) Camera
JP2000321616A (en) Electronic camera
JP2001036787A (en) Electronic camera
JP2001230958A (en) Electronic camera apparatus
JP2001045500A (en) Electronic camera
JP2004120281A (en) Image editing apparatus
JP2002287195A (en) Image pickup device and camera-shake detection method
JP2001230959A (en) Electronic camera apparatus
JP3028808B2 (en) Electronic still camera and photographing method
JP2000236508A (en) Image recorder
JP2005117370A (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080826

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees