JP4836271B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP4836271B2
JP4836271B2 JP2007112348A JP2007112348A JP4836271B2 JP 4836271 B2 JP4836271 B2 JP 4836271B2 JP 2007112348 A JP2007112348 A JP 2007112348A JP 2007112348 A JP2007112348 A JP 2007112348A JP 4836271 B2 JP4836271 B2 JP 4836271B2
Authority
JP
Japan
Prior art keywords
image
list
list display
display image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007112348A
Other languages
Japanese (ja)
Other versions
JP2008271258A (en
Inventor
一郎 松山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007112348A priority Critical patent/JP4836271B2/en
Publication of JP2008271258A publication Critical patent/JP2008271258A/en
Application granted granted Critical
Publication of JP4836271B2 publication Critical patent/JP4836271B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、表示能力の異なる2つの表示装置を利用する画像処理装置に関する。   The present invention relates to an image processing apparatus that uses two display devices having different display capabilities.

近年、磁気ディスク、光ディスク等のディスク媒体や、フラッシュメモリなどのランダムアクセス可能な記録媒体を用いて、画像を記録再生する映像記録再生装置が登場している。ビデオカメラの記録媒体にも、このようなランダムアクセス記録媒体が使用されるようになった。   2. Description of the Related Art In recent years, video recording / reproducing apparatuses that record and reproduce images using a disk medium such as a magnetic disk and an optical disk and a randomly accessible recording medium such as a flash memory have appeared. Such a random access recording medium has come to be used for a recording medium of a video camera.

通常、ビデオカメラは、記録済みの画像を再生表示する表示装置(付属モニタ装置)を具備すると共に、外部モニタ装置でも再生画像を表示できるように映像出力端子をも具備する。但し、図10に示すように、従来のビデオカメラでは、付属モニタ装置と、映像出力端子にケーブルで接続した外部モニタ装置には、同じ画像信号が印加され、同じ画像が表示される。   In general, a video camera includes a display device (attached monitor device) that reproduces and displays a recorded image, and also includes a video output terminal so that the external monitor device can display the reproduced image. However, as shown in FIG. 10, in the conventional video camera, the same image signal is applied to the attached monitor device and the external monitor device connected to the video output terminal with a cable, and the same image is displayed.

ビデオカメラに限らず、多数の記録画像を扱う装置、例えば、ビデオ記録再生装置では、複数の記録画像のサムネイルを1画面内に一覧表示することが多い。この機能により、ユーザは、複数の記録画像から再生対象の画像を選択することが容易になる。なお、サムネイルは、例えば間引き処理によってデータサイズ又は画素数を小さくした静止画像である。動画の場合には、動画内の代表的な画面の画像、例えば、先頭位置から所定時間後の画面の画像からサムネイルを生成する。   Not only a video camera but also a device that handles a large number of recorded images, such as a video recording / playback device, thumbnails of a plurality of recorded images are often displayed in a list on one screen. With this function, the user can easily select an image to be reproduced from a plurality of recorded images. Note that the thumbnail is a still image in which the data size or the number of pixels is reduced by thinning processing, for example. In the case of a moving image, a thumbnail is generated from a typical screen image in the moving image, for example, a screen image after a predetermined time from the head position.

ビデオカメラは、手のひらに収まるくらいに小型化しており、付属モニタ装置の表示サイズは、2〜5インチ程度である。これに対し、外部モニタ装置は、一般のテレビ受像機を利用できるので、15インチ以上、時には37インチ以上のものも利用される。   The video camera is small enough to fit in the palm of the hand, and the display size of the attached monitor device is about 2 to 5 inches. On the other hand, as the external monitor device, a general television receiver can be used, so that an external monitor device of 15 inches or more, sometimes 37 inches or more is also used.

サムネイルの一覧表示では、付属モニタ装置の画面上でユーザが容易に各サムネイルの内容を識別出来るように、例えば、図10に示すように、1画面にせいぜい6個のサムネイル画像が表示される。しかし、外部モニタ装置として使用可能な大画面のモニタ装置を使う場合には、個々のサムネイルが大きすぎ、従って、同時表示されるサムネイル数が少なすぎる。より多くのサムネイルを同時に表示しても、ユーザは各サムネイルの内容を識別できる。   In the thumbnail list display, for example, as shown in FIG. 10, at most six thumbnail images are displayed on one screen so that the user can easily identify the contents of each thumbnail on the screen of the attached monitor device. However, when a large-screen monitor device that can be used as an external monitor device is used, the individual thumbnails are too large, and therefore the number of thumbnails displayed simultaneously is too small. Even if more thumbnails are displayed simultaneously, the user can identify the contents of each thumbnail.

特許文献1には、サムネイルの表示サイズをメニューで変更可能とし、外部のテレビ装置に接続するときには、選択された表示サイズのサムネイルを、表示サイズに応じた個数で一覧表示する表示処理技術が記載されている。
特開2006−295652号公報
Patent Document 1 describes a display processing technique in which thumbnail display sizes can be changed using a menu, and thumbnails of a selected display size are displayed as a list corresponding to the display size when connected to an external television apparatus. Has been.
JP 2006-295562 A

しかし、外部モニタ装置を接続して画像を再生表示しているとき、本体を操作しているユーザが外部モニタ装置の画面を完全に見渡せる状況とは限らない。このような状況では、ユーザは、本体の付属モニタ装置の画面を見ながら操作を行う必要がある。   However, when an external monitor device is connected and an image is reproduced and displayed, the user operating the main body may not always be able to completely see the screen of the external monitor device. In such a situation, the user needs to perform an operation while looking at the screen of the attached monitor device of the main body.

また、外部モニタ装置を接続していても、本体から出力される画像信号が外部モニタ装置に表示されているとは限らないし、また、表示していても、ユーザが外部モニタ装置の画面を見ていない可能性もある。   Even if an external monitor device is connected, the image signal output from the main body is not always displayed on the external monitor device, and even if it is displayed, the user views the screen of the external monitor device. It may not be.

このような観点から、外部モニタ装置が接続された場合に、サムネイルの表示サイズ又は表示個数を変更してしまうと、付属モニタ装置を見ながらの操作が不可能又は著しく困難になってしまう。   From this point of view, if the display size or the number of displayed thumbnails is changed when an external monitor device is connected, the operation while viewing the attached monitor device becomes impossible or extremely difficult.

上記の課題を解決するために、本発明に係る画像処理装置は、複数の画像データを記録する画像記録装置と、前記複数の画像データを示す表示用画像をN個まで一覧表示する第1の一覧表示画像と、前記複数の画像データを示す表示用画像を、Nより大きいM個まで一覧表示する第2の一覧表示画像とを生成する画像処理部と、前記第1の一覧表示画像を表示する付属モニタ装置と、前記第2の一覧表示画像を外部モニタ装置に出力する外部出力制御装置と、前記第1の一覧表示画像及び前記第2の一覧表示画像のそれぞれに画像データを選択するための選択用画像を重畳して、前記第1の一覧表示画像内及び前記第2の一覧表示画像内で前記選択用画像を同方向に移動させて前記複数の画像データの一つを選択する操作部と、前記付属モニタ装置によって前記第1の一覧表示画像を表示し、かつ前記外部モニタ装置によって前記第2の一覧表示画像を表示している状態のときに、前記操作部の操作に従って前記第1の一覧表示画像内及び前記第2の一覧表示画像内でそれぞれ同じ画像データが選択されるように、前記画像処理部による前記第1の一覧表示画像及び前記第2の一覧表示画像の更新を個別に制御する制御部とを具備することを特徴とする。 In order to solve the above problems, an image processing apparatus according to the present invention includes an image recording apparatus that records a plurality of image data, and a first display that displays a list of up to N display images indicating the plurality of image data. An image processing unit for generating a list display image, a second list display image for displaying a list of up to M images for display indicating the plurality of image data, and displaying the first list display image For selecting image data for each of the attached monitor device, the external output control device for outputting the second list display image to the external monitor device, and the first list display image and the second list display image To select one of the plurality of image data by superimposing the selection images and moving the selection image in the same direction in the first list display image and the second list display image and the part, the accessory monitor Device by displaying the first list display image, and the external monitor when the state of displaying the second list display image by the apparatus, the following operation of the operating section first list image And a control unit that individually controls updating of the first list display image and the second list display image by the image processing unit so that the same image data is selected in each of the second list display images. It is characterized by comprising .

本発明によれば、付属モニタ装置と外部モニタ装置のどちらを見ながらでも、画像記録装置に記録される画像の選択操作を行うことができる。また、外部モニタ装置の画面サイズを活かして、より多くの情報を同時に表示することができ、ユーザが効率的に画像を選択できる。   According to the present invention, it is possible to perform an operation of selecting an image to be recorded on the image recording apparatus while viewing either the attached monitor device or the external monitor device. Further, by utilizing the screen size of the external monitor device, more information can be displayed at the same time, and the user can select an image efficiently.

以下、図面を参照して、本発明の実施例を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、ディスク型の記録媒体に動画像データを記録するデジタルビデオカメラに適用した本発明の第1実施例である画像処理装置の概略構成ブロック図を示す。   FIG. 1 shows a schematic block diagram of an image processing apparatus according to a first embodiment of the present invention applied to a digital video camera for recording moving image data on a disk type recording medium.

ビデオカメラ10は、カメラ部12と、画像データを符号化・復号化するコーデック(CODEC)14を具備する。ビデオカメラ10はまた、撮影画像の記録再生のために、バッファメモリ16と、ディスク20へのデータ書き込みと読み出しを行うディスク制御装置18とを具備する。   The video camera 10 includes a camera unit 12 and a codec (CODEC) 14 that encodes and decodes image data. The video camera 10 also includes a buffer memory 16 and a disk controller 18 that writes and reads data to and from the disk 20 for recording and reproducing captured images.

画像表示、サムネイルの一覧表示及びメニュー表示用に、画像処理部22、画像メモリ24、LCD制御装置26、液晶表示装置(LCD)28、画像メモリ29、外部出力制御装置30及び外部出力端子32を具備する。接続ケーブル50により外部出力端子32に外部モニタ装置60を接続できる。   An image processing unit 22, an image memory 24, an LCD control device 26, a liquid crystal display (LCD) 28, an image memory 29, an external output control device 30, and an external output terminal 32 are provided for image display, thumbnail list display, and menu display. It has. The external monitor device 60 can be connected to the external output terminal 32 by the connection cable 50.

CPU34、RAM36及びROM38が内部バス40に接続する。内部バス40には、カメラ部12、コーデック14、ディスク制御装置18、画像処理部22、LCD制御装置26及び外部出力制御装置30も接続する。CPU34は、バス40を介して、カメラ部12、コーデック14、ディスク制御装置18、画像処理部22、LCD制御装置26及び外部出力制御装置30を制御する。操作部42は、ユーザにより操作される各種の操作レバーやボタンなどからなり、ユーザの指示又は選択をCPU34に入力するのに使用される。   The CPU 34, RAM 36 and ROM 38 are connected to the internal bus 40. A camera unit 12, codec 14, disk control device 18, image processing unit 22, LCD control device 26, and external output control device 30 are also connected to the internal bus 40. The CPU 34 controls the camera unit 12, the codec 14, the disk control device 18, the image processing unit 22, the LCD control device 26, and the external output control device 30 via the bus 40. The operation unit 42 includes various operation levers and buttons operated by the user, and is used to input a user instruction or selection to the CPU 34.

本実施例の動画像の記録動作を説明する。カメラ部12は、被写体の光学像を電気画像信号に変換する撮像素子を具備し、撮影画像のデジタル信号をコーデック14に出力する。ユーザが操作部42により画像記録開始をCPU34に指示すると、CPU34は、カメラ部12を起動して撮像動作(光学像を画像信号に変換する動作)を開始させ、コーデック14を制御して、カメラ部12からの画像データを読み込んで圧縮符号化させる。これにより、画像データは、MPEG方式で圧縮された圧縮データ、いわゆるMPEGデータに変換される。MPEGデータは、バッファメモリ16でバッファリングされて、ディスク制御装置18に供給される。ディスク制御装置18は、バッファメモリ16からのMPEGデータをディスク20に記録する。このようにして、動画像が圧縮符号化されてディスク20に記録される。なお、このように記録される1つの動画像の単位をクリップと呼ぶ。バッファメモリ16、ディスク制御装置18及びディスク20が、特許請求の範囲の画像記録装置に対応する。   The moving image recording operation of this embodiment will be described. The camera unit 12 includes an image sensor that converts an optical image of a subject into an electrical image signal, and outputs a digital signal of a captured image to the codec 14. When the user instructs the CPU 34 to start image recording through the operation unit 42, the CPU 34 activates the camera unit 12 to start an imaging operation (operation to convert an optical image into an image signal), controls the codec 14, and controls the camera. The image data from the unit 12 is read and compressed and encoded. Thereby, the image data is converted into compressed data compressed by the MPEG method, so-called MPEG data. The MPEG data is buffered in the buffer memory 16 and supplied to the disk controller 18. The disk controller 18 records MPEG data from the buffer memory 16 on the disk 20. In this way, the moving image is compression-encoded and recorded on the disk 20. A unit of one moving image recorded in this way is called a clip. The buffer memory 16, the disk control device 18, and the disk 20 correspond to the image recording device in the claims.

ディスク20に記録された何れかのクリップを再生する場合、先ず、ディスク20に記録されるクリップをサムネイルで一覧表示する。このサムネイル一覧表示動作を説明する。サムネイルは、特許請求の範囲の表示用画像に相当する。   When reproducing any clip recorded on the disc 20, first, a list of clips recorded on the disc 20 is displayed as thumbnails. The thumbnail list display operation will be described. The thumbnail corresponds to a display image in the claims.

CPU34はディスク制御装置18を制御して、ディスク20から一覧表示する所定数のクリップの先頭画像とその付属情報、例えばファイル名と撮影日時の情報を順に読み出させる。付属情報としては、他にデータサイズ又は撮影パラメータ等がある。読み出された先頭画像の圧縮画像データは、バッファメモリ16を介してコーデック14に転送され、付属情報は、CPU34に転送される。コーデック14は、先頭画像の圧縮画像データを復号化(伸長)する。画像処理部22は、復号化された先頭画像データをリサイズし、付属モニタ表示用のサイズのサムネイルと外部モニタ表示用のサイズのサムネイルを生成する。前者を付属モニタ用サムネイルと呼び、後者を外部モニタ用サムネイルと呼ぶ。CPU34は、ディスク制御装置18からの付属情報を文字コードから画像データに変換して、画像処理部22に供給する。   The CPU 34 controls the disk control device 18 to sequentially read out the head images of a predetermined number of clips displayed as a list from the disk 20 and their associated information, for example, information on file names and shooting dates and times. Additional information includes data size or shooting parameters. The read compressed image data of the head image is transferred to the codec 14 via the buffer memory 16, and the attached information is transferred to the CPU 34. The codec 14 decodes (decompresses) the compressed image data of the head image. The image processing unit 22 resizes the decoded head image data, and generates a thumbnail having a size for displaying an attached monitor and a thumbnail having a size for displaying an external monitor. The former is called an attached monitor thumbnail, and the latter is called an external monitor thumbnail. The CPU 34 converts the attached information from the disk control device 18 from character code to image data and supplies it to the image processing unit 22.

画像処理部22は、付属モニタ用サムネイルを画像メモリ24上の、表示位置に相当するメモリ位置に格納する。また、画像処理部22は、外部モニタ用サムネイルを、付属情報を示す画像データと共に画像メモリ29上の、表示位置に相当するメモリ位置に格納する。   The image processing unit 22 stores the attached monitor thumbnail in the memory position corresponding to the display position on the image memory 24. Further, the image processing unit 22 stores the external monitor thumbnail together with the image data indicating the attached information in a memory position corresponding to the display position on the image memory 29.

勿論、ディスク20から読み出した1つ先頭画像から2種類のサムネイルを作成したが、ディスク20から先頭画像を2回、読み出すようにしてもよい。このとき、画像処理部22が、最初に読出した先頭画像から付属モニタ用サムネイルと外部モニタ用サムネイルの一方を生成し、2回目に読出した先頭画像から他方を生成する。   Of course, two types of thumbnails are created from one head image read from the disk 20, but the head image may be read from the disk 20 twice. At this time, the image processing unit 22 generates one of the attached monitor thumbnail and the external monitor thumbnail from the first read first image, and generates the other from the second read first image.

LCD制御装置26は、画像メモリ24に格納される画像データを繰り返し読み出し、LCD28に供給する。これにより、画像メモリ24に格納された1又は複数のサムネイルが、付属モニタ装置であるLCD28の画面に所定数を単位として一覧表示される。画像メモリ24に格納され、LCD28に表示される画像が、特許請求の範囲の第1の一覧表示画像に相当する。   The LCD control device 26 repeatedly reads out the image data stored in the image memory 24 and supplies it to the LCD 28. As a result, one or more thumbnails stored in the image memory 24 are displayed in a list in units of a predetermined number on the screen of the LCD 28 which is an attached monitor device. The image stored in the image memory 24 and displayed on the LCD 28 corresponds to the first list display image in the claims.

また、外部出力制御装置30は、画像メモリ29に格納される画像データを繰り返し読み出し、標準ビデオ形式の画像信号に変換して外部出力端子32に出力する。外部出力端子32にケーブル50を介して接続する外部モニタ装置60の画面に、画像メモリ29に格納された1又は複数のサムネイルがそれぞれの付属情報と共に、所定数を単位として一覧表示される。画像メモリ29に格納され、外部モニタ装置60で表示される画像が、特許請求の範囲の第2の一覧表示画像に相当する。   The external output control device 30 repeatedly reads out image data stored in the image memory 29, converts it into an image signal in a standard video format, and outputs the image signal to the external output terminal 32. On the screen of the external monitor device 60 connected to the external output terminal 32 via the cable 50, one or a plurality of thumbnails stored in the image memory 29 are displayed as a list together with their respective accessory information in units of a predetermined number. The image stored in the image memory 29 and displayed on the external monitor device 60 corresponds to the second list display image in the claims.

図2は、操作部42の外観構成例を示す図である。操作部42は、十字レバー42a、ズームレバー42b、巻き戻しボタン42c、早送りボタン42d、再生/一時停止ボタン42e及び停止ボタン42fで構成される。サムネイルの一覧表示のときには、十字レバー42aを上下左右に倒すことで選択対象を変更できる。再生/一時停止ボタン42eを押下すると、選択されているサムネイルに対するクリップの再生が始まる。クリップ再生中に停止ボタン42fを押下した場合、又は一連の再生が終了した場合、再び、サムネイルの一覧表示に戻る。   FIG. 2 is a diagram illustrating an external configuration example of the operation unit 42. The operation unit 42 includes a cross lever 42a, a zoom lever 42b, a rewind button 42c, a fast forward button 42d, a play / pause button 42e, and a stop button 42f. When displaying a list of thumbnails, the selection target can be changed by tilting the cross lever 42a up, down, left, or right. When the playback / pause button 42e is pressed, playback of the clip for the selected thumbnail starts. When the stop button 42f is pressed during clip reproduction, or when a series of reproduction ends, the thumbnail list display is resumed.

図3は、サムネイルの一覧表示の一例を示す。ディスク20にはクリップC1〜C22が記録されており、ユーザの操作によりクリップC9が選択されている状態であるとする。   FIG. 3 shows an example of a thumbnail list display. It is assumed that clips C1 to C22 are recorded on the disk 20 and the clip C9 is selected by a user operation.

LCD28には、クリップC7〜C12のサムネイルが、横方向に3枚、縦方向に2枚ずつ並んで表示されている。横方向の個数:X=3,LCDの表示個数:N=6である。それに対して、外部モニタ装置60には、クリップC1〜C15のサムネイルが、横方向に3枚、縦方向に5枚ずつ並んで画面の左よりに表示されている。横方向の個数:X=3,外部モニタ装置の表示個数:M=15である。どちらの画面でも、選択されているクリップC9のサムネイルには、選択状態を示す縁取りのような選択枠が付加的に表示されている。外部モニタ装置60の画面の右よりには、選択されているサムネイルに対するクリップ(ここではクリップC9)が自動的に再生されるプレビュー画像枠70が表示されている。プレビュー画像枠70の下側には、プレビュー画像枠70でのクリップの再生個所を示すシークバー72と、プレビュー画像枠70として再生されているクリップの名称及び撮影日時といった付属情報74が表示されている。   On the LCD 28, thumbnails of the clips C7 to C12 are displayed side by side, three in the horizontal direction and two in the vertical direction. Number in the horizontal direction: X = 3, LCD display number: N = 6. On the other hand, on the external monitor device 60, thumbnails of the clips C1 to C15 are displayed from the left side of the screen, with three in the horizontal direction and five in the vertical direction. Number in the horizontal direction: X = 3, number of displays on the external monitor device: M = 15. In both screens, a selection frame such as a border indicating the selection state is additionally displayed on the thumbnail of the selected clip C9. On the right side of the screen of the external monitor device 60, a preview image frame 70 in which a clip for the selected thumbnail (here, clip C9) is automatically reproduced is displayed. Below the preview image frame 70, a seek bar 72 indicating the playback position of the clip in the preview image frame 70 and attached information 74 such as the name of the clip being reproduced as the preview image frame 70 and the shooting date and time are displayed. .

図3に示すようにクリップC9が選択された状態から、ユーザが十字レバー42aを1度、上側に倒すことで、図4に示すように、画面上でクリップC9の上側に位置するクリップC6が選択された状態となる。   As shown in FIG. 3, from the state in which the clip C9 is selected, when the user tilts the cross lever 42a once, the clip C6 positioned above the clip C9 on the screen as shown in FIG. It will be in the selected state.

新たに選択されたクリップC6が、操作前にLCD28で表示されていたクリップC7〜C12の範囲から外れるので、CPU34は、新たにクリップ1〜6の先頭画像をディスク20から読み出させ、そのサムネイルを画像処理部22に生成させる。即ち、CPU34は、クリップの移動の際に、移動先のクリップが表示済みの場合には、同じ画面上で選択枠のみを移動し、移動先のクリップが未表示の場合には表示中のサムネイルを別のクリップのサムネイルで更新、即ち、画面単位で更新する。これにより、LCD28にはクリップC1〜C6のサムネイルが一覧表示され、LCD28の画面上でも、クリップC6に選択枠が付加的に表示される。   Since the newly selected clip C6 is out of the range of the clips C7 to C12 displayed on the LCD 28 before the operation, the CPU 34 newly reads the first image of the clips 1 to 6 from the disc 20 and displays its thumbnail. Is generated by the image processing unit 22. That is, when moving a clip, if the destination clip has already been displayed, the CPU 34 moves only the selection frame on the same screen. If the destination clip is not displayed, the CPU 34 displays the currently displayed thumbnail. Is updated with a thumbnail of another clip, that is, updated in units of screens. As a result, a list of thumbnails of the clips C1 to C6 is displayed on the LCD 28, and a selection frame is additionally displayed on the clip C6 on the screen of the LCD 28.

一方、外部モニタ60の画面上では、新たに選択されたクリップC6が、操作前に表示していたクリップC1〜C15の範囲に収まっているので、一覧表示されるサムネイルを更新することなしに、選択枠のみがクリップC6に移動する。   On the other hand, on the screen of the external monitor 60, since the newly selected clip C6 is within the range of the clips C1 to C15 displayed before the operation, the thumbnails displayed in a list are not updated. Only the selection frame moves to clip C6.

図3に示すようにクリップC9が選択された状態から、ユーザが十字レバー42aを3度、下側に倒すと、選択されているクリップが、クリップC12、クリップC15、そしてクリップC18に移動し、図5に示す状態となる。CPU34は十字レバー42aの操作に応じて、以下のような制御を行う。   When the user tilts the cross lever 42a three times from the state where the clip C9 is selected as shown in FIG. 3, the selected clip moves to the clip C12, the clip C15, and the clip C18. The state shown in FIG. 5 is obtained. The CPU 34 performs the following control in accordance with the operation of the cross lever 42a.

クリップC9からクリップC12への移動では、LCD28の画面上でも、外部モニタ装置60の画面上でも、選択枠のみが移動する。クリップC12からクリップC15への移動では、LCD28の画面上でクリップC13〜C18のサムネイルの一覧表示に画面単位で更新され、選択枠がクリップC13に移動する。外部モニタ装置60では選択枠のみが移動する。クリップC15からクリップC18への移動では、LCD28の画面上では選択枠のみが移動する。外部モニタ装置60の画面上では、クリップC18が未表示であるので、クリップC16〜C22のサムネイルの一覧表示に画面単位で更新され、選択枠がクリップC18のサムネイル上に付加的に表示される。   In the movement from the clip C9 to the clip C12, only the selection frame moves on the screen of the LCD 28 and the screen of the external monitor device 60. In the movement from the clip C12 to the clip C15, the thumbnail list display of the clips C13 to C18 is updated on a screen basis on the screen of the LCD 28, and the selection frame moves to the clip C13. In the external monitor device 60, only the selection frame moves. In the movement from the clip C15 to the clip C18, only the selection frame moves on the screen of the LCD 28. Since the clip C18 is not displayed on the screen of the external monitor device 60, the thumbnail list display of the clips C16 to C22 is updated for each screen, and the selection frame is additionally displayed on the thumbnail of the clip C18.

本実施例では、クリップの移動の際に、移動先のクリップが表示済みの場合には、同じ画面上で選択枠のみを移動し、移動先のクリップが未表示の場合には、サムネイルを画面単位(すなわち、N個単位又はM個単位)で別のクリップのサムネイルに更新する。   In this example, when moving a clip, if the destination clip has already been displayed, only the selection frame is moved on the same screen, and if the destination clip is not displayed, the thumbnail is displayed on the screen. Update the thumbnail of another clip in units (ie, in units of N or M).

本実施例では、一覧表示するサムネイルの横並び数については、付属モニタ装置(LCD28)と外部モニタ装置60とで同数とし、外部モニタ装置60の縦並び数を付属モニタ装置のそれよりも多くした。これにより、付属モニタ装置(LCD28)と外部モニタ装置60で表示されるサムネイル数は異なるものの、操作部42の十字レバー42aの操作で、同じクリップの選択状態を維持することができる。即ち、付属モニタ装置(LCD28)の画面を見ながらの操作と、外部モニタ装置60の画面を見ながらの操作は、全く異なることが無い。本実施例により、従来例の操作性の悪さを解消できる。   In this embodiment, the number of thumbnails displayed in a list is the same in the attached monitor device (LCD 28) and the external monitor device 60, and the number of vertically arranged external monitor devices 60 is larger than that in the attached monitor device. Thus, although the number of thumbnails displayed on the attached monitor device (LCD 28) and the external monitor device 60 is different, the same clip selection state can be maintained by operating the cross lever 42a of the operation unit 42. That is, the operation while viewing the screen of the attached monitor device (LCD 28) and the operation while viewing the screen of the external monitor device 60 do not differ at all. According to the present embodiment, the poor operability of the conventional example can be solved.

本発明の第2実施例を説明する。第2実施例では、外部モニタ装置60に表示されている範囲から外れたクリップを選択する操作に対する表示画面の更新方法が、第1実施例とは異なる。第2実施例では、移動先のクリップが未表示の場合には、移動先のクリップが表示範囲に含まれるように、表示するクリップを上又は下にスクロールする。即ち、1行単位(すなわち、X個単位)でサムネイルを更新する。   A second embodiment of the present invention will be described. In the second embodiment, the display screen update method for an operation of selecting a clip outside the range displayed on the external monitor device 60 is different from the first embodiment. In the second embodiment, when the destination clip is not displayed, the displayed clip is scrolled up or down so that the destination clip is included in the display range. That is, the thumbnail is updated in units of one line (that is, in units of X).

例えば、第1実施例と同様に、ディスク20にクリップC1〜C22が記録されており、ユーザの操作によりクリップC9が選択されている状態にあるとする。このとき、第1実施例と同様に、図3に示すように、LCD28及び外部モニタ装置60の画面には、図3に示すように、サムネイルの一覧が表示されている。   For example, as in the first embodiment, it is assumed that clips C1 to C22 are recorded on the disc 20, and the clip C9 is selected by a user operation. At this time, as in the first embodiment, as shown in FIG. 3, a list of thumbnails is displayed on the screens of the LCD 28 and the external monitor device 60 as shown in FIG.

図3に示すようにクリップC9が選択された状態で、ユーザが十字レバー42aを3度、下側に倒すと、選択されているクリップが、クリップC12、クリップC15、そして、クリップC18と移動し、図6に示す状態となる。即ち、クリップC9からクリップC12への移動と、クリップC12からクリップC15への移動では、外部モニタ60の画面上では選択枠のみが移動する。クリップC15からクリップC18への移動では、外部モニタ60の画面上では、表示するクリップが縦方向に1行、すなわち横並びの3枚のサムネイルを単位でスクロールし、クリップC4〜C18が表示される。選択枠はクリップC18に移動する。   As shown in FIG. 3, when the user tilts the cross lever 42a three times while the clip C9 is selected, the selected clip moves to the clip C12, the clip C15, and the clip C18. The state shown in FIG. 6 is obtained. That is, in the movement from the clip C9 to the clip C12 and the movement from the clip C12 to the clip C15, only the selection frame moves on the screen of the external monitor 60. When moving from the clip C15 to the clip C18, on the screen of the external monitor 60, the clip to be displayed is scrolled in units of one thumbnail in the vertical direction, that is, three thumbnails arranged side by side, and the clips C4 to C18 are displayed. The selection frame moves to clip C18.

本発明の第3実施例を説明する。十字キー42aの代わりにダイヤルスイッチを使用する。操作部42に、図7に示すように、ダイヤルスイッチ342aを設ける。サムネイルの一覧表示において、ダイヤルスイッチ342aを上下に回転させることで、選択画像を順方向又は逆方向で移動させることができる。再生/一時停止ボタン42eを押下すると、選択されているサムネイルに対するクリップの再生が始まる。クリップ再生中に停止ボタン42fを押下した場合、もしくは一連の再生が終了した場合、再びサムネイルの一覧表示に戻る。   A third embodiment of the present invention will be described. A dial switch is used instead of the cross key 42a. As shown in FIG. 7, the operation unit 42 is provided with a dial switch 342a. In the thumbnail list display, the selected image can be moved in the forward direction or the reverse direction by rotating the dial switch 342a up and down. When the playback / pause button 42e is pressed, playback of the clip for the selected thumbnail starts. When the stop button 42f is pressed during clip reproduction, or when a series of reproduction ends, the thumbnail list display is resumed.

図8は、サムネイルの一覧表示の例を示す。ここでも、ディスク20にはクリップC1〜C22が記録されており、ユーザの操作によりクリップC9が選択されている状態にあるとする。   FIG. 8 shows an example of a thumbnail list display. Also here, it is assumed that clips C1 to C22 are recorded on the disc 20, and the clip C9 is selected by the user's operation.

LCD28には、クリップC7〜C12のサムネイルが横方向に3枚、縦方向に2枚ずつ並んで表示されている。横方向の個数:P=3,LCDの表示個数:N=6である。それに対して、外部モニタ装置60には、クリップC1〜C20のサムネイルが、横方向に5枚、縦方向に4枚ずつ並んで表示されている。横方向の個数:Q=5,外部モニタ装置の表示個数:M=20である。どちらの画面でも、選択されているクリップC9のサムネイルには、選択状態を示す縁取りのような選択枠が表示されている。また、外部モニタ装置60に表示されている各サムネイルの下部には、クリップの撮影時刻などの付属情報が表示されている。   On the LCD 28, thumbnails of the clips C7 to C12 are displayed side by side, three in the horizontal direction and two in the vertical direction. Number of horizontal directions: P = 3, number of LCD displays: N = 6. On the other hand, the thumbnails of the clips C1 to C20 are displayed on the external monitor device 60 side by side, with five in the horizontal direction and four in the vertical direction. Number in the horizontal direction: Q = 5, number of display on the external monitor device: M = 20. In both screens, a selection frame such as a border indicating the selection state is displayed on the thumbnail of the selected clip C9. Also, attached information such as the shooting time of the clip is displayed below each thumbnail displayed on the external monitor device 60.

図8に示すようにクリップC9が選択された状態から、ユーザがダイヤルスイッチ342aを12ステップ分、下方向に回転させたとする。この回転操作に応じて、CPU34による制御のもと、選択されているクリップが、クリップC9から1クリップ刻みでクリップC21に移動し、図9に示す状態となる。   Assume that the user rotates the dial switch 342a downward by 12 steps from the state in which the clip C9 is selected as shown in FIG. In response to this rotation operation, under the control of the CPU 34, the selected clip moves from the clip C9 to the clip C21 in increments of one clip, resulting in the state shown in FIG.

クリップC12からクリップC13への移動と、クリップC18からクリップC19への移動では、新たに選択されるクリップが操作前にLCD28で表示されていたクリップの範囲から外れる。従って、LCD28に表示されるサムネイルが画面単位(すなわち、N個単位)で異なるサムネイルに更新される。   In the movement from the clip C12 to the clip C13 and the movement from the clip C18 to the clip C19, the newly selected clip is out of the range of the clip displayed on the LCD 28 before the operation. Accordingly, the thumbnails displayed on the LCD 28 are updated to different thumbnails in units of screens (that is, in units of N).

また、クリップC20からクリップC21への移動では、新たに選択されるクリップが操作前に外部モニタ装置60で表示されていたクリップの範囲から外れる。このとき、外部モニタ装置60に表示されるサムネイルは、縦方向に1行単位、すなわちQ個単位でスクロールし、外部モニタ装置60の画面には、図9に示すように、クリップC6〜C22のサムネイルが表示される。   Further, in the movement from the clip C20 to the clip C21, the newly selected clip is out of the range of the clip displayed on the external monitor device 60 before the operation. At this time, the thumbnails displayed on the external monitor device 60 are scrolled vertically in units of one line, that is, in Q units, and the screen of the external monitor device 60 has clips C6 to C22 as shown in FIG. A thumbnail is displayed.

いずれのクリップの移動に対しても、LCD28と外部モニタ装置60の両方で、ダイヤルスイッチ342aの操作に応じて選択枠が移動する。   Regardless of the movement of any clip, both the LCD 28 and the external monitor device 60 move the selection frame according to the operation of the dial switch 342a.

本実施例では、ダイヤルスイッチ342aにより、クリップ間を正順又は逆順に選択していくことになる。その際、付属モニタ装置であるLCD28の画面では、サムネイルが面単位で更新され、外部モニタ装置60では、縦方向に行単位でサムネイルが更新される。これにより、LCD28を見ながらでも、外部モニタ装置60を見ながらでも、同様の操作で所望のクリップを選択できる。   In this embodiment, the dial switch 342a selects between clips in the normal order or the reverse order. At that time, on the screen of the LCD 28 which is an attached monitor device, the thumbnail is updated in units of planes, and in the external monitor device 60, the thumbnail is updated in units of rows in the vertical direction. Thus, a desired clip can be selected by the same operation while looking at the LCD 28 or looking at the external monitor device 60.

上記何れの実施例でも、クリップの選択状態を示す要素として、選択枠以外に、選択記号、選択文字又は表示色等、選択状態と非選択状態を識別可能ないかなる要素も利用可能である。   In any of the above-described embodiments, any element that can identify the selected state and the non-selected state, such as a selection symbol, a selected character, or a display color, can be used in addition to the selection frame as an element indicating the selection state of the clip.

本発明の一実施例の概略構成ブロック図である。It is a schematic block diagram of one Example of this invention. 操作部42の一例の概略構成図である。3 is a schematic configuration diagram of an example of an operation unit 42. FIG. クリップC9を選択した際の表示例である。It is a display example when a clip C9 is selected. クリップC6を選択した際の表示例である。It is a display example when the clip C6 is selected. クリップC18を選択した際の表示例である。It is an example of a display when the clip C18 is selected. クリップC18を選択した際の別の表示例である。It is another display example when the clip C18 is selected. 操作部42の別の構成の概略構成図である。5 is a schematic configuration diagram of another configuration of the operation unit 42. FIG. クリップC9を選択した際の別の表示例である。It is another example of a display when clip C9 is selected. クリップC21を選択した際の表示例である。It is an example of a display when the clip C21 is selected. 従来例の表示例である。It is an example of a display of a prior art example.

符号の説明Explanation of symbols

10 ビデオカメラ
12 カメラ部
14 コーデック
16 バッファメモリ
18 ディスク制御装置
20 ディスク
22 画像処理部
24 画像メモリ
26 LCD制御装置
28 LCD
30 外部出力制御装置
32 外部出力端子
34 CPU
36 RAM
38 ROM
40 内部バス
42 操作部
42a 十字レバー
42b ズームレバー
42c 巻き戻しボタン
42d 早送りボタン
42e 再生/一時停止ボタン
42f 停止ボタン
50 接続ケーブル
60 外部モニタ装置
342a ダイヤルスイッチ
DESCRIPTION OF SYMBOLS 10 Video camera 12 Camera part 14 Codec 16 Buffer memory 18 Disk control apparatus 20 Disk 22 Image processing part 24 Image memory 26 LCD control apparatus 28 LCD
30 External output control device 32 External output terminal 34 CPU
36 RAM
38 ROM
40 internal bus 42 operation unit 42a cross lever 42b zoom lever 42c rewind button 42d fast forward button 42e play / pause button 42f stop button 50 connection cable 60 external monitor device 342a dial switch

Claims (10)

複数の画像データを記録する画像記録装置と、
前記複数の画像データを示す表示用画像をN個まで一覧表示する第1の一覧表示画像と、前記複数の画像データを示す表示用画像を、Nより大きいM個まで一覧表示する第2の一覧表示画像とを生成する画像処理部と、
前記第1の一覧表示画像を表示する付属モニタ装置と、
前記第2の一覧表示画像を外部モニタ装置に出力する外部出力制御装置と、
前記第1の一覧表示画像及び前記第2の一覧表示画像のそれぞれに画像データを選択するための選択用画像を重畳して、前記第1の一覧表示画像内及び前記第2の一覧表示画像内で前記選択用画像を同方向に移動させて前記複数の画像データの一つを選択する操作部と
前記付属モニタ装置によって前記第1の一覧表示画像を表示し、かつ前記外部モニタ装置によって前記第2の一覧表示画像を表示している状態のときに、前記操作部の操作に従って前記第1の一覧表示画像内及び前記第2の一覧表示画像内でそれぞれ同じ画像データが選択されるように、前記画像処理部による前記第1の一覧表示画像及び前記第2の一覧表示画像の更新を個別に制御する制御部
とを具備することを特徴とする画像処理装置。
An image recording apparatus for recording a plurality of image data;
A first list display image that displays a list of up to N display images indicating the plurality of image data, and a second list that displays a list of up to M display images indicating the plurality of image data. An image processing unit for generating a display image;
An attached monitor device for displaying the first list display image;
An external output control device for outputting the second list display image to an external monitor device;
In the first list display image and in the second list display image, a selection image for selecting image data is superimposed on each of the first list display image and the second list display image. An operation unit for moving the selection image in the same direction and selecting one of the plurality of image data ;
When the first list display image is displayed by the attached monitor device and the second list display image is displayed by the external monitor device, the first list is operated according to the operation of the operation unit. The update of the first list display image and the second list display image by the image processing unit is individually controlled so that the same image data is selected in the display image and in the second list display image, respectively. Control unit
An image processing apparatus comprising:
前記画像処理部は、前記表示用画像を横方向にX個、縦方向にN/X個並べて前記第1の一覧表示画像を作成し、前記表示用画像を横方向にX個、縦方向にM/X個並べて前記第2の一覧表示画像を作成し、
前記操作部は、前記第1の一覧表示画像内及び前記第2の一覧表示画像で前記選択用画像を上下左右に移動する手段からなる
ことを特徴とする請求項1に記載の画像処理装置。
The image processing unit creates the first list display image by arranging X display images in the horizontal direction and N / X images in the vertical direction, and X displays the display images in the horizontal direction and vertically. M / X pieces are arranged side by side to create the second list display image,
The operating unit, an image processing apparatus according to claim 1, characterized in that comprises means for moving the selected image in said first list image and the second list within the display image vertically and horizontally .
前記画像処理部は、前記表示用画像を横方向にP個、縦方向にN/P個並べて前記第1の一覧表示画像を作成し、前記表示用画像を横方向にQ個、縦方向にM/Q個並べて前記第2の一覧表示画像を作成し、
前記操作部は、前記第1の一覧表示画像内及び前記第2の一覧表示画像で前記選択用画像を順方向と逆方向に移動する手段からなることを特徴とする請求項1に記載の画像処理装置。
The image processing unit creates the first list display image by arranging P display images in the horizontal direction and N / P images in the vertical direction, and Q displays the display images in the horizontal direction. M / Q pieces are arranged side by side to create the second list display image,
The said operation part consists of a means to move the said image for selection to a forward direction and a reverse direction within the said 1st list display image and the said 2nd list display image . Image processing device.
前記制御部は、前記操作部によって前記第1の一覧表示画像に表示されている範囲外にある画像データが選択された場合には、前記N個単位で表示している画像データの範囲を変更して、前記第1の一覧表示画像を更新するよう制御することを特徴とする請求項2又は3に記載の画像処理装置。 Wherein, when the image data that is outside the range displayed before Symbol first list image by the operation unit is selected, the image data being displayed on the N units The image processing apparatus according to claim 2, wherein the image processing apparatus is controlled to update the first list display image by changing a range. 前記制御部は、前記操作部によって前記第2の一覧表示画像に表示されている範囲外にある画像データが選択された場合には、前記M個単位で表示している画像データの範囲を変更して、前記第2の一覧表示画像を更新するよう制御することを特徴とする請求項2又は3に記載の画像処理装置。 Wherein, when the image data that is outside the range that is displayed before Symbol second list image by the operation unit is selected, the image data displayed in the M units The image processing apparatus according to claim 2, wherein the second list display image is controlled to be updated by changing a range. 前記制御部は、前記操作部によって前記第2の一覧表示画像に表示されている範囲外にある画像データが選択された場合には、縦方向に1行単位で前記表示用画像をスクロールして、前記第2の一覧表示画像を更新するよう制御することを特徴とする請求項2又は3に記載の画像処理装置。 Wherein, when the image data that is outside the range that is displayed before Symbol second list image by the operation unit is selected, the display image one line at a time in the vertical direction 4. The image processing apparatus according to claim 2, wherein the second list display image is controlled to be scrolled to update. 前記画像処理部は、前記第2の一覧表示画像に、対応する画像データの付属情報を含めることを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image processing unit includes attached information of corresponding image data in the second list display image. 前記画像処理部は、前記操作部によって選択された画像データの付属情報を、前記第2の一覧表示画像に含めること特徴とする請求項1に記載の画像処理装置。 Wherein the image processing unit, an image processing apparatus according to claim 1, the additional information of images data that is selected by the operating unit, and wherein the inclusion in the second list image. 前記付属情報は、対応する画像データの名称、撮影時刻、データサイズ、及び撮影パラメータの何れか1つ以上からなることを特徴とする請求項7又は8に記載の画像処理装置。   9. The image processing apparatus according to claim 7, wherein the attached information includes at least one of a name of corresponding image data, a shooting time, a data size, and a shooting parameter. 前記複数の画像データはそれぞれ動画像データであり、
前記画像処理部は、前記操作部によって選択された前記動画像データのプレビュー画像を、前記第2の一覧表示画像に含めることを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
Each of the plurality of image data is moving image data,
The image according to any one of claims 1 to 9, wherein the image processing unit includes a preview image of the moving image data selected by the operation unit in the second list display image. Processing equipment.
JP2007112348A 2007-04-20 2007-04-20 Image processing device Expired - Fee Related JP4836271B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007112348A JP4836271B2 (en) 2007-04-20 2007-04-20 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007112348A JP4836271B2 (en) 2007-04-20 2007-04-20 Image processing device

Publications (2)

Publication Number Publication Date
JP2008271258A JP2008271258A (en) 2008-11-06
JP4836271B2 true JP4836271B2 (en) 2011-12-14

Family

ID=40050166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007112348A Expired - Fee Related JP4836271B2 (en) 2007-04-20 2007-04-20 Image processing device

Country Status (1)

Country Link
JP (1) JP4836271B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008036A (en) * 2012-07-26 2013-01-10 Canon Inc Image processing apparatus and control method thereof, information processing apparatus and control method thereof, and program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5537040B2 (en) * 2009-01-28 2014-07-02 キヤノン株式会社 Display control apparatus and display control method
KR101620537B1 (en) * 2009-05-13 2016-05-12 삼성전자주식회사 Digital image processing apparatus which is capable of multi-display using external display apparatus, multi-display method for the same, and recording medium which records the program for carrying the same method
GB201003539D0 (en) 2010-03-03 2010-04-21 Silicon Sensing Systems Ltd Sensor
KR102117033B1 (en) * 2013-10-08 2020-06-01 삼성디스플레이 주식회사 Display apparatus and method of driving the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277341B2 (en) * 1999-02-10 2009-06-10 株式会社ニコン Information display device and electronic camera
JP2000341572A (en) * 1999-05-31 2000-12-08 Ricoh Co Ltd Digital camera
JP2001016545A (en) * 1999-06-30 2001-01-19 Hitachi Ltd Video reproducing device
JP2003143512A (en) * 2001-11-06 2003-05-16 Sony Corp Display device and method, recording medium and program
JP2005080041A (en) * 2003-09-02 2005-03-24 Nikon Gijutsu Kobo:Kk Digital camera
JP2005286608A (en) * 2004-03-29 2005-10-13 Sharp Corp Thumbnail display apparatus
JP2005311776A (en) * 2004-04-22 2005-11-04 Hitachi Ltd Image reproduction device
JP4306592B2 (en) * 2004-11-15 2009-08-05 ソニー株式会社 Playback device and display control method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008036A (en) * 2012-07-26 2013-01-10 Canon Inc Image processing apparatus and control method thereof, information processing apparatus and control method thereof, and program

Also Published As

Publication number Publication date
JP2008271258A (en) 2008-11-06

Similar Documents

Publication Publication Date Title
JP4805596B2 (en) Camera device
US8009961B2 (en) Electronic apparatus, playback management method, display control apparatus, and display control method
JP2008060731A (en) Camera, output image selection method, and program
JP4799009B2 (en) Image processing apparatus and method
JP2009147824A (en) Imaging apparatus and imaging method
JP2008252454A (en) Camera and gui switching method in camera
JP4836271B2 (en) Image processing device
JP2006303896A (en) Camera system for changing over display of reduced guide image in reproducing image by magnification, and image display method
JP2006191300A (en) Digital camera and electronic equipment
JP2008010979A (en) Camera apparatus
JP2006287596A (en) Camera apparatus with animation reproduction function in a plurality of image selection screens
JP2004208291A (en) Digital imaging device and method for controlling it
JPH10108123A (en) Image reproduction device
JP2007124538A (en) Electronic apparatus and reproduction control method
JP4421369B2 (en) Image shooting device
JP2007013473A (en) Reproducing apparatus and reproducing method
JP2009207191A (en) Image photographing device
JP2001231014A (en) Video information reproducing device
JP2007274446A (en) Video signal reproducing device
TWI358718B (en) Recording-reproduction apparatus, reproduction app
JP5011909B2 (en) Image display device and program thereof
JP5682590B2 (en) Imaging device and image display device
JP2009100019A (en) Recorder/reproducer
JP4699144B2 (en) Video switching control device and video switching control method
JP4592378B2 (en) Data playback device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4836271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

LAPS Cancellation because of no payment of annual fees