JP2005328243A - Imaging unit, image screen display method, and user interface - Google Patents

Imaging unit, image screen display method, and user interface Download PDF

Info

Publication number
JP2005328243A
JP2005328243A JP2004143439A JP2004143439A JP2005328243A JP 2005328243 A JP2005328243 A JP 2005328243A JP 2004143439 A JP2004143439 A JP 2004143439A JP 2004143439 A JP2004143439 A JP 2004143439A JP 2005328243 A JP2005328243 A JP 2005328243A
Authority
JP
Japan
Prior art keywords
image
displayed
captured
reproduced
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004143439A
Other languages
Japanese (ja)
Other versions
JP5055685B2 (en
Inventor
Motoki Kobayashi
元樹 小林
Miwako Yoritatsu
美和子 寄立
Yoshimitsu Funabashi
慶充 舩橋
Kayo Sasaki
佳世 佐々木
Shinichi Iriya
真一 入矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004143439A priority Critical patent/JP5055685B2/en
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP05738836A priority patent/EP1746819B1/en
Priority to KR1020067019748A priority patent/KR101114195B1/en
Priority to US11/568,810 priority patent/US7714926B2/en
Priority to PCT/JP2005/008658 priority patent/WO2005112436A1/en
Priority to KR1020117018092A priority patent/KR101164374B1/en
Priority to CN201010282287.3A priority patent/CN101959021B/en
Priority to CN2005800104739A priority patent/CN1947412B/en
Publication of JP2005328243A publication Critical patent/JP2005328243A/en
Priority to US12/750,179 priority patent/US8218057B2/en
Priority to US13/487,672 priority patent/US8648954B2/en
Application granted granted Critical
Publication of JP5055685B2 publication Critical patent/JP5055685B2/en
Priority to US13/687,011 priority patent/US20130155310A1/en
Priority to US14/108,693 priority patent/US9497382B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus, an image screen display method, and a user interface capable of improving the operability through the operation in a state wherein a photographing mode and a reproduction mode exist at the same time. <P>SOLUTION: The photographed image R of a present object and a reproduced image P1 which is photographed just before and acquired and located to the left of the photographed image R are displayed on an ordinary display screen ST1 without being overlapped with each other. An image P2 reproduced before is located to the left of the reproduced image P1. The display picture ST1 is in a state wherein the photographing mode and the reproduction mode coexist, and a new image can be recorded and a desired image is displayed as a reproduced image. When a user depresses a shutter button 24, the display picture ST1 shifts to a display picture ST3 via a transit display picture ST2 in a way of animation transition. A reproduced (recorded) image P0 derived from the photographed image R is located to the left of a photographed image R' of the present object and the reproduced image P1 is located to the left of the reproduced (recorded) image P0 on the display picture ST3. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、撮影モードと再生モードとが同時に存在するようにした撮像装置、画面表示方法およびユーザインターフェースに関する。   The present invention relates to an imaging apparatus, a screen display method, and a user interface in which a shooting mode and a playback mode exist simultaneously.

ディジタルカメラとして比較的大きな画面を有する表示デバイス例えばLCD(Liquid Crystal Display)を備えるものが広く普及している。LCDは、撮影時には、構図、画
角等を設定するために使用され、また、記録済の画像を再生し、再生画像を表示するためにも使用される。
As a digital camera, a display device having a relatively large screen, for example, an LCD (Liquid Crystal Display) is widely used. The LCD is used for setting the composition, the angle of view, and the like at the time of shooting, and is also used for reproducing recorded images and displaying reproduced images.

動画と静止画を撮ることが可能な電子カメラにおいて、撮影年月日ごとに動画と静止画とを撮影した順に同一時間軸上に並べて表示することが下記の特許文献1に記載されている。特許文献1に記載されているものは、撮影済みの画像を表示し、再生したい画像を簡単に検索することを可能とするものである。   In an electronic camera capable of taking a moving image and a still image, Patent Document 1 below describes that a moving image and a still image are displayed side by side on the same time axis in the shooting order for each shooting date. What is described in Patent Document 1 displays a photographed image and makes it possible to easily search for an image to be reproduced.

特許第303324号明細書Japanese Patent No. 303324

従来のディジタルカメラでは、撮影モードと再生モードとを切り換えるために、何らかの入力装置の操作を必要としていた。その結果、撮影モードと再生モードとが分離され、例えば直前に撮影した画像を確認しながら撮影を行うことが難しかった。ディジタルカメラのユーザインターフェースは、複数のユーザにとって予測可能で直感的なものであることが好ましい。このようなインターフェースは、ユーザの概念モデルに一致したものと言える。特許文献1に記載のものは、撮影済の画像のみを対象とするものであって、撮影モードで捉えられた画像については、何ら考慮されておらず、モード切り替えをユーザの概念モデルと整合するように行うことについては、何ら記載されていない。   In the conventional digital camera, some operation of the input device is required to switch between the photographing mode and the reproduction mode. As a result, the shooting mode and the playback mode are separated, and for example, it is difficult to perform shooting while confirming the image shot immediately before. The user interface of the digital camera is preferably predictable and intuitive for a plurality of users. Such an interface can be said to be consistent with the user's conceptual model. The one described in Patent Document 1 is intended only for a photographed image, and no consideration is given to an image captured in the photographing mode, and mode switching is matched with the user's conceptual model. There is no mention of doing so.

さらに、記録済画像を削除したい時には、撮影モードから再生モードに切り替えて後、記録済画像を削除する操作が必要であり、操作性が良くなかった。   Further, when it is desired to delete the recorded image, an operation for deleting the recorded image is necessary after switching from the photographing mode to the reproduction mode, and the operability is not good.

したがって、この発明の目的は、撮影モードと再生モードが同時に存在して、操作性を向上できる撮像装置、画面表示方法およびユーザインターフェースを提供することにある。   Accordingly, an object of the present invention is to provide an imaging apparatus, a screen display method, and a user interface that can improve the operability by simultaneously having a shooting mode and a playback mode.

上述した課題を解決するために、この発明の第1の態様は、撮像装置において、
撮像素子と、表示装置と、撮影された画像と、表示装置に表示される画像を蓄える記憶媒体と、ユーザの入力を受け付ける入力装置とを備え、
撮像素子が現在捉えている被写体の画像である第1の画像と、記憶媒体に保存されている撮影済の1または複数の第2の画像とが同時に且つ第1の画像と第2の画像とが重ならないように表示され、
撮影および撮影済画像の再生の両者が可能とされた撮像装置である。
In order to solve the above-described problem, a first aspect of the present invention is an imaging apparatus,
An image sensor, a display device, a captured image, a storage medium that stores an image displayed on the display device, and an input device that accepts user input;
The first image, which is the image of the subject currently captured by the imaging device, and the one or more second images that have been captured and stored in the storage medium, and the first image and the second image Are displayed so as not to overlap,
This is an imaging apparatus capable of both photographing and reproducing a photographed image.

この発明の第2の態様は、表示装置を有する撮像装置における画面表示方法において、
撮像素子が現在捉えている被写体の画像である第1の画像と、記憶媒体に保存されている撮影済の1または複数の第2の画像とを同時に且つ第1の画像と第2の画像とが重ならないように表示され、
撮影および撮影済画像の再生の両者が可能であることが示される撮像装置における画面表示方法である。
According to a second aspect of the present invention, in the screen display method in the imaging device having the display device,
A first image that is an image of a subject currently captured by an image sensor and one or a plurality of second images that are already captured and stored in a storage medium, and the first image and the second image Are displayed so as not to overlap,
This is a screen display method in an imaging apparatus that indicates that both shooting and reproduction of a shot image are possible.

この発明の第3の態様は、撮像装置のインターフェースにおいて、
表示装置と、
撮像素子が現在捉えている被写体の画像である第1の画像と、記憶媒体に保存されている撮像済の1または複数の第2の画像とが同時に且つ第1の画像と第2の画像とが重ならないように表示され、
撮影および撮影済画像の再生の両者が可能とされたユーザインターフェースである。
According to a third aspect of the present invention, in the interface of the imaging apparatus,
A display device;
The first image, which is the image of the subject currently captured by the image sensor, and the one or more second images that have been captured and stored in the storage medium, and the first image and the second image Are displayed so as not to overlap,
This is a user interface that enables both shooting and reproduction of shot images.

この発明によれば、撮影画像と直前に撮影された記録済画像とを同時に表示するので、記録済画像を見ながら新たに撮影する被写体、構図等を決定できる。また、この発明では、撮影モードと再生モードとが同時に存在するので、シームレスにモードを切り替えることができる。また、撮影中でも、モード切り替えを行うことなく、記録済画像を削除できる。   According to the present invention, the captured image and the recorded image captured immediately before are displayed at the same time, so it is possible to determine the subject, composition, etc. to be newly captured while viewing the recorded image. In the present invention, since the photographing mode and the reproduction mode exist at the same time, the modes can be switched seamlessly. Even during shooting, recorded images can be deleted without switching modes.

以下、この発明の一実施形態について図面を参照しながら説明する。図1に、この発明の一実施形態によるディジタルカメラの構成の一例を示す。図1において、破線で囲んで示す部分は、CPU(Central Processing Unit) 1によって制御される処理部を示す。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an example of the configuration of a digital camera according to an embodiment of the present invention. In FIG. 1, a portion surrounded by a broken line indicates a processing unit controlled by a CPU (Central Processing Unit) 1.

処理部1は、RAM等の内部記録媒体3、画像処理部4、外部インターフェース5、RGB処理部6、信号処理部7およびビデオ出力処理部8によって構成されている。CPU2に対して操作部9が接続され、操作部9に設けられシャッター等の操作に応じた信号がCPU2に供給される。   The processing unit 1 includes an internal recording medium 3 such as a RAM, an image processing unit 4, an external interface 5, an RGB processing unit 6, a signal processing unit 7, and a video output processing unit 8. An operation unit 9 is connected to the CPU 2, and a signal corresponding to an operation of a shutter or the like provided in the operation unit 9 is supplied to the CPU 2.

さらに、メディア処理部10を介して外部記録媒体11に対して撮像信号をJPEG(Joint Photographic Experts Group)等で圧縮したデータを記録するようになされている
。外部記録媒体11は、書き込み可能な光ディスク、メモリカード等である。
Furthermore, data obtained by compressing the image signal with JPEG (Joint Photographic Experts Group) or the like is recorded on the external recording medium 11 via the media processing unit 10. The external recording medium 11 is a writable optical disc, a memory card, or the like.

信号処理部7には、撮像素子としてのCCD(Charge Coupled Device)12からの撮像信号が供給され、撮像信号の処理がなされる。操作部9からの入力の有無と無関係に、CCD12により撮像された画像信号が信号処理部7から出力され、内部記録媒体3に保存される。撮影中では、内部記録媒体3の画像が常に更新されている。内部記録媒体3のデータの書き込み、読み出し等は、CPU2によって制御される。   The signal processing unit 7 is supplied with an imaging signal from a CCD (Charge Coupled Device) 12 as an imaging device, and processes the imaging signal. Regardless of the presence or absence of input from the operation unit 9, the image signal captured by the CCD 12 is output from the signal processing unit 7 and stored in the internal recording medium 3. During shooting, the image on the internal recording medium 3 is constantly updated. Writing and reading of data on the internal recording medium 3 are controlled by the CPU 2.

内部記録媒体3からの撮像信号が信号処理部7を通ってRGB処理部6に供給され、RGB処理部6で形成された表示信号が表示装置としてのLCD(Liquid Crystal Display)13に供給される。LCD13は、例えばカメラ本体の背面に設けられたものである。
LCD13には、撮像信号のみならず、外部記録媒体11からメディア処理部10を介して取り込まれた画像信号も表示される。
An imaging signal from the internal recording medium 3 is supplied to the RGB processing unit 6 through the signal processing unit 7, and a display signal formed by the RGB processing unit 6 is supplied to an LCD (Liquid Crystal Display) 13 as a display device. . The LCD 13 is provided on the back surface of the camera body, for example.
The LCD 13 displays not only the image pickup signal but also an image signal captured from the external recording medium 11 via the media processing unit 10.

操作部9のシャッターが押された場合には、内部記録媒体3に取り込まれた撮像信号が画像処理部4において、JPEG等の画像ファイルに変換される。画像ファイルは、内部記録媒体3に撮像信号とは別のデータとして保存される。そして、CPU2の制御によって、内部記録媒体3から読み出された画像ファイルがメディア処理部10を介して外部記録媒体11に保存される。   When the shutter of the operation unit 9 is pressed, the image signal captured in the internal recording medium 3 is converted into an image file such as JPEG in the image processing unit 4. The image file is stored in the internal recording medium 3 as data different from the imaging signal. Then, the image file read from the internal recording medium 3 is stored in the external recording medium 11 via the media processing unit 10 under the control of the CPU 2.

常に更新されてLCD13に撮影画像が表示される。撮影画像に対して、記録済の画像データの縮小画像、アイコン等のOSDデータが信号処理部7で重ね合わされて、LCD13に表示される。OSD(On Screen Display)とは、カメラから取り込んだリアルタイ
ムの画像に重ねて表示するアイコン等のデータを準備するためのメモリ領域や、仕組みを総称する用語である。
The captured image is constantly updated and displayed on the LCD 13. OSD data such as reduced images of recorded image data and icons is superimposed on the captured image by the signal processing unit 7 and displayed on the LCD 13. OSD (On Screen Display) is a generic term for a memory area and a mechanism for preparing data such as icons to be displayed overlaid on a real-time image captured from a camera.

OSDデータを作成する際には、外部記録媒体11に既に記録されている最新の画像データを取得し、画像処理部4によって、OSD表示に適したサイズに変換してから、内部記録媒体3のOSD表示エリアに記憶する。但し、直前に撮影した画像のOSD表示に適したサイズの画像が内部記録媒体3に存在する時には、外部記録媒体11からデータを取得する必要がない。画像処理部4は、操作部9におけるユーザのキー等の操作に応答して、表示する画像の拡大または縮小の処理を行うように、CPU2によって制御される。   When creating OSD data, the latest image data already recorded on the external recording medium 11 is acquired, converted into a size suitable for OSD display by the image processing unit 4, and then stored in the internal recording medium 3. Store in the OSD display area. However, it is not necessary to acquire data from the external recording medium 11 when an image having a size suitable for OSD display of the image taken immediately before exists on the internal recording medium 3. The image processing unit 4 is controlled by the CPU 2 so as to perform enlargement or reduction processing of an image to be displayed in response to an operation of a user key or the like in the operation unit 9.

ビデオ出力処理部8から図示しない映像出力端子には、アナログのカラービデオ信号が取り出される。映像出力端子に対して外部モニタ14を接続した場合には、内部記録媒体3または外部記録媒体11に蓄積されている画像を外部モニタ14によって表示することができる。さらに、外部インターフェース5には、例えばプリンタ15が接続され、画像を印刷することが可能とされている。   An analog color video signal is extracted from the video output processing unit 8 to a video output terminal (not shown). When the external monitor 14 is connected to the video output terminal, the image stored in the internal recording medium 3 or the external recording medium 11 can be displayed on the external monitor 14. Further, for example, a printer 15 is connected to the external interface 5 so that an image can be printed.

操作部9には、十字キーが含まれている。十字キーは、十字形の操作部の各先端部(左ボタン、右ボタン、上ボタン、下ボタンと称する)を押すことによってカーソルの移動方向を上下左右の何れかの方向に指定するものである。なお、方向キーとしては、十字キー以外に、ダイヤル、ローラ、トラックボール、タッチパネル等の入力装置を使用することができる。また、機械的な構成に限らず、表示画面のボタン等を操作するGUI(Graphical User Interface)を使用しても良い。   The operation unit 9 includes a cross key. The cross key designates the moving direction of the cursor in one of up, down, left, and right directions by pressing each tip (referred to as a left button, right button, up button, and down button) of the cross-shaped operation unit. . In addition to the cross key, an input device such as a dial, a roller, a trackball, or a touch panel can be used as the direction key. In addition to a mechanical configuration, a GUI (Graphical User Interface) for operating buttons on the display screen may be used.

図2は、一実施形態におけるLCD13に表示される画像を説明するもので、参照符号Rが現在撮影中の撮影画像であり、Pが撮影済で再生モードで再生される再生画像である。再生画像は、必要に応じて外部記録媒体11から読み込まれ、内部記録媒体3に記憶されている。撮影画像Rを先頭にして、再生画像P1,P2,P3,・・・と再生画像が時間軸の順に1軸上に並べられる。図2に向かって右方向が過去から現在への時間軸方向であり、左方向が現在から過去への時間軸方向である。1軸上の配列された画像は、LCD13の表示画面において、横方向、縦方向または斜め方向に配列される。一実施形態では、横方向に複数の画像を配列している。   FIG. 2 is a diagram for explaining an image displayed on the LCD 13 according to an embodiment. Reference numeral R is a captured image that is currently captured, and P is a reproduced image that has been captured and is played back in the playback mode. The reproduced image is read from the external recording medium 11 as necessary and stored in the internal recording medium 3. Reproduced images P1, P2, P3,... And reconstructed images are arranged on one axis in order of the time axis with the captured image R as the head. In FIG. 2, the right direction is the time axis direction from the past to the present, and the left direction is the time axis direction from the present to the past. The images arranged on one axis are arranged in a horizontal direction, a vertical direction, or an oblique direction on the display screen of the LCD 13. In one embodiment, a plurality of images are arranged in the horizontal direction.

LCD13としては、アスペクト比が4対3のものと、16対9のようなワイドなものとの何れも使用できる。図2におけるSCは、ワイドLCDを使用した場合の表示枠を表している。この場合では、撮影画像Rと再生画像P1,P2とが同時に表示されている。後述するように、十字キーによって、時間軸方向に画像を送ることができる。   As the LCD 13, any one having an aspect ratio of 4 to 3 and a wide one such as 16 to 9 can be used. SC in FIG. 2 represents a display frame when a wide LCD is used. In this case, the captured image R and the reproduced images P1 and P2 are displayed at the same time. As will be described later, an image can be sent in the time axis direction by the cross key.

撮影画像Rと再生画像Pとの識別を容易とするために、撮影画像Rが再生画像Pに比してより大きなサイズとされている。また、画像に異なる形状のアイコンを付加することによって、撮影画像Rと再生画像Pとを識別するようにしても良い。   In order to easily identify the captured image R and the reproduced image P, the captured image R has a larger size than the reproduced image P. Further, the captured image R and the reproduced image P may be identified by adding icons having different shapes to the image.

図3は、LCD13の表示を形成するために、内部記録媒体3に保持されている表示用のデータを概略的に示すものである。図3Aに示される撮影画像Rは、内部記録媒体3に保持され、撮影モード中では、操作部9の操作がなされない状態でも、フレーム等の周期でもって更新され続ける。   FIG. 3 schematically shows display data held in the internal recording medium 3 in order to form a display on the LCD 13. The captured image R shown in FIG. 3A is held in the internal recording medium 3 and is continuously updated in a cycle of a frame or the like even in a state where the operation unit 9 is not operated in the capturing mode.

図3Bは、内部記録媒体3の撮影データRとは別に記憶されているOSDデータを示す。OSDデータは、撮影データRに重ね表示するアイコンのデータである。この発明の一実施形態では、OSDデータとして、最近の複数の記録画像の再生画像P1,P2が表示枠SCに対応する内部記録媒体3の記憶領域MC内に配置される。再生画像データP1,P2は、外部記録媒体11から取り込まれ、画像処理部4によって復号並びにサイズの縮小がなされて後、内部記録媒体3に格納される。内部記録媒体3に直前に撮影した画像のOSD表示に適したサイズの画像があれば、外部記録媒体11からデータを取得する必要がない。   FIG. 3B shows OSD data stored separately from the shooting data R of the internal recording medium 3. The OSD data is icon data to be displayed over the shooting data R. In one embodiment of the present invention, reproduced images P1 and P2 of a plurality of recent recorded images are arranged in the storage area MC of the internal recording medium 3 corresponding to the display frame SC as OSD data. The reproduced image data P 1 and P 2 are taken from the external recording medium 11, decoded and reduced in size by the image processing unit 4, and then stored in the internal recording medium 3. If the internal recording medium 3 has an image of a size suitable for the OSD display of the image taken immediately before, it is not necessary to acquire data from the external recording medium 11.

再生画像P1,P2は、撮影画像Rに比して小さいサイズのものである。画像のサイズによって、画像の種類を判別することができる。OSDデータには、撮影画像であることを示すアイコン31と、再生画像であることを示すアイコン32とが含まれている。これらのアイコン31および32によって、ユーザは、画像の種類を容易に判別することができる。但し、以下の説明では、アイコン31および32についての図示を省略する。なお、OSDデータは、複数階層のデータとして構成されていても良い。図3Cに示すように、撮影画像RとOSDデータとが合成されてワイドタイプのLCD13に対して表示される。   The reproduced images P1 and P2 are smaller in size than the captured image R. The type of image can be determined based on the size of the image. The OSD data includes an icon 31 indicating a captured image and an icon 32 indicating a reproduced image. These icons 31 and 32 allow the user to easily determine the type of image. However, in the following description, illustration of the icons 31 and 32 is omitted. The OSD data may be configured as data of a plurality of layers. As shown in FIG. 3C, the captured image R and the OSD data are combined and displayed on the wide type LCD 13.

図4に示すように、ディジタルカメラの背面にアスペクト比(16:9)等のワイド形のLCD13が設けられている。参照符号24がシャッターボタンであり、参照符号25がメニューボタンであり、参照符号26が削除ボタンであり、参照符号27が十字キーである。   As shown in FIG. 4, a wide LCD 13 having an aspect ratio (16: 9) or the like is provided on the back of the digital camera. Reference numeral 24 is a shutter button, reference numeral 25 is a menu button, reference numeral 26 is a delete button, and reference numeral 27 is a cross key.

ST1は、電源をオンとすると、表示される通常の表示画面を示す。レンズを通して捉えられた現在の被写体の撮影画像Rと、撮影画像Rの左隣に直前に撮影して取得された再生画像P1が互いに重ならないで表示される。重なり部分によって、撮影画像が見えにくくなることがない。再生画像P1の左隣には、その前の再生画像P2が位置する。   ST1 shows a normal display screen that is displayed when the power is turned on. The captured image R of the current subject captured through the lens and the reproduced image P1 captured and acquired immediately before the captured image R are displayed without overlapping each other. The overlapped portion does not make it difficult to see the captured image. The previous playback image P2 is positioned to the left of the playback image P1.

この撮影画像Rと再生画像P1,P2が同時に表示されている表示画面ST1は、撮影モードと再生モードの混在状態である。すなわち、シャッターボタン24を押すことによって新たな画像を記録することができると共に、所望の画像を再生画像として表示することができる。したがって、ユーザは、直前に撮影された画像を見ながら、新たに撮影する画像の構図等を決定することができる。   The display screen ST1 on which the photographed image R and the reproduced images P1 and P2 are displayed at the same time is a mixed state of the photographing mode and the reproduction mode. That is, by pressing the shutter button 24, a new image can be recorded and a desired image can be displayed as a reproduced image. Therefore, the user can determine the composition of an image to be newly photographed while viewing the image photographed immediately before.

表示画面ST1においてシャッターボタン24を押すと、遷移表示画面ST2を経て表示画面ST3にアニメーションで遷移する。遷移表示画面ST2では、撮影画像Rが徐々にサイズが小となると共に、左側に移動する。表示画面ST3では、現在の被写体の撮影画像R’の左隣に、撮影画像Rから派生した再生(記録済)画像P0が位置し、さらに左隣に再生画像P1が位置するものとなる。遷移表示画面ST2が表示される時間は、一瞬である。アニメーション遷移によってユーザは、撮影画像Rが再生画像P0となることが容易に分かる。表示画面ST3では、撮影および再生の何れのモードも可能である。   When the shutter button 24 is pressed on the display screen ST1, the screen transitions to the display screen ST3 through the transition display screen ST2. On the transition display screen ST2, the captured image R gradually decreases in size and moves to the left. On the display screen ST3, the reproduced (recorded) image P0 derived from the photographed image R is located on the left side of the photographed image R ′ of the current subject, and the reproduced image P1 is located on the left side. The time for which the transition display screen ST2 is displayed is instantaneous. By the animation transition, the user can easily understand that the captured image R becomes the reproduced image P0. On the display screen ST3, any mode of shooting and reproduction is possible.

図5は、撮影画像Rと再生画像P1,P2が同時に表示される、撮影モードおよび再生モードが混在している状態で、削除ボタン26を押した場合の画面遷移を示す。表示画面ST11において、削除ボタン26を押すと、表示画面ST12が生じる。   FIG. 5 shows a screen transition when the delete button 26 is pressed in the state where the photographed image R and the reproduced images P1, P2 are displayed at the same time and the photographing mode and the reproduction mode are mixed. When the delete button 26 is pressed on the display screen ST11, the display screen ST12 is generated.

表示画面ST12では、枠状のカーソルCが再生画像P1に対応した位置に表示され、再生画像P1を選択していることが示される。撮影画像Rの位置に削除ダイアログ28が表示される。カーソルCは、十字キー27の左ボタンを押すことで、左側(より以前)の再生画像を選択することが可能とされている。削除ダイアログ28は、「削除」と「終了」の一方を十字キー27の上下ボタンで選択することができ、選択されている側がハイライト表示される。   On the display screen ST12, a frame-like cursor C is displayed at a position corresponding to the reproduced image P1, indicating that the reproduced image P1 is selected. A delete dialog 28 is displayed at the position of the captured image R. The cursor C can select a playback image on the left side (before) by pressing the left button of the cross key 27. In the delete dialog 28, one of “delete” and “end” can be selected with the up and down buttons of the cross key 27, and the selected side is highlighted.

表示画面ST12で示すように、再生画像P1にカーソルCが位置していると共に、削除ダイアログ28の「削除」がハイライト表示されている状態で、「決定」キーを押すと、選択されている再生画像P1が削除される。十字キー27の左または右ボタンの操作で、削除する画像が選択される。「決定」キーは、カメラ本体に設けられた機械的なキー、GUIのキー、十字キー27の中央部を押すことでオンするキー等である。一実施形態では、撮影モードから再生モードに切り替えることなく、所望の再生画像(撮影済画像)を削除することができる。   As shown in the display screen ST12, when the cursor C is positioned on the reproduced image P1 and “Delete” in the delete dialog 28 is highlighted, the “Select” key is pressed to select it. The reproduced image P1 is deleted. The image to be deleted is selected by operating the left or right button of the cross key 27. The “OK” key is a mechanical key provided on the camera body, a GUI key, a key that is turned on by pressing the center of the cross key 27, or the like. In one embodiment, a desired reproduced image (photographed image) can be deleted without switching from the photographing mode to the reproduction mode.

図6を参照して十字キー27を使用して再生モードへの切り替え、並びに再生モードにおける画像選択動作について説明する。   With reference to FIG. 6, the switching to the reproduction mode using the cross key 27 and the image selection operation in the reproduction mode will be described.

図6における表示画面ST21では、LCD13の表示枠SCに記録画像Rと再生画像P1,P2が混在して表示されている。すなわち、撮影モードと再生モードとが混在した状態である。この状態で、メニューボタン25を押すと、撮影に関するメニューが表示枠13内に表示される。   In the display screen ST21 in FIG. 6, the recorded image R and the reproduced images P1 and P2 are displayed in a mixed manner on the display frame SC of the LCD 13. That is, the shooting mode and the playback mode are mixed. When the menu button 25 is pressed in this state, a menu related to shooting is displayed in the display frame 13.

十字キー27の左ボタンを押すと、枠状のカーソルCが再生画像P1を指示する表示画面ST22が表示される状態となる。再生画像P1を選択した状態は、再生モードである。カーソルCの横に左側の方向に選択が可能なことを示す矢印カーソルも表示される。再生モードでメニューボタン25を押すと、再生に関するメニューが表示枠SC内に表示される。ここで、拡大ボタン、または縮小ボタンを操作することによって、選択されている再生画像P1を拡大または縮小することが可能である。   When the left button of the cross key 27 is pressed, a display screen ST22 in which the frame-like cursor C indicates the reproduced image P1 is displayed. The state in which the reproduction image P1 is selected is the reproduction mode. An arrow cursor indicating that selection is possible in the left direction is also displayed next to the cursor C. When the menu button 25 is pressed in the playback mode, a menu related to playback is displayed in the display frame SC. Here, by operating the enlargement button or the reduction button, it is possible to enlarge or reduce the selected reproduction image P1.

さらに、十字キー27の左ボタンを押すと、遷移表示画面ST23を経て表示画面ST24にアニメーションで遷移する。遷移表示画面ST23が表示される時間は、一瞬である。表示画面ST24では、撮影画像Rが消され、カーソルCが再生画像P2を指定する。再生画像の切り替えが両方向に可能であるために、矢印カーソルが両側に表示される。   Further, when the left button of the cross key 27 is pressed, the screen transits to the display screen ST24 through the transition display screen ST23 by animation. The time for which the transition display screen ST23 is displayed is instantaneous. On the display screen ST24, the captured image R is erased and the cursor C designates the reproduction image P2. Since the playback image can be switched in both directions, an arrow cursor is displayed on both sides.

よりさらに十字キー27の左ボタンを押すと、遷移表示画面ST25を経て表示画面ST26にアニメーションで遷移する。遷移表示画面ST25が表示される時間は、一瞬である。表示画面ST26では、カーソルCが再生画像P3を指定する。再生画像の切り替えが両方向に可能であるために、矢印カーソルが両側に表示される。   When the left button of the cross key 27 is further pressed, the screen transitions to the display screen ST26 via the transition display screen ST25. The time for which the transition display screen ST25 is displayed is instantaneous. On the display screen ST26, the cursor C designates the reproduced image P3. Since the playback image can be switched in both directions, an arrow cursor is displayed on both sides.

以上の説明では、LCD13の表示枠SCが横長のワイド画面とされている。この発明は、ワイド画面を有するLCDに限らず、(4:3)のアスペクト比の表示枠SCを有するLCDを使用しても良い。   In the above description, the display frame SC of the LCD 13 is a horizontally wide screen. The present invention is not limited to an LCD having a wide screen, and an LCD having a display frame SC with an aspect ratio of (4: 3) may be used.

さらに、図7に示すように、十字キー以外に両方向に回転可能なダイヤルキーを使用しても良い。図7Aは、時間軸操作ダイヤルの一例を示す。カメラ本体21の背面および側面からやや突出して、時間軸操作ダイヤル22aが設けられる。図7Bに示す例では、カメラ本体21の上面に時間軸操作ダイヤル22bが設けられる。   Furthermore, as shown in FIG. 7, a dial key that can be rotated in both directions may be used in addition to the cross key. FIG. 7A shows an example of a time axis operation dial. A time axis operation dial 22 a is provided so as to slightly protrude from the back and side surfaces of the camera body 21. In the example shown in FIG. 7B, a time axis operation dial 22 b is provided on the upper surface of the camera body 21.

時間軸操作ダイヤル22aおよび22bは、銀塩カメラのフィルム巻き上げのダイヤルと同様の形状と操作感を有している。すなわち、所定の回転量ずつ回転可能とされている。また、時間軸操作ダイヤル22a,22bは、カメラ本体21の上面から見て時計方向および反時計方向に回転可能とされている。   The time axis operation dials 22a and 22b have the same shape and feel as a film winding dial of a silver salt camera. That is, it can be rotated by a predetermined amount of rotation. Further, the time axis operation dials 22 a and 22 b are rotatable in the clockwise direction and the counterclockwise direction when viewed from the upper surface of the camera body 21.

この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、静止画像を記録するディジタルカメラに限定されるものではなく、動画を記録する撮影装置、並びに静止画および動画の両方を記録可能な撮影装置に対しても適用できる。動画の場合では、例えば1回の撮影の先頭の画像をLCD等に表示するようになされる。   The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention. For example, the present invention is not limited to a digital camera that records still images, but can also be applied to a shooting device that records moving images, and a shooting device that can record both still images and moving images. In the case of a moving image, for example, the top image of one shooting is displayed on an LCD or the like.

この発明による撮像装置の一実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of the imaging device by this invention. この発明の一実施形態における画像の時間軸上の配列を説明するための略線図である。It is a basic diagram for demonstrating the arrangement | positioning on the time-axis of the image in one Embodiment of this invention. この発明の一実施形態における内部記録媒体上に保持される表示用データの説明に用いる略線図である。It is a basic diagram used for description of the display data hold | maintained on the internal recording medium in one Embodiment of this invention. ワイドLCDを使用した場合にシャッターボタンを押した時の表示画面の遷移を順に示す略線図である。It is a basic diagram which shows in order the transition of a display screen when a shutter button is pushed when wide LCD is used. ワイドLCDを使用した場合に削除ボタンを押した時削除動作時の表示画面の遷移を順に示す略線図である。FIG. 6 is a schematic diagram sequentially illustrating transition of a display screen during a deletion operation when a delete button is pressed when a wide LCD is used. ワイドLCDを使用した場合のモード切り替え時の表示画面のアニメーション遷移を順に示す略線図である。It is a basic diagram which shows in order the animation transition of the display screen at the time of mode switching at the time of using wide LCD. この発明に使用可能なダイヤルの一例および他の例を説明するための略線図である。It is a basic diagram for demonstrating an example of the dial which can be used for this invention, and another example.

符号の説明Explanation of symbols

1・・・処理部
2・・・CPU
3・・・内部記録媒体
9・・・操作部
11・・・外部記録媒体
12・・・CCD
13・・・LCD
25・・・削除ボタン
27・・・十字キー
DESCRIPTION OF SYMBOLS 1 ... Processing part 2 ... CPU
3 ... Internal recording medium 9 ... Operation unit 11 ... External recording medium 12 ... CCD
13 ... LCD
25 ... delete button 27 ... cross key

Claims (7)

撮像装置において、
撮像素子と、表示装置と、撮影された画像と、上記表示装置に表示される画像を蓄える記憶媒体と、ユーザの入力を受け付ける入力装置とを備え、
上記撮像素子が現在捉えている被写体の画像である第1の画像と、上記記憶媒体に保存されている撮影済の1または複数の第2の画像とが同時に且つ上記第1の画像と上記第2の画像とが重ならないように表示され、
撮影および撮影済画像の再生の両者が可能とされた撮像装置。
In the imaging device,
An image sensor, a display device, a captured image, a storage medium that stores an image displayed on the display device, and an input device that receives a user input;
The first image, which is the image of the subject currently captured by the image sensor, and the one or more second images that have been captured and stored in the storage medium, and the first image and the first image are simultaneously recorded. 2 is displayed so as not to overlap
An imaging apparatus capable of both photographing and reproducing a photographed image.
請求項1において、
上記第1の画像と上記第2の画像とが異なる大きさとされる撮像装置。
In claim 1,
An imaging apparatus in which the first image and the second image have different sizes.
請求項1において、
上記第1の画像と上記第2の画像との少なくとも一方に対して、アイコンまたはカーソルが付加される撮像装置。
In claim 1,
An imaging device in which an icon or a cursor is added to at least one of the first image and the second image.
請求項1において、
上記第1の画像と上記第2の画像とが同時に表示されている状態において、シャッターボタンを押す操作に応答して、新たな撮影画像が上記第1の画像として表示されると共に、以前の上記第1の画像が上記第2の画像として表示される撮像装置。
In claim 1,
In a state where the first image and the second image are displayed at the same time, in response to an operation of pressing the shutter button, a new captured image is displayed as the first image, and the previous image An imaging device in which a first image is displayed as the second image.
請求項1において、
上記第1の画像と上記第2の画像とが同時に表示されている状態において、削除ボタンを押す操作に応答して、上記第2の画像が削除される撮像装置。
In claim 1,
An imaging apparatus in which the second image is deleted in response to an operation of pressing a delete button in a state where the first image and the second image are displayed simultaneously.
表示装置を有する撮像装置における画面表示方法において、
撮像素子が現在捉えている被写体の画像である第1の画像と、記憶媒体に保存されている撮影済の1または複数の第2の画像とを同時に且つ上記第1の画像と上記第2の画像とが重ならないように表示され、
撮影および撮影済画像の再生の両者が可能であることが示される撮像装置における画面表示方法。
In a screen display method in an imaging apparatus having a display device,
The first image, which is the image of the subject currently captured by the image sensor, and the one or more second images that have been captured and stored in the storage medium, and the first image and the second image are simultaneously displayed. It is displayed so that it does not overlap with the image,
A screen display method in an imaging apparatus which indicates that both shooting and reproduction of a shot image are possible.
撮像装置のインターフェースにおいて、
表示装置と、
撮像素子が現在捉えている被写体の画像である第1の画像と、記憶媒体に保存されている撮像済の1または複数の第2の画像とが同時に且つ上記第1の画像と上記第2の画像とが重ならないように表示され、
撮影および撮影済画像の再生の両者が可能とされたユーザインターフェース。
In the interface of the imaging device,
A display device;
The first image, which is the image of the subject currently captured by the image sensor, and the one or more second images that have already been captured stored in the storage medium, and the first image and the second image are simultaneously displayed. It is displayed so that it does not overlap with the image,
A user interface that enables both shooting and playback of shot images.
JP2004143439A 2004-05-13 2004-05-13 Imaging apparatus, screen display method, and user interface Expired - Fee Related JP5055685B2 (en)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2004143439A JP5055685B2 (en) 2004-05-13 2004-05-13 Imaging apparatus, screen display method, and user interface
CN2005800104739A CN1947412B (en) 2004-05-13 2005-05-02 Imaging unit and image screen display method
US11/568,810 US7714926B2 (en) 2004-05-13 2005-05-02 Imaging apparatus, user interface, and associated methodology for a co-existent shooting and reproduction mode
PCT/JP2005/008658 WO2005112436A1 (en) 2004-05-13 2005-05-02 Imaging device, image display method, and user interface
KR1020117018092A KR101164374B1 (en) 2004-05-13 2005-05-02 Imaging device, image display method, and user interface
CN201010282287.3A CN101959021B (en) 2004-05-13 2005-05-02 Image display apparatus and image display method
EP05738836A EP1746819B1 (en) 2004-05-13 2005-05-02 Imaging device, image display method, and user interface
KR1020067019748A KR101114195B1 (en) 2004-05-13 2005-05-02 Imaging device, image display method, and user interface
US12/750,179 US8218057B2 (en) 2004-05-13 2010-03-30 Imaging apparatus, user interface, and associated methodology for a co-existent shooting and reproduction mode
US13/487,672 US8648954B2 (en) 2004-05-13 2012-06-04 Imaging apparatus, user interface, and associated methodology for a co-existent shooting and reproduction mode
US13/687,011 US20130155310A1 (en) 2004-05-13 2012-11-28 Imaging apparatus, user interface, and associated methodology for a co-existent shooting and reproduction mode
US14/108,693 US9497382B2 (en) 2004-05-13 2013-12-17 Imaging apparatus, user interface and associated methodology for a co-existent shooting and reproduction mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004143439A JP5055685B2 (en) 2004-05-13 2004-05-13 Imaging apparatus, screen display method, and user interface

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2009190795A Division JP4840488B2 (en) 2009-08-20 2009-08-20 Imaging apparatus, screen display method, and user interface
JP2011265708A Division JP5212535B2 (en) 2011-12-05 2011-12-05 Screen display device and screen display method

Publications (2)

Publication Number Publication Date
JP2005328243A true JP2005328243A (en) 2005-11-24
JP5055685B2 JP5055685B2 (en) 2012-10-24

Family

ID=35474252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004143439A Expired - Fee Related JP5055685B2 (en) 2004-05-13 2004-05-13 Imaging apparatus, screen display method, and user interface

Country Status (1)

Country Link
JP (1) JP5055685B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007102677A1 (en) * 2006-03-09 2007-09-13 Samsung Electronics Co., Ltd. Image display and storage apparatus, method and medium
JP2008124826A (en) * 2006-11-13 2008-05-29 Casio Comput Co Ltd Imaging apparatus, display control method, and program
JP2009225280A (en) * 2008-03-18 2009-10-01 Fujifilm Corp Imaging apparatus and photographed image display control method
JP2010278735A (en) * 2009-05-28 2010-12-09 Ikegami Tsushinki Co Ltd Control device for tv camera
US8564624B2 (en) 2009-08-03 2013-10-22 Sony Corporation Image processing apparatus, image processing method, and program
JP2016181942A (en) * 2012-06-11 2016-10-13 ソニー株式会社 Control device, control method and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1032734A (en) * 1996-07-18 1998-02-03 Canon Inc Device and method for picking up image
JPH10243273A (en) * 1997-02-24 1998-09-11 Canon Inc Image display method for digital camera
JPH1185450A (en) * 1997-09-10 1999-03-30 Canon Inc Method and device for processing information
JP2001313861A (en) * 2000-02-21 2001-11-09 Fujitsu Ltd Image pickup device, data management unit, medium, and program
JP2001320610A (en) * 2000-05-02 2001-11-16 Nikon Corp Electronic still camera
JP2002157043A (en) * 2000-09-06 2002-05-31 Sony Corp Information processor
JP2003263256A (en) * 2002-03-11 2003-09-19 Omron Corp Window display method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1032734A (en) * 1996-07-18 1998-02-03 Canon Inc Device and method for picking up image
JPH10243273A (en) * 1997-02-24 1998-09-11 Canon Inc Image display method for digital camera
JPH1185450A (en) * 1997-09-10 1999-03-30 Canon Inc Method and device for processing information
JP2001313861A (en) * 2000-02-21 2001-11-09 Fujitsu Ltd Image pickup device, data management unit, medium, and program
JP2001320610A (en) * 2000-05-02 2001-11-16 Nikon Corp Electronic still camera
JP2002157043A (en) * 2000-09-06 2002-05-31 Sony Corp Information processor
JP2003263256A (en) * 2002-03-11 2003-09-19 Omron Corp Window display method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007102677A1 (en) * 2006-03-09 2007-09-13 Samsung Electronics Co., Ltd. Image display and storage apparatus, method and medium
US7821523B2 (en) 2006-03-09 2010-10-26 Samsung Electronics Co., Ltd. Image display and storage apparatus, method and medium
US8022968B2 (en) 2006-03-09 2011-09-20 Samsung Electronics Co., Ltd. Image display and storage apparatus, method and medium
US8207991B2 (en) 2006-03-09 2012-06-26 Samsung Electronics Co., Ltd. Image display and storage apparatus, method and medium
JP2008124826A (en) * 2006-11-13 2008-05-29 Casio Comput Co Ltd Imaging apparatus, display control method, and program
JP2009225280A (en) * 2008-03-18 2009-10-01 Fujifilm Corp Imaging apparatus and photographed image display control method
US8189087B2 (en) 2008-03-18 2012-05-29 Fujifilm Corporation Imaging device and photographed image display control method
JP2010278735A (en) * 2009-05-28 2010-12-09 Ikegami Tsushinki Co Ltd Control device for tv camera
US8564624B2 (en) 2009-08-03 2013-10-22 Sony Corporation Image processing apparatus, image processing method, and program
JP2016181942A (en) * 2012-06-11 2016-10-13 ソニー株式会社 Control device, control method and program

Also Published As

Publication number Publication date
JP5055685B2 (en) 2012-10-24

Similar Documents

Publication Publication Date Title
KR101164374B1 (en) Imaging device, image display method, and user interface
US6683649B1 (en) Method and apparatus for creating a multimedia presentation from heterogeneous media objects in a digital imaging device
US8972867B1 (en) Method and apparatus for editing heterogeneous media objects in a digital imaging device
US9116610B2 (en) Imaging apparatus and user interface
US6738075B1 (en) Method and apparatus for creating an interactive slide show in a digital imaging device
JP4799009B2 (en) Image processing apparatus and method
JP2008060731A (en) Camera, output image selection method, and program
JP2006303896A (en) Camera system for changing over display of reduced guide image in reproducing image by magnification, and image display method
JP2008252454A (en) Camera and gui switching method in camera
JP2006287596A (en) Camera apparatus with animation reproduction function in a plurality of image selection screens
JP5055685B2 (en) Imaging apparatus, screen display method, and user interface
JP2005328242A (en) Imaging unit, screen display method, and user interface
JP5212535B2 (en) Screen display device and screen display method
JP4840488B2 (en) Imaging apparatus, screen display method, and user interface
JP2009124591A (en) Imaging apparatus, information recording device and information recording method
JP4768531B2 (en) Imaging device
JP4411194B2 (en) Recording / reproducing apparatus, recording / reproducing method, and computer program
JP2006128756A (en) Photographing apparatus and photographing control method
JP2012004993A (en) Image processing system, and control method, program, and storage medium therefor

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5055685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees