JP2008154097A - カメラ装置およびカメラ装置における再生制御方法 - Google Patents

カメラ装置およびカメラ装置における再生制御方法 Download PDF

Info

Publication number
JP2008154097A
JP2008154097A JP2006341717A JP2006341717A JP2008154097A JP 2008154097 A JP2008154097 A JP 2008154097A JP 2006341717 A JP2006341717 A JP 2006341717A JP 2006341717 A JP2006341717 A JP 2006341717A JP 2008154097 A JP2008154097 A JP 2008154097A
Authority
JP
Japan
Prior art keywords
moving image
chapter
image data
skip
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006341717A
Other languages
English (en)
Other versions
JP4991272B2 (ja
Inventor
Hideji Yamamiya
秀次 山宮
Tatsuro Abe
達朗 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006341717A priority Critical patent/JP4991272B2/ja
Priority to US11/976,580 priority patent/US20080145030A1/en
Publication of JP2008154097A publication Critical patent/JP2008154097A/ja
Application granted granted Critical
Publication of JP4991272B2 publication Critical patent/JP4991272B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】元の動画データを残しつつ、しかも手間や時間をかけることなく再生に適さない映像を再生しないようにする。
【解決手段】カメラ装置１００は撮影映像を示す動画データのうちの特定のチャプタについて動画データの一部を読み飛ばすためのスキップ設定が行われているときに、そのスキップ設定が行われているチャプタを構成する動画データを用いることなく撮影映像が再生されるように制御する再生制御手段を有している。
【選択図】図１

Description

本発明は、撮影された撮影映像を示す動画データを生成するデジタルカメラ、ビデオカメラ等のカメラ装置およびそのカメラ装置における再生制御方法に関する。
従来、被写体の光学画像を静止画（静止画像）または動画（動画像）として取込み、撮影した画像を画像データに変換して電子的に保存するカメラ装置（電子カメラ装置ともいう）が知られている。従来のカメラ装置には、静止画の撮影を主体とするデジタルカメラと、動画の撮影を主体とするビデオカメラとがある。
一方、光ディスク等の記録媒体に映像データを記録し、また、記録した映像データを再生する映像記録再生装置も広く普及している。例えば、特許文献１には、光ディスクに記録されている映像データの再生時間を所定時間飛び越すための飛び越し時間と、映像データを再生するための再生時間とを設定して、映像の飛び越しと再生とを交互に繰り返す映像記録再生装置が開示されている。
特開２００２−２３０９５０号公報
ところで、カメラ装置を用いてユーザが撮影を行った場合、撮影された映像の中には、不要な映像や他人には見られたくない個人的な映像といった再生に適さない映像が含まれることがある。このような再生に適さない映像がある場合、ユーザはカメラ装置に備えられている編集機能等を利用して、再生に適さない映像をカットするといった取り扱いを行うことが一般的である。
しかし、従来のカメラ装置では、再生に適さない映像をカットする編集作業をユーザが行おうとすると、その作業に手間や時間がかかってしまうことが多い。また、編集作業中に誤って必要な映像をカットしてしまうこともあるため、その場合に備えて編集前の元の映像を別途保存しておこうとすると、その分、面倒な作業が増えてしまう。
この点、上記特許文献１に開示されている映像記録再生装置では、映像データの再生を一部飛び越すようにしているが、そのためには、ユーザが飛び越し時間や再生時間を入力しなければならないという煩わしさがある。
そこで、本発明は上記課題を解決するためになされたもので、元の動画データを残しつつ、しかも手間や時間をかけることなく再生に適さない映像を再生しないようにすることができるカメラ装置およびそのカメラ装置における再生制御方法を提供することを目的とする。
上記課題を解決するため、本発明は、撮影映像を示す動画データのうちの特定のチャプタについて動画データの一部を読み飛ばすためのスキップ設定が行われているときに、そのスキップ設定が行われているチャプタを構成する動画データを用いることなく撮影映像が再生されるように制御する再生制御手段を有するカメラ装置を提供する。
また、本発明は、撮影映像を示す動画データを生成する動画データ生成手段と、その動画データ生成手段により生成された動画データにおける再生開始点を定めるチャプタデータを生成するチャプタデータ生成手段と、チャプタデータについて、動画データの一部を読み飛ばすためのスキップ設定が行われているときに、そのスキップ設定が行われているチャプタデータに対応する対応動画データを用いることなく撮影映像が再生されるように制御する再生制御手段とを有するカメラ装置を提供する。
さらに、本発明は、撮影映像を示す動画データを生成する動画データ生成手段を備えたカメラ装置における再生制御方法であって、撮影映像を示す動画データのうちの特定のチャプタについて動画データの一部を読み飛ばすためのスキップ設定が行われているときに、そのスキップ設定が行われているチャプタを構成する動画データを用いることなく撮影映像が再生されるように制御するカメラ装置における再生制御方法を提供する。
以上詳述したように、本発明によれば、元の動画データを残しつつ、しかも手間や時間をかけることなく再生に適さない映像を再生しないようにすることができるカメラ装置およびそのカメラ装置における再生制御方法が得られる。
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
（カメラ装置の構成）
図１は、本発明の実施形態に係るカメラ装置１００の主要な構成を示すブロック図である。図１に示すカメラ装置１００は、動画の撮影を主体とし、静止画も撮影することが可能なデジタルビデオカメラ装置である。
また、カメラ装置１００は、動画の撮影や再生の際にＭＰＥＧ−２にしたがい圧縮したデータを扱う。カメラ装置１００は動画を再生するときには、通常の再生以外に、逆再生、高速再生、高速逆再生、コマ送り、コマ戻しなどのトリック再生が簡単に実現できる。さらに、カメラ装置１００は画像データの記録媒体を磁気テープにする場合と違って、後述するＨＤＤ１０５またはメモリカード１１７といったランダムアクセス可能な記録媒体を用いている。そのため、ユーザが見たい映像のサーチも容易に行えるようになっている。
このカメラ装置１００は、デジタル信号出力部１０１と、信号処理部１０２と、圧縮伸張処理部１０３と、メモリ１０４およびＨＤＤ（Hard Disk Drive）１０５とを有している。
また、カメラ装置１００は、メモリカードスロット１０６と、ビデオデコーダ１０７と、ＬＣＤ（Liquid Crystal Display）ドライバ１０８と、ＬＣＤ１０９と、ＬＡＮコントローラ１１０およびＵＳＢコントローラ１１１を有している。さらに、カメラ装置１００は、ＬＡＮ端子１１２と、ＵＳＢ端子１１３と、ＣＰＵ１１４と、操作部１１５を有し、５つの操作キー（チャプタキー１１６、ＲＥＣキー１１７、ＰＡＵＳＥキー１１８、ＰＬＡＹキー１１９、メニューキー１２０）を有している。
デジタル信号出力部１０１は、図示しないレンズを通して得られる被写体の光学画像を用いてＣＣＤ（Charge Coupled Device）が生成したアナログの電気信号をデジタル信号に変換して信号処理部１０２に出力する。
信号処理部１０２は、入力されるデジタル信号に画像処理を施して、実際に撮影された撮影映像を示す動画データを生成する動画データ生成手段としての機能を有している。なお、生成された動画データは一旦メモリ１０４に格納される。
圧縮伸張処理部１０３は、メモリ１０４から取り出した動画データをＭＰＥＧ−２にしたがい圧縮して圧縮動画データとし、静止画データをＪＰＥＧにしたがい圧縮して圧縮静止画データとする。また、圧縮伸張処理部１０３は、ＣＰＵ１１４の指示にしたがい圧縮動画データおよび圧縮静止画データを伸長する。
メモリ１０４は信号処理部１０２による処理の対象となるデータや、圧縮伸張処理部１０３による処理の対象となるデータが一時的に記憶される。
ＨＤＤ１０５は、外部記憶装置であって、内蔵しているＨＤ（Hard Disc）に圧縮された動画データ（圧縮動画データ）および音声データ並びに圧縮静止画データを記録する。ＨＤＤ１０５はＨＤ（Hard Disc）に対して、ランダムアクセスでデータの読み書きを行う。
メモリカードスロット１０６は、ＳＤメモリカード（Secure Digital memory card）などのメモリカード１１７が差込まれ、その差込まれたメモリカード１１７に対するデータの読み書きを行う。メモリカード１１７には、圧縮された動画データなどが記録される。
ビデオデコーダ１０７は、圧縮されている動画データを用いて、撮影された撮影映像を表示するため、動画データの復号化処理を行い、ＬＣＤドライバ１０８に出力する。このビデオデコーダ１０７は、復号化プログラムにより実現されるソフトウェアデコーダーである。
ＬＣＤドライバ１０８は、ビデオデコーダ１０７から受けた復号化された動画データをＬＣＤ１０９のインターフェースに適合した表示信号に変換する。ＬＣＤ１０９は、ＬＣＤドライバ１０８から出力される表示信号を用いて撮影映像を表示する。
ＬＡＮコントローラ１１０は、ＣＰＵ１１４の指示にしたがい、メモリ１０４から取り出した動画データをＬＡＮ端子１１２を介して接続される図示しない外部の装置（例えば、ＤＶＤレコーダやＨＤＤレコーダ）へ転送する。また、ＬＡＮコントローラ１１０は、ＬＡＮ端子１１２を介して外部の装置から取り込んだ動画データをメモリ１０４に出力する。
ＵＳＢコントローラ１１１は、ＣＰＵ１１４の指示にしたがい、メモリ１０４から取り出した動画データをＵＳＢ端子１１３を介して接続される図示しない外部の装置（例えば、パーソナルコンピュータ）へ転送する。また、ＵＳＢコントローラ１１１は、ＵＳＢ端子１１３を介して外部の装置から取り込んだ動画データをメモリ１０４に出力する。
ＣＰＵ１１４は、図示しないＲＯＭに記憶されているプログラムにしたがい本発明の特徴とする各種手段（再生制御手段、チャプタデータ生成手段、スキップ設定手段、スキップ設定解除手段、判定手段）として作動する。また、ＣＰＵ１１４は、他の構成要素との信号の入出力を行い、カメラ装置１００全体の動作制御や各シーケンスの制御を行う。
操作部１１５はＪＯＧダイヤルと十字キーを有している。操作部１１５はユーザによってカメラ装置１００における種々の機能（例えば、再生停止や撮影停止など）を選択および実行するための操作が行われる操作手段である。また、動画が再生されているときにＪＯＧダイヤルが操作されると、その操作に応じて再生速度が調整されるようになっている。
チャプタキー１１６は、ユーザが押下操作を行うことによって、チャプタ生成指示をＣＰＵ１１４に入力する。チャプタ生成指示は後述するチャプタデータ（例えば、後述するチャプタデータ３３１など）を生成し、その生成したチャプタデータをチャプタテーブル３３０に記録することをＣＰＵ１１４に指示するデータである。ＲＥＣキー１１７はユーザが押下操作を行うことによって、録画の開始指示をＣＰＵ１１４に入力する。ＰＡＵＳＥキー１１８は、録画または再生の一時停止指示をＣＰＵ１１４に入力する。
ＰＬＡＹキー１１９は、動画（撮影映像）の再生開始指示をＣＰＵ１１４に入力する。メニューキー１２０は、ユーザが押下操作を行うことによって、後述するチャプタ編集メニュー３４０を表示するための指示信号をＣＰＵ１１４に入力する。
次に、ＭＰＥＧ−２にしたがい圧縮伸張処理部１０３が圧縮した動画データのデータ構造について、図２、図３を参照して説明する。ここで、図２はＭＰＥＧ−２にしたがい圧縮伸張処理部１０３が圧縮した動画データのデータ構造を示す図である。
動画データは、ヘッダ部２０１と、データ部２０２とを有している。ヘッダ部２０１にはＶＯＢＵ−ＥＮＴ情報部があり、データ部２０２を構成する各ＶＯＢＵ（Video Object Block Unit；ビデオオブジェクトブロックユニット）のサイズが記録されている。データ部２０２は、ＶＯＢＵを複数（ＶＯＢＵ２０２ａ，２０２ｂ・・・）有している。
そして、ＶＯＢＵの個数は撮影時間に比例している。ＶＯＢＵはＭＰＥＧ−２にしたがい圧縮された０．５秒分の動画データ、つまり、後述するＧＯＰ(Group of Pictures)１つ分と多くのヘッダ情報とを有している。例えば、撮影時間が１０分間のときは、１０分×６０秒／０．５により求まる１２００個のＧＯＰが生成されている。ヘッダ部２０１のＶＯＢＵ−ＥＮＴ情報部には各ＶＯＢＵのサイズが記録されているので、１２００個のＧＯＰ各々のサイズ情報が記録されている。
また、図３は、同じく、ＭＰＥＧ−２にしたがい圧縮伸張処理部１０３が圧縮した動画データ３２３の構造を、チャプタテーブル３３０とともにＧＯＰを表示して示す図である。カメラ装置１００では、動画データ３２３を用いて撮影映像を再生する場合、ある単位の動画または何枚かの動画をまとめてＧＯＰとし、そのＧＯＰ単位での独立した再生ができるようになっている。ＧＯＰには、１５フレーム分の動画データが含まれている。
そして、動画データ３２３は、ヘッダ３０１と、実際に撮影された撮影映像を示す動画ストリーム３２０とを有している。
ヘッダ３０１には、画像の大きさ、画素縦横比など、ビデオデコーダ１０７が動画データを復号化して撮影映像を再生するために必要な初期データ等の管理情報が記録されている。
また、ヘッダ３０１はチャプタテーブル３３０を有している。チャプタテーブル３３０には生成されたチャプタデータが記録されている。図３では、チャプタテーブル３３０にＮ個のチャプタデータ（チャプタデータ３３１，３３２，３３３）が記録された状態を示している（ただし、一部図示を省略している）。
各チャプタデータはチャプタスキップフラグ３３３ａと、時間位置データ（ＰＴＭ（Presentation Time）、時間位置情報ともいう）３３３ｂとを有している。時間位置データ３３３ｂは、動画ストリーム３２０に含まれているＧＯＰのうちの特定のＧＯＰの位置を示している。
チャプタスキップフラグ３３３ａはチャプタ単位にスキップするかどうか（読み飛ばしを行うかどうか）を示している。スキップするときはフラグがＯＮになり、本実施の形態では、“１”がセットされる。スキップしないときはフラグがＯＦＦになり、本実施の形態では、“０”がセットされる（チャプタ単位の動画データのスキップをチャプタスキップともいう）
チャプタスキップフラグ３３３ａは、チャプタデータが記録される際には初期値として“０”がセットされ、ＯＦＦに設定されている。なお、チャプタスキップフラグ３３３ａはＯＮ、ＯＦＦが区別できればよく、“１”や“０”以外がセットされてもよい。
また、チャプタデータ３３１、３３２、３３３は、それぞれＧＯＰ３０２、３０５、３０８の時間位置データ３３３ｂを有していて、それぞれの時間位置データ３３３ｂによって、チャプタデータとＧＯＰとの対応付けが行われている。また、チャプタデータは動画データの再生開始点を示している。
そして、動画ストリーム３２０は、複数のＧＯＰ（ＧＯＰ３０２〜３１０）を有するデータストリームとして構成され、各ＧＯＰが０．５秒単位で記録されている。各ＧＯＰは操作部１１５を用いた編集処理の単位となるもので、撮影時間が０．５秒分のデータとなっている。
（カメラ装置の動作内容）
次に、カメラ装置１００の動作内容について図４〜図１０を参照して説明する。ここで、図４はＬＣＤ１０９に表示されるチャプタ編集メニュー３４０の一例を示す図である。また、図５〜図９はカメラ装置１００における各種の動作手順を示すフローチャート、図１０はスキップ再生が行われる動画データの一例を示す図である。
カメラ装置１００では、ユーザがメニューキー１２０の押下操作を行うことによって、ＬＣＤ１０９にチャプタ編集メニュー３４０が表示される。このチャプタ編集メニュー３４０は、図４に示すように、「１ チャプタ生成」、「２ チャプタスキップ設定」、「３ チャプタスキップ解除」、「４ パスワード設定」、「５ パスワード解除」の５つの項目があり、ユーザは操作部１１５を操作して、実行しようとする項目を選ぶことができる。
（チャプタデータの生成）
ユーザが「１ チャプタ生成」を選択したときは、以下のようにして、チャプタデータが生成される。まず、ユーザは「１ チャプタ生成」を選択する。
次に、ＰＬＡＹキー１１９の押下操作を行って動画の再生を開始し、再生される動画をＬＣＤ１０９で確認しながら、希望の動画が表示されているときや、他人に見せたくない動画といった再生に適さない動画が表示された時点でチャプタキー１１６の押下操作を行う。
すると、ＣＰＵ１１４がチャプタデータ生成手段としての動作を行う。これにより、ＣＰＵ１１４がチャプタキー１１６の押下操作が行われたタイミングのＧＯＰに応じた時間位置情報を含むチャプタデータを生成してチャプタテーブル３３０に記録する。
（チャプタスキップの設定またはチャプタスキップの解除）
次に、ユーザが「２ チャプタスキップの設定」を選択したときは、図５に示すフローチャートに沿って、チャプタスキップの設定が行われる。これにより、生成されている各チャプタデータについて、スキップするかどうかを設定することができる。
ＣＰＵ１１４は動作を開始すると、チャプタ番号ｎを初期化（“１”をセット）する（Ｓ１）。このチャプタ番号ｎは個々のチャプタデータを示す指標として用いられる。
続いて、ＣＰＵ１１４はチャプタ番号ｎのチャプタデータがチャプタテーブル３３０に存在しているか否かを判定する（Ｓ２）。ここで、チャプタ番号ｎのチャプタデータが存在するときはＳ３に進み、存在しなければチャプタスキップの設定を終了する。
次に、ＣＰＵ１１４はチャプタ番号ｎのチャプタデータについて、スキップするかどうかを例えば操作部１１５からの指示信号で判定する（Ｓ３）。ＣＰＵ１１４はスキップすると判定したときはＳ４に進み、そうでなければＳ５に進む。Ｓ４に進むと、ＣＰＵ１１４はスキップ設定手段としての動作を行い、チャプタ番号ｎのチャプタデータについて、スキップフラグをＯＮにして（“１”をセットする）スキップ設定を行う。次に、ＣＰＵ１１４はチャプタ番号ｎに“１”を加算し（Ｓ５）、その後、Ｓ２に戻る。
以上のようにすることによって、ユーザは個々のチャプタデータについて、スキップフラグをＯＮにするかＯＦＦのままにしておくかを選択でき、チャプタデータごとにスキップフラグをＯＮまたはＯＦＦにして、ユーザはチャプタごとにスキップ設定を行うことができる。なお、スキップ設定が行われないときは、スキップフラグは初期値としてＯＦＦに設定されている。
そして、ユーザが「３ チャプタスキップ解除」を選択したときは、図６に示すフローチャートに沿って、チャプタスキップの解除が行われる。これにより、チャプタデータについて、チャプタスキップの設定（スキップ設定）を解除することができる。
図６のフローチャートは図５のフローチャートと比較して、Ｓ３、Ｓ４がＳ６，Ｓ７となっているほかは同じである。そのＳ６では、ＣＰＵ１１４はチャプタ番号ｎのチャプタデータについて、スキップ設定を解除するかどうかを例えば操作部１１５からの指示信号で判定する（Ｓ６）。
ＣＰＵ１１４はスキップ設定を解除すると判定したときはＳ７に進み、そうでなければＳ５に進む。Ｓ７に進むと、ＣＰＵ１１４はスキップ設定解除手段としての動作を行い、チャプタ番号ｎのチャプタデータについて、スキップフラグをＯＦＦにする（“０”をセットする）。
以上のようにすることによって、ユーザは個々のチャプタデータについて、スキップフラグをＯＮにしても、後からスキップフラグをＯＦＦにすることができ、スキップ設定をチャプタごとに解除することができる。
（パスワード設定または解除）
次に、ユーザが「４ パスワード設定」を選択したときは、図７に示すフローチャートに沿って、チャプタスキップの設定を解除するためのパスワード（以下「解除パスワード」という）が設定される。解除パスワードは、チャプタスキップを設定しているチャプタデータについてチャプタスキップの設定を解除し、そのチャプタデータに対応する動画データ（対応動画データ）が再生されるようにするためのパスワードである。チャプタデータについてチャプタスキップの設定が解除されると、対応動画データがスキップされることなく再生されるようになる。
このような解除パスワードを設定することによって、チャプタデータにチャプタスキップが設定されていても、解除パスワードの入力を条件として、対応動画データを再生することができる（詳しくは後述する）。
そして、ＣＰＵ１１４は動作を開始すると、例えばメッセージをＬＣＤ１０９に表示させるなどして解除パスワードの入力をユーザに要求する（Ｓ１０）。ユーザが操作部１１５を操作してパスワードを入力すると、ＣＰＵ１１４はパスワード設定手段としての動作を行い、入力されたパスワードを暗号化したうえで、解除パスワードとしてＨＤＤ１０５に記録させ、その後動作を終了する（Ｓ１１）。
また、ユーザが「５ パスワード解除」を選択したときは、図８に示すフローチャートに沿って、設定されている解除パスワードを解除（消去）することができる。
ＣＰＵ１１４は動作を開始すると、例えばメッセージをＬＣＤ１０９に表示させるなどして解除パスワードの入力をユーザに要求する（Ｓ１２）。ユーザが操作部１１５を操作して解除パスワードを入力すると、ＣＰＵ１１４はパスワード解除手段としての動作を行い、入力された解除パスワードをＨＤＤ１０５から消去して動作を終了する（Ｓ１３）。
（スキップ再生の動作内容）
ユーザが上記のようにして、チャプタデータについてチャプタスキップを設定している場合の動画データの再生手順について、図９に示すフローチャートを参照して説明する。
まず、ユーザは図示しない動画データの一覧表示画面から再生しようとする動画データを指定する。続いて、ユーザはＰＬＡＹキー１１９の押下操作を行い、動画データの再生を開始した場合、ＣＰＵ１１４はそのときのＰＬＡＹキー１１９の押下操作が長押し（本実施の形態では、１秒以上を長押しとしている）であったかどうかを判定する（Ｓ２０）。ここで、ＣＰＵ１１４は長押しでないと判定したときは再生制御手段としての動作を行い、ＨＤＤ１０５等に指示してスキップ再生を開始するが（Ｓ２１）、長押しと判定したときは通常再生を開始する（Ｓ２７）。
次に、ＣＰＵ１１４は、スキップ再生を開始すると、チャプタ番号ｎを初期化（“１”をセットする）した上で（Ｓ２２）、チャプタ番号ｎのチャプタデータが存在するか否かを判定する（Ｓ２３）。チャプタ番号ｎのチャプタデータが存在すれば、チャプタ番号ｎのチャプタデータについて、チャプタスキップフラグがＯＮになっているか否かを判定する（Ｓ２４）。
ここで、チャプタスキップフラグがＯＮになっているときは、そのチャプタデータはチャプタスキップが設定されているので、Ｓ２５を実行することなく（動画データを再生することなく）チャプタ番号ｎに“１”を加算する（Ｓ２６）。また、チャプタスキップフラグがＯＮになっていないとき（ＯＦＦになっているとき）は、そのチャプタデータはチャプタスキップが設定されていないので、チャプタ番号ｎのチャプタデータに対応する動画データを再生するように、ＨＤＤ１０５等に指示する（Ｓ２５）。
一方、ＣＰＵ１１４はＳ２７に進むと、チャプタスキップのない通常再生であることを示すメッセージ（例えば、“スキップしないでそのまま再生します”）をＬＣＤ１０９に表示させる（Ｓ２７）。続いて、ＣＰＵ１１４はチャプタスキップなしで、すなわち、指定されている動画データをスキップせずに再生するようにＨＤＤ１０５等に指示する（Ｓ２８）。
次に、ＣＰＵ１１４は解除パスワードが設定されているか否かを判定する（Ｓ２９）。ここで、解除パスワードが設定されているときは所定のメッセージをＬＣＤ１０９に表示させるなどして、ユーザに解除パスワードの入力を要求する（Ｓ３１）。解除パスワードが設定されていなければ、指定されている動画データのすべてのチャプタを再生するようにＨＤＤ１０５等に指示する（Ｓ３０）。
そして、ＣＰＵ１１４は判定手段としての動作を行い、解除パスワードと操作部１１５を用いて入力されたパスワードとが一致するか否かによって、スキップ設定を解除するための解除条件の成否を判定する。解除パスワードと入力されたパスワードとが一致するときは、解除条件が成立したとして、指定されている動画データのすべてのチャプタを再生するように指示するが、そうでなければ再生を行うことなく動作を終了する。
カメラ装置１００は、以上のような動作を行うので、ユーザがＰＬＡＹキー１１９を長押しせずに押下操作をすることによって、動画データのスキップ再生が行われる。この場合、例えば図１０に示すように、動画ストリーム７１１，７１２，７１３，７１４，７１５が時間軸ｔに沿って時系列に並び、チャプタデータ７２１、７２２，７２３，７２４，７２５がチャプタテーブル７３０に記憶されていたとする。チャプタデータ７２１、７２２，７２３，７２４，７２５は図１０に示すように、各動画ストリーム７１１，７１２，７１３，７１４，７１５の再生開始点を定めるものとしている。
動画ストリーム７１１，７１２，７１３，７１４，７１５はチャプタデータ７２１、７２２，７２３，７２４，７２５に対応するＧＯＰを境にして区切られたチャプタを構成している。
ここで、図１０に示すように、チャプタデータ７２１，７２３，７２５についてはチャプタスキップフラグ７２１ａ，７２３ａ，７２５ａがＯＦＦであり、チャプタデータ７２２，７２４についてはチャプタスキップフラグ７２２ａ，７２４ａがＯＮになっていたとする。
すると、チャプタデータ７２１，７２３，７２５に対応する動画ストリーム７１１，７１３，７１５は再生されるものの、チャプタデータ７２２，７２４に対応する動画ストリーム７１２および７１４はスキップ設定が行われているチャプタとしてスキップされ、動作データの再生に用いられなくなる。
以上のように、カメラ装置１００は、ユーザがチャプタデータを生成しておき、再生を希望しないチャプタのチャプタデータにスキップフラグをＯＮに設定しておき、再生を希望しないチャプタにスキップ設定さえしておけば、そのチャプタの動画は再生されないようになる。したがって、カメラ装置１００は、元の動画データを残しつつ、しかも手間や時間をかけることなく再生に適さない映像を再生しないようにすることができる。
このように、カメラ装置１００によれば、上記のようなスキップ再生を行うことにより、例えば他人に見せたい部分だけを再生するダイジェスト版的な動画再生を行うことが可能である。また、他人に見せたくない部分を容易にスキップ再生させることも可能である。
さらに、解除パスワードを設定しておけば、スキップ設定を行っていなくても動画が再生されないようになっている（Ｓ２９〜Ｓ３２）。このことにより、例えばプライベートな部分といったを再生に適さない映像を再生しないようにして保護することができる。
スキップ再生を行うにあたって、ユーザは再生に適さない箇所をカットする編集作業が不要であるため、作業時間を大幅に軽減すことができる。しかも、オリジナルの動画をそのまま残すことができる。
チャプタスキップの設定は、各チャプタデータに対するチャプタスキップフラグのＯＮ，ＯＦＦの設定だけで行えるので、いたって簡易である。
さらに、カメラ装置１００は、ＰＬＡＹキー１１９の押下時間によって、スキップ再生と通常再生という２種類の再生動作を実現できるようになっている。この場合、ＰＬＡＹキー１１９は、スキップ再生と通常再生とを選択するための操作を行える選択操作手段を構成している。
なお、上述したカメラ装置１００では、ランダムアクセスによりデータの読み書きを行える外部記憶装置として、ＨＤＤ１０５を有しているが、ＨＤＤ１０５のほか、ＤＶＤ（Digital Versatile Disk）へのデータの記録を行うＤＶＤドライブを備えていてもよい。そして、ＤＶＤドライブにより、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭなどの書き換え可能な記憶媒体に動画データを記憶するようにすればよい。
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
本発明の実施形態に係るカメラ装置の主要な構成を示すブロック図である。 ＭＰＥＧ−２にしたがい圧縮伸張処理部が圧縮した動画データのデータ構造を示す図である。 同じく、ＭＰＥＧ−２にしたがい圧縮伸張処理部が圧縮した動画データの構造をチャプタテーブルとともにＧＯＰを表示して示す図である。 チャプタ編集メニューの一例を示す図である。 チャプタスキップの設定手順を示すフローチャートである。 チャプタスキップの設定解除の手順を示すフローチャートである。 解除パスワードの設定手順を示すフローチャートである。 解除パスワードの解除手順を示すフローチャートである。 スキップ再生または通常再生の動作手順を示すフローチャートである。 スキップ再生が行われる動画データの一例を示す図である。
符号の説明
１００…カメラ装置、１０２…信号処理部、１０５…ＨＤＤ、１０９…ＬＣＤ
１１４…ＣＰＵ、１１６…チャプタキー、１１９…ＰＬＡＹキー
３０１…ヘッダ、３３０…チャプタテーブル、３２０…動画ストリーム
３２３…動画データ，３４０…チャプタ編集メニュー

Claims (10)

  1. 撮影映像を示す動画データのうちの特定のチャプタについて前記動画データの一部を読み飛ばすためのスキップ設定が行われているときに、該スキップ設定が行われている前記チャプタを構成する前記動画データを用いることなく前記撮影映像が再生されるように制御する再生制御手段を有するカメラ装置。
  2. 撮影映像を示す動画データを生成する動画データ生成手段と、
    該動画データ生成手段により生成された前記動画データにおける再生開始点を定めるチャプタデータを生成するチャプタデータ生成手段と、
    前記チャプタデータについて、前記動画データの一部を読み飛ばすためのスキップ設定が行われているときに、該スキップ設定が行われている前記チャプタデータに対応する対応動画データを用いることなく前記撮影映像が再生されるように制御する再生制御手段とを有するカメラ装置。
  3. 前記スキップ設定を行うスキップ設定手段を更に有する請求項１または２記載のカメラ装置。
  4. 前記スキップ設定を解除するスキップ設定解除手段を更に有する請求項１または２記載のカメラ装置。
  5. 前記再生制御手段は、前記スキップ設定を解除するための解除条件が成立したときは、前記対応動画データを用いて前記撮影映像が再生されるように制御する請求項２記載のカメラ装置。
  6. 前記解除条件の成否を判定する判定手段と、
    パスワードを入力するパスワード入力手段とを更に有し
    前記判定手段は、前記パスワード入力手段により入力された入力パスワードが前記スキップ設定を解除するための解除パスワードと一致したときに、前記解除条件が成立したと判定する請求項５記載のカメラ装置。
  7. 前記解除パスワードを設定するパスワード設定手段を更に有する請求項６記載のカメラ装置。
  8. 前記解除パスワードを解除するパスワード解除手段を更に有する請求項６記載のカメラ装置。
  9. 前記対応動画データを用いることなく前記撮影映像を再生するスキップ再生と、前記対応動画データを用いて前記撮影映像を再生する通常再生とを選択するための操作を行える選択操作手段を更に有する請求項２記載のカメラ装置。
  10. 撮影映像を示す動画データを生成する動画データ生成手段を備えたカメラ装置における再生制御方法であって、
    撮影映像を示す動画データのうちの特定のチャプタについて前記動画データの一部を読み飛ばすためのスキップ設定が行われているときに、該スキップ設定が行われている前記チャプタを構成する前記動画データを用いることなく前記撮影映像が再生されるように制御するカメラ装置における再生制御方法。
JP2006341717A 2006-12-19 2006-12-19 カメラ装置およびカメラ装置における再生制御方法 Expired - Fee Related JP4991272B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006341717A JP4991272B2 (ja) 2006-12-19 2006-12-19 カメラ装置およびカメラ装置における再生制御方法
US11/976,580 US20080145030A1 (en) 2006-12-19 2007-10-25 Camera apparatus and reproduction control method in camera apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006341717A JP4991272B2 (ja) 2006-12-19 2006-12-19 カメラ装置およびカメラ装置における再生制御方法

Publications (2)

Publication Number Publication Date
JP2008154097A true JP2008154097A (ja) 2008-07-03
JP4991272B2 JP4991272B2 (ja) 2012-08-01

Family

ID=39527356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006341717A Expired - Fee Related JP4991272B2 (ja) 2006-12-19 2006-12-19 カメラ装置およびカメラ装置における再生制御方法

Country Status (2)

Country Link
US (1) US20080145030A1 (ja)
JP (1) JP4991272B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153139A (ja) * 2001-11-09 2003-05-23 Canon Inc 画像再生装置
JP2004140603A (ja) * 2002-10-17 2004-05-13 Canon Inc 画像記録再生装置
JP2005005964A (ja) * 2003-06-11 2005-01-06 Sony Corp 情報処理装置および方法、プログラム記録媒体、並びにプログラム
JP2006197428A (ja) * 2005-01-17 2006-07-27 Sony Corp 撮像装置、撮影画像データの記録方法、撮影画像データ処理装置および撮影画像データ処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7053933B2 (en) * 2000-04-04 2006-05-30 Canon Kabushiki Kaisha Image pickup apparatus having an automatic mode control
KR100422699B1 (ko) * 2001-05-22 2004-03-12 엘지전자 주식회사 비디오 콘텐트의 재생 제어방법과 장치
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
JP2005244347A (ja) * 2004-02-24 2005-09-08 Toshiba Corp デジタルカメラ
US7877156B2 (en) * 2004-04-06 2011-01-25 Panasonic Corporation Audio reproducing apparatus, audio reproducing method, and program
JP2005341399A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 記録再生装置と記録再生方法
US8306383B2 (en) * 2004-06-10 2012-11-06 Panasonic Corporation Data processor and hierarchy for recording moving and still picture files
JP2006086670A (ja) * 2004-09-15 2006-03-30 Hitachi Ltd データ記録装置
US7646960B2 (en) * 2005-06-09 2010-01-12 International Business Machines Corporation Determining chapters based on presentation of a program
US20070298840A1 (en) * 2006-06-02 2007-12-27 Findaway World, Inc. Personal media player apparatus and method
US20080141160A1 (en) * 2006-12-07 2008-06-12 Nokia Corporation Systems, methods, devices, and computer program products for adding chapters to continuous media while recording

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153139A (ja) * 2001-11-09 2003-05-23 Canon Inc 画像再生装置
JP2004140603A (ja) * 2002-10-17 2004-05-13 Canon Inc 画像記録再生装置
JP2005005964A (ja) * 2003-06-11 2005-01-06 Sony Corp 情報処理装置および方法、プログラム記録媒体、並びにプログラム
JP2006197428A (ja) * 2005-01-17 2006-07-27 Sony Corp 撮像装置、撮影画像データの記録方法、撮影画像データ処理装置および撮影画像データ処理方法

Also Published As

Publication number Publication date
US20080145030A1 (en) 2008-06-19
JP4991272B2 (ja) 2012-08-01

Similar Documents

Publication Publication Date Title
US9014542B2 (en) Video record/playback apparatus and control method for same
JP4355659B2 (ja) データ処理装置
JP4874425B1 (ja) 再生装置および撮像装置
US9071806B2 (en) Reproducing apparatus
JP2007235195A (ja) 画像記録装置及び画像表示方法
JP2001111963A (ja) 光ディスクを利用したビデオカメラにおける録画再生方法
JP4773817B2 (ja) 画像再生装置及びプログラム
JP2009225361A (ja) 記録装置および記録方法、ならびに、編集装置および編集方法
WO2009139302A1 (ja) 録画再生装置
US8437390B2 (en) Imaging apparatus
JP5414374B2 (ja) 撮像記録装置及びその制御方法
JP2010263374A (ja) 記録再生装置及び記録再生方法
US20080151060A1 (en) Camera apparatus and chapter data generating method in camera apparatus
JP2006217060A (ja) 記録装置、記録再生装置および記録方法並びに記録再生方法
JP4991272B2 (ja) カメラ装置およびカメラ装置における再生制御方法
JP2008097727A (ja) 動画再生装置
US8134607B2 (en) Recording apparatus
US20090040382A1 (en) Camera apparatus and still image generating method of camera apparatus
JP2006092681A (ja) 画像管理方法、画像管理装置及び画像管理システム
JP2012099996A (ja) 再生装置、再生方法、および、再生プログラム
JP2004040518A (ja) 撮像記録装置と再生装置
JP4991416B2 (ja) 撮影装置
JP2008160187A (ja) カメラ装置およびカメラ装置における再生制御方法
JP5225365B2 (ja) 画像再生装置、画像再生方法、プログラム及び記録媒体
JP2008310910A (ja) 記録再生装置及びその制御方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080806

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080718

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees