JP2009071427A - Image processor, control method of the image processor, and program - Google Patents
Image processor, control method of the image processor, and program Download PDFInfo
- Publication number
- JP2009071427A JP2009071427A JP2007235483A JP2007235483A JP2009071427A JP 2009071427 A JP2009071427 A JP 2009071427A JP 2007235483 A JP2007235483 A JP 2007235483A JP 2007235483 A JP2007235483 A JP 2007235483A JP 2009071427 A JP2009071427 A JP 2009071427A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- picture
- recording
- copy
- editing point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、MPEG方式により符号化処理が施された画像データを処理する画像処理装置、この画像処理装置の制御方法、プログラムに関するものである。 The present invention relates to an image processing apparatus that processes image data that has been encoded by the MPEG method, a control method for the image processing apparatus, and a program.
ビデオカメラなどで撮像された画像信号を、磁気記録テープ、光ディスク、ハードディスクドライブなどの記録媒体に記録する処理を行う装置では、ベースバンドのデジタルビデオ信号が用いられるが、冗長特性のある情報量を削減して効率的に記録するため、撮影した画像信号をMPEG(Moving Picture Experts Group)方式に準拠して符号化処理、及び復号処理を行っている。 Baseband digital video signals are used in devices that perform processing to record image signals captured by a video camera or the like on a recording medium such as a magnetic recording tape, optical disk, or hard disk drive. In order to reduce and record efficiently, the captured image signal is subjected to encoding processing and decoding processing in accordance with the MPEG (Moving Picture Experts Group) system.
このMPEG方式に準拠して画像信号が符号化されたビットストリームは、勧告H.262(ISO/IEC 13818-2)で定義されている画像バッファリング検証器を通して課せられる制約を満足させなければならない。 A bitstream in which an image signal is encoded in conformity with this MPEG system must satisfy the restrictions imposed through an image buffering verifier defined in Recommendation H.262 (ISO / IEC 13818-2). .
すなわち、MPEG方式のように時間軸方向に発生符号量が変動する符号化処理方法において、記録媒体へ記録したビットストリームを、再生時に正確に復号するためには、復号処理系における入力バッファ内のデータ占有量を符号化処理系において常に把握しなければならない。 That is, in the encoding processing method in which the generated code amount varies in the time axis direction as in the MPEG system, in order to accurately decode the bit stream recorded on the recording medium at the time of reproduction, the content in the input buffer in the decoding processing system The data occupation amount must always be grasped in the encoding processing system.
このため、MPEG方式では、復号処理系における入力バッファに対応する仮想バッファとして、符号化処理系にVBV(Video Bufferting Verifier)バッファを想定して発生符号量を制御している。すなわち、符号化処理系では、このVBVバッファを破綻させないように、換言すればVBVバッファをアンダーフロー又はオーバーフローさせないように単位時間当たりの発生符号量を制御している。 For this reason, in the MPEG system, the generated code amount is controlled assuming a VBV (Video Buffering Verifier) buffer in the encoding processing system as a virtual buffer corresponding to the input buffer in the decoding processing system. That is, in the encoding processing system, the generated code amount per unit time is controlled so that the VBV buffer does not fail, in other words, the VBV buffer does not underflow or overflow.
したがって、MPEG方式では、予め記録媒体に記録されているビットストリームに、新たに記録するビットストリームを繋いで記録する場合にも、VBVバッファのサイズを考慮する必要がある。すなわち、符号化処理系では、繋ぎ記録する編集点の前後を連続して再生しても入力バッファを破綻させることなく復号処理を行うことができるように、VBVバッファのサイズに対して適用的にデータ占有量を設定する必要がある。 Therefore, in the MPEG system, it is necessary to consider the size of the VBV buffer even when a bit stream to be newly recorded is connected to a bit stream previously recorded on a recording medium. In other words, the encoding processing system is applied to the size of the VBV buffer so that the decoding process can be performed without breaking the input buffer even if the preceding and succeeding edit points to be continuously recorded are reproduced. Data occupancy must be set.
このような要求を満たして繋ぎ記録を行う技術として、特許文献1には、新たに繋ぎ記録するビットストリームの編集点に、この編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャや、スタッフィングバイトを挿入する方法が提案されている。
As a technique for satisfying such a requirement and performing joint recording,
また、特許文献2には、繋ぎ記録する編集点の直後に表示される次ピクチャの発生符号量との関係で極端にVBVバッファの占有率が小さいと、符号化処理時においてVBVバッファのアンダーフローが生じないように、次ピクチャの発生符号量に制約がかかるために生じる画質の劣化を回避するための方法が提案されている。
Further, in
しかしながら、上述した特許文献1、2を含め従来においては、繋ぎ記録時にコピーピクチャを挿入することにより、VBVバッファの破綻を防止することを示しているのに過ぎなかった。
However, the prior art including the above-described
本発明は、このような実情に鑑みて提案されたものであり、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行う画像処理装置、この画像処理装置の制御方法、及び、プログラムを提供することを目的とする。 The present invention has been proposed in view of such circumstances, and records new encoded image data by inserting a copy picture while maintaining good image quality before and after the edit point of splice recording. An object is to provide an image processing apparatus that performs processing, a control method of the image processing apparatus, and a program.
上述した課題を解決するための手段として、本発明に係る画像処理装置は、MPEG方式により符号化処理が施された画像データを処理する画像処理装置であって、第1の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるVBV(Video Buffering Verifier)バッファのビット占有率に応じて該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第2の画像データを該記録媒体に記録する記録手段と、上記第1の画像データの走査方式に応じて上記編集点から1枚目に挿入する上記コピーピクチャのピクチャ構造を設定して、上記記録媒体上の編集点上に上記コピーピクチャを挿入させて上記第2の画像データを記録させるように上記記録手段を制御する制御手段を備える。 As means for solving the above-described problems, an image processing apparatus according to the present invention is an image processing apparatus that processes image data that has been encoded by the MPEG method, and stores the first image data. The picture displayed immediately before the edit point is repeatedly displayed on the edit point on the recording medium according to the bit occupancy of the VBV (Video Buffering Verifier) buffer used in the decoding process corresponding to the encoding process. The copy picture to be displayed is inserted as control information, and the second image data is recorded on the recording medium, and the first image is inserted from the editing point according to the scanning method of the first image data. The picture structure of the copy picture is set, and the copy picture is inserted on the editing point on the recording medium, and the second image Control means for controlling the recording means so as to record data is provided.
また、本発明に係る画像処理装置の制御方法は、MPEG方式により符号化処理が施された画像データを処理する画像処理装置の制御方法であって、記録手段により、第1の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるVBV(Video Buffering Verifier)バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第2の画像データを該記録媒体に記録する記録工程と、制御手段により、上記第1の画像データの走査方式に応じて上記編集点から1枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える。 The image processing apparatus control method according to the present invention is an image processing apparatus control method for processing image data that has been encoded by the MPEG method, and the recording means records the first image data. A picture displayed immediately before the editing point is displayed on the editing point on the recording medium, in accordance with the bit occupancy rate of the VBV (Video Buffering Verifier) buffer used in the decoding process corresponding to the encoding process. A copy picture to be repeatedly displayed is inserted as control information, and a recording process for recording the second image data on the recording medium and a control means, from the editing point according to the scanning method of the first image data. The recording means is controlled to set the picture structure of the copy picture to be inserted into the first picture and to record it on the recording medium. A control process is provided.
また、本発明に係るプログラムは、MPEG方式により符号化処理が施された画像データを処理する画像処理をコンピュータにより実行させるためのプログラムであって、記録手段により、第1の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるVBV(Video Buffering Verifier)バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第2の画像データを該記録媒体に記録する記録工程と、上記第1の画像データの走査方式に応じて上記編集点から1枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理をコンピュータに実行させるためのプログラムである。 The program according to the present invention is a program for causing a computer to execute image processing for processing image data encoded by the MPEG method, and the first image data is recorded by the recording means. The picture displayed immediately before the editing point is repeatedly displayed on the editing point on the recording medium according to the bit occupancy rate of the VBV (Video Buffering Verifier) buffer used in the decoding process corresponding to the encoding process. The copy picture to be displayed is inserted as control information, the second image data is recorded on the recording medium, and the first image is inserted from the editing point according to the scanning method of the first image data. Controlling the recording means to set the picture structure of the copy picture to be recorded on the recording medium A program for causing a computer to execute image processing including a control process.
本発明は、記録手段により、第1の画像データが記録されている記録媒体上の編集点上に、VBVバッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第2の画像データを該記録媒体に記録するとともに、制御手段により、第1の画像データの走査方式に応じて、1枚目に挿入するコピーピクチャのピクチャ構造を設定して記録媒体に記録させるように記録手段を制御するので、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行うことができる。 According to the present invention, the picture displayed immediately before the editing point is repeated on the editing point on the recording medium on which the first image data is recorded, according to the bit occupancy of the VBV buffer. A copy picture to be displayed is inserted as control information, the second image data is recorded on the recording medium, and a copy picture to be inserted into the first sheet by the control means according to the scanning method of the first image data Since the recording means is controlled so that the picture structure is set and recorded on the recording medium, new encoded image data is inserted by inserting a copy picture while maintaining good image quality before and after the edit point of splice recording. Can be recorded.
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.
本発明が適用された画像処理装置は、MPEG方式により符号化処理が施された画像データを処理する装置である。このような画像処理装置の一例として、図1に示すようなMPEG方式で符号化された画像データ、音声データ、及び付属データを記録媒体として磁気テープ2に記録するとともに、磁気テープ2に記録された画像データの再生を行うカムコーダ1を用いて以下の通り説明する。
An image processing apparatus to which the present invention is applied is an apparatus that processes image data that has been encoded by the MPEG method. As an example of such an image processing apparatus, image data, audio data, and attached data encoded by the MPEG system as shown in FIG. 1 are recorded on the
カムコーダ1は、撮像素子から読み出される撮像信号を符号化して磁気テープ2に記録する符号化処理系として、入力部11と、A/D変換部12と、符号化処理部13と、データ多重化部14と、変速再生用データ生成部15と、誤り訂正符号付加部16と、記録用アンプ17と、記録用回転ヘッド18を備える。また、カムコーダ1は、磁気テープ2に記録された画像データを復号して再生する復号処理系として、再生用回転ヘッド19と、再生用アンプ110と、誤り訂正部111と、データ分離処理部112と、変速再生用メモリ113と、切換部114と、復号処理部115と、D/A変換部116と、出力部117を備える。また、カムコーダ1は、これら符号化処理系及び復号処理系に係る各処理部を制御するコントローラ118を備える。
The
入力部11は、CCDなどの撮像素子によって読み出されたアナログの撮像信号を入力して、入力した撮像信号をA/D変換部12に供給する。
The input unit 11 inputs an analog imaging signal read by an imaging element such as a CCD, and supplies the input imaging signal to the A /
A/D変換部12は、入力部11に入力されたアナログの撮像信号をデジタルの画像データに変換して、変換した画像データを符号化処理部13に供給する。
The A /
符号化処理部13は、コントローラ118からの制御命令により、A/D変換部12から供給される画像データに対して、具体的には次のようにしてMPEG方式に準拠した符号化処理を施して、符号化した画像データをデータ多重化部14及び変速再生用データ生成部15に供給する。
In accordance with a control command from the
具体的に、符号化処理部13は、図2に示すように、例えば15ピクチャからなるGOP(Group Of Picture)単位で、各ピクチャをIピクチャ、Pピクチャ、及び、Bピクチャのいずれかのピクチャタイプに従って符号化する。ここで、Iピクチャは、カレントピクチャの画像情報のみを用いて符号化するピクチャタイプである。また、Pピクチャは、表示順に対して以前に位置するピクチャの画像情報を用いて予測符号化するピクチャタイプである。また、Bピクチャは、表示順に対して双方向に位置する複数のピクチャの画像情報を用いて予測符号化するピクチャタイプである。
Specifically, as illustrated in FIG. 2, the
すなわち、符号化処理部13は、図2に示すように、表示順に並んだピクチャNo.1〜No.15のピクチャを復号処理順に入れ替えて各ピクチャタイプに従って符号化処理を施したデータストリームをデータ多重化部14及び変速再生用データ生成部15に供給する。
That is, as shown in FIG. 1-No. The data stream obtained by performing the encoding process according to each picture type by switching the 15 pictures in the decoding process order is supplied to the
データ多重化部14は、コントローラ118からの制御命令に従って、符号化処理部13及び後述する変速再生用データ生成部15から供給される画像データに、音声データ及びサブコードなどのシステムデータを多重化する。また、データ多重化部14は、コントローラ118からの制御命令に従って、後述するコピーピクチャ及びスタッフィングバイトをシステムデータとして挿入する処理も行う。そして、データ多重化部14は、多重化したビットストリームを誤り訂正符号付加部16に供給する。なお、カムコーダ1の通常動作において、データ多重化部14には、符号化処理部13で符号化された画像データが直接供給される。
The
変速再生用データ生成部15は、符号化処理部13から供給される画像データから、変速再生用の画像データを生成して、生成した画像データを誤り訂正符号付加部16に供給する。
The variable speed reproduction
誤り訂正符号付加部16は、コントローラ118からの制御命令に従って、データ多重化部14から供給されるビットストリームに誤り訂正符号を付加して記録用アンプ17に供給する。
The error correction
記録用アンプ17は、誤り訂正符号付加部16から供給されるビットストリームをシリアルデータに変換した上で増幅処理を施す。そして、記録用アンプ17は、増幅処理を施した画像データを記録用回転ヘッド18に供給する。
The
記録用回転ヘッド18は、記録用アンプ17から供給される画像データを、図示しない回転ドラムを介して回転させられている磁気テープ2に記録する。
The recording rotary head 18 records the image data supplied from the
再生用回転ヘッド19は、磁気テープ2上に記録されている画像データを読み出して、読み出した画像データを再生用アンプ110に供給する。
The reproducing
再生用アンプ110は、再生用回転ヘッド19から供給される画像データに増幅処理を施して、増幅処理を施した画像データを誤り訂正部111に供給する。
The
誤り訂正部111は、再生用アンプ110から供給される画像データに対して誤り訂正処理を施す。そして、再生用アンプ110は、誤り訂正処理を施した画像データを、データ分離処理部112及び変速再生用メモリ113にそれぞれ供給する。
The
データ分離処理部112は、誤り訂正部111から供給される画像データから、音声データ及びシステムデータを分離する。そして、データ分離処理部112は、音声データ及びシステムデータが分離された画像データを切換部114を介して復号処理部115に供給する。また、データ分離処理部112は、分離したシステムデータをコントローラ118に供給する。ここでシステムデータには後述する下地情報が含まれている。
The data
変速再生用メモリ113は、誤り訂正部111から供給される画像データを、変速再生用に一時的にメモリ領域に記憶する。変速再生用メモリ113に記憶されたデータは、変速再生に対応するタイミング毎に、切換部114を介して復号処理部115によって読み出される。
The variable
切換部114は、コントローラ118からの制御命令に従って、データ分離処理部112と変速再生用メモリ113とのいずれか一方を復号処理部115の入力端と電気的に接続する。カムコーダ1の通常動作モードにおいて、切換部114は、データ分離処理部112と復号処理部115の入力端と電気的に接続している。
The
復号処理部115は、コントローラ118からの制御命令により、データ分離処理部112と変速再生用メモリ113とのいずれか一方から供給される画像データに対して、MPEG方式に準拠した復号処理を施して、復号した画像データをD/A変換部116に供給する。
In response to a control command from the
D/A変換部116は、復号処理部115から供給される画像データをアナログの画像信号に変換する。そして、D/A変換部116は、変換した画像信号を出力部117に供給する。
The D /
出力部117は、D/A変換部116から供給される画像信号を例えば表示装置などに出力する。
The
コントローラ118は、符号化処理系及び復号処理系の各処理部の動作を制御する。
The
以上のような構成からなるカムコーダ1では、入力部11から入力される画像信号に対して符号化処理を施した画像データを磁気テープ2に記録するとともに、磁気テープ2から画像データを読み出して復号処理を施した画像信号を出力部117から外部へ出力する。
In the
以下では、上述したカムコーダ1が行う動作のうち、予め磁気テープ2に記録されている画像データの任意の編集点から、入力部11に入力される画像データを繋いで記録する記録処理に係るデータ多重化部14及びコントローラ118の動作に特に注目して以下の通り説明する。
In the following, among the operations performed by the
データ多重化部14は、下地の画像データが記録されている磁気テープ2に対して、復号処理部115から供給される上書き画像データを記録する場合、上書き画像データが記録される編集点においてVBVバッファを破綻させないようにするため、コピーピクチャ及びスタッフィングバイトを挿入する。
When recording the overwrite image data supplied from the
これは、繋ぎ記録する編集点前後のピクチャに係る発生符号量の関係で、極端にVBVバッファのデータ占有率VBV_occupancyが極端に小さいと、符号化処理においてVBVバッファのアンダーフローが生じないように編集点の直後に位置するピクチャの発生符号量に制約がかかって画質が劣化してしまうからである。 This is due to the relationship between the amount of generated codes related to pictures before and after the edit point to be recorded jointly. If the data occupancy VBV_occupancy of the VBV buffer is extremely small, the VBV buffer underflow does not occur in the encoding process This is because the amount of generated code of a picture located immediately after the point is limited and the image quality deteriorates.
例えば、あるピクチャがVBVバッファに入力されてから出力されるまでの遅延時間(以下、VBV_delayという。)が、下地画像データの最終表示ピクチャ(下地Last)と上書き画像データの表示開始ピクチャ(上書きTop)とで互いに異なると、図3(A)に示すようにデータ占有率VBV_occupancyが所定の設定値を下回ってしまう場合がある。 For example, the delay time (hereinafter referred to as VBV_delay) from when a picture is input to the VBV buffer until it is output is the final display picture (background Last) of the background image data and the display start picture (overwrite Top) of the overwrite image data. ), The data occupancy VBV_occupancy may fall below a predetermined set value as shown in FIG.
そこで、データ多重化部14は、具体的は、次のようなコントローラ118の制御命令に従い、編集点の直前に表示されるピクチャ(下地Last)を繰り返して表示するコピーピクチャを制御情報として挿入することによって、図3(B)に示すように、上書き画像データの表示開始ピクチャ(上書きTop)のVBV_delayを長くして、データ占有率VBV_occupancyが所定の設定値を上回るようにする。
Therefore, the
コピーピクチャ及びスタッフィングバイトの挿入処理を行うデータ多重化部14を制御するコントローラ118では、繋ぎ記録処理を行うとき、データ分離処理部112から取得したシステムデータのうち、例えばヘッダサイズheader size、VBV_delay、フレーム間隔、走査方式などからなる下地情報から、上書き画像データの表示開始ピクチャの書き込み開始時のデータ占有率VBV_occupancyを計算する。そして、コントローラ118は、この書き込み開始時のデータ占有率VBV_occupancyが所定の設定値を下回るようなとき、編集点の直後すなわち、画像データのつなぎ目の先頭の画質劣化を抑えるために挿入するコピーピクチャの挿入枚数を計算する。すなわち、コントローラ118は、コピーピクチャ挿入後の上書きデータのデータ占有量VBV_occupancyが設定値以上になるように挿入枚数を計算する。
The
具体的に、コントローラ118は、(VBV_delay+header size)の値が、下地画像データと上書きデータとの間で異なるとき、データ多重化部14に対してコピーピクチャ及びスタッフィングバイトを挿入するように動作させる。
Specifically, when the value of (VBV_delay + header size) is different between the background image data and the overwrite data, the
すなわち、コントローラ118は、下地画像データの(VBV_delay+header size)の値を目標値V_curとして、下記の条件より、コピーピクチャの挿入枚数Nと、スタッフィングバイトのデータ量Sを算出する。ただし、下地画像データの(VBV_delay+header size)の値が最低値を下回るときは、設定値を目標値とする。
That is, the
V_cur−f(0)≦0のとき
N=0、S=(f(0)−V_cur)
V_cur−f(0)>0のとき
f(N−1)<V_cur≦f(N)を満たすN、S=(f(N−V_cur))
ここで、f(N)は、N枚のコピーピクチャを挿入したときの上書き画像データの(VBV_delay+header size)の値である。
When V_cur-f (0) ≦ 0, N = 0, S = (f (0) −V_cur)
When V_cur−f (0)> 0, N satisfying f (N−1) <V_cur ≦ f (N), S = (f (N−V_cur))
Here, f (N) is a value of (VBV_delay + header size) of the overwritten image data when N copy pictures are inserted.
なお、コピーピクチャは、下地画像データにより発生されるコピーピクチャがフィールド構造とフレーム構造との2種類が存在するため、1枚挿入する毎に値が異なる。 Note that there are two types of copy pictures generated by the background image data, that is, a field structure and a frame structure, and therefore the value differs every time one is inserted.
次に、コピーピクチャ及びスタッフィングバイトの発生量を計算する処理工程を、図4に示すフローチャートに従って説明する。 Next, processing steps for calculating the amount of generated copy pictures and stuffing bytes will be described with reference to the flowchart shown in FIG.
前提として、図4に示すフローチャートに従った処理工程では、コピーピクチャの枚数を返値とする。また、この処理工程では、引数として、下地画像データの(VBV_delay+header size)の値vbv_1と上書き画像データの(VBV_delay+header size)の値vbv_2を用いる。また、この処理工程では、広域変数として、発生させるスタッフィングバイトのバイト数StuffByteを用いる。さらに、この処理工程では、定数値として、フィールド構造のコピーピクチャの1枚当たりのバイト数FIELD_SIZEと、フレーム構造のコピーピクチャの1枚当たりのバイト数FRAME_SIZEを用いる。 As a premise, in the processing steps according to the flowchart shown in FIG. In this processing step, the value vbv_1 of the (VBV_delay + header size) of the background image data and the value vbv_2 of the (VBV_delay + header size) of the overwrite image data are used as arguments. Also, in this processing step, the number of stuffing bytes to be generated StuffByte is used as a wide-area variable. Furthermore, in this processing step, the number of bytes FIELD_SIZE per field structure copy picture and the number of bytes FRAME_SIZE per frame structure copy picture are used as constant values.
ステップS1において、コントローラ118は、コピーピクチャの挿入枚数を初期値0に設定してステップS2に進む。
In step S1, the
ステップS2において、コントローラ118は、vbvd_1に対するvbv_2の値をバイト換算して、算出した値をsub_vbvdとして保持し、ステップS3に進む。
In step S2, the
ステップS3において、コントローラ118は、sub_vbvdの値が0以下であるか否かを判断する。ここで、コントローラ118は、sub_vbvdの値が0以下のときステップS4に進み、sub_vbvdの値が0以下ではないときステップS6に進む。
In step S3, the
ステップS4において、コントローラ118は、コピーピクチャの挿入枚数を0にして、ステップS5に進む。
In step S4, the
ステップS5において、コントローラ118は、StuffByteの値を−(sub_vbvd)として、ステップS18に進む。
In step S5, the
ステップS6において、コントローラ118は、コピーピクチャの挿入枚数をインクリメントして、すなわち、値を1に更新してステップS7に進む。
In step S6, the
ステップS7において、コントローラ118は、sub_vbvdの値がFIELD_SIZEの値以下であるか否かを判断する。ここで、コントローラ118は、FIELD_SIZEの値以下のときステップ8に進み、FIELD_SIZEの値以下ではないときステップS11に進む。
In step S7, the
ステップS8において、コントローラ118は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ118は、プログレッシブであるときステップS9に進み、プログレッシブではない、すなわちインターレースのときステップS10に進む。
In step S8, the
ステップS9において、コントローラ118は、下記式よりStuffByteを算出して、ステップS18に進む。
StuffByte=FRAME_SIZE−sub_vbvd
In step S9, the
StuffByte = FRAME_SIZE-sub_vbvd
ステップS10において、コントローラ118は、下記式よりStuffByteを算出して、ステップS18に進む。
StuffByte=FIELD_SIZE−sub_vbvd
In step S10, the
StuffByte = FIELD_SIZE-sub_vbvd
ステップS6において、コントローラ118は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ118は、プログレッシブであるときステップS12に進み、プログレッシブではない、すなわちインターレースのときステップS13に進む。
In step S6, the
ステップS12において、コントローラ118は、sub_vbvdからFRAME_SIZEを減じた値をsub_vbvdとして更新して、ステップS14に進む。
In step S12, the
ステップS13において、コントローラ118は、sub_vbvdからFIELD_SIZEを減じた値をsub_vbvdとして更新して、ステップS14に進む。
In step S13, the
ステップS14において、コントローラ118は、sub_vbvdの値が0より大きいか否かを判断して、0より大きいときステップS15に進む。また、コントローラ118は、sub_vbvdの値が0より大きいという条件が満たされなくなるまで、後述するステップS15、S16の処理を繰り返して、その後ステップS17に進む。
In step S14, the
ステップS15において、コントローラ118は、コピーピクチャの挿入枚数をインクリメントしてステップS16に進む。
In step S15, the
ステップS16において、コントローラ118は、sub_vbvdからFIELD_SIZEを減じた値をsub_vbvdとして更新して、ステップS14に戻る。
In step S16, the
ステップS17において、コントローラ118は、StuffByteの値を−(sub_vbvd)として、ステップS18に進む。
In step S17, the
ステップS18において、コントローラ118は、コピーピクチャの挿入枚数を返値として算出して、本処理工程を終了する。
In step S18, the
以上の処理工程によって、コピーピクチャの挿入枚数が1以上発生する場合、コントローラ118は、具体的には図5に示すようなフローチャートに従って、下地画像データの走査方式に応じてコピーピクチャのピクチャ構造を設定する。
When one or more copy pictures are inserted by the above processing steps, the
ステップ21において、コントローラ118は、ヘッダサイズheader size、VBV_delay、フレーム間隔、走査方式からなる下地情報を取得して、ステップS22に進む。
In
ステップS22において、コントローラ118は、上述したステップS1〜S18に係る処理工程の返値として得られるコピーピクチャの挿入枚数を取得して、ステップS23に進む。
In step S22, the
ステップS23において、コントローラ118は、ステップS22で得られたコピーピクチャの挿入枚数分、後述するステップS24〜S29に係る処理を繰り返して、その後、本処理工程を終了する。
In step S23, the
ステップ24において、コントローラ118は、現在処理対象の注目コピーピクチャが、編集点に対して1枚目のコピーピクチャであるか否かを判断する。ここで、コントローラ118は、1枚目のコピーピクチャであるときステップS25に進み、1枚目のコピーピクチャではないときステップS28に進む。
In
ステップS25において、コントローラ118は、下地画像データの走査方式がプログレッシブであるか否かを判断する。ここで、コントローラ118は、プログレッシブであるときステップS26に進み、プログレッシブではないとき、すなわちインターレースであるときステップS27に進む。
In step S25, the
ステップS26において、コントローラ118は、注目コピーピクチャのピクチャ構造をフレーム構造に設定してステップS29に進む。
In step S26, the
ステップS27において、コントローラ118は、注目コピーピクチャのピクチャ構造をフィールド構造に設定してステップS29に進む。
In step S27, the
ステップS28において、コントローラ118は、注目コピーピクチャのピクチャ構造をフレーム構造に設定してステップS29に進む。
In step S28, the
ステップS29において、コントローラ118は、注目コピーピクチャをカウントアップして、ステップS23に戻る。
In step S29, the
以上の処理工程によって、コントローラ118は、下地画像データの走査方式がインターレースの場合、編集点から1枚目のコピーピクチャのピクチャ構造をフィールド構造、すなわち、フィールドDCTコーディングのマクロブロック構成からなる構造に設定し、2枚目以降のコピーピクチャのピクチャ構造をフレーム構造、すなわちフレームDCTコーディングのマクロブロック構成からなる構造に設定する。また、コントローラ118は、下地画像データの走査方式がプログレッシブの場合、編集点から1枚目以降のコピーピクチャのピクチャ構造をフレーム構造、すなわちフレームDCTコーディングのマクロブロック構成からなる構造に設定する。
With the above processing steps, the
そして、コントローラ118によって設定されたコピーピクチャに関する制御情報に従って、データ多重化部14は、その内部メモリに保持しているコピーピクチャに関する制御データを、システムデータとして、上書き画像データのPES(Packetized Elementary Stream)ヘッダに付加して、その他音声データなどを上書き画像データに対して多重化する処理を行う。
Then, according to the control information relating to the copy picture set by the
なお、カムコーダ1では、繋ぎ記録処理をハードウェアで構成されるデータ多重化部14及びコントローラ118で実行される以外にも、例えばハードディスク上に記憶されている画像処理プログラムをRAM上に読み出して汎用のプロセッサで実装することによって繋ぎ記録処理を行うようにしてもよい。
In the
以上のような処理によって、コントローラ118では、具体的には図6に示すように、下地画像データの下地モードと、上書き画像データの記録モードを対応付けて、挿入するコピーピクチャのピクチャ構造を設定している。
Through the processing described above, the
すなわち、図6に示す具体例では、下地画像データ及び上書き画像データの有効走査線本数を1080本としている。また、図6に示す具体例では、1秒当たり60フィールドからなるインターレースモード60i、1秒当たり30フレームからなるプログレッシブモード30p、1秒当たり30フレームからなるプログレッシブモード24p、1秒当たり50フィールドからなるインターレースモード50i、1秒当たり25フレームからなるプログレッシブモード25pを、下地モード及び記録モードとしている。なお、図6では、−で示されるモード間で繋ぎ記録を行うことができない関係を示している。
That is, in the specific example shown in FIG. 6, the number of effective scanning lines of the background image data and the overwrite image data is 1080. Further, in the specific example shown in FIG. 6, an interlace mode 60i consisting of 60 fields per second, a
コントローラ118は、下地モードがインターレースのとき、記録モードに関わることなく編集点から1枚目に挿入するコピーピクチャをフィールド構造に、2枚目以降に挿入するコピーピクチャをフレーム構造に設定する。また、コントローラ118は、下地モードがプログレッシブであるとき、記録モードに関わることなく編集点から1枚目以降に挿入するコピーピクチャをフレーム構造に設定する。
When the background mode is interlace, the
なお、コントローラ118は、下地画像データに格納されているECCTBを参照することで、図7に示すように、各下地モードに関する下地情報を取得している。
The
次に、繋ぎ記録処理の実施例について説明する。 Next, an example of the joint recording process will be described.
まず、第1の実施例として、インターレースモード60iの下地画像データに、インターレースモード60iの上書き画像データを繋ぎ記録したときの磁気テープ2の記録領域におけるピクチャ配列を図8及び図9に示す。
First, as a first embodiment, FIG. 8 and FIG. 9 show picture arrangements in the recording area of the
図8(A)及び図8(B)は、復号処理順に並んだピクチャ配列をフレーム単位で示したものである。具体的に、図8(A)は、繋ぎ記録処理前における下地画像データを構成するピクチャの配列を示したものである。また、図8(B)は、下地画像データにおけるピクチャP8、B6、B7以降を上書きするようにして上書き画像データが繋ぎ記録処理されたピクチャの配列を示したものである。 8A and 8B show picture arrays arranged in the order of decoding processing in units of frames. Specifically, FIG. 8A shows an arrangement of pictures constituting the base image data before the joint recording process. FIG. 8B shows an arrangement of pictures in which the overwrite image data is connected and recorded so as to overwrite the pictures P8, B6, and B7 and later in the background image data.
また、図9(A)及び図9(B)は、表示順に並んだピクチャの配列をトップフィールドt及びボトムフィールドbからなるフィールド単位で示したものである。具体的に図9(A)及び図9(B)は、それぞれ図8(A)及び図8(B)に示したピクチャの配列をフィールド単位かつ表示順で示したものである。 FIGS. 9A and 9B show the arrangement of pictures arranged in the order of display in field units including a top field t and a bottom field b. Specifically, FIGS. 9A and 9B show the arrangement of the pictures shown in FIGS. 8A and 8B in field units and display order, respectively.
このような図8及び図9に示したように、コントローラ118では、下地画像データのIピクチャ又はPピクチャから上書きされるように編集点を選択してコピーピクチャを2枚挿入している。このようにすることで、コントローラ118では、復号順と表示順との対応関係が破綻することなく繋ぎ記録することができる。
As shown in FIGS. 8 and 9, the
これは、下地画像データのBピクチャから上書きされるように編集点が選択されると、IピクチャやPピクチャなどの後に表示されるピクチャが下地として残った状態で先に表示されるピクチャが上書きされてしまうので、これを防止するためである。 This is because when the editing point is selected so that it is overwritten from the B picture of the background image data, the picture displayed earlier with the picture displayed after the I picture or P picture remaining as the background remains overwritten. This is to prevent this.
次に、第2の実施例として、プログレッシブモード24pの下地画像データに、プログレッシブモードモード24pの上書き画像データを繋ぎ記録したときの磁気テープ2の記録領域におけるピクチャ配列を図10及び図11に示す。
Next, as a second embodiment, FIG. 10 and FIG. 11 show the picture arrangement in the recording area of the
図10(A)及び図10(B)は、復号処理順に並んだピクチャ配列をフレーム単位で示したものである。具体的に、図10(A)は、繋ぎ記録処理前における下地画像データを構成するピクチャの復号処理順の配列を示したものである。また、図10(B)は、下地画像データにおけるピクチャI2、B0、B1以降を上書きするようにして上書き画像データが繋ぎ記録処理されたピクチャの復号処理順の配列を示したものである。 FIGS. 10A and 10B show picture arrays arranged in the order of decoding processing in units of frames. Specifically, FIG. 10A shows an arrangement in the decoding processing order of the pictures constituting the background image data before the joint recording process. FIG. 10B shows an arrangement in the decoding processing order of pictures in which overwrite image data is connected and recorded so that pictures I2, B0, and B1 and later in the background image data are overwritten.
この繋ぎ記録処理においてコントローラ118では、下地画像データがプログレッシブモード24pであるため、フレーム構造のコピーピクチャを挿入する。ここで、フレームDCTコーディングのマクロブロックで構成されたフレーム構造のコピーピクチャは、フィールドDCTコーディングのマクロブロックで構成されたフィールド構造のコピーピクチャよりも発生符号量が少ない。よって、コントローラ118は、より少ないコピーピクチャの挿入枚数でVBVバッファのデータ占有率VBV_occupancyをより小さくすることができ、この結果、上書き画像データの先頭ピクチャの符号発生量をより少ないコピーピクチャの挿入枚数で効率よく増やすことができる。すなわち、コントローラ118は、画質を良好に保ちつつ、編集点上で画像が止まっている状態を短くして繋ぎ記録処理を行うことができる。
In this joint recording process, the
また、この実施例のようにプログレッシブモードの下地画像データにコピーピクチャを入れる場合、フィールドDCTコーディングのマクロブロックで構成されたフィールド構造のコピーピクチャを編集点の1枚目に入れてしまうと、フィールドDCTコーディングのマクロブロックで構成されたコピーピクチャが、ボトムフィールドからなる下地画像データの最終表示ピクチャのみからフレーム画像を作るため、解像度が半分に落ちてしまうこととなる。 Further, when a copy picture is inserted into the background image data in the progressive mode as in this embodiment, if a copy picture having a field structure composed of macro blocks of field DCT coding is put in the first edit point, the field Since a copy picture composed of DCT coding macroblocks creates a frame image only from the final display picture of the background image data consisting of the bottom field, the resolution drops to half.
これに対して、プログレッシブモードの下地画像データの場合に、もともとフレームの解像度を持っており、実施例2に係るコントローラ118では、このような解像度の特性を考慮し、フレームDCTモードのピクチャを使って1枚目以降のコピーピクチャを挿入するようにするので、再生時の編集点上のつなぎ目の画質を良好に保った状態で繋ぎ記録処理を行うことができる。
On the other hand, the background image data in the progressive mode originally has the resolution of the frame, and the
また、図11は、第2の実施例に係る繋ぎ記録処理において表示順に並んだ各ピクチャの配列を単位フィールド間隔に当てはめて示したものである。 FIG. 11 shows an arrangement of pictures arranged in the display order in the splice recording process according to the second embodiment, applied to unit field intervals.
ここで、下地画像データ及び上書き画像データは、両方ともプログレッシブモード24pであるので、単位フィールド間隔に当てはめたとき、3フィールド期間からなるフレームと、2フィールド期間からなるフレームとが交互に並んだ配列、すなわち、3−2シーケンスとなっている。
Here, since both the background image data and the overwritten image data are in the
上述したピクチャの配列構造に対して、第2の実施例において、コントローラ118では、図11に示すように、編集点を24ピクチャを1単位とするGOP単位で設定して、表示順で下地画像データにおいてトップフィールドtとボトムフィールドbとの順で割り当てられたフレームの次のピクチャから、上書き画像データの繋ぎ記録を行う。ここで、コントローラ118は、画質を良くするため、又はVBV_delayのつじつまを合わせるために、トップフィールドtとボトムフィールドbとの順で割り当てられたコピーピクチャを1枚以上挿入する。これにより、コントローラ118では、プログレッシブモード24pにおける3−2シーケンス構造を崩してしまうことになるが、編集点において画像が止まる時間が短くなり、再生した時の見た目を良くすることができる。
In contrast to the picture arrangement structure described above, in the second embodiment, as shown in FIG. 11, in the second embodiment, the
また、このような繋ぎ記録処理を行うコントローラ118では、異なるストリーム間、具体的には、プログレッシブモード24pとプログレッシブモード30pとの混合ストリーム、プログレッシブモード30pとプログレッシブモード24pとの混合ストリーム、プログレッシブモード24pを3−2プルダウンしたインターレースモードとインターレースモード60iとの混合ストリームなどにおいて、再生時の画質を良好に保ちつつ繋ぎ記録処理を行うことができる。
Further, in the
以上で示した第1及び第2の実施例のように、カムコーダ1では、データ多重化部14により、下地画像データが記録されている磁気テープ2上の編集点上に、VBVバッファのビット占有率に応じて、編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、上書き画像データを磁気テープ2に記録するように画像データを多重化させるとともに、コントローラ118により、下地画像データの走査方式に応じて、1枚目に挿入するコピーピクチャのピクチャ構造を設定して磁気テープ2に記録させるようにデータ多重化部14を制御するので、繋ぎ記録の編集点前後の画質を良好に保った状態でコピーピクチャを挿入して新たな符号化された画像データを記録する処理を行うことができる。
As in the first and second embodiments described above, in the
なお、本発明は、上述した磁気記録テープ2を記録媒体として繋ぎ記録処理を行うカムコーダ1のみでなく、例えばコンピュータで実行される画像処理プログラムや、専用の編集機械など2つの符号化された画像データからなるビットストリームを再符号化処理を施すことなく繋ぐような場合にも用いる事が可能である。
The present invention is not limited to the
1 カムコーダ、2 磁気テープ、11 入力部、12 A/D変換部、13 符号化処理部、14 データ多重化部、15 変速再生用データ生成部、16 訂正符号付加部、17 記録用アンプ、18 記録用回転ヘッド、19 再生用回転ヘッド、110 再生用アンプ、111 誤り訂正部、112 データ分離処理部、113 変速再生用メモリ、114 切換部、115 復号処理部、116 D/A変換部、117 出力部、118 コントローラ
DESCRIPTION OF
Claims (6)
第1の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるVBV(Video Buffering Verifier)バッファのビット占有率に応じて該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第2の画像データを該記録媒体に記録する記録手段と、
上記第1の画像データの走査方式に応じて上記編集点から1枚目に挿入する上記コピーピクチャのピクチャ構造を設定して、上記記録媒体上の編集点上に上記コピーピクチャを挿入させて上記第2の画像データを記録させるように上記記録手段を制御する制御手段を備える画像処理装置。 In an image processing apparatus for processing image data encoded by the MPEG system,
On the editing point on the recording medium on which the first image data is recorded, immediately before the editing point according to the bit occupancy rate of the VBV (Video Buffering Verifier) buffer used in the decoding process corresponding to the encoding process. A recording means for inserting a copy picture for repeatedly displaying a picture displayed on the control information and recording the second image data on the recording medium;
The picture structure of the copy picture to be inserted first from the edit point is set according to the scanning method of the first image data, and the copy picture is inserted on the edit point on the recording medium to An image processing apparatus comprising control means for controlling the recording means so as to record second image data.
記録手段により、第1の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるVBV(Video Buffering Verifier)バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第2の画像データを該記録媒体に記録する記録工程と、
上記第1の画像データの走査方式に応じて上記編集点から1枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理装置の制御方法。 In a control method of an image processing apparatus for processing image data encoded by the MPEG method,
According to the bit occupancy rate of the VBV (Video Buffering Verifier) buffer used in the decoding process corresponding to the encoding process on the editing point on the recording medium on which the first image data is recorded by the recording unit, A recording step in which a copy picture that repeatedly displays a picture displayed immediately before the editing point is inserted as control information and second image data is recorded on the recording medium;
A control step of controlling the recording means so as to set the picture structure of the copy picture inserted from the editing point to the first sheet according to the scanning method of the first image data and to record the picture structure on the recording medium; A method for controlling an image processing apparatus.
記録手段により、第1の画像データが記録されている記録媒体上の編集点上に、上記符号化処理に対応する復号処理において用いられるVBV(Video Buffering Verifier)バッファのビット占有率に応じて、該編集点の直前に表示されるピクチャを繰り返して表示するコピーピクチャを制御情報として挿入して、第2の画像データを該記録媒体に記録する記録工程と、
上記第1の画像データの走査方式に応じて上記編集点から1枚目に挿入する上記コピーピクチャのピクチャ構造を設定して上記記録媒体に記録させるように上記記録手段を制御する制御工程を備える画像処理をコンピュータに実行させるためのプログラム。 In a program for causing a computer to execute image processing for processing image data encoded by the MPEG method,
According to the bit occupancy rate of the VBV (Video Buffering Verifier) buffer used in the decoding process corresponding to the encoding process on the editing point on the recording medium on which the first image data is recorded by the recording unit, A recording step in which a copy picture that repeatedly displays a picture displayed immediately before the editing point is inserted as control information and second image data is recorded on the recording medium;
A control step of controlling the recording means so as to set the picture structure of the copy picture inserted from the editing point to the first sheet according to the scanning method of the first image data and to record the picture structure on the recording medium; A program for causing a computer to execute image processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007235483A JP4867872B2 (en) | 2007-09-11 | 2007-09-11 | Image processing apparatus, control method for the image processing apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007235483A JP4867872B2 (en) | 2007-09-11 | 2007-09-11 | Image processing apparatus, control method for the image processing apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009071427A true JP2009071427A (en) | 2009-04-02 |
JP4867872B2 JP4867872B2 (en) | 2012-02-01 |
Family
ID=40607261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007235483A Expired - Fee Related JP4867872B2 (en) | 2007-09-11 | 2007-09-11 | Image processing apparatus, control method for the image processing apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4867872B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011025525A (en) * | 2009-07-24 | 2011-02-10 | Seiko Epson Corp | Printing device and printing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004242041A (en) * | 2003-02-05 | 2004-08-26 | Sony Corp | Device and method for processing information |
JP2007043417A (en) * | 2005-08-02 | 2007-02-15 | Canon Inc | Image recording device and method therefor |
-
2007
- 2007-09-11 JP JP2007235483A patent/JP4867872B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004242041A (en) * | 2003-02-05 | 2004-08-26 | Sony Corp | Device and method for processing information |
JP2007043417A (en) * | 2005-08-02 | 2007-02-15 | Canon Inc | Image recording device and method therefor |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011025525A (en) * | 2009-07-24 | 2011-02-10 | Seiko Epson Corp | Printing device and printing method |
Also Published As
Publication number | Publication date |
---|---|
JP4867872B2 (en) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7412149B2 (en) | Trick mode generation in video streaming | |
JP3529599B2 (en) | Method for inserting editable point in encoding device and encoding device | |
US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
JP4981275B2 (en) | Image recording device | |
JPH09200695A (en) | Method and device for decoding video data for high-speed reproduction | |
US5793894A (en) | Image data editing apparatus and decoding apparatus | |
US7596297B2 (en) | Information processing apparatus and method program, and recording medium | |
KR20040080930A (en) | Information processing apparatus and method | |
JP4262139B2 (en) | Signal processing device | |
KR100975170B1 (en) | Image data reproducing device and method | |
US7058280B2 (en) | Reproducing apparatus having high-speed reproducing function | |
JP4867872B2 (en) | Image processing apparatus, control method for the image processing apparatus, and program | |
JP2002218472A (en) | Device and method for decoding variable image rate | |
JP5046907B2 (en) | Recording apparatus, control method therefor, and program | |
JP2000295626A (en) | Multi-stage image coder | |
JP2011091592A (en) | Image encoder, code converter, image recorder, image reproduction device, image encoding method, and integrated circuit | |
JP2004120799A (en) | Digital data transmission apparatus and its transmission method | |
JP4487196B2 (en) | Recording apparatus and control method thereof | |
JP3897783B2 (en) | Image processing apparatus, control method therefor, computer program, and computer-readable storage medium | |
JP2001268513A (en) | Moving image reproducing device and moving image recording/reproducing system | |
JP3167590B2 (en) | Digital recording and playback device | |
JP3946177B2 (en) | Video encoding apparatus and decoding apparatus | |
US8149679B2 (en) | Recording/reproducing device and method, recording medium, and program | |
US20040028376A1 (en) | Image recording device and method | |
JP2005236386A (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |