JP2005519417A - トリックモード・オーディオ再生 - Google Patents

トリックモード・オーディオ再生 Download PDF

Info

Publication number
JP2005519417A
JP2005519417A JP2003573636A JP2003573636A JP2005519417A JP 2005519417 A JP2005519417 A JP 2005519417A JP 2003573636 A JP2003573636 A JP 2003573636A JP 2003573636 A JP2003573636 A JP 2003573636A JP 2005519417 A JP2005519417 A JP 2005519417A
Authority
JP
Japan
Prior art keywords
audio
frames
trick mode
energy
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003573636A
Other languages
English (en)
Other versions
JP4334355B2 (ja
Inventor
ブレアー,ロナルド,リン
シュルツ,マーク,アラン
シュミット,ロバート,ウォーレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2005519417A publication Critical patent/JP2005519417A/ja
Application granted granted Critical
Publication of JP4334355B2 publication Critical patent/JP4334355B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • G10L21/043Time compression or expansion by changing speed
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00014Time or data compression or expansion the compressed signal being an audio signal
    • G11B2020/00057MPEG-1 or MPEG-2 audio layer III [MP3]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10694Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control output interface, i.e. the way data leave the buffer, e.g. by adjusting the clock rate
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/61Solid state media wherein solid state memory is used for storing A/V content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

デジタルオーディオ録音を1X以外のスピードで再生する方法であって、前記方法は、複数のオーディオフレームで表された記録されたデジタルオーディオ情報(205)を読み出すステップを有する。前記複数のオーディオフレーム(215)の一部が、前記オーディオフレームの前記一部のエネルギー量によりランクづけされる。ランク付けにより最小のエネルギー量を持つオーディオフレームが、前記複数のオーディオフレームの前記一部から削除される(230)。削除後に残ったオーディオフレームの一部は、オーディオトリックモード再生信号を形成するために選択される(235)。

Description

本発明は改良されたトリックモード・オーディオ再生に関し、特にノーマルスピード以外におけるデジタルオーディオコンテントのトリックモード再生の改良に関する。
DVDからのトリックモード再生には、ディスクの特定の位置を探したり、ノーマルスピードで再生していては見逃してしまうクリップを詳細に見るために、ノーマル再生スピードからスピードを上げたり下げたりすることを含む。慣行によりノーマル再生スピードを1Xと表示する。オーディオとビデオの両方でトリックモードが可能であり、市販のDVDプレーヤで使われている。しかし、オーディオ再生を早くまたは遅くする従来の方法には、問題があることが分かっている。デジタルシグナルプロセッサ、特に現在市販されている製品で使用されているオーディオデジタルシグナルプロセッサの発達により、改良されたオーディオトリックモードのためのより洗練されたリアルタイム処理が可能となった。
ビデオトリックモードの使用に伴う問題の1つは、再生ビデオセグメントに対応するオーディオの取り扱いに関する。例えば、表示されているビデオセグメントのスピードをユーザが上げたり下げたりするとき、再生される対応するオーディオセグメントが歪められる。一般に、ファーストトリックモードの間、オーディオセグメントのオーディオサンプルは高い周波数にシフトし、スロートリックモードの間、低い周波数にシフトする。ノーマル再生と比較して1.5倍から3倍の割合で再生スピードを上げるファーストトリックモードは、人間の声や音の音程を上げてしまうことがある。この高い音程によるオーディオ再生であるチップマンク効果はうるさく、多くの場合リスナーには明瞭には聞こえない。逆に、スロー周波数トリックモードは、理解可能かもしれないが音声的には楽しくない低い周波数の低周波数の揺れを生む。
ここに説明したビデオトリックモード中に最も便利なオーディオ再生を行うため、そのトリックモードの性質を考慮する必要もある。例えば1.5Xの特定のトリックモードスピードにおいて理解可能なオーディオを提供する様々な方法を使用することができるが、この方法はさらに速いトリックモードスピード、例えば6Xまたは10Xでは不十分な結果となるかもしれない。このような早い再生スピードでは、オーディオコンテントをビデオプログラムと同期させて、または少なくとも対応するレートで再生しようとすると、言葉を伝達するのに必要なレートが早すぎて音声が理解できないことがある。
トリックモードの再生の間に生じる様々なタイプのオーディオ出力(artifacts)を聞くことを避けるために、従来のDVDプレーヤはビデオトリックモードの時はオーディオをしばしばミュートする。しかし、これらのモードでもオーディオを聞きたいことはあるので、これは十分満足のできる解決策ではない。したがって、ビデオトリックモード中であっても、従来技術の制約を克服し、好適かつ聞いて楽しいオーディオ再生を達成できるようにDVDプレーヤがオーディオを再生できれば有利である。
本発明は、1X以外のスピードでビデオプレゼンテーションのオーディオコンテントを再生する方法に関する。この方法は、ハードディスクまたはDVD等の記憶媒体から、ビデオプレゼンテーションの少なくともビデオ部分と対応するオーディオ部分を作る情報を読み出すステップを含むことができる。ビデオプレゼンテーションのオーディオ部分は、オーディオ情報を表す複数のオーディオフレームを含むことができる。ビデオプレゼンテーションのオーディオフレームの各々または一部は、そのオーディオエネルギー量によりランク付けすることができる。オーディオトリックモードの再生信号をビデオプレゼンテーションのために生成することができる。この再生信号は、エネルギー量によりランク付けされたオーディオフレームの一部の選択されたものを含む。要求されるトリックモード再生スピードを用いて、トリックモード再生のために選択されるランク付けされたフレーム数を決定できる。
オーディオフレームの各々のエネルギー量を計算した後、オーディオフレームの一部を選択されたビデオトリックモード再生スピードに基づき選択的に削除することができる。選択的に削除されるべきオーディオフレームの一部は、一定の割合に基づいてもよい。例えば、3Xのトリックモードスピードにおいて、おおよそ、オーディオフレームの3つに2つ、すなわち66%が削除されねばならない。削除の基準は、例えば、3つごとのオーディオフレームを残す等の、選択されたトリックプレイスピードから導かれる直接的かつ線形の数的関係を用いるのではなく、各オーディオフレームの計算された平均エネルギー量に基づいてもよい。最小のエネルギー量を持つこれらのフレームを最初に削除し、要求されたトリックモードスピードとなる十分なフレームが残されるまで削除する。一般に、要求されるトリックモードスピードが大きいほど、削除されねばならないフレームの数も増える。選択されたビデオトリックモードのビデオプログラムに時間的に対応させて再生するオーディオ信号を生成するために、フレームを削除した後、残ったオーディオフレームをつなぎ合わせることができる。
少なくとも1つのオーディオフレームの電圧を表す瞬間値の絶対強度の合計を、オーディオフレームの少なくとも一部のエネルギー量を決定するまたは表すインジケータとして使用できる。同様に、少なくとも1つのオーディオフレームの周波数範囲内における周波数ビン内の強度値の合計を、オーディオフレームの少なくとも一部のエネルギー量を計算するために使用できる。
本発明は、1Xより大きいスピードのビデオトリックモード再生中にオーディオ・ビデオプレゼンテーションのオーディオ部分を再生する装置を提供できる。この装置は、記憶媒体からビデオプレゼンテーションの少なくともビデオ部分と対応するオーディオ部分とをつくる情報を読み出すための記憶媒体リーダを含むことができる。ビデオプレゼンテーションのオーディオ部分は、オーディオ情報を有する複数のオーディオフレームを含むことができる。オーディオプロセッサは、エネルギー量によってビデオプレゼンテーションの複数のオーディオフレームの少なくとも一部をランク付けするように構成されてもよい。このオーディオプロセッサを、ビデオプレゼンテーションのオーディオトリックモード再生信号を生成するように構成することもできる。この再生信号は複数のオーディオフレームをそのランクに基づき選択されたものを含むことができる。
処理手段は、オーディオフレームの少なくとも一部のオーディオエネルギー量を計算するように構成することができる。この処理手段は、選択されたビデオトリックモード再生スピードに基づき、ビデオプレゼンテーションのオーディオ部分から、オーディオフレームの一部の一定割合の部分を選択的に削除することができる。該処理手段は、ランクにより最小のエネルギー量を持つオーディオフレームの一定割合の部分を削除するように構成することができる。エネルギーが最小値であるオーディオフレームの削除の後に、該処理手段は要求されたトリックモード再生信号を生成するために残ったオーディオフレームをつなぎ合わせることができる。
該処理手段は、少なくとも1つのフレームの電圧を表す瞬間値の絶対強度の合計を計算するように構成することができる。この絶対強度の合計は、オーディオフレームの少なくとも一部のエネルギー量を計算するために使用できる。同様に、該処理手段は、選択されたビンの平均を作るために合計を計算するように構成することができる。選択されたとは、すなわち少なくとも1つのフレームの周波数範囲内においてある周波数ビン内の信号強度の上フレームでも下フレームでもないことである。この絶対強度の合計は、オーディオフレームの少なくとも一部のエネルギー量を計算するために使用できる。
再生オーディオスピードを高めるための本発明の構成は、MP3等による符号化とともに、例えばハードディスクまたは固体メモリを用いたデジタルオーディオ再生ソースで有利にも使用することができる。デジタルオーディオ再生機器は、元の記録レートである1Xより高いレートでオーディオ信号の再生を容易にするために、ここで説明した発明の攻勢から利益を享受することができる。
本発明は、いかなる好適な記憶媒体に記録されたいかなるタイプのデジタルビデオにおいても、1Xより早いスピードのビデオトリックモード中にオーディオ再生を実行するために使用することができる。説明を容易にするため、従来のMPEG-1またはMPEG-2フォーマットを利用するDVD媒体について本発明を説明する。しかし、当業者には、本発明がこれに限定されないことが分かるであろう。データ記憶媒体は、後で読み出し再生するために大量のオーディオおよびビデオデータを記憶できるいかなる媒体を含んでいてもよい。ここでは、記憶媒体とはデータを記憶するための光学的、磁気的、または電子的手段を含むがこれらに限定されるものではない。デジタル記憶媒体は、例として、光デジタルバーサタイルディスク(DVD)、磁気ハードディスク、光磁気ディスク、ビデオCD、通常のCD、またはダイナミックランダムアクセスメモリ(DRAM)、シンクロナスDRAM(SDRAM)、その他のRAMベースメモリ等の固体メモリを含んでもよい。さらに、ここに開示した発明の構成はトリックモードビデオ再生に付随するオーディオとして説明されているが、これらの有利な構成は、元になる1X録音レートよりも高いレートでデジタルで記録されたオーディオ信号の再生に等しく適用可能である。
図1は、本発明を実装可能な典型的なDVDビデオプレーヤのブロック図である。デバイス100は、デジタル記憶媒体から記憶されたデータを読み出すことができる。図1を参照して、記憶媒体はディスク媒体102でもよい。ディスク媒体102は例えば書き換え可能DVDである。デバイス100は、メカニカルアセンブリ104、コントロールセクション120、オーディオ・ビデオ(AV)出力処理セクション170を含む。ほとんどのブロックを異なったセクションへ割り当てることは自明である。一方、ブロックの一部の割り当てはデバイス100の動作を理解するためには重要ではない。重要なことに、データ記憶媒体が固体デバイスであるときメカニカルアセンブリ104は本発明を実施するためには必要ではないことを認識すべきである。この場合、記憶媒体に記憶された符号化されたデジタルデータは、制御CPU122により直接アクセスされ、トラックバッファ172にバッファされる。
それにもかかわらず、メカニカルアセンブリ104は、ディスク102を回転させるモータ106と、回転するディスク102上を動くピックアップアセンブリ108とを含んでもよい。ピックアップアセンブリ108に取り付けられた、または関連したレーザは、ビデオ及び/又はオーディオプログラムデータを再生するために、ディスクトラック上にすでに記憶されたデータを照らすことができる。本発明を理解するために、ディスクが記録可能であるかどうかは無関係である。ピックアップアセンブリ108に関連したレーザとモータ106とはサーボ110により制御される。サーボ110は、ディスク102上の螺旋形のトラックから読み取られたデータを表す入力再生信号を受信するように構成されている。再生信号はエラー訂正回路130にも入力される。このエラー訂正回路130は、制御セクション120の一部またはA/V出力処理セクション170の一部と考えることができる。
制御セクション120は制御中央処理装置(CPU)122を含んでもよい。サーボ110は制御セクション120の一部であると考えることもできる。制御CPU122により実行される従来の動作のために、好適なソフトウェアまたはファームウェアをメモリに入れることができる。また、CPU122を制御するために、ここに説明する進んだ機能のためのプログラムルーチンを入れてもよい。
視聴者が起動可能な機能のための制御バッファ132は、プレイ・リバース・ファーストフォーワード・スロープレイ・ポーズ/プレイ・ストップ等の現在利用可能な例示としての機能を示すように構成することができる。ポーズ機能は多くのビデオカセットレコーダ(VCR)に一般的に見られるポーズ動作と似ている。ポーズ機能は、広告や予告等の望まないセグメントを消去するために、事前に記録されたプレゼンテーションの再生をマニュアルで中断することができる。進んだ機能バッファ136は、ここに説明するようにトリックモードの制御を含め、他の進んだ再生機能を実施するためのものである。再生トリックモードは、標準である1Xの再生スピード以外のスピードでのフォーワードおよびリバース再生を含むことができる。
出力処理セクション170は、エラー訂正ブロック130とトラックバッファまたは出力バッファ172を含む。ディスクから読み出されたデータはこのトラックバッファまたは出力バッファ172にバッファされ、さらに処理するためパケットにまとめられる。パケットは、デマルチプレクサ176を介してビデオおよびオーディオそれぞれの経路へのパケットの伝播を制御する条件付アクセス回路174により処理される。ビデオは、例えばMPEG-1またはMPEG-2フォーマットからデコーダ178により復号され、ATSC、NTSC、SECAM、PAL等の標準のテレビ信号フォーマットにエンコーダ180により符号化される。オーディオは、例えばMPEG-1、MPEG-2、MP3フォーマット等からデコーダ182により復号され、オーディオデジタル・アナログ(D/A)コンバータ184によりアナログ形式に変換される。オーディオD/A184は、オーディオデコーダ182から受け取ったデジタルオーディオを処理し、アナログ出力信号を作る。
オーディオでコーダ182は、好ましくは復号の前にオーディオデータを一時的に記憶するバッファを含む。オーディオでコーダ182の動作は、制御CPU122等のプロセッサによりバス181を介して制御できる。オーディオでコーダ182からのデジタルオーディオは、オーディオD/A184等の好適なデジタル・アナログ変換デバイスによりアナログ形式に変換できる。
さらに、ここに説明するように、所望のトリックモード再生スピードに対応するオーディオ信号を生成するための、デジタルオーディオフレームごとのエネルギー量の決定およびその後のオーディオフレームの選択および削除も、制御CPU122により実行できる。オーディオデコーダ182とオーディオD/A184の間の通信は、システムバス181等の好適なシステム通信リンクにより提供される。システムバス181は、オーディオデコーダ182とオーディオD/A184の様々な動作パラメータを制御するために使用される。制御CPU122とは独立なマイクロコントローラまたはマイクロプロセッサを、トリックモード再生オーディオ信号を生成するために、フレームごとのエネルギー量を決定し特定されたフレームを削除するように構成することもできる。この構成において、マイクロコントローラまたはマイクロプロセッサはバス181に接続でき、オーディオデコーダ182からオーディオフレームコンテントを受信することができる。処理されたオーディオフレームを含むマイクロコントローラまたはマイクロプロセッサからの出力オーディオ信号は、ベースバンドのアナログオーディオ出力信号に変換するため、オーディオD/A184に入力することができる。
便宜上、図1に示したアーキテクチャに関して本発明を説明する。それにもかかわらず、所定数のオーディオフレームをバッファするように制御CPU122を構成することもできる。バッファはオーディオデコーダ182に集積してもいし、分離したオーディオバッファを備えてもよい。あるいは、ハードディスクにMPEGビデオまたはMP3オーディオプレゼンテーションを記憶する場合、ハードディスクがバッファとして機能することができ、CPU122が検査のためにディスクに記憶されたオーディオフレームのブロックのオーディオコンテントのサイズを決定できる。いかなる場合にも、一旦所定数のオーディオフレームがバッファされると、CPU122はバッファされたオーディオフレームの少なくとも一部のエネルギー量を決定することができる。
本発明による再生オーディオのスピードアップは、ビデオのトリックモード再生にスピードを合わせた音声について説明したが、この有利な構成は、ハードディスクや固体メモリを有し、MP3等のデジタル符号化を採用したパーソナルオーディオプレーヤやアンサーリング・メモ機器等のデジタルオーディオ再生ソースにも等しく適用可能である。デジタルオーディオ再生機器は、元の1Xの記録レートよりも高いレートでオーディオ信号の再生を容易にするために、ここに開示した本発明の構成から利益を受けることができる。
オーディオデコーダ182への入力オーディオ信号がパルス符号変調(PCM)オーディオ信号である場合、時間領域のサンプルは一般に音の音圧波の瞬間電圧アナログを示す。その結果、制御CPU122は、フレームのエネルギー量を決定するため、瞬間電圧値の強度の絶対値を足し合わせるように構成できる。オーディオデコーダ182への入力オーディオ信号が圧縮されたオーディオ信号である場合、周波数領域信号のエネルギーレベルは一般にビンと呼ばれる狭い帯域周波数グループで現される。圧縮されたオーディオでは、制御CPU122は、フレーム内の周波数成分の平均エネルギーを表す単一の値を生成するため、周波数ビン内の信号成分の強度を足し合わせるように構成できる。有利にも、関心のあるオーディオ部分は一定の周波数の範囲にあるので、エネルギー量はそれらの周波数成分のみの強度を足し合わせることによって決定することができる。例えば、極端に低いまたは高い周波数成分は、エネルギーの決定から除外することができる。それにもかかわらず、一または複数のオーディオフレームのエネルギー量を決定するために制御CPU122により実行可能なアルゴリズムは周知である。
バッファ中の所定数のフレームの各々のエネルギー量を決定した後、制御CPU122は、バッファ内の各フレーム内に含まれる絶対、相対、または平均いずれかのエネルギー量を表す数字を割り当てることができる。制御CPU122は、バッファ内の他のすべてのフレームの割り当てられた絶対、相対、または平均エネルギーに対して、各オーディオフレームの割り当てられた絶対、相対、または平均エネルギーをランク付けすることができる。制御CPU122は、オーディオがビデオトリックモードのスピードと実質的に一致するフレームカウントが得られるまで、エネルギー量が最小のフレームを破棄することができる。有利にも、本発明はオーディオフレームを処理する数学的アルゴリズムに依存しており、それによりスピードを速めハードウェアの複雑性を削減することができる。特に、例えば8ビットのマイクロプロセッサまたはマイクロコントローラをオーディオフレームを処理するように構成することができる。高速フーリエ変換(FFT)および逆FFT(IFFT)や本発明を実施する回路を使用する必要はないが、請求項の解釈はこの点で限定はしていない。
図2は、本発明の構成による例示としてのステップを示すフローチャートを示している。図2を参照して、ステップ205において、ビデオプレゼンテーションのオーディオ部分がオーディオデコーダ182により捉えられまたは読み出される。ステップ210において、制御CPU122はバッファ内に、所定数のフレームLをバッファすることができる。ステップ215において、バッファ内のL個のフレームの各々のエネルギー量を、制御CPU122が決定する。制御CPU122は、バッファ内のフレームの各々のエネルギー量をランク付けまたは相対値を与える。本発明の精神から逸脱することなく、バッファ内のフレームの一部だけについてオーディオエネルギーを計算することができることを、認識すべきである。バッファ内の一部のみのエネルギーの足し合わせは、より速いトリック再生スピードで使用することができる。同様に、バッファ内のL個のフレームの一部のみをランク付けすることも可能である。
ステップ220において、制御CPU122は、削除する候補としてY個のフレームをマークすることができる。ここで、削除する必要があるフレームより少し多いフレームが削除する候補として選択されるようにYが選ばれる。これによりどのフレームを削除するかをより柔軟に決定することができる。例えば、バッファの長さが46フレームであり、要求されるトリックモード再生スピードが2Xであるとき、23フレームより少し多いフレームが削除のためマークされるようにYが選択される。その理由は、50%すなわち2つに1つのフレームを削除する必要があるからである。よって、例えばY=28(23+Δ)個のフレームを削除のため選択することができる。
削除すべきフレーム数は簡単数式を用いて表すことができ、これにより計算の複雑性を削減することができる。例えば、Y=(L/S)+0.1L)である。ここでYは削除するフレームの候補数、Sは削除するフレームの候補数を決定するために使用するトリックモード再生スピード、Lはバッファされているオーディオフレーム数である。フレーム数を整数とするため、Yの小数点以下は切り上げまたは切り捨てすることができる。0.1Lという因子は任意に選択可能であり、システムを限定するものではないことは認識すべきである。削除のためにフレームをマークするために使用された基準は、エネルギー量が最小であるフレームに基づく。よって、この例では、オーディオエネルギーが最小である28フレームが、削除の可能性のためマークされる。
削除候補としてフレームをマーキングした後、ステップ225において、各フレームについて決定されたエネルギーの相対値に重み付けアルゴリズムを適用することができる。この重み付けアルゴリズムは、例えば、図3Cに示したように、削除の可能性のためにマークされたフレームの連続するグループのサイズまたは数を決定するステップよりなっていてもよい。ステップ230において、候補となったフレームは実際の削除のためにマークされ、削除される。フレームを削除するために使用される基準は、ステップ225でフレームのグループに割り当てられた重みに基づくことができる。例えば、最も大きい重みのフレームグループが最初に削除され、次に大きい重みのものが次にというように、ビデオトリックモードに対応する要求されるスピードを達成するために必要な候補がすべて削除されるまで、順次フレームグループが削除される。一般に、ステップ215と225が、本実施形態において使用されるランキングするステップであると考えることができるが、この点で本発明を限定するものではない。
隣接するオーディオのブロック間にギャップまたはデリニエーションを設けるため、各削除候補のグループの最初のフレームは残すことが好ましい。このデリニエーションにより、少なくとも約100ミリ秒の間比較的静かに、またはオーディオコンテントのレベルを下げることができる。これは実験の結果好ましいと分かったことである。この比較的な静けさまたは低減されたオーディオコンテントレベルにより、リスナーは音声の異なるブロックを聞き分けることができる。静寂期間をより長くすることも可能だが、約500ミリ秒より長い静寂期間は過剰であり必要ないことが分かっている。ステップ230でフレームを削除した後、ステップ235においてトリックモードのオーディオ再生信号を生成するために、図3Eに示したように、残ったフレームをつなげることができる。
図3Aは、各々にエネルギー量の割り当てられた相対値を示す例示としてのオーディオフレームを示す。図3Aを参照して、長さL=46の例示としてのバッファ300が示されている。このバッファ300には46個のフレームが含まれており、各フレームには相対値が割り振られている。要求されているトリックモード再生スピードSは2Xである。よって、2Xの平均再生スピードを達成するためには、50%すなわち2フレームごとに1フレームずつ捨てられねばならない。
図3Bは、削除の候補として斜線でマークされたバッファ300中のオーディオフレームを示す。図3Bを参照すると、Y個のフレームが削除の可能性のため選択る。ここで、
Y=(L/S)+0.1L)。
L=46、S=2であるから、Y=28個のフレーム(切り上げ)が削除可能としてマークされる。削除のためにマークされた候補フレームは、エネルギー量の相対値により示されたオーディオエネルギーが最低の28個のフレームである。
図3Cは、削除可能としてマークされたバッファ300中の候補フレームのグループに割り当てられた重みの例を示す。図3Cを参照して、候補フレームから連続するフレームのグループを選択し、そのグループ内の連続するフレーム数に等しい重みを割り当てることにより重みが割り当てられる。例えば、図3Cにおいて、削除可能としてマークされた連続するフレームの最大グループは、参照番号305で示されており、11個のフレームを含み、例えば重み11が割り当てられる。連続するフレームの次に大きなグループは、参照番号310で示されており、6個のフレームを含み、例えば重み6が割り当てられる。
図3Dを参照して、2Xのトリックモード再生スピードを達成するため23個のフレームを削除する必要がある。最大の重みを持つフレームのグループから始めて、23個のフレームすべてが削除されるまでフレームが削除される。好ましくは、連続するオーディオのブロックの間に十分なデリニエーションを確保するため、候補フレームの各グループ内の最初のフレームは保持される。例えば、フレームグループ305において、相対エネルギー量の値が055である最初のフレーム315(図3C参照)が保持される。同様に、フレームグループ310において、相対エネルギー量の値が005である最初のフレーム320が保持される。図3Dは、マークされた削除候補が削除されたバッファ300内の残りのフレームを示す。
図3Eは、様々なフレームを削除した後に残ったオーディオフレームをつなげた図である。図3Eを参照して、23個のフレームが削除された後、2Xのトリックモード再生信号を表すために、残った23個のフレームがつなげられる。プレーヤ100は、トリックモードビデオと並行して、または同じ時間プログラムレートでオーディオ信号を再生するように、オーディオデジタル・アナログコンバータD/A184でトリックモードオーディオ再生信号を生成することができる。
本発明はハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせにより実現可能である。例えば制御CPU122等の1つのコンピュータシステムに集中した方式でも、異なった構成要素がいくつかの相互接続されたコンピュータシステムにわたった分散した方式でも、本発明による機械読み込み可能な記憶媒体を実現することも可能である。ここに説明した方法を実行するいかなるコンピュータシステムその他の装置でもよい。
特に、ここに説明したように本発明は図1の制御CPU122の使用を予定しているが、ハードウェアとソフトウェアの典型的な組み合わせは、次のものを含んでもよい:汎用コンピュータシステムと、ロードされ実行されたときに該コンピュータシステムを制御するコンピュータプログラム;DVDプレーヤ;MPEGビデオプレゼンテーションを含むハードディスク;または、図1に示したものと同様の、ここに説明した方法を実行するその他のシステム。本発明は、ここに説明した方法の実施を可能とするすべての機能を有し、コンピュータシステムにロードされたときにこれらの方法を実行可能なコンピュータプログラム製品に組み込むこともできる。
本コンテクストにおいてコンピュータプログラムとは、情報処理機能を有するシステムに直接、または(a)他の言語、符号、表記への変換、または(b)他の材料の形への再生のうちいずれかまたは両方の後に、特定の機能を実行させることを意図した、いかなる言語、符号、または表記であるかを問わない、一組の命令の表示を意味する。
上の説明は例としてのみ意図されたものであり、請求項に記載を除いて、本発明をいかなる仕方においても限定するものではない。
本発明の構成による1以上の進んだ動作機能を提供することができるDVD機器のブロック図である。 図1のDVD機器等のメディアプレーヤに実装された本発明の構成の理解に役立つフローチャートである。 本発明によるエネルギー量の相対値を割り当てられたオーディオフレームの一例を示す。 本発明による消去が可能であるとしてマークされたオーディオフレームの一例を示す。 本発明による消去が可能であるとしてマークされたフレームのグループに割り当てられた重みの一例を示す。 本発明による消去が可能であるとしてマークされたフレームの消去を示す。 本発明によるフレームが消去された後に残ったフレームをつなげた結果を示す。

Claims (19)

  1. デジタルオーディオ録音を1X以外のスピードで再生する方法であって、
    複数のオーディオフレームで表された記録されたデジタルオーディオ情報(205)を読み出すステップと、
    前記複数のオーディオフレーム(215)の少なくとも一部を、前記オーディオフレームの前記一部のエネルギー量によりランキングするステップと、
    前記ランキングするステップにより最小のエネルギー量(230)を持つ前記複数のオーディオフレームの前記一部を削除するステップと、
    オーディオトリックモード再生信号を形成するために、前記削除するステップの後の前記オーディオフレーム(235)の残りを選択するステップとを有する方法。
  2. 請求項1に記載の方法であって、前記選択するステップ(235)は前記オーディオトリックモード再生信号を形成するために前記残ったオーディオフレームをつなげるステップをさらに有する方法。
  3. 請求項1に記載の方法であって、前記削除するステップ(230)は、前記複数のオーディオフレームの前記一部から選択されたトリックモード再生スピードにより前記複数のオーディオフレームの所定パーセンテージを削除するステップをさらに有する方法。
  4. 1X以外のスピードでトリックモード再生中にビデオプレゼンテーションを伴うオーディオプログラムを再生する方法であって、
    少なくとも前記ビデオプレゼンテーション(205)のビデオ部分と、複数のオーディオフレームでオーディオ情報を表す前記ビデオ部分に対応するオーディオ部分を表す情報を読み出すステップと、
    前記複数のオーディオフレーム(215)の少なくとも一部を、前記オーディオフレームの前記一部のエネルギー量によりランキングするステップと、
    オーディオトリックモード再生信号を形成するために、前記ランキングするステップに基づき、前記オーディオフレーム(235)の一部を選択するステップとを有する方法。
  5. 請求項1に記載の方法であって、前記ランキングするステップ(215)は前記複数のオーディオフレームの少なくとも一部の前記エネルギー量を計算するステップをさらに含む方法。
  6. 請求項4に記載の方法であって、前記選択するステップ(230)は選択されたビデオトリックモードスピードにより前記複数のオーディオフレームの一部を削除するステップをさらに有する方法。
  7. 請求項5に記載の方法であって、前記選択するステップ(230)は前記計算するステップにより最小エネルギーを持つ前記複数のオーディオフレームの前記部分を削除するステップをさらに有する方法。
  8. 請求項7に記載の方法であって、前記選択するステップ(230)は前記トリックモード再生信号を形成するために最小エネルギー量を持つ前記オーディオフレームを削除した残ったオーディオフレームをつなぎ合わせる(235)ステップをさらに有する方法。
  9. 請求項6に記載の方法であって、前記削除するステップ(230)はより早いビデオトリックモード再生スピードを容易にするため前記オーディオフレームの一部のサイズを大きくするステップをさらに有する方法。
  10. 請求項5に記載の方法であって、前記計算するステップ(215)は少なくとも1つのオーディオフレームの瞬間電圧値を表す強度値を足し合わせるステップをさらに有する方法。
  11. 請求項5に記載の方法であって、前記計算するステップ(215)は少なくとも1つのオーディオフレームの周波数範囲内において周波数ビン内の値の強度を足し合わせるステップをさらに有する方法。
  12. 1X以外のスピードのトリックモード再生中にビデオプログラムと関連するオーディオプログラムを再生する装置であって、
    プログラムの少なくともビデオ部分と対応するオーディオ部分とを表す情報を記憶媒体(102)から読み出すための記憶媒体リーダ(108)と、ここで前記オーディオ部分は複数のオーディオフレーム中のオーディオ情報を表し、
    前記オーディオフレームの一部のエネルギー量に応じて前記複数のオーディオフレームの少なくとも一部をランク付けし、前記オーディオフレームの前記少なくと一部の前記ランク付けにより、前記オーディオフレームの一部の選択されたものからオーディオトリックモード再生信号を形成するためのオーディオプロセッサ(122)とを有する装置。
  13. 請求項12に記載の装置であって、前記オーディオプロセッサ(122)は前記複数のオーディオフレームの少なくとも一部の前記エネルギー量を計算する計算手段を有することを特徴とする装置。
  14. 請求項13に記載の装置であって、前記オーディオプロセッサ(122)は、前記オーディオ部分から、選択されたビデオトリックモード再生スピードによって前記複数のオーディオフレームの一定割合の部分を選択的に削除する手段をさらに有することを特徴とする装置。
  15. 請求項14に記載の装置であって、前記前記複数のオーディオフレームの一定割合の部分を選択的に削除する手段は前記計算されたエネルギー量が最も少ないオーディオフレームを削除することを特徴とする装置。
  16. 請求項15に記載の装置であって、前記オーディオプロセッサ(122)は、前記トリックモード再生信号オーディオトリックモード再生信号を形成するために、前記複数のオーディオフレームの前記一定割合の部分の前記削除後に残ったオーディオフレームをつなぎ合わせることを特徴とする装置。
  17. 請求項14に記載の装置であって、前記削除する手段(122)は、より早いトリックモード再生スピードを容易にするために、削除すべきオーディオフレームの前記一定割合の部分を増加することを特徴とする装置。
  18. 請求項13に記載の装置であって、前記計算する手段(122)は、少なくとも1つのオーディオフレームの電圧を表す瞬間値の強度の絶対値を足し合わせることにより、前記エネルギー量を計算することを特徴とする装置。
  19. 請求項13に記載の装置であって、前記計算手段(122)は、少なくとも1つのオーディオフレームの周波数範囲内の周波数ビンにおける強度値を足し合わせることにより、前記エネルギー量を計算することを特徴とする装置。
JP2003573636A 2002-03-01 2003-02-21 トリックモード・オーディオ再生 Expired - Fee Related JP4334355B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/086,650 US7149412B2 (en) 2002-03-01 2002-03-01 Trick mode audio playback
PCT/US2003/004975 WO2003075262A1 (en) 2002-03-01 2003-02-21 Trick mode audio playback

Publications (2)

Publication Number Publication Date
JP2005519417A true JP2005519417A (ja) 2005-06-30
JP4334355B2 JP4334355B2 (ja) 2009-09-30

Family

ID=27787507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003573636A Expired - Fee Related JP4334355B2 (ja) 2002-03-01 2003-02-21 トリックモード・オーディオ再生

Country Status (12)

Country Link
US (1) US7149412B2 (ja)
EP (1) EP1481392B1 (ja)
JP (1) JP4334355B2 (ja)
KR (1) KR100930610B1 (ja)
CN (1) CN1312664C (ja)
AU (1) AU2003213132A1 (ja)
DE (1) DE60323059D1 (ja)
MX (1) MXPA04008424A (ja)
MY (1) MY176452A (ja)
PL (1) PL372219A1 (ja)
TW (1) TWI254281B (ja)
WO (1) WO2003075262A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100403238B1 (ko) * 2000-09-30 2003-10-30 엘지전자 주식회사 비디오의 지능형 빨리 보기 시스템
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
US8055783B2 (en) * 2005-08-22 2011-11-08 Utc Fire & Security Americas Corporation, Inc. Systems and methods for media stream processing
JP2007094234A (ja) * 2005-09-30 2007-04-12 Sony Corp データ記録再生装置、データ記録再生方法及びそのプログラム
US20070250311A1 (en) * 2006-04-25 2007-10-25 Glen Shires Method and apparatus for automatic adjustment of play speed of audio data
TW200741537A (en) 2006-04-26 2007-11-01 Quanta Comp Inc Method and apparatus for managing input data buffer of MP3 decoder
EP2111616B1 (en) 2007-02-14 2011-09-28 LG Electronics Inc. Method and apparatus for encoding an audio signal
US20080221876A1 (en) * 2007-03-08 2008-09-11 Universitat Fur Musik Und Darstellende Kunst Method for processing audio data into a condensed version
TWI365442B (en) * 2008-04-09 2012-06-01 Realtek Semiconductor Corp Audio signal processing method
JP5146503B2 (ja) * 2010-09-06 2013-02-20 カシオ計算機株式会社 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム
US9336823B2 (en) * 2011-10-07 2016-05-10 Nxp B.V. Playing audio in trick-modes
JP5854208B2 (ja) * 2011-11-28 2016-02-09 日本電気株式会社 多段高速再生のための映像コンテンツ生成方法
US9704486B2 (en) * 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
US9516081B2 (en) * 2013-09-20 2016-12-06 Amazon Technologies, Inc. Reduced latency electronic content system
US10158825B2 (en) 2015-09-02 2018-12-18 International Business Machines Corporation Adapting a playback of a recording to optimize comprehension
US9942581B2 (en) * 2015-12-31 2018-04-10 Oath Inc. Content-adaptive digital content adjustment method and system
CN105812902B (zh) * 2016-03-17 2018-09-04 联发科技(新加坡)私人有限公司 数据播放的方法、设备及系统
US11102523B2 (en) 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers
US11039177B2 (en) * 2019-03-19 2021-06-15 Rovi Guides, Inc. Systems and methods for varied audio segment compression for accelerated playback of media assets
US10708633B1 (en) 2019-03-19 2020-07-07 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets
CN115132235A (zh) * 2021-03-25 2022-09-30 炬力(珠海)微电子有限公司 一种播放设备、播放系统及其同步控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147874A (ja) * 1993-10-19 1996-06-07 Sanyo Electric Co Ltd 話速変換装置
JPH0973299A (ja) * 1995-06-30 1997-03-18 Sanyo Electric Co Ltd Mpegオーディオ再生装置およびmpeg再生装置
JPH11194796A (ja) * 1997-10-31 1999-07-21 Matsushita Electric Ind Co Ltd 音声再生装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4376874A (en) * 1980-12-15 1983-03-15 Sperry Corporation Real time speech compaction/relay with silence detection
US5157728A (en) * 1990-10-01 1992-10-20 Motorola, Inc. Automatic length-reducing audio delay line
JPH07129190A (ja) * 1993-09-10 1995-05-19 Hitachi Ltd 話速変換方法及び話速変換装置並びに電子装置
US5623344A (en) * 1992-09-01 1997-04-22 Hitachi America, Ltd. Digital video recording device with trick play capability
US5809454A (en) 1995-06-30 1998-09-15 Sanyo Electric Co., Ltd. Audio reproducing apparatus having voice speed converting function
US5828994A (en) 1996-06-05 1998-10-27 Interval Research Corporation Non-uniform time scale modification of recorded audio
EP0837608B1 (en) * 1996-10-15 2005-12-28 Matsushita Electric Industrial Co., Ltd. Video and audio coding method and coding apparatus
US6049766A (en) 1996-11-07 2000-04-11 Creative Technology Ltd. Time-domain time/pitch scaling of speech or audio signals with transient handling
US5893062A (en) * 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6154603A (en) * 1997-02-18 2000-11-28 Thomson Licensing S.A. Picture decoding for trick mode operation
JP2955247B2 (ja) 1997-03-14 1999-10-04 日本放送協会 話速変換方法およびその装置
US6356211B1 (en) * 1997-05-13 2002-03-12 Sony Corporation Encoding method and apparatus and recording medium
JP4895418B2 (ja) * 1999-08-24 2012-03-14 ソニー株式会社 音声再生方法および音声再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147874A (ja) * 1993-10-19 1996-06-07 Sanyo Electric Co Ltd 話速変換装置
JPH0973299A (ja) * 1995-06-30 1997-03-18 Sanyo Electric Co Ltd Mpegオーディオ再生装置およびmpeg再生装置
JPH11194796A (ja) * 1997-10-31 1999-07-21 Matsushita Electric Ind Co Ltd 音声再生装置

Also Published As

Publication number Publication date
KR100930610B1 (ko) 2009-12-09
MY176452A (en) 2020-08-10
EP1481392B1 (en) 2008-08-20
TWI254281B (en) 2006-05-01
EP1481392A1 (en) 2004-12-01
CN1312664C (zh) 2007-04-25
DE60323059D1 (de) 2008-10-02
EP1481392A4 (en) 2007-02-21
US20030165325A1 (en) 2003-09-04
MXPA04008424A (es) 2005-06-08
KR20040101256A (ko) 2004-12-02
CN1675686A (zh) 2005-09-28
JP4334355B2 (ja) 2009-09-30
WO2003075262A1 (en) 2003-09-12
US7149412B2 (en) 2006-12-12
PL372219A1 (en) 2005-07-11
AU2003213132A1 (en) 2003-09-16
TW200307249A (en) 2003-12-01

Similar Documents

Publication Publication Date Title
JP4334355B2 (ja) トリックモード・オーディオ再生
JP4319548B2 (ja) ビデオ・トリック・モード再生中における音声番組の再生方法および装置
JP4322682B2 (ja) オーディオ・プログラムを再生する方法およびオーディオ・トラックを再生する装置
JP4236589B2 (ja) ビデオ・トリック・モード再生時のオーディオ・トラック再生方法および装置
JP2006221714A (ja) 符号化ディジタルオーディオ再生装置
KR20080071516A (ko) 재생 장치, 재생 방법 및 재생 프로그램이 기록된 컴퓨터판독 가능한 기록 매체
JP2003006992A (ja) 情報再生方法及び情報再生装置
US20080125891A1 (en) Audio reproduction apparatus, audio reproduction method, program, and data management method
JP4542805B2 (ja) 変速再生方法及び装置、並びにプログラム
JP3189587B2 (ja) 音声時間軸変換装置
JP2003058192A (ja) 音楽データ再生装置
JP2007101772A (ja) 再生装置及び再生方法
JP2676707B2 (ja) ミニディスクプレーヤ
JP2001318700A (ja) 話速変換装置
JP2008217839A (ja) 早送り再生方法と早戻し再生方法、および再生装置
JPS6057900A (ja) オ−デイオ信号切換装置
KR970071494A (ko) 광 디스크 플레이어의 기억 재생방법
JP2008300029A (ja) 情報再生方法及び情報再生装置
JP2004103129A (ja) オーディオ再生装置、方法及びプログラム
JPH11232784A (ja) 再生装置および再生方法
JP2000207844A (ja) Mdプレ―ヤにおけるatracデコ―ダの起動制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080618

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090408

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4334355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees