JP2002142175A - インデックス情報の抽出とサーチが同時に可能な録画／再生装置 - Google Patents

インデックス情報の抽出とサーチが同時に可能な録画／再生装置

Info

Publication number
JP2002142175A
JP2002142175A JP2001213188A JP2001213188A JP2002142175A JP 2002142175 A JP2002142175 A JP 2002142175A JP 2001213188 A JP2001213188 A JP 2001213188A JP 2001213188 A JP2001213188 A JP 2001213188A JP 2002142175 A JP2002142175 A JP 2002142175A
Authority
JP
Japan
Prior art keywords
stream
recording
information
index information
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001213188A
Other languages
English (en)
Inventor
Sung Bae Jun
ソン・バエ・ジュン
Kyoung Ro Yoon
キョング・ロ・ユーン
Chan Eui Cheong
チャン・ユイ・チェオン
Ji Eun Lee
ジ・ユン・リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2002142175A publication Critical patent/JP2002142175A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 放送局やビデオ／オーディオ・サーバから伝
送されるマルチメディアストリームを同時に録画し且つ
再生する既存のセットトップ・ボックスで、マルチメデ
ィアインデクシング機能とサーチ／ブラウジング機能を
同時に行えるようにする。 【解決手段】 既存のＴｉｖｏ又はＲｅｐｌａｙＴＶな
どのような録画／録音と再生が同時に可能なセットトッ
プ・ボックスで、自動インデクシング／サーチ装置を搭
載して、マルチメディアストリームに対する録画／録音
の作業時、自動的にマルチメディアストリームに対する
意味的／構造的／要約情報を抽出し、インデクシングし
て所定の格納装置にインデックス情報を格納することに
より、ユーザの要求があれば、格納したストリームに対
して構造的／意味的／要約情報を用いた非線形的なサー
チまたはブラウジング機能を提供されることができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は放送局やビデオ／オ
ーディオ・サーバから伝送されるマルチメディアストリ
ームを同時に録画し且つ再生する既存の装置（セットト
ップ・ボックス）でマルチメディアインデクシング機能
とサーチ／ブラウジング機能とを同時に行えるようにし
たインデックス情報の抽出とサーチが同時に可能な録画
／再生装置に関する。
【０００２】
【従来の技術】最近は、マルチメディアストリームの格
納技術の発達や、インタフェースバス技術の発達などに
より、録画／録音とそれらの再生が同時に可能なセット
トップボックス（Set-Top Box: 例としてあげると、Ｔ
ｉｖｏ（登録商標）， Ｒｅｐｌａｙ ＴＶ）が実現さ
れている。また、デジタルビデオ技術の発達やイメージ
／ビデオ／オーディオの認識技術の発達によって、ユー
ザは所望のマルチメディアコンテントを所望の時点で所
望の部分のみをサーチし且つブラウジングできるような
マルチコンテントに対するインデクシング技術が開発さ
れている。
【０００３】すなわち、ユーザは所望の時点で所望のコ
ンテントを得たり、コンテントの所望の部分のみに容易
にアクセスできるようになっている。このユーザが所望
の部分にアクセスしてブラウジングする方法を非線形的
なブラウジングと称し、かかる非線形的なブラウジング
のための、マルチメディアインデクシング技術に関する
研究が進められている。
【０００４】このような非線形的なマルチメディアコン
テント・ブラウジングとサーチのために最も基本となる
技術は、ショット分割技法やショットクラスタリング技
法であり、この二つの技術はマルチメディアコンテント
を構造的／意味的に分析する際に最もポイントとなる技
術である。
【０００５】ビデオでショットとは、一つのカメラから
得られた中断しない一連のビデオフレームを意味し、こ
れはビデオを分析したり構成する最も基本的な単位であ
る。また、通常のビデオには意味的な構成要素のシーン
が存在する。シーンはストーリの展開またはビデオ構成
における意味的な区分要素であり、一般に一つのシーン
内には多数のショットが存在する。かかるショットとシ
ーンの概念は、ビデオだけでなく、オーディオプログラ
ムにも同様な方式で適用可能である。
【０００６】一般的に、マルチメディアコンテントイン
デクシング技法は、コンテントに存在するショット／シ
ーン単位の構造的な情報を抽出し、それぞれの構造単位
ごとにそのセグメントを代表できるようなキーフレーム
などのような主要の特徴要素を抽出して、マルチメディ
アコンテントに対して構造的情報をインデックス付けを
し、イベントの発生、視聴覚オブジェクトの登場、オブ
ジェクトの状態、背景（場所など）などに対する意味的
な情報を時間軸上に記述する方式（例えば、意味的情報
が発生するセグメントを指定する方式）でインデックス
付けをして、所望の部分を容易にブラウジングするかサ
ーチできるようにすることにその目的がある。
【０００７】また、最近はマルチメディアコンテントの
要約情報を抽出して、ユーザにマルチメディアコンテン
トに対して要約した情報を提供するキーフレーム提供方
法及び自動ハイライト提供方法などもビデオインデクシ
ング分野で研究されている。かかるインデックス情報
は、基本的に一つのマルチメディアプログラム又はスト
リーム内で、ある位置にどんな情報があるかを記述し、
その位置を指定する情報を含んでおり、時間的情報を含
んでいると云える。
【０００８】前述したように、既存のＴｉｖｏまたはＲ
ｅｐｌａｙＴＶのような録画／録音及び再生が同時に可
能なセットトップ・ボックスは、放送するストリームに
対する同時格納と再生が可能である。これにより、ユー
ザはプログラムの視聴／聴取の途中であっても格納され
たストリームをブラウジングすることができる。
【０００９】すなわち、既存のＴｉｖｏやＲｅｐｌａｙ
ＴＶのようなセットトップ・ボックスは、アナログスト
リームを入力して、これをＭＰＥＧのようなデジタルス
トリームに変換して格納し、同時に再生が可能な装置で
あって、ユーザは視聴中に見逃した部分を瞬時再生（In
stant Replay）機能などを用いて再視聴可能であり、ま
た、既に格納したストリームをブラウジングするとき、
不必要な部分をスキップすることができる。このとき、
前記ＴｉｖｏやＲｅｐｌａｙＴＶなどで提供する瞬時再
生機能やスキップ機能は、プリセットオフセットと現在
の位置を考慮して、現在の位置から一定のオフセットだ
け離れた地点に容易に移動できる機能である。
【００１０】しかし、かかるセットトップ・ボックス
は、マルチメディアストリームに対するインデックス情
報を抽出することはしないため、ユーザが格納したスト
リームの所望の部分を容易にサーチし且つブラウジング
できるような便利な手段を提供できないという短所があ
る。すなわち、非線形的なビデオブラウジングの核心要
素のビデオストリームに存在する意味的情報や、構造的
情報または要約的情報を用いた便利なナビゲーション方
法を支援できないという短所があった。
【００１１】ユーザがマルチメディアストリームの視聴
／聴取の途中、またはすでに録画したストリームに対し
て、所望の部分を視聴／聴取するために、非線形的なア
クセスを試しようとする時には、既存のセットトップ・
ボックスは、単に現在の位置を反映した時間的な情報と
して対応するので、ショット、シーン、イベント、さら
にはオブジェクトの出現や退場などに基づいた非線形的
なアクセスを所望するユーザの要求に対して適切な対応
方法がなかった。
【００１２】
【発明が解決しようとする課題】本発明は上記のような
問題点を解決するためのもので、その目的は、放送局や
ビデオ／オーディオ・サーバから伝送されるマルチメデ
ィアストリームを同時に録画し且つ再生する既存のセッ
トトップ・ボックスで、マルチメディアインデクシング
機能とサーチ／ブラウジング機能を同時に行えるように
し、格納したコンテントのユーザが所望する部分を容易
にサーチし、ブラウジングできる録画／再生装置を提供
することである。
【００１３】本発明の他の目的は、録画／録音と再生が
同時に可能なセットトップ・ボックスに自動インデクシ
ング／サーチ装置を搭載して、マルチメディアストリー
ムに対する録画／録音作業を実施するとき、自動にマル
チメディアストリームに対する意味的／構造的／要約情
報を抽出してインデックス付けして、所定の格納空間に
インデックス情報を格納し、これに基づき、ユーザの要
求に応して、格納されたストリームに対して、構造的／
意味的／要約情報を用いたサーチしまたはブラウジング
する機能を利用できるようにする録画／再生装置を提供
することである。
【００１４】
【課題を解決するための手段】上記目的を達するための
本発明は、マルチメディアストリームに対する録画／再
生が同時に可能な既存のセットトップ・ボックス内で、
マルチメディアストリームに対するインデックス情報の
意味的／構造的／要約情報を自動に発生させ、これを所
定のフォーマットで格納するインデクシングエンジン
と、前記格納したインデックス情報を使用して、ユーザ
の非線形的なマルチメディアストリームアクセス要求に
反応するサーチ／ブラウジングエンジンを搭載すること
を特徴とする。
【００１５】また、本発明の装置はデジタルメディアま
たはアナログメディアに同時に適用可能である。
【００１６】本発明は、ユーザのマルチメディアストリ
ームに対する非線形的なアクセス要求にあった便利なブ
ラウジング機能を提供し、キーボード／リモコンのよう
なユーザ入力装置によって、インデックスを付したデー
タと格納したストリームデータを用いて、インデックス
情報に基づいて出力装置の再生を制御できるようにした
ことを特徴とする。
【００１７】本発明によるインデックス情報の抽出とサ
ーチが同時に可能な録画／再生装置は、受信する放送信
号のうち所望のチャネルを選定するチューナと、選定し
たチャネルのメディアストリームに対する格納／再生を
制御する録画制御部と、前記メディアストリームからイ
ンデックス情報を抽出するインデクシングエンジンと、
録画制御部から入力されるメディアストリームを格納す
るとともにインデクシングエンジンから抽出されたイン
デックス情報を格納する格納装置と、格納したインデッ
クス情報を用いてユーザの非線形的なマルチメディアス
トリームのアクセス要求に従うサーチ／ブラウジングを
行うサーチ／ブラウジングエンジンと、ユーザの命令／
コントロールを入力して、データと制御信号の全体の流
れを制御し、必要な制御信号を発生させる主制御部とを
備えていることを特徴とする。
【００１８】録画制御部は、チューナから入力されるメ
ディアストリームがアナログストリームまたは圧縮され
てないデータストリームである場合、主制御部の制御に
よってアナログストリームまたは圧縮されてないデータ
ストリームを、圧縮したデジタルストリームに変換して
インデクシングエンジンに出力する圧縮部と、圧縮した
デジタルストリームが格納装置に格納されるように制御
する格納制御部とを備えていることを特徴とする。
【００１９】主制御部は、ユーザの命令／入力を受け入
れるためのキー入力端と、インデックス情報が外部から
入力される場合、これを受けて処理し、インデックス情
報、ユーザの入力に応じて必要な部分に制御信号を発生
させる制御部と、圧縮されてないストリームを入力して
出力装置へ送るとともに必要な制御信号を発生させる表
示コントロール／インタフェースと、格納装置に格納さ
れている圧縮したストリームを圧縮されてないストリー
ムに変換して、表示コントロール／インタフェースに出
力するデコーダとを備えていることを特徴とする。
【００２０】主制御部は、インデクシングエンジンに部
分的に圧縮したストリームが必要な場合、圧縮過程から
出る中間結果値の部分的に圧縮したストリームがインデ
クシングエンジンに提供されるように、録画制御部を制
御することを特徴とする。
【００２１】主制御部は、前記録画制御部を制御して、
圧縮されてないストリームをインデクシングエンジンに
提供することを特徴とする。
【００２２】録画制御部は、チューナから入力されるメ
ディアストリームが圧縮されたデジタルストリームであ
る場合、そのままインデクシングエンジンへ出力し、圧
縮したデジタルストリームの格納を制御する格納制御部
のみで構成されることを特徴とする。
【００２３】インデクシングエンジンから抽出されるイ
ンデックス情報は、マルチメディアコンテントに対する
意味的／構造的／要約情報であることを特徴とする。
【００２４】インデクシングエンジンから抽出されるマ
ルチメディアコンテントに対する意味的情報は、オブジ
ェクトの出没、事件の発生と終了、背景の変化、オブジ
ェクトの状態変化などが時間的情報と連結され記述され
ることを特徴とする。
【００２５】インデクシングエンジンから抽出されるマ
ルチメディアコンテントに対する構造的情報は、シー
ン、ショットなどのマルチメディアストリームの構造的
情報を含むことを特徴とする。
【００２６】インデクシングエンジンから抽出されるマ
ルチメディアコンテントに対する要約情報は、キーフレ
ーム、キー領域、ハイライト情報を含むことを特徴とす
る。
【００２７】サーチ／ブラウジングエンジンは、ユーザ
がインデックス情報を基に、格納装置に格納されたマル
チメディアコンテントで移動する部分を選択できるよう
に、必要な情報を提供することを特徴とする。
【００２８】サーチ／ブラウジングエンジンは、格納装
置に格納されたインデックス情報を基に、ユーザが選択
したマルチメディアコンテントの要約情報を提供するこ
とを特徴とする。
【００２９】
【発明の実施の形態】以下、本発明の好ましい実施形態
を添付の図面を参照して詳細に説明する。
【００３０】図１は本発明によるインデックス情報の抽
出とサーチが同時に可能な録画／再生装置の一実施形態
を示す構成ブロック図である。図１を見ると、入力部を
介して受けた放送ストリームの所望のチャネル（または
特定のプログラム）を選定するチューナ１００と、同時
に放送メディアストリームの格納／再生を可能とする録
画制御部２００と、メディアストリームからインデック
ス情報を抽出するインデクシングエンジン３００と、録
画制御部２００から入力されるメディアストリームとイ
ンデクシングエンジン３００から抽出されたインデック
ス情報を格納する格納装置４００と、格納したインデッ
クス情報を用いてサーチ／ブラウジングを可能とするサ
ーチ／ブラウジングエンジン５００と、ユーザの命令／
コントロールを入力するためのユーザ入力装置６００
と、全体のデータと制御信号の流れを制御し、必要な制
御信号を発生させるための主制御部７００と、出力装置
８００とを含んで構成されている。
【００３１】そして、図２に示すように、録画制御部２
００はアナログデータストリームまたは圧縮されてない
データストリームを圧縮したデジタルストリームに変換
させる圧縮部２０１と、圧縮したデジタルストリームの
格納を制御する格納制御部２０２とを含んで構成されて
いる。
【００３２】かかる構成を有する本発明の実施形態で、
ユーザはユーザ入力装置６００を介してチャネルを選択
し、主制御部７００はチューナ１００を調整して受信す
る放送信号のうち、選択されたチャネル（又は特定のプ
ログラム）のみが入力されるように制御する。そして、
入力したチャネル（又は特定のプログラム）のメディア
ストリームは、主制御部７００と録画制御部２００へ入
力され、再生と録画に用いられる。このとき、受信した
ストリームがデジタルストリームである場合は、エンコ
ーディングモジュール（encoder)すなわち、録画制御部
２００の圧縮部２０１を経ずに格納装置４００に格納さ
れ、アナログメディアの場合には、圧縮部２０１を介し
てデジタルストリームに変換された後、格納装置４００
に格納される。
【００３３】また、インデクシングエンジン３００は録
画制御部２００を介して出力したデジタルストリームか
ら意味的／構造的／要約情報を抽出し、このように抽出
した意味的／構造的／要約情報を、録画するストリーム
の時間的情報と連係させて格納装置４００のインデック
ス情報格納装置にインデックスファイル構造として格納
する。このとき、インデクシングエンジン３００から抽
出されるマルチメディアコンテントに対する意味的情報
は、オブジェクトの出没、事件の発生と終了、背景の変
化、オブジェクトの状態変化などが時間的情報と連結さ
れて記述される。
【００３４】また、インデクシングエンジンから抽出す
るマルチメディアコンテントに対する構造的情報は、シ
ーン、ショットなどのマルチメディアストリームの構造
的情報を含む。また、インデクシングエンジンから抽出
するマルチメディアコンテントに対する要約情報は、キ
ーフレーム、キー領域、ハイライト情報を含む。このと
き、インデックス情報を用いたユーザのサーチまたはブ
ラウジング要求がユーザ入力装置６００を介して入力さ
れると、主制御部７００はこれをサーチ／ブラウジング
エンジン５００へ伝達する。すると、サーチ／ブラウジ
ングエンジン５００は格納装置４００に格納されたイン
デックスファイル構造を用いて、ユーザが所望する情報
を抽出して、主制御部７００へ伝達する。
【００３５】主制御部７００はサーチ／ブラウジングエ
ンジン５００から得られた結果に基づいて、格納装置４
００に格納したマルチメディアストリームデータを用い
て、所望の部分へ移動したり、所望の部分のみをブラウ
ジングできるようにする。
【００３６】図２は本発明の録画制御部２００におい
て、データストリームの流れの一例を示す構成ブロック
図である。アナログストリームまたは圧縮されてないデ
ジタルストリームを受信した場合は、録画制御部２００
の圧縮部２０１は、チューナ１００からアナログ又は圧
縮されてないデジタルストリームを受けるとともに主制
御部７００から制御信号を受けて、圧縮されてないデジ
タル／アナログストリームを圧縮されたデジタルストリ
ームに変換させる。そして、このように圧縮したデジタ
ルストリームは、格納制御部２０２の制御に応じて格納
装置４００に格納する。このとき、圧縮部２０１では、
変換した圧縮デジタルストリームをインデクシングエン
ジン３００へ送り、インデックス情報を抽出する。
【００３７】図２は圧縮部２０１で部分的に圧縮したス
トリームをインデクシングのためにインデクシングエン
ジン３００に送り出すことを示している。ここで、部分
的に圧縮したストリームは、必要な場合、圧縮過程から
出る中間結果をインデクシングエンジン３００で受けら
れることを意味する。
【００３８】図３は本発明の録画制御部２００の他の構
成例であって、アナログデータストリーム又は圧縮され
てないデータストリームが受信される場合、圧縮部２０
１は主制御部７００の制御に応じて、アナログデータス
トリーム又は圧縮されてないデジタルストリームを圧縮
したデジタルストリームに変換させる。そして、圧縮し
たデジタルストリームは、インデックス付けのためにイ
ンデクシングエンジン３００に出力されるとともに格納
制御部２０２の制御に応じて格納装置４００に格納され
る。
【００３９】図４は本発明の録画制御部２００のまた他
の構成例であって、アナログデータストリーム又は圧縮
されてないデータストリームが受信される場合、録画制
御部２００は、圧縮されてないストリームをそのままイ
ンデクシングエンジン３００へ送り出していることを示
している。すなわち、圧縮部２０１は、主制御部７００
の制御に応じて、アナログデータストリーム又は圧縮さ
れてないデジタルストリームをそのままインデクシング
エンジン３００に出力するとともに、アナログデータス
トリーム又は圧縮されてないデジタルストリームを圧縮
したデジタルストリームに変換させた後、格納制御部２
０２の制御に応じて格納装置４００に格納する。
【００４０】図５は本発明の録画制御部２００のさらに
他の構成例である。この例では、圧縮したデータストリ
ームを受信した場合、録画制御部２００はチューナ１０
０から圧縮したデジタルストリームが入力され、主制御
部７００から制御信号を入力して圧縮したデジタルスト
リームを格納装置４００に格納する格納制御部２０２の
みからなる。このとき、インデクシングエンジン３００
は圧縮したデジタルストリームを直接チューナ１００か
ら受け取ることになる。
【００４１】図２から図５まで示すように、録画制御部
２００は、入力したデータの種類（例えば、圧縮したデ
ジタルストリーム／圧縮されてないデジタルストリーム
／圧縮されてないアナログストリーム）に従って様々な
構成が可能である。
【００４２】本発明では、入力したデータストリームを
圧縮したデジタルストリームに変換して、格納装置４０
０に格納すると同時に、インデクシングエンジン３００
にインデックス情報抽出のためにデータストリーム（圧
縮した又は部分的に圧縮したデジタルストリーム、圧縮
されてないデジタルストリーム又は圧縮されてないアナ
ログストリームのうち何れか一つ）を伝達することを特
徴とする。
【００４３】図６は本発明の主制御部７００の構成例を
示すブロック図であって、ユーザの命令／入力を解釈し
て制御信号を発生させる命令インタプリタ７０１と、イ
ンデックスデータを外部から受けたとき、これを処理し
（例えば、インデクシングエンジン３００へ送り）且
つ、インデックスデータ、ユーザ入力などを受けてその
他の部分の制御信号を発生させるその他の制御部７０２
と、マルチメディアストリームを再生する出力装置（表
示装置）８００へ送り、必要な制御信号を発生させる表
示コントロール／インタフェース７０３と、格納装置４
００に格納されている圧縮したストリームを圧縮されて
ないストリームへ変換させるデコーダ７０４とからな
る。
【００４４】例示した構成の他にも、主制御部７００は
多様な構成が可能である。例えば、インデックスデータ
がチューナー１００からメディアストリームに入ってい
る場合、インデックスデータとメディアストリームとの
分離のためのモジュールが追加されることもあり、出力
装置８００が圧縮したメディアストリームを入力として
受ける場合、デコーダ７０４がないこともある。また、
インデクシングエンジン３００で必要とする場合、復元
した（例え、完全に又は部分的に復元した）メディアス
トリームがインデクシングエンジン３００にフィードバ
ックされることもある。
【００４５】本発明では、インデックス情報とユーザの
入力を受け、必要なセグメント（すなわち、メディアス
トリーム）を格納装置４００に要求し、格納装置４００
から受けたストリームを、必要な処理を経て出力装置８
００へ送り出すことを特徴とする。インデクシングエン
ジン３００は、インデックス情報のないメディアストリ
ームの場合、構造的／意味的／要約情報を抽出して、イ
ンデックス情報構造に加工して、格納装置４００に格納
する役割を果たす。
【００４６】サーチ／ブラウジングエンジン５００は、
インデックス情報を基にして、図７に例示したような様
々なブラウジングインタフェースのための情報を抽出し
て提示し、また、意味情報／構造情報／時間情報／要約
情報などインデックス情報を用いて、ユーザが要求する
特定のメディアセグメントの情報を抽出した後、特定の
関心セグメントのみの表示できるようにする。この他に
も、サーチ／ブラウジングエンジン５００は要約プログ
ラムを提供することもできる。
【００４７】すなわち、インデクシングエンジン３００
はインデックス情報を抽出／格納する役割を果たし、サ
ーチ／ブラウジングエンジン５００はユーザの要求に従
うインデックス情報を格納したインデックス情報の構造
から抽出する役割を果たす。このとき、要約情報はキー
フレーム／キー領域及びハイライト情報を含むことがで
きる。
【００４８】図７はブラウジングインタフェースの一例
である。本発明はインデクシングエンジン３００とサー
チ／ブラウジングエンジン４００を搭載することによ
り、例示したようなブラウジングインタフェースをユー
ザに出力装置８００を介して提供できる。このようなブ
ラウジングインタフェースが提示された場合、ユーザは
ユーザ入力装置６００を用いて所望の部分（セグメン
ト）を選択した後、所望の部分に直ぐに移動することが
可能となる。かかる本発明は、アナログストリームを入
力にするかデジタルを入力にするセットトップに適用で
きる。
【００４９】本発明はマルチメディアストリームの視聴
／聴取の途中に頻繁に発生するユーザの非線形的なマル
チメディアストリーム再生を支援するためのもので、一
般的なユーザのマルチメディアストリームに対する非線
形的な再生制御の要求は、単なる時間単位だけでなく、
ストリームの構造的／意味的情報を用いた場合が多い
が、上記本発明を適用する場合、このようなユーザの要
求を簡単に解決することができる。
【００５０】本発明で提案した機器の構成及び動作は、
メディアに制限がなく、プログラムのジャンルにも制限
がない。また、プログラムが電波やケーブルのように実
時間で受信されるか、外部のインタフェースを介してオ
フラインで格納されているプログラムが入力されるかと
は関係なく、単に、実際にストリームデータが本発明の
入力端を介して入力されるあらゆる場合に適用可能であ
る。
【００５１】本発明はインデックス情報が受信されない
場合は、インデクシングエンジンを用いてストリームデ
ータの受信と同時にインデックス情報抽出を行い、イン
デックス情報格納装置に格納する。また、インデックス
情報が受信される場合には、インデックス情報構造に適
するような構造に変形して格納する。一方、格納したス
トリームの再生時、インデックス情報を使用しない単純
再生も可能であるが、ユーザの非線形的ストリーム再生
の要求がある場合、インデックス情報格納装置に格納し
たインデックス情報を用いてストリーム再生を制御でき
る。
【００５２】
【発明の効果】本発明の特徴は、同時格納／再生が可能
であり且つ、インデックス情報構造の生成とインデック
ス情報を用いた再生の制御にあり、かかる特徴を用い
て、ユーザは視聴中、所望の部分のみの再生及びインデ
ックス情報を用いた再生部分の移動など様々な便利な機
能が提供される。
【図面の簡単な説明】
【図１】 本発明によるインデックス情報の抽出とサー
チが同時に可能な録画／再生装置の一実施形態の構成を
示すブロック図。
【図２】 本発明の録画制御部において、データストリ
ームの流れの実施形態を示す構成ブロック図。
【図３】 本発明の録画制御部において、データストリ
ームの流れの実施形態を示す構成ブロック図。
【図４】 本発明の録画制御部において、データストリ
ームの流れの実施形態を示す構成ブロック図。
【図５】 本発明の録画制御部において、データストリ
ームの流れの実施形態を示す構成ブロック図。
【図６】 本発明の主制御部の主制御部の構成例を示す
ブロック図。
【図７】 本発明において、非線形的ブラウジング機能
を提供するための画面インタフェースの一例を示す図。
【符号の説明】
１００…チューナ、２００…録画制御部、３００…イン
デクシングエンジン、４００…格納装置、５００…サー
チ／ブラウジングエンジン、６００…ユーザ入力装置、
７００…主制御部、８００…出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 キョング・ロ・ユーン 大韓民国・ソウル・135−271・カンナン− ク・トゴク１−ドン・イェオクサム エム ビイシイ ハンシン アパートメント・３ −1205 (72)発明者 チャン・ユイ・チェオン 大韓民国・キョンギ−ド・449−840・ヨン ギン−シ・スジエウブ・プングドックチェ オンリ・699・ハンクック アパートメン ト・104−802 (72)発明者 ジ・ユン・リー 大韓民国・ソウル・137−130・ソチョ− ク・ヤンジェ−ドン・ウーセオン アパー トメント・106−1505 Ｆターム(参考） 5C052 AB03 AB04 AC08 CC06 CC11 DD04 5C053 FA14 FA28 GB06 GB21 HA29 HA33 JA03 JA21 JA24 KA24 LA06 LA07 LA15 5D044 AB05 AB07 BC01 BC04 CC01 CC04 DE14 DE17 DE49 EF05 FG18 GK11 5D110 AA03 AA12 BB06 BB11 DA04 DA06 DA09 DA11 DB02 DC12 EA01 EA07 EB04

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 受信する放送信号の所望のチャネルを選
    定するチューナ；選定したチャネルのメディアストリー
    ムに対する格納／再生を制御する録画制御部；前記メデ
    ィアストリームからインデックス情報を抽出するインデ
    クシングエンジン；前記録画制御部から入力されるメデ
    ィアストリームとインデクシングエンジンから抽出され
    たインデックス情報を格納する格納装置；前記格納した
    インデックス情報を用いてマルチメディアストリームへ
    のユーザの非線形的なアクセス要求に従うサーチ／ブラ
    ウジングを行うサーチ／ブラウジングエンジン；ユーザ
    の命令／コントロールを入力して、データと制御信号の
    全体の流れを制御し、必要な制御信号を発生させる主制
    御部；を備えていることを特徴とするインデックス情報
    の抽出とサーチが同時に可能な録画／再生装置。
  2. 【請求項２】 前記録画制御部は、前記チューナから入
    力されるメディアストリームがアナログストリームまた
    は圧縮されてないデータストリームである場合、前記主
    制御部の制御によって前記アナログストリームまたは圧
    縮されてないデータストリームを圧縮したデジタルスト
    リームに変換してインデクシングエンジンに出力する圧
    縮部と、 前記圧縮したデジタルストリームが前記格納装置に格納
    されるように制御する格納制御部と、を備えていること
    を特徴とする請求項１記載のインデックス情報の抽出と
    サーチが同時に可能な録画／再生装置。
  3. 【請求項３】 前記主制御部は、 ユーザの命令／入力を解釈して制御信号を発生させる命
    令インタプリタと、 インデックス情報が外部から入力される場合、これを受
    けて処理し、インデックス情報、その他のユーザの入力
    に応じて必要な部分に制御信号を発生させるその他の制
    御部と、 圧縮されてないストリームを入力して出力装置へ送り、
    必要な制御信号を発生させる表示コントロール／インタ
    フェースと、 前記格納装置に格納されている圧縮したストリームを圧
    縮されてないストリームに変換して、前記表示コントロ
    ール／インタフェースで出力するデコーダと、を備えて
    いることを特徴とするインデックス情報の抽出とサーチ
    が同時に可能な録画／再生装置。
  4. 【請求項４】 前記主制御部は、 インデックス情報がメディアストリームとともに入力さ
    れる場合、前記インデックス情報とメディアストリーム
    との分離のための分離モジュールを更に含むことを特徴
    とする請求項３記載のインデックス情報の抽出とサーチ
    が同時に可能な録画／再生装置。
  5. 【請求項５】 前記主制御部は、 前記インデクシングエンジンに部分的に圧縮したストリ
    ームが必要な場合、圧縮過程から出る中間結果値の部分
    的に圧縮したストリームが前記インデクシングエンジン
    に提供されるように、前記録画制御部を制御することを
    特徴とする請求項１記載のインデックス情報の抽出とサ
    ーチが同時に可能な録画／再生装置。
  6. 【請求項６】 前記主制御部は、 前記録画制御部を制御して、圧縮されてないストリーム
    をインデクシングエンジンに提供することを特徴とする
    請求項１記載のインデックス情報の抽出とサーチが同時
    に可能な録画／再生装置。
  7. 【請求項７】 前記インデクシングエンジンから抽出さ
    れるインデックス情報は、マルチメディアコンテントに
    対する意味的／構造的／要約情報であることを特徴とす
    る請求項１記載のインデックス情報の抽出とサーチが同
    時に可能な録画／再生装置。
  8. 【請求項８】 前記インデクシングエンジンは意味的／
    構造的／要約情報を抽出し、前記インデックス情報は全
    体の時間的情報と関連づけ格納するように制御すること
    を特徴とする請求項７記載のインデックス情報の抽出と
    サーチが同時に可能な録画／再生装置。
  9. 【請求項９】 前記インデクシングエンジンから抽出さ
    れるマルチメディアコンテントに対する意味的情報は、
    オブジェクトの出没、事件の発生と終了、背景の変化、
    オブジェクトの状態変化などが時間的情報と連結され記
    述されることを特徴とする請求項７記載のインデックス
    情報の抽出とサーチが同時に可能な録画／再生装置。
  10. 【請求項１０】 前記インデクシングエンジンから抽出
    されるマルチメディアコンテントに対する構造的情報
    は、シーン、ショットなどのマルチメディアストリーム
    の構造的情報を含むことを特徴とする請求項７記載のイ
    ンデックス情報の抽出とサーチが同時に可能な録画／再
    生装置。
  11. 【請求項１１】 前記インデクシングエンジンから抽出
    されるマルチメディアコンテントに対する要約情報は、
    キーフレーム、キー領域、ハイライト情報を含むことを
    特徴とする請求項７記載のインデックス情報の抽出とサ
    ーチが同時に可能な録画／再生装置。
  12. 【請求項１２】 前記サーチ／ブラウジングエンジン
    は、ユーザがインデックス情報を基に、格納装置に格納
    されたマルチメディアコンテントで移動する部分を選択
    できるように、必要な情報を提供することを特徴とする
    請求項１記載のインデックス情報の抽出とサーチが同時
    に可能な録画／再生装置。
  13. 【請求項１３】 前記サーチ／ブラウジングエンジン
    は、前記格納装置に格納されたインデックス情報を基
    に、ユーザが選択したマルチメディアコンテントの要約
    情報を提供することを特徴とする請求項１記載のインデ
    ックス情報の抽出とサーチが同時に可能な録画／再生装
    置。
JP2001213188A 2000-07-14 2001-07-13 インデックス情報の抽出とサーチが同時に可能な録画／再生装置 Pending JP2002142175A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2000/40592 2000-07-14
KR1020000040592A KR100547317B1 (ko) 2000-07-14 2000-07-14 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치

Publications (1)

Publication Number Publication Date
JP2002142175A true JP2002142175A (ja) 2002-05-17

Family

ID=19678132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001213188A Pending JP2002142175A (ja) 2000-07-14 2001-07-13 インデックス情報の抽出とサーチが同時に可能な録画／再生装置

Country Status (3)

Country Link
US (1) US20020006266A1 (ja)
JP (1) JP2002142175A (ja)
KR (1) KR100547317B1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5027796A (en) * 1995-03-07 1996-09-23 Interval Research Corporation System and method for selective recording of information
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
KR100584280B1 (ko) * 2000-03-13 2006-05-26 엘지전자 주식회사 멀티미디어 컨텐트의 재생 제어 방법 및 시스템
US7237197B2 (en) * 2000-04-25 2007-06-26 Microsoft Corporation Method and system for presenting a video stream of a video streaming device
KR100786099B1 (ko) * 2001-04-11 2007-12-21 엘지전자 주식회사 디지털 데이터 방송 검색 시스템 및 방법
JP3695581B2 (ja) * 2001-08-08 2005-09-14 ソニー株式会社 記録装置および記録方法、記録媒体、並びに、電子カメラ
KR100451004B1 (ko) * 2001-08-13 2004-10-06 한국전자통신연구원 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법
US20030187652A1 (en) * 2002-03-27 2003-10-02 Sony Corporation Content recognition system for indexing occurrences of objects within an audio/video data stream to generate an index database corresponding to the content data stream
US7272659B2 (en) * 2002-06-25 2007-09-18 Olympus Corporation Information rewriting method, recording medium storing information rewriting program and information terminal device
US7949689B2 (en) * 2002-07-18 2011-05-24 Accenture Global Services Limited Media indexing beacon and capture device
KR20040039113A (ko) * 2002-11-01 2004-05-10 주식회사 엠트로닉스 동영상 색인, 검색 및 편집 가능한 개인용 디지털 비디오녹화기(ｐｖｒ) 기능을 탑재한 셋탑박스시스템
PL364275A1 (en) * 2003-12-30 2005-07-11 Advanced Digital Broadcast Ltd. Method and system for recording and tracing markers in a data flow
JP2005285301A (ja) * 2004-03-05 2005-10-13 Ricoh Co Ltd 記録装置と再生装置と記録方法と再生方法とプログラム
US20060031916A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of broadcasted or streamed multimedia content
US20060031879A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of news-related broadcasted or streamed multimedia content
US20060031885A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of music-related broadcasted or streamed multimedia content
US20070130078A1 (en) * 2005-12-02 2007-06-07 Robert Grzesek Digital rights management compliance with portable digital media device
KR100642895B1 (ko) * 2004-12-21 2006-11-08 엘지전자 주식회사 광디스크장치의 디스크 관리방법
KR100698271B1 (ko) * 2005-05-10 2007-03-22 엘지전자 주식회사 텍스트 정보를 이용하여 녹화물을 탐색하기 위한 텔레비젼수상기 및 방법
US7680763B2 (en) * 2005-12-21 2010-03-16 International Business Machines Corporation Administration of resources in system-wide search systems
US7602976B2 (en) * 2006-02-17 2009-10-13 Sony Corporation Compressible earth mover's distance
WO2007109162A2 (en) * 2006-03-17 2007-09-27 Viddler, Inc. Methods and systems for displaying videos with overlays and tags
US7577684B2 (en) * 2006-04-04 2009-08-18 Sony Corporation Fast generalized 2-Dimensional heap for Hausdorff and earth mover's distance
US8219553B2 (en) 2006-04-26 2012-07-10 At&T Intellectual Property I, Lp Methods, systems, and computer program products for managing audio and/or video information via a web broadcast
US8504922B2 (en) * 2006-12-29 2013-08-06 Microsoft Corporation Enhanced user navigation to previously visited areas in a media environment
GB2451518B (en) * 2007-08-03 2010-09-01 Sony Service Ct Multicast television system
US8312486B1 (en) 2008-01-30 2012-11-13 Cinsay, Inc. Interactive product placement system and method therefor
US20110191809A1 (en) 2008-01-30 2011-08-04 Cinsay, Llc Viral Syndicated Interactive Product System and Method Therefor
US11227315B2 (en) 2008-01-30 2022-01-18 Aibuy, Inc. Interactive product placement system and method therefor
JP4968094B2 (ja) * 2008-02-07 2012-07-04 富士通株式会社 放送受信システム
KR101019122B1 (ko) * 2008-11-19 2011-03-07 (주)아이토닉 방송용 세탑박스를 기반으로 한 동영상 콘텐츠 운용 방법
KR101333064B1 (ko) * 2009-08-14 2013-11-27 한국과학기술원 멀티미디어 콘텐츠 기술자 추출시스템 및 그 방법
KR102016545B1 (ko) * 2013-10-25 2019-10-21 한화테크윈 주식회사 검색 시스템 및 그의 동작 방법
CN111163348A (zh) * 2020-01-08 2020-05-15 百度在线网络技术（北京）有限公司 基于视频播放的搜索方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481296A (en) * 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
US5614940A (en) * 1994-10-21 1997-03-25 Intel Corporation Method and apparatus for providing broadcast information with indexing
JPH08124363A (ja) * 1994-10-27 1996-05-17 Fujitsu Ltd ビデオ機器
JPH1079916A (ja) * 1996-09-04 1998-03-24 Hitachi Ltd 映像録画装置
JP4016149B2 (ja) * 1997-04-28 2007-12-05 ソニー株式会社 画像情報の表示装置及び方法
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
JP3351757B2 (ja) * 1999-01-27 2002-12-03 松下電器産業株式会社 ディジタル記録再生装置
US7293280B1 (en) * 1999-07-08 2007-11-06 Microsoft Corporation Skimming continuous multimedia content

Also Published As

Publication number Publication date
KR20020006970A (ko) 2002-01-26
US20020006266A1 (en) 2002-01-17
KR100547317B1 (ko) 2006-01-26

Similar Documents

Publication Publication Date Title
JP2002142175A (ja) インデックス情報の抽出とサーチが同時に可能な録画／再生装置
US10482168B2 (en) Method and apparatus for annotating video content with metadata generated using speech recognition technology
US7356244B2 (en) Method and system for replaying video images
JP4364190B2 (ja) マルチメディアデータストリームの非線形的再生制御方法及びその装置
CA2572709C (en) Navigating recorded video using closed captioning
US8479238B2 (en) Method for content-based non-linear control of multimedia playback
US20100122277A1 (en) device and a method for playing audio-video content
US8745683B1 (en) Methods, devices, and mediums associated with supplementary audio information
JP2004516752A (ja) 映像番組のマルチメディア要約にアクセスするシステム及び方法
CN1921554A (zh) 搜索pvr中记录的场景的方法和使用该方法的电视接收机
US20230229702A1 (en) Methods and systems for providing searchable media content and for searching within media content
KR101537665B1 (ko) 콘텐츠 재생 방법 및 장치
JP5306550B2 (ja) 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法
JP2002354406A (ja) 動画像再生装置
KR101930488B1 (ko) 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
KR100944958B1 (ko) 특정 구간의 멀티미디어 데이터 및 캡션 데이터를 제공하는장치 및 서버
KR100818401B1 (ko) 디지털 방송 수신기에서 녹화물 재생 방법
US20060048204A1 (en) Method of storing a stream of audiovisual data in a memory
KR20070075728A (ko) 디지털 방송 수신기에서 녹화물 탐색 방법 및 그 장치
JP2006270793A (ja) ダイジェスト録画システム
KR20060015874A (ko) 디지털 방송 수신기의 프로그램 녹화 방법
TW201325213A (zh) 視訊播放裝置及其操作方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050311

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060404

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060802

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060816

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080626