JP2006127367A - 情報管理方法、情報管理プログラムおよび情報管理装置 - Google Patents

情報管理方法、情報管理プログラムおよび情報管理装置 Download PDF

Info

Publication number
JP2006127367A
JP2006127367A JP2004317843A JP2004317843A JP2006127367A JP 2006127367 A JP2006127367 A JP 2006127367A JP 2004317843 A JP2004317843 A JP 2004317843A JP 2004317843 A JP2004317843 A JP 2004317843A JP 2006127367 A JP2006127367 A JP 2006127367A
Authority
JP
Japan
Prior art keywords
information
data
performance
registered
music data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004317843A
Other languages
English (en)
Inventor
Toshiro Terauchi
俊郎 寺内
Yoichiro Sako
曜一郎 佐古
Masami Miura
雅美 三浦
Makoto Inoue
真 井上
Katsuaki Yamashita
功誠 山下
Yasushi Miyajima
靖 宮島
Motoyuki Takai
基行 高井
Shigekazu Kondo
重和 近藤
Takayuki Miyama
貴行 深山
Kiko Nagai
規浩 永井
Hirosuke Suzuki
宏輔 鈴木
Kentaro Hatanaka
健太郎 畠中
Yumiko Honma
由美子 本間
Aya Takaoka
綾 高岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004317843A priority Critical patent/JP2006127367A/ja
Priority to EP05799894A priority patent/EP1818762A4/en
Priority to CN2005800374329A priority patent/CN101061456B/zh
Priority to KR1020077009878A priority patent/KR20070067179A/ko
Priority to PCT/JP2005/020054 priority patent/WO2006049141A1/ja
Priority to US11/718,338 priority patent/US7820901B2/en
Publication of JP2006127367A publication Critical patent/JP2006127367A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs

Abstract

【課題】 多種多様の情報から必要な情報を容易に検索することができるようにする。
【解決手段】 音楽データの演奏位置に対して情報を登録する。オーディオデータやMIDIデータなどによる音楽データを演奏させ、演奏中にキーボードなどで登録指示を行う。登録指示を行ったタイミングに対応する演奏位置に対して、情報が登録される。情報を検索する際には、情報が登録されている音楽データを演奏させ、所望の情報が登録された演奏位置に到達したら、キーボードなどで検索指示を行う。この指示に基づき当該演奏位置に登録された情報が検索され、当該情報にアクセス可能とされる。音楽データの演奏位置に対して情報を登録するため、情報の登録および検索を、容易且つ直感的に行える。また、音により情報を検索するため、画面を凝視する必要が無い。
【選択図】 図1

Description

この発明は、所望の情報の登録および検索を容易に行えるようにした情報管理方法、情報管理プログラムおよび情報管理装置に関する。
近年では、ハードディスクなど記録媒体が大容量化するのに伴い、パーソナルコンピュータといったコンピュータ装置も、大量のファイルの管理に対応するようになっている。
管理可能なファイル数が多くなるにつれ、これら多くのファイルの中から所望のファイルを迅速に検索することが重要になってくる。従来から、例えばファイルをリスト表示し、ファイル名やファイル作成日時、ファイルサイズ、ファイル種類などによりリスト表示を並べ替えて所望のファイルを検索する方法が用いられている。また、GUI(Graphical User Interface)表示を用い、ファイルをアイコン化して表示したり、当該ファイルが画像ファイルであれば、そのファイルの画像をアイコン化して用いたりすることも行われている。
特許文献1には、ファイル作成時にユーザに指定された属性情報に基づき、概念的な記憶を元にファイル検索を行うことができるようにした技術が開示されている。
特開2002−288015号公報
ところで、記録媒体に蓄積される情報は、テキストデータ、画像データ、動画データ、音声データ、プログラムデータなど、多種多様にわたる。従来では、これらの情報を記録媒体に蓄積する際に、ファイル名やデータ内容に対して付されたタイトル、データに対する付随情報などによって分類および登録していた。そのため、蓄積された情報を検索する際には、ファイル名やタイトルをキーボードなどの入力手段から入力する必要があり、非常に煩わしいという問題点があった。
また、ファイル名などがファイル内容を表していないような場合には、検索自体が困難であるという問題点があった。
さらに、検索対象が画像データや音声データである場合には、直接的に画像データや音声データを閲覧する必要があり、特に、大量のデータが蓄積されている場合には、所望のデータを検索するのが極めて煩わしいという問題点があった。
さらにまた、従来では、一覧表示に基づき所望の情報を探すような形式のものが多く、視覚に頼る検索がなされていた。視覚に頼る検索では、特に情報が大量になると、情報が1画面に表示しきれなくなり画面をスクロールさせたりする必要が生じ煩わしいと共に、目も疲れるという問題点があった。
したがって、この発明の目的は、多種多様の情報から必要な情報を容易に検索することができるようにした情報管理方法、情報管理プログラムおよび情報管理装置を提供することにある。
この発明は、上述した課題を解決するために、時系列で変化するコンテンツデータの時間情報に対して情報を関連付けるようにしたことを特徴とする情報管理方法である。
また、この発明は、時系列で変化するコンテンツデータの時間情報に対して情報を関連付ける情報管理方法をコンピュータ装置に実行させることを特徴とする情報管理プログラムである。
また、この発明は、時系列で変化するコンテンツデータの時間情報に対して情報を関連付けるようにしたことを特徴とする情報管理装置である。
上述したように、この発明は、時系列で変化するコンテンツデータの時間情報に対して情報を関連付けるようにしているため、情報の登録および検索をコンテンツデータの再生に基づき直感的に行うことができ、煩わしいテキスト入力などを行う必要が無いと共に、キーワードなどを用いなくても情報の検索が可能であり、さらに、情報の登録および検索の際に画面を凝視する必要が無い。
この発明は、時系列で変化するコンテンツデータの時間情報に対して情報を関連付けるようにしているため、情報の登録および登録された情報の検索を、容易且つ直感的に行うことができる効果がある。
例えばコンテンツデータが音楽データである場合、楽曲のメロディーなど、極めてイメージ喚起力の高い情報に基づき検索を行うため、テキストによるキーワードなど具体的な情報が無くとも、直感的に情報を検索することができる効果がある。
また、コンテンツデータが音楽データである場合、音により情報を検索するため、モニタ画面を凝視する必要が無く、目が疲れないという効果がある。さらに、視力に障害があるユーザでも、情報の検索を容易に行うことができるという効果がある。さらにまた、情報検索に用いる音楽を早送りで演奏させることで、所望の情報を迅速に検索することが可能で、従来のモニタ画面に表示された情報の一覧をスクロールして情報を探す方法に比べユーザに負担をかけないという効果がある。
また、コンテンツデータが音楽データである場合、モニタ装置の性能、品質や画面の大小などによる視覚的影響を受けずに、ユーザ毎に自分に適した音楽を用いて情報を登録することができるため、情報管理および検索を、ユーザ個人の主観に基づき適切に行うことができる効果がある。
以下、この発明の実施の形態について説明する。この発明では、情報を、時系列で変化するコンテンツデータの時間情報に関連付けて管理する。情報を検索する際には、コンテンツデータを例えば再生させて、再生位置が情報を関連付けた位置に達したら所定の指示を行う。これにより、当該位置に関連付けられた情報にアクセスするようにした。なお、ここで、コンテンツとは、人が意図的に情報を配置して他者に表出するように創作または制作されたものであるとし、その種類を問わない。
先ず、この発明の実施の第1の形態について説明する。この発明の実施の第1の形態では、コンテンツデータを音楽データとし、情報を、音楽の演奏位置に関連付けて管理する。情報を検索する際には、音楽を演奏させ、演奏が情報が関連付けられた位置に達したら所定の指示を行う。これにより、当該位置に関連付けられた情報にアクセスするようにした。
音楽は、一般的に、反復構造や所定の展開を有しているため、演奏位置の特定および予測が容易である。また、音楽は、人の感情に訴えかけるように創造されるためイメージ喚起力が強く、ユーザは、意図せずとも要所を記憶することができる。そのため、音楽の演奏位置に情報を関連付けるようにすることで、情報の登録および検索を、煩わしい入力操作無しに直感的に行うことができる。また、情報を検索する際に、当該情報に関連したキーワードを思い出す必要が無い。
なお、以下では、音楽は、人が意図的に音を配置した際に得られる音声を含むものとし、一般的な楽曲に限られない。また、演奏は、音楽が再現可能な状態で記録されており、当該記録を再現して音声を出力することをいうものとする。この実施の第1の形態では、音楽がディジタルデータで記録されており(音楽データと呼ぶ)、このディジタルデータがコンピュータ装置により音声として再現され出力されることで、演奏されるものとする。
図1を用いて、この発明の実施の第1の形態による情報管理方法について、概念的に説明する。図1Aは、例えばコンピュータ装置で演奏される一例の音楽を楽譜で以て示す。ユーザは、例えばコンピュータ装置に図1Aのように音楽(楽曲100とする)を演奏させる。そして、登録したい情報を選択し、演奏された音楽をスピーカやヘッドフォンなど音響装置を用いて聴きながら、情報を登録したい演奏位置でキーボードなど入力手段を所定に操作する。この操作に応じて、コンピュータ装置において、その操作時における楽曲100の演奏位置に対して、上述のユーザにより予め選択された情報が関連付けられ、楽曲100に対して情報が登録される。演奏位置は、例えば楽曲100の先頭からの演奏時間(m分s秒n)で表される。
図1の例では、音声データAが楽曲100の演奏位置Pに関連付けられ、映像データBが演奏位置Qに関連付けられる。また、テレビジョン番組Cが演奏位置Rに関連付けられる。テレビジョン番組Cは、例えば、放映チャンネルや放映時間などの情報からなる。また、図1では省略されているが、データファイルDやインターネット上の情報の所在を示すURL(Uniform Resource Locator)も、楽曲100の他の演奏位置にそれぞれ関連付けられている。このように、この実施の第1の形態では、ファイルやフォルダなどに限らず、様々な情報を音楽に関連付けて管理可能としている。
この発明による情報の一例の検索方法について、概念的に説明する。ここでは、映像データBを検索する例について説明する。ユーザは、楽曲100をコンピュータ装置上で演奏させ、演奏された音楽をスピーカやヘッドフォンなど音響装置を用いて聴きながら、情報登録の際に映像データBを登録した際に演奏されていた例えばメロディーが演奏されたら、キーボードなど所定の入力手段を操作する。図1の例では、演奏位置Qで当該メロディーが演奏され、この演奏を聴いたユーザが入力手段を所定に操作する。この操作に応じて、当該演奏位置Qに関連付けられた映像データBにアクセスされる。
楽曲のメロディーなど、極めてイメージ喚起力の高い情報に基づき検索を行うため、テキストによるキーワードなど具体的な情報が無くとも、直感的に情報を検索することができる。また、音により情報を検索するため、モニタ画面を凝視する必要が無く、目が疲れない。視力に障害があるユーザでも、情報の検索を容易に行うことができる。また、情報検索に用いる音楽を早送りで演奏させることで、所望の情報を迅速に検索することが可能で、従来のモニタ画面に表示された情報の一覧をスクロールして情報を探す方法に比べユーザに負担をかけない。
さらに、モニタ装置の性能、品質や画面の大小などによる視覚的影響を受けずに、ユーザ毎に自分に適した音楽を用いて情報を登録することができるため、情報管理および検索を、ユーザ個人の主観に基づき適切に行うことができる。
なお、上述では、情報を検索するポイントが当該情報の登録時に指定した演奏位置のみであるように説明したが、これはこの例に限定されない。すなわち、ユーザが必ずしも情報を登録した演奏位置を正確に指定できるとは限らない。そのため、情報を登録した演奏位置に対して所定の範囲内で、当該情報を検索可能とするとよい。例えば、第1の情報の検索可能範囲を、第1の情報の登録演奏位置から、当該第1の情報の次に当該第1の情報と同一音楽上に登録された第2の情報の登録演奏位置までとすることが考えられる。
図1の例では、音声データAの検索可能範囲は、演奏位置Pから演奏位置Qの直前までとなる。この演奏位置Pから演奏位置Qまでの間に入力手段に対する所定の操作がなされた場合に、音楽データAが検索される。
検索可能範囲の設定は、この例に限定されない。例えば、情報を登録した演奏位置から一定時間までを、検索可能範囲とすることができる。この場合、この一定時間内における他の情報の登録を禁止するとよい。音楽のテンポなどが分かっている場合には、検索可能範囲を、登録された演奏位置を含む拍から何拍目まで、などと設定することも可能である。また、上述では、登録演奏位置から後ろが検索可能範囲であるように説明したが、登録演奏位置の前後の所定範囲を検索可能範囲としてもよい。
図2は、この発明の実施の第1の形態に適用可能なコンピュータ装置1の一例の構成を概略的に示す。コンピュータ装置1において、バス10に対してCPU(Central Processing Unit)11、ROM(Read Only Memory)12およびRAM(Random Access Memory)13が接続される。CPU11は、ROM12や後述するハードディスクドライブ20に格納されたプログラムやデータに従い、RAM13をワークメモリとして用い、バス10を介して各部と通信を行いながら、このコンピュータ装置における各部の動作を制御する。
バス10には、また、グラフィックインターフェイス(I/F)14および通信インターフェイス(I/F)16がそれぞれ接続される。グラフィックI/F14には、モニタ15が接続され、CPU11から供給された表示制御信号を映像信号に変換してモニタ15に供給し、モニタ15に対して所定の画像を映出させることができる。また、通信I/F16は、例えばインターネットなどのネットワークと接続され、CPU11の命令に基づき、ネットワークを介してこのコンピュータ装置1と外部との通信を制御する。
バス10に対して、さらに、入力インターフェイス(I/F)17、オーディオインターフェイス(I/F)18、ハードディスクドライブ20およびドライブ装置21が接続される。
入力I/F17には、例えばキーボード30、マウス31、コントロールパッド32といった、ユーザによる入力を受け付ける入力装置が接続される。キーボード30は、ユーザの押下したキーに応じた制御信号を出力する。マウス31は、X座標およびY座標からなる位置情報と、ボタンの押下に応じた制御信号とを出力するポインティングデバイスである。マウス31にロータリエンコーダなど、他の操作子がさらに設けられている場合もある。ポインティングデバイスとしては、マウス31以外にも、例えばタブレットなどが考えられる。
コントロールパッド32は、上下左右に対応した制御信号を出力する十字キーまたはX座標およびY座標を出力するジョイスティック、ユーザの押下に応じたスイッチなどの操作子を備える。入力I/F17は、これら入力装置から入力された制御信号や座標を所定のデータに変換し、バス10を介してCPU11に渡す。また、例えばコントロールパッド32にバイブレーション機能を持たせることができる。これにより、コントロールパッド32に対して入力I/F17を介してCPU11からの命令を供給して、この命令に基づきコントロールパッド32において振動を発生させることができる。
入力I/F17に接続可能な入力装置は、これらに限定されない。例えば、出力値を連続的に変化させることのできる、ジョグダイアル(ロータリエンコーダ)を入力I/F17に接続することも可能である。
オーディオI/F18は、バス10を介して供給されたディジタルオーディオデータをD/A変換して、アナログ音声信号として出力する。オーディオI/F18から出力されたアナログ音声信号は、図示されないアンプで増幅され、例えばスピーカ19や図示されないヘッドフォンにより音声として再生される。
ハードディスクドライブ20は、OS(Operating System)やアプリケーションソフトウェアなどのプログラムやデータが格納されると共に、ユーザにより蓄積される各種ユーザデータが格納される。ユーザデータは、音楽データ、映像データ、テキストデータなど、OSにより管理可能な全ての種類のデータを含むことができる。また、この発明による情報の登録を行うために用いられる音楽データを、ハードディスクドライブ20に格納することができる。
ドライブ装置21は、CD(Compact Disc)やDVD(Digital Versatile Disc)を再生可能とされる。また、CDやDVDにおける書き込み可能な規格に対応したディスクに対するデータの書き込みを行うようにしてもよい。ドライブ装置21は、これに限られず、FD(フレキシブルディスク)やMO(Magneto-Optical)ディスクに対応するものでもよいし、フラッシュメモリなどの不揮発性メモリに対応するものでもよい。
図3は、この発明の実施の第1の形態による情報登録を行うための一例のユーザインターフェイスを示す。なお、以下に示す種々のユーザインターフェイスや処理手順、登録テーブルなどは、この発明を実施可能とする一例の形態であって、この発明は、これらの例に限定されるものではない。
図3の例では、登録画面50をGUI(Graphical User Interface)を用いて構成している。登録画面50は、例えばハードディスクドライブ20に格納されたプログラムデータに基づきCPU11により生成された表示制御信号に基づき、モニタ15に対して表示される。登録画面50上で、例えばボタン画像や所定のアイテム画像で表現された所定の位置をマウス31などのポインティングデバイスを用いて指定し、ポインティングデバイスに対して例えばボタンの押下といった所定の操作を行うことで、当該位置に割り当てられた機能をCPU11に実行させることができる。
なお、以下の説明において、ポインティングデバイスによるクリック操作や、GUI上に表示されたアイコンなどの選択操作、ドラッグ&ドロップ操作などは、極めて周知であるため、繁雑さを避けるために詳細な説明を省略する。例えば、GUI上により表示されたボタン画像やアイテム画像上にポインティングデバイスを用いてカーソル表示を移動させ、ポインティングデバイスのボタンなどをクリックする一連の操作を、単に「ボタン画像をクリックする」などのように記述する。
図3において、登録画面50に対して、音楽選択部51、演奏位置表示部52、演奏コントロール部53、データ表示部54および決定ボタン55が設けられる。
音楽選択部51は、情報の登録に用いる音楽データを選択する部分である。一例として、例えば音楽選択部51に設けられた参照ボタン51Aをクリックして例えばハードディスクドライブ20に格納された音楽データを一覧表示させ、情報の登録に用いたい音楽データを選択する。選択された音楽データのファイル名は、音楽選択部51の表示部51Bに表示される。音楽データが例えば属性情報として曲名情報などを持つときは、表示部51Bにこの曲名情報を表示するようにしてもよい。表示部51Bに表示された音楽データの演奏位置に対して、情報が登録される。以下、この情報の登録に用いる音楽データを、情報登録音楽データと呼ぶ。
なお、情報登録音楽データの形式は、コンピュータ装置1で演奏可能で、且つ、演奏位置が特定できるものであれば、特に限定されない。例えば、PCMにより生成された、非圧縮のオーディオデータを用いることができる。また、情報登録音楽データは、MP3(Moving Pictures Experts Group 1 Audio Layer 3)やAAC(Advanced Audio Coding)、ATRAC(Adaptive Transform Acoustic Coding)など所定の方式で圧縮符号化されたオーディオデータであってもよい。さらに、オーディオデータのみならず、例えばMIDI(Musical Instrument Digital Interface)データのように、演奏を指示する演奏指示データを情報登録音楽データとして用いることもできる。
演奏位置表示部52は、表示部52Aに対して音楽選択部51の表示部51Bに表示された音楽データの全長が示され、ポジションライン52Bにより、現在の演奏位置が示される。ポジションライン52Bをドラッグすることで、演奏位置を変更させることも可能である。
演奏コントロール部53は、表示部51Bに表示された音楽データの演奏を制御するためのボタン53A〜53Fが設けられる。ボタン53Aは、演奏を早送りする早送りボタンである。ボタン53Bは、本来の速度で順方向に演奏させる再生ボタンである。ボタン54Cは、演奏を停止させ演奏位置を先頭に戻す停止ボタンである。ボタン54Dは、演奏位置は移動させずに演奏を一時停止する一時停止ボタンである。一時停止ボタン54Dをクリックした後、再び一時停止ボタン54Dをクリックするか、再生ボタン53Bをクリックすれば、一時停止した演奏位置から演奏が再開される。ボタン54Eは、本来の速度で逆方向に演奏させる逆方向再生ボタンである。ボタン54Fは、演奏を逆方向に早送りする逆転早送りボタンである。
演奏コントロール部53に設けられるボタンは、この例に限られない。音楽データの演奏速度を可変し、音楽データを任意の速度で演奏させるためのコントロールを設けることも可能である。なお、音楽データの演奏速度を可変とする場合、入力I/F17に対してジョグダイアルを接続し、演奏速度をジョグダイアルの回転角により指示すると、演奏速度の変更を容易に行うことができる。
データ表示部54に表示された情報が、音楽選択部51の表示部51Bに表示された情報登録音楽データに登録可能な状態とされる。例えば、ファイルやフォルダのアイコンをこのデータ表示部内54にドラッグ&ドロップして表示させることができる。これに限らず、データ表示部54を、このコンピュータ装置1がアクセス可能なファイルやフォルダを参照する参照画面とすることもできる。この場合、例えば、ハードディスクドライブ20内のファイルおよびフォルダや、通信I/F16を介して接続された他のコンピュータ内の、当該コンピュータ装置1に閲覧が許可されたファイルおよびフォルダ、ドライブ装置21に現在装填されている記録媒体上のファイルおよびフォルダなどを表示させるようにできる。
決定ボタン55は、情報を情報登録音楽データの演奏位置に対して関連付け、音楽データに対して情報を登録するためのボタンである。例えば、情報登録音楽データを演奏中に決定ボタン55をクリックすることで、情報登録音楽データと、決定ボタン55がクリックされたときの演奏位置情報と、選択された情報とが登録テーブル(詳細は後述する)により関連付けられる。
次に、登録画面50による一例の情報登録手順について、図4のフローチャートを用いて説明する。先ず、音楽選択部51で、情報登録音楽データを選択する(ステップS10)。また、データ表示部54に対して情報を表示させる(ステップS11)。ここでは、表示部54には、情報として、ファイルおよび/またはフォルダがアイコン表示されるものとする。例えばマウス31などのポインティングデバイスを用いて、データ表示部54において、登録したい情報に対応したアイコンを選択する(ステップS12)。図3の例では、ファイル「UVWX.txt」のアイコンが強調表示され、このファイルが選択されていることが示されている。登録したい情報を選択したら、ボタン53Bをクリックして、音楽選択部51で選択された情報登録音楽データを演奏させる(ステップS13)。演奏は、例えばスピーカ19により音声として再生される。
ユーザは、情報登録音楽データの演奏をスピーカ19から聴き、選択した情報を登録したいと思った演奏位置で(ステップS14)、決定ボタン55をクリックする(ステップS15)。決定ボタン55のクリックに応じて、例えば後述する登録テーブルにより、情報登録音楽データのクリックがなされた時点での演奏位置に対して、選択された情報が関連付けられ、情報登録音楽データに対して情報が登録される。このとき、情報登録音楽データの演奏を継続してもよいし、情報の登録に伴い演奏を停止させてもよい。
次に登録したい情報がある場合(ステップS16)、処理はステップS12に戻される。ここでは、情報の登録に伴い、演奏が停止されているものとしている。
なお、上述の手順は、一例であって、この例に限定されるものではない。例えば、ステップS10〜S13の順序は、この順に限られない。例えば、ステップS10で情報登録音楽データを選択した後、予め情報登録音楽データの演奏を開始(ステップS13)しておいてから、データ表示部54に情報を表示させ(ステップS11)、登録したい情報を選択(ステップS12)してもよい。データ表示部54に情報を表示させてから情報登録音楽データの演奏を開始させ、その後に登録したい情報を選択することもできる。また、ステップS10の情報登録音楽データは、必ずしも手順の先頭で選択する必要はなく、演奏開始までに選択されていればよい。
さらに、複数の情報を連続的に登録する場合の処理も、上述に限定されない。例えば、図4のフローチャートにおいて、情報の登録後に情報登録音楽データの演奏を継続させて、次の情報を登録する場合、ステップS13の処理が省略される。ステップS16からの戻り先をステップS11とし、データ表示部54に表示される情報を変更することもできる。また、ステップS16の戻り先をステップS10とし、別の音楽データを情報登録音楽データとして、処理を継続することも可能である。これらの場合においても、ステップS10〜S13の順序は、上述と同様に、図4の順序に限られない。
さらにまた、上述では、データ表示部54において選択された情報を、情報登録音楽データに対して登録するように説明したが、これはこの例に限定されない。例えば、情報の登録時に新規に情報を作成して、情報登録音楽データの演奏位置に登録することができる。この場合、情報登録音楽データを演奏中に、データ表示部54において情報が何も選択されていない状態で決定ボタン55をクリックすることで、新規にファイルを作成し、当該ファイルを情報登録音楽データに対して登録することが考えられる。
一例として、情報登録音楽データを演奏中に、データ表示部54において情報が選択されていない状態で決定ボタン55をクリックすると、テキスト入力用のダイアログボックスが表示されるようにし、このダイアログボックスに入力されたテキストデータを所定のファイルに保存して情報登録音楽データの決定ボタン55がクリックされた演奏位置に関連付け、登録する。情報登録音楽データを演奏中に、データ表示部54において情報が選択されていない状態で決定ボタン55をクリックした際に起動されるアプリケーションソフトウェアを、予め、あるいは、クリック時に設定するようにしてもよい。
また、上述では、マウス31などのポインティングデバイスを用い、クリックにより、情報登録音楽データに対して情報を登録するように説明したが、これはこの例に限定されない。例えば、キーボード30の所定のキーを情報登録のためのショートカットキーに設定することができる。この場合には、ショートカットキーに設定されたキーに予め手指を待機させておけば、モニタ15を見ることなく、情報登録音楽データの演奏を聴くだけで情報の登録を行うことができる。
さらに、データ表示部54に表示された情報を、情報の登録に応じて順次、自動的に選択するようにできる。このようにすると、複数の情報をより容易に登録することができる。
図5は、この発明の実施の第1の形態により情報登録音楽データに対して登録された情報を検索するための一例のユーザインターフェイスを示す。なお、図5において、上述した図3と共通する部分には同一の符号を付し、詳細な説明を省略する。
図5に一例が示されるように、検索画面70は、上述した登録画面50と一部を共通とするGUIにより構成される。すなわち、検索画面70は、情報登録音楽データを指定するための音楽選択部51、情報登録音楽データの演奏位置を示す演奏位置表示部52および情報登録音楽データの演奏を制御する演奏コントロール部53を備える。これら音楽選択部51、演奏位置表示部52および演奏コントロール部53に対して配置される各ボタン画像やアイテム画像の意味は、上述の登録画面50における対応する部分と略同一であるので、詳細な説明は省略する。
検索ボタン71は、情報登録音楽データの演奏中にクリックすることで、クリックしたときの演奏位置に対して登録された情報を検索する。検索結果は、検索結果表示部72に表示される。
検索画面70による一例の情報検索手順について、図6のフローチャートを用いて説明する。先ず、音楽選択部51で、検索に用いる情報登録音楽データを選択する(ステップS20)。そして、ステップS21で、ボタン53Bをクリックして、音楽選択部51で選択された情報登録音楽データを演奏させる。演奏は、例えばスピーカ19により音声として再生される。
ユーザは、この演奏を聴きながら、演奏が所望の情報が登録されている演奏位置に到達したら(ステップS22)、検索ボタン71をクリックする(ステップS23)。検索ボタン71のクリックに応じて、例えば登録テーブルから、選択された情報登録音楽データの当該クリックがなされた演奏位置に登録された情報が検索される。検索の結果、該当する情報があれば、当該情報が検索結果表示部72に表示される。図5の例では、ファイル「ACEG.txt」が検索結果として得られている。また、この例では、検索結果が得られても、情報登録音楽データの演奏が継続されている。当該情報登録音楽データに登録された情報をさらに検索する場合には、処理はステップS22に戻される。
検索結果で得られたファイル「ACEG.txt」は、検索結果表示部72内でダブルクリックなどを行うことで閲覧できるようにできる。この場合、当該ファイル73に所定に関連付けられたアプリケーションソフトウェアを、当該ファイル73を読み込ませた状態で起動させるようにすると、好ましい。これに限らず、当該ファイル73を、ドラッグ&ドロップにより適当なフォルダにコピーまたは移動するようにもできる。
なお、図5の例では、1つの演奏位置に対して、1つの検索結果が得られるようにしているが、これはこの例に限定されない。例えば、図7に一例が示されるように、検索結果表示部72に対して、検索ボタン71をクリックしたときの演奏位置に登録されている情報80を表示すると共に、当該演奏位置の前後の演奏位置に登録されている情報81および82をそれぞれ表示するようにできる。こうすることで、検索ボタン71をクリックするタイミングがずれても、所望の情報を検索することができる。
情報登録音楽データの演奏速度を可変させて情報を検索することも可能である。例えば、演奏コントロール部53に設けられた早送りボタン53Aをクリックして演奏速度を速くして検索を行うことで、目的の情報をより迅速に探し出すことができる。また、図3および図5には示されていないが、本来の演奏速度よりも演奏速度を遅くするスロー演奏ボタンを演奏コントロール部53に設け、スロー演奏させながら情報の登録や検索を行うようにもできる。演奏速度を遅めることで、登録画面50においてはより多くの情報を情報登録音楽データに対して登録することができ、検索画面70においても、より精密に検索することができる。さらに、入力I/F17に入力装置としてジョグダイアルを接続し、このジョグダイアルを用いて演奏速度を自在に可変させて情報を検索することも可能である。
さらにまた、入力I/F17に、バイブレーション機能付きのコントロールパッド32を接続し、情報登録音楽データに対して情報が登録された演奏位置でバイブレーション機能を用いてコントロールパッド32を振動させることも可能である。情報の登録時や検索時に、情報登録音楽データによる演奏に応じて振動させることもできる。
また、上述では、マウス31などのポインティングデバイスを用い、クリックにより、情報登録音楽データに登録された情報を検索するように説明したが、これはこの例に限定されない。例えば、キーボード30の所定のキーを情報検索のためのショートカットキーに設定することができる。この場合には、ショートカットキーに設定されたキーに予め手指を待機させておけば、モニタ15を見ることなく、情報登録音楽データの演奏を聴くだけで情報の検索を行うことができる。
図8は、上述した、情報登録音楽データと、当該情報登録音楽データの演奏位置と、情報とを互いに関連付けるための登録テーブルの一例を示す。図8の一例の登録テーブル60では、音楽ファイル名で示される情報登録音楽データの先頭からの演奏位置(時間)に対して、情報が関連付けられる。登録テーブル60は、例えばコンピュータ装置1のハードディスクドライブ20に所定に格納される。
図8の例では、第1行目〜第4行目が、ファイル名「ABCD.WAV」という情報登録音楽データ(非圧縮のオーディオデータとする)に対して各情報が関連付けられている。例えば、第1行目は、この情報登録音楽データの演奏位置「1分21秒00」に対して、テキストファイルからなる情報「C:\DATA\FILE.TXTが関連付けられ登録されている例、第2行目は、この情報登録音楽データの演奏位置「1分26秒21」に対して、プログラムファイル「C:\Program Files\PROG01.EXE」が関連付けられ登録されている例、第3行目は、この情報登録音楽データの演奏位置「2分01秒5」に対して、URL(Uniform Resource Locator)「http://www.jpo.go.jp/」が関連付けられ登録されている例である。また、第4行目は、情報登録音楽データを演奏中にデータ表示部54おいて情報を何も選択しないで決定ボタン55をクリックした際の例である。この例では、テキストファイル「C:\memo\0001.TXT」が新規に作成され、当該情報登録音楽データの演奏位置「3分5秒30」に対して関連付けられ、登録されている。
第5行目〜第7行目は、第1行目〜第4行目とはそれぞれ異なる種類の音楽データが情報登録音楽データとして用いられた例を示す。第5行目は、情報登録音楽データが圧縮符号化されたオーディオデータである場合の例である。ここでは、MP3方式で圧縮符号化されたオーディオデータ「1234.mp3」の演奏位置「0分20秒20」に、テレビジョン放送の情報(放送チャンネル、放送時間など)が関連付けられ、登録されている例が示される。第6行目は、情報登録音楽データが通信I/F16でネットワークを介して通信可能な他のコンピュータ装置上にある場合の例である。情報登録音楽データのファイル名を示す項目には、当該情報登録音楽データのネットワーク上での位置(この図7の例ではURL)が記述される。また、第7行目は、情報登録音楽データがMIDIデータである場合の例である。ファイル名「EFG.MID」であるMIDIデータの本来の演奏速度での演奏位置「00分30秒01」に、動画データ「C:\MOVIE\001.MOV」が関連付けられ、登録されている例が示される。
情報登録音楽データ上の位置(アドレス)と時間情報としての演奏位置とを対応付ける方法は、情報登録音楽データの種類に応じて様々に考えられる。例えば、情報登録音楽データが非圧縮のPCMオーディオデータであれば、当該オーディオデータのサンプリング周波数と、演奏位置におけるサンプル番号とに基づき対応付けが可能である。また例えば、MP3方式などによりブロック単位で圧縮符号化されたオーディオデータの場合には、演奏位置におけるブロック番号と、当該ブロック内のサンプル番号と、当該オーディオデータのサンプリング周波数とに基づき対応付けが可能である。さらに例えば、MIDIデータなどの演奏指示情報からなるデータの場合、データそのものが持つ時間情報を用いて対応付けが可能である。このような、音楽データ上の位置(アドレス)と、演奏位置(時間情報)とを対応付ける技術は、極めて周知であるので、詳細な説明を省略する。
なお、上述では、情報登録音楽データと、当該情報登録音楽データの演奏位置と、情報とを登録テーブル60を用いて関連付け、情報登録音楽データに対して情報を登録したが、これはこの例に限定されない。例えば、情報登録音楽データそのもの、あるいは、情報登録音楽データの属性情報として、演奏位置および当該演奏位置に関連付けられる情報とを記述するようにできる。また、登録テーブル60を用いる場合、当該登録テーブル60をOS内部の情報とすることもできる。
さらに、検索画面70の音楽選択部51において、参照ボタン51Aをクリックすることで一覧表示される音楽データ名を、登録テーブル60に登録された情報登録音楽データに基づき表示すると、情報の登録に用いた情報登録音楽データを探す手間が省け、好ましい。また、登録画面50において、情報登録音楽データに対して、ファイル名や楽曲名などの情報登録音楽データに予め与えられている情報以外に、別途、名前など属性情報を設定できるようにすると、当該情報登録音楽データにどんな情報を登録したかをユーザが容易に知ることができ、好ましい。この場合、検索画面70の音楽選択部51に対し、別途付された名前など属性情報を表示する表示部をさらに設け、参照ボタン51Aをクリックすることで一覧表示される音楽データ名と共に表示することができ、所望の情報が登録された情報登録音楽データを迅速に探すことができる。
なお、上述では、情報登録音楽データに対して、直接的に情報を登録するように説明したが、これはこの例に限定されない。例えば、情報の登録を階層的に行うことも可能である。この場合、第1の情報登録音楽データの演奏位置に対して第2の情報登録音楽データを登録し、この第2の情報登録音楽データの演奏位置に対して、情報を登録することが考えられる。第1の情報登録音楽データに対して、互いに異なる複数の第2の情報登録音楽データを登録し、複数の第2の情報登録音楽データのそれぞれにさらに情報を適宜、登録することで、例えば情報をカテゴリ分類して登録したり、粗検索および詳細検索が可能なように情報の登録を行うことが可能となる。
また、上述では、情報の検索を情報登録音楽データの演奏位置に基づいてのみ、行うように説明したが、これはこの例に限定されず、従来のような、モニタ15に表示された映像やテキストによる検索と、この発明による検索とを併用することもできる。例えば、大きなカテゴリ検索は、モニタ15の表示に基づきキーボード30やマウス31などを用いた選択入力により行い、検索されたカテゴリ内の情報を、情報登録音楽データの演奏位置に基づき行うようにできる。このとき、情報登録音楽データに基づく検索の際に、さらにジョグダイヤルや早送りボタン53Aなどを用いて音楽を早聴きしながら所望の情報の凡その場所を探し、最終的に情報の詳細な場所を決定する場合にモニタ15に映出された映像で確認することも可能である。
さらに、所定の情報に対して、所定の音楽データの演奏位置情報と、当該音楽データの情報とをタグ情報として付加しておいてもよい。当該音楽データそのものをさらに当該情報に付加することも考えられる。
さらにまた、情報が登録された情報登録音楽データを、他の音楽データに変更することもできる。このとき、例えば変更前の情報登録音楽データに当該情報が登録された際の演奏位置情報は、変更後の音楽データに対して適用することができる。このように、情報登録音楽データを適宜変更することで、秘匿性を高めることができる。
また、この発明の応用例として、図9に一例が示されるように、この発明による情報登録および検索方法を、電子メールの受信、送信および管理を行うメーラ90に適用することもできる。この場合、メーラ90に対して、上述した、音楽選択部51、演奏位置表示部52および演奏コントロール部53が設けられる。ユーザは、メール一覧表示部91において選択されている電子メール91Aを、上述と同様にして、表示部51Bに表示されている情報登録音楽データの演奏位置に対して登録することができる。メーラ90にこの発明を適用する場合、登録に用いる情報登録音楽データを、例えば電子メールの送信者毎に異なるものとすることが考えられる。
この場合、上述した階層構造を適用し、第1の情報登録音楽データに対して電子メールの送信者情報を登録し、電子メールの送信者のそれぞれに対して互いに異なる第2の情報登録音楽データを設定し、各送信者毎に異なる第2の情報登録音楽データに対して、当該送信者からの電子メールを登録することができる。
さらに、この発明の他の応用例として、情報登録音楽データに対して演奏位置をランダム的に複数の情報を登録し、当該情報登録音楽データのどの演奏位置に何の情報が登録されているかを当てる、といったような、ゲーム的な使用方法が考えられる。一例として、対になる情報を、情報登録音楽データのランダム的に指定された2箇所の演奏位置に対してそれぞれ登録し、検索時には、情報が登録されている演奏位置を先ず探し、次に、当該演奏位置に登録されている情報と対になる情報が登録されている演奏位置を探す、といった、トランプゲームの神経衰弱のような遊び方が可能である。
上述では、情報登録音楽データに対して情報を登録するための登録画面50や、情報登録音楽データに登録された情報を検索するための検索画面70などを、GUIを用いて構成したが、これはこの例に限定されず、これらのユーザインターフェイスを例えばCUI(Character-based User Interface)で構成することも可能である。
また、上述では、この発明の実施の第1の形態をパーソナルコンピュータのようなコンピュータ装置1に適用したものとして説明したが、これはこの例に限定されない。すなわち、この発明は、多数の情報を蓄積でき、音楽データの演奏が可能で、ユーザにより操作可能な入力手段を備えていれば、他の情報機器にも適用することができる。例えば、家庭用ゲーム機にこの発明を適用することができる。また、音楽データの演奏機能とユーザデータの保存機能を備えた携帯電話端末装置に対して、この発明を適用することができる。
次に、この発明の実施の第2の形態について説明する。上述した実施の第1の形態では、情報を登録するために音楽データを用いた。これに対し、この発明の実施の第2の形態では、コンテンツデータとして映像データを用い、映像データの再生位置に対して情報を登録する。映像データに音声データや音楽データが伴ってもよい。映像データを情報の登録に用いる場合、情報は、映像データのフレーム位置に対して登録される。フレーム内の2次元的な位置に対してさらに情報を登録することも可能である。
なお、情報の登録に用いる映像データは、時間に伴い表示内容が変化するものであって、その変化が再現可能であれば、どんな種類の映像でも用いることができる。
例えば、記録媒体に記録された映画やドラマなどの映像データを、情報登録に用いることができる。スポーツなどの実況録画による映像データを情報登録に用いいてもよい。また、CG(Computer Graphics)で表現される映像などのように、プログラムに従い再生される映像データも、情報登録に用いることができる。さらに、音楽と映像が同等の比率を持つような、音楽クリップ映像による映像データを情報登録に用いると、上述した音楽データを用いて登録する場合の効果を加味することができる。さらにまた、静止画像を所定の時間間隔で次々に交換して映出する、スライドショーのような映像データを、情報登録に用いることができる。スライドショーを用いる場合、情報の登録位置は、静止画の表示タイミングに対応する。
図10を用いて、この発明の実施の第2の形態による情報管理方法について、概念的に説明する。図10Aは、例えばコンピュータ装置で再生される映像データ200をフレームで示した例である。ユーザは、例えばコンピュータ装置に映像データ200を再生させる。そして、登録した情報を選択し、再生された映像データ200をモニタで見ながら、情報を登録したい場面でキーボードなど入力手段を所定に操作する。この操作に応じて、コンピュータ装置において、その操作時における映像データ200のフレームに対して、上述のユーザにより予め選択された情報が関連付けられ、映像データ200に対して情報が登録される。情報の登録位置は、例えば映像データ200の時間管理に一般的に用いられる、タイムコード(h時間m分s秒fフレーム)で表される。これに限らず、例えば、映像データ200の先頭フレームから数えたフレーム番号で表してもよい。
図10の例では、音声データAが映像データ200のフレームSに関連付けられ、映像データBがフレームTに関連付けられる。また、テレビジョン番組CがフレームUに関連付けられる。詳細は省略するが、様々な情報を映像データ200に対応付けることが可能な点は、上述の実施の第1の形態と同様である。
なお、映像データが音楽データを伴う場合、上述の実施の第1の形態と同様に、音楽に基づき情報を登録することも考えられる。この実施の第2の形態では、この場合でも、情報の登録位置は、音楽データの演奏位置に対応するフレーム位置とされる。音楽データの演奏位置に関連付けることも可能である。
この実施の第2の形態による情報の検索方法についても、音楽データが映像データに置き換わるだけで、上述の実施の第1の形態と考え方は同じである。すなわち、例えば映像データBを検索する場合、ユーザは、映像データ200をコンピュータ装置で再生させ、再生された映像をモニタで見ながら、情報登録の際に映像データBを登録した際に映出されたいた例えば場面が表示されたら、キーボードなど所定の入力手段を操作する。この操作に応じて、当該フレームTに関連付けられた映像データBにアクセスされる。
映像に基づき検索を行う場合でも、上述の実施の第1の形態と同様に、直感的に情報を検索することができる。
なお、映像データを用いて検索する場合でも、ユーザが必ずしも情報を登録したフレームを正確に指定できるとは限らないため、情報を登録したフレーム位置に対して所定の範囲内で、当該情報を検索可能とするとよい。例えば、上述と同様に、第1の情報の検索可能範囲を、第1の情報の登録フレーム位置から、当該第1の情報の次に当該第1の情報と同一映像上に登録された第2の登録演奏位置までとすることが考えられる。これに限らず、情報登録フレーム位置から一定フレーム数までを、検索可能範囲とすることができる。情報登録フレーム位置から前後の所定範囲のフレームを検索可能範囲としてもよい。
図11は、この発明の実施の第2の形態による情報登録を行うための一例のユーザインターフェイスである。なお、この発明の実施の第2の形態には、図2を用いて説明したコンピュータ装置1を適用可能であるため、ハードウェア構成に関しては、詳細な説明を省略する。また、図11において、上述した図3と共通する部分には同一の符号を付し、詳細な説明を省略する。
この実施の第2の形態では、情報の登録を行うためのユーザインターフェイスとして、図11に例示されるように、上述した図3に示す登録画面50に対して映像表示部211を追加した構成の登録画面210を用いることができる。登録画面210に対して、映像選択部51’、映像祭誠一表示部52’、再生コントロール部53’、データ表示部54および決定ボタン55が設けられる。
映像選択部51’は、情報の登録に用いる映像データを選択する部分である。参照ボタン51A’をクリックして一覧表示された映像データから、登録に用いたい映像データを選択すると、選択された塩蔵データのファイル名が表示部51Bに表示される。選択された映像データの属性情報を表示部51’にさらに表示させることもできる。以下、この情報の登録に用いる映像データを、情報登録映像データと呼ぶ。
なお、情報登録映像データの形式は、コンピュータ装置1で再生可能で、且つ、再生位置が特定できるものであれば、特に限定されない。例えば、MPEG2(Moving Pictures Experts Group 2)やMPEG1で圧縮符号化された映像データを情報登録映像データとして用いることができる。また、QuickTime(登録商標)や、AVI(Audio-Video Interleaved)ファイルといった、主にパーソナルコンピュータで用いられる映像データも、勿論、利用可能である。
再生位置表示部52’は、表示部52A’に対して映像選択部51’の表示部51Bに表示された表示された映像データの全長が表示され、ポジションライン52Bにより、現在の再生位置が示される。ポジションライン52Bをドラッグすることで、再生位置を変更させることも可能である。
再生コントロール部53’は、表示部51’に表示された映像データの再生を制御するためのボタン53A’〜53F’が設けられる。ボタン53A’は、再生を早送りする早送りボタンである。ボタン53B’は、本来の速度で順方向に再生させる再生ボタンである。ボタン54C’は、再生を停止させ再生位置を先頭に戻す停止ボタンである。ボタン54D’は、再生位置は移動させずに再生を一時停止する一時停止ボタンである。一時停止ボタン54D’をクリックした後、再び一時停止ボタン54D’をクリックするか、再生ボタン53B’をクリックすれば、一時停止した再生位置から再生が再開される。ボタン54E’は、本来の速度で逆方向に再生させる逆方向再生ボタンである。ボタン54F’は、再生を逆方向に早送りする逆転早送りボタンである。図示しないが、正方向および逆方向のスロー再生ボタンや、コマ送りボタンを設けると、より好ましい。
さらに、映像データを任意の速度で再生させるためのコントロールを設けることもできる。映像データの再生速度を可変とする場合、入力I/F17に対してジョグダイアルを接続し、再生速度をジョグダイアルの回転角により指示すると、再生速度の変更を容易に行うことができる。
データ表示部54’に表示された情報が、映像選択部51’の表示部51B’に表示された情報登録映像データに登録可能な状態とされる。データ表示部54’に対する情報の表示は、上述した図3の例と同様なので、詳細な説明を省略する。
決定ボタン55は、情報を情報登録映像データの演奏位置に対して関連付け、映像データに対して情報を登録するためのボタンである。例えば、情報登録映像データを演奏中に決定ボタン55をクリックすることで、情報登録映像データと、決定ボタン55がクリックされたときの再生位置情報と、選択された情報とが登録テーブルにより関連付けられる。登録テーブルは、情報登録映像データと、当該情報登録映像データの再生位置(フレーム)と、情報とを互いに関連付けるためのテーブルである。
登録画面210による情報登録手順は、図4を用いて説明した実施の第1の形態による方法と、略同一である。例えば、ユーザは、映像選択部51’で情報登録映像データを選択する。また、表示部54に対して、ファイルやフォルダのドラッグ&ドロップ操作などにより、情報を表示させる。そして、登録したい情報を選択する。図11の例では、ファイル「ILNP.txt」が選択されている。ボタン53B’をクリックして、映像選択部51’で選択された情報登録映像データが再生される。再生された映像データの映像は、例えば映像表示部211に映出される。
ユーザは、映像表示部211に映出された映像を見ながら、選択した情報を登録したいと思った再生位置で、決定ボタン55をクリックする。この決定ボタン55のクリックに応じて、登録テーブルにより、情報登録映像データのクリックがなされた時点での再生位置(フレーム)に対して、選択された情報が関連付けられ、情報登録映像データに対して情報が登録される。なお、情報の登録は、決定ボタン55に限らず、例えば映像表示部211をクリックして行うようにしてもよい。
図12は、この発明の実施の第2の形態により情報登録映像データに対して登録された情報を検索するための一例のユーザインターフェイスを示す。なお、図12において、上述した図5や図11と共通する部分にはそれぞれ同一の符号を付し、詳細な説明を省略する。
図12に一例が示されるように、検索画面220は、上述した登録画面210と一部を共通とするGUIにより構成される。すなわち、検索画面220は、情報登録映像データを指定するための映像選択部51’、情報登録映像データの再生位置を示す再生位置表示部52および情報登録映像データの再生を制御する再生コントロール部53’を備える。これら映像選択部51’、再生位置表示部52’および再生コントロール部53’に対して配置される各ボタン画像やアイテム画像の意味は、上述の登録画面210における対応する部分と略同一であるので、詳細な説明は省略する。
検索ボタン71は、情報登録映像データの再生中にクリックすることで、クリックしたときに再生位置(フレーム)に対して登録された情報を検索する。検索結果は、検索結果表示部72に表示される。
検索画面220による情報検索手順は、図6を用いて説明した実施の第1の形態による方法と、略同一である。すなわち、ユーザは、映像選択部51’で検索に用いる情報登録映像データを選択し、ボタン53B’をクリックして選択された情報登録映像データを再生させる。再生された情報登録映像データは、映像表示部211に映出される。
ユーザは、映像表示部211に映出された映像を見ながら、再生が所望の上邦画と迂路屈されている再生位置(フレーム)に到達したら、検索ボタン71をクリックする。この検索ボタン71のクリックに応じて、登録テーブルにより、情報登録映像データのクリックがなされた再生位置(フレーム)に登録された情報が検索される。検索の結果、該当する情報があれば、当該情報が検索結果表示部72に表示される。この図12の例では、ファイル「UXVB.txt」が検索結果が得られている。なお、情報の検索は、検索ボタン71に限らず、例えば映像表示部211をクリックして行うようにしてもよい。
情報登録映像データの再生速度を可変させて情報を検索することも可能である。例えば、再生コントロール部53’に設けられた早送りボタン53A’をクリックして再生速度を速くして検索を行うことで、目的の情報をより迅速に探し出すことができる。また、図11および図12には示されていないが、本来の再生速度よりも再生速度を遅くするスロー再生ボタンやコマ送りボタンを再生コントロール部53’に設け、スロー再生させながら情報の登録や検索を行うようにもできる。再生速度を遅めることで、登録画面210においてはより多くの情報を情報登録映像データに対して登録することができ、検索画面220においても、より精密に検索することができる。さらに、入力I/F17に入力装置としてジョグダイアルを接続し、このジョグダイアルを用いて再生速度を自在に可変させて情報を検索することも可能である。
さらにまた、入力I/F17に、バイブレーション機能付きのコントロールパッド32を接続し、情報登録映像データに対して情報が登録された再生位置でバイブレーション機能を用いてコントロールパッド32を振動させることも可能である。情報の登録時や検索時に、情報登録映像データによる再生や、情報登録映像データに伴い演奏される音楽データなどに応じて振動させることもできる。
また、上述では、マウス31などのポインティングデバイスを用い、クリックにより、情報登録映像データに登録された情報を検索するように説明したが、これはこの例に限定されない。例えば、キーボード30の所定のキーを情報検索のためのショートカットキーに設定することができる。この場合には、ショートカットキーに設定されたキーに予め手指を待機させておけば、目的の場面を見逃すことが無く、より容易に検索を行うことができる。
なお、この実施の第2の形態においても、上述の実施の第1の形態で説明した様々な拡張例、例えば情報登録映像データそのものや、情報登録映像データの属性情報として再生位置および当該再生位置に関連付けられる情報の記述、情報登録映像データによる階層的な情報の登録、従来のテキストによる検索との併用、情報側に所定の情報登録映像データの再生位置情報と当該情報登録映像データの情報とを付加する点などを適用することができる。
また、上述では、この発明の実施の第2の形態を、をパーソナルコンピュータのようなコンピュータ装置1に適用したものとして説明したが、これはこの例に限定されない。すなわち、この発明は、多数の情報を蓄積でき、映像データの再生が可能で、ユーザにより操作可能な入力手段を備えていれば、他の情報機器にも適用することができる。例えば、家庭用ゲーム機にこの発明を適用することができる。また、映像データの再生機能とユーザデータの保存機能を備えた携帯電話端末装置に対して、この発明を適用することができる。
この発明の実施の第1の形態による情報管理方法について概念的に説明するための略線図である。 この発明の実施の第1の形態に適用可能なコンピュータ装置の一例の構成を概略的に示すブロック図である。 この発明の実施の第1の形態による情報登録を行うための一例のユーザインターフェイスを示す略線図である。 登録画面による一例の情報登録手順を説明するためのフローチャートである。 この発明の実施の第1の形態により情報登録音楽データに対して登録された情報を検索するための一例のユーザインターフェイスを示す略線図である。 検索画面による一例の情報検索手順を説明するためのフローチャートである。 選択ボタンをクリックしたときの演奏位置と、その演奏位置の前後の演奏位置とに登録されている情報を検索結果として表示することを説明するための略線図である。 情報登録音楽データと、当該情報登録音楽データの演奏位置と、情報とを互いに関連付けるための登録テーブルの一例を示す略線図である。 この発明をメーラに適用した例について説明するための略線図である。 この発明の実施の第2の形態による情報管理方法について概念的に説明するための略線図である。 この発明の実施の第2の形態による情報登録を行うための一例のユーザインターフェイスを示す略線図である。 この発明の実施の第2の形態による情報検索を行うための一例のユーザインターフェイスを示す略線図である。
符号の説明
1 コンピュータ装置
17 入力インターフェイス
30 キーボード
31 マウス
32 コントロールパッド
50 登録画面
51 音楽選択部
52 演奏位置表示部
53 演奏コントロール部
54 データ表示部
55 決定ボタン
60 登録テーブル
70 検索画面
71 検索ボタン
72 検索結果表示部

Claims (16)

  1. 時系列で変化するコンテンツデータの時間情報に対して情報を関連付けるようにしたことを特徴とする情報管理方法。
  2. 上記コンテンツデータは音楽データであって、上記時間情報は該音楽データの演奏位置であることを特徴とする情報管理方法。
  3. 請求項2に記載の情報管理方法において、
    上記音楽データは、オーディオデータであることを特徴とする情報管理方法。
  4. 請求項2に記載の情報管理方法において、
    上記音楽データは、演奏指示データであることを特徴とする情報管理方法。
  5. 請求項2に記載の情報管理方法において、
    上記関連付けは、上記音楽データの演奏中になされる登録指示により行うようにされ、上記演奏位置は、上記音楽データの演奏中になされた上記登録指示のタイミングに基づくことを特徴とする情報管理方法。
  6. 請求項2に記載の情報管理方法において、
    上記音楽データの演奏位置に基づき情報を検索するようにしたことを特徴とする情報管理方法。
  7. 請求項6に記載の情報管理方法において、
    上記検索は、上記音楽データの演奏中になされる検索指示により行うようにされ、上記演奏位置は、上記音楽データの演奏中になされた上記検索指示のタイミングに基づくことを特徴とする情報管理方法。
  8. 請求項7に記載の情報管理方法において、
    上記検索指示のタイミングに対して所定範囲内の上記演奏位置に基づき上記情報を検索するようにしたことを特徴とする情報管理方法。
  9. 請求項1に記載の情報管理方法において、
    上記コンテンツデータは、映像データであって、上記時間情報は、該映像データのフレーム位置であることを特徴とする情報管理方法。
  10. 請求項9に記載の情報管理方法において、
    上記関連付けは、上記映像データの再生中になされる登録指示により行うようにされ、上記フレーム位置は、上記映像データの再生中になされた上記登録指示のタイミングに基づくことを特徴とする情報管理方法。
  11. 請求項10に記載の情報管理方法において、
    上記映像データのフレーム位置に基づき情報を検索するようにしたことを特徴とする情報管理方法。
  12. 請求項11に記載の情報管理方法において、
    上記検索は、上記映像データの再生中になされる検索指示により行うようにされ、上記フレーム位置は、上記映像データの再生中になされた上記検索指示のタイミングに基づくことを特徴とする情報管理方法。
  13. 請求項12に記載の情報管理方法において、
    上記検索指示のタイミングに対して所定範囲内の上記フレーム位置に基づき上記情報を検索するようにしたことを特徴とする情報管理方法。
  14. 請求項9に記載の情報管理方法において、
    上記映像データは、音声データおよび/または音楽データを伴うことを特徴とする情報管理方法。
  15. 時系列で変化するコンテンツデータの時間情報に対して情報を関連付ける情報管理方法をコンピュータ装置に実行させることを特徴とする情報管理プログラム。
  16. 時系列で変化するコンテンツデータの時間情報に対して情報を関連付けるようにしたことを特徴とする情報管理装置。
JP2004317843A 2004-11-01 2004-11-01 情報管理方法、情報管理プログラムおよび情報管理装置 Pending JP2006127367A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004317843A JP2006127367A (ja) 2004-11-01 2004-11-01 情報管理方法、情報管理プログラムおよび情報管理装置
EP05799894A EP1818762A4 (en) 2004-11-01 2005-10-26 INFORMATION MANAGEMENT PROCEDURE, INFORMATION MANAGEMENT PROGRAM AND INFORMATION MANAGEMENT APPROACH
CN2005800374329A CN101061456B (zh) 2004-11-01 2005-10-26 信息管理方法和信息管理设备
KR1020077009878A KR20070067179A (ko) 2004-11-01 2005-10-26 정보 관리 방법, 정보 관리 프로그램 및 정보 관리 장치
PCT/JP2005/020054 WO2006049141A1 (ja) 2004-11-01 2005-10-26 情報管理方法、情報管理プログラムおよび情報管理装置
US11/718,338 US7820901B2 (en) 2004-11-01 2005-10-26 Information management method, information management program, and information management device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004317843A JP2006127367A (ja) 2004-11-01 2004-11-01 情報管理方法、情報管理プログラムおよび情報管理装置

Publications (1)

Publication Number Publication Date
JP2006127367A true JP2006127367A (ja) 2006-05-18

Family

ID=36319148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004317843A Pending JP2006127367A (ja) 2004-11-01 2004-11-01 情報管理方法、情報管理プログラムおよび情報管理装置

Country Status (6)

Country Link
US (1) US7820901B2 (ja)
EP (1) EP1818762A4 (ja)
JP (1) JP2006127367A (ja)
KR (1) KR20070067179A (ja)
CN (1) CN101061456B (ja)
WO (1) WO2006049141A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044220A1 (ja) * 2008-10-19 2010-04-22 Yoshino Takashi フェバリットソング選択型音楽付きメールシステム
WO2011105112A1 (ja) * 2010-02-27 2011-09-01 Yoshino Takashi 音楽との同期表示ファイル作成システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD618248S1 (en) 2008-09-23 2010-06-22 Apple Inc. Graphical user interface for a display screen or portion thereof
USD672366S1 (en) * 2011-06-10 2012-12-11 Apple Inc. Display screen or portion thereof with icon
USD733180S1 (en) * 2011-12-21 2015-06-30 Htc Corporation Display screen with an animated graphical user interface
CN103577060B (zh) * 2012-08-07 2017-11-28 联想(北京)有限公司 一种数据处理方法及电子设备
USD742906S1 (en) * 2013-01-23 2015-11-10 Htc Corporation Display screen with a graphical user interface
USD757737S1 (en) 2013-06-09 2016-05-31 Apple Inc. Display screen or portion thereof with icon
USD741874S1 (en) 2013-06-09 2015-10-27 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD727960S1 (en) 2013-06-09 2015-04-28 Apple Inc. Display screen or portion thereof with graphical user interface
USD753678S1 (en) 2014-06-01 2016-04-12 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD753711S1 (en) 2014-09-01 2016-04-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD818037S1 (en) 2017-01-11 2018-05-15 Apple Inc. Type font
USD898755S1 (en) 2018-09-11 2020-10-13 Apple Inc. Electronic device with graphical user interface
USD900925S1 (en) 2019-02-01 2020-11-03 Apple Inc. Type font and electronic device with graphical user interface
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
CN110769309B (zh) * 2019-11-04 2023-03-31 北京字节跳动网络技术有限公司 用于展示音乐点的方法、装置、电子设备和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02121058A (ja) * 1988-10-31 1990-05-08 Matsushita Electric Ind Co Ltd データファイル装置とデータ連想記憶検索方法及び検索装置
JPH06231179A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 情報検索方式
JPH09101928A (ja) * 1995-07-28 1997-04-15 Matsushita Electric Ind Co Ltd 情報提供装置
JPH09130721A (ja) * 1995-10-26 1997-05-16 Sharp Corp 情報処理装置
JPH1165901A (ja) * 1997-08-18 1999-03-09 Toshiba Corp 情報記憶装置及び情報記憶検索装置及び情報記憶方法
JPH11136606A (ja) * 1997-07-24 1999-05-21 Fuji Xerox Co Ltd 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置
JP2002311986A (ja) * 2001-04-17 2002-10-25 Alpine Electronics Inc ナビゲーション装置
JP2003116095A (ja) * 2001-10-04 2003-04-18 Fuji Xerox Co Ltd 映像処理装置
JP2003274352A (ja) * 2002-03-19 2003-09-26 Toshiba Corp コンテンツ記録再生装置およびコンテンツ編集方法
WO2004012105A2 (en) * 2002-07-29 2004-02-05 Hewlett-Packard Development Company, L.P. Presenting a collection of media objects
JP2004134983A (ja) * 2002-10-09 2004-04-30 Olympus Corp 情報処理装置及び情報処理プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1353336B1 (en) * 1993-05-26 2006-07-05 Pioneer Electronic Corporation Karaoke reproducing apparatus
JP3340532B2 (ja) * 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
US6269238B1 (en) * 1997-08-20 2001-07-31 Ithaca Media Corporation Printed book augmented with associated electronic data
JP3211772B2 (ja) * 1998-06-02 2001-09-25 日本ビクター株式会社 円盤状の記録媒体
US6778760B1 (en) * 1999-04-26 2004-08-17 Microsoft Corporation Method and apparatus for synchronizing audio recordings with digital still frame images
JP2001086468A (ja) * 1999-09-14 2001-03-30 Pioneer Electronic Corp 情報信号記録再生装置及び情報信号の記録再生方法
JP4127750B2 (ja) * 2000-05-30 2008-07-30 富士フイルム株式会社 音楽再生機能付デジタルカメラ
US6819715B2 (en) * 2000-07-25 2004-11-16 Matsushita Electric Industrial Co., Ltd. Image decoding method, image decoding apparatus, and data storage medium
JP2002066128A (ja) * 2000-08-31 2002-03-05 Konami Co Ltd ゲーム装置、ゲーム処理方法及び情報記憶媒体
US7277852B2 (en) * 2000-10-23 2007-10-02 Ntt Communications Corporation Method, system and storage medium for commercial and musical composition recognition and storage
JP3879402B2 (ja) * 2000-12-28 2007-02-14 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP2002288015A (ja) 2001-03-28 2002-10-04 Just Syst Corp ファイル検索方法および装置
US7020663B2 (en) * 2001-05-30 2006-03-28 George M. Hay System and method for the delivery of electronic books
US7408106B2 (en) * 2001-06-28 2008-08-05 Comverse Ltd. Tele-karaoke
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7020710B2 (en) * 2002-06-21 2006-03-28 Thomson Licensing Streaming media delivery on multicast networks for network and server bandwidth minimization and enhanced personalization
JP2004127019A (ja) * 2002-10-03 2004-04-22 Sony Corp 情報処理装置および画像表示制御方法と画像表示制御プログラム
WO2004047104A1 (en) * 2002-11-20 2004-06-03 Lg Electronics Inc. Recording medium having data structure for managing reproduction of data recorded thereon and recording and reproducing methods and apparatuses
JP3915720B2 (ja) * 2002-11-20 2007-05-16 ソニー株式会社 映像制作システム、映像制作装置、映像制作方法
WO2004049710A1 (ja) * 2002-11-28 2004-06-10 Sony Corporation 再生装置、再生方法、再生プログラムおよび記録媒体
EP3522163A1 (en) * 2003-01-02 2019-08-07 Samsung Electronics Co., Ltd. Multimedia apparatus with "slide-show" accompanied audio output
JP2004355767A (ja) * 2003-05-30 2004-12-16 Canon Inc 再生装置
JP3800207B2 (ja) * 2003-07-18 2006-07-26 ソニー株式会社 撮像装置
US8065616B2 (en) * 2003-10-27 2011-11-22 Nokia Corporation Multimedia presentation editor for a small-display communication terminal or computing device
BRPI0418524A (pt) * 2004-02-10 2007-05-15 Lg Electronics Inc meio fìsico de gravação, método e aparelho para gravar e reproduzir um estrutura de dados
KR20060047266A (ko) * 2004-04-26 2006-05-18 엘지전자 주식회사 기록매체, 기록매체의 재생방법과 재생장치
JP4687032B2 (ja) * 2004-08-10 2011-05-25 ヤマハ株式会社 音楽情報表示装置及びプログラム
JP4463071B2 (ja) * 2004-10-18 2010-05-12 船井電機株式会社 再生装置および再生方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02121058A (ja) * 1988-10-31 1990-05-08 Matsushita Electric Ind Co Ltd データファイル装置とデータ連想記憶検索方法及び検索装置
JPH06231179A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 情報検索方式
JPH09101928A (ja) * 1995-07-28 1997-04-15 Matsushita Electric Ind Co Ltd 情報提供装置
JPH09130721A (ja) * 1995-10-26 1997-05-16 Sharp Corp 情報処理装置
JPH11136606A (ja) * 1997-07-24 1999-05-21 Fuji Xerox Co Ltd 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置
JPH1165901A (ja) * 1997-08-18 1999-03-09 Toshiba Corp 情報記憶装置及び情報記憶検索装置及び情報記憶方法
JP2002311986A (ja) * 2001-04-17 2002-10-25 Alpine Electronics Inc ナビゲーション装置
JP2003116095A (ja) * 2001-10-04 2003-04-18 Fuji Xerox Co Ltd 映像処理装置
JP2003274352A (ja) * 2002-03-19 2003-09-26 Toshiba Corp コンテンツ記録再生装置およびコンテンツ編集方法
WO2004012105A2 (en) * 2002-07-29 2004-02-05 Hewlett-Packard Development Company, L.P. Presenting a collection of media objects
JP2004134983A (ja) * 2002-10-09 2004-04-30 Olympus Corp 情報処理装置及び情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044220A1 (ja) * 2008-10-19 2010-04-22 Yoshino Takashi フェバリットソング選択型音楽付きメールシステム
WO2011105112A1 (ja) * 2010-02-27 2011-09-01 Yoshino Takashi 音楽との同期表示ファイル作成システム

Also Published As

Publication number Publication date
EP1818762A1 (en) 2007-08-15
EP1818762A4 (en) 2009-06-03
KR20070067179A (ko) 2007-06-27
US20070294301A1 (en) 2007-12-20
US7820901B2 (en) 2010-10-26
WO2006049141A1 (ja) 2006-05-11
CN101061456B (zh) 2010-06-09
CN101061456A (zh) 2007-10-24

Similar Documents

Publication Publication Date Title
US7820901B2 (en) Information management method, information management program, and information management device
US7735012B2 (en) Audio user interface for computing devices
US11334619B1 (en) Configuring a playlist or sequence of compositions or stream of compositions
JP5048768B2 (ja) グラフィック表示
JP4349313B2 (ja) 再生装置,再生制御方法およびプログラム
JP4214475B2 (ja) 情報処理装置および方法、並びにプログラム
US9135901B2 (en) Using recognition-segments to find and act-upon a composition
US8819043B2 (en) Combining song and music video playback using playlists
TW200807297A (en) Improved mobile communication terminal and method
US8716584B1 (en) Using recognition-segments to find and play a composition containing sound
JP2007528572A (ja) マルチメディアファイル再生機器用ユーザインターフェース
JP2007528572A5 (ja)
JP2009252054A (ja) 表示装置
JP5036716B2 (ja) 個人用通信デバイスにおけるファイルの管理
JP2008204560A (ja) 再生装置、再生方法、プログラム及び記録媒体
KR100732665B1 (ko) 음악파일 관리 기능을 갖는 사용자 단말장치 및 그의 관리방법
JP5441582B2 (ja) オーディオ装置及びイントロスキャン方法
JP2005011392A (ja) 再生装置及び記録装置
JP2007280442A (ja) 情報再生装置、リスト作成方法、リスト作成プログラムおよび記録媒体
JP5570794B2 (ja) オーディオ再生装置
CA2621128C (en) Management of files in a personal communication device
JP2006228373A (ja) 楽曲再生装置,楽曲ランダム再生方法,楽曲再生方法
JP2005044403A (ja) オーディオ装置
JP2008269780A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2003242758A (ja) マルチメディアプレーヤーを使って記録媒体の特定箇所を選択的に再生する方法と装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100330