JP2004282614A - Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method - Google Patents

Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method Download PDF

Info

Publication number
JP2004282614A
JP2004282614A JP2003074208A JP2003074208A JP2004282614A JP 2004282614 A JP2004282614 A JP 2004282614A JP 2003074208 A JP2003074208 A JP 2003074208A JP 2003074208 A JP2003074208 A JP 2003074208A JP 2004282614 A JP2004282614 A JP 2004282614A
Authority
JP
Japan
Prior art keywords
data
material image
audio data
image group
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003074208A
Other languages
Japanese (ja)
Inventor
Yoshiki Wakita
由喜 脇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003074208A priority Critical patent/JP2004282614A/en
Publication of JP2004282614A publication Critical patent/JP2004282614A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display material explained in voice, among a plurality of material of books or newspapers, while listening to voices about material contents of the books or newspapers without complicated work. <P>SOLUTION: When the distribution of a material group is requested from a PC 110 through a network 1 to a synchronous reproduction data generation server 100 by user operations, according to the user operations, a plurality of material image display data included in the material group are successively transmitted to the PC 110 and material images are displayed while being successively switched. While such material images are displayed, voice data (user's material reading) relating to such a material group are transmitted from the PC 110 to the synchronous reproduction data generation server 100, and synchronous reproduction data with which such voice data reproduction and material image display can be synchronized, are generated. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、同期再生データ生成装置、同期再生コンテンツ提供装置、同期再生データ生成方法およびコンテンツ提供方法に関する。
【０００２】
【従来の技術】
子供に童話などを読み聞かせる場合などには、親等は童話の本を開き子供に見せながら読んであげるといったことが行われる。このような読み聞かせは子供にとっては楽しみであり、また教育上も重要なものと考えられるが、このような読み聞かせを何度も行うには時間や手間を要することになる。
【０００３】
また、視力障害者、視力の弱い人、高齢者等にとっては、文字の小さい新聞、雑誌、その他の書籍等を読むのが困難な場合もあり、このような人々が書籍等から情報を有効に得られないといったケースもある。
【０００４】
このように書籍などの文書を読み聞かせるために、文書データ中の文書を言語解析し、言語解析された文書を合成して音声として出力する装置、いわゆる文書読み上げ装置を用いる方法がある（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開２０００−９９０７３号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、童話、小説、雑誌などの書籍や新聞等は複数ページにわたる者であることが多く、またそのページ中に挿絵や写真が含まれたり、また文字の大きさも一律ではなく、見出し文字等が用いられる等その掲載内容にメリハリがつけられている場合もあり、挿絵、写真や見出し文字等によって掲載内容がより容易に理解できる場合もある。
【０００７】
上記のような文書読み上げ装置によっては、予め用意されている文書データに基づく読み上げを行うことができるが、聴いている者は挿絵、写真等を見ることができず、読み上げられた内容を十分に把握できなかったりする場合もある。もちろん、文書読み上げ装置に読み上げさせる文書と同内容の書籍、新聞を用意して、それを参照しながら読み上げ内容を聞くといったことで上記の問題を解消することができるが、その作業が面倒である。
【０００８】
この発明は上記に鑑みてなされたもので、面倒な作業を行うことなく、書籍や新聞等の資料内容に関する音声で聴きながら、書籍や新聞等の複数の資料のうち音声で説明されている資料を表示させることができる同期再生コンテンツ提供装置およびコンテンツ提供方法、このような同期再生が可能なデータを生成する同期再生データ生成装置および同期再生データ生成方法を得ることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生データ生成装置であって、複数の資料画像表示データを有する資料画像群を記憶する画像データ記憶手段と、ネットワークを介して前記通信端末から送信される資料画像群を指定する指定情報が前記通信手段によって受信された場合に指定された資料画像群をネットワークを介して前記通信端末に送信するよう前記通信手段を制御する画像送信手段と、前記画像送信手段によって送信された資料画像群に基づく画像表示がなされている間に取得された音声データが前記ネットワークを介して前記通信端末から供給されて前記通信手段によって受信された場合に、受信された音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成手段とを具備することを特徴とする同期再生データ生成装置である。
【００１０】
請求項１にかかる発明によれば、通信端末から所望する資料画像群を指定する指定情報をネットワークを介して送信すると、かかる指定に応じた資料画像群が送信され、通信端末において資料画像群に含まれる資料画像表示データに基づく画像表示をなすことができる。このような画像表示がなされている間に、表示される資料に関する説明などの音声データを取得して通信端末から送信することで、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができる。
【００１１】
また、請求項２にかかる発明は、請求項１にかかる発明の構成において、前記画像送信手段は、前記通信端末から送信される資料画像切り替え指示にしたがって順次資料画像群に含まれる資料画像表示データを送信し、前記同期再生データ生成手段は、前記切り替え指示が行われたタイミングに基づいて前記音声データの再生中に前記資料画像群に含まれる各資料画像表示データに基づく画像表示を行うべきタイミングを示すタイミング情報を取得し、当該タイミング情報に基づいて前記同期再生データを生成することを特徴とする。
【００１２】
請求項２にかかる発明によれば、音声データの再生中に各資料画像を表示させるべきタイミングで各資料画像を表示させることが可能な同期再生データを得ることができる。
【００１３】
また、請求項３にかかる発明は、請求項２にかかる発明の構成において、前記同期再生データ生成手段は、前記通信端末のユーザによって前記各資料画像表示データに基づく画像表示状態の変更指示があった場合に、その変更指示があったタイミングに基づいて前記資料画像群に含まれる各資料画像表示データに基づく画像表示状態を変更すべきタイミングを示す表示状態タイミング情報を取得し、当該表示状態タイミング情報に基づいて前記同期再生データを生成することを特徴とする。
【００１４】
請求項３にかかる発明によれば、資料画像が表示されているときにユーザから表示拡大など表示状態の変更指示があった場合には、その指示タイミングから表示状態を変更すべきタイミングを取得し、取得したタイミングで表示状態が変更されるような同期再生データを得ることができる。
【００１５】
また、請求項４にかかる発明は、請求項１ないし３のいずれかにかかる発明の構成において、前記通信手段によって受信される前記指定情報に前記資料画像群を指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群を特定する音声解析手段をさらに具備し、前記画像送信手段は、前記音声解析手段によって特定された資料画像群を送信するよう前記通信手段を制御することを特徴とする。
【００１６】
請求項４にかかる発明によれば、通信端末のユーザは声を発し、その音声データを送信すれば、その音声データの内容が解析されて指定した資料画像群が特定される。したがって、ユーザは指定したい資料画像群を特定するための内容を声で発するといった簡易な作業で希望する資料画像群を指定することができる。
【００１７】
また、請求項５にかかる発明は、請求項１ないし４のいずれかにかかる発明の構成において、通信端末から前記ネットワークを介して供給される資料画像群が前記通信手段によって受信された場合に、受信された前記資料画像群を前記画像データ記憶手段に書き込む画像記録手段をさらに具備することを特徴とする。
【００１８】
請求項５にかかる発明によれば、あるユーザが自作したオリジナルの資料画像群を通信端末からネットワークを介して送信すれば、その資料画像群が新たに他のユーザ等に提供可能な資料画像群として記憶される。したがって、提供可能な資料画像群をより多くすることができる。
【００１９】
また、請求項６にかかる発明は、請求項１ないし５のいずれかにかかる発明の構成において、前記同期再生データ生成手段によって生成される同期再生データを、前記指定情報の送信元である前記通信端末に前記ネットワークを介して送信するよう前記通信手段を制御する同期再生データ送信手段をさらに具備することを特徴とする。
【００２０】
請求項６にかかる発明によれば、ユーザが指定した資料画像群に含まれる資料画像の表示と、ユーザがかかる資料画像群に関連して取得して送信した音声データの再生とを同期させることができる同期再生データを当該ユーザの通信端末に送信されるので、ユーザはこの同期再生データに基づいた資料画像表示と音声データ再生とを視聴することができる。
【００２１】
また、請求項７にかかる発明は、前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータであることを特徴とする。
【００２２】
請求項７にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる同期再生データを得ることができる。
【００２３】
また、請求項８にかかる発明は、通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生コンテンツ提供装置であって、複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶する記憶手段と、ネットワークを介して前記通信端末から送信される、資料画像群および当該資料画像群に関連する前記音声データを指定する指定情報が前記通信手段によって受信された場合に、指定された資料画像群に含まれる資料画像表示データおよび前記音声データを、前記同期用データに基づいたタイミングで前記ネットワークを介して前記通信端末に送信するよう前記通信手段を制御し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づく再生とを同期させて行わせるコンテンツ送信手段とを具備することを特徴とする同期再生コンテンツ提供装置である。
【００２４】
請求項８にかかる発明によれば、ユーザが通信端末から視聴したい資料画像群およびこれに関連する音声データを指定する指定情報を送信すれば、音声データが送信されて通信端末で再生されている間に、同期用データに基づいて当該資料画像群に含まれる複数の資料画像表示データが所定のタイミングで順次送信されて通信端末において表示されることになる。したがって、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができる。
【００２５】
また、請求項９にかかる発明は、請求項８にかかる発明の構成において、前記コンテンツ送信手段は、前記音声データの再生時刻と各前記資料画像表示データとが対応付けられた前記同期用データに基づいて、前記前記音声データに基づく再生時刻に応じて前記資料画像表示データを送信するよう前記通信手段を制御することを特徴とする。
【００２６】
請求項９にかかる発明によれば、音声データの再生時刻が、同期用データにおいてある資料画像表示データに対応付けられた再生時刻となったときに、当該資料画像表示データが通信端末に送信される。このように送信されたタイミングで資料画像表示データを表示すれば、音声データに基づく音声再生と資料画像表示との同期再生が可能となる。
【００２７】
また、請求項１０にかかる発明は、請求項８または９にかかる発明の構成において、前記通信手段によって受信される前記指定情報に前記資料画像群および前記音声データを指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群および前記音声データを特定する音声解析手段をさらに具備し、前記画像送信手段は、前記音声解析手段によって特定された資料画像群および前記音声データを送信させることを特徴とする。
【００２８】
請求項１０にかかる発明によれば、通信端末のユーザは声を発し、その音声データを送信すれば、その音声データの内容が解析されて指定した資料画像群および音声データが特定される。したがって、ユーザは指定したい資料画像群および音声データを特定するための内容を声で発するといった簡易な作業で希望する資料画像群および音声データを指定することができる。
【００２９】
また、請求項１１にかかる発明は、請求項８ないし９のいずれかにかかる発明の構成において、通信端末から前記ネットワークを介して供給される資料画像群、これに関連する前記音声データおよび当該資料画像群に基づく画像表示と前記音声データに基づく再生とを同期させるための同期用データが前記通信手段によって受信された場合に、受信された前記資料画像群、前記音声データおよび前記同期用データを前記記憶手段に書き込む記録手段をさらに具備することを特徴とする。
【００３０】
請求項１１にかかる発明によれば、あるユーザが自作したオリジナルの資料画像群、音声データおよび同期用データを通信端末からネットワークを介して送信すれば、その資料画像群等のコンテンツが新たに他のユーザ等に提供可能なコンテンツとして記憶される。したがって、提供可能なコンテンツをより多くすることができる。
【００３１】
また、請求項１２にかかる発明は、請求項８ないし１１のいずれかにかかる発明の構成において、前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータであることを特徴とする。
【００３２】
請求項１２にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる。
【００３３】
また、請求項１３にかかる発明は、請求項８ないし１２のいずれかにかかる発明の構成において、前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段をさらに具備することを特徴とする。
【００３４】
請求項１３にかかる発明によれば、通信端末に対して資料画像群および音声データを同期再生させるといったコンテンツ提供を行った場合に、その通信端末のユーザに対して課金を行うことができる。
【００３５】
また、請求項１４にかかる発明は、請求項１１にかかる発明の構成において、前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段であって、課金処理の対象となる前記通信端末のユーザが、前記記録手段が前記記憶手段に記録させた資料画像群、音声データおよび同期用データの送信主であるか否かを判別し、当該判別結果に基づいた処理を行うことを特徴とする。
【００３６】
請求項１４にかかる発明によれば、資料画像群、音声データおよび同期用データといったコンテンツの送信主である場合には、資料画像群等のコンテンツの提供を受けた場合にも課金をしない、または減額する等の優遇措置をとることができ、これにより自作コンテンツの送信を促すことができ、結果として提供可能なコンテンツを多くすることができる。
【００３７】
また、請求項１５にかかる発明は、ネットワークを介して前記通信端末から送信される、複数の資料画像表示データを有する資料画像群を指定する指定情報を受信した同期再生データ生成サーバが、指定された資料画像群をネットワークを介して前記通信端末に送信し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像を表示させる画像表示ステップと、前記通信端末から前記ネットワークを介して送信される、前記画像表示ステップにおいて前記資料画像群に基づく画像表示がなされている間に取得された音声データを受信した前記同期再生データ生成サーバが、受信した音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成ステップとを具備することを特徴とする同期再生データ生成方法である。
【００３８】
請求項１５にかかる発明によれば、通信端末から所望する資料画像群を指定する指定情報をネットワークを介して送信すると、かかる指定に応じた資料画像群が送信され、資料画像群に含まれる資料画像表示データに基づく画像表示がなされる。このような画像表示がなされている間に、表示される資料に関する説明などの音声データを取得して通信端末から送信することで、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができる。
【００３９】
また、請求項１６にかかる発明は、複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶するコンテンツ提供サーバからネットワークを介して通信端末にコンテンツを提供する方法であって、ネットワークを介して前記通信端末から送信される、資料画像群およびこれに関連する前記音声データを指定する指定情報を受信した前記コンテンツ提供サーバが、指定された資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づいた再生が前記通信端末において同期して行われるよう前記同期用データに基づいてタイミングを制御して指定された前記資料画像群に含まれる資料画像表示データおよび前記音声データを前記ネットワークを介して前記通信端末に送信するコンテンツ送信ステップを具備することを特徴とするコンテンツ提供方法である。
【００４０】
請求項１６にかかる発明によれば、ユーザが通信端末から視聴したい資料画像群およびこれに関連する音声データを指定する指定情報を送信すれば、音声データが送信されて通信端末で再生されている間に、同期用データに基づいて当該資料画像群に含まれる複数の資料画像表示データが所定のタイミングで順次送信されて通信端末において表示されることになる。したがって、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができる。
【００４１】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる同期再生データ生成装置、同期再生コンテンツ提供装置、同期再生データ生成方法およびコンテンツ提供方法の好適な実施の形態を詳細に説明する。
【００４２】
Ａ．第１実施形態
図１は、本発明の第１実施形態にかかる同期再生データ生成方法が適用される同期再生データ配信サービスを実施するためのネットワークシステムの全体構成を示す図である。同図に示すように、このネットワークシステムは、インターネット等のネットワーク１を介してデータの互いに授受が可能な同期再生データ生成サーバ１００と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１１０とを備えている。
【００４３】
このネットワークシステムにより実施される同期再生データ配信サービスは、複数ページにわたる資料画像の表示と、その資料に関連する音声再生（例えば資料の朗読や説明など）とを同期させて行うための同期再生データを生成して配信するサービスであり、ＰＣ１１０はかかるサービスによって同期再生データの配信を受けるユーザが利用する端末である。なお、本明細書において資料画像の表示と音声データの同期再生とは、音声データの再生時刻等に応じて順次資料画像の表示ページを切り替えていくといったように音声再生と資料画像表示を関連付けて制御することをいう。
【００４４】
また、この同期再生データ配信サービスでは、同期再生させる音声データをサービスを受けるユーザが作成することができ、つまりユーザオリジナルの音声データとすることができ、かかるオリジナルの音声データをＰＣ１１０から同期再生データ生成サーバ１００に送信して同期再生データを生成させ、その生成された同期再生データの配信を受けるようになっている。
【００４５】
このようなサービスの利用に用いられるＰＣ１１０は、インターネット等のネットワーク１に接続するための通信機能と、当該ネットワーク１を介してＷｅｂサーバ等との間でデータの授受を行ってＷｅｂページの閲覧等を行うためのブラウザ機能とを備えている。このような機能を備えることで、ＰＣ１１０は、ネットワーク１を介して同期再生データ生成サーバ１００とデータの授受を行う通信端末として機能する。また、ＰＣ１１０には、資料画像表示と同期再生させるユーザオリジナルの音声データを取得するためのマイクロホン１１５が接続されている。
【００４６】
同期再生データ生成サーバ１００は、同期再生データ配信サービスを実施する事業者等によって設置されるサーバであり、単一または互いに通信可能な複数のパーソナルコンピュータやワークステーション等で構成されている。そして、内蔵するハードディスク等の外部記憶装置に格納されたプログラムを実行することにより、同期再生データ生成のための種々の機能を実現する。
【００４７】
より具体的には、同期再生データ生成サーバ１００は、通信インターフェース（ＩＦ：ｉｎｔｅｒｆａｃｅ）１５０と、資料群送信部１６０と、インデキシング部１７０と、資料記憶部１８０と、コンテンツ送信部１９０とを備える。
【００４８】
通信インターフェース（通信手段）１５０は、インターネットなどのネットワーク１を介して他の通信端末とデータの授受を行うものであり、ルータなどを備えている。
【００４９】
資料群送信部１６０は、ＰＣ１１０から送信される配信を希望する資料群を指定する情報を含む資料配信要求が通信インターフェース１５０によって受信された場合に、かかる指定にしたがった資料群を資料記憶部１８０から読み出す。そして、資料群送信部１６０は、読み出した資料群をネットワーク１を経由して要求元であるＰＣ１１０に送信するよう通信インターフェース１５０を制御する。
【００５０】
資料記憶部１８０は、ハードディスクドライブ等の記憶装置を有しており、図２に示すように、多数の資料群を記憶している。１つの資料群は、童話、小説、雑誌、教育用図書などの書籍の１ページに相当する内容や、新聞の１ページに相当する内容を表示させるための資料画像表示データを書籍や新聞のページ数に相当する数だけ有している。
【００５１】
すなわち、ある童話について資料群Ａは、その童話書籍のすべてのページ（１〜ｎページ）の各々を表示させるための資料画像表示データを含んでおり、ある日の新聞について資料群Ｂは、その新聞のすべてのページ（１〜ｎページ）の各々を表示させるための資料画像表示データを含んでいる。
【００５２】
資料記憶部１８０には、以上のような童話、小説、教育用図書（参考書や問題集など）、雑誌などの種々の書籍や新聞に対応する資料群が記憶されているのである。このような資料群に含まれる資料画像表示データとしては、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等種々の公知の画像表示データのフォーマットを採用することがでる。
【００５３】
なお、これらの資料群は、実際に発刊された書籍や新聞と全くの同一の内容を表示させるようなものであってもよいが、書籍や新聞の内容と変更したものを表示させるものであってもよいし、書籍としては発刊していない内容を表示させるものであってもよく、書籍や新聞等に類似した形式のオリジナルの資料群を作成して記憶させるようにしてもよい。
【００５４】
図１に示す資料群送信部１６０は、上記のように種々の資料群が記憶されている資料記憶部１８０から、ＰＣ１１０から送信された配信要求者の指定にしたがった資料群を読出し、資料群に含まれる資料画像表示データを順次ネットワーク１を介してＰＣ１１０に送信し、ＰＣ１１０の表示部に送信した資料画像表示データに対応する資料画像を表示させるのである。
【００５５】
また、資料群送信部１６０は、音声解析部１６１を有している。音声解析部１６１は、ＰＣ１１０から送信される資料配信要求に、資料群を指定するための音声データが含まれている場合、その音声データの内容を解析し、その解析結果に基づいて配信要求者が指定した資料郡を特定する。より具体的には、音声解析部１６１は、当該音声データに対して音声認識処理を行い、当該音声データに含まれる文字列（テキストデータ等）を取得する。音声解析部１６１は、図３に示す予め用意された資料群特定用データベースを参照することで、取得した文字列に基づいて資料群を特定する。
【００５６】
同図に示すように、資料群特定用データベースには、予め資料記憶部１８０に記憶されている種々の資料群の各々に、その資料群の内容を特定するためのキーワードとなる文字列が１または複数が対応付けられて記憶されている。このようなキーワードとしては、その資料群のタイトルそのものであってもよいし、童話などの書籍に対応する資料群の場合には、その内容に関するもの、例えば童話なら「王様」、「姫様」など、教育用書籍なら「数学」、「初級」などである。
【００５７】
音声解析部１６１は、このような資料群特定用データベースの中に、音声データから取得した文字列と一致するものがあるか否かを判別し、一致した文字列に対応付けられた資料群を特定するのである。なお、資料群のタイトルそのものが取得した文字列に含まれていた場合には、文字列と一致したタイトルの資料群を特定するようにしてもよいが、タイトル以外のキーワード、例えば資料群の内容に関するキーワード（「王様」、「姫様」）などの場合には、複数のキーワードが取得した文字列中に含まれていた場合にのみ、文字列が一致したものとして資料群を特定するようにしてもよい。
【００５８】
図１に戻り、インデキシング部１７０は、上記のように資料群送信部１６０から指定された資料群に含まれる資料画像表示データが送信されてＰＣ１１０の表示部に資料画像が表示されている間に、当該ＰＣ１１０からネットワーク１を介して送信される音声データが受信された場合に、当該音声データの再生と、指定された資料郡に含まれる各資料画像表示データに基づく画像表示とを同期させるための同期再生データを生成する。
【００５９】
同期再生データとは、音声データが再生されている間に、その音声データの再生時刻に応じて資料群に含まれる資料画像表示データに基づく画像表示を順次切り替えて行うためのデータであり、かかるデータ生成のためには再生時刻と各資料画像表示のタイミング、つまり再生時刻がどの時にどの資料画像を表示させるかを決定する必要がある。インデキシング部１７０は、資料群送信部１６０から資料群に含まれる各資料画像表示データを配信要求元であるＰＣ１１０に送信し、表示が切り替えられたタイミングを示すタイミング情報を取得し、かかるタイミング情報に示されるタイミングに基づいて同期再生データを生成しているが、当該生成処理についての詳細は後述する。
【００６０】
コンテンツ送信部１９０は、上記のようにインデキシング部１７０によって生成された同期再生データ（音声データ、資料群およびこれらを同期再生させるための同期再生用データ）を、同期再生データの配信要求元であるＰＣ１１０にネットワーク１を経由して送信するよう通信インターフェース１５０を制御する。
【００６１】
以上が本実施形態にかかる同期再生データ生成方法が適用される同期再生データ配信サービスを実施するためのネットワークシステムの各部の構成である。
【００６２】
次に、同期再生データ配信サービスが実施される際の上記構成のネットワークシステムの各部の動作について図４を参照しながら説明する。
【００６３】
同図に示すように、同期再生データの生成および配信を希望するユーザは、ＰＣ１１０を適宜操作し、これによりＰＣ１１０でブラウザを起動させ、予め決められたアドレス（同期再生データ生成サーバ１００を示すもの）を指定してネットワーク１に接続させる（ステップＳａ１）。
【００６４】
ＰＣ１１０からのアクセスを受けた同期再生データ生成サーバ１００は、資料群を選択指定をユーザに促すためのＷｅｂページをネットワーク１を経由してＰＣ１１０に送信する（ステップＳａ２）。このＷｅｂページを受信したＰＣ１１０の表示部には、例えば選択指定可能な多数の資料群のタイトルなどが一覧表示されており、ユーザはかかる一覧表示された資料群を選択指定する。なお、タイトルが不明な資料群の選択指定を可能等するために、資料の内容に関するキーワード（小説の作者名、主人公名等）等を指定することで、当該キーワードに一致する資料郡のみを一覧表示させて選択させるようにしてもよいし、上述したようにユーザがタイトルやキーワードを発声することでマイクロホン１１５を介した音声入力を利用して資料群の指定を行うようにしてもよい。
【００６５】
ユーザはＰＣ１１０のマウス等を操作し、資料群を指定するための情報（音声データであってもよい）を入力し配信要求を指示すると、かかる指示に応じてＰＣ１１０はネットワーク１を経由して、資料群を指定するための情報を含む資料群配信要求を同期再生データ生成サーバ１００に送信する（ステップＳａ３）。
【００６６】
かかる配信要求を受けた同期再生データ生成サーバ１００の資料群送信部１６０は、この配信要求に含まれる指定にしたがって資料記憶部１８０から資料群を読出し、かかる資料群のＰＣ１１０への送信を開始する（ステップＳａ４）。ここで、資料群送信部１６０は、指定された資料郡に含まれる１ページ目の資料を表示するための資料画像表示データを送信し、これによりＰＣ１１０の表示部にはかかる１ページ目の資料画像が表示される。
【００６７】
このように１ページ目の資料画像が表示された状態で、ユーザはＰＣ１１０を適宜操作し、マイクロホン１１５から入力される音声データの送信を開始するよう指示する。この指示をなした後、ユーザはマイクロホン１１５に向けて、表示された資料を朗読する等音声を発し、当該音声に対応する音声データがマイクロホン１１５からＰＣ１１０に取り込まれ、かかる音声データのネットワーク１を経由した同期再生データ生成サーバ１００へのリアルタイム送信が開始される（ステップＳａ５）。
【００６８】
このような音声データの送信が開始されると、同期再生データ生成サーバ１００のインデキシング部１７０は、その音声データを記録するとともに、音声データの送信開始時からタイマーのカウントを開始する（ステップＳａ６）。そして、ユーザの発した音声に基づく音声データが送信されている間に、ユーザがＰＣ１１０の表示部に表示される資料画像を次ページのものに切り替えることをＰＣ１１０に指示した場合、その旨がＰＣ１１０からネットワーク１を介して同期再生データ生成サーバ１００に送信される（ステップＳａ７）。
【００６９】
例えば、ユーザが表示されている資料（童話や新聞）を朗読し終えると、次ページの朗読を行うために表示切り替え指示を行うと、その指示がＰＣ１１０から同期再生データ生成サーバ１００に送信されるのである。かかる表示切り替え指示を受けた同期再生データ生成サーバ１００の資料群送信部１６０は指定された資料群の中から先に送信した資料画像表示データの次ページに対応する資料画像表示データをネットワーク１を介してＰＣ１１０に送信し（ステップＳａ８）、これによりＰＣ１１０の表示部には次ページの資料画像が表示される。
【００７０】
また、このような資料画像表示切り替え指示を受けると、同期再生データ生成サーバ１００のインデキシング部１７０は、タイマカウント開始（音声データの送信開始）から当該指示が行われて表示が切り替えられた時点の経過時間と、どのページからどのページに切り替えがなされたかといった表示切り替え内容を含むタイミング情報を取得する（ステップＳａ９）。
【００７１】
その後も、ユーザがＰＣ１１０の表示部に表示させるべき資料画像のページの切り替えを指示すると、上記ステップＳａ７〜ステップＳａ９の処理が繰り返され、当該指示に応じた資料画像表示データが同期再生データ生成サーバ１００から順次ＰＣ１１０に送信されて資料画像が表示されるとともに、その表示切り替え内容と音声データ送信開始からの切り替えタイミングを含むタイミング情報が取得される。
【００７２】
そして、ユーザからＰＣ１１０に対して音声データの入力を終了した旨の指示があった場合にはＰＣ１１０からネットワーク１を介してその旨が同期再生データ生成サーバ１００に送信される（ステップＳａ１０）。音声データ送信終了通知を受けた同期再生データ生成サーバ１００のインデキシング部１７０は、指定された資料群、ＰＣ１１０から送信された音声データおよび上記のように取得したタイミング情報に基づいて、資料群に含まれる各資料画像表示データに基づく画像表示と、音声データに基づく音声再生とを同期させるための同期再生データを生成する（ステップＳａ１１）。
【００７３】
ここで、インデキシング部１７０が生成する同期再生データ、画像表示データと、音声データといった異なる形式のデータの再生を制御して同期させるデータのフォーマットとして、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）形式があり、本実施形態におけるインデキシング部１７０は同期再生データとしてかかるＳＭＩＬ形式のデータを作成する。
【００７４】
そして、インデキシング部１７０は、タイミング情報等から以下のデータを取得し、これらをＳＭＩＬ形式にしたがって記述することでＳＭＩＬ形式のプレゼンテーションデータを作成する。
（１）各資料画像の表示タイミング（開始時刻、終了時刻）
（２）各資料画像（ＪＰＥＧ２０００等）の保存場所（ファイルパス情報）
（３）各資料画像に対応する音声データの保存場所（ファイルパス情報）
【００７５】
このように情報に基づいて作成される同期再生データにおける、資料画像と音声データとの同期の対応関係について図５に模式的に示す。同図に示す例では、音声データの送信開始時（０：００）から１：１５経過後に１ページ目の資料画像から２ページ目の資料画像への表示切り替え指示がなされ、２：４５の時点で３ページ目の資料画像への表示切り替え指示がなされ、３：５３の時点で４ページ目の資料画像への表示切り替え指示がなされたものとする。すなわち、ＰＣ１１０の表示部には、０：００〜１：１５の間は１ページ目の資料画像が表示され、１：１５〜２：４５の間は２ページ目の資料画像が表示され、２：４５〜３：５３の間は３ページ目の資料画像が表示されていたことになる。
【００７６】
ＰＣ１１０から同期再生データ生成サーバ１００への音声データ送信時に以上のようなタイミングで資料画像の表示切り替えが行われると、１ページ目の資料画像が表示されている間（時刻０：００〜１：１５）にリアルタイム送信された音声データ（つまり、この間にユーザが発した音声に対応する音声データ）と１ページ目の資料画像が対応付けられている。
【００７７】
また、２ページ目の資料画像が表示されている間（時刻１：１５〜２：４５）にリアルタイム送信された音声データと２ページ目の資料画像が対応付けられている。さらに３ページ目の資料画像が表示されている間（時刻２：４５〜３：５３）にリアルタイム送信された音声データが３ページ目の資料画像に対応付けられている。
【００７８】
インデキシング部１７０は、このような対応関係に基づいて資料画像表示データに基づく画像表示タイミングや音声データの再生を制御することで画像表示と音声再生とを同期させることができるＳＭＩＬ形式のデータを作成するのである。
【００７９】
インデキシング部１７０によって以上のような同期再生データが生成されると、同期再生データ生成サーバ１００のコンテンツ送信部１９０は、生成された同期再生データをネットワーク１を介して配信要求元であるＰＣ１１０に対して送信する（ステップＳａ１２）。
【００８０】
同期再生データ生成サーバ１００からの同期再生データの送信を受けたＰＣ１１０によれば、かかる同期再生データに基づく資料画像表示と音声データの同期再生が可能となる。すなわち、配信された同期再生データを所定の再生ソフトウェアにより再生することで、音声データの再生時刻に応じたページの資料画像がＰＣ１１０の表示部に表示されるので、ユーザは資料に関する音声（資料である童話、小説、新聞の朗読や説明など）を聴きながら、その音声によって朗読等されているページの資料を見ることができる。したがって、文書を単に読み上げる文書読み上げ装置と異なり、朗読等されている文書等の資料に挿絵、写真、見出し文字があったりするなど朗読を聞くだけでは正確に資料の内容を理解できない場合であっても、朗読等されている部分に対応するページの資料が表示されているので、資料の内容をより正確に理解することができるようになる。また、音声データの再生進行に応じて表示される資料のページが順次自動的に切り替わるので、朗読等されている部分に対応するページめくりのための操作等を行う必要がない。
【００８１】
しかも、再生される音声は事業者によって用意されたものではなく、ユーザが自ら発したオリジナルの音声であり、例えば子供に童話の読み聞かせなどをする場合であっても、電子的な合成音等による読み聞かせではなく、母親が発した音声による読み聞かせを行うことができる。また、一度上記のような同期再生データを生成しておけばその後母親などは実際に童話などを読むことなく、当該データを再生することで子供に対して読み聞かせを行うことができ、繰り返し読みか聞かせを行うといった必要がなくなり負担を軽減することができる。
【００８２】
Ｂ．第２実施形態
次に、図６は本発明の第２実施形態にかかるコンテンツ提供方法が適用されるコンテンツ提供サービスを実施するためのネットワークシステムの全体構成を示す。なお、第２実施形態において、第１実施形態と共通する構成要素には同一の符号をつけてその説明を省略する。
【００８３】
同図に示すように、このネットワークシステムは、インターネット等のネットワーク１を介してデータの互いに授受が可能なコンテンツ提供サーバ２００と、ＰＣ１１０と、ＰＣ１２０とを備えている。
【００８４】
このネットワークシステムにより実施されるコンテンツ提供サービスは、クライアントであるＰＣ１１０から要求があった場合に、複数ページにわたる資料画像の表示と、その資料に関連する音声再生（例えば資料の朗読や説明など）とをクライアントＰＣ１１０において同期させて行わせるといったサービスであり、ＰＣ１１０はかかるサービスによって同期再生データの配信を受けるユーザが利用する端末である。また、当該コンテンツ提供サービスでは、上記のような同期再生を行うためのコンテンツデータをクライアントＰＣからネットワーク１を介してコンテンツ提供サーバ２００にアップロードすることができるようになっている。以下、このようなサービスを行うための当該ネットワークシステムの各部の構成について説明する。
【００８５】
ＰＣ１１０およびＰＣ１２０は、上記実施形態と同様、通信機能およびブラウザ機能を備えており、またＰＣ１２０には同期再生を行うためのデータを作成するためのマイクロホン１１５が接続されている。
【００８６】
コンテンツ提供サーバ２００は、コンテンツサービスを実施する事業者等によって設置されるサーバであり、単一または互いに通信可能な複数のパーソナルコンピュータやワークステーション等で構成されている。そして、内蔵するハードディスク等の外部記憶装置に格納されたプログラムを実行することにより、コンテンツ提供のための種々の機能を実現する。
【００８７】
より具体的には、コンテンツ提供サーバ２００は、通信インターフェース１５０と、コンテンツ送信部２１０と、資料記憶部２２０と、コンテンツ記録部２３０とを備えている。
【００８８】
コンテンツ送信部２１０は、ＰＣ１１０から送信される配信を希望する資料群および音声データを指定する情報を含む資料配信要求が通信インターフェース１５０によって受信された場合に、かかる指定にしたがった資料群および音声データを資料記憶部２２０から読み出す。そして、コンテンツ送信部２１０は、読み出した資料群および音声データをネットワーク１を経由して要求元であるＰＣ１１０に送信するよう通信インターフェース１５０を制御する。
【００８９】
この際、コンテンツ送信部２１０は、資料記憶部２２０に記憶されている同期用データを参照し、資料群および音声データの送信タイミングを制御する。
【００９０】
資料記憶部２２０は、ハードディスクドライブ等の記憶装置を有しており、図７に示すように、多数の資料群を記憶している。１つの資料群は、上記第１実施形態と同様であり、童話、小説、雑誌、教育用図書などの書籍の１ページに相当する内容や、新聞の１ページに相当する内容を表示させるための資料画像表示データを複数有している。
【００９１】
また、資料記憶部２２０には、上記のような資料群の各々に関連する音声データ（各資料群の内容の朗読、説明等）が記憶されている。ここで、１つの資料群に対して複数の音声データが記憶されており、例えばある小説を朗読した音声データであっても、早く朗読する人の朗読を録音した音声データや、比較的ゆっくりと朗読する人の朗読を録音した音声データといった具合に複数の音声データが記憶されているのである。このように人が実際に朗読等したものを録音した音声データ以外にも、資料に含まれる文字列から電子的に合成した音声データを記憶するようにしてもよい。
【００９２】
また、資料記憶部２２０には、上記資料群に含まれる各資料画像表示データに基づく画像表示と、当該資料群に関連する音声データの再生とが送信先であるＰＣ１１０において同期してなされるように送信タイミングを制御するための同期用データが記憶されている。すなわち、上記第１実施形態において説明したような各資料画像表示データに基づく画像表示と、音声データの再生時刻との対応関係（図５参照）を示す同期用データが記憶されている。
【００９３】
資料記憶部２２０には、以上のような童話、小説、教育用図書（参考書や問題集など）、雑誌などの種々の書籍や新聞に対応する資料群と、これに関連する音声データと、資料群とこれに関連する音声データに基づく同期再生を行うための同期用データとが記憶されているのである。
【００９４】
図１に示すコンテンツ送信部２１０は、上記のように種々の資料群と、これに対応する音声データおよび同期用データが記憶されている資料記憶部２２０から、ＰＣ１１０から送信された配信要求者の指定にしたがった資料群および音声データを読出す。そして、コンテンツ送信部２１０は、音声データを送信してＰＣ１１０において音声データの再生を行わせるとともに、同期用データにしたがって音声データの送信時刻（ＰＣ１１０における音声データの再生時刻）に応じて資料群に含まれる資料画像表示データを順次ネットワーク１を介してＰＣ１１０に送信し、ＰＣ１１０の表示部に送信した資料画像表示データに対応する資料画像を表示させるのである。
【００９５】
また、コンテンツ送信部２１０は、上記第１実施形態における資料群送信部１６０と同様、音声解析部１６１を有している。したがって、ＰＣ１１０から送信される資料配信要求に、資料群とこれに関連する音声データを指定するための指定用の音声データが含まれている場合、その指定用の音声データの内容を解析し、その解析結果に基づいて配信要求者が指定した資料郡および音声データを特定する。
【００９６】
図１に戻り、コンテンツ記録部２３０は、ＰＣ１２０からネットワーク１を介して資料記憶部２２０に記憶されている資料群と、これに関連する音声データと、これらを同期再生させるための同期用データが送信された場合、つまり新たなコンテンツがアップロードされた場合に、そのコンテンツ（資料群、音声データおよび同期用データの組）を、新たに提供可能なコンテンツとして資料記憶部２２０に記憶させる。
【００９７】
以上が第２実施形態にかかるコンテンツ方法が適用されるコンテンツ提供サービスを実施するためのネットワークシステムの各部の構成である。
【００９８】
次に、コンテンツ提供サービスが実施される際の上記構成のネットワークシステムの各部の動作について図８を参照しながら説明する。
【００９９】
同図に示すように、資料画像表示と音声データとの同期再生を可能とするコンテンツの提供を希望するユーザは、ＰＣ１１０を適宜操作し、これによりＰＣ１１０でブラウザを起動させ、予め決められたアドレス（コンテンツ提供サーバ２００を示すもの）を指定してネットワーク１に接続させる（ステップＳｂ１）。
【０１００】
ＰＣ１１０からのアクセスを受けたコンテンツ提供サーバ２００は、資料群およびこれに関連する音声データの選択指定をユーザに促すためのＷｅｂページをネットワーク１を経由してＰＣ１１０に送信する（ステップＳｂ２）。このＷｅｂページを受信したＰＣ１１０の表示部には、例えば選択指定可能な多数の資料群のタイトルおよびこれに関連する複数の音声データの概略（例えば、早めの朗読、遅めの朗読等）などが一覧表示されており、ユーザはかかる一覧表示された資料群および音声データを選択指定する。
【０１０１】
ユーザはＰＣ１１０のマウス等を操作し、資料群および音声データを指定するための情報（音声データであってもよい）を入力し配信要求を指示すると、かかる指示に応じてＰＣ１１０はネットワーク１を経由して、資料群および音声データを指定するための情報を含む資料群配信要求を同期再生データ生成サーバ１００に送信する（ステップＳｂ３）。
【０１０２】
かかる配信要求を受けたコンテンツ提供サーバ２００のコンテンツ送信部２１０は、この配信要求に含まれる指定にしたがって資料記憶部２２０から資料群および音声データを読出し、読み出した資料群および音声データのＰＣ１１０への送信を行う（ステップＳｂ４）。
【０１０３】
上述したように本実施形態では、コンテンツ送信の際にコンテンツ提供サーバ２００は、資料群に含まれる各資料画像表示データの送信タイミングを同期用データにしたがって制御する。これによりＰＣ１１０における音声データの再生時刻に応じて、ＰＣ１１０の表示部に表示される資料のページが自動的に切り替わるといった画像と音声の同期再生がなされる（ステップＳｂ５）。これにより、ユーザは資料に関する音声（資料である童話、小説、新聞の朗読や説明など）を聴きながら、その音声によって朗読等されているページの資料を見ることができる。
【０１０４】
したがって、上記第１実施形態と同様、朗読等されている文書等の資料に挿絵、写真、見出し文字があったりするなど朗読を聞くだけでは正確に資料の内容を理解できない場合であっても、資料の内容をより正確に理解することができるようになる。また、音声データの再生進行に応じて表示される資料のページが順次自動的に切り替わるので、朗読等されている部分に対応するページめくりのための操作等を行う必要がない。
【０１０５】
また、コンテンツ提供サーバ２００側で各資料画像表示データの送信タイミングを同期用データに基づいて制御することで、ＰＣ１１０において上記のような同期再生を行うことができるようになっているので、ＰＣ１１０側に再生や表示タイミングを制御するといった特殊な機能が要求されない。
【０１０６】
また、上記のように資料画像と音声の同期再生を可能とするといったコンテンツの提供を受けるのみならず、ユーザは自ら作成したコンテンツをＰＣ１２０からネットワーク１を介してコンテンツ提供サーバ２００に送信すれば、コンテンツ記録部２３０によってユーザが作成したオリジナルのコンテンツが資料記憶部２２０に新たな提供用のコンテンツとして記録される。
【０１０７】
したがって、他のユーザがＰＣで当該コンテンツ提供サーバ２００にアクセスし、当該アップロードされたコンテンツの資料群および音声データを指定した配信要求を行えば、上述した過程を経ることで（ステップＳｂ１〜Ｓｂ５）、ユーザによって作成されてアップロードされた資料群に含まれる資料画像表示データに基づく画像表示と音声データに基づく再生とを配信要求をなした他のユーザのＰＣ上で同期させて行うことができる。
【０１０８】
Ｃ．変形例
なお、本発明は、上述した第１実施形態および第２実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【０１０９】
（変形例１）
上述した第１実施形態では、同期再生データ生成サーバ１００が、音声データを送信元であるＰＣ１１０に対して生成した同期再生用データを送信するようになっていたが、同期再生データ生成サーバ１００のコンテンツ送信部１９０が音声データ送信元以外の第３者のＰＣ等の通信端末宛てにネットワーク１を介して生成した同期再生データを送信するようにしてもよい。
【０１１０】
このように音声データの送信元、つまり同期再生データの生成にかかわった者以外の者に生成した同期再生用データを送信するといった場合には、次のような利用態様がある。まず、教育者がＰＣ１１０を利用して教育用図書に対応した資料群を指定し、かかる資料群に関連する音声データ、つまり当該教育用図書を用いて授業内容の音声データを同期再生データ生成サーバ１００に送信する。
【０１１１】
そして、同期再生データ生成サーバ１００が、当該音声データの再生と、教育用図書に対応する資料画像の表示とを同期させて行うための同期再生データを生成する。この後、同期再生データ生成サーバ１００に対して受講者の利用するＰＣからネットワーク１を介したアクセスがあった場合に、当該受講者のＰＣの表示部に表示させる配信希望同期再生データの選択画面に、教育用図書のタイトルおよび教育者の氏名等を表示させる。つまり、誰がどの教育用図書について授業をして生成された同期再生データであるかを選択者である受講者によって判別できるようにし、受講者がこのような表示を参照して配信を希望する同期再生データを選択する。
【０１１２】
受講者のＰＣから選択指定を含む配信要求を受けた同期再生データ生成サーバ１００が、指定された同期再生データを配信すれば、受講者はＰＣにおいて、所望する内容の教育図書に対応する資料画像を見ながら、その資料に対する所望する教育者の授業を聴くことができるようになる。
【０１１３】
このように教育者が音声データを送信することで、同期再生データ生成サーバ１００が生成した同期再生データを保持しておき、受講者からの配信要求があった場合にその受講者のＰＣに対して同期再生データを配信する、いわゆるプル配信を行うようにしてもよいが、予め音声データを送信する教育者のＰＣから同期再生データ生成サーバ１００に対して受講者を指定する情報（受講者のメールアドレスなど）を送信しておき、同期再生データ生成サーバ１００が指定された電子メールアドレス宛て等に生成した同期再生データを送信する、いわゆるプッシュ配信するようにしてもよい。
【０１１４】
（変形例２）
また、上述した第１実施形態における同期再生データ生成サーバ１００に代えて、図９に示すような同期再生データ生成サーバ３００を設け、ユーザが自ら作成した資料群を当該ユーザが利用するＰＣ等の通信端末からネットワーク１を介して同期再生データ生成サーバ１００にアップロードできるようにしてもよい。図９に示すように、同期再生データ生成サーバ３００は、上記第１実施形態における同期再生データ生成サーバ１００の構成に加え、資料記録部３２０を設けた構成となっている。
【０１１５】
資料記録部３２０は、資料群を作成した者が利用するＰＣ１３０からネットワーク１を介して資料群がアップロードされて通信インターフェース１５０によって受信された場合、当該資料群を資料記憶部１８０に新たにユーザに選択可能な資料群として追加記録する。このように資料記録部３２０によって追加記録された後は、他のユーザ等はＰＣ１１０を用いて当該同期再生データ生成サーバ３００にアクセスすることで、当該追加記録された資料群を選択し、これに関連する音声データを送信することで、あるユーザによって作成された資料群に基づく画像表示と、他のユーザによって送信された当該資料群に関連する音声データの音声再生とを同期させて行うための同期再生データを生成することも可能となる。
【０１１６】
（変形例３）
また、上述した第１実施形態では、ＰＣ１１０からネットワーク１を経由して画像表示切り替え指示がなされた場合に、同期再生データ生成サーバ１００が、次ページに対応する資料画像表示データをＰＣ１１０に送信するとともに（図４のステップＳａ８）、その指示があったタイミングを取得して同期再生データの生成に用いるようにしていた（ステップＳａ９、ステップＳａ１１）。
【０１１７】
このように表示切り替えのタイミングを取得して、音声データ再生時に自動的に資料画像の表示切り替えがなされるようにするのに加え、ユーザからページ切り替え以外の資料画像表示の表示状態を変更すべき指示があった場合に、その指示があったタイミングと当該指示によって変更される表示状態とを同期再生データ生成サーバ１００が取得し、このような表示状態の変更を反映させた画像表示が可能な同期再生データを生成するようにしてもよい。
【０１１８】
例えば、音声データの送信開始によるタイマカウント開始（図４のステップＳａ６）から２：２０の時点で２ページ目の資料画像が表示されており、この時点で２ページ目の資料画像について拡大表示すべき旨の指示がユーザによってなされた場合、ＰＣ１１０において当該指示に応じた拡大表示を実行させるとともに、同期再生データ生成サーバ１００が、その指示があったタイミング（２：２０）と、その指示によって実現された表示状態（拡大表示）を取得する。
【０１１９】
そして、インデキシング部１７０は、音声の再生時刻が２：２０になった時点で表示されている２ページ目の資料画像を自動的に拡大表示させるといった同期再生を実現するための同期再生データを生成する。
【０１２０】
以上のようにすることで、表示させる資料のページ切り替えがあった場合にのみならず、拡大表示等の資料画像の表示状態の変更があった場合にも、その表示状態の変更を音声データの再生に同期させて行うことができ、当該同期再生による画像表示と音声再生を視聴した者に対する資料内容に関する理解を効果的に支援することができる。
【０１２１】
なお、資料画像表示データとしてＪＰＥＧ２０００形式のデータを用いるようにすれば、１つの画像表示データから異なる解像度の画像が得られ、解像度の変更がなされた場合、その変更を同期再生に反映させた同期再生データを生成すればよい。
【０１２２】
（変形例４）
上述した第１および第２実施形態では、音声データの再生の進行に応じて順次表示させる資料画像を切り替えるといった同期再生を行うことができるようになっていたが、図１０に示すように、資料画像表示と音声データとが同期再生されるＰＣ１１０の表示部に、資料群に含まれる資料画像についての目次を表示させるようにし、かかる目次を利用して音声データの再生位置の変更や表示させる資料画像の切り替えを指示できるようにしてもよい。
【０１２３】
同図に示すように、同期再生データに基づく画像表示および音声再生中における表示画面には、音声データの再生位置を示す再生状況表示欄４００、資料画像表示データに基づく資料画像が表示される資料画像欄４０１および目次欄４０２が表示されている。
【０１２４】
そして、ユーザがマウスを操作する等して目次欄４０２の第３章をクリックすると、ＰＣ１１０が第三章の最初のページの資料画像を表示させるとともに、第３章の最初のページの資料画像に関連する再生時刻に音声データの再生位置をジャンプさせるといったことを可能とする同期再生データを生成するようにしてもよい。このような同期再生データは、上記第１実施形態で説明した各資料画像の表示と音声再生時刻との対応関係（図５参照）に、さらに目次中のタイトル（第一章、第二章）を再生時刻および資料画像のページに対応させることで生成できる。例えば、第三章の最初のページが３０ページ目の資料画像であり、３０ページ目の資料画像の表示開始タイミングが１５：３５である場合には、目次タイトル「第三章」に、資料画像３０ページ、再生時刻１５：３５という対応関係を同期再生データに記述しておけばよい。
【０１２５】
以上のような目次欄４０２に表示されたタイトルをクリックすることで、再生位置の変更および資料画像の表示の切り替えを可能とすることで、ユーザにとっては必要な部分のみ抜粋して同期再生することができ、利便性が向上する。
【０１２６】
（変形例５）
また、上述した第１実施形態および第２実施形態において、ＰＣ１１０等のクライアント通信端末からの配信要求に応じて同期再生データを送信等した場合に当該クライアント通信端末のユーザに対して課金処理を行う課金サーバ等を設けるようにしてもよい。
【０１２７】
例えば、図１１に示すように、第２実施形態におけるネットワークシステムにおいて、コンテンツ提供サーバ２００とデータの授受が可能な課金サーバ５００を設けるようにしてもよい。課金サーバ５００は、ユーザに対する課金を管理する機能を有しており、コンテンツ提供サービスを受けることができる各ユーザについての課金管理情報を記憶する課金管理情報記憶部５１０を有している。
【０１２８】
課金管理情報記憶部５１０には、ユーザごとにコンテンツの一定期間内（例えば１ヶ月間）のアップロード回数およびダウンロード回数が記憶されており、これらの情報はアップロードやダウンロードが行われるごとに更新されるようになっている。
【０１２９】
そして、所定の課金管理タイミング（月末等）になると、課金サーバ５００は、ダウンロード回数がアップロード回数よりも多いユーザに対しては多い回数分に対応した課金処理を行い、アップロード回数がダウンロード回数よりも多い場合には課金処理を行わないようにする。
【０１３０】
このようにすることで、コンテンツを自作したユーザ等はそのコンテンツをアップロードすることで、他のコンテンツのダウンロードを無償で受けることができるといったメリットがあり、より多くのオリジナルコンテンツのアップロードを促すことができ、結果として提供可能なコンテンツの数が多くすることができる。
【０１３１】
なお、上記のようにダウンロード回数がアップロード回数を超えない場合にはそのユーザに対して課金を行わないといった課金処理を行うようにしてもよいが、アップロードしたユーザであるか否かを判別し、アップロードしたユーザに対して有利な課金処理を行えばよく、原則としてコンテンツのダウンロードサービスを受けたユーザに対しては課金処理を行いつつも、アップロードした場合にはその課金額を減額する等の課金処理を行うようにしてもよいし、アップロード回数の方がダウンロード回数よりも多いユーザに対しては報酬を与えるようにしてもよい。このようにした場合にもユーザに自作コンテンツのアップロードを促すことができ、提供可能なコンテンツの種類をより多くすることができる。
【０１３２】
（変形例６）
また、上述した第１実施形態および第２実施形態では、ＰＣ１１０において資料画像表示と音声データの再生とを同期させるようにしていたが、音声データに限らず、音声付の映像データの再生と資料画像表示とを同期させるものであってもよい。
【０１３３】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができるという効果を奏する。
【０１３４】
また、請求項２にかかる発明によれば、音声データの再生中に各資料画像を表示させるべきタイミングで各資料画像を表示させることが可能な同期再生データを得ることができるという効果を奏する。
【０１３５】
また、請求項３にかかる発明によれば、資料画像が表示されているときにユーザから表示拡大など表示状態の変更指示があった場合には、その指示タイミングから表示状態を変更すべきタイミングを取得し、取得したタイミングで表示状態が変更されるような同期再生データを得ることができるという効果を奏する。
【０１３６】
また、請求項４にかかる発明によれば、ユーザは指定したい資料画像群を特定するための内容を声で発するといった簡易な作業で希望する資料画像群を指定することができるという効果を奏する。
【０１３７】
また、請求項５にかかる発明によれば、提供可能な資料画像群をより多くすることができるという効果を奏する。
【０１３８】
また、請求項６にかかる発明によれば、ユーザが指定した資料画像群に含まれる資料画像の表示と、ユーザがかかる資料画像群に関連して取得して送信した音声データの再生とを同期させることができる同期再生データを当該ユーザの通信端末に送信されるので、ユーザはこの同期再生データに基づいた資料画像表示と音声データ再生とを視聴することができるという効果を奏する。
【０１３９】
また、請求項７にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる同期再生データを得ることができるという効果を奏する。
【０１４０】
また、請求項８にかかる発明によれば、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができるという効果を奏する。
【０１４１】
また、請求項９にかかる発明によれば、通信端末においては送信されたタイミングで資料画像表示データを表示すれば、音声データに基づく音声再生と資料画像表示との同期再生が可能となるという効果を奏する。
【０１４２】
また、請求項１０にかかる発明によれば、ユーザは指定したい資料画像群および音声データを特定するための内容を声で発するといった簡易な作業で希望する資料画像群および音声データを指定することができるという効果を奏する。
【０１４３】
また、請求項１１にかかる発明によれば、提供可能なコンテンツをより多くすることができるという効果を奏する。
【０１４４】
また、請求項１２にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができるという効果を奏する。
【０１４５】
また、請求項１３にかかる発明によれば、通信端末に対して資料画像群および音声データを同期再生させるといったコンテンツ提供を行った場合に、その通信端末のユーザに対して課金を行うことができるという効果を奏する。
【０１４６】
また、請求項１４にかかる発明によれば、資料画像群、音声データおよび同期用データといったコンテンツの送信主である場合には、資料画像群等のコンテンツの提供を受けた場合にも課金をしない、または減額する等の優遇措置をとることができ、これにより自作コンテンツの送信を促すことができ、結果として提供可能なコンテンツを多くすることができるという効果を奏する。
【０１４７】
また、請求項１５にかかる発明によれば、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができるという効果を奏する。
【０１４８】
また、請求項１６にかかる発明によれば、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１実施形態にかかる同期再生データ生成方法が適用されるネットワークシステムの全体構成を示す図である。
【図２】前記ネットワークシステムの構成要素である同期再生データ生成サーバの資料記憶部に記憶される資料群の内容を説明するための図である。
【図３】音声解析によりユーザの指定する資料群を特定するための資料群特定用データベースの内容を説明するための図である。
【図４】同期再生データの配信サービス時の前記ネットワークシステムの動作を示すシーケンスフローチャートである。
【図５】資料画像の表示と音声データの再生を同期させる同期再生データにおける、資料画像と音声データとの対応関係を模式的に示す図である。
【図６】本発明の第２実施形態にかかるコンテンツ提供方法が適用されるネットワークシステムの全体構成を示す図である。
【図７】前記第２実施形態におけるネットワークシステムの構成要素であるコンテンツ提供サーバの資料記憶部に記憶されるコンテンツの内容を説明するための図である。
【図８】コンテンツ提供サービス時の第２実施形態におけるネットワークシステムの動作を示すシーケンスフローチャートである。
【図９】前記同期再生データ生成方法が適用されるネットワークシステムの変形例を示す図である。
【図１０】前記同期再生データ生成サーバによって生成される同期再生データに基づく再生時に表示部に表示される画面の一例を示す図である。
【図１１】第２実施形態にかかるコンテンツ提供方法が適用される他のネットワークシステムの全体構成を示す図である。
【符号の説明】
１ ネットワーク
１００ 同期再生データ生成サーバ
１１０、１２０、１３０ ＰＣ
１１５ マイクロホン
１５０ 通信インターフェース
１６０ 資料群送信部
１６１ 音声解析部
１７０ インデキシング部
１８０ 資料記憶部
１９０ コンテンツ送信部
２００ コンテンツ提供サーバ
２１０ コンテンツ送信部
２２０ 資料記憶部
２３０ コンテンツ記録部
３００ 同期再生データ生成サーバ
３２０ 資料記録部
５００ 課金サーバ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a synchronized playback data generation device, a synchronized playback content providing device, a synchronized playback data generation method, and a content providing method.
[0002]
[Prior art]
When a child reads a fairy tale or the like, the parents open the fairy tale book and read it while showing it to the child. Such story-telling is fun for children and is considered important for education, but it takes time and effort to repeat such story-telling many times.
[0003]
Also, it may be difficult for visually impaired persons, people with weak vision, the elderly, etc. to read newspapers, magazines, and other books with small characters, and such people can effectively read information from books and the like. In some cases, it cannot be obtained.
[0004]
In order to read a document such as a book in this way, there is a method of using a device that performs a language analysis of a document in document data, synthesizes the language-analyzed document, and outputs the synthesized voice, that is, a so-called document reading device (for example, And Patent Document 1).
[0005]
[Patent Document 1]
JP 2000-99073 A
[0006]
[Problems to be solved by the invention]
However, books, newspapers, etc., such as fairy tales, novels, magazines, etc. are often spread over multiple pages, and illustrations and photographs are included in the pages, and the size of the characters is not uniform, and In some cases, the contents of the publication are sharpened, such as when they are used, and in other cases, the contents of the publication can be more easily understood by illustrations, photographs, headline characters, and the like.
[0007]
Some text-to-speech devices as described above can perform text-to-speech based on document data prepared in advance, but those who listen cannot see illustrations, photographs, etc. In some cases, they cannot be understood. Of course, the above problem can be solved by preparing a book or newspaper having the same content as the document to be read by the document reading device and listening to the read content while referring to it, but the work is troublesome. .
[0008]
The present invention has been made in view of the above, and without performing any troublesome work, while listening to the audio related to the contents of materials such as books and newspapers, materials described in audio among a plurality of materials such as books and newspapers It is an object of the present invention to obtain a synchronized reproduction content providing device and a method for providing a synchronized reproduction data, and a synchronized reproduction data generation device and a synchronized reproduction data generation method for generating such synchronously reproducible data.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is a synchronous reproduction data generation device including a communication means for exchanging data with a communication terminal via a network, wherein the material includes a plurality of material image display data. An image data storage unit for storing an image group; and a material image group specified when the specification information for specifying the material image group transmitted from the communication terminal via the network is received by the communication unit. Image transmission means for controlling the communication means to transmit to the communication terminal, and voice data acquired during image display based on the material image group transmitted by the image transmission means is transmitted via the network. When the data is supplied from the communication terminal and received by the communication means, the received voice data and the designation information A synchronous reproduction data generating apparatus characterized by comprising a synchronous playback data generating means for generating a synchronous reproduction data for performing image display based on the specified document images in synchronization.
[0010]
According to the first aspect of the present invention, when designation information for designating a desired material image group is transmitted from the communication terminal via the network, the material image group corresponding to the designation is transmitted, and the communication terminal transmits the material image group to the material image group. An image can be displayed based on the included material image display data. While such image display is being performed, audio data such as a description of the displayed material is acquired and transmitted from the communication terminal, so that the original audio data and the material image group transmitted from the user side are included. Synchronized reproduction data that can synchronize the image display based on the material image display data to be obtained can be obtained.
[0011]
Further, according to a second aspect of the present invention, in the configuration of the first aspect, the image transmitting unit sequentially transmits the material image display data included in the material image group in accordance with the material image switching instruction transmitted from the communication terminal. And the synchronous reproduction data generation means transmits an image based on each material image display data included in the material image group during reproduction of the audio data based on the timing at which the switching instruction is performed. Is obtained, and the synchronous reproduction data is generated based on the timing information.
[0012]
According to the second aspect of the present invention, it is possible to obtain synchronous reproduction data capable of displaying each material image at a timing at which each material image should be displayed during reproduction of audio data.
[0013]
According to a third aspect of the present invention, in the configuration according to the second aspect of the present invention, the synchronous reproduction data generating unit receives an instruction to change an image display state based on each of the material image display data by a user of the communication terminal. The display state timing information indicating the timing at which the image display state based on each of the material image display data included in the material image group should be changed based on the timing at which the change instruction was issued, and the display state timing The synchronous reproduction data is generated based on information.
[0014]
According to the third aspect of the present invention, when a user issues a display state change instruction such as display enlargement while the material image is displayed, a timing to change the display state is acquired from the instruction timing. It is possible to obtain synchronous reproduction data whose display state is changed at the acquired timing.
[0015]
According to a fourth aspect of the present invention, in the configuration according to any one of the first to third aspects, a voice uttered by a user to designate the material image group in the designation information received by the communication means. If data is included, the apparatus further includes a voice analysis unit that analyzes the content of the voice data and specifies the material image group specified by the user, and the image transmission unit is specified by the voice analysis unit. The communication unit is controlled to transmit a material image group.
[0016]
According to the fourth aspect of the present invention, when the user of the communication terminal utters a voice and transmits the voice data, the content of the voice data is analyzed and the specified material image group is specified. Therefore, the user can specify the desired material image group by a simple operation such as vocalizing the content for specifying the material image group to be specified.
[0017]
According to a fifth aspect of the present invention, in the configuration according to any one of the first to fourth aspects, when a material image group supplied from a communication terminal via the network is received by the communication means, The image processing apparatus further includes an image recording unit that writes the received material image group into the image data storage unit.
[0018]
According to the invention according to claim 5, if a user transmits an original material image group created by himself / herself from a communication terminal via a network, the material image group can be newly provided to another user or the like. Is stored as Therefore, the number of material image groups that can be provided can be increased.
[0019]
According to a sixth aspect of the present invention, in the configuration according to any one of the first to fifth aspects, the synchronous reproduction data generated by the synchronous reproduction data generating means is transmitted to the communication device which transmits the designation information. The apparatus further includes a synchronous reproduction data transmitting unit that controls the communication unit to transmit the communication unit to the terminal via the network.
[0020]
According to the present invention, the display of the material image included in the material image group designated by the user and the reproduction of the audio data acquired and transmitted by the user in connection with the material image group are synchronized. Is transmitted to the user's communication terminal, so that the user can view material image display and audio data reproduction based on the synchronous reproduction data.
[0021]
In the invention according to claim 7, each of the material image display data included in the material image group stored in the image data storage means is data for displaying a content published in a book or a newspaper for each page. It is characterized by being.
[0022]
According to the invention according to claim 7, it is possible to obtain synchronized reproduction data that can synchronize the reproduction of the audio data relating to the content published in the book or the newspaper with the display of each page of the book or the newspaper. .
[0023]
The invention according to claim 8 is a synchronous reproduction content providing apparatus provided with a communication means for exchanging data with a communication terminal via a network, wherein the material image group having a plurality of material image display data, Audio data related to an image displayed based on the material image group, and synchronization data for synchronizing the image display based on the material image group and the reproduction of the audio data related to the material image group, and And storage means for storing, when the communication unit receives designation information specifying the material image group and the audio data related to the material image group, transmitted from the communication terminal via the network, The material image display data and the audio data included in the group of material images obtained through the network at the timing based on the synchronization data. Content transmitting means for controlling the communication means to transmit to the communication terminal, and causing the communication terminal to perform image display based on the material image display data included in the material image group and reproduction based on the audio data in synchronization with each other; And a synchronized reproduction content providing apparatus.
[0024]
According to the invention according to claim 8, if the user transmits from the communication terminal a designation image specifying a material image group to be viewed and audio data related thereto, the audio data is transmitted and reproduced on the communication terminal. In the meantime, a plurality of material image display data included in the material image group is sequentially transmitted at a predetermined timing based on the synchronization data, and is displayed on the communication terminal. Therefore, even a user of a communication terminal that does not have a function of performing timing control or the like for synchronizing each material image included in the material image group with audio reproduction can view such synchronized reproduction.
[0025]
According to a ninth aspect of the present invention, in the configuration of the eighth aspect of the invention, the content transmitting unit transmits the synchronization data in which a reproduction time of the audio data is associated with each of the material image display data. And controlling the communication means to transmit the material image display data based on the reproduction time based on the audio data.
[0026]
According to the ninth aspect of the present invention, when the reproduction time of the audio data becomes the reproduction time associated with the certain material image display data in the synchronization data, the material image display data is transmitted to the communication terminal. You. If the material image display data is displayed at the transmitted timing as described above, the synchronized reproduction of the sound reproduction based on the sound data and the material image display becomes possible.
[0027]
According to a tenth aspect of the present invention, in the configuration of the eighth or ninth aspect, the user issues a command to designate the material image group and the audio data in the designation information received by the communication means. When audio data is included, the apparatus further includes audio analysis means for analyzing the content of the audio data and specifying the material image group and the audio data specified by the user, wherein the image transmission means includes the audio analysis means. The material image group specified by the means and the audio data are transmitted.
[0028]
According to the tenth aspect, when the user of the communication terminal utters a voice and transmits the voice data, the content of the voice data is analyzed and the specified material image group and voice data are specified. Therefore, the user can specify the desired material image group and audio data by a simple operation such as vocalizing the content for specifying the material image group and audio data to be specified.
[0029]
According to an eleventh aspect of the present invention, in the configuration according to any one of the eighth to ninth aspects, a material image group supplied from a communication terminal via the network, the audio data related to the material image group, and the material data When synchronization data for synchronizing image display based on an image group and reproduction based on the audio data is received by the communication unit, the received material image group, the audio data, and the synchronization data are received. It is characterized by further comprising recording means for writing to the storage means.
[0030]
According to the eleventh aspect of the present invention, if a certain user transmits an original material image group, audio data, and synchronization data created by himself / herself from a communication terminal via a network, the content of the material image group and the like becomes newly available. Is stored as content that can be provided to the user or the like. Therefore, the content that can be provided can be increased.
[0031]
According to a twelfth aspect of the present invention, in the configuration according to any one of the eighth to eleventh aspects, each material image display data contained in the material image group stored in the image data storage means is a book or a book. It is characterized in that it is data for displaying contents published in a newspaper for each page.
[0032]
According to the twelfth aspect of the present invention, it is possible to synchronize the reproduction of the audio data relating to the content published in the book or the newspaper with the display of each page of the book or the newspaper.
[0033]
According to a thirteenth aspect of the present invention, in the configuration according to any one of the eighth to twelfth aspects, when transmission control is performed by the content transmission unit, the user of the communication terminal that is the transmission destination is notified. It is characterized by further comprising a charging means for performing a charging process corresponding to the transmission.
[0034]
According to the thirteenth aspect, when content is provided to the communication terminal such that the material image group and the audio data are synchronously reproduced, the user of the communication terminal can be charged.
[0035]
According to a fourteenth aspect of the present invention, in the configuration of the eleventh aspect, when transmission control is performed by the content transmission unit, the content is transmitted to a user of the communication terminal as a transmission destination. A charging unit for performing a charging process, wherein a user of the communication terminal to be charged is a sender of a material image group, audio data, and synchronization data recorded in the storage unit by the recording unit; It is characterized in that it is determined whether or not to perform the process based on the result of the determination.
[0036]
According to the fourteenth aspect, when the sender of the content such as the material image group, the audio data, and the synchronization data is the sender, the user is not charged even when the content such as the material image group is provided, or It is possible to take preferential measures such as reducing the amount of money, thereby prompting the transmission of self-produced content, and consequently increasing the content that can be provided.
[0037]
According to a fifteenth aspect of the present invention, a synchronous reproduction data generation server, which receives specification information for specifying a material image group having a plurality of material image display data transmitted from the communication terminal via a network, is designated. Transmitting the material image group to the communication terminal via a network, and displaying the image based on the material image display data included in the material image group on the communication terminal; and an image display step from the communication terminal via the network. The synchronous playback data generation server, which receives the transmitted audio data while the image display based on the material image group is being displayed in the image display step, is designated by the received audio data and the designation information. Synchronized playback data for generating synchronized playback data for synchronizing image display based on selected material image groups A synchronous reproduction data generation method characterized by comprising a formation step.
[0038]
According to the invention according to claim 15, when designation information for designating a desired material image group is transmitted from the communication terminal via the network, the material image group corresponding to the designation is transmitted, and the material included in the material image group is transmitted. An image is displayed based on the image display data. While such image display is being performed, audio data such as a description of the displayed material is acquired and transmitted from the communication terminal, so that the original audio data and the material image group transmitted from the user side are included. Synchronized reproduction data that can synchronize the image display based on the material image display data to be obtained can be obtained.
[0039]
The invention according to claim 16 provides a material image group having a plurality of material image display data, audio data related to an image displayed based on the material image group, and an image display based on the material image group. A method for providing a content to a communication terminal from a content providing server that stores synchronization data for synchronizing reproduction of the audio data related to the material image group with the communication terminal via a network, the method comprising: The content providing server, which has received the designation information for designating the material image group and the audio data related thereto, transmitted from the communication terminal according to the image based on the material image display data included in the designated material image group The timer is set based on the synchronization data so that the display and the reproduction based on the audio data are performed synchronously in the communication terminal. A content providing step of transmitting material image display data and audio data included in the material image group designated by controlling the content to the communication terminal via the network. is there.
[0040]
According to the sixteenth aspect of the present invention, if the user transmits a material image group to be viewed from the communication terminal and designation information for designating audio data related thereto, the audio data is transmitted and reproduced by the communication terminal. In the meantime, a plurality of material image display data included in the material image group is sequentially transmitted at a predetermined timing based on the synchronization data, and is displayed on the communication terminal. Therefore, even a user of a communication terminal that does not have a function of performing timing control or the like for synchronizing each material image included in the material image group with audio reproduction can view such synchronized reproduction.
[0041]
BEST MODE FOR CARRYING OUT THE INVENTION
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of a synchronized playback data generation device, a synchronized playback content providing device, a synchronized playback data generation method, and a content providing method according to the present invention will be described below in detail with reference to the accompanying drawings.
[0042]
A. First embodiment
FIG. 1 is a diagram showing an overall configuration of a network system for implementing a synchronous reproduction data distribution service to which a synchronous reproduction data generation method according to a first embodiment of the present invention is applied. As shown in FIG. 1, the network system includes a synchronous reproduction data generation server 100 capable of exchanging data with each other via a network 1 such as the Internet, and a PC (Personal Computer) 110.
[0043]
Synchronous reproduction data distribution service implemented by this network system is a synchronous reproduction data for synchronizing the display of the material image over a plurality of pages and the sound reproduction (for example, reading and explanation of the material) related to the material. The PC 110 is a terminal used by a user who receives the synchronized reproduction data by the service. In this specification, the display of the material image and the synchronous reproduction of the audio data are performed by associating the audio reproduction with the material image display such that the display page of the material image is sequentially switched according to the reproduction time of the audio data. Controlling.
[0044]
Further, in the synchronous reproduction data distribution service, the user who receives the service can create the audio data to be synchronously reproduced, that is, the user's original audio data. The data is transmitted to the generation server 100 to generate synchronous reproduction data, and the generated synchronous reproduction data is distributed.
[0045]
The PC 110 used for use of such a service has a communication function for connecting to the network 1 such as the Internet, and exchanges data with a Web server or the like via the network 1 to browse Web pages and the like. And a browser function for performing the operation. With such a function, the PC 110 functions as a communication terminal that exchanges data with the synchronous reproduction data generation server 100 via the network 1. Further, a microphone 115 for acquiring user original audio data to be reproduced in synchronization with the display of the material image is connected to the PC 110.
[0046]
The synchronous reproduction data generation server 100 is a server installed by a company or the like that implements a synchronous reproduction data distribution service, and includes a single personal computer or a plurality of personal computers and workstations that can communicate with each other. By executing programs stored in an external storage device such as a built-in hard disk, various functions for generating synchronized playback data are realized.
[0047]
More specifically, the synchronized reproduction data generation server 100 includes a communication interface (IF) 150, a material group transmission unit 160, an indexing unit 170, a material storage unit 180, and a content transmission unit 190.
[0048]
The communication interface (communication means) 150 exchanges data with another communication terminal via the network 1 such as the Internet, and includes a router and the like.
[0049]
When a material distribution request transmitted from the PC 110 and including information specifying a material group desired to be distributed is received by the communication interface 150, the material group transmitting unit 160 stores the material group according to the designation in the material storage unit 180. Read from Then, the material group transmitting unit 160 controls the communication interface 150 so as to transmit the read material group to the requesting PC 110 via the network 1.
[0050]
The material storage section 180 has a storage device such as a hard disk drive, and stores a large number of material groups as shown in FIG. One material group includes material image display data for displaying the content equivalent to one page of a book such as a fairy tale, a novel, a magazine, an educational book, or the content equivalent to one page of a newspaper, and the pages of the book or newspaper. It has a number corresponding to the number.
[0051]
That is, for a certain fairy tale, the material group A includes material image display data for displaying each of all pages (1 to n pages) of the fairy tale book, and for a newspaper on a certain day, the material group B includes Material image display data for displaying each of all pages (1 to n pages) of the newspaper is included.
[0052]
The material storage unit 180 stores a material group corresponding to various books and newspapers such as fairy tales, novels, educational books (reference books and problem books), magazines, and the like as described above. Various known image display data formats such as JPEG (Joint Photographic Experts Group) format can be adopted as the material image display data included in such a material group.
[0053]
It should be noted that these material groups may be those that display the exact same contents as the actually published books and newspapers, but are those that display the changed contents of the books and newspapers. Alternatively, a book may be one that displays unpublished content, or an original material group in a format similar to a book or newspaper may be created and stored.
[0054]
The material group transmission unit 160 shown in FIG. 1 reads the material group according to the designation of the distribution requester transmitted from the PC 110 from the material storage unit 180 in which various material groups are stored as described above, and Are sequentially transmitted to the PC 110 via the network 1 and the display section of the PC 110 displays the material image corresponding to the transmitted material image display data.
[0055]
Further, the material group transmitting unit 160 includes a voice analyzing unit 161. When the material distribution request transmitted from the PC 110 includes voice data for designating a material group, the voice analysis unit 161 analyzes the content of the voice data, and based on the analysis result, determines the distribution requester. Identify the specified material group. More specifically, the voice analysis unit 161 performs a voice recognition process on the voice data, and acquires a character string (text data or the like) included in the voice data. The voice analysis unit 161 specifies the material group based on the acquired character string by referring to the material group specifying database prepared in advance shown in FIG.
[0056]
As shown in the drawing, in the material group specifying database, one character string as a keyword for specifying the contents of the material group is added to each of various material groups stored in the material storage unit 180 in advance. Alternatively, a plurality of them are stored in association with each other. Such a keyword may be the title itself of the material group, or, in the case of a material group corresponding to a book such as a fairy tale, related to the content thereof, such as “king” or “princess” in a fairy tale. For educational books, such as "math" and "elementary".
[0057]
The voice analysis unit 161 determines whether or not any of the material group identification databases has a character string that matches the character string obtained from the voice data, and determines the material group associated with the matched character string. To identify. If the title of the material group itself is included in the acquired character string, the material group with the title that matches the character string may be specified, but a keyword other than the title, for example, the content of the material group In the case of keywords related to ("King", "Princess"), etc., only when multiple keywords are included in the acquired character strings, specify the material group as a character string that matches. You may.
[0058]
Returning to FIG. 1, the indexing unit 170 operates while the material image display data included in the designated material group is transmitted from the material group transmitting unit 160 and the material image is displayed on the display unit of the PC 110 as described above. When audio data transmitted from the PC 110 via the network 1 is received, reproduction of the audio data is synchronized with image display based on each material image display data included in the designated material group. To generate synchronized playback data.
[0059]
The synchronous playback data is data for sequentially switching image display based on the material image display data included in the material group according to the playback time of the audio data while the audio data is being played. For data generation, it is necessary to determine the reproduction time and the timing of displaying each material image, that is, which material image is to be displayed when the reproduction time is displayed. The indexing unit 170 transmits each material image display data included in the material group from the material group transmitting unit 160 to the PC 110 that is the distribution request source, acquires timing information indicating the timing at which the display is switched, and sets the timing information as Synchronous reproduction data is generated based on the indicated timing. The details of the generation processing will be described later.
[0060]
The content transmission unit 190 is a source of the synchronous reproduction data distribution request for the synchronous reproduction data (the audio data, the material group, and the synchronous reproduction data for synchronously reproducing them) generated by the indexing unit 170 as described above. The communication interface 150 is controlled to transmit to the PC 110 via the network 1.
[0061]
The above is the configuration of each unit of the network system for implementing the synchronous reproduction data distribution service to which the synchronous reproduction data generation method according to the present embodiment is applied.
[0062]
Next, the operation of each unit of the network system having the above configuration when the synchronous reproduction data distribution service is performed will be described with reference to FIG.
[0063]
As shown in the figure, a user who wishes to generate and distribute synchronized reproduction data operates the PC 110 as appropriate, thereby starting a browser on the PC 110 and setting a predetermined address (the one indicating the synchronous reproduction data generation server 100). ) Is designated to connect to the network 1 (step Sa1).
[0064]
The synchronized playback data generation server 100, which has been accessed from the PC 110, transmits a Web page for prompting the user to select and specify a material group to the PC 110 via the network 1 (Step Sa2). On the display unit of the PC 110 that has received the Web page, for example, the titles of a large number of selectable material groups are displayed in a list, and the user selects and specifies the list-displayed material group. In addition, in order to be able to select and specify a group of materials whose titles are unknown, by specifying keywords related to the contents of the materials (names of novel authors, main characters, etc.), etc., only the material groups that match the keywords are listed. It may be displayed and selected, or as described above, the user may utter a title or a keyword and use the voice input via the microphone 115 to specify the material group.
[0065]
When the user operates a mouse or the like of the PC 110 to input information (may be audio data) for designating a material group and instructs a distribution request, the PC 110 responds to the instruction via the network 1, A material group distribution request including information for designating the material group is transmitted to the synchronous reproduction data generation server 100 (step Sa3).
[0066]
Upon receiving the distribution request, the material group transmitting unit 160 of the synchronized reproduction data generation server 100 reads the material group from the material storage unit 180 according to the specification included in the distribution request, and starts transmitting the material group to the PC 110. (Step Sa4). Here, the material group transmitting unit 160 transmits material image display data for displaying the material of the first page included in the designated material group, and the material of the first page is displayed on the display unit of the PC 110. The image is displayed.
[0067]
With the material image of the first page displayed in this way, the user operates the PC 110 as appropriate to instruct to start transmission of the audio data input from the microphone 115. After giving this instruction, the user utters a voice such as reading the displayed material toward the microphone 115, and voice data corresponding to the voice is taken into the PC 110 from the microphone 115, and the network 1 of the voice data is transmitted to the microphone 115. Real-time transmission to the synchronized playback data generation server 100 via the server is started (step Sa5).
[0068]
When the transmission of such audio data is started, the indexing unit 170 of the synchronous reproduction data generation server 100 records the audio data and starts counting the timer from the start of the transmission of the audio data (step Sa6). . If the user instructs the PC 110 to switch the material image displayed on the display unit of the PC 110 to the next page while the voice data based on the voice uttered by the user is being transmitted, the PC 110 is instructed to do so. Is transmitted to the synchronized reproduction data generation server 100 via the network 1 (step Sa7).
[0069]
For example, when the user finishes reading the displayed material (a fairy tale or a newspaper), when the user issues a display switching instruction to read the next page, the instruction is transmitted from the PC 110 to the synchronous reproduction data generation server 100. It is. In response to the display switching instruction, the material group transmitting unit 160 of the synchronized reproduction data generation server 100 transmits the material image display data corresponding to the next page of the material image display data previously transmitted from the designated material group to the network 1. Then, the document image is transmitted to the PC 110 (step Sa8), whereby the material image of the next page is displayed on the display unit of the PC 110.
[0070]
Further, upon receiving such a material image display switching instruction, the indexing unit 170 of the synchronized reproduction data generation server 100 starts the timer count (starts transmission of audio data) and starts the timer instruction (the start of transmission of audio data). Timing information including the elapsed time and display switching content such as which page has been switched to which page has been obtained (step Sa9).
[0071]
Thereafter, when the user instructs to switch the page of the material image to be displayed on the display unit of the PC 110, the processing of the above-described steps Sa7 to Sa9 is repeated, and the material image display data corresponding to the instruction is transmitted to the synchronous reproduction data generation server. From 100, the document image is sequentially transmitted to the PC 110 to display the material image, and the timing information including the display switching content and the switching timing from the start of the audio data transmission is acquired.
[0072]
Then, when the user instructs the PC 110 to end the input of the audio data, the PC 110 transmits the fact to the synchronous reproduction data generation server 100 via the network 1 (step Sa10). The indexing unit 170 of the synchronous reproduction data generation server 100, which has received the audio data transmission end notification, includes the specified material group, the sound data transmitted from the PC 110, and the timing information acquired as described above in the material group. Synchronized reproduction data for synchronizing the image display based on each material image display data to be reproduced with the audio reproduction based on the audio data is generated (step Sa11).
[0073]
Here, as a format of data for controlling and synchronizing the reproduction of data in different formats such as synchronous reproduction data, image display data, and audio data generated by the indexing unit 170, for example, there is a SMIL (Synchronized Multimedia Integration Language) format. The indexing unit 170 in the present embodiment creates such SMIL format data as synchronous reproduction data.
[0074]
Then, the indexing unit 170 acquires the following data from the timing information and the like, and describes them in accordance with the SMIL format to create presentation data in the SMIL format.
(1) Display timing of each material image (start time, end time)
(2) Storage location (file path information) of each material image (JPEG2000 etc.)
(3) Storage location of audio data corresponding to each material image (file path information)
[0075]
FIG. 5 schematically shows the correspondence between the synchronization of the material image and the audio data in the synchronized reproduction data created based on the information as described above. In the example shown in the figure, the display switching instruction from the first page material image to the second page material image is issued after 1:15 from the start of the audio data transmission (0:00), and at 2:45 It is assumed that an instruction to switch the display to the material image on the third page has been made, and an instruction to switch the display to the material image on the fourth page has been made at 3:53. That is, on the display unit of the PC 110, the material image of the first page is displayed between 0:00 and 1:15, and the material image of the second page is displayed between 1:15 and 2:45. : 45: 3: 53 means that the material image of the third page was displayed.
[0076]
When the display of the material image is switched at the above timing when the audio data is transmitted from the PC 110 to the synchronous reproduction data generation server 100, while the material image of the first page is displayed (time 0: 00 to 1: 15), the audio data transmitted in real time (that is, audio data corresponding to the audio emitted by the user during this time) is associated with the material image of the first page.
[0077]
In addition, while the material image of the second page is displayed (time 1:15 to 2:45), the audio data transmitted in real time is associated with the material image of the second page. Further, while the material image on the third page is displayed (time 2:45 to 3:53), the audio data transmitted in real time is associated with the material image on the third page.
[0078]
The indexing unit 170 creates SMIL format data that can synchronize image display and audio reproduction by controlling image display timing and audio data reproduction based on the material image display data based on such correspondence. You do it.
[0079]
When the synchronized reproduction data as described above is generated by the indexing unit 170, the content transmission unit 190 of the synchronized reproduction data generation server 100 transmits the generated synchronized reproduction data to the PC 110 that is the distribution request source via the network 1. (Step Sa12).
[0080]
According to the PC 110 which has received the synchronous reproduction data from the synchronous reproduction data generation server 100, the material image display and the audio data synchronous reproduction based on the synchronous reproduction data can be performed. That is, by reproducing the distributed synchronized reproduction data by using predetermined reproduction software, the material image of the page corresponding to the reproduction time of the audio data is displayed on the display unit of the PC 110. While listening to certain fairy tales, novels, newspaper readings and explanations, etc.), it is possible to see the material of the page read out by the voice. Therefore, unlike a text-to-speech device that simply reads a document, there are cases where it is not possible to understand the contents of the material accurately just by listening to the reading such as illustrations, photographs, headline characters, etc. Also, since the material of the page corresponding to the part where the reading is performed is displayed, the content of the material can be more accurately understood. In addition, since the pages of the material to be displayed are automatically switched sequentially in accordance with the progress of the reproduction of the audio data, it is not necessary to perform an operation for turning the page corresponding to the part where the reading is performed.
[0081]
In addition, the reproduced sound is not prepared by the business operator, but is an original sound uttered by the user himself. For example, even in the case of reading a fairy tale to a child, an electronic synthetic sound, etc. Instead of reading aloud by the mother, it is possible to perform the reading aloud by the voice uttered by the mother. Also, once the above-mentioned synchronized playback data has been generated, the mother or the like can then read the data to the child without actually reading a fairy tale, etc. There is no need to ask a question, and the burden can be reduced.
[0082]
B. Second embodiment
Next, FIG. 6 shows an overall configuration of a network system for implementing a content providing service to which the content providing method according to the second embodiment of the present invention is applied. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
[0083]
As shown in FIG. 1, the network system includes a content providing server 200 capable of exchanging data with each other via a network 1 such as the Internet, a PC 110, and a PC 120.
[0084]
The content providing service implemented by this network system includes, when requested by a client PC 110, display of a material image over a plurality of pages and sound reproduction (eg, reading and explanation of the material) related to the material. Is performed by the client PC 110 in synchronization with the client PC 110. The PC 110 is a terminal used by a user who receives synchronized playback data distribution by the service. Further, in the content providing service, content data for performing the above-described synchronous reproduction can be uploaded from the client PC to the content providing server 200 via the network 1. Hereinafter, the configuration of each unit of the network system for providing such a service will be described.
[0085]
The PC 110 and the PC 120 have a communication function and a browser function as in the above embodiment, and the microphone 120 for creating data for performing synchronous reproduction is connected to the PC 120.
[0086]
The content providing server 200 is a server installed by a business operator or the like that provides content services, and is configured by a single personal computer or a plurality of personal computers and workstations that can communicate with each other. Then, by executing a program stored in an external storage device such as a built-in hard disk, various functions for providing contents are realized.
[0087]
More specifically, the content providing server 200 includes a communication interface 150, a content transmission unit 210, a material storage unit 220, and a content recording unit 230.
[0088]
When a material distribution request including information designating a material group and audio data desired to be transmitted and transmitted from the PC 110 is received by the communication interface 150, the content transmitting unit 210 transmits the material group and the audio data according to the designation. Is read from the material storage unit 220. Then, the content transmission unit 210 controls the communication interface 150 to transmit the read material group and audio data to the requesting PC 110 via the network 1.
[0089]
At this time, the content transmission unit 210 refers to the synchronization data stored in the material storage unit 220 and controls the transmission timing of the material group and the audio data.
[0090]
The material storage unit 220 has a storage device such as a hard disk drive, and stores a large number of material groups as shown in FIG. One material group is the same as that of the first embodiment, and is for displaying content corresponding to one page of a book such as a fairy tale, a novel, a magazine, or an educational book, or content corresponding to one page of a newspaper. It has a plurality of document image display data.
[0091]
In addition, the material storage unit 220 stores audio data (reading and explanation of the contents of each material group, etc.) related to each of the material groups as described above. Here, a plurality of voice data is stored for one material group. For example, even if voice data read a certain novel, voice data recording a reading of a person who reads quickly or relatively slowly. A plurality of voice data are stored, such as voice data obtained by recording a reading of a reading person. As described above, in addition to the audio data obtained by recording what is actually read by a person, audio data electronically synthesized from a character string included in the material may be stored.
[0092]
In the material storage unit 220, the image display based on each material image display data included in the material group and the reproduction of the audio data related to the material group are synchronized in the PC 110 that is the transmission destination. , Synchronization data for controlling the transmission timing is stored. That is, synchronization data indicating the correspondence (see FIG. 5) between the image display based on each material image display data as described in the first embodiment and the reproduction time of the audio data is stored.
[0093]
The material storage unit 220 stores material groups corresponding to various books and newspapers such as fairy tales, novels, educational books (reference books and problem books), magazines and the like, and audio data related thereto, The data group and the synchronization data for performing the synchronized reproduction based on the audio data related thereto are stored.
[0094]
The content transmission unit 210 shown in FIG. 1 transmits the data of the distribution requester transmitted from the PC 110 from the data storage unit 220 in which various data groups and the corresponding audio data and synchronization data are stored as described above. Read the material group and voice data according to the specification. Then, the content transmitting unit 210 transmits the audio data and causes the PC 110 to reproduce the audio data, and also generates a data group according to the transmission time of the audio data (the reproduction time of the audio data in the PC 110) according to the synchronization data. The included material image display data is sequentially transmitted to the PC 110 via the network 1, and the material image corresponding to the transmitted material image display data is displayed on the display unit of the PC 110.
[0095]
Further, the content transmitting section 210 has a voice analyzing section 161 like the material group transmitting section 160 in the first embodiment. Therefore, when the material distribution request transmitted from the PC 110 includes the audio data for designating the material group and the audio data related thereto, the content of the audio data for specification is analyzed, Based on the analysis result, the material group and audio data specified by the distribution requester are specified.
[0096]
Returning to FIG. 1, the content recording unit 230 stores the material group stored in the material storage unit 220 from the PC 120 via the network 1, the related audio data, and the synchronization data for synchronizing and reproducing them. When transmitted, that is, when new content is uploaded, the content (a set of material group, audio data, and synchronization data) is stored in the material storage unit 220 as newly available content.
[0097]
The above is the configuration of each unit of the network system for implementing the content providing service to which the content method according to the second embodiment is applied.
[0098]
Next, the operation of each unit of the network system having the above configuration when the content providing service is performed will be described with reference to FIG.
[0099]
As shown in the figure, a user who wishes to provide a content that enables synchronized playback of a material image display and audio data operates the PC 110 as appropriate, thereby starting a browser on the PC 110 and setting a predetermined address. (Indicating the content providing server 200) to connect to the network 1 (step Sb1).
[0100]
The content providing server 200, which has been accessed from the PC 110, transmits a Web page for prompting the user to select and select a material group and audio data related thereto through the network 1 to the PC 110 (Step Sb2). On the display unit of the PC 110 that has received the Web page, for example, the titles of a large number of selectable material groups and outlines of a plurality of audio data related thereto (for example, early reading, late reading, etc.) are displayed. The list is displayed, and the user selects and specifies the group of materials and audio data displayed in the list.
[0101]
The user operates a mouse or the like of the PC 110 to input information (may be audio data) for designating a material group and audio data, and instructs a distribution request. Then, a material group distribution request including information for specifying the material group and the audio data is transmitted to the synchronous reproduction data generation server 100 (step Sb3).
[0102]
Upon receiving such a distribution request, the content transmitting unit 210 of the content providing server 200 reads the material group and audio data from the material storage unit 220 according to the specification included in the distribution request, and sends the read material group and audio data to the PC 110. Transmission is performed (step Sb4).
[0103]
As described above, in the present embodiment, at the time of transmitting content, the content providing server 200 controls the transmission timing of each material image display data included in the material group according to the synchronization data. As a result, synchronous reproduction of images and sounds is performed such that the page of the material displayed on the display unit of the PC 110 is automatically switched in accordance with the reproduction time of the audio data in the PC 110 (step Sb5). Thereby, the user can see the material of the page read aloud by the sound while listening to the sound related to the material (such as a fairy tale, a novel, or a newspaper reading or explanation).
[0104]
Therefore, as in the first embodiment, even if the reading of a document such as a document has an illustration, a photograph, or a headline, the content of the document cannot be understood accurately just by listening to the reading. You will be able to understand the contents of the material more accurately. In addition, since the pages of the material to be displayed are automatically switched sequentially in accordance with the progress of the reproduction of the audio data, it is not necessary to perform an operation for turning the page corresponding to the part where the reading is performed.
[0105]
In addition, since the content providing server 200 controls the transmission timing of each material image display data based on the synchronization data, the PC 110 can perform the synchronous reproduction as described above. No special functions such as controlling playback and display timing are required.
[0106]
Further, as described above, in addition to receiving the provision of the content that enables the synchronized reproduction of the material image and the audio, the user can also transmit the content created by himself / herself from the PC 120 to the content providing server 200 via the network 1. The original content created by the user by the content recording unit 230 is recorded in the document storage unit 220 as a new content to be provided.
[0107]
Therefore, if another user accesses the content providing server 200 with a PC and makes a distribution request specifying the material group and audio data of the uploaded content, the above-described process is performed (steps Sb1 to Sb5). The image display based on the material image display data included in the material group created and uploaded by the user and the reproduction based on the audio data can be performed in synchronization on the PC of another user who has made the distribution request.
[0108]
C. Modified example
The present invention is not limited to the first and second embodiments described above, and various modifications as exemplified below are possible.
[0109]
(Modification 1)
In the above-described first embodiment, the synchronous reproduction data generation server 100 transmits the synchronous reproduction data generated to the PC 110 as the transmission source of the audio data. The content transmission unit 190 may transmit the synchronized reproduction data generated via the network 1 to a communication terminal such as a PC of a third party other than the audio data transmission source.
[0110]
As described above, when the generated synchronous reproduction data is transmitted to the transmission source of the audio data, that is, the person other than the person involved in the generation of the synchronous reproduction data, there are the following usage modes. First, the educator uses the PC 110 to specify a group of materials corresponding to the educational books, and converts the audio data related to the group of materials, that is, the audio data of the lesson contents using the educational books into a synchronized reproduction data generation server. Send to 100.
[0111]
Then, the synchronous reproduction data generation server 100 generates synchronous reproduction data for synchronizing the reproduction of the audio data with the display of the material image corresponding to the educational book. Thereafter, when there is an access to the synchronous reproduction data generation server 100 from the PC used by the student via the network 1, a selection screen of the distribution desired synchronous reproduction data to be displayed on the display unit of the student's PC Then, the title of the educational book and the name of the educator are displayed. In other words, it is possible for the student who is the selector to determine who is the synchronous playback data generated by performing the lesson for which educational book, and the student refers to such a display and wishes to obtain the synchronized playback data. Select the playback data.
[0112]
When the synchronous reproduction data generation server 100 receives the distribution request including the selection designation from the student's PC and distributes the specified synchronous reproduction data, the student can use the PC to display the material image corresponding to the desired educational book on the PC. While listening to the desired educator's lesson for the material.
[0113]
By transmitting the audio data by the educator in this way, the synchronous reproduction data generated by the synchronous reproduction data generation server 100 is held, and when a distribution request is made by the student, the student's PC is transmitted to the student's PC. The synchronous reproduction data may be distributed by using a so-called pull distribution. However, information specifying the learner (the learner's An e-mail address or the like may be transmitted, and the synchronous reproduction data generated by the synchronous reproduction data generation server 100 may be transmitted to a designated e-mail address or the like.
[0114]
(Modification 2)
Further, a synchronous reproduction data generation server 300 as shown in FIG. 9 is provided in place of the synchronous reproduction data generation server 100 in the above-described first embodiment, and a group of materials created by the user himself, such as a PC or the like, used by the user. It may be possible to upload from the communication terminal to the synchronous reproduction data generation server 100 via the network 1. As shown in FIG. 9, the synchronous reproduction data generation server 300 has a configuration in which a material recording unit 320 is provided in addition to the configuration of the synchronous reproduction data generation server 100 in the first embodiment.
[0115]
When the material group is uploaded from the PC 130 used by the person who created the material group via the network 1 and received by the communication interface 150, the material recording unit 320 newly stores the material group in the material storage unit 180 for the user. Record additionally as a selectable material group. After being additionally recorded by the material recording unit 320 in this manner, another user or the like accesses the synchronous reproduction data generation server 300 using the PC 110 to select the additionally recorded material group, and By transmitting the related audio data, the image display based on the material group created by a certain user and the sound reproduction of the audio data related to the material group transmitted by another user are performed in synchronization with each other. Synchronous reproduction data can also be generated.
[0116]
(Modification 3)
In the first embodiment described above, when an image display switching instruction is issued from the PC 110 via the network 1, the synchronized reproduction data generation server 100 transmits the material image display data corresponding to the next page to the PC 110. At the same time (step Sa8 in FIG. 4), the timing at which the instruction was issued is acquired and used for generating synchronized playback data (step Sa9, step Sa11).
[0117]
In this way, the display switching timing is acquired, and in addition to automatically switching the display of the material image when the audio data is reproduced, the display state of the material image display other than the page switching from the user should be changed. When an instruction is issued, the synchronized reproduction data generation server 100 acquires the timing at which the instruction is issued and the display state changed by the instruction, and enables image display reflecting such a change in the display state. Synchronous reproduction data may be generated.
[0118]
For example, the material image of the second page is displayed at 2:20 from the start of the timer count (step Sa6 in FIG. 4) due to the start of the transmission of the audio data. At this time, the material image of the second page is enlarged and displayed. When the instruction to the effect is given by the user, the PC 110 causes the PC 110 to execute the enlarged display according to the instruction, and the synchronous reproduction data generation server 100 realizes the timing (2:20) at which the instruction is given and the instruction by the instruction. Obtained display state (enlarged display).
[0119]
Then, the indexing unit 170 generates synchronous reproduction data for realizing synchronous reproduction, such as automatically enlarging and displaying the material image of the second page displayed when the reproduction time of the audio is 2:20. I do.
[0120]
In this way, not only when there is a page change of the material to be displayed, but also when the display state of the material image such as an enlarged display is changed, the change of the display state is performed by the audio data. This can be performed in synchronization with the reproduction, and it is possible to effectively assist the viewer who has watched the image display and the sound reproduction by the synchronous reproduction with understanding the contents of the material.
[0121]
If data in JPEG2000 format is used as the material image display data, images having different resolutions can be obtained from one image display data. When the resolution is changed, the change is reflected in the synchronous playback. What is necessary is just to generate reproduction data.
[0122]
(Modification 4)
In the first and second embodiments described above, synchronous playback, such as switching of material images to be displayed sequentially according to the progress of the playback of audio data, can be performed. However, as shown in FIG. A table of contents for the material images included in the material group is displayed on the display unit of the PC 110 in which the image display and the audio data are synchronously reproduced, and the reproduction position of the audio data is changed or displayed using the table of contents. The switching of the image may be instructed.
[0123]
As shown in the figure, on the display screen during the image display based on the synchronized playback data and the audio playback, a playback status display column 400 indicating the playback position of the audio data, and a material on which the material image based on the material image display data is displayed. An image column 401 and a table of contents column 402 are displayed.
[0124]
When the user clicks the third chapter of the table of contents 402 by operating the mouse or the like, the PC 110 displays the material image of the first page of the third chapter and displays the material image of the first page of the third chapter. Synchronous playback data may be generated that allows the playback position of the audio data to jump to the relevant playback time. Such synchronously reproduced data includes the correspondence between the display of each material image and the sound reproduction time (see FIG. 5) described in the first embodiment, and the titles in the table of contents (Chapter 1 and Chapter 2). Is associated with the reproduction time and the page of the material image. For example, if the first page of the third chapter is the material image of the 30th page and the display start timing of the material image of the 30th page is 15:35, the material image is added to the table of contents title “Chapter 3”. What is necessary is just to describe the correspondence of 30 pages and the reproduction time of 15:35 in the synchronous reproduction data.
[0125]
By clicking the title displayed in the table of contents 402 as described above, it is possible to change the reproduction position and switch the display of the material image, so that only the necessary parts for the user are extracted and synchronously reproduced. And the convenience is improved.
[0126]
(Modification 5)
In the first and second embodiments described above, when synchronous reproduction data is transmitted in response to a distribution request from a client communication terminal such as the PC 110, charging processing is performed for the user of the client communication terminal. A charging server or the like may be provided.
[0127]
For example, as shown in FIG. 11, a charging server 500 capable of exchanging data with the content providing server 200 may be provided in the network system according to the second embodiment. The charging server 500 has a function of managing charging for users, and has a charging management information storage unit 510 that stores charging management information for each user who can receive the content providing service.
[0128]
The charging management information storage unit 510 stores the number of uploads and the number of downloads of a content within a certain period (for example, one month) for each user, and these information are updated each time an upload or download is performed. It has become.
[0129]
Then, at a predetermined billing management timing (such as at the end of the month), the billing server 500 performs a billing process corresponding to the number of downloads that is larger than the number of uploads for the user, and the number of uploads is smaller than the number of downloads. If the number is large, the accounting process is not performed.
[0130]
By doing so, users who have created their own content have the advantage that by uploading that content, they can receive other content for free of charge, and it is possible to encourage more original content to be uploaded. As a result, the number of contents that can be provided can be increased.
[0131]
If the number of downloads does not exceed the number of uploads as described above, a billing process may be performed such that the user is not charged, but it is determined whether or not the user is the uploader, It is sufficient to perform an advantageous charging process for the uploading user. In principle, while charging the user who has received the content download service, if the uploading is performed, the charging amount is reduced. The processing may be performed, or a reward may be given to a user whose upload count is larger than the download count. Also in this case, the user can be prompted to upload his or her own content, and the types of content that can be provided can be increased.
[0132]
(Modification 6)
In the first and second embodiments described above, the display of the material image and the reproduction of the audio data are synchronized in the PC 110. However, the reproduction of the video data with sound is not limited to the audio data. The image display may be synchronized.
[0133]
【The invention's effect】
As described above, according to the first aspect of the invention, it is possible to synchronize the original audio data transmitted from the user side and the image display based on the material image display data included in the material image group. There is an effect that reproduction data can be obtained.
[0134]
Further, according to the invention according to claim 2, there is an effect that synchronized reproduction data capable of displaying each material image at a timing at which each material image should be displayed during reproduction of audio data can be obtained.
[0135]
According to the third aspect of the present invention, when the user issues a display state change instruction such as display enlargement while the material image is displayed, the display state change timing is determined from the instruction timing. There is an effect that synchronous reproduction data whose display state is changed at the acquired timing can be obtained.
[0136]
Further, according to the invention according to claim 4, there is an effect that the user can specify a desired material image group by a simple operation such as vocalizing the content for specifying the material image group to be specified.
[0137]
Further, according to the invention of claim 5, there is an effect that the number of material image groups that can be provided can be increased.
[0138]
According to the invention of claim 6, the display of the material image included in the material image group designated by the user and the reproduction of the audio data acquired and transmitted by the user in relation to the material image group are synchronized. Since the synchronized reproduction data that can be made to be transmitted is transmitted to the communication terminal of the user, there is an effect that the user can view the material image display and the audio data reproduction based on the synchronized reproduction data.
[0139]
Further, according to the invention according to claim 7, synchronous reproduction data which can synchronize the reproduction of audio data relating to the content published in a book or newspaper with the display of each page of the book or newspaper can be obtained. This has the effect that it can be performed.
[0140]
According to the invention of claim 8, even if the user of the communication terminal does not have a function of performing timing control or the like for synchronizing each of the material images included in the material image group with the audio reproduction, such synchronization can be performed. This has the effect of being able to view the playback.
[0141]
According to the ninth aspect of the invention, if the communication terminal displays the material image display data at the transmitted timing, the sound reproduction based on the sound data and the synchronous reproduction of the material image display can be performed. To play.
[0142]
According to the tenth aspect of the present invention, the user can specify the desired material image group and audio data by a simple operation such as vocalizing the content for specifying the material image group and audio data to be specified. It has the effect of being able to do it.
[0143]
Further, according to the eleventh aspect, there is an effect that the content that can be provided can be increased.
[0144]
Further, according to the twelfth aspect of the invention, there is an effect that the reproduction of the audio data related to the content published in the book or the newspaper can be synchronized with the display of each page of the book or the newspaper.
[0145]
According to the thirteenth aspect of the present invention, when content is provided to the communication terminal such that the material image group and the audio data are synchronously reproduced, the user of the communication terminal can be charged. This has the effect.
[0146]
According to the fourteenth aspect of the present invention, if the sender of the content such as the material image group, the audio data, and the synchronization data is the sender, the user is not charged even if the content such as the material image group is provided. Or a preferential measure such as reducing the amount of money, whereby the transmission of the self-produced content can be prompted, and as a result, the content that can be provided can be increased.
[0147]
According to the fifteenth aspect of the present invention, there is obtained synchronized reproduction data capable of synchronizing the original audio data transmitted from the user side with the image display based on the material image display data included in the material image group. It has the effect of being able to.
[0148]
According to the invention of claim 16, even if the user of the communication terminal does not have a function of performing timing control or the like for synchronizing each material image included in the material image group and audio reproduction, such synchronization can be performed. This has the effect of being able to view the playback.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a network system to which a synchronous reproduction data generation method according to a first embodiment of the present invention is applied.
FIG. 2 is a diagram for explaining the contents of a material group stored in a material storage unit of a synchronous reproduction data generation server which is a component of the network system.
FIG. 3 is a diagram for explaining the contents of a material group specifying database for specifying a material group specified by a user by voice analysis;
FIG. 4 is a sequence flowchart showing an operation of the network system during a synchronous reproduction data distribution service.
FIG. 5 is a diagram schematically showing a correspondence relationship between the material image and the audio data in the synchronized reproduction data for synchronizing the display of the material image and the reproduction of the audio data.
FIG. 6 is a diagram illustrating an overall configuration of a network system to which a content providing method according to a second embodiment of the present invention is applied.
FIG. 7 is a diagram for explaining the contents of contents stored in a material storage unit of a contents providing server which is a component of the network system in the second embodiment.
FIG. 8 is a sequence flowchart showing an operation of the network system in the second embodiment at the time of a content providing service.
FIG. 9 is a diagram showing a modified example of a network system to which the synchronous reproduction data generation method is applied.
FIG. 10 is a diagram showing an example of a screen displayed on a display unit at the time of reproduction based on synchronous reproduction data generated by the synchronous reproduction data generation server.
FIG. 11 is a diagram illustrating an overall configuration of another network system to which the content providing method according to the second embodiment is applied.
[Explanation of symbols]
1 Network
100 Synchronous playback data generation server
110, 120, 130 PC
115 microphone
150 Communication interface
160 Data group transmission unit
161 Voice analysis unit
170 Indexing Department
180 Document storage unit
190 Content transmission unit
200 contents providing server
210 Content transmission unit
220 Document storage unit
230 Content Recorder
300 Synchronous playback data generation server
320 Document Recorder
500 billing server

Claims (16)

通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生データ生成装置であって、
複数の資料画像表示データを有する資料画像群を記憶する画像データ記憶手段と、
ネットワークを介して前記通信端末から送信される資料画像群を指定する指定情報が前記通信手段によって受信された場合に指定された資料画像群をネットワークを介して前記通信端末に送信するよう前記通信手段を制御する画像送信手段と、
前記画像送信手段によって送信された前記資料画像群に基づく画像表示がなされている間に取得された音声データが前記ネットワークを介して前記通信端末から供給されて前記通信手段によって受信された場合に、受信された音声データと、前記指定情報によって指定された前記資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成手段と
を具備することを特徴とする同期再生データ生成装置。A synchronous reproduction data generation device comprising a communication means for transmitting and receiving data via a communication terminal and a network,
Image data storage means for storing a material image group having a plurality of material image display data;
The communication means for transmitting the specified material image group to the communication terminal via the network when designation information for specifying the material image group transmitted from the communication terminal via the network is received by the communication means; Image transmission means for controlling
When audio data obtained during image display based on the material image group transmitted by the image transmitting unit is supplied from the communication terminal via the network and received by the communication unit, Synchronous reproduction data generating means for generating synchronous reproduction data for synchronizing the received audio data with the image display based on the material image group specified by the specification information. Playback data generation device. 前記画像送信手段は、前記通信端末から送信される資料画像切り替え指示にしたがって順次資料画像群に含まれる資料画像表示データを送信し、
前記同期再生データ生成手段は、前記切り替え指示が行われたタイミングに基づいて前記音声データの再生中に前記資料画像群に含まれる各資料画像表示データに基づく画像表示を行うべきタイミングを示すタイミング情報を取得し、当該タイミング情報に基づいて前記同期再生データを生成する
ことを特徴とする請求項１に記載の同期再生データ生成装置。The image transmitting means transmits material image display data sequentially included in the material image group according to a material image switching instruction transmitted from the communication terminal,
The synchronous reproduction data generating means includes a timing information indicating a timing at which an image display based on each material image display data included in the material image group should be performed during the reproduction of the audio data based on the timing at which the switching instruction is performed. The synchronous reproduction data generation device according to claim 1, wherein the synchronous reproduction data is generated based on the timing information. 前記同期再生データ生成手段は、前記通信端末のユーザによって前記資料画像表示データに基づく画像表示状態の変更指示があった場合に、その変更指示があったタイミングに基づいて前記資料画像群に含まれる各資料画像表示データに基づく画像表示状態を変更すべきタイミングを示す表示状態タイミング情報を取得し、当該表示状態タイミング情報に基づいて前記同期再生データを生成する
ことを特徴とする請求項２に記載の同期再生データ生成装置。When the user of the communication terminal issues an instruction to change the image display state based on the material image display data, the synchronous playback data generating unit is included in the material image group based on the timing at which the change instruction was issued. 3. The synchronous reproduction data according to claim 2, further comprising acquiring display state timing information indicating a timing to change an image display state based on each material image display data, and generating the synchronous reproduction data based on the display state timing information. Synchronous playback data generation device. 前記通信手段によって受信される前記指定情報に前記資料画像群を指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群を特定する音声解析手段をさらに具備し、
前記画像送信手段は、前記音声解析手段によって特定された資料画像群を送信するよう前記通信手段を制御する
ことを特徴とする請求項１ないし３のいずれかに記載の同期再生データ生成装置。When the designation information received by the communication means includes audio data issued by a user to designate the material image group, the content of the audio data is analyzed, and the material image group designated by the user is analyzed. Further comprising voice analysis means for identifying
4. The synchronous reproduction data generation device according to claim 1, wherein the image transmission unit controls the communication unit to transmit the material image group specified by the audio analysis unit. 通信端末から前記ネットワークを介して供給される資料画像群が前記通信手段によって受信された場合に、受信された前記資料画像群を前記画像データ記憶手段に書き込む画像記録手段をさらに具備する
ことを特徴とする請求項１ないし４のいずれかに記載の同期再生データ生成装置。When a material image group supplied from a communication terminal via the network is received by the communication means, the image processing apparatus further comprises image recording means for writing the received material image group to the image data storage means. 5. The synchronized reproduction data generation device according to claim 1, wherein: 前記同期再生データ生成手段によって生成される同期再生データを、前記指定情報の送信元である前記通信端末に前記ネットワークを介して送信するよう前記通信手段を制御する同期再生データ送信手段をさらに具備することを特徴とする請求項１ないし５のいずれかに記載の同期再生データ生成装置。The apparatus further includes a synchronous reproduction data transmitting unit that controls the communication unit to transmit the synchronous reproduction data generated by the synchronous reproduction data generation unit to the communication terminal that is a transmission source of the designation information via the network. 6. The synchronous reproduction data generation device according to claim 1, wherein: 前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータである
ことを特徴とする請求項１ないし６のいずれかに記載の同期再生データ生成装置。2. The material image display data included in the material image group stored in the image data storage means is data for displaying content published in a book or a newspaper for each page. 7. The synchronous reproduction data generation device according to any one of claims 6 to 6. 通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生コンテンツ提供装置であって、
複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶する記憶手段と、
ネットワークを介して前記通信端末から送信される、資料画像群および当該資料画像群に関連する前記音声データを指定する指定情報が前記通信手段によって受信された場合に、指定された資料画像群に含まれる資料画像表示データおよび前記音声データを、前記同期用データに基づいたタイミングで前記ネットワークを介して前記通信端末に送信するよう前記通信手段を制御し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づく再生とを同期させて行わせるコンテンツ送信手段と
を具備することを特徴とする同期再生コンテンツ提供装置。A synchronized playback content providing apparatus including a communication unit for transmitting and receiving data via a communication terminal and a network,
A material image group having a plurality of material image display data, audio data related to an image displayed based on the material image group, and an image display based on the material image group and the audio data related to the material image group Storage means for storing synchronization data for synchronizing with reproduction of the
When the designation information that specifies the material image group and the audio data related to the material image group transmitted from the communication terminal via the network is received by the communication unit, the material image group is included in the specified material image group. The communication means is controlled to transmit the material image display data and the audio data to the communication terminal via the network at a timing based on the synchronization data, and the communication terminal includes the material included in the material image group. A synchronized reproduction content providing apparatus, comprising: a content transmission unit that synchronizes image display based on image display data with reproduction based on the audio data. 前記コンテンツ送信手段は、前記音声データの再生時刻と各前記資料画像表示データとが対応付けられた前記同期用データに基づいて、前記前記音声データに基づく再生時刻に応じて前記資料画像表示データを送信するよう前記通信手段を制御する
ことを特徴とする請求項８に記載の同期再生コンテンツ提供装置。The content transmitting unit, based on the synchronization data in which the reproduction time of the audio data and each of the material image display data are associated, converts the material image display data in accordance with the reproduction time based on the audio data. 9. The synchronized reproduction content providing apparatus according to claim 8, wherein said communication means is controlled to transmit. 前記通信手段によって受信される前記指定情報に前記資料画像群および前記音声データを指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群および前記音声データを特定する音声解析手段をさらに具備し、
前記画像送信手段は、前記音声解析手段によって特定された資料画像群および前記音声データを送信させる
ことを特徴とする請求項８または９に記載の同期再生コンテンツ提供装置。When the designation information received by the communication means includes audio data issued by a user to designate the material image group and the audio data, the content of the audio data is analyzed, and the content specified by the user is specified. Further comprising a sound analysis means for specifying the material image group and the sound data,
10. The synchronous reproduction content providing apparatus according to claim 8, wherein the image transmitting unit transmits the material image group specified by the audio analyzing unit and the audio data. 通信端末から前記ネットワークを介して供給される資料画像群、これに関連する前記音声データおよび当該資料画像群に基づく画像表示と前記音声データに基づく再生とを同期させるための同期用データが前記通信手段によって受信された場合に、受信された前記資料画像群、前記音声データおよび前記同期用データを前記記憶手段に書き込む記録手段をさらに具備する
ことを特徴とする請求項８ないし１０のいずれかに記載の同期再生コンテンツ提供装置。The material image group supplied from the communication terminal via the network, the audio data related thereto, and synchronization data for synchronizing image display based on the material image group with reproduction based on the audio data are transmitted through the communication terminal. 11. The recording apparatus according to claim 8, further comprising a recording unit configured to write the received material image group, the audio data, and the synchronization data to the storage unit when received by the unit. Synchronized playback content providing device. 前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータである
ことを特徴とする請求項８ないし１１のいずれかに記載の同期再生コンテンツ提供装置。9. The material image display data included in the material image group stored in the image data storage means is data for displaying content published in a book or newspaper for each page. 12. The synchronized reproduction content providing device according to any one of claims 11 to 11. 前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段をさらに具備する
ことを特徴とする請求項８ないし１２のいずれかに記載の同期再生コンテンツ提供装置。13. The system according to claim 8, further comprising a charging unit configured to perform a charging process corresponding to the transmission to a user of the communication terminal as a transmission destination when the transmission control is performed by the content transmission unit. The synchronized reproduction content providing device according to any one of the above. 前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段であって、課金処理の対象となる前記通信端末のユーザが、前記記録手段が前記記憶手段に記録させた資料画像群、音声データおよび同期用データの送信主であるか否かを判別し、当該判別結果に基づいた処理を行う
ことを特徴とする請求項１１に記載の同期再生コンテンツ提供装置。A charging unit configured to perform a charging process corresponding to the transmission to a user of the communication terminal that is a transmission destination when transmission control is performed by the content transmission unit; A user discriminating whether or not the recording means is a sender of the material image group, audio data and synchronization data recorded in the storage means, and performing a process based on the discrimination result; The synchronized reproduction content providing device according to claim 11. ネットワークを介して前記通信端末から送信される、複数の資料画像表示データを有する資料画像群を指定する指定情報を受信した同期再生データ生成サーバが、指定された資料画像群をネットワークを介して前記通信端末に送信し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像を表示させる画像表示ステップと、
前記通信端末から前記ネットワークを介して送信される、前記画像表示ステップにおいて前記資料画像群に基づく画像表示がなされている間に取得された音声データを受信した前記同期再生データ生成サーバが、受信した音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成ステップと
を具備することを特徴とする同期再生データ生成方法。Transmitted from the communication terminal via the network, the synchronous reproduction data generation server, which receives the specification information specifying the material image group having a plurality of material image display data, the specified material image group via the network An image display step of transmitting to the communication terminal and causing the communication terminal to display an image based on the material image display data included in the material image group,
Transmitted from the communication terminal via the network, the synchronous reproduction data generation server that has received the audio data acquired during the image display based on the material image group is being performed in the image display step, A synchronous reproduction data generating step for generating synchronous reproduction data for synchronizing image display based on the material image group designated by the designation information with the audio data. . 複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶するコンテンツ提供サーバからネットワークを介して通信端末にコンテンツを提供する方法であって、
ネットワークを介して前記通信端末から送信される、資料画像群およびこれに関連する前記音声データを指定する指定情報を受信した前記コンテンツ提供サーバが、指定された資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づいた再生が前記通信端末において同期して行われるよう前記同期用データに基づいてタイミングを制御して指定された前記資料画像群に含まれる資料画像表示データおよび前記音声データを前記ネットワークを介して前記通信端末に送信するコンテンツ送信ステップ
を具備することを特徴とするコンテンツ提供方法。A material image group having a plurality of material image display data, audio data related to an image displayed based on the material image group, and an image display based on the material image group and the audio data related to the material image group A method of providing content to a communication terminal via a network from a content providing server that stores synchronization data for synchronizing playback with
The content providing server, which has received the designation information for designating the material image group and the audio data related thereto, transmitted from the communication terminal via the network, includes the material image display data included in the designated material image group. Material image display data included in the material image group specified by controlling the timing based on the synchronization data so that the image display based on the audio data and the reproduction based on the audio data are performed in synchronization in the communication terminal and A content providing method, comprising: transmitting the audio data to the communication terminal via the network.
JP2003074208A 2003-03-18 2003-03-18 Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method Pending JP2004282614A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003074208A JP2004282614A (en) 2003-03-18 2003-03-18 Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003074208A JP2004282614A (en) 2003-03-18 2003-03-18 Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method

Publications (1)

Publication Number Publication Date
JP2004282614A true JP2004282614A (en) 2004-10-07

Family

ID=33289914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003074208A Pending JP2004282614A (en) 2003-03-18 2003-03-18 Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method

Country Status (1)

Country Link
JP (1) JP2004282614A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178989A (en) * 2004-12-20 2006-07-06 Ricoh Co Ltd Apparatus, method and program for processing document
US10055475B2 (en) 2015-04-29 2018-08-21 Ricoh Company, Ltd. Authentication system, synchronization method, and authentication apparatus
JP2021073569A (en) * 2016-12-05 2021-05-13 株式会社アイヴィジョン Video generation program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178989A (en) * 2004-12-20 2006-07-06 Ricoh Co Ltd Apparatus, method and program for processing document
US10055475B2 (en) 2015-04-29 2018-08-21 Ricoh Company, Ltd. Authentication system, synchronization method, and authentication apparatus
JP2021073569A (en) * 2016-12-05 2021-05-13 株式会社アイヴィジョン Video generation program

Similar Documents

Publication Publication Date Title
US6968506B2 (en) Method of and system for composing, delivering, viewing and managing audio-visual presentations over a communications network
US6868435B2 (en) Method and apparatus for creating and executing internet based lectures using public domain web pages
US20100332959A1 (en) System and Method of Capturing a Multi-Media Presentation for Delivery Over a Computer Network
US20020091658A1 (en) Multimedia electronic education system and method
KR20070095332A (en) System and method for music score capture and synthesized audio performance with synchronized presentation
JP2008172582A (en) Minutes generating and reproducing apparatus
TW201123111A (en) Video/audio teaching system
WO2003001430A1 (en) Content delivery method, scenario data, recording medium, and scenario data creation method
US20030086682A1 (en) System and method for creating synchronized multimedia presentations
US20240205515A1 (en) Information processing system, information processing method, and storage medium
JP2003323104A (en) Language learning system
WO2021111872A1 (en) Content provision system, content provision method, and storage medium
JP2004233698A (en) Device, server and method to support music, and program
Kruge et al. MadPad: A Crowdsourcing System for Audiovisual Sampling.
JP2004282614A (en) Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method
Braun Listen up!: podcasting for schools and libraries
CN117156199A (en) Digital short-man video production platform and production method thereof
KR20030013791A (en) System and the method which in internet base remake a books contents in voice
JP2003015673A (en) Karaoke lesson supporting method
JP2007012091A (en) Content distribution method
Anderson et al. Using desktop video to enhance music instruction
JP2003173177A (en) Projector, and system and method for image distribution
KR20020016509A (en) The multimedia electronic education system and the method thereof
Chong et al. Delivery of multimedia educational presentations via streaming media.
JP2002077824A (en) Educational display and educational displaying method and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081111