JP2020189100A - 端末装置、端末装置の動作方法およびプログラム - Google Patents

Abstract

【課題】時系列に発生する事象に関する情報を適切なタイミングで再生する。【解決手段】情報受信部は、複数の台詞Ｌn（ｎは自然数）の発生に並行して順次に送信される識別情報Ｄnを受信可能である。時点特定部は、各台詞Ｌnの発生が予定される予定時点Ｐnを順次に特定する。停止判定部は、各台詞Ｌnの予定時点Ｐnを含む判定期間Ｗ内に情報受信部が当該台詞Ｌnの識別情報Ｄnを受信したか否かに応じて台詞進行の停止の有無を判定する。再生制御部は、複数の台詞Ｌnを時間的に区分した複数の台詞群Ｇm（ｍは自然数）の各々について、当該台詞群Ｇmの先頭の台詞Ｌnに対応する予定時点Ｐnの到来を契機として、当該台詞群Ｇmの各台詞Ｌnの関連情報Ｒnを再生装置に再生させる。再生制御部は、台詞進行が停止していると判定された場合に、再生装置に再生させる関連情報Ｒnの更新を待機し、当該判定後に識別情報Ｄnが受信されると関連情報Ｒnの更新を再開する【選択図】図４

Description

本発明は、端末装置に情報を提供する技術に関する。

演劇や演奏等の各種の興行の実演に関する情報を、興行の進行に並行して利用者の端末装置に提供する構成が従来から提案されている。例えば特許文献１には、興行の進行に並行して利用者の携帯デバイスに順次に時間コードを送信し、時間コードから特定される時点で字幕等の解説用の情報を携帯デバイスに表示させる構成が開示されている。

特開２００９−２１３１８０号公報

しかし、特許文献１の技術では、例えば携帯デバイスが何らかの理由で時間コードを適正に受信できない場合に、携帯デバイスに表示される情報を適切なタイミングで更新できない可能性がある。以上の事情を考慮して、本発明は、時系列に発生する事象に関する情報を適切なタイミングで再生することを目的とする。

以上の課題を解決するために、本発明の第１態様に係る端末装置は、複数の事象の発生に並行して順次に送信される各事象の識別情報を受信可能な情報受信部と、複数の事象の各々の発生が予定される予定時点を順次に特定する時点特定部と、各事象の予定時点の近傍にて情報受信部が当該事象の識別情報を受信したか否かに応じて複数の事象の進行が停止しているか否かを判定する停止判定部と、複数の事象を時間的に区分した複数の事象群の各々について、当該事象群の先頭の事象に対応する予定時点の到来を契機として、当該事象群に属する各事象の関連情報を再生装置に再生させる再生制御部とを具備し、再生制御部は、複数の事象の進行が停止していると停止判定部が判定した場合に、再生装置に再生させる関連情報の更新を待機し、当該判定後に情報受信部が識別情報を受信すると関連情報の更新を再開する。以上の態様では、各事象の発生が予定される予定時点の近傍で識別情報を受信したか否かに応じて複数の事象の進行が停止しているか否かが判定され、複数の事象の進行が停止していると判定された場合には、再生制御部が関連情報の更新を待機する。したがって、複数の事象の進行が停止した場合でも、進行の再開後には、複数の事象に並行するように各事象の関連情報を再生することが可能である。他方、複数の事象の進行が停止していない場合には、事象群の先頭の事象に対応する予定時点の到来を契機として当該事象群の各事象の関連情報が再生される。すなわち、識別情報の受信を要件とせずに関連情報が更新される。したがって、識別情報を適正に受信できない可能性がある環境でも、複数の事象の進行に並行するように各事象の関連情報を再生することが可能である。

第１態様の好適例において、時点特定部は、相前後する各事象間の時間差を指定する情報テーブルを参照して、複数の事象のうち第１事象と第２事象との間の時間差を特定し、第１事象の予定時点から当該時間差が経過した時点を第２事象の予定時点として特定する。以上の態様では、第１事象と第２事象とについて情報テーブルで指定された時間差が第１事象の予定時点から経過した時点を第２事象の予定時点として特定するから、各予定時点からの経過時間を計時する簡便な構成で各事象の予定時点を特定できるという利点がある。

第１態様の好適例において、複数の事象の進行が停止していると停止判定部が判定してから情報受信部が識別情報を受信した場合に、時点特定部は、当該識別情報の受信の時点を予定時点として以降の予定時点を特定し、当該識別情報に対応する事象が事象群の先頭の事象であるときには、再生制御部は、当該識別情報の受信を契機として当該事象群の各事象の関連情報を再生させる。以上の態様では、複数の事象の進行が停止していると判定されてから情報受信部が識別情報を受信した場合に、当該識別情報の受信の時点を予定時点として以降の予定時点が特定される。したがって、複数の事象の進行が再開された場合に、関連情報の更新を迅速に再開することが可能である。

本発明の第２態様に係る端末装置は、複数の事象の発生に並行して順次に送信される各事象の識別情報を受信可能な情報受信部と、情報受信部が受信した識別情報に対応する事象の関連情報を再生装置に再生させる再生制御部とを具備する。以上の態様では、複数の事象の発生に並行して事象毎に順次に送信される識別情報の受信を契機として関連情報が再生される。したがって、複数の事象の進行が停止した場合でも、進行の再開後には、複数の事象に並行するように各事象の関連情報を再生することが可能である。

本発明の第１実施形態に係る情報提供システムの構成図である。 配信装置の構成図である。 音響信号の説明図である。 ショーの進行と端末装置の動作との関係の説明図である。 端末装置の構成図である。 情報テーブルの模式図である。 突発的事情が発生した場合の端末装置の動作の説明図である。 突発的事情が発生した場合の端末装置の動作の説明図である。 端末装置の動作のフローチャートである。 第２実施形態における端末装置の構成図である。 第２実施形態における端末装置の動作のフローチャートである。 第２実施形態における端末装置の動作の説明図である。 突発的事情が発生した場合の端末装置の動作の説明図である。

＜第１実施形態＞
図１は、本発明の第１実施形態における情報提供システム１００の構成図である。第１実施形態の情報提供システム１００は、各種の興行（例えば演劇，演奏，映画等）に関する情報をその進行に並行して利用者に提供するためのコンピュータシステムであり、図１に例示される通り、配信装置１０と端末装置２０とを具備する。配信装置１０は、各種の興行が開催される劇場やホール等の施設Ｈに設置される。施設Ｈに来場した利用者は、端末装置２０を携帯する。端末装置２０は、例えば携帯電話機やスマートフォン等の可搬型の情報処理端末である。なお、実際には施設Ｈ内に複数の端末装置２０が存在するが、以下の説明では便宜的に任意の１個の端末装置２０に着目する。

第１実施形態では、事前に用意された複数の台詞が所定の順番で時系列に発音されるショー（例えばキャラクターショー）が施設Ｈ内で開催される場合を想定する。利用者は、端末装置２０を携帯しながらショーを鑑賞する。端末装置２０は、時系列に発音される複数の台詞の各々に関連する情報（以下「関連情報」という）をショーの進行に並行して順次に表示する。具体的には、例えば各台詞を表す文字列（すなわち字幕）が関連情報として端末装置２０に表示される。以上の構成によれば、端末装置２０の利用者は、端末装置２０が順次に表示する関連情報をショーの鑑賞とともに随時に確認することで、ショーの台詞を視覚的に把握することが可能である。したがって、例えば聴覚障碍者でもショーの内容を把握できるという利点がある。

図２は、配信装置１０の構成図である。図２に例示される通り、第１実施形態の配信装置１０は、制御装置１２と記憶装置１４と入力装置１６と放音装置１８とを具備する。制御装置１２は、例えばＣＰＵ（Central Processing Unit）を含む処理回路であり、配信装置１０の各要素を統括的に制御する。記憶装置１４は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体、あるいは複数種の記録媒体の組合せで構成され、制御装置１２が実行するプログラムと制御装置１２が使用する各種のデータとを記憶する。第１実施形態の記憶装置１４は音響信号Ｘを記憶する。音響信号Ｘは、ショーで発音される複数の台詞の音声を表す時間信号である。

放音装置１８は、例えば施設Ｈ内に設置されたスピーカ装置であり、音響信号Ｘが表す音を再生する。なお、音響信号Ｘをデジタルからアナログに変換するＤ/Ａ変換器、および、音響信号Ｘを増幅する増幅器の図示は便宜的に省略されている。入力装置１６は、ショーを運営する管理者からの指示を受付ける操作機器である。例えば入力装置１６を適宜に操作することで、管理者は、音響信号Ｘの再生または停止を随時に指示することが可能である。制御装置１２は、入力装置１６に対する管理者からの指示に応じて音響信号Ｘを放音装置１８に供給することで、複数の台詞の各々の音声を放音装置１８から順次に再生させる。施設Ｈ内の舞台における各出演者の演技に並行して音響信号Ｘを再生することでショーが構成される。

図３は、音響信号Ｘに含まれる音響成分の説明図である。図３に例示される通り、複数の台詞Ｌn（Ｌ1，Ｌ2，Ｌ3，…）の各々の音響成分が音響信号Ｘの相異なる区間（以下「再生区間」という）に含有される（ｎは自然数）。したがって、放音装置１８による音響信号Ｘの再生により各台詞Ｌnの音響成分が順次に放音される。また、音響信号Ｘのうち任意の１個の台詞Ｌnの再生区間には、その台詞Ｌnの識別情報Ｄn（Ｄ1，Ｄ2，Ｄ3，…）の音響成分が含有される。識別情報Ｄnは、台詞Ｌnを識別するための符号である。識別情報Ｄnの音響成分は、例えば所定の周波数の正弦波等の搬送波を識別情報Ｄnにより変調する周波数変調、または、拡散符号を利用した識別情報Ｄnの拡散変調等の変調処理により生成された変調成分である。識別情報Ｄnの音響成分の周波数帯域は、利用者が通常の環境で聴取する音の周波数帯域を上回る範囲（例えば１８ｋＨｚ以上かつ２０ｋＨｚ以下）に設定される。

以上に例示した音響信号Ｘが図２の放音装置１８に供給される。したがって、台詞Ｌnの音響成分と識別情報Ｄnの音響成分とが放音装置１８から順次に放音される。すなわち、第１実施形態の放音装置１８は、台詞Ｌnの音響成分を放音する音響機器として機能するほか、空気振動としての音波を伝送媒体とする音響通信で当該台詞Ｌnの識別情報Ｄnを周囲に送信する送信機としても機能する。

図４は、ショーの進行と端末装置２０の動作との関係の説明図である。図４に例示される通り、配信装置１０は、複数の台詞Ｌnの再生（すなわちショーの進行）に並行して各台詞Ｌnの識別情報Ｄnを音響通信により順次に送信する。例えば、第ｎ番目の台詞Ｌnの再生とともに当該台詞Ｌnの識別情報Ｄnが配信装置１０から送信される。すなわち、各台詞Ｌnの再生に同期して識別情報Ｄnが順次に送信される。なお、図３および図４では、台詞Ｌnの再生区間の開始とともに識別情報Ｄnの送信を開始する場合を例示したが、台詞Ｌnの再生区間と識別情報Ｄnが送信される期間との時間的な関係は適宜に変更され得る。また、台詞Ｌnの再生区間内に識別情報Ｄnを複数回にわたり反復的に送信する構成によれば、端末装置２０が識別情報Ｄnを受信できない可能性を低減することが可能である。

図５は、端末装置２０の構成図である。図５に例示される通り、端末装置２０は、制御装置２１と記憶装置２３と収音装置２５と入力装置２７と表示装置２９とを具備する。制御装置２１は、例えばＣＰＵを含む処理回路であり、端末装置２０の各要素を統括的に制御する。記憶装置２３は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体、あるいは複数種の記録媒体の組合せで構成され、制御装置２１が実行するプログラムと制御装置２１が使用する各種のデータとを記憶する。第１実施形態の記憶装置２３は、図６に例示される情報テーブルＴを記憶する。例えば、移動体通信網やインターネット等の通信網を介して端末装置２０が管理サーバ（図示略）から受信した情報テーブルＴが記憶装置２３に記憶される。

図６に例示される通り、情報テーブルＴは、ショーで発音され得る複数の台詞Ｌnの各々について識別情報Ｄn（Ｄ1，Ｄ2，Ｄ3，…）と関連情報Ｒn（Ｒ1，Ｒ2，Ｒ3，…）とが登録されたデータテーブルである。ショーにおける各台詞Ｌnの発音の順番で識別情報Ｄnと関連情報Ｒnとが配列される。第１実施形態における各台詞Ｌnの関連情報Ｒnは、当該台詞Ｌnの文字列を表すテキストデータである。識別情報Ｄnは、前述の通り台詞Ｌnを識別するための符号であるが、関連情報Ｒnを識別するための符号とも換言され得る。

図６に例示される通り、第１実施形態の情報テーブルＴには、相前後する２個の台詞（Ｌn，Ｌn+1）の対毎に時間差Ｑ[n,n+1]（Ｑ[1,2]，Ｑ[2,3]，Ｑ[3,4]，…）が登録される。時間差Ｑは、音響信号Ｘにおいて相前後する２個の台詞Ｌnの間の時間である。具体的には、図３に例示される通り、任意の１個の時間差Ｑ[n,n+1]は、第ｎ番目の台詞Ｌnの再生区間の始点と直後の台詞Ｌn+1の再生区間の始点との間隔である。したがって、ショーが当初の予定通りに進行すれば、配信装置１０の放音装置１８による再生音では、台詞Ｌnの発音の時点から時間差Ｑ[n,n+1]だけ経過した時点で台詞Ｌn+1の発音が開始される。例えば、最初の台詞Ｌ1の発音の開始から時間差Ｑ[1,2]だけ経過した時点で第２番目の台詞Ｌ2の発音が開始され、台詞Ｌ2の発音の開始から時間差Ｑ[2,3]だけ経過した時点で第３番目の台詞Ｌ3の発音が開始される。

図６に例示される通り、複数の台詞Ｌnは、時間軸上で複数の集合（以下「台詞群」という）Ｇmに区分される（ｍは自然数）。各台詞群Ｇm（Ｇ1，Ｇ2，…）は、時間軸上で相前後する複数の台詞Ｌnの集合である。図６では、第１番目から第３番目までの３個の台詞Ｌn（Ｌ1，Ｌ2，Ｌ3）を第１番目の台詞群Ｇ1に区分し、第４番目および第５番目の２個の台詞Ｌn（Ｌ4，Ｌ5）を第２番目の台詞群Ｇ2に区分した場合が例示されている。情報テーブルＴは、台詞群Ｇmの区分（相前後する台詞群Ｇmの境界）を規定する。例えば相前後する台詞群（Ｇm，Ｇm+1）の境界を示すデータ、あるいは、各台詞群Ｇmの先頭または末尾の台詞Ｌnを示すデータ（例えばフラグ）が情報テーブルＴに含められる。各台詞群Ｇmに属する台詞Ｌnの総数は台詞群Ｇm毎に相違し得る。また、台詞群Ｇmを１個の台詞Ｌnで構成することも可能である。なお、識別情報Ｄnと関連情報Ｒnと時間差Ｑ[n,n+1]と台詞群Ｇmとの対応を特定できれば、情報テーブルＴを複数のテーブルで構成することも可能である。

図５の収音装置２５（マイクロホン）は、周囲の音を収音して音響信号Ｙを生成する音響機器である。具体的には、収音装置２５は、配信装置１０の放音装置１８が再生した音（すなわち台詞Ｌnの音響成分と識別情報Ｄnの音響成分との混合音）を表す音響信号Ｙを生成する。なお、収音装置２５が生成した音響信号Ｙをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。

入力装置２７は、端末装置２０に対する各種の指示のために利用者が操作する入力機器である。例えば利用者が操作する複数の操作子や利用者による接触を検知するタッチパネルが入力装置２７として好適に利用される。表示装置２９（例えば液晶表示パネル）は、制御装置２１による制御のもとで関連情報Ｒnを表示する。なお、収音装置２５および表示装置２９の一方または双方を、端末装置２０とは別体で構成して端末装置２０に接続することも可能である。

図５に例示される通り、記憶装置２３に記憶されたプログラムを制御装置２１が実行することで、関連情報Ｒnを利用者に提供するための複数の機能（情報抽出部４２，時点特定部４４，再生制御部４６，停止判定部４８）が実現される。なお、以上に例示した制御装置２１の機能を複数の装置に分散した構成、または、制御装置２１の機能の一部を専用の電子回路が実現する構成も採用され得る。

情報抽出部４２は、収音装置２５が生成した音響信号Ｙから各台詞Ｌnの識別情報Ｄnを抽出する。具体的には、情報抽出部４２は、音響信号Ｙのうち識別情報Ｄnを含む周波数帯域の音響成分を例えば帯域通過フィルタで選択し、音響信号Ｘの生成時の変調処理に対応する復調処理を当該音響成分に対して実行することで識別情報Ｄnを抽出する。具体的には、放音装置１８による台詞Ｌnの発音毎に、当該台詞Ｌnの識別情報Ｄnが順次に抽出される。以上の説明から理解される通り、第１実施形態の収音装置２５は、端末装置２０の相互間の音声通話や動画撮影時の音声収録に利用されるほか、音響通信による識別情報Ｄnの受信に利用される。すなわち、収音装置２５および情報抽出部４２は、複数の台詞Ｌnの再生に並行して配信装置１０から順次に送信される各台詞Ｌnの識別情報Ｄnを受信可能な情報受信部５０として機能する。

時点特定部４４は、図４に例示される通り、台詞Ｌnの発音が予定される時点（以下「予定時点」という）Ｐnを順次に特定する。具体的には、時点特定部４４は、情報テーブルＴで指定された時間差Ｑ[n,n+1]が既定の予定時点Ｐnから経過した時点を、第(n+1)番目の台詞Ｌn+1が発音されるべき予定時点Ｐn+1として特定する。例えば、図４に例示される通り、第３番目の台詞Ｌ3の予定時点Ｐ3は、直前の台詞Ｌ2の予定時点Ｐ2から時間差Ｑ[2,3]が経過した時点である。第１実施形態の時点特定部４４は、任意の１個の予定時点Ｐnから経時的に計時値Ｃ（例えば内部タイマによるカウント値）を増加させ、情報テーブルＴで指定された時間差Ｑ[n,n+1]に計時値Ｃが到達した時点を台詞Ｌn+1の予定時点Ｐn+1として特定する。なお、第１番目の台詞Ｌ1については、時点特定部４４は、情報受信部５０が配信装置１０から最初の識別情報Ｄ1を受信した時点を予定時点Ｐ1として特定する。図４に例示される通り、各予定時点Ｐnの到来を契機として計時値Ｃはゼロに初期化される。

図５の再生制御部４６は、表示装置２９による関連情報Ｒnの表示を制御する。具体的には、再生制御部４６は、複数の台詞群Ｇmの各々について、その台詞群Ｇmの先頭の台詞Ｌnに対応する予定時点Ｐnの到来を契機として、当該台詞群Ｇmに属する複数の台詞Ｌnの関連情報Ｒnを表示装置２９に表示させる。例えば、図４に例示される通り、再生制御部４６は、台詞群Ｇ1のうち先頭の台詞Ｌ1の予定時点Ｐ1が到来すると、その台詞群Ｇ1に属する複数の台詞Ｌnの関連情報Ｒn（Ｒ1，Ｒ2，Ｒ3）を表示装置２９に表示させる。また、台詞群Ｇ2のうち先頭の台詞Ｌ4の予定時点Ｐ4が到来すると、その台詞群Ｇ2に属する複数の台詞Ｌnの関連情報Ｒn（Ｒ4，Ｒ5）を表示装置２９に表示させる。すなわち、台詞群Ｇmの先頭の台詞Ｌnについて時点特定部４４が特定する予定時点Ｐn毎に、表示装置２９に表示される関連情報Ｒnが更新される。以上の説明から理解される通り、台詞群Ｇmは、端末装置２０で一括的に表示される複数の台詞Ｌnの集合である。

ところで、実際のショーでは、相前後する台詞Ｌnの間に、事前に想定されていない突発的な事象（以下「突発的事情」という）が発生し得る。突発的事情は、可変長にわたる事柄であり、例えば出演者による即興的な演技（アドリブ）が典型例である。突発的事情が発生した場合、管理者は、配信装置１０の入力装置１６に対する操作で音響信号Ｘの再生の停止を指示し、突発的事情が終了した段階で音響信号Ｘの再生の再開を指示する。配信装置１０の制御装置２１は、管理者からの指示に応じて音響信号Ｘの再生を停止および再開する。以上の説明から理解される通り、突発的事情が発生した場合には、台詞Ｌnの再生の進行（以下「台詞進行」という）が停止する。したがって、台詞進行に並行した適切な時点で関連情報Ｒnを表示するためには、突発的事情の発生（台詞進行の停止）を検知して以降の各台詞Ｌnの予定時点Ｐnを特定することが重要である。

以上の事情を考慮して、図５の停止判定部４８は、台詞進行が停止しているか否か（すなわち、突発的事情の有無）を判定する。図３を参照して前述した通り、配信装置１０は、各台詞Ｌnの再生とともに当該台詞Ｌnの識別情報Ｄnを送信する。したがって、ショーが予定通りに進行している状況（突発的事情が発生していない状況）では、各台詞Ｌnの予定時点Ｐnの近傍の時点にて情報受信部５０が当該台詞Ｌnの識別情報Ｄnを受信すると期待される。他方、台詞進行が停止した状況では、各台詞Ｌnの予定時点Ｐnの近傍の時点において情報受信部５０が識別情報Ｄnを受信できない。

以上の傾向を考慮して、第１実施形態の停止判定部４８は、時点特定部４４が台詞Ｌn毎に特定した予定時点Ｐnの近傍において情報受信部５０が当該台詞Ｌnの識別情報Ｄnを受信したか否かに応じて、台詞進行が停止しているか否かを判定する。具体的には、停止判定部４８は、図４に例示される通り、各台詞Ｌnの予定時点Ｐnを含む所定の期間（以下「判定期間」という）Ｗ内に情報受信部５０が当該台詞Ｌnの識別情報Ｄnを受信した場合には台詞進行が停止していないと判定し、判定期間Ｗ内に情報受信部５０が識別情報Ｄnを受信しない場合には台詞進行が停止していると判定する。

台詞進行が停止していないと停止判定部４８が判定した場合には、前述の通り、時点特定部４４が予定時点Ｐnを順次に特定する動作と再生制御部４６が関連情報Ｒnの表示を順次に更新する動作とが継続的に実行される。他方、台詞進行が停止していると停止判定部４８が判定した場合には、時点特定部４４による予定時点Ｐnの特定（計時値Ｃの増加）と再生制御部４６による関連情報Ｒnの表示の更新とが待機される。台詞進行が停止した場合の動作の具体例を以下に説明する。

図７は、１個の台詞群Ｇm内で相前後する２個の台詞Ｌ（Ｌn，Ｌn+1）の間で突発的事情Ｅが発生した結果、台詞Ｌn+1の直前で台詞進行が停止した場合の動作の説明図である。具体的には、台詞群Ｇ1の台詞Ｌ2と台詞Ｌ3との間で突発的事情Ｅが発生し、結果的に台詞Ｌ3が遅延した場合が図７では例示されている。

停止判定部４８は、時点特定部４４が特定した予定時点Ｐ3を始点とする判定期間Ｗ内において情報受信部５０が台詞Ｌ3の識別情報Ｄ3を受信したか否かを判定する。図７に例示される通り、予定時点Ｐ3では突発的事情Ｅが発生しているから、判定期間Ｗ内で識別情報Ｄ3の送信および受信は実行されない。したがって、停止判定部４８は、台詞進行が停止していると判定する（図７の「ＮＧ」）。この場合、時点特定部４４による計時値Ｃの計数（予定時点Ｐ4の特定）と再生制御部４６による表示の更新とは待機される。

突発的事情Ｅが終了すると、配信装置１０による音響信号Ｘの再生（識別情報Ｄnの送信）が再開される。図７に例示される通り、台詞進行の再開後の最初の識別情報Ｄ3を情報受信部５０が受信すると、識別情報Ｄ3の受信の時点を新たな予定時点Ｐ3として時点特定部４４による計時値Ｃの計数が再開される。そして、更新後の予定時点Ｐ3から時間差Ｑ[3,4]が経過した予定時点Ｐ4が到来すると、時点特定部４４は計時値Ｃを初期化したうえで計数を継続し、再生制御部４６は、台詞群Ｇ2に属する各台詞Ｌnの関連情報Ｒn（Ｒ4，Ｒ5）を表示装置２９に表示させる。すなわち、台詞群Ｇ1の各台詞Ｌnの関連情報Ｒn（Ｒ1，Ｒ2，Ｒ3）の表示が、予定時点Ｐ4の到来を契機として、台詞群Ｇ2の各台詞Ｌnの関連情報Ｒn（Ｒ4，Ｒ5）の表示に更新される。他方、停止判定部４８は、予定時点Ｐ4を始点とする判定期間Ｗ内に情報受信部５０が台詞Ｌ4の識別情報Ｄ4を受信したか否かに応じて台詞進行の停止の有無を判定する。台詞進行が停止していると停止判定部４８が判定した場合に、予定時点Ｐnの特定と関連情報Ｒnの表示の更新とが待機される点は前述の通りである。

なお、以上の説明では、台詞進行の再開後に予定時点Ｐ4の到来を契機として台詞群Ｇ2の各台詞Ｌnの関連情報Ｒn（Ｒ4，Ｒ5）を表示したが、台詞進行の再開後に最初に関連情報Ｒnの表示を更新する状態では、予定時点Ｐ4の到来と識別情報Ｄ4の受信との双方を条件として台詞群Ｇ2の関連情報Ｒnを表示することも可能である。

図８は、相前後する２個の台詞群Ｇm-1および台詞群Ｇmの間（すなわち台詞群Ｇmの先頭の台詞Ｌnの直前）にて突発的事情Ｅが発生した結果、台詞群Ｇmの先頭の台詞Ｌnの直前で台詞進行が停止した場合の動作の説明図である。具体的には、台詞群Ｇ1の最後の台詞Ｌ3と直後の台詞群Ｇ2の先頭の台詞Ｌ4との間で突発的事情Ｅが発生し、結果的に台詞Ｌ4が遅延した場合が図８では例示されている。

停止判定部４８は、時点特定部４４が特定した予定時点Ｐ4を始点とする判定期間Ｗ内において情報受信部５０が台詞Ｌ4の識別情報Ｄ4を受信したか否かを判定する。図８に例示される通り、予定時点Ｐ4では突発的事情Ｅが発生しているから、判定期間Ｗ内で識別情報Ｄ4の送信および受信は実行されない。したがって、停止判定部４８は、台詞進行が停止していると判定する（図８の「ＮＧ」）。この場合、時点特定部４４による計時値Ｃの計数（予定時点Ｐ5の特定）と再生制御部４６による表示の更新とは待機される。

突発的事情Ｅが終了すると、配信装置１０による音響信号Ｘの再生（識別情報Ｄnの送信）が再開される。図８に例示される通り、台詞進行の再開後の最初の識別情報Ｄ4を情報受信部５０が受信すると、時点特定部４４は、識別情報Ｄ4の受信の時点を新たな予定時点Ｐ4として計時値Ｃの計数を初期値から開始する。また、情報受信部５０による識別情報Ｄ4の受信を契機として、再生制御部４６は、台詞群Ｇ2に属する各台詞Ｌnの関連情報Ｒn（Ｒ4，Ｒ5）を表示装置２９に表示させる。すなわち、時点特定部４４による時間差Ｑ[3,4]の計時（更新前の予定時点Ｐ4の到来）と、台詞Ｌ4の識別情報Ｄ4の受信とを条件として、台詞群Ｇ1の各台詞Ｌnの関連情報Ｒn（Ｒ1，Ｒ2，Ｒ3）の表示が、台詞群Ｇ2の各台詞Ｌnの関連情報Ｒn（Ｒ4，Ｒ5）の表示に更新される。

以上の説明から理解される通り、再生制御部４６は、台詞進行が停止していると停止判定部４８が判定した場合に、表示装置２９に表示させる関連情報Ｒnの更新を待機する一方、当該判定後に情報受信部５０が識別情報Ｄnを受信すると、関連情報Ｒnの更新を再開する。突発的事情Ｅの発生時における端末装置２０の動作例は以上の通りである。

図９は、端末装置２０の制御装置２１が実行する処理のフローチャートである。図９の処理を開始すると、時点特定部４４は、予定時点Ｐnが到来するまで待機する（ＳA1：NO）。予定時点Ｐnが到来すると（ＳA1：YES）、時点特定部４４は、計時値Ｃをゼロに初期化したうえで計時を開始し（ＳA2）、停止判定部４８は、予定時点Ｐnを含む判定期間Ｗ内に情報受信部５０が台詞Ｌnの識別情報Ｄnを受信したか否かに応じて台詞進行の停止の有無を判定する（ＳA3）。台詞進行が停止していない場合（ＳA4：NO）、再生制御部４６は、時点特定部４４により特定された予定時点Ｐnが台詞群Ｇmの先頭の台詞Ｌnに対応するか否かを判定する（ＳA5）。台詞群Ｇmの先頭の台詞Ｌnの予定時点Ｐn（例えば図４の予定時点Ｐ4）が到来した場合（ＳA5：YES）、再生制御部４６は、当該台詞群Ｇmに属する各台詞Ｌnの関連情報Ｒnを表示装置２９に表示させる（ＳA6）。他方、予定時点Ｐnが台詞群Ｇmの先頭以外の台詞Ｌnに対応する場合（ＳA5：NO）、再生制御部４６は、現段階の関連情報Ｒnの表示を維持する。すなわち、図４からも理解される通り、台詞群Ｇmの先頭以外の台詞Ｌnが再生された段階では、表示装置２９の表示は更新されない。以上の処理を実行すると、次回の予定時点Ｐnを待機する状態（ＳA1）に遷移する。

以上に説明した通り、第１実施形態では、台詞進行が停止していない場合には、台詞群Ｇmの先頭の台詞Ｌnに対応する予定時点Ｐnの到来を契機として当該台詞群Ｇmの各台詞Ｌnの関連情報Ｒnが表示される。すなわち、識別情報Ｄnの受信を要件とせずに関連情報Ｒnの表示が更新される。したがって、配信装置１０が送信した識別情報Ｄnを適正に受信できない可能性がある環境でも、台詞進行に並行するように各台詞Ｌnの関連情報Ｒnを表示することが可能である。

他方、台詞進行が停止している場合（ＳA4：YES）、時点特定部４４は、図７および図８に例示した通り、計時値Ｃの計時を停止し（ＳA7）、配信装置１０が送信した識別情報Ｄnを情報受信部５０が受信するまで待機する（ＳA8：NO）。情報受信部５０が識別情報Ｄnを受信すると（ＳA8：YES）、再生制御部４６は、例えば情報テーブルＴを参照することで、情報受信部５０が受信した識別情報Ｄnが台詞群Ｇmの先頭の台詞Ｌnに対応するか否かを判定する（ＳA9）。識別情報Ｄnが台詞群Ｇmの先頭以外の台詞Ｌnに対応する場合（ＳA9：NO）、すなわち、台詞群Ｇmの先頭以外の台詞Ｌnの直前に突発的事情Ｅが発生した場合、再生制御部４６による関連情報Ｒnの表示の更新（ＳA10）は実行されない。この場合、図７を参照して説明した通り、時点特定部４４は、識別情報Ｄnの受信の時点を新たな予定時点Ｐnとして計時値Ｃの計数を再開する（ＳA11）。

識別情報Ｄnが台詞群Ｇmの先頭の台詞Ｌnに対応する場合（ＳA9：YES）、すなわち、台詞群Ｇmの先頭の台詞Ｌnの直前に突発的事情Ｅが発生した場合、再生制御部４６は、図８を参照して前述した通り、当該台詞群Ｇmに属する複数の台詞Ｌnの関連情報Ｒnを表示装置２９に表示させる（ＳA10）。そして、時点特定部４４は、識別情報Ｄnの受信の時点を新たな予定時点Ｐnとして計時値Ｃの計数を再開する（ＳA11）。

以上に説明した通り、第１実施形態では、各台詞Ｌnの発生が予定される予定時点Ｐnの近傍で識別情報Ｄnを受信したか否かに応じて台詞進行における停止の有無が判定され、台詞進行が停止していると判定された場合には再生制御部４６が関連情報Ｒnの更新を待機する。したがって、台詞進行の再開後には、台詞進行に並行するように各台詞Ｌnの関連情報Ｒnを再生することが可能である。また、第１実施形態では、情報テーブルＴで指定された時間差が台詞Ｌnの予定時点Ｐnから経過した時点が、台詞Ｌn+1の予定時点Ｐn+1として特定される。したがって、各予定時点Ｐnからの経過時間（計時値Ｃ）を計数する簡便な構成により各台詞Ｌnの予定時点Ｐnを特定できるという利点がある。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様の要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

図１０は、第２実施形態における端末装置２０の構成図である。配信装置１０は、第１実施形態と同様に、ショーの台詞進行に並行して各台詞Ｌnの識別情報Ｄnを音響通信により順次に送信する。図１０に例示される通り、第２実施形態における端末装置２０の制御装置２１は、情報抽出部４２および再生制御部４６として機能する。情報抽出部４２は、第１実施形態と同様に、収音装置２５が生成した音響信号Ｙから識別情報Ｄnを抽出する。したがって、第２実施形態の端末装置２０の収音装置２５および情報抽出部４２は、第１実施形態と同様に、配信装置１０から順次に送信される各台詞Ｌnの識別情報Ｄnを受信可能な情報受信部５０として機能する。すなわち、放音装置１８による台詞Ｌnの発音毎に当該台詞Ｌnの識別情報Ｄnが順次に抽出される。

第２実施形態の記憶装置２３が記憶する情報テーブルＴには、ショーで再生され得る複数の台詞Ｌnの各々について識別情報Ｄn（Ｄ1，Ｄ2，Ｄ3，…）と関連情報Ｒn（Ｒ1，Ｒ2，Ｒ3，…）とが登録される。再生制御部４６は、情報抽出部４２が抽出した識別情報Ｄnに対応する関連情報Ｒnを情報テーブルＴから検索して表示装置２９に表示させる。すなわち、第２実施形態では、各台詞Ｌnの識別情報Ｄnの受信を契機として、当該台詞Ｌnの関連情報Ｒnが表示装置２９に順次に表示される。

図１１は、第２実施形態における端末装置２０の制御装置２１が実行する処理のフローチャートである。図１１の処理を開始すると、再生制御部４６は、情報受信部５０が識別情報Ｄnを受信するまで待機する（ＳB1：NO）。情報受信部５０が識別情報Ｄnを受信すると（ＳB1：YES）、再生制御部４６は、情報受信部５０が受信した識別情報Ｄnに対応する関連情報Ｒnを情報テーブルＴから検索して表示装置２９に表示させる（ＳB2）。

以上の動作が実行される結果、第２実施形態では、図１２に例示される通り、時系列に送信される各台詞Ｌnの識別情報Ｄnの受信を契機として当該台詞Ｌnの関連情報Ｒnが表示される。他方、例えば突発的事情Ｅの発生に起因して台詞進行が停止している場合には、配信装置１０による識別情報Ｄnの送信が待機される。したがって、図１３に例示される通り、第２実施形態においても、台詞進行の再開後には、台詞進行に並行するように各台詞Ｌnの関連情報Ｒnを再生することが可能である。

＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

（１）前述の各形態では、関連情報Ｒnを表示装置２９に表示したが、関連情報Ｒnの再生方法は以上の例示に限定されない。例えば、台詞Ｌnを発音した音声を表す音声信号を関連情報Ｒnとして台詞Ｌn毎に記憶装置２３に記憶し、情報受信部５０が受信した識別情報Ｄnに対応する関連情報Ｒnが表す音声を、スピーカやヘッドホン等の放音装置から放音することも可能である。なお、台詞Ｌnを利用した音声合成で当該台詞Ｌnの音声を合成することも可能である。以上の説明から理解される通り、再生制御部４６は、関連情報Ｒnを再生装置に再生させる要素として包括される。再生装置は、関連情報Ｒnを画像として表示する表示装置２９、および、関連情報Ｒnが示す音声を放音する放音装置を包含する。

（２）前述の各形態では、図３を参照して説明した通り、台詞Ｌnの再生区間の先頭から識別情報Ｄnを送信したが、台詞Ｌnの再生区間と識別情報Ｄnの送信の時点との関係は以上の例示に限定されない。例えば、台詞Ｌnの再生区間の開始前の時点で識別情報Ｄnの送信を開始することも可能である。以上の構成によれば、予定時点Ｐnの直前の時点で台詞進行の停止の有無を判定することが可能である。

（３）前述の各形態では、各台詞Ｌnを表す文字列を関連情報Ｒnとして再生したが、関連情報Ｒnの内容は以上の例示に限定されない。例えば、各台詞Ｌnを他言語に翻訳した翻訳文の文字列または音声を関連情報Ｒnとして再生する構成や、ショーを解説する文字列または音声を関連情報Ｒnとして再生する構成も採用され得る。

また、前述の各形態では、時系列に再生される台詞Ｌnの関連情報Ｒnを再生する場合を例示したが、情報提供システム１００が利用される場面は、前述の各形態で例示したショーには限定されない。例えば、交通機関（例えば電車，バス），展示施設（例えば博物館，美術館），または観光施設等の各種の施設を案内する音声を時系列で発音する場面でも、前述の各形態で例示した情報提供システム１００が利用され得る。以上の例示から理解される通り、情報提供システム１００は、時系列に発生する複数の事象（例えば台詞Ｌnや案内の発音）に並行して送信される各事象の関連情報Ｒnを提供するためのコンピュータシステムとして包括的に表現される。また、台詞Ｌnの再生や各種の施設の案内は、時系列的に発生する事象として包括され、前述の各形態で例示した台詞群Ｇmは、複数の事象を区分した事象群の例示である。例えば同内容を別言語（例えば日本語と外国語）で表現した複数の台詞Ｌnを表示する場合のように、複数の情報を同時または順次（時系列的）に表示することを、ひとつの事象に含ませることも可能である。

（４）前述の各形態では、各台詞Ｌnの予定時点Ｐnの近傍にて情報受信部５０が識別情報Ｄnを受信したか否かに応じて台詞進行の停止の有無を判定したが、各台詞群Ｇmの先頭以外の台詞Ｌnについて識別情報Ｄnを送信する構成は省略され得る。例えば、識別情報Ｄnを含まない制御信号を所定の間隔（例えば台詞Ｌnに同期しない任意の周期）で配信装置１０から送信する一方、端末装置２０では当該間隔で予定時点Ｐnを順次に特定することも可能である。以上の構成では、停止判定部４８は、予定時点Ｐnの近傍にて情報受信部５０が制御信号を受信したか否かに応じて、台詞進行が停止しているか否かを判定する。

（５）前述の各形態では、台詞Ｌnの音響成分と識別情報Ｄnの音響成分とを含有する音響信号Ｘを再生したが、音響信号Ｘに各台詞Ｌnの音響成分を含ませない構成も採用され得る。例えば、ショーの出演者の音声を収音した音声信号と、各識別情報Ｄnの音響成分を表す音響信号とを、ショーの進行に並行して実時間的に混合することで音響信号Ｘを生成して放音装置に供給することも可能である。また、前述の各形態では、台詞Ｌnを再生する放音装置１８を識別情報Ｄnの送信に利用したが、台詞Ｌnの再生用の放音装置とは別個の放音装置から端末装置２０に識別情報Ｄnを送信することも可能である。

（６）前述の各形態では、音波を伝送媒体とする音響通信で識別情報Ｄnを端末装置２０に送信したが、端末装置２０に識別情報Ｄnを送信するための通信方式は音響通信に限定されない。例えば、放音装置１８による台詞Ｌnの放音に同期して、電波や赤外線等の電磁波を伝送媒体とした無線通信で端末装置２０に識別情報Ｄnを送信することも可能である。以上の例示から理解される通り、識別情報Ｄnの送信には、移動体通信網等の通信網が介在しない近距離無線通信が好適であり、音波を伝送媒体とする音響通信や電磁波を伝送媒体とする無線通信は近距離無線通信の例示である。

（７）前述の各形態では、端末装置２０の記憶装置２３に事前に記憶された関連情報Ｒnを再生制御部４６が選択的に表示装置２９に表示させたが、関連情報Ｒnの取得先は記憶装置２３に限定されない。例えば、複数の関連情報Ｒnを保持する管理サーバとの間で端末装置２０が通信網を介して通信する構成を想定する。以上の構成では、情報抽出部４２が抽出した識別情報Ｄnを指定した情報要求を再生制御部４６が管理サーバに送信し、管理サーバは、情報要求で指定された識別情報Ｄnに対応する関連情報Ｒnを検索して要求元の端末装置２０に送信する。端末装置２０の再生制御部４６は、管理サーバから受信した関連情報Ｒnを表示装置２９に表示させる。

（８）前述の各形態で例示した端末装置２０は、前述の通り、制御装置２１とプログラムとの協働で実現される。第１実施形態のプログラムは、コンピュータを、複数の台詞Ｌnの発生に並行して順次に送信される各台詞Ｌnの識別情報Ｄnを受信可能な情報受信部５０、複数の台詞Ｌnの各々の発生が予定される予定時点Ｐnを順次に特定する時点特定部４４、各台詞Ｌnの予定時点Ｐnの近傍にて情報受信部５０が当該台詞Ｌnの識別情報Ｄnを受信したか否かに応じて複数の台詞Ｌnの進行が停止しているか否かを判定する停止判定部４８、および、複数の台詞Ｌnを時間的に区分した複数の台詞群Ｇmの各々について、当該台詞群Ｇmの先頭の台詞Ｌnに対応する予定時点Ｐnの到来を契機として、当該台詞群Ｇmに属する各台詞Ｌnの関連情報Ｒnを表示装置２９に表示させる再生制御部４６として機能させるプログラムであり、再生制御部４６は、複数の台詞Ｌnの進行が停止していると停止判定部４８が判定した場合に、表示装置２９に表示させる関連情報Ｒnの更新を待機し、当該判定後に情報受信部５０が識別情報Ｄnを受信すると関連情報Ｒnの更新を再開する。第２実施形態のプログラムは、コンピュータを、複数の台詞Ｌnの発生に並行して順次に送信される各台詞Ｌnの識別情報Ｄnを受信可能な情報受信部５０、および、情報受信部５０が受信した識別情報Ｄnに対応する台詞Ｌnの関連情報Ｒnを表示装置２９に表示させる再生制御部４６として機能させる。

なお、第１実施形態および第２実施形態のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。

１００……情報提供システム、１０…配信装置、１２，２１…制御装置、１４，２３…記憶装置、１６，２７…入力装置、１８…放音装置、２０…端末装置、２５…収音装置、２９…表示装置、４２…情報抽出部、４４…時点特定部、４６…再生制御部、４８…停止判定部、５０…情報受信部。

Claims (6)

1. 複数の事象の発生に並行して順次に送信される前記各事象の識別情報を受信可能な情報受信部と、
   前記複数の事象の各々の発生が予定される予定時点を特定する時点特定部と、
   前記各事象の予定時点を含む判定期間内に前記情報受信部が当該事象の識別情報を受信したか否かに応じて前記複数の事象の進行が停止しているか否かを判定する停止判定部と、
   前記複数の事象を時間的に区分した複数の事象群の各々について、当該事象群の先頭の事象に対応する予定時点の到来を契機として、当該事象群に属する各事象の関連情報を再生装置に再生させる再生制御部とを具備し、
   前記再生制御部は、前記複数の事象の進行が停止していると前記停止判定部が判定した場合に、前記再生装置に再生させる関連情報の更新を待機し、当該判定後に前記情報受信部が識別情報を受信すると前記関連情報の更新を再開する
   端末装置。
2. 前記時点特定部は、相前後する各事象間の時間差を指定する情報テーブルを参照して、
   前記複数の事象のうち第１事象と第２事象との間の時間差を特定し、前記第１事象の予定時点から当該時間差が経過した時点を前記第２事象の予定時点として特定する
   請求項１の端末装置。
3. 前記複数の事象の進行が停止していると前記停止判定部が判定してから前記情報受信部が前記識別情報を受信した場合に、前記時点特定部は、当該識別情報の受信の時点を予定時点として以降の予定時点を特定し、当該識別情報に対応する事象が前記事象群の先頭の事象であるときには、前記再生制御部は、当該識別情報の受信を契機として当該事象群の各事象の関連情報を再生させる
   請求項１または請求項２の端末装置。
4. 前記複数の事象の各々は、音響の放音であり、
   前記各事象の識別情報は、当該事象における前記音響に含まれる音響成分として音響通信により送信される
   請求項１から請求項３の何れかの端末装置。
5. 複数の事象の発生に並行して順次に送信される前記各事象の識別情報を受信可能な情報受信部を具備する端末装置が、
   前記複数の事象の各々の発生が予定される予定時点を特定し、
   前記各事象の予定時点を含む判定期間内に前記情報受信部が当該事象の識別情報を受信したか否かに応じて前記複数の事象の進行が停止しているか否かを判定し、
   前記複数の事象の各々について、当該事象に対応する予定時点の到来を契機として、当該事象の関連情報を再生装置に再生させ、
   前記関連情報を再生させる動作においては、前記複数の事象の進行が停止していると判定した場合に、前記再生装置に再生させる関連情報の更新を待機し、当該判定後に前記情報受信部が識別情報を受信すると前記関連情報の更新を再開する
   端末装置の動作方法。
6. 複数の事象の発生に並行して順次に送信される前記各事象の識別情報を受信可能な情報受信部を具備する端末装置のコンピュータを、
   前記複数の事象の各々の発生が予定される予定時点を特定する時点特定部、
   前記各事象の予定時点を含む判定期間内に前記情報受信部が当該事象の識別情報を受信したか否かに応じて前記複数の事象の進行が停止しているか否かを判定する停止判定部、および、
   前記複数の事象の各々について、当該事象に対応する予定時点の到来を契機として、当該事象の関連情報を再生装置に再生させる再生制御部
   として機能させるプログラムであって、
   前記再生制御部は、前記複数の事象の進行が停止していると前記停止判定部が判定した場合に、前記再生装置に再生させる関連情報の更新を待機し、当該判定後に前記情報受信部が識別情報を受信すると前記関連情報の更新を再開する
   プログラム。

Images