JP2021176217A - 配信音声遅延調整装置、配信音声遅延調整システム、および配信音声遅延調整プログラム - Google Patents

Abstract

【課題】開催されるイベントに合わせて実況や解説等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切に調整することができる配信音声遅延調整装置を提供する。【解決手段】配信音声遅延調整装置３０は、取得部３１１、配信部３１２、および調整部３１３を有する。取得部３１１は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末２０から取得する。配信部３１２は、取得部３１１によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末１０にリアルタイムで配信可能に構成される。調整部３１３は、配信音声情報がユーザー端末１０において出力されるタイミングの遅延の程度を調整する。配信部３１２は、調整部３１３において調整された遅延の程度に応じて配信音声情報を配信する。【選択図】図１

Description

本発明は、配信音声遅延調整装置、配信音声遅延調整システム、および配信音声遅延調整プログラムに関する。

コンサートや航空ショー等のイベントをイベント会場で観覧する際に、楽しい実況や詳しい解説を聴きながら観覧したいというニーズがある。また、近年では、テレビで放送されるスポーツイベントの生中継等を鑑賞する際に、テレビ番組によって公式に提供される実況や解説だけでなく、多種多様なキャスターによる実況や解説を聴きながら中継を鑑賞したいというニーズも生まれている。

しかしながら、たとえば敷地の広いイベント会場でユーザーがイベントを鑑賞する際、イベントが行われている位置と、イベントを鑑賞するユーザーの位置との距離が離れている場合、イベントにおいて発生した音声は、距離に応じて遅延してユーザーに到達する。また、テレビの生中継は、デジタル放送におけるエンコードおよびデコード等の影響により、映像が撮影されている現地の時刻よりも、少なくとも２〜３秒程度遅延して放送されることが知られている。この遅延時間は、経由するネットワークや機器、受像機のデコード性能等によっても変動し、さらに、放送局の都合等によって、テレビの生中継は数分程度遅延させて放映されることもある。一方、これらのイベント会場やテレビの生中継における遅延に比べて、インターネット等を介して音声を配信する場合、遅延は１秒程度に抑えられる。

したがって、イベント会場でイベントを鑑賞するユーザーや、テレビで放映されるイベントの映像を視聴するユーザーに向けて、同じイベントの解説・実況等の音声をインターネット経由で配信する場合、次のような問題が生じる。まず、イベント会場のユーザーにおいては、イベントにおいて実際に発生している音声と配信される音声との間でタイミングのずれが生じてしまう。たとえば、コンサート会場において次の曲が聞こえてくる前に、配信される音声によって次の曲名が告げられてしまっては、ユーザーにとっては興醒めであり、演者にとっても不都合である。また、テレビを視聴するユーザーにおいては、テレビの映像と配信される音声のタイミングがずれてしまうという問題がある。たとえば、サッカーの試合の中継等において、映像ではまだゴールが決められていないのに、音声ではゴールが決められたことが伝えられてしまっては、ユーザーにとって興醒めであり不都合である。

上記のような問題に関連して、放送局において、放送とストリーミングの両方を用いて映像および音声を配信する場合に、放送とストリーミングのタイミングを同期させる技術が開示されている（特許文献１参照）。特許文献１には、ストリーミング情報に収録時刻情報を予め付加しておくとともに、受信装置において放送信号の受信時刻情報を記録しておき、受信装置においてストリーミング情報の収録時刻情報と放送の受信時刻情報とが同期するようにストリーミング情報と放送信号を再生することが記載されている。

特開２００４−１２８８３６号公報

しかしながら、上記特許文献１記載の技術は、１つの放送局においてストリーミング情報および放送信号を生成して、１つの受信装置においてそれらを受信する場合にのみ適用可能な技術であり、本発明において問題としている上記のような状況については何ら考慮されていない。

本発明は、上記のような事情に鑑みてなされたものであり、開催されるイベントに合わせて解説・実況等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切に調整することができる配信音声遅延調整装置、配信音声遅延調整システム、および配信音声遅延調整プログラムを提供することを目的とする。

上記目的は、下記の手段によって達成される。

配信音声遅延調整装置は、取得部、配信部、および調整部を有する。取得部は、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。配信部は、取得部によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能に構成される。調整部は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。配信部は、調整部において調整された遅延の程度に応じて配信音声情報を配信する。

配信音声遅延調整システムは、上記の配信音声遅延調整装置と、配信される配信音声情報を受信するユーザー端末とを有する。ユーザー端末は、配信音声情報が遅延の程度に沿って出力されるように、配信音声情報の出力タイミングを調整する出力部を有する。

配信音声遅延調整プログラムは、ステップ（ａ）、ステップ（ｂ）、およびステップ（ｃ）をコンピューターに実行させるように構成される。ステップ（ａ）は、リアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する。ステップ（ｂ）は、ステップ（ａ）において取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信する。ステップ（ｃ）は、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整する。ステップ（ｂ）は、ステップ（ｃ）において調整された遅延の程度に応じて配信音声情報を配信する。

本発明の配信音声遅延調整装置によれば、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得して、配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信する際に、配信音声情報がユーザー端末において出力されるタイミングの遅延の程度を調整し、調整された遅延の程度に応じて配信音声情報を遅延させて配信する。これにより、開催されるイベントに合わせて解説・実況等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切に調整することができる。

第１実施形態に係る配信音声遅延調整装置が適用される配信音声遅延調整システムの概略構成を示す図である。 ユーザー端末の概略構成を示すブロック図である。 配信用端末の概略構成を示すブロック図である。 サーバーの概略構成を示すブロック図である。 サーバーの機能構成を示すブロック図である。 第１実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れの一例を示すシーケンスチャートである。 第１実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れの他の例を示すシーケンスチャートである。 第２実施形態に係る配信音声遅延調整装置が適用される配信音声遅延調整システムの概略構成を示す図である。 第２実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れを示すシーケンスチャートである。 変形例に係る配信音声遅延調整システムにおいて実行される処理の流れを示すシーケンスチャートである。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

＜第１実施形態＞
第１実施形態においては、イベント会場でイベントを観覧するユーザーに対してリアルタイム配信される音声の遅延を調整する例について説明する。

＜システムの全体構成＞
図１は、第１実施形態に係る配信音声遅延調整装置が適用される配信音声遅延調整システムの概略構成を示す図である。本実施形態の配信音声遅延調整システムは、イベント会場でイベントを観覧するユーザーのユーザー端末１０にリアルタイム配信される配信音声の遅延を調整する。

図１に示すように、配信音声遅延調整システムは、ユーザー端末１０、配信用端末２０、およびサーバー３０から構成される。

ユーザー端末１０は、リアルタイム配信される音声を聴取するユーザーが使用するスマートフォン、タブレットＰＣ等の情報端末である。

配信用端末２０は、音声をリアルタイム配信する配信者が使用する端末または装置である。

サーバー３０は、たとえば、配信用端末２０を用いたリアルタイム配信サービスを提供する事業者によって設けられ、配信用端末２０から送信された配信音声情報をユーザー端末１０に配信する。サーバー３０は、互いに配信タイミングが異なる複数の配信音声情報を保有し、ユーザー端末１０に配信する。なお、サーバー３０は、１つだけ設けられ、１つのサーバー３０が配信タイミングを異ならせて配信音声情報をユーザー端末１０に配信してもよい。あるいは、サーバー３０は複数設けられてもよい。この場合、各サーバー３０は、通信環境やネットワーク遅延が異なるように互いに隔離されて配置されてもよい。

各構成は、ネットワークを介して接続され、有線または無線の各種通信方式によって通信可能である。以下、各構成について詳細に説明する。

＜ユーザー端末１０＞
図２は、ユーザー端末の概略構成を示すブロック図である。

図２に示すように、ユーザー端末１０は、制御部１１、記憶部１２、通信部１３、操作表示部１４、および音声入出力部１５を備える。各構成要素は、バスを介して相互に通信可能に接続されている。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、プログラムに従い、上述した各構成要素の制御や各種の演算処理を実行する。本実施形態において、制御部１１は、出力部として機能する。

記憶部１２は、予め各種プログラムや各種データを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、作業領域として一時的にプログラムやデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、各種プログラムや各種データを記憶するハードディスク等を備える。

通信部１３は、ネットワークを介して、他の端末や装置と通信するためのインターフェースを備える。通信部１３は、たとえば、サーバー３０と各種データの送受信を行う。

操作表示部１４は、たとえば、タッチパネル式のディスプレイであり、各種情報を表示すると共に、ユーザーからの各種入力を受け付ける。

音声入出力部１５は、音声を入力するためのマイクまたは音声入力端子等と、音声を出力するためのスピーカーまたは音声出力端子等によって構成される。音声入出力部１５は、たとえば、サーバー３０から取得された配信音声情報に対応する音声を出力したり、音声の入力を受け付けたりする。

＜配信用端末２０＞
図３は、配信用端末の概略構成を示すブロック図である。

図３に示すように、配信用端末２０は、制御部２１、記憶部２２、通信部２３、操作表示部２４、および音声入出力部２５を備える。各構成要素は、バスを介して相互に通信可能に接続されている。

配信用端末２０の制御部２１、記憶部２２、通信部２３、操作表示部２４、および音声入出力部２５は、ユーザー端末１０の制御部１１、記憶部１２、通信部１３、操作表示部１４、および音声入出力部１５と同様の機能を有するため、さらなる説明を省略する。配信用端末２０の制御部２１や音声入出力部２５等の各構成は、高品質なリアルタイム音声配信を実現するため、専用の高性能な機材によって構成されうる。たとえば、配信用端末２０は、高性能なマイクおよびヘッドフォンを有するヘッドセットと、マイクによって取得された音声情報をリアルタイム配信に有利な形式のデータに変換するプロセッサーと、生成されたデータを送信する通信モジュール等とをケースに一体的に収納して構成される。

＜サーバー３０＞
図４は、サーバーの概略構成を示すブロック図である。

図４に示すように、サーバー３０は、制御部３１、記憶部３２、および通信部３３を備える。各構成要素は、バスを介して相互に通信可能に接続されている。本実施形態において、サーバー３０は、配信音声遅延調整装置として機能する。

サーバー３０の制御部３１、記憶部３２、および通信部３３は、ユーザー端末１０の制御部１１、記憶部１２、および通信部１３と同様の機能を有するため、さらなる説明を省略する。

記憶部３２には、配信用端末２０から送信された配信音声情報が記憶される。また、記憶部３２には、配信タイミングや遅延時間に関する情報も記憶される。また、記憶部３２には、イベントに関する音声の発生位置である音源の位置に関する情報や、ユーザー端末１０の位置に関する情報も記憶される。音源の位置に関する情報は、イベントごとに予め設定されてもよく、音源に設けた情報端末によって取得されたＧＰＳ位置情報をサーバー３０に送信することによって取得されてもよい。ユーザー端末１０の位置に関する情報は、たとえばユーザー端末１０によって取得されたＧＰＳ位置情報をサーバー３０に送信することによって取得される。上記の位置に関する情報は、たとえば緯度経度等の所定の座標系における位置に対応する座標情報として記憶される。

＜サーバー３０の機能＞
図５は、サーバー制御部の機能構成を示すブロック図である。

図５に示すように、サーバー３０の制御部３１は、プログラムを読み込んで処理を実行することによって、取得部３１１、配信部３１２、調整部３１３、特定部３１４、および設定部３１５として機能する。

取得部３１１は、開催されるイベントに合わせてリアルタイム配信される配信音声に関する配信音声情報を配信用端末２０から取得する
配信部３１２は、取得部３１１によって取得された配信音声情報を、配信音声を聴取するユーザーのユーザー端末１０にリアルタイムで配信可能に構成される。

調整部３１３は、配信音声情報がユーザー端末１０において出力されるタイミングの遅延の程度を調整する。

特定部３１４は、イベントに関する音声の発生位置と、配信音声情報を出力するユーザー端末１０の位置との間の距離を特定する。

設定部３１５は、遅延の程度を調整するための遅延設定を受け付ける。

＜第１実施形態の配信音声遅延調整システムにおける処理＞
図６Ａは、第１実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れの一例を示すシーケンスチャートである。図６Ｂは、第１実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れの他の例を示すシーケンスチャートである。図６Ａおよび図６Ｂのシーケンスチャートに示される各構成の処理は、各構成の記憶部にプログラムとして記憶されており、各装置の制御部が各部を制御することにより実行される。

図６Ａに示すように、配信用端末２０は、音声入出力部２５を介して、配信者によって発せられる配信用の音声である配信音声を取得する（ステップＳ２０１）。

続いて、配信用端末２０は、ステップＳ２０１の処理において取得した配信音声に基づいて、リアルタイム配信に適した形式の配信音声情報を生成し（ステップＳ２０２）、サーバー３０に送信する。

ユーザー端末１０は、操作表示部１４の操作等を介してユーザーから音声配信指示を受け付け（ステップＳ１０１）、サーバー３０に音声配信要求を送信する。

サーバー３０は、イベントに関する音声の発生位置である音源の位置と、ユーザー端末１０の位置との間の距離を特定する（ステップＳ３０１）。サーバー３０は、記憶部３２に記憶されている音源の位置に関する情報とユーザー端末１０の位置に関する情報に基づいて、音源の位置とユーザー端末１０の位置との間の距離を算出して特定する。

サーバー３０は、ステップＳ３０１の処理において特定された音源の位置と、ユーザー端末１０の位置との間の距離に応じて、配信音声情報をユーザー端末１０に配信するタイミングの遅延の程度を調整する（ステップＳ３０２）。たとえば、野外イベント等において音源とユーザー端末１０とが１ｋｍ程度離れている場合、音源において発生する音声が、空気中を伝わってユーザーの位置に届くまでには３秒程度かかる。一方、リアルタイム配信される音声は、１秒程度の遅延でユーザー端末１０に届いてしまう。この場合、サーバー３０は、ユーザー端末１０の位置との間の距離に応じて、配信音声情報をユーザー端末１０に配信するタイミングを２秒程度遅延させるように遅延の程度を調整する。

このとき、サーバー３０は、自機の中で配信タイミングの異なる複数の配信音声情報のファイルを用意しておき、その中から適切なファイルを選択して配信してもよい。あるいは、サーバー３０は、配信タイミングの異なる別のサーバー３０から配信音声情報を配信させてもよい。

サーバー３０は、ステップＳ３０２の処理において遅延の程度を調整した上で、配信音声情報をユーザー端末１０に送信する。サーバー３０は、配信音声情報とあわせて、配信タイミングの遅延の程度を示す情報をユーザー端末１０に送信する。

ユーザー端末１０は、サーバー３０から送信された配信音声情報に基づいて、音声入出力部１５を介して配信音声を出力する（ステップＳ１０２）。

続いて、ユーザー端末１０は、ユーザーから遅延設定を受け付けたか否かを判断する（ステップＳ１０３）。ユーザーは、ユーザー端末１０から出力された配信音声を聴いて、イベントの音源から直接届く音とタイミングが合っているか否かを判断し、判断結果に応じてユーザー端末１０に遅延設定（遅延時間設定）を入力する。ユーザー端末１０は、たとえば遅延設定を調整するためのスライダー型のスイッチまたはボタンを操作表示部１４に表示して、ユーザーからの操作を受け付けることによって遅延設定を受け付ける。

遅延設定を受け付けていない場合（ステップＳ１０３：ＮＯ）、ユーザー端末１０は、ステップＳ１０４の処理に進む。

遅延設定を受け付けている場合（ステップＳ１０３：ＹＥＳ）、ユーザー端末１０は、受け付けた遅延設定を示す情報をサーバー３０に送信する。

サーバー３０は、ユーザー端末１０から送信された遅延設定に基づいて、遅延の程度を再度調整し（ステップＳ３０３）、配信タイミングが調整された配信音声情報をユーザー端末１０に送信する。このとき、サーバー３０は、配信音声情報とあわせて、配信タイミングの遅延の程度を示す情報をユーザー端末１０に送信する。

続いて、ユーザー端末１０は、出力タイミングの調整が必要であるか否かを判断する（ステップＳ１０４）。ユーザー端末１０は、たとえばステップＳ１０３の処理において受け付けた遅延設定と、サーバー３０から送信された配信音声情報の遅延の程度を示す情報に基づいて、出力タイミングの調整の要否を判断する。あるいは、ユーザー端末１０は、サーバー３０から送信された配信音声情報を出力して、配信音声を聴いたユーザーから出力タイミングの調整の要否に関する指示を受け付けてもよい。

出力タイミングの調整が必要でない場合（ステップＳ１０４：ＮＯ）、ユーザー端末１０は、ステップＳ１０６の処理に進む。

出力タイミングの調整が必要である場合（ステップＳ１０４：ＹＥＳ）、ユーザー端末１０は、サーバー３０から送信された配信音声情報を出力するタイミングを調整する（ステップＳ１０５）。たとえば、ユーザー端末１０は、サーバー３０から送信された配信音声情報をすぐに出力せずに、所定の時間バッファリングしてから出力することによって、出力タイミングを調整する。

続いて、ユーザー端末１０は、サーバー３０から送信された配信音声情報に基づいて、音声入出力部１５を介して配信音声を出力する（ステップＳ１０６）。

なお、上記のステップＳ１０３の遅延設定に関する処理と、ステップＳ１０４〜Ｓ１０５の出力タイミングの調整に関する処理とは、あわせて実行されてもよく、あるいはいずれかの処理が択一的に実行されてもよい。たとえば、ステップＳ１０３の処理においてユーザーが配信音声を２秒遅延させたいという指示をユーザー端末１０に入力した場合、ユーザー端末１０は、サーバー３０に対して配信タイミングを１秒遅延させるための遅延設定を送信して１秒遅延した配信音声情報を取得し、取得した配信音声情報を１秒バッファリングしてから出力してもよい。これにより、ユーザーが所望する配信音声の２秒遅延を実現できる。

また、上記の図６Ａの例では、ステップＳ３０１の処理において、サーバー３０によって音源の位置とユーザー端末１０の位置との間の距離が特定される例について説明したが、当該距離はユーザー端末１０によって特定されてもよい。たとえば、図６Ｂに示すように、ユーザー端末１０は、ステップＳ１０１の処理を実行後にサーバー３０から音源の位置に関する情報の提供を受けてもよい。この場合、ユーザー端末１０は、ステップＳ１０１１の処理において、サーバー３０から受信した音源の位置に関する情報と自機の位置情報に基づいて、音源の位置とユーザー端末１０の位置との間の距離を算出して特定し、特定した距離を示す情報をサーバー３０に送信する。これにより、サーバー３０は、ステップＳ３０１の処理において、ユーザー端末１０から送信された情報に基づいて、音源の位置とユーザー端末１０の位置との間の距離を特定して、その後の処理において遅延の程度を調整するための基準値として使用することができる。

以上のように、本実施形態の配信音声遅延調整システムによれば、開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末２０から取得して、配信音声を聴取するユーザーのユーザー端末１０にリアルタイムで配信する際に、配信音声情報がユーザー端末１０において出力されるタイミングの遅延の程度を調整し、調整された遅延の程度に応じて配信音声情報を遅延させて配信する。これにより、開催されるイベントに合わせて実況や解説等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切に調整することができる。

また、配信音声遅延調整装置システムによれば、イベントに関する音声の発生位置と、配信音声情報を出力するユーザー端末１０の位置との間の距離を特定し、特定された距離に応じて遅延の程度を調整する。これにより、たとえば敷地の広いイベント会場でユーザーがイベントを鑑賞する際に、イベントにおいて発生した音声とリアルタイム配信される実況や解説等の音声のタイミングを適切に合わせることができる。

＜第２実施形態＞
第２実施形態においては、デジタル放送によるテレビの生中継でイベントを観覧するユーザーに対してリアルタイム配信される配信音声の遅延を調整する例について説明する。

＜システムの全体構成＞
図７は、第２実施形態に係る配信音声遅延調整装置が適用される配信音声遅延調整システムの概略構成を示す図である。本実施形態の配信音声遅延調整システムは、デジタル放送によるテレビの生中継でイベントを観覧するユーザーのユーザー端末１０にリアルタイム配信される配信音声の遅延を調整する。

図７に示すように、配信音声遅延調整システムは、ユーザー端末１０、配信用端末２０、およびサーバー３０から構成される。ユーザーはテレビ４０において放映される生中継の映像を視聴しつつ、ユーザー端末１０に配信される配信音声を聴取する。テレビ４０において放映される生中継の映像は、イベント会場内のテレビ中継用設備５０によって撮影され、テレビ局システム６０や電波塔等の設備を介してテレビ４０に届けられる。

この際、生中継の映像は、デジタル放送におけるエンコードおよびデコード等の影響により、イベント会場内において映像が撮影されている時刻よりも、少なくとも２〜３秒程度遅延して放映される。また、遅延時間は経由するネットワークや機器、受像機のデコード性能等によっても変動する。さらに、放送局の都合等によって、テレビの生中継は数分〜数十分程度遅延して放映されることもある。一方、インターネット等のネットワーク経由でユーザー端末１０に配信される音声の遅延時間は１秒程度に抑えられる。

第２実施形態の配信音声遅延調整システムに含まれるユーザー端末１０、配信用端末２０、およびサーバー３０の構成は、第１実施形態の配信音声遅延調整システムの構成と同様であるため、さらなる説明を省略する。

＜第２実施形態の配信音声遅延調整システムにおける処理＞
図８は、第２実施形態に係る配信音声遅延調整システムにおいて実行される処理の流れを示すシーケンスチャートである。

図８に示すように、配信用端末２０は、音声入出力部２５を介して、配信者によって発せられる配信音声を取得する（ステップＳ２１１）。

続いて、配信用端末２０は、ステップＳ２１１の処理において取得した配信音声に基づいて、リアルタイム配信に適した形式の配信音声情報を生成し（ステップＳ２１２）、サーバー３０に送信する。

ユーザー端末１０は、操作表示部１４の操作等を介してユーザーから音声配信指示を受け付け（ステップＳ１１１）、サーバー３０に音声配信要求を送信する。サーバー３０は、ユーザー端末１０からの音声配信要求に応じて、配信用端末２０から受信している配信音声情報をユーザー端末１０に送信する。このとき、第１実施形態と同様に、配信タイミングに関する遅延の程度の調整が行われてもよい。たとえば、通信距離に応じて通信の遅延の程度が変動するような環境においては、配信用端末２０の位置とユーザー端末１０の位置との間の距離を特定して、特定された距離に応じて遅延の程度が調整されてもよい。

ユーザー端末１０は、サーバー３０から送信された配信音声情報に基づいて、音声入出力部１５を介して配信音声を出力する（ステップＳ１１２）。

続いて、ユーザー端末１０は、遅延設定を受け付けたか否かを判断する（ステップＳ１１３）。

たとえば、ユーザーは、ユーザー端末１０から出力された配信音声を聴いて、テレビ４０において放映されているイベントの映像および音声とタイミングが合っているか否かを判断し、判断結果に応じてユーザー端末１０に遅延設定を入力することができる。

あるいは、テレビ４０において放映される映像に、当該映像に関するタイムスタンプを符号化してタイムスタンプ情報として含めておき、タイムスタンプ情報を含む映像がテレビ４０の画面に表示されてもよい。この場合、ユーザーは、ユーザー端末１０に設けられているカメラを用いて当該映像を撮影する。ユーザー端末１０は、撮影した映像を解析して当該映像に含まれるタイムスタンプ情報を取得し、得られたタイムスタンプと、ユーザー端末１０に保持されている時刻情報とを比較することによってテレビの映像の遅延の状況を判断する。ユーザー端末１０は、遅延の状況に応じて適切な遅延設定を決定して入力として受け付けることができる。

また、テレビ４０において放映される映像に含まれる映像内音声に、当該映像に関するタイムスタンプを符号化してタイムスタンプ情報として含めておき、タイムスタンプ情報を含む音声がテレビ４０のスピーカーから出力されてもよい。この場合、ユーザーは、ユーザー端末１０の音声入出力部１５を用いて映像内音声を取得する。ユーザー端末１０は、取得した映像内音声を解析して当該映像内音声に含まれるタイムスタンプ情報を取得し、得られたタイムスタンプと、ユーザー端末１０に保持されている時刻情報とを比較することによってテレビの映像の遅延の状況を判断する。ユーザー端末１０は、遅延の状況に応じて適切な遅延設定を決定して入力として受け付けることができる。

遅延設定を受け付けていない場合（ステップＳ１１３：ＮＯ）、ユーザー端末１０は、ステップＳ１１４の処理に進む。

遅延設定を受け付けている場合（ステップＳ１１３：ＹＥＳ）、ユーザー端末１０は、受け付けた遅延設定を示す情報をサーバー３０に送信する。

このとき、配信用端末２０も、配信者から遅延設定を受け付けたか否かを判断してもよい（ステップＳ２１３）。たとえば、配信者は、配信用端末２０からサーバー３０に音声配信要求を送信して、サーバー３０から配信音声情報を取得する。そして、配信者は、音声入出力部２５から出力された配信音声を聴いて、テレビにおいて放映されているイベントの映像および音声とタイミングが合っているか否かを判断し、判断結果に応じて配信用端末２０に遅延設定を入力することができる。なお、上記の処理を行う主体は、配信者のみに限定されず、イベントに関わるスタッフや、配信に関わるスタッフ等が、たとえば自身が保有するスマートフォン等の情報端末とテレビを使用して行ってもよい。

遅延設定を受け付けていない場合（ステップＳ２１３：ＮＯ）、配信用端末２０は、ステップＳ２１１の処理に戻る。

遅延設定を受け付けている場合（ステップＳ２１３：ＹＥＳ）、配信用端末２０は、受け付けた遅延設定を示す情報をサーバー３０に送信する。

サーバー３０は、ユーザー端末１０および／または配信用端末２０から送信された遅延設定に基づいて、遅延の程度を調整し（ステップＳ３１１）、配信タイミングが調整された配信音声情報をユーザー端末１０に送信する。このとき、サーバー３０は、配信音声情報とあわせて、配信タイミングの遅延の程度を示す情報をユーザー端末１０に送信する。

ステップＳ１１４〜Ｓ１１６の各処理は、第１実施形態のステップＳ１０４〜Ｓ１０６の各処理と同様であるため、さらなる説明を省略する。また、第１実施形態と同様に、ステップＳ１１３の遅延設定に関する処理と、ステップＳ１１４〜Ｓ１１５の出力タイミングの調整に関する処理とは、あわせて実行されてもよく、あるいはいずれかの処理が択一的に実行されてもよい。

ここで、配信タイミングの遅延の程度を調整して出力タイミングを調整する処理の例について具体例を挙げて説明する。

＜処理例１＞
処理例１においては、１つのサーバー３０において、配信タイミングが異なる複数の配信音声情報を記憶する。たとえば、サーバー３０は、遅延なしの配信音声情報、配信タイミングを２秒遅延させた配信音声情報、３０秒遅延させた配信音声情報、１分遅延させた配信音声情報等の複数の配信音声情報を準備する。なお、用意される配信音声情報の数や配信タイミングは上記の例に限定されない。

サーバー３０は、必要な遅延の程度に応じて、複数の配信音声情報の中から、適切な配信タイミングの配信音声情報を選択してユーザー端末１０に配信する。この選択は、ユーザー端末１０によって実行されてもよい。この場合、サーバー３０は、保有している配信音声情報の配信タイミング（遅延時間情報）を、予めユーザー端末１０に通知しておく。

ユーザー端末１０は、必要な遅延時間（遅延設定）と、配信音声情報の配信タイミングを考慮して、受信した配信音声情報を必要な時間バッファリングしてから出力する。

たとえば、配信音声を４５秒遅延させたい場合、ユーザー端末１０は、サーバー３０から、３０秒遅延した配信音声情報を取得し、１５秒バッファリングした上で出力することにより、４５秒遅延させて配信音声を出力することができる。

＜処理例２＞
処理例２においては、複数のサーバー３０において、配信タイミングが異なる複数の配信音声情報を記憶する。たとえば、複数のサーバー３０は、それぞれ通信環境やネットワーク遅延が異なるように互いに隔離されて、異なる地域に配置される。複数のサーバー３０は、それぞれ、遅延なしの配信音声情報、配信タイミングを２秒遅延させた配信音声情報、３０秒遅延させた配信音声情報、１分遅延させた配信音声情報等の複数の配信音声情報を用意する。なお、用意される配信音声情報の数や配信タイミングは上記の例に限定されない。

ユーザー端末１０は、上記の異なる地域に配置された複数のサーバー３０に対して、テスト信号を送信し、それぞれのサーバー３０からの応答を確認することによって、各サーバー３０のネットワーク遅延の状況を確認する。ユーザー端末１０は、必要な遅延時間（遅延設定）と、配信音声情報の配信タイミング（遅延時間情報）と、ネットワーク遅延の状況を考慮して、受信した配信音声情報を必要な時間バッファリングしてから出力する。

たとえば、配信音声を４５秒遅延させたい場合、ユーザー端末１０は、各サーバー３０のネットワーク遅延による配信遅延状況を確認し、ネットワーク遅延が最も少ないサーバー３０（たとえばネットワーク遅延１秒とする）を選択する。この場合、ユーザー端末１０は、当該サーバー３０から、３０秒遅延した配信音声情報を取得し、１秒のネットワーク遅延を考慮して、１４秒バッファリングした上で出力することにより、４５秒遅延させて配信音声を出力することができる。

以上のように、本実施形態の配信音声遅延調整システムによれば、テレビ４０において放送されるイベントの映像に合わせてリアルタイム配信するための配信音声に関して、ユーザー端末１０によってテレビ４０の映像に含まれるタイムスタンプ情報を取得して、得られたタイムスタンプに基づいて遅延の程度を調整する。これにより、テレビ放送で生中継されるイベントに合わせて実況や解説等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切かつ容易に調整することができる。

また、本実施形態の配信音声遅延調整システムによれば、テレビ４０において放送されるイベントの映像に合わせてリアルタイム配信するための配信音声に関して、ユーザー端末１０によってテレビ４０の映像内音声に含まれるタイムスタンプ情報を取得して、得られたタイムスタンプに基づいて遅延の程度を調整する。これにより、テレビ放送で生中継されるイベントに合わせて実況や解説等の音声をリアルタイム配信する場合に、ユーザーに対して音声が出力されるタイミングを適切かつ容易に調整することができる。

また、第１および第２実施形態の配信音声遅延調整装置システムによれば、遅延の程度を調整するための遅延設定を受け付け可能であり、受け付けられた遅延設定を考慮して、遅延の程度を調整する。これにより、より柔軟かつ適切に配信される音声のタイミングを調整することができる。

また、第１および第２実施形態の配信音声遅延調整装置システムによれば、ユーザー端末１０においてユーザーから受け付けられた指示に基づいて、遅延設定を受け付ける。これにより、実際にリアルタイム配信された音声を聴いているユーザーの感覚に合わせて配信される音声のタイミングを適切に調整することができる。

また、第１および第２実施形態の配信音声遅延調整装置システムにおいて、サーバー３０は、予め用意された配信タイミングの異なる複数の配信音声情報を配信可能であり、遅延の程度に応じて、複数の配信音声情報の中から使用する配信音声情報を選択することによって、配信音声情報がユーザー端末１０において出力されるタイミングを調整する。これにより、サーバー３０において、異なる配信タイミングを実現するために複雑な処理を構築する必要がなくなる。サーバー３０は、予め用意された配信タイミングの異なる配信音声情報を選択するだけで配信タイミングを変更することができ、処理を簡略化して処理リソースを節約することができる。

また、第１および第２実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末１０は、配信音声情報が遅延の程度に沿って出力されるように、配信音声情報の出力タイミングを調整する。これにより、ユーザー端末１０においても配信音声情報の出力タイミングを調整できる。したがって、ユーザー端末１０ごとに異なるネットワークの遅延の状況やユーザー端末１０の処理スペック等に応じて、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。

また、第１および第２実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末１０は、サーバー３０から取得する配信音声情報を複数の配信音声情報の中から選択することによって、配信音声情報の出力タイミングを調整する。これにより、ユーザーは、取得する配信音声情報を選択して配信音声情報の出力タイミングを調整できる。したがって、ユーザー端末１０ごとに異なるネットワークの遅延の状況やユーザー端末１０の処理スペック等に応じて、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。

また、第１および第２実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末１０は、受信した配信音声情報を所定の時間バッファリングすることによって配信音声情報の出力タイミングを調整する。これにより、ユーザー端末１０は、必要な遅延設定および、取得する配信音声情報の配信タイミング、さらにユーザー端末１０ごとに異なるネットワークの遅延の状況やユーザー端末１０の処理スペック等に応じて、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。

また、第１および第２実施形態の配信音声遅延調整装置システムにおいて、ユーザー端末１０は、配信される配信音声情報の配信遅延状況を確認した上で、配信遅延状況を考慮して配信音声情報の出力タイミングを調整する。これにより、ユーザー端末１０は、リアルタイム配信される音声がユーザーに対して出力されるタイミングをより適切に調整することができる。

＜変形例＞
上記の各実施形態において、配信音声を取得および出力する際の周囲の環境に応じて、配信音声に加えて、音声を解析してテキスト化した情報も配信する変形例について説明する。

＜システムの全体構成＞
変形例に係る配信音声遅延調整システムの構成は、第１実施形態および第２実施形態と同様であるため、さらなる説明を省略する。

＜変形例に係る配信音声遅延調整システムにおける処理＞
変形例に係る配信音声遅延調整システムにおけるリアルタイム音声配信処理および配信音声遅延処理の基本的な流れは、第１実施形態および第２実施形態と同様であるため、さらなる説明を省略する。以下、周囲の状況に応じて配信音声をテキスト化した情報を配信する処理の例について詳細に説明する。

図９は、変形例に係る配信音声遅延調整システムにおいて実行される処理の流れを示すシーケンスチャートである。

図９に示すように、配信用端末２０は、音声入出力部２５を介して、配信者によって発せられる配信音声を取得するとともに、周囲の騒音レベルを取得する（ステップＳ２２１）。

続いて、配信用端末２０は、ステップＳ２２１の処理において取得した配信音声に基づいて、リアルタイム配信に適した形式の配信音声情報を生成し（ステップＳ２２２）、騒音レベルを示す情報とともにサーバー３０に送信する。

ユーザー端末１０は、操作表示部１４の操作等を介してユーザーから音声配信指示を受け付けるとともに、周囲の騒音レベルを取得し（ステップＳ１２１）、サーバー３０に音声配信要求および騒音レベルを示す情報を送信する。

サーバー３０は、配信用端末２０およびユーザー端末１０から送信された騒音レベルを示す情報に基づいて、配信用端末２０およびユーザー端末１０の周囲の騒音レベルが所定の閾値よりも大きいか否かを判断する（ステップＳ３２１）。

騒音レベルが所定の閾値よりも大きくない場合（ステップＳ３２１：ＮＯ）、サーバー３０は、配信用端末２０から送信された配信音声情報をユーザー端末１０に送信する。

騒音レベルが所定の閾値よりも大きい場合（ステップＳ３２１：ＹＥＳ）、サーバー３０は、配信音声情報を公知の音声認識手法を用いて解析して配信音声に対応するテキスト情報を生成する（ステップＳ３２２）。テキスト情報には、配信音声の再生タイミングに対応付けてテキストを表示できるように、時間に関する情報も含まれる。

続いて、サーバー３０は、配信用端末２０から送信された配信音声情報に、ステップＳ３２１の処理において生成されたテキスト情報を付加して（ステップＳ３２３）、ユーザー端末１０に送信する。

ユーザー端末１０は、サーバー３０から送信された配信音声情報に基づいて配信音声を出力する（ステップＳ１１２）。このとき、ユーザー端末１０は、サーバー３０からテキスト情報を受信している場合には、配信音声にあわせてテキスト情報を操作表示部２４に表示する。

なお、上記の実施形態においては騒音レベルに応じてテキスト情報の生成および配信の実施要否を判断する例について説明したが、これに限定されない。たとえば、ユーザーの聴覚等の都合に応じて、テキスト情報を生成して配信してもよい。あるいは、配信者およびユーザーの間で使用する言語が異なる場合に、生成したテキスト情報について公知の自動翻訳技術を用いて自動翻訳を実施し、翻訳されたテキスト情報を字幕として配信してもよい。

以上のように、本実施形態の配信音声遅延調整システムにおいて、配信音声情報には、音声に基づいて取得されたテキスト情報が含まれる。これにより、配信音声の内容を音声によって明確に伝達しにくい状況においても、配信される内容を確実にユーザーに届けることができる。

また、本実施形態の配信音声遅延調整システムによれば、配信用端末の周囲の騒音レベルに関する情報を取得し、騒音レベルが所定の閾値以上である場合、配信音声情報とあわせてテキスト情報を配信する。これにより、配信される音声に騒音が混ざる場合においても、ユーザーに対して配信内容を確実に伝えることができる。

また、本実施形態の配信音声遅延調整システムによれば、ユーザー端末の周囲の騒音レベルに関する情報を取得し、騒音レベルが所定の閾値以上である場合、配信音声情報とあわせてテキスト情報を配信する。これにより、ユーザーの周囲の騒音が大きく配信される音声をユーザーが明瞭に聞き取れない場合においても、ユーザーに対して配信内容を確実に伝えることができる。

なお、本発明は、上述した各実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。

たとえば、上記の各実施形態では、サーバー３０が配信音声遅延調整装置を構成する場合を例として説明したが、これに限定されない。たとえば、ユーザー端末１０や、サーバー３０以外のサーバーやコントローラー等の外部機器が、配信音声遅延調整装置の機能の一部または全部を実行してもよい。

また、上記の各実施形態では、ユーザー端末１０、配信用端末２０、およびサーバー３０が１つの独立した装置として構成される例について主に説明したが、装置の構成はこれに限定されない。ユーザー端末１０、配信用端末２０、およびサーバー３０は、複数の装置から構成されてもよく、あるいは他の機能を有する装置に含まれて構成されてもよい。たとえば、サーバー３０は、多数のサーバーから構成されるクラウドサーバー上に分散して構成されてもよい。あるいは、サーバー３０の機能を有するアプリケーションがユーザー端末１０にインストールされ、ユーザー端末１０においてサーバー３０の処理が実行されてもよい。

また、上記の各実施形態では、ユーザー端末１０として、ユーザーによって使用されるスマートフォン、タブレットＰＣ等を例に挙げて説明したが、ユーザー端末１０の実施態様はこれに限定されない。ユーザー端末１０は、たとえばユーザーの頭部に装着される眼鏡型の情報端末や腕部に装着されるリストバンド状の情報端末等のウェアラブル端末であってもよく、あるいはユーザーの体内に埋め込まれる埋込型の情報端末等であってもよい。

また、上記の各実施形態におけるシーケンスチャートおよびフローチャートの処理単位は、処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方や処理の順序によって、本願発明が制限されることはない。各処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよく、各処理ステップの順序は本実施形態のフローチャートと異なってもよい。

また、上記の各実施形態は、それぞれ別々の実施形態として説明したが、各実施形態の処理は、適宜組み合わせられて実行されうる。

上述した実施形態に係るシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、フレキシブルディスクおよびＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、システムの一機能としてその装置のソフトウエアに組み込まれてもよい。

１０ ユーザー端末、
１１ 制御部、
１２ 記憶部、
１３ 通信部、
１４ 操作表示部、
１５ 音声入出力部、
２０ 配信用端末、
２１ 制御部、
２２ 記憶部、
２３ 通信部、
２４ 操作表示部、
２５ 音声入出力部、
３０ サーバー、
３１ 制御部、
３１１ 取得部、
３１２ 配信部、
３１３ 調整部、
３１４ 特定部、
３１５ 設定部、
３２ 記憶部、
３３ 通信部、
４０ テレビ、
５０ テレビ中継用設備、
６０ テレビ局システム。

Claims (16)

1. 開催されるイベントに合わせてリアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得する取得部と、
   前記取得部によって取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信可能な配信部と、
   前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整する調整部と、を有し、
   前記配信部は、前記調整部において調整された前記遅延の程度に応じて前記配信音声情報を配信する配信音声遅延調整装置。
2. 前記イベントに関する音声の発生位置と、前記配信音声情報を出力する前記ユーザー端末の位置との間の距離を特定する特定部をさらに有し、
   前記調整部は、前記特定部によって特定された前記距離に応じて前記遅延の程度を調整する請求項１に記載の配信音声遅延調整装置。
3. 前記遅延の程度を調整するための遅延設定を受け付ける設定部をさらに有し、
   前記調整部は、前記設定部において受け付けられた前記遅延設定を考慮して、前記遅延の程度を調整する請求項１または２に記載の配信音声遅延調整装置。
4. 前記設定部は、前記ユーザー端末において前記ユーザーから受け付けられた指示に基づいて、前記遅延設定を受け付ける請求項３に記載の配信音声遅延調整装置。
5. 前記配信音声は、テレビ放送されるイベントの映像に合わせてリアルタイム配信するためのものであり、
   前記映像には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が表示され、
   前記調整部は、前記映像および前記配信音声を視聴するユーザーが使用する前記ユーザー端末において、前記映像を撮影して解析し、当該映像に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、前記遅延の程度を調整する請求項１〜４のいずれかに記載の配信音声遅延調整装置。
6. 前記配信音声は、テレビ放送されるイベントの映像に合わせてリアルタイム配信するためのものであり、
   前記映像に含まれる映像内音声には、当該映像に関するタイムスタンプを示すタイムスタンプ情報が含まれ、
   前記調整部は、前記映像および前記配信音声を視聴するユーザーが使用する前記ユーザー端末において、前記映像内音声を取得して解析し、当該映像内音声に含まれるタイムスタンプ情報を取得して得られたタイムスタンプに基づいて、前記遅延の程度を調整する請求項１〜５のいずれかに記載の配信音声遅延調整装置。
7. 前記配信部は、
   予め用意された配信タイミングの異なる複数の配信音声情報を配信可能であり、
   前記遅延の程度に応じて、前記複数の配信音声情報の中から使用する配信音声情報を選択することによって、前記配信音声情報が前記ユーザー端末において出力されるタイミングを調整する請求項１〜６のいずれかに記載の配信音声遅延調整装置。
8. 前記取得部は、前記配信音声情報に基づいて前記配信音声をテキスト化した情報であるテキスト情報をさらに取得する請求項１〜７のいずれかに記載の配信音声遅延調整装置。
9. 前記取得部は、前記配信用端末から、前記配信用端末の周囲の騒音レベルに関する情報をさらに取得し、
   前記配信部は、前記取得部によって取得された前記配信用端末の周囲の騒音レベルが所定の閾値以上である場合、前記配信音声情報とあわせて、前記配信音声情報に基づいて取得された前記テキスト情報を配信する請求項８に記載の配信音声遅延調整装置。
10. 前記取得部は、前記ユーザー端末の周囲の騒音レベルに関する情報をさらに取得し、
    前記配信部は、前記取得部によって取得された前記ユーザー端末の周囲の騒音レベルが所定の閾値以上である場合、前記配信音声情報とあわせて、前記配信音声情報に基づいて取得された前記テキスト情報を配信する請求項８または９に記載の配信音声遅延調整装置。
11. 前記取得部は、前記配信音声情報または前記テキスト情報に基づいて、他の言語に翻訳された前記配信音声を示す情報をさらに取得し、
    前記配信部は、前記配信音声情報とあわせて、前記他の言語に翻訳された前記情報を配信する請求項８〜１０のいずれかに記載の配信音声遅延調整装置。
12. 請求項１〜１１のいずれかに記載の配信音声遅延調整装置と、
    配信される前記配信音声情報を受信するユーザー端末と、を有し、
    前記ユーザー端末は、前記配信音声情報が前記遅延の程度に沿って出力されるように、前記配信音声情報の出力タイミングを調整する出力部を有する配信音声遅延調整システム。
13. 前記出力部は、前記配信部から取得する配信音声情報を前記複数の配信音声情報の中から選択することによって、前記配信音声情報の出力タイミングを調整する請求項７を引用する請求項１２に記載の配信音声遅延調整システム。
14. 前記出力部は、受信した前記配信音声情報を所定の時間バッファリングすることによって前記配信音声情報の出力タイミングを調整する請求項１２または１３に記載の配信音声遅延調整システム。
15. 前記出力部は、配信される前記配信音声情報の配信遅延状況を考慮して前記配信音声情報の出力タイミングを調整する請求項１２〜１４のいずれかに記載の配信音声遅延調整システム。
16. リアルタイム配信するための配信音声に関する配信音声情報を配信用端末から取得するステップ（ａ）と、
    前記ステップ（ａ）において取得された前記配信音声情報を、前記配信音声を聴取するユーザーのユーザー端末にリアルタイムで配信するステップ（ｂ）と、
    前記配信音声情報が前記ユーザー端末において出力されるタイミングの遅延の程度を調整するステップ（ｃ）と、を有し、
    前記ステップ（ｂ）は、前記ステップ（ｃ）において調整された前記遅延の程度に応じて前記配信音声情報を配信する処理を、コンピューターに実行させるための配信音声遅延調整プログラム。

Images