JP2017204273A - 表示装置 - Google Patents

Abstract

【課題】表示されたバーコードを簡便に利用できる表示装置を提供する。【解決手段】携帯端末は、バーコード画像を含む文書を表示する表示部と、表示部に対応するタッチパネルと、バーコードを復号する復号するバーコードデコーダアプリケーションと、タッチパネルに対するタッチ操作に対応する位置の画像を抽出してそこにバーコード画像が含まれる場合にはこれをバーコードデコーダアプリケーションにより復号して所望の処理を実行するバーコード処理部とを有する。【選択図】図６

Description

この発明は、表示装置に関する。

テレビジョン受像機の画面に表示されたバーコードを携帯電話機で撮影してこれを復号して利用することが行われている。特許文献１（特開２０１１−０９５８２４号）は、テレビ放送のショッピング番組でバーコードをテレビ画面に表示し、これをユーザ端末で撮像・復号してショッピングに利用可能にすることを開示している。携帯電話機等のユーザ端末で撮像を行うことは煩雑である。

上述の従来技術やその問題点は、この発明の背景の一部を説明するためにのみ説明している。この発明は上述の従来技術や問題点に限定されるものではない点に留意されたい。

特開２０１１−０９８５８２４号公報

この発明は、以上の事情を考慮してなされたものであり、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できるようにすることを目的としている。

この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。

すなわち、この発明の一側面によれば、表示装置を：表示部と；上記表示部に対応するタッチパネルと；バーコードを復号する復号手段と；上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出して上記復号手段により復号する手段とを含んで構成している。

かかる構成においては、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できる。

この発明の他の側面によれば、表示装置を：表示部と；上記表示部に対応するタッチパネルと；上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段とを含んで構成している。

かかる構成においても、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できる。

かかる構成において、上記バーコードは二次元バーコードであって良い。

また、上記復号手段による復号が成功したときに上記復号結果に基づいて処理を実行するように構成されて良い。

また、上記復号結果はＵＲＬであり、当該ＵＲＬ要求を送信するように構成されて良い。

また、表示装置は移動体通信端末により構成されて良い。

また、当該表示装置は、ＢＭＬで記述された文書を表示して良い。

この発明の他の側面によれば、表示部と、上記表示部に対応するタッチパネルとを有する端末を、上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段として実現するために用いられるコンピュータプログラムが提供される。

かかる構成においても、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できる。

なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。

この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

この発明によれば、放送サービス再送信装置の処理負荷を軽減できる。また、再送信サービスの視聴端末の負荷を軽減できる。

この発明の実施例のＩＰ再送信システムが実行される環境を説明する図である。 図１のＩＰ再送信システムの概要を説明する機能ブロック図である。 図２のメッセージ管理ファイルを説明する図である。 字幕データを説明する図である。 図１の携帯端末の構成例を示すブロック図である。 図１の携帯端末の機能ブロック図である。 図１の携帯端末の表示例を説明する図である。 認証サーバーから取得可能なチャンネル情報の例を示す図である。 図８のチャンネル情報の詳細を説明する図である。 図８の同期データ再生部の構成例を示すブロック図である。 図８の同期データ再生部の動作を説明する模式図である。 図１１の同期データ再生部の補正ＰＣＲの取得動作例を説明する模式図である。 図６のユーザインターフェース部のボタン選択動作を説明するフロー図である。 図６のユーザインターフェース部のボタン選択動作を説明する画面表示例を示す図である。 図６のユーザインターフェース部のボタン選択動作を説明するＢＭＬ記述例を示す図である。 図６のユーザインターフェース部の二次元バーコード処理部の動作を説明するフロー図である。 図６のユーザインターフェース部の二次元バーコード処理部の動作を説明する画面表示例を示す図である。 上述の実施例の変形例を説明する機能ブロック図である。 字幕データの処理フローを説明する模式図である。 メッセージ管理ファイル中のメッセージを説明する図である。 メッセージ管理ファイル中のメッセージの実体種別を説明する図である。

以下、この発明の実施例について説明する。

図１は、この発明のデジタルテレビ放送（地上波デジタルテレビ放送、ＢＳ、ＣＳデジタルテレビ放送）のＩＰ再送信を行うデジタルテレビ再送信システムに適用した実施例を実施する環境を全体として示しており、この図において、放送事業者システム１００は、基幹放送事業者が運営するシステムであって良く、アップリンクする前の放送サービスのＴＳストリームを取得し、または受信した放送電波を復調しＴＳストリームを取得し、さらに、映像・音声ストリームおよびデータストリームに逆多重化して配信事業者システム２００に所定の回線を使用して伝送する。配信事業者システム２００は、伝送されてきた、映像・音声ストリームおよびデータストリームを再配信用に処理するものであり、後述するように、映像・音声ストリーム（ＭＰＥＧ−２ ＴＳ）をＩＰ再配信用の所定のフォーマット（ＨＬＳ、ＭＰＥＧ−ＤＡＳＨ等）にトランスコードし携帯端末３００に配信し、また、データストリーム中の字幕データ、文字スーパーデータ、およびイベントメッセージ等の映像・音声ストリームに同期した同期データと、それ以外の非同期データ（ＢＭＬ等で記述されたデータ放送、電子番組表すなわちＥＰＧ等）とを個別に管理し、前者をＨＴＴＰロング・ポーリングを利用して配信し、後者を、オンデマンドで配信するようになっている。後述のように、映像・音声ストリームに同期した同期データ、および、それ以外の非同期データの双方をＨＴＴＰポーリングを利用して配信しても良い。配信事業者システム２００は通信ネットワーク５００、典型的にはインターネットに接続されている。通信ネットワーク５００の少なくとも一部はＣＤＮ（コンテンツデリバリネットワーク）サービスで構成されても良い。携帯端末３００は移動体通信事業者のゲートウェイ４００を介して通信ネットワーク５００に接続されている。また、認証サーバー６００を通信ネットワーク５００に接続して、ＩＰ再送信サービスに関して、携帯端末３００からの要求を認証するようにしてもよい。放送事業者システム１００および配信事業者システム２００を統合して構成しても良い。

図２は、放送事業者システム１００、配信事業者システム２００、携帯端末３００の構成例を説明するものであり、それぞれ他の構成例も採用して良い。図２において、放送事業者システム１００は、放送映像・音声抽出部１１０および放送データ抽出部１２０を有しており、放送映像・音声抽出部１１０は、放送ＴＳストリームから映像・音声のＴＳパケットを抽出する。放送データ抽出部１２０は、放送ＴＳストリームから、映像・音声以外のデータ関連のＴＳパケットを抽出する。配信事業者システム２００は、映像・音声トランスコード部２１０、データ受信部２２０、データ管理ＤＢ部２３０、映像・音声配信部２４０、同期データ配信部２５０、非同期データ配信部２６０、およびメッセージ管理ファイル保持部２７０等を有している。映像・音声トランスコード部２１０は、映像・音声のＭＰＥＧ−２のＴＳパケットを、ＨＴＴＰストリーミング方式（典型的にはＨＬＳ方式）のストリーミングファイルに変換するものである。映像・音声配信部２４０は、ＨＴＴＰストリーミング方式で映像・音声ストリームを携帯端末３００に配信するものである。データ受信部２２０は、典型的には、映像・音声以外のデータ関連のＴＳパケットを受信して、字幕データ、文字スーパーデータ、およびイベントメッセージ等の映像・音声ストリームに同期した同期データを同期データ配信部２５０に送り、同期データ配信部２５０は、この同期データをＨＴＴＰロング・ポーリングにより携帯端末３００に配信する。また、データ受信部２２０は、非同期データパケットからＢＭＬ文書およびＥＰＧ等を再構築してデータ管理ＤＢ２３０に保管し、非同期データ配信部２６０は、これらＢＭＬ文書およびＥＰＧ等を、携帯端末３００からのオンデマンドのＨＴＴＰ要求、例えば携帯端末３００の表示部に表示されたデフォルトのボタン表示を操作して行うＨＴＴＰ要求に基づいて携帯端末３００に配信する。

なお、放送事業者システム１００または配信事業者システム２００は、放送ＴＳストリームのＴＳパケットを管理するためのインデックスファイル（インデックスデータ、インデックスリスト、メッセージ管理データ、メッセージ管理ファイル、メッセージリストともいう）をメッセージ管理ファイルとしてメッセージ管理ファイル保持部２７０に保持している。放送事業者システム１００または配信事業者システム２００は、ＴＳパケットを受信するたびに図３に示すインデックス（メッセージエントリ、メッセージ）を作成して管理する。字幕データに関しては図４に模式的に示すような字幕パケットをそのままの形態でデータ記憶管理部、例えばデータ管理ＤＢ２３０、後述の図１８のデータ本体記憶管理部２８０、その他の記憶部に保持するようになっており、メッセージの実体ファイル名属性で指定されるパスでアクセスできる。

携帯端末３００は、ＨＴＴＰストリーミングで配信されてくる映像を表示部３００Ａ（図２）に表示し、またＨＴＴＰロング・ポーリングで伝送されてくるメッセージ管理ファイルを利用して配信されてくる字幕データ（３００Ｂ）を表示部３００Ａに映像に重ねて表示し、また、オンデマンドで配信されてくるＢＭＬ文書やＥＰＧを表示部３００Ｃに表示する。なお、表示部３００Ａ、表示部３００Ｃはレイアウトに準拠して区画されるものであり、携帯端末３００の表示領域の一部の場合もあるし、全体の場合もある。選択可能な表示モードに基づいて表示部３００Ａが全表示領域にわたって表示されるようにしても良い。また、選択可能な表示モードに基づいて、字幕データおよび／または文字スーパーデータを表示部３００Ａと重ならない、または一部しか重ならない、異なる領域（ウインドウ）に表示しても良い。

なお、ＨＴＴＰロング・ポーリングの例は、のちに説明される。

図５は、携帯端末３００の構成例を示し、この図において、携帯端末３００は、処理システム３１０、メモリ３２０、入出力サブシステム３３０、高周波回路部３４０、および音声回路部３５０を含む。構成要素の各々は、適宜、信号処理集積回路、特定用途向け集積回路、を含むハードウェア、ソフトウェア、またはこれらを組み合わせて実現できる。高周波回路部３４０は、他の装置に、無線リンクまたはネットワーク上で情報を送信・受信するのに用いられ、この機能を実行するために、アンテナ・システム、ＲＦ送受信機、増幅器、チューナー、発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、メモリ、その他の周知の回路構成を含むがこれらに限られない。高周波回路部３４０は、時分割多重アクセス（ＴＤＭＡ）、符号分割多重接続（ＣＤＭＡ）等のモバイル通信、無線ＬＡＮ（ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１Ｎ）、ブルートゥース（ＩＥＥＥ８０２．１５．１、「ブルートゥース」は商標である）、Ｗｉ−ＭＡＸ（ＩＥＥＥ８０２．１６）等の通信プロトコルを利用できるけれども、これに限定されない。音声回路部３５０は、音声スピーカ３５１とマイクロフォン３５２に連結される。処理システム３１０はプロセッサ３１１、メモリコントローラ３１２、周辺装置インターフェース３１３を含む、メモリ３２０は、プロセッサ３１１が実行するコードやデータを格納する。メモリ３２０は、ＲＡＭ、ＲＯＭ、ＦＬＡＳＨ、ディスク・ドライブ、磁気テープ等の任意の記憶装置を含んで良い。プロセッサ３１１は、メモリ３２０に格納された多様なソフトウェア・コンポーネントを実行する。例えば、ソフトウェア・コンポーネントは、オペレーティング・システム３２１、通信モジュール３２２、接触／動作モジュール３２３、グラフィック・モジュール３２４、アプリケーション３２５、タイマ・モジュール３２６、およびウェブ・ブラウザ・モジュール３２７を含む。アプリケーション３２５は、ブラウザ、アドレス帳、電子メール、暗号化、グローバル・ポジショニング・システム（ＧＰＳ）等の位置決定機能、および、二次元バーコードデコーダを含む。この実施例のインターネット再送信テレビ放送視聴アプリケーション３２５Ａ（図６）は、典型的には、アプリケーション３２５の１つとして実現される。入出力サブシステム３３０はタッチパネル３３１等を制御する。この携帯端末３００においては、インターネット再送信で配信されるテレビ放送サービスを視聴する機能はアプリケーションとして実装される。対応するアプリケーションをメモリ３２０にインストールすることにより携帯端末３００をインターネット再送信テレビ放送視聴端末として実現する。

図６は、インターネット再送信テレビ放送視聴アプリケーション３２５Ａが実現する機能を模式的に示しており、図において、携帯端末３００は、映像・音声ストリーム再生部３６０、同期データ再生部３７０、非同期データ閲覧部３８０、ユーザインターフェース部３９０を機能として含む。ユーザインターフェース部３９０は、ボタン選択部３９１およびバーコード処理部３９２を含む。

映像・音声ストリーム再生部３６０は、ＨＴＴＰストリーミングで配信事業者システム２００の映像・音声配信部２４０から配信される映像・音声パケットのファイルをデコードして、例えば、図７に示すように携帯端末３００の表示領域の映像視聴領域Ａに動画を表示する。なお、テレビ放送を視聴開始するには、対応するアプリケーションを選択起動し、通常のテレビ受像機と同様のオンスクリーンディスプレイ等からチャンネルを選択すればよい。スワイプに基づいてチャンネル切り換えを行っても良い。場合によっては認証サーバー６００（図１）との間で、認証ダイアログが実行される。なお、アプリケーション３２５Ａは、例えば、認証サーバー６００から視聴可能な放送チャンネルの各々についてチャンネル情報を取得可能であり、図８は、このチャンネル情報の具体例を示す。チャンネル情報は、図９に示すような情報を含む。また、図７において「ｄ」ボタンはデータ放送の切り換え、「字」ボタンは字幕の切り換え、「主」ボタンは音声の切り換え、その他、表示の縦横の切り換え等のボタンがある。また、字幕表示に関連して、別領域に字幕等を表示するボタンや、字幕等のタイミングを早めたり遅めたりするボタンを設けて、字幕の表示態様、タイミングの微調整を行えるようにしてもよい。

さらに、図６において、同期データ再生部３７０は、字幕等の同期データを再生するものである。同期データ再生部３７０は、ＨＴＴＰロング・ポーリングを利用して同期データを配信事業者システム２００の同期データ配信部２５０から取得して、映像・音声ストリーミングと同期したタイミングで字幕や文字スーパー等を表示するようになっている。また、同期データ再生部３７０は同じく同期データであるイベントメッセージを、映像・音声ストリーミングと同期したタイミングで処理するようになっている。イベントメッセージによりＢＭＬ文書内容の切り換え等を行える。

図１０は、同期データ再生部３７０において同期タイミングを制御する、補正ＰＣＲ生成部３７２を説明するものである。図１０において、同期データ再生部３７０は、字幕表示部３７１、補正ＰＣＲ生成部３７２、メッセージ管理ファイル保持部３７３、字幕データ保持部３７４、ポーリング制御部３７５を有している。補正ＰＣＲ生成部３７２は、映像・音声ストリーム再生部３６０の再生状況に応じたＰＣＲ（プログラムクロックリファレンス）を生成するものである。ポーリング制御部３７５は、配信事業者システム２００の同期配信部２５０にポーリングを行って、メッセージ管理ファイル保持部２７０から新たなエントリ（メッセージ）を取り出して、同期データ再生部３７０のメッセージ管理ファイル保持部３７３に追加し、また、新たな字幕データを字幕データ保持部３７４に追加する。メッセージ管理ファイル保持部３７３および字幕データ保持部３７４は、不要になったエントリを削除するようになっている。配信事業者システム２００のメッセージ管理ファイル保持部２７０も不要になったエントリを削除するようになっている。字幕表示部３７１は、補正ＰＣＲ生成部３７２で算出される補正ＰＣＲに基づいて字幕データ保持部３７４中の字幕パケットの表示タイミング（ＰＳＴ）を参照して字幕（文字スーパーも同様）の表示を開始し、消去タイミングを参照して字幕の表示を終了する。

補正ＰＣＲ生成部３７２は、番組切り替え（１つのチャンネル内の放送番組のストリーム構成が変わったこと）を検出したときの日時ＰＲＳＴＳ（メッセージ管理ファイルを作成するサーバーの時刻に準拠する日時）と、再生されている映像・音声ストリームの日時（再生時間軸上の日時。ＴＳトランスコードするサーバーの時刻に準拠する日時）との差分を求め、番組切り替え時点から再生時間軸上の日時までの経過時間（ＰＣＲの経過時間）を求め、これにプログラムリファレンスクロックの解像度（例えば９００００／秒）をかけ、経過クロックを求める。さらに、補正ＰＣＲ生成部３７２は、番組切り換えを検出したときのＰＣＲ（ＰＣＲＰ）を保持しておき、これを基準にして経過クロックを加算して補正ＰＣＲを算出する。このような算出手法を図１１（Ａ）に示す。また、具体的な計算例を図１１（Ｂ）に示す。ＰＣＲの上限は"８５８９９３５１０２"である。なお、ここでは、動画の正確な時間が、ＥＸＴ−ＰＲＯＧＲＡＭーＤＡＴＥ−ＴＩＭＥに設定され、好ましくは、ＨＬＳの作成およびＴＳトランスコードするサーバーとメッセージ管理ファイルを作成するサーバーの時刻が１フレーム単位でずれがないことを前提とする。番組切り替え（１つのチャンネル内の放送番組のストリーム構成が変わったこと）は、例えば、携帯端末３００が、ＰＭＴ（プログラムマップテーブル）パケットのバージョンナンバーの値が変わったことを検知して、これを検知する。なお、典型的な例では、「ｐｍｔ＿ｃｈａｎｇｅｄ」（後述の図２１および図２０参照）がＰＭＴデータが変わったことを通知するメッセージであり、サーバーの検知時刻が、このメッセージ中のメッセージ実行時間に転記される。また、サーバーは、チューナーから抽出されたＰＭＴのデータを受け取り、ＰＭＴに記載されたＰＣＲの記述場所からＰＣＲを取得し、当該「ｐｍｔ＿ｃｈａｎｇｅｄ」メッセージの第４列に追加情報として転記する。ＰＭＴが番組切り替え（１つのチャンネル内の放送番組のストリーム構成が変わったこと）ことを示すときには、以前のメッセージ管理データはクリアされて良い。図１２は補正ＰＣＲの算出動作例を模式的に示すものである。

なお、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）とＰＣＲの実時間換算地との差を求め、ＰＣＲを受信した時刻にこの差分を加算することで実時間に換算し、これをメッセージ管理ファイルに出力し、ＰＣＲのクロックに基づくのではなく実時間で字幕の表示・消去を制御しても良い。また、字幕等のタイミングを早めたり遅めたりするボタンを設けて、字幕の表示態様、タイミングの微調整を行えるようする場合、例えば「＋」のボタンが操作されるたびに補正ＰＣＲの現在の値に一定の時間増分に応じた一定のクロック増分（ΔＰＣＲ、例えば１秒分の９００００クロック数）を加算し、「−」のボタンが操作されるたびに補正ＰＣＲの現在の値に一定の時間減分に応じた一定のクロック減分（−ΔＰＣＲ）を加算し（差し引く）、「リセット」ボタンが操作されると、本来の補正ＰＣＲに復帰するようにしてよい。補正ＰＣＲに限らず、所定の基準で設定された基準ＰＣＲを同様に増減させてよい。

つぎに図６のユーザインターフェース部３９０のボタン選択部３９１について説明する。図１４は、テレビ放送の表示例を示し、映像部分以外は、ＢＭＬで記述された文書である。「Ａ」、「Ｂ」、「Ｃ」は操作ボタンであり、通常のテレビ受像機との関連では、リモコンのカーソル移動キーを用いてフォーカス位置をボタンからボタンに遷移させて、最終的にリモコンの決定ボタンを押して、項目の選択を行う。携帯端末３００のユーザインターフェース部３９０においてリモコンのカーソル移動キーに対応するキーを設けても良い。ここ実施例では、目的のボタンがタッチされたときにその項目が選択されるようにしている。以下詳細に説明する。

図１５は、図１４の表示例のＢＭＬ文書記述を示す。これからわかるように、ボタンの要素の記述には「ｎａｖ−ｉｎｄｅｘ」のスタイル属性が含まれている。すなわち、図１４の例では、（１）、（２）、（３）で示すボタンを表示するための記述に図１５の（１）で囲む「ｎａｖ−ｉｎｄｅｘ」のスタイル属性が含まれる。この例では、タッチされた領域の記述に「ｎａｖ−ｉｎｄｅｘ」のスタイル属性が含まれる場合には、それが選択可能であると判定して、その内容を選択する。

図１３は、ボタン選択部３９１の動作例を示す。図１３に示すように、タッチが検出されたときには、その領域に要素が検出されるかどうかを判別し（ステップＳ０１）、検出されない場合にはそのまま終了し（オンスクリーンディスプレイを表示しても良い）、検出された場合にはフォーカス移動記述（「ｎａｖ−ｉｎｄｅｘ」のスタイル属性の記述）が含まれるかどうかを判別し（ステップＳ０２）、検出されない場合にはそのまま終了し、検出された場合には、ボタンの記述中の指示を実行する（ステップＳ０３）。そののち、ボタン選択処理を終了する。

つぎに、図６のユーザインターフェース部３９０のバーコード処理部３９２について説明する。図１７は、携帯端末３００の表示部に二次元バーコードの画像が表示されている状態を示す。通常のテレビ受像機の利用態様では、テレビ受像機の画面に表示された二次元バーコードの画像を携帯端末等のカメラ機能で撮像し、これをバーコードデコード機能でデコードしてＵＲＬを取得し、取得したＵＲＬに基づいてブラウザを起動してＵＲＬのコンテンツの閲覧等を行う。この実施例では、携帯端末３００の表示部の二次元バーコードの画像表示部分（図１７の（１）の部分）をタッチすることにより、そのまま、ＵＲＬのコンテンツの閲覧等を行えるようになっている。

図１６に示すように、タッチが検出されたときには、その領域に要素が検出されるかどうかを判別し（ステップＳ１１）、検出されない場合にはそのまま終了し（オンスクリーンディスプレイを表示しても良い）、検出された場合には要素の画像を抽出して二次元デコード機能でデコードし、デコードが成功したかどうかを判別する（ステップＳ１２）。デコードが失敗した場合にはそのまま終了し、成功した場合には、デコードした内容（ＵＲＬ）で当該コンテンツをブラウザで閲覧可能にする。そののち、バーコード処理を終了する。

なお、表示部がタッチされたときに図１３のボタン選択処理と図１６のバーコード処理とを前後させて実行できることはもちろんである。

以上で実施例の説明を終了する。

つぎに上述の実施例の変形例について説明する。

図１８は、図２に対応するものであり、対応する部分には対応した符号を付した。図１８においては、同期データのみでなく、非同期データ（ＢＭＬ文書）もロング・ポーリングによって携帯端末３００に配信するようにしている。すなわち、データ受信部２２０が映像・音声以外のデータ関連のＴＳパケットを受信し、これらＴＳパケットごとに処理管理用のメッセージを生成してメッセージ管理ファイル保持部２７０に保持し、ＴＳパケットの本体を、メッセージにより指定可能はアドレスでデータ本体記憶管理部２８０に保持する。データ配信部２５０Ａは、メッセージ管理ファイル（メッセージ管理データともいう）を利用して、字幕データ、文字スーパーデータ、およびイベントメッセージ等の映像・音声ストリームに同期した同期データや、ＢＭＬ文書およびＥＰＧ等の非同期データをＨＴＴＰロング・ポーリングにより携帯端末３００に配信する。

図１９は、字幕データを例にして処理フロー例を説明するものであり、図１８の変形例では、他のデータ関連のＴＳパケットも同様にして処理される。図１９において、放送事業者システム１００の放送波受信装置１００ＡのチューナーがＴＳパケットを受信して放送事業者システム１００のＴＳ分離プログラム１００Ｂに供給し（Ｘ０１）、このＴＳ分離プログラム１００Ｂが字幕データのＴＳパケットを配信事業者システム２００のデータ配信サーバー２００Ａの送信する（Ｘ０２）。データ配信サーバー２００Ａは字幕データをデータ本体記憶管理部２８０に保存して、これに対応して、メッセージ管理ファイル保持部２７０中のメッセージ管理データ（メッセージ管理ファイル）に新規メッセージを追加してこれを更新する（Ｘ０３）。携帯端末３００のアプリケーション３２５Ａは、ロング・ポーリング処理部分Ｘ０４において、まずメッセージ管理データを取りにいき（Ｘ０５）、これに応じてデータ配信サーバー２００Ａは、メッセージ管理データの最新のデータをアプリケーション３２５Ａに返す（Ｘ０６）。データ配信サーバー２００Ａはメッセージ管理データの更新分を更新の都度アプリケーション３２５Ａに返すことを繰り返す（Ｘ０７）。アプリケーション３２５Ａは、ステップＸ０６、Ｘ０７で取得したメッセージ管理データを行ごとに解釈し、字幕メッセージである場合、ステップＸ０３で取得した字幕データを取りにいき（Ｘ０８）、データ配信サーバー２００Ａはこれに応じて字幕データをアプリケーション３２５Ａに送る（Ｘ０９）。アプリケーション３２５Ａはメッセージ管理データと字幕データの内容から適切なタイミングで表示処理を行い、ユーザに字幕が表示される（Ｘ１０、Ｘ１１）。

図２０は、メッセージの一例を示しており、メッセージは、先に図３を参照して示したように、１列目のメッセージ実行時間（発火時刻ともいう）、２列目のメッセージ種別（実体種別ともいう）、３列目の実体ファイル名、４列目の追加情報を含む（図２０（Ａ））。図２０（Ｂ）の具体例では、メッセージ実行時間が「2016-04-20T13:02:15.588+0900」であり、メッセージ種別が「cap_packet」であり、実体ファイル名が「/tvmock/20160420/7fe4.7fe4.0420/cap/00055002」であり、追加情報は含まれていない。メッセージ種別の「cap_packet」は、メッセージが字幕に関するものであることを示し、実体ファイル名の「/tvmock/20160420/7fe4.7fe4.0420/cap/00055002」に字幕データが保持されていることを示す。主たるメッセージ種別は図２１に示すとおりである。なお、メッセージはデータストリームのＴＳパケットごとに形成しているけれども、映像・音声ストリームのＴＳパケットについても生成してこれを管理用に用いても良い。

図２１の「ｐｍｔ＿ｃｈａｎｇｅｄ」は上述のとおり、字幕データの表示タイミングの制御に用いられる。

なお、この発明は特許請求の範囲の記載に基づいて決定されるものであり、実施例の具体的な構成、課題、および効果には限定されない。この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。

例えば、上述の実施例では携帯端末に関連して説明を行ったけれども、広く固定端末やテレビ受像機にこの発明を適用してよく、例えば、ボタン選択動作やバーコード処理については、タッチパネル付きの固定端末やインターネットに接続されたタッチパネル付きのテレビ受像機にも適用可能である。

以下、ここで説明した技術的特徴について列挙する。
［放送再送信方式］
［技術的特徴１］
放送ストリームから抽出した映像・音声ストリームをストリーミング方式でネットワークを介して端末に送信する映像・音声ストリーム送信手段と、
上記放送ストリームから抽出したデータストリームを上記ネットワークを介して端末に送信するデータストリーム送信手段とを有し、
上記データストリーム送信手段は、
上記データストリームをパケット単位で記憶するデータストリーム記憶手段と、
パケット単位で記憶した上記データストリームをパケット単位でアクセス可能にするインデックスファイルを記憶するインデックスファイル記憶手段と、
上記インデックスファイルを、上記端末からのポーリングに応じて、上記ネットワークを介して上記端末に送信する手段と、
上記端末に送信された上記インデックスファイルを用いた、上記端末からのパケット単位の転送要求に応じて、上記データストリーム記憶手段に記憶された上記データストリームをパケット単位で上記端末に送信する手段とを有することを特徴とする放送サービス再送信装置。
［技術的特徴２］
放送ストリームから映像・音声ストリームおよびデータストリームそれぞれ抽出する手段をさらに有するする手段と技術的特徴１に記載の放送サービス再送信装置。
［技術的特徴３］
上記データストリーム送信手段が送信するデータストリームは、上記映像・音声ストリームに同期したデータストリームである技術的特徴１または２記載の放送サービス再送信装置。
［技術的特徴４］
上記データストリーム送信手段が送信するデータストリームは、上記映像・音声ストリームに非同期のデータコンテンツである技術的特徴１、２、または３記載の放送サービス再送信装置。
［技術的特徴５］
上記ストリーミング方式はＨＴＴＰプロトコルに準拠したストリーミング方式である技術的特徴１〜４のいずれかに記載の放送サービス再送信装置。
［技術的特徴６］
上記ポーリングは、ＨＴＴＰロング・ポーリングである技術的特徴１〜５のいずれかに記載の放送サービス再送信装置。
［技術的特徴７］
ネットワークに接続可能な端末であって、
放送ストリームから抽出されストリーミング方式で上記ネットワークを介して送信される映像・音声ストリームを、送信装置から、受信する映像・音声ストリーム受信手段と、
上記放送ストリームから抽出され上記ネットワークを介して送信されるデータストリームを、上記送信装置から、受信するデータストリーム受信手段とを有し、
上記データストリーム受信手段は、
上記送信装置において記憶されている上記データストリームを、パケット単位でアクセス可能にするインデックスファイルを、ポーリングによって、上記送信装置から受信するインデックスファイル受信手段と、
上記送信装置において記憶されている上記データストリームを、上記インデックスファイル受信手段により受信した上記インデックスファイルを用いて、パケット単位で受信する手段とを有することを特徴とする端末。
［技術的特徴８］
移動体通信に基づいて通信を行う技術的特徴８記載の端末。
［技術的特徴９］
ネットワークに接続可能な端末を、
放送ストリームから抽出されストリーミング方式で上記ネットワークを介して送信される映像・音声ストリームを、送信装置から、受信する映像・音声ストリーム受信手段、および、
上記放送ストリームから抽出され上記ネットワークを介して送信されるデータストリームを、上記送信装置から、受信するデータストリーム受信手段として実行させるために使用されるコンピュータプログラムであって、
上記データストリーム受信手段は、
上記送信装置において記憶されている上記データストリームを、パケット単位でアクセス可能にするインデックスファイルを、ポーリングによって、上記送信装置から受信するインデックスファイル受信手段と、
上記送信装置において記憶されている上記データストリームを、上記インデックスファイル受信手段により受信した上記インデックスファイルを用いて、パケット単位で受信する手段とを有することを特徴とする上記コンピュータプログラム。
［要素選択方式］
［技術的特徴１］
マークアップ言語で記述された文書を表示する表示部と、
上記表示部に対応するタッチパネルと、
上記タッチパネルに対するタッチ操作に対応する位置の表示要素に関する上記文書の記述にフォーカス移動に関する指示がある場合に上記表示要素に関する命令を実行する手段とを有する文書閲覧装置。
［技術的特徴２］
上記フォーカス移動に関する指示は、リモコンのカーソル移動キーに対応するものである技術的特徴１記載の文書閲覧装置。
［技術的特徴３］
上記マークアップ言語はＢＭＬである技術的特徴１または２のいずれかに記載の文書閲覧装置。
［技術的特徴４］
マークアップ言語で記述された文書を表示する表示部と、当該表示部に対応するタッチパネルとを有する携帯端末を、上記タッチパネルに対するタッチ操作に対応する位置の表示要素に関する上記文書の記述にフォーカス移動に関する指示がある場合に上記表示要素に関する命令を実行する手段として実現するために使用されるコンピュータプログラム。
［バーコード処理方式］
［技術的特徴１］
表示部と、
上記表示部に対応するタッチパネルと、
バーコードを復号する復号手段と、
上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出して上記復号手段により復号する手段とを有する表示装置。
［技術的特徴２］
表示部と、
上記表示部に対応するタッチパネルと、
上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段とを有する表示装置。
［技術的特徴３］
上記バーコードは二次元バーコードである技術的特徴１または２記載の表示装置。
［技術的特徴４］
上記復号手段による復号が成功したときに上記復号結果に基づいて処理を実行する技術的特徴１、２、または３のいずれかに記載の表示装置。
［技術的特徴５］
上記復号結果はＵＲＬであり、当該ＵＲＬ要求を送信する技術的特徴１〜４のいずれかに記載の表示装置。
［技術的特徴６］
移動体通信端末により構成される技術的特徴１から５のいずれかに記載の表示装置。
［技術的特徴７］
ＢＭＬで記述された文書を表示する技術的特徴１〜６のいずれかに記載の表示装置。
［技術的特徴８］
表示部と、上記表示部に対応するタッチパネルとを有する携帯端末を、
上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段として実現するために用いられるコンピュータプログラム。
［同期方式］
［技術的特徴１］
放送サービス再送信装置にネットワークを介して接続可能な端末であって、
放送ストリームから抽出され第１の方式で上記放送サービス再送信装置から上記ネットワークを介して送信される映像・音声ストリームを受信する手段と、
上記映像・音声ストリームを再生する手段と、
上記再生されている上記映像・音声ストリームの現再生時点の上記放送サービス再送信装置に準拠した日時（再生時間軸日時）を求める手段と、
プログラムマップテーブル（ＰＭＴ）がチャンネル内の放送番組のストリーム構成が変わったことを示す場合に、当該ＰＭＴの記述から取得されるプログラムリファレンスクロック（ＰＣＲＰ）および当該ＰＭＴが処理される上記放送サービス送信装置に準拠した日時（ＰＲＳＴＳ）を取得する手段と、
上記放送ストリームから抽出され第２の方式で上記ネットワークを介して送信される上記映像・音声ストリームに同期したデータストリームを受信する手段と、
上記ＰＲＳＴＳから上記再生時間軸日時までの経過時間に基づいて、その間に経過するクロック数を算出し、算出クロック数を、上記ＰＣＲＰに加算して再生時間軸日時のプログラムクロックリファレンスを予測する手段と、
上記予測されたプログラムクロックリファレンスに基づいて、上記映像・音声ストリームに同期したデータストリームの処理を実行する処理実行手段とを有することを特徴とする端末。
［技術的特徴２］
上記映像・音声ストリームに同期したデータストリームは字幕データを含み、上記処理実行手段は上記字幕データを再生する技術的特徴１記載の端末。
［技術的特徴３］
上記映像・音声ストリームに同期したデータストリームはイベントメッセージを含み、上記処理実行手段は上記イベントメッセージを処理する技術的特徴１または２記載の端末。
［技術的特徴４］
上記映像・音声ストリームはＨＴＴＰライブストリーミング方式のストリームである技術的特徴１〜３のいずれかに記載の端末。
［技術的特徴５］
上記再生時間軸日時は、上記映像・音声ストリームをなすＨＬＳファイルのEXT-PROGRAM-DATE-TIME（ＨＰＤＴ）および再生経過時間（ＭＣＴ）からＨＰＤＴ＋ＭＣＴにより算出する技術的特徴４記載の端末。
［技術的特徴６］
プログラムクロックリファレンスの解像度をＦＨｚとしたときに、上記再生時間軸日時のプログラムクロックリファレンスは、
ＰＣＲＰ＋（ＨＰＤＴ＋ＭＣＴ−ＰＲＳＴＳ）×Ｆ
によって算出される技術的特徴５記載の端末。
［技術的特徴７］
Ｆは９００００である技術的特徴６記載の端末。
［技術的特徴８］
放送サービス再送信装置にネットワークを介して接続可能な端末を、
放送ストリームから抽出され第１の方式で上記放送サービス再送信装置から上記ネットワークを介して送信される映像・音声ストリームを受信する手段と、
上記映像・音声ストリームを再生する手段と、
上記再生されている上記映像・音声ストリームの現再生時点の上記放送サービス再送信装置に準拠した日時（再生時間軸日時）を求める手段と、
プログラムマップテーブル（ＰＭＴ）がチャンネル内の放送番組のストリーム構成が変わったことを示す場合に、当該ＰＭＴの記述から取得されるプログラムリファレンスクロック（ＰＣＲＰ）および当該ＰＭＴが処理される上記放送サービス送信装置に準拠した日時（ＰＲＳＴＳ）を取得する手段と、
上記放送ストリームから抽出され第２の方式で上記ネットワークを介して送信される上記映像・音声ストリームに同期したデータストリームを受信する手段と、
上記ＰＲＳＴＳから上記再生時間軸日時までの経過時間に基づいて、その間に経過するクロック数を算出し、算出クロック数を、上記ＰＣＲＰに加算して再生時間軸日時のプログラムクロックリファレンスを予測する手段と、
上記予測されたプログラムクロックリファレンスに基づいて、上記映像・音声ストリームに同期したデータストリームの処理を実行する処理実行手段として実現するために用いられるコンピュータプログラム。
［技術的特徴９］
放送サービス再送信装置にネットワークを介して接続可能な端末であって、
放送ストリームから抽出され第１の方式で上記放送サービス再送信装置から上記ネットワークを介して送信される映像・音声ストリームを受信する手段と、
上記映像・音声ストリームを再生する手段と、
上記再生されている上記映像・音声ストリームの現再生時点の上記放送サービス再送信装置に準拠した日時（再生時間軸日時）を求める手段と、
所定の事象が発生した場合に、これに関連するプログラムリファレンスクロック（ＰＣＲＰ）および当該所定の事象が処理される上記放送サービス送信装置に準拠した日時（ＰＲＳＴＳ）を取得する手段と、
上記放送ストリームから抽出され第２の方式で上記ネットワークを介して送信される上記映像・音声ストリームに同期したデータストリームを受信する手段と、
上記ＰＲＳＴＳから上記再生時間軸日時までの経過時間に基づいて、その間に経過するクロック数を算出し、算出クロック数を、上記ＰＣＲＰに加算して再生時間軸日時のプログラムクロックリファレンスを予測する手段と、
上記予測されたプログラムクロックリファレンスに基づいて、上記映像・音声ストリームに同期したデータストリームの処理を実行する処理実行手段とを有することを特徴とする端末。

１００ 放送事業者システム
１１０ 放送映像・音声抽出部
１２０ 放送データ抽出部
２００ 配信事業者システム
２１０ 映像・音声トランスコード部
２２０ データ受信部
２３０ データ管理ＤＢ部
２４０ 映像・音声配信部
２５０ 同期データ配信部
２６０ 非同期データ配信部
２７０ メッセージ管理ファイル保持部
２８０ データ本体記憶管理部
３００ 携帯端末
３１０ 処理システム
３２０ メモリ
３２５ アプリケーション
３６０ 映像・音声ストリーム再生部
３７０ 同期データ再生部
３７１ 字幕表示部
３７２ 補正ＰＣＲ生成部
３７３ メッセージ管理ファイル保持部
３７４ 字幕データ保持部
３７５ ポーリング制御部
３８０ 非同期データ閲覧部
３９０ ユーザインターフェース部
３９１ ボタン選択部
３９２ バーコード処理部

Claims (8)

1. 表示部と、
   上記表示部に対応するタッチパネルと、
   バーコードを復号する復号手段と、
   上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出して上記復号手段により復号する手段とを有する表示装置。
2. 表示部と、
   上記表示部に対応するタッチパネルと、
   上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段とを有する表示装置。
3. 上記バーコードは二次元バーコードである請求項１または２記載の表示装置。
4. 上記復号手段による復号が成功したときに上記復号結果に基づいて処理を実行する請求項１、２、または３のいずれかに記載の表示装置。
5. 上記復号結果はＵＲＬであり、当該ＵＲＬ要求を送信する請求項１〜４のいずれかに記載の表示装置。
6. 移動体通信端末により構成される請求項１〜５のいずれかに記載の表示装置。
7. ＢＭＬで記述された文書を表示する請求項１〜６のいずれかに記載の表示装置。
8. 表示部と、上記表示部に対応するタッチパネルとを有する端末を、
   上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段として実現するために用いられるコンピュータプログラム。

Images