JP2015207873A

JP2015207873A - 受信装置

Info

Publication number: JP2015207873A
Application number: JP2014086585A
Authority: JP
Inventors: 正芳大西; Masayoshi Onishi; 松村　欣司; Kinji Matsumura; 欣司松村
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-04-18
Filing date: 2014-04-18
Publication date: 2015-11-19
Anticipated expiration: 2034-04-18
Also published as: JP6343171B2

Abstract

【課題】複数の異なる伝送路から伝送されてくる信号の同期制御を行うことができる受信装置を提供すること。
【解決手段】第１伝送路から送信されてきた第１信号を受信する第１通信部１１と、第１映像信号と第１音声信号を蓄積する第１バッファー部１３と、第１音声信号から特徴情報を抽出して第１特徴信号を生成する第１特徴抽出部１６と、第２伝送路から送信されてきた第２信号を受信する第２通信部１７と、第２信号を第２映像信号と第２音声信号に分離する第２分離部１８と、第２音声信号から特徴情報を抽出して第２特徴信号を生成する第２特徴抽出部２２と、第１特徴信号に基づいて、第２特徴信号の遅延量を算出する遅延処理部２３と、遅延量に基づいて再生クロックを出力するタイミングを決定する再生クロック生成部２４とを備える。
【選択図】図２

Description

本発明は、複数の異なる伝送路から伝送されてくる信号を受信する受信装置に関する。

近年、放送のデジタル化と通信のブロードバンド化の進展に伴い、放送通信連携サービスを実現するシステムについての研究開発が行われている。なお、当該システムは、第１撮像装置と、第１撮像装置から送られてくるデータ（音声信号と映像信号）に基づいて生成される放送信号を放送波として送出する第１送出装置と、第２撮像装置と、第２撮像装置から送られてくるデータ（音声信号と映像信号）に基づいて生成される通信信号をＩＰ伝送により送出する第２送出装置と、放送信号と通信信号を受信する受信装置（受信機）により構成される。なお、以下では、第１送出装置と第２送出装置をまとめて送出装置（送出機）と呼ぶ。

また、受信装置は、複数の情報（映像、音声、字幕等）のコンポーネントで構成されているマルチメディアコンテンツが複数の異なる伝送路（例えば、放送と通信）を利用して配信されてきた場合には、各コンポーネントの再生タイミングを同期して提示する機能を有する必要がある。
これは、伝送経路によってコンポーネントを構成する各パケットが受信機に到達までに要する時間が異なるためである。

例えば、送出機は、各コンポーネントにタイムスタンプを付加する。
タイムスタンプは、各コンポーネントの配信ユニット（映像・音声フレーム等の配信単位）ごとに付加されるものであり、その配信ユニットのデータが受信機で提示されるべき時刻を示している。受信機は、このタイムスタンプを利用して、各コンポーネントの再生タイミングの同期を図っている。

具体的には、受信機は、タイムスタンプの値に基づいて、早く到着したコンポーネントを適宜バッファリングし、遅く到着するコンポーネントと同期させることにより、提示タイミングを合わせている。

また、上述したように、タイムスタンプの付加は、送出機側で行われる。送出機は、システム全体で共通なシステムクロックを持ち、それを基準に各コンポーネントの配信ユニットにタイムスタンプを付加して配信している。

特開２０１２−１０００９号公報特開２０１２−２０５０７５号公報

このようなシステムにおいては、経路ごとに独立した送出機があり、タイムスタンプは送出機ごとのシステムクロックに依存している。また、各送出機のシステムクロックを同期することにより、提示同期を行う方式が種々提案されている（例えば、特許文献１、２）。
しかし、このようなシステムにおいては、サービス提供者側が、各送出機のシステムクロックの同期をとるための機構を整備する必要がある。

本発明は、送出機側においてタイムスタンプを調整せずに、複数の異なる伝送路から伝送されてくる信号の同期制御を行うことができる受信装置を提供することを目的とする。

本発明に係る受信装置は、第１伝送路から送信されてきた第１信号を受信する第１通信部と、前記第１信号を第１映像信号と第１音声信号に分離する第１分離部と、前記第１映像信号と前記第１音声信号を蓄積する第１バッファー部と、前記第１映像信号を復号する第１映像復号部と、前記第１音声信号を復号する第１音声復号部と、前記第１音声復号部により復号された前記第１音声信号から特徴情報を抽出して第１特徴信号を生成する第１特徴抽出部と、前記第１伝送路とは異なる第２伝送路から送信されてきた第２信号を受信する第２通信部と、前記第２信号を第２映像信号と第２音声信号に分離する第２分離部と、前記第２映像信号と前記第２音声信号を蓄積する第２バッファー部と、前記第２映像信号を復号する第２映像復号部と、前記第２音声信号を復号する第２音声復号部と、前記第２音声復号部により復号された前記第２音声信号から特徴情報を抽出して第２特徴信号を生成する第２特徴抽出部と、前記第１特徴信号に基づいて、前記第２特徴信号の遅延量を算出する遅延処理部と、前記遅延処理部により算出した遅延量に基づいて、再生クロックを出力するタイミングを決定する再生クロック生成部とを備え、前記第１バッファー部は、前記再生クロック生成部により生成された再生クロックが入力されたときに、前記第１映像信号を前記第１映像復号部に出力し、前記第１音声信号を前記第１音声復号部に出力し、前記第１特徴抽出部は、前記第１音声信号をフーリエ変換することにより周波数領域波形の情報に変換し、前記第２特徴抽出部は、前記第２音声信号をフーリエ変換することにより周波数領域波形の情報に変換する構成である。

かかる構成によれば、受信装置は、第１特徴信号に基づいて、第２特徴信号の遅延量を算出し、当該遅延量に相当する時間分遅らせて、第１バッファー部に蓄積されている第１映像信号を第１映像復号部に出力し、第１音声信号を第１音声復号部に出力し、第１信号と第２信号を同期させるので、送出機側においてタイムスタンプを調整せずに、複数の異なる伝送路から伝送されてくる信号の同期制御を行うことができる。

受信装置では、前記第１特徴抽出部は、前記第１音声信号を所定のサンプリング周波数でサンプリングすることにより情報量を減少し、情報量が減少された前記第１音声信号に対してフーリエ変換することにより周波数領域波形の情報に変換し、前記第２特徴抽出部は、前記第２音声信号を所定のサンプリング周波数でサンプリングすることにより情報量を減少し、情報量が減少された前記第２音声信号に対してフーリエ変換することにより周波数領域波形の情報に変換する構成でもよい。

かかる構成によれば、受信装置は、第１通信部で受信した第１信号の特徴的な部分を残しつつ情報量を減少し、また、第２通信部で受信した第２信号の特徴的な部分を残しつつ情報量を減少するので、遅延処理部において効率的に遅延量を算出することができる。

受信装置では、前記第１特徴抽出部は、前記フーリエ変換により得られた第１音声信号から高域成分を除去することにより前記第１特徴信号を生成し、前記第２特徴抽出部は、前記フーリエ変換により得られた第２音声信号から高域成分を除去することにより前記第２特徴信号を生成する構成でもよい。

かかる構成によれば、受信装置は、第１通信部で受信した第１信号の特徴的な部分を残しつつ情報量を減少して第１特徴信号を生成し、また、第２通信部で受信した第２信号の特徴的な部分を残しつつ情報量を減少して第２特徴信号を生成するので、遅延処理部において効率的に遅延量を算出することができる。

本発明によれば、複数の異なる伝送路から伝送されてくる信号の同期制御を行うことができる。

放送通信連携システムの構成を示す図である。放送通信連携システムの具体的な構成を示す図である。受信機の処理手順についての説明に供するフローチャートである。第１特徴抽出部の処理手順についての説明に供するフローチャートである。遅延処理部の処理手順についての説明に供するフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
放送通信連携システム１００は、図１に示すように、放送局１と、放送用アンテナ２と、受信機３と、ＩＰ伝送サーバ４により構成されており、放送と通信の連携サービスを実現するシステムである。具体的には、放送通信連携システム１００では、受信機３において、ＩＳＤＢ（ＩｎｔｅｇｒａｔｅｄＳｅｒｖｉｃｅｓＤｉｇｉｔａｌＢｒｏａｄｃａｓｔｉｎｇ：統合デジタル放送サービス）方式による放送サービスと、インターネットＮ等のＩＰ網による通信サービスとを連携する。ユーザは、受信機３によって、放送通信連携サービスを利用することができる。なお、本実施例では、放送通信連携システム１００は、ＩＳＤＢ方式に対応するものとして説明するが、ＩＳＤＢ方式に限られず他の方式でもよい。

放送局１（放送用アンテナ２）から放送される放送信号は、放送設備によって放送されている従来のデジタル放送の放送信号と同一であり、詳細は後述するが、ＡＲＩＢ（ＡｓｓｏｃｉａｔｉｏｎｏｆＲａｄｉｏＩｎｄｕｓｔｒｉｅｓａｎｄＢｒｏａｄｃａｓｔ：社団法人電波産業会）標準規格で規定される。

放送局１は、図示しないが、番組編成設備、番組送出設備、送信設備等から構成される一般的なデジタル放送用の放送設備を有している。

また、放送局１は、コンテンツを含んだ放送信号を放送する。コンテンツには、放送スケジュールにしたがって放送される通常コンテンツである番組や、番組とは非同期に発生する緊急コンテンツであるイベントがある。

このように構成される放送通信連携システム１００の受信機３は、映像と音声を扱う規格であるＩＳＤＢ方式により放送波とＩＰ網から配信されてきた映像と音声を同時に処理する機能を有している。以下に、当該機能を実現するための一の構成例について説明する。

受信機３は、図２に示すように、第１通信部１１と、第１分離部１２と、第１バッファー部１３と、第１映像復号部１４と、第１音声復号部１５と、第１特徴抽出部１６と、第２通信部１７と、第２分離部１８と、第２バッファー部１９と、第２映像復号部２０と、第２音声復号部２１と、第２特徴抽出部２２と、遅延処理部２３と、再生クロック生成部２４とを備える。なお、以下では、第１通信部１１は、放送信号を受信し、第２通信部１７は、インターネットＮ等のＩＰ網を介して送信されてくる通信信号を受信するものとして説明するが、これに限られず、第１通信部１１によって通信信号を受信し、第２通信部１７によって放送信号を受信する構成でもよい。

例えば、野球の放送を行う場合において、放送局１は、第１カメラ１０１によって投手の映像を撮像し、第２カメラ１０２によって打者の映像を撮像する。マイク１０３は、球場の声援又はアナウンサーの音声を集音する。
放送局１は、第１カメラ１０１で撮像した映像を第１映像符号化部１０４で符号化し、マイク１０３で集音した音声を第１音声符号化部１０５で符号化し、符号化した映像と音声を第１多重化部１０６で多重化し、多重化した信号を放送信号として、放送用アンテナ２を介して各家庭に放送する。
また、放送局１は、第２カメラ１０２で撮像した映像と、マイク１０３で集音した音声をＩＰ伝送サーバ４に送信する。
ＩＰ伝送サーバ４は、第２カメラ１０２で撮像した映像を第２映像符号化部１０７で符号化し、マイク１０３で集音した音声を第２音声符号化部１０８で符号化し、符号化した映像と音声を第２多重化部１０９で多重化し、多重化した信号を通信信号として、インターネットＮ等のＩＰ網を介して伝送する。
つまり、放送信号と通信信号では、含まれている映像はそれぞれ異なっているが、音声は同一である。

第１通信部１１は、第１伝送路から送信されてきた第１信号を受信する。具体的には、第１通信部１１は、放送用アンテナ２を介して放送局１から放送されてきた放送信号（第１信号）を受信する。

第１分離部１２は、第１信号を第１映像信号と第１音声信号に分離する。
第１バッファー部１３は、第１映像信号と第１音声信号を蓄積する。
第１映像復号部１４は、第１映像信号を復号する。
第１音声復号部１５は、第１音声信号を復号する。
第１特徴抽出部１６は、第１音声復号部１５により復号された第１音声信号から特徴情報を抽出して第１特徴信号を生成する。

第２通信部１７は、第１伝送路とは異なる第２伝送路から送信されてきた第２信号を受信する。具体的には、第２通信部１７は、インターネットＮ等のＩＰ網を介してＩＰ伝送サーバ４から伝送されてきた通信信号（第２信号）を受信する。

なお、受信機３は、第１通信部１１により放送信号（第１信号）を受信したときに、放送信号に含まれている固有のコンテンツＩＤを抽出し、当該コンテンツＩＤをＩＰ伝送サーバ４に送信することにより、第１通信部１１で受信した放送信号に関連する通信信号を要求するものとする。ＩＰ伝送サーバ４は、受信機３から送信されてきたコンテンツＩＤに対応するコンテンツを受信機３に伝送する。

第２分離部１８は、第２信号を第２映像信号と第２音声信号に分離する。
第２バッファー部１９は、第２映像信号と第２音声信号を蓄積する。
第２映像復号部２０は、第２映像信号を復号する。
第２音声復号部２１は、第２音声信号を復号する。
第２特徴抽出部２２は、第２音声復号部２１により復号された第２音声信号から特徴情報を抽出して第２特徴信号を生成する。

遅延処理部２３は、第１特徴信号に基づいて、第２特徴信号の遅延量を算出する。
再生クロック生成部２４は、遅延処理部２３により算出した遅延量に基づいて、再生クロックを出力するタイミングを決定する。
第１バッファー部１３は、再生クロック生成部２４により生成された再生クロックが入力されたときに、第１映像信号を第１映像復号部１４に出力し、第１音声信号を第１音声復号部１５に出力する。

また、第１映像復号部１４で復号された第１映像信号と、第１音声復号部１５で復号された第１音声信号と、第２映像復号部２０で復号された第２映像信号と、第２音声復号部２１で復号された第２音声信号とは、出力部２５に供給される。出力部２５は、図示しないディスプレイとスピーカにより構成されている。

ここで、受信機３の処理手順について図３に示すフローチャートを参照しながら説明する。なお、以下では、第１通信部１１は、放送用アンテナ２を介して放送局１から放送されてきた放送信号（第１信号）を受信し、第２通信部１７は、インターネットＮ等のＩＰ網を介してＩＰ伝送サーバ４から伝送されてきた通信信号（第２信号）を受信したものとする。

ステップＳ１において、第１分離部１２は、第１信号を第１映像信号と第１音声信号に分離する。
ステップＳ２において、第１音声復号部１５は、第１音声信号を復号する。
ステップＳ３において、第１特徴抽出部１６は、第１音声信号から特徴情報を抽出して第１特徴信号を生成する。

ステップＳ４において、第２分離部１８は、第２信号を第２映像信号と第２音声信号に分離する。
ステップＳ５において、第２音声復号部２１は、第２音声信号を復号する。
ステップＳ６において、第２特徴抽出部２２は、第２音声信号から特徴情報を抽出して第２特徴信号を生成する。
ステップＳ７において、遅延処理部２３は、第１特徴信号に基づいて、第２特徴信号の遅延量を算出する。

ステップＳ８において、再生クロック生成部２４は、遅延処理部２３により算出した遅延量に基づいて、再生クロックを出力するタイミングを決定する。再生クロック生成部２４は、決定したタイミングで再生クロックを第１バッファー部１３に供給する。

このようにして、受信機３は、第１特徴信号に基づいて、第２特徴信号の遅延量を算出し、当該遅延量に相当する時間分遅らせて、第１バッファー部１３に蓄積されている第１映像信号を第１映像復号部に出力し、第１音声信号を第１音声復号部に出力することにより、第１信号と第２信号を同期させるので、信号の送出（放送局１とＩＰ伝送サーバ４）側においてタイムスタンプを調整せずに、受信機３自体で複数の異なる伝送路から伝送されてくる信号の同期制御を行うことができる。

第１特徴抽出部１６は、第１音声信号を所定のサンプリング周波数でサンプリングすることにより情報量を減少し、情報量が減少された第１音声信号をフーリエ変換し、フーリエ変換により得られた第１音声信号から高域成分を除去することにより第１特徴信号を生成する構成でもよい。

第２特徴抽出部２２は、第２音声信号を所定のサンプリング周波数でサンプリングすることにより情報量を減少し、情報量が減少された第２音声信号をフーリエ変換し、フーリエ変換により得られた第２音声信号から高域成分を除去することにより第２特徴信号を生成する構成でもよい。

ここで、第１特徴抽出部１６の処理手順について図４に示すフローチャートを参照しながら説明する。なお、第２特徴抽出部２２の処理手順も基本的に下記手順と同様である。
ステップＳ１１において、第１特徴抽出部１６は、放送局１において第１音声信号に対して用いられたサンプリング周波数（例えば、４４．１ｋＨｚ）よりも低い周波数ｆｓ（例えば、２２ｋＨｚ等）でサンプリングを行う。本工程により、第１音声信号の情報を間引き、全体のデータ量を減少する効果がある。なお、サンプリング周波数ｆｓは、可変であるものとする。
ステップＳ１２において、第１特徴抽出部１６は、サンプリング後の第１音声信号をフーリエ変換する。本工程により、第１音声信号を周波数領域波形の情報に変換する。
ステップＳ１３において、第１特徴抽出部１６は、カットオフ周波数ｆｃに基づいて、第１音声信号から高域成分を除去し、第１特徴信号を生成する。なお、カットオフ周波数ｆｃは、可変であるものとする。

かかる構成によれば、受信機３は、第１通信部１１で受信した第１信号の特徴的な部分を残しつつ情報量を減少して第１特徴信号を生成し、また、第２通信部１７で受信した第２信号の特徴的な部分を残しつつ情報量を減少して第２特徴信号を生成するので、後段の遅延処理部２３において短い処理時間で効率的に遅延量を算出することができる。

遅延処理部２３は、第１特徴信号と第２特徴信号に基づいて相関関数を算出し、算出した相関関数に対して逆フーリエ変換を行い、逆フーリエ変換を行った相関関数から遅延量を算出する構成でもよい。

ここで、遅延処理部２３の処理手順について図５に示すフローチャートを参照しながら説明する。なお、以下では、第１特徴信号を周波数領域波形情報Ｘ（ｆ）といい、第２特徴信号を周波数領域波形情報Ｙ（ｆ）という。

ステップＳ２１において、遅延処理部２３は、周波数領域における相関関数Ｚ（ｆ）を算出する。
Ｚ（ｆ）＝Ｘ^＊（ｆ）×Ｙ（ｆ）・・・（１）
なお、＊は、共役を示す。

ステップＳ２２において、遅延処理部２３は、逆高速フーリエ変換（逆ＦＦＴ）の演算を行い、時間領域における相関関数Ｚ（ｔ）を算出する。
Ｚ（ｔ）＝Ｆ^−１（Ｘ^＊（ｆ）×Ｙ（ｆ））・・・（２）

ステップＳ２３において、遅延処理部２３は、遅延量τを算出する。例えば、遅延処理部２３は、相関関数Ｚ（ｔ）が最大となるｔを算出し、最大値ｔを遅延量τとする。

かかる構成によれば、受信機３は、第１特徴信号と第２特徴信号に基づいて相関関数を算出し、算出した相関関数に対して逆ＦＦＴを行い、逆ＦＦＴを行った相関関数から遅延量を算出し、当該遅延量に相当する時間分遅らせて、第１バッファー部１３に蓄積されている第１映像信号を第１映像復号部１４に出力し、第１音声信号を第１音声復号部１５に出力し、第１信号と第２信号を同期させるので、信号の送出（放送局１とＩＰ伝送サーバ４）側においてタイムスタンプを調整せずに、受信機３自体で複数の異なる伝送路から伝送されてくる信号の同期制御を行うことができる。

また、本実施例では、主に、送出機側においてタイムスタンプを調整せずに、複数の異なる伝送路から伝送されてくる信号の同期制御を行う受信機の構成と動作について説明したが、これに限られず、各構成要素を備え、送出機側においてタイムスタンプを調整せずに、複数の異なる伝送路から伝送されてくる信号の同期制御を行うための方法、及びプログラムとして構成されてもよい。

さらに、受信機の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１放送局
２放送用アンテナ
３受信機
４ＩＰ伝送サーバ
１１第１通信部
１２第１分離部
１３第１バッファー部
１４第１映像復号部
１５第１音声復号部
１６第１特徴抽出部
１７第２通信部
１８第２分離部
１９第２バッファー部
２０第２映像復号部
２１第２音声復号部
２２第２特徴抽出部
２３遅延処理部
２４再生クロック生成部
２５出力部
１００放送通信連携システム

Claims

第１伝送路から送信されてきた第１信号を受信する第１通信部と、
前記第１信号を第１映像信号と第１音声信号に分離する第１分離部と、
前記第１映像信号と前記第１音声信号を蓄積する第１バッファー部と、
前記第１映像信号を復号する第１映像復号部と、
前記第１音声信号を復号する第１音声復号部と、
前記第１音声復号部により復号された前記第１音声信号から特徴情報を抽出して第１特徴信号を生成する第１特徴抽出部と、
前記第１伝送路とは異なる第２伝送路から送信されてきた第２信号を受信する第２通信部と、
前記第２信号を第２映像信号と第２音声信号に分離する第２分離部と、
前記第２映像信号と前記第２音声信号を蓄積する第２バッファー部と、
前記第２映像信号を復号する第２映像復号部と、
前記第２音声信号を復号する第２音声復号部と、
前記第２音声復号部により復号された前記第２音声信号から特徴情報を抽出して第２特徴信号を生成する第２特徴抽出部と、
前記第１特徴信号に基づいて、前記第２特徴信号の遅延量を算出する遅延処理部と、
前記遅延処理部により算出した遅延量に基づいて、再生クロックを出力するタイミングを決定する再生クロック生成部とを備え、
前記第１バッファー部は、前記再生クロック生成部により生成された再生クロックが入力されたときに、前記第１映像信号を前記第１映像復号部に出力し、前記第１音声信号を前記第１音声復号部に出力し、
前記第１特徴抽出部は、前記第１音声信号をフーリエ変換することにより周波数領域波形の情報に変換し、
前記第２特徴抽出部は、前記第２音声信号をフーリエ変換することにより周波数領域波形の情報に変換する受信装置。
前記第１特徴抽出部は、前記第１音声信号を所定のサンプリング周波数でサンプリングすることにより情報量を減少し、情報量が減少された前記第１音声信号に対してフーリエ変換することにより周波数領域波形の情報に変換し、
前記第２特徴抽出部は、前記第２音声信号を所定のサンプリング周波数でサンプリングすることにより情報量を減少し、情報量が減少された前記第２音声信号に対してフーリエ変換することにより周波数領域波形の情報に変換する請求項１記載の受信装置。
前記第１特徴抽出部は、前記フーリエ変換により得られた第１音声信号から高域成分を除去することにより前記第１特徴信号を生成し、
前記第２特徴抽出部は、前記フーリエ変換により得られた第２音声信号から高域成分を除去することにより前記第２特徴信号を生成する請求項１又は２記載の受信装置。