JP2008061010A - 映像音声送信装置 - Google Patents

Abstract

【課題】 映像信号が実時間で撮影される映像と、記録済みの映像との間で切り替えられる際、映像音声再生装置が映像信号と、音声信号との同期を取ることが容易なタイムスタンプを送信する映像音声送信装置を提供する。
【解決手段】 時刻Ｔ１で映像と音声の送信が開始され、実時間で撮影される映像の最初のサンプルが得られる時刻Ｔ４と、音声の最初のサンプルが得られる時刻Ｔ２との間には、時間差Δがある。映像は、カメラが垂直同期等に従って周期的にサンプリングをしているためである。そこで、ＲＴＣＰパケットの一種であるＳＲパケットにおいて、映像のタイムスタンプと、音声のタイムスタンプとの間に時間差Δを置き、時刻Ｔ８で記録済みの映像の送信に切り替えられた後も、この時間差Δを置く。
【選択図】 図９

Description

本発明は、映像音声送信装置に係り、特に、映像信号と、音声信号とにタイムスタンプを付す処理に関する。

映像と音声とによる実時間の通信のため、映像信号と音声信号とをそれぞれパケット化したストリームとして送信することが知られている。この通信に、例えば、ＲＴＰ（Real-time Transport Protocol）プロトコルとそのプロトコルに関連したプロファイルが用いられる。ここで、実時間での通信には、双方向通信、例えば、テレビ電話システムによる通信も含まれる。

ＲＴＰパケットは、そのパケットに含まれる映像信号または音声信号を再生する時刻を決定するために用いられるタイムスタンプを含んで送信される。このタイムスタンプは、メディアクロックが示す時刻が設定されたものである。

なお、映像信号が含まれるパケットのタイムスタンプ（以後、映像信号のタイムスタンプと称する。）と、音声信号が含まれるパケットのタイムスタンプ（以後、音声信号のタイムスタンプと称する。）とは、それぞれに独立したタイムスタンプであり、それぞれに任意の初期値が選択されて用いられる。

また、例えば、映像信号が実時間で撮影される映像と、記録済みの映像との間で切り替えられる場合、映像信号のタイムスタンプに新たな初期値を選択し、切り替えの前後でそのタイムスタンプを不連続とすることが知られている。

そして、メディアクロックが示す２つの時刻は、送信側装置によって、同一の時間軸であるＮＴＰ（Network Time Protocol）形式のタイムスタンプに関連付けられる。この関連付けは、ＲＴＣＰ（RTP Control Protocol）の一種であるＳＲ（Sender Report）パケットによって、映像信号のタイムスタンプと、音声信号のタイムスタンプとについて、それぞれＮＴＰ形式のタイムスタンプとの対応として送信される。

受信側装置は、このＳＲパケットを受信して、ＮＴＰタイムスタンプを介して、映像信号のタイムスタンプと、音声信号のタイムスタンプとを関連付ける。そして、映像信号と、音声信号とを同期を取って再生する。

映像信号のタイムスタンプと、音声信号のタイムスタンプとに、それぞれの信号の伝送に依存するずれがある場合、及び、受信側装置で映像信号を処理するための所要時間と、音声信号を処理するための所要時間とに差がある場合、受信側装置は、それらのずれ及び差を検出する。そして、ＮＴＰタイムスタンプを介して、映像信号のタイムスタンプと、音声信号のタイムスタンプとを関連付けることに加えて、これらのタイムスタンプのずれ及び差を補正の上、映像信号と、音声信号とを同期を取って再生する処理が知られている（例えば、特許文献１参照。）。
特開２００５−２８６４４９号公報（第２−３頁、図１０）

しかしながら、上述した特許文献１に開示されている方法では、映像信号が実時間で撮影される映像と、記録済みの映像との間で切り替えられる場合、受信側装置は、切り替えられてから映像信号と、音声信号との同期を改めて取って再生する。そこで、その再生までに複数のパケットを受信して、タイムスタンプのずれ及び差を補正する必要がある。そのため、映像信号と、音声信号との再生が遅れ、装置の使用者に違和感を与える可能性がある問題点があった。

一方、この遅れを避けるためには、受信側装置は、タイムスタンプのずれ及び差の補正及び同期が取れたことを待たずに映像信号と、音声信号との再生を行う。そのため、使用者に同期のずれを感じさせる可能性がある問題点があった。これらの問題点は、実時間の双方向通信において顕著である。

本発明は上記問題点を解決するためになされたもので、映像信号が実時間で撮影される映像と、記録済みの映像との間で切り替えられる際、映像音声再生装置が映像信号と、音声信号との同期を取ることが容易なタイムスタンプを送信する映像音声送信装置を提供することを目的とする。

上記目的を達成するために、本発明の映像音声送信装置は、映像信号と映像信号タイムスタンプとからなる映像信号パケットを送信する映像送信手段と、音声信号と音声信号タイムスタンプとからなる音声信号パケットを送信する音声送信手段と、前記映像信号タイムスタンプと共通タイムスタンプとの対応からなる映像信号タイムスタンプ対応パケット、及び、前記音声信号タイムスタンプと前記共通タイムスタンプとの対応からなる音声信号タイムスタンプ対応パケットを送信するタイムスタンプ対応パケット送信手段とを有し、前記タイムスタンプ対応パケット送信手段は、前記映像信号タイムスタンプ対応パケット及び／または前記音声信号タイムスタンプ対応パケットに含まれる２つのタイムスタンプの対応に所定の補正値の補正を施すことを特徴とする。

本発明によれば、映像信号が実時間で撮影される映像と、記録済みの映像との間で切り替えられる際、映像音声再生装置が映像信号と、音声信号との同期を取ることが容易なタイムスタンプを送信する映像音声送信装置を提供することができる。

以下に、本発明による映像音声送信装置の実施の形態を、図面を参照して説明する。

図１は、本発明の実施形態に係る映像音声送信装置が適用された映像音声通信システムの構成を示すブロック図である。この映像音声通信システムは、本発明の実施形態に係る映像音声送信装置１０と、映像音声受信装置２０とが通信網３０を介して接続されている。ここで、映像音声受信装置２０は、１台に限るものではない。通信網３０は、映像音声送信装置１０から送信された情報を映像音声受信装置２０に伝送する。また、映像音声受信装置２０から送信された情報を映像音声送信装置１０に伝送する。

図２は、映像音声送信装置１０の構成を示すブロック図である。映像音声送信装置１０は、装置全体の制御を行う制御部１１と、通信網３０に接続される通信部１２と、送受信部１３と、表示部１４と、入力装置１５と、映像コンテンツ記憶部１６と、エンコード部１７と、送信される映像が入力されるカメラ１７ａと、送信される音声が入力されるマイクロフォン１７ｂとからなる。

映像コンテンツ記憶部１６には、映像コンテンツ１６ａが記憶される。映像コンテンツ１６ａは、映像信号が所定の方式によってエンコードされた信号である。この所定の方式は、後述する、エンコード部１７がエンコードする際の方式と等しいことを必ずしも要しない。また、映像コンテンツ記憶部１６は、取り外し可能な記憶媒体であっても良い。

図３は、送受信部１３の詳細な構成を示すブロック図である。送受信部１３は、制御部１１と通信部１２と映像コンテンツ記憶部１６とエンコード部１７とに接続される送信部１３ａと、クロック部１３ｂと、制御部１１と通信部１２とに接続される受信部１３ｃとからなる。

送信部１３ａは、映像コンテンツ記憶部１６とエンコード部１７とクロック部１３ｂとに接続されるＲＴＰ送信部１３ｄと、クロック部１３ｂと接続されるＲＴＣＰ送信部１３ｅと、制御部１１と通信部１２とに接続される変調部１３ｆとからなる。クロック部１３ｂは、送信部１３ａと接続されるメディアクロック部１３ｇと、送信部１３ａと接続されるＮＴＰ部１３ｈとからなる。受信部１３ｃは、制御部１１と通信部１２とに接続される復調部１３ｉと、ＲＴＣＰ受信部１３ｊとからなる。

図４は、映像音声受信装置２０の構成を示すブロック図である。この映像音声受信装置２０は、装置全体の制御を行う制御部２１と、通信網３０に接続される通信部２２と、送受信部２３と、表示部２４と、入力装置２５と、復号再生部２６と、受信された音声情報再生用のスピーカ２６ａとからなる。

図５は、送受信部２３の詳細な構成を示すブロック図である。送受信部２３は、制御部２１と通信部２２とに接続される送信部２３ａと、制御部２１と通信部２２と復号再生部２６とに接続される受信部２３ｂとからなる。そして、送信部２３ａは、ＲＴＣＰ送信部２３ｃと、制御部２１と通信部２２とに接続される変調部２３ｄとからなる。受信部２３ｂは、制御部２１と通信部２２とに接続される復調部２３ｅと、復号再生部２６に接続されるＲＴＰ受信部２３ｆと、復号再生部２６に接続されるＲＴＣＰ受信部２３ｇとからなる。

上記のように構成された、本発明の実施形態に係る映像音声送信装置が適用された映像音声通信システムの各部の動作を、映像音声送信装置１０の各部の動作から、図２を参照して説明する。通信部１２は、通信網３０を介して受信された信号を送受信部１３に出力し、また、送受信部１３から出力される信号を通信網３０を介して送信する。

送受信部１３は、通信部１２から出力された信号を復調し、それによって得られた制御信号を制御部１１に送る。更には、制御部１１から出力される信号、及び映像コンテンツ記憶部１６またはエンコード部１７から出力される映像信号と音声信号とを変調し、通信部１２に送る。送受信部１３の動作の詳細は、後述する。

表示部１４は、制御部１１に制御されることで、文字・数字や画像データの表示動作を行い、表示されているデータは、入力装置１５からの入力操作や着信信号に応答して制御部１１からの指示を受けることで切換わる。

入力装置１５は、文字キーと数字キーと複数の機能キーとを含むキーからなる。そして、入力装置１５のキーが操作されると、そのキーの識別子が制御部１１に通知され、制御部１１によって、表示部１４に文字として表示され、または、映像音声送信装置１０の各部の制御が行われる。

エンコード部１７は、映像信号及び音声信号をエンコードする装置であり、制御部１１の起動により動作を開始する。そして、カメラ１７ａから出力された映像を受信して、その映像から所定の間隔で連続する静止画を作成し、作成された静止画を所定の方式によってエンコードして送受信部１３に送信する。また、エンコード部１７は、マイクロフォン１７ｂから出力された音声信号を受信して、その音声信号をデジタル信号に変換の上、所定の間隔で分割し、分割された音声信号を所定の方式によってエンコードして送受信部１３に送信する。

次に、送受信部１３の動作の詳細を図３、図６及び図７を参照して説明する。ＲＴＰ送信部１３ｄは、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａを読み込んで、または、エンコード部１７から送信されたエンコードされた映像信号もしくはエンコードされた音声信号を受信して、読み込みまたは受信の毎に、ＲＴＰパケットを作成する。

図６は、ＲＴＰパケットの構成の一例を示す。このＲＴＰパケット１３ｍは、ストリーム識別子１３ｎと、タイムスタンプ１３ｏと、ストリームデータ１３ｐとからなる。ストリーム識別子１３ｎは、「映像」か、「音声」かのいずれかであって、それぞれストリームデータ１３ｐが、映像情報であるか、音声情報であるかを示す。

タイムスタンプ１３ｏは、そのＲＴＰパケット１３ｍのストリームデータ１３ｐが再生される時刻を示す情報であり、上記読み込みまたは受信の際にメディアクロック部１３ｇが示す時刻である。なお、メディアクロック部１３ｇは、映像信号のための時刻と、音声信号のための時刻とを独立して示す。そこで、ＲＴＰ送信部１３ｄは、ストリーム識別子１３ｎが「映像」である場合と、ストリーム識別子１３ｎが「音声」である場合とで、それぞれ異なる時刻をメディアクロック部１３ｇから受信してタイムスタンプ１３ｏに設定する。

ストリームデータ１３ｐは、映像コンテンツ記憶部１６から読み込んだ映像コンテンツ１６ａ、または、エンコード部１７から受信したエンコードされた映像信号、またはエンコードされた音声信号である。

ＲＴＣＰ送信部１３ｅは、所定の時間間隔でＲＴＣＰパケットの一種であるＳＲパケットを作成する。

図７は、ＳＲパケットの構成の一例を示す。このＳＲパケット１３ｒは、ストリーム識別子１３ｓと、タイムスタンプ１３ｔと、ＮＴＰ１３ｕとからなる。ストリーム識別子１３ｓは、「映像」か、「音声」かのいずれかである。タイムスタンプ１３ｔは、メディアクロック部１３ｇが示す時刻であって、ストリーム識別子１３ｓが、「映像」か「音声」かに従って、それぞれ映像信号のための時刻か、音声信号のための時刻である。なお、後述するように、ＲＴＣＰ送信部１３ｅは、これらの時刻に補正を施した時刻をタイムスタンプ１３ｔに設定する。ＮＴＰ１３ｕは、メディアクロック部１３ｇが上記時刻を示す際にＮＴＰ部１３ｈが示す時刻である。

変調部１３ｆは、ＲＴＰ送信部１３ｄによって作成されたＲＴＰパケット１３ｍと、ＲＴＣＰ送信部１３ｅによって作成されたＳＲパケット１３ｒと、制御部１１によって送信された制御信号とを変調して、通信部１２に送る。

なお、ＲＴＰ送信部１３ｄによって作成されたＲＴＰパケット１３ｍ及びＲＴＣＰ送信部１３ｅによって作成されたＳＲパケット１３ｒは、パケット記憶部（図示せず）に記憶されるとしても良い。

メディアクロック部１３ｇは、要求に応じて、要求された際の時刻を示す。この時刻は、映像信号のための時刻か、音声信号のための時刻かのいずれかが要求に応じて選択される。メディアクロック部１３ｇは、これらの時刻の初期値をＲＴＰ送信部１３ｄの制御に従って、設定する。そして、設定の後、それらの時刻を実時刻が進むことと対応させてそれぞれについて定められた所定の割合で進ませる。

ＮＴＰ部１３ｈは、要求に応じて、要求された際の時刻を示す。この時刻は、ＮＴＰ形式のタイムスタンプであるが、これに限るものではない。ＮＴＰ形式でなくとも良く、映像信号と、音声信号とで共通のタイムスタンプであれば良い。

復調部１３ｉは、通信部１２から出力された信号を受信して、復調し、得られた制御信号を制御部１１に送り、また、ＲＴＣＰパケットの一種であるＲＲ（Receiver Reports）パケットをＲＴＣＰ受信部１３ｊに送る。ＲＲパケットについては、後述する。ＲＴＣＰ受信部１３ｊは、受信されたＲＲパケットに従って、送受信部１３の各部を制御する（図示せず）。また、エンコード部１７を制御して、エンコードされた信号のビット数を変化させる（図示せず）。

次に、映像音声受信装置２０の各部の動作を、図４を参照して説明する。通信部２２は、通信網３０を介して受信した信号を送受信部２３へ出力し、また、送受信部２３から出力される信号を通信網３０を介して送信する。

送受信部２３は、通信部２２からの信号を復調し、それによって得られた制御信号を制御部２１に、また、映像信号と、音声信号とを復号再生部２６に送る。更には、制御部２１から出力される制御信号を変調して、通信部２２に送る。送受信部２３の動作の詳細は、後述する。

表示部２４は、制御部２１に制御されることで、文字・数字や画像データの表示動作を行い、表示されているデータは、入力装置２５からの入力操作に応答して制御部２１からの指示を受けることで切換わる。

入力装置２５は、複数のキーからなる。そして、入力装置２５のキーが操作されると、そのキーの識別子が制御部２１に通知され、制御部２１によって、表示部２４に文字として表示され、または、映像音声受信装置２０の各部の制御が行われる。

復号再生部２６は、送受信部２３から送信された映像信号と、音声信号とを受信する。これらの信号には、それぞれの信号が再生される時刻が付加されている。復号再生部２６は、受信された情報を、映像情報と、音声情報とに分類し、映像情報と音声情報とは復号して、復号再生部２６内のバッファ記憶部（図示せず）に記憶する。

そして、復号再生部２６は、再生される時刻とクロック（図示せず）が示す時刻とによって、上記映像情報及び音声情報を再生する時刻になったか否かを判断し、再生する時刻になった映像情報を表示部２４に表示する。また、再生する時刻になった音声情報をスピーカ２６ａから発生させる。

なお、復号再生部２６は、送受信部２３から送信された映像信号が再生される時刻と、音声が再生される時刻との同期を示す情報を受信して、上記２つの時刻の一方、または両方を補正して、再生する。

次に、送受信部２３の動作の詳細を、図５〜図７を参照して説明する。ＲＴＣＰ送信部２３ｃは、ＲＴＣＰパケットの一種であるＲＲパケットを作成する。ＲＲパケットは、受信された映像音声信号の受信品質を示すレポートであって、受信部２３ｂによって計測されたデータである（図示せず）。

変調部２３ｄは、制御部２１から送信される制御信号と、ＲＴＣＰ送信部２３ｃによって作成されたＲＴＣＰパケットとを変調し、通信部２２に送る。

復調部２３ｅは、通信部２２からの信号を復調し、それによって得られた制御信号を制御部２１に、ＲＴＰパケット１３ｍをＲＴＰ受信部２３ｆに、また、ＳＲパケット１３ｒをＲＴＣＰ受信部２３ｇに送信する。

ＲＴＰ受信部２３ｆは、復調部２３ｅから送信されたＲＴＰパケット１３ｍを受信し、受信されたＲＴＰパケット１３ｍを、ストリーム識別子１３ｎによって映像信号のパケットと、音声信号のパケットに分類する。そして、それぞれのパケットのストリームデータ１３ｐを再生する時刻を指定して、復号再生部２６に送って復号再生させる。

上記再生する時刻は、映像信号については、ストリーム識別子１３ｎが「映像」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏによる。音声信号については、ストリーム識別子１３ｎが「音声」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏによる。

ＲＴＣＰ受信部２３ｇは、ＳＲパケット１３ｒを受信して、ストリーム識別子１３ｓが「映像」であるタイムスタンプ１３ｔと、ストリーム識別子１３ｓが「音声」であるタイムスタンプ１３ｔとを、共通のタイムスタンプであるＮＴＰ１３ｕによって関連つけて、復号再生部２６に送って、再生時刻の補正をさせる。

次に、上記のように本発明の実施形態に係る映像音声送信装置が適用された映像音声通信システムにおいて、映像音声送信装置１０が送信する映像信号が実時間で撮影される映像と、記録済みの映像との間で切り替えられる際、映像音声受信装置２０において、映像信号と、音声信号との同期を容易に取ることができるタイムスタンプを映像音声送信装置１０が送信する動作を図８〜図１０を参照して説明する。

図８は、カメラ１７ａによって実時間で撮影された映像と、マイクロフォン１７ｂによって入力された音声とが映像音声送信装置１０から送信を開始される際の映像音声送信装置１０の各部の動作を示すシーケンス図である。この図を参照して、各部の処理時間と、最初に送信されるストリーム識別子１３ｎが「映像」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏと、最初に送信されるストリーム識別子１３ｎが「音声」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏとを説明する。

横軸は、時刻を示し、時刻Ｔ１で送信開始を示す入力装置１５の所定のキー操作が行われ、制御部１１によって送信開始が各部に指示される。すると、映像信号と音声信号のそれぞれについて、サンプリング開始遅延時間があり、映像信号は時刻Ｔ４に、音声信号は時刻Ｔ２にそれぞれサンプリングが開始される。ここで、映像は、カメラ１７ａが垂直同期等に従って周期的にサンプリングをしているため、次のサンプリング周期までサンプリングを開始できない。即ち、サンプリング開始遅延時間が長い。即ち、時刻Ｔ４＜時刻Ｔ２であることが多い。この時間差Δ＝時刻Ｔ４−時刻Ｔ２とする。

映像信号は、時刻Ｔ４にサンプリングが開始され、サンプリング遅延時間を経た時刻Ｔ５にサンプリングが終了する。そして、エンコード部１７によるエンコードのためにエンコード時間が費やされ、時刻Ｔ７にエンコードが終了し、エンコードされた映像信号がＲＴＰ送信部１３ｄに送信される。

この映像信号は、カメラ１７ａによって実時間で撮影された映像が処理されて最初にＲＴＰ送信部１３ｄに送信された映像信号である。そこで、ＲＴＰ送信部１３ｄは、メディアクロック部１３ｇにメディアクロック部１３ｇが示す映像信号のための時刻を所定の初期値に設定させ、以後、その時刻を実時刻が進むことと対応させて進ませる。

そして、最初に送信されるストリーム識別子１３ｎが「映像」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏには、上記初期値の設定後、この時刻Ｔ７でのメディアクロック部１３ｇが示す時刻が設定される。即ち、この時刻Ｔ７に関連付けられた時刻が設定される。

音声信号は、時刻Ｔ２にサンプリングが開始され、サンプリング遅延時間を経た時刻Ｔ３にサンプリングが終了する。そして、エンコード部１７によるエンコードのためにエンコード時間が費やされ、時刻Ｔ６にエンコードが終了し、エンコードされた音声信号がＲＴＰ送信部１３ｄに送信される。

この音声信号は、最初にＲＴＰ送信部１３ｄに送信された音声信号である。そこで、ＲＴＰ送信部１３ｄは、メディアクロック部１３ｇにメディアクロック部１３ｇが示す音声信号のための時刻を所定の初期値に設定させ、以後、その時刻を実時刻が進むことと対応させて進ませる。

そして、最初に送信されるストリーム識別子１３ｎが「音声」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏには、上記初期値の設定後、この時刻Ｔ６でのメディアクロック部１３ｇが示す時刻が設定される。即ち、この時刻Ｔ６に関連付けられた時刻が設定される。

ここで、タイムスタンプ１３ｏには、エンコードが終了した時刻Ｔ６、時刻Ｔ７に関連付けられた時刻が設定されるとした。この処理によって、エンコード部１７の動作と、ＲＴＰ送信部１３ｄの動作とが分離される利点がある。即ち、エンコード部１７と、ＲＴＰ送信部１３ｄとの間には、エンコードされた信号の送受信のみが行われることになり、それぞれの処理部の独立性が増す。

上記時間差Δは、上記説明から明らかなように、送信開始の都度、異なる値となる。しかし、平均値は、映像音声送信装置１０の機器構成と、カメラ１７ａによって映像が扱われる際のフレームレートから算出可能であり、事前に算出された時間差ΔがＲＴＣＰ送信部１３ｅ内に記憶されているとする。

ＲＴＣＰ送信部１３ｅは、ストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒと、ストリーム識別子１３ｓが「音声」であるＳＲパケット１３ｒの作成にあたり、以下のように、上記時間差Δを補正する処理を行う。

即ち、ストリーム識別子１３ｓが「音声」であるＳＲパケット１３ｒについては、既に説明した通り、メディアクロック部１３ｇが示す音声信号のための時刻をタイムスタンプ１３ｔに、そして、上記時刻が示された際にＮＴＰ部１３ｈによって示された時刻をＮＴＰ１３ｕに設定する。

一方、ストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒについては、メディアクロック部１３ｇが示す映像信号のための時刻から時間差Δを減じた値をタイムスタンプ１３ｔに、そして、上記時刻が示された際にＮＴＰ部１３ｈによって示された時刻をＮＴＰ１３ｕに設定する。このように、時間差Δを補正することにより、上記最初に送信されるストリーム識別子１３ｎが「映像」であるＲＴＰパケット１３ｍのストリームデータ１３ｐと、最初に送信されるストリーム識別子１３ｎが「音声」であるＲＴＰパケット１３ｍのストリームデータ１３ｐとを容易に同期を取って再生させることができる。

なお、上記補正は、ストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒのタイムスタンプ１３ｔに施すとしたが、これに限らないことは言うまでもない。ストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒのタイムスタンプ１３ｔ、そのパケットのＮＴＰ１３ｕ、ストリーム識別子１３ｓが「音声」であるＳＲパケット１３ｒのタイムスタンプ１３ｔ、そのパケットのＮＴＰ１３ｕのいずれか、または、複数に施しても同等の効果を得ることができる。

図９は、カメラ１７ａによって実時間で撮影された映像の送信から、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａの送信に切り替えられる際の、映像音声送信装置１０の各部の動作を説明するシーケンス図である。ここで、音声の送信は、音源が切り替えられることなく続けられ、メディアクロック部１３ｇが示す音声信号のための時刻は、実時刻が進むことと対応して連続して進むので、同じ説明を繰り返さない。

既に図８を参照して説明した通り、カメラ１７ａからの映像信号は時刻Ｔ４にサンプリングが開始される。そして、時刻Ｔ８に入力装置１５からの所定のキー操作が行われ、制御部１１によって、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａの送信への切り替えが指示される。この切り替えの後の映像信号は時刻Ｔ１０に、音声信号は時刻Ｔ９にそれぞれサンプリングが開始される。

ここで、映像信号のサンプリングが開始されるまでの時間（時刻Ｔ８〜時刻Ｔ１０）は、映像コンテンツ１６ａを読み込むための時間であり、映像コンテンツ記憶部１６の仕様に依存するが、カメラ１７ａが垂直同期等によって周期的にサンプリングをしているためのサンプリング開始遅延時間より短いことが多い。

映像が切り替えられてから映像信号のサンプリングが開始されるまでの時間（時刻Ｔ８〜時刻Ｔ１０）と、音声信号のサンプリングが開始されるまでの時間（時刻Ｔ８〜時刻Ｔ９）との間には、例えば、時刻Ｔ１０が時刻Ｔ９より遅いとして、第２の時間差＝時刻Ｔ１０−時刻Ｔ９がある。

時刻Ｔ１０に最初にサンプリングされた映像信号である映像コンテンツ１６ａは、エンコードされているため、直ちにＲＴＰ送信部１３ｄに送信される。なお、映像コンテンツ１６ａのエンコード方式がエンコード部１７によって行われるエンコード方式と異なれば、エンコード部１７によって、エンコード部１７が行うエンコード方式にエンコードがやり直され、そのためにエンコード時間が費やされる（図示せず）。なお、このエンコードのやり直しに要する時間は、新たなエンコードに要する時間より短いのが通例である。

この映像信号は、映像コンテンツ記憶部１６から読み込まれた映像コンテンツ１６ａが処理されて最初にＲＴＰ送信部１３ｄに送信された映像信号である。即ち、送信される映像源の切り替えが行われたので、既に述べた通り、ＲＴＰ送信部１３ｄは、メディアクロック部１３ｇにメディアクロック部１３ｇが示す映像信号のための時刻を所定の初期値に設定させ、以後、その時刻を実時刻が進むことと対応させて進ませる。そこで、メディアクロック部１３ｇが示す映像信号のための時刻は、切り替え前とは不連続である。

そして、切り替え後に最初に送信されるストリーム識別子１３ｎが「映像」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏには、上記初期値の設定後、この時刻Ｔ１０でのメディアクロック部１３ｇが示す時刻が設定される。即ち、この時刻Ｔ１０に関連付けられた時刻が設定される。

時刻Ｔ１１に、切り替え後、最初のストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒが送信される。このＳＲパケット１３ｒのストリーム識別子１３ｓには、「映像」、ＮＴＰ１３ｕには、ＮＴＰ部１３ｈが示す時刻が設定される。そして、タイムスタンプ１３ｔには、（（Ｔ１１−Ｔ１０）＋（時刻Ｔ１０でメディアクロック部１３ｇが上記切り替え後に示す時刻）−時間差Δ）が設定される。

このタイムスタンプ１３ｔに設定される値は、上記切り替え前にメディアクロック部１３ｇが示す時刻に時間差Δの補正がされていたことに対応する。そして、この補正を、切り替え後の最初のＲＴＰパケット１３ｍの作成時刻から、切り替え後の最初のＳＲパケット１３ｒの作成時刻までの時間に加えたものである。

これは、このＳＲパケット１３ｒについて、メディアクロック部１３ｇが示す映像信号のための時刻から時間差Δを減じた値をタイムスタンプ１３ｔに、そして、上記時刻が示された際にＮＴＰ部１３ｈによって示された時刻をＮＴＰ１３ｕに設定すると読み替えることができる。このように、第２の時間差を補正することなく、時間差Δを補正することによって、映像音声受信装置２０は、映像の再生と音声の再生との同期を容易に取ることができる。

時刻Ｔ１１以降、ＲＴＣＰ送信部１３ｅは、既に述べた通り、所定の時間間隔で、上記タイムスタンプ１３ｔに時間差Δの補正が施されたストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒを作成する。

図１０は、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａの送信から、カメラ１７ａによって実時間で撮影された映像の送信に切り替えられた、言い替えると、カメラ１７ａによって実時間で撮影された映像の送信が再開された際の、映像音声送信装置１０の各部の動作を説明するシーケンス図である。ここで、音声の送信は、音源が切り替えられることなく続けられるので、同じ説明を繰り返さない。

既に図９を参照して説明した通り、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａの読み込みが時刻Ｔ１０に開始された。そして、時刻Ｔ１２に入力装置１５からの所定のキー操作が行われ、制御部１１によって、カメラ１７ａによって実時間で撮影された映像の送信への切り替えが指示される。この切り替えの後の映像信号は時刻Ｔ１４に、音声信号は時刻Ｔ１３にそれぞれサンプリングが開始される。

ここで、映像信号のサンプリングが開始されるまでの時間（時刻Ｔ１２〜時刻Ｔ１４）は、図８を参照して説明した、カメラ１７ａが垂直同期等によって周期的にサンプリングをしているためのサンプリング開始遅延時間である。

映像が切り替えられてから映像信号のサンプリングが開始されるまでの時間（時刻Ｔ１２〜時刻Ｔ１４）と、音声信号のサンプリングが開始されるまでの時間（時刻Ｔ１２〜時刻Ｔ１３）との間には、例えば、時刻Ｔ１４が時刻Ｔ１３より遅いとして、第３の時間差＝時刻Ｔ１４−時刻Ｔ１３がある。この第３の時間差は、既に説明したように、平均値としては、時間差Δと等しい。

時刻Ｔ１４にサンプリングが開始された映像信号は、図８を参照して説明した通りエンコード時間を費やして、送信されるが、ここでは、エンコード時間についての説明を省略し、時刻Ｔ１４にエンコードされた映像信号がＲＴＰ送信部１３ｄに送信されるとして説明する。

この映像信号は、カメラ１７ａによって実時間で撮影された映像の処理に切り替えられて最初にＲＴＰ送信部１３ｄに送信された映像信号である。そこで、ＲＴＰ送信部１３ｄは、メディアクロック部１３ｇにメディアクロック部１３ｇが示す映像信号のための時刻を所定の初期値に設定させ、以後、その時刻を実時刻が進むことと対応させて進ませる。

そして、上記切り替え後に最初に送信されるストリーム識別子１３ｎが「映像」であるＲＴＰパケット１３ｍのタイムスタンプ１３ｏには、上記初期値の設定後、この時刻Ｔ１４でメディアクロック部１３ｇが示す時刻が設定される。即ち、この時刻Ｔ１４に関連付けられた時刻が設定される。

時刻Ｔ１５で、カメラ１７ａによって実時間で撮影された映像の送信が再開されてから最初のストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒが、ＲＴＣＰ送信部１３ｅによって作成される。このＳＲパケット１３ｒのＮＴＰ１３ｕには、時刻Ｔ１５で、ＮＴＰ部１３ｈが示す時刻が設定される。そして、タイムスタンプ１３ｔに設定される値には、以下の２つのいずれかが設定されるように、ＲＴＰ送信部１３ｄが制御する。

第１の方法は、メディアクロック部１３ｇは、記憶された映像が送信される前、即ち、時刻Ｔ８に至る前にメディアクロック部１３ｇによって示されていた映像信号のための時刻を再度示すように制御する。ここで、再度示される時刻は、記憶された映像が送信される前から、カメラ１７ａによって実時間で撮影された映像の送信が再開されるまでの間、メディアクロック部１３ｇがあたかも引き続き動作していたように、その間の実時刻の経過時間に依存して進んだ時刻であるように制御される。そして、ＲＴＣＰ送信部１３ｅは、時刻Ｔ１５で示される上記時刻を用いて、記憶された映像が送信される前に行っていたように、時間差Δの補正をして、タイムスタンプ１３ｔを算出する。

第２の方法は、記憶された映像が送信される前にメディアクロック部１３ｇによって示されていた映像信号のための時刻を用いない方法である。そして、カメラ１７ａによって実時間で撮影された映像の送信から、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａの送信に切り替えられる際の動作と同様の動作をするものである。即ち、（（Ｔ１５−Ｔ１４）＋（時刻Ｔ１４でメディアクロック部１３ｇが示す時刻）−時間差Δ）をタイムスタンプ１３ｔに設定する。

この第２の方法によってタイムスタンプ１３ｔに設定される値は、時刻Ｔ１５で、メディアクロック部１３ｇが示す映像信号のための時刻から時間差Δを減じた値と読み替えることができる。

時刻Ｔ１５以降、第１の方法によるか、第２の方法によるかに係らず、ＲＴＣＰ送信部１３ｅは、既に述べた通り、所定の時間間隔で、上記タイムスタンプ１３ｔに時間差Δの補正が施された、ストリーム識別子１３ｓが「映像」であるＳＲパケット１３ｒを作成する。

なお、カメラ１７ａによって実時間で撮影された映像の送信と、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａの送信との間の切り替えに関わらず、ＲＴＣＰ送信部１３ｅは、ストリーム識別子１３ｓが「音声」であるＳＲパケット１３ｒを、所定の時間間隔で作成する。その作成方法は、上述した通りである。

上記の説明では、時間差Δは、映像信号のサンプリング開始遅延時間と、音声信号のサンプリング開始遅延時間の差であるとしたが、これに限るものではない。映像音声送信装置１０内の処理であって、映像信号に関する処理は、音声信号に関する処理よりも長時間を要するものについて、処理時間の差であれば良い。例えば、サンプリング開始遅延時間の差に加えて、または代えてエンコードに要する時間の差としても良い。

上記の説明では、エンコードが終了し、ＲＴＰパケット１３ｍの作成の際にメディアクロック部１３ｇが示す時刻をＲＴＰパケット１３ｍのタイムスタンプ１３ｏに設定するとした。この処理によって、タイムスタンプ１３ｏに設定する時刻の記憶が不要になり、映像音声送信装置１０の処理の削減が可能である。

また、以上の説明では、カメラ１７ａによって実時間で撮影された映像の送信と、映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａの送信との間の切り替えに際し、ＲＴＰパケット１３ｍのタイムスタンプ１３ｏが不連続になるとした。

タイムスタンプ１３ｏを不連続とせず、連続とし、あたかも同一の映像源からの映像のように処理することも不可能ではない。しかし、このためには、事前に映像コンテンツ記憶部１６に記憶された映像コンテンツ１６ａをＲＴＰパケット１３ｍのストリームデータ１３ｐの形式に整える必要がある。そこで、機敏な切り替えが不可能である。

または、タイムスタンプ１３ｏを連続とするものの、ＲＴＰパケット１３ｍが送信される間隔を可変として、機敏な切り替えをすることも不可能ではない。しかし、この処理によれば、一時的に通信網３０と、映像音声受信装置２０とに大きな負荷の変動が発生し、使用者にとって違和感のない映像及び音声の再生が不可能になる可能性が高い。そこで、以上の説明した処理によって、機敏な切り替えが可能となり、かつ、通信網３０と、映像音声受信装置２０に大きな負荷の変動をかけない効果が得られる。

本発明の実施形態に係る映像音声送信装置の一部または全部は、プログラムを利用して動作するコンピュータであっても良い。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。

本発明の実施形態に係る映像音声送信装置が適用された映像音声通信システムの構成を示すブロック図。 本発明の実施形態に係る映像音声送信装置の構成を示すブロック図。 本発明の実施形態に係る映像音声送信装置の送受信部の構成を示すブロック図。 本発明の実施形態に係る映像音声送信装置が適用された映像音声通信システムの映像音声受信装置の構成を示すブロック図。 本発明の実施形態に係る映像音声送信装置が適用された映像音声通信システムの映像音声受信装置の送受信部の構成を示すブロック図。 本発明の実施形態に係るＲＴＰパケットの構成の一例を示す図。 本発明の実施形態に係るＳＲパケットの構成の一例を示す図。 本発明の実施形態に係る映像音声送信装置の動作のシーケンス図（その１、カメラから入力された映像の送信の開始）。 本発明の実施形態に係る映像音声送信装置の動作のシーケンス図（その２、カメラから入力された映像の送信から、記憶された映像の送信への切り替え）。 本発明の実施形態に係る映像音声送信装置の動作のシーケンス図（その３、記憶された映像の送信から、カメラから入力された映像の送信への切り替え）。

符号の説明

１０ 映像音声送信装置
１３ 送受信部
１３ａ 送信部
１３ｂ クロック部
１３ｄ ＲＴＰ送信部
１３ｅ ＲＴＣＰ送信部
１３ｆ 変調部
１３ｇ メディアクロック部
１３ｈ ＮＴＰ部
１３ｍ ＲＴＰパケット
１３ｎ、１３ｓ ストリーム識別子
１３ｏ、１３ｔ タイムスタンプ
１３ｐ ストリームデータ
１３ｒ ＳＲパケット
１３ｕ ＮＴＰ
１６ 映像コンテンツ記憶部
１６ａ 映像コンテンツ
１７ エンコード部
１７ａ カメラ
１７ｂ マイクロフォン
２０ 映像音声受信装置

Claims (5)

1. 映像信号と映像信号タイムスタンプとからなる映像信号パケットを送信する映像送信手段と、
   音声信号と音声信号タイムスタンプとからなる音声信号パケットを送信する音声送信手段と、
   前記映像信号タイムスタンプと共通タイムスタンプとの対応からなる映像信号タイムスタンプ対応パケット、及び、前記音声信号タイムスタンプと前記共通タイムスタンプとの対応からなる音声信号タイムスタンプ対応パケットを送信するタイムスタンプ対応パケット送信手段とを有し、
   前記タイムスタンプ対応パケット送信手段は、前記映像信号タイムスタンプ対応パケット及び／または前記音声信号タイムスタンプ対応パケットに含まれる２つのタイムスタンプの対応に所定の補正値の補正を施す
   ことを特徴とする映像音声送信装置。
2. 上記補正値は、前記映像送信手段が動作を開始してから前記映像送信手段によって前記映像信号パケットが送信されるまでの時間と、前記音声送信手段が動作を開始してから前記音声送信手段によって前記音声信号パケットが送信されるまでの時間との差の全部または一部である
   ことを特徴とする請求項１に記載の映像音声送信装置。
3. 前記映像送信手段は、カメラから入力された信号をサンプリングし、そのサンプリングされた信号をエンコードして前記映像信号を作成し、その映像信号と、その映像信号が得られた際に映像信号メディアクロックが示す時刻である前記映像信号タイムスタンプとからなる前記映像信号パケットを送信し、
   前記音声送信手段は、マイクロフォンから入力された信号をサンプリングし、そのサンプリングされた信号をエンコードして前記音声信号を作成し、その音声信号と、その音声信号が得られた際に音声信号メディアクロックが示す時刻である前記音声信号タイムスタンプとからなる前記音声信号パケットを送信し、
   前記補正値は、前記映像送信手段が動作を開始してから前記映像送信手段によって前記カメラから入力された信号から最初の前記サンプリングが開始されるまでの時間と、前記音声送信手段が動作を開始してから前記音声送信手段によって前記マイクロフォンから入力された信号から最初の前記サンプリングが開始されるまでの時間との差である
   ことを特徴とする請求項１に記載の映像音声送信装置。
4. 前記補正値は、前記映像送信手段によって送信される前記映像信号が前記カメラから入力された信号から作成された信号から、記憶された信号から作成された信号に切り替えられた後に維持される
   ことを特徴とする請求項３に記載の映像音声送信装置。
5. 前記補正値は、前記映像送信手段によって送信される前記映像信号が前記記憶された信号から作成された信号から、前記カメラから入力された信号から作成された信号に再度切り替えられた後に維持される
   ことを特徴とする請求項４に記載の映像音声送信装置。

Images