JP2012075069A - 動画像送信装置 - Google Patents

動画像送信装置 Download PDF

Info

Publication number
JP2012075069A
JP2012075069A JP2010220351A JP2010220351A JP2012075069A JP 2012075069 A JP2012075069 A JP 2012075069A JP 2010220351 A JP2010220351 A JP 2010220351A JP 2010220351 A JP2010220351 A JP 2010220351A JP 2012075069 A JP2012075069 A JP 2012075069A
Authority
JP
Japan
Prior art keywords
audio data
audio
data format
moving image
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010220351A
Other languages
English (en)
Other versions
JP5641849B2 (ja
Inventor
Shuichi Hosokawa
秀一 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010220351A priority Critical patent/JP5641849B2/ja
Priority to US13/232,658 priority patent/US8862256B2/en
Publication of JP2012075069A publication Critical patent/JP2012075069A/ja
Application granted granted Critical
Publication of JP5641849B2 publication Critical patent/JP5641849B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】
音声データフォーマットの切り替えに伴う音声欠落（ミュート）期間を低減又は解消する。
【解決手段】
多重分離部（１１０）は、ＭＰＥＧ−ＴＳのＰＳＩ／ＳＩから、動画像コンテンツ跨ぎにおいて音声データフォーマットが切り替わるか否かを検出する。オーディオブロック内で音声データフォーマットの変化があると、パケット処理部（１１３）は、当該変化に続く後継音声データがＡＣ３の場合、そのオーディオブロック内で、後継音声データの先頭のＡＡＵ（Audio Access Unit）を破棄し、ＬＰＣＭの場合、オーディオブロック内のＬＰＣＭ音声データを破棄する。又は、パケット処理部（１１３）は、変化を検出したオーディオブロック内で、その変化に先行する音声データを破棄する。
【選択図】 図１

Description

本発明は、互いに同期する映像情報と音声情報からなる動画像を送信する動画像送信装置に関する。
音声データの伝送フォーマットとしてＳＰＤＩＦ（Sony Philips Digital InterFace）フォーマットが広く普及している。例えばＨＤＭＩ（High Definition Multimedia Interface）の一部としても使用されている。
ＳＰＤＩＦは、非圧縮音声データの伝送フォーマット（ＩＥＣ６０９５８）と、圧縮音声データの伝送フォーマット（ＩＥＣ６１９７３）の両方に対応している。このような異なる音声データフォーマットでの伝送を可能とするため、ＳＰＤＩＦパケットは、実データを格納するペイロード部に伝送音声データフォーマットを示すメタ情報を付加した構造からなる。このメタ情報が、音声データフォーマットの識別子として利用される。
このメタ情報は、１９２個のパケットに１ビットずつ分割して格納されており、この１９２パケットを集めることで復元可能である（図２（Ａ））。メタ情報の復元に必要な１９２パケットをオーディオブロックと呼び、この期間内はメタ情報を切り替えることができない。一方、メタ情報とペイロード部の同期関係に関する規定は定義されていない。従って、音声データフォーマットの切り替え時に、このメタ情報とペイロード部の間に不一致が発生し得る。例えば、メタ情報がリニアＰＣＭ（ＬＰＣＭ）であるオーディオブロック中でＡＣ３（Dolby Digital, AC-3:Audio Code number 3）へと切り替わった場合、受信器はＡＣ３データをＬＰＣＭデータと誤認する。誤認の結果、このオーディオブロックで異音が出る可能性がある（図２（Ｂ））。
音声データフォーマットの現実的な切り替え手段として、特許文献１に記載の技術が知られている。特許文献１に記載の技術では、ＨＤＭＩ内のデジタル音声の信号線（ＳＰＤＩＦ）とは別の信号線を用いて、音声データフォーマットの切り替わり期間を受信器に通知する。切り替わり期間を通知された受信器は、伝送されたデジタル音声データを用いずに、その期間をミュート再生する。これにより、異音の発生が抑制される。
特開２００８−１０７３９７号公報
特許文献１に記載の技術は、特殊な信号の使用を前提とするので、汎用的な機器では、異音発生の抑止効果が得られない。また、ＨＤＭＩ以外の伝送方法、例えば、映像信号をＤ端子で、音声信号をＳＰＤＩＦで伝送する伝送方法の場合、特許文献１に記載の技術を適用できない。
さらに、特許文献１に記載の技術では、音声データフォーマットの切り替わり期間を通知する信号が音声データと非同期である。この結果、音声データフォーマットの切り替えタイミングに対して十分なマージンを持って切り替わり期間を通知する必要があり、ミュート期間が長くなってしまう。
本発明は、このような問題を解決し、異音の発生を抑制し、音声欠落（ミュート）期間を低減又は解消する動画像送信装置を提示することを目的とする。
本発明における動画像送信装置は、映像データと、それぞれペイロード部、及び、音声データフォーマットを示す音声データフォーマット情報を含むメタ情報を有する複数の伝送パケットからなるオーディオブロックを単位に伝送される音声データとを有する動画像コンテンツを送信する動画像送信装置であって、前記音声データの前記メタ情報の前記音声データフォーマット情報から、前記音声データの前記伝送パケットごとの音声データフォーマットを検出する手段と、前記オーディオブロック内で前記音声データフォーマットが変化するか否かを検出する手段と、前記音声データフォーマットの変化を検出した前記オーディオブロックにおいて、前記変化に時間的に先行する音声データを含む前記伝送パケット、または、前記変化に続く後継音声データを含む前記伝送パケットを破棄する破棄手段とを具備することを特徴とする。
本発明における動画像送信装置は、映像データと、それぞれペイロード部、及び、音声データフォーマットを示す音声データフォーマット情報を含むメタ情報を有する複数の伝送パケットからなるオーディオブロックを単位に伝送される音声データとを有する動画像コンテンツを送信する動画像送信装置であって、前記音声データの前記メタ情報の前記音声データフォーマット情報から、前記音声データの前記伝送パケットごとの音声データフォーマットを検出する手段と、前記オーディオブロック内で前記音声データフォーマットが変化するか否かを検出する手段と、前記映像データの、前記音声データフォーマットの変化を検出した前記オーディオブロックに対応する映像をリピートし、リピートで生じる前記音声データの空きにヌルバーストデータを挿入する手段とを具備することを特徴とする。
本発明に係る動画像送信装置は、映像データと、それぞれペイロード部、及び、音声データフォーマットを示す音声データフォーマット情報を含むメタ情報を有する複数の伝送パケットからなるオーディオブロックを単位に伝送される音声データとを有する動画像コンテンツを送信する動画像送信装置であって、前記音声データの前記メタ情報の前記音声データフォーマット情報から、前記音声データの前記伝送パケットごとの音声データフォーマットを検出する手段と、前記オーディオブロック内で前記音声データフォーマットが変化するか否かを検出する手段と、前記音声データフォーマットの変化を検出した前記オーディオブロックにおける、前記変化に続く後継音声データを、次のオーディオブロック以降に遅延させる手段とを具備することを特徴とする。
本発明によれば、音声データフォーマットが異なるコンテンツを連続的に送出する場合に、異音の発生を抑制でき、音声データフォーマットの切り替えに伴う音声欠落（ミュート）期間を低減又は解消できる。
本発明の一実施例の概略構成ブロック図である。 ＳＰＤＩＦパケットの構造と異音発生の説明図である。 本実施例の音声出力処理のフローチャートである。 図３に示す処理での音声データ伝送タイミング例を示す図である。 本実施例の別の音声データ出力処理のフローチャートである。 図５に示す処理での音声データ伝送タイミング例を示す図である。 本実施例の別の音声データ出力処理のフローチャートである。 図７に示す処理での音声データ伝送タイミング例を示す図である。 本実施例の別の音声データ出力処理のフローチャートである。 図９に示す処理での音声データ伝送タイミング例を示す図である。
以下、図面を参照して、本発明の実施例を詳細に説明する。
図１は、本発明に係る動画像送信装置の一実施例を有する動画像伝送システムの概略構成ブロック図を示す。送信装置１００は、映像データ及び音声データを含むコンテンツ（動画像ビデオコンテンツ又は動画像コンテンツ）をＨＤＭＩ信号で受信装置１０１に送出する。受信装置１０１は、送信装置１００からＨＤＭＩ信号として受信した映像データ及び音声データをそれぞれ図示しないモニタおよびスピーカに出力する。ＨＤＭＩケーブル１０２が、送信装置１００と受信装置１０１を接続する。動画像コンテンツは、本実施例では、ＭＰＥＧ−ＴＳストリームである。ＭＰＥＧ−ＴＳストリームは、管理情報として、ＰＴＳ（Presentation Time Stamp）、及びＰＳＩ（Program Specific Information）／ＳＩ（Service Information）を有する。
多重分離部１１０には外部から動画像コンテンツが入力し、また、パケット処理部１１３からオーディオブロックの境界を示すタイミング信号（オーディオブロックタイミング信号）が入力する。多重分離部１１０は、入力された動画像コンテンツを映像データと音声データに分離し、映像データを復号部１１１に、音声データをパケット処理部１１３に出力する。多重分離部１１０はまた、映像データと音声データを出力する際に、ＭＰＥＧ−ＴＳストリーム内のＰＴＳから同期信号を分離し、パケット処理部１１３及びＤＰＢ１１２に供給する。この同期信号は、パケット処理部１１３及びＤＰＢ１１２が処理済みのデータをＴＭＤＳエンコーダ（ＴＭＤＳ ＥＮＣ）１１４に出力するタイミングを決定するのに利用される。
多重分離部１１０は更に、ＭＰＥＧ−ＴＳストリームのＰＳＩ／ＳＩから、動画像コンテンツの跨ぎによる音声データフォーマットの切り替えを検出し、オーディオブロックタイミング信号に従い以下の１又は複数の処理を選択的に実行する。第１の処理は、ＭＰＥＧ−ＴＳ内の音声データの一部をパケット処理部１１３へ出力せずに破棄する音声データ破棄処理である。第２の処理は、後述するヌルバースト（null-burst）データを生成してパケット処理部１１３へ出力するヌルバースト出力処理である。第３の処理は、映像データを１フレームリピートするように同期信号を生成するリピート処理である。第４の処理は、音声データの出力タイミングを、ＰＴＳに対して調整するタイミング調整処理である。
復号部１１１は、多重分離部１１０から出力される圧縮映像データを復号し、非圧縮映像データをＤＰＢ１１２に出力する。
ＤＰＢ１１２は、復号部１１１からの非圧縮映像データを一時蓄積し、多重分離部１１０からの同期信号に同期して、ＴＭＤＳエンコーダ１１４に出力する遅延及びタイミング調整の回路である。
パケット処理部１１３は、多重分離部１１０から出力される音声データをペイロード部に入れ、多重分離部１１０からの音声データフォーマット情報からチャネルステータス等のメタ情報を生成し、伝送パケットであるＳＰＤＩＦパケットを生成する。パケット処理部１１３は、生成したＳＰＤＩＦパケットを多重分離部１１０からの同期信号に同期して、ＴＭＤＳエンコーダ１１４に出力する。パケット処理部１１３はまた、多重分離部１１０から入力する音声データの一部を破棄し、所望のデータをペイロード部に入れる機能も有する。音声データは、固定長のオーディオブロックを単位に伝送され、１オーディオブロック内に１９２個のＳＰＤＩＦパケットが配置される。
ＴＭＤＳエンコーダ１１４は、ＤＰＢ１１２からの非圧縮映像データと、パケット処理部１１３からのＳＰＤＩＦパケットを遷移時間最短差動信号伝送方式、いわゆるＴＭＤＳ方式で外部に出力する。ＴＭＤＳ（Transition Minimized Differential Signaling）は、Ｓｉｌｉｃｏｎ Ｉｍａｇｅ社の商標である。
受信装置１０１のＴＭＤＳデコーダ（ＴＭＤＳ ＤＥＣ）１２０には、ＨＤＭＩケーブル１０２を介して送信装置１００からのＴ．Ｍ．Ｄ．Ｓ方式の信号が入力する。ＴＭＤＳデコーダ１２０は、入力信号から非圧縮映像データとＳＰＤＩＦパケットの音声データを取り出し、非圧縮映像データをＶ遅延バッファ１２１に、ＳＰＤＩＦパケットの音声データをパケット処理部１２２に出力する。
Ｖ遅延バッファ１２１は、ＴＭＤＳデコーダ１２０からの非圧縮映像データを一定時間、遅延して、出力する。
パケット処理部１２２は、ＳＰＤＩＦパケットからメタ情報とペイロード部を抽出して出力する。パケット処理部１２２はまた、取得したメタ情報からペイロード部に含まれる音声データフォーマットを検出し、音声データの処理系を決定しスイッチ１２５，１２６を制御する。
スイッチ１２５は、パケット処理部１２２の制御下に、パケット処理部１２２からのＡＣ３データをＡＣ３復号部１２３に供給し、ＬＰＣＭデータをＡ遅延バッファ１２４に供給する。ＡＣ３復号部１２３は、スイッチ１２５からのＡＣ３データを復号してＬＰＣＭデータを出力する。Ａ遅延バッファ１２４は、スイッチ１２５からのＬＰＣＭデータを一定時間、遅延して、出力する。スイッチ１２６は、スイッチ１２５と連動して、ＡＣ３復号部１２３又はＡ遅延バッファ１２４の出力を選択する。スイッチ１２６で選択されたＬＰＣＭデータを外部に出力する。
本実施例における動画像コンテンツの伝送動作を説明する。ＨＤＭＩケーブル１０２によって送信装置１００と受信装置１０１が接続されると、ＨＤＭＩ上の図示しない信号線ＨＰＤ（Hot Plug Detect）によって、送信装置１００は、受信装置１０１との接続を認識する。また、ＨＤＭＩの図示しない信号線ＤＤＣ（Display Data Channel）によって、送信装置１００は、受信装置１０１の構成情報を確認し、接続状態を確立する。
接続状態が確立されると、送信装置１００は動画像コンテンツの出力を開始する。送信装置１００は、図示しない記録媒体から動画像コンテンツを読み出し、多重分離部１１０へ入力する。以下の説明では、動画像コンテンツは、多重化方式がＭＰＥＧ−ＴＳ、音声データフォーマットがＬＰＣＭ又はＡＣ３であるものとする。
多重分離部１１０は、入力されたＭＰＥＧ−ＴＳデータのＰＳＩ／ＳＩを元に、圧縮映像データと音声データ（ＬＰＣＭ又はＡＣ３）に分離し、ＰＳＩ／ＳＩから音声データフォーマット（ＬＰＣＭ又はＡＣ３）を検出する。多重分離部１１０は、音声データフォーマットの切り替わり又は変化とパケット処理部１１３からのオーディオブロックタイミング信号に従い、動画像コンテンツ跨ぎに関する必要な処理を加える。この処理の詳細は後述する。
多重分離部１１０は、分離した圧縮映像データを復号部１１１に出力し、ＰＴＳから生成した同期信号をＤＰＢ１１２とパケット処理部１１３に出力する。復号部１１１は、多重分離部１１０からの圧縮映像データを復号し、復号結果である非圧縮映像データをＤＰＢ１１２に出力する。ＤＰＢ１１２は、多重分離部１１０からの同期信号に基づいたタイミングで、復号部１１１からの非圧縮映像データをＴＭＤＳエンコーダ１１４に出力する。
多重分離部１１０はまた、分離した音声データと音声データフォーマット情報をパケット処理部１１３に供給する。パケット処理部１１３は、多重分離部１１０からの音声データからＳＰＤＩＦパケットを生成し、音声データフォーマットからメタ情報としてチャネルステータスビット（Channel-Status bit）を生成する。パケット処理部１１３は、多重分離部１１０からの同期信号に基づくタイミングで、ＳＰＤＩＦパケットをＴＭＤＳエンコーダ１１４に出力する。
ＴＭＤＳエンコーダ１１４は、ＤＰＢ１１２からの非圧縮映像データとパケット処理部１１３からのＳＰＤＩＦパケット形式の音声データをＴＭＤＳ信号に変換し、ＨＤＭＩケーブル１０２に出力する。
送信装置１００と接続が確立されると、受信装置１０１は、映像音声データの受信を開始する。ＴＭＤＳデコーダ１２０は、ＨＤＭＩケーブル１０２からのＴＭＤＳ信号から非圧縮映像データとＳＰＤＩＦパケットを分離し、前者をＶ遅延バッファ１２１に、後者をパケット処理部１２２に出力する。
Ｖ遅延バッファ１２１は、ＴＭＤＳデコーダ１２０からの非圧縮映像データを所定時間、遅延して、外部の図示しないモニタ等に出力する。
パケット処理部１２２は、ＴＭＤＳデコーダ１２０からのＳＰＤＩＦパケットのメタ情報のチャネルステータスビットから音声データフォーマット情報を取得し、音声データの復号処理系を選択する。すなわち、音声データがＡＣ３形式で符号化されている場合は、ＡＣ３復号部１２３を選択するようにスイッチ１２５，１２６を制御し、ＬＰＣＭ形式の場合には、Ａ遅延バッファ１２４を選択するようにスイッチ１２５，１２６を制御する。パケット処理部１２２は、ＳＰＤＩＦパケットのペイロード部に入る音声データ（ＡＣ３又はＬＰＣＭ）をスイッチ１２５に出力する。ＡＣ３復号部１２３は、スイッチ１２５からのＡＣ３音声データを復号し、得られたＬＰＣＭ音声データをスイッチ１２６に出力する。Ａ遅延バッファ１２４、スイッチ１２５からのＬＰＣＭ音声データを、所定時間遅延して、スイッチ１２６に出力する。
図３及び図４を参照して、送信装置１００の音声データ送出処理を説明する。図３は、送信装置１００の音声データ出力処理のフローチャートを示す。図４は、伝送タイミング例を示すタイミングチャートである。
Ｓ３００において、多重分離部１１０は、ＰＳＩ／ＳＩから動画像コンテンツ跨ぎにおいて音声データフォーマットが切り替わるか否か、すなわち、音声データフォーマットの変化を検出する。図４（Ａ）に示すように、動画像コンテンツの跨ぎで音声データフォーマットが切り替わらない（共にＡＣ３）場合、パケット処理部１１３は、特別な処理はせず、同期信号に基づく音声データの出力を継続する。図４（Ｂ）又は図４（Ｃ）に示すように動画像コンテンツの跨ぎで音声データフォーマットが切り替わる場合（図示例では、ＡＣ３からＬＰＣＭに）、Ｓ３０１に進む。図４（Ｂ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に、後継動画像コンテンツの音声データ出力が含まれない場合を示す。図４（Ｃ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に後継動画像コンテンツの音声データ出力が含まれる場合を示す。
Ｓ３０１において、多重分離部１１０は、パケット処理部１１３からのオーディオブロックタイミング信号と音声データフォーマットの切り替わりタイミングを確認する。図４（Ｂ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有しない場合には、Ｓ３０５に進み、音声データフォーマット切り替えに必要な処理を行う。逆に、図４（Ｃ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有する場合、Ｓ３０２に進む。
Ｓ３０２において、パケット処理部１１３は、音声データフォーマットが切り替わるタイミングより時間的に後の音声データ、すなわち後継音声データの音声データフォーマットが符号化形式であるか否かを判定する。符号化形式（ＡＣ３）の場合、Ｓ３０３に進み、非符号化形式（ＬＰＣＭ）の場合、Ｓ３０４に進む。
Ｓ３０３において、パケット処理部１１３は、後継音声データの先頭のＡＡＵ（Audio Access Unit）を破棄する。ＡＣ３のＡＡＵサイズがオーディオブロックサイズより十分大きいので、先頭のＡＡＵを破棄することで、混在するオーディオブロック内のＡＣ３音声データを破棄できる。
Ｓ３０４において、パケット処理部１１３は、音声データフォーマットが混在するオーディオブロック内のＬＰＣＭ音声データを破棄する。
Ｓ３０２〜Ｓ３０４の処理によって、図４（Ｃ）の場合のパケット処理部１１３の出力は、図４（Ｂ）の場合のそれと同様、同一オーディオブロック内に１種類の音声データフォーマットのみが存在するものとなる。
Ｓ３０５において、パケット処理部１１３は、動画像コンテンツの跨ぎにおける先行動画像コンテンツの音声データ末尾と後継動画像コンテンツの音声データ始端との間にヌルバースト（null-burst）データを挿入又は配置する。ヌルバーストデータは、ＳＰＤＩＦによる伝送で音声データフォーマットの切り替えが発生する際に、送信装置が出力すべき信号である。ヌルバーストデータの詳細はＩＥＣ６１９７３に説明されており、これ以上の説明は省略する。
Ｓ３０６において、パケット処理部１１３は、後継動画像コンテンツの音声データ始端を含むオーディオブロックタイミングから、音声データフォーマット信号を切り替える。これにより、後継動画像コンテンツに対応したチャネルステータス（Channel-Status）が出力される。
このように、本実施例では、動画像コンテンツ跨ぎ時に音声データフォーマットの切り替えが発生しても、メタ情報であるチャネルステータスとペイロードとを一致させることができ、最短のミュート期間で異音の発生を抑止できる。
送信装置と受信装置との間のインターフェースをＨＤＭＩとしたが、音声データの送出がＳＰＤＩＦ又はこれに類するパケット構造を有するものであれば、同様の作用効果を得ることができる。また、音声データフォーマットとしてＡＣ３／ＬＰＣＭの例を説明したが、この組み合わせに限定されない。
後継動画像コンテンツの音声データ始端を破棄する代わりに、先行動画像コンテンツの音声データ末尾を破棄してもよい。図５は、その音声データ出力処理のフローチャートを示す。図６は、伝送タイミング例を示す。
Ｓ５００において、多重分離部１１０は、ＰＳＩ／ＳＩから、動画像コンテンツ跨ぎにおいて音声データフォーマットが切り替わるか否かを検出する。図６（Ａ）に示すように、動画像コンテンツの跨ぎで音声データフォーマットが切り替わらない（共にＡＣ３）場合、パケット処理部１１３は、特別な処理はせず、同期信号に基づく音声データの出力を継続する。図６（Ｂ）又は図６（Ｃ）に示すように動画像コンテンツの跨ぎで音声データフォーマットが切り替わる場合（図示例では、ＡＣ３からＬＰＣＭに）、Ｓ５０１に進む。図６（Ｂ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に、後継動画像コンテンツの音声データ出力が含まれない場合を示す。図６（Ｃ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に後継動画像コンテンツの音声データ出力が含まれる場合を示す。
Ｓ５０１において、多重分離部１１０は、パケット処理部１１３からのオーディオブロックタイミング信号と音声データフォーマットの切り替わりタイミングを確認する。図６（Ｂ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有しない場合には、Ｓ５０５に進み、音声データフォーマット切り替えに必要な処理を行う。逆に、図６（Ｃ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有する場合、Ｓ５０２に進む。
Ｓ５０２において、パケット処理部１１３は、音声データフォーマットの切り替わりより時間的に先行する音声データ、すなわち先行音声データの音声データフォーマットが符号化形式であるか否かを判定する。符号化形式（ＡＣ３）である場合、Ｓ５０３に進む。非符号化形式（ＬＰＣＭ）である場合、Ｓ５０４に進む。
Ｓ５０３において、パケット処理部１１３は、先行音声データの末尾のＡＡＵを破棄することで、混在するオーディオブロック内のＡＣ３音声データを破棄する。
Ｓ５０４において、パケット処理部１１３は、音声データフォーマットが混在するオーディオブロック内のＬＰＣＭ音声データを破棄する。
Ｓ５０２〜Ｓ５０４の処理によって、図６（Ｃ）の場合のパケット処理部１１３の出力は、図６（Ｂ）の場合のそれと同様、同一オーディオブロック内に１種類の音声データフォーマットのみが存在するものとなる。
Ｓ５０５において、パケット処理部１１３は、動画像コンテンツの跨ぎにおける先行動画像コンテンツの音声データ末尾と後継動画像コンテンツの音声データ始端との間にヌルバースト（null-burst）データを挿入又は配置する。
Ｓ５０６において、パケット処理部１１３は、後継動画像コンテンツの音声データ始端を含むオーディオブロックタイミングから、音声データフォーマット信号を切り替える。これにより、後継動画像コンテンツに対応したチャネルステータス（Channel-Status）が出力される。
先行動画像コンテンツの最終出力映像をリピートする動作を説明する。図７は、そのための音声データ出力処理のフローチャートを示し、図８は伝送タイミング例を示す。
Ｓ７００において、多重分離部１１０は、ＰＳＩ／ＳＩから、動画像コンテンツ跨ぎにおいて音声データフォーマットが切り替わるか否かを検出する。図８（Ａ）に示すように、動画像コンテンツの跨ぎで音声データフォーマットが切り替わらない（共にＡＣ３）場合、パケット処理部１１３は、特別な処理はせず、同期信号に基づく音声データの出力を継続する。図８（Ｂ）又は図８（Ｃ）に示すように動画像コンテンツの跨ぎで音声データフォーマットが切り替わる場合（図示例では、ＡＣ３からＬＰＣＭに）、Ｓ７０１に進む。図８（Ｂ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に、後継動画像コンテンツの音声データ出力が含まれない場合を示す。図８（Ｃ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に後継動画像コンテンツの音声データ出力が含まれる場合を示す。
Ｓ７０１において、多重分離部１１０は、パケット処理部１１３からのオーディオブロックタイミング信号と音声データフォーマットの切り替わりタイミングを確認する。図８（Ｂ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有しない場合には、Ｓ７０３に進み、音声データフォーマット切り替えに必要な処理を行う。逆に、図８（Ｃ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有する場合、Ｓ７０２に進む。
Ｓ７０２において、多重分離部１１０は、先行動画像コンテンツの映像データの末尾に１フレームのリピートを加える。具体的には、ＤＰＢ１１２への後継動画像コンテンツの出力タイミングを１フレーム分遅延させてリピート映像を発生させ、それに合わせて後継動画像コンテンツの映像・音声データの出力タイミングを１フレーム遅延させる。この処理によって、図８（Ｃ）の場合のパケット処理部１１３の出力は、図８（Ｂ）の場合のそれと同様、同一オーディオブロック内に１種類の音声データフォーマットのみが存在するものとなる。
Ｓ７０３において、パケット処理部１１３は、動画像コンテンツの跨ぎにおける先行動画像コンテンツの音声データ末尾と後継動画像コンテンツの音声データ始端との間にヌルバースト（null-burst）データを挿入又は配置する。
Ｓ７０４において、パケット処理部１１３は、後継動画像コンテンツの音声データ始端を含むオーディオブロックタイミングから、音声データフォーマット信号を切り替える。これにより、後継動画像コンテンツに対応したチャネルステータス（Channel-Status）が出力される。
後継動画像コンテンツの音声データ出力タイミングを、オーディオブロック境界まで遅延させる動作を説明する。図９は、この動作の音声データ出力処理のフローチャートを示し、図１０は伝送タイミング例を示す。
Ｓ９００において、多重分離部１１０は、ＰＳＩ／ＳＩから、動画像コンテンツ跨ぎにおいて音声データフォーマットが切り替わるか否かを検出する。図１０（Ａ）に示すように、動画像コンテンツの跨ぎで音声データフォーマットが切り替わらない（共にＡＣ３）場合、パケット処理部１１３は、特別な処理はせず、同期信号に基づく音声データの出力を継続する。図１０（Ｂ）又は図１０（Ｃ）に示すように動画像コンテンツの跨ぎで音声データフォーマットが切り替わる場合（図示例では、ＡＣ３からＬＰＣＭに）、Ｓ９０１に進む。図１０（Ｂ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に、後継動画像コンテンツの音声データ出力が含まれない場合を示す。図４（Ｃ）は、先行動画像コンテンツの音声データ（ＡＣ３）を出力しているオーディオブロック内に後継動画像コンテンツの音声データ出力が含まれる場合を示す。
Ｓ９０１において、多重分離部１１０は、パケット処理部１１３からのオーディオブロックタイミング信号と音声データフォーマットの切り替わりタイミングを確認する。図１０（Ｂ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有しない場合には、Ｓ９０３に進み、音声データフォーマット切り替えに必要な処理を行う。逆に、図１０（Ｃ）に示すように、同一オーディオブロック内に異なる音声データフォーマットの出力タイミングを有する場合、Ｓ９０２に進む。
Ｓ９０２において、パケット処理部１１３は、後継動画像コンテンツの音声データの末尾に遅延を加える。加える遅延は、始端となる音声データの出力タイミングを、次オーディオブロックの境界に合わせるために必要な量であり、後継音声データを次のオーディオブロック以降に遅延させる。この処理によって、図１０（Ｃ）の場合のパケット処理部１１３の出力は、図１０（Ｂ）の場合のそれと同様、同一オーディオブロック内に１種類の音声データフォーマットのみが存在するものとなる。
Ｓ９０３において、パケット処理部１１３は、動画像コンテンツの跨ぎにおける先行動画像コンテンツの音声データ末尾と後継動画像コンテンツの音声データ始端との間にヌルバースト（null-burst）データを挿入する。
Ｓ９０４において、パケット処理部１１３は、後継動画像コンテンツの音声データ始端を含むオーディオブロックタイミングから、音声データフォーマット信号を切り替える。これにより、後継動画像コンテンツに対応したチャネルステータス（Channel-Status）が出力される。

Claims (5)

  1. 映像データと、それぞれペイロード部、及び、音声データフォーマットを示す音声データフォーマット情報を含むメタ情報を有する複数の伝送パケットからなるオーディオブロックを単位に伝送される音声データとを有する動画像コンテンツを送信する動画像送信装置であって、
    前記音声データの前記メタ情報の前記音声データフォーマット情報から、前記音声データの前記伝送パケットごとの音声データフォーマットを検出する手段と、
    前記オーディオブロック内で前記音声データフォーマットが変化するか否かを検出する手段と、
    前記音声データフォーマットの変化を検出した前記オーディオブロックにおいて、前記変化に時間的に先行する音声データを含む前記伝送パケット、または前記変化に続く後継音声データを含む前記伝送パケットを破棄する破棄手段
    とを具備することを特徴とする動画像送信装置。
  2. 前記破棄手段が、破棄した前記伝送パケットに対してヌルバーストデータを配置することを特徴とする請求項１に記載の動画像送信装置。
  3. 映像データと、それぞれペイロード部、及び、音声データフォーマットを示す音声データフォーマット情報を含むメタ情報を有する複数の伝送パケットからなるオーディオブロックを単位に伝送される音声データとを有する動画像コンテンツを送信する動画像送信装置であって、
    前記音声データの前記メタ情報の前記音声データフォーマット情報から、前記音声データの前記伝送パケットごとの音声データフォーマットを検出する手段と、
    前記オーディオブロック内で前記音声データフォーマットが変化するか否かを検出する手段と、
    前記映像データの、前記音声データフォーマットの変化を検出した前記オーディオブロックに対応する映像をリピートし、リピートで生じる前記音声データの空きにヌルバーストデータを挿入する手段
    とを具備することを特徴とする動画像送信装置。
  4. 映像データと、それぞれペイロード部、及び、音声データフォーマットを示す音声データフォーマット情報を含むメタ情報を有する複数の伝送パケットからなるオーディオブロックを単位に伝送される音声データとを有する動画像コンテンツを送信する動画像送信装置であって、
    前記音声データの前記メタ情報の前記音声データフォーマット情報から、前記音声データの前記伝送パケットごとの音声データフォーマットを検出する手段と、
    前記オーディオブロック内で前記音声データフォーマットが変化するか否かを検出する手段と、
    前記音声データフォーマットの変化を検出した前記オーディオブロックにおける、前記変化に続く後継音声データを、次のオーディオブロック以降に遅延させる手段
    とを具備することを特徴とする動画像送信装置。
  5. 前記伝送パケットが、ＳＰＤＩＦパケットであることを特徴とする請求項１乃至４の何れか１項に記載の動画像送信装置。
JP2010220351A 2010-09-30 2010-09-30 送信装置 Expired - Fee Related JP5641849B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010220351A JP5641849B2 (ja) 2010-09-30 2010-09-30 送信装置
US13/232,658 US8862256B2 (en) 2010-09-30 2011-09-14 Electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010220351A JP5641849B2 (ja) 2010-09-30 2010-09-30 送信装置

Publications (2)

Publication Number Publication Date
JP2012075069A true JP2012075069A (ja) 2012-04-12
JP5641849B2 JP5641849B2 (ja) 2014-12-17

Family

ID=45889511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010220351A Expired - Fee Related JP5641849B2 (ja) 2010-09-30 2010-09-30 送信装置

Country Status (2)

Country Link
US (1) US8862256B2 (ja)
JP (1) JP5641849B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043378A1 (ja) * 2015-09-07 2017-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2018193715A1 (ja) * 2017-04-21 2018-10-25 パナソニックＩｐマネジメント株式会社 再生装置、再生方法、表示装置、および、表示方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547809B1 (ko) * 2011-07-01 2015-08-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템
CN112136176B (zh) * 2018-05-23 2024-06-18 索尼公司 发送设备、发送方法、接收设备和接收方法
WO2019225449A1 (ja) * 2018-05-23 2019-11-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN113454712A (zh) * 2019-02-27 2021-09-28 索尼集团公司 发送装置、发送方法、接收装置和接收方法
CN112073789B (zh) * 2019-06-10 2023-04-14 海信视像科技股份有限公司 一种声音处理法及显示设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094448A (ja) * 1999-09-22 2001-04-06 Matsushita Electric Ind Co Ltd オーディオ送信装置及びオーディオ受信装置
JP2005084459A (ja) * 2003-09-10 2005-03-31 Alpine Electronics Inc オーディオ装置およびオーディオ装置における再生方法
US20070226769A1 (en) * 2006-03-07 2007-09-27 Kabushiki Kaisha Kenwood Relay apparatus, AV reproduction system, and AV source apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3597690B2 (ja) * 1998-01-21 2004-12-08 株式会社東芝 デジタル情報記録再生システム
JP2001195825A (ja) * 1999-10-29 2001-07-19 Sony Corp 記録再生装置および方法
JP2006129261A (ja) * 2004-10-29 2006-05-18 Toshiba Corp 信号出力装置及び信号出力方法
JP2006311288A (ja) * 2005-04-28 2006-11-09 Sony Corp オーディオ中継装置及びオーディオ中継方法
JP2007324919A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 音声および映像信号送信装置ならびに信号処理方法
JP2008107397A (ja) 2006-10-23 2008-05-08 Matsushita Electric Ind Co Ltd Ｈｄｍｉ伝送方式送受信システムおよびその関連技術

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094448A (ja) * 1999-09-22 2001-04-06 Matsushita Electric Ind Co Ltd オーディオ送信装置及びオーディオ受信装置
JP2005084459A (ja) * 2003-09-10 2005-03-31 Alpine Electronics Inc オーディオ装置およびオーディオ装置における再生方法
US20070226769A1 (en) * 2006-03-07 2007-09-27 Kabushiki Kaisha Kenwood Relay apparatus, AV reproduction system, and AV source apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043378A1 (ja) * 2015-09-07 2017-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN107925794A (zh) * 2015-09-07 2018-04-17 索尼公司 发送设备、发送方法、接收设备和接收方法
US10504552B2 (en) 2015-09-07 2019-12-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN107925794B (zh) * 2015-09-07 2021-02-09 索尼公司 发送设备、发送方法、接收设备和接收方法
WO2018193715A1 (ja) * 2017-04-21 2018-10-25 パナソニックＩｐマネジメント株式会社 再生装置、再生方法、表示装置、および、表示方法
JPWO2018193715A1 (ja) * 2017-04-21 2020-02-27 パナソニックＩｐマネジメント株式会社 再生装置、再生方法、表示装置、および、表示方法
JP7018567B2 (ja) 2017-04-21 2022-02-14 パナソニックＩｐマネジメント株式会社 再生装置、再生方法、表示装置、および、表示方法

Also Published As

Publication number Publication date
JP5641849B2 (ja) 2014-12-17
US20120081604A1 (en) 2012-04-05
US8862256B2 (en) 2014-10-14

Similar Documents

Publication Publication Date Title
JP5641849B2 (ja) 送信装置
JP4434267B2 (ja) インターフェース回路
JP4991129B2 (ja) 映像音声再生装置および映像音声再生方法
EP1956848A2 (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
GB2486183A (en) Time stamps are added to data transmitted via Bluetooth® connections to facilitate synchronised output of the data from a plurality of devices.
JP2008506282A (ja) インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持
JP2006115104A (ja) 高能率符号化された時系列情報をパケット化してリアルタイム・ストリーミング送信し受信再生する方法および装置
US11457266B2 (en) Method for synchronizing audio and video and related apparatus
KR101787424B1 (ko) 패킷화된 통신 네트워크를 통해 통신되는 스트리밍 콘텐츠를 위한 클럭 복원 메커니즘
KR20070008069A (ko) 음성/영상신호의 동기화 장치 및 방법
JP2007258932A (ja) パケット伝送システム
KR100864009B1 (ko) 오디오／비디오 동기화 방법
JP4596087B2 (ja) インターフェース回路
JP2006211382A (ja) 映像・音声多重化装置及び映像・音声分離装置
JP5168105B2 (ja) 音声再生装置、及び音声再生方法
KR19980036074A (ko) 디코더 시스템의 비디오/오디오 동기화 장치
TWI743774B (zh) 音訊與視訊同步方法與相關的裝置
JP2001111610A (ja) 情報データ伝送システムの受信装置
JP4765475B2 (ja) 情報信号の処理装置および処理方法
JP4624121B2 (ja) 符号化装置、これで用いるｓｔｃ補正方法、符号化システム、送出系、及び音声送受信システム
JP2006019997A (ja) 動画データ転送システム
JPH11275147A (ja) データ多重化伝送方法
JP2007158378A (ja) 信号切換え装置及びその制御方法
JP4596085B2 (ja) インターフェース回路
JP5741064B2 (ja) 映像音声処理装置および映像音声処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141028

LAPS Cancellation because of no payment of annual fees