JP2012182618A - 映像音声処理装置および映像音声処理方法 - Google Patents
映像音声処理装置および映像音声処理方法 Download PDFInfo
- Publication number
- JP2012182618A JP2012182618A JP2011043686A JP2011043686A JP2012182618A JP 2012182618 A JP2012182618 A JP 2012182618A JP 2011043686 A JP2011043686 A JP 2011043686A JP 2011043686 A JP2011043686 A JP 2011043686A JP 2012182618 A JP2012182618 A JP 2012182618A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- input
- signal
- stream data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
【解決手段】映像音声処理装置は、映像符号化部501、映像ストリームデータ・音声ストリームデータ多重化部502、音声処理部503、を備える。音声処理部503は、入力映像信号に基づいて映像パケットのヘッダーを生成する手段601と、入力映像信号の符号化開始前の所定のフレーム単位での、入力音声信号の音声サンプル数をカウントする手段602と、カウントした音声サンプル数のパターンに基づいて、入力映像信号の符号化を開始する場合のフレームの音声サンプルを予測する手段603と、入力音声信号のステータス情報と予測した音声サンプル数に基づいて、音声のデジタル化データのサイズ情報を計算し、計算したサイズ情報を含む音声パケットのヘッダーを生成する手段604と、入力音声信号を音声のデジタル化データに変換する手段605と、を備える。
【選択図】図5
Description
以下、図1乃至図3を参照して、本実施の形態について説明する。図1乃至図3では、本実施の形態に係る映像符号化装置において、映像ストリームデータと非圧縮の音声ストリームデータを1フレーム未満の符号化遅延で出力する例を示す。
映像符号化部201は、フレーム周波数29.97Hzの入力映像信号21を受け、1フレーム未満(例えば10ms)の符号化遅延で符号化処理して、H.264フォーマットの映像ストリームデータ22を出力する。また、映像符号化部201は、入力映像信号21のフレーム周期を、映像フレームタイミング信号23として出力する。
まず、映像信号と音声信号の同期に関して、フレーム周波数29.97Hzの映像信号と、サンプリング周波数48kHzの音声信号と、が同期している場合には、次に示すように、映像1フレーム中の音声サンプル数には端数が存在することになる。
映像1フレーム中の音声サンプル数
=(1/29.97Hz)÷(1/48kHz)=1601.6サンプル
映像5フレームの音声サンプル数=8008サンプル
1602、1601、1602、1601、1602、・・・・(以下繰り返し)
AES3ヘッダー生成部205は、サンプル数予測部209が予測した音声サンプル数26と、入力音声信号24のステータス情報と、に基づいて、現在の映像フレームにおいて生成されるAES3ペイロードサイズを計算し、計算したAES3ペイロードサイズを含むSMPTE302M規格のAES3ヘッダー29を生成する。
上述した実施の形態1と比較して、本実施の形態にかかる映像音声処理装置は、映像フレーム中の入力音声信号の異常を検出した場合に、異常に対する処置を可能とするものである。上述した実施の形態1と比較して、本実施の形態では、音声入力監視部およびMUTE回路を更に備えることを特徴する。なお、その他の基本的な構成は実施の形態1と同じであるため、以下では、相違点を中心に説明し、共通点についてはその詳細な説明を省略する。
202、302、502 映像ストリームデータ・音声ストリームデータ多重化部、
203、303 PESヘッダー生成部、
204、304 AES3ペイロード生成部、
205、305 AES3ヘッダー生成部、
206、306 非圧縮音声ストリームデータ生成部、
207、307 遅延メモリ、
208、308 プリカウンタ部、
209、309 サンプル数予測部、
310 音声入力監視部、
311 MUTE回路、
503 音声処理部、
601 映像パケットのヘッダーを生成する手段、
602 音声サンプル数をカウントする手段、
603 音声サンプルを予測する手段、
604 音声パケットのヘッダーを生成する手段、
605 音声のデジタルデータに変換する手段、
21、41 入力映像信号、
22、42 映像ストリームデータ、
23、43 映像フレームタイミング信号、
24、44 入力音声信号、
25、45 プリカウンタ値、
26、46 予測音声サンプル数、
27、47 AES3ペイロードデータ、
28、48 PESヘッダー、
29、49 AES3ヘッダー、
30、50 音声ストリームデータ、
31、51 音声ストリームデータ、
32、52 MPEG−2TSストリームデータ、
53 アラーム信号、
Claims (6)
- 所定のフォーマットに従って、入力映像信号を低遅延で圧縮符号化して映像ストリームデータを出力する映像符号化部と、
前記入力映像信号の符号化を開始する場合に、前記入力映像信号の先頭フレームのタイミングで、前記入力映像信号と入力音声信号に基づいて、映像パケットのヘッダーと、音声パケットのヘッダーと、音声のデジタル化データと、を含む音声ストリームデータを生成し、当該生成した音声ストリームデータを、前記映像ストリームデータのタイミングに合うように遅延させて出力する音声処理部と、
所定のフォーマットに従って、前記映像ストリームデータと前記音声ストリームデータを多重化して出力する映像ストリームデータ・音声ストリームデータ多重化部と、を備え、
前記音声処理部は、
前記入力映像信号に基づいて前記映像パケットのヘッダーを生成する手段と、
前記入力映像信号の符号化開始前の所定のフレーム単位での、前記入力音声信号の音声サンプル数をカウントする手段と、
前記カウントした音声サンプル数のパターンに基づいて、前記入力映像信号の符号化を開始する場合におけるフレームの音声サンプルを予測する手段と、
前記入力音声信号のステータス情報と、前記予測した音声サンプル数と、に基づいて、前記音声のデジタル化データのサイズ情報を計算し、当該計算したサイズ情報を含む前記音声パケットのヘッダーを生成する手段と、
前記入力音声信号を前記音声のデジタル化データに変換する手段と、
を備える映像音声処理装置。 - 前記音声処理部は、
前記入力音声信号の異常を検出した場合に、次の前記入力映像信号の次の映像フレームまでの間、アラーム信号を出力し続ける手段と、
前記アラーム信号を受けている間、前記音声のデジタル化データをダミーデータに置き換えて出力する手段と、を更に備える
ことを特徴とする請求項1に記載の映像音声処理装置。 - 前記音声処理部は、
前記映像ストリームデータのタイミングに合うように前記音声ストリームデータを遅延させて出力する遅延メモリを更に備える
ことを特徴とする請求項1又は2に記載の映像音声処理装置。 - 所定のフォーマットに従って、入力映像信号を低遅延で圧縮符号化して映像ストリームデータを出力する映像符号化部と、
前記入力映像信号の符号化を開始する場合に、前記入力映像信号の先頭フレームのタイミングで、前記入力映像信号と入力音声信号に基づいて、映像パケットのヘッダーと、音声パケットのヘッダーと、音声のデジタル化データと、を含む音声ストリームデータを生成し、当該生成した音声ストリームデータを、前記映像ストリームデータのタイミングに合うように遅延させて出力する音声処理部と、
所定のフォーマットに従って、前記映像ストリームデータと前記音声ストリームデータを多重化して出力する映像ストリームデータ・音声ストリームデータ多重化部と、を備える映像音声処理装置における映像音声処理方法であって、
前記入力映像信号に基づいて前記映像パケットのヘッダーを生成するステップと、
前記入力映像信号の符号化開始前の所定のフレーム単位での、前記入力音声信号の音声サンプル数をカウントするステップと、
前記カウントした音声サンプル数のパターンに基づいて、前記入力映像信号の符号化を開始する場合におけるフレームの音声サンプルを予測するステップと、
前記入力音声信号のステータス情報と、前記予測した音声サンプル数と、に基づいて、前記音声のデジタル化データのサイズ情報を計算し、当該計算したサイズ情報を含む前記音声パケットのヘッダーを生成するステップと、
前記入力音声信号を前記音声のデジタル化データに変換するステップと、
を含む映像音声処理方法。 - 前記入力音声信号の異常を検出した場合に、次の前記入力映像信号の次の映像フレームまでの間、アラーム信号を出力し続けるステップと、
前記アラーム信号を受けている間、前記音声のデジタル化データをダミーデータに置き換えて出力するステップと、
を更に含むことを特徴とする請求項4に記載の映像音声処理方法。 - 遅延メモリを用いて、前記映像ストリームデータのタイミングに合うように前記音声ストリームデータを遅延させて出力するステップ
を更に含むことを特徴とする請求項4又は5に記載の映像音声処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043686A JP5741064B2 (ja) | 2011-03-01 | 2011-03-01 | 映像音声処理装置および映像音声処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043686A JP5741064B2 (ja) | 2011-03-01 | 2011-03-01 | 映像音声処理装置および映像音声処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012182618A true JP2012182618A (ja) | 2012-09-20 |
JP5741064B2 JP5741064B2 (ja) | 2015-07-01 |
Family
ID=47013448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011043686A Active JP5741064B2 (ja) | 2011-03-01 | 2011-03-01 | 映像音声処理装置および映像音声処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5741064B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118016080A (zh) * | 2024-04-09 | 2024-05-10 | 腾讯科技(深圳)有限公司 | 一种音频处理方法、音频处理器及相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000064156A1 (fr) * | 1999-04-16 | 2000-10-26 | Sony Corporation | Procede de transmission de donnees et emetteur de donnees |
JP2000347695A (ja) * | 1999-06-08 | 2000-12-15 | Matsushita Electric Ind Co Ltd | 音声制御方法及び音声制御装置 |
JP2009302961A (ja) * | 2008-06-13 | 2009-12-24 | Panasonic Corp | 記録装置、ファイル送信方法、プログラム及びカメラ |
JP2010034760A (ja) * | 2008-07-28 | 2010-02-12 | Sony Corp | 映像音声信号処理装置と映像音声信号処理方法 |
-
2011
- 2011-03-01 JP JP2011043686A patent/JP5741064B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000064156A1 (fr) * | 1999-04-16 | 2000-10-26 | Sony Corporation | Procede de transmission de donnees et emetteur de donnees |
JP2000347695A (ja) * | 1999-06-08 | 2000-12-15 | Matsushita Electric Ind Co Ltd | 音声制御方法及び音声制御装置 |
JP2009302961A (ja) * | 2008-06-13 | 2009-12-24 | Panasonic Corp | 記録装置、ファイル送信方法、プログラム及びカメラ |
JP2010034760A (ja) * | 2008-07-28 | 2010-02-12 | Sony Corp | 映像音声信号処理装置と映像音声信号処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118016080A (zh) * | 2024-04-09 | 2024-05-10 | 腾讯科技(深圳)有限公司 | 一种音频处理方法、音频处理器及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5741064B2 (ja) | 2015-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9489980B2 (en) | Video/audio synchronization apparatus and video/audio synchronization method | |
JP4983923B2 (ja) | デコーダ装置、およびデコード方法 | |
US9407387B2 (en) | Apparatus and method for synchronized transmission of multimedia content over an asynchronous network | |
JP3976759B2 (ja) | 音声信号と映像信号を同期させる装置 | |
WO2017067489A1 (zh) | 机顶盒音视频同步的方法及装置、存储介质 | |
US20150088528A1 (en) | Decoding apparatus and method, audio signal processing apparatus and method, and program | |
JP2007124044A (ja) | 基準クロック再生回路及びデータ受信装置 | |
JP2014207498A (ja) | 符号化装置、復号化装置、符号化方法、復号化方法およびプログラム | |
JP5741064B2 (ja) | 映像音声処理装置および映像音声処理方法 | |
JP5632711B2 (ja) | 送信装置、受信装置及び伝送システム | |
JP5642319B2 (ja) | デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 | |
JPWO2013145225A1 (ja) | エレメンタリストリームをエンコードし、多重し、またはデコードするための方法、装置、およびプログラム | |
JP5434390B2 (ja) | 電子会議システム、多地点接続装置、データ通信方法、プログラム、記録媒体及び通信装置 | |
JP2008278323A (ja) | ネットワークカメラ | |
JP2010028642A (ja) | 画像伝送システム | |
KR0154005B1 (ko) | 시스템 부호화기를 위한 재생시간정보 발생장치 | |
JP2011239009A (ja) | 伝送装置 | |
JP2010233119A (ja) | ビデオエンコーダ装置及び該ビデオエンコーダ装置に用いられる符号化データ出力方法 | |
US10531136B2 (en) | Data processing device, data processing method, and program | |
JP2012109655A (ja) | メディア受信装置 | |
JP2008153945A (ja) | 映像/音声同期化装置 | |
JP6229597B2 (ja) | データ復号装置及びデータ復号方法 | |
JP6335775B2 (ja) | メディア受信装置 | |
JP2005027007A (ja) | データ伝送装置 | |
JP2005142612A (ja) | 画像符号化装置及び画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5741064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |