JP2018117259A - オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 - Google Patents
オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 Download PDFInfo
- Publication number
- JP2018117259A JP2018117259A JP2017007242A JP2017007242A JP2018117259A JP 2018117259 A JP2018117259 A JP 2018117259A JP 2017007242 A JP2017007242 A JP 2017007242A JP 2017007242 A JP2017007242 A JP 2017007242A JP 2018117259 A JP2018117259 A JP 2018117259A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- image
- streaming
- control module
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001360 synchronised effect Effects 0.000 title claims description 12
- 238000012546 transfer Methods 0.000 claims abstract description 17
- 239000000872 buffer Substances 0.000 claims description 33
- 238000004806 packaging method and process Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 10
- 101001059353 Homo sapiens Methionyl-tRNA formyltransferase, mitochondrial Proteins 0.000 claims 1
- 102100028928 Methionyl-tRNA formyltransferase, mitochondrial Human genes 0.000 claims 1
- 230000000737 periodic effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明に係る実施例の目的、技術上の解決策及び利点をもっと明らかにするために、以下本発明の実施例における図面を参照して、本発明の実施例における技術上の解決策をはっきり且つ十分に説明する。説明した実施例は全部の実施例ではなく、本発明の一部の実施例にすぎないことは明らかである。本発明における実施例に基づいて一般の当業者が容易に想到し得るすべての他の実施例は本発明の保護範囲に属している。
1 音声制御モジュール
2 画像制御モジュール
3 使用者の携帯電話
4 ストリーミング制御モジュール
5 ストリーミングサーバ
6 ストリーミングサーバグループ
7 ストリーミングサーバ
11 音声緩衝領域
12 音声コーダ
13 音声データ緩衝領域
21 画像緩衝領域
22 画像データ緩衝領域
31 サウンドチップ
32 ビデオチップ
S01〜S17 ステップフロー
Claims (10)
- オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法であって、
音声制御モジュールを通じて音声同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のサウンドチップから符号化された音声データを獲得し、符号化プログラムに対応する音声符号化パラメーターを獲得し、前記音声制御モジュールが複数の異なったストリーミングサーバに対して前記符号化された音声データを一時的に記憶するステップと、
前記音声制御モジュールを通じて音声校正プログラムを実行し、音声コーダの固定出力フレームレートに基づいて前記一時的に記憶された符号化音声データに対してタイムスタンプ校正を行うステップと、
画像制御モジュールを通じて画像同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のビデオチップから符号化された画像データを直接に獲得し、符号化プログラムに対応する画像符号化パラメーターを獲得し、前記画像制御モジュールが複数の異なったストリーミングサーバに対して前記符号化された画像データを一時的に記憶するステップと、
前記画像制御モジュールを通じて画像校正プログラムを実行し、前記ストリーミングサーバそれぞれの実際受取り時間に基づいて前記一時的に記憶された符号化音声データに対してタイムスタンプ校正を行うステップと、
ストリーミング制御モジュールを通じて、オーディオビデオストリームよりも先に前記ストリーミングサーバそれぞれに転送されなければならない画像と音声の記述パラメーターを作成するステップと、
前記ストリーミング制御モジュールを通じて、前記異なったストリーミングサーバそれぞれに対して接続を認証するステップと、
前記ストリーミング制御モジュールが選択的に情報パッケージングフォーマットを通じて前記音声符号化パラメーターをタイムスタンプ校正後の前記符号化された音声データに入れ、パッケージ化によって複数の音声ストリームパケットを生成するステップと、
前記ストリーミング制御モジュールが選択的に前記情報パッケージングフォーマットを通じて前記画像符号化パラメーターをタイムスタンプ校正後の前記符号化された画像データに入れ、パッケージ化によって複数の画像ストリームパケットを生成するステップと、及び
前記ストリーミング制御モジュールが先に前記画像と音声の記述パラメーターを前記ストリーミングサーバそれぞれに転送し、前記ストリーミングサーバそれぞれに対してパッケージ化した前記音声ストリームパケットそれぞれ及び前記画像ストリームパケットそれぞれを順番にかつ同時に前記ストリーミングサーバそれぞれに転送し、前記ストリーミングサーバそれぞれに対して一対多オーディオビデオストリーミングを実施するステップと
を含む、オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。 - 前記音声同期化プログラムが少なくとも、
前記音声制御モジュールが携帯端末のサウンドチップから生の音声データを直接に取り込み、取り込まれた生の音声データを音声緩衝領域に入力するステップと、
前記音声制御モジュールが予め設定された音声関連パラメーターを当て嵌め、音声コーダの設定を行うステップと、
前記音声制御モジュールが音声符号受取りスレッドに基づいて、設定後の音声コーダのハードウェア抽象化レイヤーを通じて、出力待ち行列から、音声緩衝領域に格納された生の音声データを音声コーダによって符号化した前記符号化音声データを獲得し、該符号化音声データを複数のストリーミングサーバのために設置された複数の音声データ緩衝領域にそれぞれ転送するステップと、及び
前記音声制御モジュールが前記符号化音声データ及び前記符号化音声データを音声コーダによって符号化した時に当て嵌められた前記音声符号化パラメーターを記録するステップと
を含む、請求項1に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。 - 前記画像同期化プログラムが少なくとも、
前記画像制御モジュールが予め設定された画像関連パラメーターを当て嵌め、画像コーダの設定を行うステップ、
前記画像制御モジュールが画像符号受取りスレッドに基づいて、携帯端末のビデオチップのハードウェア抽象化レイヤーを通じて、出力待ち行列から、前記符号化された画像データを直接に獲得するステップ、
前記画像制御モジュールが前記符号化された画像データを画像緩衝領域に入力するステップ、
前記画像制御モジュールが、前記符号化された画像データを画像コーダによって符号化した時に当て嵌められた前記画像符号化パラメーターを記録するステップ、及び
前記画像制御モジュールが画像緩衝領域における前記符号化された画像データを複数のストリーミングサーバために設置された複数の画像データ緩衝領域に転送するステップ
を含む、請求項1に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。 - 前記情報パッケージングフォーマットの種類が少なくとも、
パケットのタイムスタンプ、情報長さ、情報種類ID、情報ストリーミングIDなどより成り、パケットがストリームの中の一つの独立した情報であることを示すFMT0メッセージヘッダー、
パケットが同一のストリームの中の情報であることを示すFMT1メッセージヘッダー、
パケットが同一のストリームの中の情報であり、且つデータ内容の種類及び大きさが前の情報と同じであることを示すFMT2メッセージヘッダー、及び
パケットが多数の部分に分割されて分送された同一の情報であり、後のパケットを第一部分の情報のフォーマットで複号化し得ることを示すFMT3メッセージヘッダー
を含む、請求項1に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。 - 前記音声符号受取りスレッドの優先度が一般のスレッドより高いことによって、前記音声制御モジュールに前記音声符号受取りスレッドを通じて生の音声データを音声緩衝領域に連続的に入力させる、請求項2に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
- 前記音声関連パラメーターは、符号化に用いられた音声フォーマット、音声サンプリング周波数、音声チャネル数又は音声符号化ビットレートより選ばれる一つ又は二つ以上の組み合わせである、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
- 前記音声符号化パラメーターは、符号化に用いられた音声フォーマット、音声サンプリング周波数又は音声チャネル数より選ばれる一つ又は二つ以上の組み合わせを含むASC(Audio Specific Config)パラメーターである、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
- 前記画像関連パラメーターは、画像符号化に要するVCEG(Video Coding Experts Group)画像符号化標準パラメーターであり、画像幅、画像高さ、画像符号化フレームレート(Frame per Second, FPS)、画像のピクチャグループ(Group of Pictures, GOP)、画像符号化ビットレート又は画像符号化フォーマットより選ばれる一つ又は二つ以上の組み合わせを含む、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
- 前記画像符号化パラメーターはSPS(Sequence Parameter Set)とPPS(Picture Parameter Set)パラメーターであり、符号化に用いられた画像フォーマット、符号化の画像フォーマットレベル、符号化画像の長さと幅、非ブロック化(Deblock)フィルターの種類より選ばれる一つ又は二つ以上の組み合わせを含む、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
- 前記画像と音声の記述パラメーターは前記画像関連パラメーター、前記画像符号化パラメーター、前記音声関連パラメーター及び前記音声符号化パラメーターを含む、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007242A JP6377784B2 (ja) | 2017-01-19 | 2017-01-19 | オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007242A JP6377784B2 (ja) | 2017-01-19 | 2017-01-19 | オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018117259A true JP2018117259A (ja) | 2018-07-26 |
JP6377784B2 JP6377784B2 (ja) | 2018-08-22 |
Family
ID=62984439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007242A Active JP6377784B2 (ja) | 2017-01-19 | 2017-01-19 | オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6377784B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109246441A (zh) * | 2018-09-30 | 2019-01-18 | 武汉斗鱼网络科技有限公司 | 精彩时刻视频自动生成方法、存储介质、设备及系统 |
CN109889922A (zh) * | 2019-04-12 | 2019-06-14 | 广州视源电子科技股份有限公司 | 流媒体数据的转发方法、装置、设备和存储介质 |
CN112689160A (zh) * | 2020-11-27 | 2021-04-20 | 烟台艾睿光电科技有限公司 | 一种应用于图像采集设备的视频传输方法及装置 |
CN113766215A (zh) * | 2021-09-07 | 2021-12-07 | 中电科航空电子有限公司 | 一种机载客舱旅客广播同步测试方法及系统 |
CN113973213A (zh) * | 2021-09-28 | 2022-01-25 | 上海信宝博通电子商务有限公司 | 远程推流控制方法及装置 |
CN114338843A (zh) * | 2021-12-30 | 2022-04-12 | 咻享智能(深圳)有限公司 | 一种无线通讯协议的智能编码系统 |
CN115119033A (zh) * | 2022-06-23 | 2022-09-27 | 北京字跳网络技术有限公司 | 音画同步方法、装置、存储介质以及电子设备 |
CN116260920A (zh) * | 2023-05-09 | 2023-06-13 | 深圳市谨讯科技有限公司 | 多数据混合控制方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312008A (ja) * | 2007-06-15 | 2008-12-25 | Toshiba Corp | オーディオストリーム処理方法および再生装置と出力装置 |
WO2012166444A2 (en) * | 2011-05-27 | 2012-12-06 | Looxcie, Inc. | Scalable audiovisual streaming method and apparatus |
-
2017
- 2017-01-19 JP JP2017007242A patent/JP6377784B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312008A (ja) * | 2007-06-15 | 2008-12-25 | Toshiba Corp | オーディオストリーム処理方法および再生装置と出力装置 |
WO2012166444A2 (en) * | 2011-05-27 | 2012-12-06 | Looxcie, Inc. | Scalable audiovisual streaming method and apparatus |
Non-Patent Citations (5)
Title |
---|
"「Agility Workgroup」", ビデオΑ, vol. Vol.18, No.7(2002年7月号), JPN6018024578, 1 July 2002 (2002-07-01), JP, pages 第57〜59頁 * |
「TELESTREAM、モバイルライブライブストリーミングアプリケーション WIRECAST GO を発表。IPHONEが生放送, JPN6018004557, 1 September 2015 (2015-09-01) * |
「パワフルで新しいプロダクション能力を備えた TELESTREAM WIRECAST 7 によって手頃な価格でライブストリ, JPN6018004555, 7 June 2016 (2016-06-07) * |
大塚聡史: "「Androidエンジニアからの招待状 第8回 bc10に移植したAndroidでGPSやセンサーを利用する」", SOFTWARE DESIGN, vol. 2010年12月号, JPN6018024579, 18 December 2010 (2010-12-18), JP, pages 第150〜155頁 * |
尾上泰夫: "「ストリーミングビデオ創世記」", ビデオΑ, vol. Vol.17, No.5(2001年5月号), JPN6018024577, 1 May 2001 (2001-05-01), JP, pages 第136〜138頁 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109246441A (zh) * | 2018-09-30 | 2019-01-18 | 武汉斗鱼网络科技有限公司 | 精彩时刻视频自动生成方法、存储介质、设备及系统 |
CN109246441B (zh) * | 2018-09-30 | 2021-03-16 | 武汉斗鱼网络科技有限公司 | 精彩时刻视频自动生成方法、存储介质、设备及系统 |
CN109889922A (zh) * | 2019-04-12 | 2019-06-14 | 广州视源电子科技股份有限公司 | 流媒体数据的转发方法、装置、设备和存储介质 |
CN109889922B (zh) * | 2019-04-12 | 2021-09-24 | 广州视源电子科技股份有限公司 | 流媒体数据的转发方法、装置、设备和存储介质 |
CN112689160A (zh) * | 2020-11-27 | 2021-04-20 | 烟台艾睿光电科技有限公司 | 一种应用于图像采集设备的视频传输方法及装置 |
CN113766215A (zh) * | 2021-09-07 | 2021-12-07 | 中电科航空电子有限公司 | 一种机载客舱旅客广播同步测试方法及系统 |
CN113973213A (zh) * | 2021-09-28 | 2022-01-25 | 上海信宝博通电子商务有限公司 | 远程推流控制方法及装置 |
CN114338843A (zh) * | 2021-12-30 | 2022-04-12 | 咻享智能(深圳)有限公司 | 一种无线通讯协议的智能编码系统 |
CN114338843B (zh) * | 2021-12-30 | 2024-04-02 | 咻享智能(深圳)有限公司 | 一种无线通讯协议的智能编码系统 |
CN115119033A (zh) * | 2022-06-23 | 2022-09-27 | 北京字跳网络技术有限公司 | 音画同步方法、装置、存储介质以及电子设备 |
CN115119033B (zh) * | 2022-06-23 | 2024-02-02 | 北京字跳网络技术有限公司 | 音画同步方法、装置、存储介质以及电子设备 |
CN116260920A (zh) * | 2023-05-09 | 2023-06-13 | 深圳市谨讯科技有限公司 | 多数据混合控制方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6377784B2 (ja) | 2018-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6377784B2 (ja) | オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 | |
US9319738B2 (en) | Multiplexing, synchronizing, and assembling multiple audio/video (A/V) streams in a media gateway | |
WO2018082284A1 (zh) | 3d全景音视频直播系统及音视频采集方法 | |
CN112752115B (zh) | 直播数据传输方法、装置、设备及介质 | |
US20120066711A1 (en) | Virtualized home theater service | |
CN105610824B (zh) | 一种基于屏幕镜像及rtsp流媒体框架的屏幕共享方法 | |
US10177958B2 (en) | Method for synchronously taking audio and video in order to proceed one-to-multi multimedia stream | |
US9153127B2 (en) | Video transmitting apparatus, video receiving apparatus, and video transmission system | |
WO2011004886A1 (ja) | 配信システムと方法とゲートウェイ装置とプログラム | |
WO2008061416A1 (fr) | Procédé et système permettant d'accepter des données media de divers formats de codage | |
JP2007150916A (ja) | コミュニケーションシステム、端末装置及びコンピュータプログラム | |
US11039200B2 (en) | System and method for operating a transmission network | |
US20110088069A1 (en) | Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system | |
WO2011099254A1 (ja) | データ処理装置及びデータ符号化装置 | |
CN108124183B (zh) | 以同步获取影音以进行一对多影音串流的方法 | |
EP3352077A1 (en) | Method for synchronously taking audio and video in order to proceed one-to-multi multimedia stream | |
JP2014131142A (ja) | 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム | |
CN110602065A (zh) | 直播推流方法和装置 | |
TWI600319B (zh) | A method for capturing video and audio simultaneously for one-to-many video streaming | |
CN112073727B (zh) | 转码方法、装置、电子设备及存储介质 | |
CN110087020B (zh) | 一种iOS设备进行视联网会议的实现方法及系统 | |
CN107248991B (zh) | 基于视频关键帧的ip流调度系统及方法 | |
KR101337222B1 (ko) | 휴대용 방송 장치 및 이를 이용한 원격 방송 시스템 | |
US20240267421A1 (en) | Signaling media timing information from a media application to a network element | |
CN115209230A (zh) | 一种基于rtmp协议的实时视频传输的实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6377784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |