JP2018117259A - オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 - Google Patents

Abstract

【課題】 本発明は一対多オーディオビデオストリーミング方法に関し、主に携帯端末の画像と音声のチップセットに対してそれぞれ画像と音声の情報源を取り込み、改めて関連信号源データを解析し、そして画像と音声のデータについてタイムスタンプ校正を行い、出力された画像と音声を同期化することによって、ストリーミング復号化端サーバの音声又は画像時間軸非同期よる相性問題を解決する。【解決手段】 本発明によれば、携帯端末を通じて画像と音声を取り込む時に、ffmpegオープンソースコードキットを通じて形式変換を行う必要がなく、携帯電話における中央処理装置の計算量及び電力消費を大幅に低減して、一つの携帯端末の多数のオーディオビデオストリーミングサーバに対するリアルタイムオーディオビデオ転送を同時に行うことができる。【選択図】 図2

Description

本発明はオーディオビデオストリーミング処理の技術分野に属し、特に携帯電話の画像と音声のハードウェア情報源を同期的に取り込んで、さらに一つのオーディオビデオ情報源の多数の異なったオーディオビデオサーバに対するストリーム同時転送を達成する。

科学技術の日進月歩及びネットワーク時代の情報需求に応じて、マルチメディアと通信転送に係る技術が盛んに発展しつつある。数年前僅か少数の選択可能なネットワーク実時間オーディオビデオ転送又は直接放送サービスしかないが、現在非常に普遍的なインターネット応用になっている。従って、このようなサービスに要する技術もインターネットサービスを提供する業者たちの奪い合うものであることは言うまでもない。

最も伝統的なオーディオビデオ取込技術において、でかくて持ち歩きにくいカメラを通じて、予め定められた撮影場所で特定目標の撮影を行う。次いで、スタジオに戻って、撮られたファイルをコンピューターで整理圧縮して、引き続き対応したネットワークメディアプラットフォームにアップロードして、使用者がネットワーク上で撮影した画面を閲覧するのを可能にする。このような撮影の過程がたいへん繁雑で、専門撮影設備が高価で、一般の使用者はその費用を負担し難い。

科学技術の発展につれて、今のハードウェア技術と既述の最も伝統的なオーディオビデオ取込技術とを同列に論じることはできない。近年、スマートフォン又はタブレットなど一般使用者が持ち歩いて使用し易い携帯端末はブームになっていて、それらのオーディオビデオに対する撮影記録機能はたいてい十分な解像度のある且つ滑らかな内容を取り込むことができて、その上無線ネットワークはどこでも利用できて、使用者は煩わしい手続きなしにそれらの携帯端末で獲得したオーディオビデオ内容をメディアサーバ又はプラットフォームにアップロードできる。故に、プラットフォームの使用者はもっと速い速度で実時間のオーディオビデオ内容を獲得できて、このオーディオビデオ技術は伝統的な技術に比べて重大なブレークスルーを収めることは明らかである。

しかしながら、上記の一般使用者の携帯端末によるオーディオビデオストリーミングの技術は未だに多くの状況に限定されて、完全にというわけではない。まず、現在のスマートフォン又はタブレットのような携帯端末はネットワークと一組のリアルタイムメッセージングプロトコル(RTMP)サーバを通じて実時間オーディオビデオストリームを転送するものである。上記のオーディオビデオストリーミング機能を達成するために、携帯端末のほとんどにはffmpegオープンソースコードコアで開発した一組のオーディオビデオストリーミング応用プログラムがインストールされていて、このようなオーディオビデオストリーミング応用プログラムは先に装置における画像と音声の生データを獲得して、引き続きそれらの画像と音声をディジタル形式に変換圧縮する。このようにして、獲得した画像と音声のデータをRTMPサーバに要するディジタルストリーミングフォーマットに合わせることができる。

しかし、このようなオーディオビデオストリーミング技術は、数多いオーディオビデオデータを圧縮変換する過程を経なければならないので、処理機器の中央処理装置とメモリーに極めて大きな負荷をかけて、特に携帯端末の中央処理装置とメモリーの機能はもっと限定を受けて、直接放送を負うオーディオビデオデータ処理はもっと大きな試練を受ける。また、上記の応用プログラムを開発するためのffmpeg開発キットは、プログラムコードの数が相対的に膨大で、開発キットそのものには多種の複雑な機能が存在しているので、実行されると、一般には装置上で同時に、効能を大量に消費する項目をいくつか起動させて、携帯端末の中央処理装置の負荷をもっと大きくして、さらに携帯端末の電力消費の急増をもたらす。

ffmpegキットを採用すると上記の問題が発生することが分かっているので、長い間、上記の技術によってオーディオビデオストリーミングを実施すると、同時に一つの携帯端末の一つのRTMPサーバに対するオーディオビデオストリーミングしか行えない。オーディオビデオストリームを別のRTMPサーバにアップロードしようとすると、同一のステップを繰り返して行わなければならず、このような実施プロセスの下に多数のRTMPサーバの間のオーディオビデオストリームデータの実時間同期化を行えないことは明らかである。これで分かるように、前述の技術手段によって一つの携帯端末の多数のRTMPサーバに対する多重ストリーミングを同時に実施するのは実現できない任務である。

以上をまとめると、既知技術の中に、携帯端末などによって実時間同期オーディオビデオストリーム放送を行う技術について未だに若干の問題があり、当業者の一層の検討と開発を待たなければならないことがわかる。

このために、本出願の発明者は技術を改良する方法を考え、緻密な研究と計算並びに長期の開発と実践を経て、ついに本発明をなすに至った。すなわち、オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法である。

本発明の主要な目的は、オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法を提供することである。これによって、使用者は僅か一つの携帯端末を通じて、多数のRTMPサーバに対するオーディオビデオデータの同時多重ストリーミングを実現でき、オーディオビデオデータを一回アップロードするだけで、他の使用者は異なったマルチメディア放送プラットフォームで同じオーディオビデオ内容の視聴を実時間且つ同期的に行うことができる。

本発明の技術的な手段は、主にオーディオビデオ情報源を採取する分離式のスレッド処理構造を提供する。その実施方法は、一つの音声制御モジュールと一つの画像制御モジュールでスマートフォン、タブレットのような携帯端末のオーディオビデオハードウェアのハードウェア抽象化レイヤー(Hardware Abstraction Layer)によって、それぞれ画像データ(H.26x)と符号化されていない音声データを獲得するものである。

採用したオーディオビデオ晶片モジュールはメーカーの生産した携帯端末によって異なっている。故に本発明の音声制御モジュールと画像制御モジュールは、各自が取り込んだオーディオビデオデータに含まれる不規則なタイムスタンプ(Timestamp)に対して校正を行って、異なった晶片に対応して、異なったタイムスタンプのオーディオビデオデータを時間軸が完全に同期であるオーディオビデオデータに統合しなければならない。

なお、画像と音声の情報を異なったストリーミングサーバに同時に分送することを達成するために、本発明は音声制御モジュールを介して音声コーダに対して特別の設定を行わなければならないが、多数の組の異なったストリーミングサーバに向かって送信を行おうとしても、本発明の方法において一組の音声コーダに対して初期化設定を行うだけで、プロセス全体の作業負担を合理的に減少することができる。

そして、中央処理装置の効能の節約及びメモリーの利用の最大化を達成するために、本発明の画像制御モジュールと音声制御モジュールは異なったストリーミングサーバに対して同じハードウェア符号器によって符号化を行うが、異なったストリーミングサーバに対してストリームを転送する前に複数の互いに独立したオーディオビデオ緩衝領域を指定しデータを記憶してよい。このようにして、過多な符号器が同時に稼働してシステムの効能をだめにするのを避ける一方、異なったストリームデータパケットを転送する時にその中の一つのサーバの故障によりパケットの転送が互いに影響するのを防止する。

本発明の目的を達成するために、本発明の方法において使用者の指定した異なったサーバウェブアドレス及び各自のキーにより、画像と音声のデータをそれぞれ同時に異なったストリーミングサーバに転送して放送を行う。ファイアーウォールを越えてデータを分送することを達成するために、異なったポートを動作可能にしデータを転送してもよい。本発明において、ふさがりによるデータ転送損失を避けるために、一つのストリーミング制御モジュールによって転送を開始する時に異なったストリーミングサーバについて個別的なSocket緩衝領域を設置して、異なったストリーミングサーバ需求により独立したスレッドを起動させる。このようにしてパケットの転送を行うと、データ処理量の最大化を達成することができる。

最後に、本発明の音声制御モジュール及び画像制御モジュールは、符号化された画像又は音声のデータを受信した時に、データ解析を行って、データ内容によりフォーマットを判断した後、情報をファイルヘッダーに入れてパッケージ化して統一的なストリーミングフォーマットにして、次にストリーミング制御モジュールは、異なったストリーミングサーバが専有する転送パケットスレッドを起動させて、パケットを予め作成された転送緩衝待ち行列に入れて、一つの装置の多数のサーバに対する同期転送プログラムの開始を待つ。

詳しくは、本発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミング方法は主に下記のステップを含む。

一方は音声取込部分である。まず、一つの音声制御モジュールを通じて一つの音声同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のサウンドチップから符号化された音声データを獲得し、符号化プログラムに対応する一つの音声符号化パラメーターを獲得する。該音声制御モジュールは複数の異なったストリーミングサーバについて上記符号化された音声データを一時的に記憶する。引き続き該音声制御モジュールを通じて一つの音声校正プログラムを実行し、音声コーダの固定出力フレームレートにより一時的に記憶された該符号化音声データに対してタイムスタンプ校正を行う。

もう一方は画像取込部分である。まず、一つの画像制御モジュールを通じて一つの画像同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のビデオチップから符号化された画像データを直接に獲得し、符号化プログラムに対応する一つの画像符号化パラメーターを獲得する。該画像制御モジュールは複数の異なったストリーミングサーバについて該符号化された画像データを一時的に記憶する。引き続き該画像制御モジュールを通じて一つの画像校正プログラムを実行し、上記ストリーミングサーバそれぞれの実際受取り時間に基づいて一時的に記憶された該符号化画像データに対してタイムスタンプ校正を行う。

上記の音声取込部分と画像取込部分を同時に行うことができる。

次いで、本発明は、一つのストリーミング制御モジュールを通じて、オーディオビデオストリームより先に上記ストリーミングサーバそれぞれに転送されなければならない画像と音声の記述パラメーターを作成し、該ストリーミング制御モジュールを通じて異なった上記ストリーミングサーバそれぞれに対して接続を認証する。

該ストリーミング制御モジュールは選択的に一つの情報パッケージングフォーマットを通じて、該音声符号化パラメーターをタイムスタンプ校正後の該符号化された音声データに入れ、パッケージ化によって複数の音声ストリームパケットを生成する。それに対して、該ストリーミング制御モジュールも選択的に該情報パッケージングフォーマットを通じて該画像符号化パラメーターをタイムスタンプ校正後の該符号化された画像データに入れ、パッケージ化によって複数の画像ストリームパケットを生成する。

最後に、該ストリーミング制御モジュールは先に該画像と音声の記述パラメーターを上記ストリーミングサーバそれぞれに転送し、上記ストリーミングサーバそれぞれについてパッケージ化した上記音声ストリームパケットそれぞれ及び上記画像ストリームパケットそれぞれを順番に上記ストリーミングサーバそれぞれに同時に転送し、上記ストリーミングサーバそれぞれに対して一対多オーディオビデオストリーミングを実施する。

以上をまとめると、本発明は上記のプログラム及びモジュールを通じて、一つの携帯端末のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法であることが分かっている。

この発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミングの方法のモジュール模式図。 この発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミングの方法のモジュール模式図。 この発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミングの方法のモジュール模式図。

＜実施例＞
本発明に係る実施例の目的、技術上の解決策及び利点をもっと明らかにするために、以下本発明の実施例における図面を参照して、本発明の実施例における技術上の解決策をはっきり且つ十分に説明する。説明した実施例は全部の実施例ではなく、本発明の一部の実施例にすぎないことは明らかである。本発明における実施例に基づいて一般の当業者が容易に想到し得るすべての他の実施例は本発明の保護範囲に属している。

図1によれば、本発明が提供したオーディオビデオ同期取込による一対多オーディオビデオストリーミング方法は図1におけるモジュールによって実施されるものであって、その概要は以下のとおりである。

本発明において、使用者Aは使用者携帯電話3でオーディオビデオデータをアップロードする時に、一つの音声制御モジュール1を通じて、使用者携帯電話3におけるサウンドチップ31のハードウェア抽象化レイヤーから符号化されていない生の音声データを獲得し、音声緩衝領域11に入力する。次いで、獲得された生の音声データは予め設定された音声コーダ12によって符号化され出力される時に、音声制御モジュール1は出力待ち行列から符号化された音声データを獲得し、音声制御モジュール1は符号化された音声データを整理して異なったストリーミングサーバにそれぞれ対応する複数の音声データ緩衝領域13に入力し、音声制御モジュール1も一斉に、音声コーダ12が符号化時に使用した対応する音声符号化パラメーターを記録する。

また、音声獲得プロシジャと同時に、本発明は一つの画像制御モジュール2を通じて、使用者携帯電話3におけるビデオチップ32のハードウェア抽象化レイヤー出力待ち行列から符号化された画像データを獲得し、画像緩衝領域に入力しる。画像制御モジュール2は符号化された画像データを整理し、符号化時に使用した対応する画像符号化パラメーターを記録し、符号化された画像データを異なったストリーミングサーバにそれぞれ対応する複数の画像データ緩衝領域22に入力する。

次いで、この実施例において、本発明は一つのストリーミング制御モジュール4を通じて三組の異なったストリーミングサーバ、つまり、ストリーミングサーバ5、ストリーミングサーバ6及びストリーミングサーバ7に対して連結を確立し、音声制御モジュール1と画像制御モジュール2のストリーミングサーバ5、ストリーミングサーバ6及びストリーミングサーバ7それぞれに対応する校正・パッケージ化後のオーディオビデオストリームパケットを同期的に分送し、本発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミング方法を完成する。

なお、本発明の図2は本発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミング方法のステップフロー図であり、その説明は以下のとおりである。

ステップS01、開始ステップ。

本発明の方法において、携帯端末の中央処理装置(CPU)とグラフィック・プロセッシング・ユニット(GPU)とのストリーミング過程における好適な使用効率とバランスを達成するために、携帯端末ハードウェアから生成された画像と音声をそれぞれ二つの専属スレッド、すなわち、符号受取りスレッド及びストリームパッケージ化スレッドで処理する必要がある。

その中、符号受取りスレッドは、オーディオビデオハードウェアのハードウェア抽象化レイヤーからデータを獲得し、特定のデータ緩衝領域に格納するものである；ストリームパッケージ化スレッドは、データ緩衝領域からデータを取り出し、パッケージ化してストリーミングフォーマットにした後に出力するものである。それぞれ上記の二つの専属スレッドで画像と音声を処理すると、以下の利点がある：(a)分けて二つのスレッドに属して処理すると、応用プログラムが過多な時間を費やしてハードウェア抽象化レイヤーのデータの獲得を待って、すぐに特定の緩衝領域内のデータをパッケージ化して送り出すことができない状況が避けられる；(b)もう一方、ネットワーク接続状況が悪い時に、応用プログラムはパッケージ化後のストリームデータの転送に忙しくて、この時にハードウェア抽象化レイヤーからデータを獲得する動作がよく遅延する。

上記の二種類の状況が発生すると、不連続な画像又は音声のデータ、ひいては応用プログラムの崩れをもたらす恐れがある。故に本発明は専属スレッドで画像と音声をそれぞれ処理することによって、画像と音声との間の相互影響による不安定と過重な負荷を避けて、装置のハードウェア効能を節約して、作業システムの安定性を維持できる。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS02、音声制御モジュールを通じて符号化されていない生の音声データを獲得する。

音声取込の点で、異なったストリーミングサーバの間の需求に応じて音声制御モジュールを別途に設定する必要がないので、本発明の音声制御モジュールは、プログラム全体を起動させる時に、ストリーミングサーバの共用音声ソース関連属性である音声関連パラメーターを一回設定するだけでよい。パラメーター内容は以下を含むことができる：サンプリングレート（Sample Rate）、サンプリングチャネル個数（Stereo/Mono）、音声取込のチャネルソース（例えば、マイク又は他の装置）、音声データのビット数（8 bit又は16 bit）など。音声情報が符号化過程において損失すると、視聴者は視聴時に著しく不連続な音声を聞く。そのため、本発明の音声制御モジュールは音声情報に対してデータ緩衝領域を別途に設立し、取り込んだ音声データを一時的に記憶しておく；また、取り込んだ音声データを連続的に音声コーダに提供できるために、本発明は音声データ取込のスレッドを行って、その優先権が他の一般のスレッドより高いように設定し、音声取込作業は他のスレッドに中断されることを避け、作業システムがスレッドのスケジューリングを行った時に中央処理装置は音声データの取込に多くの時間を割くことができる。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS03、音声コーダに対して音声関連パラメーターの設定を行う。

本発明の音声制御モジュールは先に音声コーダの音声関連パラメーターを設定し、該音声関連パラメーターは以下の内容を含んでいる：音声コーダが使用した符号化フォーマット（Profile）、音声符号化のサンプリングレート（Sample Rate）、音声符号化時に取ったサウンドトラックの数（モノラル又はステレオ）、音声符号化ビットレート。音声制御モジュールはこの設定値を音声コーダに当て嵌めて、音声コーダを起動させて符号化過程を行う。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS04、符号化された音声データを獲得する。

本発明の音声制御モジュールは音声符号受取りスレッドを確立し、符号器に符号化された音声データを獲得する前に、まずシンクロロック機構を通じて、符号化されていない生の音声データがすでに音声緩衝領域に格納されていることを確認する。確認が完成すれば、音声コーダのハードウェア出力層によって出力待ち行列の符号化音声データを獲得し、異なったストリーミングサーバの個別スレッドに対応する音声データ緩衝領域に分送する。音声制御モジュールは音声データのデータ量の大きさを記録し、不要な音声メッセージヘッダーを取り除き、実際に必要な音声データだけを取り、出力音声ストリームパケットのスレッドが順番に取り出して使用することを待つ。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS05、符号化された音声データ及び符号化時の音声関連パラメーターを整理して記録する。

音声コーダの音声符号化プログラムを起動させた後、音声制御モジュールは、この度の音声符号化プログラムについて生成されて後端復号器の参考として用いられるASC（Audio Specific Config）情報を獲得できる。該ASCパラメーターはこの度の音声符号化プログラムが利用した音声フォーマット、音声サンプリング周波数又は音声チャネル数などを記述するものである。該パラメーターは退避されなければならず、後ほど音声データパケットストリームの転送を開始する時に転送される一番目の音声パケットとして復号化端の複号化時の参考に供することができる。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS06、符号化された音声データのタイムスタンプ校正補償を行う。

本発明の音声制御モジュールは専属の音声緩衝領域から符号化された音声データを取り出して、タイムスタンプ校正を行う。音声コーダは毎秒固定フレームレートの出力を採取するので、音声データを受取った時のシステム時間はタイムスタンプ（Timestamp）として使用されると、復号化端のサーバはこのタイムスタンプに基づいて複号化を行った結果、不連続な音声を聞く。そのため、音声のタイムスタンプを記録する時に、本発明は、音声コーダの出力フレームレートが固定しているという特性を利用して、フレームとフレームとの間の時間間隔を計算して、それに現在の累計フレーム数を乗じて、実時間の音声タイムスタンプ値を得る。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS07、画像コーダに対して画像関連パラメーターの設定を行う。

本発明の画像制御モジュールは画像符号化時に要する画像パラメーター、すなわち、画像関連パラメーターがあるように予め設定される。該画像関連パラメーターの内容は以下を含むことができる：画像幅、画像高さ、画像符号化フレームレート（Frame per Second, FPS）、画像のピクチャグループ（Group of Pictures, GOP）、画像符号化ビットレート、画像符号化フォーマットなど。画像制御モジュールは該画像関連パラメーターで画像取込ソースと画像コーダとの間の関連を確立することによって、画像コーダは画像符号化プログラムを開始できる。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS08、画像制御モジュールを通じて符号化された画像データを獲得する。

ステップS07を経た後、本発明の画像制御モジュールは画像取込用の一つの画像符号受取りスレッドを確立する。本発明の画像制御モジュールはまず、画像コーダの符号出力待ち行列に符号化された画像データがあるか否かを検査する。該データがあると、画像制御モジュールは画像コーダのハードウェア抽象化レイヤーを通じて実時間の符号化画像データを獲得する。画像制御モジュールは符号化された画像データの大きさ、画像がキーフレーム（I-frame）であるか否か、画像データのタイムスタンプを別途に記録してもよく、又は不要な画像メッセージヘッダーを取り除き、実際に必要な符号化データだけを残す。引き続き画像制御モジュールは符号化された画像データ及びこれらの情報を専属画像緩衝領域に格納する。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS09、符号化された画像データ及び符号化時の画像符号化パラメーターを整理して記録する。

画像コーダが画像符号化を起動させる後、本発明の画像制御モジュールはこの度の画像符号化プログラムが生成したSPS（Sequence Parameter Set）とPPS（Picture Parameter Set）パラメーターを獲得できる。パラメーター内容は符号化に用いられた画像フォーマット、符号化画像フォーマットレベル、符号化画像の長さと幅、非ブロック化(Deblock)フィルターの種類などの情報を含んでいる；上記の二つのパラメーターは退避されなければならず、後ほど画像データパケットのストリームを転送する時に、外に転送される一番目の画像パケットにパッケージ化することによって、初期化画像復号器を記述するための情報パラメーターを復号化端に提供できる。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS10、符号化された画像データのタイムスタンプ校正補償を行う。

本発明の画像制御モジュールは、情報を分送しようとする異なったストリーミングサーバにより専属の画像緩衝領域から符号化画像データを取り出し、次いで異なったストリーミングサーバの個別スレッドの画像データ緩衝領域に分送する。しかし、各携帯端末の使用した画像コーダの形態は異なっている可能性がある。その中、若干の画像コーダは固定フレームレート（FPS）出力を採用せず、現在実行されているプログラムに従って符号化出力のフレームレートを変更するので、画像データのタイムスタンプ（Timestamp）を記録する時に、固定した時間間隔で計算を行うと、視聴者にとって画像は不連続であり、或いは速くなったかと思えば急に遅くなるという状況が発生する。そのため、本発明の画像制御モジュールは符号化画像データが使用したタイムスタンプを有し、状況に応じて実際に符号化画像データを受取った時間に変更することによって、時間を校正して画像を連続化できる。

このステップを行うプログラムコードの範例は以下のとおりである：

次に、本発明の図3は図2に次ぐ本発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミング方法のステップフロー図である。

ステップS11、画像と音声の記述パラメーターを統合して作成する。

ストリーミングプロトコルを確立した後、画像パラメーターパケットと音声パラメーターパケットを転送する前に、本発明のストリーミング制御モジュールは先にこの度のストリーミングが転送しようとする画像と音声の記述パラメーター（Metadata）を転送しなければならない。その中、パラメーター内容は画像幅（Width）、画像高さ（Height）、画像データ量（Video Data Rate）、画像フレームレート（Frame Rate）、画像符号化フォーマット（Video Codec Id）、符号化音声データ量（Audio Data Rate）、音声サンプリングレート（Audio Sample Rate）、音声サンプリング数（Audio Sample Size）、音声チャネル数（Audio Channels）、音声はモノラル(Mono)又はステレオ（Stereo）であること、音声符号化フォーマット（Audio Codec Id）を含んでいる。これらの情報は画像符号化と音声符号化を確立した時にすでに得られていて、すなわち、音声符号化パラメーター及び画像符号化パラメーターである。ストリーミング制御モジュールが画像又は音声のパケットを送り出す前に、上記の画像と音声の記述パラメーターは先に送り出されなければならず、ストリームを作成する時の復号化端の参考に供する。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS12、符号化された音声データの検査と標記を行う。

ストリーミング制御モジュールが音声データ緩衝領域内の校正された符号化音声データをストリームデータにパッケージ化する前に、符号化音声データのサンプリングレート、ステレオ又はモノラル、音声ビット数又は音声符号化フォーマットを予め確認する必要がある。パッケージ化の時に、ストリーミング制御モジュールはストリームデータの中にこれらの情報の標記を行わなければならず、複号化サーバ端の複号化の参考に供する。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS13、符号化された画像データの検査と標記を行う。

ストリーミング制御モジュールが画像データ緩衝領域内の校正された符号化画像データをストリームデータにパッケージ化する前に、まず、画像フレームはキーフレーム（I-Frame）であるか否か、SPS又はPPSパケットであるか否か、画像コーダの符号化フォーマットなどの関連情報を検査する必要がある。パッケージ化の時に、ストリーミング制御モジュールはストリームデータの中にこれらの情報の標記を行うことによって、復号化端はこれらのデータ配置に要する画像複号化資源に基づいて複号化を行う。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS14、サーバストリーミング接続を設定する。

本発明のストリーミング制御モジュールは異なったストリーミングサーバに対して接続の初期設定を行う。まず、接続状態にあるSocketを初期化し、接続時に要する資源を分配し、引き続きストリーミングサーバのウェブアドレス、ポート及びキーを設定し、次いでストリーミング制御モジュールとストリーミングサーバとの間の接続を起動させ、接続状態を認証段階に設定する。双方のハンドシェーク(Handshake)認証機構によって確認を行った後、転送時のパラメーターを設定する。例えば、最大情報パケット大きさ(chunk size)又は帯域幅(Bandwidth)。これでストリーミング接続の初期設定が完成し、ストリーミング制御モジュールは後ほど接続状態をデータ転送可能な段階に変更する。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS15、データをパッケージ化する。

ストリームパケットを転送する時に、特定フォーマットのメッセージヘッダー(Message Header)によって復号化端の解析を行う必要がある。因ってストリーミング制御モジュールは現在に処理されているストリームデータの内容により、どの種類のメッセージヘッダーを選択してデータのパッケージ化を行うかを判断する。現在使用可能なヘッダーは下記の四種類のフォーマット（Format=0、1、2、3）を含んでいる。

フォーマット0(FMT0)のメッセージヘッダーの長さは11バイトであり、タイムスタンプ差値（3bytes）、情報長さ（3bytes）、情報種類ID（1bytes）、情報ストリーミングID（4bytes）などを含むことができ、このパケットがストリーム中の一つの独立した情報であることを表す。

フォーマット1(FMT1)のメッセージヘッダーの長さは7バイトであり、タイムスタンプ差値（3bytes）、情報長さ（3bytes）及び情報種類ID（1bytes）を含むことができ、情報ストリーミングIDは取り除かれ、このパケットが同一のストリーム中の情報であることを表す。

フォーマット2(FMT2)のメッセージヘッダーの長さは3バイトであり、タイムスタンプ差値（3bytes）を含むことができ、情報長さ、情報種類ID、情報ストリーミングIDなどは取り除かれ、このパケットが同一のストリーム中の情報であり且つデータ種類及び大きさが前の情報と同じであることを表す。

フォーマット3(FMT3)のメッセージヘッダーの長さは0バイトであり、このようなメッセージヘッダーは、一つの情報が多数の部分に分割されて分送され、後のデータは復号化端に第一部分の情報のタイムスタンプ差値、情報長さ、情報種類ID及び情報ストリーミングIDをそのまま使用できることを表す。

ストリーミング制御モジュールは画像と音声の記述パラメーターから校正されたタイムスタンプ及びデータ大きさなどを獲得し、そしてこれらの情報に基づいて一般のストリームパケットフォーマットのメッセージヘッダーを確立し（例えば、HEADER FORMAT（0）、CHUNK STREAM ID（3）、DATA MESSAGE TYPE ID（18））、得られたタイムスタンプ差値及びデータ大きさをパケットのメッセージヘッダーに入れ、そして転送しようとするデータをメッセージヘッダーの後に接ぎ、データストリームパケットの確立が完成する。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS16、符号化された音声データのストリームパッケージ化を行う。

符号化された音声データは音声制御モジュールでスレッドの専属音声データ緩衝領域に送り込まれ、次いでストリーミング制御モジュールがスレッドによりデータ内容を解析してタイムスタンプ及びデータ大きさを獲得し、前回の音声データパケットのタイムスタンプから今回の音声データパケットのタイムスタンプを減算し、差値を獲得する。そして、ストリーミング制御モジュールは得られた情報に基づいて音声ストリームパケットフォーマットに対応するメッセージヘッダー（例えば、HEADER FORMAT（0〜3）、CHUNK STREAM ID（4）、AUDIO MESSAGE TYPE ID（8））を選択的に確立し、解析によって得られたタイムスタンプ差値、データ大きさなどと一緒に、パケットのメッセージヘッダーに入れる。そして音声データをメッセージヘッダーの後に置いて、音声ストリームパケットの確立が完成する。音声部分はデータ量が相対的に小さくて、各Frameが一回で転送できる最大情報パケットサイズ（ステップS14、協議の時に定義したchunk size）を超えないので、音声ストリームパケットを直接にSocketによってストリーミングサーバに転送してよい。

このステップのプログラムコードのスクリーンショットは以下のとおりである：

ステップS17、符号化された画像データのストリームパッケージ化を行う。

符号化された画像データは画像制御モジュールでスレッドの専属画像データ緩衝領域に送り込まれ、そしてストリーミング制御モジュールがスレッドによりデータ内容を解析し、タイムスタンプ及びデータ大きさを獲得し、前回の画像データパケットのタイムスタンプから今回の画像データパケットのタイムスタンプを減算し、差値を獲得する。そして、ストリーミング制御モジュールは得られた情報に基づいて画像ストリームパケットフォーマットに対応するメッセージヘッダー（例えば、HEADER FORMAT（0〜3）、CHUNK STREAM ID（5）、VIDEO MESSAGE TYPE ID（9））を選択的に確立し、解析によって得られたタイムスタンプ差値、データ大きさなどをパケットのメッセージヘッダーに入れる。そして画像データをメッセージヘッダーの後に置いて、画像ストリームパケットの確立が完成する。画像パケットはキーフレームのデータを含み、そのデータ量が一回で転送できる最大情報パケットサイズ（ステップS14、協議の時に定義したchunk size）を超える可能性がある。この時に、まず画像ストリームパケットを分割し（実際需求に応じて、ステップS15が列挙する異なったメッセージヘッダーを指定する）、そして画像ストリームパケットをSocketによってストリーミングサーバに転送する。

このステップを行うプログラムコードの範例は以下のとおりである：

ステップS16とステップS17の後、本発明のストリーミング制御モジュールはパッケージ化した音声と画像のストリームを異なったストリーミングサーバに転送でき、本発明のオーディオビデオ同期取込による一対多オーディオビデオストリーミング方法を完成する。

以上の説明は、本発明に係る一つの実行可能な実施例についての具体的な説明であり、本発明の特許請求の範囲はこの実施例に限定されるものではない。本発明の精神を逸脱しない範囲内の同じ効果のある実施や変更は本願の特許請求の範囲に含まれるべきである。

A 使用者
1 音声制御モジュール
2 画像制御モジュール
3 使用者の携帯電話
4 ストリーミング制御モジュール
5 ストリーミングサーバ
6 ストリーミングサーバグループ
7 ストリーミングサーバ
11 音声緩衝領域
12 音声コーダ
13 音声データ緩衝領域
21 画像緩衝領域
22 画像データ緩衝領域
31 サウンドチップ
32 ビデオチップ
S01〜S17 ステップフロー

一方は音声取込部分である。まず、一つの音声制御モジュールを通じて一つの音声同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のサウンドチップから符号化されていない生の音声データを獲得し、符号化プログラムに対応する一つの音声符号化パラメーターを獲得する。該音声制御モジュールは複数の異なったストリーミングサーバについて上記符号化されていない生の音声データを一時的に記憶する。引き続き該音声制御モジュールを通じて一つの音声校正プログラムを実行し、音声コーダの固定出力フレームレートにより一時的に記憶された該符号化されていない生の音声データに対してタイムスタンプ校正を行う。

もう一方は画像取込部分である。まず、一つの画像制御モジュールを通じて一つの画像同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のビデオチップから符号化された画像データを獲得し、符号化プログラムに対応する一つの画像符号化パラメーターを獲得する。該画像制御モジュールは複数の異なったストリーミングサーバについて該符号化された画像データを一時的に記憶する。引き続き該画像制御モジュールを通じて一つの画像校正プログラムを実行し、上記ストリーミングサーバそれぞれの実際受取り時間に基づいて一時的に記憶された該符号化画像データに対してタイムスタンプ校正を行う。

該ストリーミング制御モジュールは選択的に一つの情報パッケージングフォーマットを通じて、該音声符号化パラメーターをタイムスタンプ校正後の該符号化されていない生の音声データ入れ、パッケージ化によって複数の音声ストリームパケットを生成する。それに対して、該ストリーミング制御モジュールも選択的に該情報パッケージングフォーマットを通じて該画像符号化パラメーターをタイムスタンプ校正後の該符号化された画像データに入れ、パッケージ化によって複数の画像ストリームパケットを生成する。

音声取込の点で、異なったストリーミングサーバの間の需求に応じて音声制御モジュールを別途に設定する必要がないので、本発明の音声制御モジュールは、プログラム全体を起動させる時に、ストリーミングサーバの共用音声ソース関連属性である音声関連パラメーターを一回設定するだけでよい。パラメーター内容は以下を含むことができる：サンプリングレート（Sample Rate）、サンプリングチャネル個数（Stereo/Mono）、音声取込のチャネルソース（例えば、マイク又は他の装置）、音声データのビット数（8 bit又は16 bit）など。音声情報が符号化過程において損失すると、視聴者は視聴時に著しく不連続な音声を聞く。そのため、本発明の音声制御モジュールは音声情報に対してデータ緩衝領域を別途に設立し、取り込んだ音声データを一時的に記憶しておく；また、取り込んだ音声データを連続的に音声コーダに提供できるために、本発明は音声符号受取りスレッドを行って、その優先権が他の一般のスレッドより高いように設定し、音声取込作業は他のスレッドに中断されることを避け、作業システムがスレッドのスケジューリングを行った時に中央処理装置は音声データの取込に多くの時間を割くことができる。

Claims (10)

1. オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法であって、
   音声制御モジュールを通じて音声同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のサウンドチップから符号化された音声データを獲得し、符号化プログラムに対応する音声符号化パラメーターを獲得し、前記音声制御モジュールが複数の異なったストリーミングサーバに対して前記符号化された音声データを一時的に記憶するステップと、
   前記音声制御モジュールを通じて音声校正プログラムを実行し、音声コーダの固定出力フレームレートに基づいて前記一時的に記憶された符号化音声データに対してタイムスタンプ校正を行うステップと、
   画像制御モジュールを通じて画像同期化プログラムを実行し、ハードウェア抽象化レイヤーを介して携帯端末のビデオチップから符号化された画像データを直接に獲得し、符号化プログラムに対応する画像符号化パラメーターを獲得し、前記画像制御モジュールが複数の異なったストリーミングサーバに対して前記符号化された画像データを一時的に記憶するステップと、
   前記画像制御モジュールを通じて画像校正プログラムを実行し、前記ストリーミングサーバそれぞれの実際受取り時間に基づいて前記一時的に記憶された符号化音声データに対してタイムスタンプ校正を行うステップと、
   ストリーミング制御モジュールを通じて、オーディオビデオストリームよりも先に前記ストリーミングサーバそれぞれに転送されなければならない画像と音声の記述パラメーターを作成するステップと、
   前記ストリーミング制御モジュールを通じて、前記異なったストリーミングサーバそれぞれに対して接続を認証するステップと、
   前記ストリーミング制御モジュールが選択的に情報パッケージングフォーマットを通じて前記音声符号化パラメーターをタイムスタンプ校正後の前記符号化された音声データに入れ、パッケージ化によって複数の音声ストリームパケットを生成するステップと、
   前記ストリーミング制御モジュールが選択的に前記情報パッケージングフォーマットを通じて前記画像符号化パラメーターをタイムスタンプ校正後の前記符号化された画像データに入れ、パッケージ化によって複数の画像ストリームパケットを生成するステップと、及び
   前記ストリーミング制御モジュールが先に前記画像と音声の記述パラメーターを前記ストリーミングサーバそれぞれに転送し、前記ストリーミングサーバそれぞれに対してパッケージ化した前記音声ストリームパケットそれぞれ及び前記画像ストリームパケットそれぞれを順番にかつ同時に前記ストリーミングサーバそれぞれに転送し、前記ストリーミングサーバそれぞれに対して一対多オーディオビデオストリーミングを実施するステップと
   を含む、オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
2. 前記音声同期化プログラムが少なくとも、
   前記音声制御モジュールが携帯端末のサウンドチップから生の音声データを直接に取り込み、取り込まれた生の音声データを音声緩衝領域に入力するステップと、
   前記音声制御モジュールが予め設定された音声関連パラメーターを当て嵌め、音声コーダの設定を行うステップと、
   前記音声制御モジュールが音声符号受取りスレッドに基づいて、設定後の音声コーダのハードウェア抽象化レイヤーを通じて、出力待ち行列から、音声緩衝領域に格納された生の音声データを音声コーダによって符号化した前記符号化音声データを獲得し、該符号化音声データを複数のストリーミングサーバのために設置された複数の音声データ緩衝領域にそれぞれ転送するステップと、及び
   前記音声制御モジュールが前記符号化音声データ及び前記符号化音声データを音声コーダによって符号化した時に当て嵌められた前記音声符号化パラメーターを記録するステップと
   を含む、請求項1に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
3. 前記画像同期化プログラムが少なくとも、
   前記画像制御モジュールが予め設定された画像関連パラメーターを当て嵌め、画像コーダの設定を行うステップ、
   前記画像制御モジュールが画像符号受取りスレッドに基づいて、携帯端末のビデオチップのハードウェア抽象化レイヤーを通じて、出力待ち行列から、前記符号化された画像データを直接に獲得するステップ、
   前記画像制御モジュールが前記符号化された画像データを画像緩衝領域に入力するステップ、
   前記画像制御モジュールが、前記符号化された画像データを画像コーダによって符号化した時に当て嵌められた前記画像符号化パラメーターを記録するステップ、及び
   前記画像制御モジュールが画像緩衝領域における前記符号化された画像データを複数のストリーミングサーバために設置された複数の画像データ緩衝領域に転送するステップ
   を含む、請求項1に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
4. 前記情報パッケージングフォーマットの種類が少なくとも、
   パケットのタイムスタンプ、情報長さ、情報種類ID、情報ストリーミングIDなどより成り、パケットがストリームの中の一つの独立した情報であることを示すFMT0メッセージヘッダー、
   パケットが同一のストリームの中の情報であることを示すFMT1メッセージヘッダー、
   パケットが同一のストリームの中の情報であり、且つデータ内容の種類及び大きさが前の情報と同じであることを示すFMT2メッセージヘッダー、及び
   パケットが多数の部分に分割されて分送された同一の情報であり、後のパケットを第一部分の情報のフォーマットで複号化し得ることを示すFMT3メッセージヘッダー
   を含む、請求項1に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
5. 前記音声符号受取りスレッドの優先度が一般のスレッドより高いことによって、前記音声制御モジュールに前記音声符号受取りスレッドを通じて生の音声データを音声緩衝領域に連続的に入力させる、請求項2に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
6. 前記音声関連パラメーターは、符号化に用いられた音声フォーマット、音声サンプリング周波数、音声チャネル数又は音声符号化ビットレートより選ばれる一つ又は二つ以上の組み合わせである、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
7. 前記音声符号化パラメーターは、符号化に用いられた音声フォーマット、音声サンプリング周波数又は音声チャネル数より選ばれる一つ又は二つ以上の組み合わせを含むASC（Audio Specific Config）パラメーターである、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
8. 前記画像関連パラメーターは、画像符号化に要するVCEG(Video Coding Experts Group)画像符号化標準パラメーターであり、画像幅、画像高さ、画像符号化フレームレート(Frame per Second, FPS)、画像のピクチャグループ（Group of Pictures, GOP）、画像符号化ビットレート又は画像符号化フォーマットより選ばれる一つ又は二つ以上の組み合わせを含む、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
9. 前記画像符号化パラメーターはSPS（Sequence Parameter Set）とPPS（Picture Parameter Set）パラメーターであり、符号化に用いられた画像フォーマット、符号化の画像フォーマットレベル、符号化画像の長さと幅、非ブロック化(Deblock)フィルターの種類より選ばれる一つ又は二つ以上の組み合わせを含む、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。
10. 前記画像と音声の記述パラメーターは前記画像関連パラメーター、前記画像符号化パラメーター、前記音声関連パラメーター及び前記音声符号化パラメーターを含む、請求項1〜3のうちのいずれか一項に記載のオーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法。

Images