JP2022553021A - クラウドプラットフォーム上のワークフローにおける非必須の入力、出力、およびタスクシグナリング - Google Patents

クラウドプラットフォーム上のワークフローにおける非必須の入力、出力、およびタスクシグナリング Download PDF

Info

Publication number
JP2022553021A
JP2022553021A JP2022523175A JP2022523175A JP2022553021A JP 2022553021 A JP2022553021 A JP 2022553021A JP 2022523175 A JP2022523175 A JP 2022523175A JP 2022523175 A JP2022523175 A JP 2022523175A JP 2022553021 A JP2022553021 A JP 2022553021A
Authority
JP
Japan
Prior art keywords
workflow
media
nbmp
task
syntax element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022523175A
Other languages
English (en)
Inventor
ソダガァ，イラジ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2022553021A publication Critical patent/JP2022553021A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/10—Requirements analysis; Specification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Abstract

ＮＢＭＰ（Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ）ワークフローを管理するためのシステム及び方法が提供される。少なくとも１つのプロセッサによって実行される方法を含む方法が提供される。本方法は、ＮＢＭＰワークフローを導出することと、ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、少なくとも１つのタスクによって受信される少なくとも１つの入力、または少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得することと、少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定すること、複数の必須タスクを、ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てることと、を含む。

Description

本出願は、２０２０年６月２２日に出願された米国仮出願第６３／０４２，４８０号、２０２０年１０月５日に出願された米国仮出願第６３／０８７，７４６号、２０２０年１０月５日に出願された米国仮出願第６３／０８７，７４８号、２０２０年１０月５日に出願された米国仮出願第６３／０８７，７５１号、および２０２１年６月２１日に出願された米国仮出願第１７／３５２，６１６号からの優先権を主張し、これらの開示の全体が参照により本明細書に組み込まれる。
本開示の実施形態は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ＮＢＭＰ（Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ、ネットワークベースのメディア処理）を対象にし、より詳細には、ＮＢＭＰワークフローの管理を対象にする。
ＭＰＥＧ ＮＢＭＰ（Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ）プロジェクトは、クラウド上のメディアを処理する概念を開発した。ＮＢＭＰ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎは、メディア処理効率の向上、より高速でより低いコストのメディアサービスの展開、公共、プライベート又はハイブリッド型クラウドサービスの活用による大規模展開を提供する能力の大きな可能性を示す。
ただし、現在のＮＢＭＰ仕様では、ワークフローに必須であるタスクと非必須であるタスクとを区別していない。
さらに、同じ持続時間のセグメントを有するメディアストリームの分割は、多くの用途に有用であるが、いくつかの用途においては、セグメントの持続時間は、異なる理由により変動することがある。したがって、固定された持続時間のセグメントは、これらの場合において動作しない。
追加的に、ＮＢＭＰ規格は、互いに独立した、または並列の時間的セグメントにおいてメディアを処理するのためのステップ記述子を定義する。時間におけるメディアストリームの分割は、並列処理の第一のレベルであるが、大きなビデオデータまたはボリュームデータの場合、他の次元におけるセグメント化が、メディアデータのさらなる並列化または独立処理をさらに提供することができ、データを処理するためにより多くの並列タスク／マイクロサービスを使用することを可能にする。このような多次元並列処理は、ＮＢＭＰ規格では十分に対処されていない。
追加的に、ＮＢＭＰ規格は、必要な処理を定義するためにＷｏｒｋｆｌｏｗ Ｄｅｓｃｒｉｐｔｉｏｎを定義している。しかし、機能インスタンスのいくつかの除外は、現在の設計では不可能である。ＮＢＭＰワークフロー記述は、ワークフローを実行するための詳細な要件を提供するが、ワークフロー全体に適用される記述からいくつかの機能インスタンスを除外することを可能にしていない。
ＮＢＭＰ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎは、メディア処理効率を向上させ、より高速でより低いコストのメディアサービスの展開の提供し、公共、プライベート又はハイブリッド型クラウドサービスの活用による大規模展開を提供する能力を有する大きな可能性を示す。
本開示の実施形態は、ＮＢＭＰ規格における様々な変更を実装するためのメカニズムを提供する。
実施形態において、非必須の入力、出力、およびタスクを識別し、タスクの必須性から入力および出力の必須性を導出するためのシグナリングメカニズムが提供される。
実施形態において、クラウド内で異なる持続時間またはサイズを有し得るメディアセグメントの独立処理のための方法が提供され、これは、可変持続時間／次元を有するセグメントの独立処理をサポートするためにＮＢＭＰ規格を拡張することを伴うことがある。
実施形態において、多次元セグメントを定義するために、ＮＢＭＰ規格のステップ記述子の拡張が提供される。
実施形態において、ワークフロー全体に適用される記述からいくつかの機能インスタンスを除外するための方法が提供される。
１つ以上の実施形態によれば、少なくとも１つのプロセッサによって実行される方法が提供される。本方法は、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフローを導出することと、ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、少なくとも１つのタスクによって受信される少なくとも１つの入力、または少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得することと、少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定すること、複数の必須タスクを、ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てることと、を含む。
１つ以上の実施形態によれば、メディアシステムのワークフローマネージャが提供される。ワークフローマネージャは、少なくとも１つのプロセッサ、およびコンピュータコードを含むメモリを含む。コンピュータコードは、少なくとも１つのプロセッサに、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフローを導出させるように構成されているワークフロー導出コードと、少なくとも１つのプロセッサに、ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、少なくとも１つのタスクによって受信される少なくとも１つの入力、または少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得させるように構成されている第１の取得コードと、少なくとも１つのプロセッサに、少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定させるように構成されている判定コードと、少なくとも１つのプロセッサに、複数の必須タスクを、ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てさせるように構成されている割り当てコードと、を含む。
１つ以上の実施形態によれば、コンピュータコードを記憶する非一時的コンピュータ可読媒体が提供される。コンピュータコードは、メディアシステムのワークフローマネージャを実装する少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフローを導出することと、ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、少なくとも１つのタスクによって受信される少なくとも１つの入力、または少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得することと、少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定すること、複数の必須タスクを、ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てることと、を行わせるように構成されている。
開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
実施形態による、本明細書で説明される方法、装置、およびシステムが実装され得る環境の図である。
図１の１つ以上のデバイスの例示的なコンポーネントのブロック図である。
実施形態による、ＮＢＭＰシステムのブロック図である。
実施形態による、必須のタスクおよび非必須のタスクを有するワークフローの一例の図である。 図４のワークフロー内の１つの必須のパスを示す図である。
実施形態による、ワークフローにおける必須のタスクを識別するためのプロセスの図である。
実施形態による、異なる持続時間またはサイズを有し得るメディアセグメントの独立処理のためのプロセスの図である。
実施形態による、ワークフロー管理プロセスの一例のブロック図である。
実施形態による、コンピュータコードの一例のブロック図である。
図１は、実施形態による、本明細書で説明される方法、装置、およびシステムが実装され得る環境１００の図である。図１に示すように、環境１００は、ユーザデバイス１１０、プラットフォーム１２０、およびネットワーク１３０を含み得る。環境１００のデバイスは、有線接続、無線接続、または有線および無線接続の組み合わせを介して相互接続し得る。
ユーザデバイス１１０は、プラットフォーム１２０に関連する情報を受信、生成、記憶、処理、および／または提供することが可能な１つ以上のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話等）、ウェアラブルデバイス（例えば、一対のスマートグラス若しくはスマートウオッチ）、又は類似のデバイスを含み得る。いくつかの実装において、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信し、および／またはプラットフォーム１２０に情報を送信し得る。
プラットフォーム１２０は、本明細書の他の箇所で説明されるように、１つ以上のデバイスを含む。いくつかの実装において、プラットフォーム１２０は、クラウドサーバまたはクラウドサーバのグループを含み得る。いくつかの実装において、プラットフォーム１２０は、ソフトウェアコンポーネントが特定のニーズに応じてスワップイン又はスワップアウトされるように、モジュール化されるように設計されてもよい。そのようなものとして、プラットフォーム１２０は、異なる使用のために容易に及び／又は迅速に再構成され得る。
いくつかの実装において、図示のように、プラットフォーム１２０は、クラウドコンピューティング環境１２２においてホストされ得る。特に、本明細書で説明される実装は、プラットフォーム１２０をクラウドコンピューティング環境１２２内でホストされるものとして説明するが、いくつかの実装において、プラットフォーム１２０は、クラウドベースではなくてもよいし（すなわち、クラウドコンピューティング環境の外部で実装されてもよい）、部分的にクラウドベースであってもよい。
クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステムおよび／またはデバイスの物理的な位置および設定のエンドユーザ（例えば、ユーザデバイス１００）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供し得る。図示のように、クラウドコンピューティング環境１２２は、コンピューティングリソース１２４のグループ（まとめて「コンピューティングリソース１２４」と呼ぶか、個々に「コンピューティングリソース１２４」と呼ぶ）を含み得る。
コンピューティングリソース１２４は、１つ以上のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、または他のタイプの計算および／または通信デバイスを含む。いくつかの実装において、コンピューティングリソース１２４はプラットフォーム１２０をホストし得る。クラウドリソースは、コンピューティングリソース１２４において実行する計算インスタンス、計算リソース１２４において提供されるストレージデバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイスなどを含み得る。いくつかの実装において、コンピューティングリソース１２４は、有線接続、無線接続、または有線および無線接続の組み合わせを介して、他のコンピューティングリソース１２４と通信し得る。
図１にさらに示すように、計算リソース１２４は、１つ以上のアプリケーション（「ＡＰＰ」）１２４－１、１つ以上の仮想マシン（「ＶＭ」）１２４－２、仮想化ストレージ（「ＶＳ」）１２４－３、１つ以上のハイパーバイザ（「ＨＹＰ」）１２４－４などのクラウドリソースのグループを含む。
アプリケーション１２４－１は、ユーザデバイス１１０および／またはプラットフォーム１２０に提供されるか、またはこれらによってアクセスされ得る１つ以上のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０にソフトウェアアプリケーションをインストールして実行する必要を除去し得る。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連するソフトウェア、および／またはクラウドコンピューティング環境１２２を介して提供可能な他の任意のソフトウェアを含み得る。いくつかの実装において、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して、１つ以上の他のアプリケーション１２４－１に情報を送信する／これらから情報を受信し得る。
仮想マシン１２４－２は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン１２４－２は、仮想マシン１２４－２によるあらゆる実マシンへの使用および対応の程度に応じて、システム仮想マシンまたはプロセス仮想マシンのいずれであり得る。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供し得る。プロセス仮想マシンは、単一のプログラムを実行し、単一のプロセスをサポートし得る。いくつかの実装において、仮想マシン１２４－２は、ユーザ（例えば、ユーザデバイス１１０）に代わって実行し得、データ管理、同期、または長い持続時間のデータ転送などのクラウドコンピューティング環境１２２のインフラストラクチャを管理し得る。
仮想化ストレージ１２４－３は、コンピューティングリソース１２４の記憶システムまたはデバイス内で仮想化技術を使用する１つ以上のストレージシステムおよび／または１つ以上のデバイスを含む。いくつかの実装において、ストレージシステムの文脈内で、仮想化のタイプは、ブロック仮想化およびファイル仮想化を含み得る。ブロック仮想化は、物理ストレージまたは異種構造に関係なくストレージシステムにアクセスできるように、物理ストレージからの論理ストレージの抽象化（または分離）を指してもよい。この分離により、ストレージシステムの管理者は、エンドユーザに対するストレージを管理する方法に柔軟性を持たせることが可能となる。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に記憶される場所との間の依存関係を排除し得る。これにより、ストレージの使用、サーバの統合、および／または継続的なファイル移行のパフォーマンスの最適化を可能にし得る。
ハイパーバイザ１２４－４は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）が、コンピュータリソース１２４などのホストコンピュータで同時に実行することを可能にするハードウェア仮想化技術を提供し得る。ハイパーバイザ１２４－４は、ゲストオペレーティングシステムに対して仮想オペレーティングプラットフォームを提示し得、ゲストオペレーティングシステムの実行を管理し得る。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有してもよい。
ネットワーク１３０は、１つ以上の有線および／または無線ネットワークを含む。例えば、ネットワーク１３０は、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワークなど）、公衆陸上移動体網（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話網（例えば、公衆交換電話網（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、および／またはこれらまたは他のタイプのネットワークの組み合わせを含み得る。
図１に示すデバイスおよびネットワークの数および配置は、一例として提供される。実際には、図１に示されたものよりも、追加のデバイスおよび／またはネットワーク、より少ないデバイスおよび／またはネットワーク、異なるデバイスおよび／またはネットワーク、または異なる配置のデバイスおよび／またはネットワークがあってもよい。さらに、図１に示す２つ以上のデバイスは、単一のデバイス内に実装されてもよいし、図１に示す単一のデバイスは、複数の分散されたデバイスとして実装されてもよい。追加的または代替的に、環境１００のデバイスのセット（例えば、１つ以上のデバイス）は、環境１００の別のデバイスのセットによって実行されるものとして説明される１つ以上の機能を実行してもよい。
図２は、図１の１つ以上のデバイスの例示的なコンポーネントのブロック図である。デバイス２００は、ユーザデバイス１１０および／またはプラットフォーム１２０に対応してもよい。図２に示すように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、ストレージコンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０、および通信インターフェース２７０を含み得る。
バス２１０は、デバイス２００のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ２２０は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組み合わせで実装される。プロセッサ２２０は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、加速処理ユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、または別のタイプの処理コンポーネントである。いくつかの実装において、プロセッサ２２０は、機能を実行するようにプログラムされることが可能な１つ以上のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、および／または、プロセッサ２２０による使用のための情報および／または命令を記憶する別のタイプのダイナミックまたはスタティックストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、および／または、光メモリ）を含む。
ストレージコンポーネント２４０は、デバイス２００の動作および使用に関する情報および／またはソフトウェアを記憶する。例えば、記憶コンポーネント２４０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、および／またはソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、および／または他のタイプの非一時的コンピュータ可読媒体を、対応するドライブと共に含み得る。
入力コンポーネント２５０は、デバイス２００がユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および／またはマイクロホン）を介して情報を受信することを可能にするコンポーネントを含む。追加的又は代替的に、入力コンポーネント２５０は、情報（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、および／またはアクチュエータ）を感知するためのセンサを含み得る。出力コンポーネント２６０は、デバイス２００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、および／または１つ以上の発光ダイオード（ＬＥＤ））を含む。
通信インターフェース２７０は、デバイス２００が有線接続、無線接続、または有線および無線接続の組み合わせを介して他のデバイスと通信することを可能にするトランシーバ状のコンポーネント（例えば、トランシーバおよび／または別個の受信機および送信機）を含む。通信インターフェース２７０は、デバイス２００が別のデバイスから情報を受信し、および／または別のデバイスに情報を提供することを可能にしてもよい。例えば、通信インターフェース２７０は、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉ（登録商標）インターフェース、セルラーネットワークインターフェースなどを含み得る。
デバイス２００は、本明細書で説明される１つ以上のプロセスを実行してもよい。デバイス２００は、メモリ２３０および／またはストレージコンポーネント２４０などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサが実行することに応答して、これらのプロセスを実行してもよい。コンピュータ可読媒体は、本明細書において、非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリスペース、または複数の物理ストレージデバイスに拡散したメモリスペースを含む。
ソフトウェア命令は、別のコンピュータ可読媒体から、または通信インターフェース２７０を介して別のデバイスから、メモリ２３０および／またはストレージコンポーネント２４０に読まれ得る。実行されるときに、メモリ２３０および／またはストレージコンポーネント２４０に記憶されたソフトウェア命令は、プロセッサ２２０に本明細書で説明される１つ以上のプロセスを実行させ得る。追加的または代替的に、ハードワイヤード回路を、本明細書で説明される１つ以上のプロセスを実行するために、ソフトウェア命令の代わりに、またはそれと組み合わせて使用してもよい。したがって、本明細書で説明される実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。
図２に示すコンポーネントの数および配置が、一例として提供される。実際には、デバイス２００は、図２に示されるものよりも追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、または異なる配置のコンポーネントを含み得る。追加的または代替的に、デバイス２００のコンポーネントのセット（例えば、１つ以上のコンポーネント）は、デバイス２００の別のコンポーネントのセットによって実行されるものとして説明される１つ以上の機能を実行してもよい。
本開示の一実施形態において、ＮＢＭＰシステム３００が提供される。図３を参照すると、ＮＢＭＰシステム３００は、ＮＢＭＰソース３１０、ＮＢＭＰワークフローマネージャ３２０、機能リポジトリ３３０、１つ以上のメディア処理エンティティ３５０、メディアソース３６０、およびメディアシンク３７０を含む。
ＮＢＭＰソース３１０は、第三者エンティティからの命令を受信してもよく、ＮＢＭＰワークフローＡＰＩ３９２を介してＮＢＭＰワークフローマネージャ３２０と通信してもよく、機能ディスカバリＡＰＩ３９１を介して機能リポジトリ３３０と通信してもよい。例えば、ＮＢＭＰソース３１０は、ワークフロー記述文書（ＷＤＤ）をＮＢＭＰワークフローマネージャ３２０に送信してもよく、機能リポジトリ３３０に記憶された機能の機能記述を読んでもよく、その機能は、機能リポジトリ３３０のメモリに記憶されたメディア処理機能、例えば、メディア復号、特徴点抽出、カメラパラメータ抽出、投影方法、シーム情報抽出、ブレンド、後処理、および符号化の機能などである。ＮＢＭＰソース３１０は、少なくとも１つのプロセッサと、少なくともプロセッサにＮＢＭＰソース３１０の機能を実行させるように構成されているコードを記憶するメモリとを含むか、またはそれらによって実装されてもよい。
ＮＢＭＰソース３１０は、ワークフロー記述文書を送信することによって、１つ以上のメディア処理エンティティ３５０によって実行されるタスク３５２を含むワークフローを作成するようＮＢＭＰワークフローマネージャ３２０に要求してもよく、このワークフロー記述文書は、複数の記述子を含むことができ、各記述子は、複数のパラメータを有してもよい。
例えば、ＮＢＭＰソース３１０は、機能リポジトリ３３０に記憶された機能を選択し、入力および出力データ、必要な機能、およびワークフローの要件などの記述詳細のための様々な記述子を含むワークフロー記述文書をＮＢＭＰワークフローマネージャ３２０に送信してもよい。ワークフロー記述文書は、１つ以上のメディア処理エンティティ３５０によって実行されるタスク３５２のタスク記述のセットと、入力および出力の接続マップと、を含み得る。ＮＢＭＰワークフローマネージャ３２０がＮＢＭＰソース３１０からそのような情報を受信するときに、ＮＢＭＰワークフローマネージャ３２０は、機能名に基づいてタスクをインスタンス化し、接続マップに従ってタスクを接続することによってワークフローを作成してもよい。
代替的または追加的に、ＮＢＭＰソース３１０は、キーワードのセットを使用することによって、ワークフローを作成するようにＮＢＭＰワークフローマネージャ３２０に要求してもよい。例えば、ＮＢＭＰソース３１０は、ＮＢＭＰワークフローマネージャ３２０に、ＮＢＭＰワークフローマネージャ３２０が機能リポジトリ３３０に記憶された適切な機能を見つけるために使用し得るキーワードのセットを含み得るワークフロー記述文書を送信してもよい。ＮＢＭＰワークフローマネージャ３２０がＮＢＭＰソース３１０からそのような情報を受信するときに、ＮＢＭＰワークフローマネージャ３２０は、ワークフロー記述文書の処理記述子に指定され得るキーワードを使用して適切な機能を検索することによってワークフローを作成し、ワークフロー記述文書内の他の記述子を使用して、タスクを提供し、それらを接続してワークフローを作成してもよい。
ＮＢＭＰワークフローマネージャ３２０は、機能ディスカバリＡＰＩ３９１と同じまたは異なるＡＰＩであり得る機能ディスカバリＡＰＩ３９３を介して機能リポジトリ３３０と通信してもよいし、ＡＰＩ３９４（例えば、ＮＢＭＰタスクＡＰＩ）を介してメディア処理エンティティ３５０の１つ以上と通信してもよい。ＮＢＭＰワークフローマネージャ３２０は、少なくとも１つのプロセッサと、少なくともプロセッサにＮＢＭＰワークフローマネージャ３２０の機能を実行させるように構成されているコードを記憶するメモリとを含むか、またはそれらによって実装されてもよい。
ＮＢＭＰワークフローマネージャ３２０は、ＡＰＩ３９４を使用して、１つ以上のメディア処理エンティティ３５０によって実行可能なワークフローの１つ以上のタスク３５２をセットアップ、設定、管理、および監視してもよい。一実施形態において、ＮＢＭＰワークフローマネージャ３２０は、ＡＰＩ３９４を使用してタスク３５２を更新および破棄してもよい。ワークフローのタスク３５２を設定、管理、および監視するために、ＮＢＭＰワークフローマネージャ３２０は、リクエストなどのメッセージを１つ以上のメディア処理エンティティ３５０に送信してもよく、各メッセージは複数の記述子を有し、記述子の各々は複数のパラメータを有してもよい。タスク３５２は各々、メディア処理機能３５４およびメディア処理機能３５４のための設定３５３を含み得る。
一実施形態では、タスクのリストを含まない（例えば、タスクのリストの代わりにキーワードのリストを含む）ＮＢＭＰソース３１０からワークフロー記述文書を受信した後、ＮＢＭＰワークフローマネージャ３２０は、ワークフロー記述文書内のタスクの記述に基づいてタスクを選択し、機能ディスカバリＡＰＩ３９３を介して、機能リポジトリ３３０を検索して、現在のワークフローのタスク３５２として実行されるべき適切な機能を見つけてもよい。例えば、ＮＢＭＰワークフローマネージャ３２０は、ワークフロー記述文書において提供されるキーワードに基づいてタスクを選択してもよい。適切な機能が、ＮＢＭＰソース３１０によって提供されるキーワードまたはタスク記述のセットを使用して識別された後、ＮＢＭＰワークフローマネージャ３２０は、ＡＰＩ ３９４を使用して、ワークフロー内の選択されたタスクを設定してもよい。例えば、ＮＢＭＰワークフローマネージャ３２０は、ＮＢＭＰソースから受信した情報から設定データを抽出し、設定データに基づいてタスク３５２を設定してもよい。
１つ以上のメディア処理エンティティ３５０は、メディアソース３６０からメディアコンテンツを受信し、ＮＢＭＰワークフローマネージャ３２０によって作成されたタスク３５２を含むワークフローに従ってメディアコンテンツを処理し、処理されたメディアコンテンツをメディアシンク３７０に出力するように構成され得る。１つ以上のメディア処理エンティティ３５０は、少なくとも１つのプロセッサと、少なくともプロセッサにメディア処理エンティティ３５０の機能を実行させるように構成されているコードを記憶するメモリとを含むか、またはそれらによって実装されてもよい。
メディアソース３６０は、メディアを記憶するメモリを含んでもよいし、ＮＢＭＰソース３１０と一体化されているか、またはＮＢＭＰソース３１０から分離されていてもよい。一実施形態では、ＮＢＭＰワークフローマネージャ３２０は、ワークフローが準備されたときにＮＢＭＰソース３１０に通知することができ、メディアソース３６０は、ワークフローが準備されたという通知に基づいて、メディア処理エンティティ３５０のうちの１つ以上にメディアコンテンツを送信してもよい。
メディアシンク３７０は、少なくとも１つのプロセッサと、１つ以上のメディア処理エンティティ３５０によって処理されるメディアを表示するように構成されている少なくとも１つのディスプレイとを含むか、またはそれらによって実装されてもよい。
上記に論じたように、ＮＢＭＰソース３１０からＮＢＭＰワークフローマネージャ３２０へのメッセージ（例えば、ワークフローの作成を要求するためのワークフロー記述文書）、およびＮＢＭＰワークフローマネージャ３２０から１つ以上のメディア処理エンティティ３５０へのメッセージ（例えば、ワークフローを実行するためのメッセージ）は、複数の記述子を含んでもよく、記述子の各々は複数のパラメータを有してもよい。場合によっては、ＡＰＩを使用するＮＢＭＰシステム３００のコンポーネントのいずれか間の通信は、複数の記述子を含んでもよく、記述子の各々は複数のパラメータを有してもよい。
［ワークフローにおける非必須の入力、出力、およびタスクシグナリング］
実施形態は、クラウドプラットフォームで実行されるワークフローにおける非必須の入力、出力、およびタスクを識別し、シグナリングするための方法に関連してもよい。
ワークフローの必須の出力は、ワークフローが適切に動作しているとみなされるためのデータを生成しなければならないそのワークフローの出力であり得る。ワークフローの必須の入力は、ワークフローがその必須の出力を作成するために処理されなくてはならない入力であり得る。適切に動作するワークフローは、その必須の入力のすべてを処理し、その必須の出力のすべてを生成するワークフローであり得る。ワークフローの必須のタスクは、適切に動作し、適切に動作するワークフローに必要なデータを処理するために必要なタスクであり得る。例えば、必須のタスクは、必須の入力を処理する、および／または必須の出力を生成するタスクであり得る。実施形態において、必須の入力は、必須タスクが動作するために必要な入力であってもよく、必須の出力は、必須のタスクの必須の入力として必要とされる出力、または全体としてワークフローのための出力として必要とされる出力であり得る。非必須の入力は、ワークフローの必須の出力を生成するためにワークフローによって必要とされない入力であり得る。例えば、必須の入力のすべてが提供されていれば、たとえなんら非必須の入力が提供されていなくても、ワークフローは必須出力のすべてを生成し得る。非必須のタスクは、ワークフローに含まれるが、必須のタスクではないタスクであり得る。例えば、非必須のタスクは、非必須の入力を処理し、非必須の出力を生成し得る。
図４は、実施形態による、必須タスクおよび非必須タスクを有するワークフロー４００の一例を示す。
ワークフロー４００において、必須でないタスクは灰色の影付き円で示されている。したがって、図４に示すように、タスク１、タスク３、タスク５、タスク８が必須である。また、図５に示す例では、タスク２、タスク４、タスク６、タスク７は非必須である。
したがって、ワークフロー４００において、入力１を必須の入力として分類することができ、入力２を非必須の入力として分類することができる。同様に、出力２は必須の出力として分類することができ、出力１および出力３は非必須の出力として分類することができる。
［ワークフローにおける必須性のシグナリング］
実施形態において、フラグが使用されて、与えられたワークフローにおけるタスクの必須性をシグナルしてもよい。ワークフローの必須および非必須のすべてのタスクを定義することによって、必須および非必須の入力および出力も定義または判定され得る。
表１は、非必須性フラグがタスクの一般的記述子に追加されている例を示す。表１において、および本開示全体を通して、イタリック体を使用して、追加を示す。
Figure 2022553021000002
追加されたパラメータをイタリック体で示す。非必須のパラメータの例を表２に定義する。
Figure 2022553021000003
ワークフローがタスクのグラフで定義されており、タスクが必須および非必須として識別される場合、ワークフローの入力または出力は必須または非必須として識別され得る。
必須および非必須タスクのグラフとしてワークフローが与えられる場合、任意の入力と出力のペアに対して、入力が少なくとも１つの必須のパスを介して出力に接続され得る場合、入力および出力の両方が必須である。上記の条件を満たすことができない任意の他の入出力は非必須である。
ワークフロー内のパスは、１つの入力と１つの出力のみを有するワークフローのサブセットであってもよく、入力は、パス内のタスクを接続する矢印のセットを介して出力に接続されてもよく、２つのタスク間の各接続の方向は、入力を出力に直接接続する矢印と同じ方向である。ワークフローの必須のパスは、パスに含まれるすべてのタスクが必須のパスであり得る。
図５は、破線の矢印を有するワークフロー４００内の１つの必須のパスを示す。
［入力と出力の必須性のシグナリング］
ワークフローグラフが、上記に示したように、そのタスクの定義された必須性で定義されている場合、ワークフローの入力と出力の必須性が導出され得る。
しかし、場合によっては、ワークフロー記述において、その入力と出力のみが定義されることがあり、導出される正確なワークフローがワークフローマネージャに残される。この場合、ワークフロー記述は、その入力と出力の必須性を含むか、または示してもよい。
実施形態において、非必須性パラメータは、表３、表４、表５および表６に示すように、出力記述子内の各出力に対して定義されてもよい。例えば、非必須性パラメータは、入力、出力、タスクまたは他のオブジェクトが必須か、非必須かを示してもよい。
Figure 2022553021000004
Figure 2022553021000005
Figure 2022553021000006
Figure 2022553021000007
実施形態において、メディアパラメータとメタデータパラメータの両方が非必須である場合、出力は非必須である。
［ワークフローの入力と出力からのタスクの必須性と非必須性の導出］
ワークフローの入力と出力の必須性が定義されている場合、ワークフローのタスク（およびその入力）の必須性が導出され得る。
タスクのグラフと識別された必須の出力としてワークフローが与えられる場合、以下のプロセスを使用して、必須タスクを識別し得る。
・ 第一に、各非必須の入力に対して、他のすべての対応するタスクの入力も非必須である場合、タスクの出力は非必須であるとマークされてもよく、タスクが削除されてもよい。このプロセスは、適用される非必須の入力がこのプロセスに残らなくなるまで、すべての新規の非必須の入力に適用され得る。
・ 第二に、各非必須出力に対して、他のすべての対応するタスクの出力も非必須である場合、タスクの入力は非必須であるとマークされてもよく、タスクが削除され得る。このプロセスは、適用される非必須の入力がこのプロセスに残らなくなるまで、適用され得る。
図６は、このようなプロセスの一例を示す。例えば、図６は、入力の必須性のみが既知であるワークフロー６００Ａを示す。図６に見られるように、入力１は必須であることが知られており、入力２は非必須であることが知られており、出力２は必須であることが知られており、出力１および出力３は非必須であることが知られている。
図６はまた、ワークフロー６００Ａに対して動作６１０が実行された結果であるワークフロー６００Ｂを示す。動作６１０は、上述のプロセスの第１の部分に対応し得る。たとえば、入力２は非必須であり、タスク２は他の入力を有さないため、タスク２の出力（入力２．１として示されている）も非必須としてマークされ、タスク２が削除される。
図６はまた、ワークフロー６００Ｂに対して動作６２０が実行された結果であるワークフロー６００Ｃを示す。動作６２０は、上述のプロセスの第２の部分に対応し得る。たとえば、入力２は非必須であり、タスク２は他の入力を有さないため、タスク６の入力（出力１．２として示されている）も非必須としてマークされ、タスク６が削除される。同様に、タスク４には必須の出力がないため、タスク４の入力（出力１．１として示されている）も非必須としてマークされ、タスク４が削除される。さらに、出力３は非必須であり、タスク７は他の出力を持たないため、タスク７の入力（出力３として示されている）も非必須としてマークされ、タスク７が削除される。
したがって、動作６１０および６２０の結果、タスク２、タスク４、タスク６、およびタスク７が削除されるため、これらのタスクは非必須のタスクとして判定され得る。同様に、タスク１、タスク３、タスク５、およびタスク８が残っているため、これらのタスクは必須のタスクとして判定され得る。
実施形態は、ワークフローにおける入力、出力、およびタスクの必須性を定義するための方法に関してもよく、ここで、入力、出力、またはタスクは、ワークフローの残りの部分に対して非必須であるとして定義することができ、そのエンティティが除去される場合、ワークフローは、依然として適切に動作する。
実施形態は、タスクの必須性をシグナリングするための方法に関してもよく、フラグは、その記述においてタスクの非必須性をシグナリングするために使用される。
実施形態は、１つの入力または１つの出力の必須性をシグナリングするための方法に関してもよく、フラグは、その記述において入力または出力の非必須性をシグナリングするために使用される。
実施形態は、ワークフローのタスクの必須性が識別されるときに、ワークフローの入力および出力の必須性を導出する方法に関してもよく、ワークフローの必須のパスおよび対応する必須の入出力ペアが識別される。
実施形態は、ワークフローの入力および／または出力の必須性が識別されるときに、ワークフローのタスクの必須性を導出する方法に関してもよく、この方法を使用すると、ワークフローグラフは、すべての非必須のタスクが識別されるまで単純化される。
［クラウド上で可変持続時間を有するメディアセグメントの独立処理］
図７は、実施形態による、クラウド内で異なる持続時間またはサイズを有し得るメディアセグメントの独立処理のための方法に関してもよい。
図７は、セグメントの並列処理のためにスプリット／マージを使用するプロセス７００の一例を示す。図７において、タスクＴは、並列に実行されるタスクＴ（タスクＴ０，タスクＴ１，．．．，タスクＴＮ－１）のｎ個のインスタンスに変換される。
図７において、メディアストリームは連続している。ただし、１：Ｎスプリット機能はメディアストリームをＮ個のメディアサブストリームに変換する。各サブストリームはＴのインスタンスによって処理され、次いで、タスクＴの出力ストリームと同等の出力を生成するためにサブストリーム同士がインターリーブされる。
１：ＮスプリットおよびＮ：１マージ機能は、セグメント境界で作業する。各セグメントは、１つ以上のＴのＴＳＤ（Ｔａｓｋ Ｓｅｇｍｅｎｔ Ｄｕｒａｔｉｏｎ、タスクセグメント持続時間）と等しい持続時間を有するため、タスクＴによって処理されるという点で、セグメントひいてはサブストリームは互いに独立している。タスクＴ０，．．．，ＴＮ－１は、同時にセグメントを処理する必要はないことに留意する。セグメントとサブストリームは独立しているため、タスクの各インスタンスはその速度で実行され得る。
各サブストリームにおける各セグメントはその開始時間、持続時間、および長さを搬送するため、それらは正しい順序で一緒に多重化され得る。
ＮＢＭＰ修正は、上記の動作のためのスプリッタおよびマージ機能テンプレートを定義する。
ＮＢＭＰ規格は、表７に示すように、各機能の処理モードと時間セグメント持続時間を記述するステップ記述子を含む。
Figure 2022553021000008
表７に示すように、セグメント持続時間はすべてのセグメントに対して同じである。
［ステップ記述子の拡張］
実際には、セグメント持続時間はセグメントごとに変動し得る。したがって、動作パラメータとしてのセグメント持続時間の代わりに、実施形態は、セグメントの分離のためのセグメントマーカーを含み得る。この場合、最大セグメント持続時間を有することは有用である。実施形態はまた、可変セグメント持続時間が許容されるかどうかをシグナリングしてもよい。
Figure 2022553021000009
Figure 2022553021000010
可変セグメント持続時間を有するメディアストリームを、スプリッタ機能を使用して複数ストリームに変換し、次いで、マージャ機能を使用して処理した後にそれらを結合するために、実施形態は、以下のＮＢＭＰスプリッタおよびマージャ参照機能テンプレートを拡張してもよい。
［スプリッタ］
［ＮＢＭＰブランド名］
ｕｒｎ：ｍｐｅｇ：ｍｐｅｇｉ：ｎｂｍｐ：２０２０：ｓｐｌｉｔ
［記述］
これらの要件は、入力メディアストリームがギャップなしに連続的であると仮定する。本項において、［ａ，ｂ［は、ａ以上ｂ未満の時間範囲を意味する。
スプリッタ機能は、以下の要件を満たし得る。
・ １つの入力およびＮ個の出力ＦＩＦＯバッファであり、Ｎは、スプリットの数の設定パラメータである。
・ 各時間で１つの入力で動作させ、Ｎ個の出力セグメントを生成する。
・ 各入力セグメントは、以下の要件を満たすものとする。
ｏ 連続したサンプルのセット
ｏ 時間スケールＴのスケールおけるＮ＊Ｄの最大持続時間であって、ＤおよびＴが設定パラメータである。
ｏ 以下のメタデータおよび制約を含む。
■ 開始時間ｓ（ｍｓｅｃ）
■ 時間スケールｔ
■ 最大持続時間Ｎ＊ｄであって、ｄ＝Ｄ＊Ｔ／ｔは整数であり、すなわち、Ｄ＊Ｔはｔで割ることが可能である。
■ 長さｌ（バイト）
■ ｖａｒｉａｂｌｅ－ｄｕｒａｔｉｏｎ＝「Ｔｒｕｅ」であるときのセグメントマーカーであって、セグメントマーカーは各セグメントの開始時間を示す。
ｏ 他の入力セグメントと重複しないサンプル
・ 入力セグメントのセットは、入力の時間時間全体をカバーするものとし、すなわち、総持続時間から入力のサンプルが除外されない。
・ 入力セグメントに対してインクリメント順序で動作する、すなわち、時間のより早い持続時間をカバーするセグメントは、より遅い持続時間をカバーするセグメントの前に処理されるものとする。
・ 任意の時間での各出力バッファでのメディアストリームは、ゼロ以上の出力セグメントからなる。各出力セグメントは、以下の要件を満足するものとする。
ｏ 連続したサンプルのセット
ｏ 時間スケールｔのスケールにおけるｄの最大持続時間
ｏ 以下のメタデータを含む。
■ 開始時間ｓ（ｍｓｅｃ）
■ 時間スケールｔ
■ 時間スケールｔのスケールにおけるｄの最大持続時間
■ 長さｌ（バイト）
・ すべての出力バッファのすべての出力セグメントの集合はまとめて、有力の持続時間全体をカバーするものとし、すなわち、出力セグメントの集合から入力のサンプルが除外されない。
・ スプリッタは、以下の方法で、すべての１つの入力セグメントに対して動作し、これをＮ個の出力セグメントに分割するものとする。
ｏ すべての出力バッファは、１つの出力セグメントを受信する。
ｏ 各入力セグメントは、ｓ０，ｓ１，．．．，ｓＮ－１の順序でＮ個の出力セグメントに分割され、セグメントｓｉは、セグメントｓｉ－１およびｓｉ＋１の直後のメディアの持続時間をカバーする。
ｏ 出力バッファは、Ｏ０，Ｏ１，．．．，ＯＮ－１として順序付けされる。
ｏ 出力セグメントｓｉは、バッファＯｉに置かれる
［機能記述テンプレート］
Figure 2022553021000011
Figure 2022553021000012
Figure 2022553021000013
Figure 2022553021000014
Figure 2022553021000015
Figure 2022553021000016
Figure 2022553021000017
Figure 2022553021000018
Figure 2022553021000019
Figure 2022553021000020
Figure 2022553021000021
Figure 2022553021000022
Figure 2022553021000023
ｕｒｎ：ｍｐｅｇ：ｍｐｅｇｉ：ｎｂｍｐ：２０２０：ｍｅｒｇｅ
［記述］
要件は、入力メディアストリームがギャップなしに連続的であると仮定する。本項において、［ａ，ｂ［は、ａ以上ｂ未満の時間範囲を意味する。
マージャ機能は、以下の要件を満たすものとする。
・ Ｎ個の入力および１つの出力ＦＩＦＯバッファであり、Ｎは、スプリットの数の設定パラメータである。
・ 各入力バッファから１つの入力セグメント、合計Ｎ個のセグメントを各時間で動作させ、１つの出力セグメントを生成する。
・ 各入力セグメントは、以下の要件を満たすものとする。
ｏ 連続したサンプルのセット
ｏ 時間スケールＴのスケールおけるＤの最大持続時間であって、ＤおよびＴが設定パラメータである。
ｏ 以下のメタデータを含む。
■ 開始時間ｓ（ｍｓｅｃ）
■ 時間スケールｔ
■ ｔのスケールにおける最大持続時間ｄであって、ｄ＝Ｄ＊Ｔ／ｔは整数であり、すなわち、Ｄ＊Ｔはｔで割ることが可能である。
■ 長さｌ（バイト）
■
ｏ 他の入力セグメントと重複しないサンプル
・ Ｎバッファの入力セグメントのセットは、入力の時間時間全体をカバーするものとし、すなわち、総持続時間から入力のサンプルが除外されない。

・ 入力セグメントに対してインクリメント順序で動作する、すなわち、時間のより早い持続時間をカバーするセグメントは、より遅い持続時間をカバーするセグメントの前に処理されるものとする。
・ 任意の時間での出力バッファでのメディアストリームは、ゼロ以上の出力セグメントからなる。各出力セグメントは、以下の要件を満足するものとする。
ｏ 連続したサンプルのセット
ｏ ｔのスケールにおけるＮ＊ｄの持続時間
ｏ 以下のメタデータを含む。
■ 開始時間ｓ（ｍｓｅｃ）
■ ｔの時間スケール
■ 持続時間Ｎ＊ｄ
■ 長さｌ（バイト）
■ ｖａｒｉａｂｌｅ－ｄｕｒａｔｉｏｎ＝「Ｔｒｕｅ」であるときのセグメントマーカーであって、セグメントマーカーは各セグメントの開始時間を示す。
・ すべての出力バッファの出力セグメントの集合はまとめて、入力の持続時間全体をカバーするものとし、すなわち、出力セグメントの集合から入力のサンプルが除外されない。
・ スプリッタは、以下の方法で、各入力バッファからのすべての１つの入力セグメントに対して動作し、これを１つの出力セグメントにマージするものとする。
ｏ 各入力バッファからの１つのセグメントは、それぞれ、入力バッファＩ０、Ｉ１、．．．、ＩＮ－１からｓ０，ｓ１，．．．，ｓＮ－１に処理される。セグメントｓｉは、ｓｉ－１とｓｉ＋１の時間間隔の正確な時間間隔のサンプルを含む。
ｏ セグメントｓ０，ｓ１，．．．，ｓＮ－１は、示された順序で１つの出力セグメントに連結され、出力セグメントが、セグメントｓ０，ｓ１，．．．，ｓＮ－１のすべてのサンプルを含み、繰り返しサンプルがなく、ＥＰＴの最も早い提示を伴うようにする。
［機能記述テンプレート］
Figure 2022553021000024
Figure 2022553021000025
Figure 2022553021000026
Figure 2022553021000027
Figure 2022553021000028
Figure 2022553021000029
Figure 2022553021000030
Figure 2022553021000031
Figure 2022553021000032
Figure 2022553021000033

Figure 2022553021000034
Figure 2022553021000035
Figure 2022553021000036
実施形態は、可変持続時間セグメントを有するメディアのセグメント化を記述するための方法に関してもよく、メディアは、可変持続時間を有する独立セグメントによって処理され、ステップ記述子は拡張されて、可変セグメント持続時間のための機能のサポートをシグナリングするように拡張される。
実施形態は、メディアストリームを複数のメディアサブストリームにスプリットし、複数のメディアサブストリームからメディアストリームをマージするための方法に関してもよく、スプリットおよびマージ機能は、可変持続時間を有するセグメントに対して実行され、セグメントの境界が定義され、スプリットおよびマージのプロセスがこれらの境界で実行される。
［クラウド上での多次元メディアセグメントの処理］
実施形態は、クラウド内でメディアセグメントを独立して処理するための多次元メディアセグメント方法に関してもよい。実施形態は、多次元セグメントを定義するために、ＮＢＭＰ規格のステップ記述子を拡張し得る。
ＮＢＭＰ規格は、表２１に示すように、各機能の処理モードと時間セグメント持続時間を記述するステップ記述子を含む。
Figure 2022553021000037
実施形態は、セグメント次元を時間軸の他の次元に拡張し得る。表２２は、この拡張の一例を示す。
Figure 2022553021000038
Figure 2022553021000039
Figure 2022553021000040
Figure 2022553021000041


・ 例１：例えば、ビデオフレームを、ステップ処理のためにタイルに分割することは、以下の設定によって達成され得る。
ｏ ｈｉｇｈｅｒ－ｄｉｍｅｎｓｉｏｎｓ－ｓｉｚｅ＝２
ｏ ｈｉｇｈｅｒ－ｄｉｍｅｎｓｉｏｎｓ－ｄｅｓｃｒｉｐｔｉｏｎ＝［ｗｉｄｔｈ，ｈｅｉｇｈｔ］
ｏ ｈｉｇｈ－ｓｅｇｍｅｎｔ－ｓｉｚｅ＝［ｗ，ｈ］であり、ｗおよびｈは各独立タイルの幅と高さを表す。
・ 例２：３つの色コンポーネントを含むビデオの場合、
ｏ ｈｉｇｈｅｒ－ｄｉｍｅｎｓｉｏｎｓ－ｓｉｚｅ＝１
ｏ ｈｉｇｈｅｒ－ｄｉｍｅｎｓｉｏｎｓ－ｄｅｓｃｒｉｐｔｉｏｎｓ＝［ＲＧＢ］
ｏ ｈｉｇｈ－ｓｅｇｍｅｎｔ－ｓｉｚｅ＝［ｃ］であり、ｃは色コンポーネントビデオを表す。
パラメータｏｖｅｒｌａｐ－ｓｉｚｅは、各次元における重複の量を示す。例えば、例１における［１６，１６］の重複サイズは、近隣のタイルの幅および高さにおいて１６サンプルの重複を示す。
［ＪＳＯＮ実装］
上述の概念のＪＳＯＮ実装を表２３に示す。
Figure 2022553021000042
Figure 2022553021000043
Figure 2022553021000044
実施形態は、各セグメントが独立して処理され得る多次元セグメントへの多次元メディア信号のセグメント化を記述するための方法に関してもよく、メディアセグメントの次元、及び、各次元におけるサイズ、及び、各次元における重複の量、並びに、処理セグメントの数を含むそのプロパティが、記述子に記述され、記述子は、機能記述に使用されて、機能のプロパティを記述するか、又は、ワークフロー又はタスク記述子に使用されて、動作ワークフローにおける機能の処理動作を記述し、それによって、これらの多次元セグメントの独立した又は並列の処理を可能にする。
［ワークフロー記述子設定とポリシーから機能インスタンスおよびタスクの除外］
実施形態は、ワークフロー記述で定義された１つ以上の記述子から機能インスタンスおよびタスクを除外するための方法に関してもよい。
ＮＢＭＰ修正１は、機能の除外のための以下の方法を含む。
［スコープ記述子］
記述子は、表２４に示すように、それらの記述子パラメータを無視すべきタスクを示すために、ＷＤＤにおいて定義されたそれらの記述子のパラメータスコープとして含まれ。
Figure 2022553021000045
Figure 2022553021000046
表２６は、スコープ記述子で使用されるパラメータを定義する。
Figure 2022553021000047
上記の実装は、いくつかの問題を提示する。たとえば、スコープ記述子は、機能のサブセットに対してＷＤＤにおける特定のディスクリプタを除外するために使用される。これは記述子内で使用され、スタンドアロンの記述子ではない。これは特定の記述子に適用され、すべてではない。これとともに使用される可能な記述子は、セキュリティ、要件、報告、および通知である。機能リストが機能の名前や識別子であることが明らかではない。
したがって、ブラックアウトリストが適用され得る記述子の明確なリストは定義されていない。ワークフローにおける機能、機能インスタンス／タスクにブラックアウトが適用されるかどうかは明らかではない。ワークフロー記述文書（ＷＤＤ）は、ワークフローを含んでも含まなくてもよい。ＷＤＤがワークフローを含む場合、接続マップと、場合によっては機能制限付きのオブジェクトの配列を有する。ＷＤＤがワークフローを含まない場合、記述子はＷＤＤに適用され、機能およびタスクは定義されていない。ワークフローマネージャは、ワークフローを実現するために、１つ以上のリポジトリから異なる機能を選択してもよい。ブラックアウトリストはバイナリフラグであり、機能が記述子のブラックアウトリストにリストされている場合、その機能を実装するタスクには記述子は適用されないことを意味する。
機能制限は、ワークフロー内の各機能の制限をリストするため、実施形態は、ブラックリストをその要素に追加することに関してもよい。
例えば、以下の変更が行われてもよい。
機能制限
ａ）ブラックリスト機能に関係なく、上記の表にない他の記述子が追加されてもよい。
ｂ）機能インスタンスに対して除外される記述子をリストするために、ブラックリストが配列に追加されてもよい。
Figure 2022553021000048
Figure 2022553021000049
例示的なＪＳＯＮ実装を表２８に示す。
Figure 2022553021000050
Figure 2022553021000051
Figure 2022553021000052
Figure 2022553021000053
実施形態は、表２８に示すように、各機能インスタンスに対して除外されるディスクリプタのリストの単純な配列を追加してもよい。
Figure 2022553021000054
Figure 2022553021000055
Figure 2022553021000056
この修正はいくつかの利点を提供する。例えば、
１． 機能ではなく機能インスタンスに対して実行される。ワークフローにおいて、機能インスタンスがブラックリストにされる可能性があるが、その機能のすべてのインスタンスがブラックリストにされるわけではない。
２． ｆｕｎｃｔｉｏｎ－ｒｅｓｔｒｉｃｔｉｏｎは、すでに異なる記述子をリストにする。機能インスタンスに対して記述子をブラックアウトしたい場合、その配列においてフラグを立てることができる。
３． ブラックアウトは単一のパラメータであるため、それを定義するための独立した記述子を有する必要がない。
ｖ４． ＷＤＤがワークフローを有さない場合、ＷＤＤはワークフローを導出し、更新されたＷＤＤにおいてそれをＮＢＭＰに戻すことができる。ＮＢＭＰソースは、所望の機能インスタンス／タスクにブラックアウトフラグを追加することができる。
実施形態は、機能インスタンスからＷＤＤ（Ｗｏｒｋｆｌｏｗ Ｄｅｓｃｒｉｐｔｉｏｎ Ｄｏｃｕｍｅｎｔ）内の任意の記述子を除外するための方法に関してもよく、その機能インスタンスがその特定の記述子を実装する必要がなく、各機能インスタンスは独自の除外リストを有してもよく、同じ機能の他の機能インスタンスは同じ除外を有していてもいなくてもよく、ワークフローが提供されるときにＮＢＭＰ ソースがＷＤＤ内の除外リストを提供することができるか、またはワークフローが提供されないときに、ワークフローマネージャがワークフローを導出し、それをＮＢＭＰソースに提供することができ、次いで、ＮＢＭＰソースが各機能インスタンス／タスクに対する除外リストでＷＤＤに更新し、それを実装するためにワークフローマネージャに戻すように提供する。
［例示的なプロセス］
図３および図８を参照して、ワークフローのスプリットレンダリングのためにＮＢＭＰワークフローマネージャ３２０によって実行されるプロセス８００を以下に説明する。
図８は、ビデオ復号のために現在のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを再構成するための例示的なプロセス８００のフローチャートである。
図８に示すように、プロセス８００は、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフローを導出すること（ブロック８１０）を含み得る。
図８にさらに示すように、プロセス８００は、ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、少なくとも１つのタスクによって受信される少なくとも１つの入力、または少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得すること（ブロック８２０）を含み得る。
図８にさらに示すように、プロセス８００は、少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定すること（ブロック８３０）を含み得る。
図８にさらに示すように、プロセス８００は、複数の必須タスクを、ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てること（ブロック８４０）を含み得る。
実施形態において、少なくとも１つの第１の構文要素は、少なくとも１つのタスクの一般的記述子に含まれる第１のフラグを含み得、第１のフラグは、少なくとも１つのタスクが非必須であることを示し得る。実施形態において、第１のフラグは、表１の非本質のフラグに対応してもよい。
実施形態において、複数の必須タスクは、第１のフラグに基づいて判定されてもよい。
実施形態において、少なくとも１つの第１の構文要素は、少なくとも１つの出力の出力記述子に含まれる第１のパラメータを含み得、第１のパラメータは、少なくとも１つの出力が非必須であることを示し得る。実施形態において、第１のパラメータは、表３の非必須性パラメータに対応し得る。
実施形態において、複数の必須タスクは、第１のフラグに基づいて判定され得る。
実施形態において、プロセス８００は、ＮＢＭＰワークフローに関連する少なくとも１つのメディアセグメントの並列処理情報を示す少なくとも１つの第２の構文要素を含むステップ記述子を取得することと、並列処理情報に基づいて複数の必須タスクを割り当てることと、をさらに含み得る。
実施形態において、少なくとも１つの第２の構文要素は、メディアセグメントの持続時間が変動し得ることを示す第２のフラグと、持続時間の最大継続時間を示す第２のパラメータと、を含み得る。実施形態において、第２のフラグは、上述の要素「可変持続時間」に対応し得、第２のパラメータは、上述の要素「セグメント持続時間」に対応し得る。
実施形態において、少なくとも１つの第２の構文要素は、前記少なくとも１つのメディアセグメントの時間的重複、前記少なくとも１つのメディアセグメントの次元の数、前記少なくとも１つのメディアセグメントの次元の記述、又は前記少なくとも１つのメディアセグメントの次元の重複のうちの少なくとも１つを示す第３のパラメータを含み得る。実施形態において、第３のパラメータは、表２１に示すパラメータのうちの少なくとも１つに対応し得る。
実施形態において、プロセス８００は、ＮＢＭＰワークフローに含まれる機能のインスタンスに対応する機能制限リストを取得することをさらに含み得る。実施形態において、機能制限リストは、対応する機能の制限を示し得る。実施形態において、機能制限リストは、ＮＢＭＰワークフローに対応するワークフロー記述文書において機能のインスタンスに対して除外される記述子を指定するブラックリスト配列を含み得る。
実施形態において、機能制限リストは、第１の機能制限リストであり得、機能のインスタンスは、機能の第１のインスタンスであり得、機能の第２のインスタンスに対応する第２の機能制限リストは、ブラックリスト配列を含まなくてもよい。
図８は、プロセス８００の例示的なブロックを示し、いくつかの実装において、プロセス８００は、図８に示されるブロックよりも、追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含み得る。追加的又は代替的に、プロセス８００のブロックのうちの２つ以上は、並列で実行されてもよい。
さらに、提案された方法は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実施されてもよい。一例において、１つ以上のプロセッサは、提案された方法の１つ以上を実行するために、非一時的なコンピュータ可読媒体に記憶されたプログラムを実行する。
［例示的なコンピュータコード］
本開示の実施形態によれば、コンピュータコードを記憶するメモリを有する少なくとも１つのプロセッサが提供されてもよい。コンピュータコードは、少なくとも１つのプロセッサによって実行されるときに、本開示の任意の数の態様を実行するように構成され得る。
例えば、図９を参照すると、コンピュータコード９００は、ＮＢＭＰシステム３００において実装され得る。例えば、コンピュータコードは、ＮＢＭＰワークフローマネージャ３２０のメモリに記憶されてもよく、ＮＢＭＰワークフローマネージャ３２０の少なくとも１つのプロセッサによって実行されてもよい。コンピュータコードは、例えば、ワークフロー導出コード９１０、第１の取得コード９２０、判定コード９３０、および割り当てコード９４０を含み得る。
ワークフロー導出コード９１０、第１の取得コード９２０、判定コード９３０、および割り当てコード９４０は、ＮＢＭＰワークフローマネージャ３２０に、それぞれ図８を参照して上述されたプロセスの態様を実行させるように構成され得る。
本開示の実施形態は、別々に、または任意の順序で組み合わせて使用されてもよい。さらに、実施形態（およびその方法）の各々は、処理回路（例えば、１つ以上のプロセッサまたは１つ以上の集積回路）によって実装されてもよい。一例において、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されたプログラムを実行する。
前述の開示は、例示および説明を提供するが、網羅的であることを意図しておらず、また、実装を開示された正確な形態に限定することを意図していない。修正および変形は、上記の開示に照らして可能であるか、または実装の実施から取得されてもよい。
本明細書で使用される場合、コンポーネントという用語は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組み合わせとして広く解釈されることを意図している。
特徴の組み合わせが特許請求の範囲に規定され、および／または明細書に開示されているとしても、これらの組み合わせは、可能な実装の開示を限定するものではない。実際、これらの特徴の多くは、具体的に特許請求の範囲に規定されていない、および／または明細書に開示されていない方法で組み合わせられてもよい。以下に列挙される各従属請求項は、１のクレームのみに直接従属してもよいが、可能な実装の開示は、クレームセットにおいて、他の全てのクレームと組み合わせた各従属クレームを含む。
本明細書中で使用されるいかなる要素、行為、または命令も、明示的に記述されない限り、重要または必須と解釈されるべきではない。また、本明細書で使用される場合、「ａ」および「ａｎ」という品詞は、１つ以上の項目を含むことを意図し、「１つ以上」と互換的に使用されてもよい。さらに、本明細書で使用される場合、「セット」という用語は、１つ以上の項目（例えば、関連項目、非関連項目、関連項目と非関連項目の組み合わせなど）を含むことを意図し、「１つ以上」と互換的に使用されてもよい。１つの項目のみが意図される場合、「１」という用語または類似の言語が使用される。また、本明細書で使用される場合、「有する（ｈａｓ）」、「有する（ｈａｖｅ）」、「有している（ｈａｖｉｎｇ）」などの用語は、オープンエンドの用語であることを意図している。さらに、「に基づく」という語句は、明示的に別段の記載がない限り、「少なくとも部分的に基づく」を意味することを意図している。

Claims (20)

  1. 少なくとも１つのプロセッサによって実行される方法であって、
    ネットワークベースのメディア処理（ＮＢＭＰ）ワークフローを導出するステップと、
    ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、少なくとも１つのタスクによって受信される少なくとも１つの入力、または少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得するステップと、
    前記少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定するステップと、
    前記複数の必須タスクを、前記ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てるステップと、を含む、方法。
  2. 前記少なくとも１つの第１の構文要素は、前記少なくとも１つのタスクの一般的記述子に含まれる第１のフラグを含み、
    前記第１のフラグは、前記少なくとも１つのタスクが非必須であることを示す、請求項１に記載の方法。
  3. 前記複数の必須タスクは、前記第１のフラグに基づいて判定される、請求項２に記載の方法。
  4. 前記少なくとも１つの第１の構文要素は、前記少なくとも１つの出力の出力記述子に含まれる第１のパラメータを含み、
    前記第１のパラメータは、前記少なくとも１つの出力が非必須であることを示す、請求項１に記載の方法。
  5. 前記複数の必須タスクは、前記第１のパラメータに基づいて判定される、請求項４に記載の方法。
  6. 前記ＮＢＭＰワークフローに関連する少なくとも１つのメディアセグメントの並列処理情報を示す少なくとも１つの第２の構文要素を含むステップ記述子を取得するステップとと、
    前記並列処理情報に基づいて前記複数の必須タスクを割り当てるステップとと、をさらに含む、請求項１に記載の方法。
  7. 前記少なくとも１つの第２の構文要素は、メディアセグメントの持続時間が変動し得ることを示す第２のフラグと、前記持続時間の最大継続時間を示す第２のパラメータと、を含む、請求項６に記載の方法。
  8. 前記少なくとも１つの第２の構文要素は、前記少なくとも１つのメディアセグメントの時間的重複、前記少なくとも１つのメディアセグメントの次元の数、前記少なくとも１つのメディアセグメントの次元の記述、又は前記少なくとも１つのメディアセグメントの次元の重複のうちの少なくとも１つを示す第３のパラメータを含む、請求項６に記載の方法。
  9. 前記ＮＢＭＰワークフローに含まれる機能のインスタンスに対応する機能制限リストを取得するステップをさらに含み、
    前記機能制限リストは、前記ＮＢＭＰワークフローに対応するワークフロー記述文書において前記機能の前記インスタンスに対して除外される記述子を指定するブラックリスト配列を含む、請求項１に記載の方法。
  10. 前記機能制限リストは第１の機能制限リストであり、前記機能の前記インスタンスは前記機能の第１のインスタンスであり、
    前記機能の第２のインスタンスに対応する第２の機能制限リストは、ブラックリスト配列を含まない、請求項９に記載の方法。
  11. メディアシステムのワークフローマネージャであって、
    少なくとも１つのプロセッサと、
    コンピュータコードを含むメモリと、を含み、前記コンピュータコードは、
    前記少なくとも１つのプロセッサに、ネットワークベースのメディア処理（ＮＢＭＰ）ワークフローを導出させるように構成されているワークフロー導出コードと、
    前記少なくとも１つのプロセッサに、前記ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、前記少なくとも１つのタスクによって受信される少なくとも１つの入力、または前記少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得させるように構成されている第１の取得コードと、
    前記少なくとも１つのプロセッサに、前記少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定させるように構成されている判定コードと、
    前記少なくとも１つのプロセッサに、前記複数の必須タスクを、前記ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てさせるように構成されている割り当てコードと、を含む、ワークフローマネージャ。
  12. 前記少なくとも１つの第１の構文要素は、前記少なくとも１つのタスクの一般的記述子に含まれる第１のフラグを含み、
    前記第１のフラグは、前記少なくとも１つのタスクが非必須であることを示す、請求項１１に記載のワークフローマネージャ。
  13. 前記判定コードは、前記少なくとも１つのプロセッサに、前記第１のフラグに基づいて前記複数の必須タスクを判定させるようにさらに構成されている、請求項１２に記載のワークフローマネージャ。
  14. 前記少なくとも１つの第１の構文要素は、前記少なくとも１つの出力の出力記述子に含まれる第１のパラメータを含み、
    前記第１のパラメータは、前記少なくとも１つの出力が非必須であることを示す、請求項１１に記載のワークフローマネージャ。
  15. 前記判定コードは、前記少なくとも１つのプロセッサに、前記第１のパラメータに基づいて前記複数の必須タスクを判定させるようにさらに構成されている、請求項１４に記載のワークフローマネージャ。
  16. 前記コンピュータコードは、前記少なくとも１つのプロセッサに、前記ＮＢＭＰワークフローに関連する少なくとも１つのメディアセグメントの並列処理情報を示す少なくとも１つの第２の構文要素を含むステップ記述子を取得させるように構成されている第２の取得コードをさらに含み、
    前記判定コードは、前記少なくとも１つのプロセッサに、前記並列処理情報に基づいて前記複数の必須タスクを割り当てさせるようにさらに構成されている、請求項１１に記載のワークフローマネージャ。
  17. 前記少なくとも１つの第２の構文要素は、メディアセグメントの持続時間が変動し得ることを示す第２のフラグと、前記持続時間の最大継続時間を示す第２のパラメータと、を含む、請求項１６に記載のワークフローマネージャ。
  18. 前記少なくとも１つの第２の構文要素は、前記少なくとも１つのメディアセグメントの時間的重複、前記少なくとも１つのメディアセグメントの次元の数、前記少なくとも１つのメディアセグメントの次元の記述、又は前記少なくとも１つのメディアセグメントの次元の重複のうちの少なくとも１つを示す第３のパラメータを含む、請求項１６に記載のワークフローマネージャ。
  19. 前記コンピュータコードは、前記少なくとも１つのプロセッサに、前記ＮＢＭＰワークフローに含まれる機能の第１のインスタンスに対応する第１の機能制限リストを取得させるように構成されている第３の取得コードをさらに含み、
    前記第１の機能制限リストは、前記ＮＢＭＰワークフローに対応するワークフロー記述文書において前記機能の前記第１のインスタンスに対して除外される記述子を指定するブラックリスト配列を含み、
    前記機能の第２のインスタンスに対応する第２の機能制限リストは、前記ブラックリスト配列を含まない、請求項１１に記載のワークフローマネージャ。
  20. コンピュータコードであって、前記コンピュータコードは、メディアシステムのワークフローマネージャを実装する少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
    ネットワークベースのメディア処理（ＮＢＭＰ）ワークフローを導出するステップと、
    前記ＮＢＭＰワークフローに含まれる少なくとも１つのタスク、前記少なくとも１つのタスクによって受信される少なくとも１つの入力、または前記少なくとも１つのタスクによって生成される少なくとも１つの出力が非必須であることを示す少なくとも１つの第１の構文要素を取得するステップと、
    前記少なくとも１つの第１の構文要素に基づいて複数の必須タスクを判定するステップと、
    前記複数の必須タスクを、前記ＮＢＭＰワークフローに含まれるメディアシンク、メディアソース、およびメディア処理エンティティのうちの少なくとも１つに割り当てるステップと、を行わせるように構成されている、コンピュータコード。
JP2022523175A 2020-06-22 2021-06-22 クラウドプラットフォーム上のワークフローにおける非必須の入力、出力、およびタスクシグナリング Pending JP2022553021A (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US202063042480P 2020-06-22 2020-06-22
US63/042,480 2020-06-22
US202063087751P 2020-10-05 2020-10-05
US202063087746P 2020-10-05 2020-10-05
US202063087748P 2020-10-05 2020-10-05
US63/087,748 2020-10-05
US63/087,746 2020-10-05
US63/087,751 2020-10-05
US17/352,616 US11743307B2 (en) 2020-06-22 2021-06-21 Nonessential input, output and task signaling in workflows on cloud platforms
US17/352,616 2021-06-21
PCT/US2021/038472 WO2021262713A1 (en) 2020-06-22 2021-06-22 Nonessential input, output and task signaling in workflows on cloud platforms

Publications (1)

Publication Number Publication Date
JP2022553021A true JP2022553021A (ja) 2022-12-21

Family

ID=79022128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022523175A Pending JP2022553021A (ja) 2020-06-22 2021-06-22 クラウドプラットフォーム上のワークフローにおける非必須の入力、出力、およびタスクシグナリング

Country Status (6)

Country Link
US (1) US11743307B2 (ja)
EP (1) EP4026012A4 (ja)
JP (1) JP2022553021A (ja)
KR (1) KR20220044995A (ja)
CN (1) CN114467085A (ja)
WO (1) WO2021262713A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11917034B2 (en) 2022-04-19 2024-02-27 Tencent America LLC Deployment of workflow tasks with fixed preconfigured parameters in cloud-based media applications

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639671B2 (en) 2006-03-07 2009-12-29 Freescale Semiconductor, Inc. Allocating processing resources for multiple instances of a software component
US8854418B2 (en) 2011-05-23 2014-10-07 Broadcom Corporation Integrated media gateway processing and control to reduce latency for 2-way video conference applications
US10033702B2 (en) 2015-08-05 2018-07-24 Intralinks, Inc. Systems and methods of secure data exchange
US10185670B2 (en) 2015-09-15 2019-01-22 Gatekeeper Ltd. System and method for securely connecting to a peripheral device
WO2017166119A1 (en) 2016-03-30 2017-10-05 Intel Corporation Adaptive workload distribution for network of video processors
WO2020080956A1 (en) 2018-10-17 2020-04-23 Tinderbox Media Limited Media production system and method
US11431817B2 (en) * 2018-12-04 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for management of network based media processing functions
EP3942835A4 (en) * 2019-03-21 2022-09-28 Nokia Technologies Oy NETWORK-BASED MEDIA PROCESSING CONTROL
US11256546B2 (en) * 2019-07-02 2022-02-22 Nokia Technologies Oy Methods, apparatuses and computer readable mediums for network based media processing
US20210390318A1 (en) * 2020-06-10 2021-12-16 Nokia Technologies Oy System And Signalling Of Video Splitter And Merger For Parallel Network Based Media Processing

Also Published As

Publication number Publication date
KR20220044995A (ko) 2022-04-12
US20210400097A1 (en) 2021-12-23
EP4026012A1 (en) 2022-07-13
EP4026012A4 (en) 2023-03-01
US11743307B2 (en) 2023-08-29
CN114467085A (zh) 2022-05-10
WO2021262713A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US11356534B2 (en) Function repository selection mode and signaling for cloud based processing
US11544108B2 (en) Method and apparatus for functional improvements to moving picture experts group network based media processing
JP2022553021A (ja) クラウドプラットフォーム上のワークフローにおける非必須の入力、出力、およびタスクシグナリング
US20230224347A1 (en) Splitter and merger functions for multidimensional segmented media data
JP7416482B2 (ja) ネットワークベースのメディア処理ワークフローを管理するための方法、ワークフローマネージャおよびコンピュータプログラム
US11489898B1 (en) Method and apparatus for segment-based split and merge functions for parallel processing of media
US11917269B2 (en) Multidimensional metadata for parallel processing of segmented media data
US20240147027A1 (en) Multidimensional metadata for parallel processing of the segmented media data
US20230108435A1 (en) Method and apparatus for parallel transcoding of media content on cloud
US20230019558A1 (en) Method and apparatus for signaling independent processing of media segments on cloud using metadata and startcode
US11838390B2 (en) Function repository selection mode and signaling for cloud based processing
CN111831834A (zh) 基于网络的媒体处理（nbmp）中处理媒体内容的方法和装置
JP2023525661A (ja) データフローにおいて連続性を持たせかつ途切れることなしにワークフローをスイッチングする又はワークフローを更新するための方法、ワークフローマネージャ、およびコンピュータプログラム
JP2023525711A (ja) クラウドワークフロー入出力のためのプロトコル特性をシグナリングする方法
KR20230038247A (ko) 클라우드 플랫폼 상에서 네트워크 기반 미디어 프로세싱 작업 흐름을 스케일링하기 위한 방법 및 장치, 및 저장 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240315