JP2022179378A

JP2022179378A - ストリーミング・コンテンツのためのリアルタイム向上

Info

Publication number: JP2022179378A
Application number: JP2022078091A
Authority: JP
Inventors: ミヤールナヤクナンディータ; Miyar Nayak Nandita; ジンガーデアカーシュ; Zingade Akarsh; ミンジアンユアン; Jianyuan Min; ペレイラロシェレ; Pereira Rochelle
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2021-05-19
Filing date: 2022-05-11
Publication date: 2022-12-02
Also published as: CN115376035A; DE102022112157A1; US20220374714A1

Abstract

【課題】高解像度、高ビットレート・コンテンツの場合でも、クライアント・デバイス上で動作するのに十分軽量であるソリューションを使用して、リアルタイム・コンテンツを向上させる。【解決手段】向上プロセスは、コンテンツをターゲット解像度にアップスケールしながら、コンテンツの視覚的側面を先鋭化し、アーティファクトの存在を低減するために、コンテンツの視覚的品質を向上させるニューラル・ネットワークを含む。このような手法は、帯域幅及びデータ送信を温存するために、圧縮されたコンテンツがネットワークにわたってストリームで送信されることを可能にしながら、ユーザ又は観察者が、意図された又は元の視覚的品質における、又はそれに近い、又はそれを上回るコンテンツを経験することができるように、そのコンテンツがリアルタイムでクライアント・デバイスにおいてアップスケールされ、向上することを可能にする。【選択図】図５

Description

本発明は、ストリーミング・コンテンツのためのリアルタイム向上に関する。

絶えず増大する量のメディア・コンテンツが１つ又は複数のネットワークにわたってストリーミングを介して提供されている。帯域幅制約及びデータ限界などのファクタにより、このコンテンツは、送信のためにサイズを低減するために、しばしば、最適ではない品質で圧縮又は符号化される。これは、低減された解像度及び様々なタイプのアーティファクトの存在を含み得るような、より低い品質のコンテンツが提示されることを生じることがある。このコンテンツの品質を改善するための試みは、様々な制限を有するか、又はリアルタイムでクライアント・デバイス上でストリーミング・コンテンツを十分に改善することができない。

本開示による様々な実施例が、図面を参照しながら説明される。

少なくとも１つの実施例による、生成され得る画像を示す図である。少なくとも１つの実施例による、生成され得る画像を示す図である。少なくとも１つの実施例による、生成され得る画像を示す図である。少なくとも１つの実施例による、生成され得る画像を示す図である。少なくとも１つの実施例による、向上パイプライン（ｅｎｈａｎｃｅｍｅｎｔｐｉｐｅｌｉｎｅ）、及びそのパイプラインのアーティファクト除去構成要素を示す図である。少なくとも１つの実施例による、向上パイプライン、及びそのパイプラインのアーティファクト除去構成要素を示す図である。少なくとも１つの実施例による、画像向上（ｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ）のための生成モデルの構成要素を示す図である。少なくとも１つの実施例による、向上ネットワーク（ｅｎｈａｎｃｅｍｅｎｔｎｅｔｗｏｒｋ）のための高密度（ｄｅｎｓｅ）ブロック構成を示す図である。少なくとも１つの実施例による、向上ネットワークのための高密度ブロック構成を示す図である。少なくとも１つの実施例による、ビデオ・ストリームを向上させるためのプロセスを示す図である。少なくとも１つの実施例による、シーン・グラフを生成するためのシステムの構成要素を示す図である。少なくとも１つの実施例による、推論及び／又は訓練論理（ｔｒａｉｎｉｎｇｌｏｇｉｃ）を示す図である。少なくとも１つの実施例による、推論及び／又は訓練論理を示す図である。少なくとも１つの実施例による、例示的なデータ・センタ・システムを示す図である。少なくとも１つの実施例による、コンピュータ・システムを示す図である。少なくとも１つの実施例による、コンピュータ・システムを示す図である。１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。少なくとも１つの実施例による、先進コンピューティング・パイプラインのための例示的なデータ・フロー図である。少なくとも１つの実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練し、適応させ、インスタンス化し、導入するための例示的なシステムのためのシステム図である。少なくとも１つの実施例による、機械学習モデルを訓練するためのプロセスのためのデータ・フロー図である。少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャを示す図である。

様々な実施例による手法が、メディア・コンテンツの向上を提供することができる。特に、様々な実施例は、画像及びビデオ・コンテンツのアップスケーリング、アーティファクト除去、及び視覚的品質向上を提供する。そのような機能性は、たとえば、現代の解像度、ビットレート、及びフレーム・レートにおいてコンテンツを向上させるアビリティ（ａｂｉｌｉｔｙ）を用いて、リアルタイムでクライアント・デバイス上で実行するのに十分軽量であり得る。このコンテンツは、外部ネットワークを介して受信され得るストリーミング・メディア又は他のコンテンツを含むことができる。向上プロセスが、アーティファクト除去のための第１のネットワーク並びにアップスケーリング及び画像向上のための第２のネットワークなど、少なくとも２つの異なるネットワークを利用し得る。そのような向上プロセスは、異なる解像度、ビットレート、又は符号化の入力メディアに適したものであり得るような、２つ又はそれ以上の異なる動作モードをも利用し得る。そのようなプロセスは、ビデオ・ストリーム又は画像シーケンスの場合でも、正確なアップスケーリング及び向上を実施するために、動きベクトル、オプティカル・フロー・データ、或いは他の外部又は時間データを必要としない。

上述のように、様々なタイプのコンテンツを様々なクライアント・デバイスに提供するために、様々なストリーミング又はデータ転送機構が利用され得る。高解像度画像及びビデオ・コンテンツを含むことができる、メディア・コンテンツなどのコンテンツは、サイズが極めて大きいことがあり、したがって、かなりの量のネットワーク帯域幅及び他のリソースを消費することがある。上述のように、これは、しばしば、コンテンツ・プロバイダが、コンテンツの全体的なサイズを低減して、帯域幅要件を低減し、スループットを改善するようなやり方で、このコンテンツを圧縮又は符号化することを引き起こす。残念ながら、これは、多くの事例では、より低い品質のコンテンツが、受信側デバイスに配信され、最終的に観察者に提示されることを生じることがある。これは、いくつかの場合には、より低い解像度のコンテンツだけでなく、他のアーティファクトの中でも、ぼけ度、ブロッキネス、モアレ、ブルーム、色収差、ノイズ、又はぎざぎざのエッジなど、空間アーティファクトを含んでいるコンテンツも含むことがある。たとえば、図１Ａは、他のオプションの中でも、ゲーミング又はアニメーションのためのレンダリング・エンジンから生成されるか、又はビデオ・コンテンツのためのカメラによってキャプチャされ得る、ビデオ・フレーム１００を示す。このビデオ・フレーム１００の符号化及び圧縮は、図１Ｂに示されているように、いくぶんぼやけており、元の画像ほど外観においてくっきりしていない、異なるビデオ・フレーム１２０を生じ得る。このぼけ度は、高解像度ディスプレイを使用する観察者にとって特に問題になり得る。図１Ｃは、木材フローリングに対応し得るものなど、パターン化又はテクスチャ化された領域１４２を含む別の例示的なビデオ・フレーム１４０を示す。このビデオ・フレーム１４０の符号化は、図１Ｄに示されているように、サイズがより小さいが、パターン化された領域においてブロッキネス１６２を示す、別のビデオ・フレーム１６０をもたらし得る。少なくとも１つの実施例では、これは、ＪＰＥＧ画像圧縮、ＭＰ３デジタル・オーディオ、及びＭＰＥＧビデオ・コーディング・フォーマットなど、多くのデジタル・メディア規格において使用されるＤＣＴ圧縮アルゴリズムから生じる離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅｃｏｓｉｎｅｔｒａｎｓｆｏｒｍ）ブロックの存在に対応し得る。そのようなコンテンツの外観を改善するのを助けるために利用可能なオプションがあるが、様々なオプションは、ストリーミング・コンテンツを処理するために、品質を十分に改善しないか、又はリアルタイムでクライアント・デバイス上で稼働するのに十分軽量でないかのいずれかである。

したがって、様々な実施例による手法が、解像度の増加又は様々なアーティファクトの存在の低減など、コンテンツ品質の改善を提供することができる。少なくともいくつかの実施例は、厳しいレイテンシ需要をもつゲーム・コンテンツをストリーミングするためになど、リアルタイムでストリーミング・コンテンツ上で機能するのに十分軽量である。これらの手法はまた、そのようなコンテンツのために使用される又は開発された７２０ｐ、１０８０ｐ、４Ｋ、８Ｋ、又は他のそのような高精細度規格など、高精細度コンテンツを扱うことができる。少なくとも１つの実施例では、そのような手法は、他のオプションの中でも、いくつかのタイプのゲーム又は特定のゲームなど、多くの異なるタイプのコンテンツにわたって訓練され得る１つ又は複数の深層ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）を含む、深層学習の使用から恩恵を受けることができる。

ストリーミング・コンテンツはまた、これらの異なる解像度において広範囲のビットレートで提供され得る。様々な実施例による手法が、より多数のアーティファクトを含み得る、より低いビット・レートのコンテンツのほうを対象にした第１の動作モードを提供することができる。様々な実施例による手法が、たとえば、概して、より低いビット・レートのコンテンツよりも高い品質を配信時に有することになる、より高いビット・レート及び／又はより高い解像度コンテンツを対象にした第２の動作モードを提供することができる。少なくともいくつかの実施例による手法は、両方のモードをサポートすることができ、コンテンツの各インスタンスについて利用するための動作モードを自動的に決定することができる。

コンテンツ向上は、少なくとも１つのシステム、サービス、デバイス、モジュール、アプリケーション、プロセス、又は他のそのような提供物を通して提供され得る。少なくとも１つの実施例では、そのようなプロセスは、ビデオなど、コンテンツから符号化アーティファクトを除去することができ、また、そのコンテンツをアップスケールし、向上させることができる。これは、たとえば、コンテンツが、より低い品質において送信され、次いで、観察者、プレーヤ、或いは他のそのようなユーザ又は人に提示される前にクライアント・デバイス上で向上され得るように、クライアント・デバイス上で実施され得る。クライアント・デバイスは、デスクトップ・コンピュータ、ノートブック・コンピュータ、タブレット・コンピュータ、スマートフォン、ゲーミング・コンソール、セット・トップ・ボックス、ウェアラブル・コンピュータ（たとえば、ゴーグル又はスマート・ウォッチ）、又はストリーミング・メディア・デバイスなど、任意の適切なクライアント・デバイスであり得る。少なくとも１つの実施例では、そのような機能性は、そのようなデバイス上で実行しているアプリケーションを使用して提供され得、そのアプリケーションは、コンテンツに対するこれらの又は他のそのような向上のうちの１つ又は複数を実施するためのデータ処理パイプラインを含むことができる。このデータ処理パイプラインは、出力ビデオが、圧縮又は符号化の前に元のコンテンツにより厳密に一致するように、コンテンツを向上させるように訓練され得るものなど、１つ又は複数のニューラル・ネットワークを含むことができる。これは、たとえば、圧縮から生じていることがあるぼけ度を除去するためにコンテンツを先鋭化することを含むことができる。これらのアプリケーションはまた、１つ又は複数のグラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）を含み得るものなど、特定のクライアント・ハードウェア上で稼働するように最適化され得る。

図２Ａは、様々な実施例による、利用され得る例示的な向上パイプライン２００を示す。この実例では、入力ビデオ・フレーム２０２が、アップスケーリング及び向上ネットワーク２０４への入力として提供される。このビデオ・フレームは、様々な実施例では、ビデオ・ファイル又はストリームの一部であり得る。このアップスケーリング及び向上ネットワーク２０４は、少なくとも、ビデオ・フレームを、コンテンツが表示されるか又はさもなければ提示されるべきである解像度など、第２の解像度にアップスケールすることができる。このネットワーク２０４はまた、ビデオ・フレームの先鋭度を増加させるようになど、ビデオ・フレームを向上させるように機能することができる。少なくとも１つの実施例では、このアップスケーリング及び向上ネットワーク２０４はまた、１つ又は複数のタイプのアーティファクトを除去するか又はその存在を低減することを試みるためにビデオ・フレームを処理することができ、アーティファクトのタイプは、訓練のために使用されるデータに少なくとも部分的に依存し得る。少なくともいくつかの実施例では、これは、異なるパラメータ又は設定をもつ様々な符号化及び圧縮方式を通して作り出されるアーティファクトを含むことができる。いくつかの実施例では、アーティファクト除去が別々に実施され得る。これらのネットワークの結果は、ビデオ・ストリーム又は提示の一部としてリアルタイムで提示され得る向上された出力フレーム２０６であり得る。

図２Ｂは、様々な実施例による、利用され得る例示的な向上ネットワーク２５８のアーキテクチャ２５０を示す。少なくとも１つの実施例では、１つ又は複数の画像又はビデオ・フレーム２６０が、アップスケーリング、向上、及びアーティファクト除去など、タスクを実施するためにこのネットワークを使用して処理され得る。この例示的なアーキテクチャは、ＵＮｅｔのような畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）（Ｕ－ＳＮｅｔ）など、軽量ＣＮＮに対応する。アーティファクト低減のためにそのようなネットワークを訓練するために、各残差ブロック出力からの損失を考慮する、組み合わせられた損失項（ｌｏｓｓｔｅｒｍ）が利用され得る。図示のように、そのようなネットワークは、画像又はビデオ・フレーム２０２などのコンテンツを入力として受信することができ、そのコンテンツは、関連する特徴を抽出し、それらの特徴を、たとえば、特徴ベクトル又は潜在空間に符号化するために、エンコーダ層２５２に受信され得る。非線形特徴マッパの一連の畳み込み層及びデコーダ層が、所与の画像又はビデオ・フレームにおけるアーティファクトの存在を識別し、除去することを試みることができる。

このネットワーク２５８は、いくつかのストライド（ｓｔｒｉｄｅｄ）畳み込み層と、その後に続く、いくつか（たとえば、７つ）の残差ブロックと、対称的にその後に続く、２つのアップサンプリング畳み込み層とを含むことができる。ダウンサンプリング及びアップサンプリング中の情報損失を防ぐために、短い経路が、各ダウンサンプリング層をその対応するアップサンプリングと接続する。少なくとも１つの実施例では、訓練中にこれらの個々の残差ブロックのための学習を強化するために、このネットワーク構造は、図２Ｂに示されているように、各残差ブロックの後に主要なフィード・フォワーディング経路から分かれたアップサンプリング部の短い経路分岐を挿入するために活用され得る。このようにして、事実上、残差ブロックの数に伴う数の出力層がある。逆伝搬（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）中に、これらの出力層は、それぞれ、損失を算出するためにグランド・トゥルース画像データと１つずつ結合され得、その後に、これらの個々の損失関数値が、それぞれの短い経路を通して逆伝搬され得る。このようにして、最初の数個の残差ブロックが、すべての残差ブロックから逆伝搬情報を受信することが可能となり、そのような構造なしに行われるよりもはるかに急速に収束するべきである。

少なくとも１つの実施例では、そのような向上ネットワークを訓練するために使用される損失関数は、たとえば、Ｌ１損失とマルチスケール構造的類似性（ＭＳ－ＳＳＩＭ：ｍｕｌｔｉ－ｓｃａｌｅｓｔｒｕｃｔｕｒａｌｓｉｍｉｌａｒｉｔｙ）損失との重み付けされた組合せであり得る。損失関数のそのような組合せは、少なくとも視覚的品質に関して、個々にＬ２損失又はＬ１損失よりも優れていることがある。一実例では、ネットワークの受容野に整合し得る、たとえば、１１から４０までの範囲のウィンドウ・サイズをもつ、３層ピラミッドが利用され得る。グランド・トゥルース画像と、対応する出力画像との間の異なるウィンドウの平均及び標準偏差を算出し、比較することによって、ネットワークは、元の詳細及びテクスチャをそのままに保ちながら、アーティファクトをどのように認識し、除去するかを徐々に学習することになる。

少なくとも１つの実施例では、別個のニューラル・ネットワークが、図３のアーキテクチャによって示されるように、入力コンテンツ３０２のアップスケーリング又は超解像を提供するために利用され得る。少なくともいくつかの実施例では、この向上ニューラル・ネットワーク３００はまた、少なくともある量の他の画像向上（たとえば、画像先鋭化）をも実施することができる。そのようなネットワークは、たとえば、向上された超解像敵対的生成ネットワーク（ＥＳＲＧＡＮ：ＥｎｈａｎｃｅｄＳｕｐｅｒ－ＲｅｓｏｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）アーキテクチャに少なくとも部分的に基づくアーキテクチャを利用し得るものなど、敵対的生成ネットワーク（ＧＡＮ：ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）の形態をとることができる。推論時間において、そのようなモデルは、入力として、コンテンツのシーケンス又はストリームの一部であり得るものなど、単一の画像又はビデオ・フレーム３０２を受信することができる。このネットワークは、ストリーム又はシーケンス中の他の画像又はフレームに関する情報なしに、動きベクトル又はオプティカル・フロー・データなどの追加のデータの必要なしに、画像向上及びアップスケーリングを実施することができる。特定のタイプの画像向上（たとえば、詳細向上）及びアップスケーリングを実施するように訓練されることに加えて、そのようなモデルは、わずかな追加のレイテンシを伴ってコンテンツ・ストリーム上で実施され得るものなど、リアルタイム・データ処理のためのそのような向上を提供するために、特定のタイプのハードウェアのために最適化され得る。そのようなモデルは、従来の畳み込みネットワークに対して低減された数の接続又は層（たとえば、畳み込み層３０４、３０８、３１２）をも有し得、これは、実施の速度をさらに改善することができる。上述のように、そのような処理は、レイテンシが比較的重要性の高いものであり得る、オンライン・ゲーミングなどのアプリケーションのために使用されるのに十分に高速に実施され得る。少なくとも１つの実施例では、アップスケーリング層３１０におけるアップスケーリングに加えて、実施の速度をさらに改善するために１つ又は複数の中間層における入力画像又はビデオ・データのダウンスケーリングもあり得る。このモデルの出力は、次いで、向上された、アップスケールされた画像又はビデオ・フレーム３１４であり得、これは、次いで、出力ストリーム又はビデオ・ファイル或いは他のそのようなフォーマットに符号化され得る。このネットワークの弁別器３１６が、向上された画像を、対応するグランド・トゥルース画像に対して比較することによってなど、訓練中にこれが向上された画像であったのか、元の画像であったのかを決定することを試みるために使用され得る。

そのようなＧＡＮの生成器構成要素は、一連の畳み込み層３０４、３０８、３１２及び互いに畳まれた残差ブロック３０６と、その後に続くアップサンプラ又はアップスケーラ３１０とからなることができる。前のアップスケーリング又は超解像ネットワークに対するそのようなアップスケーリング・ネットワークの間の少なくとも２つの著しい差がある。１つのそのような差は、残差ブロックのうちの１つ又は複数の構造に関係する。このネットワークは、低減残差内部残差高密度ブロック（ＲＲＲＢＤ：ＲｅｄｕｃｅｄＲｅｓｉｄｕａｌｉｎｓｉｄｅＲｅｓｉｄｕａｌＤｅｎｓｅＢｌｏｃｋ）３０６と呼ばれる、特殊なタイプの残差ブロックを使用する。図４Ａ及び図４Ｂの図４００、４５０においてより詳細に示されているように、このブロックは、いくつか（たとえば、５つ）の高密度に接続された（ｄｅｎｓｅｌｙ－ｃｏｎｎｅｃｔｅｄ）畳み込み層４０４を内部にもつ、いくつか（たとえば、３つ）のサブ残差ブロック４０２からなることができる。そのような構成要素は、受容野を増加させるのを助け、並びにネットワークがより急速に収束するのを助けることができる。この超解像ネットワークは、ネットワークがより多くのテクスチャを復元するのを助けるために、特徴損失、弁別器損失、及びグランド・トゥルース（たとえば、Ｌ２）損失項を含み得るような、複数の損失関数を利用することができる。

そのようなアーキテクチャの利点は、そのような残差ブロック４５２が、他の畳み込みネットワークにおいて利用されるよりも著しく少数の畳み込み４０４を有することができることである。１つの例示的なプロセスでは、残差高密度ブロック４５２が、分析され、より小さいブロックに圧縮され得る。この分析は、ブロック又はネットワークの個々の層の寄与の量又はタイプに関する情報を提供することができる、１つ又は複数のプルーニング又は分析ツールを使用して実施され得る。１つの例示的な手法では、著しい寄与のない層が除去され、ネットワークが、１つ又は複数の反復において再訓練され得る。これらの反復は、結果が著しく異ならない限り、又は出力が、少なくとも先鋭度又は先鋭度の増加のしきい値レベルなど、依然として１つ又は複数の向上基準を満たす間、少なくとも１つの実施例において続けられ得る。いくつかの実施例では、寄与に少なくとも部分的に基づいて層の数を調整すること、並びに接続の数を調整することのこのプロセスは、はるかに小さいモデル又はブロックを生じることができるが、依然として、望ましい又は少なくとも許容できる結果を提供する。少なくとも１つの実施例では、このプロセスは、実施の速度と視覚的品質とのバランスをとることができる。いくつかの実施例では、より少ない向上を伴う超高速モデル、より高いレベルの向上を伴うややより遅いモデルなど、異なる実施バランスを伴って訓練された２つ又はそれ以上のモデルがあり得る。少なくとも１つの実施例では、ユーザが、これらのモデル間で選択し得るか、又はモデルが、他のオプションの中でも、入力のタイプ又はターゲット出力などのファクタに基づいて自動的に選択され得る。入力のタイプが、解像度及びビット・レートなどのファクタに基づいて決定され得る。

少なくともいくつかの実施例では、これらのアーティファクト除去及び超解像ネットワーク又はモデルは、様々なアプリケーション及びプラットフォームに追加され得るプラグ着脱可能な構成要素として提供され得る。これらのモデルはまた、各々、特定のプラットフォーム又はハードウェアのために最適化され得、一緒に又は個々に利用され得る。少なくとも１つの実施例では、アーティファクト除去モデルが、入力として、順序Ｃ×Ｈ×Ｗをもつ固定ＲＧＢチャネル解像度フレームを受け付けることができ、同じ解像度及び同じチャネル順序をもつ同じフレームを出力することができる。そのスケールに少なくとも部分的に依存して、対応する超解像モデルが、入力として、たとえば、７２０ｐ又は１０８０ｐＲＧＢフレームをとり、他のオプションの中でも、１０８０ｐ入力について１４４０ｐ出力又は２１６０ｐ出力を、並びに７２０ｐ入力について１４４０ｐ出力又は１０８０ｐ出力を生成し得る。超解像を伴う１．５×及び１．３３×アップスケーリングについて、少なくとも１つの実施例による手法が、ＣＵＤＡ加速画像及び信号処理を実施するための関数のライブラリを含むＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎからのＮＰＰライブラリなど、ライブラリを使用して、２×アップスケールを実施し、次いで、ダウンスケールを実施することができる。

これらのモデルの訓練は、２１６０ｐなど、ターゲット出力解像度においてロスレスな高品質ビデオ・データを利用することができる。Ｈ．２６４（ＡＶＣ）コーデックなど、１つ又は複数のコーデックが、実世界のロッシーなビデオ生成をシミュレートする符号化された及びダウンスケールされたビデオ・データを生成するために使用され得る。アーティファクト除去タスクのためのモデルを訓練するために、アーティファクト・パターンをもたらす可能性が高くなり得る、比較的大量の動きを含むビデオ・データが選択され得る。選択されたコーデックは、次いで、たとえば、他の設定を変更なしに保ちながら、ビットレートを低下させ、「あらかじめ設定された」設定を変更することによって、このビデオ・データを圧縮するために使用され得る。次いで、訓練及びグランド・トゥルース・フレーム・レベル・データのペアが、これらのニューラル・ネットワークに供給され得る。超解像では、比較的遅い又は少量の動きを含んでいるが、比較的リッチなテクスチャ詳細を含む、他のビデオ・データが選択され得る。このビデオ・データは、たとえば、ビットレート及びフレーム毎秒（ｆｐｓ）など、他の設定を変更なしに保ちながら、その後、２×アップサンプリングのために２１６０ｐから７２０ｐ及び１０８０ｐにダウンスケールされ得る。訓練中に、低解像度及び高解像度ペアは、訓練のために超解像モデルに供給され得る。そのようなアップスケーリング・ネットワークは、それがオプティカル・フロー又は動きデータ、或いは１つ又は複数の他の画像又はビデオ・フレームに対する他の差分データを必要としないという利点を有するが、ネットワークは、依然として正確なアップスケーリングを提供するために、この追加のデータを有しないことを埋め合わせるために、より多くの反復及びトレーニング・データを必要とし得る。訓練はまた、本明細書で説明されるように特定の損失関数の使用によって追加のデータのこの欠如を埋め合わせることができる。

訓練の全体的品質を改善するために、異なる解像度及びビット・レートにおけるコンテンツを表し、並びに異なる符号化設定又はパラメータ値による異なるエンコーダによって生成されている、訓練データが利用され得る。そのような手法の利点は、異なる符号化手法による異なるタイプのコンテンツが、より様々なアーティファクト及び画像品質の多様性を表すことができることである。いくつかの実施例では、訓練データのより大きい多様性を提供するために、入力コンテンツが、解像度又はビット・レートにおいて修正されるか、又は再符号化され得る。いくつかの実施例では、１．５×、１．８×、２×、又は４×など、特定の量のアップスケーリングを作り出すために個々のモデルが訓練され得るか、或いはアップスケーリングの変動する範囲又はスケーリング・ファクタの選択のために最適化されたモデルが使用され得る。訓練をさらに改善するために、ネットワークが、作り出すために訓練されるべきである高解像度データを特別に先鋭化するか又は向上させるなど、訓練データのうちの少なくとも一部が、訓練の前に向上され得る。これは、高解像度データへの、特定のレベル又はタイプの先鋭化など、特定の向上を、ネットワークがそれらの特定のタイプの向上を強調することを学習するように、追加することを含むことができる。少なくとも１つの実施例では、これは、バイラテラル先鋭化フィルタを使用することを含むことができる。また、訓練データの前処理は、ブロッキネス又は特定の他のタイプのアーティファクトを除去しながら、画像中のテクスチャ又はパターニングの大部分を保持するためにネットワークを訓練することを含むことができる。異なるタイプのエンコーダ、及びエンコーダ設定とともに、様々なタイプの入力を使用することはまた、そのような手法が、ユーザが訓練を案内することによって具体的にターゲットにされ（或いは、潜在的に認識又は理解さえされ）ないことがあるやり方で、アーティファクトを除去又は低減するか、或いは画像を向上させることを可能にする。

そのような向上技術の例示的なアプリケーションは、ゲームのプレーヤではなく、ゲームの観察者へのビデオ・ゲーム・ストリーミング又はブロードキャスティングでのそれの使用に関与する。ビデオ・ゲーム・ブロードキャスティングが、熱狂的なゲーマー並びにカジュアル・ゲーマーの間で普及してきている。オープン・ブロードキャスター・ソフトウェア（ＯＢＳ：ＯｐｅｎＢｒｏａｄｃａｓｔｅｒＳｏｆｔｗａｒｅ）のようなオープン・ソース・ソフトウェアが、ゲームセッションをブロードキャストするアビリティを大衆化しようとしている。受信端上で、Ｔｗｉｔｃｈ及びＹｏｕＴｕｂｅ（登録商標）のようなプラットフォームが、観察者の間で普及している選択肢のままである。これらのプラットフォームのための比較的成熟したエコシステムがすでに存在するが、圧縮、圧縮データの送信及び復元に関連する課題が存在し、その課題は、帯域幅利用可能性、ハードウェア、及びレイテンシに関連する制約により現時点まで扱いにくいと思われてきたことがある。かなりの量のゲーム・ストリーミング・ビデオが、７２０ｐ～１０８０ｐにおいて現在キャプチャされ、Ｈ．２６４などのビデオ圧縮コーデックを使用して１Ｍｂｐｓ未満から約６Ｍｂｐｓにわたるビット・レートにおいて圧縮される。量子化及びブロック区分の結果として、ブロッキング、リンギング、カラー・ブリード（ｃｏｌｏｒｂｌｅｅｄ）及び詳細損失（たとえば、ぼけ）など、空間アーティファクトがソースにおいてもたらされる。これらは、送信チャネル及び受信端上でのトランスコーディングにおいてもたらされる損失によってさらに悪化させられる。しかしながら、上述のように、視覚的品質は、良好なブロードキャスティング経験にとって不可欠であり得る。ゲーマーが、特定の解像度においてブロードキャストすることを選定し得るが、異なる観察者が、異なる能力をもつ異なるデバイス上でストリームにアクセスし得、したがって、アーティファクト除去に加えて高品質スケーリングを提供することが有益であり得る。ブロードキャスティングのためのそれの使用は、ソリューションが、リアルタイムで動作し、並びにプラットフォーム・アグノスティックであり、コンテンツに対して不変であることが可能であるべきであり、様々なコーデック実装形態、ビットレート、及び解像度に対処することが可能であるべきであることを意味することができる。様々な実施例による手法が、空間圧縮アーティファクト、並びに動きによる時間アーティファクトを除去することと、ディスプレイ・デバイスに合うように、受信端上の復号されたビデオの超解像スケーリングを実施することとを行うためのこれらの課題にも対処しながら、そのような向上を提供することができる。（たとえば、限定はしないが）ＧＰＵコンピューティング・リソース、ＣＰＵコンピューティング・リソース、又はＤＰＵコンピューティング・リソースに負担をかけすぎることなしに、高解像度においてリアルタイム性能（たとえば、最小６０ｆｐｓ）を維持すると同時に、著しい品質改善を達成するために２つ又はそれ以上のモデルをスタックすることができる、完全な、プラットフォーム独立ビデオ処理パイプラインが提供され得る。

少なくとも１つの実施例では、そのような機能性は、ソフトウェア開発キット（ＳＤＫ：ｓｏｆｔｗａｒｅｄｅｖｅｌｏｐｍｅｎｔｋｉｔ）の一部として提供され得る。アーティファクト低減特徴と超解像特徴とが、ＳＤＫにおいて引き起こされ得る個々の効果として組み込まれ得る。両方の特徴への入力及び出力は、たとえば、ＢＧＲピクセルフォーマットでの画像であり得る。ハードウェア最適化されたモデルが、これら及び他のそのような効果を提供するためにＳＤＫに組み込まれ得る。個々のモデルは、異なる入力解像度及び異なるスケーリング・ファクタのために提供され得る。モデルは、たとえば、入力のタイプ及びユーザ選好に基づいて選択され得るオプションをユーザに提供し得るものなど、少なくとも２つの異なる動作モードのために提供され得る。これは、少なくとも、より少ない向上を提供するより穏やかなモデルと、より大きい向上を提供するより強いモデルとを含むことができる。

図５は、様々な実施例による、利用され得る、リアルタイムでのビデオ・ストリームを向上させるための例示的なプロセス５００を示す。本明細書で提示されるこの及び他のプロセスについて、別段に明記されない限り、様々な実施例の範囲内で、同様の又は代替の順序で、或いは少なくとも部分的に並列に実施される、追加の、より少数の、又は代替のステップがあり得ることを理解されたい。さらに、ストリーミング・ビデオ・コンテンツに関して説明されたが、そのような向上は、個々の画像又は画像シーケンス、記憶されたビデオ・ファイル、拡張現実ストリーム又は仮想現実ストリーム、或いは他のそのようなコンテンツに提供され得ることを理解されたい。この実例では、５０２において、リモート・ストリーミング・コンテンツ・サーバからクライアント・デバイスになど、入力ビデオ・ストリームが受信される。このコンテンツは、第２のより高い解像度において表示されるように、第１の解像度及びビット・レートにおいて受信されることになる。ビデオ・コンテンツの個々のフレームが、抽出され、５０４において、画像向上システム、サービス、アプリケーション、又はプロセスへの入力として提供され得る。この実例における個々のフレームは、５０６において、第１の入力解像度から、コンテンツが提示（たとえば、表示又は投影）されるか又はさもなければ指示されるべき第２の解像度に画像をアップスケールするために向上ネットワークを使用して最初に処理される。向上ネットワークはまた、エッジ・コントラストを向上させることと、符号化プロセスから生じ得るぼけを除去することとによって、画像を先鋭化するためになど、画像を向上させる。そのような向上は、テクスチャ又は粒子に関係し得るような、画像のより均一なエリアにおける転貸詳細を向上させないことがあるが、そのようなエリア・テクスチャ又は粒子の外観が、この実例では、これらの画像を前に処理したアーティファクト除去ネットワークの使用によって改善され得る。向上ネットワークはまた、圧縮又は符号化から生じ得るような、この画像又はビデオ・フレーム中の１つ又は複数のタイプのアーティファクトの存在を低減することができる。いくつかの実施例では、アーティファクト除去は、単一の画像向上プロセスの一部として実施される向上と見なされ得るが、他の実施例では、アーティファクト除去は、画像向上の前になど、別々に実施され得る。

この実例では、向上されたフレームは、画像向上システムから出力され、５０８において、向上されたビデオ出力ストリーム（或いは記憶又は提示のための他のそのような形式）に符号化され得る。この向上されたビデオ・ストリームは、次いで、５１０において、このクライアント・デバイス上のメディア観察者を通してなど、提示のために提供され得る。少なくともいくつかの実施例では、これは、現代の解像度及びフレーム・レートにおいて、（少なくともほぼ）リアルタイムで観察されているブロードキャスト・ビデオの向上を提供し得る。

説明されたように、本明細書で提示される様々な向上手法は、パーソナル・コンピュータ又はゲーミング・コンソールなどのクライアント・デバイス上でリアルタイムで実行するのに十分軽量である。この向上は、少なくとも１つのネットワークを介して受信されるストリーミング・コンテンツなど、そのクライアント・デバイス上で生成されたか又は外部ソースから受信されたコンテンツに対して実施され得る。ソースは、他のオプションの中でも、ゲーム・ホスト、ストリーミング・メディア・プロバイダ、サード・パーティ・コンテンツ・プロバイダ、又は他のクライアント・デバイスなど、任意の適切なソースであり得る。いくつかの事例では、このコンテンツの向上は、これらの他のデバイス、システム、又はエンティティのうちの１つによって実施され、次いで、提示又は別のそのような用途のためにクライアント・デバイス（又は別のそのような受信側）に提供され得る。

一実例として、図６は、コンテンツを提供するか又は向上させるために使用され得る例示的なネットワーク構成６００を示す。少なくとも１つの実施例では、クライアント・デバイス６０２が、クライアント・デバイス６０２上のコンテンツ・アプリケーション６０４の構成要素と、そのクライアント・デバイスにローカルに記憶されたデータとを使用するセッションのためのコンテンツを生成することができる。少なくとも１つの実施例では、コンテンツ・サーバ６２０（たとえば、クラウド・サーバ又はエッジ・サーバ）上で実行しているコンテンツ・アプリケーション６２４（たとえば、画像生成又は編集アプリケーション）が、セッション・マネージャとユーザ・データベース６３４に記憶されたユーザ・データとを利用し得るような、少なくともクライアント・デバイス６０２に関連付けられたセッションを始動し得、コンテンツ６３２が、コンテンツ・マネージャ６２６によって決定されることと、このタイプのコンテンツ又はプラットフォームのために必要とされる場合、レンダリング・エンジンを使用してレンダリングされることと、ダウンロード、ストリーミング、又は別のそのような送信チャネルによって送出するために適切な送信マネージャ６２２を使用してクライアント・デバイス６０２に送信されることとを引き起こすことができる。少なくとも１つの実施例では、このコンテンツ６３２は、決定されたシーン・グラフに基づいてシーンをレンダリングするためにレンダリング・エンジンによって使用され得るアセットを含むことができる。少なくとも１つの実施例では、このコンテンツを受信するクライアント・デバイス６０２は、対応するコンテンツ・アプリケーション６０４にこのコンテンツを提供することができ、コンテンツ・アプリケーション６０４は、同じく又は代替的に、ディスプレイ６０６を通した画像又はビデオ・コンテンツなど、並びに、スピーカー又はヘッドフォンなどの少なくとも１つのオーディオ再生デバイス６０８を通した音及び音楽などのオーディオなど、クライアント・デバイス６０２を介した提示のためにこのコンテンツの少なくとも一部をレンダリングするためのレンダリング・エンジン（必要な場合）を含み得る。１つ又は複数のカメラによってキャプチャされたライブ・ビデオ・コンテンツでは、たとえば、そのようなレンダリング・エンジンは、何らかのやり方でそのビデオ・コンテンツを拡張するために使用されない限り、必要とされないことがある。少なくとも１つの実施例では、このコンテンツの少なくとも一部がすでに、そのコンテンツが前にダウンロードされたか或いはハード・ドライブ又は光ディスク上にローカルに記憶されていることがある場合など、ネットワーク６４０を介した送信がコンテンツの少なくともその部分のために必要とされないように、クライアント・デバイス６０２に記憶されるか、クライアント・デバイス６０２上でレンダリングされるか、又はクライアント・デバイス６０２にとってアクセス可能であり得る。少なくとも１つの実施例では、このコンテンツを、サーバ６２０、又はコンテンツ・データベース６３４から、クライアント・デバイス６０２に転送するために、データ・ストリーミングなどの送信機構が使用され得る。少なくとも１つの実施例では、このコンテンツの少なくとも一部分が、コンテンツを生成又は提供するためのコンテンツ・アプリケーション６６２をも含み得るサード・パーティ・コンテンツ・サービス６６０など、別のソースから取得されるか又はストリーミングされ得る。少なくとも１つの実施例では、この機能性の部分は、複数のコンピューティング・デバイスを使用して、又は、ＣＰＵと、ＤＰＵと、ＧＰＵとの組合せを含み得るものなど、１つ又は複数のコンピューティング・デバイス内の複数のプロセッサを使用して、実施され得る。

少なくとも１つの実施例では、コンテンツ・アプリケーション６２４は、コンテンツがクライアント・デバイス６０２に送信される前にこのコンテンツを決定又は分析することができるコンテンツ・マネージャ６２６を含む。少なくとも１つの実施例では、コンテンツ・マネージャ６２６はまた、提供されるべきコンテンツを生成するか、修正するか、又は向上させることが可能である他の構成要素を含むか、或いはそれとともに動作することができる。少なくとも１つの実施例では、これは、画像又はビデオ・コンテンツをレンダリングするためのレンダリング・エンジンを含むことができる。少なくとも１つの実施例では、画像、ビデオ、又は他のメディア・コンテンツを生成するために、画像、ビデオ、又はシーン生成構成要素６２８が使用され得る。少なくとも１つの実施例では、本明細書で説明及び示唆されるように、ニューラル・ネットワークをも含むことができる向上構成要素６３０が、このコンテンツに対する１つ又は複数の向上を実施することができる。少なくとも１つの実施例では、コンテンツ・マネージャ６２６は、（向上された又は向上されていない）このコンテンツがクライアント・デバイス６０２に送信されることを引き起こすことができる。少なくとも１つの実施例では、クライアント・デバイス６０２上のコンテンツ・アプリケーション６０４は、この機能性のいずれか又はすべてが、追加又は代替として、クライアント・デバイス６０２上で実施され得るように、レンダリング・エンジン、画像又はビデオ生成器６１２、及びコンテンツ向上モジュール６１４などの構成要素をも含み得る。少なくとも１つの実施例では、サード・パーティ・コンテンツ・サービス・システム６６０上のコンテンツ・アプリケーション６６２も、そのような機能性を含むことができる。少なくとも１つの実施例では、この機能性の少なくとも一部が実施されるロケーションが、構成可能であり得るか、或いは他のファクタの中でも、クライアント・デバイス６０２のタイプ、又は適切な帯域幅をもつネットワーク接続の利用可能性など、ファクタに依存し得る。少なくとも１つの実施例では、コンテンツ生成のためのシステムが、１つ又は複数のロケーションにおけるハードウェアとソフトウェアとの任意の適切な組合せを含むことができる。少なくとも１つの実施例では、１つ又は複数の解像度の生成された画像又はビデオ・コンテンツがまた、その画像又はビデオ・コンテンツのコピーを記憶するメディア・ソースからのダウンロード又はストリーミングのためになど、他のクライアント・デバイス６５０に提供されるか又は利用可能にされ得る。少なくとも１つの実施例では、これは、マルチプレーヤ・ゲームのためのゲーム・コンテンツの画像を送信することを含み得、異なるクライアント・デバイスが、１つ又は複数の超解像を含む、異なる解像度においてそのコンテンツを表示し得る。

この実例では、これらのクライアント・デバイスは、（限定はしないが）デスクトップ・コンピュータ、ノートブック・コンピュータ、セットトップ・ボックス、ストリーミング・デバイス、ゲーミング・コンソール、スマートフォン、タブレット・コンピュータ、ＶＲヘッドセット、ＡＲゴーグル、ウェアラブル・コンピュータ、スマート・テレビジョン、カメラ、ビデオ監視システム、又は他のエッジ・デバイスを含み得るような、任意の適切なコンピューティング・デバイスを含むことができる。各クライアント・デバイスは、他のオプションの中でも、インターネット、イーサネット、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ）、又はセルラー・ネットワークを含み得るような、少なくとも１つのワイヤード又はワイヤレス・ネットワークにわたって要求をサブミットすることができる。この実例では、これらの要求は、データ・センタ又はサーバ・ファームを含み得るものなど、クラウド・プロバイダ環境における１つ又は複数の電子リソースを動作させるか又は制御し得る、クラウド・プロバイダに関連付けられたアドレスにサブミットされ得る。少なくとも１つの実施例では、要求は、ネットワーク・エッジ上に位置し、クラウド・プロバイダ環境に関連付けられた少なくとも１つのセキュリティ層の外側にある、少なくとも１つのエッジ・サーバによって受信されるか又は処理され得る。このようにして、クライアント・デバイスが、より近接しているサーバと対話することを可能にしながら、クラウド・プロバイダ環境におけるリソースのセキュリティをも改善することによって、レイテンシが低減され得る。

少なくとも１つの実施例では、そのようなシステムは、グラフィカル・レンダリング動作を実施するために使用され得る。他の実施例では、そのようなシステムは、自律機械アプリケーションをテスト又は検証するために画像又はビデオ・コンテンツを提供するために、或いは深層学習動作を実施するためになど、他の目的のために使用され得る。少なくとも１つの実施例では、そのようなシステムは、エッジ・デバイスを使用して実装され得るか、又は、１つ又は複数の仮想機械（ＶＭ：ＶｉｒｔｕａｌＭａｃｈｉｎｅ）を組み込み得る。少なくとも１つの実施例では、そのようなシステムは、少なくとも部分的にデータ・センタにおいて、又は少なくとも部分的にクラウド・コンピューティング・リソースを使用して、実装され得る。

推論及び訓練論理
図７Ａは、１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために使用される推論及び／又は訓練論理７１５を示す。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層を構成するための順方向及び／若しくは出力の重み及び／又は入力／出力データ、並びに／或いは他のパラメータを記憶するためのコード及び／又はデータ・ストレージ７０１を含み得る。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０１を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０１において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの順方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１は、キャッシュ・メモリ、動的なランダムにアドレス指定可能なメモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃｒａｎｄｏｍｌｙａｄｄｒｅｓｓａｂｌｅｍｅｍｏｒｙ）、静的なランダムにアドレス指定可能なメモリ（「ＳＲＡＭ」：ｓｔａｔｉｃｒａｎｄｏｍｌｙａｄｄｒｅｓｓａｂｌｅｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層に対応する逆方向及び／若しくは出力の重み及び／又は入力／出力データを記憶するためのコード及び／又はデータ・ストレージ７０５を含み得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの逆方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０５を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０５において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、同じストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、部分的に同じストレージ構造であり、部分的に別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、訓練及び／又は推論コード（たとえば、グラフ・コード）に少なくとも部分的に基づく、又はそれによって示される論理演算及び／又は数学演算を実施するための、整数及び／又は浮動小数点ユニットを含む、１つ又は複数の算術論理ユニット（「ＡＬＵ」）７１０を含み得、その結果が、アクティブ化ストレージ７２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層又はニューロンからの出力値）を作り出し得、これらのアクティブ化は、コード及び／又はデータ・ストレージ７０１並びに／或いはコード及び／又はデータ・ストレージ７０５に記憶される入力／出力及び／又は重みパラメータ・データの関数である。少なくとも１つの実施例では、アクティブ化ストレージ７２０に記憶されるアクティブ化は、命令又は他のコードを実施したことに応答して（１つ又は複数の）ＡＬＵ７１０によって実施される線形代数及び又は行列ベースの数学に従って生成され、コード及び／又はデータ・ストレージ７０５並びに／或いはコード及び／又はデータ・ストレージ７０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、或いは他のパラメータ又はハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ７０５又はコード及び／若しくはデータ・ストレージ７０１、或いはオンチップ又はオフチップの別のストレージに記憶され得る。

少なくとも１つの実施例では、（１つ又は複数の）ＡＬＵ７１０は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路内に含まれるが、別の実施例では、（１つ又は複数の）ＡＬＵ７１０は、それらを使用するプロセッサ或いは他のハードウェア論理デバイス又は回路（たとえば、コプロセッサ）の外部にあり得る。少なくとも１つの実施例では、ＡＬＵ７１０は、プロセッサの実行ユニット内に含まれるか、或いはさもなければ、同じプロセッサ内にあるか又は異なるタイプの異なるプロセッサ（たとえば、中央処理ユニット、グラフィックス処理ユニット、固定機能ユニットなど）間で分散されているかのいずれかであるプロセッサの実行ユニットによってアクセス可能なＡＬＵのバンク内に含まれ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５と、アクティブ化ストレージ７２０とは、同じプロセッサ或いは他のハードウェア論理デバイス又は回路上にあり得るが、別の実施例では、それらは、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路中にあるか、或いは、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せ中にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。さらに、推論及び／又は訓練コードが、プロセッサ或いは他のハードウェア論理又は回路にアクセス可能な他のコードとともに記憶され、プロセッサのフェッチ、復号、スケジューリング、実行、退去（ｒｅｔｉｒｅｍｅｎｔ）及び／又は他の論理回路を使用してフェッチ及び／又は処理され得る。

少なくとも１つの実施例では、アクティブ化ストレージ７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０は、完全に又は部分的に、１つ又は複数のプロセッサ又は他の論理回路内にあるか、又はその外部にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、又はＩｎｔｅｌＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「ＬａｋｅＣｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（「ＡＳＩＣ」：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）と併せて使用され得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（「ＣＰＵ」：ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）ハードウェア、グラフィックス処理ユニット（「ＧＰＵ」）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）などの他のハードウェアと併せて使用され得る。

図７ｂは、少なくとも１つ又は複数の実施例による、推論及び／又は訓練論理７１５を示す。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、ハードウェア論理を含み得、このハードウェア論理において、算出リソース（ｃｏｍｐｕｔａｔｉｏｎａｌｒｅｓｏｕｒｃｅ）が専用であるか、或いはさもなければ、ニューラル・ネットワーク内のニューロンの１つ又は複数の層に対応する重み値又は他の情報と併せてのみ使用される。少なくとも１つの実施例では、図７ｂに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「ＬａｋｅＣｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（ＡＳＩＣ）と併せて使用され得る。少なくとも１つの実施例では、図７ｂに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（ＣＰＵ）ハードウェア、グラフィックス処理ユニット（ＧＰＵ）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの他のハードウェアと併せて使用され得る。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、コード及び／又はデータ・ストレージ７０１とコード及び／又はデータ・ストレージ７０５とを含み、それらは、コード（たとえば、グラフ・コード）、重み値、並びに／或いは、バイアス値、勾配情報、運動量値、及び／又は他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶するために使用され得る。図７ｂに示されている少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の各々は、それぞれ、算出ハードウェア７０２及び算出ハードウェア７０６など、専用算出リソースに関連付けられる。少なくとも１つの実施例では、算出ハードウェア７０２及び算出ハードウェア７０６の各々は、線形代数関数などの数学関数を、それぞれコード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５に記憶された情報に対してのみ実施する１つ又は複数のＡＬＵを備え、その結果が、アクティブ化ストレージ７２０に記憶される。

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１及び７０５の各々と、対応する算出ハードウェア７０２及び７０６とは、それぞれ、ニューラル・ネットワークの異なる層に対応し、それにより、コード及び／又はデータ・ストレージ７０１と算出ハードウェア７０２との１つの「ストレージ／算出ペア７０１／７０２」から生じたアクティブ化は、ニューラル・ネットワークの概念的組織化をミラーリングするために、コード及び／又はデータ・ストレージ７０５と算出ハードウェア７０６との「ストレージ／算出ペア７０５／７０６」への入力として提供される。少なくとも１つの実施例では、ストレージ／算出ペア７０１／７０２及び７０５／７０６の各々は、２つ以上のニューラル・ネットワーク層に対応し得る。少なくとも１つの実施例では、ストレージ算出ペア７０１／７０２及び７０５／７０６の後に、又はそれらと並列に、追加のストレージ／算出ペア（図示せず）が、推論及び／又は訓練論理７１５中に含められ得る。

データ・センタ
図８は、少なくとも１つの実施例が使用され得る例示的なデータ・センタ８００を示す。少なくとも１つの実施例では、データ・センタ８００は、データ・センタ・インフラストラクチャ層８１０と、フレームワーク層８２０と、ソフトウェア層８３０と、アプリケーション層８４０とを含む。

少なくとも１つの実施例では、図８に示されているように、データ・センタ・インフラストラクチャ層８１０は、リソース・オーケストレータ８１２と、グループ化されたコンピューティング・リソース８１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅ）８１６（１）～８１６（Ｎ）とを含み得、ここで、「Ｎ」は、任意のすべての正の整数を表す。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）は、限定はしないが、任意の数の中央処理ユニット（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、動的読取り専用メモリ）、ストレージ・デバイス（たとえば、ソリッド・ステート又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷＩ／Ｏ」：ｎｅｔｗｏｒｋｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」）、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバであり得る。

少なくとも１つの実施例では、グループ化されたコンピューティング・リソース８１４は、１つ又は複数のラック（図示せず）内に格納されたノードＣ．Ｒ．の別個のグループ化、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース８１４内のノードＣ．Ｒ．の別個のグループ化は、１つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも１つの実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために１つ又は複数のラック内でグループ化され得る。少なくとも１つの実施例では、１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。

少なくとも１つの実施例では、リソース・オーケストレータ８１２は、１つ又は複数のノードＣ．Ｒ．８１６（１）～８１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース８１４を構成するか、又はさもなければ、制御し得る。少なくとも１つの実施例では、リソース・オーケストレータ８１２は、データ・センタ８００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅｄｅｓｉｇｎｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。少なくとも１つの実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。

少なくとも１つの実施例では、図８に示されているように、フレームワーク層８２０は、ジョブ・スケジューラ８２２と、構成マネージャ８２４と、リソース・マネージャ８２６と、分散型ファイル・システム８２８とを含む。少なくとも１つの実施例では、フレームワーク層８２０は、ソフトウェア層８３０のソフトウェア８３２、及び／又はアプリケーション層８４０の１つ又は複数のアプリケーション８４２をサポートするためのフレームワークを含み得る。少なくとも１つの実施例では、ソフトウェア８３２又は（１つ又は複数の）アプリケーション８４２は、それぞれ、アマゾン・ウェブ・サービス、ＧｏｏｇｌｅＣｌｏｕｄ、及びＭｉｃｒｏｓｏｆｔＡｚｕｒｅによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも１つの実施例では、フレームワーク層８２０は、限定はしないが、大規模データ処理（たとえば、「ビック・データ」）のために分散型ファイル・システム８２８を利用し得るＡｐａｃｈｅＳｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも１つの実施例では、ジョブ・スケジューラ８２２は、データ・センタ８００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。少なくとも１つの実施例では、構成マネージャ８２４は、ソフトウェア層８３０、並びに大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム８２８を含むフレームワーク層８２０など、異なる層を構成することが可能であり得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、分散型ファイル・システム８２８及びジョブ・スケジューラ８２２をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも１つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層８１０において、グループ化されたコンピューティング・リソース８１４を含み得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、リソース・オーケストレータ８１２と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。

少なくとも１つの実施例では、ソフトウェア層８３０中に含まれるソフトウェア８３２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。

少なくとも１つの実施例では、アプリケーション層８４０中に含まれる（１つ又は複数の）アプリケーション８４２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、限定はしないが、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピュート、及び、訓練又は推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含む、機械学習アプリケーション、又は、１つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含み得る。

少なくとも１つの実施例では、構成マネージャ８２４、リソース・マネージャ８２６、及びリソース・オーケストレータ８１２のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも１つの実施例では、自己修正アクションは、データ・センタ８００のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び／又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。

少なくとも１つの実施例では、データ・センタ８００は、１つ又は複数の機械学習モデルを訓練するか、或いは、本明細書で説明される１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測又は推論するためのツール、サービス、ソフトウェア又は他のリソースを含み得る。たとえば、少なくとも１つの実施例では、機械学習モデルは、データ・センタ８００に関して上記で説明されたソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練され得る。少なくとも１つの実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練された機械学習モデルは、本明細書で説明される１つ又は複数の訓練技法を通して計算された重みパラメータを使用することによって、データ・センタ８００に関して上記で説明されたリソースを使用して、情報を推論又は予測するために使用され得る。

少なくとも１つの実施例では、データ・センタは、上記で説明されたリソースを使用して訓練及び／又は推論を実施するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用し得る。その上、上記で説明された１つ又は複数のソフトウェア及び／又はハードウェア・リソースは、画像認識、音声認識、又は他の人工知能サービスなど、ユーザが、情報を訓練するか又は情報の推論を実施することを可能にするためのサービスとして構成され得る。

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図８のシステムにおいて使用され得る。

そのような構成要素は、アップスケールされた解像度と、低減されたアーティファクト存在と、視覚的品質向上とを伴う画像又はビデオ・コンテンツなど、向上されたコンテンツを生成するために使用され得る。

コンピュータ・システム
図９は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも１つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳＯＣ：ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）又はそれらの何らかの組合せをもつシステム９００であり得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ９０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、カリフォルニア州サンタクララのＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。

実施例は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔ）、及びハンドヘルドＰＣを含む。少なくとも１つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋｃｏｍｐｕｔｅｒ）、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク（「ＷＡＮ」：ｗｉｄｅａｒｅａｎｅｔｗｏｒｋ）スイッチ、又は少なくとも１つの実施例による１つ又は複数の命令を実施し得る任意の他のシステムを含み得る。

少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、プロセッサ９０２を含み得、プロセッサ９０２は、限定はしないが、本明細書で説明される技法による機械学習モデル訓練及び／又は推論を実施するための１つ又は複数の実行ユニット９０８を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、シングル・プロセッサ・デスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム９００は、マルチプロセッサ・システムであり得る。少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘｉｎｓｔｒｕｃｔｉｏｎｓｅｔｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」：ｒｅｄｕｃｅｄｉｎｓｔｒｕｃｔｉｏｎｓｅｔｃｏｍｐｕｔｉｎｇ）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」：ｖｅｒｙｌｏｎｇｉｎｓｔｒｕｃｔｉｏｎｗｏｒｄ）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも１つの実施例では、プロセッサ９０２は、プロセッサ・バス９１０に結合され得、プロセッサ・バス９１０は、プロセッサ９０２とコンピュータ・システム９００中の他の構成要素との間でデータ信号を送信し得る。

少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）９０４を含み得る。少なくとも１つの実施例では、プロセッサ９０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ９０２の外部に存在し得る。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも１つの実施例では、レジスタ・ファイル９０６は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。

少なくとも１つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット９０８も、プロセッサ９０２中に存在する。少なくとも１つの実施例では、プロセッサ９０２は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）をも含み得る。少なくとも１つの実施例では、実行ユニット９０８は、パック命令セット９０９に対処するための論理を含み得る。少なくとも１つの実施例では、パック命令セット９０９を、命令を実行するための関連する回路要素とともに汎用プロセッサ９０２の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ９０２中のパック・データを使用して実施され得る。１つ又は複数の実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に１つのデータ要素ずつ１つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。

少なくとも１つの実施例では、実行ユニット９０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、メモリ９２０を含み得る。少なくとも１つの実施例では、メモリ９２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」：ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」：ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。少なくとも１つの実施例では、メモリ９２０は、プロセッサ９０２によって実行され得るデータ信号によって表される（１つ又は複数の）命令９１９及び／又はデータ９２１を記憶し得る。

少なくとも１つの実施例では、システム論理チップが、プロセッサ・バス９１０及びメモリ９２０に結合され得る。少なくとも１つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙｃｏｎｔｒｏｌｌｅｒｈｕｂ）９１６を含み得、プロセッサ９０２は、プロセッサ・バス９１０を介してＭＣＨ９１６と通信し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路９１８をメモリ９２０に提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、プロセッサ９０２と、メモリ９２０と、コンピュータ・システム９００中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス９１０と、メモリ９２０と、システムＩ／Ｏ９２２との間でデータ信号をブリッジし得る。少なくとも１つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、高帯域幅メモリ経路９１８を通してメモリ９２０に結合され得、グラフィックス／ビデオ・カード９１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：ＡｃｃｅｌｅｒａｔｅｄＧｒａｐｈｉｃｓＰｏｒｔ）相互接続９１４を通してＭＣＨ９１６に結合され得る。

少なくとも１つの実施例では、コンピュータ・システム９００は、ＭＣＨ９１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏｃｏｎｔｒｏｌｌｅｒｈｕｂ）９３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムＩ／Ｏ９２２を使用し得る。少なくとも１つの実施例では、ＩＣＨ９３０は、ローカルＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供し得る。少なくとも１つの実施例では、ローカルＩ／Ｏバスは、限定はしないが、周辺機器をメモリ９２０、チップセット、及びプロセッサ９０２に接続するための高速Ｉ／Ｏバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ９２９と、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）９２８と、ワイヤレス・トランシーバ９２６と、データ・ストレージ９２４と、ユーザ入力及びキーボード・インターフェース９２５を含んでいるレガシーＩ／Ｏコントローラ９２３と、ユニバーサル・シリアル・バス（「ＵＳＢ」：ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）などのシリアル拡張ポート９２７と、ネットワーク・コントローラ９３４とを含み得る。データ・ストレージ９２４は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。

少なくとも１つの実施例では、図９は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図９は、例示的なシステム・オン・チップ（「ＳｏＣ」：ＳｙｓｔｅｍｏｎａＣｈｉｐ）を示し得る。少なくとも１つの実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、コンピュータ・システム９００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅｅｘｐｒｅｓｓｌｉｎｋ）相互接続を使用して相互接続される。

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図９のシステムにおいて使用され得る。

図１０は、少なくとも１つの実施例による、プロセッサ１０１０を利用するための電子デバイス１０００を示すブロック図である。少なくとも１つの実施例では、電子デバイス１０００は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであり得る。

少なくとも１つの実施例では、システム１０００は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ１０１０を含み得る。少なくとも１つの実施例では、プロセッサ１０１０は、１℃バス、システム管理バス（「ＳＭＢｕｓ」：ＳｙｓｔｅｍＭａｎａｇｅｍｅｎｔＢｕｓ）、ロー・ピン・カウント（ＬＰＣ：ＬｏｗＰｉｎＣｏｕｎｔ）バス、シリアル周辺インターフェース（「ＳＰＩ」：ＳｅｒｉａｌＰｅｒｉｐｈｅｒａｌＩｎｔｅｒｆａｃｅ）、高精細度オーディオ（「ＨＤＡ」：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＡｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：ＳｅｒｉａｌＡｄｖａｎｃｅＴｅｃｈｎｏｌｏｇｙＡｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期受信機／送信機（「ＵＡＲＴ」：ＵｎｉｖｅｒｓａｌＡｓｙｎｃｈｒｏｎｏｕｓＲｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなど、バス又はインターフェースを使用して結合した。少なくとも１つの実施例では、図１０は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１０は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、図１０に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、図１０の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続される。

少なくとも１つの実施例では、図１０は、ディスプレイ１０２４、タッチ・スクリーン１０２５、タッチ・パッド１０３０、ニア・フィールド通信ユニット（「ＮＦＣ」：ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）１０４５、センサ・ハブ１０４０、熱センサ１０４６、エクスプレス・チップセット（「ＥＣ」：ＥｘｐｒｅｓｓＣｈｉｐｓｅｔ）１０３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：ＴｒｕｓｔｅｄＰｌａｔｆｏｒｍＭｏｄｕｌｅ）１０３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈｍｅｍｏｒｙ）１０２２、ＤＳＰ１０６０、ソリッド・ステート・ディスク（「ＳＳＤ」：ＳｏｌｉｄＳｔａｔｅＤｉｓｋ）又はハード・ディスク・ドライブ（「ＨＤＤ」：ＨａｒｄＤｉｓｋＤｒｉｖｅ）などのドライブ１０２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ）１０５０、Ｂｌｕｅｔｏｏｔｈユニット１０５２、ワイヤレス・ワイド・エリア・ネットワーク・ユニット（「ＷＷＡＮ」：ＷｉｒｅｌｅｓｓＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）１０５６、全地球測位システム（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）１０５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１０５４、及び／或いは、たとえばＬＰＤＤＲ３規格において実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：ＬｏｗＰｏｗｅｒＤｏｕｂｌｅＤａｔａＲａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１０１５を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。

少なくとも１つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ１０１０に通信可能に結合され得る。少なくとも１つの実施例では、加速度計１０４１と、周囲光センサ（「ＡＬＳ」：ＡｍｂｉｅｎｔＬｉｇｈｔＳｅｎｓｏｒ）１０４２と、コンパス１０４３と、ジャイロスコープ１０４４とが、センサ・ハブ１０４０に通信可能に結合され得る。少なくとも１つの実施例では、熱センサ１０３９と、ファン１０３７と、キーボード１０４６と、タッチ・パッド１０３０とが、ＥＣ１０３５に通信可能に結合され得る。少なくとも１つの実施例では、スピーカー１０６３と、ヘッドフォン１０６４と、マイクロフォン（「ｍｉｃ」）１０６５とが、オーディオ・ユニット（「オーディオ・コーデック及びクラスｄアンプ」）１０６２に通信可能に結合され得、オーディオ・ユニット１０６２は、ＤＳＰ１０６０に通信可能に結合され得る。少なくとも１つの実施例では、オーディオ・ユニット１０６４は、たとえば、限定はしないが、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤ増幅器を含み得る。少なくとも１つの実施例では、ＳＩＭカード（「ＳＩＭ」）１０５７は、ＷＷＡＮユニット１０５６に通信可能に結合され得る。少なくとも１つの実施例では、ＷＬＡＮユニット１０５０及びＢｌｕｅｔｏｏｔｈユニット１０５２などの構成要素、並びにＷＷＡＮユニット１０５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：ＮｅｘｔＧｅｎｅｒａｔｉｏｎＦｏｒｍＦａｃｔｏｒ）において実装され得る。

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７ａ及び／又は図７ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１０のシステムにおいて使用され得る。

図１１は、少なくとも１つの実施例による、処理システムのブロック図である。少なくとも１つの実施例では、システム１１００は、１つ又は複数のプロセッサ１１０２と１つ又は複数のグラフィックス・プロセッサ１１０８とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ１１０２又はプロセッサ・コア１１０７を有するサーバ・システムであり得る。少なくとも１つの実施例では、システム１１００は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。

少なくとも１つの実施例では、システム１１００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディア・コンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも１つの実施例では、システム１１００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも１つの実施例では、処理システム１１００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム１１００は、１つ又は複数のプロセッサ１１０２と、１つ又は複数のグラフィックス・プロセッサ１１０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための１つ又は複数のプロセッサ・コア１１０７を含む。少なくとも１つの実施例では、１つ又は複数のプロセッサ・コア１１０７の各々は、特定の命令セット１１０９を処理するように構成される。少なくとも１つの実施例では、命令セット１１０９は、複合命令セット・コンピューティング（ＣＩＳＣ：ＣｏｍｐｌｅｘＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｉｎｇ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にし得る。少なくとも１つの実施例では、プロセッサ・コア１１０７は、各々、異なる命令セット１１０９を処理し得、命令セット１１０９は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも１つの実施例では、プロセッサ・コア１１０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含み得る。

少なくとも１つの実施例では、プロセッサ１１０２はキャッシュ・メモリ１１０４を含む。少なくとも１つの実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１１０２の様々な構成要素の間で共有される。少なくとも１つの実施例では、プロセッサ１１０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ：ＬａｓｔＬｅｖｅｌＣａｃｈｅ））（図示せず）を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア１１０７の間で共有され得る。少なくとも１つの実施例では、追加として、レジスタ・ファイル１１０６がプロセッサ１１０２中に含まれ、レジスタ・ファイル１１０６は、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ）を含み得る。少なくとも１つの実施例では、レジスタ・ファイル１１０６は、汎用レジスタ又は他のレジスタを含み得る。

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ１１０２とシステム１１００中の他の構成要素との間で送信するために、１つ又は複数のインターフェース・バス１１１０と結合される。少なくとも１つの実施例では、１つの実施例におけるインターフェース・バス１１１０は、ダイレクト・メディア・インターフェース（ＤＭＩ：ＤｉｒｅｃｔＭｅｄｉａＩｎｔｅｒｆａｃｅ）バスのバージョンなどのプロセッサ・バスであり得る。少なくとも１つの実施例では、インターフェース１１１０は、ＤＭＩバスに限定されず、１つ又は複数の周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩＥｘｐｒｅｓｓ）、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１１０２は、統合されたメモリ・コントローラ１１１６と、プラットフォーム・コントローラ・ハブ１１３０とを含む。少なくとも１つの実施例では、メモリ・コントローラ１１１６は、メモリ・デバイスとシステム１１００の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ（ＰＣＨ：ｐｌａｔｆｏｒｍｃｏｎｔｒｏｌｌｅｒｈｕｂ）１１３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。

少なくとも１つの実施例では、メモリ・デバイス１１２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ・デバイス１１２０は、１つ又は複数のプロセッサ１１０２がアプリケーション又はプロセスを実行するときの使用のためのデータ１１２２及び命令１１２１を記憶するために、システム１１００のためのシステム・メモリとして動作することができる。少なくとも１つの実施例では、メモリ・コントローラ１１１６はまた、随意の外部グラフィックス・プロセッサ１１１２と結合し、外部グラフィックス・プロセッサ１１１２は、グラフィックス動作及びメディア動作を実施するために、プロセッサ１１０２中の１つ又は複数のグラフィックス・プロセッサ１１０８と通信し得る。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、（１つ又は複数の）プロセッサ１１０２に接続することができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース（たとえば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、仮想現実（ＶＲ：ｖｉｒｔｕａｌｒｅａｌｉｔｙ）アプリケーション又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ：ｈｅａｄｍｏｕｎｔｅｄｄｉｓｐｌａｙ）を含むことができる。

少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリ・デバイス１１２０及びプロセッサ１１０２に接続することを可能にする。少なくとも１つの実施例では、Ｉ／Ｏ周辺機器は、限定はしないが、オーディオ・コントローラ１１４６と、ネットワーク・コントローラ１１３４と、ファームウェア・インターフェース１１２８と、ワイヤレス・トランシーバ１１２６と、タッチ・センサ１１２５と、データ・ストレージ・デバイス１１２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）とを含む。少なくとも１つの実施例では、データ・ストレージ・デバイス１１２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又は周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩＥｘｐｒｅｓｓ）などの周辺バスを介して、接続することができる。少なくとも１つの実施例では、タッチ・センサ１１２５は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも１つの実施例では、ワイヤレス・トランシーバ１１２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、或いは３Ｇ、４Ｇ、又はロング・ターム・エボリューション（ＬＴＥ：ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも１つの実施例では、ファームウェア・インターフェース１１２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ：ｕｎｉｆｉｅｄｅｘｔｅｎｓｉｂｌｅｆｉｒｍｗａｒｅｉｎｔｅｒｆａｃｅ）であり得る。少なくとも１つの実施例では、ネットワーク・コントローラ１１３４は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも１つの実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス１１１０と結合する。少なくとも１つの実施例では、オーディオ・コントローラ１１４６は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも１つの実施例では、システム１１００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２：ＰｅｒｓｏｎａｌＳｙｓｔｅｍ２））デバイスをシステムに結合するための随意のレガシーＩ／Ｏコントローラ１１４０を含む。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、キーボードとマウス１１４３との組合せ、カメラ１１４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ１１４２接続入力デバイスにも接続することができる。

少なくとも１つの実施例では、メモリ・コントローラ１１１６及びプラットフォーム・コントローラ・ハブ１１３０のインスタンスが、外部グラフィックス・プロセッサ１１１２などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０及び／又はメモリ・コントローラ１１１６は、１つ又は複数のプロセッサ１１０２の外部にあり得る。たとえば、少なくとも１つの実施例では、システム１１００は、外部のメモリ・コントローラ１１１６とプラットフォーム・コントローラ・ハブ１１３０とを含むことができ、それらは、（１つ又は複数の）プロセッサ１１０２と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ１５００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサにおいて具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサのＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

図１２は、少なくとも１つの実施例による、１つ又は複数のプロセッサ・コア１２０２Ａ～１２０２Ｎと、統合されたメモリ・コントローラ１２１４と、統合されたグラフィックス・プロセッサ１２０８とを有するプロセッサ１２００のブロック図である。少なくとも１つの実施例では、プロセッサ１２００は、破線ボックスによって表される追加コア１２０２Ｎまでの追加コアを含むことができる。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々は、１つ又は複数の内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎを含む。少なくとも１つの実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュド・ユニット１２０６へのアクセスを有する。

少なくとも１つの実施例では、内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎと共有キャッシュ・ユニット１２０６とは、プロセッサ１２００内のキャッシュ・メモリ階層を表す。少なくとも１つの実施例では、キャッシュ・メモリ・ユニット１２０４Ａ～１２０４Ｎは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも１つのレベル、及びレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも１つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット１２０６及び１２０４Ａ～１２０４Ｎ間でコヒーレンシを維持する。

少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のバス・コントローラ・ユニット１２１６とシステム・エージェント・コア１２１０とのセットをも含み得る。少なくとも１つの実施例では、１つ又は複数のバス・コントローラ・ユニット１２１６は、１つ又は複数のＰＣＩ又はＰＣＩエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合されたメモリ・コントローラ１２１４を含む。

少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、マルチスレッド処理中にコア１２０２Ａ～１２０２Ｎを協調させ、動作させるための構成要素を含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、追加として、電力制御ユニット（ＰＣＵ：ｐｏｗｅｒｃｏｎｔｒｏｌｕｎｉｔ）を含み得、ＰＣＵは、プロセッサ・コア１２０２Ａ～１２０２Ｎ及びグラフィックス・プロセッサ１２０８の１つ又は複数の電力状態を調節するための論理及び構成要素を含む。

少なくとも１つの実施例では、プロセッサ１２００は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ１２０８を含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、共有キャッシュ・ユニット１２０６、及び１つ又は複数の統合されたメモリ・コントローラ１２１４を含むシステム・エージェント・コア１２１０と結合する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、１つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ１２１１をも含む。少なくとも１つの実施例では、ディスプレイ・コントローラ１２１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ１２０８と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ１２０８内に組み込まれ得る。

少なくとも１つの実施例では、プロセッサ１２００の内部構成要素を結合するために、リング・ベースの相互接続ユニット１２１２が使用される。少なくとも１つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、Ｉ／Ｏリンク１２１３を介してリング相互接続１２１２と結合する。

少なくとも１つの実施例では、Ｉ／Ｏリンク１２１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール１２１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む、複数の種類のＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々と、グラフィックス・プロセッサ１２０８とは、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール１２１８を使用する。

少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎｓｅｔａｒｃｈｉｔｅｃｔｕｒｅ）という観点から異種であり、ここで、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、共通の命令セットを実行し、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数の電力コアと結合する。少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装され得る。

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７ａ及び／又は図７ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、プロセッサ１２００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサ１５１２、（１つ又は複数の）グラフィックス・コア１２０２Ａ～１２０２Ｎ、又は図１２中の他の構成要素において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ１２００のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

仮想化されたコンピューティング・プラットフォーム
図１３は、少なくとも１つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス１３００のための例示的なデータ・フロー図である。少なくとも１つの実施例では、プロセス１３００は、１つ又は複数の施設１３０２において、撮像デバイス、処理デバイス、及び／又は他のデバイス・タイプとともに使用するために導入され得る。プロセス１３００は、訓練システム１３０４及び／又は導入システム１３０６内で実行され得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６における使用のための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装を実施するために使用され得る。少なくとも１つの実施例では、導入システム１３０６は、施設１３０２におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも１つの実施例では、パイプライン中の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム１３０６のサービス（たとえば、推論、視覚化、コンピュート、ＡＩなど）を使用するか、又はコールし得る。

少なくとも１つの実施例では、先進処理及び推論パイプラインにおいて使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実施するために機械学習モデル又は他のＡＩを使用し得る。少なくとも１つの実施例では、機械学習モデルは、施設１３０２において生成された（及び、施設１３０２において１つ又は複数のピクチャ・アーカイブ及び通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅａｒｃｈｉｖｉｎｇａｎｄｃｏｍｍｕｎｉｃａｔｉｏｎｓｙｓｔｅｍ）サーバに記憶された）（撮像データなどの）データ１３０８を使用して、施設１３０２において訓練され得るか、（１つ又は複数の）別の施設からの撮像又はシーケンシング・データ１３０８を使用して訓練され得るか、或いはそれらの組合せであり得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６のための実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースを提供するために使用され得る。

少なくとも１つの実施例では、モデル・レジストリ１３２４は、バージョン管理及び物体メタデータをサポートし得る物体ストレージによってバックアップされ得る。少なくとも１つの実施例では、物体ストレージは、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図１４のクラウド１４２６）互換アプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎｐｒｏｇｒａｍｍｉｎｇｉｎｔｅｒｆａｃｅ）を通してアクセス可能であり得る。少なくとも１つの実施例では、モデル・レジストリ１３２４内の機械学習モデルは、システムの開発者又はパートナーがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除され得る。少なくとも１つの実施例では、ＡＰＩは、適切な資格をもつユーザがモデルをアプリケーションに関連付けることを可能にする方法へのアクセスを提供し得、それにより、モデルは、アプリケーションのコンテナ化されたインスタンス化の実行の一部として実行され得る。

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２がそれ自体の機械学習モデルを訓練しているか、或いは、最適化又は更新される必要がある既存の機械学習モデルを有するシナリオを含み得る。少なくとも１つの実施例では、（１つ又は複数の）撮像デバイス、シーケンシング・デバイス、及び／又は他のデバイス・タイプによって生成された撮像データ１３０８が受信され得る。少なくとも１つの実施例では、撮像データ１３０８が受信されると、機械学習モデルについてのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ））を含み得、１つ又は複数の機械学習モデルは、（たとえば、いくつかのデバイスからの）いくつかのタイプの撮像データ１３０８に対応するアノテーションを生成するように訓練され得る。少なくとも１つの実施例では、次いで、ＡＩ支援アノテーション１３１０は、グランド・トゥルース・データを生成するために、直接使用され得るか、或いは、アノテーション・ツールを使用して調整又は微調整され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せが、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とするが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）シナリオを含み得る。少なくとも１つの実施例では、既存の機械学習モデルが、モデル・レジストリ１３２４から選択され得る。少なくとも１つの実施例では、モデル・レジストリ１３２４は、撮像データに対して様々な異なる推論タスクを実施するように訓練された機械学習モデルを含み得る。少なくとも１つの実施例では、モデル・レジストリ１３２４中の機械学習モデルは、施設１３０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、機械学習モデルは、１つのロケーション、２つのロケーション、又は任意の数のロケーションからの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、特定のロケーションからの撮像データに関して訓練されているとき、訓練は、そのロケーションにおいて行われ得るか、或いは少なくとも、撮像データの機密性を保護するか又は撮像データが構外へ転送されるのを制限する様式で、行われ得る。少なくとも１つの実施例では、１つのロケーションにおいてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ１３２４に追加され得る。少なくとも１つの実施例では、次いで、機械学習モデルは、任意の数の他の施設において再訓練又は更新され得、再訓練又は更新されたモデルが、モデル・レジストリ１３２４において利用可能にされ得る。少なくとも１つの実施例では、次いで、機械学習モデルは、モデル・レジストリ１３２４から選択され得、出力モデル１３１６と呼ばれることがあり、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施するために導入システム１３０６において使用され得る。

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）、シナリオは、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とすることを含み得るが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）。少なくとも１つの実施例では、モデル・レジストリ１３２４から選択された機械学習モデルは、母集団、機械学習モデルを訓練するために使用される訓練データの頑健性、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題における差異のために、施設１３０２において生成される撮像データ１３０８のために微調整又は最適化されないことがある。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ラベル付きデータ１３１２が、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練１３１４と呼ばれることがある。少なくとも１つの実施例では、モデル訓練１３１４、たとえばＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せは、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。

少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア１３１８、サービス１３２０、ハードウェア１３２２、並びに／又は他の構成要素、特徴、及び機能性を含み得る。少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア「スタック」を含み得、それにより、ソフトウェア１３１８は、サービス１３２０の上に築かれ得、サービス１３２０を使用して処理タスクのいくつか又はすべてを実施し得、サービス１３２０及びソフトウェア１３１８は、ハードウェア１３２２の上に築かれ、ハードウェア１３２２を使用して、導入システム１３０６の処理、ストレージ、及び／又は他のコンピュート・タスクを実行し得る。少なくとも１つの実施例では、ソフトウェア１３１８は、任意の数の異なるコンテナを含み得、各コンテナは、アプリケーションのインスタンス化を実行し得る。少なくとも１つの実施例では、各アプリケーションは、先進処理及び推論パイプライン中の１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実施し得る。少なくとも１つの実施例では、先進処理及び推論パイプラインは、（たとえば、使用可能なデータ・タイプに出力をコンバートするために）パイプラインを通して処理した後に、各コンテナによる使用及び／又は施設１３０２による使用のための撮像データを受信及び構成するコンテナに加えて、撮像データ１３０８を処理するために所望されるか又は必要とされる異なるコンテナの選択に基づいて、定義され得る。少なくとも１つの実施例では、（たとえば、パイプラインを作り上げる）ソフトウェア１３１８内のコンテナの組合せは、（本明細書でより詳細に説明されるように）仮想機器と呼ばれることがあり、仮想機器は、サービス１３２０及びハードウェア１３２２を活用して、コンテナにおいてインスタンス化されたアプリケーションのいくつか又はすべての処理タスクを実行し得る。

少なくとも１つの実施例では、データ処理パイプラインは、推論要求（たとえば、導入システム１３０６のユーザからの要求）に応答して、特定のフォーマットで入力データ（たとえば、撮像データ１３０８）を受信し得る。少なくとも１つの実施例では、入力データは、１つ又は複数の撮像デバイスによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表し得る。少なくとも１つの実施例では、データは、１つ又は複数のアプリケーションによる処理のためにデータを準備するために、データ処理パイプラインの一部としての事前処理を受け得る。少なくとも１つの実施例では、次のアプリケーションのための出力データを準備するために、並びに／或いは、（たとえば、推論要求への応答としての）ユーザによる送信及び／又は使用のための出力データを準備するために、パイプラインの１つ又は複数の推論タスク又は他の処理タスクの出力に対して後処理が実施され得る。少なくとも１つの実施例では、推論タスクは、訓練システム１３０４の出力モデル１３１６を含み得る、訓練された又は導入されたニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実施され得る。

少なくとも１つの実施例では、データ処理パイプラインのタスクは、（１つ又は複数の）コンテナ中にカプセル化され得、（１つ又は複数の）コンテナは、各々、アプリケーションの個別の完全に機能的なインスタンス化と、機械学習モデルを参照することが可能である仮想化コンピューティング環境とを表す。少なくとも１つの実施例では、コンテナ又はアプリケーションは、（本明細書でより詳細に説明される）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）エリアに公開され得、訓練された又は導入されたモデルは、モデル・レジストリ１３２４に記憶され、１つ又は複数のアプリケーションに関連付けられ得る。少なくとも１つの実施例では、アプリケーションの画像（たとえば、コンテナ画像）は、コンテナ・レジストリにおいて利用可能であり得、パイプラインにおける導入のためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムによる使用のためのアプリケーションのインスタンス化のためのコンテナを生成するために使用され得る。

少なくとも１つの実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実施するためのアプリケーションを（たとえばコンテナとして）開発、公開、及び記憶し得る。少なくとも１つの実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナがシステムに準拠するか又はシステムと互換性があることを確実にするために）システムに関連付けられたソフトウェア開発キット（ＳＤＫ）を使用して実施され得る。少なくとも１つの実施例では、開発されたアプリケーションは、システム（たとえば、図１４のシステム１４００）としてサービス１３２０のうちの少なくともいくつかをサポートし得るＳＤＫを用いて、ローカルに（たとえば、第１の施設において、第１の施設からのデータに対して）テストされ得る。少なくとも１つの実施例では、ＤＩＣＯＭ物体は、１つから数百個の画像又は他のデータ・タイプをどこにでも含んでいることがあるので、及びデータの変動により、開発者は、入って来るデータの抽出及び準備を管理すること（たとえば、アプリケーションのための構築物を設定すること、事前処理をアプリケーションに組み込むことなど）について責任を負うことがある。少なくとも１つの実施例では、システム１４００によって（たとえば、精度について）検証されると、アプリケーションは、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクを実施するために、ユーザによる選択及び／又は実装のためにコンテナ・レジストリにおいて利用可能になり得る。

少なくとも１つの実施例では、次いで、開発者は、アプリケーション又はコンテナを、システム（たとえば、図１４のシステム１４００）のユーザによるアクセス及び使用のためにネットワークを通して共有し得る。少なくとも１つの実施例では、完成した及び検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶され得、関連する機械学習モデルは、モデル・レジストリ１３２４に記憶され得る。少なくとも１つの実施例では、推論又は画像処理要求を提供する要求元エンティティは、アプリケーション、コンテナ、データセット、機械学習モデルなどについてコンテナ・レジストリ及び／又はモデル・レジストリ１３２４をブラウズし、データ処理パイプライン中に含めるための要素の所望の組合せを選択し、撮像処理要求をサブミットし得る。少なくとも１つの実施例では、要求は、要求を実施するために必要である入力データ（及び、いくつかの実例では、関連する患者データ）を含み得、並びに／或いは、要求を処理する際に実行されるべき（１つ又は複数の）アプリケーション及び／又は機械学習モデルの選択を含み得る。少なくとも１つの実施例では、次いで、要求は、データ処理パイプラインの処理を実施するために導入システム１３０６（たとえば、クラウド）の１つ又は複数の構成要素に渡され得る。少なくとも１つの実施例では、導入システム１３０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ１３２４からの選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含み得る。少なくとも１つの実施例では、パイプラインによって結果が生成されると、結果は、参照のために（たとえば、ローカルの、構内のワークステーション又は端末上で実行している視聴アプリケーション・スイートにおいて視聴するために）ユーザに返され得る。

少なくとも１つの実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を補助するために、サービス１３２０が活用され得る。少なくとも１つの実施例では、サービス１３２０は、コンピュート・サービス、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ）サービス、視覚化サービス、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、サービス１３２０は、ソフトウェア１３１８中の１つ又は複数のアプリケーションに共通である機能性を提供し得、したがって、機能性は、アプリケーションによってコール又は活用され得るサービスに対して抽象化され得る。少なくとも１つの実施例では、サービス１３２０によって提供される機能性は、動的に及びより効率的に稼働し得、また、（たとえば、並列コンピューティング・プラットフォーム１４３０（図１４）を使用して）アプリケーションが並列にデータを処理することを可能にすることによって、良好にスケーリングし得る。少なくとも１つの実施例では、サービス１３２０によって与えられる同じ機能性を共有する各アプリケーションが、サービス１３２０のそれぞれのインスタンスを有することを必要とされるのではなく、サービス１３２０は、様々なアプリケーション間で及びそれらの間で共有され得る。少なくとも１つの実施例では、サービスは、非限定的な実例として、検出又はセグメント化タスクを実行するために使用され得る推論サーバ又はエンジンを含み得る。少なくとも１つの実施例では、機械学習モデル訓練及び／又は再訓練能力（ｃａｐａｂｉｌｉｔｙ）を提供し得るモデル訓練サービスが含まれ得る。少なくとも１つの実施例では、ＧＰＵ加速データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）抽出、リサイジング、スケーリング、及び／又は他の拡張を提供し得るデータ拡張サービスがさらに含まれ得る。少なくとも１つの実施例では、２次元（２Ｄ：ｔｗｏ－ｄｉｍｅｎｔｉｏｎａｌ）及び／又は３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）のモデルにリアル感を追加するために、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を追加し得る視覚化サービスが使用され得る。少なくとも１つの実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを提供する仮想機器サービスが含まれ得る。

少なくとも１つの実施例では、サービス１３２０がＡＩサービス（たとえば、推論サービス）を含む場合、１つ又は複数の機械学習モデルは、（１つ又は複数の）機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）を（たとえば、ＡＰＩコールとして）コールすることによって、実行され得る。少なくとも１つの実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、アプリケーションは、セグメント化タスクに関連付けられた処理動作のうちの１つ又は複数を実施するための機械学習モデルを実行するように、推論サービスをコールし得る。少なくとも１つの実施例では、セグメント化アプリケーションと異常検出アプリケーションとを含む先進処理及び推論パイプラインを実装するソフトウェア１３１８は、１つ又は複数の推論タスクを実施するために各アプリケーションが同じ推論サービスをコールし得るので、合理化され得る。

少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含み得る。少なくとも１つの実施例では、異なるタイプのハードウェア１３２２が、導入システム１３０６中のソフトウェア１３１８及びサービス１３２０の効率的で専用のサポートを提供するために使用され得る。少なくとも１つの実施例では、画像処理及び生成の効率、精度、及び有効性を改善するために、ＡＩ／深層学習システム内、クラウド・システム中、及び／又は導入システム１３０６の他の処理構成要素中で、ローカルで（たとえば、施設１３０２において）処理するためのＧＰＵ処理の使用が実装され得る。少なくとも１つの実施例では、ソフトウェア１３１８及び／又はサービス１３２０は、非限定的な実例として、深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化され得る。少なくとも１つの実施例では、導入システム１３０６及び／又は訓練システム１３０４のコンピューティング環境の少なくとも一部は、データセンタの１つ又は複数のスーパーコンピュータ又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアとの組合せ）を用いて実行され得る。少なくとも１つの実施例では、ハードウェア１３２２は、任意の数のＧＰＵを含み得、それらのＧＰＵは、本明細書で説明されるように、データの並列処理を実施するためにコールされ得る。少なくとも１つの実施例では、クラウド・プラットフォームは、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化実行のためのＧＰＵ処理をさらに含み得る。少なくとも１つの実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステム上で提供される）（１つ又は複数の）ＡＩ／深層学習スーパーコンピュータ及び／又はＧＰＵ最適化ソフトウェアを、ハードウェア抽象化及びスケーリング・プラットフォームとして使用して、実行され得る。少なくとも１つの実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合し得る。

図１４は、少なくとも１つの実施例による、撮像導入パイプラインを生成及び導入するための例示的なシステム１４００のためのシステム図である。少なくとも１つの実施例では、システム１４００は、図１３のプロセス１３００、並びに／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用され得る。少なくとも１つの実施例では、システム１４００は、訓練システム１３０４と導入システム１３０６とを含み得る。少なくとも１つの実施例では、訓練システム１３０４及び導入システム１３０６は、本明細書で説明されるように、ソフトウェア１３１８、サービス１３２０、及び／又はハードウェア１３２２を使用して実装され得る。

少なくとも１つの実施例では、システム１４００（たとえば、訓練システム１３０４及び／又は導入システム１３０６）は、（たとえば、クラウド１４２６を使用する）クラウド・コンピューティング環境において実装され得る。少なくとも１つの実施例では、システム１４００は、ヘルスケア・サービス施設に関してローカルに、又はクラウド・コンピューティング・リソースとローカル・コンピューティング・リソースの両方の組合せとして、実装され得る。少なくとも１つの実施例では、クラウド１４２６中のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを通して、許可されたユーザに限定され得る。少なくとも１つの実施例では、セキュリティ・プロトコルはウェブ・トークンを含み得、ウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）サービスによって署名され得、適切な許可を持ち得る。少なくとも１つの実施例では、（本明細書で説明される）仮想機器のＡＰＩ、又はシステム１４００の他のインスタンス化は、対話について検査又は許可されたパブリックＩＰのセットに限定され得る。

少なくとも１つの実施例では、システム１４００の様々な構成要素は、ワイヤード及び／又はワイヤレス通信プロトコルを介して、限定はしないがローカル・エリア・ネットワーク（ＬＡＮ）及び／又はワイド・エリア・ネットワーク（ＷＡＮ）を含む様々な異なるネットワーク・タイプのいずれかを使用して、互いの間で通信し得る。少なくとも１つの実施例では、（たとえば、推論要求を送信するための、推論要求の結果を受信するためのなど）施設とシステム１４００の構成要素との間の通信は、（１つ又は複数の）データ・バス、ワイヤレス・データ・プロトコル（Ｗｉ－Ｆｉ）、ワイヤード・データ・プロトコル（たとえば、イーサネット）などを介して通信され得る。

少なくとも１つの実施例では、訓練システム１３０４は、図１３に関して本明細書で説明されたものと同様の訓練パイプライン１４０４を実行し得る。少なくとも１つの実施例では、１つ又は複数の機械学習モデルが導入システム１３０６によって導入パイプライン１４１０において使用されるべきである場合、訓練パイプライン１４０４は、１つ又は複数の（たとえば、事前訓練された）モデルを訓練又は再訓練し、並びに／或いは、事前訓練されたモデル１４０６のうちの１つ又は複数を（たとえば、再訓練又は更新の必要なしに）実装するために、使用され得る。少なくとも１つの実施例では、訓練パイプライン１４０４の結果として、（１つ又は複数の）出力モデル１３１６が生成され得る。少なくとも１つの実施例では、訓練パイプライン１４０４は、限定はしないが、撮像データ（又は他の入力データ）コンバージョン又は適応など、任意の数の処理ステップを含み得る。少なくとも１つの実施例では、導入システム１３０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン１４０４が使用され得る。少なくとも１つの実施例では、図１３に関して説明された第１の実例と同様の訓練パイプライン１４０４は、第１の機械学習モデルのために使用され得、図１３に関して説明された第２の実例と同様の訓練パイプライン１４０４は、第２の機械学習モデルのために使用され得、図１３に関して説明された第３の実例と同様の訓練パイプライン１４０４は、第３の機械学習モデルのために使用され得る。少なくとも１つの実施例では、各それぞれの機械学習モデルについて何が必要とされるかに応じて、訓練システム１３０４内のタスクの任意の組合せが使用され得る。少なくとも１つの実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練され、導入の準備ができていることがあり、したがって、機械学習モデルは、訓練システム１３０４によるいかなる処理をも受けないことがあり、導入システム１３０６によって実装され得る。

少なくとも１つの実施例では、（１つ又は複数の）出力モデル１３１６及び／又は（１つ又は複数の）事前訓練されたモデル１４０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含み得る。少なくとも１つの実施例では、及び限定はしないが、システム１４００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、判定ツリー、サポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ）、単純ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔｎｅｉｇｈｂｏｒ）、ｋ平均クラスタリング、ランダム・フォレスト、次元低減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、リカレント、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／ＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ）、ホップフィールド、ボルツマン、深層信念、逆畳み込み、敵対的生成、液体状態機械など）を使用する（１つ又は複数の）機械学習モデル、及び／又は他のタイプの機械学習モデルを含み得る。

少なくとも１つの実施例では、訓練パイプライン１４０４は、少なくとも図１５Ｂに関して本明細書でより詳細に説明されるように、ＡＩ支援アノテーションを含み得る。少なくとも１つの実施例では、ラベル付きデータ１３１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成され得る。少なくとも１つの実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒａｉｄｅｄｄｅｓｉｇｎ）プログラム、ラベル付けプログラム、グランド・トゥルースのためのアノテーション又はラベルを生成するのに好適な別のタイプのプログラム内で生成され得、及び／或いは、いくつかの実例では、手書きされ得る。少なくとも１つの実施例では、グランド・トゥルース・データは、合成的に作り出され（たとえば、コンピュータ・モデル又はレンダリングから生成され）、現実的に作り出され（たとえば、実世界のデータから設計され、作り出され）、（たとえば、データから特徴を抽出し、次いでラベルを生成するために、特徴分析及び学習を使用して）機械自動化され、人間によりアノテーション付けされ（たとえば、ラベラ、又はアノテーション専門家が、ラベルのロケーションを定義し）、及び／又はそれらの組合せであり得る。少なくとも１つの実施例では、撮像データ１３０８の各インスタンス（又は機械学習モデルによって使用される他のデータ・タイプ）について、訓練システム１３０４によって生成される対応するグランド・トゥルース・データがあり得る。少なくとも１つの実施例では、訓練パイプライン１４０４中に含まれるＡＩ支援アノテーションに加えて、又はその代わりにのいずれかで、導入パイプライン１４１０の一部としてＡＩ支援アノテーションが実施され得る。少なくとも１つの実施例では、システム１４００は多層プラットフォームを含み得、多層プラットフォームは、１つ又は複数の医療撮像及び診断機能を実施し得る診断アプリケーション（又は他のアプリケーション・タイプ）のソフトウェア層（たとえば、ソフトウェア１３１８）を含み得る。少なくとも１つの実施例では、システム１４００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合され得る。少なくとも１つの実施例では、システム１４００は、機械学習モデルを訓練すること、機械学習モデルを導入すること、画像処理、推論、及び／又は他の動作などの動作を実施するために、ＰＡＣＳサーバからのデータにアクセスし、それを参照するように構成され得る。

少なくとも１つの実施例では、ソフトウェア層は、セキュアな、暗号化された、及び／又は認証されたＡＰＩとして実装され得、このＡＰＩを通して、アプリケーション又はコンテナが、（１つ又は複数の）外部環境（たとえば、施設１３０２）から呼び出され（たとえば、コールされ）得る。少なくとも１つの実施例では、次いで、アプリケーションは、それぞれのアプリケーションに関連付けられたコンピュート、ＡＩ、又は視覚化タスクを実施するために１つ又は複数のサービス１３２０をコール又は実行し得、ソフトウェア１３１８及び／又はサービス１３２０は、ハードウェア１３２２を活用して、処理タスクを有効で効率的な様式で実施し得る。

少なくとも１つの実施例では、導入システム１３０６は、導入パイプライン１４１０を実行し得る。少なくとも１つの実施例では、導入パイプライン１４１０は任意の数のアプリケーションを含み得、それらのアプリケーションは、上記で説明されたように、ＡＩ支援アノテーションを含む、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のデータ・タイプ）に連続的に、非連続的に、又は他のやり方で適用され得る。少なくとも１つの実施例では、本明細書で説明されるように、個々のデバイスのための導入パイプライン１４１０は、デバイスのための仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれることがある。少なくとも１つの実施例では、デバイスによって生成されるデータから所望される情報に応じて、単一のデバイスについて、２つ以上の導入パイプライン１４１０があり得る。少なくとも１つの実施例では、異常の検出がＭＲＩマシンから所望される場合、第１の導入パイプライン１４１０があり得、画像強調がＭＲＩマシンの出力から所望される場合、第２の導入パイプライン１４１０があり得る。

少なくとも１つの実施例では、画像生成アプリケーションは、機械学習モデルの使用を含む処理タスクを含み得る。少なくとも１つの実施例では、ユーザは、ユーザ自身の機械学習モデルを使用すること、又はモデル・レジストリ１３２４から機械学習モデルを選択することを所望し得る。少なくとも１つの実施例では、ユーザは、処理タスクを実施するために、ユーザ自身の機械学習モデルを実装するか、又はアプリケーション中に含めるための機械学習モデルを選択し得る。少なくとも１つの実施例では、アプリケーションは選択可能及びカスタマイズ可能であり得、アプリケーションの構築を定義することによって、特定のユーザのためのアプリケーションの導入及び実装が、よりシームレスなユーザ・エクスペリエンスとして提示される。少なくとも１つの実施例では、サービス１３２０及びハードウェア１３２２など、システム１４００の他の特徴を活用することによって、導入パイプライン１４１０は、なお一層ユーザ・フレンドリになり、より容易な統合を提供し、より正確で、効率的で、タイムリーな結果を作り出し得る。

少なくとも１つの実施例では、導入システム１３０６はユーザ・インターフェース１４１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含み得、ユーザ・インターフェース１４１４は、（１つ又は複数の）導入パイプライン１４１０中に含めるためのアプリケーションを選択し、アプリケーションを配置し、アプリケーション又はそのパラメータ若しくは構築を修正又は変更し、セットアップ及び／又は導入中に（１つ又は複数の）導入パイプライン１４１０を使用し、それと対話し、並びに／或いは他のやり方で導入システム１３０６と対話するために使用され得る。少なくとも１つの実施例では、訓練システム１３０４に関して示されていないが、ユーザ・インターフェース１４１４（又は異なるユーザ・インターフェース）は、導入システム１３０６における使用のためのモデルを選択するために、訓練システム１３０４において訓練又は再訓練するためのモデルを選択するために、及び／或いは訓練システム１３０４と他のやり方で対話するために使用され得る。

少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーション又はコンテナと、サービス１３２０及び／又はハードウェア１３２２との間で対話を管理するために、アプリケーション・オーケストレーション・システム１４２８に加えてパイプライン・マネージャ１４１２が使用され得る。少なくとも１つの実施例では、パイプライン・マネージャ１４１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス１３２０への対話、及び／或いはアプリケーション又はサービスからハードウェア１３２２への対話を容易にするように構成され得る。少なくとも１つの実施例では、ソフトウェア１３１８中に含まれるように示されているが、これは限定を意図しておらず、（たとえば、図１２ｃｃに示されている）いくつかの実例では、パイプライン・マネージャ１４１２は、サービス１３２０中に含まれ得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含み得、コンテナ・オーケストレーション・システムは、アプリケーションを、協調、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることよって、各アプリケーションは、自己完結型環境（たとえば、カーネル・レベル）において実行して、スピード及び効率を向上させ得る。

少なくとも１つの実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入され得（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入し得、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入し得）、これは、（１つ又は複数の）別のアプリケーション又は（１つ又は複数の）コンテナのタスクに邪魔されることなしに単一のアプリケーション及び／又は（１つ又は複数の）コンテナのタスクに集中し、注意を払うことを可能にし得る。少なくとも１つの実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ１４１２及びアプリケーション・オーケストレーション・システム１４２８によって補助され得る。少なくとも１つの実施例では、各コンテナ又はアプリケーションの予想される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構築に基づいて）システムによって知られている限り、アプリケーション・オーケストレーション・システム１４２８及び／又はパイプライン・マネージャ１４１２は、アプリケーション又はコンテナの各々の間の通信、及びそれらの間のリソースの共有を容易にし得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０中のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有し得るので、アプリケーション・オーケストレーション・システム１４２８は、様々なアプリケーション又はコンテナの間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定し得る。少なくとも１つの実施例では、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性を追跡するために、スケジューラが使用され得る。少なくとも１つの実施例では、したがって、スケジューラは、異なるアプリケーションにリソースを割り振り、システムの要件及び利用可能性を考慮してアプリケーションの間でリソースを分散させ得る。いくつかの実例では、スケジューラ（及び／又はアプリケーション・オーケストレーション・システム１４２８の他の構成要素）は、サービス品質（ＱｏＳ：ｑｕａｌｉｔｙｏｆｓｅｒｖｉｃｅ）、（たとえば、リアルタイム処理を実行すべきか遅延処理を実行すべきかを決定するための）データ出力を必要とする緊急度など、システムに課される制約（たとえば、ユーザ制約）に基づいて、リソースの利用可能性及び分散を決定し得る。

少なくとも１つの実施例では、導入システム１３０６中のアプリケーション又はコンテナによって活用及び共有されるサービス１３２０は、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、アプリケーションは、サービス１３２０のうちの１つ又は複数をコール（たとえば、実行）して、アプリケーションのための処理動作を実施し得る。少なくとも１つの実施例では、コンピュート・サービス１４１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ：ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇ）タスクを実施するために、アプリケーションによって活用され得る。少なくとも１つの実施例では、アプリケーションのうちの１つ又は複数を通してデータを、及び／又は単一のアプリケーションの１つ又は複数のタスクを実質的に同時に処理するための（たとえば、並列コンピューティング・プラットフォーム１４３０を使用する）並列処理を実施するために、（１つ又は複数の）コンピュート・サービス１４１６が活用され得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ１４２２）上での汎用コンピューティング（ＧＰＧＰＵ：ｇｅｎｅｒａｌｐｕｒｐｏｓｅｃｏｍｐｕｔｉｎｇｏｎＧＰＵｓ）を可能にし得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０のソフトウェア層は、コンピュート・カーネルの実行のために、仮想命令セット及びＧＰＵの並列算出要素へのアクセスを提供し得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０はメモリを含み得、いくつかの実施例では、メモリは、複数のコンテナの間で、及び／又は単一のコンテナ内の異なる処理タスクの間で共有され得る。少なくとも１つの実施例では、（たとえば、アプリケーションの複数の異なる段階又は複数のアプリケーションが同じ情報を処理している場合）並列コンピューティング・プラットフォーム１４３０のメモリの共有セグメントからの同じデータを使用するために、複数のコンテナについて及び／又はコンテナ内の複数のプロセスについて、プロセス間通信（ＩＰＣ：ｉｎｔｅｒ－ｐｒｏｃｅｓｓｃｏｍｍｕｎｉｃａｔｉｏｎ）コールが生成され得る。少なくとも１つの実施例では、データのコピーをとり、データをメモリ中の異なるロケーションに移動すること（たとえば、読取り／書込み動作）ではなく、メモリの同じロケーション中の同じデータが、任意の数の処理タスクのために（たとえば、同じ時間、異なる時間などに）使用され得る。少なくとも１つの実施例では、データが使用されて、処理の結果として新しいデータが生成されるとき、データの新しいロケーションのこの情報は、様々なアプリケーション間で記憶及び共有され得る。少なくとも１つの実施例では、データのロケーションと、更新された又は修正されたデータのロケーションとは、コンテナ内でペイロードがどのように理解されるかの定義の一部であり得る。

少なくとも１つの実施例では、ＡＩサービス１４１８は、アプリケーションに関連付けられた（たとえば、アプリケーションの１つ又は複数の処理タスクを実施する役割を課された）（１つ又は複数の）機械学習モデルを実行するための推論サービスを実施するために活用され得る。少なくとも１つの実施例では、ＡＩサービス１４１８は、ＡＩシステム１４２４を活用して、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための（１つ又は複数の）機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーションは、訓練システム１３０４からの出力モデル１３１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データに関して推論を実施し得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、スケジューラ）を使用する推論の２つ又はそれ以上の実例が利用可能であり得る。少なくとも１つの実施例では、第１のカテゴリは、緊急時の至急の要求に関して推論を実施するための、又は診断時の放射線医のためのなど、より高いサービス・レベルの合意を達成し得る高優先度／低レイテンシ経路を含み得る。少なくとも１つの実施例では、第２のカテゴリは、至急でないことがある要求のために、又は分析が後で実施され得る場合に使用され得る標準優先度経路を含み得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８は、ＡＩサービス１４１８の異なる推論タスクのための優先度経路に基づいて、リソース（たとえば、サービス１３２０及び／又はハードウェア１３２２）を分散させ得る。

少なくとも１つの実施例では、共有ストレージが、システム１４００内でＡＩサービス１４１８に取り付けられ得る。少なくとも１つの実施例では、共有ストレージは、キャッシュ（又は他のストレージ・デバイス・タイプ）として動作し得、アプリケーションからの推論要求を処理するために使用され得る。少なくとも１つの実施例では、推論要求がサブミットされたとき、要求は、導入システム１３０６のＡＰＩインスタンスのセットによって受信され得、要求を処理するために、１つ又は複数のインスタンスが（たとえば、最良な適合のために、ロード・バランシングのためになど）選択され得る。少なくとも１つの実施例では、要求を処理するために、要求がデータベースに入れられ得、機械学習モデルは、まだキャッシュにない場合、モデル・レジストリ１３２４から位置特定され得、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）にロードされ、及び／又はモデルのコピーがキャッシュに保存され得ることを確実にし得る。少なくとも１つの実施例では、アプリケーションがまだ稼働していない場合又はアプリケーションの十分なインスタンスがない場合、（たとえば、パイプライン・マネージャ１４１２の）スケジューラが、要求において参照されたアプリケーションを起動するために使用され得る。少なくとも１つの実施例では、モデルを実行するための推論サーバがまだ起動されていない場合、推論サーバが起動され得る。任意の数の推論サーバがモデルごとに起動され得る。少なくとも１つの実施例では、推論サーバがクラスタ化されたプル・モデルにおいて、ロード・バランシングが有利であるときはいつでもモデルがキャッシュされ得る。少なくとも１つの実施例では、推論サーバは、対応する分散型サーバに静的にロードされ得る。

少なくとも１つの実施例では、推論は、コンテナ中で稼働する推論サーバを使用して実施され得る。少なくとも１つの実施例では、推論サーバのインスタンスは、モデル（随意に、モデルの複数のバージョン）に関連付けられ得る。少なくとも１つの実施例では、モデルに対して推論を実施するための要求が受信されたとき、推論サーバのインスタンスが存在しない場合、新しいインスタンスがロードされ得る。少なくとも１つの実施例では、推論サーバを開始するとき、モデルが推論サーバに渡され得、それにより、推論サーバが異なるインスタンスとして稼働している限り、異なるモデルにサービスするために同じコンテナが使用され得る。

少なくとも１つの実施例では、アプリケーション実行中、所与のアプリケーションについての推論要求が受信され得、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていない場合）ロードされ得、開始プロシージャがコールされ得る。少なくとも１つの実施例では、コンテナ中の前処理論理が、（たとえば、（１つ又は複数の）ＣＰＵ及び／又は（１つ又は複数の）ＧＰＵを使用して）入って来るデータに対する任意の追加の前処理をロード、復号、及び／又は実施し得る。少なくとも１つの実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに関して推論を実施し得る。少なくとも１つの実施例では、これは、１つの画像（たとえば、手のＸ線）に対する単一の推論コールを含み得るか、又は何百もの画像（たとえば、胸のＣＴ）に関する推論を必要とし得る。少なくとも１つの実施例では、アプリケーションは、完了する前に結果を要約し得、これは、限定はしないが、単一の信頼性スコア、ピクセル・レベル・セグメント化、ボクセル・レベル・セグメント化、視覚化を生成すること、又は所見を要約するためにテキストを生成することを含み得る。少なくとも１つの実施例では、異なるモデル又はアプリケーションは、異なる優先度を割り当てられ得る。たとえば、リアルタイム（ＴＡＴ＜１分）の優先度を有するモデルもあれば、低優先度（たとえば、ＴＡＴ＜１０分）を有するモデルもある。少なくとも１つの実施例では、モデル実行時間は、要求元の機関又はエンティティから測定され得、パートナー・ネットワーク・トラバーサル時間、並びに推論サービスに対する実行を含み得る。

少なくとも１つの実施例では、サービス１３２０と推論アプリケーションとの間での要求の転送は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠され得、キューを通してロバストなトランスポートが提供され得る。少なくとも１つの実施例では、個々のアプリケーション／テナントＩＤの組合せについて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも１つの実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供され得る。少なくとも１つの実施例では、キューを通した非同期通信は、その通信が、ワークが利用可能になったときに、アプリケーションの任意のインスタンスがそのワークをピックアップすることを可能にし得るので、有用であり得る。結果は、データが失われないことを確実にするために、キューを通して返送され得る。少なくとも１つの実施例では、最高優先度のワークは、アプリケーションのほとんどのインスタンスがキューに接続された、キューに進み得、一方で、最低優先度のワークは、単一のインスタンスがキューに接続された、受信された順番にタスクを処理するキューに進み得るので、キューは、ワークをセグメント化するアビリティをも提供し得る。少なくとも１つの実施例では、アプリケーションは、クラウド１４２６において生成されたＧＰＵ加速インスタンス上で稼働し得、推論サービスは、ＧＰＵ上で推論を実施し得る。

少なくとも１つの実施例では、視覚化サービス１４２０が、アプリケーション及び／又は（１つ又は複数の）導入パイプライン１４１０の出力を見るための視覚化を生成するために活用され得る。少なくとも１つの実施例では、視覚化を生成するために視覚化サービス１４２０によってＧＰＵ１４２２が活用され得る。少なくとも１つの実施例では、レイ・トレーシングなどのレンダリング効果が、より高品質の視覚化を生成するために視覚化サービス１４２０によって実装され得る。少なくとも１つの実施例では、視覚化は、限定はしないが、２Ｄ画像レンダリング、３Ｄボリューム・レンダリング、３Ｄボリューム再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを含み得る。少なくとも１つの実施例では、仮想化された環境が、システムのユーザ（たとえば、医師、看護師、放射線医など）による対話のための仮想インタラクティブ表示又は環境（たとえば、仮想環境）を生成するために使用され得る。少なくとも１つの実施例では、視覚化サービス１４２０は、内部ビジュアライザ、シネマティクス、及び／或いは他のレンダリング又は画像処理能力又は機能性（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含み得る。

少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ１４２２、ＡＩシステム１４２４、クラウド１４２６、並びに／或いは訓練システム１３０４及び／又は導入システム１３０６を実行するために使用される任意の他のハードウェアを含み得る。少なくとも１つの実施例では、ＧＰＵ１４２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯＧＰＵ）は、任意の数のＧＰＵを含み得、任意の数のＧＰＵは、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、他のサービス、及び／或いはソフトウェア１３１８の特徴又は機能性のいずれかの処理タスクを実行するために使用され得る。たとえば、ＡＩサービス１４１８に関して、ＧＰＵ１４２２が、撮像データ（又は機械学習モデルによって使用される他のデータ・タイプ）に対する前処理、機械学習モデルの出力に対する後処理を実施するために、及び／又は推論を実施するために（たとえば、機械学習モデルを実行するために）使用され得る。少なくとも１つの実施例では、クラウド１４２６、ＡＩシステム１４２４、及び／又はシステム１４００の他の構成要素は、ＧＰＵ１４２２を使用し得る。少なくとも１つの実施例では、クラウド１４２６は、深層学習タスクのためのＧＰＵ最適化プラットフォームを含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４は、ＧＰＵを使用し得、クラウド１４２６、或いは深層学習又は推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム１４２４を使用して実行され得る。したがって、ハードウェア１３２２は個別構成要素として示されているが、これは、限定を意図しておらず、ハードウェア１３２２の任意の構成要素が、ハードウェア１３２２の任意の他の構成要素と組み合わせられ、又はそれらによって活用され得る。

少なくとも１つの実施例では、ＡＩシステム１４２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスクのために構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化ソフトウェア（たとえば、ソフトウェア・スタック）を含み得、ＧＰＵ最適化ソフトウェアは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、又は機能性に加えて、複数のＧＰＵ１４２２を使用して実行され得る。少なくとも１つの実施例では、１つ又は複数のＡＩシステム１４２４は、システム１４００のＡＩベースの処理タスクのいくつか又はすべてを実施するために、（たとえば、データ・センタにおいて）クラウド１４２６において実装され得る。

少なくとも１つの実施例では、クラウド１４２６は、ＧＰＵ加速インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含み得、ＧＰＵ加速インフラストラクチャは、システム１４００の処理タスクを実行するためのＧＰＵ最適化プラットフォームを提供し得る。少なくとも１つの実施例では、クラウド１４２６は、システム１４００のＡＩベースのタスクのうちの１つ又は複数を実施するための（１つ又は複数の）ＡＩシステム１４２４を（たとえば、ハードウェア抽象化及びスケーリング・プラットフォームとして）含み得る。少なくとも１つの実施例では、クラウド１４２６は、アプリケーションとサービス１３２０との間でシームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵを活用してアプリケーション・オーケストレーション・システム１４２８と統合し得る。少なくとも１つの実施例では、クラウド１４２６は、本明細書で説明されるように、コンピュート・サービス１４１６、ＡＩサービス１４１８、及び／又は視覚化サービス１４２０を含む、システム１４００のサービス１３２０の少なくともいくつかを実行する役割を課され得る。少なくとも１つの実施例では、クラウド１４２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのＴＥＮＳＯＲＲＴを実行すること）を実施し、加速並列コンピューティングＡＰＩ及びプラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供し、アプリケーション・オーケストレーション・システム１４２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行し、（たとえば、より高品質のシネマティクスを作り出すためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法のための）グラフィックス・レンダリングＡＰＩ及びプラットフォームを提供し得、及び／又はシステム１４００のための他の機能性を提供し得る。

図１５Ａは、少なくとも１つの実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス１５００のためのデータ・フロー図を示す。少なくとも１つの実施例では、プロセス１５００は、図１４のシステム１４００を非限定的な実例として使用して、実行され得る。少なくとも１つの実施例では、プロセス１５００は、本明細書で説明されるように、システム１４００のサービス１３２０及び／又はハードウェア１３２２を活用し得る。少なくとも１つの実施例では、プロセス１５００によって生成される改良されたモデル１５１２は、導入パイプライン１４１０中の１つ又は複数のコンテナ化アプリケーションのために、導入システム１３０６によって実行され得る。

少なくとも１つの実施例では、モデル訓練１３１４は、新しい訓練データ（たとえば、顧客データセット１５０６、及び／又は入力データに関連付けられた新しいグランド・トゥルース・データなどの新しい入力データ）を使用して、初期モデル１５０４（たとえば、事前訓練されたモデル）を再訓練又は更新することを含み得る。少なくとも１つの実施例では、初期モデル１５０４を再訓練又は更新するために、初期モデル１５０４の（１つ又は複数の）出力又は損失層がリセット又は削除され得、及び／或いは、（１つ又は複数の）更新された又は新しい出力又は損失層と置き換えられ得る。少なくとも１つの実施例では、初期モデル１５０４は、前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有し得、したがって、訓練又は再訓練１３１４は、最初からモデルを訓練するほど長い時間がかからないか、又は多くの処理を必要としないことがある。少なくとも１つの実施例では、モデル訓練１３１４中に、初期モデル１５０４の（１つ又は複数の）リセットされた又は置き換えられた出力又は損失層を有することによって、パラメータは、新しい顧客データセット１５０６（たとえば、図１３の画像データ１３０８）に関して予測を生成する際の（１つ又は複数の）出力又は損失層の精度に関連付けられた損失計算に基づいて、新しいデータ・セットのために更新及び再調整され得る。

少なくとも１つの実施例では、事前訓練されたモデル１４０６は、データ・ストア又はレジストリ（たとえば、図１３のモデル・レジストリ１３２４）に記憶され得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、少なくとも部分的に、プロセス１５００を実行する施設以外の１つ又は複数の施設において訓練されていることがある。少なくとも１つの実施例では、異なる施設の患者、対象者、又は顧客のプライバシー及び権利を保護するために、事前訓練されたモデル１４０６は、構内で生成された顧客又は患者データを使用して、構内で訓練されていることがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、クラウド１４２６及び／又は他のハードウェア１３２２を使用して訓練され得るが、プライバシー保護された機密の患者データは、クラウド１４２６（又は他の構外のハードウェア）の任意の構成要素に転送されないか、それらの構成要素によって使用されないか、又はそれらの構成要素にとってアクセス不可能であり得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練されたモデル１４０６は、各施設について個々に訓練されてから、別の施設からの患者又は顧客データに関して訓練され得る。少なくとも１つの実施例では、顧客又は患者データが（たとえば、権利放棄によって、実験での使用のために、など）プライバシー問題から解放された場合、或いは、顧客又は患者データがパブリック・データ・セット中に含まれる場合など、任意の数の施設からの顧客又は患者データが、データセンタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練されたモデル１４０６を訓練するために使用され得る。

少なくとも１つの実施例では、導入パイプライン１４１０における使用のためのアプリケーションを選択するとき、ユーザは、特定のアプリケーションのために使用されるべき機械学習モデルをも選択し得る。少なくとも１つの実施例では、ユーザは、使用のためのモデルを有しないことがあり、したがって、ユーザは、アプリケーションとともに使用するために事前訓練されたモデル１４０６を選択し得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、（たとえば、患者の多様性、人口統計、使用される医療撮像デバイスのタイプなどに基づいて）ユーザの施設の顧客データセット１５０６に関して正確な結果を生成するために最適化されないことがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６を、（１つ又は複数の）アプリケーションとともに使用するために導入パイプライン１４１０に導入する前に、事前訓練されたモデル１４０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整され得る。

少なくとも１つの実施例では、ユーザは、更新、再訓練、及び／又は微調整されるべきである事前訓練されたモデル１４０６を選択し得、事前訓練されたモデル１４０６は、プロセス１５００内の訓練システム１３０４のための初期モデル１５０４と呼ばれることがある。少なくとも１つの実施例では、顧客データセット１５０６（たとえば、施設におけるデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のデータ・タイプ）が、初期モデル１５０４に関して（限定はしないが、転移学習（ｔｒａｎｓｆｅｒｌｅａｒｎｉｎｇ）を含み得る）モデル訓練１３１４を実施して、改良されたモデル１５１２を生成するために、使用され得る。少なくとも１つの実施例では、顧客データセット１５０６に対応するグランド・トゥルース・データが、訓練システム１３０４によって生成され得る。少なくとも１つの実施例では、グランド・トゥルース・データは、（たとえば、図１３のラベル付きクリニック・データ１３１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成され得る。

少なくとも１つの実施例では、グランド・トゥルース・データを生成するために、ＡＩ支援アノテーション１３１０がいくつかの実例において使用され得る。少なくとも１つの実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション１３１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を活用して、顧客データセットについて示唆又は予測されるグランド・トゥルース・データを生成し得る。少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌｕｓｅｒｉｎｔｅｒｆａｃｅ））内でアノテーション・ツールを使用し得る。

少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８を介してＧＵＩと対話して、（自動）アノテーションを編集又は微調整し得る。少なくとも１つの実施例では、ポリゴン編集特徴が、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動するために使用され得る。

少なくとも１つの実施例では、顧客データセット１５０６が、関連するグランド・トゥルース・データを有すると、（たとえば、ＡＩ支援アノテーション、手動ラベル付けなどからの）グランド・トゥルース・データが、改良されたモデル１５１２を生成するために、モデル訓練１３１４中によって使用され得る。少なくとも１つの実施例では、顧客データセット１５０６は、初期モデル１５０４に任意の回数適用され得、グランド・トゥルース・データは、改良されたモデル１５１２について、許容可能なレベルの精度が達成されるまで、初期モデル１５０４のパラメータを更新するために使用され得る。少なくとも１つの実施例では、改良されたモデル１５１２が生成されると、改良されたモデル１５１２は、医療撮像データに対して１つ又は複数の処理タスクを実施するために、施設において１つ又は複数の導入パイプライン１４１０内で導入され得る。

少なくとも１つの実施例では、改良されたモデル１５１２は、別の施設によって選択されるべきモデル・レジストリ１３２４において事前訓練されたモデル１４０６にアップロードされ得る。少なくとも１つの実施例では、彼のプロセスは任意の数の施設において完了され得、それにより、改良されたモデル１５１２は、より普遍的なモデルを生成するように新しいデータセットに関して任意の回数さらに改良され得る。

図１５Ｂは、少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャ１５３２の例示的な図である。少なくとも１つの実施例では、ＡＩ支援アノテーション・ツール１５３６は、クライアントサーバ・アーキテクチャ１５３２に基づいてインスタンス化され得る。少なくとも１つの実施例では、撮像アプリケーション中のアノテーション・ツール１５３６は、放射線医が、たとえば、器官及び異常を識別するのを補助し得る。少なくとも１つの実施例では、撮像アプリケーションは、非限定的な実例として、（たとえば、３ＤＭＲＩ又はＣＴスキャンにおける）生画像１５３４において、関心のある特定の器官上の数個の極値点をユーザ１５１０が識別するのを助け、特定の器官のすべての２Ｄスライスについて自動アノテーション付けされた結果を受信する、ソフトウェア・ツールを含み得る。少なくとも１つの実施例では、結果は、訓練データ１５３８としてデータ・ストアに記憶され、（たとえば、限定はしないが）訓練のためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、コンピューティング・デバイス１５０８が、ＡＩ支援アノテーション１３１０のために極値点を送出するとき、たとえば、深層学習モデルがこのデータを入力として受信し、セグメント化された器官又は異常の推論結果を返し得る。少なくとも１つの実施例では、図１５Ｂ中のＡＩ支援アノテーション・ツール１５３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された、事前訓練されたモデル１５４２のセットを含み得るアノテーション支援サーバ１５４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール１５４４）を行うことによって、拡張され得る。少なくとも１つの実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実施するように事前訓練された、事前訓練されたモデル１５４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶し得る。これらのモデルは、訓練パイプライン１４０４を使用することによって、さらに更新され得る。少なくとも１つの実施例では、事前インストールされたアノテーション・ツールは、新しいラベル付きクリニック・データ１３１２が追加されるにつれて、経時的に改善され得る。

他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の１つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図していることが理解されるべきである。

開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「限定はしないが、～を含む（ｉｎｃｌｕｄｉｎｇ，ｂｕｔｎｏｔｌｉｍｉｔｅｄｔｏ，）」を意味する）と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」（たとえば、「項目のセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。

「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、Ａ又はＢ又はＣのいずれか、或いはＡとＢとＣとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」という結合句は、次のセットのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、そのような結合語は、いくつかの実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、複数である状態を示す（たとえば、「複数の項目（ａｐｌｕｒａｌｉｔｙｏｆｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅｉｔｅｍｓ）を示す）。複数（ｐｌｕｒａｌｉｔｙ）は、少なくとも２つの項目であるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「～に基づいて」という言い回しは、「少なくとも部分的に～に基づいて」を意味し、「～のみに基づいて」を意味しない。

本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも１つの実施例では、本明細書で説明されるプロセス（又はその変形及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、たとえば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的コンピュータ可読記憶媒体である。少なくとも１つの実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的コンピュータ可読記憶媒体のセットは、少なくとも１つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの１つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも１つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット（「ＣＰＵ」）は命令のいくつかを実行し、グラフィックス処理ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも１つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。

したがって、少なくとも１つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する１つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも１つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。

本明細書で提供されるあらゆる実例、又は例示的な言葉（たとえば、「など、などの（ｓｕｃｈａｓ）」）の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。

本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。

明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、２つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。

別段の具体的な記載がない限り、明細書全体を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「算出する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、又は「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び／又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び／又はプロセスを指すことが諒解され得る。

同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。

本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ及びデジタル・データを取得すること、獲得すること、受信すること、又は入力することは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。

上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。

さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。

Claims

第１の解像度における入力ビデオ・ストリームを受信するステップと、
前記入力ビデオ・ストリームのビデオ・フレームを画像向上ネットワークへの入力として提供するステップであって、前記画像向上ネットワークが、前記フレームを第２の解像度にアップスケールするように訓練される、ステップと、
前記画像向上ネットワークから、前記第２の解像度における向上されたビデオ・フレームを受信するステップと、
前記入力ビデオ・ストリームを受信するとともに、前記第２の解像度において出力ビデオ・ストリームの一部として提示のために前記向上されたビデオ・フレームを提供するステップと
を含む、コンピュータ実装方法。
前記画像向上ネットワークが、前記ビデオ・フレーム中の画像アーティファクトの１つ又は複数のタイプの存在を低減するようにさらに訓練される、請求項１に記載のコンピュータ実装方法。
前記画像向上ネットワークが、ブロッキネス、モアレ、ブルーム、色収差、又はノイズのうちの少なくとも１つの存在を低減するように訓練される、請求項２に記載のコンピュータ実装方法。
前記画像向上ネットワークが、向上された訓練画像のセットを使用して訓練された敵対的生成ネットワーク（ＧＡＮ）である、請求項１に記載のコンピュータ実装方法。
画像品質の劣化なしに実施の速度を改善するために訓練中に前記ＧＡＮから１つ又は複数の中間層を除去するステップ
をさらに含む、請求項５に記載のコンピュータ実装方法。
前記画像向上ネットワークが、リアルタイムで単一のグラフィックス処理ユニット（ＧＰＵ）上で稼働するように最適化される、請求項１に記載のコンピュータ実装方法。
前記画像向上ネットワークの１つ又は複数の中間層において前記ビデオ・フレームをダウンスケールするステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。
弁別器損失項、特徴損失項、又はグランド・トゥルース損失項のうちの少なくとも１つを含む損失関数を使用して前記画像向上ネットワークを訓練するステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。
クライアント・デバイスによって前記入力ビデオ・ストリームを受信するステップと、
前記出力ビデオ・ストリームの一部として前記クライアント・デバイスによる提示のために前記向上されたビデオ・フレームを提供するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。
少なくとも１つのプロセッサと、
命令を含むメモリと
を備えるシステムであって、前記命令が、前記少なくとも１つのプロセッサによって実行される場合、前記システムに、
第１の解像度における画像シーケンスを受信させ、
前記画像シーケンスの画像を、前記画像を第２の解像度にアップスケールするように訓練される画像向上ネットワークへの入力として提供させ、
前記画像向上ネットワークから、前記第２の解像度における向上された画像を受信させ、
前記画像シーケンスを受信するとともに、前記第２の解像度において向上された画像シーケンスの一部として提示のために前記向上された画像を提供させる、
システム。
前記画像向上ネットワークが、前記画像中の画像アーティファクトの１つ又は複数のタイプの存在を低減するようにさらに訓練される、請求項１０に記載のシステム。
前記画像向上ネットワークが、ブロッキネス、モアレ、ブルーム、色収差、又はノイズのうちの少なくとも１つの存在を低減するように訓練される、請求項１１に記載のシステム。
前記画像向上ネットワークが、向上された訓練画像のセットを使用して訓練された敵対的生成ネットワーク（ＧＡＮ）である、請求項１０に記載のシステム。
前記命令が、実行される場合、前記システムに、さらに、
画像品質の劣化なしに実施の速度を改善するために訓練中に前記ＧＡＮから１つ又は複数の中間層を除去させる、
請求項１０に記載のシステム。
前記システムが、
グラフィカル・レンダリング動作を実施するためのシステム、
シミュレーション動作を実施するためのシステム、
自律機械アプリケーションをテスト又は検証するためのシミュレーション動作を実施するためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
１つ若しくは複数の仮想機械（ＶＭ）を組み込んでいるシステム、
少なくとも部分的にデータ・センタにおいて実装されるシステム、又は
少なくとも部分的にクラウド・コンピューティング・リソースを使用して実装されるシステム
のうちの少なくとも１つを備える、請求項１０に記載のシステム。
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、実行される場合、１つ又は複数のプロセッサに、
第１の解像度における入力ビデオを受信させ、
前記入力ビデオのビデオ・フレームを、前記フレームを第２の解像度にアップスケールするように訓練される画像向上ネットワークへの入力として提供させ、
前記画像向上ネットワークから、前記第２の解像度における向上されたビデオ・フレームを受信させ、
前記入力ビデオを受信するとともに、前記第２の解像度において出力ビデオの一部として提示のために前記向上されたビデオ・フレームを提供させる、
非一時的コンピュータ可読記憶媒体。
前記画像向上ネットワークが、前記画像中の画像アーティファクトの１つ又は複数のタイプの存在を低減するようにさらに訓練される、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
前記画像向上ネットワークが、ブロッキネス、モアレ、ブルーム、色収差、又はノイズのうちの少なくとも１つの存在を低減するように訓練される、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
前記画像向上ネットワークが、向上された訓練画像のセットを使用して訓練された敵対的生成ネットワーク（ＧＡＮ）である、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
前記命令が、実行される場合、１つ又は複数のプロセッサに、さらに、
画像品質の劣化なしに実施の速度を改善するために訓練中に前記ＧＡＮから１つ又は複数の中間層を除去させる、
請求項１６に記載の非一時的コンピュータ可読記憶媒体。