JP2018518740A

JP2018518740A - バイアス項を介して深層ニューラルネットワーク中にトップダウン情報を組み込むこと

Info

Publication number: JP2018518740A
Application number: JP2017556147A
Authority: JP
Inventors: トワル、レーガン・ブライス
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2015-04-28
Filing date: 2016-03-11
Publication date: 2018-07-12
Also published as: CN107533665A; EP3289527A1; WO2016175925A1; AU2016256315A1; US10325202B2; BR112017022983A2; KR20170140228A; US20160321542A1

Abstract

深層ニューラルネットワークをバイアスする方法は、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定することを含む。本方法はまた、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアスを調節することを含む。一構成では、バイアスは、ネットワークの重みを調節することなしに調節される。本方法は、バイアスすることに基づいてネットワークの出力を調節することをさらに含む。【選択図】図１２

Description

関連出願の相互参照
[0001]本出願は、その開示全体が参照により本明細書に明確に組み込まれる、２０１５年４月２８日に出願された、「Incorporating top-down information in deep neural networks via the bias term」と題する米国仮特許出願第６２／１５４，０９７号の利益を主張する。

[0002]本開示のいくつかの態様は、一般にニューラルシステムエンジニアリングに関し、より詳細には、要素がネットワークへの入力中に存在する増加された確率を有するかどうかに基づいて、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数（activation functions）のバイアス項（bias term）を調整するためのシステムおよび方法に関する。

[0003]人工ニューロン（たとえば、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実施されるべき方法を表す。

[0004]畳み込みニューラルネットワークは、フィードフォワード人工ニューラルネットワークのタイプである。畳み込みニューラルネットワークは、各々が受容野（receptive field）を有し、入力空間を集合的にタイル（tile）するニューロンの集合を含み得る。畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）は多数の適用例を有する。特に、ＣＮＮは、パターン認識および分類の領域内で広く使用されている。

[0005]深層信念ネットワーク（deep belief networks）および深層畳み込みネットワーク（deep convolutional network）など、深層学習アーキテクチャは、層状（layered）ニューラルネットワークアーキテクチャであり、ニューロンの第１の層の出力はニューロンの第２の層への入力になり、ニューロンの第２の層の出力はニューロンの第３の層になり、入力し、以下同様である。深層ニューラルネットワークは、特徴の階層（hierarchy）を認識するようにトレーニングされ得、したがって、それらはオブジェクト認識適用例においてますます使用されている。畳み込みニューラルネットワークのように、これらの深層学習アーキテクチャにおける計算は、１つまたは複数の計算チェーンにおいて構成され得る処理ノードの集団にわたって分散され得る。これらの多層アーキテクチャは、一度に１つの層をトレーニングされ得、バックプロパゲーション（back propagation）を使用して微調整され得る。

[0006]他のモデルも、オブジェクト認識のために利用可能である。たとえば、サポートベクターマシン（ＳＶＭ）は、分類のために適用され得る学習ツールである。サポートベクターマシンは、データをカテゴリー分類する分離超平面（separating hyperplane）（たとえば、決定境界（decision boundary））を含む。超平面は、教師あり学習（supervised learning）によって定義される。所望の超平面は、トレーニングデータのマージンを増加させる。言い換えれば、超平面は、トレーニング例との最大の最小距離を有するべきである。

[0007]これらのソリューションは、いくつかの分類ベンチマーク上で優れた結果を達成するが、それらの計算複雑さは極めて高いことがある。さらに、モデルのトレーニングが難しいことがある。

[0008]本開示の一態様では、深層ニューラルネットワークをバイアスする方法が開示される。本方法は、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定することを含む。本方法はまた、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアスを調節することを含む。一構成では、バイアスは、ネットワークの重み（weights）を調節することなしに調節される。本方法は、バイアスすることに少なくとも部分的に基づいてネットワークの出力を調節することをさらに含む。

[0009]本開示の別の態様は、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定するための手段を含む装置を対象とする。本装置はまた、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアスを調節するための手段を含む。一構成では、バイアスは、ネットワークの重みを調節することなしに調節される。本装置は、バイアスすることに少なくとも部分的に基づいてネットワークの出力を調節するための手段をさらに含む。

[0010]本開示の別の態様では、深層ニューラルネットワークをバイアスするためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、非一時的プログラムコードが記録された非一時的コンピュータ可読媒体を有する。プログラムコードはプロセッサによって実行され、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定するためのプログラムコードを含む。プログラムコードはまた、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアスを調節するためのプログラムコードを含む。一構成では、バイアスは、ネットワークの重みを調節することなしに調節される。プログラムコードは、バイアスすることに少なくとも部分的に基づいてネットワークの出力を調節するためのプログラムコードをさらに含む。

[0011]本開示の別の態様は、深層ニューラルネットワークをバイアスするための装置を対象とし、本装置は、メモリユニットと、メモリに結合された１つまたは複数のプロセッサとを有する。（１つまたは複数の）プロセッサは、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定するように構成される。（１つまたは複数の）プロセッサはまた、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアスを調節するように構成される。一構成では、バイアスは、ネットワークの重みを調節することなしに調節される。（１つまたは複数の）プロセッサは、バイアスすることに少なくとも部分的に基づいてネットワークの出力を調節するようにさらに構成される。

[0012]本開示の追加の特徴および利点が、以下で説明される。本開示は、本開示の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用され得ることを、当業者は諒解されたい。また、そのような等価な構成が、添付の特許請求の範囲に記載の本開示の教示から逸脱しないことを、当業者は了解されたい。さらなる目的および利点とともに、本開示の編成と動作の方法の両方に関して、本開示を特徴づけると考えられる新規の特徴は、添付の図に関連して以下の説明を検討するとより良く理解されよう。ただし、図の各々は、例示および説明のみの目的で与えられたものであり、本開示の限界を定めるものではないことを明確に理解されたい。

[0013]本開示の特徴、特性、および利点は、全体を通じて同様の参照符号が同様のものを指す図面とともに、以下に記載される発明を実施するための形態を読めばより明らかになろう。
[0014]本開示のいくつかの態様による、汎用プロセッサを含むシステムオンチップ（ＳＯＣ）を使用してニューラルネットワークを設計する例示的な実装形態を示す図。 [0015]本開示の態様による、システムの例示的な実装形態を示す図。 [0016]本開示の態様による、ニューラルネットワークを示す図。 [0017]本開示の態様による、例示的な深層畳み込みネットワーク（ＤＣＮ）を示すブロック図。 [0018]本開示の態様による、人工知能（ＡＩ）機能をモジュール化し得る例示的なソフトウェアアーキテクチャを示すブロック図。 [0019]本開示の態様による、スマートフォン上のＡＩアプリケーションのランタイム動作を示すブロック図。 [0020]ニューラル分類器ネットワーク（neural classifier network）の画像とフィルタとニューロンとを示す図。 [0021]本開示の態様による、ニューラル分類器ネットワークのエビデンス（evidence）入力と活性化出力とのためのグラフの例を示す図。本開示の態様による、ニューラル分類器ネットワークのエビデンス入力と活性化出力とのためのグラフの例を示す図。 [0022]本開示の態様による、ニューラル分類器ネットワークのフィルタとニューロンとを示す図。 [0023]本開示の態様による、ニューラル分類器ネットワークの画像とフィルタとニューロンとを示す図。 [0024]本開示の態様による、ニューラル分類器ネットワーク中のバイアスを調節する方法のための流れ図。本開示の態様による、ニューラル分類器ネットワーク中のバイアスを調節する方法のための流れ図。

[0025]添付の図面に関して以下に記載される発明を実施するための形態は、様々な構成を説明するものであり、本明細書で説明される概念が実施され得る構成のみを表すものではない。発明を実施するための形態は、様々な概念の完全な理解を与えるための具体的な詳細を含む。ただし、これらの概念はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。いくつかの事例では、そのような概念を不明瞭にしないように、よく知られている構造および構成要素がブロック図の形式で示される。

[0026]これらの教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載された態様をいくつ使用しても、装置は実装され得るか、または方法は実施され得る。さらに、本開示の範囲は、記載された本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示される本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0027]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明されるいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈されるべきであるとは限らない。

[0028]本明細書では特定の態様が説明されるが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、それらのいくつかが、例として、図および好適な態様についての以下の説明において示される。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

[0029]従来のシステムでは、画像を変更または強調するためにフィルタが指定され得る。さらに、フィルタは、特定の要素が画像の一部分中に存在するかどうかを決定するために使用され得る。たとえば、フィルタは、水平線が画像の３×３ピクセル部分中に存在するかどうかを決定し得る。したがって、様々なタイプのフィルタを適用することによって、システムは、特定のオブジェクトが画像中に存在するかどうかを決定し得る。したがって、フィルタ処理は、画像を分類することを可能にするために使用され得る。

[0030]画像の線形フィルタ処理のために畳み込みが指定され得る。畳み込み出力は入力ピクセルの重み付き和である。重みの行列は、畳み込みカーネルまたはフィルタと呼ばれることがある。畳み込みは、線形化画像と線形化フィルタとの行列乗算によって取得され得る。

[0031]従来のシステムでは、画像は、画像のピクセルに基づいて分類され得る。さらに、いくつかの場合には、オブジェクトが画像中に存在することになるか、または画像中に存在する増加された確率を有するというアプリオリ（a priori）な知識があり得る。本開示の態様は、オブジェクトが画像中に存在することになるか、または画像中に存在する増加された確率を有するというアプリオリな知識に基づいて、オブジェクトを分類することに向かってネットワークをバイアスすることを対象とする。

[0032]図１に、本開示のいくつかの態様による、汎用プロセッサ（ＣＰＵ）またはマルチコア汎用プロセッサ（ＣＰＵ）１０２を含み得るシステムオンチップ（ＳＯＣ）１００を使用する、上述のネットワークバイアス（network biasing）の例示的な実装形態を示す。変数（たとえば、ニューラル信号およびシナプス荷重（synaptic weight））、計算デバイスに関連するシステムパラメータ（たとえば、重みをもつニューラルネットワーク）、遅延、周波数ビン情報、およびタスク情報が、ニューラル処理ユニット（ＮＰＵ）１０８に関連するメモリブロックに記憶されるか、または専用メモリブロック１１８に記憶され得る。汎用プロセッサ１０２において実行される命令が、ＣＰＵ１０２に関連するプログラムメモリからロードされ得るか、または専用メモリブロック１１８からロードされ得る。

[0033]ＳＯＣ１００はまた、グラフィックス処理ユニット（ＧＰＵ）１０４、デジタル信号プロセッサ（ＤＳＰ）１０６など、特定の機能に適合された追加の処理ブロックと、第４世代ロングタームエボリューション（４ＧＬＴＥ（登録商標））接続性、無認可Ｗｉ−Ｆｉ（登録商標）接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続性などを含み得る接続性ブロック１１０と、たとえば、ジェスチャーを検出および認識し得るマルチメディアプロセッサ１１２とを含み得る。ＳＯＣ１００はまた、センサープロセッサ１１４、画像信号プロセッサ（ＩＳＰ）、および／または全地球測位システムを含み得るナビゲーション１２０を含み得る。ＳＯＣはＡＲＭ命令セットに基づき得る。

[0034]ＳＯＣ１００はまた、ＧＰＵ１０４、ＤＳＰ１０６など、特定の機能に適合された追加の処理ブロックと、第４世代ロングタームエボリューション（４ＧＬＴＥ）接続性、無認可Ｗｉ−Ｆｉ接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ接続性などを含み得る接続性ブロック１１０と、たとえば、ジェスチャーを検出および認識し得るマルチメディアプロセッサ１１２とを含み得る。一実装形態では、ＮＰＵは、ＣＰＵ、ＤＳＰ、および／またはＧＰＵにおいて実装される。ＳＯＣ１００はまた、センサープロセッサ１１４、画像信号プロセッサ（ＩＳＰ）、および／または全地球測位システムを含み得るナビゲーション１２０を含み得る。

[0035]ＳＯＣ１００はＡＲＭ命令セットに基づき得る。本開示の一態様では、汎用プロセッサ１０２にロードされる命令は、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定するためのコードを備え得る。汎用プロセッサ１０２にロードされる命令はまた、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアスを調節するためのコードを備え得る。一構成では、バイアスは、ネットワークの重みを調節することなしに調節される。汎用プロセッサ１０２にロードされる命令は、バイアスすることに基づいてネットワークの出力を調節するためのコードをさらに備え得る。

[0036]図２に、本開示のいくつかの態様による、システム２００の例示的な実装形態を示す。図２に示されているように、システム２００は、本明細書で説明される方法の様々な動作を実施し得る複数のローカル処理ユニット２０２を有し得る。各ローカル処理ユニット２０２は、ローカル状態メモリ２０４と、ニューラルネットワークのパラメータを記憶し得るローカルパラメータメモリ２０６とを備え得る。さらに、ローカル処理ユニット２０２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ２０８と、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ）メモリ２１０と、ローカル接続メモリ２１２とを有し得る。さらに、図２に示されているように、各ローカル処理ユニット２０２は、ローカル処理ユニットのローカルメモリのための構成を与えるための構成プロセッサユニット２１４、およびローカル処理ユニット２０２間のルーティングを与えるルーティング接続処理ユニット２１６とインターフェースし得る。

[0037]深層学習アーキテクチャは、各層において連続的により高い抽象レベルで入力を表現するように学習し、それにより、入力データの有用な特徴表現を蓄積することによって、オブジェクト認識タスクを実施し得る。このようにして、深層学習は、旧来の機械学習の主要なボトルネックに対処する。深層学習の出現より前に、オブジェクト認識問題に対する機械学習手法は、場合によっては浅い分類器（shallow classifier）と組み合わせて、人的に設計された特徴に大きく依拠していることがある。浅い分類器は、たとえば、入力がどのクラスに属するかを予測するために、特徴ベクトル成分の重み付き和がしきい値と比較され得る２クラス線形分類器であり得る。人的に設計された特徴は、領域の専門知識をもつ技術者によって特定の問題領域に適合されたテンプレートまたはカーネルであり得る。対照的に、深層学習アーキテクチャは、人間の技術者が設計し得るものと同様である特徴を表現するように学習するが、トレーニングを通してそれを行い得る。さらに、深層ネットワークは、人間が考慮していないことがある新しいタイプの特徴を表現し、認識するように学習し得る。

[0038]深層学習アーキテクチャは特徴の階層を学習し得る。たとえば、視覚データが提示された場合、第１の層は、エッジなど、入力ストリーム中の比較的単純な特徴を認識するように学習し得る。別の例では、聴覚データが提示された場合、第１の層は、特定の周波数におけるスペクトル電力を認識するように学習し得る。第１の層の出力を入力として取る第２の層は、視覚データの場合の単純な形状、または聴覚データの場合の音の組合せなど、特徴の組合せを認識するように学習し得る。たとえば、上位層は、視覚データ中の複雑な形状、または聴覚データ中の単語を表現するように学習し得る。さらに上位の層は、共通の視覚オブジェクトまたは発話フレーズを認識するように学習し得る。

[0039]深層学習アーキテクチャは、自然階層構造を有する問題に適用されたとき、特にうまく機能し得る。たとえば、原動機付き車両の分類は、ホイール、フロントガラス、および他の特徴を認識するための第１の学習から恩恵を受け得る。これらの特徴は、車、トラック、および飛行機を認識するために、異なる方法で、上位層において組み合わせられ得る。

[0040]ニューラルネットワークは、様々な結合性パターンを用いて設計され得る。フィードフォワードネットワークでは、情報が下位層から上位層に受け渡され、所与の層における各ニューロンは、上位層におけるニューロンに通信する。上記で説明されたように、フィードフォワードネットワークの連続する層において、階層表現が蓄積され得る。ニューラルネットワークはまた、リカレント（recurrent）または（トップダウンとも呼ばれる）フィードバック結合を有し得る。リカレント結合では、所与の層におけるニューロンからの出力は、同じ層における別のニューロンに通信され得る。リカレントアーキテクチャは、ニューラルネットワークに順次配信される入力データチャンクのうちの２つ以上にわたるパターンを認識するのに役立ち得る。所与の層におけるニューロンから下位層におけるニューロンへの結合は、フィードバック（またはトップダウン）結合と呼ばれる。高レベルの概念の認識が、入力の特定の低レベルの特徴を弁別することを助け得るとき、多くのフィードバック結合をもつネットワークが役立ち得る。

[0041]図３Ａを参照すると、ニューラルネットワークの層間の結合は全結合３０２または局所結合３０４であり得る。全結合ネットワーク３０２では、第１の層におけるニューロンは、第２の層における各ニューロンが第１の層におけるあらゆるニューロンから入力を受信するように、それの出力を第２の層におけるあらゆるニューロンに通信し得る。代替的に、局所結合ネットワーク３０４では、第１の層におけるニューロンは、第２の層における限られた数のニューロンに結合され得る。畳み込みネットワーク３０６は、局所結合であり得、第２の層における各ニューロンのための入力に関連する結合強度が共有されるようにさらに構成される（たとえば、３０８）。より一般的には、ネットワークの局所結合層は、層における各ニューロンが同じまたは同様の結合性パターンを有するように構成されるが、異なる値を有し得る結合強度で構成され得る（たとえば、３１０、３１２、３１４、および３１６）。局所結合の結合性パターンは、所与の領域中の上位層ニューロンが、ネットワークへの総入力のうちの制限された部分のプロパティにトレーニングを通して調整された入力を受信し得るので、上位層において空間的に別個の受容野を生じ得る。

[0042]局所結合ニューラルネットワークは、入力の空間ロケーションが有意味（meaningful）である問題に好適であり得る。たとえば、車載カメラからの視覚特徴を認識するように設計されたネットワーク３００は、画像の下側部分対上側部分とのそれらの関連付けに依存して、異なるプロパティをもつ上位層ニューロンを発達させ得る。画像の下側部分に関連するニューロンは、たとえば、車線区分線を認識するように学習し得るが、画像の上側部分に関連するニューロンは、交通信号、交通標識などを認識するように学習し得る。

[0043]ＤＣＮは、教師あり学習を用いてトレーニングされ得る。トレーニング中に、ＤＣＮは、速度制限標識のクロップされた画像など、画像３２６を提示され得、次いで、出力３２２を生成するために、「フォワードパス」が計算され得る。出力３２２は、「標識」、「６０」、および「１００」など、特徴に対応する値のベクトルであり得る。ネットワーク設計者は、ＤＣＮが、出力特徴ベクトルにおけるニューロンのうちのいくつか、たとえば、トレーニングされたネットワーク３００のための出力３２２に示されているように「標識」および「６０」に対応するニューロンについて、高いスコアを出力することを希望し得る。トレーニングの前に、ＤＣＮによって生成された出力は不正確である可能性があり、したがって、実際の出力とターゲット出力との間で誤差が計算され得る。次いで、ＤＣＮの重みは、ＤＣＮの出力スコアがターゲットとより密接に整合されるように調節され得る。

[0044]重みを調節するために、学習アルゴリズムは、重みのための勾配ベクトルを計算し得る。勾配は、重みがわずかに調節された場合に、誤差が増加または減少する量を示し得る。最上層において、勾配は、最後から２番目の層における活性化されたニューロンと出力層におけるニューロンとを結合する重みの値に直接対応し得る。下位層では、勾配は、重みの値と、上位層の計算された誤差勾配とに依存し得る。次いで、重みは、誤差を低減するように調節され得る。重みを調節するこの様式は、それがニューラルネットワークを通して「バックワードパス」を伴うので、「バックプロパゲーション」と呼ばれることがある。

[0045]実際には、重みの誤差勾配は、計算された勾配が真の誤差勾配を近似するように、少数の例にわたって計算され得る。この近似方法は、確率的勾配降下（stochastic gradient descent）と呼ばれることがある。システム全体の達成可能な誤差レートが減少しなくなるまで、または誤差レートがターゲットレベルに達するまで、確率的勾配降下が繰り返され得る。

[0046]学習の後に、ＤＣＮは新しい画像３２６を提示され得、ネットワークを通したフォワードパスは、ＤＣＮの推論または予測と見なされ得る出力３２２をもたらし得る。

[0047]深層信念ネットワーク（ＤＢＮ：deep belief network）は、隠れノードの複数の層を備える確率モデルである。ＤＢＮは、トレーニングデータセットの階層表現を抽出するために使用され得る。ＤＢＮは、制限ボルツマンマシン（ＲＢＭ：Restricted Boltzmann Machine）の層を積層することによって取得され得る。ＲＢＭは、入力のセットにわたる確率分布を学習することができる人工ニューラルネットワークのタイプである。ＲＢＭは、各入力がそれにカテゴリー分類されるべきクラスに関する情報の不在下で確率分布を学習することができるので、ＲＢＭは、教師なし学習においてしばしば使用される。ハイブリッド教師なしおよび教師ありパラダイムを使用して、ＤＢＮの下部ＲＢＭは、教師なし様式でトレーニングされ得、特徴抽出器として働き得、上部ＲＢＭは、（前の層からの入力とターゲットクラスとの同時分布上で）教師あり様式でトレーニングされ得、分類器として働き得る。

[0048]深層畳み込みネットワーク（ＤＣＮ）は、追加のプーリング（pooling）層および正規化（normalization）層で構成された、畳み込みネットワークのネットワークである。ＤＣＮは、多くのタスクに関して最先端の性能を達成している。ＤＣＮは、入力と出力ターゲットの両方が、多くの標本について知られており、勾配降下方法の使用によってネットワークの重みを変更するために使用される、教師あり学習を使用してトレーニングされ得る。

[0049]ＤＣＮは、フィードフォワードネットワークであり得る。さらに、上記で説明されたように、ＤＣＮの第１の層におけるニューロンから次の上位層におけるニューロンのグループへの結合は、第１の層におけるニューロンにわたって共有される。ＤＣＮのフィードフォワードおよび共有結合は、高速処理のために活用され得る。ＤＣＮの計算負担は、たとえば、リカレントまたはフィードバック結合を備える同様のサイズのニューラルネットワークのそれよりもはるかに少ないことがある。

[0050]畳み込みネットワークの各層の処理は、空間的に不変のテンプレートまたは基底投射（basis projection）と見なされ得る。入力が、カラー画像の赤色、緑色、および青色チャネルなど、複数のチャネルに最初に分解された場合、その入力に関してトレーニングされた畳み込みネットワークは、画像の軸に沿った２つの空間次元と、色情報をキャプチャする第３の次元とをもつ、３次元であると見なされ得る。畳み込み結合の出力は、後続の層３１８および３２０において特徴マップを形成すると考えられ、特徴マップ（たとえば、３２０）の各要素が、前の層（たとえば、３１８）における様々なニューロンから、および複数のチャネルの各々から入力を受信し得る。特徴マップにおける値は、整流（rectification）、ｍａｘ（０，ｘ）など、非線形性を用いてさらに処理され得る。隣接するニューロンからの値は、さらにプールされ得、これは、ダウンサンプリングに対応し、さらなる局所不変性と次元削減とを与え得る。白色化に対応する正規化はまた、特徴マップにおけるニューロン間のラテラル抑制（lateral inhibition）によって適用され得る。

[0051]深層学習アーキテクチャの性能は、より多くのラベリングされたデータポイントが利用可能となるにつれて、または計算能力が増加するにつれて、向上し得る。現代の深層ニューラルネットワークは、ほんの１５年前に一般的な研究者にとって利用可能であったものより数千倍も大きいコンピューティングリソースを用いて、ルーチン的にトレーニングされる。新しいアーキテクチャおよびトレーニングパラダイムが、深層学習の性能をさらに高め得る。整流された線形ユニット（rectified linear unit）は、勾配消失（vanishing gradients）として知られるトレーニング問題を低減し得る。新しいトレーニング技法は、過学習（over-fitting）を低減し、したがって、より大きいモデルがより良い汎化を達成することを可能にし得る。カプセル化技法は、所与の受容野においてデータを抽出し、全体的性能をさらに高め得る。

[0052]図３Ｂは、例示的な深層畳み込みネットワーク３５０を示すブロック図である。深層畳み込みネットワーク３５０は、結合性および重み共有に基づく、複数の異なるタイプの層を含み得る。図３Ｂに示されているように、例示的な深層畳み込みネットワーク３５０は、複数の畳み込みブロック（たとえば、Ｃ１およびＣ２）を含む。畳み込みブロックの各々は、畳み込み層と、正規化層（ＬＮｏｒｍ）と、プーリング層とで構成され得る。畳み込み層は、１つまたは複数の畳み込みフィルタを含み得、これは、特徴マップを生成するために入力データに適用され得る。２つの畳み込みブロックのみが示されているが、本開示はそのように限定しておらず、代わりに、設計選好に従って、任意の数の畳み込みブロックが深層畳み込みネットワーク３５０中に含まれ得る。正規化層は、畳み込みフィルタの出力を正規化するために使用され得る。たとえば、正規化層は、白色化またはラテラル抑制を行い得る。プーリング層は、局所不変性および次元削減のために、空間にわたってダウンサンプリングアグリゲーションを行い得る。

[0053]たとえば、深層畳み込みネットワークの並列フィルタバンクは、高性能および低電力消費を達成するために、随意にＡＲＭ命令セットに基づいて、ＳＯＣ１００のＣＰＵ１０２またはＧＰＵ１０４にロードされ得る。代替実施形態では、並列フィルタバンクは、ＳＯＣ１００のＤＳＰ１０６またはＩＳＰ１１６にロードされ得る。さらに、ＤＣＮは、センサー１１４およびナビゲーション１２０に専用の処理ブロックなど、ＳＯＣ上に存在し得る他の処理ブロックにアクセスし得る。

[0054]深層畳み込みネットワーク３５０はまた、１つまたは複数の全結合層（たとえば、ＦＣ１およびＦＣ２）を含み得る。深層畳み込みネットワーク３５０は、ロジスティック回帰（ＬＲ）層をさらに含み得る。深層畳み込みネットワーク３５０の各層の間には、更新されるべき重み（図示せず）がある。各層の出力は、第１の畳み込みブロックＣ１において供給された入力データ（たとえば、画像、オーディオ、ビデオ、センサーデータおよび／または他の入力データ）から階層特徴表現を学習するために、深層畳み込みネットワーク３５０中の後続の層の入力として働き得る。

[0055]図４は、人工知能（ＡＩ）機能をモジュール化し得る例示的なソフトウェアアーキテクチャ４００を示すブロック図である。アーキテクチャを使用して、ＳＯＣ４２０の様々な処理ブロック（たとえば、ＣＰＵ４２２、ＤＳＰ４２４、ＧＰＵ４２６および／またはＮＰＵ４２８）に、アプリケーション４０２のランタイム動作中に計算をサポートすることを実施させ得るアプリケーション４０２が設計され得る。

[0056]ＡＩアプリケーション４０２は、たとえば、デバイスが現在動作するロケーションを示すシーンの検出および認識を与え得る、ユーザ空間４０４において定義されている機能を呼び出すように構成され得る。ＡＩアプリケーション４０２は、たとえば、認識されたシーンがオフィス、講堂、レストラン、または湖などの屋外環境であるかどうかに応じて別様に、マイクロフォンおよびカメラを構成し得る。ＡＩアプリケーション４０２は、現在のシーンの推定を与えるために、ＳｃｅｎｅＤｅｔｅｃｔアプリケーションプログラミングインターフェース（ＡＰＩ）４０６において定義されているライブラリに関連するコンパイルされたプログラムコードへの要求を行い得る。この要求は、たとえば、ビデオおよび測位データに基づくシーン推定を与えるように構成された深層ニューラルネットワークの出力に最終的に依拠し得る。

[0057]さらに、ランタイムフレームワークのコンパイルされたコードであり得るランタイムエンジン４０８が、ＡＩアプリケーション４０２にとってアクセス可能であり得る。ＡＩアプリケーション４０２は、たとえば、ランタイムエンジンに、特定の時間間隔における、またはアプリケーションのユーザインターフェースによって検出されたイベントによってトリガされた、シーン推定を要求させ得る。シーンを推定させられたとき、ランタイムエンジンは、ＳＯＣ４２０上で実行している、Ｌｉｎｕｘ（登録商標）カーネル４１２など、オペレーティングシステム４１０に信号を送り得る。オペレーティングシステム４１０は、ＣＰＵ４２２、ＤＳＰ４２４、ＧＰＵ４２６、ＮＰＵ４２８、またはそれらの何らかの組合せ上で、計算を実施させ得る。ＣＰＵ４２２は、オペレーティングシステムによって直接アクセスされ得、他の処理ブロックは、ＤＳＰ４２４のための、ＧＰＵ４２６のための、またはＮＰＵ４２８のためのドライバ４１４〜４１８など、ドライバを通してアクセスされ得る。例示的な例では、深層ニューラルネットワークは、ＣＰＵ４２２およびＧＰＵ４２６など、処理ブロックの組合せ上で動作するように構成され得るか、または存在する場合、ＮＰＵ４２８上で動作させられ得る。

[0058]図５は、スマートフォン５０２上のＡＩアプリケーションのランタイム動作５００を示すブロック図である。ＡＩアプリケーションは、画像５０６のフォーマットを変換し、次いで画像５０８をクロップおよび／またはリサイズするように（たとえば、ＪＡＶＡ（登録商標）プログラミング言語を使用して）構成され得る前処理モジュール５０４を含み得る。次いで、前処理された画像は、視覚入力に基づいてシーンを検出および分類するように（たとえば、Ｃプログラミング言語を使用して）構成され得るＳｃｅｎｅＤｅｔｅｃｔバックエンドエンジン５１２を含んでいる分類アプリケーション５１０に通信され得る。ＳｃｅｎｅＤｅｔｅｃｔバックエンドエンジン５１２は、スケーリング５１６およびクロッピング５１８によって、画像をさらに前処理５１４するように構成され得る。たとえば、画像は、得られた画像が２２４ピクセル×２２４ピクセルであるように、スケーリングされ、クロップされ得る。これらの次元は、ニューラルネットワークの入力次元にマッピングし得る。ニューラルネットワークは、ＳＯＣ１００の様々な処理ブロックに、深層ニューラルネットワークを用いて画像ピクセルをさらに処理させるように、深層ニューラルネットワークブロック５２０によって構成され得る。次いで、深層ニューラルネットワークの結果は、しきい値処理５２２され、分類アプリケーション５１０中の指数平滑化（exponential smoothing）ブロック５２４を通され得る。次いで、平滑化された結果は、スマートフォン５０２の設定および／またはディスプレイの変更を生じ得る。

[0059]一構成では、ニューラルネットワークなどの機械学習モデルは、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定することと、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアスを調節することと、バイアスすることに少なくとも部分的に基づいてネットワークの出力を調節することとを行うために構成される。モデルは決定手段および／または調節手段を含む。一態様では、決定手段および／または調節手段は、具陳された機能を実施するように構成された、汎用プロセッサ１０２、汎用プロセッサ１０２に関連するプログラムメモリ、メモリブロック１１８、ローカル処理ユニット２０２、およびまたはルーティング接続処理ユニット２１６であり得る。別の構成では、上述の手段は、上述の手段によって具陳された機能を実施するように構成された任意のモジュールまたは任意の装置であり得る。

[0060]本開示のいくつかの態様によれば、各ローカル処理ユニット２０２は、モデルの所望の１つまたは複数の機能的特徴に基づいてモデルのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されるように、１つまたは複数の機能的特徴を所望の機能的特徴のほうへ発達させるように構成され得る。バイアス項を介して深層ニューラルネットワーク中にトップダウン情報を組み込むこと
[0061]前に説明されたように、オブジェクトが画像中に存在することになるか、または画像中に存在する増加された確率を有するというアプリオリな知識があり得る。たとえば、画像の時間／ロケーションが、画像中に存在し得るオブジェクトに関する情報を与え得る。すなわち、一例では、フットボールゲームにおいて画像が撮られた場合、フットボール、芝生、および／またはヘルメットが画像中に存在する増加された確率がある。別の例として、オブジェクトが画像中に存在する確率は、画像中の他のオブジェクトの存在に基づいて増加し得る。たとえば、スノーボーダーの画像は、雪を含む増加された確率を有する。

[0062]本開示の態様は、画像中のオブジェクトを決定することについて説明されるが、本開示の態様は、画像中のオブジェクトを決定することに限定されない。もちろん、本開示の態様はまた、要素が存在するのか、またはネットワークへの入力中に存在する増加された確率を有するのかを決定することのために企図される。たとえば、本開示の態様は、特定の音がオーディオ入力中に存在するかどうかを決定するために使用され得る。

[0063]一構成では、ネットワークは、オブジェクトが画像中に存在することになるか、または画像中に存在する増加された確率を有するというアプリオリな知識に基づいてオブジェクトを分類することに向かってバイアスされる。バイアスは、フォールスポジティブ（false positives）を防ぐために指定され得る。すなわち、オブジェクトが存在する確率に基づいて分類器ニューロンの出力を増加させるのではなく、本開示の態様は、画像中に検出されるオブジェクトについての応答を増幅するためにバイアスをスケーリングする。

[0064]図６に、画像６００に適用され得る画像６００とフィルタ６０２〜６０８との一例を示す。図６に示されているように、画像６００は、キックボールゲームの画像である。この例では、画像は、緑色の芝生６１０と、赤色のボール６１２と、青色のチーム６１４のプレーヤと、紫色のチーム６１６のプレーヤとを含む。フィルタは、水平線をフィルタ処理する水平フィルタ６０２と、垂直線をフィルタ処理する垂直フィルタ６０４と、緑色のオブジェクトをフィルタ処理する緑色フィルタ６０６と、赤色／紫色のオブジェクトをフィルタ処理する赤色／紫色フィルタ６０８とを含む。図６のフィルタは例示的なフィルタである。本開示の態様は、入力に適用されるべき様々なフィルタのために企図されるので、本開示の態様は図６のフィルタに限定されない。

[0065]本例では、画像６００にフィルタ６０２〜６０８を適用した後に、ネットワークの出力は次のようになり得る。

０．２４−ボール
０．６０−青色のチーム
０．１５−紫色のチーム
０．０１−木
[0066]出力は、入力から導出されたエビデンスに基づいてオブジェクトが入力中にある決定された確率を指す。この例では、ボールが画像中にある２４パーセントの確率と、青色のチームのプレーヤが画像中にいる６０パーセントの確率と、紫色のチームのプレーヤが画像中にいる１５パーセントの確率と、木が画像中にある１パーセントの確率とがある。

[0067]図６に示されているように、各フィルタ６０２〜６０８は、特定のオブジェクト（たとえば、クラス）に関連する分類器ニューロンへの入力を有する。この例では、説明の目的で、太いラインは、フィルタからの強い（strong）出力を示し、細いラインは、フィルタからの弱い（weak）出力を示す。オブジェクトの存在についてのエビデンスの量が増加するにつれて、フィルタからの出力の強度は増加する。たとえば、赤色のオブジェクトが画像中に存在するエビデンスがあると赤色／紫色フィルタ６０８が決定したことに基づいて、そのフィルタから赤色のボールニューロン６１８への出力は強い。

[0068]しかしながら、図６に示されているように、垂直フィルタ６０４が紫色のチーム６１６のエビデンスを発見しないので、垂直フィルタ６０４から紫色のチームニューロン６２０への出力は弱い。前に説明されたように、垂直フィルタ６０４は、垂直線が画像中に存在するかどうかを決定する。すなわち、垂直フィルタ６０４は、紫色のシャツを着用している人間など、紫色のチーム６１６に関連する特徴についてフィルタ処理しない。したがって、紫色のチーム６１６のプレーヤが垂直線に関連しないので、紫色のチームニューロン６２０への垂直フィルタ６０４との間に弱い結合がある。

[0069]本開示の態様によれば、フィルタおよびニューロンなどのネットワーク要素間の結合は、シナプスと呼ばれることがある。さらに、分類器ニューロンは、出力ニューロンおよび／またはオブジェクトニューロンと呼ばれることがある。分類器ニューロン、出力ニューロン、およびオブジェクトニューロンは、フィルタからの入力に基づいて活性化関数から値を出力するニューロンを指す。

[0070]前に説明されたように、画像６００は、赤色のボール６１２と、紫色のシャツを着用している個人（たとえば、紫色のチーム６１６のプレーヤ）とを含む。さらに、画像６００では、赤色のボール６１２は、他のオブジェクトと比較して比較的小さい。その上、画像６００では、紫色のシャツを着用している個人は、青色のシャツを着用している個人のグループなど、他のオブジェクトほど多数でない。したがって、赤色のボール６１２と、紫色のシャツを着用している個人とは、見落とされるか、またはネットワーク出力に基づいて存在しないと仮定され得る。

[0071]さらに、本構成では、分類は、紫色のチーム６１６のプレーヤが画像中にいるかどうかを決定するために指定される。従来のシステムでは、画像６００は青色のチーム６１４が紫色のチーム６１６とキックボールをプレイしている画像であるという事前知識に基づいて、紫色のチームの分類器ニューロン（たとえば、紫色のチームニューロン６２０）についての応答は、画像６００が紫色のチーム６１６のプレーヤを含む確率に基づいて増加され得る。さらに、紫色のチーム６１６のプレーヤが画像中に存在しない可能性がある。したがって、画像６００が紫色のチーム６１６のプレーヤを含む確率に基づいて、紫色のチームニューロン６２０についての応答（たとえば、活性化値出力）を増加させることは、フォールスポジティブにつながり得る。

[0072]したがって、フォールスポジティブを防ぐことに加えて、他のオブジェクトと比較して比較的小さく、および／または他のオブジェクトほど多数でないオブジェクトの不正確なまたは弱い分類を緩和することが望ましい。本開示の態様によれば、オブジェクトが画像中に存在することになるか、またはオブジェクトが画像中に存在する増加された確率を有するというアプリオリな知識に基づいて、活性化関数のバイアスは、フィルタの出力がバイアスすることに基づいて調節されるように調節され得る。一構成では、分類器ニューロンへのシナプスのバイアスは、オブジェクトが画像中に存在する確率に基づいて調節され得る。一例として、紫色のチームニューロン６２０へのシナプス６２２のバイアスは、紫色のチーム６１６のプレーヤが画像中に存在する確率に基づいて調節され得る。

[0073]いくつかの場合には、オブジェクトが画像中に存在することになるか、またはオブジェクトが画像中に存在する増加された確率を有するというアプリオリな知識に基づいてネットワークの出力を変更するようにフィルタの重みを調節することは望ましくないことがある。詳細には、フィルタの重みは、多数のトレーニングパスから決定されている。したがって、トレーニングの後に重みを調節することは、トレーニングの結果を変更し、誤った値をもたらし得る。

[0074]さらに、活性化値を直接変更することは、存在しないオブジェクト（たとえば、錯覚（hallucinations））を分類するネットワークを生じ得る。したがって、一構成では、バイアス項は、オブジェクトの存在を示す可能性が高い応答を増幅するためにスケーリングされる。すなわち、本構成では、バイアスをスケーリングすることは、入力により反応するように活性化関数の作用範囲を変更する。式１は、活性化関数のための式を示す。

[0075]式１では、ｗ_iは重みであり、ｘ_iは、フィルタなどの下位層から出力された活性化値であり、γｂ_iはバイアス項である。詳細には、γはバイアスのための調節の量であり、ｂ_iはバイアスである。式１によれば、バイアス項は、特定の分類器ニューロンにつながるすべてのシナプスのためにスケーリングされ得る。すなわち、分類器ニューロンへの入力の利得は、バイアスに基づいて増加または減少され得る。

[0076]図７に、ｘ軸上の分類器ニューロンへの入力（

）と、ｙ軸上の分類器ニューロンから出力された活性化関数（式１）の値とをもつ協調グラフ７００を示す。活性化関数の値は活性化値と呼ばれることがあり、分類器ニューロンへの入力はエビデンス入力と呼ばれることがある。ｘ軸上のエビデンス入力は、オブジェクトの存在についてのエビデンスの量のための値である。この例では、入力値は、−１０の値が、オブジェクトが画像中に存在するエビデンスがほとんどないことを示し、１０の値がオブジェクトの存在についてのエビデンスの大きい量を示すように、−１０から１０にわたる。さらに、活性化値は、画像中のオブジェクトの存在についてのエビデンスの量（たとえば、ｘ軸入力）に基づく、オブジェクトが画像中に存在する確率である。したがって、図７に示されているように、分類器ニューロンへのエビデンス入力が増加するにつれて、活性化値は増加する。すなわち、分類器ニューロンへの強いエビデンス入力は、強い活性化値出力を生じる。

[0077]さらに、図７は、グラフ７００上にプロットされた多数のラインを示す。ラインは、入力のバイアスを調節することの結果を示す。たとえば、第１のライン７０２は、入力および活性化のためのベースライン（たとえば、バイアス調節なし）を示す。この例では、第１のライン７０２に示されているように、０のエビデンス入力は約０．５の活性化値を生じる。さらに、第２のライン７０４は、バイアスを１．５だけ調節する例を与える。第２のライン７０４上に示されているように、０のエビデンス入力は約０．９の活性化値を生じる。

[0078]したがって、図７に示されているように、第１のライン７０２と第２のライン７０４とはエビデンス入力について同じ値を受信するが、分類器ニューロンから出力された活性化値は、スケーリングされたバイアスに基づいて調節される。

[0079]バイアスが正に（positively）調節されるかまたは負に調節され得ることに留意されたい。たとえば、図７は、正の調節と負の調節の両方を示す。第２のライン７０４は、バイアスを１．５だけ調整する場合の座標をプロットする。第３のライン７０６は、バイアスを−１．５だけ調整する場合の座標をプロットする。

[0080]前に説明されたように、バイアスは、項目が入力中に存在するアプリオリな知識に基づいて正に調節され得る。たとえば、鳥が木に関連するので、バイアスは、鳥の画像が提示されるとき、木について正に調節され得る。さらに、バイアスは、項目が入力中に存在しないアプリオリな知識に基づいて負に調節され得る。たとえば、野球がフットボールゲームに関連しないので、バイアスは、フットボールゲームの画像が提示されるとき、野球について負に調節され得る。

[0081]バイアスが分類器ニューロンの各入力に適用されることに留意されたい。すなわち、バイアスは、各フィルタの出力など、エビデンスの各々に適用される。たとえば、図６の例に基づいて、バイアスは、紫色のチームニューロン６２０に入力されるシナプス６２２の各々に適用され得る。前に説明されたように、オブジェクトの存在について決定される値は、フィルタのタイプに基づいて変動し得る。

[0082]たとえば、図６の例に基づいて、水平フィルタ６０２は、水平線が画像中に存在するかどうかを決定するために指定される。したがって、赤色のボールが垂直線をほとんど有しないので、水平フィルタ６０２から赤色のボールニューロン６１８へのエビデンス入力の値は低い。すなわち、水平フィルタ６０２は、赤色のキックボールに関連する水平線についてのエビデンスをほとんど発見しなかった。したがって、バイアスが各フィルタからの入力に適用されるので、オブジェクトが存在する確率は、各フィルタからのオブジェクトについて発見されたエビデンスの量に基づいて増加する。

[0083]前に説明されたように、図６の例に基づいて、調節されていないバイアスをもつネットワークの出力は次のようになり得る。

０．２４−ボール
０．６０−青色のチーム
０．１５−紫色のチーム
０．０１−木
[0084]本構成では、図６の例に基づいて、バイアスは、ボールが画像中に存在することになるか、または画像中に存在する増加された確率を有するというアプリオリな知識に基づいて、ボールに対してスケーリングされる。ボールのために適用される正バイアスに基づいて、ネットワークの出力は次のようになり得る。

０．５０−ボール
０．３５−青色のチーム
０．０５−紫色のチーム
０．００−木
[0085]ボールについて調節された正バイアスについて上記で与えられた出力に示されているように、調節されていないバイアス出力と比較して、ボールの確率は２４パーセントから５０パーセントに変更される。

[0086]本構成では、図６の例に基づいて、バイアスは、木が画像中に存在する増加された確率を有するというアプリオリな知識に基づいて、木に対してスケーリングされる。この構成に基づいて、ネットワークの出力は次のようになり得る。

０．１０−ボール
０．３５−青色のチーム
０．０５−紫色のチーム
０．０２−木
[0087]木について調節された正バイアスについて上記で与えられた出力に示されているように、調節されていないバイアス出力と比較して、木の確率は１パーセントから２パーセントに変更される。すなわち、木が図６の画像６００中に存在しないので、木に対してバイアスをスケーリングすることは、木が存在する確率の著しい増加を生じない。

[0088]図８に、フィルタから分類器ニューロンに入力されたエビデンス値を表すｘ軸と、分類器ニューロンから出力された活性化関数の値を表すｙ軸とを有するグラフ８００を示す。図８では、異なる曲線は、入力のバイアスを調節することの結果を示す。たとえば、第１のライン８０２は、入力および活性化のための調節されていないベースラインを示す。この例では、第１のライン８０２に示されているように、バイアスがエビデンス入力について調節されないとき、−１の入力は約０．２４の活性化を生じる。さらに、第２のライン８０４は、エビデンス入力についてバイアスを０．５だけ調節する例を与える。第２のライン８０４上に示されているように、−１の入力は約０．５の活性化を生じる。したがって、前に説明されたように、調節されていないネットワーク出力では、ボールなどのオブジェクトについての値は０．２４である。さらに、上記で説明されたように、バイアスがオブジェクトについて調節されたとき、値は０．５である。

[0089]さらに、図８に示されているように、−５などの低いエビデンス値をもつ第２のオブジェクトの場合、第１のライン８０２からの調節されていない活性化値は０．０１である。さらに、第２のライン８０４は、第２のオブジェクトのエビデンス入力についてバイアスを０．５だけ調節する例を与える。第２のライン８０４上に示されているように、エビデンス入力についての−５の値は約０．０２の活性化値を生じる。したがって、上記で説明されたように、調節されていないネットワーク出力では、第２のオブジェクトについての活性化値は０．０１である。さらに、上記で説明されたように、バイアスが第２のオブジェクトについて調節されるとき、活性化値は０．０２である。前に説明されたように、第２のオブジェクトが存在するというエビデンスがほとんどないので、エビデンス入力についてバイアスを調節することは、活性化値の著しい変化を生じないことになる。

[0090]一構成では、バイアスは、オブジェクトにつながる重みの関数として調節される。たとえば、ボールのバイアスが調節されるべきである場合、シナプスの重みに比例する調節項が、ボールの分類器ニューロンからバックプロパゲーションされる。

[0091]図９に、最上層（層Ｊ）における分類器ニューロンが中間層（層Ｉ）におけるオブジェクト固有フィルタに結合されたネットワークの例９００を示す。分類器は、下位層（層Ｈ）において汎用フィルタに結合される。一例では、バイアスはボールのエビデンスについて調節され得る。したがって、この例では、調節値は最上層に存在し得、したがって、調節値（γ_ij）は、ネットワーク中のシナプスの重みに比例してボールニューロン９０２からネットワークにバックプロパゲーションされる。この例では、調節値は、オブジェクトが画像中に存在するか、またはオブジェクトが画像中に存在する増加された確率があることが知られているとき、最上層において適用され得る。

[0092]たとえば、図９に示されているように、ボールフィルタ９０６からボールニューロン９０２へのシナプス９０４の重みは高い。しかしながら、他のオブジェクト固有フィルタからボールニューロン９０２への他のシナプス９０８の重みは弱い。したがって、ボールフィルタ９０６にバックプロパゲーションされる調節値は、ボールニューロン９０２から層Ｉの他のオブジェクト固有フィルタにバックプロパゲーションされる調節値と比較して、より強い。すなわち、調節値は、層Ｉにおける各オブジェクト固有フィルタから層Ｊにおける分類器ニューロンへのシナプスの重みに比例してバックプロパゲーションされる。

[0093]さらに、調節値は、オブジェクト固有フィルタから層Ｈにおける各汎用フィルタへのシナプスの重みに基づいて、層Ｉにおけるオブジェクト固有フィルタから層Ｈにおける汎用フィルタにバックプロパゲーションされる。

[0094]各シナプスの重みに基づいて調節値を決定するための式は次のようになる。

[0095]式２および式３では、図８の例に基づいて、ｗ_ijは層Ｊから層Ｉへのシナプスの重みであり、ｗ_hiは層Ｉへの層Ｈを形成するシナプスの重みであり、γ₀は、出力ニューロンに存在するバイアス調節の量であり、γ_ijは、層Ｊから層Ｉへのシナプスに適用される調節値であり、γ_hiは、層Ｈから層Ｉへのシナプスに適用される調節値である。

[0096]別の構成では、特定のオブジェクト（たとえば、クラス）についてのバイアスを調節するのではなく、バイアスは、赤色のオブジェクト、および／または円形エッジをもつオブジェクトなど、特定の特徴に調節され得る。この例では、画像中のオブジェクトのアプリオリな知識がないことがある。さらに、この例では、ネットワークは、紫色のシャツなど、特定のオブジェクトを探索していることがある。したがって、バイアスは、ネットワーク中の任意の層において調節され得る。たとえば、図９に基づいて、バイアスは、層Ｉにおける紫色の画像フィルタ９１０について調節され得、調節値は、層Ｈから層Ｉへの各シナプスの重みに比例して層Ｈにおけるフィルタにバックプロパゲーションされ得る。層Ｉにおけるフィルタに結合された各シナプスに調節値をバックプロパゲーションするための式は、次のようになる。

[0097]式４および式５では、図９の例に基づいて、ｗ_hiは層Ｈから層Ｉへのシナプスの重みであり、γ₀は、出力ニューロンに存在するバイアス調節の量であり、γ_ijは、層Ｊから層Ｉへのシナプスに適用される調節値であり、γ_hiは、層Ｈから層Ｉへのシナプスに適用される調節値である。この構成では、調節が、層Ｊから適用され、バックプロパゲーションされるのではなく、層Ｉから層Ｈにバックプロパゲーションされるので、γ_ij＝０である。

[0098]別の構成では、バイアスは、例示的な画像に対するネットワークの測定された応答に基づいて調節され得る。たとえば、画像がネットワークに提示され得、ネットワークの応答は、画像に応答して測定される。さらに、バイアスは、応答に基づいて調節され得る。調節することはネットワークの内部レベルにおいて実施され得る。

[0099]図１０は、ネットワーク１０００に提示された画像１００２に対する測定された応答に基づいてバイアスを生成することの一例を示す。図１０に示されているように、ネットワーク１０００は、分類器ニューロンの最上層（層Ｊ）と、オブジェクト固有フィルタの中間層（層Ｉ）と、汎用フィルタの最下層（層Ｈ）とを含む。さらに、図１０に示されているように、画像１００２がネットワーク１０００に提示される。この例では、画像１００２は、葉の背景をもつ紫色のボールである。図１０に示されているように、画像１００２の紫色のボールは、オブジェクトニューロン中のオブジェクトとして存在しない。したがって、画像１００２中のオブジェクトについての調節値を決定するために、画像１００２は、ネットワーク１０００の応答を測定するためにネットワーク１０００に提示される。

[00100]本例では、画像１００２がネットワーク１０００に提示されるとき、ネットワークの活性化は、ニューロン、シナプス、および層において測定される。たとえば、図１０に示されているように、活性化は、様々なフィルタ、シナプス、およびニューロンにおいて分散される。詳細には、この例では、紫色のフィルタ１００４、緑色のフィルタ１００６、赤色のボールフィルタ１００８、紫色の正方形フィルタ１０１０、および木フィルタ１０１２は、画像１００２に応答して活性化されるフィルタである。さらに、活性化は、木ニューロン１０１４、紫色のチームニューロン１０１６、およびボールニューロン１０１８が活性化されるように、分類器ニューロンにおいて分散される。図１０では、太いラインをもつシナプスが、画像１００２に応答して活性化されるシナプスを表すことに留意されたい。図１０の例では、フィルタ／ニューロンに対する円のサイズは、より大きい円がより小さい円よりも大きい活性化を表すように、活性化のレベルを示す。

[00101]特定のオブジェクトについての活性化を決定した後に、バイアスは、活性化の関数として調節され得る。たとえば、新しい画像がネットワークに提示され得、ネットワークの全体にわたる活性化のパターンが観測される。バイアスは、次いで、シナプスが結合されるニューロンの活性化に比例して各シナプスに分散される。この例では、バイアスは、バイアスの一部が各層においてシナプスの間で分散されるように、ボトムアップから調節される。この構成では、バイアスは、以下の式に基づいてボトムアップから調節され得る。

[00102]式６および式７では、図１０の例に基づいて、γ₀は、出力ニューロンに存在するバイアス調節の量であり、γ_ijは、層Ｊから層Ｉへのシナプスに適用される調節値であり、γ_hiは、層Ｈから層Ｉへのシナプスに適用される調節値であり、ｘ_iは、層Ｉの特定のシナプスから出力された値であり、ｘ_hは、層Ｈの特定のシナプスから出力された値である。

[00103]別の構成では、調節値は、以下の式に基づいて出力からバックプロパゲーションされる。

[00104]式８および式９では、図１０の例に基づいて、γ₀は、出力ニューロンに存在するバイアス調節の量であり、γ_ijは、層Ｊから層Ｉへのシナプスに適用される調節値であり、γ_hiは、層Ｈから層Ｉへのシナプスに適用される調節値であり、ｘ_jは層Ｊにおける活性化のパターンであり、ｗ_hiは層Ｈから層Ｉへのシナプスの重みであり、ｗ_ijは層Ｉから層Ｊへのシナプスの重みである。

[00105]本開示の態様に基づいて、バイアスを調節するための複数の構成が提示される。一構成では、バイアスは定数として調節され得る。バイアスは、トップダウン信号が知識グラフタイプソース（knowledge-graph type source）から決定されるとき、定数として調節され得る。たとえば、バイアスは、鳥の画像が、木の画像を含む増加された確率を有することが知られているとき、定数として調節され得る。式１は、バイアスを定数として調節するために使用され得る。

[00106]別の構成では、バイアスは、シナプス荷重の関数として調節される。バイアスは、所与のオブジェクトについての重要な重みがバイアスされるように、シナプス荷重の関数として調節され得る。追加または代替として、バイアスは、調節値がネットワークを通してバックプロパゲーションされるように、シナプス荷重の関数として調節され得る。バイアスをシナプス荷重の関数として調節するための式は、次のようになる。

[00107]式１０では、ｗ_iは重みであり、（）はバイアス調節（たとえば、バイアスの変化）であり、ｘ_iは、下位層から出力された値であり、ｂ_iはバイアスである。

[00108]別の構成では、バイアスは、ターゲットクラス提示に応答する活性化の関数として調節される。この構成は、トップダウン信号がネットワークに提示される一例から導出されるときに使用され得る。たとえば、図１０に示されているように、画像１００２がネットワーク１０００に提示され、バイアスは、ネットワーク中の活性化の分散に基づいて決定される。ターゲットクラス提示に応答する活性化の関数としてバイアスを調節するための式は、以下の式に基づき得る。

[00109]式１１では、ｗ_iは重みであり、（）はバイアス調節（たとえば、バイアスの変化）であり、ｘ_iは、下位層から出力された値であり、ｂ_iはバイアスである。

[00110]さらに、バイアス調節は加法的にまたは乗法的に適用され得る。バイアスの適用は活性化関数に依存し得る。

[00111]バイアスの調節は、以下の式に基づいて加法的に適用され得る。

[00112]式１２では、ｗ_iは重みであり、γはバイアス調節（たとえば、バイアスの変化）であり、ｘ_iは、下位層から出力された値であり、ｂ_iはバイアスである。

[00113]一構成では、バイアスの調節は、式１に基づいて乗法的に適用される。バイアスが元の値からスケーリングされるので、バイアスを乗法的に適用することは望ましいことがある。

[00114]図１１に、ニューラル分類器ネットワークなどの機械学習ネットワークにおいて活性化関数についてのバイアスを調節する方法１１００を示す。ブロック１１０２において、ネットワークは、要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定する。ブロック１１０４において、ネットワークは、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアス項を調節する。一構成では、バイアスは、ネットワークの重みを調節することなしに調節される。さらに、ブロック１１０６において、ネットワークは、バイアスすることに基づいてネットワークの出力を調節する。

[00115]図１２に、ニューラル分類器ネットワークなどの機械学習ネットワークにおいて活性化関数についてのバイアスを調節する方法１２００を示す。ブロック１２０２において、ネットワークは、画像などの入力に関連する属性を決定する。一例として、属性は、画像の時間、画像のロケーション、および／または画像中に存在する特定のオブジェクトを含み得る。決定された属性に基づいて、ブロック１２０４において、ネットワークは、要素が入力中に存在する増加された確率を有するかどうかを決定する。

[00116]要素が、ネットワークへの入力中に存在する増加された確率を有する場合、ブロック１２０６において、ネットワークは、要素に対する感度を増加させるようにネットワーク中のニューロンの活性化関数のバイアス項を調節する。さらに、ブロック１２１０において、ネットワークは、調節されたバイアス項に基づいてネットワーク出力を調節する。

[00117]要素が、ネットワークへの入力中に存在する増加された確率を有しない場合、ブロック１２０８において、ネットワークは、要素に対する感度を減少させるようにネットワーク中のニューロンの活性化関数のバイアス項を調節する。さらに、ブロック１２１０において、ネットワークは、調節されたバイアス項に基づいてネットワーク出力を調節する。

[00118]上記で説明された方法の様々な動作は、対応する機能を実施することが可能な任意の好適な手段によって実施され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。

[00119]本明細書で使用される「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること（calculating）、計算すること（computing）、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含み得る。

[00120]本明細書で使用される、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。

[00121]本開示に関連して説明された様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実施するように設計されたそれらの任意の組合せを用いて実装または実施され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

[00122]本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体であり得る。

[00123]本明細書で開示された方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲から逸脱することなく変更され得る。

[00124]説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路など、様々な他の回路をリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上説明されない。

[00125]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行することができる他の回路がある。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。

[00126]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加として、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。局所構成要素など、説明された様々な構成要素は、特定のロケーションを有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素など、様々な方法で構成され得る。

[00127]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、本明細書で説明されたニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数の神経形態学的プロセッサを備え得る。別の代替として、処理システムは、プロセッサをもつ特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明された様々な機能を実施することができる回路の任意の組合せを用いて、実装され得る。当業者は、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明された機能を最も良く実装し得るかを理解されよう。

[00128]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実施させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。さらに、本開示の態様が、そのような態様を実装するプロセッサ、コンピュータ、機械、または他のシステムの機能に改善を生じることを諒解されたい。

[00129]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[00130]したがって、いくつかの態様は、本明細書で提示された動作を実施するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明された動作を実行するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

[00131]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明された方法を実行するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明された様々な方法は、ユーザ端末および／または基地局が記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段によって提供され得る。その上、本明細書で説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。

[00132]特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。上記で説明された方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。

[00132]特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。上記で説明された方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
深層ニューラルネットワークをバイアスする方法であって、
要素が前記ネットワークへの入力中に存在する増加された確率を有するかどうかを決定することと、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節することと、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節することと
を備える、方法。
［Ｃ２］
前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記バイアスを調節することが、前記バイアスをスケーリングすることを備える、Ｃ１に記載の方法。
［Ｃ４］
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性低いもののアプリオリな知識に少なくとも部分的に基づく、Ｃ３に記載の方法。
［Ｃ５］
前記調整することが前記ネットワークの内部レベルにおいて実施される、Ｃ１に記載の方法。
［Ｃ６］
深層ニューラルネットワークをバイアスするための装置であって、
要素が前記ネットワークへの入力中に存在する増加された確率を有するかどうかを決定するための手段と、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節するための手段と、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節するための手段と
を備える、装置。
［Ｃ７］
前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定するための手段をさらに備える、Ｃ６に記載の装置。
［Ｃ８］
前記バイアスを調節するための前記手段が、前記バイアスをスケーリングするための手段を備える、Ｃ６に記載の装置。
［Ｃ９］
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性が低いもののアプリオリな知識に少なくとも部分的に基づく、Ｃ８に記載の装置。
［Ｃ１０］
調整するための前記手段が前記ネットワークの内部レベルにおいて実施される、Ｃ６に記載の装置。
［Ｃ１１］
深層ニューラルネットワークをバイアスするための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサは、
要素が前記ネットワークへの入力中に存在する増加された確率を有するかどうかを決定することと、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節することと、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節することと
を行うように構成された、装置。
［Ｃ１２］
前記少なくとも１つのプロセッサが、前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定するようにさらに構成された、Ｃ１１に記載の装置。
［Ｃ１３］
前記少なくとも１つのプロセッサが、前記バイアスをスケーリングすることによって前記バイアスを調節するようにさらに構成された、Ｃ１１に記載の装置。
［Ｃ１４］
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性が低いもののアプリオリな知識に少なくとも部分的に基づく、Ｃ１３に記載の装置。
［Ｃ１５］
前記少なくとも１つのプロセッサが、前記ネットワークの内部レベルにおいて前記バイアスを調節するようにさらに構成された、Ｃ１１に記載の装置。
［Ｃ１６］
プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行され、
要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定するためのプログラムコードと、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節するためのプログラムコードと、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
［Ｃ１７］
前記プログラムコードが、前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定するためのプログラムコードをさらに備える、Ｃ１６に記載のコンピュータ可読媒体。
［Ｃ１８］
前記バイアスを調節するための前記プログラムコードが、前記バイアスをスケーリングすることによって前記バイアスを調節するためのプログラムコードを備える、Ｃ１６に記載のコンピュータ可読媒体。
［Ｃ１９］
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性が低いもののアプリオリな知識に少なくとも部分的に基づく、Ｃ１８に記載のコンピュータ可読媒体。
［Ｃ２０］
前記バイアスを調節するための前記プログラムコードが、前記ネットワークの内部レベルにおいて前記バイアスを調節するためのプログラムコードを備える、Ｃ１６に記載のコンピュータ可読媒体。

Claims

深層ニューラルネットワークをバイアスする方法であって、
要素が前記ネットワークへの入力中に存在する増加された確率を有するかどうかを決定することと、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節することと、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節することと
を備える、方法。
前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定することをさらに備える、請求項１に記載の方法。
前記バイアスを調節することが、前記バイアスをスケーリングすることを備える、請求項１に記載の方法。
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性低いもののアプリオリな知識に少なくとも部分的に基づく、請求項３に記載の方法。
前記調整することが前記ネットワークの内部レベルにおいて実施される、請求項１に記載の方法。
深層ニューラルネットワークをバイアスするための装置であって、
要素が前記ネットワークへの入力中に存在する増加された確率を有するかどうかを決定するための手段と、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節するための手段と、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節するための手段と
を備える、装置。
前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定するための手段をさらに備える、請求項６に記載の装置。
前記バイアスを調節するための前記手段が、前記バイアスをスケーリングするための手段を備える、請求項６に記載の装置。
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性が低いもののアプリオリな知識に少なくとも部分的に基づく、請求項８に記載の装置。
調整するための前記手段が前記ネットワークの内部レベルにおいて実施される、請求項６に記載の装置。
深層ニューラルネットワークをバイアスするための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサは、
要素が前記ネットワークへの入力中に存在する増加された確率を有するかどうかを決定することと、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節することと、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節することと
を行うように構成された、装置。
前記少なくとも１つのプロセッサが、前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定するようにさらに構成された、請求項１１に記載の装置。
前記少なくとも１つのプロセッサが、前記バイアスをスケーリングすることによって前記バイアスを調節するようにさらに構成された、請求項１１に記載の装置。
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性が低いもののアプリオリな知識に少なくとも部分的に基づく、請求項１３に記載の装置。
前記少なくとも１つのプロセッサが、前記ネットワークの内部レベルにおいて前記バイアスを調節するようにさらに構成された、請求項１１に記載の装置。
プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行され、
要素がネットワークへの入力中に存在する増加された確率を有するかどうかを決定するためのプログラムコードと、
前記要素に対する感度を増加させるように前記ネットワーク中のニューロンの活性化関数のバイアスを調節するためのプログラムコードと、前記バイアスが、前記ネットワークの重みを調節することなしに調節される、
前記バイアスすることに少なくとも部分的に基づいて前記ネットワークの出力を調節するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
前記プログラムコードが、前記バイアスのための調節の量を、定数、シナプス荷重の関数、またはターゲットクラスの提示に応答する活性化の関数として決定するためのプログラムコードをさらに備える、請求項１６に記載のコンピュータ可読媒体。
前記バイアスを調節するための前記プログラムコードが、前記バイアスをスケーリングすることによって前記バイアスを調節するためのプログラムコードを備える、請求項１６に記載のコンピュータ可読媒体。
前記調節することのスケールは、前記入力中に存在する可能性が高いもの、および／または前記入力中に存在する可能性が低いもののアプリオリな知識に少なくとも部分的に基づく、請求項１８に記載のコンピュータ可読媒体。
前記バイアスを調節するための前記プログラムコードが、前記ネットワークの内部レベルにおいて前記バイアスを調節するためのプログラムコードを備える、請求項１６に記載のコンピュータ可読媒体。