JP2020524854A - 珍しい事例の分類 - Google Patents

Abstract

いくつかの実装形態では、自律または半自律車両の画像分類システムは、稀に存在する物体と考慮される物体の繰り返される不正確な分類を低減することによって、複数の物体の分類を改善することができる。システムは、指定された物体カテゴリに属するように全般の物体（例えば、一般的に存在する物体および稀に存在する物体）を識別および認識するように訓練されている一般事例分類器と、入力画像が一般事例分類器によって正確に分類される可能性を表す１つ以上の珍しさスコアを計算するように訓練されている珍しい事例分類器と、を含み得る。珍しい事例分類器の出力は、入力画像が不正確に分類される可能性が低下するように、一般事例分類器の分類出力を調節するために使用され得る。【選択図】図３Ａ

Description

本明細書は、自律車両に関する。

自律車両は、自動運転車、ボート、および航空機を含む。自律車両は、様々な車載用センサおよびコンピュータシステムを使用して、近くの物体を検出し、かかる検出を使用して、制御およびナビゲーション判断を行う。

いくつかの自律車両は、画像内の物体分類のためのニューラルネットワークを実装するコンピュータシステムを有する。

ニューラルネットワーク、または簡潔にネットワークは、オペレーションの複数の層を用いて、１つ以上の入力から１つ以上の出力を予測する、機械学習モデルである。ニューラルネットワークは、典型的には、入力層と出力層との間に位置する１つ以上の隠れ層を含む。各層の出力は、ネットワーク内の別の層、例えば、次の隠れ層または出力層に対する入力として使用される。

ニューラルネットワークの各層は、層への入力に対して実施される１つ以上の変換オペレーションを指定する。いくつかのニューラルネットワーク層は、ニューロンと称されるオペレーションを有する。各ニューロンは、１つ以上の入力を受信し、別のニューラルネットワーク層によって受信される出力を生成する。多くの場合、各ニューロンは、他のニューロンから入力を受信し、各ニューロンは、１つ以上の他のニューロンに出力を提供する。

ニューラルネットワークのアーキテクチャは、ネットワーク内に含まれる層が何か、およびそれらの特性、ならびにネットワークの各層のニューロンがどのように接続されるか、を指定する。言い換えると、アーキテクチャは、どの層がその出力を入力としてどの他の層に提供するか、および出力がどのように提供されるか、を指定する。

各層の変換オペレーションは、変換オペレーションを実装する、インストールされたソフトウェアモジュールを有するコンピュータによって実施される。したがって、オペレーションを実施するように説明されている層は、層の変換オペレーションを実装するコンピュータがオペレーションを実施することを意味する。

各層は、層のパラメータセットの現在値を使用して１つ以上の出力を生成する。したがって、ネットワークを訓練することは、入力に対する前方パスを断続的に実施し、勾配値を計算し、各層のパラメータセットの現在値を更新することを伴う。一旦、ニューラルネットワークが訓練されると、最終パラメータセットが、プロダクションシステムでの予測を行うために使用され得る。

畳み込みニューラルネットワークは、畳み込みニューラルネットワーク層を含む。畳み込みニューラルネットワーク層は、入力データ内の空間的局所相関の利点を受けるニューロン接続性を有する。そのようにするために、畳み込みニューラルネットワーク層は、スパース接続性を有し、１つの畳み込みニューラルネットワーク層内のニューロンは、前のニューラルネットワーク層内の小さいニューロンサブセットのみから入力を受信する。ニューロンがその入力を受信する他のニューロンは、そのニューロンの受容野を定義する。

畳み込みニューラルネットワーク層は、層のパラメータによって定義される１つ以上のフィルタを有する。畳み込みニューラルネットワーク層は、層の入力を用いて各ニューロンのフィルタの畳み込みを実施することによって出力を生成する。

加えて、各畳み込みニューラルネットワーク層は、奥行、幅、および高さ寸法を含む、３次元配置にニューロンを有し得る。幅および高さ寸法は、層の入力の２次元特徴に対応する。奥行寸法は、ニューロンの１つ以上の奥行副層を含む。一般に、畳み込みニューラルネットワーク層は、奥行副層内の全てのニューロンが同じ重みを有するように重み共有を用いる。これは、入力に特徴を検出するときに移動不変性を提供する。

畳み込みニューラルネットワークはまた、完全に接続された層および他の種類の層を含み得る。完全に接続された層内のニューロンは、前のニューラルネットワーク層内の各ニューロンから入力を受信する。

自律および半自律車両システムは、運転判断を行うための物体検出予測を使用し得る。

自律車両システムは、人間がプログラムした論理を使用して物体検出予測を行い得る。人間がプログラムした論理は、完全物体予測を計算するために、車載用センサの出力がどのように組み合わせられ、変換され、かつ重み付けされるべきかを的確に指定する。

いくつかの実装形態では、自律または半自律車両の画像分類システムは、稀に存在する物体と考慮される物体の繰り返される不正確な分類を低減することによって、複数の物体の分類を改善することができる。システムは、指定された物体カテゴリに属するように全般の物体（例えば、一般的に存在する物体および稀に存在する物体）を識別および認識するように訓練されている一般事例分類器と、入力画像が一般事例分類器によって正確に分類される可能性を表す１つ以上の珍しさスコアを計算するように訓練されている珍しい事例分類器と、を含み得る。珍しい事例分類器の出力は、入力画像が不正確に分類される可能性が低下するように、一般事例分類器の分類出力を調節するために使用され得る。

本明細書に説明される主題の特定の実施形態は、以下の利点のうちの１つ以上を実現するために実装され得る。自律または半自律車両システムは、完全に訓練された分類器サブシステムを使用して、分類器を再訓練せずに稀に存在する物体に対して繰り返されるエラーを急速に低減し得る。システムは、特定の物体を含むように画像の分類の正確さを改善する技術を使用し得る。システムはまた、特定の分類器サブシステムを介して入力画像を処理して、正確な物体予測を生成するために必要とされる計算リソースを低減し得る。

加えて、システムは、一般事例分類器および珍しい事例分類器を並列に適用して、誤分類された稀に存在する物体の画像分類性能を改善し得る。例えば、画像が珍しい物体、または一般事例分類器によって頻繁に誤分類される別の種類の物体の画像を含む高い可能性の決定は、負のフィードバックとして使用されて、画像分類システムによる誤った正の分類を低減し得る。

システムは、異なる種類のセンサ、例えば、ＬＩＤＡＲ、およびビデオカメラからのデータを処理するようにさらに適用され得、異なるセンサからのデータを組み合わせて、全体的な画像分類性能を改善し得る。

一概略態様では、方法は、画像を受信することと、一般事例ニューラルネットワークを使用して入力画像を処理することであって、一般事例ニューラルネットワークが、入力画像を処理して、１つ以上の第１の物体カテゴリの各々に対応するそれぞれの第１の物体スコアを含む一般事例出力を生成するように構成されており、各第１の物体スコアは、入力画像が、対応する第１の物体カテゴリに属する物体の画像を含む可能性を表す、処理することと、珍しい事例ニューラルネットワークを使用して入力画像を処理することであって、珍しい事例ニューラルネットワークは、入力画像を処理して、入力画像が一般事例ニューラルネットワークによって不正確に分類されることになる可能性を表す珍しさスコアを含む珍しい事例出力を生成するように構成されている、処理することと、珍しさスコアを使用して入力画像を分類する際に１つ以上のそれぞれの第１の物体スコアに割り当てられるべき重みを決定することと、決定された重みに従って入力画像を分類することと、を含む。

１つ以上の実装形態は、以下の任意の特徴を含み得る。例えば、いくつかの実装形態では、珍しい事例ニューラルネットワークが、一般事例ニューラルネットワークによって誤分類された訓練画像で訓練されている。

いくつかの実装形態では、珍しい事例ニューラルネットワークが、一般事例ニューラルネットワークを訓練するために使用された画像内で稀に起こる物体タイプの画像で訓練されている。

いくつかの実装形態では、珍しい事例出力が、１つ以上の第２の物体カテゴリの各々に対応するそれぞれの第２の物体スコアをさらに含み、各第２の物体スコアは、入力画像が対応する第２の物体カテゴリに属する物体の画像を含む可能性を表し、方法は、重みを決定して、珍しさスコアを使用して入力画像を分類する際の１つ以上の第２の物体スコアを割り当てることをさらに含む。

いくつかの実装形態では、第２の物体カテゴリが、第１の物体カテゴリのうちの１つ以上を含む。

いくつかの実装形態では、重みを決定して、１つ以上の第２の物体スコアを割り当てることが、第２の物体スコアの重みとして珍しさスコアを使用することを含む。

いくつかの実装形態では、重みを決定して、１つ以上の第２の物体スコアおよび１つ以上の第１の物体スコアを割り当てることは、珍しさスコアが所定閾値を満たさないことを決定することと、応答して、入力画像を分類する際に１つ以上のそれぞれの第２の物体スコアに割り当てられた重みを減少させることと、を含む。

いくつかの実装形態では、重みを決定して、１つ以上の第２の物体スコアおよび１つ以上の第１の物体スコアを割り当てることは、珍しさスコアが所定閾値を満たすことを決定することと、珍しさスコアが所定閾値を満たす決定に応答して、入力画像を分類する際に１つ以上のそれぞれの第１の物体スコアに割り当てられた重みを減少させることと、を含む。

いくつかの実装形態では、１つ以上のそれぞれの第１の物体スコアに割り当てられた重みを減少させることは、第１の物体スコアが入力画像を分類する際に使用されないことを示す値に重みを割り当てることを含む。

いくつかの実装形態では、入力画像を分類することは、組み合わせニューラルネットワークを使用して一般事例出力および珍しい事例出力を処理することであって、組み合わせニューラルネットワークが、１つ以上の第１の物体カテゴリの各々に対応するそれぞれの第３の物体スコアを計算するように構成されており、各第３の物体スコアが、１つ以上のそれぞれの第１の物体スコアに割り当てられた決定された重み、および１つ以上のそれぞれの第２の物体スコアに割り当てられた決定された重みに基づいて、計算されている、処理することと、第３の物体スコアのそれぞれの値に基づいて、入力画像を分類することと、を含む。

いくつかの実装形態では、重みを決定して、１つ以上のそれぞれの第１の物体スコアを割り当てることは、珍しさスコアが所定閾値を満たすことを決定することと、珍しさスコアが所定閾値を満たす決定に応答して、入力画像を分類する際に１つ以上のそれぞれの第１の物体スコアに割り当てられた重みを減少させることと、を含む。

本明細書の主題の１つ以上の実施形態の詳細は、添付図面および以下の説明で明らかにされる。主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

システムの一例のブロック図である。 自律車両の周囲の環境の画像を分類するためのプロセスの一例のフローチャートである。 一般事例分類器および珍しい事例分類器を含むアーキテクチャの一例の模式図である。 珍しい事例分類器が入力画像内の稀に存在する物体を識別するアーキテクチャの一例の模式図である。 珍しい事例分類器が入力画像内の一般的に存在する物体を識別するアーキテクチャの一例の模式図である。 一般事例分類器および珍しい事例分類器の出力を処理する組み合わせニューラルネットワークを含むアーキテクチャの一例の模式図である。

様々な図面の同様の参照番号および呼称は、同様の要素を示す。

本明細書は、どのように車両、例えば、自律または半自律車両が１つ以上の完全に学習された分類器を使用して、稀に存在する物体であると決定される物体を含む画像、または一般事例分類器によって頻繁に誤分類される他の画像の繰り返される不正確な分類を低減することによって、車両のセンサによって検出された物体の分類を改善するかを説明する。例えば、稀に存在する物体は、一般事例分類器を訓練するために使用された訓練データ内に稀に存在する物体を含み得る。他の例では、稀に存在する物体は、車両の周囲の環境内の特定の物体カテゴリに含まれるように稀に分類される物体を含み得る。各物体カテゴリは、車両が走行する際にその周辺に存在し得る物体のタイプを指定し得る。例えば、物体カテゴリは、車両の近接範囲の標識、歩行者、自転車通行者、または他の車両を表し得る。

本明細書全体を通して使用される際、「完全に学習された」機械学習モデルは、所望される予測を計算するように訓練されているモデルである。言い換えると、完全の学習されたモデルは、人間がプログラムした決定ではなく、訓練データで訓練されているもののみに基づいて、出力を生成する。

図１は、例示的なシステム１００の図である。システム１００は、訓練データ１１０および車載用システム１３０を含む。

車載用システム１３０は、車両１２２の車上に物理的に位置する。図１の車両１２２は、自動車として例示されているが、車載用システム１３０は、任意の適切な車両タイプの車上に位置してもよい。車両１２２は、物体検出予測を使用して、完全自律運転判断を通知する完全自律車両であり得る。車両１２２はまた、画像分類予測を使用して人間の運転手を支援する半自律車両であり得る。例えば、車両１２２は、人間の運転手が検出された物体、例えば、歩行者、自転車通行者、別の車両とぶつかりそうであると完全物体予測が示す場合、ブレーキを自律的に適用し得る。

車載用システム１３０は、１つ以上のセンササブシステム１３２を含む。センササブシステムは、電磁放射線の反射を受信する構成要素、例えば、レーザ光の反射を検出するＬＩＤＡＲシステム、電波の反射を検出するレーダシステム、および可視光の反射を検出するカメラシステムの組み合わせを含む。

センササブシステムはまた、短距離および長距離レーザセンサの組み合わせを含み得る。例えば、短距離レーザセンサは、車両１２２の周囲の地面および車両１２２から４０メートル内の近くの物体を検出するために使用され得る。別の例では、長距離レーザセンサは、車両１２２の周囲最大２００メートルの物体を検出するために使用され得る。

未処理入力センサデータは、距離、方向、および反射された放射線の強度を示す。各センサは、特定方向の電磁放射線の１つ以上のパルスを送信し得、任意の反射の強度および反射が受信された時間を測定し得る。距離は、パルスとその対応する反射との間でどの程度の時間がかかったかを決定することによって計算され得る。各センサは、角度、方位角、または両方で特定空間を断続的に掃引し得る。方位角での掃引は、例えば、センサが同一視野方向に沿って複数の物体を検出することを可能にし得る。

センササブシステム１３２は、入力センサデータ１５５を車載用分類器サブシステム１３４に提供する。入力センサデータ１５５は、データの複数のチャネルを含み得、各チャネルは、反射された電磁放射線の異なる特質を表す。したがって、入力センサデータ１５５の複数のチャネルは、同一センサからの測定値から生成され得る。例えば、入力センサデータ１５５は、車両の周囲の環境のカメラによって取得された画像を含み得る。

センササブシステム１３２、車載用分類器サブシステム１３４、または両方のいくつかの組み合わせは、未処理センサデータを入力センサデータ１５５の複数のチャネルに変換する。そのようにするために、車載用システム１３０は、未処理センサデータの様々な特質を共通座標系内に投影し得る。

車載用分類器サブシステム１３４は、画像分類に関する、すなわち、１つ以上の物体カテゴリからの物体を含むように車両の周囲の環境の画像を分類することに関する予測を行うように訓練されている一組の分類器のオペレーションを実装する。車載用分類器サブシステム１３４は、完全に訓練された一般事例分類器３１０および完全に訓練された珍しい事例分類器３２０を含み、これらは、図３Ａ、図３Ｂおよび図４に図示される。図３Ａに示されるように、一般事例分類器３１０および珍しい事例分類器３２０は、並列に適用されて、入力センサデータ１５５内の入力画像３０２を処理して、画像分類の正確さを改善し得る。例えば、珍しい事例分類器３２０は、入力画像３０２が、一般事例分類器３１０によって誤分類される可能性があるタイプの物体、例えば、稀に存在する物体を含む可能性を表す珍しさスコアを計算する。珍しさスコアは、以下に詳細に説明されるように、入力画像３０２の分類を調節して、入力画像３０２を誤認識する可能性を低下させるために使用され得る。

車載用分類器サブシステム１３４は、訓練システム１１０から受信されるモデルパラメータ１７２のコレクションを読み込むことによって分類器のオペレーションを実装し得る。論理的に分離されているように例示されているが、モデルパラメータ１７０およびオペレーションを実施するソフトウェアまたはハードウェアモジュールは、実際には、同一コンピュータデバイス上に位置し得るか、またはソフトウェアモジュールを実行する場合には、同一メモリデバイス内に記憶され得る。

車載用分類器サブシステム１３４は、ハードウェアアクセラレーションまたは他の専用コンピューティングデバイスを使用して、分類器のオペレーションを実装し得る。例えば、いくつかの層のいくつかのオペレーションは、高度に並列化されたハードウェア、例えば、グラフィック処理装置または別の種類の専用コンピューティングデバイスによって実施され得る。言い換えると、各層の全てのオペレーションが、車載用分類器サブシステム１３４の中央演算装置（ＣＰＵ）によって実施される必要はない。

車載用分類器サブシステム１３４は、入力センサデータ１５５を使用して、１つ以上の画像分類予測１６５を生成する。車載用分類器サブシステム１３４は、計画サブシステム１３６、ユーザインターフェースサブシステム１３８、または両方に１つ以上の画像分類予測１６５を提供し得る。

計画サブシステム１３６が１つ以上の画像分類予測１６５を受信すると、計画サブシステム１３６は、１つ以上の画像分類予測１６５を使用して、完全自律または半自律運転判断を行い得る。例えば、計画サブシステム１３６は、完全自律計画を生成して、自転車通行者および歩行者の回避も行いながら、公道上の他の車両を介してまたはその周囲をナビゲートし得る。別の例として、計画サブシステム１３６は、人間の運転手に対する半自律推薦を生成して、ブレーキを適用させ得る。

ユーザインターフェースサブシステム１３８は、画像分類予測１６５または別の構成要素による画像分類予測１６５の処理後の結果を受信し得、近くの物体の場所を示すユーザインターフェース提示を生成し得る。例えば、ユーザインターフェースサブシステム１３８は、物体によって占有される可能性がある空間の領域の表現を含有する画像または映像データを有するユーザインターフェース提示を生成し得る。車載用ディスプレイデバイスは、次いで、車両１２２の乗員に対するユーザインターフェース提示を表示し得る。

車載用分類器サブシステム１３４はまた、入力センサデータ１５５を使用して、訓練データ１２３を生成し得る。訓練データ１２３は、入力センサデータの異なるチャネルの投影された表現を含み得る。車載用システム１３０は、オフラインバッチで、またはオンライン形式で、例えば、生成されると常に断続的に、訓練システム１１０に訓練データ１２３を提供し得る。図示されるように、訓練データ１２３は、一般的に存在する物体および稀に存在する物体の画像をそれぞれ表す訓練例１２３Ａおよび１２３Ｂを含む。訓練オペレーション中、訓練例１２３Ａは、一般事例分類器３１０を訓練するために使用され、訓練例１２３Ｂは、珍しい事例分類器３２０を訓練するために使用される。

いくつかの実装形態では、訓練例１２３Ｂは、訓練例１２３Ａ内に含まれ、一般事例分類器３１０を訓練するために使用されたが、一般事例分類器３１０が訓練された後に一般事例分類器３１０によって誤分類された画像を含む。誤分類された画像は、訓練された一般事例分類器３１０が異なるカテゴリ、またはカテゴリなしからの物体を含む画像を示す分類出力を生成した画像であり、次いで、画像用の既知のラベルによって示される。

一般事例分類器３１０によって誤分類された画像は、次いで、珍しい事例分類器３２０を訓練するために使用され得る。いくつかの実装形態では、訓練例１２３Ｂ内に含まれる誤分類画像は、新たな姿勢、視点などを導入する画像処理技術を使用して修正されてもよい。そのような実装形態では、訓練例１２３Ｂは、元の誤分類された画像および誤分類された画像の処理されたバージョンを含む。

言い換えると、訓練データ１２３は、１つ以上の物体カテゴリからの物体を含むように車両の周囲の環境の画像を分類するために使用される異なる分類器を訓練するために各々使用される複数のセグメントを含む。例えば、訓練例１２３Ａおよび１２３Ｂを含む訓練セグメントは、一般事例分類器を訓練するために使用され得、訓練例１２３Ｂのみを含む別の訓練セグメントは、珍しい事例分類器を訓練するために使用され得る。

訓練システム１１０は、典型的には、１つ以上の場所に数百または数千のコンピュータを有する分散コンピューティングシステムであり得る、データセンター１１２内でホストされる。

訓練システム１１０は、入力センサデータから画像分類予測を行うように設計される分類器のオペレーションを実装し得る訓練分類器サブシステム１１４を含む。訓練分類器サブシステム１１４は、分類器のアーキテクチャによる分類器のそれぞれのオペレーションを実装するソフトウェアまたはハードウェアモジュールを有する複数のコンピューティングデバイスを含む。

訓練分類器は、概して、車載用分類器と同一アーキテクチャを有する。しかしながら、訓練システム１１０は、各層のオペレーションを計算するために同一ハードウェアを使用する必要がない。言い換えると、訓練システム１１０は、ＣＰＵのみか、高度に並列化されたハードウェアか、またはこれらのいくつかの組み合わせを使用し得る。

訓練分類器サブシステム１１４は、モデルパラメータ１７０のコレクション内に記憶されたパラメータ１１５の現在値を使用して分類器の各層のオペレーションを計算し得る。論理的に分離されているように例示されているが、モデルパラメータ１７０およびオペレーションを実施するソフトウェアまたはハードウェアモジュールは、実際には、同一コンピュータデバイス上または同一メモリデバイス上に位置し得る。

分類器サブシステム１１４は、入力として訓練例１２３Ａおよび１２３Ｂを受信し得る。訓練例１２３Ａおよび１２３Ｂは、概して、自動ラベル化訓練データ、人間によるラベル化訓練データ、またはその２つのいくつかの組み合わせを含み得る。訓練例１２３Ａおよび１２３Ｂの各々は、基準物体の画像、および各画像に対する１つ以上のラベルを含む。各ラベルは、画像に対する正確な分類を識別し、すなわち、画像内に描写された１つ以上の物体が属する１つ以上の物体カテゴリを識別する。

訓練例１２３Ａは、車両の周辺の近くの環境内で一般的に検出される異なる物体カテゴリ、例えば、標識、歩行者と関連付けられるように事前決定されている基準物体の画像を含み得る。一般的に存在する物体の例は、停止標識、危険標識、および信号機を含む。

訓練例１２３Ｂは、車両の周辺の近くの環境内で一般的に検出されない（例えば、稀に検出される）異なる物体カテゴリと関連付けられるように事前決定されている基準物体の画像を含み得る。稀に存在する物体の例は、場所特有の信号機、小さい会社の広告看板、または一般的に存在する物体の歪んだ表現を含む。いくつかの実装形態では、訓練例１２３Ａおよび１２３Ｂは、同一カテゴリに属する異なる物体、例えば、「車両」物体カテゴリに対する自転車および自動車の画像を含む。

訓練分類器サブシステム１１４は、各訓練例１２３に対して、１つ以上の画像分類予測１３５を生成し得る。訓練エンジン１１６は、画像分類予測１３５を分析し、画像分離予測を訓練例１２３内のラベルと比較する。訓練エンジン１１６は、次いで、適切な訓練技術、例えば、逆伝播を使用することによって、更新されたモデルパラメータ値１４５を生成する。訓練エンジン１１６は、次いで、更新されたモデルパラメータ値１４５を使用してモデルパラメータ１７０のコレクションを更新し得る。

訓練が完了した後、訓練システム１１０は、例えば、有線または無線接続によって、完全自律または半自律運転判断を行う際に使用するために、車載用システム１３０に最終モデルパラメータ値セット１７１を提供し得る。

図２は、自律車両の周囲の環境の画像を分類するためのプロセス２００の一例のフローチャートである。便宜上、プロセス２００は、１つ以上の場所に位置する１つ以上のコンピュータのシステムによって実施されているように説明されることになる。例えば、本明細書によって適切にプログラムされた分類器システム、例えば、図１の車載用システム１３０が、プロセス２００を実施し得る。

一般に、分類器システムは、一般事例分類器３１０および珍しい事例分類器３２０を含むアーキテクチャ３００Ａの一例の模式図である図３Ａにより詳細に図示される並列ネットワークアーキテクチャを使用して完全に説明される画像分類技術を実施する。一般事例分類器３１０および珍しい事例分類器３２０は、図３Ａに図示され、以下に詳細に説明されるように、入力画像３２０を各々処理する。

簡単には、プロセス２００は、入力画像を受信すること（２１０）と、一般事例分類器を使用して入力画像を処理して、それぞれの第１の物体スコアを含む一般事例出力を生成すること（２２０）と、珍しい事例分類器を使用して入力画像を処理して、珍しさスコアを含む珍しい事例出力を生成すること（２３０）と、１つ以上のそれぞれの第１の物体スコアに割り当てられるべき重みを決定すること（２４０）と、決定された重みに従って入力画像を分類すること（２５０）と、を含み得る。

より詳細には、システムは、入力画像を受信する（２１０）。入力画像３０２は、自律車両の周囲の環境の画像である。入力画像３０２は、センササブシステム１３２などの車両の車載用センサによって取得され、入力センサデータ１５５内に含められ得る。

システムは、一般事例分類器を使用して入力画像を処理して、１つ以上の第１の物体スコアを含む一般事例出力を生成する（２２０）。例えば、一般事例分類器３１０は、入力画像３０２を処理して、一般事例出力３０４Ａを生成する。例えば、一般事例分類器３１０は、画像分類技術を使用して入力画像３０２を処理して、一般事例出力３０４Ａ内に含められる、入力画像３０２に対する１つ以上の第１の物体スコアを計算する。各第１の物体スコアは、画像が、対応する物体カテゴリに属する物体の画像を含む可能性を表し得る。いくつかの実装形態では、一般事例出力３０４Ａは、各々異なる物体カテゴリに対応する複数の物体スコアを含む。システムは、珍しい事例分類器を使用して入力画像を処理して、珍しさスコアを含む珍しい事例出力を生成する（２３０）。例えば、珍しい事例分類器３２０が、入力画像３０２を処理して、珍しい事例出力３０４Ｂを生成する。珍しさスコアは、例えば、画像３０２が稀に存在する物体の画像を含むため、入力画像３０２が第１の分類器によって誤分類されることになる可能性を表す。例えば、稀に存在する物体は、一般事例分類器を訓練するために使用された訓練データ内に稀に存在する物体を含み得る。他の例では、稀に存在する物体は、一般的に存在する物体とは異なる外観を有する物体であり得、それゆえに、分類された、例えば、他の一般的に存在する停止標識と比較して小さい「停止」文字を有する停止標識によって誤分類される可能性がある。

いくつかの実装形態では、珍しい事例出力３０４Ｂは、１つ以上の第２の物体スコアを追加的に含む。一般事例出力３０４Ａに関して上記に説明されたように、各第２の物体スコアは、画像が、対応する物体カテゴリに属する物体の画像を含む可能性を表し得る。珍しい事例出力３０４Ｂは、いくつかの事例では、異なる物体カテゴリに各々対応する複数の物体スコアを含み得る。

一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂは、同一物体カテゴリについて計算される物体スコアを含み得る。例えば、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂは、「停止標識」および「歩行者」の物体カテゴリについて計算された物体スコアを含み得る。この例では、上記の第１および第２の物体スコアは、同一の物体カテゴリについて、それぞれ、一般事例分類器３１０および珍しい事例分類器３２０によって計算されるスコアを表す。

代替的に、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂは、異なる物体カテゴリについて計算される物体スコアを含んでもよい。例えば、一般事例出力３０４Ａは、「停止標識」物体カテゴリについて計算された物体スコアを含んでもよく、これに対して、珍しい事例出力３０４Ｂは、「緑色の停止標識」または「八角形の道を譲れ標識」のカテゴリについて計算された物体スコアを含んでもよい。

システムは、珍しさスコアから１つ以上のそれぞれの第１の物体スコアに割り当てられるべき重みを決定する（２４０）。例えば、システムは、珍しさスコアを使用して、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂ内に含められる物体スコアに割り当てられるべき重みを決定する。

いくつかの実装形態では、システムは、珍しさスコアを所定閾値と比較し、珍しさスコアが所定閾値を満たすという決定に応答して、システムは、入力画像３０２が一般事例分類器によって誤分類されている可能性がある、例えば、稀に存在する物体の画像であると決定する。そのような実装形態では、システムは、入力画像３０２内の物体が誤分類された可能性があるという決定に基づいて、一般事例出力３１０内の物体スコアを調節する。例えば、一般事例分類器３１０によって計算された物体スコアは、低下され得る。いくつかの実装形態では、システムは、珍しさスコアを使用して、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂ内に含められる物体スコアのうちの１つを選択して、入力画像３０２について計算された全体的な物体スコアとして表す。例えば、珍しさスコアが所定閾値を満たすことに失敗した場合、システムは、全体的な物体スコアとして一般事例出力３０４Ａ内に含められた物体スコアを選択し、すなわち、一般事例出力３０４Ａ内の物体スコアを修正しない。代替的に、珍しさスコアが所定閾値を満たす場合、システムは、全体的な物体スコアとして珍しい事例出力３０４Ｂ内に含められた物体スコアを選択し、すなわち、一般事例出力３０４Ａ内の物体スコアを使用しない。

いくつかの他の実装形態では、物体スコアのうちの１つを選択することに代えて、システムは、それぞれの物体スコアを代わりに組み合わせて、新たな全体的な物体スコアを計算してもよい。例えば、珍しさスコアが所定閾値を満たすという決定に応答して、システムは、それぞれの物体スコアの平均値を計算し得る。いくつかの他の例では、システムは、珍しさスコア値と所定閾値の値との間の差に基づいて重み付けされた平均を計算し得る。

代替的に、システムは、値の対応する範囲内に収まる珍しさスコアの値に基づく所定量によって物体スコアの値を調節してもよい。値の範囲は、珍しさスコアに対する下限値および上限値に基づいて、検出された物体の珍しさを表す、「高」、「中」、および「低」の範囲を含み得る。例えば、「高」範囲内に収まる第１の珍しさスコアを有する第１の検出された物体に対する第１の物体スコアは、「低」範囲内に収まる珍しさスコアを有する検出された物体に対する第２の物体スコアよりも大きい程度に調節され得る。この例では、第１の検出された物体が稀に存在する物体として識別され、それに対して、第２の検出された物体が一般的に存在する物体として識別されるため、第１の物体スコアは、第２の物体スコアよりも高い程度に調節される。

システムは、決定された重みに従って入力画像を分類する（２５０）。システムは、決定された重みを使用して計算された物体スコアに基づいて、１つ以上の物体カテゴリに対応するように入力画像３０２の検出された物体を分類する。例えば、システムは、物体カテゴリに属するように、一般的に存在する物体として識別される物体を分類するが、稀に存在する物体として識別される物体の分類を妨げる。この例では、物体に対する珍しさスコアを使用して決定された物体スコアの値は、閾値を満たす物体スコアを有する物体（例えば一般的に存在する物体）を分類し、閾値を満たさない物体スコアを有する別の物体（例えば、稀に存在する物体）の分類を妨げるために使用される。他の例では、物体の分類を妨げる代わりに、システムは、珍しい事例分類器を使用して分類を実施するか、または他の物体カテゴリと関連付けられていない種々雑多のカテゴリとして物体を分類するかのいずれかを行い得る。これに関して、システムは、オペレーション２００を使用して、稀に存在する物体として識別される物体の繰り返される不正確な分類の可能性を低下させる。

ここで図３Ａを参照すると、一般事例分類器３１０および珍しい事例分類器３２０を含むアーキテクチャ３００Ａの一例の模式図が図示されている。簡単には、一般事例分類器３１０は、検出された物体３０２Ａを含む入力画像３０２を受信する。一般事例分類器３１０は、入力画像３０２を処理して、物体スコア３０５を含む一般事例出力３０４Ａを生成する。珍しい事例分類器３１２は、一般事例分類器３１０と並列に入力画像３０２を受信および処理して、物体スコア３０６および珍しさスコア３０８を含む珍しい事例ニューラル出力３０４Ｂを生成する。

一般事例分類器３１０および珍しい事例分類器３２０は、概して、上記に説明され図１に図示されているように、車載用分類器サブシステム１３４内に実装されるソフトウェアモジュールを表し得る。一般事例分類器３１０および珍しい事例分類器３２０は、車載用分類器サブシステム１３４の単一ハードウェアモジュール上で論理的に分離されてもよく、または代替的に、車載用分類器サブシステム１３４の別個のハードウェアモジュール上に実装されてもよい。入力画像３０２は、センササブシステム１３２によって収集され得る。いくつかの実装形態では、入力画像３０２は、一般事例分類器３１０および珍しい事例分類器３２０に対する入力として入力画像１０２が提供される前に、物体の存在を検出する物体検出分類器に対する入力として最初に提供される。

いくつかの実装形態では、一般事例分類器３１０および珍しい事例分類器３２０は、入力画像３０２を処理し、１つ以上の物体カテゴリに属する物体を有するように入力画像を分類するために、適切な層アーキテクチャを含むニューラルネットワークであり得る。例えば、一般事例分類器３１０および珍しい事例分類器３２０は、入力画像３０２が、物体スコアと関連付けられた物体カテゴリに属する物体を含む、それぞれの可能性を各々表す物体スコアを計算するように訓練されている畳み込みニューラルネットワークであり得る。

いくつかの実装形態では、珍しい事例ニューラルネットワークは、一般事例ニューラルネットワークよりも少ないパラメータを有し得る。例えば、一般事例ニューラルネットワークは、複数の物体カテゴリに対応する入力画像３０２に対する複数の物体スコアを計算するように訓練され得るが、それに対して、珍しい事例ニューラルネットワークは、入力画像３０２に対する単一珍しさスコアのみを計算するように訓練され得る。別の例では、珍しい事例ニューラルネットワークの層は、一般事例ニューラルネットワークの層に対して少ない奥行および計算、例えば、５０％少ない奥行および７５％少ない計算を有し得る。加えて、いくつかの実装形態では、珍しい事例ニューラルネットワークは、一般事例ニューラルネットワーク内に含められ得る平均プーリングおよび完全に接続された層を除外し得る。

入力画像３０２は、隆起が車両経路に沿って近くにあることを運転手に指示する交通関連標識に対応する検出された物体３０２Ａの表現を含む。入力画像３０２は、画像分類技術を使用して物体カテゴリ「停止標識」に対する物体スコア３０５を計算する、一般事例分類器３１０に対する入力として提供される。物体スコア３０５は、この例では、一般事例分類器３１０によって決定される、入力画像３０２内の検出された物体３０２Ａが停止標識を表す可能性を表す。

入力画像３０２は、画像分類技術を使用して検出された物体３０２Ａに対する珍しさスコア３０８を計算する、珍しい事例分類器３１２に対する入力として追加的に提供される。珍しさスコア３０８は、珍しい事例分類器３１０によって決定される、入力画像３０２内の検出された物体が、場所特有の交通標識、独特な物体、またはいくつかの他のタイプの物体の歪んだ表現などの稀に存在する物体である可能性を表す。

珍しい事例分類器３１２は、図示されている例では、物体カテゴリ「停止標識」に対する物体スコア３０６を追加的に計算する。物体スコア３０６は、珍しい事例分類器３２０によって決定される、入力画像３０２内の検出された物体３０２Ａが停止標識を表す可能性を表す。この例は、同一物体カテゴリ（例えば、「停止標識」）に対するそれぞれの物体スコアを計算する珍しい事例分類器３２０および一般事例分類器３１０を図示するが、他の実装態様では、各分類器は、異なる物体カテゴリまたは物体カテゴリグループに対する物体スコアを計算してもよい。そのような実装形態では、珍しい事例分類器３２０は、検出されたオブジェクトが、稀に存在する物体のみと一般的に関連付けられる物体カテゴリに属するか否かを決定する二次分類器として使用され得る。

図３Ａに図示される例に示されるように、一般事例分類器３１０は、「０．６３」の値を有する物体スコアを計算し、珍しい事例分類器３１０は、「０．２３」および「０．８５」の値をそれぞれ有する物体スコアおよび珍しさスコアを計算する。この例では、物体スコア３０５の値は、検出された物体３０２Ａが停止標識を表す高い可能性を一般事例分類器３１０が決定することを示す。しかしながら、物体スコア３０６の値は、検出された物体３０２Ａが停止標識を表す低い可能性を珍しい事例分類器３２０が決定することを示す。珍しさスコア３０８が高いため、物体スコア３０６は、画像分類手順中に低い重みを与えられ、入力画像３０２が「停止標識」カテゴリ内に属する物体を含む画像として分類される可能性を低下させる。システムは、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂの内容に基づいて、検出された物体３０２Ａを分類する。図示されている例では、物体スコア３０５は、検出された物体３０５が停止標識である高い可能性を識別するが、システムは、それにもかかわらず、検出された物体３０２Ａが停止標識を表しそうでない稀に存在する物体であることを珍しい事例出力３０４Ｂが示すため、検出された物体３０２Ａを停止標識として分類しない。この例では、珍しい事例出力３０４Ｂは、それゆえに、一般事例出力３０４Ａの内容に基づいて、検出された物体３０２Ａの停止標識としての不正確な分類を防止するために使用される。珍しい事例出力３０４Ｂは、それゆえに、一般的に存在する物体と関連付けられた画像分類技術のみを使用することに基づいて、誤った正の分類を低減するために使用され得る。追加的、または代替的に、珍しい事例出力３０４Ｂは、種々雑多の物体カテゴリに属するように稀に存在する物体を分類することによって誤った負の分類を低減するために使用され得る。

いくつかの実装形態では、珍しい事例分類器３２０は、図３Ａに図示され上記に説明されるように一般事例分類器３１０と並列に動作することとは対照的に、特定の状況で選択的に有効化される。例えば、珍しい事例分類器３２０は、物体スコア３０５が閾値を満たさない場合に有効化され得、検出された物体３０２Ａが稀に存在する物体であり得ることを示す。この例では、珍しい事例分類器３２０は、一般事例分類器３１０の分類結果を検証および／またはサポートする二次画像分類構成要素である。別の例では、入力画像３０２は、物体が入力画像３０２内に存在するか否かを決定する物体検出分類器に最初に提供され得る。この例では、珍しい事例分類器３２０は、物体検出分類器の検出結果に基づいて、選択的に有効化され得る。例えば、入力画像３０２が検出された物体を含む可能性を表す物体検出スコアが、所定閾値を満たさない場合、珍しい事例分類器３２０は、入力画像３０２が稀に存在する物体を含むかどうかを決定するために選択的に有効化され得る。

いくつかの実装形態では、珍しい事例分類器３２０は、その入力画像３０２が一般事例分類器３１０によって不正確に分類されることになるそれぞれの可能性を表す１つ以上の追加の珍しさスコアを計算し得る。１つ以上の追加の珍しさスコアは、入力画像３０２が稀に存在する物体を含まないが、別途、一般事例分類器３１０によって誤分類されることになる可能性を反映するスコアを含み得る。例えば、スコアは、入力画像３０２が、物体検出に使用される物体の属性を曲解させる画像歪みを含む場合に、誤分類の高い可能性を反映し得る。別の例では、スコアは、入力画像３０２が物体を実際に含まないが、物体と関連付けられている属性を含む場合、誤分類の高い可能性を反映し得る。

図３Ｂおよび３Ｃは、入力画像を分類するように計算するために重み付け技術を使用するアーキテクチャの例の模式図である。これらの例では、一般事例分類器３１０および珍しい事例分類器３２０は、入力画像に対する物体スコアを各々計算する。各物体スコアは、入力画像が、「停止標識」物体カテゴリに属する物体を含む可能性を表す。

図示されるように、システムは、重み付け技術を使用して、検出された物体のために計算された珍しさスコアの値に基づいて、入力画像に対する全体的な物体スコアを決定する。システムは、珍しさスコアの値を使用して、それぞれの重みを決定して、各物体スコアに適用し、次いで、重み付けされた物体スコアを組み合わせて、システムが入力画像を分類するために使用する最終物体スコアを計算する。

図３Ｂに図示される例を最初に参照すると、システムは、珍しい事例分類器３２０によって計算された珍しさスコア３１６Ｂが「０．７５」の所定珍しさ閾値を超えるという決定に基づいて、入力画像３０２Ｂが稀に存在する物体を含む高い可能性を決定する。この例では、システムは、入力画像３０２Ｂが「停止標識」物体カテゴリに属する物体を含む画像として分類されるべきである可能性をより正確に反映する最終物体スコアを計算するために、一般事例出力３１６Ａ内の第１の物体スコアを下方に重み付け、珍しい事例出力３１６Ｂ内の第２の物体スコアを上方に重み付ける。

ここで、図３Ｃに図示される例を参照すると、システムは、珍しい事例分類器３２０によって計算された珍しさスコア３２６Ｂが「０．７５」の所定珍しさ閾値を超えないという決定に基づいて、入力画像３０２Ｃが稀に存在する物体を含む低い可能性を決定する。この例では、システムは、一般事例出力３２６ａ内の第１の物体スコアを上方に重み付け、珍しい事例出力３２６Ｂ内の第２の物体スコアを下方に重み付ける。したがって、図３Ｂに図示されている例示されたものと対照的に、システムは、入力画像３０２Ｂが「停止標識」物体カテゴリに属する物体を含む画像として分類されるべきである高い可能性を示す最終物体スコアを計算する。

図示されている例は、システムが適用する重み付けされた分類技術の１つのタイプの例を提供するが、いくつかの実装形態では、システムは、追加または代替の重み付け技術を使用してもよい。例えば、いくつかの実装形態では、各物体スコアと関連付けられるそれぞれの重みを決定することに代えて、システムは、珍しさスコアの値に基づいて、物体スコアの１つ以上の値を代わりに増減させ得る。例えば、珍しい事例分類器が珍しさスコアのみを計算する特定の例では、指定された閾値に対する珍しさスコアの値は、一般事例分類器によって計算される物体スコアを増減させるために使用され得る。別の例では、各物体スコアに対してそれぞれの重みを適用することに代えて、システムは、珍しさスコアの値に基づく所定値によって物体スコアのうちの１つ以上の値を調節してもよい。そのような例では、システムは、珍しさスコアの値が低い場合に一般事例分類器３１０によって計算された物体スコアの値を増加させるか、珍しさスコアの値が高い場合に珍しい事例分類器によって計算された物体スコアの値を増加させるか、または両方の組み合わせであり得る（例えば、珍しさスコアの値に基づいて、それぞれの物体スコアを同時に増減させる）。

図４は、一般事例分類器３１０および珍しい事例分類器３２０の出力を処理する組み合わせ分類器３３０を含むアーキテクチャ４００の一例の模式図である。この例では、一般事例分類器３１０および珍しい事例分類器３２０は、図３Ａに関して上記に説明されたものと同様の様式で入力画像４０２を受信および処理する。しかしながら、図３Ａに図示されているアーキテクチャ３００Ａとは対照的に、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂは、組み合わせ分類器３３０に対する入力として提供される。

組み合わせ分類器３３０は、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂ内に含められる物体スコアに対応する１つ以上の物体カテゴリと関連付けられた専用画像分類能力を有する高精度分類器であり得る。例えば、組み合わせ分類器３３０が単一物体カテゴリと関連付けられている場合、それは、物体カテゴリに属する物体を含む画像として、または物体カテゴリに属する物体を含まない画像としてのいずれかとして入力画像４０２を分類する。代替的に、組み合わせ分類器３３０が複数の物体カテゴリと関連付けられる場合、組み合わせ分類器３３０は、複数の物体カテゴリの各々に対する入力画像４０２を分類する。

組み合わせ分類器３３０はまた、図３Ａ〜図３Ｃに関して上記に説明されるように、物体スコア調節を実施し得る。

いくつかの実装形態では、組み合わせ分類器３３０は、特定の物体カテゴリに属さない稀に存在する物体として識別される物体と、特定の物体カテゴリに実際に属する稀に存在する物体として識別される物体との間を区別することができる。例えば、組み合わせ分類器３３０は、交通標識ではない珍しい交通標識（例えば、図３Ａに図示される検出された物体３０２Ａ）と、交通標識の歪んだ画像内の物体（例えば、交通標識の歪んだ物体）との間を区別するように訓練され得る。この例では、組み合わせ分類器３３０は、稀に存在する物体が、特定の物体カテゴリに属するべきではない実際の物体であるときに、珍しい事例分類器３２０によって識別された物体を検証することによって、システムの画像分類性能を改善するために使用され得る。

単一組み合わせ分類器３３０が図４に図示されているが、アーキテクチャ４００は、１つ以上の異なる物体カテゴリと各々関連付けられている複数の組み合わせ分類器の使用を可能にする。一般事例分類器３１０および珍しい事例分類器３２０が複数の物体の分類を実施する実装形態では、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂは、単一物体カテゴリに関して各々セグメント化され得る。セグメント化された出力は、次いで、対応する物体カテゴリと関連付けられているそれぞれの組み合わせ分類器に対する入力として提供される。例えば、一般事例出力３０４Ａおよび珍しい事例出力３０４Ｂが「停止標識」および「車両」の物体カテゴリに対する物体スコアを含む場合、「停止標識」物体カテゴリに対する物体スコアと関連付けられている出力３０４Ａおよび３０４Ｂの部分が、第１の組み合わせ分類器に対する入力として提供され、「車両」物体カテゴリに対する物体スコアと関連付けられている出力３０４Ａおよび３０４Ｂの部分が、第２の組み合わせ分類器に対する入力として提供される。この例では、複数の組み合わせ分類器の使用は、特定の物体カテゴリに関する画像分類の正確さを改善するために使用され得る。

加えて、一般事例分類器、珍しい事例分類器、および組み合わせ分類器によって実施される機能は、車両内に物理的に配置された車載用システムを動作させる車両の文脈で説明され、分類器は、他の目的で他の種類の画像を分類する１つ以上のコンピュータの他のシステムの一部として追加的に使用され得る。例えば、全体を通して説明されている技術は、資産の外部のセキュリティ映像を取得するカメラによって取得された画像の分類を改善するために、技術を使用して資産の条件を監視するために適用可能であり得る。

説明された特徴は、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組み合わせで実装され得る。装置は、情報担体、例えば、プログラマブルプロセッサによる実行のための機械可読記憶デバイス内に実体的に具現化されるコンピュータプログラム製品内で実装され得、方法ステップは、命令のプログラムを実行するプログラマブルプロセッサによって実施されて、入力データを処理し、出力を生成することによって、説明された実装形態の機能を実施し得る。説明された特徴は、有利には、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、かつそれらにデータおよび命令を送信するために連結された少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能である１つ以上のコンピュータプログラムに実装され得る。コンピュータプログラムは、特定の活動を実施するか、特定の結果をもたらすために、コンピュータ内で直接的または間接的に使用され得る一組の命令である。コンピュータプログラムは、コンパイルまたはインタプリタ言語を含むプログラミング言語の任意の形態で書き込まれ得、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境内での使用のために好適な他のユニットとして含む、任意の形態で展開され得る。

命令のプログラムの実行用の好適なプロセッサは、例として、汎用および専用マイクロプロセッサの両方、および任意の種類のコンピュータの単独のプロセッサまたはマルチプロセッサのうちの１つを含む。一般的に、プロセッサは、読み出し専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受信することになる。コンピュータの本質的な要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを記憶するための１つ以上のメモリである一般的に、コンピュータはまた、データファイルを記憶するための１つ以上の大容量記憶デバイスを含むか、またはそれと通信するように動作可能に連結され、そのようなデバイスは、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびに光ディスクを含む。コンピュータプログラム命令およびデータを実体的に用いるために好適な記憶デバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む、全ての形態の不揮発性メモリを含む。プロセッサおよびメモリは、ＡＳＩＣ（特定用途向け集積回路）によって補足されてもよく、またはそれに組み込まれてもよい。

ユーザとの対話を提供するために、特徴は、ユーザに情報を表示するためのＣＲＴ（ブラウン管）またはＬＣＤ（液晶ディスプレイ）モニタなどのディスプレイデバイスと、ユーザがコンピュータに入力を提供することができるキーボードおよびマウスまたはトラックボールなどのポインティングデバイスと、を有するコンピュータ上に実装され得る。加えて、そのような活動は、タッチ画面フラットパネルディスプレイおよび他の適切な機構を介して実施され得る。

特徴は、データサーバなどのバックエンド構成要素を含むか、アプリケーションサーバもしくはインターネットサーバなどのミドルウェア構成要素を含むか、グラフィカルユーザインターフェースもしくはインターネットブラウザを有するクライアントコンピュータなどのフロントエンド構成要素を含むか、またはそれらの任意の組み合わせである、コンピュータシステム内に実装され得る。システムの構成要素は、通信ネットワークなどのデジタルデータ通信の任意の形態または媒体によって接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、ピアツーピアネットワーク（アドホックまたは静的メンバを有する）、グリッドコンピューティング基盤、およびインターネットが挙げられる。

コンピュータシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、概して、互いに遠隔にあり、典型的には、説明されたものなどのネットワークを通して対話する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で動作し、互いにクライアント−サーバ関係を有するコンピュータプログラムによって生じる。

本明細書は、多くの特定の実装の詳細を含有するが、これらは、任意の発明、または特許請求の範囲にあり得るものの範囲に対する限定として解釈されるべきではなく、特定の発明の特定の実装形態に特有の特徴の説明として解釈されるべきである。別個の実装形態の文脈で本明細書に説明されている特定の特徴はまた、単一実装形態に組み合わせて実装されてもよい。反対に、単一実装形態の文脈で説明されている様々な特徴はまた、複数の実装形態に別個に、または任意の好適な部分的組み合わせで実装されてもよい。さらに、特徴は、特定の組み合わせで作用するように上記に説明され、さらに最初にそのように主張されているが、特許請求の範囲の組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、特許請求の範囲の組み合わせは、部分的組み合わせまたは部分的組み合わせの変形形態を対象とし得る。

同様に、オペレーションが、特定の順番で図面に図示されているが、これは、そのようなオペレーションが示される特定の順番または順序で実施されること、または全ての例示されたオペレーションが、所望される結果を達成するために実施されることを必要とするように理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利であり得る。さらに、上記に説明された実施形態の様々なシステムモジュールおよび構成要素の分離は、全ての実施形態でそのような分離を必要とするように理解されるべきではなく、説明されたプログラム構成要素およびシステムが、概して、単一ソフトウェア製品内に一緒に統合されてもよく、または複数のソフトウェア製品にパッケージ化されてもよいことが理解されるべきである。

主題の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲の範囲内である。例えば、特許請求の範囲に記載された作用は、異なる順番で実施されてもよく、依然として所望の結果を達成し得る。一例として、添付図面に図示されたプロセスは、所望の結果を達成するために、示される特定の順番または順序を必ずしも必要としない。特定のいくつかの場合では、マルチタスクおよび並列処理が有利であり得る。

Claims (14)

1. 方法であって、
   入力画像を受信することと、
   一般事例ニューラルネットワークを使用して前記入力画像を処理することであって、前記一般事例ニューラルネットワークが、前記入力画像を処理して、１つ以上の第１の物体カテゴリの各々に対応するそれぞれの第１の物体スコアを含む一般事例出力を生成するように構成されており、各第１の物体スコアは、前記入力画像が、前記対応する第１の物体カテゴリに属する物体の画像を含む可能性を表す、処理することと、
   珍しい事例ニューラルネットワークを使用して前記入力画像を処理することであって、前記珍しい事例ニューラルネットワークは、前記入力画像を処理して、前記入力画像が前記一般事例ニューラルネットワークによって不正確に分類されることになる可能性を表す珍しさスコアを含む珍しい事例出力を生成するように構成されている、処理することと、
   前記珍しさスコアを使用して前記入力画像を分類する際に前記１つ以上のそれぞれの第１の物体スコアに割り当てられるべき重みを決定することと、
   前記決定された重みに従って前記入力画像を分類することと、を含む、方法。
2. 前記珍しい事例ニューラルネットワークが、前記一般事例ニューラルネットワークよりも少ないパラメータを有する、請求項１に記載の方法。
3. 前記珍しい事例ニューラルネットワークが、前記一般事例ニューラルネットワークによって誤分類された訓練画像で訓練されている、請求項１または２に記載の方法。
4. 前記珍しい事例ニューラルネットワークが、前記一般事例ニューラルネットワークを訓練するために使用された画像内で稀に起こる物体タイプの画像で訓練されている、請求項１〜３のいずれか一項に記載の方法。
5. 前記珍しい事例出力が、１つ以上の第２の物体カテゴリの各々に対応するそれぞれの第２の物体スコアをさらに含み、各第２の物体スコアは、前記入力画像が前記対応する第２の物体カテゴリに属する物体の画像を含む可能性を表し、
   前記方法は、重みを決定して、前記珍しさスコアを使用して前記入力画像を分類する際の前記１つ以上の第２の物体スコアを割り当てることをさらに含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記第２の物体カテゴリが、前記第１の物体カテゴリのうちの１つ以上を含む、請求項５に記載の方法。
7. 重みを決定して、前記１つ以上の第２の物体スコアを割り当てることが、前記第２の物体スコアの前記重みとして前記珍しさスコアを使用することを含む、請求項５または６に記載の方法。
8. 重みを決定して、前記１つ以上の第２の物体スコアおよび前記１つ以上の第１の物体スコアを割り当てることは、
   前記珍しさスコアが所定閾値を満たさないことを決定することと、
   応答して、前記入力画像を分類する際に前記１つ以上のそれぞれの第２の物体スコアに割り当てられた前記重みを減少させることと、を含む、請求項５または６に記載の方法。
9. 重みを決定して、前記１つ以上の第２の物体スコアおよび前記１つ以上の第１の物体スコアを割り当てることは、
   前記珍しさスコアが所定閾値を満たすことを決定することと、
   前記珍しさスコアが所定閾値を満たす決定に応答して、前記入力画像を分類する際に前記１つ以上のそれぞれの第１の物体スコアに割り当てられた前記重みを減少させることと、を含む、請求項５または６に記載の方法。
10. 前記１つ以上のそれぞれの第１の物体スコアに割り当てられた前記重みを減少させることが、前記第１の物体スコアが前記入力画像を分類する際に使用されないことを示す値に重みを割り当てることを含む、請求項９に記載の方法。
11. 前記入力画像を分類することは、
    組み合わせニューラルネットワークを使用して前記一般事例出力および前記珍しい事例出力を処理することであって、前記組み合わせニューラルネットワークが、前記１つ以上の第１の物体カテゴリの各々に対応するそれぞれの第３の物体スコアを計算するように構成されており、各第３の物体スコアが、前記１つ以上のそれぞれの第１の物体スコアに割り当てられた決定された重み、および前記１つ以上のそれぞれの第２の物体スコアに割り当てられた決定された重みに基づいて、計算されている、処理することと、
    前記第３の物体スコアの前記それぞれの値に基づいて、前記入力画像を分類することと、を含む、請求項５〜１０のいずれか一項に記載の方法。
12. 前記重みを決定して、前記１つ以上のそれぞれの第１の物体スコアを割り当てることは、
    前記珍しさスコアが所定閾値を満たすことを決定することと、
    珍しさスコアが所定閾値を満たす決定に応答して、前記入力画像を分類する際に前記１つ以上のそれぞれの第１の物体スコアに割り当てられた前記重みを減少させることと、を含む、請求項１〜１１のいずれか一項に記載の方法。
13. システムであって、
    １つ以上のコンピュータと、
    命令を記憶する１つ以上の記憶デバイスと、を備え、前記命令が、前記１つ以上のコンピュータによって実行されると、前記１つ以上のコンピュータに、請求項１〜１２のいずれか一項に記載のそれぞれの方法のオペレーションを実施させる、システム。
14. コンピュータプログラム命令を用いてエンコードされた１つ以上のコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令が、１つ以上のコンピュータによって実行されると、前記１つ以上のコンピュータに、請求項１〜１２のいずれか一項に記載のそれぞれの方法のオペレーションを実施させる、１つ以上のコンピュータ可読記憶媒体。