JP2020119552A - テストパターンを使用してコンボリューションパラメータの無欠性を検証する過程で所要されるコンピューティングリソースを節約し、極度の状況で欠陥許容能力及び揺れに強靭な性質を向上させる方法及び装置 - Google Patents

Abstract

【課題】テストパターンを使用してコンボリューションパラメータの無欠性を検証する過程で所要されるコンピューティングリソースを節約する。【解決手段】映像の第（ｔ−ｉ２）フレーム及び第（ｔ−ｉ１）フレームに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージに関する情報が取得されると、背景予測ユニットをもって、第（ｔ−２）イメージ及び第（ｔ−１）イメージに関する情報を参照し、第ｔイメージの第ｔ背景予測情報を生成させ、第ｔイメージが取得されると、パターン挿入ユニットをもって、第ｔ背景予測情報を参照して、第ｔイメージにテストパターンを挿入することにより検証用入力を生成させ、ニューラルネットワークをもって、検証用入力にコンボリューション演算を適用して検証用出力を生成させ、検証ユニットをもって、検証用出力及びテストパターンに対応する参照用出力を参照してニューラルネットワークの無欠性を判断させる。【選択図】図２

Description

本発明は、テストパターンを使用してコンボリューションパラメータの無欠性を検証する過程で所要されるコンピューティングリソースを節約することができる方法及び装置に関する。より詳細には、少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法において、（ａ）コンピューティング装置が、映像の第（ｔ−ｉ２）フレーム及び第（ｔ−ｉ１）フレームそれぞれに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、少なくとも一つの背景予測ユニットをもって、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに関する情報を参照して、第ｔイメージの第ｔ背景予測情報を生成させる段階：（ｂ）前記コンピューティング装置が、前記第ｔイメージが取得されると、少なくとも一つのパターン挿入ユニットをもって、前記第ｔ背景予測情報を参照して、前記第ｔイメージに前記テストパターンを挿入することにより、少なくとも一つの検証用入力を生成させる段階；（ｃ）前記コンピューティング装置が、前記ニューラルネットワークをもって、前記検証用入力に一つ以上のコンボリューション演算を適用して少なくとも一つの検証用出力を生成させる段階；及び（ｄ）前記コンピューティング装置が、少なくとも一つの検証ユニットをもって、前記検証用出力及び前記テストパターンに対応する少なくとも一つの参照用出力を参照して、前記ニューラルネットワークの無欠性を判断させる段階；を含むことを特徴とする方法及び装置に関する。

ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にも使用されていたが、近年になって初めて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にイメージ認識コンテスト（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは、機械学習分野で非常に有用なツールとして使用されるようになった。

ＣＮＮは時として自動車の自律走行分野で使用されているが、これは主に自動車に取り付けられたカメラを通じて取得されたイメージを分析することで障害物を検出し、自由空間を検出するなどの機能を遂行して安全に車両が走行し得るようにする。

十分な学習過程を経て学習した自律走行用ＣＮＮを実際に自律走行に投入する場合、非常に重要に考えるべきことは自律走行用ＣＮＮのセキュリティである。自律走行車両は速い速度で動き、大きな質量を有するだけに、誤って走行した場合の危険性が高いからである。具体的に、もし悪意を持ったハッカーが自主走行用ＣＮＮをハッキングして自律走行用ＣＮＮに含まれたパラメータを変調すれば、自律走行用車両を意図的にテロに利用したり自律走行車両に搭乗した人を攻撃することができるからである。

したがって、テスト過程でＣＮＮのパラメータが、ＣＮＮが最初の学習を完了したときと同じパラメータを保持しているかを検証する方法が必要であるが、これまでの研究は自律走行用ＣＮＮが車両をいかにうまく動かすことができるかについて主に焦点が当てられていたのであり、このようにセキュリティを維持する方法についてはあまり研究されていないのが現実である。

また、他の分野に関する従来技術を応用してＣＮＮのセキュリティを維持する監視システムを作るとしても、ＣＮＮの演算過程以外のさらなる演算過程が多いため、ＣＮＮの本来機能の性能低下を招きかねない短所がある。

本発明は上述した問題点を解決することを目的とする。

本発明は、少なくとも一つのテストパターンを使用してＣＮＮの一つ以上のパラメータの無欠性を検証し、その検証過程に所要されるコンピューティングリソースを節約することができる方法を提供することにより、ＣＮＮが本来の機能を十分に遂行しつつも、そのパラメータの無欠性が検証され得るようにする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。

本発明の一態様によると、少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法において、（ａ）コンピューティング装置が、映像の第（ｔ−ｉ２）フレーム及び第（ｔ−ｉ１）フレームそれぞれに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、少なくとも一つの背景予測ユニットをもって、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに関する情報を参照して、第ｔイメージの第ｔ背景予測情報を生成させる段階；（ｂ）前記コンピューティング装置が、前記第ｔイメージが取得されると、少なくとも一つのパターン挿入ユニットをもって、前記第ｔ背景予測情報を参照して、前記第ｔイメージに前記テストパターンを挿入することにより、少なくとも一つの検証用入力を生成させる段階；（ｃ）前記コンピューティング装置が、前記ニューラルネットワークをもって、前記検証用入力に一つ以上のコンボリューション演算を適用して少なくとも一つの検証用出力を生成させる段階；及び（ｄ）前記コンピューティング装置が、少なくとも一つの検証ユニットをもって、前記検証用出力及び前記テストパターンに対応する少なくとも一つの参照用出力を参照して、前記ニューラルネットワークの無欠性を判断させる段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ａ）段階は、前記コンピューティング装置が、前記背景予測ユニットをもって、前記第（ｔ−２）イメージに関する第（ｔ−２）背景中心情報及び前記第（ｔ−１）イメージに関する第（ｔ−１）背景中心情報を参照して、第（ｔ−１）イメージ及び第（ｔ−１）イメージに含まれた背景に対応する、前記第ｔイメージ上における背景の中心位置を予測させることにより、前記第ｔ背景予測情報を生成させることを特徴とする方法が提供される。

一実施例において、前記（ａ）段階は、前記コンピューティング装置が、前記背景予測ユニットをもって、（ｉ）前記第（ｔ−２）イメージで少なくとも一つの第（ｔ−２）特定背景領域の実際の中心座標と、（ｉｉ）前記第（ｔ−２）特定背景領域に対応する、前記第（ｔ−１）イメージ上における少なくとも一つの第（ｔ−１）特定背景領域の実際の中心座標との間の差異情報を生成させ、前記コンピューティング装置が、前記背景予測ユニットをもって、前記差異情報及び前記第（ｔ−１）特定背景領域の実際の中心座標を参照して、前記第ｔ背景予測情報を生成させ、前記第（ｔ−２）特定背景領域の実際の中心座標は、前記第（ｔ−２）背景中心情報に含まれ、前記第（ｔ−１）特定背景領域の実際の中心座標は、前記第（ｔ−１）背景中心情報に含まれることを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、前記パターン挿入ユニットをもって、前記テストパターンの中心座標が前記第ｔイメージで少なくとも一つの第ｔ特定背景領域の予測中心座標に位置するように前記第ｔイメージに前記テストパターンを挿入させ、前記第ｔ特定背景領域は、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに含まれた第（ｔ−２）特定背景領域及び第（ｔ−１）特定背景領域それぞれに対応し、前記第ｔ特定背景領域の予測中心座標は、前記第ｔ背景予測情報に含まれることを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、前記パターン挿入ユニットをもって、前記テストパターンの一つ以上の境界部分に、前記ニューラルネットワークのコンボリューションカーネル（ｋｅｒｎｅｌ）の大きさに対応する幅を有する少なくとも一つのゼロパターンを追加させることにより、前記テストパターンが、前記ニューラルネットワークによって前記第ｔイメージに適用される一つ以上の演算に影響を与えないようにすることを特徴とする方法が提供される。

一実施例において、前記（ｄ）段階は、前記コンピューティング装置が、前記検証ユニットをもって、前記検証用出力の全体領域のうちで、前記テストパターンに対応する少なくとも一つの特定領域に含まれた値と前記参照用出力に含まれた値とを比較して、前記特定領域に含まれた値のうちで少なくとも一つの値がこれに対応する参照用前記出力に含まれた値と異なる場合、前記コンピューティング装置が、前記検証ユニットをもって、前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部が変更されたと判断させることを特徴とする方法が提供される。

一実施例において、前記（ａ）段階以前に、前記コンピューティング装置のセキュリティレベルが臨界レベル以上である場合、前記ニューラルネットワークが前記テストパターンに一つ以上のコンボリューション演算を適用することにより、前記参照用出力を生成した状態であることを特徴とする方法が提供される。

一実施例において、前記（ｃ）段階以後に、（ｅ）前記コンピューティング装置が、少なくとも一つの中心計算ユニットをもって、前記第ｔイメージで少なくとも一つの背景領域の実際の中心座標を計算させる段階；をさらに含むことを特徴とする方法が提供される。

一実施例において、前記映像の第（ｔ＋ｉ３）フレームに対応する第（ｔ＋１）イメージが取得されると、前記コンピューティング装置が、前記背景予測ユニットをもって、前記第（ｔ＋１）イメージに対する第（ｔ＋１）背景予測情報を生成させる際に、前記第ｔイメージで前記背景領域の前記実際の中心座標が使用されることを特徴とする方法が提供される。

本発明の他の態様によると、少なくとも一つの入力イメージから生成された少なくとも一つの統合イメージに少なくとも一つのテストパターンを挿入することにより、コンボリューションユニットの一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法において、（ａ）コンピューティング装置が、前記入力イメージが取得されると、ターゲット領域予測ネットワークをもって、前記入力イメージまたはこれに対応する一つ以上のリサイズされた各イメージにおいて、一つ以上のターゲット物体がそれぞれ位置するものと予測される第１ターゲット領域ないし第ｎターゲット領域を予測させる段階；（ｂ）前記コンピューティング装置が、少なくとも一つのイメージ加工ネットワークをもって、前記入力イメージまたはこれに対応するリサイズされたイメージから、前記第１ターゲット領域ないし前記第ｎターゲット領域それぞれに対応する第１加工イメージないし第ｎ加工イメージを生成させ、前記第１加工イメージないし前記第ｎ加工イメージをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）することにより前記統合イメージを生成させ、前記コンカチネートされる時点で、前記第１加工イメージないし前記第ｎ加工イメージのうちで少なくとも一部の互いに隣接した各加工イメージの間に前記テストパターンを挿入させる段階；（ｃ）前記コンピューティング装置が、前記コンボリューションユニットをもって、前記統合イメージに前記コンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成させる段階；及び（ｄ）前記コンピューティング装置が、少なくとも一つの検証ユニットをもって、前記特徴マップ上にある、前記テストパターンに対応する少なくとも一つの領域に含まれた値及び前記コンボリューションユニットにより前記テストパターンに適用された一つ以上の演算結果に対応する少なくとも一つの参照用出力に含まれた値を参照して、前記コンボリューションユニットの前記無欠性を検証させる段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ｃ）段階以後に、（ｅ）前記コンピューティング装置が、前記特徴マップが取得されると、少なくとも一つの物体検出器をもって、前記入力イメージで一つ以上の物体に関するクラス情報及び位置情報を生成させる段階；をさらに含むことを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階は、少なくとも一つのゼロパターンは、前記統合イメージの前記テストパターンとそれぞれの隣接した加工イメージとの間に位置し、前記ゼロパターンの幅は前記ニューラルネットワークのコンボリューションカーネルの大きさに対応することを特徴とする方法が提供される。

本発明のまた他の態様によると、少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）映像の（ｔ−ｉ２）フレーム及び（ｔ−ｉ１）フレームそれぞれに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、少なくとも一つの背景予測ユニットをもって、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに関する情報を参照して、第ｔイメージの第ｔ背景予測情報を生成させるプロセス；（ＩＩ）前記第ｔイメージが取得されると、少なくとも一つのパターン挿入ユニットをもって、前記第ｔ背景予測情報を参照して、前記第ｔイメージに前記テストパターンを挿入することにより少なくとも一つの検証用入力を生成させるプロセス；（ＩＩＩ）前記ニューラルネットワークをもって、前記検証用入力に一つ以上のコンボリューション演算を適用して少なくとも一つの検証用出力を生成させるプロセス；及び（ＩＶ）少なくとも一つの検証ユニットをもって、前記検証用出力及び前記テストパターンに対応する少なくとも一つの参照用出力を参照して、前記ニューラルネットワークの無欠性を判断させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするコンピューティング装置が提供される。

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記背景予測ユニットをもって、前記第（ｔ−２）イメージに関する第（ｔ−２）背景中心情報及び前記第（ｔ−１）イメージに関する第（ｔ−１）背景中心情報を参照して、第（ｔ−１）イメージ及び第（ｔ−１）イメージに含まれた背景に対応する、前記第ｔイメージ上における背景の中心位置を予測させることにより、前記第ｔ背景予測情報を生成させることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記背景予測ユニットをもって、（ｉ）前記第（ｔ−２）イメージで少なくとも一つの第（ｔ−２）特定背景領域の実際の中心座標と、（ｉｉ）前記第（ｔ−２）特定背景領域に対応する、前記第（ｔ−１）イメージ上における少なくとも一つの第（ｔ−１）特定背景領域の実際の中心座標との間の差異情報を生成させ、前記プロセッサが、前記背景予測ユニットをもって、前記差異情報及び前記第（ｔ−１）特定背景領域の実際の中心座標を参照して、前記第ｔ背景予測情報を生成させ、前記第（ｔ−２）特定背景領域の実際の中心座標は、前記第（ｔ−２）背景中心情報に含まれ、前記第（ｔ−１）特定背景領域の実際の中心座標は、前記第（ｔ−１）背景中心情報に含まれることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、前記パターン挿入ユニットをもって、前記テストパターンの中心座標が前記第ｔイメージで少なくとも一つの第ｔ特定背景領域の予測中心座標に位置するように、前記第ｔイメージに前記テストパターンを挿入させ、前記第ｔ特定背景領域は、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに含まれた第（ｔ−２）特定背景領域及び第（ｔ−１）特定背景領域それぞれに対応し、前記第ｔ特定背景領域の予測中心座標は、前記第ｔ背景予測情報に含まれることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、前記パターン挿入ユニットをもって、前記テストパターンの一つ以上の境界部分に、前記ニューラルネットワークのコンボリューションカーネル（ｋｅｒｎｅｌ）の大きさに対応する幅を有する少なくとも一つのゼロパターンを追加させることにより、前記テストパターンが、前記ニューラルネットワークによって前記第ｔイメージに適用される一つ以上の演算に影響を与えないようにすることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＶ）プロセスは、前記プロセッサが、前記検証ユニットをもって、前記検証用出力の全体領域のうちで、前記テストパターンに対応する少なくとも一つの特定領域に含まれた値と前記参照用出力に含まれた値とを比較して、前記特定領域に含まれた値のうちで少なくとも一つの値がこれに対応する参照用前記出力に含まれた値と異なる場合、前記プロセッサが、前記検証ユニットをもって、前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部が変更されたと判断させることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（Ｉ）プロセス以前に、前記プロセッサのセキュリティレベルが臨界レベル以上である場合、前記ニューラルネットワークが前記テストパターンに一つ以上のコンボリューション演算を適用することにより、前記参照用出力を生成した状態であることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩＩ）プロセス以後に、（Ｖ）前記プロセッサが、少なくとも一つの中心計算ユニットをもって、前記第ｔイメージで少なくとも一つの背景領域の実際の中心座標を計算させるプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。

一実施例において、前記映像の第（ｔ＋ｉ３）フレームに対応する第（ｔ＋１）イメージが取得されると、前記プロセスが、前記背景予測ユニットをもって、前記第（ｔ＋１）イメージに対する第（ｔ＋１）背景予測情報を生成させる際に、前記第ｔイメージで前記背景領域の前記実際の中心座標が使用されることを特徴とするコンピューティング装置が提供される。

本発明のまた他の態様によると、少なくとも一つの入力イメージから生成された少なくとも一つの統合イメージに少なくとも一つのテストパターンを挿入することにより、コンボリューションユニットの一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）前記入力イメージが取得されると、ターゲット領域予測ネットワークをもって、前記入力イメージまたはこれに対応する一つ以上のリサイズされた各イメージにおいて、一つ以上のターゲット物体がそれぞれ位置するものと予測される第１ターゲット領域ないし第ｎターゲット領域を予測させるプロセス；（ＩＩ）少なくとも一つのイメージ加工ネットワークをもって、前記入力イメージまたはこれに対応するリサイズされたイメージから、前記第１ターゲット領域ないし前記第ｎターゲット領域それぞれに対応する第１加工イメージないし第ｎ加工イメージを生成させ、前記第１加工イメージないし前記第ｎ加工イメージをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）することにより前記統合イメージを生成させ、前記コンカチネートされる時点で、前記第１加工イメージないし前記第ｎ加工イメージのうちで少なくとも一部の互いに隣接した各加工イメージの間に前記テストパターンを挿入させるプロセス；（ＩＩＩ）前記コンボリューションユニットをもって、前記統合イメージに前記コンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成させるプロセス；及び（ＩＶ）少なくとも一つの検証ユニットをもって、前記特徴マップ上にある、前記テストパターンに対応する少なくとも一つの領域に含まれた値と、前記コンボリューションユニットによって前記テストパターンに適用された一つ以上の演算結果に対応する少なくとも一つの参照用出力に含まれた値とを参照して、前記コンボリューションユニットの前記無欠性を検証させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩＩ）プロセス以後に、（Ｖ）前記プロセッサが、前記特徴マップが取得されると、少なくとも一つの物体検出器をもって、前記入力イメージで一つ以上の物体に関するクラス情報及び位置情報を生成させるプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩ）プロセスは、少なくとも一つのゼロパターンは、前記統合イメージの前記テストパターンとそれぞれの隣接した加工イメージとの間に位置し、前記ゼロパターンの幅は前記ニューラルネットワークのコンボリューションカーネルの大きさに対応することを特徴とするコンピューティング装置が提供される。

本発明は、テストパターンを使用してニューラルネットワークのパラメータの無欠性を検証し、その検証過程に所要されるコンピューティングリソースを節約することができる方法を提供することで、ＣＮＮが本来の機能を十分に遂行しながらもそのパラメータの無欠性が検証され得るようにする効果がある。

また、本発明は、計算の減少、データ圧縮等により、ニューラルネットワークにおける欠陥許容能力、機能的な安全性、極度の状況において揺れに強靭な性質を向上させるために使用され得、注釈費用の削減にも使用され得る。

本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

本発明の一実施例にしたがって少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法を遂行するコンピューティング装置の構成を示した図面である。 本発明の一実施例にしたがって入力イメージの背景領域にテストパターンを挿入することにより、ニューラルネットワークのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法のチャートを示した図面である。 本発明の一実施例にしたがって入力イメージの背景領域にテストパターンを挿入することにより、ニューラルネットワークのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法を使用して第ｔ背景予測情報、検証用入力、検証用出力を生成するプロセスを簡略に示した図面である。 本発明の他の実施例にしたがって少なくとも一つの入力イメージから生成された少なくとも一つの統合イメージに少なくとも一つのテストパターンを挿入することにより、コンボリューションユニットの一つ以上のパラメータの無欠性を検証し、コンピューティングリソースを節約する方法を遂行するコンピューティング装置の構成を示した図面である。 本発明の他の実施例にしたがって入力イメージから生成された統合イメージにテストパターンを挿入することにより、コンボリューションユニットのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法のチャートを示した図面である。 本発明の他の実施例にしたがって入力イメージから生成された統合イメージにテストパターンを挿入することにより、コンボリューションユニットのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法で使用される統合イメージを示した例示図である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法を遂行するコンピューティング装置の構成を示した図面である。

図１を参照すると、コンピューティング装置１００は、追って詳しく説明する構成要素である少なくとも一つの背景予測ユニット１３０、少なくとも一つのパターン挿入ユニット１４０、少なくとも一つのニューラルネットワーク１５０、少なくとも一つの検証ユニット１６０及び少なくとも一つの中心計算ユニット１７０を含むことができる。背景予測ユニット１３０、パターン挿入ユニット１４０、ニューラルネットワーク１５０、検証ユニット１６０及び中心計算ユニット１７０の入出力及び演算の過程は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この際、少なくとも一つのメモリ１１５は、後述する様々な各インストラクションを予め格納した状態であり得、プロセッサ１２０はメモリ１１５に格納された各インストラクションを実行するように設定され、プロセッサ１２０は追って説明する各プロセスを実行することにより、本発明を遂行することができる。このようにコンピューティング装置１００が描写されたからといって、コンピューティング装置１００が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。

以上、コンピューティング装置１００の全体的な構成について説明したところ、コンピューティング装置１００が遂行する、本発明の一実施例にしたがって入力イメージの背景領域にテストパターンを挿入することにより、ニューラルネットワークのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法について説明することにする。このために図２を参照する。

図２は、本発明の一実施例にしたがって入力イメージの背景領域にテストパターンを挿入することにより、ニューラルネットワークのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法のチャートを示した図面である。

図２を参照すると、第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、これら背景予測ユニット１３０に入力されることを確認することができる。以後、背景予測ユニット１３０から第ｔ背景予測情報が出力されると、パターン挿入ユニット１４０は第ｔイメージとテストパターンとを利用して少なくとも一つの検証用入力を生成し、ニューラルネットワーク１５０は検証用入力に一つ以上のコンボリューション演算を適用することにより、少なくとも一つの検証用出力を生成し、検証ユニット１６０及び中心計算ユニット１７０は一つ以上の検証用出力を取得することができる。

具体的に、映像の第（ｔ−ｉ２）フレーム及び第（ｔ−ｉ１）フレームそれぞれに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、コンピューティング装置１００が、背景予測ユニットをもって、前記第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報を参照して、第ｔイメージの第ｔ背景予測情報を生成させることができる。ｉ２及びｉ１は任意の常数（ｉｎｔｅｇｅｒ）であり得るが、ｉ２はｉ１より大きい値であるはずである。第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報を利用して、第ｔ背景予測情報を生成することができる。背景領域の動きは、以前フレーム、例えば第（ｔ−ｉ２）フレーム及び第（ｔ−ｉ１）フレームに対応する各イメージを参照して予測され得る。

つまり、コンピューティング装置１００が、背景予測ユニット１３０をもって、第（ｔ−２）イメージに関する第（ｔ−２）背景中心情報及び第（ｔ−１）イメージに関する第（ｔ−１）背景中心情報を参照して、第（ｔ−２）イメージ及び第（ｔ−１）イメージに含まれた背景に対応する、第ｔイメージ上における背景の中心位置を予測することができる。したがって、第ｔ背景予測情報を生成することができるのである。

例えば、第（ｔ−２）イメージに含まれた少なくとも一つの第（ｔ−２）特定背景領域が存在し、第（ｔ−１）イメージに、第（ｔ−２）特定背景領域に対応する領域である少なくとも一つの第（ｔ−１）特定背景領域が存在すると仮定する。ここで、第（ｔ−２）特定背景領域と第（ｔ−１）特定背景領域は、実際には同じ部分をカメラが撮影したものであるが、カメラが動くにつれてイメージ上における相対的な位置が変更された領域であり得る。

また、コンピューティング装置１００は、背景予測ユニット１３０をもって、第（ｔ−２）特定背景領域の実際の中心座標及び第（ｔ−１）特定背景領域の実際の中心座標間の差異情報を生成させ、前記第（ｔ−２）特定背景領域の実際の中心座標は、前記第（ｔ−２）背景中心情報に含まれ、前記第（ｔ−１）特定背景領域の実際の中心座標は、前記第（ｔ−１）背景中心情報に含まれる。このような差異情報は、第（ｔ−２）特定背景領域に対応する３次元領域が第（ｔ−ｉ２）フレームと第（ｔ−ｉ１）フレームとの間でどれだけ移動したのかに関する情報を含むことができる。以後、このような差異情報と、第（ｔ−１）特定背景領域の実際の中心座標とを参照して、第ｔ背景予測情報を生成させることができる。一例として、第（ｔ−１）特定背景領域の実際の中心座標及び前記差異情報を加算して第ｔ背景予測情報を生成させることができる。これは、第（ｔ−２）特定背景領域に対応する３次元領域が第（ｔ−ｉ２）フレームと第（ｔ−ｉ１）フレームとの間で動いた分だけ第（ｔ−ｉ１）フレームと第ｔフレームとの間で動いたものと予測するのである。このような第ｔ背景予測情報には、第（ｔ−２）特定背景領域及び第（ｔ−１）特定背景領域に対応する、第ｔイメージに含まれた少なくとも一つの第ｔ特定背景領域の予測中心座標情報が含まれるであろう。

この場合、他の例示として、ｉ２−ｉ１に対するｉ１の割合を前記差異情報に掛け合わせた後、掛け合わせた結果を第（ｔ−１）特定背景領域の実際の中心座標に適用して、第ｔ背景予測情報を生成することもできるはずである。これは、各フレーム間のイメージ撮影時間の差異が異なる場合、これを反映する場合にのみより正確に第ｔ背景予測情報を求めることができるからである。

図３は、先に説明したように、第ｔ背景予測情報を生成する例を示す。

図３は、本発明の一実施例にしたがって入力イメージの背景領域にテストパターンを挿入することにより、ニューラルネットワークのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法を使用して第ｔ背景予測情報、検証用入力、検証用出力を生成するプロセスを簡略に示した図面である。

図３を参照すると、ｉ２が２であり、ｉ１が１である場合に第ｔ背景予測情報を生成する過程を確認することができる。図３に含まれているそれぞれのイメージにおいて、それぞれの特定背景領域は空に対応する各領域であり得る。この際、第（ｔ−２）フレームに対応するイメージにおける第（ｔ−２）特定背景領域の実際の中心座標は（４０、５０）であり、第（ｔ−１）フレームに対応するイメージにおける第（ｔ−１）特定背景領域の実際の中心座標は（４５、５０）である。この場合、差異情報を演算すると（５、０）であるので、これを第（ｔ−１）特定背景領域の実際の中心座標である（４５、５０）に加算して、第ｔ特定背景領域の予測中心座標が（５０、５０）と生成され得るはずであろう。

このように、第ｔ背景予測情報が生成されると、コンピューティング装置１００が、パターン挿入ユニット１４０をもって、前記テストパターンの中心座標が前記第ｔイメージで少なくとも一つの第ｔ特定背景領域の予測中心座標に位置するように、前記第ｔイメージに前記テストパターンを挿入させ、前記第ｔ特定背景領域は、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージに含まれたそれぞれの第（ｔ−２）特定背景領域及び第（ｔ−１）特定背景領域それぞれに対応し、前記第ｔ特定背景領域の予測中心座標は、前記第ｔ背景予測情報に含まれる。一例として、予測中心座標にテストパターンの中心が位置するようにテストパターンを挿入させることができる。また、テストパターンの一つ以上の境界部分に、ニューラルネットワーク１５０のコンボリューションカーネル（ｋｅｒｎｅｌ）の大きさに対応する少なくとも一つのゼロパターンを追加することができる。

このようにテストパターン及びゼロパターンを追加することは、追って必要であり得る、第ｔイメージ上の物体に対する損傷情報を損なわないようにするためである。第ｔ特定背景領域の予測中心座標にテストパターンの中心座標を位置させる理由は、テストパターンが背景にあるとき、第ｔイメージ上の物体に関する情報が損なわれ得ないからである。ゼロパターンを追加することは、隣接したピクセルの様々な値を同時に使用するコンボリューション演算の特性上、緩衝領域、すなわち、バッファ領域が存在する場合のみにテストパターンが他の部分のコンボリューション演算に影響を及ぼし得ないからである。

以後、コンピューティング装置１００は、ニューラルネットワーク１５０をもって、検証用入力にコンボリューション演算を適用して検証用出力を生成させることができる。ニューラルネットワーク１５０は、ニューラルネットワークのパラメータの無欠性を検証することが本発明の目的であるところ、ニューラルネットワーク１５０は、すでに学習されていてもよい。検証用出力は、（ｉ）テストパターンに対応する少なくとも一つの検証用領域及び（ｉｉ）第ｔイメージの全体領域のうちでテストパターン及びゼロパターンを除いた少なくとも一つの領域に対応する少なくとも一つの検出用領域を含むことができる。

このような検証用出力が生成されると、コンピューティング装置１００は、検証ユニット１６０をもって、検証用出力及びテストパターンに対応する少なくとも一つの参照用出力を参照して、ニューラルネットワーク１５０の無欠性を判断させることができる。すなわち、検証用領域に含まれている各値と参照用出力に含まれている各値とを比較して、検証用領域に含まれた値のうちで少なくとも一つの値がこれに対応する参照用出力に含まれた値と異なる場合、ニューラルネットワーク１５０のパラメータの少なくとも一部が変更されたと判断することができるはずである。

ここで、コンピューティング装置１００のセキュリティレベルが臨界レベル以上である場合、ニューラルネットワーク１５０は、テストパターンにコンボリューション演算を適用して参照用出力を生成することができる。セキュリティレベルが臨界レベル以上であった場合に、テストパターンに対するコンボリューション演算の結果が、テストパターンに対するコンボリューション演算の結果と異なるのであれば、ニューラルネットワークのパラメータに誤りがあると判断することができる。この方法によると、ニューラルネットワーク１５０のパラメータの無欠性が検証され得るであろう。

検証ユニット１６０のこのようなプロセスと並列して、コンピューティング装置１００は、中心計算ユニット１７０をもって、第ｔイメージで第ｔ特定背景領域の実際の中心座標を計算させることができる。これは、第（ｔ＋１）イメージが第（ｔ＋ｉ３）フレームとして獲得されると、前記コンピューティング装置１００が、前記背景予測ユニット１３０をもって、前記第（ｔ＋１）イメージに対する第（ｔ＋１）背景予測情報を生成させる間、前記第ｔ特定背景領域の前記実際の中心座標が前記で言及したように使用され得る。

また、検証ユニット１６０及び中心計算ユニット１７０のプロセスと並列して、コンピューティング装置１００は、検証用出力で検出用領域を利用して、コンピューティング装置１００の本来の機能を遂行することができる。これは、例えばイメージセグメンテーション、物体検出などであり得る。

以上、本発明の一実施例によるコンボリューションパラメータの無欠性を検証するためのテストパターンを、入力イメージの背景部分に挿入することにより、コンピューティングリソースを節約しながらもニューラルネットワークのパラメータの無欠性を検証することができる方法について説明したところ、以下にて本発明の他の実施例について説明することとする。

図４は、本発明の他の実施例にしたがって少なくとも一つの入力イメージから生成された少なくとも一つの統合イメージに少なくとも一つのテストパターンを挿入することにより、コンボリューションユニットの一つ以上のパラメータの無欠性を検証し、コンピューティングリソースを節約する方法を遂行するコンピューティング装置の構成を示した図面である。

図４を参照すると、コンピューティング装置２００は、追って詳しく説明する構成要素である少なくとも一つのターゲット領域予測ネットワーク２３０、少なくとも一つのイメージ加工ネットワーク２４０、コンボリューションユニット２５０、少なくとも一つの検証ユニット２６０及び少なくとも一つの物体検出器２７０を含むことができる。ターゲット領域予測ネットワーク２３０、イメージ加工ネットワーク２４０、コンボリューションユニット２５０、検証ユニット２６０及び物体検出器２７０の入出力及び演算の過程はそれぞれ通信部２１０及びプロセッサ２２０によって行われ得る。ただし、図４では通信部２１０とプロセッサ２２０との具体的な連結関係を省略した。この際に、少なくとも一つのメモリ２１５は、後述する様々な各インストラクションを予め格納した状態であり得、プロセッサ２２０は、メモリ２１５に格納された各インストラクションを遂行するように設定され、プロセッサ２２０は、追って説明するプロセスを遂行することにより本発明を遂行することができる。このようにコンピューティング装置２００が描写されたからといって、コンピューティング装置２００が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。

以上、コンピューティング装置２００の全体的な構成について説明したところ、コンピューティング装置２００が遂行する、本発明の他の実施例にしたがって入力イメージから生成された統合イメージにテストパターンを挿入することにより、コンボリューションユニットのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法について説明することにする。このために図５を参照する。

図５は、本発明の他の実施例にしたがって入力イメージから生成された統合イメージにテストパターンを挿入することにより、コンボリューションユニットのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法のチャートを示した図面である。

図５を参照すると、ターゲット領域予測ネットワーク２３０に入力イメージが入力されると、ターゲット領域予測ネットワーク２３０、イメージ加工ネットワーク２４０及びコンボリューションユニット２５０を経て少なくとも一つの特徴マップが生成され得る。また、特徴マップ及び少なくとも一つの参照用出力が検証ユニット２６０に入力され、特徴マップが物体検出器２７０に入力される構成を確認することができる。以下、このような過程を具体的に検討する。

まず、入力イメージが取得されると、コンピューティング装置２００は、ターゲット領域予測ネットワーク２３０をもって、入力イメージまたはこれに対応するリサイズされたイメージにおいて、一つ以上のターゲット物体がそれぞれ位置するものと予測される第１ターゲット領域ないし第ｎターゲット領域を予測させることができる。

ここで、第１ターゲット領域ないし第ｎターゲット領域は、入力イメージ内のターゲット物体のうちで多数の異なるターゲット物体に対応することもでき、大きさが互いに異なる多数のイメージ内における少なくとも一つの同一のターゲット物体に対応することもできる。また、第１ターゲット領域ないし第ｎターゲット領域は、入力イメージの少なくとも一部及びその大きさがリサイズされたイメージを含むイメージピラミッドに含まれたそれぞれのイメージ内に位置するものと予測された各ターゲット物体に対応し得る。ターゲット物体とは、入力イメージ上で検出されるべき各物体を意味し得る。

したがって、ターゲット領域予測ネットワーク２３０は、入力イメージ内に第１ターゲット物体ないし第ｎターゲット物体が位置するものと推定される領域に対応して第１ターゲット領域ないし第ｎターゲット領域を検索するか、入力イメージから得たリサイズされた第１リサイズイメージないし第ｎリサイズイメージそれぞれに少なくとも一つの特定ターゲット物体が位置するものと推定される領域に対応して第１ターゲット領域ないし第ｎターゲット領域を検索することができる。

また、ターゲット領域予測ネットワーク２３０は、入力イメージで単一のターゲット物体が位置するものと推定される特定領域に対応する特定ターゲット領域を検索し、入力イメージから得たリサイズされた第１リサイズイメージないし第ｎリサイズイメージのそれぞれにおいて単一ターゲット物体が位置するものと推定される特定領域に対応する第１ターゲット領域ないし第ｎターゲット領域を検索することができる。

さらに、入力イメージ内に多数のターゲット物体がある場合、ターゲット領域予測ネットワーク２３０によって、リサイズイメージのそれぞれにおいてそれぞれのターゲット物体に対応するそれぞれのターゲット領域を推定することができる。

このような各ターゲット領域を取得することができる方法についてさらに具体的に説明すると、まず、ターゲット領域予測ネットワーク２３０は、入力イメージまたはこれに対応するリサイズされた各イメージそれぞれに対するそれぞれのスケールヒストグラムを計算させ、計算されたスケールヒストグラムを参照して、ターゲット物体が位置するものと推定される各スケールプロポーザルに対応して第１ターゲット領域ないし第ｎターゲット領域を推定することができる。

また、ターゲット領域予測ネットワーク２３０は、入力イメージまたはこれに対応するリサイズされたイメージそれぞれに対してセグメンテーションを遂行し、これに基づいてターゲット領域を検索するためのシード（ｓｅｅｄ）を設定した後、小さなターゲット領域を繰り返し大きな領域に統合した各統合領域を参照して、第１ターゲット領域ないし第ｎターゲット領域を推定することができる。

また、他の方法により、ターゲット領域予測ネットワーク２３０は、前景セグメンテーション（ｆｏｒｅｇｒｏｕｎｄ ｓｅｇｍｅｎａｔａｔｉｏｎ）によって入力イメージ上の前景を識別することができ、識別された前景を参照して、ターゲット物体が位置するものと推定され、ターゲット物体を含むものと推定される大きさの各領域を第１ターゲット領域ないし第ｎターゲット領域として設定することができる。

さらに、ターゲット領域予測ネットワーク２３０は、サリエンシー検出（ｓａｌｉｅｎｃｙ ｄｅｔｅｃｔｉｏｎ）方法を利用して第１ターゲット領域ないし第ｎターゲット領域を設定することができる。以上、ターゲット領域を設定する四種類の方法を説明したが、本発明はこれに限定されないのであり、入力イメージ内で各ターゲット領域を探し出すあらゆる方法が使用され得る。

このように、第１ターゲット領域ないし第ｎターゲット領域が生成されると、コンピューティング装置２００が、イメージ加工ネットワーク２４０をもって、入力イメージまたはこれに対応するリサイズされたイメージから、第１ターゲット領域ないし第ｎターゲット領域それぞれに対応する第１加工イメージないし第ｎ加工イメージを生成させることができる。

ここで、コンピューティング装置２００が、イメージ加工ネットワーク２４０をもって、入力イメージまたはこれに対応するリサイズされたイメージ上で第１ターゲット領域ないし第ｎターゲット領域に対応する一つ以上の領域をクロップ（ｃｒｏｐｐｉｎｇ）して第１加工イメージないし第ｎ加工イメージを生成するようにするか、入力イメージまたはこれに対応するリサイズされた各イメージ上で第１ターゲット領域ないし第ｎターゲット領域に対応する一つ以上の領域をクロップした後、リサイズして第１加工イメージないし第ｎ加工イメージを生成させることができる。

以後、コンピューティング装置２００は、第１加工イメージないし第ｎ加工イメージをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）することにより、統合トレーニングイメージを生成させることができる。この際、コンピューティング装置２００は、イメージ加工ネットワーク２４０をもって、第１加工イメージないし第ｎ加工イメージの幅（ｗｉｄｔｈ）または長さ（ｌｅｎｇｔｈ）のうち少なくとも一つの大きさを同一に調整した後、同一の大きさに調整された幅または長さ方向に第１加工イメージないし第ｎ加工イメージをコンカチネートすることができる。前記コンカチネートの過程で、コンピューティング装置２００は、イメージ加工ネットワーク２４０をもって、第１調整済み加工イメージないし第ｎ調整済み加工イメージにコンカチネートされる２つの隣り合う調整済み加工イメージから構成されるそれぞれの対の間に少なくとも一つのテストパターンを追加させることができる。また、少なくとも一つのゼロパターンは、前記テストパターン及び前記統合イメージにおいてそれぞれの隣接した加工イメージの間に位置し、前記ゼロパターンの幅は、前記ニューラルネットワークのコンボリューションカーネルの大きさに対応させることができる。

第１加工イメージないし第ｎ加工イメージそれぞれは、互いのコンボリューション演算の結果に影響を及ぼさないようにするために特定の大きさの少なくとも一つのゼロパディング領域、すなわちゼロパターンを必要とし得る。この際、ゼロパディング領域が挿入される領域にテストパターンを挿入することにより、格納空間の節約と演算量の減少を同時に図ることができる。また、テストパターンは、ゼロパディング領域をテストパターンの両端にさらに挿入することにより、第１加工イメージないし第ｎ加工イメージに対するコンボリューション演算のそれぞれの結果に影響を及ぼさないようにすることができる。このような場合の例示を検討するために図６を参照することにする。

図６は、本発明の他の実施例にしたがって入力イメージから生成された統合イメージにテストパターンを挿入することにより、コンボリューションユニットのパラメータの無欠性を検証し、コンピューティングリソースを節約する方法で使用される統合イメージを示した例示図である。

図６を参照すると、テストパターン及びゼロパディング領域が加工イメージの間に挿入されたことが分かる。テストパターン及びゼロパディング領域は、統合イメージで２つの隣り合う加工イメージの一対または多数の対の間に位置することもできる。

以後、コンピューティング装置２００が、コンボリューションユニット２５０をもって、前記統合イメージに前記コンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成させることができる。特徴マップの全体領域は、テストパターンに対応する領域である検証用領域と一つ以上の検出用領域に分割することができるが、検出用領域はテストパターンに対応せず、加工イメージに対応する領域である。

特徴マップが生成されると、コンピューティング装置２００が、検証ユニット２６０をもって、特徴マップ上で検証用領域に含まれている各値と参照用出力に含まれている各値とを参照して、コンボリューションユニット２５０の無欠性を検証させることができる。ここで参照用出力は、前述した本発明の一実施例のように、コンピューティング装置のセキュリティレベルが臨界レベル以上である場合に、コンボリューションユニット２５０によってテストパターンに適用されたコンボリューション演算の結果であり得る。検証ユニット２６０は、検証用領域に含まれている各値と参照用出力に含まれている各値とを比較することによりコンボリューションユニット２５０の無欠性を検証することができるのである。

また、特徴マップが作成された後に、コンピューティング装置２００は、物体検出器２７０をもって、特徴マップの全体領域のうちで検出用領域に含まれている各値を参照して、入力イメージ内の物体に関するクラス情報及び位置情報を生成させることができる。このように統合イメージを生成することの本来の目的は、物体検出がさらに十分に行われるようにすることであり、コンボリューションユニット２５０の無欠性を検証することはまた別の目的であるので、検出用領域に含まれている各値を利用してコンピューティング装置２００の本来の役割をすべて行うようにするのである。

前述したような二種類の実施例を通じて、少なくとも一つのテストパターンを使用して一つ以上のコンボリューションパラメータの無欠性を検証し、その検証過程に所要されるコンピューティングリソースを節約することができるであろう。

以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

［付記］
本発明は、テストパターンを使用してコンボリューションパラメータの無欠性を検証する過程で所要されるコンピューティングリソースを節約し、極度の状況で欠陥許容能力及び揺れに強靭な性質を向上させる方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＥＣＯＮＯＭＩＺＩＮＧ ＣＯＭＰＵＴＩＮＧ ＲＥＳＯＵＲＣＥＳ ＴＯ ＢＥ ＵＳＥＤ ＤＵＲＩＮＧ Ａ ＰＲＯＣＥＳＳ ＯＦ ＶＥＲＩＦＩＣＡＴＩＯＮ ＯＦ ＣＯＮＶＯＬＵＴＩＯＮＡＬ ＰＡＲＡＭＥＴＥＲＳ ＵＳＩＮＧ ＴＥＳＴ ＰＡＴＴＥＲＮ ＴＯ ＥＮＨＡＮＣＥ ＦＡＵＬＴ ＴＯＬＥＲＡＮＣＥ ＡＮＤ ＦＬＵＣＴＵＡＴＩＯＮ ＲＯＢＵＳＴＮＥＳＳ ＩＮ ＥＸＴＲＥＭＥ ＳＩＴＵＡＴＩＯＮＳ｝に関する。

特に、本発明は、テストパターンを使用してコンボリューションパラメータの無欠性を検証する過程で所要されるコンピューティングリソースを節約することができる方法及び装置に関する。より詳細には、少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法において、（ａ）コンピューティング装置が、映像の第（ｔ−ｉ２）フレーム及び第（ｔ−ｉ１）フレームそれぞれに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、少なくとも一つの背景予測ユニットをもって、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに関する情報を参照して、第ｔイメージの第ｔ背景予測情報を生成させる段階：（ｂ）前記コンピューティング装置が、前記第ｔイメージが取得されると、少なくとも一つのパターン挿入ユニットをもって、前記第ｔ背景予測情報を参照して、前記第ｔイメージに前記テストパターンを挿入することにより、少なくとも一つの検証用入力を生成させる段階；（ｃ）前記コンピューティング装置が、前記ニューラルネットワークをもって、前記検証用入力に一つ以上のコンボリューション演算を適用して少なくとも一つの検証用出力を生成させる段階；及び（ｄ）前記コンピューティング装置が、少なくとも一つの検証ユニットをもって、前記検証用出力及び前記テストパターンに対応する少なくとも一つの参照用出力を参照して、前記ニューラルネットワークの無欠性を判断させる段階；を含むことを特徴とする方法及び装置に関する。

Claims (24)

1. 少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法において、
   （ａ）コンピューティング装置が、映像の第（ｔ−ｉ２）フレーム及び第（ｔ−ｉ１）フレームそれぞれに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、少なくとも一つの背景予測ユニットをもって、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに関する情報を参照して、第ｔイメージの第ｔ背景予測情報を生成させる段階；
   （ｂ）前記コンピューティング装置が、前記第ｔイメージが取得されると、少なくとも一つのパターン挿入ユニットをもって、前記第ｔ背景予測情報を参照して、前記第ｔイメージに前記テストパターンを挿入することにより、少なくとも一つの検証用入力を生成させる段階；
   （ｃ）前記コンピューティング装置が、前記ニューラルネットワークをもって、前記検証用入力に一つ以上のコンボリューション演算を適用して少なくとも一つの検証用出力を生成させる段階；及び、
   （ｄ）前記コンピューティング装置が、少なくとも一つの検証ユニットをもって、前記検証用出力及び前記テストパターンに対応する少なくとも一つの参照用出力を参照して、前記ニューラルネットワークの無欠性を判断させる段階；
   を含むことを特徴とする方法。
2. 前記（ａ）段階は、
   前記コンピューティング装置が、前記背景予測ユニットをもって、前記第（ｔ−２）イメージに関する第（ｔ−２）背景中心情報及び前記第（ｔ−１）イメージに関する第（ｔ−１）背景中心情報を参照して、第（ｔ−１）イメージ及び第（ｔ−１）イメージに含まれた背景に対応する、前記第ｔイメージ上における背景の中心位置を予測させることにより、前記第ｔ背景予測情報を生成させることを特徴とする請求項１に記載の方法。
3. 前記（ａ）段階は、
   前記コンピューティング装置が、前記背景予測ユニットをもって、（ｉ）前記第（ｔ−２）イメージで少なくとも一つの第（ｔ−２）特定背景領域の実際の中心座標と（ｉｉ）前記第（ｔ−２）特定背景領域に対応する、前記第（ｔ−１）イメージ上における少なくとも一つの第（ｔ−１）特定背景領域の実際の中心座標との間の差異情報を生成させ、
   前記コンピューティング装置が、前記背景予測ユニットをもって、前記差異情報及び前記第（ｔ−１）特定背景領域の実際の中心座標を参照して、前記第ｔ背景予測情報を生成させ、
   前記第（ｔ−２）特定背景領域の実際の中心座標は、前記第（ｔ−２）背景中心情報に含まれ、前記第（ｔ−１）特定背景領域の実際の中心座標は、前記第（ｔ−１）背景中心情報に含まれることを特徴とする請求項２に記載の方法。
4. 前記（ｂ）段階は、
   前記コンピューティング装置が、前記パターン挿入ユニットをもって、前記テストパターンの中心座標が前記第ｔイメージで少なくとも一つの第ｔ特定背景領域の予測中心座標に位置するように前記第ｔイメージに前記テストパターンを挿入させ、
   前記第ｔ特定背景領域は、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに含まれた第（ｔ−２）特定背景領域及び第（ｔ−１）特定背景領域それぞれに対応し、前記第ｔ特定背景領域の予測中心座標は、前記第ｔ背景予測情報に含まれることを特徴とする請求項１に記載の方法。
5. 前記（ｂ）段階は、
   前記コンピューティング装置が、前記パターン挿入ユニットをもって、前記テストパターンの一つ以上の境界部分に、前記ニューラルネットワークのコンボリューションカーネル（ｋｅｒｎｅｌ）の大きさに対応する幅を有する少なくとも一つのゼロパターンを追加させることにより、前記テストパターンが、前記ニューラルネットワークによって前記第ｔイメージに適用される一つ以上の演算に影響を与えないようにすることを特徴とする請求項４に記載の方法。
6. 前記（ｄ）段階は、
   前記コンピューティング装置が、前記検証ユニットをもって、前記検証用出力の全体領域のうちで、前記テストパターンに対応する少なくとも一つの特定領域に含まれた値と前記参照用出力に含まれた値とを比較して、
   前記特定領域に含まれた値のうちで少なくとも一つの値がこれに対応する参照用前記出力に含まれた値と異なる場合、前記コンピューティング装置が、前記検証ユニットをもって、前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部が変更されたと判断させることを特徴とする請求項１に記載の方法。
7. 前記（ａ）段階以前に、
   前記コンピューティング装置のセキュリティレベルが臨界レベル以上である場合、前記ニューラルネットワークが前記テストパターンに一つ以上のコンボリューション演算を適用することにより、前記参照用出力を生成した状態であることを特徴とする請求項１に記載の方法。
8. 前記（ｃ）段階以後に、
   （ｅ）前記コンピューティング装置が、少なくとも一つの中心計算ユニットをもって、前記第ｔイメージで少なくとも一つの背景領域の実際の中心座標を計算させる段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
9. 前記映像の第（ｔ＋ｉ３）フレームに対応する第（ｔ＋１）イメージが取得されると、前記コンピューティング装置が、前記背景予測ユニットをもって、前記第（ｔ＋１）イメージに対する第（ｔ＋１）背景予測情報を生成させる際に、前記第ｔイメージで前記背景領域の前記実際の中心座標が使用されることを特徴とする請求項８に記載の方法。
10. 少なくとも一つの入力イメージから生成された少なくとも一つの統合イメージに少なくとも一つのテストパターンを挿入することにより、コンボリューションユニットの一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する方法において、
    （ａ）コンピューティング装置が、前記入力イメージが取得されると、ターゲット領域予測ネットワークをもって、前記入力イメージまたはこれに対応する一つ以上のリサイズされた各イメージにおいて、一つ以上のターゲット物体がそれぞれ位置するものと予測される第１ターゲット領域ないし第ｎターゲット領域を予測させる段階；
    （ｂ）前記コンピューティング装置が、少なくとも一つのイメージ加工ネットワークをもって、前記入力イメージまたはこれに対応するリサイズされたイメージから、前記第１ターゲット領域ないし前記第ｎターゲット領域それぞれに対応する第１加工イメージないし第ｎ加工イメージを生成させ、前記第１加工イメージないし前記第ｎ加工イメージをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）することにより前記統合イメージを生成させ、前記コンカチネートされる時点で、前記第１加工イメージないし前記第ｎ加工イメージのうちで少なくとも一部の互いに隣接した各加工イメージの間に前記テストパターンを挿入させる段階；
    （ｃ）前記コンピューティング装置が、前記コンボリューションユニットをもって、前記統合イメージに前記コンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成させる段階；及び
    （ｄ）前記コンピューティング装置が、少なくとも一つの検証ユニットをもって、前記特徴マップ上にある、前記テストパターンに対応する少なくとも一つの領域に含まれた値及び前記コンボリューションユニットにより前記テストパターンに適用された一つ以上の演算結果に対応する少なくとも一つの参照用出力に含まれた値を参照して、前記コンボリューションユニットの前記無欠性を検証させる段階；
    を含むことを特徴とする方法。
11. 前記（ｃ）段階以後に、
    （ｅ）前記コンピューティング装置が、前記特徴マップが取得されると、少なくとも一つの物体検出器をもって、前記入力イメージで一つ以上の物体に関するクラス情報及び位置情報を生成させる段階；
    をさらに含むことを特徴とする請求項１０に記載の方法。
12. 前記（ｂ）段階は、
    少なくとも一つのゼロパターンは、前記統合イメージの前記テストパターンとそれぞれの隣接した加工イメージとの間に位置し、前記ゼロパターンの幅は前記ニューラルネットワークのコンボリューションカーネルの大きさに対応することを特徴とする請求項１０に記載の方法。
13. 少なくとも一つの入力イメージの少なくとも一つの背景領域に少なくとも一つのテストパターンを挿入することにより、ニューラルネットワークにおける一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する装置において、
    各インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）映像の（ｔ−ｉ２）フレーム及び（ｔ−ｉ１）フレームそれぞれに対応する第（ｔ−２）イメージ及び第（ｔ−１）イメージそれぞれに関する情報が取得されると、少なくとも一つの背景予測ユニットをもって、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに関する情報を参照して、第ｔイメージの第ｔ背景予測情報を生成させるプロセス；（ＩＩ）前記第ｔイメージが取得されると、少なくとも一つのパターン挿入ユニットをもって、前記第ｔ背景予測情報を参照して、前記第ｔイメージに前記テストパターンを挿入することにより少なくとも一つの検証用入力を生成させるプロセス；（ＩＩＩ）前記ニューラルネットワークをもって、前記検証用入力に一つ以上のコンボリューション演算を適用して少なくとも一つの検証用出力を生成させるプロセス；及び（ＩＶ）少なくとも一つの検証ユニットをもって、前記検証用出力及び前記テストパターンに対応する少なくとも一つの参照用出力を参照して、前記ニューラルネットワークの無欠性を判断させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするコンピューティング装置。
14. 前記（Ｉ）プロセスは、
    前記プロセッサが、前記背景予測ユニットをもって、前記第（ｔ−２）イメージに関する第（ｔ−２）背景中心情報及び前記第（ｔ−１）イメージに関する第（ｔ−１）背景中心情報を参照して、第（ｔ−１）イメージ及び第（ｔ−１）イメージに含まれた背景に対応する、前記第ｔイメージ上における背景の中心位置を予測させることにより、前記第ｔ背景予測情報を生成させることを特徴とする請求項１３に記載のコンピューティング装置。
15. 前記（Ｉ）プロセスは、
    前記プロセッサが、前記背景予測ユニットをもって、（ｉ）前記第（ｔ−２）イメージで少なくとも一つの第（ｔ−２）特定背景領域の実際の中心座標と、（ｉｉ）前記第（ｔ−２）特定背景領域に対応する、前記第（ｔ−１）イメージ上における少なくとも一つの第（ｔ−１）特定背景領域の実際の中心座標との間の差異情報を生成させ、前記プロセッサが、前記背景予測ユニットをもって、前記差異情報及び前記第（ｔ−１）特定背景領域の実際の中心座標を参照して、前記第ｔ背景予測情報を生成させ、前記第（ｔ−２）特定背景領域の実際の中心座標は、前記第（ｔ−２）背景中心情報に含まれ、前記第（ｔ−１）特定背景領域の実際の中心座標は、前記第（ｔ−１）背景中心情報に含まれることを特徴とする請求項１４に記載のコンピューティング装置。
16. 前記（ＩＩ）プロセスは、
    前記プロセッサが、前記パターン挿入ユニットをもって、前記テストパターンの中心座標が前記第ｔイメージで少なくとも一つの第ｔ特定背景領域の予測中心座標に位置するように、前記第ｔイメージに前記テストパターンを挿入させ、前記第ｔ特定背景領域は、前記第（ｔ−２）イメージ及び前記第（ｔ−１）イメージそれぞれに含まれた第（ｔ−２）特定背景領域及び第（ｔ−１）特定背景領域それぞれに対応し、前記第ｔ特定背景領域の予測中心座標は、前記第ｔ背景予測情報に含まれることを特徴とする請求項１３に記載のコンピューティング装置。
17. 前記（ＩＩ）プロセスは、
    前記プロセッサが、前記パターン挿入ユニットをもって、前記テストパターンの一つ以上の境界部分に、前記ニューラルネットワークのコンボリューションカーネル（ｋｅｒｎｅｌ）の大きさに対応する幅を有する少なくとも一つのゼロパターンを追加させることにより、前記テストパターンが、前記ニューラルネットワークによって前記第ｔイメージに適用される一つ以上の演算に影響を与えないようにすることを特徴とする請求項１６に記載のコンピューティング装置。
18. 前記（ＩＶ）プロセスは、
    前記プロセッサが、前記検証ユニットをもって、前記検証用出力の全体領域のうちで、前記テストパターンに対応する少なくとも一つの特定領域に含まれた値と前記参照用出力に含まれた値とを比較して、前記特定領域に含まれた値のうちで少なくとも一つの値がこれに対応する参照用前記出力に含まれた値と異なる場合、前記プロセッサが、前記検証ユニットをもって、前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部が変更されたと判断させることを特徴とする請求項１３に記載のコンピューティング装置。
19. 前記（Ｉ）プロセス以前に、
    前記プロセッサのセキュリティレベルが臨界レベル以上である場合、前記ニューラルネットワークが前記テストパターンに一つ以上のコンボリューション演算を適用することにより、前記参照用出力を生成した状態であることを特徴とする請求項１３に記載のコンピューティング装置。
20. 前記（ＩＩＩ）プロセス以後に、
    （Ｖ）前記プロセッサが、少なくとも一つの中心計算ユニットをもって、前記第ｔイメージで少なくとも一つの背景領域の実際の中心座標を計算させるプロセス；をさらに遂行することを特徴とする請求項１３に記載のコンピューティング装置。
21. 前記映像の第（ｔ＋ｉ３）フレームに対応する第（ｔ＋１）イメージが取得されると、前記プロセスが、前記背景予測ユニットをもって、前記第（ｔ＋１）イメージに対する第（ｔ＋１）背景予測情報を生成させる際に、前記第ｔイメージで前記背景領域の前記実際の中心座標が使用されることを特徴とする請求項２０に記載のコンピューティング装置。
22. 少なくとも一つの入力イメージから生成された少なくとも一つの統合イメージに少なくとも一つのテストパターンを挿入することにより、コンボリューションユニットの一つ以上のパラメータの無欠性を検証し、一つ以上のコンピューティングリソースを節約する装置において、
    各インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）前記入力イメージが取得されると、ターゲット領域予測ネットワークをもって、前記入力イメージまたはこれに対応する一つ以上のリサイズされた各イメージにおいて、一つ以上のターゲット物体がそれぞれ位置するものと予測される第１ターゲット領域ないし第ｎターゲット領域を予測させるプロセス；（ＩＩ）少なくとも一つのイメージ加工ネットワークをもって、前記入力イメージまたはこれに対応するリサイズされたイメージから、前記第１ターゲット領域ないし前記第ｎターゲット領域それぞれに対応する第１加工イメージないし第ｎ加工イメージを生成させ、前記第１加工イメージないし前記第ｎ加工イメージをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）することにより前記統合イメージを生成させ、前記コンカチネートされる時点で、前記第１加工イメージないし前記第ｎ加工イメージのうちで少なくとも一部の互いに隣接した各加工イメージの間に前記テストパターンを挿入させるプロセス；（ＩＩＩ）前記コンボリューションユニットをもって、前記統合イメージに前記コンボリューション演算を適用することにより、少なくとも一つの特徴マップを生成させるプロセス；及び（ＩＶ）少なくとも一つの検証ユニットをもって、前記特徴マップ上にある、前記テストパターンに対応する少なくとも一つの領域に含まれた値と、前記コンボリューションユニットによって前記テストパターンに適用された一つ以上の演算結果に対応する少なくとも一つの参照用出力に含まれた値とを参照して、前記コンボリューションユニットの前記無欠性を検証させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするコンピューティング装置。
23. 前記（ＩＩＩ）プロセス以後に、
    （Ｖ）前記プロセッサが、前記特徴マップが取得されると、少なくとも一つの物体検出器をもって、前記入力イメージで一つ以上の物体に関するクラス情報及び位置情報を生成させるプロセス；をさらに遂行することを特徴とする請求項２２に記載のコンピューティング装置。
24. 前記（ＩＩ）プロセスは、
    少なくとも一つのゼロパターンは、前記統合イメージの前記テストパターンとそれぞれの隣接した加工イメージとの間に位置し、前記ゼロパターンの幅は前記ニューラルネットワークのコンボリューションカーネルの大きさに対応することを特徴とする請求項２２に記載のコンピューティング装置。