JP2022512211A

JP2022512211A - 画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステム

Info

Publication number: JP2022512211A
Application number: JP2021533274A
Authority: JP
Inventors: チェン，グァンリャン; ウェン，トゥオプー; シー，ジャンピン
Original assignee: ベイジンセンスタイムテクノロジーデベロップメントシーオー．，エルティーディー
Priority date: 2018-12-29
Filing date: 2019-12-26
Publication date: 2022-02-02
Also published as: KR20210090249A; CN111383157B; CN111383157A; WO2020135601A1

Abstract

画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステムであって、前記方法は、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表された、前記畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含む、ネットワークパラメータに対して固定小数点処理を行うステップ（Ｓ１０１）と、処理対象の画像を取得するステップ（Ｓ１０２）と、前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて前記画像を処理するように制御して、前記画像の処理結果を得るステップ（Ｓ１０３）と、を含む。

Description

本願は、２０１８年１２月２９日に中国特許庁に提出された、出願番号ＣＮ２０１８１１６４７４０８．２、発明の名称「画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステム」の中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。

本願の実施例は、コンピュータ技術に関し、特に画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステムに関する。

畳み込みニューラルネットワークは、コンピュータビジョンタスクに関する分野において重要な役割を果たす。例えば、スマート運転の分野において、畳み込みニューラルネットワークに基づいて車線区画線検出、車線区画線フィッティングなどを行うことができる。畳み込みニューラルネットワークに対して、ハードウェアリソースの限られたプラットフォームで実行される前、一般的に固定小数点動作を行う必要がある。固定小数点動作は、浮動小数点数で表された畳み込みニューラルネットワークにおける畳み込みパラメータ及び中間層結果を固定小数点数で表すように固定小数点することである。

本願の実施例は、画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステムを提供し、前記技術的解決手段は、以下のとおりである。

本願の実施例の一態様に係る画像処理方法は、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表された、前記畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含む、ネットワークパラメータに対して固定小数点処理を行うステップと、処理対象の画像を取得するステップと、前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて前記画像を処理するように制御して、前記画像の処理結果を得るステップと、を含む。

本願の実施例の他の態様に係る画像処理装置は、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表された、前記畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含む、ネットワークパラメータに対して固定小数点処理を行う第１の処理モジュールと、処理対象の画像を取得する取得モジュールと、前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて前記画像を処理するように制御して、前記画像の処理結果を得る第２の処理モジュールと、を含む。

本願の実施例次に別の態様に係るフィールドプログラマブルゲートアレイＦＰＧＡに基づく車載演算プラットフォームは、プロセッサ、外部メモリ、内部メモリ及びＦＰＧＡ演算ユニットを含み、前記外部メモリには、畳み込みニューラルネットワークの固定小数点処理後の、前記畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含むネットワークパラメータが記憶されており、前記プロセッサは、前記畳み込みニューラルネットワークの固定小数点処理後のネットワークパラメータを前記内部メモリに読み込み、前記内部メモリのデータ及び処理対象の画像を前記ＦＰＧＡ演算ユニットに入力し、前記ＦＰＧＡ演算ユニットは、固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて、前記処理対象の画像に対して演算処理を行って、前記画像の処理結果を得る。

本願の実施例のまた別の態様に係る電子機器は、プロセッサと、いずれか１つの実施例に記載の画像処理方法に対応する動作を前記プロセッサに実行させる少なくとも１つの実行可能な命令を記憶するメモリと、を含む。

本願の実施例のさらに別の態様に係る電子機器は、プロセッサと、いずれか１つの実施例に記載の画像処理装置とを含み、プロセッサが前記画像処理装置を実行する場合、いずれか１つの実施例に記載の画像処理装置のモジュールが実行される。

本願の実施例のさらに別の態様に係るスマート運転システムは、上記いずれか１つの実施例に記載の電子機器を含む。

本願の実施例のさらに別の態様に係るコンピュータ可読記憶媒体には、上記いずれか１つの実施例に記載の画像処理方法を実行するコンピュータプログラムが記憶されている。

本願の実施例に係る画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステムは、まず、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて畳み込みニューラルネットワークに対して固定小数点処理を行い、かつ処理対象の画像を取得した後、演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて画像を処理するように制御することにより、ハードウェアリソースの限られたプラットフォームで畳み込みニューラルネットワークを用いて効率的な画像処理を行うことを実現する。

以下、図面及び実施例により、本願の技術的解決手段をさらに詳細に説明する。

明細書の一部である図面は、本願の実施例を説明し、かつ説明と共に本願の原理を解釈するためのものである。図面を参照しながら、以下の詳細な説明に基づいて、本願をより明確に理解することができる。
本願の実施例に係る画像処理方法のフローチャートである。本願の実施例に係る画像処理方法の別のフローチャートである。本願の実施例に係る画像処理方法の次に別のフローチャートである。本願の実施例に係る画像処理方法のまた別のフローチャートである。本願の実施例に係る画像処理方法のさらに別のフローチャートである。本願の実施例に係る画像処理方法のさらにまた別のフローチャートである。本願の実施例に係る画像処理方法のもう一つ別のフローチャートである。本願の実施例に係る画像処理装置の概略構成図である。本願の実施例に係る画像処理装置の別の概略構成図である。本願の実施例に係る画像処理装置の次に別の概略構成図である。本願の実施例に係る画像処理装置のまた別の概略構成図である。本願の実施例に係る、ＦＰＧＡに基づく車載演算プラットフォームの概略構成図である。本願の実施例に係る電子機器１３００のエンティティのブロック図である。

以下、図面を参照しながら、本願の様々な例示的な実施例を詳細に説明する。特に具体的に説明しない限り、これらの実施例において記載された部品及びステップの相対的配置、数字表現式及び数値は、本願の範囲を限定するものではないことに留意されたい。
同時に、説明の便宜上、図面に示された各部分の寸法は、実際の比例関係に従って描いたものではないことを理解されたい。

以下、少なくとも１つの例示的な実施例についての説明は、本質的に例示的なものに過ぎず、決して本願及びその適用又は使用を限定するものではない。

当業者に知られている技術、方法及び機器について詳細に検討しない場合があるが、適切な場合に、上記技術、方法及び機器は、明細書の一部と見なすべきである。

類似の符号及び文字が以下の図面において類似のものを表すため、あるものが１つの図面において定義されれば、後の図面においてそれをさらに検討する必要がないことに留意されたい。

本願の実施例は、コンピュータシステム／サーバに適用されてよく、多数の他の汎用又は専用のコンピューティングシステム環境又は構成と共に動作可能である。コンピュータシステム／サーバと共に使用するのに適する周知のコンピューティングシステム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、ハンドヘルド又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、及び上記任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

コンピュータシステム／サーバについて、コンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的なコンテキストで説明してよい。一般的に、プログラムモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック及びデータ構造などを含んでよい。コンピュータシステム／サーバは、分散型クラウドコンピューティング環境において実施されてよく、分散型クラウドコンピューティング環境において、タスクは、通信ネットワークを介して接続された遠隔処理機器によって実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカル又は遠隔コンピューティングシステムの記憶媒体に位置してよい。

本願の実施例に係る画像処理方法は、畳み込みニューラルネットワークを用いて画像処理を行う様々なシーンに適用することができる。例示的には、本願の実施例は、スマート運転の分野、例えば、自動運転及び運転支援技術に適用することができる。スマート運転の分野において、畳み込みニューラルネットワークに基づいて車線区画線検出、車線区画線フィッティングなどを行うことができるため、スマート運転の分野における畳み込みニューラルネットワークに対して、本願の実施例に記載の方法を用いて固定小数点動作を行うことができる。

図１は、本願の実施例に係る画像処理方法のフローチャートであり、該方法の実行主体は、画像処理を行う電子機器の、中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵと略称する）のようなプロセッサなどであってよい。図１に示すように、該方法は、以下のステップＳ１０１～Ｓ１０３を含む。

Ｓ１０１では、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに対して固定小数点処理を行う。

該ネットワークパラメータは、畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含む。

好ましくは、上記演算ユニットは、固定小数点演算をサポートする計算ユニットであってよい。フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡと略称する）を例として、演算ユニットは、ＦＰＧＡにおけるデジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ、ＤＳＰと略称する）であってよい。

畳み込みニューラルネットワークに対して、ハードウェアリソースの限られたプラットフォームで実行される前、固定小数点動作を行う必要がある。例示的には、ＦＰＧＡは、安価で安定した計算プラットフォームであり、畳み込みニューラルネットワークを実行することができる。ＦＰＧＡなどのハードウェアプラットフォームの低消費電力、演算加速などの面での総合的な強みを発揮させるために、演算ユニットの固定小数点ビット幅のハードウェアリソース量は一般的に限られる。いくつかの場合、より低い消費電力を実現するために、できるだけ少ない固定小数点ビット幅のハードウェアリソース量、例えば、８ビット又は４ビット又はそれ以下のビット幅ハードウェアリソース量を選択して固定小数点演算を実現する。しかしながら、固定小数点ビット幅のハードウェアリソース量が少ないと演算速度に影響を与えることが多いため、高速応答さらにリアルタイムな応答が求められるプラットフォーム、例えば、自動運転用の車載演算プラットフォームなどの場合、畳み込みニューラルネットワークに対して適応ハードウェアの固定小数点ビット幅のハードウェアリソース量の最適化を行うことにより、リソースが限られたプラットフォームでの演算加速を実現する。上記需要のために、畳み込みニューラルネットワークがＦＰＧＡなどの、ハードウェアリソースが限られたプラットフォームで動作する前、まず、ハードウェア固定小数点ビット幅リソース量に適合するようにそれに固定小数点動作を行うことにより、演算プラットフォームの低消費電力及び高速応答に対する要件を同時に満たすことができる。好ましくは、畳み込みニューラルネットワークの畳み込みパラメータ及び中間層結果を固定小数点で表すように固定小数点する。固定小数点動作を行った後、浮動小数点数の乗算加算を固定小数点数の乗算加算に変換することができる。ＦＰＧＡなどのプラットフォームについて、固定小数点数の乗算、加算などの演算が直接ＤＳＰによって実行されてよいため、畳み込みニューラルネットワークのネットワークパラメータに対して固定小数点動作を行うと、ＦＰＧＡなどのプラットフォームのハードウェア消費を低減することができる。

畳み込みニューラルネットワークは、画像処理プロセスに適用することができ、本願の実施例に係る畳み込みニューラルネットワークに基づく画像処理方法は、まず、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークに対して固定小数点処理を行い、かつ処理対象の画像を取得した後、演算ユニットがネットワークパラメータの固定小数点処理後の畳み込みニューラルネットワークに基づいて画像を処理するように制御することにより、ハードウェアリソースの限られたプラットフォームで畳み込みニューラルネットワークを用いて効率的な画像処理を行うことを実現する。

上記演算ユニットでは、固定小数点ビット幅のハードウェアリソース量を用いてデータ処理を行う。例示的には、ＦＰＧＡのＤＳＰの固定小数点ビット幅のハードウェアリソース量は、４ビット～８ビットであってよく、すなわちＦＰＧＡのＤＳＰは、４ビット～８ビットの固定小数点数の計算をサポートすることができる。それに応じて、固定小数点処理を行う場合、浮動小数点数を４ビット～８ビットの固定小数点数に固定小数点する必要がある。

好ましい例では、該ステップＳ１０１は、プロセッサがメモリに記憶されている、対応する命令を呼び出すことにより実行されてもよく、プロセッサにより実行される第１の処理モジュール８０１により実行されてもよい。

Ｓ１０２では、処理対象の画像を取得する。

例示的には、車線区画線検出、車線区画線フィッティングなどのシーンで、スマート運転車両のカメラにより路面画像を取得することができ、プロセッサは、カメラにより取得された路面画像を取得することができ、該路面画像は処理対象の画像である。
好ましい例では、該ステップＳ１０２は、プロセッサがメモリに記憶されている、対応する命令を呼び出すことにより実行されてもよく、プロセッサにより実行される取得モジュール８０２により実行されてもよい。

Ｓ１０３では、上記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて上記画像を処理するように制御して、上記画像の処理結果を得る。
好ましい例では、該ステップＳ１０３は、プロセッサがメモリに記憶されている、対応する命令を呼び出すことにより実行されてもよく、プロセッサにより実行される第２の処理モジュール８０３により実行されてもよい。

好ましくは、上記画像を処理するプロセスは、固定小数点乗算演算、固定小数点加算演算、シフト演算のうちの少なくとも１つを含むが、これらに限定されない。

異なるシーンによって、異なる画像処理結果を得ることができる。得ることができる画像処理結果は、特徴抽出結果、分割結果、分類結果、オブジェクト検出／追跡結果のうちの少なくとも１つを含むが、これらに限定されない。

例示的には、上記オブジェクト検出結果は、車線区画線に対する検出結果であってよい。

本実施例では、まず、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークに対して固定小数点処理を行い、かつ処理対象の画像を取得した後、演算ユニットがネットワークパラメータの固定小数点処理後の畳み込みニューラルネットワークに基づいて画像を処理するように制御することにより、ハードウェアリソースの限られたプラットフォームで畳み込みニューラルネットワークを用いて効率的な画像処理を行うことを実現する。畳み込みニューラルネットワークに対して固定小数点処理を行うことにより、ハードウェアリソースの限られたプラットフォームで演算加速を実現することができるため、演算プラットフォームに対する低消費電力及び高速応答の需要を同時に満たす。

上記ステップＳ１０１において固定小数点処理を行う場合、段階的な近似式固定小数点方式を使用したり、畳み込みニューラルネットワークの層出力パラメータをクラスタリングする混合固定小数点方式を使用したり、上記両者を組み合わせた方式を使用したりしてよい。

上記段階的な近似式固定小数点方式の使用場合に、まず、畳み込みニューラルネットワークのネットワークパラメータに基づいて固定小数点パラメータを決定し、さらに、固定小数点パラメータ、所定の固定小数点関数及び固定小数点ビット幅のハードウェアリソース量に基づいて、ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る。

上記畳み込みニューラルネットワークの層出力パラメータをクラスタリングする混合固定小数点方式において、まず、畳み込みニューラルネットワークにおける層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得て、さらに、クラスタリング結果、畳み込みニューラルネットワークにおける畳み込みパラメータ及び固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の畳み込みニューラルネットワークを得る。

上記両者を組み合わせった方式では、段階的な近似式固定小数点を行ってから、段階的な近似式固定小数点の結果に対して上記混合固定小数点方式を使用することができる。

以下、実施例を個別に説明する。

図２は、本願の実施例に係る画像処理方法の別のフローチャートであり、図２に示すように、上記段階的な近似式固定小数点のプロセスは、以下のステップＳ２０１～Ｓ２０２を含む。

Ｓ２０１では、畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに基づいて固定小数点パラメータを決定する。

該固定小数点パラメータは、該ネットワークパラメータに対応する固定小数点数の小数点以下の桁数を識別する。

好ましくは、本願の実施例の入力は、完全精度の浮動小数点の畳み込みニューラルネットワークであり、すなわち、本願の実施例の方法を実行する前、畳み込みニューラルネットワークにおけるネットワークパラメータは、浮動小数点で表される。

好ましくは、上記ネットワークパラメータは、畳み込みパラメータ及び層出力パラメータを含んでよい。層出力パラメータは、畳み込みニューラルネットワークの中間層出力結果、例えば、中間層特徴マップなどである。

好ましくは、上記固定小数点パラメータは、上記ネットワークパラメータに対応する固定小数点数の小数点以下の桁数を識別する。一次関数を用いて固定小数点を行う前、畳み込みニューラルネットワークにおけるネットワークパラメータに基づいて、固定小数点後の固定小数点数の小数点以下の桁数を決定することができる。

Ｓ２０２では、上記固定小数点パラメータ、所定の固定小数点関数及び上記固定小数点ビット幅のハードウェアリソース量に基づいて、上記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る。

該固定小数点関数は、０より大きい所定の勾配を有する一次関数である。

好ましくは、上記固定小数点パラメータを決定した後、上記固定小数点パラメータ、固定小数点関数及び演算ユニットの固定小数点ビット幅のハードウェアリソース量と組み合わせて第１の固定小数点を行うことができる。

以下の式（１）は、固定小数点関数の一例である。

好ましくは、実施過程において、本ステップは、段階的に複数回実行することができる。各段階において、まず、上記固定小数点関数に１つの勾配を割り当て、かつ勾配に基づいて第１の固定小数点を行うことができる。本段階の第１の固定小数点を完了した後、勾配を修正し、かつ該修正された勾配に基づいて、新たな第１の固定小数点を行い、固定小数点関数の勾配が階段関数の勾配に近似するまで、順次繰り返し実行することができる。例えば、畳み込みニューラルネットワークのトレーニングプロセスにおいて、毎回のトレーニングにおいて、所定の勾配を用いて第１の固定小数点を行い、次回のトレーニングにおいて、好ましくは、固定小数点関数と目標階段関数の差異が所定の差異より大きいことに応答して、固定小数点関数の勾配を修正し、勾配が修正された固定小数点関数に基づいて新たな第１の固定小数点を行い、例えば、固定小数点関数と目標階段関数の差異が所定の差異より大きいか否か、例えば、勾配の差分値が所定の差分値より大きいか否かを判断し、そうであれば、新たな勾配を用いて第１の固定小数点を継続し、固定小数点関数の勾配が階段関数の勾配に近似するまで、順次繰り返し実行する。

例示的には、階段関数を勾配が０の一次関数と見なすと仮定すると、実施過程において、初期段階で固定小数点関数に１の勾配を割り当て、かつ該固定小数点関数に基づいて上記ネットワークパラメータに対して固定小数点を行うことができる。順次繰り返し実行し、後続の段階で勾配値を徐々に減少させ、勾配が０に近似するまで、それぞれ各段階に割り当てられた勾配に基づいて固定小数点を行う。

畳み込みニューラルネットワークのトレーニングプロセスにおいて固定小数点を実行することを例として、トレーニングプロセスにおいて固定小数点を行うプロセスは、以下を含む：初期段階で固定小数点関数に初期勾配を割り当て、該固定小数点関数に基づいて、ネットワークパラメータに対して固定小数点を行い、さらに、固定小数点後の固定小数点ネットワークパラメータに基づいて畳み込みニューラルネットワークをトレーニングし、トレーニング結果が予想に合致した後現在得られる畳み込みニューラルネットワークに基づいて、第２の段階の勾配の割り当て、固定小数点及びニューラルネットワークトのレーニングを実行し、勾配が０に近似するまで、順次繰り返し実行する。該プロセスにより、固定小数点関数の結果は段階的に完全固定小数点の結果に徐々に近似することができる。

本実施例では、特定の勾配を有する固定小数点関数を用いて畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータに対して固定小数点を行うことにより、固定小数点結果が完全固定小数点の結果に徐々に近似することができるため、固定小数点の精度損失を低減し、固定小数点の誤差を低減し、固定小数点の精度を向上させる。

以下、畳み込みニューラルネットワークの層出力パラメータをクラスタリングする混合固定小数点方式を説明し、上記２種類の方式を組み合わせるプロセスを説明する。

図３は、本願の実施例に係る画像処理方法の次に別のフローチャートであり、図３に示すように、上記畳み込みニューラルネットワークの層出力パラメータをクラスタリングする混合固定小数点方式は、以下のステップＳ３０１～Ｓ３０２を含む。

Ｓ３０１では、畳み込みニューラルネットワークにおける浮動小数点で表された層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得る。

上記２種類の方式を組み合わせた方式を使用すれば、本ステップに記載の畳み込みニューラルネットワークは、上記第１の固定小数点を行った後の畳み込みニューラルネットワークである。

本実施例では、畳み込みニューラルネットワークが第１の固定小数点後の畳み込みニューラルネットワークであることを例として説明する。

好ましくは、Ｋ平均値クラスタリング（Ｋｍｅａｎｓ）方式を使用して上記層出力パラメータをクラスタリングすることができる。

好ましくは、上記第１の固定小数点を行った後、得られた上記層出力パラメータに対応する小数点以下の桁数は、上記固定小数点パラメータにより識別された小数点以下の桁数である。その上で、これらの層出力パラメータをクラスタリングする。

例示的には、上記層出力パラメータがｋ＋２ビットの固定小数点数であると仮定すると、Ｋｍｅａｎｓ方式を使用して上記層出力パラメータに対してｋビットのクラスタリングを行うことができる。ｋは０より大きい整数である。

Ｓ３０２では、上記クラスタリング結果、上記畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ及び固定小数点ビット幅のハードウェアリソース量に基づいて第２の固定小数点を行って、第２の固定小数点後の畳み込みニューラルネットワークを得る。

好ましくは、上記第２の固定小数点は、階段関数を用いる固定小数点であってよい。

本実施例では、畳み込みニューラルネットワークの層出力パラメータをクラスタリングし、かつクラスタリング結果に対して第２の固定小数点を行うことにより、固定小数点の精度を保証する前提の下で固定小数点化ビット幅を低下させ、さらに帯域幅占用を減少させることができる。例示的には、本願の実施例に係る畳み込みニューラルネットワークがＦＰＧＡに適用される場合、層出力パラメータをクラスタリングして表して、層出力パラメータを低いビット数で表すことができるため、１つの対応ラベルを生成することができる。例えば、Ｋ平均値でクラスタリングして１６個のクラスタリングされた数を得ると、各層出力パラメータは、４ビットで表すことができる。さらに、ＦＰＧＡは、データを読み取る場合、４ビットのみを読み取ることができ、すなわち、クラスタリング前より少ないビット数を読み取れればよく、さらにテーブル検索の方式で実際のデータを取得することにより、ＦＰＧＡの帯域幅を低下させることができる。

上記実施例を基礎として、本実施例は、畳み込みニューラルネットワークのネットワークパラメータに基づいて固定小数点パラメータを決定するプロセスに関する。

好ましくは、上記ステップＳ２０１は、上記畳み込みパラメータの小数点以下の桁数及び上記層出力パラメータの小数点以下の桁数に基づいて、上記固定小数点パラメータを決定することを含む。
好ましくは、本願の実施例の方法を実行する前、上記畳み込みニューラルネットワークにおける畳み込みパラメータと層出力パラメータは、それぞれ浮動小数点数であり、これらの浮動小数点数について、本実施例では、これらの浮動小数点数に対応する小数点以下の桁数に基づいて、上記固定小数点パラメータを決定することができる。

好ましい実施形態では、上記畳み込みパラメータの小数点以下の桁数と上記層出力パラメータの小数点以下の桁数のうちの最大の小数点以下の桁数を、上記固定小数点パラメータに対応する小数点以下の桁数とする。

例示的には、畳み込みニューラルネットワークにおいて値が１．１の畳み込みパラメータがあり、値がそれぞれ１．２３と３．３５４の層出力パラメータがあると仮定すると、最大の小数点以下の桁数は３であるため、上記固定小数点パラメータに対応する小数点以下の桁数が３であると決定することができる。

別の好ましい実施形態では、上記畳み込みパラメータの小数点以下の桁数と上記層出力パラメータの小数点以下の桁数のうちの、割合が最大の小数点以下の桁数を、上記固定小数点化パラメータに対応する小数点以下の桁数とすることができる。

例示的には、畳み込みニューラルネットワークにおいて値がそれぞれ１．１と１．２の畳み込みパラメータがあり、値がそれぞれ１．２３と３．３５４の層出力パラメータがあると仮定すると、割合が最大の小数点以下の桁数は１であるため、上記固定小数点パラメータに対応する小数点以下の桁数が１であると決定することができる。

上記実施例を基礎として、本実施例は、上記ネットワークパラメータに対して第１の固定小数点を行うプロセスに関する。

図４は、本願の実施例に係る画像処理方法のまた別のフローチャートであり、図４に示すように、上記ステップＳ２０２は、以下のステップＳ４０１～Ｓ４０２を含む。

Ｓ４０１では、固定小数点ビット幅のハードウェアリソース量のビット桁数及び上記固定小数点パラメータに基づいて、上記ネットワークパラメータの固定小数点レベルを決定する。

上記プロセスにより上記固定小数点パラメータを取得した後、固定小数点ビット幅のハードウェアリソース量のビット桁数及び上記固定小数点パラメータに基づいて、上記ネットワークパラメータの固定小数点レベルを決定する。

例示的には、固定小数点ビット幅のハードウェアリソース量のビット桁数が２であると仮定し、上記プロセスにより固定小数点パラメータに対応する小数点以下の桁数が０であると決定すれば、上記ネットワークパラメータの固定小数点レベルが－２、－１、０及び１を含むと決定することができる。

Ｓ４０２では、上記固定小数点レベル及び上記固定小数点関数に基づいて、上記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る。

好ましい実施形態として、以下の方式で上記ネットワークパラメータに対して第１の固定小数点を行うことができる。

図５は、本願の実施例に係る画像処理方法のさらに別のフローチャートであり、図５に示すように、上記ステップＳ４０２は、以下のステップＳ５０１～Ｓ５０２を含む。

Ｓ５０１では、上記ネットワークパラメータの値と目標レベルとの差分値を決定する。

目標レベルは、上記ネットワークパラメータの値に最も近い固定小数点レベルである。

Ｓ５０２では、上記差分値及び固定小数点レベルを上記固定小数点関数に入力して、上記ネットワークパラメータに対して上記第１の固定小数点を行った結果を得る。

好ましくは、ネットワークパラメータの固定小数点レベルを決定した後、本実施例では、そのうちの１つのネットワークパラメータＡを例として、以下の方式で該ネットワークパラメータＡに対して第１の固定小数点を行うことができ、残りのネットワークパラメータに対して第１の固定小数点を行う方式は、いずれも該ネットワークパラメータＡと同じである。

上記ネットワークパラメータＡが畳み込みカーネルパラメータであると仮定すると、まず、該畳み込みカーネルパラメータに最も近い固定小数点レベルを決定する。好ましくは、該畳み込みカーネルパラメータと固定小数点レベルとの差分値を計算することにより、該畳み込みカーネルパラメータに最も近い固定小数点レベルを決定することができ、例えば、固定小数点レベルから該畳み込みカーネルパラメータとの差分値が最も小さい固定小数点レベルを最も近い固定小数点レベル（例えば、目標レベル）として選択する。

例示的には、上記ステップにより該畳み込みカーネルパラメータの固定小数点レベルが－２、－１、０及び１であると決定し、該畳み込みカーネルパラメータの値が－１．２であると仮定すると、該畳み込みカーネルパラメータと固定小数点レベルとの差分値を計算することにより、該畳み込みカーネルパラメータに最も近い固定小数点レベルが－１であると決定することができる。

さらに、上記ネットワークパラメータの値と固定小数点レベルとの差分値及び固定小数点レベルを上記固定小数点関数に入力して、ネットワークパラメータＡに対して第１の固定小数点を行った結果を得る。

好ましくは、上記固定小数点化関数が以下の式（２）で表されると仮定する。

ここで、Ｌは固定小数点レベル（例えば、目標レベル）であり、ＳはネットワークパラメータＡと目標レベルとの差分値であり、ｋは現在の段階に対応する勾配であり、上記プロセスで決定された目標レベル及び差分値を上記式（２）に入力すれば、ネットワークパラメータＡの第１の固定小数点の結果を得ることができる。

なお、上記固定小数点関数は、１つの実現形態に過ぎず、当業者であれば実際の必要に応じて目標レベル、及びネットワークパラメータと目標レベルとの差分値に関連する関数を該固定小数点関数として決定することができる。

上記実施例を基礎として、本実施例は、上記層出力パラメータをクラスタリングするプロセスに関する。

図６は、本願の実施例に係る画像処理方法のさらにまた別のフローチャートであり、図６に示すように、上記ステップＳ３０１におけるクラスタリングプロセスは、以下のステップＳ６０１～Ｓ６０２を含む。
Ｓ６０１では、上記層出力パラメータから上記所定数の層出力パラメータを初期クラスタリング中心として選択する。

Ｓ６０２では、上記初期クラスタリング中心に基づいてクラスタリング繰り返し処理を行って、上記所定数のクラスタリング結果を得る。

例示的には、上記所定のビット桁数が６であり、すなわち、ネットワークパラメータが６ビットで表されると仮定すると、本実施例では、上記層出力パラメータに対して４ビットのクラスタリングを行うことができ、該４ビットが１６個の数を識別することができるため、上記所定数は１６個であってよい。

初期に、特定の原則に従って上記層出力パラメータから１６個の層出力パラメータを選択し、該１６個の層出力パラメータを初期クラスタリング中心とし、さらに、残りの層出力パラメータとこれらの初期クラスタリング中心との類似度、すなわち、差分値（一般的に差分値が小さいほど、類似度が高いことを示す）に基づいて、それぞれ残りの層出力関数をこれらのクラスタリング中心に割り当てて、複数のクラスタを形成する。さらに、各クラスタリングの新たなクラスタリング中心を計算し、かつ各クラスタリングにおける層出力パラメータの差分値が収束条件を満たすまで、新たなクラスタリング中心に基づいてクラスタリング繰り返し処理を継続することにより、１６個のクラスタリング結果を得る。

上記実施例を基礎として、本実施例は、上記クラスタリング結果に対して第２の固定小数点を行うプロセスに関する。

図７は、本願の実施例に係る画像処理方法のもう一つ別のフローチャートであり、図７に示すように、上記ステップＳ３０２は、以下のステップＳ７０１～Ｓ７０２を含む。

Ｓ７０１では、上記クラスタリング結果のクラスタリング中心を決定する。

上記処理を行って、複数のクラスタリングを得ることができ、そのうちの各クラスタリングに対して、いずれも本実施例Ｓ７０１～Ｓ７０３のプロセスに従って第２の固定小数点結果を決定することができる。

複数のクラスタリングのうちの１つのクラスタリングがクラスタリング１であると仮定すると、本ステップでは、まず該クラスタリング１のクラスタリング中心を決定する。

好ましくは、該クラスタリング中心は、クラスタリング１に含まれる複数の層出力パラメータの平均値であってよい。

Ｓ７０２では、上記クラスタリング中心に対して第２の固定小数点を行って、上記クラスタリング中心の第２の固定小数点結果を得る。

該第２の固定小数点は、上記クラスタリング中心を上記クラスタリング中心に最も近い固定小数点レベルに固定小数点する。

好ましくは、上記クラスタリング中心に対して第２の固定小数点を行うことは、クラスタリング中心及び畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ、又は、クラスタリング中心及び第１の固定小数点後の畳み込みニューラルネットワークにおける畳み込みパラメータに基づいて、固定小数点ビット幅のハードウェアリソース量に基づいて第２の固定小数点を行うことを含んでよい。

上記クラスタリング１のクラスタリング中心を決定した場合、該クラスタリング中心に対して第２の固定小数点を行うことができる。該第２の固定小数点に対して、階段関数を用いて固定小数点を行い、すなわち、階段関数により、該クラスタリング中心を該クラスタリング中心に最も近い固定小数点レベルに固定小数点することができる。

例示的には、クラスタリング１のクラスタリング中心が１．２であると仮定し、階段関数を用いて第２の固定小数点を行った後、該クラスタリング中心を１に固定小数点することができる。
Ｓ７０３では、上記クラスタリング中心の第２の固定小数点結果を上記クラスタリング結果の第２の固定小数点結果とする。

クラスタリング１のクラスタリング中心の第２の固定小数点結果を決定すれば、該第２の固定小数点結果をクラスタリング１に含まれる各層出力パラメータの第２の固定小数点結果とすることができる。

クラスタリングする場合、出力層パラメータより小さい、ビット数を表すビット（例えば、層出力パラメータが６ビットで表されると、４ビットのクラスタリングを行う）を選択してクラスタリングするため、最終的に第２の固定小数点を完了した後、少ないビット数を用いるだけで全ての層出力パラメータを表すことができるため、クラスタリングにより固定小数点の精度を保証する前提の下で固定小数点ビット幅を低下させることにより、帯域幅占用を減少させるという目的を達成する。

当業者であれば理解できるように、上記方法の実施例の全部又は一部のステップの実現は、プログラムにより関連するハードウェアを命令して完了してよく、前述のプログラムは、コンピュータ可読記憶媒体に記憶されてよく、該プログラムが実行される場合、上記方法の実施例を含むステップを実行し、前述の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなどの、プログラムコードを記憶可能な様々な媒体を含む。

図８は、本願の実施例に係る画像処理装置の概略構成図である。図８に示すように、該装置は、以下の８０１～８０３を含む。

第１の処理モジュール８０１は、演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに対して固定小数点処理を行う。

ネットワークパラメータは、畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含む。

取得モジュール８０２は、処理対象の画像を取得する。

第２の処理モジュール８０３は、演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて画像を処理するように制御して、画像の処理結果を得る。

該装置は、前述の方法の実施例を実現し、その実現原理及び技術的効果は類似するため、ここでは説明を省略する。

図９は、本願の実施例に係る画像処理装置の別の概略構成図である。図９に示すように、第１の処理モジュール８０１は、以下の８０１１～８０１２を含む。

クラスタリングユニット８０１１は、畳み込みニューラルネットワークにおける浮動小数点で表された層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得る。

第２の固定小数点ユニット８０１２は、クラスタリング結果、畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ及び固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の畳み込みニューラルネットワークを得る。

図１０は、本願の実施例に係る画像処理装置の次に別の概略構成図である。図１０に示すように、第１の処理モジュール８０１は、以下の８０１３～８０１４をさらに含む。

決定ユニット８０１３は、畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに基づいて、ネットワークパラメータに対応する固定小数点数の小数点以下の桁数を識別する固定小数点パラメータを決定する。

第１の固定小数点ユニット８０１４は、固定小数点パラメータ、所定の固定小数点関数及び固定小数点ビット幅のハードウェアリソース量に基づいて、ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る。

固定小数点関数は、０より大きい所定の勾配を有する一次関数である。

他の実施例では、第１の処理モジュール８０１は、第１の固定小数点後の畳み込みニューラルネットワークにおける層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得て、クラスタリング結果、第１の固定小数点後の畳み込みニューラルネットワークにおける畳み込みパラメータ及び固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の畳み込みニューラルネットワークを得る。

他の実施例では、決定ユニット８０１３は、畳み込みパラメータの小数点以下の桁数及び層出力パラメータの小数点以下の桁数に基づいて、固定小数点パラメータを決定する。

他の実施例では、決定ユニット８０１３は、畳み込みパラメータの小数点以下の桁数と層出力パラメータの小数点以下の桁数のうちの最大の小数点以下の桁数を、固定小数点パラメータに対応する小数点以下の桁数とする。

他の実施例では、第１の固定小数点ユニット８０１４は、固定小数点ビット幅のハードウェアリソース量のビット桁数及び固定小数点パラメータに基づいて、ネットワークパラメータの固定小数点レベルを決定し、固定小数点レベル及び固定小数点関数に基づいて、ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る。

他の実施例では、第１の固定小数点ユニット８０１４は、ネットワークパラメータの値と、ネットワークパラメータの値に最も近い固定小数点化レベルである目標レベルとの差分値を決定し、そして、差分値及び目標レベルを固定小数点関数に入力して、ネットワークパラメータに対して第１の固定小数点を行った結果を得る。

別の実施例では、第１の処理モジュール８０１は、層出力パラメータから所定数の層出力パラメータを初期クラスタリング中心として選択し、初期クラスタリング中心に基づいてクラスタリング繰り返し処理を行って、所定数のクラスタリング結果を得る。

別の実施例では、第１の処理モジュール８０１は、クラスタリング結果のクラスタリング中心を決定し、クラスタリング中心及び畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ、又は、クラスタリング中心及び第１の固定小数点後の畳み込みニューラルネットワークにおける畳み込みパラメータに基づいて、固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点結果を得て、第２の固定小数点は、クラスタリング中心をクラスタリング中心に最も近い固定小数点レベルに固定小数点する。

図１１は、本願の実施例に係る画像処理装置のまた別の概略構成図である。図１１に示すように、該装置は、固定小数点関数と目標階段関数の差異が所定の差異より大きい場合、上記固定小数点関数の勾配を修正し、そして、勾配が修正された固定小数点関数に基づいて新たな第１の固定小数点を行う更新モジュール８０４をさらに含む。

別の実施例では、第２の処理モジュール８０３は、演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて、画像に対して固定小数点乗算演算、固定小数点加算演算、シフト演算のうちの少なくとも１つの処理を行うように制御する。

別の実施例では、上記画像の処理結果は、特徴抽出結果、分割結果、分類結果、オブジェクト検出／追跡結果のうちの少なくとも１つを含む。

本開示の実施例に係る画像処理装置のいずれか１つの実施例の動作プロセス、設定方式及び対応する技術的効果は、いずれも本開示の上記対応する方法の実施例の具体的な説明を参照することができ、紙幅の都合上、ここでは説明を省略する。

図１２は、本願の実施例に係る、ＦＰＧＡに基づく車載演算プラットフォームの概略構成図である。図１２に示すように、ＦＰＧＡに基づく車載演算プラットフォームは、プロセッサ１２０１、外部メモリ１２０２、内部メモリ１２０３及びＦＰＧＡ演算ユニット１２０４を含み、外部メモリ１２０２には、畳み込みニューラルネットワークの固定小数点処理後の、畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含むネットワークパラメータが記憶されている。

プロセッサ１２０１は、畳み込みニューラルネットワークの固定小数点処理後のネットワークパラメータを内部メモリ１２０３に読み込み、内部メモリ１２０３のデータ及び処理対象の画像をＦＰＧＡ演算ユニットに入力する。

ＦＰＧＡ演算ユニット１２０４は、固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて、処理対象の画像に対して演算処理を行って、画像の処理結果を得る。

プロセッサ１２０１は、上記いずれか１つの実施例に係る画像処理方法におけるステップをさらに実行することができ、前述の方法の実施例を参照することができるため、ここでは説明を省略する。

図１３は、本願の実施例に係る電子機器１３００のエンティティのブロック図であり、図１３に示すように、該電子機器１３００は、プロセッサ１３０２及びメモリ１３０１を含み、メモリ１３０１は、上記いずれか１つの実施例に係る画像処理方法に対応する動作をプロセッサ１３０２に実行させる少なくとも１つの実行可能な命令を記憶する。

本願の実施例に係る電子機器は、プロセッサと、上記いずれか１つの実施例に係る画像処理装置とを含み、プロセッサが画像処理装置を実行する場合、上記いずれか１つの実施例に係る画像処理装置におけるモジュールが実行される。

本願の実施例に係るスマート運転システムは、上記いずれか１つの実施例に係る電子機器を含む。

本願の実施例に係るコンピュータ可読記憶媒体には、上記いずれか１つの実施例に係る画像処理方法を実行するコンピュータプログラムが記憶されている。

本明細書における各実施例は、いずれもプログレッシブな方式で説明され、各実施例について重点的に説明されるのは、いずれも他の実施例との相違点であり、各実施例間の同一又は類似の部分については互いに参照すればよい。システムの実施例については、方法の実施例に基本的に対応するため、簡単に説明し、関連部分については方法の実施例の説明を参照すればよい。

本願の方法及び装置は、様々な形態で実現されてよい。例えば、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本願の方法及び装置を実現することができる。上記方法のステップのための上記順序は、説明するためのものに過ぎず、本願の方法のステップは、他の方式で特に説明しない限り、以上具体的に説明された順序に限定されない。また、いくつかの実施例では、さらに本願は、記録媒体に記録されたプログラムとして実施することができ、これらのプログラムは、本願に係る方法を実現するための機械可読命令を含む。したがって、本願は、本願に係る方法を実行するプログラムを記憶する記録媒体をさらに含む。

本願の説明は、例示及び説明のために与えられるものであり、網羅的なものであり、若しくは本願を開示されている形態に限定するものではない。多くの修正及び変形は、当業者にとって明らかである。実施例は、本願の原理及び実際の適用をよりよく説明し、かつ当業者が本願を理解して特定の用途に適した様々な修正付きの様々な実施例を設計可能にするように選択し説明されたものである。

Claims

演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表された、前記畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含む、ネットワークパラメータに対して固定小数点処理を行うステップと、
処理対象の画像を取得するステップと、
前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて前記画像を処理するように制御して、前記画像の処理結果を得るステップと、を含む、ことを特徴とする画像処理方法。
演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに対して固定小数点処理を行う前記ステップは、
前記畳み込みニューラルネットワークにおける浮動小数点で表された層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得るステップと、
前記クラスタリング結果、前記畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の前記畳み込みニューラルネットワークを得るステップと、を含む、ことを特徴とする請求項１に記載の方法。
演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに対して固定小数点処理を行う前記ステップは、
畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに基づいて、前記ネットワークパラメータに対応する固定小数点数の小数点以下の桁数を識別する固定小数点パラメータを決定するステップと、
前記固定小数点パラメータ、所定の固定小数点関数及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得るステップと、を含み、前記固定小数点関数は、０より大きい所定の勾配を有する一次関数である、ことを特徴とする請求項１に記載の方法。
前記第１の固定小数点後の畳み込みニューラルネットワークにおける前記層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得るステップと、
前記クラスタリング結果、前記第１の固定小数点後の畳み込みニューラルネットワークにおける前記畳み込みパラメータ及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の前記畳み込みニューラルネットワークを得るステップと、をさらに含む、ことを特徴とする請求項３に記載の方法。
畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに基づいて固定小数点パラメータを決定する前記ステップは、
前記畳み込みパラメータの小数点以下の桁数及び前記層出力パラメータの小数点以下の桁数に基づいて、前記固定小数点パラメータを決定するステップを含む、ことを特徴とする請求項３又は４に記載の方法。
前記畳み込みパラメータの桁数及び前記層出力パラメータの桁数に基づいて、前記固定小数点パラメータを決定する前記ステップは、
前記畳み込みパラメータの小数点以下の桁数と前記層出力パラメータの小数点以下の桁数のうちの最大の小数点以下の桁数を、前記固定小数点パラメータに対応する小数点以下の桁数とするステップを含む、ことを特徴とする請求項５に記載の方法。
前記固定小数点パラメータ、所定の固定小数点関数及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る前記ステップは、
前記固定小数点ビット幅のハードウェアリソース量のビット桁数及び前記固定小数点パラメータに基づいて、前記ネットワークパラメータの固定小数点レベルを決定するステップと、
前記固定小数点レベル及び前記固定小数点関数に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得るステップと、を含む、ことを特徴とする請求項３～６のいずれか一項に記載の方法。
前記固定小数点レベル及び前記固定小数点関数に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行う前記ステップは、
前記ネットワークパラメータの値と、前記ネットワークパラメータの値に最も近い前記固定小数点レベルである目標レベルとの差分値を決定するステップと、
前記差分値及び前記目標レベルを前記固定小数点関数に入力して、前記ネットワークパラメータに対して前記第１の固定小数点を行った結果を得るステップと、を含む、ことを特徴とする請求項７に記載の方法。
クラスタリングして、所定数のクラスタリング結果を得る前記ステップは、
前記層出力パラメータから前記所定数の層出力パラメータを初期クラスタリング中心として選択するステップと、
前記初期クラスタリング中心に基づいてクラスタリング繰り返し処理を行って、前記所定数のクラスタリング結果を得るステップと、を含む、ことを特徴とする請求項２又は４に記載の方法。
第２の固定小数点を行う前記ステップは、
前記クラスタリング結果のクラスタリング中心を決定するステップと、
前記クラスタリング中心及び前記畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ、又は、前記クラスタリング中心及び第１の固定小数点後の畳み込みニューラルネットワークにおける前記畳み込みパラメータに基づいて、前記固定小数点ビット幅のハードウェアリソース量に基づいて第２の固定小数点を行って、第２の固定小数点結果を得るステップと、を含み、前記第２の固定小数点は、前記クラスタリング中心を前記クラスタリング中心に最も近い固定小数点レベルに固定小数点する、ことを特徴とする請求項２又は４に記載の方法。
前記固定小数点関数と目標階段関数の差異が所定の差異より大きいことに応答して、前記固定小数点関数の勾配を修正するステップと、
勾配が修正された固定小数点関数に基づいて新たな第１の固定小数点を行うステップと、をさらに含む、ことを特徴とする請求項３～８のいずれか一項に記載の方法。
前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて前記画像を処理するように制御する前記ステップは、
前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて、前記画像に対して固定小数点乗算演算、固定小数点加算演算、シフト演算のうちの少なくとも１つの処理を行うように制御するステップを含む、ことを特徴とする請求項１～１１のいずれか一項に記載の方法。
前記画像の処理結果は、
特徴抽出結果、分割結果、分類結果、オブジェクト検出／追跡結果のうちの少なくとも１つを含む、ことを特徴とする請求項１～１２のいずれか一項に記載の方法。
演算ユニットの固定小数点ビット幅のハードウェアリソース量に基づいて、畳み込みニューラルネットワークにおける浮動小数点で表された、前記畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含む、ネットワークパラメータに対して固定小数点処理を行う第１の処理モジュールと、
処理対象の画像を取得する取得モジュールと、
前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて前記画像を処理するように制御して、前記画像の処理結果を得る第２の処理モジュールと、を含む、ことを特徴とする画像処理装置。
前記第１の処理モジュールは、
前記畳み込みニューラルネットワークにおける浮動小数点で表された層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得るクラスタリングユニットと、
前記クラスタリング結果、前記畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の前記畳み込みニューラルネットワークを得る第２の固定小数点ユニットと、を含む、ことを特徴とする請求項１４に記載の装置。
前記第１の処理モジュールは、
畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに基づいて、前記ネットワークパラメータに対応する固定小数点数の小数点以下の桁数を識別する固定小数点パラメータを決定する決定ユニットと、
前記固定小数点パラメータ、所定の固定小数点関数及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る第１の固定小数点ユニットと、をさらに含み、前記固定小数点関数は、０より大きい所定の勾配を有する一次関数である、ことを特徴とする請求項１４に記載の装置。
前記第１の処理モジュールは、
前記第１の固定小数点後の畳み込みニューラルネットワークにおける前記層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得て、
前記クラスタリング結果、前記第１の固定小数点後の畳み込みニューラルネットワークにおける前記畳み込みパラメータ及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の前記畳み込みニューラルネットワークを得る、ことを特徴とする請求項１６に記載の装置。
前記決定ユニットは、
前記畳み込みパラメータの小数点以下の桁数及び前記層出力パラメータの小数点以下の桁数に基づいて、前記固定小数点パラメータを決定する、ことを特徴とする請求項１６又は１７に記載の装置。
前記決定ユニットは、
前記畳み込みパラメータの小数点以下の桁数と前記層出力パラメータの小数点以下の桁数のうちの最大の小数点以下の桁数を、前記固定小数点パラメータに対応する小数点以下の桁数とする、ことを特徴とする請求項１８に記載の装置。
前記第１の固定小数点ユニットは、
前記固定小数点ビット幅のハードウェアリソース量のビット桁数及び前記固定小数点パラメータに基づいて、前記ネットワークパラメータの固定小数点レベルを決定し、
前記固定小数点レベル及び前記固定小数点関数に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る、ことを特徴とする請求項１６～１９のいずれか一項に記載の装置。
前記第１の固定小数点ユニットは、
前記ネットワークパラメータの値と、前記ネットワークパラメータの値に最も近い前記固定小数点レベルである目標レベルとの差分値を決定し、
そして、
前記差分値及び前記目標レベルを前記固定小数点関数に入力して、前記ネットワークパラメータに対して前記第１の固定小数点を行った結果を得る、ことを特徴とする請求項２０に記載の装置。
前記第１の処理モジュールは、
前記層出力パラメータから前記所定数の層出力パラメータを初期クラスタリング中心として選択し、
前記初期クラスタリング中心に基づいてクラスタリング繰り返し処理を行って、前記所定数のクラスタリング結果を得る、ことを特徴とする請求項１５又は１７に記載の装置。
前記第１の処理モジュールは、
前記クラスタリング結果のクラスタリング中心を決定し、
前記クラスタリング中心及び前記畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ、又は、前記クラスタリング中心及び第１の固定小数点後の畳み込みニューラルネットワークにおける前記畳み込みパラメータに基づいて、前記固定小数点ビット幅のハードウェアリソース量に基づいて第２の固定小数点を行って、第２の固定小数点結果を得て、前記第２の固定小数点は、前記クラスタリング中心を前記クラスタリング中心に最も近い固定小数点レベルに固定小数点する、ことを特徴とする請求項１５又は１７に記載の装置。
前記固定小数点関数と目標階段関数の差異が所定の差異より大きい場合、前記固定小数点関数の勾配を修正し、そして、勾配が修正された固定小数点関数に基づいて新たな第１の固定小数点を行う更新モジュールをさらに含む、ことを特徴とする請求項１６～２１のいずれか一項に記載の装置。
第２の処理モジュールは、
前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて、前記画像に対して固定小数点乗算演算、固定小数点加算演算、シフト演算のうちの少なくとも１つの処理を行うように制御する、ことを特徴とする請求項１４～２４のいずれか一項に記載の装置。
前記画像の処理結果は、
特徴抽出結果、分割結果、分類結果、オブジェクト検出／追跡結果のうちの少なくとも１つを含む、ことを特徴とする請求項１４～２５のいずれか一項に記載の装置。
プロセッサ、外部メモリ、内部メモリ及びＦＰＧＡ演算ユニットを含み、
前記外部メモリには、畳み込みニューラルネットワークの固定小数点処理後の、前記畳み込みニューラルネットワークの畳み込みパラメータ及び層出力パラメータを含むネットワークパラメータが記憶されており、
前記プロセッサは、前記畳み込みニューラルネットワークの固定小数点処理後のネットワークパラメータを前記内部メモリに読み込み、前記内部メモリのデータ及び処理対象の画像を前記ＦＰＧＡ演算ユニットに入力し、
前記ＦＰＧＡ演算ユニットは、固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて、前記処理対象の画像に対して演算処理を行って、前記画像の処理結果を得る、ことを特徴とするフィールドプログラマブルゲートアレイＦＰＧＡに基づく車載演算プラットフォーム。
前記プロセッサは、
前記畳み込みニューラルネットワークにおける層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得て、
前記クラスタリング結果、前記畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の前記畳み込みニューラルネットワークを得る、ことを特徴とする請求項２７に記載のプラットフォーム。
前記プロセッサは、
畳み込みニューラルネットワークにおける浮動小数点で表されたネットワークパラメータに基づいて、前記ネットワークパラメータに対応する固定小数点数の小数点以下の桁数を識別する固定小数点パラメータを決定し、
前記固定小数点パラメータ、所定の固定小数点関数及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得て、前記固定小数点関数は、０より大きい所定の勾配を有する一次関数である、ことを特徴とする請求項２７に記載のプラットフォーム。
前記プロセッサは、
前記第１の固定小数点後の畳み込みニューラルネットワークにおける前記層出力パラメータをクラスタリングして、所定数のクラスタリング結果を得て、
前記クラスタリング結果、前記第１の固定小数点後の畳み込みニューラルネットワークにおける前記畳み込みパラメータ及び前記固定小数点ビット幅のハードウェアリソース量に基づいて、第２の固定小数点を行って、第２の固定小数点後の前記畳み込みニューラルネットワークを得る、ことを特徴とする請求項２９に記載のプラットフォーム。
前記プロセッサは、
前記畳み込みパラメータの小数点以下の桁数及び前記層出力パラメータの小数点以下の桁数に基づいて、前記固定小数点パラメータを決定する、ことを特徴とする請求項２９又は３０に記載のプラットフォーム。
前記プロセッサは、
前記畳み込みパラメータの小数点以下の桁数と前記層出力パラメータの小数点以下の桁数のうちの最大の小数点以下の桁数を、前記固定小数点パラメータに対応する小数点以下の桁数とする、ことを特徴とする請求項３１に記載のプラットフォーム。
前記プロセッサは、
前記固定小数点ビット幅のハードウェアリソース量のビット桁数及び前記固定小数点パラメータに基づいて、前記ネットワークパラメータの固定小数点レベルを決定し、
前記固定小数点レベル及び前記固定小数点関数に基づいて、前記ネットワークパラメータに対して第１の固定小数点を行って、第１の固定小数点後の畳み込みニューラルネットワークを得る、ことを特徴とする請求項２９～３２のいずれか一項に記載のプラットフォーム。
前記プロセッサは、
前記ネットワークパラメータの値と、前記ネットワークパラメータの値に最も近い前記固定小数点レベルである目標レベルとの差分値を決定し、
前記差分値及び前記目標レベルを前記固定小数点関数に入力して、前記ネットワークパラメータに対して前記第１の固定小数点を行った結果を得る、ことを特徴とする請求項３３に記載のプラットフォーム。
前記プロセッサは、
前記層出力パラメータから前記所定数の層出力パラメータを初期クラスタリング中心として選択し、
前記初期クラスタリング中心に基づいてクラスタリング繰り返し処理を行って、前記所定数のクラスタリング結果を得る、ことを特徴とする請求項２８又は３０に記載のプラットフォーム。
前記プロセッサは、
前記クラスタリング結果のクラスタリング中心を決定し、
前記クラスタリング中心及び前記畳み込みニューラルネットワークにおける浮動小数点で表された畳み込みパラメータ、又は、前記クラスタリング中心及び第１の固定小数点後の畳み込みニューラルネットワークにおける前記畳み込みパラメータに基づいて、前記固定小数点ビット幅のハードウェアリソース量に基づいて第２の固定小数点を行って、第２の固定小数点結果を得て、前記第２の固定小数点は、前記クラスタリング中心を前記クラスタリング中心に最も近い固定小数点レベルに固定小数点する、ことを特徴とする請求項２８又は３０に記載のプラットフォーム。
前記プロセッサは、
前記固定小数点関数と目標階段関数の差異が所定の差異より大きいことに応答して、前記固定小数点関数の勾配を修正し、
勾配が修正された固定小数点関数に基づいて新たな第１の固定小数点を行う、ことを特徴とする請求項２９～３４のいずれか一項に記載のプラットフォーム。
前記プロセッサは、
前記演算ユニットが固定小数点処理後の畳み込みニューラルネットワークのネットワークパラメータに基づいて、前記画像に対して固定小数点乗算演算、固定小数点加算演算、シフト演算のうちの少なくとも１つの処理を行うように制御する、ことを特徴とする請求項２７～３７のいずれか一項に記載のプラットフォーム。
前記画像の処理結果は、
特徴抽出結果、分割結果、分類結果、オブジェクト検出／追跡結果のうちの少なくとも１つを含む、ことを特徴とする請求項２７～３８のいずれか一項に記載のプラットフォーム。
プロセッサと、
請求項１～１３のいずれか一項に記載の画像処理方法に対応する動作を前記プロセッサに実行させる少なくとも１つの実行可能な命令を記憶するメモリと、を含む、ことを特徴とする電子機器。
プロセッサと、請求項１４～２６のいずれか一項に記載の画像処理装置とを含み、プロセッサが前記画像処理装置を実行する場合、請求項１４～２６のいずれか一項に記載の画像処理装置におけるモジュールが実行される、ことを特徴とする電子機器。
請求項４０又は４１に記載の電子機器を含む、ことを特徴とするスマート運転システム。
請求項１～１３のいずれか一項に記載の画像処理方法を実行するコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ可読記憶媒体。