JP2021507439A - 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品 - Google Patents

Abstract

本願の実施例は、処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成するステップと、前記特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定するステップと、前記対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するステップと、を含む画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品を開示する。本願の上記実施例によれば、特徴点間の情報伝送により、コンテキスト情報をより望ましく使用することができ、特徴マップにより多い情報が含まれるようになる。【選択図】図１

Description

＜関連出願の相互参照＞
本願は、２０１８年８月７日に中国特許局に提出された、出願番号ＣＮ２０１８１０８９３１５３．１、発明の名称「画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は、機械学習技術に関し、特に、画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。

コンピュータに画像を「理解させる」ことで本物の「視覚」を持たせるために、画像から有用なデータ又は情報を抽出し、例えば、数値、ベクトル及び符号等のような、画像を「非画像」で表し又は記述するものを取得する必要がある。このプロセスは特徴抽出となり、抽出されるこれらの「非画像」で表し又は記述するものは特徴となっている。これらの数値又はベクトル形式の特徴があったら、コンピュータがどのようにこれらの特徴を理解するかということをトレーニングプロセスにより学習させて、コンピュータに画像認識能力を持たせることができる。

特徴というのは、１種の対象を他の種類の対象と区別するための対応的な（本質的）特徴又は特性であり、又はこれらの特徴と特性の集合である。特徴は測定又は処理により抽出可能なデータである。画像にとっては、それぞれの画像には他の種類の画像と区別可能な自分の特徴を有し、例えば輝度、エッジ、模様及び色等の直感的に感じられる自然的特徴があるし、例えばヒストグラム、主成分等の変換又は処理を行わなければ得られないものもある。

本願の実施例は、画像処理技術を提供する。

本願の実施例の一態様によれば、
処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成するステップと、
前記特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定するステップと、
対応する前記特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するステップと、を含む画像処理方法を提供する。

本願の実施例の別の態様によれば、
処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成するための特徴抽出ユニットと、
前記特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定するための重み決定ユニットと、
対応する前記特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するための特徴強調ユニットと、を含む画像処理装置を提供する。

本願の実施例の別の態様によれば、以上のいずれか一項に記載の画像処理装置を備えるプロセッサを含むことを特徴とする電子機器を提供する。

本願の実施例の別の態様によれば、実行可能コマンドを記憶するためのメモリと、プロセッサを備え、
前記メモリと通信することにより、前記実行可能コマンドを実行して以上のいずれか一項に記載の画像処理方法の操作を完成するためのプロセッサと、を含むことを特徴とする電子機器を提供する。

本願の実施例の別の態様によれば、コンピュータ読取可能なコマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行されると、以上のいずれか一項に記載の画像処理方法の操作が実行されることを特徴とするコンピュータ記憶媒体を提供する。

本願の実施例の別の態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動すると、前記機器におけるプロセッサが以上のいずれか一項に記載の画像処理方法を実現するためのコマンドを実行することを特徴とするコンピュータプログラム製品を提供する。

本願の上記実施例で提供された画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品によれば、処理すべき画像に対して特徴抽出を行って画像の特徴マップを生成し、特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定し、対応する特徴重み基づいて、各特徴点の特徴情報をそれぞれ特徴マップおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するようになっており、特徴点間の情報伝送により、コンテキスト情報をより望ましく使用することができ、特徴強調後の特徴マップにより多い情報が含まれるようになる。

以下、図面及び実施例を通じて本発明の技術的手段をさらに詳しく説明する。

明細書の一部を構成する図面は、本発明の実施例を説明し、その説明と共に本発明の原理を解釈することに用いられる。
図面を参照し、以下の詳細な説明により本発明をより明瞭に理解することができる。
本願の画像処理方法の一実施例のフローチャットである。 本願の画像処理方法の選択可能な一例における特徴点間の情報伝達の模式図である。 本願の画像処理方法の別の実施例のネットワーク構成の模式図である。 本願の画像処理方法の別の実施例における情報収集ブランチの重みベクトルの取得の模式図である。 本願の画像処理方法の別の実施例における情報配信ブランチの重みベクトルの取得の模式図である。 本願の画像処理方法におけるネットワークトレーニングの例示的構成の模式図である。 本願の画像処理方法におけるネットワークトレーニングの別の例示的構成の模式図である。 本願の画像処理装置の一実施例の構成模式図である。 本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構成模式図である。

ここで、図面を参照しながら本発明の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本発明の範囲を限定するものではないことに注意すべきである。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本発明及びその適用または使用へのなんらの制限にもならない。

関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

本発明の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。

図１は本願の画像処理方法の一実施例のフローチャットである。図１に示すように、この実施例の方法は、以下のステップを含む。

ステップ１１０、処理すべき画像に対して特徴抽出を行って画像の特徴マップを生成する。

本実施例における画像は、特徴抽出処理を行っていない画像であってもよいし、１回又は複数回の特徴抽出を行って得られた特徴マップ等であってもよく、本願は、処理すべき画像の具体的な形式を限定しない。

選択可能な一例では、このステップＳ１１０はプロセッサがメモリに記憶された対応のコマンドを呼び出すことで、このステップＳ１１０は実行されてもよく、プロセッサが作動する特徴抽出ユニット７１によってこのステップＳ１１０は実行されてもよい。

ステップ１２０、特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定する。

本実施例における複数の特徴点は特徴マップにおける全ての特徴点であってもよいし、一部の特徴点であってもよく、特徴点間の情報伝達を実現するために、伝達確率を決定する必要があり、即ち、１つの特徴点の情報の全て又は一部を他の特徴点に伝達し、伝達割合は特徴重みに依存する。

１つ又は複数の選択可能な実施例では、図２は本願の画像処理方法の選択可能な一例における特徴点間の情報伝達の模式図である。ここで、図２の（ａ）収取に示すように、特徴点の間で情報の収集（ｃｏｌｌｅｃｔ）を実現する一方向伝達しか行われなく、中央の特徴点を例とすれば、周囲の特徴点からこの特徴点に伝達する特徴情報が受信される。また、図２の（ｂ）配信に示すように、特徴点の間で情報の配信（ｄｉｓｔｒｉｂｕｔｅ）を実現する一方向伝達しか行われなく、中央の特徴点を例とすれば、この特徴点の特徴情報が外へ周囲の特徴点に伝達される。また、図２の（ｃ）双方向伝達に示すように、双方向伝達が行われ、即ち、各特徴点は、外へ情報を伝達するだけでなく、周囲の特徴点から伝達される情報をも受信して、情報の双方向伝送（ｂｉ−ｄｉｒｅｃｔｉｏｎ）を実現する。この時に、特徴重みには内部受信重みと外部送信重みを含み、この外へ情報を伝達する外部送信重みとこの特徴情報の積が周囲特徴点に伝達されると同時に、この内部受信重みと周囲特徴点の特徴情報の積が受信されてこの特徴点に伝達される。

選択可能な一例では、プロセッサがメモリに記憶された対応のコマンドを呼び出すことで、このステップＳ１２０は実行されてもよく、プロセッサが作動する重み決定ユニット７２によってこのステップＳ１２０は実行されてもよい。

ステップ１３０、対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ特徴マップおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得する。

ここで、一つの特徴点について、関連する他の特徴点とは、特徴マップにおけるこの特徴点以外のこの特徴点に関連する特徴点を指す。

各特徴点は、点ごと空間注意メカニズム（特徴重み）で表される自分の情報伝達を行い、これらの情報伝達はニューラルネットワークにより学習可能であり、強い自己適応能力を有する。また、異なる特徴点間の情報伝達を学習するときに、特徴点と特徴点の間の相対位置関係が考えられる。

選択可能な一例では、プロセッサがメモリに記憶された対応のコマンドを呼び出すことで、このステップＳ１３０は実行されてもよく、プロセッサが作動する特徴強調ユニット７３によってこのステップＳ１３０は実行されてもよい。

本願の上記実施例で提供された画像処理方法によれば、処理すべき画像に対して特徴抽出を行って画像の特徴マップを生成し、特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定し、対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ特徴マップおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するようになっており、特徴点間の情報伝送により、コンテキスト情報をより望ましく使用することができ、特徴強調後の特徴マップにより多い情報が含まれるようになる。

１つ又は複数の選択可能な実施例では、本実施例の方法は、特徴強調後の特徴マップに基づいて画像に対してシーン解析処理又は物体分割処理を行うステップを更に含んでもよい。

本実施例では、特徴マップにおける各特徴点は、他の点の情報を集めて現在点の予測を支援すると共に、現在点の情報を配信して他の点の予測を支援することができ、この技術案で設計された点ごとの空間重みの手段は自己適応型の学習調整であり、且つ位置関係に関連し、特徴強調後の特徴マップによれば、複雑なシーンのコンテキスト情報をより望ましく用いてシーン解析又は物体分割等の処理を支援することが可能になる。

１つ又は複数の選択可能な実施例では、本実施例の方法は、シーン解析処理の結果又は物体分割処理の結果により、ロボットナビゲーション制御又は車両インテリジェントドライブ制御を行うステップを更に含んでもよい。

複雑なシーンのコンテキスト情報を用いてシーン解析処理又は物体分割処理を行うことにより、得られるシーン解析処理の結果又は物体分割処理の結果がより精確になり、人の目による処理結果に更に類似するようになり、ロボットナビゲーション制御又は車両インテリジェントドライブ制御に用いられるときに、人工制御に類似する結果を達成可能である。

１つ又は複数の選択可能な実施例では、特徴マップに含まれる特徴点の特徴重みは内部受信重みと外部送信重みを含む。

内部受信重みは、特徴点が特徴マップに含まれる他の特徴点の特徴情報を受信する時の重みを示し、外部送信重みは、特徴点が特徴情報を特徴マップに含まれる他の特徴点に伝送する時の重みを示す。

本願の実施例は、内部受信重みと外部送信重みにより特徴点の情報の双方向伝搬を実現し、そのように特徴マップにおける各特徴点は他の特徴点の情報を集めて現在特徴点の予測を支援すると共に、現在特徴点の情報を配信して他の特徴点の予測を支援することができ、情報の双方向伝搬により予測の正確性が高められる。

選択可能に、ステップ１２０には、
特徴マップに対して第１のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得するステップと、
特徴マップに対して第２のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の外部送信重みの第２の重みベクトルを取得するステップと、を含んでよい。

特徴マップに複数の特徴点が含まれ、各特徴点がそれぞれ少なくとも１つの内部受信重みと外部送信重みに対応するので、本願の実施例は、２つのブランチにより特徴マップをそれぞれ処理して、特徴マップに含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトル、及び複数の特徴点のうちの少なくとも１つの特徴点の外部送信重みの第２の重みベクトルを取得することができ、２つの重みベクトルをそれぞれ取得することにより、特徴点間の情報の双方向伝搬の効率が高められ、より高速な情報伝達が実現される。

１つ又は複数の選択可能な実施例では、特徴マップに対して第１のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得するステップには、
ニューラルネットワークにより特徴マップを処理し、第１の中間重みベクトルを取得するステップと、
第１の中間重みベクトル中の無効情報を除去し、第１の重みベクトルを取得するステップと、を含む。

無効情報は、第１の中間重みベクトルにおける特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報である。

本願の実施例では、各特徴点に対応する全面的な重み情報を取得するために、この特徴点の周囲位置からこの特徴点に情報を伝送する重みを取得する必要があり、しかしながら、特徴マップにエッジの特徴点が含まれ、これらの特徴点の周囲において特徴点を有するのが一部の位置だけであり、従って、ニューラルネットワークの処理により得られる第１の中間重みベクトルには１つの伝送端子（特徴点）しか有さない多くの無意味の無効情報が含まれるので、これらの情報を伝送するか否かは特徴伝送に影響を与えなく又は影響度合が設定条件より小さく、これらの無効情報を除去すれば第１の重みベクトルが取得され、この第１の重みベクトルは情報の全面性を保証すると共に無用情報を含まなく、有用情報の伝達効率が高められる。

選択可能に、ニューラルネットワークにより特徴マップを処理し、第１の中間重みベクトルを取得するステップには、
特徴マップにおける各特徴点をそれぞれ第１の入力点とし、第１の入力点の周囲位置を第１の入力点に対応する第１の出力点とするステップと、
特徴マップにおける第１の入力点と第１の入力点に対応する第１の出力点との間の第１の伝達割合ベクトルを取得するステップと、
第１の伝達割合ベクトルに基づいて第１の中間重みベクトルを取得するステップと、を含む。

本実施例では、特徴マップにおける各特徴点が入力点とされており、より全面的な特徴情報伝送路を取得するために、特徴マップにおける複数の特徴点と第１の入力点の空間位置での複数の隣接位置を含む、この入力点の周囲の位置を出力点とするようにし、選択可能に、第１の入力点の周囲の全ての位置を第１の入力点に対応する第１の出力点としてよく、複数の特徴点は、特徴マップにおける全ての特徴点であってもよいし、一部の特徴点であってもよく、例えば、特徴マップにおける全ての特徴点と入力点の空間位置での８つの隣接位置を含み、これらの８つの隣接位置は入力点を中心とする３×３の立方体に基づいて決定され、ここで、特徴点と８つの隣接位置は重なったところがあり、重なった位置を１つの出力点とし、この時に、この入力点に対応する全ての第１の伝達割合ベクトルが取得され、伝達割合ベクトルにより出力点の情報を伝達割合に応じて入力点に伝送し、本実施例により２つの特徴点の間の情報伝達の伝達割合を取得することができる。

選択可能に、第１の中間重みベクトル中の無効情報を除去し、第１の重みベクトルを取得するステップには、
第１の中間重みベクトルから第１の出力点に含まれる情報が空である第１の伝達割合ベクトルを認識するステップと、
第１の中間重みベクトルから第１の出力点に含まれる情報が空である第１の伝達割合ベクトルを除去し、特徴マップの内部受信重みを取得するステップと、
内部受信重みに基づいて第１の重みベクトルを決定するステップと、を含む。

本実施例では、少なくとも１つの特徴点（例えば、全ての特徴点）が第１の入力点とされており、従って、この第１の入力点の周囲位置に特徴点がない時に、この位置の第１の伝達割合ベクトルは無用なものとなり、即ち、ゼロに何の数値をかけてもゼロとなり、情報を伝達していない場合と同じであり、本実施例は、これらの無用の第１の伝達割合ベクトルを除去した後全ての内部受信重みを取得して、第１の重みベクトルを決定する。本願の実施例は大きい中間重みベクトルを学習してから選択する操作を採用して、特徴情報の相対位置情報を考えることを達成する。

選択可能に、内部受信重みに基づいて第１の重みベクトルを決定するステップには、
内部受信重みを対応の第１の出力点の位置に応じて配列し、第１の重みベクトルを取得するステップを含む。

内部受信重みとそれに対応する特徴点の位置を対応付けるために、本実施例は、各特徴点に対して得られた内部受信重みをそれに対応する第１の出力点の位置に応じて配列し、そのように後続の情報伝達が容易になり、ここで、１つの特徴点に対応する複数の第１の出力点は内部受信重みに応じて順序付けられ、選択可能に、後続の情報伝達プロセスで、複数の出力点からこの特徴点に伝達される情報を順次受信することができる。

選択可能に、ニューラルネットワークにより特徴マップを処理し、第１の中間重みベクトルを取得するステップの前に、
畳み込み層により特徴マップに対して次元削減処理を行い、第１の中間特徴マップを取得するステップを更に含み、
ニューラルネットワークにより特徴マップを処理し、第１の中間重みベクトルを取得するステップには、
ニューラルネットワークにより次元削減後の第１の中間特徴マップを処理し、第１の中間重みベクトルを取得するステップを含む。

処理速度を高めるために、特徴マップを処理する前に、更に特徴マップに対して次元削減処理を行ってもよく、チャネル数を減少することで計算量を減少する。

選択可能に、ニューラルネットワークにより次元削減後の第１の中間特徴マップを処理し、第１の中間重みベクトルを取得するステップには、
第１の中間特徴マップにおける各第１の中間特徴点をそれぞれ第１の入力点とし、第１の入力点の周囲の全ての位置を第１の入力点に対応する第１の出力点とするステップと、
第１の中間特徴マップにおける第１の入力点と第１の入力点に対応する全ての第１の出力点の間の第１の伝達割合ベクトルを取得するステップと、
第１の伝達割合ベクトルに基づいて第１の中間重みベクトルを取得するステップと、を含む。

本実施例では、次元削減後の第１の中間特徴マップにおける各第１の中間特徴点を入力点とし、第１の中間特徴マップにおける複数の特徴点と第１の入力点の空間位置での複数の隣接位置を含む、この入力点の周囲の全ての位置を出力点としており、複数の特徴点は、第１の中間特徴マップにおける全ての第１の中間特徴点であってもよいし、一部の第１の中間特徴点であってもよい。例えば、第１の中間特徴マップにおける全ての第１の中間特徴点と入力点の空間位置での８つの隣接位置を含み、これらの８つの隣接位置は入力点を中心とする３×３の立方体に基づいて決定され、ここで、特徴点と８つの隣接位置は重なったところがあり、重なった位置を１つの出力点とし、この時に、この入力点に対応する全ての第１の伝達割合ベクトルが取得され、伝達割合ベクトルにより出力点の情報を伝達割合に応じて入力点に伝送し、本実施例により２つずつの第１の中間特徴点の間の情報伝達の伝達割合を取得することができる。

１つ又は複数の選択可能な実施例では、特徴マップに対して第２のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の外部送信重みの第２の重みベクトルを取得するステップには、
ニューラルネットワークにより特徴マップを処理し、第２の中間重みベクトルを取得するステップと、
第２の中間重みベクトル中の無効情報を除去し、第２の重みベクトルを取得するステップと、を含む。

ここで、無効情報は、第２の中間重みベクトルにおける特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報である。

本願の実施例では、特徴マップにおける各特徴点に対応する全面的な重み情報を取得するために、特徴点から周囲位置に情報を伝送する重みを取得する必要があり、しかしながら、特徴マップにエッジの特徴点が含まれ、これらの特徴点の周囲において特徴点を有するのが一部の位置だけであり、従って、ニューラルネットワークの処理により得られる第２の中間重みベクトルには、１つの伝送端子（特徴点）しか有さない多くの無意味の無効情報が含まれるので、これらの情報を伝送するか否かは特徴伝送に影響を与えなく又は影響度合が設定条件より小さく、これらの無効情報を除去すれば第２の重みベクトルが取得され、この第２の重みベクトルは情報の全面性を保証すると共に無用情報を含まなく、情報伝達の効率が高められる。

選択可能に、ニューラルネットワークにより特徴マップを処理し、第２の中間重みベクトルを取得するステップには、
特徴マップにおける各特徴点をそれぞれ第２の出力点とし、第２の出力点の周囲位置を第２の出力点に対応する第２の入力点とするステップと、
特徴マップにおける第２の出力点と第２の出力点に対応する第２の入力点との間の第２の伝達割合ベクトルを取得するステップと、
第２の伝達割合ベクトルに基づいて第２の中間重みベクトルを取得するステップと、を含む。

本実施例では、特徴マップにおける各特徴点が出力点とされており、より全面的な特徴情報伝送路を取得するために、特徴マップにおける複数の特徴点と第２の出力点の空間位置での複数の隣接位置を含む、この出力点の周囲の位置を入力点とするようにし、選択可能に、第２の出力点の周囲の全ての位置を第２の出力点に対応する第２の入力点としてよく、複数の特徴点は、特徴マップにおける全ての特徴点であってもよいし、一部の特徴点であってもよく、例えば、特徴マップにおける全ての特徴点と出力点の空間位置での８つの隣接位置を含み、これらの８つの隣接位置は入力点を中心とする３×３の立方体に基づいて決定され、ここで、特徴点と８つの隣接位置は重なったところがあり、重なった位置を１つの入力点とし、この時に、この第２の出力点に対応する全ての第２の伝達割合ベクトルが取得され、伝達割合ベクトルにより入力点の情報を伝達割合に応じて出力点に伝送し、本実施例により２つの特徴点の間の情報伝達の伝達割合を取得することができる。

選択可能に、第２の中間重みベクトル中の無効情報を除去し、第２の重みベクトルを取得するステップには、
第２の中間重みベクトルから第２の出力点に含まれる情報が空である第２の伝達割合ベクトルを認識するステップと、
第２の中間重みベクトルから第２の出力点に含まれる情報が空である第２の伝達割合ベクトルを除去し、特徴マップの外部送信重みを取得するステップと、
外部送信重みに基づいて第２の重みベクトルを決定するステップと、を含む。

本願の実施例では、少なくとも１つの特徴点（例えば、全ての特徴点）が第２の出力点とされており、従って、この第２の出力点の周囲位置に特徴点がない時に、この位置の第２の伝達割合ベクトルは無用なものとなり、即ち、ゼロに何の数値をかけてもゼロとなり、情報を伝達していない場合と同じであり、本実施例は、これらの無用の第２の伝達割合ベクトルを除去した後外部送信重みを取得して、第２の重みベクトルを決定する。本願の実施例は大きい中間重みベクトルを学習してから選択する操作を採用して、特徴情報の相対位置情報を考えることを達成する。

選択可能に、外部送信重みに基づいて第２の重みベクトルを決定するステップには、
外部送信重みを対応の第２の入力点の位置に応じて配列し、第２の重みベクトルを取得するステップを含む。

外部送信重みとそれに対応する特徴点の位置を対応付けるために、本実施例は、各特徴点に対して得られた外部送信重みをそれに対応する第２の入力点の位置に応じて配列し、そのように後続の情報伝達が容易になり、ここで、１つの特徴点に対応する複数の第２の入力点は外部送信重みに応じて順序付けられ、選択可能に、後続の情報伝達プロセスで、この特徴点の情報を順次複数の入力点に送信することができる。

選択可能に、ニューラルネットワークにより特徴マップを処理し、第２の中間重みベクトルを取得するステップの前に、
畳み込み層により特徴マップに対して次元削減処理を行い、第２の中間特徴マップを取得するステップを更に含み、
ニューラルネットワークにより特徴マップを処理し、第２の中間重みベクトルを取得するステップには、
ニューラルネットワークにより次元削減後の第２の中間特徴マップを処理し、第２の中間重みベクトルを取得するステップを含む。

処理速度を高めるために、特徴マップを処理する前に、更に特徴マップに対して次元削減処理を行ってもよく、チャネル数を減少することで計算量を減少する。同一の特徴マップに対して同一のニューラルネットワークにより次元削減を行ってよく、選択可能に、特徴マップに対して次元削減を行った後の第１の中間特徴マップと第２の中間特徴マップは同様であってもよいし、異なっていてもよい。

選択可能に、ニューラルネットワークにより次元削減後の第２の中間特徴マップを処理し、第２の中間重みベクトルを取得するステップには、
第２の中間特徴マップにおける各第２の中間特徴点をそれぞれ第２の出力点とし、第２の出力点の周囲の全ての位置の第２の中間特徴点を第２の入力点に対応する第２の出力点とするステップと、
第２の中間特徴マップにおける第２の出力点と第２の出力点に対応する全ての第２の入力点の間の第２の伝達割合ベクトルを取得するステップと、
第２の伝達割合ベクトルに基づいて第２の中間重みベクトルを取得するステップと、を含む。

本実施例では、次元削減後の第２の中間特徴マップにおける各第２の中間特徴点を出力点とし、第２の中間特徴マップにおける複数の第２の中間特徴点と第２の出力点の空間位置での複数の隣接位置を含む、この出力点の周囲の全ての位置を入力点としており、この時に、この出力点に対応する全ての第２の伝達割合ベクトルが取得され、伝達割合ベクトルにより出力点の情報を伝達割合に応じて入力点に伝送し、本実施例により２つずつの第２の中間特徴点の間の情報伝達の伝達割合を取得することができる。

１つ又は複数の選択可能な実施例では、ステップ１３０には、
第１の重みベクトルと特徴マップに基づいて第１の特徴ベクトルを取得し、第２の重みベクトルと特徴マップに基づいて第２の特徴ベクトルを取得するステップと、
第１の特徴ベクトル、第２の特徴ベクトル及び特徴マップに基づいて特徴強調後の特徴マップを取得するステップと、を含んでよい。

本実施例では、第１の重みベクトルと特徴マップにより、特徴マップにおける特徴点の受信する特徴情報が取得され、第２の重みベクトルと特徴マップにより、特徴マップにおける特徴点が外部へ送信する特徴情報が取得され、即ち、双方向に伝送される特徴情報が取得され、双方向に伝送される特徴情報と特徴マップに基づいてより多い情報を含む強調後の特徴マップが取得可能になる。

選択可能に、第１の重みベクトルと特徴マップに基づいて第１の特徴ベクトルを取得し、第２の重みベクトルと特徴マップに基づいて第２の特徴ベクトルを取得するステップには、
第１の重みベクトルと、特徴マップに対して次元削減処理を行った後の第１の中間特徴マップとに対して行列乗算処理を行い、第１の特徴ベクトルを取得するステップと、
第２の重みベクトルと、特徴マップに対して次元削減処理を行った後の第２の中間特徴マップとに対して行列乗算処理を行い、第２の特徴ベクトルを取得するステップと、を含む。
又は、第１の重みベクトルと特徴マップとに対して行列乗算処理を行い、第１の特徴ベクトルを取得するステップと、
第２の重みベクトルと特徴マップとに対して行列乗算処理を行い、第２の特徴ベクトルを取得するステップと、を含む。

本実施例では、無効情報を除去することにより、得られる第１の重みベクトルと次元削減後の第１の中間特徴マップは行列乗算の要求を満たしており、この時に行列乗算により第１の中間特徴マップにおける各特徴点とこの特徴点に対応する重みを乗算することで、重みにより少なくとも１つの特徴点（例えば、各特徴点）に特徴情報を伝送することが実現され、第２の特徴ベクトルは、少なくとも１つの特徴点（例えば、各特徴点）から外へ対応の重みにより特徴情報を伝送することを実現する。

重みベクトルと特徴マップに対して行列乗算処理を行う時に、第１の重みベクトル及び第２の重みベクトルと特徴マップが行列乗算要求を満たすことが要求され、選択可能に、行列乗算により特徴マップにおける各特徴点とこの特徴点に対応する重みを乗算することで、重みにより各特徴点に特徴情報を伝送することが実現され、第２の特徴ベクトルは各特徴点から外へ対応の重みにより特徴情報を伝送することを実現する。

選択可能に、第１の特徴ベクトル、第２の特徴ベクトル及び特徴マップに基づいて特徴強調後の特徴マップを取得するステップには、
第１の特徴ベクトルと第２の特徴ベクトルをチャネル次元で結合し、結合特徴ベクトルを取得するステップと、
結合特徴ベクトルと特徴マップをチャネル次元で結合し、特徴強調後の特徴マップを取得するステップと、を含む。

結合することにより第１の特徴ベクトルと第２の特徴ベクトルを統括し、双方向伝達情報を取得し、更に双方向伝達情報と特徴マップを結合して、特徴強調後の特徴マップが取得可能になり、この特徴強調後の特徴マップには初期特徴マップにおける各特徴点の特徴情報を含むだけでなく、更に２つずつの特徴点の間の双方向伝達特徴情報を含む。

選択可能に、結合特徴ベクトルと特徴マップをチャネル次元で結合し、特徴強調後の特徴マップを取得するステップの前に、
結合特徴ベクトルに対して特徴投影処理を行い、処理後の結合特徴ベクトルを取得するステップを更に含み、
結合特徴ベクトルと特徴マップをチャネル次元で結合し、特徴強調後の特徴マップを取得するステップには、
処理後の結合特徴ベクトルと特徴マップをチャネル次元で結合し、特徴強調後の特徴マップを取得するステップを含む。

選択可能に、１つのニューラルネットワークを用いて処理して（例えば、１つの畳み込み層と非線形活性化層のカスケード）特徴投影を実現し、特徴投影により結合特徴ベクトルと特徴マップをチャネル以外の他の次元で統括し、チャネル次元での結合が実現可能である。

図３は本願の画像処理方法の別の実施例のネットワーク構成の模式図である。図３に示すように、入力される画像特徴は、全体的に言えば、情報収集を行う情報収集ストリーム及び情報配信を行う情報配信ストリームという上下の２つのブランチに分けられる。
１）それぞれのブランチにおいて、チャネル数を減少する畳み込み操作が行われ、特徴の次元削減（ｒｅｄｕｃｔｉｏｎ）により計算量の節約が実現される。
２）次元削減特徴マップに対して、１つの小型ニューラルネットワーク（一般的には畳み込み層と非線形活性化層のカスケードであって、これらは畳み込みニューラルネットワークの基礎モジュールとなる）により特徴重みを予測（ａｄａｐｔｉｏｎ）し、数量が特徴マップの２倍程度の特徴重みを取得する（例えば、特徴マップの大きさをＨ×Ｗ（高Ｈ、幅Ｗ）とすれば、各特徴点に対して予測した特徴重みの数量が（２Ｈ−１）×（２Ｗ−１）となり、それにより相対位置関係を考えた上で各点が、それぞれ図全体における全ての点と情報を伝搬できることを保証する）。
３）特徴重みに対して収集又は配信（各点に対して予測された（２Ｈ−１）×（２Ｗ−１）の重みのうちＨ＊Ｗ個が有効なものであり、他のものが無効である）の方式により、入力特徴と同様な大きさを有するコンパクトな有効重みを取得し、その中の有効重みを抽出して改めて配列して、コンパクトな重み行列を取得する。
４）得られた重み行列と上記の次元低減後の特徴の行列積を取得して、情報伝達を行う。
５）上下の２つのブランチで得られた特徴を先に結合し、次に特徴投影（ｆｅａｔｕｒｅ ｐｒｏｊｅｃｔｉｏｎ；例えば、１つのニューラルネットワークを用いて得られた特徴を処理する（例えば、１つの畳み込み層と非線形活性化層のカスケードを用いることができる））処理を行い、グローバル特徴を取得する。
６）得られたグローバル特徴と初期の入力特徴を結合し、最終的な出力特徴表現を取得し、ここで、結合は特徴次元の結合であってもよい。勿論、ここでは最初の入力と新たなグローバル特徴の融合が行われ、結合が簡単な方式である。加算又は他の融合方式を用いてもよい。この特徴は最初の特徴中のセマンティック情報を含み、更にグローバル特徴に対応するグローバルなコンテキスト情報をも含む。

得られた特徴強調後のこの特徴はシーン解析に用いてよく、例えば、直接小さい畳み込みニューラルネットワークにより実現される分類器に入力して各点を分類する。

図４−ａは本願の画像処理方法の別の実施例における情報収集ブランチの重みベクトルの取得の模式図である。図４−ａに示すように、生成した大きい特徴重みに関しては、情報収集（ｃｏｌｌｅｃｔ）ブランチにおいて、非コンパクト重み特徴の揃う中心点が目標特徴点ｉであり、各特徴点に対して予測された（２Ｈ−１）×（２Ｗ−１）の非コンパクト特徴重みは図全体をカバーする半透明の矩形に広げることができ、矩形の中心がこの点と揃っている。このステップは特徴重みを予測する時に特徴点と特徴点との相対位置関係を精確に考えることを保証する。図４−ｂは本願の画像処理方法の別の実施例における情報配信ブランチの重みベクトルの取得の模式図である。図４−ｂに示すように、情報配信（ｄｉｓｔｒｉｂｕｔｅ）のブランチに関しては、揃う中心点が情報出発点ｊである。各点に対して予測された（２Ｈ−１）×（２Ｗ−１）の非コンパクト特徴重みは図全体をカバーする半透明の矩形に広げることができ、この半透明の矩形はこのマスクとなる。重なった領域を破線枠で示し、即ち有効な重み特徴である。

１つ又は複数の選択可能な実施例では、本実施例の方法は、特徴抽出ネットワークと特徴強調ネットワークを用いて実現され、
本実施例の方法は、
サンプル画像を用いて特徴強調ネットワークをトレーニングし、又は、サンプル画像を用いて特徴抽出ネットワークと特徴強調ネットワークをトレーニングするステップを更に含んでもよい。

ここで、サンプル画像は、アノテーション付きシーン解析結果又はアノテーション付き物体分割結果を含むアノテーション付き処理結果を有する。

画像タスクの処理をより望ましく実現するために、ネットワーク予測の前に、ネットワークをトレーニングする必要がある。本実施における特徴抽出ネットワークは予めトレーニングされたものであってもよいし、トレーニングされないものであってもよく、特徴抽出ネットワークは予めトレーニングされたものである時に、特徴強調ネットワークのみをトレーニングしてもよく、又は、特徴抽出ネットワークと特徴強調ネットワークを同時にトレーニングしてもよく、特徴抽出ネットワークはトレーニングされないものである時に、サンプル画像を用いて特徴抽出ネットワークと特徴強調ネットワークをトレーニングする。

選択可能に、サンプル画像を用いて特徴強調ネットワークをトレーニングするステップには、
サンプル画像を特徴抽出ネットワークと特徴強調ネットワークに入力し、予測処理結果を取得するステップと、
予測処理結果とアノテーション付き処理結果に基づいて、特徴強調ネットワークをトレーニングするステップと、を含む。

この時に、特徴強調ネットワークをトレーニングされた特徴抽出ネットワークに接続した後、得られた予測処理結果に基づいて特徴強調ネットワークをトレーニングする。例えば、上述した点ごとの空間重みモジュール（ＰＳＡ、Ｐｏｉｎｔ−ｗｉｓｅ Ｓｐａｔｉａｌ Ａｔｔｅｎｔｉｏｎ；上記実施例で提供された特徴強調ネットワークに対応）をシーン解析のフレームワークに嵌め込む、図５は本願の画像処理方法におけるネットワークトレーニングの例示的構成の模式図である。図５に示すように、入力画像を既存のシーン解析モデル（ｓｃｅｎｅ ｐａｒｓｉｎｇ ｍｏｄｅｌ）に送り込み、出力される特徴マップをＰＳＡモジュール構成に送り込んで情報集合（ｉｎｆｏｒｍａｔｉｏｎ ａｇｇｒｅｇａｔｉｏｎ）を行い、最終的な特徴を取得して分類器に入力してシーン解析を行い、予測されたシーン解析結果とアノテーション付き処理結果に基づいて上記実施例における第１の損失に対応する主要損失（ｍａｉｎ ｌｏｓｓ）を取得し、主要損失に基づいて特徴強調ネットワークをトレーニングする。

選択可能に、サンプル画像を用いて特徴抽出ネットワークと特徴強調ネットワークをトレーニングするステップには、
サンプル画像を特徴抽出ネットワークと特徴強調ネットワークに入力し、予測処理結果を取得するステップと、
予測処理結果とアノテーション付き処理結果に基づいて第１の損失を取得するステップと、
第１の損失に基づいて特徴抽出ネットワークと特徴強調ネットワークをトレーニングするステップと、を含む。

特徴抽出ネットワークと特徴強調ネットワークが順に接続されているので、得られた第１の損失（例えば、主要損失）は特徴強調ネットワークにフィードバックされる時に、継続的に前へフィードバックされることになり、それにより特徴抽出ネットワークのトレーニング又は微調整（特徴抽出ネットワークは予めトレーニングされたものである時に、微調整のみを行なってもよい）が実現可能になり、特徴抽出ネットワークと特徴強調ネットワークを同時にトレーニングすることが実現され、シーン解析タスク又は物体分割タスクの結果がより精確であることが保証される。

選択可能に、本実施例の方法は、
特徴抽出ネットワークの１つの中間層によって出力された特徴マップに基づいて、中間予測処理結果を決定するステップと、
中間予測処理結果とアノテーション付き処理結果に基づいて第２の損失を取得するステップと、
第２の損失に基づいて前記特徴抽出ネットワークのパラメータを調整するステップと、を更に含んでもよい。

特徴抽出ネットワークはトレーニングされないものである時に、この特徴抽出ネットワークをトレーニングするプロセスで、更に第２の損失（例えば、補助損失）を加えてもよく、上述した点ごとの空間重み（ＰＳＡ、Ｐｏｉｎｔ−ｗｉｓｅ Ｓｐａｔｉａｌ Ａｔｔｅｎｔｉｏｎ；上記実施例で提供された特徴強調ネットワークに対応）モジュールをシーン解析のフレームワークに嵌め込む。図６は本願の画像処理方法におけるネットワークトレーニングの別の例示的構成の模式図である。図６に示すように、ＰＳＡモジュールは、残差ネットワーク（ＲｅｓＮｅｔ）に基づく全結合ネットワークの最後の特徴表現箇所（例えばＳｔａｇｅ５）に作用することができ、このようにより望ましい情報統合が図られ、シーンのコンテキスト情報がより望ましく使用される。選択可能に、残差ネットワークは５つの段階（ｓｔａｇｅ）から構成される。入力画像は４つの段階を経た後処理プロセスが２つのブランチに分けられ、メインブランチにおいて継続的に第５段階を経て特徴マップを取得し、次にＰＳＡ構成に入力し、最終的な特徴マップを分類器に入力して各点を分類し、上記実施例における第１の損失に対応する主要損失（ｍａｉｎ ｌｏｓｓ）を取得して残差ネットワークと特徴強調ネットワークをトレーニングする。サイドブランチにおいて第４段階の出力を直接分類器に入力してシーン解析を行うことになり、サイドブランチは、主に、ニューラルネットワークのトレーニングプロセスに用いて、上記実施例における第２の損失に対応する補助損失（ａｕｘｉｌｉａｒｙ ｌｏｓｓ）を取得して教師ありトレーニングを補助するために用いられ、テストする時にメインブランチのシーン解析結果を主とする。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図７は本願の画像処理装置の一実施例の構成模式図である。この実施例の装置は、本願の上記の各方法の実施例を実現するために用いられる。図７に示すように、この実施例の装置は、以下を含む。

特徴抽出ユニット７１は、処理すべき画像に対して特徴抽出を行って画像の特徴マップを生成するために用いられる。

本実施例における画像は、特徴抽出処理を行っていない画像であってもよいし、１回又は複数回の特徴抽出を行って得られた特徴マップ等であってもよく、本願は、処理すべき画像の具体的な形式を限定しない。

重み決定ユニット７２は、特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定するために用いられる。

本実施例における複数の特徴点は特徴マップにおける全ての特徴点であってもよいし、一部の特徴点であってもよく、特徴点間の情報伝達を実現するために、伝達確率を決定する必要があり、即ち、１つの特徴点の情報の全て又は一部を他の特徴点に伝達し、伝達割合は特徴重みに依存する。

特徴強調ユニット７３は、対応する特徴重みにに基づいて、各特徴点の特徴情報をそれぞれ特徴マップおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するために用いられる。

ここで、一つの特徴点について、関連する他の特徴点とは、特徴マップにおけるこの特徴点以外のこの特徴点に関連する特徴点を指す。

本願の上記実施例で提供された画像処理装置によれば、処理すべき画像に対して特徴抽出を行って画像の特徴マップを生成し、特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定し、対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するようになっており、特徴点間の情報伝送により、コンテキスト情報をより望ましく使用することができ、特徴強調後の特徴マップにより多い情報が含まれるようになる。

１つ又は複数の選択可能な実施例では、装置は、
特徴強調後の特徴マップに基づいて画像に対してシーン解析処理又は物体分割処理を行うための画像処理ユニットを更に含む。

本実施例では、特徴マップにおける各特徴点は、他の点の情報を集めて現在点の予測を支援すると共に、現在点の情報を配信して他の点の予測を支援することができ、この技術案で設計された点ごとの空間重みの手段は自己適応型の学習調整であり、且つ位置関係に関連し、特徴強調後の特徴マップによれば、複雑なシーンのコンテキスト情報をより望ましく用いてシーン解析又は物体分割処理を支援することが可能になる。

選択可能に、本実施例の装置は、
シーン解析処理の結果又は物体分割処理の結果により、ロボットナビゲーション制御又は車両インテリジェントドライブ制御を行うための結果適用ユニットを更に含む。

１つ又は複数の選択可能な実施例では、特徴マップに含まれる特徴点の特徴重みは、特徴点が特徴マップに含まれる他の特徴点の特徴情報を受信する時の重みを示す内部受信重みと、特徴点が特徴情報を特徴マップに含まれる他の特徴点に伝送する時の重みを示す外部送信重みとを含む。

内部受信重みと外部送信重みにより特徴点の情報の双方向伝搬を実現し、そのように特徴マップにおける各特徴点は他の特徴点の情報を集めて現在特徴点の予測を支援すると共に、現在特徴点の情報を配信して他の特徴点の予測を支援することができる。

選択可能に、重み決定ユニット７２は、
特徴マップに対して第１のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得するための第１の重みモジュールと、
特徴マップに対して第２のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の外部送信重みの第２の重みベクトルを取得するための第２の重みモジュールと、を含む。

１つ又は複数の選択可能な実施例では、第１の重みモジュールは、
ニューラルネットワークにより特徴マップを処理し、第１の中間重みベクトルを取得するための第１の中間ベクトルモジュールと、
第１の中間重みベクトル中の無効情報を除去し、第１の重みベクトルを取得するための第１の情報除去モジュールと、を含む。

ここで、無効情報は、第１の中間重みベクトルにおける特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報である。

本実施例では、特徴マップにおける各特徴点に対応する全面的な重み情報を取得するために、この特徴点の周囲位置の特徴点からこの特徴点に情報を伝送する重みを取得する必要があり、しかしながら、特徴マップにエッジの特徴点が含まれ、これらの特徴点の周囲において特徴点を有するのが一部の位置だけであり、従って、ニューラルネットワークの処理により得られた第１の中間重みベクトルには１つの伝送端子（特徴点）しか有さない多くの無意味の無効情報が含まれるので、これらの情報を伝送するか否かは特徴伝送に影響を与えなく又は影響度合が設定条件より小さく、これらの無効情報を除去すれば第１の重みベクトルが取得され、この第１の重みベクトルは情報の全面性を保証すると共に無用情報を含まなく、情報伝達の効率が高められる。

選択可能に、第１の中間ベクトルモジュールは、特徴マップにおける各特徴点をそれぞれ第１の入力点とし、特徴マップにおける複数の特徴点と第１の入力点の空間位置での複数の隣接位置を含む、第１の入力点の周囲位置を第１の入力点に対応する第１の出力点とし、特徴マップにおける第１の入力点と第１の入力点に対応する第１の出力点の間の第１の伝達割合ベクトルを取得し、第１の伝達割合ベクトルに基づいて第１の中間重みベクトルを取得するために用いられる。

選択可能に、第１の情報除去モジュールは、第１の中間重みベクトルから第１の出力点に含まれる情報が空である第１の伝達割合ベクトルを認識し、第１の中間重みベクトルから第１の出力点に含まれる情報が空である第１の伝達割合ベクトルを除去し、特徴マップの内部受信重みを取得し、内部受信重みに基づいて第１の重みベクトルを決定するために用いられる。

選択可能に、第１の情報除去モジュールは、内部受信重みに基づいて第１の重みベクトルを決定する時に、内部受信重みを対応の第１の出力点の位置に応じて配列し、第１の重みベクトルを取得するために用いられる。

選択可能に、第１の重みモジュールは、
畳み込み層により特徴マップに対して次元削減処理を行い、第１の中間特徴マップを取得するための第１の次元削減モジュールを更に含み、
第１の中間ベクトルモジュールは、ニューラルネットワークにより次元削減後の第１の中間特徴マップを処理し、第１の中間重みベクトルを取得するために用いられる。

１つ又は複数の選択可能な実施例では、第２の重みモジュールは、
ニューラルネットワークにより特徴マップを処理し、第２の中間重みベクトルを取得するための第２の中間ベクトルモジュールと、
第２の中間重みベクトル中の無効情報を除去し、第２の重みベクトルを取得するための第２の情報除去モジュールと、を含む。

ここで、無効情報は、第２の中間重みベクトルにおける特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報である。

本実施例では、各特徴点に対応する全面的な重み情報を取得するために、この特徴点から周囲位置に情報を伝送する重みを取得する必要があり、しかしながら、特徴マップにエッジの特徴点が含まれ、これらの特徴点の周囲において特徴点を有するのが一部の位置だけであり、従って、ニューラルネットワークの処理により得られる第２の中間重みベクトルには、１つの伝送端子（特徴点）しか有さない多くの無意味の無効情報が含まれるので、これらの情報を伝送するか否かは特徴伝送に影響を与えなく又は影響度合が設定条件より小さく、これらの無効情報を除去すれば第２の重みベクトルが取得され、この第２の重みベクトルは情報の全面性を保証すると共に無用情報を含まなく、有用情報の伝達効率が高められる。

選択可能に、第２の中間ベクトルモジュールは、特徴マップにおける各特徴点について、当該特徴点をそれぞれ第２の出力点とし、第２の出力点の周囲位置を第２の出力点に対応する第２の入力点とし、第２の出力点と第２の出力点に対応する第２の入力点の間の第２の伝達割合ベクトルを取得し、各特徴点の第２の伝達割合ベクトルに基づいて第２の中間重みベクトルを取得ために用いられる。周囲位置は、特徴マップにおける複数の特徴点と第２の出力点の空間位置での複数の隣接位置を含む、

選択可能に、第２の情報除去モジュールは、第２の中間重みベクトルから第２の出力点に含まれる情報が空である第２の伝達割合ベクトルを認識し、第２の中間重みベクトルから第２の出力点に含まれる情報が空である第２の伝達割合ベクトルを除去し、特徴マップの外部送信重みを取得し、外部送信重みに基づいて第２の重みベクトルを決定するために用いられる。

選択可能に、第２の情報除去モジュールは、外部送信重みに基づいて第２の重みベクトルを決定する時に、外部送信重みを対応の第２の入力点の位置に応じて配列し、第２の重みベクトルを取得するために用いられる。

選択可能に、第２の重みモジュールは、
畳み込み層により特徴マップに対して次元削減処理を行い、第２の中間特徴マップを取得するための第２の次元削減モジュールを更に含み、
第２の中間ベクトルモジュールは、ニューラルネットワークにより次元削減後の第２の中間特徴マップを処理し、第２の中間重みベクトルを取得するために用いられる。

１つ又は複数の選択可能な実施例では、特徴強調ユニットは、
第１の重みベクトルと特徴マップに基づいて第１の特徴ベクトルを取得し、第２の重みベクトルと特徴マップに基づいて第２の特徴ベクトルを取得するための特徴ベクトルモジュールと、
第１の特徴ベクトル、第２の特徴ベクトル及び特徴マップに基づいて特徴強調後の特徴マップを取得するための特徴マップ強調モジュールと、を含む。

本実施例では、第１の重みベクトルと特徴マップにより、特徴マップにおける特徴点の受信する特徴情報が取得され、第２の重みベクトルと特徴マップにより、特徴マップにおける特徴点が外部へ送信する特徴情報が取得され、即ち、双方向に伝送される特徴情報が取得され、双方向に伝送される特徴情報と最初の特徴マップに基づいて多い情報を含む強調後の特徴マップが取得可能になる。

選択可能に、特徴ベクトルモジュールは、第１の重みベクトルと特徴マップ又は特徴マップに対して次元削減処理を行った後の第１の中間特徴マップに対して行列乗算処理を行い、第１の特徴ベクトルを取得し、第２の重みベクトルと特徴マップ又は特徴マップに対して次元削減処理を行った後の第２の中間特徴マップに対して行列乗算処理を行い、第２の特徴ベクトルを取得するために用いられる。

選択可能に、特徴マップ強調モジュールは、第１の特徴ベクトルと第２の特徴ベクトルをチャネル次元で結合し、結合特徴ベクトルを取得し、結合特徴ベクトルと特徴マップをチャネル次元で結合し、特徴強調後の特徴マップを取得するために用いられる。

選択可能に、特徴強調ユニットは、
結合特徴ベクトルに対して特徴投影処理を行い、処理後の結合特徴ベクトルを取得するための特徴投影モジュールを更に含み、
特徴マップ強調モジュールは、処理後の結合特徴ベクトルと特徴マップをチャネル次元で結合し、特徴強調後の特徴マップを取得するために用いられる。

１つ又は複数の選択可能な実施例では、本実施例の装置は、特徴抽出ネットワークと特徴強調ネットワークを用いて実現され、
本実施例の装置は、
サンプル画像を用いて特徴強調ネットワークをトレーニングし、又は、サンプル画像を用いて特徴抽出ネットワークと特徴強調ネットワークをトレーニングするためのトレーニングユニットを更に含んでもよい。

ここで、サンプル画像は、アノテーション付きシーン解析結果又はアノテーション付き物体分割結果を含むアノテーション付き処理結果を有する。

画像タスクの処理をより望ましく実現するために、ネットワーク予測の前に、ネットワークをトレーニングする必要があり、本実施における特徴抽出ネットワークは予めトレーニングされたものであってもよいし、トレーニングされないものであってもよく、特徴抽出ネットワークは予めトレーニングされたものである時に、特徴強調ネットワークのみをトレーニングしてもよく、又は、特徴抽出ネットワークと特徴強調ネットワークを同時にトレーニングしてもよく、特徴抽出ネットワークはトレーニングされないものである時に、サンプル画像を用いて特徴抽出ネットワークと特徴強調ネットワークをトレーニングする。

選択可能に、トレーニングユニットは、サンプル画像を特徴抽出ネットワークと特徴強調ネットワークに入力し、予測処理結果を取得し、予測処理結果とアノテーション付き処理結果に基づいて、特徴強調ネットワークをトレーニングするために用いられる。

選択可能に、トレーニングユニットは、サンプル画像を特徴抽出ネットワークと特徴強調ネットワークに入力し、予測処理結果を取得し、予測処理結果とアノテーション付き処理結果に基づいて第１の損失を取得し、第１の損失に基づいて特徴抽出ネットワークと特徴強調ネットワークをトレーニングするために用いられる。

選択可能に、トレーニングユニットは、更に、特徴抽出ネットワークの１つの中間層の出力する特徴マップに基づいて、中間予測処理結果を決定し、中間予測処理結果とアノテーション付き処理結果に基づいて第２の損失を取得し、第２の損失に基づいて特徴抽出ネットワークのパラメータを調整するために用いられる。

本願の実施例で提供された画像処理装置のいずれか１つの実施例の動作プロセス、設置形態及び対応の技術的効果については、全て本願の上記の対応方法の実施例の具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。

本願の実施例の別の態様によれば、以上のいずれか一項に記載の画像処理装置を備えるプロセッサを含む電子機器を提供する。選択可能に、この電子機器は車載電子機器であってよい。

本願の実施例の別の態様によれば、実行可能コマンドを記憶するためのメモリと、プロセッサを備え、
前記プロセッサは、前記メモリと通信することにより、前記実行可能コマンドを実行して以上のいずれか一項に記載の画像処理方法の操作を完成するためのプロセッサと、を含む電子機器を提供する。

本願の実施例の別の態様によれば、コンピュータ読取可能なコマンドを記憶するためのコンピュータ読取可能記憶媒体であって、前記コマンドが実行されると、以上のいずれか一項に記載の画像処理方法の操作が実行されるコンピュータ読取可能記憶媒体を提供する。

本願の実施例の別の態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動すると、前記機器におけるプロセッサが以上のいずれか一項に記載の画像処理方法を実現するためのコマンドを実行するコンピュータプログラム製品を提供する。

本願の実施例は、例えば、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい電子機器を更に提供する。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器８００の構造模式図を示す図８を参照し、図８に示すように、電子機器８００は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）８０１、及び／又は１つ又は複数の専用プロセッサであり、専用プロセッサは加速ユニット８１３としてよく、画像プロセッサ（ＧＰＵ）、ＦＰＧＡ、ＤＳＰ及び他のＡＳＩＣチップのような専用プロセッサ等を含むが、それらに限定されなく、プロセッサは、読み取り専用メモリ（ＲＯＭ）８０２に記憶された実行可能コマンド又は記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部８１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。

プロセッサは読み取り専用メモリ８０２及び／又はランダムアクセスメモリ８０３と通信して実行可能コマンドを実行し、通信バス８０４を介して通信部８１２に接続され、通信部８１２を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、処理すべき画像に対して特徴抽出を行って画像の特徴マップを生成し、特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定し、特徴重みに対応する特徴点の特徴情報をそれぞれ特徴マップに含まれる複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得する。

また、ＲＡＭ８０３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、通信バス８０４を介して相互に接続される。ＲＡＭ８０３を有する場合に、ＲＯＭ８０２は選択可能なモジュールである。ＲＡＭ８０３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ８０２に書き込み、実行可能コマンドによって中央処理ユニット８０１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース８０５も通信バス８０４に接続される。通信部８１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。

キーボード、マウスなどを含む入力部８０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部８０７と、ハードディスクなどを含む記憶部８０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部８０９とがＩ／Ｏインタフェース８０５に接続されている。通信部８０９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ８１０も必要に応じてＩ／Ｏインタフェース８０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体８１１は、必要に応じてドライブ８１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部８０８にインストールする。

なお、図８に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図８の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット８１３とＣＰＵ８０１は分離設置するかまたは加速ユニット８１３をＣＰＵ８０１に統合するようにしてよく、通信部は分離設置するか、またはＣＰＵ８０１や加速ユニット８１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願で開示された保護範囲に属する。

特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよく、例えば、処理すべき画像に対して特徴抽出を行って画像の特徴マップを生成し、特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定し、特徴重みに対応する特徴点の特徴情報をそれぞれ特徴マップに含まれる複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得する。このような実施例では、該コンピュータプログラムは通信部８０９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体８１１からインストールされ得る。中央処理ユニット（ＣＰＵ）８０１によって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。

本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。

本発明の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本発明を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本発明の原理及び実際応用をより明瞭に説明するため、かつ当業者が本発明を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。

Claims (50)

1. 処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成することと、
   前記特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定することと、
   前記対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得することと、を含むことを特徴とする画像処理方法。
2. 前記特徴強調後の特徴マップに基づいて前記画像に対してシーン解析処理又は物体分割処理を行うことを更に含むことを特徴とする請求項１に記載の方法。
3. 前記シーン解析処理の結果又は前記物体分割処理の結果により、ロボットナビゲーション制御又は車両インテリジェントドライブ制御を行うことを更に含むことを特徴とする請求項２に記載の方法。
4. 前記特徴マップに含まれる特徴点の特徴重みは、特徴点が前記特徴マップに含まれる他の特徴点の特徴情報を受信する時の重みを示す内部受信重みと、特徴点が特徴情報を前記特徴マップに含まれる他の特徴点に伝送する時の重みを示す外部送信重みと、を含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
5. 特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定することには、
   前記特徴マップに対して第１のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得することと、
   前記特徴マップに対して第２のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の外部送信重みの第２の重みベクトルを取得することと、を含むことを特徴とする請求項４に記載の方法。
6. 前記特徴マップに対して第１のブランチ処理を行って、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得することは、
   ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得することと、
   前記第１の中間重みベクトルにおける無効情報を除去し、前記第１の重みベクトルを取得することと、を含み、
   前記無効情報は、特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報を示すことを特徴とする請求項５に記載の方法。
7. ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得することは、
   前記特徴マップにおける各特徴点について、当該特徴点を第１の入力点とし、前記第１の入力点の周囲位置を前記第１の入力点に対応する第１の出力点とし、前記第１の入力点と前記第１の入力点に対応する第１の出力点との間の第１の伝達割合ベクトルを取得し、前記周囲位置は、前記特徴マップにおける複数の特徴点と前記第１の入力点の空間位置での複数の隣接位置とを含むことと、
   前記各特徴点の前記第１の伝達割合ベクトルに基づいて前記第１の中間重みベクトルを取得することと、を含むことを特徴とする請求項６に記載の方法。
8. 前記第１の中間重みベクトル中の無効情報を除去し、前記第１の重みベクトルを取得することは、
   前記第１の出力点に含まれる情報が空である第１の伝達割合ベクトルを前記第１の中間重みベクトルから認識することと、
   前記第１の中間重みベクトルから認識された第１の伝達割合ベクトルを除去し、前記特徴マップの前記内部受信重みを取得することと、
   前記内部受信重みに基づいて前記第１の重みベクトルを決定することと、を含むことを特徴とする請求項７に記載の方法。
9. 前記内部受信重みに基づいて前記第１の重みベクトルを決定することは、
   前記内部受信重みを対応の前記第１の出力点の位置に応じて配列し、前記第１の重みベクトルを取得することを含むことを特徴とする請求項８に記載の方法。
10. ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得する前に、
    畳み込み層により前記特徴マップに対して次元削減処理を行い、第１の中間特徴マップを取得することを更に含み、
    ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得することは、
    前記ニューラルネットワークにより前記次元削減後の第１の中間特徴マップを処理し、前記第１の中間重みベクトルを取得することを含むことを特徴とする請求項６〜９のいずれか一項に記載の方法。
11. 前記特徴マップに対して第２のブランチ処理を行って、含まれる複数の特徴点のうちの各前記特徴点の外部送信重みの第２の重みベクトルを取得することは、
    ニューラルネットワークにより前記特徴マップを処理し、第２の中間重みベクトルを取得することと、
    前記第２の中間重みベクトルにおける無効情報を除去し、前記第２の重みベクトルを取得することと、を含み、
    前記無効情報は、特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報を示すことを特徴とする請求項５〜１０のいずれか一項に記載の方法。
12. 前記ニューラルネットワークにより前記特徴マップを処理し、前記第２の中間重みベクトルを取得することは、
    前記特徴マップにおける各特徴点について、当該特徴点を第２の出力点とし、前記第２の出力点の周囲位置を前記第２の出力点に対応する第２の入力点とし、前記第２の出力点と前記第２の出力点に対応する第２の入力点との間の第２の伝達割合ベクトルを取得し、前記周囲位置は、前記特徴マップにおける複数の特徴点と前記第２の出力点の空間位置での複数の隣接位置を含むことと、
    前記各特徴点の前記第２の伝達割合ベクトルに基づいて前記第２の中間重みベクトルを取得することと、を含むことを特徴とする請求項１１に記載の方法。
13. 前記第２の中間重みベクトル中の無効情報を除去し、前記第２の重みベクトルを取得することは、
    前記第２の出力点に含まれる情報が空である第２の伝達割合ベクトルを前記第２の中間重みベクトルから認識することと、
    前記第２の中間重みベクトルから認識された第２の伝達割合ベクトルを除去し、前記特徴マップの前記外部送信重みを取得することと、
    前記外部送信重みに基づいて前記第２の重みベクトルを決定することと、を含むことを特徴とする請求項１２に記載の方法。
14. 前記外部送信重みに基づいて前記第２の重みベクトルを決定することは、
    前記外部送信重みを対応の前記第２の入力点の位置に応じて配列し、前記第２の重みベクトルを取得することを含むことを特徴とする請求項１３に記載の方法。
15. ニューラルネットワークにより前記特徴マップを処理し、第２の中間重みベクトルを取得する前に、
    畳み込み層により前記特徴マップに対して次元削減処理を行い、第２の中間特徴マップを取得することを更に含み、
    ニューラルネットワークにより前記特徴マップを処理し、第２の中間重みベクトルを取得することは、
    前記ニューラルネットワークにより前記次元削減後の第２の中間特徴マップを処理し、前記第２の中間重みベクトルを取得することを含むことを特徴とする請求項１１〜１４のいずれか一項に記載の方法。
16. 対応する前記特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得することは、
    前記第１の重みベクトルと前記特徴マップに基づいて第１の特徴ベクトルを取得し、前記第２の重みベクトルと前記特徴マップに基づいて第２の特徴ベクトルを取得することと、
    前記第１の特徴ベクトル、前記第２の特徴ベクトル及び前記特徴マップに基づいて前記特徴強調後の特徴マップを取得することと、を含むことを特徴とする請求項５〜１５のいずれか一項に記載の方法。
17. 前記第１の重みベクトルと前記特徴マップに基づいて第１の特徴ベクトルを取得することは、
    前記第１の重みベクトルと、前記特徴マップ又は前記特徴マップに対して次元削減処理を行った後の第１の中間特徴マップとに対して行列乗算処理を行い、前記第１の特徴ベクトルを取得することを含み、
    前記第２の重みベクトルと前記特徴マップに基づいて第２の特徴ベクトルを取得することは、
    前記第２の重みベクトルと、前記特徴マップ又は前記特徴マップに対して次元削減処理を行った後の第２の中間特徴マップとに対して行列乗算処理を行い、前記第２の特徴ベクトルを取得することを含むことを特徴とする請求項１６に記載の方法。
18. 前記第１の特徴ベクトル、前記第２の特徴ベクトル及び前記特徴マップに基づいて前記特徴強調後の特徴マップを取得することは、
    前記第１の特徴ベクトルと前記第２の特徴ベクトルをチャネル次元で結合し、結合特徴ベクトルを取得することと、
    前記結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得することと、を含むことを特徴とする請求項１６又は１７に記載の方法。
19. 前記結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得する前に、
    前記結合特徴ベクトルに対して特徴投影処理を行い、処理後の結合特徴ベクトルを取得することを更に含み、
    前記結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得することは、
    前記処理後の結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得することを含むことを特徴とする請求項１８に記載の方法。
20. 特徴抽出ネットワークと特徴強調ネットワークを用いて実現されるものであって、
    処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成する前に、
    サンプル画像を用いて前記特徴強調ネットワークをトレーニングし、又は、サンプル画像を用いて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングすることを更に含み、
    前記サンプル画像は、アノテーション付きシーン解析結果又はアノテーション付き物体分割結果を含むアノテーション付き処理結果を有することを特徴とする請求項２〜１９のいずれか一項に記載の方法。
21. サンプル画像を用いて前記特徴強調ネットワークをトレーニングすることは、
    前記サンプル画像を前記特徴抽出ネットワークと前記特徴強調ネットワークに入力し、予測処理結果を取得することと、
    前記予測処理結果と前記アノテーション付き処理結果に基づいて、前記特徴強調ネットワークをトレーニングすることと、を含むことを特徴とする請求項２０に記載の方法。
22. サンプル画像を用いて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングすることは、
    前記サンプル画像を前記特徴抽出ネットワークと前記特徴強調ネットワークに入力し、予測処理結果を取得することと、
    前記予測処理結果と前記アノテーション付き処理結果に基づいて第１の損失を取得することと、
    前記第１の損失に基づいて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングすることと、を含むことを特徴とする請求項２０に記載の方法。
23. 前記特徴抽出ネットワークにおける１つの中間層によって出力された特徴マップに基づいて、中間予測処理結果を決定することと、
    前記中間予測処理結果と前記アノテーション付き処理結果に基づいて第２の損失を取得することと、
    前記第２の損失に基づいて前記特徴抽出ネットワークのパラメータを調整することと、を更に含むことを特徴とする請求項２２に記載の方法。
24. 処理すべき画像に対して特徴抽出を行って前記画像の特徴マップを生成するための特徴抽出ユニットと、
    前記特徴マップに含まれる複数の特徴点のそれぞれに対応する特徴重みを決定するための重み決定ユニットと、
    前記対応する特徴重みに基づいて、各特徴点の特徴情報をそれぞれ前記特徴マップにおける関連する複数の他の特徴点に伝送し、特徴強調後の特徴マップを取得するための特徴強調ユニットと、を含むことを特徴とする画像処理装置。
25. 前記特徴強調後の特徴マップに基づいて前記画像に対してシーン解析処理又は物体分割処理を行うための画像処理ユニットを更に含むことを特徴とする請求項２４に記載の装置。
26. 前記シーン解析処理の結果又は前記物体分割処理の結果により、ロボットナビゲーション制御又は車両インテリジェントドライブ制御を行うための結果適用ユニットを更に含むことを特徴とする請求項２５に記載の装置。
27. 前記特徴マップに含まれる特徴点の特徴重みは、特徴点が前記特徴マップに含まれる他の特徴点の特徴情報を受信する時の重みを示す内部受信重みと、特徴点が特徴情報を前記特徴マップに含まれる他の特徴点に伝送する時の重みを示す外部送信重みと、を含むことを特徴とする請求項２４〜２６のいずれか一項に記載の装置。
28. 前記重み決定ユニットは、
    前記特徴マップに対して第１のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の内部受信重みの第１の重みベクトルを取得するための第１の重みモジュールと、
    前記特徴マップに対して第２のブランチ処理を行い、含まれる複数の特徴点のうちの各特徴点の外部送信重みの第２の重みベクトルを取得するための第２の重みモジュールと、を含むことを特徴とする請求項２７に記載の装置。
29. 前記第１の重みモジュールは、
    ニューラルネットワークにより前記特徴マップを処理し、第１の中間重みベクトルを取得するための第１の中間ベクトルモジュールと、
    前記第１の中間重みベクトルにおける無効情報を除去し、前記第１の重みベクトルを取得するための第１の情報除去モジュールと、を含み、
    前記無効情報は、特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報を示すことを特徴とする請求項２８に記載の装置。
30. 前記第１の中間ベクトルモジュールは、
    前記特徴マップにおける各特徴点について、当該特徴点をそれぞれ第１の入力点とし、前記第１の入力点の周囲位置を前記第１の入力点に対応する第１の出力点とし、前記第１の入力点と前記第１の入力点に対応する第１の出力点の間の第１の伝達割合ベクトルを取得し、前記周囲位置は前記特徴マップにおける複数の特徴点と前記第１の入力点の空間位置での複数の隣接位置を含み、
    前記各特徴点の前記第１の伝達割合ベクトルに基づいて前記第１の中間重みベクトルを取得するために用いられることを特徴とする請求項２９に記載の装置。
31. 前記第１の情報除去モジュールは、
    前記第１の出力点に含まれる情報が空である第１の伝達割合ベクトルを前記第１の中間重みベクトルから認識し、
    前記第１の中間重みベクトルから認識された第１の伝達割合ベクトルを除去し、前記特徴マップの前記内部受信重みを取得し、
    前記内部受信重みに基づいて前記第１の重みベクトルを決定するために用いられることを特徴とする請求項３０に記載の装置。
32. 前記内部受信重みに基づいて前記第１の重みベクトルを決定するときに、前記第１の情報除去モジュールは、前記内部受信重みを対応の前記第１の出力点の位置に応じて配列し、前記第１の重みベクトルを取得するために用いられることを特徴とする請求項３１に記載の装置。
33. 前記第１の重みモジュールは、畳み込み層により前記特徴マップに対して次元削減処理を行い、第１の中間特徴マップを取得するための第１の次元削減モジュールを更に含み、
    前記第１の中間ベクトルモジュールは、前記ニューラルネットワークにより前記次元削減後の第１の中間特徴マップを処理し、前記第１の中間重みベクトルを取得するために用いられることを特徴とする請求項２９〜３２のいずれか一項に記載の装置。
34. 前記第２の重みモジュールは、
    ニューラルネットワークにより前記特徴マップを処理し、第２の中間重みベクトルを取得するための第２の中間ベクトルモジュールと、
    前記第２の中間重みベクトルにおける無効情報を除去し、前記第２の重みベクトルを取得するための第２の情報除去モジュールと、を含み、
    前記無効情報は、特徴伝送に影響を与えない又は影響度合が設定条件より小さい情報を示すことを特徴とする請求項２８〜３３のいずれか一項に記載の装置。
35. 前記第２の中間ベクトルモジュールは、
    前記特徴マップにおける各特徴点について、当該特徴点を第２の出力点とし、前記第２の出力点の周囲位置を前記第２の出力点に対応する第２の入力点とし、前記第２の出力点と前記第２の出力点に対応する第２の入力点との間の第２の伝達割合ベクトルを取得し、前記周囲位置は、前記特徴マップにおける複数の特徴点と前記第２の出力点の空間位置での複数の隣接位置を含み、
    前記各特徴点の前記第２の伝達割合ベクトルに基づいて前記第２の中間重みベクトルを取得するために用いられることを特徴とする請求項３４に記載の装置。
36. 前記第２の情報除去モジュールは、
    前記第２の出力点に含まれる情報が空である第２の伝達割合ベクトルを前記第２の中間重みベクトルから認識し、
    前記第２の中間重みベクトルから認識された第２の伝達割合ベクトルを除去し、前記特徴マップの前記外部送信重みを取得し、
    前記外部送信重みに基づいて前記第２の重みベクトルを決定するために用いられることを特徴とする請求項３５に記載の装置。
37. 前記外部送信重みに基づいて前記第２の重みベクトルを決定するときに、前記第２の情報除去モジュールは、前記外部送信重みを対応の前記第２の入力点の位置に応じて配列し、前記第２の重みベクトルを取得するために用いられることを特徴とする請求項３６に記載の装置。
38. 前記第２の重みモジュールは、
    畳み込み層により前記特徴マップに対して次元削減処理を行い、第２の中間特徴マップを取得するための第２の次元削減モジュールを更に含み、
    前記第２の中間ベクトルモジュールは、前記ニューラルネットワークにより前記次元削減後の第２の中間特徴マップを処理し、前記第２の中間重みベクトルを取得するために用いられることを特徴とする請求項３４〜３７のいずれか一項に記載の装置。
39. 前記特徴強調ユニットは、
    前記第１の重みベクトルと前記特徴マップに基づいて第１の特徴ベクトルを取得し、前記第２の重みベクトルと前記特徴マップに基づいて第２の特徴ベクトルを取得するための特徴ベクトルモジュールと、
    前記第１の特徴ベクトル、前記第２の特徴ベクトル及び前記特徴マップに基づいて前記特徴強調後の特徴マップを取得するための特徴マップ強調モジュールと、を含むことを特徴とする請求項２８〜３８のいずれか一項に記載の装置。
40. 前記特徴ベクトルモジュールは、前記第１の重みベクトルと、前記特徴マップ又は前記特徴マップに対して次元削減処理を行った後の第１の中間特徴マップとに対して行列乗算処理を行い、前記第１の特徴ベクトルを取得するステップと、前記第２の重みベクトルと、前記特徴マップ又は前記特徴マップに対して次元削減処理を行った後の第２の中間特徴マップとに対して行列乗算処理を行い、前記第２の特徴ベクトルを取得するために用いられることを特徴とする請求項３９に記載の装置。
41. 前記特徴マップ強調モジュールは、
    前記第１の特徴ベクトルと前記第２の特徴ベクトルとをチャネル次元で結合し、結合特徴ベクトルを取得し、
    前記結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得するために用いられることを特徴とする請求項３９又は４０に記載の装置。
42. 前記特徴強調ユニットは、前記結合特徴ベクトルに対して特徴投影処理を行い、処理後の結合特徴ベクトルを取得するための特徴投影モジュールを更に含み、
    前記特徴マップ強調モジュールは、前記処理後の結合特徴ベクトルと前記特徴マップをチャネル次元で結合し、前記特徴強調後の特徴マップを取得するために用いられることを特徴とする請求項４１に記載の装置。
43. 特徴抽出ネットワークと特徴強調ネットワークを用いて実現されるものであって、
    サンプル画像を用いて前記特徴強調ネットワークをトレーニングし、又は、サンプル画像を用いて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングするためのトレーニングユニットを更に含み、前記サンプル画像は、アノテーション付きシーン解析結果又はアノテーション付き物体分割結果を含むアノテーション付き処理結果を有することを特徴とする請求項２５〜４２のいずれか一項に記載の装置。
44. 前記トレーニングユニットは、
    前記サンプル画像を前記特徴抽出ネットワークと前記特徴強調ネットワークに入力し、予測処理結果を取得し、
    前記予測処理結果と前記アノテーション付き処理結果に基づいて、前記特徴強調ネットワークをトレーニングするために用いられることを特徴とする請求項４３に記載の装置。
45. 前記トレーニングユニットは、
    前記サンプル画像を前記特徴抽出ネットワークと前記特徴強調ネットワークに入力し、予測処理結果を取得し、
    前記予測処理結果と前記アノテーション付き処理結果に基づいて第１の損失を取得し、
    前記第１の損失に基づいて前記特徴抽出ネットワークと前記特徴強調ネットワークをトレーニングするステップとに用いられることを特徴とする請求項４３に記載の装置。
46. 前記トレーニングユニットは、更に、
    前記特徴抽出ネットワークにおける１つの中間層によって出力された特徴マップに基づいて、中間予測処理結果を決定し、
    前記中間予測処理結果と前記アノテーション付き処理結果に基づいて第２の損失を取得し、
    前記第２の損失に基づいて前記特徴抽出ネットワークのパラメータを調整するために用いられることを特徴とする請求項４５に記載の装置。
47. 請求項２４〜４６のいずれか一項に記載の画像処理装置を備えるプロセッサを含むことを特徴とする電子機器。
48. 実行可能コマンドを記憶するためのメモリと、
    プロセッサを備え、
    前記プロセッサは、前記メモリと通信することにより、前記実行可能コマンドを実行して請求項１〜２３のいずれか一項に記載の画像処理方法の操作を完成することを特徴とする電子機器。
49. コンピュータ読取可能なコマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行されると、請求項１〜２３のいずれか一項に記載の画像処理方法の操作が実行されることを特徴とするコンピュータ記憶媒体。
50. コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器上で作動すると、前記機器におけるプロセッサは、請求項１〜２３のいずれか一項に記載の画像処理方法を実現するためのコマンドを実行することを特徴とするコンピュータプログラム製品。