JP2020528616A - 画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス - Google Patents

Abstract

本願は、画像処理方法およびシステム、記憶媒体およびコンピューティングデバイスを開示する。前記方法は、画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することと、前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を順次行うことであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られることと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理することと、を含む。

Description

（関連出願の相互参照）
本願は、２０１７年７月２１日に中国特許局に提出された、出願番号２０１７１０６０２６７４．２、発明の名称「画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス」の中国特許出願の優先権を主張し、その全ての内容は参照により本願に組み込まれる。

本願の実施例は、コンピュータービジョンの分野に関し、特に画像処理方法およびシステム、記憶媒体およびコンピューティングデバイスに関する。

自動運転は、自動車産業と人工知能、モノインターネット、高性能コンピューターなどの新世代の情報技術との深く統合したものであり、現在の世界の自動車及び交通分野のインテリジェント化およびネットワーク化の開発の主な方向である。コンピュータービジョンを利用して交通シーンに対する理解するのは、自動運転の重要な課題である。通常、区画線検出、セマンティックセグメンテーションなどの技術を含み、交通シーンにおける車両、歩行者、区画線などの目標対象の位置情報を検知するために用いられる。現在、畳み込みニューラルネットワークは、目標検出やセマンティックセグメンテーションなどの問題を解決するための主流の方法になっている。

本願の実施例は、画像処理の技術的解決策を提供する。

第１の態様において、本願の実施例は、画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することと、前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を順次行うことであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られることと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理することと、を含む画像処理方法を提供する。

任意選択で、本願の実施例では、前記少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理することは、少なくとも最終的に得られた畳み込み処理の結果に基づいて、前記画像中の物体の検出、前記画像中の物体の識別、前記画像中の物体の追跡、前記画像の分割、および／または前記画像の分類を行うことを含む。

任意選択で、本願の実施例では、前記画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することは、畳み込みニューラルネットワークの畳み込み層により前記画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することを含む。

任意選択で、本願の実施例では、前記畳み込み層は、前記畳み込みニューラルネットワークの中間の隠れ層または最上位の隠れ層である。

任意選択で、本願の実施例では、前記スライス成分の畳み込み処理は畳み込み層によって処理され、且つ異なるスライス成分を処理する少なくとも２つの畳み込み層のネットワークパラメータは同じである。

任意選択で、本願の実施例では、前記前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、順次少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を行うことは、前記多次元テンソル中の１番目の層のスライス成分に対して畳み込み処理を行い、１番目の層のスライス成分の畳み込み処理の結果と２番目の層のスライス成分との和を利用して前記多次元テンソル中の２番目の層のスライス成分を更新することと、更新された２番目の層のスライスに対して畳み込み処理を行い、２番目の層のスライス成分の畳み込み処理と３番目の層のスライス成分との和を利用して前記多次元テンソル中の３番目の層のスライス成分を更新し、このようにして、前記多次元テンソル中の最後の層のスライス成分まで更新することとを含む。

任意選択で、本願の実施例では、前記多次元は、高さ、幅およびチャンネル数を含む３次元を少なくとも含む。

任意選択で、本願の実施例では、前記方向は、上から下への高さ方向、下から上への高さ方向、左から右への幅方向、右から左への幅方向のうちの少なくとも１つを含む。

任意選択で、本願の実施例では、前記方法は、画像処理の結果に基づいて制御コマンドを生成し、制御コマンドに基づいて目標対象を制御して対応操作を実行させ、または画像処理の結果に基づいて目標対象を制御して対応操作を実行させることを更に含む。

任意選択で、本願の実施例では、前記画像は、交通シーン画像を含む。

任意選択で、本願の実施例では、前記交通シーン画像中の物体は、区画線、歩行者、車両、桿状物、障害物のうちの少なくとも１つを含む。

第２の態様において、本願の実施例は、画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得するための第１の畳み込み処理モジュールと、前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を順次行うための第２の畳み込み処理モジュールであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られる第２の畳み込み処理モジュールと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理するための画像処理モジュールと、を含む画像処理システムを提供する。

任意選択で、本願の実施例では、前記画像処理モジュールは、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を検出するための物体検出モジュールと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を識別するための物体識別モジュールと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を追跡するための物体追跡モジュールと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を分割するためのセマンティックセグメンテーションモジュールと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を分類するための画像分類モジュールとのうちの少なくとも１つを含む。

任意選択で、本願の実施例では、前記画像処理システムは畳み込みニューラルネットワークを含み、前記第１の畳み込み処理モジュールは畳み込みニューラルネットワークの畳み込み層である。

任意選択で、本願の実施例では、前記畳み込み層は、前記畳み込みニューラルネットワークの中間の隠れ層または最上位の隠れ層である。

任意選択で、本願の実施例では、前記第２の畳み込み処理モジュールは、畳み込みニューラルネットワーク中のスライス成分に対して畳み込み処理を行うための複数の畳み込み層を含み、且つ異なるスライス成分を処理する少なくとも２つの畳み込み層のネットワークパラメータは同じである。

任意選択で、本願の実施例では、前記第２の畳み込み処理モジュールは、具体的に、前記多次元テンソル中の１番目の層のスライス成分に対して畳み込み処理を行い、１番目の層のスライス成分の畳み込み処理の結果と２番目の層のスライス成分との和を利用して前記多次元テンソル中の２番目の層のスライス成分を更新し、更新された２番目の層のスライスに対して畳み込み処理を行い、２番目の層のスライス成分の畳み込み処理と３番目の層のスライス成分との和を利用して前記多次元テンソル中の３番目の層のスライス成分を更新し、このようにして、前記多次元テンソル中の最後の層のスライス成分まで更新するために用いられる。

任意選択で、本願の実施例では、前記多次元は、高さ、幅およびチャンネル数を含む３次元を少なくとも含む。

任意選択で、本願の実施例では、前記方向は、上から下への高さ方向、下から上への高さ方向、左から右への幅方向、右から左への幅方向のうちの少なくとも１つを含む。

任意選択で、本願の実施例では、前記システムは、画像処理の結果に基づいて制御コマンドを生成し、制御コマンドに基づいて目標対象を制御して対応操作を実行させるための第１の制御モジュール、または画像処理の結果に基づいて目標対象を制御して対応操作を実行させるための第２の制御モジュールを更に含む。

任意選択で、本願の実施例では、前記画像は、交通シーン画像を含む。

任意選択で、本願の実施例では、前記交通シーン画像中の物体は、区画線、歩行者、車両、桿状物、障害物のうちの少なくとも１つを含む。

第３の態様において、本願の実施例は、コンピューターコマンドが記憶され、コンピューターによって記憶媒体中のコンピューターコマンドを読み取した後に、コンピューターは本願の実施例によって提供される画像処理方法を実行することができるコンピューター可読記憶媒体を提供する。

第４の態様において、本願の実施例は、本願の実施例によって提供される画像処理方法を実行するためのコマンドを含むコンピュータープログラムを提供する。例えば、前記コンピュータープログラムは、画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得するためのコマンドと、前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を順次行うためのコマンドであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られるコマンドと、少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理するためのコマンドと、を含む。

第５の態様において、本願の実施例は、メモリと、プロセッサーと、メモリに記憶されプロセッサー上で実行可能なコンピューティングプログラムを含み、前記プロセッサーによって前記プログラムを実行する時に、本願の実施例によって提供される画像処理方法を実行することができるコンピューティングデバイスを提供する。

本願の実施例は、画像に対して畳み込み処理を行い多次元テンソルを取得し、前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして画像を処理することで、画像処理の精度が向上し、ユーザのエクスペリエンスが向上した。

本願の選択可能な実施例によって提供される画像識別ためのシステムの模式図である。 本願の選択可能な実施例によって提供されるコンピューターデバイスの構造模式図である。 本願の選択可能な実施例によって提供されるサーバのモジュールの模式図である。 本願の選択可能な実施例によって提供される空間ニューラルネットワークを使用した画像識別のフローチャートである。 本願の選択可能な実施例によって提供される空間畳み込み層による画像識別のフローチャートである。 本願の選択可能な実施例によって提供される空間畳み込みニューラルネットワークによる画像識別の模式図である。 本願の選択可能な実施例によって提供される別の空間畳み込みニューラルネットワークによる画像識別の模式図である。 本願の選択可能な実施例によって提供される区画線を含む交通シーンの物理図である。 本願の選択可能な実施例によって提供される従来の畳み込みニューラルネットワークによる区画線予測結果の模式図である。 本願の選択可能な実施例によって提供される空間畳み込みニューラルネットワークによる区画線予測結果の模式図である。 本願の選択可能な実施例によって提供される電柱を含む交通シーン物理図である。 本願の選択可能な実施例によって提供される従来の畳み込みニューラルネットワークによる電柱予測結果の模式図である。 本願の選択可能な実施例によって提供される空間畳み込みニューラルネットワークによる電柱予測結果の模式図である。 本願の選択可能な実施例によって提供される電柱を含む交通シーンの物理図である。 本願の選択可能な実施例によって提供される従来の畳み込みニューラルネットワークによる電柱予測結果の模式図である。 本願の選択可能な実施例によって提供される空間畳み込みニューラルネットワークによる電柱予測結果の模式図である。 本願の選択可能な実施例によって提供される街灯柱を含む交通シーンの物理図である。 本願の選択可能な実施例によって提供される従来の畳み込みニューラルネットワークによる街灯柱予測結果の模式図である。 本願の選択可能な実施例によって提供される空間畳み込みニューラルネットワークによる街灯柱予測結果の模式図である。 本願の選択可能な実施例によって提供される画像処理方法のフローチャートである。 本願の選択可能な実施例によって提供される画像処理システムの構造模式図である。

明細書の一部を構成する図面によって本願の実施例を説明し、且つ説明とともに本願の原理を解釈する。

図面を参照し、本願は、以下の詳細な説明によってより明確にする。

以下、具体的な実施例により、添付の図面を参照して本願を更に説明する。

図１は、本願の選択可能な実施例によって提供される画像識別システムの模式図であり、該画像識別システム１００は、画像処理システムの一例であり得る。画像識別システム１００は、サーバ１１０、ネットワーク１２０、クライアント１３０、及びデータベース１４０を含み得る。サーバ１１０は、空間畳み込みニューラルネットワークをトレーニングするためのデータベース１４０中の画像情報を取得し得る。サーバ１１０は、クライアント１３０から画像情報を受信し識別してもよい。

サーバ１１０は、単一のサーバまたはサーバグループであり得、前記サーバグループは集中式または分散式（例えば、サーバは分散式システムであり得る）であってもよい。いくつかの実施例では、サーバ１１０はリモートまたはローカルサーバであり得る。例えば、サーバ１１０は、ネットワーク１２０を介してデータベース１４０中に格納されたデータを取得してもよく、クライアント１３０に直接接続してクライアント１３０中のデータを取得してもよい。

ネットワーク１２０は、情報およびデータの交換を促進することができる。画像識別システム１００中の構成要素は、ネットワーク１２０を介してシステム中の他の構成要素に情報およびデータを送信することができる。いくつかの実施例では、ネットワーク１２０は有線ネットワークまたは無線ネットワークであり得、例えば、ケーブルネットワーク、有線ネットワーク、光ファイバーネットワーク、遠距離通信ネットワーク、イントラネット、インターネット、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、メトロエリアネットワークＭＡＮ）、広域ネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）、Ｂｌｕｅｔｏｏｔｈネットワーク、ＺｉｇＢｅｅネットワーク、近距離無線通信（ＮＦＣ）ネットワークなどであり得る。いくつかの実施例では、ネットワーク１２０は、１つまたは複数のネットワークアクセスポイントを含み得る。例えば、ネットワーク１２０は、基地局またはインターネット交換ポイントなどの有線または無線ネットワークアクセスポイントを含み得る。画像識別システム１００の１つまたは複数の構成要素は、これらの基地局またはインターネット交換ポイントによってネットワーク１２０上に接続され、データおよび／または情報を交換することができる。

クライアント１３０は、モバイルデバイス（例えば、スマートフォン）１３０−１、タブレット１３０−２、ノートブックコンピューター１３０−３、車載コンピューター１３０−４などを含み得る。クライアント１３０はサーバ１１０と通信することができる。いくつかの実施例では、クライアント１３０は、取得した画像情報をサーバ１１０へ送信し識別することができる。サーバ１１０は、識別された結果を次の操作のためにクライアント１３０へ送信することができる。例えば、クライアント１３０は車載コンピュータシステムであり、車載前方カメラによって取得されたリアタイム交通シーン画像情報をサーバ１１０へ送信し識別して、サーバ１１０によって処理された画像を受信し、前記処理された画像に基づいて車両に対する自動制御を行い、車両の自動運転を実現する。また例えば、自動駐車を実行する時に、車載コンピュータシステムは、後方カメラからの駐車スペースのライブビュー画像情報を取得し、サーバ１１０へ送信し処理することができる。車載コンピューターは処理された画像情報を受信し、これらの処理された画像情報に基づいて、車載処理システムは自動駐車の操作を実行することができる。

データベース１４０は、データおよびコマンドを記憶することができる。いくつかの実施例では、データベース１４０は、クライアント１３０から取得されたデータを記憶することができる。いくつかの実施例では、データベース１４０は、サーバ１１０によって実行または使用されるデータまたはコマンドを記憶でき、サーバ１１０は、前記コマンドの実行または前記データの使用によって本願に記載の例示的な方法を実現することができる。例えば、データベース１４０は、履歴交通シーン画像情報を記憶し得、サーバ１１０は前記履歴交通シーン画像情報を使用して、空間畳み込みニューラルネットワークをトレーニングすることができる。

いくつかの実施例では、データベース１４０は、大容量記憶装置、リムーバブル記憶装置、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）など、またはそれらの任意の組合わせを含み得る。大容量記憶装置はディスク、コンパクトディスク、固体ハードディスクなどを含み得る。リムーバブル記憶装置は、フラッシュドライブ、フロッピーピーディスク、コンパクトディスク、メモリカード、コンパクトディスク、磁気テープなどを含みえる。ＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルレート同期ダイナミックＲＡＭ（ＤＤＲＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ）、ゼロキャパシタンスＲＡＭ（Ｚ−ＲＡＭ）などを含み得る。ＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）などを含み得る。いくつかの実施例では、データベース１４０はクラウドプラットフォーム上に配置され得る。前記クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、クロスクラウド、マルチクラウドなどを含み得る。

図２は、本願の選択可能な実施例によって提供されるコンピューティングデバイスの構造を示す。このようなンピューティングデバイス２００は、本願に記載の特定システムを実施するために用いられる。このようなコンピューティングデバイスは汎用のコンピューターであってもよく、特定目的を持つコンピューターであってもよい。両方のコンピューターも本願中の特定システムを実現するために用いられる。コンピューティングデバイス２００は、現在説明されている画像識別システム１００に必要な任意のコンポーネントを実現するために用いられる。例えば、画像識別システム１００中のサービス端末（サーバ１１０）は、コンピューティングデバイス２００によってそのハードウェアデバイス、ソフトウェアプログラム、ファームウェアおよびそれらの組合わせを介して実現されえる。また例えば、画像識別システム１００中のクライアント（車載コンピュータ１３０−４）は、コンピューティングデバイス２００によってそのハードウェアデバイス、ソフトウェアプログラム、ファームウェアおよびそれらの組合わせを介して実現され得る。便宜上、図では１台のコンピューターのみが描かれるが、本実施例で説明する関連コンピューターの機能は、システムの処理負荷を分散するために、同様のプラットフォームのセットによって分散方式で実施され得る。

コンピューティングデバイス２００は、データ通信を実現するネットワークに接続される通信ポート２５０を含み得る。コンピューティングデバイス２００は、プログラムコマンドを実行するための１つまたは複数のプロセッサー２２０をさらに含み得る。例示的なコンピューティングデバイス２００は、内部通信バス２１０、ハードディスク２７０などの異なる形式のプログラム記憶ユニットおよびデータ記憶ユニット、読み取り専用メモリ２３０、ランダムアクセスメモリ２４０、コンピューティングデバイス２００の処理および／または通信に使用される各種のデータファイル、及びプロセッサー２２０が実行可能なプログラムコマンドを含む。コンピューティングデバイス２００は、コンピューティングデバイスと外部コンポーネントとの間の入力／出力データ流をサポートする入力／出力ポート２６０を更に含む。コンピューティングデバイス２００は、通信ネットワークを介してプログラム及びデータを受信してもよい。

以上の図１および図２は、本願の実施例によって提供される画像処理技術の解決策の選択可能な応用シーン及び例示に過ぎず、網羅的ではないことを理解されるべきである。例えば、本願の実施例によって提供される画像処理技術の解決策は、単一のデバイス（例えば計算処理能力を有するデバイス、すなわち、本願の実施例で説明されたコンピューティングデバイス）上で実行され得、ネットワークを介して他のデバイスと通信する必要はなく、または、本願の実施例の技術の解決策は、端末側またはサーバ側の２つまたは２つ以上のコンピューティングデバイス間で対話式で実行され得、または端末側のコンピューティングデバイスとサーバ側のコンピューティングデバイスが対話式で実行され得るが、以下繰り返されない。

図３は、本願の選択可能な実施例によって提供されるサーバ１１０のモジュール模式図である。サーバ１１０は、取得モジュール３０２、トレーニングモジュール３０４、予測モジュール３０６および記憶モジュール３０８を含み得る。前記サーバ１１０内の各モジュール間の接続方式は、有線、無線、または両者の組合わせであり得る。任意のモジュールは、ローカル、リモート、または両者の組合わせであり得る。

取得モジュール３０２は、記憶モジュール３０８に記憶された画像を取得するために用いられ、ネットワーク１２０を介してデータベース１４０に記憶された画像を取得してもよく、ネットワーク１２０を介してクライアント１３０から画像を取得してもよい。前記画像は、空間畳み込みニューラルネットワークをトレーニングするための履歴交通シーン画像であってもよく、自動運転のためのリアタイム交通シーン画像であってもよい。前記画像は、静止画像であってもよく、動的ビデオのビデオフレーム画像であってもよい。

トレーニングモジュール３０４は、取得された画像に基づいて空間畳み込みニューラルネットワークをトレーニングすることができる。前記空間畳み込みニューラルネットワークは、記憶モジュール３０８に記憶され得る。いくつかの実施例では、前記空間畳み込みニューラルネットワークは、従来の畳み込み層及び空間連続性を有する物体を識別するための空間畳み込み層を含み得る。前記の空間畳み込みニューラルネットワークに対するトレーニングには、確率的勾配降下法および逆伝播アルゴリズムが含まれる。

予測モジュール３０６は、トレーニングされた空間畳み込みニューラルネットワークに基づいて画像識別を行うことができる。前記画像は、リアタイムの交通シーン画像であり得る。前記のリアタイム交通シーン画像に対する識別は自動運転に用いられる。いくつかの実施例では、予測モジュール３０６の予測結果を目標対象に送信し制御コマンドを生成することができる（例えば、第１の制御モジュールによって制御コマンドを生成する）。予測モジュール３０６の予測結果を目標対象中の第２の制御モジュールに送信し、第２の制御モジュールは、画像処理の結果に基づいて目標対象を制御して対応操作を実行させる。前記目標対象はスマートビークル、インテリジェントロボットまたは他のスマートデバイスであり得る。前記制御コマンドには、自動車の自動運転またはアシスト運転制御コマンド、ロボット操作制御コマンド、スマートデバイス実行制御コマンドなどが含まれる。前記トレーニングされた空間畳み込みニューラルネットワークは、記憶モジュール３０８に記憶され、またはネットワークを介してデータベース１４０に記憶されてもよい。

記憶モジュール３０８は、情報およびコマンドを記憶するために用いられる。前記情報には、空間畳み込みニューラルネットワークをトレーニングするための履歴交通シーン画像、自動運転のためのリアタイム交通シーン画像、および該画像識別システムで利用可能な任意のモデル、データなどが含まれる。

図３は、本願の実施例によって提供される画像処理技術の解決策のサービス端末（サーバ１１０）のモジュール模式図に過ぎないことを理解されるべきである。クライアント端末では、一部のモジュールが省略されまたはマージされ得る。例えば、クライアント端末では、クライアント端末は、取得された画像、およびトレーニングされたニューラルネットワークに基づいて、再度トレーニングすることなく予測を行うだけでよく、トレーニングモジュール３０４は不要である。

図４は、本願の選択可能な実施例によって提供される空間ニューラルネットワークを使用した画像識別のフローチャートである。ステップ４０２において、取得モジュール３０２は画像を取得することができる。前記画像は履歴交通シーン画像およびリアタイム交通シーン画像を含む。前記画像は静止画像であってもよく、動的ビデオ中のビデオフレーム画像であってもよい。いくつかの実施例では、前記画像はクライアント１３０またはデータベース１４０に記憶され、取得モジュール３０２はネットワーク１２０を介して取得し得る。いくつかの実施例では、前記画像は記憶モジュール３０８に記憶され、取得モジュール３０２は記憶モジュール３０８から直接取得し得る。

ステップ４０４において、トレーニングモジュール３０４は、取得された画像に基づいて空間畳み込みニューラルネットワークをトレーニングすることができる。前記空間畳み込みニューラルネットワークは記憶モジュール３０８に記憶され得る。いくつかの実施例では、前記空間畳み込みニューラルネットワークは、従来の畳み込み層および空間連続性を有する物体を識別するための空間畳み込み層を含み得る。前記の空間連続性を有する物体を識別するための空間畳み込み層は、従来の畳み込み層（最上位の隠れ層）の後段に位置してもよく、即ち、従来の畳み込み層の出力（例えば第１の畳み込み処理モジュールの出力）を空間連続性を有する物体を識別するための空間畳み込み層の入力（例えば第２の畳み込み処理モジュールの入力）とすることができる。前記の空間連続性を有する物体を識別するための空間畳み込み層は、従来の畳み込み層の中間の隠れ層の間に位置してもよく、中間の隠れ層の出力をその入力とすることができる。

空間連続性を有する物体を識別するための空間畳み込み層の選択可能な計算ステップは以下を含む。

１．取得された画像を畳み込みニューラルネットワークを介し処理して、該画像に対応する多次元テンソル（即ち画像特徴を示す多次元テンソル）を取得し、該テンソルを少なくとも１つの次元方向にそって複数のスライス（ｓｌｉｃｅ、即ちスライス成分）に分割り、その内に、スライスの数は２または２以上、該次元成分よりも小さい任意の整数である。

２．第１の个スライスは変更されない。

３．第１の个スライスを畳み込み、該畳み込み結果と第２のスライスとの和を利用して第２のスライスを更新し、即ち、第１の个スライスの畳み込み結果と第２のスライスとの和を新しい第２のスライスとする。

４．更新された第２のスライスを畳み込み、該畳み込み結果と第３のスライスとの和を利用して第３のスライスを更新し、即ち、更新された第２のスライスの畳み込み結果と第３のスライスとの和を新しい第３のスライスとし、このようにして、第２のスライスから最後のスライスまでのそれぞれのスライスに対応する更新結果が得られる。

上述の計算ステップは、第２の畳み込み処理モジュールによって実行され得る。

いくつかの実施例では、各スライスを畳み込む時に、すべての畳み込み層は同じネットワークパラメータを有し、例えば、共有の重み値を有し、同じ畳み込みカーネルを有する。いくつかの実施例では、一部（２つまたは２つ以上）の畳み込み層は同じネットワークパラメータを有する。前記ネットワークパラメータには、重み値及び畳み込みカーネルが含まれるが、これらに限定されない。

いくつかの実施例では、前記空間連続性を有する物体は、区画線、電柱、電柱、街灯柱などの交通シーン画像内の通常物体を含み得る。前記空間畳み込みニューラルネットワークに対するトレーニングには、確率的勾配降下法および逆伝播アルゴリズムが含まれる。

ステップ４０６において、予測モジュール３０６は、トレーニングされた空間畳み込みニューラルネットワークに基づいて画像を予測することができる。予測モジュール３０６は画像処理モジュールの一例であり得る。いくつかの実施例では、前記画像は、自動運転のためのリアタイム交通シーン画像であってもよい。いくつかの実施例では、前記画像は自動駐車のための駐車スペースのライブビュー画像であってもよい。いくつかの実施例では、前記画像は静止画像であってもよい。いくつかの実施例では、前記画像は動的ビデオのフレーム画像であってもよい。前記トレーニングされた畳み込みニューラルネットワークは、記憶モジュール３０８に記憶され、またはネットワークを介してデータベース１４０に記憶されてもよい。

図５は、本願の選択可能な実施例によって提供される空間畳み込み層による画像識別のフローチャートである。ステップ５０２において、従来の畳み込み層によって処理された画像情報を取得する。例えば、前記画像情報は、取得された車載カメラにより取得した履歴またはリアタイムの交通シーン画像、従来の畳み込みニューラルネットワークの畳み込み層によって処理された画像特徴を示す多次元テンソルであり得る。

ステップ５０４において、前記画像情報を任意のテンソルの方向に沿って複数のスライス（即ち複数のスライス成分）に分割し、その内に、それぞれのスライスは１つの畳み込み層に対応する。いくつかの実施例では、前記各スライスに対応する畳み込み層は同じネットワークパラメータを有し、いくつかの実施例では、２つまたは２つ以上のスライスに対応する畳み込み層は同じネットワークパラメータを有する。前記ネットワークパラメータには、重み、畳み込みカーネルが含まれるが、これらに限定されない。前記各畳み込み層は非線性活性化関数によって後処理される。前記非線性活性化関数には、ＲｅＬＵ関数、ＰＲｅＬＵ関数、およびＳｉｇｍｏｉｄ関数などが含まれる。空間畳み込み層は、従来の畳み込み層の後に設置され、従来の畳み込み層から出力された画像情報を計算することができる。垂直方向を例として、従来の畳み込み層から出力した画像情報の３次元または３次元以上のテンソルを想定し、ここで３次元のテンソルを例にして、その高さ、幅、及びチャンネル数は、それぞれＨ、Ｃ、Ｗとすると、垂直方向にそってＨ個のスライスに分割する。

ステップ５０６において、最上位層のスライスは変更されなく、最上位層のスライスを第１の畳み込み層の入力とし、得られた畳み込み結果を第２の畳み込み層に送る。いくつかの実施例では、第１のスライス（即ち最上位層のスライス）を第１の畳み込み層に送った後、サイズＣ×ｗのＣ個の畳み込みカーネルを畳み込み（ただし、ｗは畳み込みカーネルの幅である）、その出力と２番目の層のスライスを加算した後、更新された２番目の層のスライスとする。ステップ５０８において、任意の中間層のスライスに対して、前の層のスライスの畳み込み結果と該中間層のスライスを加算して更新された中間層のスライスとし、更新された中間層のスライスを対応する中間畳み込み層の入力とし、得られた畳み込み結果を次の層のスライスに送る。ステップ５１０において、最下層のスライスに対して、前の層の畳み込み結果と最下層のスライスを加算して更新された最下層のスライスとする。

より具体的には、３次元の畳み込みカーネルＫを想定し、その要素Ｋ（ｉ，ｊ，ｋ）はｋ列離れた前のスライスのｉ番目のチャンネルと現在スライスのｊ番目のチャンネルの２つの要素の間の重み値を表す。画像特徴を示す３次元テンソルはＸであると、その要素Ｘ（ｉ，ｊ，ｋ）はＸのｉ番目のチャンネル、ｊ番目の行、ｋ番目の列の要素を表す。空間畳み込みニューラルネットワークの順次計算式は次の通りである。

ただし、

は、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）、ＰＲｅＬＵ（Ｐａｒａｍｅｔｒｉｃ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）、Ｓｉｇｍｏｉｄ、Ｔａｎｈなどの非線性活性化関数であり、

は、更新されたスライスを表し、

はｎ列離れた前のスライスのｍ番目のチャンネルと現在スライスのｉ番目のチャンネルの２つの要素の間の重み値を表す。

ステップ５１２において、システムは、更新されたスライスを組合わせ、最終の畳み込み結果を取得し、例えば、変更されない最上位層のスライス、更新された各中間層のスライス、および更新された最下層のスライスを組合わせて最終の畳み込み結果を得る。

図６は、本願の選択可能な実施例によって提供される空間畳み込み層が従来の畳み込み層の後に設置され、垂直方向に画像情報を処理する模式図である。図６に示すように、従来の畳み込み層では、画像情報が異なる畳み込み層間で転送され、同じ畳み込み層のニューロン間で情報が転送されない。空間畳み込み層では、各畳み込み層も複数のスライスに分割され、且つ上層のスライスと下層のスライスの間で情報が転送される。従って、空間畳み込み層は、空間連続性を有する物体を識別することができる。

いくつかの実施例では、空間畳み込み層が垂直上向き、垂直下向き、水平左向き及び水平右向きなどの複数の方向に沿って畳み込まれる。いくつかの実施例では、空間畳み込み層は従来の畳み込み層の間（例えば、従来の畳み込みニューラルネットワークの中間の隠れ層）に設置され得る。図７に示すように、従来の畳み込みニューラルネットワークの最上位の隠れ層（ｔｏｐ ｈｉｄｄｅｎ ｌａｙｅｒ）の後に、順次垂直下向き、垂直上向き、水平右向きおよび水平左向きの４つの方向の空間畳み込み層が設置される。交通シーン画像が従来の畳み込みニューラルネットワークによって畳み込み処理された後、さらに空間畳み込み層によって畳み込まれ組合わせられて、最後の予測画像情報を取得する。いくつかの実施例では、同じ方向、例えば垂直下向きに、空間畳み込み処理が２回または２回以上実行され得、且つ同じ方向の畳み込み処理が間隔を空けて実行され得る。例えば、空間畳み込み層の順序は、垂直下向き、垂直上向き、垂直下向き、水平右向き、および水平左向きであってもよい。

図８は、区画線を含む交通シーン画像である。図９は従来の畳み込みニューラルネットワークを利用して前記交通シーン画像中の区画線を予測する結果の模式図である。図１０は、空間畳み込みニューラルネットワークを利用して前記交通シーン画像中の区画線を予測する結果の模式図である。図９と図１０を比較すると、従来の畳み込みニューラルネットワークにより画像を識別する時に、その右下隅の区画線が顕著なぼやけ現象を招くことが分かった。空間畳み込みニューラルネットワークにより処理された画像は、ぼやけ現象が大幅に改善された。この結果は、従来の畳み込みニューラルネットワークと比較して、空間畳み込みニューラルネットワークが区画線検出の方で顕著な利点を有することを示す。

図１１〜図１３、図１４〜図１６、図１７〜図１９は、それぞれ電柱、電柱、および街灯柱の物理シーン図、従来の畳み込みニューラルネットワークの予測結果の模式図、空間畳み込みニューラルネットワークの予測結果の模式図である。図１１には電柱が含まれる。従来の畳み込みニューラルネットワークにより該実際の交通シーン画像を処理する時に、該電柱の予測に顕著な偏差がある。図１２に示すように、該電柱に対する予測は顕著な不連続現象がある。これらの現象は、不十分な光線、電柱の色と近い背景または他の物体で一部隠れられたなどの原因によって発生する。図１３では、空間畳み込みニューラルネットワークを使用して該交通シーン画像を識別する。その結果は、空間畳み込みニューラルネットワークが該交通シーン中の電柱を効果的に識別し、不連続現象を解消したことを示す。

図１４〜図１６、図１７〜図１９は、同様に空間畳み込みニューラルネットワークがそれぞれ電柱および街灯柱を効果的に識別するできることを示す。従来の畳み込みニューラルネットワークを使用して該実際の交通シーン画像を処理する時に、電柱および街灯柱に対する予測には顕著な偏差がある。図１５および図１７に示すように、電柱および街灯柱に対する予測には顕著な不連続現象がある。図１６および図１９では、空間畳み込みニューラルネットワークを使用して該交通シーン画像を識別する。その結果は、空間畳み込みニューラルネットワークが該交通シーン中の電柱および街灯柱を効果的に識別し、不連続現象を解消したことを示す。従来の畳み込みニューラルネットワークと比較して、より良い識別効果を有し、且つその予測効果は光線および背景からの影響が小さい。

上記の比較結果によって、従来の畳み込みニューラルネットワークと比較して、空間畳み込みニューラルネットワークは、効果的に上記交通シーン画像中の物体を検出（区画線を検出）し、前記画像中の物体を識別（人または障害物等を識別）し、前記画像中の物体を追跡（移動している車両を追跡）し、前記画像を分割（背景、道路、歩行者、車両、街灯などを分割）し、および／または前記画像を分類することができることが示される。例えば、物体検出モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像中の物体を検出し、物体識別モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像中の物体を識別し、物体追跡モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像中の物体を追跡し、セマンティックセグメンテーションモジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像を分割し、画像分類モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像を分類する。

図２０は本願の選択可能な実施例によって提供される画像処理方法のフローチャートである。図２０に示される方法は、主に、ステップＳ２０００、ステップＳ２０１０、およびステップＳ２０２０を含む。任意選択で、該方法はステップＳ２０３０を更に含み得る。

Ｓ２０００において、画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得。

選択可能な例では、本願の画像は具体的に区画線、歩行者、車両、桿状物および／または障害物を含む交通シーン画像であり得る。該画像が畳み込みニューラルネットワークの畳み込み層によって畳み込み処理された後に、画像特徴を示す多次元テンソルを取得し得、例えば、畳み込みニューラルネットワークの中間の隠れ層または最上位の隠れ層によって畳み込み処理された後に、画像特徴を示す３次元テンソルを取得し得、その３次元は具体的に高さ、幅、およびチャンネル数であり得る。

Ｓ２０１０において、前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、少なくとも２つのスライス成分に対して順次畳み込み処理を行う。

選択可能な例では、本願のスライス成分は、画像特徴を示す多次元テンソルを多次元テンソルの少なくとも１次元に対応する方向に従い順次分割して得られたものである。多次元テンソルの次元には高さ、および幅が含まれる場合に、該方向は、上から下への高さ方向、下から上への高さ方向、左から右への幅方向または右から左への幅方向などであり得る。

選択可能な例では、本願は、多次元テンソル中の１番目の層のスライス成分に対して畳み込み処理を行い、１番目の層のスライス成分の畳み込み処理の結果と２番目の層のスライス成分との和を利用して該多次元テンソル中の２番目の層のスライス成分を更新し、その後、更新された２番目の層のスライス成分に対して畳み込み処理を行い、２番目の層のスライス成分の畳み込み処理と３番目の層のスライス成分との和を利用して該多次元テンソル中の３番目の層のスライス成分を更新し、このようにして、該多次元テンソル中の最後の層のスライス成分まで更新するようにしてもよい。本願は、第１のスライス成分から最後から２番目のスライス成分までのそれぞれのスライス成分にそれぞれ畳み込み層を設置し、更新された対応にする層のスライス成分に対して畳み込み処理を行うようにしてもよく、各畳み込み層中の少なくとも２つ畳み込み層のネットワークパラメータが同じであり、通常、各畳み込み層のネットワークパラメータが同じである。加えて、本願は、多次元テンソル中の２番目の層のスライス成分から最後の層のスライス成分までの一部のスライス成分を更新する場合も排除しない。

Ｓ２０２０においては、少なくとも最終的に得られた畳み込み処理の結果に基づいて該画像を処理する。

選択可能な例では、本願では、最終的に得られた畳み込み処理の結果（例えば更新された多次元テンソル）は複数の応用シーンに応用され得、例えば最終的に得られた畳み込み処理の結果を利用して画像中の物体を検出し得、最終的に得られた畳み込み処理の結果を利用して画像中の物体を識別し得、最終的に得られた畳み込み処理の結果を利用し画像中の物体を追跡し得、最終的に得られた畳み込み処理の結果を利用して画像を分割し得、最終的に得られた畳み込み処理の結果を利用して画像を分類し得る。本願は最終的に得られた畳み込み処理の結果の具体的な応用シーンを限定しない。

Ｓ２０３０においては、画像処理の結果に応じて制御コマンドを生成し、該制御コマンドに基づいて目標対象を制御して対応する操作を実行させ、または画像処理の結果に基づいて目標対象を制御して対応操作を実行させる。

選択可能な例では、本願中の目標対象は、自動運転に基づく乗り物（例えば自動運転自動車など）またはロボットまたはロボットアームなどであり得る。本願は、目標対象の具体的な表現形式を限定しない。

図２１は、本願の選択可能な実施例によって提供される画像処理システムの構造模式図である。図２１に示されるシステムは、第１の畳み込み処理モジュール２１００、第２の畳み込み処理モジュール２１１０、および画像処理モジュール２１２０を含む。任意選択で、該システムは、第１の制御モジュール２１３０および／または第２の制御モジュール２１４０を更に含んでも良い。

第１の畳み込み処理モジュール２１００は、画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得するために用いられる。

選択可能な例では、第１の畳み込み処理モジュール２１００によって畳み込み処理される画像は、具体的に区画線、歩行者、車両、桿状物および／または障害物を含む交通シーン画像であり得る。該画像が第１の畳み込み処理モジュール２１００によって畳み込み処理された後、画像特徴を示す多次元テンソルを取得でき、例えば中間の隠れ層または最上位の隠れ層の第１の畳み込み処理モジュール２１００によって畳み込み処理された後、画像特徴を示す３次元テンソルを取得し、その３次元は具体的に高さ、幅、およびチャンネル数であり得る。

第２の畳み込み処理モジュール２１１０は、前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い順次少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を行うために用いられる。

選択可能な例では、第２の畳み込み処理モジュール２１１０によって使用されるスライス成分は、画像特徴を示す多次元テンソルを多次元テンソルの少なくとも１次元に対応する方向に従い順次分割して得られる。多次元テンソルの次元には高さおよび幅が含まれる場合に、該方向は上から下への高さ方向、下から上への高さ方向、左から右への幅方向または右から左への幅方向などであり得る。

選択可能な例では、第２の畳み込み処理モジュール２１１０は、多次元テンソル中の１番目の層のスライス成分に対して畳み込み処理を行い、１番目の層のスライス成分の畳み込み処理の結果と２番目の層のスライス成分との和を利用して該多次元テンソル中の２番目の層のスライス成分を更新し、その後、第２の畳み込み処理モジュール２１１０は更新された２番目の層のスライス成分に対して畳み込み処理を行い、２番目の層のスライス成分の畳み込み処理と３番目の層のスライス成分との和を利用して該多次元テンソル中の３番目の層のスライス成分を更新し、このようにして、第２の畳み込み処理モジュール２１１０は該多次元テンソル中の最後の層のスライス成分まで更新する。第２の畳み込み処理モジュール２１１０は畳み込みニューラルネットワーク中の複数の畳み込み層であっても良く、第２の畳み込み処理モジュール２１１０は、第１のスライス成分から最後から２番目のスライス成分までのそれぞれのスライス成分に対してそれぞれ畳み込み層を設置し、第２の畳み込み処理モジュール２１１０は対応する畳み込み層により更新された対応する層のスライス成分に対して畳み込み処理を行うようにしてもよく、第２の畳み込み処理モジュール２１１０中の各畳み込み層中の少なくとも２つ畳み込み層のネットワークパラメータが同じであり、通常、第２の畳み込み処理モジュール２１１０中の各畳み込み層のネットワークパラメータが同じである。加えて、本願は、第２の畳み込み処理モジュール２１１０によって多次元テンソル中の２番目の層のスライス成分から最後の層のスライス成分までの一部のスライス成分を更新する場合も排除しない。

画像処理モジュール２１２０は、少なくとも最終的に得られた畳み込み処理の結果に基づいて該画像を処理するために用いられる。該画像処理モジュール２１２０は、物体検出モジュール、物体識別モジュール、物体追跡モジュール、セマンティックセグメンテーションモジュール、および画像分類モジュール中の少なくとも１つを含み得る。物体検出モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像中の物体を検出するために用いられる。物体識別モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像中の物体を識別するために用いられる。物体追跡モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像中の物体を追跡するために用いられる。セマンティックセグメンテーションモジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像を分割するために用いられる。画像分類モジュールは少なくとも最終的に得られた畳み込み処理の結果に基づいて画像を分類するために用いられる。

第１の制御モジュール２１３０は、画像処理の結果に基づいて制御コマンドを生成し、制御コマンドに基づいて目標対象を制御して対応操作を実行させるために用いられる。

第２の制御モジュール２１４０は、画像処理の結果に基づいて目標対象を制御して対応操作を実行させるために用いられる。

選択可能な例では、第１の制御モジュール２１３０及び第２の制御モジュール２１４０によって制御される目標対象は、自動運転に基づく乗り物（例えば自動運転自動車など）またはロボットまたはロボットアームなどであり得る。本願は第１の制御モジュール２１３０及び第２の制御モジュール２１４０によって制御される目標対象の具体的な表現形式を限定しない。

以上の説明は、本願の好ましい実施例に関するものに過ぎず、本願はここに限定されなく、当業者にとっては、本願に様々な変更及び修正を加えることができる。本願の精神および原理内で行われたすべての修正、等価置換、改善などは、本願の保護範囲に含まれることが意図される。

１１０ サーバ
１２０ ネットワーク
１３０ クライアント
１４０ データベース
２１０ データバス
２２０ プロセッサー
２３０ 読み取り専用メモリ（ＲＯＭ）
２４０ ランダムアクセスメモリ（ＲＡＭ）
２５０ 通信ポート
２６０ 入力／出力ポート
２７０ ハードディスク

Claims (25)

1. 画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することと、
   前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を順次行うことであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られることと、
   少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理することと、を含むことを特徴とする画像処理方法。
2. 前記少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理することは、
   少なくとも最終的に得られた畳み込み処理の結果に基づいて、前記画像中の物体の検出、前記画像中の物体の識別、前記画像中の物体の追跡、前記画像の分割、および／または前記画像の分類を行うことを含むことを特徴とする請求項１に記載の方法。
3. 前記画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することは、
   畳み込みニューラルネットワークの畳み込み層によって前記画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得することを含むことを特徴とする請求項１または２に記載の方法。
4. 前記畳み込み層は、前記畳み込みニューラルネットワークの中間の隠れ層または最上位の隠れ層であることを特徴とする請求項３に記載の方法。
5. 前記スライス成分の畳み込み処理は畳み込み層によって処理され、且つ異なるスライス成分を処理する少なくとも２つの畳み込み層のネットワークパラメータは同じであることを特徴とする請求項１〜４のいずれか１項に記載の方法。
6. 前記前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、順次少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を行うことは、
   前記多次元テンソル中の１番目の層のスライス成分に対して畳み込み処理を行い、１番目の層のスライス成分の畳み込み処理の結果と２番目の層のスライス成分との和を利用して前記多次元テンソル中の２番目の層のスライス成分を更新することと、
   更新された２番目の層のスライスに対して畳み込み処理を行い、２番目の層のスライス成分の畳み込み処理と３番目の層のスライス成分との和を利用して前記多次元テンソル中の３番目の層のスライス成分を更新し、このようにして、前記多次元テンソル中の最後の層のスライス成分まで更新することを特徴とする請求項１〜５のいずれか１項に記載の方法。
7. 前記多次元は、高さ、幅およびチャンネル数を含む３次元を少なくとも含むことを特徴とする請求項１〜６のいずれか１項に記載の方法。
8. 前記方向は、上から下への高さ方向、下から上への高さ方向、左から右への幅方向、右から左への幅方向のうちの少なくとも１つを含むことを特徴とする請求項７に記載の方法。
9. 画像処理の結果に基づいて制御コマンドを生成し、制御コマンドに基づいて目標対象を制御して対応操作を実行させ、または、
   画像処理の結果に基づいて目標対象を制御して対応操作を実行させることを特徴とする請求項１〜８のいずれか１項に記載の方法。
10. 前記画像は、交通シーン画像を含むことを特徴とする請求項１〜９のいずれか１項に記載の方法。
11. 前記交通シーン画像中の物体は、区画線、歩行者、車両、桿状物、障害物のうちの少なくとも１つを含むことを特徴とする請求項１０に記載の方法。
12. 画像に対して畳み込み処理を行い、画像特徴を示す多次元テンソルを取得するための第１の畳み込み処理モジュールと、
    前のスライス成分の畳み込み処理を次のスライス成分の畳み込み処理の入力とするようにして、前記画像特徴を示す多次元テンソルの少なくとも１次元に対応する方向に従い、少なくとも２つのスライス成分に対してそれぞれ畳み込み処理を順次行うための第２の畳み込み処理モジュールであって、前記スライス成分が、前記画像特徴を示す多次元テンソルを前記方向に従い順次分割して得られる第２の畳み込み処理モジュールと、
    少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を処理するための画像処理モジュールと、を含むことを特徴とする画像処理システム。
13. 前記画像処理モジュールは、
    少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を検出するための物体検出モジュールと、
    少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を識別するための物体識別モジュールと、
    少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像中の物体を追跡するための物体追跡モジュールと、
    少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を分割するためのセマンティックセグメンテーションモジュールと、
    少なくとも最終的に得られた畳み込み処理の結果に基づいて前記画像を分類するための画像分類モジュールと、の少なくとも１つを含むことを特徴とする請求項１２に記載のシステム。
14. 前記画像処理システムは畳み込みニューラルネットワークを含み、前記第１の畳み込み処理モジュールは畳み込みニューラルネットワークの畳み込み層であることを特徴とする請求項１２または１３に記載のシステム。
15. 前記畳み込み層は、前記畳み込みニューラルネットワークの中間の隠れ層または最上位の隠れ層であることを特徴とする請求項１４に記載のシステム。
16. 前記第２の畳み込み処理モジュールは、畳み込みニューラルネットワークにおけるスライス成分に対して畳み込み処理を行う複数の畳み込み層を含み、且つ異なるスライス成分を処理する少なくとも２つの畳み込み層のネットワークパラメータは同じであることを特徴とする請求項１２〜１５のいずれか１項に記載のシステム。
17. 前記第２の畳み込み処理モジュールは、具体的に、
    前記多次元テンソル中の１番目の層のスライス成分に対して畳み込み処理を行い、１番目の層のスライス成分の畳み込み処理の結果と２番目の層のスライス成分との和を利用して前記多次元テンソル中の２番目の層のスライス成分を更新することと、
    更新された２番目の層のスライスに対して畳み込み処理を行い、２番目の層のスライス成分の畳み込み処理と３番目の層のスライス成分との和を利用して前記多次元テンソル中の３番目の層のスライス成分を更新し、このようにして、前記多次元テンソル中の最後の層のスライス成分まで更新することに用いられることを特徴とする請求項１２〜１６のいずれか１項に記載のシステム。
18. 前記多次元は、高さ、幅およびチャンネル数を含む３次元を少なくとも含むことを特徴とする請求項１２〜１７のいずれか１項に記載のシステム。
19. 前記方向は、上から下への高さ方向、下から上への高さ方向、左から右への幅方向、右から左への幅方向のうちの少なくとも１つを含むことを特徴とする請求項１８に記載のシステム。
20. 画像処理の結果に基づいて制御コマンドを生成し、制御コマンドに基づいて目標対象を制御して対応操作を実行させる第１の制御モジュール、または、
    画像処理の結果に基づいて目標対象を制御して対応操作を実行させる第２の制御モジュールを更に含むことを特徴とする請求項１２〜１９のいずれか１項に記載のシステム。
21. 前記画像は、交通シーン画像を含むことを特徴とする請求項１２〜２０のいずれか１項に記載のシステム。
22. 前記交通シーン画像中の物体は、区画線、歩行者、車両、桿状物、障害物のうちの少なくとも１つを含むことを特徴とする請求項２１に記載のシステム。
23. コンピューターコマンドが記憶され、デバイスによって記憶媒体中のコンピューターコマンドを読取った後、デバイスは請求項１〜１１のいずれか１項に記載の画像処理方法を実行することを特徴とするコンピューター可読記憶媒体。
24. メモリ、およびプロセッサーを含むコンピューティングデバイスにおいて、前記プロセッサーによって前記メモリに記憶されたコンピュータープログラムを実行する時に、請求項１〜１１中のいずれか１項に記載の画像処理方法中の各ステップを実行することを特徴とするコンピューティングデバイス。
25. コンピューターコマンドを含み、デバイスのプロセッサーによって前記コンピューターコマンドを実行する時に、前記プロセッサーは請求項１〜１１のいずれか１項に記載の画像処理方法中の各ステップを実行することを特徴とするコンピュータープログラム。