JP2019029002A

JP2019029002A - パノラマ画像を用いる再位置決め方法、装置及び電子機器

Info

Publication number: JP2019029002A
Application number: JP2018109129A
Authority: JP
Inventors: ニンリ; Ning Li; チャオフォンリ; Chofang Lee; ホォンイリィウ; Hongyi Liu; リイェンリィウ; Liyan Liu
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2017-07-28
Filing date: 2018-06-07
Publication date: 2019-02-21
Anticipated expiration: 2038-06-07
Also published as: CN109308678A; JP6575638B2; CN109308678B

Abstract

【課題】本発明は、画像処理技術分野に関わり、パノラマ画像を利用して再位置決めを行う方法、装置、電子機器及びコンピューターで読み取り可能な記録媒体を提供し、パノラマ画像を用いる位置決めの正確性を高めることができる。【解決手段】当該方法は、パノラマ画像を取得することと、パノラマ画像をプレ処理して処理すべきサブ画像を取得することと、処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、処理すべきサブ画像の深層特徴図を取得することと、深層特徴図に対して回転不変プーリング処理を行うことと、回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、全結合モデルの出力を再位置決め後の位置情報とすることと、を含む。本発明の実施例は、パノラマ画像を用いる位置決めの正確性を高めることができる。【選択図】図１

Description

本発明は画像処理技術分野に関し、特にパノラマ画像を利用して再位置決めを行う方法、装置、電子機器及びコンピューターで読み取り可能な記録媒体に関する。

見る者により広い視角を与え、画像の中により豊かな内容を含むため、パノラマ画像カメラはより多くの人気を集めている。

既存技術では、畳み込みニューラルネットワークを利用し、シーン画像を分析することを通じて位置情報の識別を行う案を提出した。当該方案の中では、以下二つの状況ですべて同じ路線で二回往復するかを考察し、一回目の往復で採集した画像データをトレーニングデータ集とし、二回目をテストデータ集とした。カメラの位置を固定する方式でトレーニング及びテストデータ集を採集し、カメラの回転による視角のずれを導入しなかった。テストによると、二回目の往復でデータ採集を行う過程で、カメラが5メートル未満の水平方向へのずれが発生した。この方案の中で、カメラの位置を固定する方式でトレーニング及びテストデータ集を採集し、カメラの回転による視角のずれを導入しなかった。ところが、実際の応用においてカメラが水平回転する可能性が大いに存在し、これは位置決めの結果の正確性にある程度影響を及ぼすことになる。

このことに鑑み、本発明はパノラマ画像を用いる再位置決め方法、装置、電子機器及びコンピューター読み取り可能な記録媒体を提供し、パノラマ画像を用いる位置決めの正確性を高めることができる。

上記技術問題を解決するため、本発明の実施例の一つの態様は、パノラマ画像を用いる再位置決め方法であって、パノラマ画像を取得することと、前記パノラマ画像をプレ処理して処理すべきサブ画像を取得することと、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することと、前記深層特徴図に対して回転不変プーリング処理を行うことと、回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含むことを特徴とする方法を提供する。

この態様において、前記パノラマ画像をプレ処理して処理すべきサブ画像を取得することは、前記パノラマ画像の正距円筒投影を単位球面にマッピングすることと、前記単位球面の球面中心点から、前記単位球面を外接立方体にマッピングすることと、前記外接立方体を展開して処理すべきサブ画像を取得することと、を含み、前記処理すべきサブ画像は、少なくとも前記パノラマ画像の中間領域画像を含む。

この態様において、前記処理すべきサブ画像は、前記パノラマ画像の上部領域画像をさらに含み、或いは、前記処理すべきサブ画像は、前記パノラマ画像の上部領域画像と下部領域画像をさらに含む。

この態様において、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像のみを含む場合、前記処理すべき画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することは、前記中間領域画像を前記複数経路の畳み込みニューラルネットワークの入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記複数経路の畳み込みニューラルネットワークの出力を前記中間領域画像の深層特徴図とすること、を含む。

この態様において、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像及び上部領域画像を含む場合、前記処理すべき画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することは、前記中間領域画像及び前記上部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの二つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記二つの経路に対応する出力をそれぞれ前記中間領域画像及び前記上部領域画像の深層特徴図とすること、を含む。

この態様において、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像及び下部領域画像を含む場合、前記処理すべき画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することは、前記中間領域画像、前記上部領域画像及び前記下部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの三つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記三つの経路に対応する出力をそれぞれ前記中間領域画像、前記上部領域画像及び前記下部領域画像の深層特徴図とすること、を含む。

この態様において、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像を含む場合、前記深層特徴図に対して回転不変プーリング処理を行うことは、前記中間領域画像に対応する深層特徴図の行最大値を、前記パノラマ画像の中間領域画像に対応する新しい特徴図として抽出することを含み、前記処理すべきサブ画像が前記パノラマ画像の上部領域画像及び／又は前記パノラマ画像の下部領域画像を含む場合、前記深層特徴図に対して回転不変プーリング処理を行うことは、前記上部領域画像及び／又は前記下部領域画像の深層特徴図の最大値を、前記上部領域画像及び／又は前記下部領域画像に対応する新しい特徴図として抽出することを含む。

この態様において、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像及び上部領域画像を含む場合、前記回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることは、前記中間領域画像の新しい特徴図及び前記上部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することと、前記繋ぎ合わせた後の特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含む。

この態様において、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像及び下部領域画像を含む場合、前記回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることは、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図及び前記下部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することと、前記繋ぎ合わせた後の特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含む。

本発明の実施例のもう１つの態様は、パノラマ画像を用いる再位置決め装置であって、
パノラマ画像を取得する画像取得モジュールと、前記パノラマ画像をプレ処理して処理すべきサブ画像を取得する画像プレ処理モジュールと、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得する第一画像処理モジュールと、前記深層特徴図に対して回転不変プーリング処理を行う第二画像処理モジュールと、回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とする再位置決めモジュールと、を含むことを特徴とする装置を提供する。

本発明の実施例のもう１つの態様は、プロセッサーと、コンピュータプログラムコマンドが格納されるメモリと、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行された時に、前記プロセッサーに、パノラマ画像を取得するステップと、前記パノラマ画像をプレ処理して処理すべきサブ画像を取得するステップと、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得するステップと、前記深層特徴図に対して回転不変プーリング処理を行うステップと、回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とするステップと、を実行させることを特徴とする電子機器を提供する。

本発明の実施例のもう１つの態様は、コンピューターで読み取り可能な記録媒体にコンピュータプログラムが格納され、前記コンピュータプログラムがプロセッサーにより実行された時に、前記プロセッサーに、パノラマ画像を取得するステップと、前記パノラマ画像をプレ処理して処理すべきサブ画像を取得するステップと、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得するステップと、前記深層特徴図に対して回転不変プーリング処理を行うステップと、回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とするステップと、を実行させることを特徴とするコンピューター読み取り可能な記録媒体を提供する。

本発明の前記技術方案は以下の有益な効果を有する。

本発明の実施例において、入力したパノラマ画像をプレ処理した後、処理すべきサブ画像を取得し、その後処理すべきサブ画像は複数経路の畳み込みニューラルネットワークを経て深層特徴図を取得する。深層特徴図に対し回転不変プーリング処理を行った後、全結合モデルの中に入力し、更に再位置決め後の位置情報を確定する。以上のことから、パノラマ画像をプレ処理することで画像のひずみを除去することができ、ひずみの位置情報確定の正確性に対する影響を下げることができることと、プレ処理を経た処理すべきサブ画像は畳み込みニューラルネットワークを経て特徴を抽出し、特徴に対し回転不変プーリング処理を行い、処理後の特徴図を全結合モデルに入力し位置情報を復帰することで、カメラ回転の位置情報確定の正確性に対する影響を低減ことができる。

本発明実施例のパノラマ画像の繋ぎ合わせ方法のフローチャートである。本発明実施例のパノラマ画像のシーン抽出の模式図である。本発明実施例の畳み込みニューラルネットワーク及びパノラマ入力画像に基づいた再位置決めのフローチャートである。本発明実施例のパノラマ画像の繋ぎ合わせ方法のフローチャートである。パノラマ画像の正距円筒投影である。パノラマ画像の対応する立方体投影である。本発明実施例において、抽出したパノラマ画像の中間部分画像の特徴図に対して行う回転不変プーリング操作の模式図である。本発明実施例において、抽出したパノラマ画像の上部画像の特徴図に対して行う回転不変プーリング操作の模式図である。本発明実施例の位置情報確定の効果の模式図である。本発明実施例のパノラマ画像を利用して再位置決めを行う装置の模式図である。本発明実施例の画像プレ処理モジュールの模式図である。本発明実施例の再位置決めモジュールの模式図である。本発明実施例の再位置決めモジュールの模式図である。本発明実施例の電子機器の模式図である。

以下、図面と実施例を参照して本発明の具体的な実施方式についてさらに詳細に説明する。以下の実施例は、本発明の説明に用いれ、本発明の範囲を限定するものではない。

図1に示すように、本発明実施例のパノラマ画像の繋ぎ合わせ方法は、下記のステップを含む。

ステップ101では、パノラマ画像を取得する。

本発明の実施例において、あるシーンで指定の路線に沿いパノラマカメラで動画を録画し、当該動画をフレームごと抽出し、抽出した複数フレームのパノラマ画像をトレーニング（テスト）データ集とする。図2に示すように、シーンの空間次元は36m*36mである。同時に、トレーニング集とテスト集の間の相違性を保証するため、異なる時間にトレーニング及びテスト動画を撮影し、パノラマ画像を取得する。

ステップ102では、前記パノラマ画像をプレ処理して処理すべきサブ画像を取得する。

本発明の実施例において、パノラマ画像をプレ処理して、前記パノラマ画像の正距円筒投影を単位球面にマッピングし、前記単位球面の球面中心点から、前記単位球面を外接立方体にマッピングし、前記外接立方体を展開し、処理すべきサブ画像を取得する。

実際の応用において、すべてのパノラマ画像の正距円筒投影に対し、パノラマ画像の上部から、幅がパノラマ画像の1/4幅の領域を取り出し上部領域とすることと、パノラマ画像の下部から、幅がパノラマ画像の1/4幅の領域を取り出し下部領域とすることと、残りの領域を中間領域とし、中間領域の幅がパノラマ画像の幅の1/2となることと、に区分けることができる。各領域の長さはパノラマ画像の長さと同じである。パノラマ画像の正距円筒投影の中間領域のひずみが許容範囲内であるため、もし上部及び下部に不合理的なひずみが発生した場合、前記処理すべきサブ画像は前記パノラマ画像の中間領域画像を含むことができる。なお、パノラマ画像の上部及び下部に比較的に多くの情報が含まれる場合、それに対しひずみの除去を行ってもいいが、この際、前記処理すべきサブ画像は前記パノラマ画像の上部領域画像をも含み、或いは、前記処理すべきサブ画像は前記パノラマ画像の上部領域画像と下部領域画像とをも含むことができる。

ステップ103では、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得する。

具体的に、このステップの中では、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像のみを含む場合、前記中間領域画像を前記複数経路の畳み込みニューラルネットワークの入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記複数経路の畳み込みニューラルネットワークの出力を前記中間領域画像の深層特徴図とする。

具体的に、このステップの中では、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像を含む場合、前記中間領域画像、上部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの二つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記二つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像の深層特徴図とする。

具体的に、このステップの中では、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む場合、前記中間領域画像、上部領域画像、下部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの三つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記三つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像、下部領域画像の深層特徴図とする。

ステップ104では、前記深層特徴図に対し回転不変プーリング処理を行う。

具体的に、このステップの中では、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像を含む際、前記中間領域の対応する深層特徴図の行最大値を抽出し、それを前記パノラマ画像の中間領域の対応する新しい特徴図とする。

具体的に、このステップの中では、前記上部領域画像及び/或いは前記パノラマ画像の下部領域画像の深層特徴図の最大値を抽出し、それを前記上部領域及び/或いは下部領域の対応する新しい特徴図とする。

ステップ105では、回転不変プーリング処理後の深層特徴図を全結合モデルの中に入力し、前記全結合モデルの出力を再位置決め後の位置情報とする。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像のみを含む場合、中間領域の新しい特徴図を直接全結合モデルの中に入力すると、全結合モデルの出力は再位置決め後の位置情報となる。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像を含む際、ここで、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得した後、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し、前記全結合モデルの出力を再位置決め後の位置情報とする。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む際、ここで、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図、前記下部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得した後、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し、前記全結合モデルの出力を再位置決め後の位置情報とする。

本発明の実施例において、入力したパノラマ画像をプレ処理した後、処理すべきサブ画像を取得し、その後処理すべきサブ画像は複数経路の畳み込みニューラルネットワークを経て深層特徴図を取得する。深層特徴図に対し回転不変プーリング処理を行った後、全結合モデルの中に入力し、更に再位置決め後の位置情報を確定する。以上のことから、パノラマ画像をプレ処理することで画像のひずみを除去することができ、ひずみの位置情報確定の正確性に対する影響を下げることができることと、プレ処理を経た処理すべきサブ画像は畳み込みニューラルネットワークを経て特徴を抽出し、特徴に対し回転不変プーリング処理を行い、処理後の特徴図を全結合モデルに入力し位置情報を復帰することで、カメラ回転の位置情報確定の正確性に対する影響を下げることができる。

図3は、畳み込みニューラルネットワーク及びパノラマ入力画像に基づいた再位置決めのフローチャートを示した。図3の中では、上から下まで順に従い上部領域画像、中間領域画像と下部領域画像の処理過程を示した。

入力するパノラマ画像の寸法は960*1920*3、入力する画像の上部画像寸法は448*448*3、入力する画像の中間部分画像寸法は448*1792*3、入力する画像の下部画像寸法は448*448*3である。各部分の画像に対し、それぞれ畳み込みニューラルネットワークの畳み込みブロック1、2、3、4、5を経由し、また、ニューラルネットワークの出力を回転不変プーリングの入力とし、回転不変プーリングの出力は全結合層1、2、3を経由した後、位置情報を取得する。

図4と合わせて、本発明実施例のパノラマ画像を利用して再位置決めを行う方法は、下記のステップを含む。

ステップ401では、パノラマ画像を取得する。

ここで、トレーニング及びテストデータ集を収集する。本発明の実施例において、データ集の収集方法は、指定の路線に沿いパノラマカメラTheta Sで動画を録画し、動画をフレームごと抽出し、抽出した複数フレームの画像をトレーニング（テスト）データ集とする。本実施例において、動画の採集シーンはA社のオフィスであり、図2に示すように、シーンの空間次元は36m*36mである。同時に、トレーニング集とテスト集の間の相違性を保証するため、異なる時間にトレーニング及びテスト動画を撮影する。

ステップ402では、取得したパノラマ画像に対しプレ処理を行う。

処理方法は、以下のステップを含む。

(1)画像下部の騒音影響を大きく受けた部分の画像を切り取る。前記処理の主な理由は、画像の採集方式が手でカメラを持つがゆえに、画像の下部が採集する者の指であり、これを強い人工妨害騒音とみなすことができるためである。

(2)前記処理の後取得した画像に対し更なる処理を行い、画像上部のひずみを減らす。具体的には、パノラマカメラTheta Sの出力した幅対高さの比率が2:1の正距円筒投影画像を立方体投影に転換する。

そうすると、入力したパノラマ画像は上記ステップの処理を経た後、前記ステップによりひずみを除去した立方体上部画像と、許容可能な引き伸ばしを有する正距円筒投影の中間部分画像と、の二つの部分より構成されることとみなすことができる。

図5はパノラマ画像の正距円筒投影であり、図6はパノラマ画像の対応する立方体投影である。

ステップ403では、取得した二つの部分の画像をそれぞれ二つの経路の畳み込みニューラルネットワークの入力とし、二つの部分の画像の対応する特徴図を取得する。

ステップ404では、二つの部分の画像の対応する特徴図に対し、特徴の抽出を行う。

具体的には、畳み込み層の加重値をロードし、当該加重値が他のビッグデータ集上のプレトレーニングの加重値であることと、畳み込みネットワークを利用し入力画像に対し特徴の抽出を行い、特徴に対し回転不変プーリング操作を行い、入力画像が回転不変性の特徴表現を持つようにすることと、を含む。

具体的なステップは以下のとおりである。

図7に示すように、ネットワークの入力がパノラマ画像の中間部分の場合、カメラが水平回転した後、畳み込み層が畳み込みニューラルネットワークを経由し抽出の上取得した特徴図は、図に示したような水平変位が起こる。このような変化に対し、特徴図全体の行最大値を抽出し、即ち図の中で星印で標記した位置を新しい特徴図とし、水平回転した後特徴図の行最大値が変わらない特徴を利用し、回転不変性という特徴を獲得する。

図8に示すように、ネットワークの入力がパノラマ画像の上部の場合、カメラが水平回転した後、畳み込み層が畳み込みニューラルネットワークを経由し抽出の上取得した特徴図は、図に示したような中心を軸とした回転が起こる。このような変化に対し、特徴図全体の最大値を抽出し、即ち図の中で星印で標記した位置を新しい特徴図とし、中心を軸とし回転した後特徴図の最大値が変わらない特徴を利用し、回転不変性という特徴を獲得する。

ここで、i、jはそれぞれ取得した特徴図の行、列を示し、m、nはそれぞれ行列総数を代表し、kは特徴図の深さである。

前述の新しい特徴図を抽出する過程を回転不変プーリング処理と称することができる。

ステップ405では、二つの経路にてプーリング処理後の特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を全結合モデルの中に入力する。

複数の全結合層を経由し、最終的に出力層に収束し、出力層は複数の隠れ端末を含む全結合層である。当該全結合モデルの出力は、即ち再位置決め後のカメラの位置情報である。

本実施例において、全結合層の数は3であり、そのうち隠れ端末の数はそれぞれ4096、2048、3である。

本実施例において、画像の採集方式が手でカメラを持つがゆえに、パノラマ画像の下部領域に強い人工妨害騒音が存在するが、実際の応用において、採集方式がカメラを固定する方式で画像採集を行う場合、下部領域画像に対しひずみを除去した後利用することができる。この際、前記二つの経路の畳み込みニューラルネットワークを三つの経路の畳み込みニューラルネットワークに拡張することができる。

図9に示すように、図の中ではモデルのテストデータ集上の位置決めの誤差の累計ヒストグラムを示した。この結果に基づき、本発明の実施例で提出した再位置決め方案は、位置情報確定に基づいた応用シーンに応用することができると同時に、本発明実施例で提出した複数経路の畳み込みニューラルネットワーク構造の性能は、単一経路の畳み込みニューラルネットワーク構造より優れるため、本発明で提出した複数経路の畳み込みニューラルネットワーク構造を使用することで更に再位置決めの性能を改善することができる。

図10に示すように、本発明実施例におけるパノラマ画像を利用して再位置決めを行う装置1000は、パノラマ画像を取得することに用いられる画像取得モジュール1001と、前記パノラマ画像をプレ処理し処理すべきサブ画像を取得することに用いられる画像プレ処理モジュール1002と、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得することに用いられる第一画像処理モジュール1003と、前記深層特徴図に対し回転不変プーリング処理を行うことに用いられる第二画像処理モジュール1004と、回転不変プーリング処理後の深層特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とすることに用いられる再位置決めモジュール1005と、を含む。

ここで、図11に示すように、前記画像プレ処理モジュール1002は、前記パノラマ画像の正距円筒投影を単位球面にマッピングすることに用いられる第一マッピングサブモジュール10021と、前記単位球面の球面中心点から、前記単位球面を外接立方体にマッピングすることに用いられる第二マッピングサブモジュール10022と、前記外接立方体を展開し、処理すべきサブ画像を取得し、前記処理すべきサブ画像が少なくとも前記パノラマ画像の中間領域画像を含むことに用いられる処理サブモジュール10023と、を含むことができる。

本発明の実施例において、前記処理すべきサブ画像は、前記パノラマ画像の上部領域画像をも含む、或いは、前記処理すべきサブ画像は前記パノラマ画像の上部領域画像と下部領域画像とをも含む。

ここで、前記第一画像処理モジュール1003は、具体的に、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像のみを含む際、前記中間領域画像を前記複数経路の畳み込みニューラルネットワークの中の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記複数経路の畳み込みニューラルネットワークの出力を前記中間領域画像の深層特徴図とすることに用いることができる。

ここで、前記第一画像処理モジュール1003は、具体的に、前記中間領域画像、上部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの二つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記二つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像の深層特徴図とすることに用いることができる。

ここで、前記第一画像処理モジュール1003は、具体的に、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む際、前記中間領域画像、上部領域画像、下部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの三つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記複数経路の畳み込みニューラルネットワークの三つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像、下部領域画像の深層特徴図とすることに用いることができる。

ここで、前記第二画像処理モジュール1004は、具体的に、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像を含む際、前記中間領域の対応する深層特徴図の行最大値を抽出し、それを前記パノラマ画像の中間領域の対応する新しい特徴図とすることに用いる。

ここで、前記第二画像処理モジュール1004は、具体的に、前記処理すべきサブ画像が前記パノラマ画像の上部領域画像及び/或いは前記パノラマ画像の下部領域画像を含む際、前記上部領域画像及び/或いは前記パノラマ画像の下部領域画像の深層特徴図の最大値を抽出し、それを前記上部領域及び/或いは下部領域の対応する新しい特徴図とすることに用いる。

ここで、図12に示すように、再位置決めモジュール1005は、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像を含む際、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することに用いられる第一繋ぎ合わせサブモジュール10051と、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることに用いられる第一再位置決めサブモジュール10052と、を含む。

ここで、図13に示すように、再位置決めモジュール1005は、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む際、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図、前記下部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することに用いられる第二繋ぎ合わせサブモジュール10053と、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることに用いられる第二再位置決めサブモジュール10054と、を含む。

本発明実施例における前記装置の作業原理は、前記方法の実施例の説明を参照することができる。

図14に示すように、本発明実施例は、プロセッサー1401と、メモリ1402にコンピュータプログラムコマンドが格納されるメモリ1402と、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行された時に、前記プロセッサー1401に、パノラマ画像を取得するステップと、前記パノラマ画像をプレ処理し処理すべきサブ画像を取得するステップと、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得するステップと、前記深層特徴図に対し回転不変プーリング処理を行うステップと、回転不変プーリング処理後の深層特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とするステップと、を行わせる。

さらに、図14に示すように、電子機器1400は、インターネットインタフェース1403と、入力装置1404と、ハードウェア1405と、表示装置1406と、をも含む。

前記各インタフェースとデバイスとの間は、バスアーキテクチャーを介して連接し合うことができる。バスアーキテクチャーは、任意数のコンポーネントインターコネクトされるバスとブリッジとを含むことができる。具体的には、プロセッサー1401が代表する一つまたは複数の中央プロセッサー（CPU）およびメモリ1402代表する一つまたは複数のメモリの各種回路が連接されている。バスアーキテクチャーは周辺デバイス、定電圧器と電源管理回路などの各種ほかの回路を一緒に連接させることができる。なお、バスアーキテクチャーはこれらのユニットの間の連接通信を実現するために用いられる。バスアーキテクチャーはデータバスのほか、電源バスと、制御バスと、状態信号バスとを含むことは、当分野において公知されているため、詳細な説明を省略する。

前記ネットワークインタフェース1403は、ネットワーク（例えばインターネット、ローカルエリアネットワークなど）に接続されて、ネットワークから関連するデータを取得し、かつハードディスク1405に保存することができる。

前記入力装置1404は、作業員より入力された各種のコマンドを受け取り、かつプロセッサー1401に発送して実行される。前記入力装置1404はキーボードまたはクリックデバイス（例えばマウス、軌跡球（トラックボール）、接触感知板またはタッチスクリーンなど）を含む。

前記表示装置1406は、プロセッサー1401がコマンドを実行して得た結果を表示できる。

前記メモリ1402は、システム稼動時に必須なプログラムとデータ、およびプロセッサー1401の計算過程における中間結果などのデータを記憶することに用いられる。

なお、本発明の実施例におけるメモリ1402は、揮発性メモリまたは不揮発性メモリでもよく、或いは揮発性メモリと不揮発性メモリとの両者を含むことができる。ここで、不揮発性メモリは読み出し専用メモリ（ＲＯＭ）でも、プログラマブル読み出し専用メモリ（ＰＲＯＭ）でも、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）でも、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）またはフラッシュメモリでもよい。揮発性メモリはランダムアクセスメモリ（ＲＡＭ）でもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ1402は、これらおよび任意のほかの適合類型のメモリを含むが、これらに限られることではない。

いくつかの実施形態において、メモリ1402は、以下の要素、即ち実行可能なモジュールまたはデータ構造、あるいはそれらのサブ集合または拡張集合。オペレーティングシステム14021とアプリケーションプログラム14014を記憶している。

ここで、オペレーティングシステム14021は、各種の基礎業務およびハードウェアに基づくタスクを実現するように、例えば枠組層、コアー層、ドライブ層など各種のシステムプログラムを含む。アプリケーションプログラム14014は、各種のアプリケーション業務を実現するように、例えばブラウザー（ブラウザー）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム14014に含まれることが可能である。

上記プロセッサー1401は、前記メモリ1402に格納されたアプリケーションプログラムとデータ、具体的に、アプリケーションプログラム14014内に格納されたプログラムまたはコマンドを呼び出すかつ実行する際、パノラマ画像を取得し、前記パノラマ画像をプレ処理し処理すべきサブ画像を取得し、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得し、前記深層特徴図に対し回転不変プーリング処理を行い、回転不変プーリング処理後の深層特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とする。

本発明の上記実施例による方法は、プロセッサー1401に応用でき、あるいはプロセッサー1401によって実現できる。プロセッサー1401は、信号の処理能力を有する集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサー1401内のハードウェアの集積ロジック回路またはソフトウェア形式のコマンドによって完成できる。上記プロセッサー1401は、汎用プロセッサーでも、デジタル信号処理器（ＤＳＰ）でも、特定用途向け集積回路（ＡＳＩＣ）でも、現場でプログラム可能なゲートアレイ（ＦＰＧＡ）またはその他のプログラマブルロジックデバイスでも、個別ゲートまたはトランジスタロジックデバイスでも、個別ハードウェアユニットでもよく、本発明の実施例に公開された各方法、ステップおよびロジックブロック図を実現または実行できる。汎用プロセッサーは、マイクロプロセッサーまたはいかなる常用的なプロセッサーであっても良い。本発明の実施例より公開された方法のステップと結合して直接にできるのは、ハードウェアデコーダプロセッサーより実行して完成、またはデコーダプロセッサー内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完成することである。ソフトウェアモジュールは、ランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリまたは電気的に消去可能なプログラマブルメモリ、レジスターなどの当分野において成熟された記録媒体に位置することが可能である。当該記録媒体はメモリ1402にあり、プロセッサー1401はメモリ1402内の情報を読み取って、そのハードウェアと結合して上記方法のステップを完成する。

なお、本明細書に記載されたこれらの実施例に、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはその組み合わせによって実現できる。ハードウェアの実現について、プロセスユニットはひとつまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理器（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、汎用プロセッサー、コントローラ、マイクロコントローラ、マイクロプロセッサー、本願の前記機能を実現するためのほかの電子モジュールまたは組み合わせに実現可能である。

ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに記憶、かつプロセッサーによって実行することが可能である。メモリはプロセッサー内またはプロセッサー外部において実現できる。

具体的に、プロセッサー1401も前記コンピュータプログラムを読み取り以下のステップを実行することに用いられる。

前記パノラマ画像の正距円筒投影を単位球面にマッピングする。

前記単位球面の球面中心点から、前記単位球面を外接立方体にマッピングする。

前記外接立方体を展開し処理すべきサブ画像を取得し、前記処理すべきサブ画像が少なくとも前記パノラマ画像の中間領域画像を含む。

その中、前記処理すべきサブ画像が前記パノラマ画像の上部領域画像も含み、或いは、前記処理すべきサブ画像が前記パノラマ画像の上部領域画像と下部領域画像も含む。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像のみを含む際、前記中間領域画像を前記複数経路の畳み込みニューラルネットワークの入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記複数経路の畳み込みニューラルネットワークの出力を前記中間領域画像の深層特徴図とする。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像を含む際、前記中間領域画像、上部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの二つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記二つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像の深層特徴図とする。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む際、前記中間領域画像、上部領域画像、下部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの三つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記三つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像、下部領域画像の深層特徴図とする。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像を含む際、前記中間領域の対応する深層特徴図の行最大値を抽出し、それを前記パノラマ画像の中間領域の対応する新しい特徴図とする。

前記処理すべきサブ画像が前記パノラマ画像の上部領域画像及び/或いは前記パノラマ画像の下部領域画像を含む際、前記上部領域画像及び/或いは前記パノラマ画像の下部領域画像の深層特徴図の最大値を抽出し、それを前記上部領域及び/或いは下部領域の対応する新しい特徴図とする。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像を含む際、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得し、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とする。

前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む際、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図、前記下部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得し、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とする。

また、本発明の実施例もコンピューターで読み取り可能な記録媒体を提供する。前記コンピューターで読み取り可能な記録媒体にコンピュータプログラムが格納され、前記コンピュータプログラムが前記プロセッサーにより実行された時に、前記プロセッサーに、パノラマ画像を取得するステップと、前記パノラマ画像をプレ処理し処理すべきサブ画像を取得するステップと、前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得するステップと、前記深層特徴図に対し回転不変プーリング処理を行うステップと、回転不変プーリング処理後の深層特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とするステップと、を行わせる。

その中、前記パノラマ画像をプレ処理し処理すべきサブ画像を取得することは、前記パノラマ画像の正距円筒投影を単位球面にマッピングすることと、前記単位球面の球面中心点から、前記単位球面を外接立方体にマッピングすることと、前記外接立方体を展開し処理すべきサブ画像を取得し、前記処理すべきサブ画像が少なくとも前記パノラマ画像の中間領域画像を含むことと、を含む。

その中、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像のみを含む際、前記の前記処理すべき画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得することは、前記中間領域画像を前記複数経路の畳み込みニューラルネットワークの入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記複数経路の畳み込みニューラルネットワークの出力を前記中間領域画像の深層特徴図とすること、を含む。

その中、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像を含む際、前記の前記処理すべき画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得することは、前記中間領域画像、上部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの二つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記二つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像の深層特徴図とすること、を含む。

その中、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む際、前述の前記処理すべき画像を複数経路の畳み込みニューラルネットワークの中に入力し前記処理すべきサブ画像の深層特徴図を取得することは、前記中間領域画像、上部領域画像、下部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの三つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記三つの経路の対応する出力をそれぞれ前記中間領域画像、上部領域画像、下部領域画像の深層特徴図とすること、を含む。

その中、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像を含む際、前述の前記深層特徴図に対し回転不変プーリング処理を行うことは、前記中間領域の対応する深層特徴図の行最大値を抽出し、それを前記パノラマ画像の中間領域の対応する新しい特徴図とすることを含み、前記処理すべきサブ画像が前記パノラマ画像の上部領域画像及び/或いは前記パノラマ画像の下部領域画像を含む際、前述の前記深層特徴図に対し回転不変プーリング処理を行うことは、前記上部領域画像及び/或いは前記パノラマ画像の下部領域画像の深層特徴図の最大値を抽出し、それを前記上部領域及び/或いは下部領域の対応する新しい特徴図とすることを含む。

その中、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像を含む際、前述の回転不変プーリング処理後の深層特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とすることは、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することと、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含む。

その中、前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像、下部領域画像を含む際、前述の回転不変プーリング処理後の深層特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とすることは、前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図、前記下部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することと、前記繋ぎ合わせた後の特徴図を全結合モデルの中に入力し前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含む。

本発明実施例の技術案は、多数の分野、例えば移動ロボート、ナビゲーション、現実強化などに応用できる。

本発明が提供するいくつかの実施例において、開示された方法及び装置は、他の方法によって実現できると理解すべきである。例えば、上述した装置実施例は例示的なものであり、例えば、前記ユニットの区画は、1種のロジック機能区画に過ぎず、実際に実現する際に他の区画方法であってもよく、例えば、複数のユニット又はパーツを組み合わせるかもう1つのシステムに統合してもよく、或いは一部の特徴を省略するか実行しなくても良い。もう１点は、提示又は検討された互いの結合又は直接結合又は通信接続は、いくつかのカードによって実現でき、装置又はユニットの間接結合又は通信接続は、電気的、機械的又は他の形であってもよい。

なお、本発明の各実施例における各機能ユニットを1つの処理ユニットに統合してもよく、各ユニットを独立して物理的に含んでもよく、2つ又はそれ以上のユニットを1つのユニットに統合してもよい。上記統合されたユニットは、ハードウェアとして実現してもよく、ハードウェアプラスソフトウェア機能ユニットとして実現してもよい。

上記ソフトウェア機能ユニットとして実現された統合ユニットは、コンピューターの読み取り可能な保存媒体に保存してもよい。上記ソフトウェア機能ユニットは保存媒体に保存され、コンピューター装置（パソコン、サーバー、又はネットワーク装置などであってもよい）に本発明の各実施例に記載の送受信方法の一部のステップを実行させるいくつかの指令を含む。なお、前述した保存媒体は、USB、ポータブルハードディスク、読み取り専用メモリ（Read−Only Memory、略してROM）、ランダムアクセスメモリ（Random
Access Memory、略してRAM）、フロッピーディス又は光ディスクなどのプログラムコードを保存できる様々な媒体を含む。

上記説明は、本発明の好適な実施形態に過ぎず、本発明の前記技術的思想を逸脱することなく若干の改良と修正を加えることができることは当業者にとって明らかであり、これらの改良と修正も本発明の特許請求の範囲に含まれると見なされるべきである。

Claims

パノラマ画像を用いる再位置決め方法であって、
パノラマ画像を取得することと、
前記パノラマ画像をプレ処理して処理すべきサブ画像を取得することと、
前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することと、
前記深層特徴図に対して回転不変プーリング処理を行うことと、
回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含むことを特徴とする方法。
前記パノラマ画像をプレ処理して処理すべきサブ画像を取得することは、
前記パノラマ画像の正距円筒投影を単位球面にマッピングすることと、
前記単位球面の球面中心点から、前記単位球面を外接立方体にマッピングすることと、
前記外接立方体を展開して処理すべきサブ画像を取得することと、を含み、
前記処理すべきサブ画像は、少なくとも前記パノラマ画像の中間領域画像を含むことを特徴とする請求項１に記載の方法。
前記処理すべきサブ画像は、前記パノラマ画像の上部領域画像をさらに含み、或いは、前記処理すべきサブ画像は、前記パノラマ画像の上部領域画像と下部領域画像をさらに含むことを特徴とする請求項２に記載の方法。
前記処理すべきサブ画像が前記パノラマ画像の中間領域画像のみを含む場合、前記処理すべき画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することは、
前記中間領域画像を前記複数経路の畳み込みニューラルネットワークの入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記複数経路の畳み込みニューラルネットワークの出力を前記中間領域画像の深層特徴図とすること、を含むことを特徴とする請求項２に記載の方法。
前記処理すべきサブ画像が前記パノラマ画像の中間領域画像及び上部領域画像を含む場合、前記処理すべき画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することは、
前記中間領域画像及び前記上部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの二つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記二つの経路に対応する出力をそれぞれ前記中間領域画像及び前記上部領域画像の深層特徴図とすること、を含むことを特徴とする請求項３に記載の方法。
前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像及び下部領域画像を含む場合、前記処理すべき画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得することは、
前記中間領域画像、前記上部領域画像及び前記下部領域画像をそれぞれ前記複数経路の畳み込みニューラルネットワークの三つの経路の入力とし、前記複数経路の畳み込みニューラルネットワークの畳み込み層加重値をロードし、前記三つの経路に対応する出力をそれぞれ前記中間領域画像、前記上部領域画像及び前記下部領域画像の深層特徴図とすること、を含むことを特徴とする請求項３に記載の方法。
前記処理すべきサブ画像が前記パノラマ画像の中間領域画像を含む場合、前記深層特徴図に対して回転不変プーリング処理を行うことは、前記中間領域画像に対応する深層特徴図の行最大値を、前記パノラマ画像の中間領域画像に対応する新しい特徴図として抽出することを含み、
前記処理すべきサブ画像が前記パノラマ画像の上部領域画像及び／又は前記パノラマ画像の下部領域画像を含む場合、前記深層特徴図に対して回転不変プーリング処理を行うことは、前記上部領域画像及び／又は前記下部領域画像の深層特徴図の最大値を、前記上部領域画像及び／又は前記下部領域画像に対応する新しい特徴図として抽出することを含むことを特徴とする請求項３に記載の方法。
前記処理すべきサブ画像が前記パノラマ画像の中間領域画像及び上部領域画像を含む場合、前記回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることは、
前記中間領域画像の新しい特徴図及び前記上部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することと、
前記繋ぎ合わせた後の特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含むことを特徴とする請求項５に記載の方法。
前記処理すべきサブ画像が前記パノラマ画像の中間領域画像、上部領域画像及び下部領域画像を含む場合、前記回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることは、
前記中間領域画像の新しい特徴図、前記上部領域画像の新しい特徴図及び前記下部領域画像の新しい特徴図を繋ぎ合わせ、繋ぎ合わせた後の特徴図を取得することと、
前記繋ぎ合わせた後の特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とすることと、を含むことを特徴とする請求項６に記載の方法。
パノラマ画像を用いる再位置決め装置であって、
パノラマ画像を取得する画像取得モジュールと、
前記パノラマ画像をプレ処理して処理すべきサブ画像を取得する画像プレ処理モジュールと、
前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得する第一画像処理モジュールと、
前記深層特徴図に対して回転不変プーリング処理を行う第二画像処理モジュールと、
回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とする再位置決めモジュールと、を含むことを特徴とする装置。
プロセッサーと、
コンピュータプログラムコマンドが格納されるメモリと、を含み、
前記コンピュータプログラムコマンドが前記プロセッサーにより実行された時に、前記プロセッサーに、
パノラマ画像を取得するステップと、
前記パノラマ画像をプレ処理して処理すべきサブ画像を取得するステップと、
前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得するステップと、
前記深層特徴図に対して回転不変プーリング処理を行うステップと、
回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とするステップと、を実行させることを特徴とする電子機器。
コンピューターで読み取り可能な記録媒体にコンピュータプログラムが格納され、前記コンピュータプログラムがプロセッサーにより実行された時に、前記プロセッサーに、
パノラマ画像を取得するステップと、
前記パノラマ画像をプレ処理して処理すべきサブ画像を取得するステップと、
前記処理すべきサブ画像を複数経路の畳み込みニューラルネットワークに入力し、前記処理すべきサブ画像の深層特徴図を取得するステップと、
前記深層特徴図に対して回転不変プーリング処理を行うステップと、
回転不変プーリング処理後の深層特徴図を全結合モデルに入力し、前記全結合モデルの出力を再位置決め後の位置情報とするステップと、を実行させることを特徴とするコンピューター読み取り可能な記録媒体。