JP2021108155A

JP2021108155A - 画像内のキーポイント位置の認識方法、装置、電子機器及び媒体

Info

Publication number: JP2021108155A
Application number: JP2021051372A
Authority: JP
Inventors: シュエ，シュエトン; Xuetong Xue; レン，フイ; Hui Ren; ヤン，ミン; Min Yang
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-05-29
Filing date: 2021-03-25
Publication date: 2021-07-29
Anticipated expiration: 2041-03-25
Also published as: EP3822858A2; EP3822858A3; CN111709428B; CN111709428A; US11636666B2; JP7054746B2; KR102508860B1; US20210279500A1; KR20210065901A

Abstract

【課題】画像における局所エリアのセンター位置を画像のキーポイントとするという定着の欠陥を回避し、修正されたキーポイント位置が局所エリアのセンター位置よりも代表的であることを確保することができ、キーポイントの選択の精度を向上させる画像内のキーポイント位置の認識方法及び装置並びに電子機器及び媒体を提供する。【解決手段】方法は、検出対象画像を取得し、且つ、検出対象画像の特徴マップ及び顕著性マップを取得し、検出対象画像の特徴マップに基づいて検出対象画像のスコア応答マップを生成し、スコア応答マップに基づいて、スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得し、第１のキーポイント位置に基づいて、検出対象画像にマッピングされたキーポイントの第２のキーポイント位置を取得し、顕著性マップに基づいて第２のキーポイント位置を修正する。【選択図】図１

Description

本出願の実施例は、一般的に、画像処理技術の分野に関し、より具体的には、コンピュータビジョン技術の分野に関する。

画像処理の分野では、画像のキーポイント又は特徴点は一般的には、画像内の代表的な又は特徴的なピクセルを指し、同じシーン又はターゲットを含む他の同様の画像において同じ又は同様の不変形式で、画像の意味又は画像内のターゲットの特性を表すことができる。画像の特徴記述子としてキーポイントの画像情報を用いると、一般的には、画像に代わって画像の分析と認識を行うことができる。したがって、画像内のキーポイントを正確に見つけることは、画像処理にとって非常に重要であり、画像内のキーポイントを正確に見つける方法は、コンピュータビジョンの分野における研究の焦点の１つになっている。

本出願は画像内のキーポイント位置の認識方法、装置、電子機器及び媒体を提供する。

第１の態様により提供される画像内のキーポイント位置の認識方法は、検出対象画像を取得し、且つ前記検出対象画像の特徴マップ及び顕著性マップを取得するステップと、前記検出対象画像の特徴マップに基づいて前記検出対象画像のスコア応答マップを生成するステップと、前記スコア応答マップに基づいて、前記スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得するステップと、前記第１のキーポイント位置に基づいて、前記検出対象画像にマッピングされた前記キーポイントの第２のキーポイント位置を取得するステップと、前記顕著性マップに基づいて前記第２のキーポイント位置を修正するステップと、を含む。

第２の態様により提供される画像内のキーポイント位置の認識装置は、検出対象画像を取得し、且つ前記検出対象画像の特徴マップ及び顕著性マップを取得するための画像取得モジュールと、前記検出対象画像の特徴マップに基づいて前記検出対象画像のスコア応答マップを生成するための生成モジュールと、前記スコア応答マップに基づいて、前記スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得するための第１のキーポイント取得モジュールと、前記第１のキーポイント位置に基づいて、前記検出対象画像にマッピングされた前記キーポイントの第２のキーポイント位置を取得するための第２のキーポイント取得モジュールと、前記顕著性マップに基づいて前記第２のキーポイント位置を修正するための修正モジュールと、を含む。

第３の態様により提供される電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、ここで、前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが第１の態様に記載の画像内のキーポイント位置の認識方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ命令は前記コンピュータに第１の態様に記載の画像内のキーポイント位置の認識方法を実行させることに用いられる。

第５の態様によれば、コンピュータプログラムをさらに提供し、前記コンピュータプログラムは前記コンピュータに第１の態様に記載の画像内のキーポイント位置の認識方法を実行させることに用いられる。

本出願により提供される画像内のキーポイント位置の認識方法、装置、電子機器及び媒体は、次の有益な効果を有する。
検出対象画像を取得し、且つ検出対象画像の特徴マップ及び顕著性マップを取得し、検出対象画像の特徴マップに基づいて検出対象画像のスコア応答マップを生成し、スコア応答マップに基づいて、スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得し、第１のキーポイント位置に基づいて、検出対象画像にマッピングされたキーポイントの第２のキーポイント位置を取得し、さらに顕著性マップに基づいて第２のキーポイント位置を修正する。このように、検出対象画像に対応する顕著性マップを取得し、顕著性マップを用い、特徴マップに基づいて決定されたキーポイント位置を修正することにより、画像における局所エリアのセンター位置を画像のキーポイントとするという定着の欠陥を回避し、修正されたキーポイント位置が局所エリアのセンター位置よりも代表的であることを確保することができ、キーポイントの選択の精度を向上させる。

なお、この部分に記載されている内容は、本開示の実施例の肝心な又は重要な特徴を特定することを意図しておらず、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明を通じて容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本出願を限定するものではない。
本発明の実施例１に係る画像内のキーポイント位置の認識方法の概略フローチャートである。検出対象画像の例示的な図である。図２（ａ）に示す検出対象画像に対応する顕著性マップの例示的な図である。本出願の具体的な実施例に係る画像内のキーポイントの抽出プロセスの例示的な図である。本発明の実施例２に係る画像内のキーポイント位置の認識方法の概略フローチャートである。本発明の実施例３に係る画像内のキーポイント位置の認識方法の概略フローチャートである。本発明の実施例４に係る画像内のキーポイント位置の認識方法の概略フローチャートである。本発明の実施例５に係る画像内のキーポイント位置の認識方法の概略フローチャートである。本発明の実施例６に係る画像内のキーポイント位置の認識装置の概略構造図である。本発明の実施例７に係る画像内のキーポイント位置の認識装置の概略構造図である。本発明の実施例８に係る画像内のキーポイント位置の認識装置の概略構造図である。本発明の実施例９に係る画像内のキーポイント位置の認識装置の概略構造図である。本発明の実施例１０に係る画像内のキーポイント位置の認識装置の概略構造図である。本出願の実施例に係る画像内のキーポイント位置の認識方法を実現するための電子機器のブロック図である。

以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすく且つ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

以下、図面を参照しながら本出願の画像内のキーポイント位置の認識方法、装置、電子機器及び媒体について説明する。

画像処理では、キーポイントの画像情報は通常、分析と認識のために画像を表すための画像特徴記述子として用いられる。

現在使用されている畳み込みニューラルネットワークに基づくキーポイント抽出方法は、キーポイント抽出を行う時に、まず入力画像に対して解像度が低下した特徴マップを抽出して表示し、また特徴マップ上で一連のポイントを選択して元の入力画像に投影し、これらのポイントは、それぞれ元の入力画像の一連の局所エリアに対応し、元の入力画像の局所エリアのセンターポイントを最終的なキーポイントとする。

しかし、キーポイントは、固定的な位置ではなくて画像の最も代表的な位置を表し、且つ一般的に、画像のコーナー位置がキーポイントとして適切であり、局所エリアのセンター位置は必ずしもコーナー位置とは限らない。そのため、関連技術において、局所エリアのセンターポイントをキーポイントとして決定する方法が合理的ではなく、局所エリアのベストポイントを選択することが困難であるため、選択されたキーポイントの精度は高くない。

上記問題について、本出願は画像内のキーポイント位置の認識方法を開示し、検出対象画像に対応する顕著性マップを取得し、顕著性マップを用い、特徴マップに基づいて決定されたキーポイント位置を修正することにより、画像における局所エリアのセンター位置を画像のキーポイントとするという定着の欠陥を回避し、修正されたキーポイント位置が局所エリアのセンター位置よりも代表的であることを確保することができ、キーポイントの選択の精度を向上させる。

図１は本発明の実施例１に係る画像内のキーポイント位置の認識方法の概略フローチャートであり、当該方法は、本出願により提供される画像内のキーポイント位置の認識装置によって実行されてもよく、本出願により提供される電子機器によって実行されてもよく、ここで、電子機器は、サーバであってもよく、又はデスクトップコンピュータやノートブックコンピュータなどの端末機器であってもよい。以下、本出願により提供される画像内のキーポイント位置の認識装置が本出願により提供される画像内のキーポイント位置の認識方法を実行することを例として本出願を説明する。

図１に示すように、当該画像内のキーポイント位置の認識方法はステップＳ１０１〜Ｓ１０５を含む。

Ｓ１０１、検出対象画像を取得し、且つ前記検出対象画像の特徴マップ及び顕著性マップを取得する。

ここで、検出対象画像は、キーポイント認識を必要とする任意の画像であってもよく、検出対象画像は、少なくとも１つのターゲットを含むことができ、例えば、検出対象画像は、車両、建物、動植物などの任意のオブジェクトを含むことができ、本出願により提供される画像内のキーポイント位置の認識方法は、検出対象画像に含まれるオブジェクトを表すことができるキーポイントを認識することができる。

本実施例では、公開された画像データセットから画像を取得して検出対象画像としてもよく、ここで、公開された画像データセットは例えばＩｍａｇｅｎｔデータセット、ＰＡＳＣＡＬＶＯＣデータセット、Ｌａｂｅｌｍｅデータセット等であり、又は、ローカルフォトアルバムから画像を取得して検出対象画像としてもよく、又は、１枚の画像を撮像して検出対象画像としてもよく、本出願は検出対象画像を取得する方式について限定しない。

続いて、検出対象画像を取得した後、検出対象画像に対応する特徴マップを取得することができる。

一例として、予めトレーニングされたニューラルネットワークモデルを用いて検出対象画像に特徴抽出操作を行い、検出対象画像に対応する特徴マップを取得してもよい。ここで、ニューラルネットワークモデルはＶＧＧＮｅｔ（ビジュアルジオメトリグループネットワーク、ＶｉｓｕａｌＧｅｏｍｅｔｒｙＧｒｏｕｐＮｅｔｗｏｒｋ）、ＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ（深い残余ネットワーク、ＲｅｓｉｄｕａｌＮｅｔｗｏｒｋ）ネットワーク、又はその他の形式の画像特徴抽出に用いることができるニューラルネットワークモデルであってもよい。

上記ニューラルネットワークモデルをトレーニングするとき、まずＩｍａｇｅＮｅｔなどの大規模データセットを用いて、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、ＡｌｅｘＮｅｔなどの畳み込みニューラルネットワークモデルを予めトレーニングしてもよく、トレーニング中に、クロスエントロピー損失関数を用いて、画像をうまく分類できる分類モデルをトレーニングすることによって取得してもよい。その後、モーションの再構築（ＳｔｒｕｃｔｕｒｅＦｒｏｍＭｏｔｉｏｎ、ＳＦＭ）を用いて、Ｍｅｇａｄｅｐｔｈデータセットにおいてキーポイントを自動的にマーキングし、予めトレーニングされた分類モデルを微調整する。ここで、予めトレーニングされた分類モデルを微調整する場合、予めトレーニングされた分類モデルをロードした後、Ｍｅｇａｄｅｐｔｈデータセットにおいてマーク付きのキーポイントを持つ新しいデータを用いて新しいトレーニングを行い、分類モデルを微調整するプロセスでは、トリプレットマージンランキング損失関数（ＴｒｉｐｌｅｔＭａｒｇｉｎＲａｎｋｉｎｇＬｏｓｓ）が用いられ、当該損失関数は、メトリック学習で一般的に使用される損失関数であり、トリプレットは、ネットワークに入力された画像が３つの画像で構成され、１つのトリプレットを構成することを意味し、３つの画像は、参照画像（ａｎｃｈｏｒ）、ポジティブサンプル（ｐｏｓｉｔｉｖｅ）、ネガティブサンプル（ｎｅｇａｔｉｖｅ）に分けられ、ここで、参照画像とポジティブサンプルはシンプルなトリプレットを構成し、参照画像とネガティブサンプルは難しいサンプルを構成し、ネットワークの最適化を通じて、シンプルなトリプルの距離が近づき、難しいトリプルの距離が遠くなる。つまり、トリプレットマージンランキング損失関数を用いて予めトレーニングされた分類モデルを微調整し、当該損失関数は、入力されたペア画像と対応するキーポイントマークの関係にしたがって、ネットワークを調整して、正しいポイントまでの距離を最小化し、間違ったポイントまでの距離を最大化する。微調整された分類モデルを用いて、検出対象画像の特徴抽出を行い、検出対象画像の特徴マップを得ることができる。

例えば、検出対象画像を予めトレーニングされたニューラルネットワークモデルに入力して特徴抽出を行い、ニューラルネットワークモデル内の特定のプーリング層の出力特徴マップを検出対象画像の特徴マップとすることができる。

ピクセルレベルのマーキングが非常に細かいため、手動マーキングが異なると、対応関係に不整合が生じ、エラーが発生する可能性があり、且つ画像データセットの拡大に伴い、マーキング対象画像の割合が多くなり、手動マーキングの時間コストも増えていく。本出願の実施例では、ニューラルネットワークモデルをトレーニングするとき、ＳＦＭを介してデータセット上にキーポイントを自動的にマーキングし、手動介入を減らし、マーキングの人的資源及び時間コストを節約し、またキーポイントマーキングの精度を向上させることができる。

さらに、検出対象画像の特徴マップに基づいて検出対象画像の顕著性マップを取得することができる。

深層学習では、バックプロパゲーションアルゴリズムによる勾配逆伝播の実行が一般的であるため、本実施例では、検出対象画像の顕著性マップを取得する際に、検出対象画像の特徴マップを入力とすることができ、標準のバックプロパゲーションアルゴリズムに従って検出対象画像に対する特徴マップの勾配を計算し、検出対象画像と同じ解像度の勾配画像を取得し、勾配画像には、検出対象画像の各ポイントの勾配値が含まれ、当該勾配画像を検出対象画像の顕著性マップとする。

又は、勾配画像におけるポイントをスクリーニングし、勾配画像において条件を満たすポイントを用いて顕著性マップを構成してもよい。具体的には、バックプロパゲーションアルゴリズムに従って勾配画像を得た後、自己適応閾値を用いて勾配画像の勾配値をスクリーニングし、勾配値が自己適応閾値に達するポイントを用いて顕著性マップを構成する。ここで、自己適応閾値は画像エントロピー分割法を用いて算出することができる。自己適応閾値を計算する際に、勾配画像に対して、２５６個のグレースケールを分割閾値とし、各分割閾値における確率密度関数をそれぞれ計算し、各確率密度関数に基づいて、各分割閾値の下で前景ピクセルと背景ピクセルの累積エントロピーを計算してから、最大エントロピーを見つけ、最大エントロピーに対応する分割閾値を最終閾値、つまり自己適応閾値とする。勾配画像の各勾配値を決定された自己適応閾値と比較し、自己適応閾値より小さい勾配値を除外し、自己適応閾値の勾配値を保持し、保持された勾配値に対応するポイントを用いて検出対象画像の顕著性マップを構成する。

なお、画像エントロピー分割法を用いて自己適応閾値を計算することは、現在、比較的成熟した技術であるため、本実施例では計算プロセスだけについて簡単に説明し、詳しい説明を省略する。

図２（ａ）は検出対象画像の例示的な図であり、図２（ｂ）は図２（ａ）に示す検出対象画像に対応する顕著性マップの例示的な図である。図２（ａ）及び図２（ｂ）と併せて分かるように、図２（ｂ）の顕著性マップの輝度が高いポイントは、図２（ａ）のターゲットエッジ位置と詳細位置に対応し、つまり、顕著性マップの高い勾配値は、検出対象画像のターゲットエッジ、詳細及びその他の代表的な位置に対応する。

顕著性マップの内容は、検出対象画像のすべてのターゲットエッジの勾配変化であるため、高い勾配値は、検出対象画像のターゲットエッジ、詳細及びその他の代表的な場所に対応するため、勾配画像の自己適応閾値よりも小さい勾配値を除去することにより、得られた顕著性マップのポイントは、検出対象画像のターゲットのエッジ位置と詳細位置のみを反映し、顕著性マップに基づいてキーポイント位置を後で修正することに役立ち、且つ後続のデータ処理量を削減することができる。

ステップ１０２、検出対象画像の特徴マップに基づいて検出対象画像のスコア応答マップを生成する。

本実施例では、検出対象画像の各特徴点に対して、当該特徴点の近くの他の異なる特徴点と他のチャネルの同じ位置における特徴点と組み合わせて、当該特徴点の応答スコアを算出することができ、特徴マップにおける各特徴点の応答スコアを算出した後、検出対象画像のスコア応答マップを得る。

ここで、スコア応答マップでは、各応答スコアは、特徴マップの特徴点のピクセル強度（数値強度）を意味し、高い数値は高い応答に対応し、高い応答は特徴マップ又は検出対象画像のターゲット位置を反映する。

１つの可能な実現形態として、特徴点の応答スコアを計算するとき、特徴点とその周囲におけるいくつかの他の特徴点のピクセル値に基づいて最大ピクセル値を決定することができ、且つ各チャネルにおける当該特徴点の値を取得し、最大値を選択してから、チャネルにおける最大値とその周囲における最大ピクセル値に基づいて当該特徴点の応答スコアを算出する。

ステップ１０３、スコア応答マップに基づいて、スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得する。

スコア応答マップにおいて、応答スコアが大きいほど特徴マップのターゲット位置を反応することができ、したがって、本実施例では、スコア応答マップの各応答スコアと予め設定された閾値とを比較し、スコア応答マップの応答スコアが閾値より大きい特徴点の位置を第１のキーポイント位置として決定する。

ステップ１０４、第１のキーポイント位置に基づいて、検出対象画像にマッピングされたキーポイントの第２のキーポイント位置を取得する。

本実施例では、キーポイントを検出対象画像にマッピングするとき、特徴マップと検出対象画像との間の解像度関係に従ってマッピングし、検出対象画像におけるキーポイントの第２のキーポイント位置を決定することができる。

一例として、特徴マップの解像度を検出対象画像の解像度と比較してもよく、２つの解像度が同じである場合、検出対象画像で第１のキーポイントと同じ位置を見つけることができ、当該位置は、即ち検出対象画像にマッピングされたキーポイントの第２のキーポイント位置である。

一例として、特徴マップの解像度が検出対象画像の解像度と異なる場合、両者の比率関係にしたがって、第１のキーポイント位置に基づいて、検出対象画像におけるキーポイントの第２のキーポイント位置を決定することができる。

ステップ１０５、顕著性マップに基づいて第２のキーポイント位置を修正する。

本実施例では、検出対象画像におけるキーポイントの第２のキーポイント位置を決定した後、取得された検出対象画像の顕著性マップを用い、第２のキーポイント位置を修正することができる。

一例として、キーポイント位置を修正する場合、検出対象画像上で決定された第２のキーポイント位置に対して、顕著性マップの同じエリアの顕著性値の高低に応じて第２のキーポイント位置を調整することができ、第２のキーポイント位置を当該エリアで顕著性値の最も高い位置まで調整する。

顕著性マップの高い顕著性値は、検出対象画像におけるターゲットのエッジ、及び詳細などの代表的な位置に対応するため、顕著性マップは、修正された位置をより代表的にするために、検出対象画像における第２のキーポイント位置を修正する。

本実施例に係る画像内のキーポイント位置の認識方法は、検出対象画像を取得し、且つ検出対象画像の特徴マップ及び顕著性マップを取得し、検出対象画像の特徴マップに基づいて検出対象画像のスコア応答マップを生成し、スコア応答マップに基づいて、スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得し、第１のキーポイント位置に基づいて、検出対象画像にマッピングされたキーポイントの第２のキーポイント位置を取得し、さらに顕著性マップに基づいて第２のキーポイント位置を修正する。このように、検出対象画像に対応する顕著性マップを取得し、顕著性マップを用い、特徴マップに基づいて決定されたキーポイント位置を修正することにより、画像における局所エリアのセンター位置を画像のキーポイントとするという定着の欠陥を回避し、修正されたキーポイント位置が局所エリアのセンター位置よりも代表的であることを確保することができ、キーポイントの選択の精度を向上させる。

図３は本出願の具体的な実施例に係る画像内のキーポイントの抽出プロセスの例示的な図である。図３に示すように、１つの検出対象画像に対して、まずステップＳ１を実行し、畳み込みニューラルネットワークを用いて検出対象画像に特徴抽出を行い、画像特徴マップを得、続いてステップＳ２を実行し、特徴マップに基づいて検出対象画像のスコア応答マップを決定し、またステップＳ３を実行し、特徴マップに基づいて検出対象画像の顕著性マップを決定する。次に、ステップＳ４を実行し、スコア応答マップにおける高応答位置を特徴マップのキーポイントとして選択し、その後、ステップＳ５を実行し、キーポイントの座標を検出対象画像に線形にマッピングし、さらにステップＳ６を実行し、顕著性マップを用いて検出対象画像上にマッピングされたキーポイントの位置を修正して新しいキーポイントを得、新しいキーポイントは即ち最終的に認識されたキーポイントである。

前述した実施例における検出対象画像の特徴マップに基づいて検出対象画像のスコア応答マップを生成する具体的な実現プロセスをより明確に説明するために、以下は図４と組み合わせて詳細に説明する。

図４は本発明の実施例２に係る画像内のキーポイント位置の認識方法の概略フローチャートである。図４に示すように、図１に示す実施例に基づいて、ステップ１０２はステップ２０１〜２０４を含む。

ステップ２０１、特徴マップ内の各特徴点の局所応答スコアを取得する。

本実施例では、特徴マップ内の各特徴点に対して、各特徴点の局所応答スコアを取得することができる。

本出願の実施例の１つの可能な実現形態では、各特徴点の局所応答スコアを取得するとき、第ｉの特徴点（ｉは正の整数であり、ｉの値は１からｎまでの値であり、ｎは特徴マップに含まれる特徴点の総数である）に対して、第ｉの特徴点の複数の隣接する特徴点を取得することができ、例えば、第ｉの特徴点の周囲における８つの隣接する特徴点を取得し、且つ第ｉの特徴点の特徴値及び複数の隣接する特徴点の特徴値を取得し、ここで、特徴値はピクセル強度で表すことができ、次に、第ｉの特徴点の特徴値と複数の隣接する特徴点の特徴値に基づいて第ｉの特徴点の局所応答スコアを生成する。

例えば、第ｉの特徴点の特徴値及び複数の隣接する特徴点の特徴値の大きさを比較し、第ｉの特徴点の局所応答スコアとして最も大きい特徴値を選択する。

最後に、特徴マップ内の特徴点を順次にトラバースして各特徴点の局所応答スコアを取得する。

第ｉの特徴点の複数の隣接する特徴点を取得し、且つ第ｉの特徴点の特徴値及び複数の隣接する特徴点の特徴値を取得し、次に、第ｉの特徴点の特徴値と複数の隣接する特徴点の特徴値に基づいて第ｉの特徴点の局所応答スコアを生成することにより、各特徴点の局所応答スコアを決定する際には、当該特徴点を考慮するだけでなく、その周囲における他の特徴点も考慮し、局所応答スコアの計算精度を向上させ、さらに、取得されたスコア応答マップの精度を向上させるのに役立つ。

ステップ２０２、特徴マップ内の各特徴点のチャネル応答スコアを取得する。

本実施例では、特徴マップ内の各特徴点に対して、特徴点の局所応答スコアを取得する上で、特徴点のチャネル応答スコアを取得する。

本出願の実施例の１つの可能な実現形態では、各特徴点のチャネル応答スコアを取得するとき、第ｉの特徴点に対して、複数のチャネルにおける第ｉの特徴点の複数の特徴値を取得し、さらに複数のチャネルにおける第ｉの特徴点の複数の特徴値に基づいて第ｉの特徴点のチャネル応答スコアを生成する。

特徴マップのサイズをｗ＊ｈ＊ｃと仮定すると、ここで、ｗ、ｈはそれぞれ長さと幅であり、ｃはチャネル数であり、したがって、特徴マップの各特徴点に対して、ｃチャネルにおいて当該特徴点にそれぞれ対応する特徴値を取得し、且つｃ個の特徴値の大きさを比較し、それから最大の特徴値を選択し、最大の特徴値を当該特徴点のチャネル応答スコアとして決定する。

最後に、前記特徴マップ内の特徴点を順次にトラバースして前記各特徴点のチャネル応答スコアを取得する。

複数のチャネルにおける第ｉの特徴点の複数の特徴値を取得することにより、複数のチャネルにおける第ｉの特徴点の複数の特徴値に基づいて第ｉの特徴点のチャネル応答スコアを生成し、このように、特徴点のチャネル応答スコアを決定する際に、異なるチャネルにおける特徴点の特徴値が考慮され、これは、取得されたスコア応答マップの精度を向上させるのに役立つ。

なお、ステップ２０１とステップ２０２の実行順序は特定されず、両者を同時に実行してもよく、順次実行してもよく、本出願の実施例では、ステップ２０１を実行してからステップ２０２を実行することのみを例として本出願を説明し、本出願を限定するものではない。

ステップ２０３、各特徴点の局所応答スコアとチャネル応答スコアに基づいて、各特徴点の応答スコアを計算する。

本実施例では、特徴マップの各特徴点の局所応答スコア及びチャネル応答スコアを取得した後、各特徴点の局所応答スコアとチャネル応答スコアに基づいて、各特徴点の応答スコアを算出する。

一例として、各特徴点の応答スコアを計算するとき、各特徴点の局所応答スコアにチャネル応答スコアを掛けて、各特徴点の応答スコアを生成することができる。このように、局所応答スコアとチャネル応答スコアを用いて特徴点の応答スコアを取得し、算出された応答スコアは、特徴点周囲における他の特徴点を考慮するだけでなく、特徴点が位置しているチャネルも考慮し、取得されたスコア応答マップの精度を向上させるのに役立つ。

他の一例として、各特徴点の応答スコアを計算するとき、局所応答スコアとチャネル応答スコアが特徴点のスコア応答に与える影響の程度に応じて、局所応答スコアとチャネル応答スコアに対応する重みを予め割り当て、さらに、局所応答スコアとチャネル応答スコアに対して加重和計算を行い、特徴点の応答スコアを得る。

ステップ２０４、各特徴点の応答スコアに基づいて、検出対象画像のスコア応答マップを生成する。

本実施例では、特徴マップにおける各特徴点の応答スコアを取得した後、各特徴点の応答スコアに基づいて、検出対象画像のスコア応答マップを生成することができる。

本実施例に係る画像内のキーポイント位置の認識方法は、特徴マップ内の各特徴点の局所応答スコアを取得し、且つ特徴マップ内の各特徴点のチャネル応答スコアを取得し、各特徴点の局所応答スコアとチャネル応答スコアに基づいて、各特徴点の応答スコアを計算し、さらに各特徴点の応答スコアに基づいて、検出対象画像のスコア応答マップを生成することにより、得られたスコア応答マップにおける各特徴点の応答スコアは、特徴点の周囲における他の特徴点を考慮するだけでなく、特徴点が位置しているチャネルも考慮し、取得されたスコア応答マップの精度を向上させるのに役立つ。

本出願の実施例の１つの可能な実現形態では、前述の実施例のスコア応答マップにおけるキーポイントの第１のキーポイント位置を取得する具体的な実現プロセスをより明確に説明するために、以下、図５と組み合わせて詳細に説明する。

図５は本発明の実施例３に係る画像内のキーポイント位置の認識方法の概略フローチャートである。図５に示すように、図１に示す実施例に基づいて、ステップ１０３はステップ３０１及び３０２を含むことができる。

ステップ３０１、スコア応答マップにおける各特徴点の応答スコアを取得する。

検出対象画像のスコア応答マップが、特徴マップにおける各特徴点の応答スコアを計算することによって生成されるため、スコア応答マップにおける各特徴点は、特徴マップの同じ位置における特徴点に対応し、したがって、本実施例では、検出対象画像のスコア応答マップから各特徴点の応答スコアを取得することができる。

ステップ３０２、特徴点の応答スコアが予め設定された閾値より大きい場合、特徴点をキーポイントとし、キーポイントに対応する第１のキーポイント位置を取得する。

ここで、予め設定された閾値は手動で予め設定されてもよく、又は、自己適応計算によって得られてもよく、例えば、一般的に使用されている閾値分割方法によって１つの閾値を算出することができる。

本実施例では、スコア応答マップにおける各特徴点の応答スコアを取得した後、各応答スコアを予め設定された閾値と比較してもよく、ある特徴点の応答スコアが予め設定された閾値より大きい場合、当該特徴点をキーポイントとして決定し、当該特徴点の位置を第１のキーポイント位置として決定する。上記方式により、スコア応答マップにおけるすべての特徴点に対応する第１のキーポイント位置を決定することができる。

ここで、第１のキーポイントの位置は、スコア応答マップの対応するキーポイントの位置座標で表すことができ、例えば、（Ｐ_ｉ，Ｐ_ｊ）として表記してもよく、ここで、Ｐ_ｉは、キーポイントがスコア応答マップ上に位置しているピクセルの行の数を表し、Ｐ_ｊは、キーポイントがスコア応答マップに位置しているピクセルの列の数を表す。

本実施例に係る画像内のキーポイント位置の認識方法は、スコア応答マップにおける各特徴点の応答スコアを取得し、特徴点の応答スコアが予め設定された閾値より大きい場合、特徴点をキーポイントとし、且つキーポイントに対応する第１のキーポイント位置を取得し、このように、スコア応答マップにおけるキーポイントの選択を実現し、検出対象画像のキーポイント位置を後で決定するための基礎を築く。

画像の特徴マップは元の画像からの特徴抽出によって取得されるため、特徴マップの解像度は一般的には、元の画像の解像度よりも大きくはない。本出願の実施例の１つの可能な実現形態では、特徴マップの解像度は、検出対象画像の解像度よりも小さい。このように、特徴マップの特徴点の数を減らすことができ、特徴マップの１つの特徴点は、検出対象画像の１つのエリア範囲を表すことができ、それにより、後で計算するデータ量を減らすことができる。

さらに、本出願の実施例の１つの可能な実現形態では、キーポイントが検出対象画像における第２のキーポイント位置にマッピングされたことを決定した場合、特徴マップと検出対象画像の解像度の高低に基づいてマッピングすることができ、以下では図６を参照して詳細に説明する。

図６は本発明の実施例４に係る画像内のキーポイント位置の認識方法の概略フローチャートである。図６に示すように、図１に示す実施例に基づいて、ステップ１０４はステップ４０１及びステップ４０２を含むことができる。

ステップ４０１、特徴マップの解像度と検出対象画像の解像度との比率を取得する。

１枚の画像については、その解像度とは、画像に記憶されている情報の量を意味し、１インチあたりの画像に含まれるピクセルの数である。一般的には、解像度は各方向のピクセル数として表され、例えば、６４０＊４８０である。既知の画像に対して、その解像度も既知ものである。したがって、本実施例では、特徴マップの解像度と検出対象画像の解像度を別々に取得することができ、特徴マップの解像度と検出対象画像の解像度との間の解像度比を計算することができる。

例として、特徴マップの解像度が１６０＊１２０であり、検出対象画像の解像度が１２８０＊９６０であると仮定すると、特徴マップの解像度と検出対象画像の解像度との間の解像度比は１／８である。

ステップ４０２、第１のキーポイント位置、及び解像度の比率に基づいて第２のキーポイント位置を生成する。

一般的には、特徴マップのサイズは、元の画像の１／８など、元の画像サイズの固定縮尺値であり、スコア応答マップの特徴点は、特徴マップの特徴点に１対１対応し、スコア応答マップにおけるキーポイントの第１のキーポイント位置は、つまり、特徴マップにおけるキーポイントのキーポイント位置であり、したがって、本実施例では、第１のキーポイント位置、及び解像度の比率に基づいて第２のキーポイント位置を生成することができ、第２のキーポイント位置を決定するとき、第１のキーポイント位置と、解像度の比率との積を計算し、得られた結果を、検出対象画像にマッピングされたキーポイントの第２のキーポイント位置とする。

例を挙げて言うと、特徴マップの解像度と検出対象画像の解像度との比率が１／８であり、キーポイントの第１のキーポイント位置が（Ｐ_ｉ，Ｐ_ｊ）であると仮定すると、検出対象画像にマッピングされた同じキーポイントの第２のキーポイント位置は（８＊Ｐ_ｉ，８＊Ｐ_ｊ）である。

本実施例に係る画像内のキーポイント位置の認識方法は、特徴マップの解像度と検出対象画像の解像度との比率を取得し、第１のキーポイント位置、及び解像度の比率に基づいて第２のキーポイント位置を生成することにより、特徴マップにおけるキーポイントから元の画像へのマッピングを実現し、キーポイントの初期認識を実現し、初期認識されたキーポイント位置を後で修正するための条件を提供する。

本出願の実施例の１つの可能な実現形態では、前述の実施例の顕著性マップに基づいて第２のキーポイント位置を修正する具体的な実現プロセスをより明確に説明するために、以下、図７と組み合わせて詳細に説明する。

図７は本発明の実施例５に係る画像内のキーポイント位置の認識方法の概略フローチャートである。図７に示すように、図１に示す実施例に基づいて、ステップ１０５はステップ５０１〜５０４を含む。

ステップ５０１、第２のキーポイント位置が位置しているエリアを取得する。

例えば、第２のキーポイント位置の周囲の予め設定された距離内の範囲を１つのエリアとして分割することができ、当該エリアを第２のキーポイント位置が位置しているエリアとして取得する。

さらに例を挙げると、第２のキーポイント位置から最も近い周囲の予め設定された数のポイントで囲まれたエリアを、第２のキーポイント位置が位置しているエリアとして取得することができる。

ステップ５０２、第２のキーポイント位置が位置しているエリアにおける各特徴点の顕著性値を取得する。

ステップ５０３、エリアにおいて最大の顕著性値を持つ特徴点の位置を取得し、且つエリアにおいて最大の顕著性値を持つ特徴点の位置を修正位置とする。

ステップ５０４、第２のキーポイント位置を修正位置に修正する。

本実施例では、検出対象画像に対応する顕著性マップから、第２のキーポイント位置が位置しているエリア内の各特徴点の顕著性値を取得でき、且つ同じエリア内の各特徴点の顕著性値を比較し、同じエリアにおいて最大の顕著性値を持つ特徴点の位置を取得し、第２のキーポイント位置が位置しているエリアにおいて最大の顕著性値を持つ特徴点の位置を、キーポイントの修正位置として決定する。さらに、第２のキーポイント位置を決定された当該修正位置に修正することにより、検出対象画像におけるキーポイント位置の修正を実現し、キーポイント認識の精度を向上させる。

本実施例に係る画像内のキーポイント位置の認識方法は、第２のキーポイント位置が位置しているエリアを取得し、第２のキーポイント位置が位置しているエリアにおける各特徴点の顕著性値を取得し、エリアにおいて最大の顕著性値を持つ特徴点の位置を取得し、且つエリアにおいて最大の顕著性値を持つ特徴点の位置を修正位置とし、さらに第２のキーポイント位置を修正位置に修正することにより、検出対象画像のキーポイント位置の修正を実現し、キーポイント認識の精度を向上させる。

本出願の実施例によれば、本出願は画像内のキーポイント位置の認識装置をさらに提供する。

図８は本発明の実施例６に係る画像内のキーポイント位置の認識装置の概略構造図である。図８に示すように、当該画像内のキーポイント位置の認識装置６０は、画像取得モジュール６１０、生成モジュール６２０、第１のキーポイント取得モジュール６３０、第２のキーポイント取得モジュール６４０及び修正モジュール６５０を含む。

画像取得モジュール６１０は、検出対象画像を取得し、且つ検出対象画像の特徴マップ及び顕著性マップを取得することに用いられる。

生成モジュール６２０は、検出対象画像の特徴マップに基づいて検出対象画像のスコア応答マップを生成することに用いられる。

第１のキーポイント取得モジュール６３０は、スコア応答マップに基づいて、スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得することに用いられる。

第２のキーポイント取得モジュール６４０は、第１のキーポイント位置に基づいて、検出対象画像にマッピングされたキーポイントの第２のキーポイント位置を取得することに用いられる。

修正モジュール６５０は、顕著性マップに基づいて第２のキーポイント位置を修正することに用いられる。

さらに、本出願の実施例の１つの可能な実現形態では、図９に示すように、図８に示す実施例に基づいて、生成モジュール６２０はさらに、第１の取得ユニット６２１、第２の取得ユニット６２２、計算ユニット６２３及び生成ユニット６２４を含む。

第１の取得ユニット６２１は、前記特徴マップ内の各特徴点の局所応答スコアを取得することに用いられる。

１つの可能な実現形態として、第１の取得ユニット６２１は、第ｉの特徴点の複数の隣接する特徴点を取得し、且つ前記第ｉの特徴点の特徴値及び前記複数の隣接する特徴点の特徴値を取得し、また、前記第ｉの特徴点の特徴値と前記複数の隣接する特徴点の特徴値に基づいて前記第ｉの特徴点の局所応答スコアを生成し、前記特徴マップ内の特徴点を順次にトラバースして前記各特徴点の局所応答スコアを取得し、ここで、ｉは正の整数である。

第２の取得ユニット６２２は、前記特徴マップ内の各特徴点のチャネル応答スコアを取得することに用いられる。

１つの可能な実現形態として、第２の取得ユニット６２２は、複数のチャネルにおける前記第ｉの特徴点の複数の特徴値を取得し、さらに前記複数のチャネルにおける前記第ｉの特徴点の複数の特徴値に基づいて前記第ｉの特徴点のチャネル応答スコアを生成し、前記特徴マップ内の特徴点を順次にトラバースして前記各特徴点のチャネル応答スコアを取得する。

計算ユニット６２３は、前記各特徴点の局所応答スコアと前記チャネル応答スコアに基づいて、前記各特徴点の応答スコアを計算することに用いられる。

１つの可能な実現形態として、計算ユニット６２３は、各特徴点の前記局所応答スコアに前記チャネル応答スコアを掛けて、前記各特徴点の応答スコアを生成する。

生成ユニット６２４は、前記各特徴点の応答スコアに基づいて、前記検出対象画像のスコア応答マップを生成することに用いられる。

本出願の実施例の１つの可能な実現形態では、図１０に示すように、図８に示す実施例に基づいて、第１のキーポイント取得モジュール６３０は、前記スコア応答マップにおける各特徴点の応答スコアを取得するための応答スコア取得ユニット６３１と、前記特徴点の応答スコアが予め設定された閾値より大きい場合、前記特徴点を前記キーポイントとし、前記キーポイントに対応する第１のキーポイント位置を取得するための決定ユニット６３２と、を含む。

本出願の実施例の１つの可能な実現形態では、前記特徴マップの解像度は、前記検出対象画像の解像度よりも小さい。それにより、図１１に示すように、図８に示す実施例に基づいて、第２のキーポイント取得モジュール６４０は、前記特徴マップの解像度と前記検出対象画像の解像度との比率を取得するための比率取得ユニット６４１と、前記第１のキーポイント位置、及び前記解像度の比率に基づいて前記第２のキーポイント位置を生成するためのマッピングユニット６４２と、を含む。

本出願の実施例の１つの可能な実現形態では、図１２に示すように、図８に示す実施例に基づいて、修正モジュール６５０は、前記第２のキーポイント位置が位置しているエリアを取得するためのエリア取得ユニット６５１と、前記第２のキーポイント位置が位置しているエリアにおける各特徴点の顕著性値を取得するための顕著性値取得ユニット６５２と、前記エリアにおいて最大の顕著性値を持つ特徴点の位置を取得し、且つ前記エリアにおいて最大の顕著性値を持つ特徴点の位置を修正位置とするための修正位置取得ユニット６５３と、前記第２のキーポイント位置を前記修正位置に修正するための修正ユニット６５４と、を含む。

なお、前述した画像内のキーポイント位置の認識方法の実施例に対する解釈や説明は、当該実施例の画像内のキーポイント位置の認識装置にも適用されており、その実現原理が類似するものであり、ここでは詳しい説明を省略する。

本実施例に係る画像内のキーポイント位置の認識装置は、検出対象画像を取得し、且つ検出対象画像の特徴マップ及び顕著性マップを取得し、検出対象画像の特徴マップに基づいて検出対象画像のスコア応答マップを生成し、スコア応答マップに基づいて、スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得し、第１のキーポイント位置に基づいて、検出対象画像にマッピングされたキーポイントの第２のキーポイント位置を取得し、さらに顕著性マップに基づいて第２のキーポイント位置を修正する。このように、検出対象画像に対応する顕著性マップを取得し、顕著性マップを用い、特徴マップに基づいて決定されたキーポイント位置を修正することにより、画像における局所エリアのセンター位置を画像のキーポイントとするという定着の欠陥を回避し、修正されたキーポイント位置が局所エリアのセンター位置よりも代表的であることを確保することができ、キーポイントの選択の精度を向上させる。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

図１３に示すのは、本出願の実施例に係る画像内のキーポイント位置の認識方法を実現するための例示的な電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイル装置を表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図１３に示すように、当該電子機器は、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インタフェース及び低速インタフェースを含む、各コンポーネントを接続するためのインタフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力／出力装置（例えば、インタフェースに結合された表示機器など）にＧＵＩの図形情報を表示するためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作（例えば、サーバアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図１３では、１つのプロセッサ７０１を例とする。

メモリ７０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも１つのプロセッサが本出願により提供される画像内のキーポイント位置の認識方法を実行するよう、少なくとも１つのプロセッサによって実行可能な命令が記憶される。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願により提供される画像内のキーポイント位置の認識方法を実行させるためのコンピュータ命令が記憶されている。

メモリ７０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例における画像内のキーポイント位置の認識方法に対応するプログラム命令／モジュール（例えば、図８に示す画像取得モジュール６１０、生成モジュール６２０、第１のキーポイント取得モジュール６３０、第２のキーポイント取得モジュール６４０及び修正モジュール６５０）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ７０１は、メモリ７０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における画像内のキーポイント位置の認識方法を実現する。

メモリ７０２は、プログラムストレージエリアとデータストレージエリアと、を含むことができ、ここで、プログラムストレージエリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データストレージエリアは、画像内のキーポイント位置の認識方法を実行する電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して画像内のキーポイント位置の認識方法を実行する電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

画像内のキーポイント位置の認識方法を実行するための電子機器は、入力装置７０３と出力装置７０４とをさらに含むことができる。プロセッサ７０１、メモリ７０２、入力装置７０３、及び出力装置７０４は、バス又は他の方式を介して接続することができ、図１３では、バスを介して接続することを例とする。

入力装置７０３は、入力された数字又は文字情報を受信し、画像内のキーポイント位置の認識方法を実行する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置７０４は、表示機器、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、表示機器は、タッチスクリーンであってもよい。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈することができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含むことができ、高レベルのプロセス及び／又は対象指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書で使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、ここで説明されるシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティング装置（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティング装置によって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションを行う）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、を含む。

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションを行う。対応するコンピュータ上で実行され、且つ互いにクライアント−サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。

本出願の実施例の技術案によれば、検出対象画像に対応する顕著性マップを取得し、顕著性マップを用い、特徴マップに基づいて決定されたキーポイント位置を修正することにより、画像における局所エリアのセンター位置を画像のキーポイントとするという定着の欠陥を回避し、修正されたキーポイント位置が局所エリアのセンター位置よりも代表的であることを確保することができ、キーポイントの選択の精度を向上させる。

上記に示される様々な形態のフローを用い、ステップを並べ替え、追加、又は削除することができる。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本出願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims

画像内のキーポイント位置の認識方法であって、
検出対象画像を取得し、且つ前記検出対象画像の特徴マップ及び顕著性マップを取得するステップと、
前記検出対象画像の特徴マップに基づいて前記検出対象画像のスコア応答マップを生成するステップと、
前記スコア応答マップに基づいて、前記スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得するステップと、
前記第１のキーポイント位置に基づいて、前記検出対象画像にマッピングされた前記キーポイントの第２のキーポイント位置を取得するステップと、
前記顕著性マップに基づいて前記第２のキーポイント位置を修正するステップと、を含む、
ことを特徴とする画像内のキーポイント位置の認識方法。
前記検出対象画像の特徴マップに基づいて前記検出対象画像のスコア応答マップを生成するステップは、
前記特徴マップ内の各特徴点の局所応答スコアを取得するステップと、
前記特徴マップ内の各特徴点のチャネル応答スコアを取得するステップと、
前記各特徴点の局所応答スコアと前記チャネル応答スコアに基づいて、前記各特徴点の応答スコアを計算するステップと、
前記各特徴点の応答スコアに基づいて、前記検出対象画像のスコア応答マップを生成するステップと、を含む、
ことを特徴とする請求項１に記載の画像内のキーポイント位置の認識方法。
前記特徴マップ内の各特徴点の局所応答スコアを取得するステップは、
第ｉの特徴点の複数の隣接する特徴点を取得するステップであって、ｉは正の整数であるステップと、
前記第ｉの特徴点の特徴値及び前記複数の隣接する特徴点の特徴値を取得するステップと、
前記第ｉの特徴点の特徴値と前記複数の隣接する特徴点の特徴値に基づいて前記第ｉの特徴点の局所応答スコアを生成し、前記特徴マップ内の特徴点を順次にトラバースして前記各特徴点の局所応答スコアを取得するステップと、を含む、
ことを特徴とする請求項２に記載の画像内のキーポイント位置の認識方法。
前記特徴マップ内の各特徴点のチャネル応答スコアを取得するステップは、
複数のチャネルにおける前記第ｉの特徴点の複数の特徴値を取得するステップと、
前記複数のチャネルにおける前記第ｉの特徴点の複数の特徴値に基づいて前記第ｉの特徴点のチャネル応答スコアを生成し、前記特徴マップ内の特徴点を順次にトラバースして前記各特徴点のチャネル応答スコアを取得するステップと、を含む、
ことを特徴とする請求項３に記載の画像内のキーポイント位置の認識方法。
前記各特徴点の局所応答スコアと前記チャネル応答スコアに基づいて、前記各特徴点の応答スコアを計算するステップは、
各特徴点の前記局所応答スコアに前記チャネル応答スコアを掛けて、前記各特徴点の応答スコアを生成するステップを含む、
ことを特徴とする請求項２に記載の画像内のキーポイント位置の認識方法。
前記スコア応答マップに基づいて、前記スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得するステップは、
前記スコア応答マップにおける各特徴点の応答スコアを取得するステップと、
前記特徴点の応答スコアが予め設定された閾値より大きい場合、前記特徴点を前記キーポイントとし、前記キーポイントに対応する第１のキーポイント位置を取得するステップと、を含む、
ことを特徴とする請求項１に記載の画像内のキーポイント位置の認識方法。
前記特徴マップの解像度は、前記検出対象画像の解像度よりも小さい、
ことを特徴とする請求項１に記載の画像内のキーポイント位置の認識方法。
前記第１のキーポイント位置に基づいて、前記検出対象画像にマッピングされた前記キーポイントの第２のキーポイント位置を取得するステップは、
前記特徴マップの解像度と前記検出対象画像の解像度との比率を取得するステップと、
前記第１のキーポイント位置、及び前記解像度の比率に基づいて前記第２のキーポイント位置を生成するステップと、を含む、
ことを特徴とする請求項７に記載の画像内のキーポイント位置の認識方法。
前記顕著性マップに基づいて前記第２のキーポイント位置を修正するステップは、
前記第２のキーポイント位置が位置しているエリアを取得するステップと、
前記第２のキーポイント位置が位置しているエリアにおける各特徴点の顕著性値を取得するステップと、
前記エリアにおいて最大の顕著性値を持つ特徴点の位置を取得し、且つ前記エリアにおいて最大の顕著性値を持つ特徴点の位置を修正位置とするステップと、
前記第２のキーポイント位置を前記修正位置に修正するステップと、を含む、
ことを特徴とする請求項１に記載の画像内のキーポイント位置の認識方法。
画像内のキーポイント位置の認識装置であって、
検出対象画像を取得し、且つ前記検出対象画像の特徴マップ及び顕著性マップを取得するための画像取得モジュールと、
前記検出対象画像の特徴マップに基づいて前記検出対象画像のスコア応答マップを生成するための生成モジュールと、
前記スコア応答マップに基づいて、前記スコア応答マップにおけるキーポイントの第１のキーポイント位置を取得するための第１のキーポイント取得モジュールと、
前記第１のキーポイント位置に基づいて、前記検出対象画像にマッピングされた前記キーポイントの第２のキーポイント位置を取得するための第２のキーポイント取得モジュールと、
前記顕著性マップに基づいて前記第２のキーポイント位置を修正するための修正モジュールと、を含む、
ことを特徴とする画像内のキーポイント位置の認識装置。
前記生成モジュールは、
前記特徴マップ内の各特徴点の局所応答スコアを取得するための第１の取得ユニットと、
前記特徴マップ内の各特徴点のチャネル応答スコアを取得するための第２の取得ユニットと、
前記各特徴点の局所応答スコアと前記チャネル応答スコアに基づいて、前記各特徴点の応答スコアを計算するための計算ユニットと、
前記各特徴点の応答スコアに基づいて、前記検出対象画像のスコア応答マップを生成するための生成ユニットと、を含む、
ことを特徴とする請求項１０に記載の画像内のキーポイント位置の認識装置。
前記第１の取得ユニットは、第ｉの特徴点の複数の隣接する特徴点を取得し、且つ前記第ｉの特徴点の特徴値及び前記複数の隣接する特徴点の特徴値を取得し、また、前記第ｉの特徴点の特徴値と前記複数の隣接する特徴点の特徴値に基づいて前記第ｉの特徴点の局所応答スコアを生成し、前記特徴マップ内の特徴点を順次にトラバースして前記各特徴点の局所応答スコアを取得し、ここで、ｉは正の整数である、
ことを特徴とする請求項１１に記載の画像内のキーポイント位置の認識装置。
前記第２の取得ユニットは、複数のチャネルにおける前記第ｉの特徴点の複数の特徴値を取得し、さらに前記複数のチャネルにおける前記第ｉの特徴点の複数の特徴値に基づいて前記第ｉの特徴点のチャネル応答スコアを生成し、前記特徴マップ内の特徴点を順次にトラバースして前記各特徴点のチャネル応答スコアを取得する、
ことを特徴とする請求項１２に記載の画像内のキーポイント位置の認識装置。
前記計算ユニットは、各特徴点の前記局所応答スコアに前記チャネル応答スコアを掛けて、前記各特徴点の応答スコアを生成する、
ことを特徴とする請求項１１に記載の画像内のキーポイント位置の認識装置。
前記第１のキーポイント取得モジュールは、
前記スコア応答マップにおける各特徴点の応答スコアを取得するための応答スコア取得ユニットと、
前記特徴点の応答スコアが予め設定された閾値より大きい場合、前記特徴点を前記キーポイントとし、前記キーポイントに対応する第１のキーポイント位置を取得するための決定ユニットと、を含む、
ことを特徴とする請求項１０に記載の画像内のキーポイント位置の認識装置。
前記特徴マップの解像度は、前記検出対象画像の解像度よりも小さい、
ことを特徴とする請求項１０に記載の画像内のキーポイント位置の認識装置。
前記第２のキーポイント取得モジュールは、
前記特徴マップの解像度と前記検出対象画像の解像度との比率を取得するための比率取得ユニットと、
前記第１のキーポイント位置、及び前記解像度の比率に基づいて前記第２のキーポイント位置を生成するためのマッピングユニットと、を含む、
ことを特徴とする請求項１６に記載の画像内のキーポイント位置の認識装置。
前記修正モジュールは、
前記第２のキーポイント位置が位置しているエリアを取得するためのエリア取得ユニットと、
前記第２のキーポイント位置が位置しているエリアにおける各特徴点の顕著性値を取得するための顕著性値取得ユニットと、
前記エリアにおいて最大の顕著性値を持つ特徴点の位置を取得し、且つ前記エリアにおいて最大の顕著性値を持つ特徴点の位置を修正位置とするための修正位置取得ユニットと、
前記第２のキーポイント位置を前記修正位置に修正するための修正ユニットと、を含む、
ことを特徴とする請求項１０に記載の画像内のキーポイント位置の認識装置。
電子機器であって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、ここで、
前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１〜９のいずれか一項に記載の画像内のキーポイント位置の認識方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、ことを特徴とする電子機器。
コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は前記コンピュータに請求項１〜９のいずれか一項に記載の画像内のキーポイント位置の認識方法を実行させることに用いられる、ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
コンピュータ上で動作しているときに、請求項１〜９のいずれか一項に記載の画像内のキーポイント位置の認識方法を前記コンピュータに実行させる、
ことを特徴とするコンピュータプログラム。