JP2022526548A - ターゲット検出方法、装置、電子機器およびコンピュータ可読記憶媒体 - Google Patents

Abstract

本発明の実施例は、ターゲット検出方法、装置、電子機器およびコンピュータ可読記憶媒体を提供し、ここで、当該ターゲット検出方法は、検出される画像を取得すること（Ｓ２０１）と、前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することであって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表すこと（Ｓ２０２）と、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定すること（Ｓ２０３）と、を含む。【選択図】図２

Description

本願は、２０２０年０１月２２日に中国特許局に提出された、出願番号が２０２０１００７３１４２．６である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本発明の実施例は、画像識別技術分野に関し、具体的には、ターゲット検出方法、装置、電子機器およびコンピュータ可読記憶媒体に関する。

ターゲット検出は、コンピュータビジョンの重要な基本的な問題であり、自律運転、ビデオモニタリングおよびモバイルエンターテイメントなどの多くのコンピュータビジョンの適用は、いずれもターゲット検出に依存する。

ターゲット検出を実行する場合、主なタスクは、検出フレームを使用して画像における物体の位置をマークすることであり、当該プロセスは、物体キーポイントのターゲット検出アルゴリズムに基づいて、画像における物体の位置を決定し、画像内のすべての物体キーポイントを決定した後、同じ物体に属する物体キーポイントをマッチングして、物体の検出フレームを取得することができる。

画像に外観が似てる複数の物体が含まれる場合、外観が似てる物体に対応する物体キーポイント間のマッチング度が高いため、検出結果が、同じ検出フレームに複数の物体が含まれるように、検出結果を不正確になり易く、そのため、現在のターゲット検出方法の検出精度は低い。

本発明の実施例は、少なくともターゲット検出の技術案を提供する。

第１態様において、本発明の実施例は、ターゲット検出方法を提供し、前記方法は、
検出される画像を取得することと、
前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することであって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表すことと、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定することと、を含む。

本発明の実施例による方法は、検出される画像を取得した後、まず、検出される画像におけるコーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定し、コーナーポイントは、画像内の主な特徴ポイントを指し、検出される画像におけるコーナーポイント位置情報は、検出される画像における各ターゲット対象の位置を表し、例えば、コーナーポイントは、左上コーナーポイントと右下コーナーポイントを含み、そのうち、左上コーナーポイントは、ターゲット対象の上側輪郭に対応する直線と、ターゲット対象の左側輪郭に対応する直線の交差点を指し、右下コーナーポイントは、ターゲット対象の下側輪郭に対応する直線と、ターゲット対象の右側輪郭に対応する直線の交差点を指し、左上コーナーポイントおよび右下コーナーポイントが、同じターゲット対象の検出フレームに属する場合、左上コーナーポイントおよび右下コーナーポイントにそれぞれ対応する求心オフセットテンソルが指向する位置は、比較的近いはずであるため、本発明の実施例によるターゲット検出方法は、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、同じターゲット対象に属するコーナーポイントを決定することができ、さらに、決定されたコーナーポイントに基づいて当該同じターゲット対象を検出することができる。

一可能な実施形態において、前記検出される画像に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することは、
前記検出される画像に対して特徴抽出を実行して、前記検出される画像に対応する初期特徴マップを取得することと、
前記初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントのプーリング後の特徴マップを取得することと、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報、および各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む。

本発明の実施例による方法は、検出される画像に対して特徴抽出を実行することにより、初期特徴マップを取得し、初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントおよびコーナーポイントに対応する求心オフセット量を抽出し易くできる特徴マップ、即ち、コーナーポイントのプーリング後の特徴マップを取得する。

一可能な実施形態において、前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することは、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像に対応するコーナーポイントヒートマップを生成することと、
前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定し、各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、前記特徴ポイントから前記コーナーポイントをスクリーニングすることと、
スクリーニングされた各コーナーポイントが、前記コーナーポイントヒートマップにおける位置情報、および各コーナーポイントに対応するローカルオフセット情報を取得することであって、前記ローカルオフセット情報は、前記コーナーポイントヒートマップにおける対応するコーナーポイントが表す真の物理ポイントの位置オフセット情報を示すために使用されることと、
前記コーナーポイントヒートマップにおける取得された各コーナーポイントの位置情報、各コーナーポイントに対応するローカルオフセット情報、および前記コーナーポイントヒートマップと前記検出される画像とのサイズ比率に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することと、を含む。

本発明の実施例による検出される画像における各コーナーポイントのコーナーポイント位置情報を決定する方式について、当該プロセスは、コーナーポイントヒートマップを導入することにより、各特徴ポイントをコーナーポイントとする確率値を介して、コーナーポイントとすることができる特徴ポイントを決定し、コーナーポイントを選択した後、コーナーポイントヒートマップにおけるコーナーポイントの位置情報を修正した後、検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定し、当該方式は、精度の高いコーナーポイントのコーナーポイント位置情報を取得して、後続で当該コーナーポイントに基づいて検出される画像におけるターゲット対象の位置を検出することを容易にすることができる。

一可能な実施形態において、前記コーナーポイントのプーリング後の特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することは、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記コーナーポイントのプーリング後の特徴マップのうちの各特徴ポイントに対応するガイドオフセットテンソルを決定することであって、各特徴ポイントに対応するガイドオフセットテンソルは、当該特徴ポイントから前記検出される画像内のターゲット対象の中心点へ指向するオフセットテンソルを表すことと、
各特徴ポイントに対応する前記ガイドオフセットテンソルに基づいて、当該特徴ポイントのオフセットフィールド情報を決定することであって、前記オフセットフィールド情報には、当該特徴ポイントに関連付けられる複数の初期特徴ポイントが、それぞれに対応するオフセット後の特徴ポイントをそれぞれ指向するオフセットテンソルが含まれることと、
前記コーナーポイントのプーリング後の特徴マップ、および当該コーナーポイントのプーリング後の特徴マップのうちの特徴ポイントのオフセットフィールド情報に基づいて、前記コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、調整された特徴マップを取得することと、
前記調整された特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む。

本発明の実施例による求心オフセットテンソルを決定するプロセスは、ターゲット対象情報を考慮することを介して、例えば、コーナーポイントに対応するガイドオフセットテンソル、および特徴ポイントのオフセットフィールド情報を導入することを介して、コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、取得された調整された特徴マップ内の特徴ポイントの特徴データが、より豊かなターゲット対象情報を含むようにして、各コーナーポイントに対応するより正確な求心オフセットテンソルを決定することができ、正確な求心オフセットテンソルを介して、コーナーポイントが指向する中心点位置情報を正確に取得して、検出される画像におけるターゲット対象の位置を正確に検出することができる。

一可能な実施形態において、前記検出される画像に対応するコーナーポイントヒートマップは、複数のチャネルにそれぞれ対応するコーナーポイントヒートマップを含み、前記複数のチャネルのうちの各チャネルは、１つのプリセットの対象カテゴリに対応し、前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定した後、前記ターゲット検出方法は、
前記複数のチャネルのうちの各チャネルに対して、当該チャネルに対応するコーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがあるか否かを決定することと、
当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがある場合、前記検出される画像に、当該チャネルに対応するプリセットの対象カテゴリのターゲット対象が含まれると決定することと、をさらに含む。

本発明の実施例による方法は、コーナーポイントのプーリング後の特徴マップをコーナーポイントヒートマップ予測ネットワークに入力することにより、プリセットのチャネル数を含むコーナーポイントヒートマップを取得することができ、各チャネルに対応するコーナーポイントヒートマップにコーナーポイントがあるか否かを介して、検出される画像に当該チャネルに対応するカテゴリのターゲット対象があるか否かを決定することができる。

一可能な実施形態において、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定することは、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定することを含む。

本発明の実施例による方法は、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、各ターゲット対象の検出フレームを決定することができ、即ち、検出される画像における各ターゲット対象の位置情報を取得することができる。

一可能な実施形態において、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定することは、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報に基づいて、候補検出フレームを構成できる候補コーナーポイントペアをスクリーニングすることと、
前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報および当該コーナーポイントに対応する求心オフセットテンソルに基づいて、当該コーナーポイントが指向する中心点位置情報を決定することと、
前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することと、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む。

本発明の実施例によるターゲット対象の検出フレームを決定する方式は、コーナーポイントのコーナーポイント位置情報を介して、まず、候補検出フレームを構成できる候補コーナーポイントペアを決定し、その後、当該候補コーナーポイントペアのうちの各コーナーポイントにそれぞれ対応する求心オフセットテンソルに基づいて、候補検出フレームによって囲まれるターゲット対象が、同じターゲット対象であるか否かを決定し、それにより、検出される画像内のすべてのターゲット対象の検出フレームをより正確に検出することができる。

一可能な実施形態において、前記検出される画像における前記各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することは、
当該候補コーナーポイントペアの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームを表すコーナーポイント位置情報を決定することと、
前記中心領域フレームのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームの座標範囲を決定することと、を含む。

一可能な実施形態において、各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することは、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、有効な候補コーナーポイントペアを決定することと、
前記有効な候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、前記有効な候補コーナーポイントペアに対応する中心領域情報、および前記有効な候補コーナーポイントペアのうちの各コーナーポイントに対応する確率値に基づいて、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を決定することであって、各コーナーポイントに対応する確率値は、コーナーポイントヒートマップ内の当該コーナーポイントの対応する特徴ポイントをコーナーポイントとして使用する確率値を示すために使用されることと、
各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値、および隣接する候補検出フレーム間の重複領域のサイズに基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む。

本発明の実施例による方法は、候補検出フレームを構成する候補コーナーポイントペアに対して効果的なスクリーニングを実行することにより、１つのみを表すターゲット対象をスクリーニングできる候補検出フレームを決定し、その後、これらの１つのターゲット対象のみを表す候補検出フレームに対して、ソフト非最大阻害スクリーニングを実行して、ターゲット対象を表す正確な検出フレームを取得する。

一可能な実施形態において、前記検出される画像内のターゲット対象の検出フレームを決定した後、前記ターゲット検出方法は、
前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することをさらに含む。

本発明の実施例による方法は、ターゲット対象のインスタンス情報を決定することができ、ここでのインスタンスは、画像内のターゲット対象に対してインスタンス分割を実行した後、ピクセルレイヤで各ターゲット対象のピクセルを与え、インスタンス分割を物体のエッジまで正しくして、検出される画像におけるターゲット対象のより正確な位置情報を取得することができる。

一可能な実施形態において、前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することは、
前記ターゲット対象の検出フレームおよび前記初期特徴マップに基づいて、前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データを抽出することと、
前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することと、を含む。

一可能な実施形態において、前記ターゲット検出方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、ラベル付けされたターゲットサンプル対象を含むサンプルイメージを使用してトレーニングして得られる。

一可能な実施形態において、前記ニューラルネットワークは、
サンプル画像を取得することと、
前記サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルを決定することであって、前記サンプルコーナーポイントは、前記サンプル画像内のターゲットサンプル対象の位置を表すことと、
前記サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、前記サンプル画像内のターゲットサンプル対象を予測することと、
予測された前記サンプル画像内のターゲットサンプル対象および前記サンプル画像内のラベル付けされたターゲットサンプル対象に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を採用してトレーニングして得られる。

本発明の実施例によるニューラルネットワークのトレーニング方法は、サンプル画像を取得し、当該サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報、および各サンプルコーナーポイントにそれぞれ対応する求心オフセットテンソルを決定して、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、サンプル画像でターゲットサンプル対象を検出する。サンプルコーナーポイントは、画像内の主な特徴ポイントを指し、例えばサンプルコーナーポイントは、左上サンプルコーナーポイントおよび右下サンプルコーナーポイントを含み得、ここで、左上サンプルコーナーポイントは、ターゲットサンプル対象の上側輪郭に対応する直線と、ターゲットサンプル対象んお左側輪郭に対応する直線の交差点を指し、右下サンプルコーナーポイントは、ターゲットサンプル対象の下側輪郭に対応する直線と、ターゲットサンプル対象の右側輪郭に対応する直線の交差点を指し、左上サンプルコーナーポイントと右下サンプルコーナーポイントが、同じターゲットサンプル対象の検出フレームに属する場合、左上サンプルコーナーポイントと右下サンプルコーナーポイントにそれぞれ対応する求心オフセットテンソルが指向する位置は、比較的に近いはずであるため、本発明の実施例によりニューラルネットワークのトレーニング方法は、サンプル画像におけるターゲットサンプル対象の位置を表すコーナーポイントのコーナーポイント位置情報、および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、同じターゲットサンプル対象に属するサンプルコーナーポイントを決定し、さらに、決定されたサンプルコーナーポイントに基づいて、当該同じターゲットサンプル対象を検出し、その後、サンプル画像内のラベリングターゲット対象に基づいて、ニューラルネットワークパラメータを調整し続けることにより、精度の高いニューラルネットワークを取得し、当該精度の高いニューラルネットワークに基づいて、ターゲット対象を正確に検出することができる。

第２態様において、本発明の実施例は、ターゲット検出装置を提供し、前記装置は、
検出される画像を取得するように構成される、取得部と、
前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定するように構成される決定部であって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表す、決定部と、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定するように構成される、検出部と、を備える。

一可能な実施形態において、前記決定部は、
前記検出される画像に対して特徴抽出を実行して、前記検出される画像に対応する初期特徴マップを取得し、
前記初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントのプーリング後の特徴マップを取得し、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報、および各コーナーポイントに対応する求心オフセットテンソルを決定するように構成される。

一可能な実施形態において、前記決定部が、前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定するように構成される場合に、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像に対応するコーナーポイントヒートマップを生成することと、
前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定し、各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、前記特徴ポイントから前記コーナーポイントをスクリーニングすることと、
スクリーニングされた各コーナーポイントが、前記コーナーポイントヒートマップにおける位置情報、および各コーナーポイントに対応するローカルオフセット情報を取得することであって、前記ローカルオフセット情報は、前記コーナーポイントヒートマップにおける対応するコーナーポイントが表す真の物理ポイントの位置オフセット情報を示すために使用されることと、
前記コーナーポイントヒートマップにおける取得された各コーナーポイントの位置情報、各コーナーポイントに対応するローカルオフセット情報、および前記コーナーポイントヒートマップと前記検出される画像とのサイズ比率に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することと、を含む。

一可能な実施形態において、前記決定部が、前記コーナーポイントのプーリング後の特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定するように構成される場合に、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記コーナーポイントのプーリング後の特徴マップのうちの各特徴ポイントに対応するガイドオフセットテンソルを決定することであって、各特徴ポイントに対応するガイドオフセットテンソルは、当該特徴ポイントから前記検出される画像内のターゲット対象の中心点へ指向するオフセットテンソルを表すことと、
各特徴ポイントに対応する前記ガイドオフセットテンソルに基づいて、当該特徴ポイントのオフセットフィールド情報を決定することであって、前記オフセットフィールド情報には、当該特徴ポイントに関連付けられる複数の初期特徴ポイントが、それぞれに対応するオフセット後の特徴ポイントをそれぞれ指向するオフセットテンソルが含まれることと、
前記コーナーポイントのプーリング後の特徴マップ、および当該コーナーポイントのプーリング後の特徴マップのうちの特徴ポイントのオフセットフィールド情報に基づいて、前記コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、調整された特徴マップを取得することと、
前記調整された特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む。

一可能な実施形態において、前記検出される画像に対応するコーナーポイントヒートマップは、複数のチャネルにそれぞれ対応するコーナーポイントヒートマップを含み、前記複数のチャネルのうちの各チャネルは、１つのプリセットの対象カテゴリに対応し、前記決定部が、前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定するように構成された後、さらに、
前記複数のチャネルのうちの各チャネルに対して、当該チャネルに対応するコーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがあるか否かを決定し、
当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがある場合、前記検出される画像に、当該チャネルに対応するプリセットの対象カテゴリのターゲット対象が含まれると決定するように構成される。

一可能な実施形態において、前記検出部は、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定するように構成される。

一可能な実施形態において、前記検出部が、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定するように構成される場合に、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報に基づいて、候補検出フレームを構成できる候補コーナーポイントペアをスクリーニングすることと、
前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報および当該コーナーポイントに対応する求心オフセットテンソルに基づいて、当該コーナーポイントが指向する中心点位置情報を決定することと、
前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することと、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む。

一可能な実施形態において、前記検出部が、前記検出される画像における前記各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定するように構成される場合に、
当該候補コーナーポイントペアの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームを表すコーナーポイント位置情報を決定することと、
前記中心領域フレームのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームの座標範囲を決定することと、を含む。

一可能な実施形態において、前記検出部が、各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定するように構成される場合に、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、有効な候補コーナーポイントペアを決定することと、
前記有効な候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、前記有効な候補コーナーポイントペアに対応する中心領域情報、および前記有効な候補コーナーポイントペアのうちの各コーナーポイントに対応する確率値に基づいて、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を決定することであって、各コーナーポイントに対応する確率値は、コーナーポイントヒートマップ内の当該コーナーポイントの対応する特徴ポイントをコーナーポイントとして使用する確率値を示すために使用されることと、
各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値、および隣接する候補検出フレーム間の重複領域のサイズに基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む。

一可能な実施形態において、前記検出部は、さらに、
前記検出される画像内のターゲット対象の検出フレームを決定した後、前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定するように構成される。

一可能な実施形態において、前記検出部が、前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定するように構成される場合に、
前記ターゲット対象の検出フレームおよび前記初期特徴マップに基づいて、前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データを抽出することと、
前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することと、を含む。

一可能な実施形態において、前記ターゲット検出装置は、さらに、ニューラルネットワークトレーニング部を備え、前記ニューラルネットワークトレーニング部は、
ターゲット検出を実行するためのニューラルネットワークをトレーニングするように構成され、前記ニューラルネットワークは、ラベル付けされたターゲットサンプル対象を含むサンプルイメージを使用してトレーニングして得られる。

一可能な実施形態において、前記ニューラルネットワークトレーニング部は、
サンプル画像を取得することと、
前記サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルを決定することであって、前記サンプルコーナーポイントは、前記サンプル画像内のターゲットサンプル対象の位置を表すことと、
前記サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、前記サンプル画像内のターゲットサンプル対象を予測することと、
予測された前記サンプル画像内のターゲットサンプル対象および前記サンプル画像内のラベル付けされたターゲットサンプル対象に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整することと、のステップに従って前記ニューラルネットワークをトレーニングするように構成される。

第３態様において、本発明の実施例は、プロセッサ、メモリおよびバスを備える電子機器を提供し、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機械可読命令は、前記プロセッサによって実行されるとき、第１態様に記載のターゲット検出方法のステップを実行する。

第４態様において、本発明の実施例は、コンピュータプログラムを記憶する、コンピュータ可読記憶媒体を提供し、当該コンピュータプログラムは、プロセッサに酔って実行されるとき、第１態様に記載のターゲット検出方法のステップを実行する。

第５態様において、本発明の実施例は、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行する場合、前記電子機器内のプロセッサが実行するとき、第１態様に記載のターゲット検出方法のステップを実現する。

本発明の上記の特徴および利点をより明確且つ理解しすくするために、以下は、好ましい実施例を添付の図面と合わせて、詳細な説明をする。

本発明の実施例の技術的解決策をより明確に説明するために、以下は、実施例で必要な図面を簡単に紹介する。ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。以下の図面は、本発明のいくつかの実施例のみを示したため、範囲の限定として見なされるべきではなく、当業者にとっては、創造的な作業なしに、これらの図面に従って他の関連する図面を得ることもできることを理解されたい。
検出される画像を検出するときに得られた結果の概略図を示す。 本発明の実施例による例示的なターゲット検出方法のプロセスのフローチャートを示す。 本発明の実施例によるコーナーポイント位置情報およびコーナーポイントに対応する求心オフセットテンソルを決定するプロセスのフローチャートを示す。 本発明の実施例によるコーナーポイント位置情報およびコーナーポイントに対応する求心オフセットテンソルを決定するフローチャートを示す。 本発明の実施例によるコーナーポイントに対応する求心オフセットテンソルを決定するフローチャートを示す。 本発明の実施例による例示的な特徴調整ネットワークが、コーナーポイントのプーリング後の特徴マップを調整する例示的なフローチャートを示す。 本発明の実施例によるターゲット対象のカテゴリを決定する例示的なフローチャートを示す。 本発明の実施例によるターゲット対象の検出フレームを決定する例示的なフローチャートを示す。 本発明の実施例による各候補コーナーポイントペアに基づいてターゲット対象の検出フレームを決定する例示的なフローチャートを示す。 本発明の実施例による例示的なターゲット検出方法に対応する例示的なフローチャートを示す。 本発明の実施例によるニューラルネットワークのトレーニング方法の例示的なフローチャートを示す。 本発明の実施例によるターゲット検出装置の例示的な構造図を示す。 本発明の実施例による電子機器の例示的な構造図を示す。

本発明の実施例の技術的解決策および利点をより明確にするために、以下は、本発明の実施例の図面を参照して、本発明の実施例における技術的解決策を明確、且つ完全に説明し、明らかに、説明される実施例は、本願実施例の一部に過ぎず、実施例の全てではない。通常、ここでの図面で説明および示された本発明の実施例のコンポーネントは、様々な異なる構成で配置および設計されることができる。そのため、以下は、図面で提供された本発明の実施例の詳細な説明は、保護請求の本発明の範囲を制限することを目的としなく、本発明の選択された実施例を表示することに過ぎない。本発明の実施例に基づいて、創造的な努力なしに当業者によって取得される他のすべての実施例は、すべて本発明の実施例の保護範囲に含まれる。

画像に対してターゲット検出を実行する場合に、当該画像に複数の類似のターゲット対象が含まれる場合、図１に示されたように、当該画像に複数の似てる飛行機がある場合、飛行機のキーポイントに基づいて画像内の飛行機を検出する場合、図１の検出フレーム（１）と検出フレーム（２）に示された状況、即ち、同じ検出フレームに複数の飛行機が含まれる状況が発生し易く、即ち、検出にミスがあり、即ち、現在、画像内のターゲット対象を検出する場合に、検出結果の精度が比較的に低い。それに対して、本発明の実施例は、検出結果の精度を向上させることができる、ターゲット検出方法を提供する。

上記の研究に基づいて、本発明の実施例は、ターゲット検出方法を提供し、検出される画像を取得した後、まず、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定し、コーナーポイントは、画像内の主な特徴ポイントを指し、検出される画像におけるコーナーポイント位置情報は、検出される画像における各ターゲット対象の位置を表し、例えば、コーナーポイントは、左上コーナーポイントと右下コーナーポイントを含み、そのうち、左上コーナーポイントは、ターゲット対象の上側輪郭に対応する直線と、ターゲット対象の左側輪郭に対応する直線の交差点を指し、右下コーナーポイントは、ターゲット対象の下側輪郭に対応する直線と、ターゲット対象の右側輪郭に対応する直線の交差点を指し、左上コーナーポイントおよび右下コーナーポイントが、同じターゲット対象の検出フレームに属する場合、左上コーナーポイントおよび右下コーナーポイントにそれぞれ対応する求心オフセットテンソルが指向する位置は、比較的近いはずであるため、本発明の実施例によるターゲット検出方法は、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、同じターゲット対象に属するコーナーポイントを決定することができ、さらに、決定されたコーナーポイントに基づいて当該同じターゲット対象を検出することができる。

以下、本発明の実施例の図面を参照して、本発明の実施例の技術的解決策を明確且つ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部に過ぎず、実施例の全てではない。通常、ここでの図面で説明および示された本発明の実施例のコンポーネントは、様々な異なる構成で配置および設計されることができる。そのため、以下は、図面で提供された本発明の実施例の詳細な説明は、本発明の実施例の請求保護範囲を制限することを意図するものではなく、本発明の選択された実施例を表示することに過ぎない。本発明の実施例に基づいて、創造的な努力なしに当業者によって取得される他のすべての実施例は、すべて本発明の実施例の保護範囲に含まれる。

類似する参照番号および文字は、次の図面で類似した項目を示し、従って、特定の一項が１つの図面で定義されると、後の図面では、それを定義し説明する必要がないことを注意されたい。

本実施例を理解し易くするために、まず、本発明の実施例によって開示されるターゲット検出方法を詳細に紹介する。本発明の実施例によるターゲット検出方法の実行主体は、通常、特定のコンピューティング能力を有するコンピュータ機器であり、当該コンピュータ機器は、例えば、端末機器またはサーバまたは他の処理機器を含む。いくつかの可能な実施形態において、当該ターゲット検出方法は、プロセッサによって、メモリに記憶されるコンピュータ可読命令を呼び出す方式を介して実現さすることができる。

図２を参照すると、本発明の実施例によりターゲット検出方法のフローチャートであり、前記方法は、ステップＳ２０１～Ｓ２０３を含む。

Ｓ２０１において、検出される画像を取得する。

ここでの検出される画像は、特定の環境における検出される画像に対してもよく、例えば、ある交通交差点の車輛を検出することに対して、当該交通交差点にカメラを実装することができ、カメラを介して当該交通交差点の一定期間内のビデオストリームを収集し、その後、当該ビデオストリームに対してフレーミング処理を実行して、検出される画像を取得し、または、ある動物園内の動物を検出することに対して、当該動物園にカメラを実装することができ、カメラを介して、当該動物園の一定期間内のビデオストリームを収集し、その後、当該ビデオストリームに対してフレーミング処理を実行して、検出される画像を取得する。

ここで、検出される画像は、ターゲット対象を含んでもよく、ここでのターゲット対象は、上記のある交通交差点の車輛、およびある動物園内の動物などの、特定の環境で検出しようとする対象を指し、ターゲット対象を含まなくでもよく、ターゲット対象を含まない場合、検出結果は、アイドルであり、本発明の実施は、ターゲット対象を含む検出される画像を説明する。

Ｓ２０２において、検出される画像に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定し、ここで、コーナーポイントは、検出される画像内のターゲット対象の位置を表す。

検出される画像におけるターゲット対象の位置は、検出フレームを介して示すことができ、本発明の実施例は、コーナーポイントを介して検出される画像におけるターゲット対象の位置を表し、即ち、ここでのコーナーポイントは、検出フレームのコーナーポイントであり得、例えば、左上コーナーポイントおよび右下コーナーポイントを介して、検出される画像におけるターゲット対象の位置を表すことができ、左上コーナーポイントは、検出フレームの左上コーナーポイントであり、右下コーナーポイントは、検出フレームの右下コーナーポイントである。ここで、左上コーナーポイントは、ターゲット対象の上側輪郭に対応する直線と、ターゲット対象の左側輪郭に対応する直線の交差点を指し、右下コーナーポイントは、ターゲット対象の下側輪郭に対応する直線と、ターゲット対象の右側輪郭に対応する直線の交差点を指向する。

もちろん、左上コーナーポイントおよび右下コーナーポイントを介してターゲット対象の位置を表すことに限らなく、さらに、右上コーナーポイントおよび左下コーナーポイントを介してターゲット対象の位置を表すことができ、本発明の実施例は、左上コーナーポイントおよび右下コーナーポイントを例として説明する。

ここでの求心オフセットテンソルは、コーナーポイントが、ターゲット対象中心位置に向けるオフセットテンソルを指し、検出される画像は、二次元画像であるため、ここでの求心オフセットテンソルは、２つの方向に向けるオフセット値を含み、この２つの方向が、それぞれ、Ｘ軸方向とＹ軸方向である場合、当該求心オフセットテンソルは、Ｘ軸方向でのオフセット値、および在Ｙ軸方向でのオフセット値を含む。コーナーポイントおよび当該コーナーポイントに対応する求心オフセットテンソルを介して、当該コーナーポイントが指向する中心位置を決定することができ、左上コーナーポイントと右下コーナーポイントが、同じ検出フレームに位置する場合、それが指向する中心位置は、同じであるか、または比較的に近いはずであり、そのため、各コーナーポイントに対応する求心オフセットテンソルに基づいて、同じターゲット対象に属するコーナーポイントを決定し、さらに、決定されたコーナーポイントに基づいて、ターゲット対象の検出フレームを決定することができる。

本発明の実施例は、ニューラルネットワークを介して、コーナーポイントおよびコーナーポイントに対応する求心オフセットテンソルを決定し、以下の実施例を参照して説明する。

Ｓ２０３において、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象を決定する。

ここで、検出される画像における各コーナーポイントのコーナーポイント位置情報は、複数のコーナーポイントのうち、検出される画像における各コーナーポイントのコーナーポイント位置情報を指し、各コーナーポイントに対応する求心オフセットテンソルは、当該複数のコーナーポイントのうちの各コーナーポイントにそれぞれ対応する求心オフセットテンソルを指向する。

ここで、検出される画像でターゲット対象を検出することは、ターゲット対象の位置を検出することを含み、例えば、検出される画像内のターゲット対象の検出フレームを決定し、検出される画像内のターゲット対象のインスタンス情報を決定することもでき、または検出される画像内のターゲット対象の検出フレームとインスタンス情報を同時に決定し、検出される画像内のターゲット対象をどのように決定するかは、後述でより詳細に説明される。

上記のステップＳ２０１ないしＳ２０３によるターゲット検出方法は、検出される画像を取得した後、まず、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定し、コーナーポイントは、画像内の主な特徴ポイントを指し、検出される画像におけるコーナーポイント位置情報は、検出される画像における各ターゲット対象の位置を表し、例えば、コーナーポイントは、左上コーナーポイントと右下コーナーポイントを含み、そのうち、左上コーナーポイントは、ターゲット対象の上側輪郭に対応する直線と、ターゲット対象の左側輪郭に対応する直線の交差点を指し、右下コーナーポイントは、ターゲット対象の下側輪郭に対応する直線と、ターゲット対象の右側輪郭に対応する直線の交差点を指し、左上コーナーポイントおよび右下コーナーポイントが、同じターゲット対象の検出フレームに属する場合、左上コーナーポイントおよび右下コーナーポイントにそれぞれ対応する求心オフセットテンソルが指向する位置は、比較的近いはずであるため、本発明の実施例によるターゲット検出方法は、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、同じターゲット対象に属するコーナーポイントを決定することができ、さらに、決定されたコーナーポイントに基づいて当該同じターゲット対象を検出することができる。

以下は、上記のＳ２０１ないしＳ２０３を説明し続ける。

上記のＳ２０２に対して、一実施形態において、検出される画像に基づいて、検出される画像におけるコーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定する場合、図３に示されたように、以下のステップＳ３０１ないしＳ３０３を含み得る。

Ｓ３０１において、検出される画像に対して特徴抽出を実行して、検出される画像に対応する初期特徴マップを取得する。

Ｓ３０２において、初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントのプーリング後の特徴マップを取得する。

Ｓ３０３において、コーナーポイントのプーリング後の特徴マップに基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報、および各コーナーポイントに対応する求心オフセットテンソルを決定する。

ここで、検出される画像のサイズは、特定し、例えば、サイズは、Ｈ＊Ｗであり、ここでのＨおよびＷは、それぞれ、検出される画像の長さと幅方向におけるピクセル値を示し、その後、当該検出される画像を予めトレーニングされた砂時計畳み込みニューラルネットワークに入力して、テクスチャの特徴抽出、色の特徴抽出、エッジの特徴抽出などの、特徴抽出を実行して、当該検出される画像に対応する初期特徴マップを取得することができる。

もちろん、砂時計畳み込みニューラルネットワークの入力端は、受信される画像のサイズに関する要求があるため、即ち、設定サイズの検出される画像を受信するため、検出される画像のサイズが、当該設定サイズに満たしてない場合、まず、検出される画像のサイズを調整する必要があり、その後、サイズを調整した後の検出される画像を当該砂時計畳み込みニューラルネットワークに入力して、特徴抽出およびサイズ圧縮を実行して、ｈ＊ｗ＊ｃサイズの初期特徴マップを取得することができ、ここでのｃは、初期特徴マップのチャネル数を示し、ｈおよびｗは、各チャネルにおける初期特徴マップのサイズを示す。

初期特徴マップには、複数の特徴ポイントが含まれ、各特徴ポイントは、すべて特徴データを有し、これらの特徴データは、検出される画像のグローバル情報を示すことができ、これらの特徴ポイントからコーナーポイントを抽出することを容易にするために、本発明の実施例は、初期特徴マップに対してコーナーポイントプーリング（Ｃｏｒｎｅｒ Ｐｏｏｌｉｎｇ）処理を実行して、コーナーポイントのプーリング後の特徴マップを取得するように提案し、コーナーポイントのプーリング後の特徴マップは、初期特徴マップと比べて、コーナーポイントに含まれるターゲット対象のセマンティック情報を拡張したため、コーナーポイントのプーリング後の特徴マップに基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報、および各コーナーポイントに対応する求心オフセットテンソルをより正確に決定することができる。

ここで、検出される画像に対して特徴抽出を実行することにより、初期特徴マップを取得し、初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントおよびコーナーポイントに対応する求心オフセット量を抽出し易くできる特徴マップ、即ち、コーナーポイントのプーリング後の特徴マップを取得する。

コーナーポイントのプーリング後の特徴マップを取得した後、当該コーナーポイントのプーリング後の特徴マップおよび予めトレーニングされたニューラルネットワークに従って、コーナーポイントがあるか否かを決定し、コーナーポイントがある場合、検出される画像における各コーナーポイントのコーナーポイント位置情報を決定する。本発明の実施例は、左上コーナーポイントおよび右下コーナーポイントを介して検出される画像におけるターゲット対象の位置を表し、即ち、各検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定するプロセスは、左上の検出される画像におけるコーナーポイントのコーナーポイント位置情報、および右下の検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定するプロセスであり得、ここで、左上コーナーポイント検出ネットワークを介して、左上検出される画像におけるコーナーポイントのコーナーポイント位置情報を検出し、および右下コーナーポイント検出ネットワークを介して、右下検出される画像におけるコーナーポイントのコーナーポイント位置情報を検出することができる。左上検出される画像におけるコーナーポイントのコーナーポイント位置情報および右下検出される画像におけるコーナーポイントのコーナーポイント位置情報の決定方式は似てるため、本発明の実施例は、左上検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定することを例として説明する。

一実施形態において、左上コーナーポイント検出ネットワークは、左上コーナーポイントヒートマップ予測ネットワークと左上コーナーポイント部分的なオフセット予測ネットワークを含み得、コーナーポイントのプーリング後の特徴マップに基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報を決定する場合、図４に示されたように、以下のステップＳ４０１ないしＳ４０４を含み得る。

Ｓ４０１において、コーナーポイントのプーリング後の特徴マップに基づいて、検出される画像に対応するコーナーポイントヒートマップを生成する。

左上検出される画像におけるコーナーポイントのコーナーポイント位置情報を予測する場合、ここでのコーナーポイントヒートマップは、左上コーナーポイント検出ネットワークのうちの左上コーナーポイントヒートマップ予測ネットワークを介して取得することができ、コーナーポイントのプーリング後の特徴マップを左上コーナーポイントヒートマップ予測ネットワークに入力して、検出される画像に対応する左上コーナーポイントヒートマップを取得することができ、当該左上コーナーポイントヒートマップには、複数の特徴ポイントが含まれ、各特徴ポイントは、当該特徴ポイントに対応する特徴データを有し、コーナーポイントヒートマップ内の特徴ポイントの特徴データに基づいて、当該特徴ポイントが、左上コーナーポイントとされる確率値を決定することができる。

ここで取得される左上コーナーポイントヒートマップのサイズは、ｈ＊ｗ＊ｍであり、ここでｈ＊ｗは、コーナーポイントヒートマップの各チャネルでのサイズを示し、ｍは、プリセットのチャネル数を示し、各プリセットのチャネルは、１つのプリセットの対象カテゴリに対応し、例えば、ｍ＝４０であると、４０種類のプリセットの対象カテゴリがあることを示し、当該左上コーナーポイントヒートマップは、検出される画像内の左上コーナーポイントを決定することに使用される以外に、当該左上コーナーポイントが、検出される画像で表すターゲット対象のカテゴリを決定することにも使用され、ターゲット対象のカテゴリを決定するプロセスは、後述で詳細に説明される。

Ｓ４０２において、コーナーポイントヒートマップに基づいて、コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定し、各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、コーナーポイントヒートマップの特徴ポイントからコーナーポイントをスクリーニングする。

各特徴ポイントが、左上コーナーポイントとされる確率値に基づいて、当該特徴ポイントが、左上コーナーポイントである確率を決定して、確率値が、設定閾値より大きい特徴ポイントを左上コーナーポイントとすることができる。

Ｓ４０３において、コーナーポイントヒートマップにおけるスクリーニングされた各コーナーポイントの位置情報、および各コーナーポイントに対応するローカルオフセット情報を取得する。

ローカルオフセット情報は、対応するコーナーポイントが表す真の物理ポイントのコーナーポイントヒートマップにおける位置オフセット情報を示すために使用され、ここで、各左上コーナーポイントに対応するローカルオフセット情報は、当該左上コーナーポイントが表す真の物理ポイントの左上コーナーポイントヒートマップにおける位置オフセット情報を示すために使用される。

ここでのローカルオフセット情報は、部分的なオフセットテンソルを介して示されることができ、当該部分的なオフセットテンソルは、左上コーナーポイントヒートマップでは、同様に２つの方向におけるオフセット値を示すことができ、例えば、左上コーナーポイントヒートマップ内の座標系は、２つの方向を含み、それぞれ、ｘ軸方向とｙ軸方向であると、当該部分的なオフセットテンソルは、ｘ軸方向におけるオフセット値、およびｙ軸方向におけるオフセット値を含む。

左上コーナーポイントヒートマップに対応する座標系に基づいて、左上コーナーポイントヒートマップ内の各特徴ポイントの当該左上コーナーポイントヒートマップにおける位置情報を取得することができ、取得された左上コーナーポイントの位置情報と当該左上コーナーポイントが表す真の物理ポイントの位置情報間に誤差がある可能性を考慮し、例えば、左上コーナーポイントヒートマップに対して位置検出を実行して、ある左上コーナーポイントの位置情報を取得し、当該左上コーナーポイントが表す真の物理ポイントの位置情報と、検出された当該左上コーナーポイントの位置情報に一定の偏差があると、当該ローカルオフセット情報は、当該偏差を示すために使用される。

ターゲット対象検出の精度を向上させるために、ここで、事前にトレーニングされる左上コーナーポイント部分的なオフセット予測ネットワークを導入し、その後、プーリングされた特徴マップを左上コーナーポイント予測ネットワークのうちの左上コーナーポイント部分的なオフセット予測ネットワークに入力して、左上コーナーポイントヒートマップ内の各特徴ポイントに対応するローカルオフセット情報を決定し、その後、当該ローカルオフセット情報に基づいて、コーナーポイントヒートマップにおける特徴ポイントの位置情報を修正し、その後、修正された位置情報に基づいて、左上検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定することができる。

Ｓ４０４において、コーナーポイントヒートマップにおける取得された各コーナーポイントの位置情報、各コーナーポイントに対応するローカルオフセット情報、およびコーナーポイントヒートマップと検出される画像とのサイズ比率に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報を決定する。

ここで、取得された各左上コーナーポイントの左上コーナーポイントヒートマップにおける位置情報は、左上コーナーポイントヒートマップ内のｘ軸方向における座標値ｘ、およびｙ軸方向における座標値ｙを含み得、検出される画像内の各左上コーナーポイントのコーナーポイント位置情報は、Ｘ軸方向における座標値Ｘ、およびＹ軸方向における座標値Ｙを含み得る。

ここで、以下の式（１）および式（２）に従って、第ｉ個の左上検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定することができる。

ここで、

は、検出される画像内のＸ軸方向における第ｉ個の左上コーナーポイントの座標値を示し、

は、検出される画像内のＹ軸方向における第ｉ個の左上コーナーポイントの座標値を示し、ｎは、左上コーナーポイントヒートマップと検出される画像とのサイズ比率を示し、

は、左上コーナーポイントヒートマップ内のｘ軸方向における第ｉ個の左上コーナーポイントの座標値を示し、

は、コーナーポイントヒートマップ内のｙ軸方向における第ｉ個の左上コーナーポイントの座標値を示し、

は、第ｉ個の左上コーナーポイントが表す真の物理ポイントのコーナーポイントヒートマップ内のｘ軸方向におけるオフセット値を示し、

は、第ｉ個の左上コーナーポイントが表す真の物理ポイントのコーナーポイントヒートマップ内のｙ軸方向におけるオフセット値を示す。

以上のプロセスは、左上検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定するプロセスであり、右下検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定するプロセスと同様に、即ち、コーナーポイントのプーリング後の特徴マップを右下コーナーポイント予測ネットワークのうちの右下コーナーポイントヒートマップ予測ネットワークに入力して、右下コーナーポイントヒートマップを取得し、さらに、右下コーナーポイントヒートマップ内の各特徴ポイントが、右下コーナーポイントとされる確率値を決定して、右下コーナーポイントをスクリーニングし、同時に、右下コーナーポイント予測ネットワークのうちの右下コーナーポイント部分的なオフセットネットワークを介して決定された右下コーナーポイントに対応するローカルオフセット情報と組み合わせて、各右下検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定し、ここでは、繰り返して説明しない。

同様に、以下の式（３）および式（４）に従って、第ｊ個の右下検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定することができる。

ここで、

は、検出される画像内のＸ軸方向における第ｊ個の右下コーナーポイントの座標値を示し、

は、検出される画像内のＹ軸方向における第ｊ個の右下コーナーポイントの座標値を示し、ｎは、右下コーナーポイントヒートマップと検出される画像とのサイズ比率を示し、

は、右下コーナーポイントヒートマップ内のｘ軸方向における第ｊ個の右下コーナーポイントの座標値を示し、

は、コーナーポイントヒートマップ内のｙ軸方向における第ｊ個の右下コーナーポイントの座標値を示し、

は、第ｊ個の右下コーナーポイントが表す真の物理ポイントのコーナーポイントヒートマップ内のｘ軸方向におけるオフセット値を示し、

は、第ｊ個の右下コーナーポイントが表す真の物理ポイントのコーナーポイントヒートマップ内のｙ軸方向におけるオフセット値を示す。

以上のステップＳ４０１ないしＳ４０４は、本発明の実施例による検出される画像における各コーナーポイントのコーナーポイント位置情報を決定する方式であり、当該プロセスは、コーナーポイントヒートマップを導入することにより、各特徴ポイントをコーナーポイントとする確率値を介して、コーナーポイントとすることができる特徴ポイントを決定し、コーナーポイントを選択した後、コーナーポイントヒートマップにおけるコーナーポイントの位置情報を修正した後、検出される画像におけるコーナーポイントのコーナーポイント位置情報を決定し、当該方式は、精度の高いコーナーポイントのコーナーポイント位置情報を取得して、後続で当該コーナーポイントに基づいて検出される画像におけるターゲット対象の位置を検出することを容易にすることができる。

以下は、各コーナーポイントに対応する求心オフセットテンソルを決定するプロセスを紹介する。コーナーポイントが、左上コーナーポイントと右下コーナーポイントに分けられる場合、同様に、左上コーナーポイントに対応する求心オフセットテンソル、および右下コーナーポイントに対応する求心オフセットテンソルをそれぞれ確認する必要があり、本発明の実施例は、左上コーナーポイントに対応する求心オフセットテンソルを決定することを例として詳細に説明し、右下コーナーポイントに対応する求心オフセットテンソルと左上コーナーポイントに対応する求心オフセットテンソルを決定する方式は類似し、本発明の実施例は、繰り返して説明しない。

一実施形態において、より正確な求心オフセットテンソルを取得するために、求心オフセットテンソルを決定する前に、特徴調整のプロセスを導入して、コーナーポイントのプーリング後の特徴マップを調整した後、求心オフセットテンソルを決定し、ここで、コーナーポイントのプーリング後の特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定する場合、図５に示されたように、以下のステップＳ５０１ないしＳ５０４を含み得る。

Ｓ５０１において、コーナーポイントのプーリング後の特徴マップに基づいて、コーナーポイントのプーリング後の特徴マップ内の各特徴ポイントに対応するガイドオフセットテンソルを決定する。

ここで、各特徴ポイントに対応するガイドオフセットテンソルは、当該特徴ポイントから検出される画像内のターゲット対象の中心点へ指向するオフセットテンソルを表す。

検出される画像におけるターゲット対象の位置は、ターゲット対象情報と関すことを考慮して、即ち、コーナーポイントのプーリング後の特徴マップのコーナーポイントの特徴データが、より豊かなターゲット対象情報を含むことを期待するため、ここで、各特徴ポイントを考慮することができ、特に、コーナーポイント特徴ベクトルが、より豊かなターゲット対象情報を含むことを示すため、各特徴ポイントに対応するガイドオフセットテンソルに基づいて、コーナーポイントのプーリング後の特徴マップに対して特徴調整を実行して、調整された特徴マップ内の、各特徴ポイント時に、コーナーポイントが、より豊かなターゲット対象情報を含むようにすることができる。

ここで、コーナーポイントのプーリング後の特徴マップに対して畳み込み演算を実行することにより、コーナーポイントのプーリング後の特徴マップ内の各特徴ポイントに対応するガイドオフセットテンソルを取得することができ、当該ガイドオフセットテンソルは、ｘ軸方向に沿ったオフセット値およびｙ軸方向に沿ったオフセット値を含む。

左上コーナーポイントに対応する求心オフセットテンソルを決定することを例として、ここで、コーナーポイントのプーリング後の特徴マップに対して畳み込み演算を実行して、主に、特徴ポイントを、左上コーナーポイントとすることに対応するガイドオフセットテンソルを取得する。

Ｓ５０２において、各特徴ポイントに対応するガイドオフセットテンソルに基づいて、当該特徴ポイントのオフセットフィールド情報を決定する。

ここで、前記オフセットフィールド情報には、当該特徴ポイントに関連付けられる複数の初期特徴ポイントが、それぞれに対応するオフセット後の特徴ポイントをそれぞれ指向するオフセットテンソルが含まれる。

各特徴ポイントに対応するガイドオフセットテンソルを取得した後、各特徴ポイントに対応するガイドオフセットテンソルに基づいて畳み込み演算を実行して、当該特徴ポイントのオフセットフィールド情報を取得する。

左上コーナーポイントに対応する求心オフセットテンソルを決定することを例として、各特徴ポイントが、左上コーナーポイントとされる場合に対応するガイドオフセットテンソルを取得した後、各特徴ポイントが、左上コーナーポイントとされる場合に対応するガイドオフセットテンソルに対して畳み込み演算を実行して、当該特徴ポイントが、左上コーナーポイントとされる場合のオフセットフィールド情報を取得する。

Ｓ５０３において、コーナーポイントのプーリング後の特徴マップ、および当該コーナーポイントのプーリング後の特徴マップのうちの特徴ポイントのオフセットフィールド情報に基づいて、コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、調整された特徴マップを取得する。

コーナーポイントのプーリング後の特徴マップの特徴ポイントが、左上コーナーポイントとされる場合のオフセットフィールド情報を取得した後、コーナーポイントのプーリング後の特徴マップ、および当該コーナーポイントのプーリング後の特徴マップ内の各特徴ポイントを、左上コーナーポイントとする場合のオフセットフィールド情報を取得する同時に、可変形畳み込み演算を実行して、左上コーナーポイントに対応する調整された特徴マップを取得することができる。

ここで、ステップＳ５０１ないしＳ５０３のプロセスは、図６に示された特徴調整ネットワークを介して決定されることができる。

コーナーポイントのプーリング後の特徴マップに対して畳み込み演算を実行して、当該コーナーポイントのプーリング後の特徴マップ内の各特徴ポイントが、左上コーナーポイントとされる場合に対応するガイドオフセットテンソルを取得し、その後、当該ガイドオフセットテンソルに対して畳み込み演算を実行して、オフセットフィールド情報を取得し、ここでのオフセットフィールド情報に対して、以下のように説明される。

コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データに対して畳み込み演算を実行し、例えば、コーナーポイントのプーリング後の特徴マップ内の特徴ポイントＡの特徴データに対して畳み込み演算を実行する場合、オフセットフィールド情報がない場合、３＊３畳み込みに従って、特徴ポイントＡの特徴データに対して畳み込み演算を実行する場合、コーナーポイントのプーリング後の特徴マップ内の、特徴ポイントＡを含む９個の実線フレームによって示される初期特徴ポイントの特徴データに対して畳み込み演算を実行することにより得られることができる。オフセットフィールド情報を考慮した後、より豊かなターゲット対象情報を含む特徴ポイントの特徴データを介して、特徴ポイントＡに対して特徴調整を実行しようとし、例えば、各特徴ポイントに対応するガイドオフセットベクトルに基づいて、特徴ポイントＡに対して特徴調整を実行するための特徴ポイントをオフセットすることができ、例えば、オフセットされた特徴ポイントは、図６内のコーナーポイントのプーリング後の特徴マップの９個の点線フレームによって示すことができ、このようにして、この９個のオフセットされた特徴ポイントの特徴データを介して畳み込み演算を実行して、特徴ポイントＡの特徴データに対して特徴調整を実行することができる。ここで、オフセットフィールド情報は、図６内のオフセットテンソルによって示されることができ、オフセットテンソル内の各オフセットテンソルは、即ち、各初期特徴ポイントが、当該初期特徴ポイントに対応するオフセットされた特徴ポイントに指向するオフセットテンソルであり、初期特徴ポイントが、ｘ軸方向とｙ方向でオフセットした後、当該初期特徴ポイントに対応するオフセットされた特徴ポイントを取得することを示す。

各特徴ポイントが、左上コーナーポイントとされる場合に対応するガイドオフセットテンソルを考慮して、特徴調整後の特徴ポイント内の特徴データに含まれるターゲット対象情報をより豊かにし、それにより、後で、調整された特徴マップに基づいて、各左上コーナーポイントに対応する求心オフセットテンソルを決定する場合に、より正確な求心オフセットテンソルを取得することができることを容易にする。

同様に、各特徴ポイントが、右下コーナーポイントとされる場合の相対ターゲット対象の中心点のガイドオフセットテンソルを考慮して、特徴調整後の特徴ポイントに含まれるターゲット対象情報をより豊かにし、それにより、後で、調整された特徴マップに基づいて、各右下コーナーポイントに対応する求心オフセットテンソルを決定する場合に、より正確な求心オフセットテンソルを取得することができることを容易にする。

Ｓ５０４において、調整された特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定する。

ここで、調整された特徴マップ内のコーナーポイントに対応する特徴データに対して畳み込み演算を実行して、各コーナーポイントに対応する求心オフセットテンソルを決定する。

ここで、調整された特徴マップには、左上コーナーポイントに対応する調整された特徴マップ、および右下コーナーポイントに対応する調整された特徴マップが含まれることができ、左上コーナーポイントに対応する調整された特徴マップに基づいて、各左上コーナーポイントに対応する求心オフセットテンソルを決定する場合に、左上コーナーポイントに対応する求心オフセット予測ネットワークを介して決定することができ、右下コーナーポイントに対応する調整された特徴マップに基づいて、各右下コーナーポイントに対応する求心オフセットテンソルを決定する場合には、右下コーナーポイントに対応する求心オフセット予測ネットワークを介して決定することができる。

以上のＳ５０１ないしＳ５０４のプロセスは、本発明の実施例による求心オフセットテンソルを決定するプロセスであり、ターゲット対象情報を考慮することを介して、例えば、コーナーポイントに対応するガイドオフセットテンソル、および特徴ポイントのオフセットフィールド情報を導入することを介して、コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、取得された調整された特徴マップ内の特徴ポイントの特徴データが、より豊かなターゲット対象情報を含むようにして、各コーナーポイントに対応するより正確な求心オフセットテンソルを決定することができ、正確な求心オフセットテンソルを介して、コーナーポイントが指向する中心点位置情報を正確に取得して、検出される画像におけるターゲット対象の位置を正確に検出することができる。

上記は、コーナーポイントヒートマップを介して、検出される画像に含まれるターゲット対象のカテゴリを決定することを言及し、ここでは、コーナーポイントヒートマップに従って、ターゲット対象のカテゴリをどのように決定するかを紹介し、上記から、検出される画像に対応するコーナーポイントヒートマップは、複数のチャネルにそれぞれ対応するコーナーポイントヒートマップを含むことを知り、各チャネルは、１つのプリセットの対象カテゴリに対応すると、上記の、コーナーポイントヒートマップに基づいて、コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定した後、図７に示されたように、本発明の実施例により検出方法は、以下のステップＳ７０１ないしＳ７０２をさらに含む。

Ｓ７０１において、複数のチャネルのうちの各チャネルに対して、当該チャネルに対応するコーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、当該チャネルに対応するコーナーポイントヒートマップにコーナーポイントがあるか否かを決定する。

Ｓ７０２において、当該チャネルに対応するコーナーポイントヒートマップにコーナーポイントがある場合、検出される画像に、当該チャネルに対応するプリセットの対象カテゴリのターゲット対象が含まれると決定する。

検出される画像に対応するコーナーポイントヒートマップに対して、各チャネルにそれぞれ対応するコーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値は、当該チャネルのコーナーポイントヒートマップにコーナーポイントがあるか否かを決定することができ、例えば、あるチャネルのコーナーポイント特徴マップに複数の対応する確率値が、設定閾値より大きい特徴ポイントが含まれる場合、当該チャネルのコーナーポイント特徴マップにコーナーポイントが含まれる確率が大きいことを説明し、コーナーポイントは、検出される画像におけるターゲット対象の位置を表すために使用され、そうすると、検出される画像に、当該チャネルに対応するプリセットの対象カテゴリのターゲット対象が含まれることを説明することができる。

例えば、ある動物園内の動物を検出することに対して、チャネル数を１００に設定することができ、即ち、取得されるコーナーポイントヒートマップは、ｈ＊ｗ＊１００であり、各チャネルは、１つのプリセットの対象カテゴリに対応し、ある検出される画像に対して、取得される当該検出される画像に対応するコーナーポイントヒートマップの１００個のチャネルのうち、最初のチャネルと二番目のチャネル内のコーナーポイントヒートマップにのみコーナーポイントが含まれ、且つ、最初のチャネルに対応するプリセットの対象カテゴリは、０１であり、二番目のチャネルに対応するプリセットの対象カテゴリは、０２である場合、検出される画像には、カテゴリが０１と０２であるターゲット対象が含まれることを説明することができる。

本発明の実施例は、コーナーポイントのプーリング後の特徴マップをコーナーポイントヒートマップ予測ネットワークに入力することにより、プリセットのチャネル数を含むコーナーポイントヒートマップを取得することができ、各チャネルに対応するコーナーポイントヒートマップにコーナーポイントがあるか否かを介して、検出される画像に当該チャネルに対応するカテゴリのターゲット対象があるか否かを決定することができることを提案する。

さらに、ここで、各チャネルでのコーナーポイントヒートマップに含まれるコーナーポイントを検出した後、コーナーポイントに対応する求心オフセットテンソルを決定して、各チャネルに対応する検出される画像におけるターゲット対象の位置を決定し、それにより、当該チャネルに対応するターゲット対象のカテゴリと組み合わせて、検出される画像内の各ターゲット対象のカテゴリを決定することができる。

上記のＳ２０３に対して、即ち、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象を決定する場合、
検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象の検出フレームを決定することを含み得る。

ここで、検出される画像内のターゲット対象の検出フレームを生成する場合、少なくとも１つの左上コーナーポイントおよび右下コーナーポイントのコーナーポイント位置情報によって決定される必要があり、または、少なくとも１つの右上コーナーポイントおよび左下コーナーポイントのコーナーポイント位置情報によって決定される必要があり、本発明の実施例は、１つの左上コーナーポイントおよび１つの右下コーナーポイントを介して、検出フレームを決定することを例として説明する。

ここで、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象の検出フレームを決定する場合、図８に示されたように、以下のステップを含み得る。

Ｓ８０１において、検出される画像における各コーナーポイントのコーナーポイント位置情報に基づいて、候補検出フレームを構成する候補コーナーポイントペアをスクリーニングする。

左上コーナーポイントと右下コーナーポイントを含む候補コーナーポイントペアを例として、候補検出フレームを構成できる左上コーナーポイントおよび右下コーナーポイントをスクリーニングする場合、スクリーニング速度を向上させるために、左上コーナーポイントと右下コーナーポイントが、同じターゲット対象カテゴリに属するか否かを判断し、任意の１つの左上コーナーポイントと右下コーナーポイントが、同じターゲット対象カテゴリに属すると決定した場合、続けて、当該任意の１つの左上コーナーポイントおよび右下コーナーポイントの検出される画像におけるコーナーポイント位置情報が、同じ候補検出フレームを構成できるか否かを判断する。

例えば、左上コーナーポイントは、検出される画像では、右下コーナーポイントの左上に位置すべきであり、左上コーナーポイントおよび右下コーナーポイントのコーナーポイント位置情報に従って、例えば、検出される画像における左上コーナーポイントの位置座標、および検出される画像における右下コーナーポイントの位置座標に従って、左上コーナーポイントを右下コーナーポイントの左上に位置させることができない場合、当該左上コーナーポイントおよび右下コーナーポイントは、候補コーナーポイントペアを構成できない。

ここで、検出される画像で座標系を確立することができ、当該座標系は、Ｘ軸およびＹ軸を含み、当該座標系における各コーナーポイントのコーナーポイント位置情報は、Ｘ軸方向における横座標値、およびＹ軸方向における縦座標値を含み、その後、当該座標系で、各コーナーポイントが、当該座標系で対応する座標値に従って、候補検出フレームを構成できる左上コーナーポイントおよび右下コーナーポイントをスクリーニングする。

Ｓ８０２において、各候補コーナーポイントペアのうちの各コーナーポイントの検出される画像におけるコーナーポイント位置情報および当該コーナーポイントに対応する求心オフセットテンソルに基づいて、当該コーナーポイントが指向する中心点位置情報を決定する。

ここで、以下の式（５）に従って、各候補コーナーポイントペアのうちの左上コーナーポイントが指向する中心点位置情報を決定し、以下の式（６）に従って、各候補コーナーポイントペアのうちの右下コーナーポイントが指向する中心点位置情報を決定することができる。

ここで、

は、第ｉ個の左上コーナーポイントが指向する中心点位置情報のＸ軸方向の対応する横座標値を示し、

は、第ｉ個の左上コーナーポイントが指向する中心点位置情報のＹ軸方向の対応する縦座標値を示し、

は、検出される画像における第ｉ個の左上コーナーポイントのコーナーポイント位置情報のＸ軸方向の対応する横座標値を示し、

は、検出される画像における左上コーナーポイントのコーナーポイント位置情報のＹ軸方向の対応する縦座標値を示し、

は、第ｉ個の左上コーナーポイントの求心オフセットテンソルのＸ軸方向に向かうオフセット値を示し、

は、第ｉ個の左上コーナーポイントの求心オフセットテンソルのＹ軸方向に向かうオフセット値を示す。

ここで、

は、第ｊ個の右下コーナーポイントが指向する中心点位置情報のＸ軸方向の対応する横座標値を示し、

は、第ｊ個の右下コーナーポイントが指向する中心点位置情報のＹ軸方向の対応する縦座標値を示し、

は、検出される画像における第ｊ個の右下コーナーポイントのコーナーポイント位置情報のＸ軸方向の対応する横座標値を示し、

は、検出される画像における第ｊ個の右下コーナーポイントのコーナーポイント位置情報のＹ軸方向の対応する縦座標値を示し、

は、第ｊ個の右下コーナーポイントの求心オフセットテンソルのＸ軸方向に向かうオフセット値を示し、

は、第ｊ個の右下コーナーポイントの求心オフセットテンソルのＹ軸方向に向かうオフセット値を示す。

Ｓ８０３において、各候補コーナーポイントペアのうちの各コーナーポイントの検出される画像におけるコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定する。

ここでの中心領域情報は、事前に設定されたものであり得、その定義は、ターゲット対象の検出フレーム中心と重複する中心領域フレームの座標範囲であり、当該中心領域フレームの座標範囲を介して、候補検出フレームに唯一のターゲット対象が含まれるか否かを検出することができる。

例えば、候補コーナーポイントペアでは、左上コーナーポイントが指向する中心点位置情報と、右下コーナーポイントが指向する中心点位置情報が、中心領域フレームの座標範囲に位置する場合、当該中心領域フレームの座標範囲が比較的に小さい場合、左上コーナーポイントが指向する中心点位置情報と右下コーナーポイントが指向する中心点位置情報が、比較的に近いと見なし、それにより、当該候補コーナーポイントペアによって構成される候補検出フレームが、唯一のターゲット対象を含むと決定することができる。

ここで、前記検出される画像における前記各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定する場合、
（１）当該候補コーナーポイントペアの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームを表すコーナーポイント位置情報を決定することと、
（２）中心領域フレームのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームの座標範囲を決定することと、を含む。

第ｍ個の候補コーナーポイントペアが、第ｉ個の左上コーナーポイントと第ｊ個の右下コーナーポイントによって構成される場合、以下の式（７）ないし式（１０）に従って、当該第ｍ個の候補コーナーポイントペアに対応する中心領域フレームのコーナーポイント位置情報を決定することができる。

ここで、

は、第ｍ個の候補コーナーポイントペアに対応する中心領域フレームの左上コーナーポイントの、検出される画像のＸ軸方向における横座標値を示し、

は、第ｍ個の候補コーナーポイントペアに対応する中心領域フレームの左上コーナーポイントの、検出される画像のＹ軸方向における横座標値を示し、

は、第ｍ個の候補コーナーポイントペアに対応する中心領域フレームの右下コーナーポイントの、検出される画像のＸ軸方向における横座標値を示し、

は、第ｍ個の候補コーナーポイントペアに対応する中心領域フレームの右下コーナーポイントの、検出される画像のＹ軸方向における横座標値を示し、

は、中心領域フレームの長さおよび幅と、候補検出フレームの長さおよび幅との比率を示し、当該比率は、事前に設定され、且つ、

である。

第ｍ個の候補コーナーポイントペアに対応する中心領域フレームのコーナーポイント位置情報を決定した後、以下の式（１１）に従って、当該中心領域フレームの座標範囲を決定することができる。

ここで、

は、第ｍ個の候補コーナーポイントペアに対応する中心領域フレームの座標範囲を示し、当該中心領域フレームの座標範囲は、Ｘ軸方向における

値、およびＹ軸方向における

値を介して示され、ここで

の範囲は、

に満たし、

の範囲は、

に満たす。

Ｓ８０４において、各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、候補検出フレームでターゲット対象の検出フレームを決定する。

各候補コーナーポイントペアに対応する中心領域情報は、当該候補コーナーポイントペアのうち、各コーナーポイントが指向する中心点位置情報間の接近程度を制限するために使用され、特定の候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報が、当該候補コーナーポイントペアに対応する中心領域フレーム内に位置する場合、候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点が、比較的に近いことを説明でき、候補コーナーポイントペアによって構成される候補検出フレームに含まれるターゲット対象は、唯一のターゲット対象であることを説明できる。

本発明の実施例によるターゲット対象の検出フレームを決定する方式は、コーナーポイントのコーナーポイント位置情報を介して、まず、候補検出フレームを構成できる候補コーナーポイントペアを決定し、その後、当該候補コーナーポイントペアのうちの各コーナーポイントにそれぞれ対応する求心オフセットテンソルに基づいて、候補検出フレームによって囲まれるターゲット対象が、同じターゲット対象であるか否かを決定し、それにより、検出される画像内のすべてのターゲット対象の検出フレームをより正確に検出することができる。

ここで、各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、候補検出フレームでターゲット対象の検出フレームを決定する場合、図９に示されたように、以下のステップＳ９０１ないしＳ９０３を含み得る。

Ｓ９０１において、各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、有効な候補コーナーポイントペアを決定する。

ここで、各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報が、当該候補コーナーポイントペアに対応する中心領域フレーム内に位置する場合、当該候補コーナーポイントペアを有効な候補コーナーポイントペアとする。

ここで、以下の式（１２）を介して、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントによって構成される候補コーナーポイントペアが、有効な候補コーナーポイントペアであるか否かを判断し、即ち、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントによって構成される候補検出フレームに対応する第ｍ個の中心領域フレームの座標範囲と、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントがそれぞれ指向する中心点位置情報が、以下の式（１２）に満たすか否かを判断することができる。

第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントによって構成される候補検出フレームに対応する第ｍ個の中心領域フレームの座標範囲と、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントがそれぞれ指向する中心点位置情報が、以上の式（１２）に満たす場合、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントによって構成される候補コーナーポイントペアが、有効な候補コーナーポイントペアであることを説明し、その後、続けて当該有効な候補コーナーポイントに対してＳ９０２のステップを実行する。そうでない場合、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントによって構成される候補コーナーポイントペアが、無効な候補コーナーポイントペアである場合、続けて、当該第ｉ個の左上コーナーポイントおよび他の右下コーナーポイントが、有効な候補コーナーポイントペアを構成できるか否かを判断し、有効な候補コーナーポイントペアを取得した後、後続のステップを実行する。

Ｓ９０２において、有効な候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、有効な候補コーナーポイントペアに対応する中心領域情報、および有効な候補コーナーポイントペアのうちの各コーナーポイントに対応する確率値に基づいて、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を決定する。

ここで、各コーナーポイントに対応する確率値は、当該コーナーポイントのコーナーポイントヒートマップで対応する特徴ポイントが、コーナーポイントとされる確率値を示すために使用される。

検出される画像を検出する場合、同じターゲット対象に対して複数の候補検出フレームが現れる可能性があり、いくつかの候補検出フレームが示す検出される画像におけるターゲット対象の位置の精度が低い可能性がある。ここで、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を導入し、例えば、有効な候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点によって構成さされる領域と、有効な候補コーナーポイントペアに対応する中心領域フレームとの面積関係、および有効な候補コーナーポイントペアのうちの各コーナーポイントに対応する確率値を介して、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を示すことができ、スコア値が高い候補検出フレームをターゲット対象の検出フレームとする確率が比較的に大きく、これを介して、候補検出フレームをスクリーニングする。

ここで、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントによって構成される有効な候補コーナーポイントペアに対して、以下の式（１３）に従って、当該有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を決定することができる。

ここで、

は、第ｉ個の左上コーナーポイントおよび第ｊ個の右下コーナーポイントによって構成される有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を示し、

は、第ｉ個の左上コーナーポイントの左上コーナーポイントヒートマップで対応する特徴ポイントが、左上コーナーポイントとされる確率値を示し、

は、第ｊ個の右下コーナーポイントの右下コーナーポイントヒートマップで対応する特徴ポイントが、右下コーナーポイントとされる確率値を示す。

Ｓ９０３において、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値、および隣接する候補検出フレーム間の重複領域のサイズに基づいて、候補検出フレームでターゲット対象の検出フレームを決定する。

ここで、重複領域は、検出される画像における重複領域のサイズを介して決定されることができ、以下は、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値、および隣接する候補検出フレーム間の重複領域に基づいて、ターゲット対象の検出フレームをどのようにスクリーニングするかを紹介する。

ここで、ソフト非最大阻害を介して、複数の候補検出フレームでターゲット対象の検出フレームをスクリーニングすることができ、ここで、重複領域閾値を超える複数の候補検出フレームに対して、対応するスコア値が最っも高い候補検出フレームをターゲット対象の検出フレームとして使用し、複数の候補検出フレーム内の他の候補検出フレームを削除することができ、このようにして、検出される画像内のターゲット対象の検出フレームを取得することができる。

以上のステップＳ９０１ないしＳ９０３は、候補検出フレームを構成する候補コーナーポイントペアに対して効果的なスクリーニングを実行することにより、１つのみを表すターゲット対象をスクリーニングできる候補検出フレームを決定し、その後、これらの１つのターゲット対象のみを表す候補検出フレームに対して、ソフト非最大阻害スクリーニングを実行して、ターゲット対象を表す検出フレームを正確に取得する。

検出される画像内のターゲット対象の検出フレームを取得した後、当該検出フレーム内のターゲット対象のインスタンス情報を決定することができ、ここで、ターゲット対象の検出フレームおよび検出される画像に対して特徴抽出を実行して得れらた初期特徴マップに基づいて、検出される画像内の前記ターゲット対象のインスタンス情報を決定することができる。

ここでのインスタンス情報は、マスクを介して示すことができ、ここでのマスクは、画像内のターゲット対象に対してインスタンス分割を実行した後、ピクセルレイヤで各ターゲット対象のピクセルを与えることを指し、そのため、マスクは、物体のエッジまで正しくして、検出される画像におけるターゲット対象のより正確な位置を取得することができ、それ以外に、マスクに基づいて、ターゲット対象の形態を示すこともでき、それにより、当該形態に基づいて、ターゲット対象のカテゴリの決定が正確であるか否かを検証し、およびマスクによって示されるターゲット対象の形態に基づいて、ターゲット対象に対して後続の動作分析を実行することができ、本発明の実施例ではそれに対して詳細に説明しない。

ここで、ターゲット対象の検出フレームおよび検出される画像に対して特徴抽出を実行して得られる初期特徴マップに基づいて、検出される画像内のターゲット対象のインスタンス情報を決定する場合、
（１）ターゲット対象の検出フレームおよび初期特徴マップに基づいて、初期特徴マップの検出フレーム内の特徴ポイントの特徴データを抽出することと、
（２）初期特徴マップの検出フレーム内の特徴ポイントの特徴データに基づいて、検出される画像内のターゲット対象のインスタンス情報を決定することと、を含む。

ここで、ターゲット対象の検出フレームおよび検出される画像に対応する初期特徴マップを関心領域抽出ネットワークに入力し、当該関心領域抽出ネットワークは、まず、当該初期特徴マップのサイズとマッチングする関心領域を抽出し、その後、関心位置合わせプーリング処理を介して、当該初期特徴マップの当該検出フレームにおける（即ち、関心領域）特徴ポイントの特徴データを取得し、次に、当該初期特徴マップの検出フレームにおける特徴ポイントの特徴データをマスク予測ネットワークに入力して、ターゲット対象のインスタンス情報を生成することができ、当該インスタンス情報は、マスクの形で示すことができ、その後、当該ターゲット対象のマスクを検出される画像内のターゲット対象と同じサイズに拡大することができ、即ち、検出される画像のターゲット対象のインスタンス情報を取得することができる。

以下は、図１０を参照して、本発明の実施例によるターゲット検出方法に対して全体的に説明する。

検出される画像を砂時計畳み込みニューラルネットワークに入力して、当該検出される画像に対応する初期特徴マップｆを取得し、その後、当該検出される画像内のターゲット対象を検出する場合に、当該初期特徴マップｆに対してコーナーポイントプーリング処理を実行して、コーナーポイントのプーリング後の特徴マップｐを取得することができ、さらに、当該コーナーポイントのプーリング後の特徴マップｐに対して左上コーナーポイント検出および特徴調整を実行して、当該左上コーナーポイントおよび当該左上コーナーポイントに対応する求心オフセットテンソルを取得することができる。左上コーナーポイントを取得するプロセスは、左上コーナーポイント検出ネットワークを介して決定され、当該左上コーナーポイント検出ネットワークは、左上コーナーポイントヒートマップ予測ネットワークおよび左上コーナーポイント部分的なオフセット予測ネットワーク（図１０には未図示）を含み、左上コーナーポイントに対応する求心オフセットテンソルを取得する前に、まず、特徴調整ネットワークを介して、コーナーポイントのプーリング後の特徴マップｐに対して特徴調整を実行し、当該プロセスは、左上コーナーポイントに対応するガイドオフセットテンソルおよびオフセットフィールド情報を決定し、その後、可変形畳み込み演算に基づいて、コーナーポイントのプーリング後の特徴マップｐを調整して、調整された特徴マップｇを取得し、さらに、畳み込み演算を介して、左上コーナーポイントに対応する求心オフセットテンソルを決定することを含む。

右下コーナーポイントは、右下コーナーポイント検出ネットワークによって決定され、右下コーナーポイントに対応する求心オフセットテンソルは、特徴調整および畳み込み演算を介して得られ、プロセスは、左上コーナーポイントおよび左上コーナーポイントに対応する求心オフセットテンソルの決定プロセスと類似し、その後、左上コーナーポイントおよび左上コーナーポイントに対応する求心オフセットテンソル、および右下コーナーポイントおよび右下コーナーポイントに対応する求心オフセットテンソルに基づいて、ターゲット対象の検出フレームを共に決定する。

ターゲット対象の検出フレームを取得した後、当該ターゲット対象の検出フレームおよび初期特徴マップｆに基づいて関心領域を抽出し、さらに、当該関心領域に対して関心領域位置合わせプーリング処理を実行して、関心領域特徴（即ち、当該検出フレームにおける初期特徴マップの特徴ポイントの特徴データ）を取得し、さらに、マスク予測ネットワーク内の畳み込み演算を介して、ターゲット対象のマスクを取得することができ、さらに、当該マスクに対してサイズ拡大を実行した後、検出される画像と同じサイズのマスク画像（即ち、ターゲット対象のインスタンス情報）を取得する。

本発明の実施例によるターゲット検出方法を介して、ターゲット対象の検出フレーム、ターゲット対象のマスクおよびターゲット対象のカテゴリを出力することができ、事前に設定された要求に従って、必要な結果を取得することができ、例えば、ターゲット対象の検出フレームを出力し、またはターゲット対象のマスク画像を出力し、またはターゲット対象の検出フレームを出力し、ターゲット対象のマスク画像も出力し、且つ、ターゲット対象のカテゴリを同時に出力することができ、本発明の実施例では限定しない。

本発明の実施例のターゲット検出方法は、ニューラルネットワークによって実現されることができ、ニューラルネットワークは、ラベル付けされたターゲットサンプル対象を含むサンプルイメージを使用してトレーニングして得られる。

ここで、図１１に示されたように、本発明の実施例によるターゲット検出方法のニューラルネットワークは、以下のステップを採用してトレーニングして得られることができ、ステップＳ１１０１ないしＳ１１０４を含む。

Ｓ１１０１において、サンプル画像を取得する。

ここでのサンプル画像は、ラベル付けされたターゲットサンプル対象の陽性サンプル、およびターゲットサンプル対象を含まない陰性サンプルを含み得、陽性サンプルに含まれるターゲット対象は、複数のカテゴリを含み得る。

ここで、ラベル付けされたターゲットサンプル対象の陽性サンプルは、検出フレームを介してラベリングされたターゲットサンプル対象、およびマスクを介してラベリングされたターゲットサンプル対象に分けられることができる。

Ｓ１１０２において、サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルを決定し、サンプルコーナーポイントは、サンプル画像内のターゲットサンプル対象の位置を表す。

ここで、サンプル画像に基づいて、サンプルコーナーポイントのサンプル画像におけるコーナーポイント位置情報、および各サンプルコーナーポイントにそれぞれ対応する求心オフセットテンソルを決定するプロセスは、上記の検出される画像におけるコーナーポイントのコーナーポイント位置情報、および各コーナーポイントにそれぞれ対応する求心オフセットテンソルを決定する方式と類似し、ここでは繰り返して説明しない。

Ｓ１１０３において、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、サンプル画像内のターゲットサンプル対象を予測する。

ここで、サンプル画像でターゲットサンプル対象を予測するプロセスは、上記の検出される画像でターゲット対象を決定する方式と同じであり、ここでは繰り返して説明しない。

Ｓ１１０４において、予測されるサンプル画像内のターゲットサンプル対象およびサンプル画像内のラベル付けされたターゲットサンプル対象に基づいて、ニューラルネットワークのネットワークパラメータ値を調整する。

ここで、損失関数を導入して、ターゲットサンプル対象を予測するときに対応する損失値を決定し、複数回のトレーニングの後、損失値を介して、ニューラルネットワークのネットワークパラメータ値を調整することができ、例えば、損失値を設定閾値より小さくする場合に、トレーニングを停止して、ニューラルネットワークのネットワークパラメータ値を取得することができる。

さらに、ターゲットサンプル対象の検出フレーム、およびターゲットサンプル対象のマスク、およびターゲットサンプル対象のカテゴリを決定するプロセスは、上記で紹介されたターゲット対象の検出フレーム、ターゲット対象のマスクおよびターゲット対象のカテゴリを決定するプロセスと類似し、ここでは繰り返して説明しない。

本発明の実施例によるニューラルネットワークのトレーニング方法は、サンプル画像を取得し、当該サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報、および各サンプルコーナーポイントにそれぞれ対応する求心オフセットテンソルを決定して、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、サンプル画像でターゲットサンプル対象を検出する。サンプルコーナーポイントは、画像内の主な特徴ポイントを指し、例えばｍサンプルコーナーポイントは、左上サンプルコーナーポイントおよび右下サンプルコーナーポイントを含み得、ここで、左上サンプルコーナーポイントは、ターゲットサンプル対象の上側輪郭に対応する直線と、ターゲットサンプル対象んお左側輪郭に対応する直線の交差点を指し、右下サンプルコーナーポイントは、ターゲットサンプル対象の下側輪郭に対応する直線と、ターゲットサンプル対象の右側輪郭に対応する直線の交差点を指し、左上サンプルコーナーポイントと右下サンプルコーナーポイントが、同じターゲットサンプル対象の検出フレームに属する場合、左上サンプルコーナーポイントと右下サンプルコーナーポイントにそれぞれ対応する求心オフセットテンソルが指向する位置は、比較的に近いはずであるため、本発明の実施例によりニューラルネットワークのトレーニング方法は、トレーニングされるサンプル画像におけるターゲットサンプル対象の位置を表すコーナーポイント位置情報、および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、同じターゲットサンプル対象に属するサンプルコーナーポイントを決定し、さらに、決定されたサンプルコーナーポイントに基づいて、当該同じターゲットサンプル対象を検出し、その後、サンプル画像内のラベリングターゲット対象に基づいて、ニューラルネットワークパラメータを調整し続けることにより、精度の高いニューラルネットワークを取得し、当該精度の高いニューラルネットワークに基づいて、ターゲット対象を正確に検出することができる。

当業者は、上記の方法において、ステップの書き込み順序は、厳密な実行順序で、実装プロセスの制限となることではなく、各ステップの実行順序は、その機能と可能性に基づくべきであることを理解することができる。

同じ技術構想に基づいて、本発明の実施例では、さらに、ターゲット検出方法に対応するターゲット検出装置を提供し、本発明の実施例における装置の技術的原理と本発明の実施例の上記のターゲット検出方法と似てるため、装置の実施は方法の実施を参照でき、繰り返す部分は再び説明しない。

図１２を参照すると、本発明の実施例によるターゲット検出装置１２００の概略図であり、装置は、取得部１２０１、決定部１２０２、検出部１２０３を備える。

ここで、取得部１２０１は、検出される画像を取得するように構成され、
決定部１２０２は、検出される画像に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定するように構成され、コーナーポイントは、検出される画像内のターゲット対象の位置を表し、
検出部１２０３は、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象を決定するように構成される。

一可能な実施形態において、決定部１２０２は、
検出される画像に対して特徴抽出を実行して、検出される画像に対応する初期特徴マップを取得し、
初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントのプーリング後の特徴マップを取得し、
コーナーポイントのプーリング後の特徴マップに基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報、および各コーナーポイントに対応する求心オフセットテンソルを決定するように構成される。

一可能な実施形態において、決定部１２０２が、コーナーポイントのプーリング後の特徴マップに基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報を決定するように構成される場合に、
コーナーポイントのプーリング後の特徴マップに基づいて、検出される画像に対応するコーナーポイントヒートマップを生成することと、
コーナーポイントヒートマップに基づいて、コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定し、各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、特徴ポイントからコーナーポイントをスクリーニングすることと、
スクリーニングされた各コーナーポイントが、コーナーポイントヒートマップにおける位置情報、および各コーナーポイントに対応するローカルオフセット情報を取得することであって、ローカルオフセット情報は、コーナーポイントヒートマップにおける対応するコーナーポイントが表す真の物理ポイントの位置オフセット情報を示すために使用されることと、
コーナーポイントヒートマップにおける取得された各コーナーポイントの位置情報、各コーナーポイントに対応するローカルオフセット情報、およびコーナーポイントヒートマップと検出される画像とのサイズ比率に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することと、を含む。

一可能な実施形態において、決定部１２０２が、コーナーポイントのプーリング後の特徴マップに基づいて、各コーナーポイントにそれぞれ対応する求心オフセットテンソルを決定するように構成される場合に、
コーナーポイントのプーリング後の特徴マップに基づいて、コーナーポイントのプーリング後の特徴マップのうちの各特徴ポイントに対応するガイドオフセットテンソルを決定することであって、各特徴ポイントに対応するガイドオフセットテンソルは、当該特徴ポイントから検出される画像内のターゲット対象の中心点へ指向するオフセットテンソルを表すことと、
各特徴ポイントに対応するガイドオフセットテンソルに基づいて、当該特徴ポイントのオフセットフィールド情報を決定することであって、オフセットフィールド情報には、当該特徴ポイントに関連付けられる複数の初期特徴ポイントが、それぞれに対応するオフセット後の特徴ポイントをそれぞれ指向するオフセットテンソルが含まれることと、
コーナーポイントのプーリング後の特徴マップ、および当該コーナーポイントのプーリング後の特徴マップのうちの特徴ポイントのオフセットフィールド情報に基づいて、コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、調整された特徴マップを取得することと、
調整された特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む。

一可能な実施形態において、検出される画像に対応するコーナーポイントヒートマップは、複数のチャネルにそれぞれ対応するコーナーポイントヒートマップを含み、複数のチャネルのうちの各チャネルは、１つのプリセットの対象カテゴリに対応し、決定部１２２が、コーナーポイントヒートマップに基づいて、コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定するように構成された後、さらに、
複数のチャネルのうちの各チャネルに対して、当該チャネルに対応するコーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、当該チャネルに対応するコーナーポイントヒートマップにコーナーポイントがあるか否かを決定することと、
当該チャネルに対応するコーナーポイントヒートマップにコーナーポイントがある場合、検出される画像に、当該チャネルに対応するプリセットの対象カテゴリのターゲット対象が含まれると決定することと、を含む。

一可能な実施形態において、検出部１２０３は、
検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象の検出フレームを決定するように構成される。

一可能な実施形態において、検出部１２０３が、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象の検出フレームを決定するように構成される場合に、
検出される画像における各コーナーポイントのコーナーポイント位置情報に基づいて、候補検出フレームを構成できる候補コーナーポイントペアをスクリーニングすることと、
各候補コーナーポイントペアのうちの各コーナーポイントの検出される画像におけるコーナーポイント位置情報および当該コーナーポイントに対応する求心オフセットテンソルに基づいて、当該コーナーポイントが指向する中心点位置情報を決定することと、
各候補コーナーポイントペアのうちの各コーナーポイントの検出される画像におけるコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することと、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、候補検出フレームでターゲット対象の検出フレームを決定することと、を含む。

一可能な実施形態において、各候補コーナーポイントペアに対して、検出部１２０３が、前記検出される画像における前記各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定するように構成される場合に、
当該候補コーナーポイントペアの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームを表すコーナーポイント位置情報を決定することと、
中心領域フレームのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームの座標範囲を決定することと、を含む。

一可能な実施形態において、検出部１２０３が、各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、候補検出フレームでターゲット対象の検出フレームを決定するように構成される場合に、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、有効な候補コーナーポイントペアを決定することと、
有効な候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、有効な候補コーナーポイントペアに対応する中心領域情報、および有効な候補コーナーポイントペアのうちの各コーナーポイントに対応する確率値に基づいて、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を決定することであって、各コーナーポイントに対応する確率値は、コーナーポイントヒートマップ内の当該コーナーポイントの対応する特徴ポイントをコーナーポイントとして使用する確率値を示すために使用されることと、
各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値、および隣接する候補検出フレーム間の重複領域のサイズに基づいて、候補検出フレームでターゲット対象の検出フレームを決定することと、を含む。

一可能な実施形態において、検出部１２０３は、さらに、
検出される画像内のターゲット対象の検出フレームを決定した後、ターゲット対象の検出フレーム、および検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、検出される画像内のターゲット対象のインスタンス情報を決定するように構成される。

一可能な実施形態において、検出部１２０３が、ターゲット対象の検出フレーム、および検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、検出される画像内のターゲット対象のインスタンス情報を決定するように構成される場合に、
ターゲット対象の検出フレームおよび初期特徴マップに基づいて、初期特徴マップの検出フレーム内の特徴ポイントの特徴データを抽出することと、
初期特徴マップの検出フレーム内の特徴ポイントの特徴データに基づいて、検出される画像内のターゲット対象のインスタンス情報を決定することと、を含む。

一可能な実施形態において、ターゲット検出装置１２００は、さらに、ニューラルネットワークトレーニング部１２０４を備え、ニューラルネットワークトレーニング部１２０４は、
ターゲット検出を実行するためのニューラルネットワークをトレーニングするように構成され、ニューラルネットワークは、ラベル付けされたターゲットサンプル対象を含むサンプルイメージを使用してトレーニングして得られる。

一可能な実施形態において、ニューラルネットワークトレーニング部１２０４は、
サンプル画像を取得することと、
サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルを決定することであって、サンプルコーナーポイントは、サンプル画像内のターゲットサンプル対象の位置を表すことと、
サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、サンプル画像内のターゲットサンプル対象を予測することと、
予測されるサンプル画像内のターゲットサンプル対象およびサンプル画像内のラベル付けされたターゲットサンプル対象に基づいて、ニューラルネットワークのネットワークパラメータ値を調整することと、のステップに従ってニューラルネットワークをトレーニングするように構成される。

本発明の実施例および他の実施例において、「部分」は、部分回路、部分プロセッサ、部分プログラムまたはソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュールまたは非モジュール化であってもよい。

図２内のターゲット検出方法に対応して、本発明の実施例は、さらに、電子機器１３００を提供し、図１３に示されたように、本発明の実施例による電子機器１３００の例示的な構造図であり、前記電子機器は、
プロセッサ１３０１、メモリ１３０２、およびバス１３０３を備え、メモリ１３０２は、実行命令を記憶するように構成され、ストレージ１３０２１および外部メモリ１３０２２を含み、ここでのストレージ１３０２１は、内部メモリとも称し得、プロセッサ１３０１内の演算データ、およびハードディスクなどの外部メモリ１３０２２と交換するデータを一時的に格納するように構成され、プロセッサ１３０１は、ストレージ１３０２１および外部メモリ１３０２２を介してデータ交換を実行し、電子機器１３００が実行する場合、プロセッサ１３０１とメモリ１３０２とは、バス１３０３を介して通信し、機械可読命令は、プロセッサ１３０１によって実行されるとき、
検出される画像を取得し、
検出される画像に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定し、コーナーポイントは、検出される画像内のターゲット対象の位置を表し、
検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、検出される画像内のターゲット対象を決定する。

本発明の実施例は、さらに、コンピュータプログラムを記憶する、コンピュータ可読記憶媒体を提供し、当該コンピュータプログラムは、プロセッサによって実行されるとき、上記の方法実施例におけるターゲット検出方法のステップを実行する。ここで、当該記憶媒体は、揮発性または不揮発性のコンピュータ可読記憶媒体であり得る。

本発明の実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行する場合、前記電子機器内のプロセッサが実行するとき、第１態様に記載のターゲット検出方法のステップを実現する。

本発明の実施例によるターゲット検出方法のコンピュータプログラム製品は、プログラムコードを記憶するコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記の方法実施例に記載のターゲット検出方法のステップを実行するように構成されることができ、上記の方法実施例を参照でき、ここでは繰り返して説明しない。

本発明の実施例は、さらに、プロセッサによって実行されるとき、上記の実施例の任意の１つの方法を実現する、コンピュータプログラムを提供する。当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェアまたはそれらを組み合わせる方式を介して実現されることができる。いくつかの実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別のいくつかの実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として具現される。

当業者なら理解できるが、説明の便宜および簡潔のために、上記に説明されるシステムおよび装置の作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができ、ここでは繰り返して説明しない。 本発明によるいくつかの実施例において、開示されたシステム、装置および方法は、他の方法で実現できることを理解されたい。上記で説明された装置実施例は、例示的なものに過ぎず、例えば、前記ユニットの分離は、論理機能の分離に過ぎず、実際の実現ときには別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論される相互結合、または直接結合、または通信接続は、いくつかの通信インターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的または機械的な形であってもよく、他の形であってもよい。

前記分離部品として説明されるユニットは、物理的に分離されいてもされなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、１箇所に配置されてもよく、複数のネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部またはすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。

さらに、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが、物理的に別々に存在してもよく、または２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。

前記機能が、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合、プロセッサ実行可能な不揮発のコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る）に本発明の各実施例に記載の方法のすべてまたは一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

最後に、上記の実施例は、本発明の技術的解決策を説明するための本発明の具体的な実施形態に過ぎず、それに対する限制ではなく、本発明の保護範囲はこれに限定されないことに留意されたい。上記の実施例を参照して本発明に対して詳細に説明したが、当業者は、本発明で開示された技術範囲内で任意の本技術分野を精通している技術人は、依然として、上記の実施例で記載された技術的解決策を修正し、または変更を容易に想到し、またはそのうちの部分的な技術特徴に対して均等に置き換えることができ、これらの修正、変化または置き換えは、対応する技術的解決策の本質を本発明の実施例の技術的解決策の思想および範囲を逸脱させなく、すべて、本発明の保護範囲に含まれるべきであることを理解するはずである。したがって、本発明の保護範囲は、特許請求の保護範囲を基準とするべきである。

本発明の実施例は、ターゲット検出方法、装置、電子機器およびコンピュータ可読記憶媒体を提供し、ここで、当該ターゲット検出方法は、検出される画像を取得することと、前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することであって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表すことと、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定することと、を含む。本発明の実施例によるターゲット検出方法は、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、同じターゲット対象に属するコーナーポイントを決定することができ、さらに、決定されたコーナーポイントに基づいて、当該同じターゲット対象を検出することができる。

本発明の上記の特徴および利点をより明確且つ理解しすくするために、以下は、好ましい実施例を添付の図面と合わせて、詳細な説明をする。
例えば、本願は以下の項目を提供する。
（項目１）
ターゲット検出方法であって、
検出される画像を取得することと、
前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することであって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表すことと、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定することと、を含む、前記ターゲット検出方法。
（項目２）
前記検出される画像に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することは、
前記検出される画像に対して特徴抽出を実行して、前記検出される画像に対応する初期特徴マップを取得することと、
前記初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントのプーリング後の特徴マップを取得することと、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報、および各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む、
項目１に記載のターゲット検出方法。
（項目３）
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することは、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像に対応するコーナーポイントヒートマップを生成することと、
前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定し、各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、前記コーナーポイントヒートマップの特徴ポイントから前記コーナーポイントをスクリーニングすることと、
前記コーナーポイントヒートマップにおけるスクリーニングされた各コーナーポイントの位置情報、および各コーナーポイントに対応するローカルオフセット情報を取得することであって、前記ローカルオフセット情報は、前記コーナーポイントヒートマップにおける対応するコーナーポイントが表す真の物理ポイントの位置オフセット情報を示すために使用されることと、
前記コーナーポイントヒートマップにおける取得された各コーナーポイントの位置情報、各コーナーポイントに対応するローカルオフセット情報、および前記コーナーポイントヒートマップと前記検出される画像とのサイズ比率に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することと、を含む、
項目２に記載のターゲット検出方法。
（項目４）
前記コーナーポイントのプーリング後の特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することは、
前記コーナーポイントのプーリング後の特徴マップに基づいて、前記コーナーポイントのプーリング後の特徴マップのうちの各特徴ポイントに対応するガイドオフセットテンソルを決定することであって、各特徴ポイントに対応するガイドオフセットテンソルは、当該特徴ポイントから前記検出される画像内のターゲット対象の中心点へ指向するオフセットテンソルを表すことと、
各特徴ポイントに対応する前記ガイドオフセットテンソルに基づいて、当該特徴ポイントのオフセットフィールド情報を決定することであって、前記オフセットフィールド情報には、当該特徴ポイントに関連付けられる複数の初期特徴ポイントが、それぞれに対応するオフセット後の特徴ポイントをそれぞれ指向するオフセットテンソルが含まれることと、
前記コーナーポイントのプーリング後の特徴マップ、および当該コーナーポイントのプーリング後の特徴マップのうちの特徴ポイントのオフセットフィールド情報に基づいて、前記コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、調整された特徴マップを取得することと、
前記調整された特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む、
項目２または３に記載のターゲット検出方法。
（項目５）
前記検出される画像に対応するコーナーポイントヒートマップは、複数のチャネルにそれぞれ対応するコーナーポイントヒートマップを含み、前記複数のチャネルのうちの各チャネルは、１つのプリセットの対象カテゴリに対応し、前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定した後、前記ターゲット検出方法は、
前記複数のチャネルのうちの各チャネルに対して、当該チャネルに対応するコーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがあるか否かを決定することと、
当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがある場合、前記検出される画像に、当該チャネルに対応するプリセットの対象カテゴリのターゲット対象が含まれると決定することと、をさらに含む、
項目３に記載のターゲット検出方法。
（項目６）
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定することは、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定することを含む、
項目１に記載のターゲット検出方法。
（項目７）
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定することは、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報に基づいて、候補検出フレームを構成する候補コーナーポイントペアをスクリーニングすることと、
前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報および当該コーナーポイントに対応する求心オフセットテンソルに基づいて、当該コーナーポイントが指向する中心点位置情報を決定することと、
前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することと、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む、
項目６に記載のターゲット検出方法。
（項目８）
前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することは、
当該候補コーナーポイントペアの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームを表すコーナーポイント位置情報を決定することと、
前記中心領域フレームのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームの座標範囲を決定することと、を含む、
項目７に記載のターゲット検出方法。
（項目９）
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することは、
各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、有効な候補コーナーポイントペアを決定することと、
前記有効な候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、前記有効な候補コーナーポイントペアに対応する中心領域情報、および前記有効な候補コーナーポイントペアのうちの各コーナーポイントに対応する確率値に基づいて、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を決定することであって、各コーナーポイントに対応する確率値は、コーナーポイントヒートマップ内の当該コーナーポイントの対応する特徴ポイントをコーナーポイントとして使用する確率値を示すために使用されることと、
各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値、および隣接する候補検出フレーム間の重複領域のサイズに基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む、
項目７または８に記載のターゲット検出方法。
（項目１０）
前記検出される画像内のターゲット対象の検出フレームを決定した後、前記ターゲット検出方法は、
前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することをさらに含む、
項目６に記載のターゲット検出方法。
（項目１１）
前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することは、
前記ターゲット対象の検出フレームおよび前記初期特徴マップに基づいて、前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データを抽出することと、
前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することと、を含む、
項目１０に記載のターゲット検出方法。
（項目１２）
前記ターゲット検出方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、ラベル付けされたターゲットサンプル対象を含むサンプルイメージを使用してトレーニングして得られる、
項目１ないし１１のいずれか一項に記載のターゲット検出方法。
（項目１３）
前記ニューラルネットワークは、
サンプル画像を取得することと、
前記サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルを決定することであって、前記サンプルコーナーポイントは、前記サンプル画像内のターゲットサンプル対象の位置を表すことと、
前記サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、前記サンプル画像内のターゲットサンプル対象を予測することと、
予測された前記サンプル画像内のターゲットサンプル対象および前記サンプル画像内のラベル付けされたターゲットサンプル対象に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を採用してトレーニングして得られる、
項目１２に記載のターゲット検出方法。
（項目１４）
ターゲット検出装置であって、
検出される画像を取得するように構成される、取得部と、
前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定するように構成される決定部であって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表す、決定部と、
前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定するように構成される、検出部と、を備える、前記ターゲット検出装置。
（項目１５）
プロセッサ、メモリおよびバスを備える、電子機器であって、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記機械可読命令は、前記プロセッサによって実行されるとき、項目１ないし１３のいずれか一項に記載のターゲット検出方法のステップを実行する、前記電子機器。
（項目１６）
コンピュータプログラムを記憶する、コンピュータ可読記憶媒体であって、当該コンピュータプログラムは、プロセッサによって実行されるとき、項目１ないし１３のいずれか一項に記載のターゲット検出方法のステップを実行する、前記コンピュータ可読記憶媒体。
（項目１７）
コンピュータ可読コードを含む、コンピュータプログラムであって、前記コンピュータ可読コードが、電子機器で実行される場合、前記電子機器内のプロセッサが実行されるとき、項目１ないし１３のいずれか一項に記載のターゲット検出方法を実現する、前記コンピュータプログラム。

Claims (17)

1. ターゲット検出方法であって、
   検出される画像を取得することと、
   前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することであって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表すことと、
   前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定することと、を含む、前記ターゲット検出方法。
2. 前記検出される画像に基づいて、検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定することは、
   前記検出される画像に対して特徴抽出を実行して、前記検出される画像に対応する初期特徴マップを取得することと、
   前記初期特徴マップに対してコーナーポイントプーリング処理を実行して、コーナーポイントのプーリング後の特徴マップを取得することと、
   前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報、および各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む、
   請求項１に記載のターゲット検出方法。
3. 前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することは、
   前記コーナーポイントのプーリング後の特徴マップに基づいて、前記検出される画像に対応するコーナーポイントヒートマップを生成することと、
   前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定し、各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、前記コーナーポイントヒートマップの特徴ポイントから前記コーナーポイントをスクリーニングすることと、
   前記コーナーポイントヒートマップにおけるスクリーニングされた各コーナーポイントの位置情報、および各コーナーポイントに対応するローカルオフセット情報を取得することであって、前記ローカルオフセット情報は、前記コーナーポイントヒートマップにおける対応するコーナーポイントが表す真の物理ポイントの位置オフセット情報を示すために使用されることと、
   前記コーナーポイントヒートマップにおける取得された各コーナーポイントの位置情報、各コーナーポイントに対応するローカルオフセット情報、および前記コーナーポイントヒートマップと前記検出される画像とのサイズ比率に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報を決定することと、を含む、
   請求項２に記載のターゲット検出方法。
4. 前記コーナーポイントのプーリング後の特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することは、
   前記コーナーポイントのプーリング後の特徴マップに基づいて、前記コーナーポイントのプーリング後の特徴マップのうちの各特徴ポイントに対応するガイドオフセットテンソルを決定することであって、各特徴ポイントに対応するガイドオフセットテンソルは、当該特徴ポイントから前記検出される画像内のターゲット対象の中心点へ指向するオフセットテンソルを表すことと、
   各特徴ポイントに対応する前記ガイドオフセットテンソルに基づいて、当該特徴ポイントのオフセットフィールド情報を決定することであって、前記オフセットフィールド情報には、当該特徴ポイントに関連付けられる複数の初期特徴ポイントが、それぞれに対応するオフセット後の特徴ポイントをそれぞれ指向するオフセットテンソルが含まれることと、
   前記コーナーポイントのプーリング後の特徴マップ、および当該コーナーポイントのプーリング後の特徴マップのうちの特徴ポイントのオフセットフィールド情報に基づいて、前記コーナーポイントのプーリング後の特徴マップ内の特徴ポイントの特徴データを調整して、調整された特徴マップを取得することと、
   前記調整された特徴マップに基づいて、各コーナーポイントに対応する求心オフセットテンソルを決定することと、を含む、
   請求項２または３に記載のターゲット検出方法。
5. 前記検出される画像に対応するコーナーポイントヒートマップは、複数のチャネルにそれぞれ対応するコーナーポイントヒートマップを含み、前記複数のチャネルのうちの各チャネルは、１つのプリセットの対象カテゴリに対応し、前記コーナーポイントヒートマップに基づいて、前記コーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値を決定した後、前記ターゲット検出方法は、
   前記複数のチャネルのうちの各チャネルに対して、当該チャネルに対応するコーナーポイントヒートマップ内の各特徴ポイントがコーナーポイントとして使用される確率値に基づいて、当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがあるか否かを決定することと、
   当該チャネルに対応するコーナーポイントヒートマップに前記コーナーポイントがある場合、前記検出される画像に、当該チャネルに対応するプリセットの対象カテゴリのターゲット対象が含まれると決定することと、をさらに含む、
   請求項３に記載のターゲット検出方法。
6. 前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定することは、
   前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定することを含む、
   請求項１に記載のターゲット検出方法。
7. 前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象の検出フレームを決定することは、
   前記検出される画像における各コーナーポイントのコーナーポイント位置情報に基づいて、候補検出フレームを構成する候補コーナーポイントペアをスクリーニングすることと、
   前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報および当該コーナーポイントに対応する求心オフセットテンソルに基づいて、当該コーナーポイントが指向する中心点位置情報を決定することと、
   前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することと、
   各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む、
   請求項６に記載のターゲット検出方法。
8. 前記検出される画像における各候補コーナーポイントペアのうちの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域情報を決定することは、
   当該候補コーナーポイントペアの各コーナーポイントのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームを表すコーナーポイント位置情報を決定することと、
   前記中心領域フレームのコーナーポイント位置情報に基づいて、当該候補コーナーポイントペアに対応する中心領域フレームの座標範囲を決定することと、を含む、
   請求項７に記載のターゲット検出方法。
9. 各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することは、
   各候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、および当該候補コーナーポイントペアに対応する中心領域情報に基づいて、有効な候補コーナーポイントペアを決定することと、
   前記有効な候補コーナーポイントペアのうちの各コーナーポイントが指向する中心点位置情報、前記有効な候補コーナーポイントペアに対応する中心領域情報、および前記有効な候補コーナーポイントペアのうちの各コーナーポイントに対応する確率値に基づいて、各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値を決定することであって、各コーナーポイントに対応する確率値は、コーナーポイントヒートマップ内の当該コーナーポイントの対応する特徴ポイントをコーナーポイントとして使用する確率値を示すために使用されることと、
   各有効な候補コーナーポイントペアに対応する候補検出フレームのスコア値、および隣接する候補検出フレーム間の重複領域のサイズに基づいて、前記候補検出フレームで前記ターゲット対象の検出フレームを決定することと、を含む、
   請求項７または８に記載のターゲット検出方法。
10. 前記検出される画像内のターゲット対象の検出フレームを決定した後、前記ターゲット検出方法は、
    前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することをさらに含む、
    請求項６に記載のターゲット検出方法。
11. 前記ターゲット対象の検出フレーム、および前記検出される画像に対して特徴抽出を実行して得られた初期特徴マップに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することは、
    前記ターゲット対象の検出フレームおよび前記初期特徴マップに基づいて、前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データを抽出することと、
    前記初期特徴マップの前記検出フレーム内の特徴ポイントの特徴データに基づいて、前記検出される画像内の前記ターゲット対象のインスタンス情報を決定することと、を含む、
    請求項１０に記載のターゲット検出方法。
12. 前記ターゲット検出方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、ラベル付けされたターゲットサンプル対象を含むサンプルイメージを使用してトレーニングして得られる、
    請求項１ないし１１のいずれか一項に記載のターゲット検出方法。
13. 前記ニューラルネットワークは、
    サンプル画像を取得することと、
    前記サンプル画像に基づいて、サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルを決定することであって、前記サンプルコーナーポイントは、前記サンプル画像内のターゲットサンプル対象の位置を表すことと、
    前記サンプル画像における各サンプルコーナーポイントのコーナーポイント位置情報および各サンプルコーナーポイントに対応する求心オフセットテンソルに基づいて、前記サンプル画像内のターゲットサンプル対象を予測することと、
    予測された前記サンプル画像内のターゲットサンプル対象および前記サンプル画像内のラベル付けされたターゲットサンプル対象に基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を採用してトレーニングして得られる、
    請求項１２に記載のターゲット検出方法。
14. ターゲット検出装置であって、
    検出される画像を取得するように構成される、取得部と、
    前記検出される画像に基づいて、前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルを決定するように構成される決定部であって、コーナーポイントは、前記検出される画像内のターゲット対象の位置を表す、決定部と、
    前記検出される画像における各コーナーポイントのコーナーポイント位置情報および各コーナーポイントに対応する求心オフセットテンソルに基づいて、前記検出される画像内のターゲット対象を決定するように構成される、検出部と、を備える、前記ターゲット検出装置。
15. プロセッサ、メモリおよびバスを備える、電子機器であって、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が実行される場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記機械可読命令は、前記プロセッサによって実行されるとき、請求項１ないし１３のいずれか一項に記載のターゲット検出方法のステップを実行する、前記電子機器。
16. コンピュータプログラムを記憶する、コンピュータ可読記憶媒体であって、当該コンピュータプログラムは、プロセッサによって実行されるとき、請求項１ないし１３のいずれか一項に記載のターゲット検出方法のステップを実行する、前記コンピュータ可読記憶媒体。
17. コンピュータ可読コードを含む、コンピュータプログラムであって、前記コンピュータ可読コードが、電子機器で実行される場合、前記電子機器内のプロセッサが実行されるとき、請求項１ないし１３のいずれか一項に記載のターゲット検出方法を実現する、前記コンピュータプログラム。

Images