JP2022540101A - ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体 - Google Patents

ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2022540101A
JP2022540101A JP2022500616A JP2022500616A JP2022540101A JP 2022540101 A JP2022540101 A JP 2022540101A JP 2022500616 A JP2022500616 A JP 2022500616A JP 2022500616 A JP2022500616 A JP 2022500616A JP 2022540101 A JP2022540101 A JP 2022540101A
Authority
JP
Japan
Prior art keywords
feature point
target
bounding box
distance
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022500616A
Other languages
English (en)
Inventor
▲ゲン▼ ▲戰▼
万里 欧▲陽▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2022540101A publication Critical patent/JP2022540101A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

本開示はポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体を提供し、本開示は、ターゲット画像の画像特徴マップに基づいて画像特徴マップ中の各特徴点に１つのアンカーボックス、すなわち、オブジェク境界ボックス情報に対応するオブジェク境界ボックスを特定し、アンカーボックスと対応して予測されたアンカーボックスとは相互に排他的であり、オブジェクトをポジショニングするプロセスにおいて使用されるアンカーボックスの数を減らし、計算量を低減する。また、ターゲット画像の画像特徴マップに基づいて画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、オブジェク境界ボックス情報の信頼度、オブジェクトタイプ情報の信頼度を特定し、続いて、特定した２つの信頼度に基づいてオブジェク境界ボックス情報の最終の信頼度を特定することができ、オブジェク境界ボックスの情報表現力を効果的に高め、オブジェク境界ボックスに基づいてオブジェクトをポジショニングする精度を向上させることに役立つ。【選択図】図１

Description

＜関連出願の相互参照＞
本開示は、２０２０年０１月１８日に出願された、出願番号２０２０１００５８７８８．７、発明の名称「ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体」の中国特許出願の優先権を主張し、当該出願の全ての内容が参照により本明細書に組み込まれる。
本開示は、コンピュータ技術及び画像処理の分野に関し、具体的に言えば、ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体に関する。
オブジェクト検出又はオブジェクトポジショニングは、コンピュータビジョンの重要な基本技術であり、インスタンスセグメンテーション、オブジェクト追跡、人物認識、顔認識などのシナリオに適用できる。
オブジェクト検出又はオブジェクトポジショニングは、通常、アンカーボックスを使用するが、使用されるアンカーボックスの数が多く、アンカーボックスの表現力が弱ければ、オブジェクトポジショニングの計算量が多くなり、ポジショニングが不正確になるなどの不具合を引き起こす。
上記に鑑み、本開示は、少なくともポジショニング方法及び装置を提供する。
第１の態様において、本開示は、
少なくとも１つのポジショニングオブジェクトが含まれるターゲット画像を取得するステップと、
前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定するステップと、
前記第１の信頼度及び前記第２の信頼度に基づいて、各特徴点が属するオブジェクトのオブジェク境界ボックス情報のターゲット信頼度を別々に特定するステップと、
各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定するステップと、を含むポジショニング方法を提供する。
上記実施形態では、ターゲット画像の画像特徴マップに基づいて画像特徴マップ中の各特徴点に１つのみのアンカーボックス、すなわち、オブジェク境界ボックス情報に対応するオブジェク境界ボックスを特定することができ、オブジェクトのポジショニングプロセスにおいて使用されるアンカーボックスの数を減らし、計算量を低減し、オブジェクトポジショニングの効率を向上させる。また、ターゲット画像の画像特徴マップに基づいて画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、オブジェク境界ボックス情報の信頼度、オブジェクトタイプ情報の信頼度を特定し、続いて、特定した２つの信頼度に基づいてオブジェク境界ボックス情報の最終の信頼度を特定することができ、オブジェク境界ボックス又はオブジェク境界ボックス情報の情報表現力を効果的に高め、オブジェク境界ボックス情報に対応するオブジェク境界ボックスのポジショニング情報、オブジェクトタイプ情報を表現することができるだけでなく、またオブジェク境界ボックス情報の信頼度情報を表現することができ、それにより、オブジェク境界ボックスに基づいてオブジェクトをポジショニングする精度を向上させることに役立つ。
１つの可能な実施形態では、前記画像特徴マップは、前記画像特徴マップ中の特徴点が属するオブジェクトを分類することに用いられる分類特徴マップと、前記画像特徴マップ中の特徴点が属するオブジェクトをポジショニングすることに用いられるポジショニング特徴マップと、を含む。
前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定するステップは、
前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報、及び前記オブジェクトタイプ情報の第１の信頼度を特定することと、
前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報、及び前記オブジェク境界ボックス情報の第２の信頼度を特定することと、を含む。
上記実施形態は、ターゲット画像の分類特徴マップ及びポジショニング特徴マップに基づいて、画像特徴マップ中の各特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定するだけでなく、また画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、及びオブジェクトタイプ情報とオブジェク境界ボックス情報のそれぞれの信頼度を特定し、オブジェク境界ボックスの情報表現力を高め、それにより、オブジェク境界ボックスに基づいてオブジェクトをポジショニングする精度を向上させることに役立つ。
１つの可能な実施形態では、前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定するステップは、
前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を別々に特定することと、
前記ターゲット距離範囲及び前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間のターゲット距離を別々に特定することと、
当該特徴点の前記画像特徴マップにおける位置情報、及び当該特徴点と各境界との間のターゲット距離に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定することと、を含む。
上記実施形態は、まず、特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離が位置するターゲット距離範囲を特定した後、特定したターゲット距離範囲に基づいて、特徴点と各境界との間のターゲット距離を特定し、当該２つのステップにより、特定したターゲット距離の精度を向上させることができる。その後、特定した当該正確なターゲット距離に基づいて、特徴点に位置の正確なオブジェク境界ボックスを特定することができ、特定したオブジェク境界ボックスの精度を向上させる。
１つの可能な実施形態では、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を特定することは、
当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の最大距離を特定することと、
前記最大距離に対してセグメンテーション処理を行い、複数の距離範囲を取得することと、
前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置する第１の確率値を特定することと、
特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することと、を含む。
上記実施形態は、最大確率値に対応する距離範囲を、特徴点と特定の境界ボックスとの間の距離が位置するターゲット距離範囲として選択してもよく、特定したターゲット距離範囲の精度を向上させ、それにより、当該ターゲット距離範囲に基づいて特定した、特徴点と特定の境界との間の距離の精度を向上させることに役立つ。
１つの可能な実施形態では、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することは、
最大の前記第１の確率値に対応する距離範囲を前記ターゲット距離範囲とすることを含む。
１つの可能な実施形態では、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することは、
前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離の距離不確定パラメータ値を特定することと、
前記距離不確定パラメータ値及び各第１の確率値に基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置するターゲット確率値を特定することと、
最大の前記ターゲット確率値に対応する距離範囲を、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲とすることと、を含む。
上記実施形態は、特徴点と特定の境界ボックスとの間の距離が各距離範囲内に位置する第１の確率値を特定するとともに、さらに１つの距離不確定パラメータ値を特定し、当該距離不確定パラメータ値に基づいて第１の確率値を修正又は補正し、特徴点と特定の境界ボックスとの間の距離が各距離範囲内に位置するターゲット確率値を取得することができ、特定した特徴点と特定の境界ボックスとの間の距離が各距離範囲内に位置する確率値の精度を向上させ、それにより、当該確率値に基づいて特定したターゲット距離範囲の精度を向上させることに役立つ。
１つの可能な実施形態では、前記オブジェク境界ボックス情報の第２の信頼度を特定することは、
当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することを含む。
１つの可能な実施形態では、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することは、
当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値の平均値を取得することと、
当該平均値を前記第２の信頼度として特定することと、を含む。
上記実施形態は、特徴点と各境界との間の距離が位置する距離範囲に対応する第１の確率値を用いて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の信頼度を特定することができ、オブジェク境界ボックスの情報表現力を高める。
１つの可能な実施形態では、前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することは、
前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトが各プリセットオブジェクトタイプである第２の確率値を特定することと、
最大の前記第２の確率値に対応するプリセットオブジェクトタイプに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することと、を含む。
上記実施形態は、最大の第２の確率値に対応するプリセットオブジェクトタイプを、当該特徴点が属するオブジェクトのオブジェクトタイプ情報として選択することにより、特定したオブジェクトタイプ情報の精度を向上させる。
１つの可能な実施形態では、各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定するステップは、
前記画像特徴マップから複数のターゲット特徴点を選別し、ただし、前記複数のターゲット特徴点の同士間の距離がプリセット閾値より小さく、且つ各ターゲット特徴点が属するオブジェクトのオブジェクトタイプ情報が同じであることと、
各ターゲット特徴点が属するオブジェクトのオブジェク境界ボックス情報から、最高のターゲット信頼度を有するオブジェク境界ボックス情報をターゲット境界ボックス情報として選択することと、
選択した前記ターゲット境界ボックス情報、及び前記ターゲット境界ボックス情報のターゲット信頼度に基づいて前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することと、を含む。
上記実施形態は、距離が比較的近くオブジェクトタイプ情報が同じの特徴点から、最高のターゲット信頼度を有するオブジェク境界ボックス情報を選択してオブジェクトをポジショニングすることにより、オブジェクトのポジショニングに使用されるオブジェク境界ボックス情報の量を効果的に減らすことができ、オブジェクトのポジショニングの適時性を向上させることに役立つ。
第２の態様において、本開示は、
少なくとも１つのポジショニングオブジェクトが含まれるターゲット画像を取得することに用いられる画像取得モジュールと、
前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定することに用いられる画像処理モジュールと、
前記第１の信頼度及び前記第２の信頼度に基づいて、各特徴点が属するオブジェクトのオブジェク境界ボックス情報のターゲット信頼度を別々に特定することに用いられる信頼度処理モジュールと、
各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することに用いられるポジショニングモジュールと、を含むポジショニング装置を提供する。
１つの可能な実施形態では、前記画像特徴マップは、前記画像特徴マップ中の特徴点が属するオブジェクトを分類することに用いられる分類特徴マップと、前記画像特徴マップ中の特徴点が属するオブジェクトをポジショニングすることに用いられるポジショニング特徴マップと、を含む。
前記画像処理モジュールは、
前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報、及び前記オブジェクトタイプ情報の第１の信頼度を特定し、
前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報、及び前記オブジェク境界ボックス情報の第２の信頼度を特定することに用いられる。
１つの可能な実施形態では、前記画像処理モジュールは、前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定する時、
前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を別々に特定し、
前記ターゲット距離範囲及び前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間のターゲット距離を別々に特定し、
当該特徴点の前記画像特徴マップにおける位置情報、及び当該特徴点と各境界との間のターゲット距離に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定することに用いられる。
１つの可能な実施形態では、前記画像処理モジュールは、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を特定する時、
当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の最大距離を特定し、
前記最大距離に対してセグメンテーション処理を行い、複数の距離範囲を取得し、
前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置する第１の確率値を特定し、
特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することに用いられる。
１つの可能な実施形態では、前記画像処理モジュールは、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する時、
最大の前記第１の確率値に対応する距離範囲を前記ターゲット距離範囲とすることに用いられる。
１つの可能な実施形態では、前記画像処理モジュールは、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する時、
前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離の距離不確定パラメータ値を特定し、
前記距離不確定パラメータ値及び各第１の確率値に基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置するターゲット確率値を特定し、
最大のターゲット確率値に対応する距離範囲を、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲とすることに用いられる。
１つの可能な実施形態では、前記画像処理モジュールは、前記オブジェク境界ボックス情報の第２の信頼度を特定する時、
当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することに用いられる。
１つの可能な実施形態では、前記画像処理モジュールは、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定する時、
当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値の平均値を取得し、
当該平均値を前記第２の信頼度として特定することに用いられる。
１つの可能な実施形態では、前記画像処理モジュールは、前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定する時、
前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトが各プリセットオブジェクトタイプである第２の確率値を特定し、
最大の前記第２の確率値に対応するプリセットオブジェクトタイプに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することに用いられる。
１つの可能な実施形態では、前記ポジショニングモジュールは、
前記画像特徴マップから複数のターゲット特徴点を選別し、ただし、前記複数のターゲット特徴点の同士間の距離がプリセット閾値より小さく、且つ各ターゲット特徴点が属するオブジェクトのオブジェクトタイプ情報が同じであり、
各ターゲット特徴点が属するオブジェクトのオブジェク境界ボックス情報から、最高のターゲット信頼度を有するオブジェク境界ボックス情報をターゲット境界ボックス情報として選択し、
選択した前記ターゲット境界ボックス情報、及び前記ターゲット境界ボックス情報のターゲット信頼度に基づいて前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することに用いられる。
第３の態様において、本開示は、電子機器であって、プロセッサと、メモリと、バスと、を含み、前記メモリには、前記プロセッサにより実行可能な機械読み取り可能な命令が記憶され、前記電子機器が動作する場合、前記プロセッサと前記メモリとの間はバス経由で通信し、前記機械読み取り可能な命令は、前記プロセッサにより実行されると、上記ポジショニング方法のステップを実行する電子機器を提供する。
第４の態様において、本開示は、コンピュータプログラムが記憶され、当該コンピュータプログラムは、プロセッサにより実行されると、上記ポジショニング方法のステップを実行するコンピュータ読み取り可能な記憶媒体をさらに提供する。
本開示に記載の装置、電子機器、コンピュータ読み取り可能な記憶媒体は、少なくとも本開示に記載の方法のいずれかの態様やいずれかの態様のいずれかの実施形態の技術的特徴と実質的に同様又は類似した技術的特徴を含むため、前記装置、電子機器、コンピュータ読み取り可能な記憶媒体に関する効果の説明は、前記方法の内容の効果に関する説明を参照すればよく、ここで詳細は再度説明しない。
本開示の実施例の技術案をより明確に説明するために、以下、実施例において使用する必要がある図面を簡単に紹介するが、以下の図面は本開示の何らかの実施例のみを示すため、範囲を限定するものとみなされるべきではなく、当業者であれば、創造的な労力を課すことなく、これらの図面に基づいて他の関連する図面を取得することもできることが理解されるべきである。
本開示の実施例にて提供されるポジショニング方法のフローチャートである。 本開示の実施例にて提供されるポジショニング方法のフローチャートである。 本開示の実施例にて提供されるポジショニング方法のフローチャートである。 本開示の実施例にて提供されるポジショニング方法のフローチャートである。 本開示の実施例にて提供されるポジショニング方法のフローチャートである。 本開示の実施例にて提供されるポジショニング装置の構造概略図である。 本開示の実施例にて提供される電子機器の構造概略図である。
本開示の実施例の目的及び利点をより明確にするために、以下、本開示の実施例の図面に合わせて、本開示の実施例を明確に説明するが、本開示の図面は、説明及び記載の目的のみを果たし、本開示の保護範囲を限定するものではないことを理解されたい。また、概略的な図面は、実物の比例で描かれていないことを理解されたい。本開示で使用されるフローチャートは、本開示のいくつかの実施例に従って実現される操作を示す。フローチャートの操作は、順序通りに実施されなくてもよく、論理的な文脈関係を有しないステップは、順序を逆にしてもよく、又は同時に実施されてもよいことを理解されたい。さらに、当業者は、本開示の内容の指示の下で、フローチャートに１つ又は複数の他の操作を追加してもよく、フローチャートから１つ又は複数の操作を削除してもよい。
また、記載された実施例は、本開示の実施例の一部にすぎず、全ての実施例ではない。本明細書の図面に一般的に記載及び図示されている本開示の実施例の構成要素は、様々な異なる構成で配置され、設計されてもよい。したがって、以下、添付の図面を参照して提供される本開示の実施例の詳細な説明は、保護が請求される本開示の範囲を限定することを意図するものではなく、本開示の選択された実施例を表すものにすぎない。本開示の実施例に基づいて、創造的な労力を課すことなく当業者が得た他の全ての実施例は、本開示の保護範囲に属する。
なお、本開示の実施例で使用される用語の「含む」は、説明される特徴の存在を示すために使用されるが、他の特徴の追加を排除するものではない。
アンカーボックスを使用してオブジェクトをポジショニングするプロセスにおいて、、いかにポジショニングに使用されるアンカーボックスの数を減らし、アンカーボックスの情報表現力を高めるかについて、オブジェクトをポジショニングする精度を向上させ、本開示は、ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体を提供する。ここで、本開示は、ターゲット画像の画像特徴マップに基づいて画像特徴マップ中の各特徴点に１つのみのアンカーボックス、すなわち、オブジェク境界ボックス情報に対応するオブジェク境界ボックスを特定することで、オブジェクトをポジショニングするプロセスにおいて使用されるアンカーボックスの数を減らし、計算量を低減する。また、ターゲット画像の画像特徴マップに基づいて画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、オブジェク境界ボックス情報の信頼度、オブジェクトタイプ情報の信頼度を特定し、続いて、特定した２つの信頼度に基づいてオブジェク境界ボックス情報の最終の信頼度を特定することができ、オブジェク境界ボックスの情報表現力を効果的に高め、オブジェク境界ボックスに基づいてオブジェクトをポジショニングする精度を向上させることに役立つ。
以下、具体的な実施例を用いて本開示のポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体について説明する。
本開示の実施例は、画像におけるオブジェクトをポジショニングする端末機器に適用されるポジショニング方法を提供する。当該端末機器は、ビデオカメラ、携帯電話、ウェアラブル機器、パーソナルコンピュータなどであってもよく、本開示の実施例では限定されない。具体的には、図１に示すように、本開示の実施例にて提供されるポジショニング方法は、ステップＳ１１０～Ｓ１４０を含む。
Ｓ１１０において、ターゲット画像を取得する。
ここで、ターゲット画像は、オブジェクト追跡中に撮像された、ターゲットオブジェクトを含む画像であってもよく、顔検出中に撮像された、顔を含む画像であってもよく、本開示はターゲット画像の用途について限定しない。
ターゲット画像は少なくとも１つのポジショニングオブジェクトを含む。ここでのオブジェクトは物体であってもよく、人や動物などであってもよい。
ターゲット画像は、本実施例のポジショニング方法を実行する端末機器により撮影してもよく、他の機器により撮影した後、本実施例のポジショニング方法を実行する端末機器に伝送してもよく、本開示はターゲット画像の取得方式について限定しない。
Ｓ１２０において、前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定する。
当該ステップを実行する前に、まず、ターゲット画像を処理し、ターゲット画像の画像特徴マップを取得する必要がある。具体的に実施する時、畳み込みニューラルネットワークを用いてターゲット画像に対して画像特徴抽出を行い、画像特徴マップを取得するとしてもよい。
ターゲット画像の画像特徴マップを特定した後、画像特徴マップを処理する。これにより、画像特徴マップ中の各特徴点に対して、当該特徴点が属するオブジェクトのオブジェクトタイプ情報、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定することができる。具体的に実施する時、畳み込みニューラルネットワークを用いて画像特徴マップに対してさらに画像特徴抽出を行って、前記オブジェクトタイプ情報、オブジェク境界ボックス情報、第１の信頼度及び第２の信頼度を取得するとしてもよい。
前記オブジェクトタイプ情報は、特徴点が属するオブジェクトのオブジェクトタイプを含む。前記オブジェク境界ボックス情報は、特徴点と当該オブジェク境界ボックス情報に対応するオブジェク境界ボックスにおける各境界との間の距離を含む。ここで、前記オブジェク境界ボックスはアンカーボックスと呼ばれてもよい。
前記第１の信頼度は、画像特徴マップに基づいて特定されたオブジェクトタイプ情報の精度又は信頼性を特徴付けることに用いられる。前記第２の信頼度は、画像特徴マップに基づいて特定されたオブジェク境界ボックス情報の精度又は信頼性を特徴付けることに用いられる。
Ｓ１３０において、前記第１の信頼度及び前記第２の信頼度に基づいて、各特徴点が属するオブジェクトのオブジェク境界ボックス情報のターゲット信頼度を別々に特定する。
ここで、第１の信頼度と第２の信頼度との積をオブジェク境界ボックス情報のターゲット信頼度としてもよい。当該ターゲット信頼度は、オブジェク境界ボックス情報に対応するオブジェク境界ボックスのポジショニング精度と分類精度を総合的に特徴付けることに用いられる。
当然のことながら、他の方法を用いてターゲット信頼度を特定してもよく、例えば、第１の信頼度のプリセット重み、第２の信頼度のプリセット重み、第１の信頼度及び第２の信頼度を組み合わせてターゲット信頼度を特定してもよく、本開示は、第１の信頼度及び第２の信頼度に基づいてターゲット信頼度を特定する具体的な実現案について限定しない。
Ｓ１４０において、各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定する。
ここで、特徴点が属するオブジェクトのオブジェク境界ボックス情報及びオブジェク境界ボックス情報のターゲット信頼度を、特徴点が属するオブジェクトのターゲット画像におけるポジショニング情報とし、その後、各特徴点が属するオブジェクトのターゲット画像におけるポジショニング情報に基づいて、ターゲット画像における各オブジェクトのポジショニング情報を特定するとしてもよい。
ここで、特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定するだけでなく、またオブジェク境界ボックス情報のターゲット信頼度を特定し、オブジェク境界ボックス又はオブジェク境界ボックス情報の情報表現力を効果的に高め、オブジェク境界ボックス情報に対応するオブジェク境界ボックスのポジショニング情報、オブジェクトタイプ情報を表現することができるだけでなく、またオブジェク境界ボックス情報の信頼度情報を表現することができ、それにより、オブジェク境界ボックスに基づいてオブジェクトをポジショニングする精度を向上させることに役立つ。
また、上記実施例は、ターゲット画像の画像特徴マップに基づいて画像特徴マップ中の各特徴点に１つのアンカーボックス、すなわち、オブジェク境界ボックス情報に対応するオブジェク境界ボックスを特定することができ、オブジェクトをポジショニングするプロセスにおいて使用されるアンカーボックスの数を減らし、計算量を低減し、オブジェクトのポジショニングの効率を向上させる。
いくつかの実施例では、図２に示すように、前記画像特徴マップは、前記画像特徴マップ中の特徴点が属するオブジェクトを分類することに用いられる分類特徴マップと、前記画像特徴マップ中の特徴点が属するオブジェクトをポジショニングすることに用いられるポジショニング特徴マップと、を含む。
具体的に実施する時、図２に示すように、畳み込みニューラルネットワークを用いてターゲット画像に対して画像特徴抽出を行い、初期の特徴マップを得た後、４つの３×３で、入出力がいずれも２５６である畳み込みニューラルをそれぞれ用いて初期の特徴マップを処理し、前記分類特徴マップ及びポジショニング特徴マップを取得するとしてもよい。
分類特徴マップ及びポジショニング特徴マップを得た後、前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定するステップは、次のステップによって実現されてもよい。
前記分類特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、及び前記オブジェクトタイプ情報の第１の信頼度を特定し、前記ポジショニング特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェク境界ボックス情報、及び前記オブジェク境界ボックス情報の第２の信頼度を特定する。
具体的に実施する時、畳み込みニューラルネットワーク又は畳み込み層を用いて分類特徴マップに対して画像特徴抽出を行い、各特徴点が属するオブジェクトのオブジェクトタイプ情報、及び前記オブジェクトタイプ情報の第１の信頼度を取得し、畳み込みニューラルネットワーク又は畳み込み層を用いてポジショニング特徴マップに対して画像特徴抽出を行い、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、及び前記オブジェク境界ボックス情報の第２の信頼度を取得するとしてもよい。
上記実施例は、ターゲット画像の分類特徴マップ及びポジショニング特徴マップに基づいて、画像特徴マップ中の各特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定するだけでなく、また画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、及びオブジェクトタイプ情報とオブジェク境界ボックス情報のそれぞれに対応する信頼度を特定することで、オブジェク境界ボックスの情報表現力を高め、それにより、オブジェク境界ボックスに基づいてオブジェクトをポジショニングする精度を向上させることに役立つ。
いくつかの実施例では、図３に示すように、前記ポジショニング特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定することは、ステップＳ３１０～Ｓ３３０によって実現されてもよい。
Ｓ３１０において、前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離が位置するターゲット距離範囲を別々に特定し、ただし、オブジェク境界ボックスにおける各境界は、例えば、オブジェク境界ボックスの上境界、下境界、左境界及び右境界のような、各方向におけるオブジェク境界ボックスの境界であってもよい。
ここで、特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離が位置するターゲット距離範囲を特定するために、畳み込みニューラルネットワーク又は畳み込み層を用いてポジショニング特徴マップに対して画像特徴抽出を行ってもよい。
具体的に実施する時、まずポジショニング特徴マップに基づいて、当該特徴点と特定の境界との間の最大距離を特定した後、前記最大距離に対してセグメンテーション処理を行い、複数の距離範囲を取得し、また、畳み込みニューラルネットワーク又は畳み込み層を用いてポジショニング特徴マップに対して画像特徴抽出を行い、当該特徴点と当該境界との間の距離が各距離範囲内に位置する第１の確率値を特定し、最後に、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する。具体的には、最大の第１の確率値に対応する距離範囲を前記ターゲット距離範囲としてもよい。
図２に示すように、オブジェク境界ボックスは例えば、上境界、下境界、左境界及び右境界を含んでもよく、前記方法に基づいて、左境界に対応する５つの距離範囲の５つの第１の確率値ａ、ｂ、ｃ、ｄ、ｅを特定し、また、最大の第１の確率値ｂに対応する距離範囲をターゲット距離範囲として選択する。
上記したように、最大確率値に対応する距離範囲を、特徴点と当該境界との間の距離が位置するターゲット距離範囲として選択することにより、特定したターゲット距離範囲の精度を向上させ、それにより、当該ターゲット距離範囲に基づいて特定された特徴点と特定の境界との間の距離の精度を向上させることに役立つ。
Ｓ３２０において、前記ターゲット距離範囲及び前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間のターゲット距離を別々に特定する。
ターゲット距離範囲を特定した後、ターゲット距離範囲にマッチングする回帰ネットワーク、例えば、畳み込みニューラルネットワークを選択し、ポジショニング特徴マップに対して画像特徴抽出を行い、特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間のターゲット距離を取得する。
ここで、ターゲット距離範囲を特定した上で、さらに、畳み込みニューラルネットワークを用いて正確な距離を特定することにより、特定した距離の精度を効果的に向上させることができる。
また、図２に示すように、ターゲット距離を特定した後、プリセットされた又はトレーニングされたパラメータ又は重みＮを用いて、特定した目標距離を補正し、最終的なターゲット距離を取得するとしてもよい。
図２に示すように、本ステップにより、特徴点と左境界との間の正確なターゲット距離が特定され、当該ターゲット距離は図２においてｆで示される。図２に示すように、特定されたターゲット距離は、特定されたターゲット距離範囲内にある。
Ｓ３３０において、当該特徴点の前記画像特徴マップにおける位置情報、及び当該特徴点と各境界との間のターゲット距離に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定する。
ここで、特徴点の画像特徴マップにおける位置情報、及び当該特徴点と各境界との間のターゲット距離を用いて、オブジェク境界ボックス情報に対応するオブジェク境界ボックスにおける各境界の画像特徴マップにおける位置情報を特定することができる。最後に、オブジェク境界ボックスにおける全ての境界の画像特徴マップにおける位置情報を、特徴点が属するオブジェクトのオブジェク境界ボックス情報とすることができる。
上記実施例は、まず、特徴点とオブジェク境界ボックスにおける各境界との間の距離が位置するターゲット距離範囲を特定した後、特定したターゲット距離範囲に基づいて、特徴点と各境界との間のターゲット距離を特定し、当該２つのステップにより、特定したターゲット距離の精度を向上させることができる。その後、特定した当該正確なターゲット距離に基づいて、特徴点に位置の正確なオブジェク境界ボックスを特定することができ、特定したオブジェク境界ボックスの精度を向上させる。
いくつかの実施例では、図４に示すように、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、特徴点と特定の境界との間の距離が位置するターゲット距離範囲を選択することは、さらにステップＳ４１０～Ｓ４３０によって実現されてもよい。
Ｓ４１０において、前記ポジショニング特徴マップに基づいて、当該特徴点と特定の境界との間の距離の距離不確定パラメータ（ｄｉｓｔａｎｃｅ ｕｎｃｅｒｔａｉｎｔｙ ｐａｒａｍｅｔｅｒ）値を特定する。
ここで、畳み込みニューラルネットワークを用いて特徴点と特定の境界との間の距離が各距離範囲内に位置する第１の確率値を特定するとともに、当該特徴点と当該境界との間の距離の距離不確定パラメータ値を特定することができる。ここでの距離不確定パラメータ値は、特定された各第１の確率値の信頼度を特徴付けることに用いることができる。
Ｓ４２０において、前記距離不確定パラメータ値及び各第１の確率値に基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置するターゲット確率値を特定する。
ここで、距離不確定パラメータ値を用いて各第１の確率値を修正し、対応するターゲット確率値を取得する。
具体的に実施する時、以下の式によってターゲット確率値を特定してもよい。
Figure 2022540101000002
上式において、ｐｘ,ｎは特徴点と境界ｘとの間の距離がｎ番目の距離範囲内に位置するターゲット確率値を表し、Ｎは距離範囲の数を表し、σｘは境界ｘに対応する距離不確定パラメータ値を表し、ｓｘ,ｎは特徴点と境界ｘとの間の距離がｎ番目の距離範囲内に位置する第１の確率値を表し、ｓｘ,ｍは特徴点と境界ｘとの間の距離がｍ番目の距離範囲内に位置する第１の確率値を表す。
Ｓ４３０において、特定した前記ターゲット確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する。
ここで、具体的には、最大のターゲット確率値に対応する距離範囲をターゲット距離範囲として選択してもよい。
上記実施例は、特徴点と特定の境界との間の距離が各距離範囲内に位置する第１の確率値を特定するとともに、さらに１つの距離不確定パラメータ値を特定し、当該パラメータ値に基づいて第１の確率値を修正又は補正し、特徴点と特定の境界との間の距離が各距離範囲内に位置するターゲット確率値を取得することができ、特定した特徴点と特定の境界との間の距離が各距離範囲内に位置する確率値の精度を向上させ、それにより、当該確率値に基づいて特定されたターゲット距離範囲の精度を向上させることに役立つ。
特徴点と対応するオブジェク境界ボックスにおける各境界との間のターゲット距離を特定した後、前記画像特徴マップにおける特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離が位置するターゲット距離範囲に対応する第１の確率値に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することにより、対応するオブジェク境界ボックス情報の信頼度、すなわち前記第２の信頼度を特定するとしてもよい。
具体的に実施する時、特徴点と特徴点が属するオブジェクトのオブジェク境界ボックスにおける全ての境界との間の距離が位置するターゲット距離範囲に対応する第１の確率値の平均値を前記第２の信頼度として特定してもよい。
当然のことながら、他の方法を用いて第２の信頼度を特定してもよく、本開示は、ターゲット距離範囲に対応する第１の確率値に基づいて第２の信頼度を特定する方法について限定しない。
上記実施形態は、特徴点と各境界との間の距離が位置する距離範囲に対応する第１の確率値を用いて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の信頼度、すなわち前記第２の信頼度を特定することができ、オブジェク境界ボックスの情報表現力を高める。
いくつかの実施例では、前記分類特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することは、前記分類特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトが各プリセットオブジェクトタイプである第２の確率値を特定するステップと、最大の前記第２の確率値に対応するプリセットオブジェクトタイプに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定するステップとにより実現されてもよい。
具体的に実施する時、畳み込みニューラルネットワーク又は畳み込み層を用いて分類特徴マップに対して画像特徴抽出を行い、特徴点が属するオブジェクトが各プリセットオブジェクトタイプである第２の確率値を取得するとしてもよい。その後、最大の第２の確率値に対応するプリセットオブジェクトタイプを選択して、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定する。図２に示すように、本実施例により特定されたプリセットオブジェクトタイプの「猫」に対応する第２の確率値が最も大きいため、オブジェクトタイプ情報が猫に対応すると特定する。なお、本明細書では、異なる操作は、同じ畳み込みニューラルネットワークの異なる部分を使用できる。
上記実施形態は、最大の第２の確率値に対応するプリセットオブジェクトタイプを、当該特徴点が属するオブジェクトのオブジェクトタイプ情報として選択することにより、特定したオブジェクトタイプ情報の精度を向上させる。
いくつかの実施例では、図５に示すように、各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することは、ステップＳ５１０～Ｓ５３０によって実現されてもよい。
Ｓ５１０において、前記画像特徴マップから複数のターゲット特徴点を選別し、ただし、前記複数のターゲット特徴点の同士間の距離がプリセット閾値より小さく、且つ各ターゲット特徴点が属するオブジェクトのオブジェクトタイプ情報が同じである。
ここで、選別して得られた複数のターゲット特徴点は、同じオブジェクトに属する特徴点である。
Ｓ５２０において、各ターゲット特徴点が属するオブジェクトのオブジェク境界ボックス情報から、最高のターゲット信頼度を有するオブジェク境界ボックス情報をターゲット境界ボックス情報として選択する。
同じオブジェクトに属する特徴点に対して、最高のターゲット信頼度に対応するオブジェク境界ボックス情報を選択してオブジェクトをポジショニングしてもよく、他のターゲット信頼度の低いオブジェク境界ボックス情報を削除し、オブジェクトをポジショニングするプロセスにおける計算量を減らしてもよい。
Ｓ５３０において、選択した前記ターゲット境界ボックス情報、及び前記ターゲット境界ボックス情報のターゲット信頼度に基づいて前記ターゲット画像におけるオブジェクトのポジショニング情報を特定する。
上記実施形態は、距離が比較的近くオブジェクトタイプ情報が同じの特徴点に対応するオブジェク境界ボックス情報から、最高のターゲット信頼度を有するオブジェク境界ボックス情報を選択してオブジェクトをポジショニングすることにより、オブジェクトのポジショニングに使用されるオブジェク境界ボックス情報の量を効果的に減らすことができ、オブジェクトのポジショニングの適時性を向上させることに役立つ。
前記ポジショニング方法に対応して、本開示の実施例はポジショニング装置をさらに提供し、当該装置は、画像におけるオブジェクトをポジショニングする端末機器に適用され、また当該装置及び各モジュールは前記ポジショニング方法と同じ方法のステップを実行することができるとともに、同じ又は類似した有益な効果を取得することができるため、重複する部分については再度説明しない。
図６に示すように、本開示にて提供されるポジショニング装置は、
少なくとも１つのポジショニングオブジェクトが含まれるターゲット画像を取得することに用いられる画像取得モジュール６１０と、
前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定することに用いられる画像処理モジュール６２０と、
前記第１の信頼度及び前記第２の信頼度に基づいて、各特徴点が属するオブジェクトのオブジェク境界ボックス情報のターゲット信頼度を別々に特定することに用いられる信頼度処理モジュール６３０と、
各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することに用いられるポジショニングモジュール６４０と、を含む。
いくつかの実施例では、前記画像特徴マップは、前記画像特徴マップ中の特徴点が属するオブジェクトを分類することに用いられる分類特徴マップと、前記画像特徴マップ中の特徴点が属するオブジェクトをポジショニングすることに用いられるポジショニング特徴マップと、を含む。
前記画像処理モジュール６２０は、
前記分類特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、及び前記オブジェクトタイプ情報の第１の信頼度を特定し、
前記ポジショニング特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェク境界ボックス情報、及び前記オブジェク境界ボックス情報の第２の信頼度を特定することに用いられる。
いくつかの実施例では、前記画像処理モジュール６２０は、前記ポジショニング特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定する時、
前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を別々に特定し、
前記ターゲット距離範囲及び前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間のターゲット距離を別々に特定し、
当該特徴点の前記画像特徴マップにおける位置情報、及び当該特徴点と各境界との間のターゲット距離に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定することに用いられる。
いくつかの実施例では、前記画像処理モジュール６２０は、１つの特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を特定する時、
当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の最大距離を特定し、
前記最大距離に対してセグメンテーション処理を行い、複数の距離範囲を取得し、
前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置する第１の確率値を特定し、
特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することに用いられる。
いくつかの実施例では、前記画像処理モジュールは、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する時、
最大の前記第１の確率値に対応する距離範囲を前記ターゲット距離範囲とすることに用いられる。
いくつかの実施例では、前記画像処理モジュール６２０は、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する時、
前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離の距離不確定パラメータ値を特定し、
前記距離不確定パラメータ値及び各第１の確率値に基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置するターゲット確率値を特定し、
最大のターゲット確率値に対応する距離範囲を、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲とすることに用いられる。
いくつかの実施例では、前記画像処理モジュール６２０は、前記オブジェク境界ボックス情報の第２の信頼度を特定する時、
前記画像特徴マップにおける１つの特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することに用いられる。
いくつかの実施例では、前記画像処理モジュールは、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定する時、
当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値の平均値を取得し、
当該平均値を前記第２の信頼度として特定することに用いられる。
いくつかの実施例では、前記画像処理モジュール６２０は、前記分類特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報を特定する時、
前記分類特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトが各プリセットオブジェクトタイプである第２の確率値を特定し、
最大の前記第２の確率値に対応するプリセットオブジェクトタイプに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することに用いられる。
いくつかの実施例では、前記ポジショニングモジュール６４０は、
前記画像特徴マップから複数のターゲット特徴点を選別し、ただし、前記複数のターゲット特徴点の同士間の距離がプリセット閾値より小さく、且つ各ターゲット特徴点が属するオブジェクトのオブジェクトタイプ情報が同じであり、
各ターゲット特徴点が属するオブジェクトのオブジェク境界ボックス情報から、最高のターゲット信頼度を有するオブジェク境界ボックス情報をターゲット境界ボックス情報として選択し、
選択した前記ターゲット境界ボックス情報、及び前記ターゲット境界ボックス情報のターゲット信頼度に基づいて前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することに用いられる。
本開示の実施例は、電子機器であって、図７に示すように、プロセッサ７０１と、メモリ７０２と、バス７０３と、を含み、前記メモリ７０２には、前記プロセッサ７０１により実行可能な機械読み取り可能な命令が記憶され、電子機器が動作する場合、前記プロセッサ７０１と前記メモリ７０２との間はバス７０３経由で通信する電子機器を開示する。
前記機械読み取り可能な命令は、前記プロセッサ７０１により実行されると、
少なくとも１つのポジショニングオブジェクトが含まれるターゲット画像を取得するステップと、
前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定するステップと、
前記第１の信頼度及び前記第２の信頼度に基づいて、各特徴点が属するオブジェクトのオブジェク境界ボックス情報のターゲット信頼度を別々に特定するステップと、
各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定するステップと、というポジショニング方法のステップを実行する。
その上、機械読み取り可能な命令は、プロセッサ７０１により実行されると、前記方法の部分に記載のいずれか１つの実施形態における方法内容を実行することができ、ここで詳細は再度説明しない。
本開示の実施例にてさらに提供される前記方法及び装置に対応するコンピュータプログラム製品は、プログラムコードが記憶されているコンピュータ読み取り可能な記憶媒体を含み、プログラムコードに含まれる命令は、前述した方法の実施例における方法を実行することに用いることができ、具体的な実現は、方法の実施例を参照すればよく、ここで詳細は再度説明しない。
様々な実施例に対する上記の説明は、各実施例間の相違を強調する傾向があり、それらの同じ又は類似したものは互いに参照してもよく、簡潔にするために、本明細書では詳細は再度説明しない。
当業者であれば明らかに理解できるように、説明の便宜及び簡潔のために、上記説明したシステム及び装置の具体的な動作プロセスは、方法の実施例における対応するプロセスを参照してもよく、本開示では詳細は再度説明しない。本開示にて提供されるいくつかの実施例では、開示されるシステム、装置、及び方法は、他の方法により実現されてもよいことが理解されるべきである。以上説明した装置の実施例は、単なる例示的なものであり、例えば、前記モジュールの分割は、単なる論理的機能の分割であり、実際に実現する場合、他の分割方法にしてもよく、また、例えば、複数のモジュール又は構成要素は結合されてもよく、又は別のシステムに集積されてもよく、或いはいくつかの特徴は省略されてもよく、又は実行されなくてもよい。一方では、図示し又は論じた相互の結合又は直接結合又は通信接続は、何らかの通信インタフェース、装置又はモジュールを介した間接的な結合又は通信接続であってもよく、電気的、機械的、又は他の形態であってもよい。
分離した部材として説明された前記モジュールは、物理的に分離しても、又は分離しなくてもよく、モジュールとして表示される部材は、物理的なユニットであっても、又は物理的なユニットでなくてもよく、すなわち、一箇所に位置しても、又は複数のネットワークユニットに分散してもよい。本実施例の技術案の目的を達成するために、実際の必要に応じて、そのうちの一部又は全部のユニットを選択してもよい。
また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットが物理的に別々に存在してもよく、２以上のユニットが１つのユニットに集積されてもよい。
前記機能は、ソフトウェア機能ユニットの形態で実現され、スタンドアロン製品として販売又は使用される場合、１つのプロセッサにより実行可能な不揮発性コンピュータ読み取り可能な記憶媒体に記憶することができる。このような理解に基づいて、本開示の技術案は、本質的に、又は先行技術に寄与する部分や当該技術案の一部が、ソフトウェア製品の形で具体化することができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ、又はネットワークデバイスなどであってもよい）に本開示の各実施例に記載された方法のステップの全部又は一部を実行させることに用いられるいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、ポータブルハードディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶できる種々の媒体を含む。
以上は本開示の具体的な実施形態にすぎず、本開示の保護範囲を限定するものではなく、当業者であれば、本開示に開示された技術的範囲内において、容易に想到し得る変更又は置換はいずれも本開示の保護範囲に含まれるべきである。したがって、本開示の保護範囲は、特許請求の範囲の保護範囲を基準とすべきである。

Claims (22)

  1. 少なくとも１つのポジショニングオブジェクトが含まれるターゲット画像を取得するステップと、
    前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定するステップと、
    前記第１の信頼度及び前記第２の信頼度に基づいて、各特徴点が属するオブジェクトのオブジェク境界ボックス情報のターゲット信頼度を別々に特定するステップと、
    各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定するステップと、を含むことを特徴とするポジショニング方法。
  2. 前記画像特徴マップは、前記画像特徴マップ中の特徴点が属するオブジェクトを分類することに用いられる分類特徴マップと、前記画像特徴マップ中の特徴点が属するオブジェクトをポジショニングすることに用いられるポジショニング特徴マップと、を含み、
    前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定するステップは、
    前記画像特徴マップ中の各特徴点に対して、
    前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報、及び前記オブジェクトタイプ情報の第１の信頼度を特定し、
    前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報、及び前記オブジェク境界ボックス情報の第２の信頼度を特定するステップを含むことを特徴とする請求項１に記載のポジショニング方法。
  3. 前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定することは、
    前記画像特徴マップ中の各特徴点に対して、
    前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を別々に特定し、
    前記ターゲット距離範囲及び前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間のターゲット距離を別々に特定し、
    当該特徴点の前記画像特徴マップにおける位置情報、及び当該特徴点と各境界との間のターゲット距離に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定することを含むことを特徴とする請求項２に記載のポジショニング方法。
  4. 当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を特定することは、
    当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界に対して、
    前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の最大距離を特定し、
    前記最大距離に対してセグメンテーション処理を行い、複数の距離範囲を取得し、
    前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置する第１の確率値を特定し、
    特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することを含むことを特徴とする請求項３に記載のポジショニング方法。
  5. 特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することは、
    最大の前記第１の確率値に対応する距離範囲を前記ターゲット距離範囲とすることを含むことを特徴とする請求項４に記載のポジショニング方法。
  6. 特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することは、
    前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離の距離不確定パラメータ値を特定し、
    前記距離不確定パラメータ値及び各第１の確率値に基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置するターゲット確率値を特定し、
    最大の前記ターゲット確率値に対応する距離範囲を、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲とすることと、を含むことを特徴とする請求項４に記載のポジショニング方法。
  7. 前記オブジェク境界ボックス情報の第２の信頼度を特定することは、
    当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することを含むことを特徴とする請求項４に記載のポジショニング方法。
  8. 当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することは、
    当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値の平均値を取得することと、
    当該平均値を前記第２の信頼度として特定することと、を含むことを特徴とする請求項７に記載のポジショニング方法。
  9. 前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することは、
    前記画像特徴マップ中の各特徴点に対して、
    前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトが各プリセットオブジェクトタイプである第２の確率値を特定し、
    最大の前記第２の確率値に対応するプリセットオブジェクトタイプに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することを含むことを特徴とする請求項２～８のいずれか一項に記載のポジショニング方法。
  10. 各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定するステップは、
    前記画像特徴マップから複数のターゲット特徴点を選別し、前記複数のターゲット特徴点の同士間の距離がプリセット閾値より小さく、且つ各ターゲット特徴点が属するオブジェクトのオブジェクトタイプ情報が同じであることと、
    各ターゲット特徴点が属するオブジェクトのオブジェク境界ボックス情報から、最高のターゲット信頼度を有するオブジェク境界ボックス情報をターゲット境界ボックス情報として選択することと、
    選択した前記ターゲット境界ボックス情報、及び前記ターゲット境界ボックス情報のターゲット信頼度に基づいて前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することと、を含むことを特徴とする請求項１～９のいずれか一項に記載のポジショニング方法。
  11. 少なくとも１つのポジショニングオブジェクトが含まれるターゲット画像を取得することに用いられる画像取得モジュールと、
    前記ターゲット画像の画像特徴マップに基づいて、前記画像特徴マップ中の各特徴点が属するオブジェクトのオブジェクトタイプ情報、各特徴点が属するオブジェクトのオブジェク境界ボックス情報、前記オブジェクトタイプ情報の第１の信頼度及び前記オブジェク境界ボックス情報の第２の信頼度を特定することに用いられる画像処理モジュールと、
    前記第１の信頼度及び前記第２の信頼度に基づいて、各特徴点が属するオブジェクトのオブジェク境界ボックス情報のターゲット信頼度を別々に特定することに用いられる信頼度処理モジュールと、
    各特徴点が属するオブジェクトのオブジェク境界ボックス情報及び前記オブジェク境界ボックス情報のターゲット信頼度に基づいて、前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することに用いられるポジショニングモジュールと、を含むことを特徴とするポジショニング装置。
  12. 前記画像特徴マップは、前記画像特徴マップ中の特徴点が属するオブジェクトを分類することに用いられる分類特徴マップと、前記画像特徴マップ中の特徴点が属するオブジェクトをポジショニングすることに用いられるポジショニング特徴マップと、を含み、
    前記画像処理モジュールは、
    前記画像特徴マップ中の各特徴点に対して、
    前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報、及び前記オブジェクトタイプ情報の第１の信頼度を特定し、
    前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報、及び前記オブジェク境界ボックス情報の第２の信頼度を特定することに用いられることを特徴とする請求項１１に記載のポジショニング装置。
  13. 前記画像処理モジュールは、前記画像特徴マップ中の各特徴点に対して、前記ポジショニング特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定する時、
    前記画像特徴マップ中の各特徴点に対して、
    前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を別々に特定し、
    前記ターゲット距離範囲及び前記ポジショニング特徴マップに基づいて、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間のターゲット距離を別々に特定し、
    当該特徴点の前記画像特徴マップにおける位置情報、及び当該特徴点と各境界との間のターゲット距離に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報を特定することに用いられることを特徴とする請求項１２に記載のポジショニング装置。
  14. 前記画像処理モジュールは、当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲を特定する時、
    当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界に対して、前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の最大距離を特定し、
    前記最大距離に対してセグメンテーション処理を行い、複数の距離範囲を取得し、
    前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置する第１の確率値を特定し、
    特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択することに用いられることを特徴とする請求項１３に記載のポジショニング装置。
  15. 前記画像処理モジュールは、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する時、
    最大の前記第１の確率値に対応する距離範囲を前記ターゲット距離範囲とすることに用いられることを特徴とする請求項１４に記載のポジショニング装置。
  16. 前記画像処理モジュールは、特定した前記第１の確率値に基づいて、前記複数の距離範囲から、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲を選択する時、
    前記ポジショニング特徴マップに基づいて、当該特徴点と当該境界との間の距離の距離不確定パラメータ値を特定し、
    前記距離不確定パラメータ値及び各第１の確率値に基づいて、当該特徴点と当該境界との間の距離が各距離範囲内に位置するターゲット確率値を特定し、
    最大のターゲット確率値に対応する距離範囲を、当該特徴点と当該境界との間の距離が位置するターゲット距離範囲とすることに用いられることを特徴とする請求項１４に記載のポジショニング装置。
  17. 前記画像処理モジュールは、前記オブジェク境界ボックス情報の第２の信頼度を特定する時、
    当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値に基づいて、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定することに用いられることを特徴とする請求項１４に記載のポジショニング装置。
  18. 前記画像処理モジュールは、当該特徴点が属するオブジェクトのオブジェク境界ボックス情報の第２の信頼度を特定する時、
    当該特徴点と当該特徴点が属するオブジェクトのオブジェク境界ボックスにおける各境界との間の距離がそれぞれ位置するターゲット距離範囲に対応する第１の確率値の平均値を取得し、
    当該平均値を前記第２の信頼度として特定することに用いられることを特徴とする請求項１７に記載のポジショニング装置。
  19. 前記画像処理モジュールは、前記画像特徴マップ中の各特徴点に対して、前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定する時、
    前記画像特徴マップ中の各特徴点に対して、
    前記分類特徴マップに基づいて、当該特徴点が属するオブジェクトが各プリセットオブジェクトタイプである第２の確率値を特定し、
    最大の前記第２の確率値に対応するプリセットオブジェクトタイプに基づいて、当該特徴点が属するオブジェクトのオブジェクトタイプ情報を特定することに用いられることを特徴とする請求項１２～１８のいずれか一項に記載のポジショニング装置。
  20. 前記ポジショニングモジュールは、
    前記画像特徴マップから複数のターゲット特徴点を選別し、前記複数のターゲット特徴点の同士間の距離がプリセット閾値より小さく、且つ各ターゲット特徴点が属するオブジェクトのオブジェクトタイプ情報が同じであり、
    各ターゲット特徴点が属するオブジェクトのオブジェク境界ボックス情報から、最高のターゲット信頼度を有するオブジェク境界ボックス情報をターゲット境界ボックス情報として選択し、
    選択した前記ターゲット境界ボックス情報、及び前記ターゲット境界ボックス情報のターゲット信頼度に基づいて前記ターゲット画像におけるオブジェクトのポジショニング情報を特定することに用いられることを特徴とする請求項１１～１９のいずれか一項に記載のポジショニング装置。
  21. 電子機器であって、プロセッサと、記憶媒体と、バスと、を含み、前記記憶媒体には、前記プロセッサにより実行可能な機械読み取り可能な命令が記憶され、電子機器が動作する場合、前記プロセッサと前記記憶媒体との間はバス経由で通信し、前記プロセッサは、請求項１～１０のいずれか一項に記載のポジショニング方法を実行するために、前記機械読み取り可能な命令を実行することを特徴とする電子機器。
  22. コンピュータプログラムが記憶され、前記コンピュータプログラムは、プロセッサにより実行されると、請求項１～１０のいずれか一項に記載のポジショニング方法を実行することを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2022500616A 2020-01-18 2021-01-15 ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体 Withdrawn JP2022540101A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010058788.7 2020-01-18
CN202010058788.7A CN111275040B (zh) 2020-01-18 2020-01-18 定位方法及装置、电子设备、计算机可读存储介质
PCT/CN2021/072210 WO2021143865A1 (zh) 2020-01-18 2021-01-15 定位方法及装置、电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
JP2022540101A true JP2022540101A (ja) 2022-09-14

Family

ID=70998770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022500616A Withdrawn JP2022540101A (ja) 2020-01-18 2021-01-15 ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体

Country Status (4)

Country Link
JP (1) JP2022540101A (ja)
KR (1) KR20220093187A (ja)
CN (1) CN111275040B (ja)
WO (1) WO2021143865A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275040B (zh) * 2020-01-18 2023-07-25 北京市商汤科技开发有限公司 定位方法及装置、电子设备、计算机可读存储介质
CN111931723B (zh) * 2020-09-23 2021-01-05 北京易真学思教育科技有限公司 目标检测与图像识别方法和设备、计算机可读介质
CN114613147B (zh) * 2020-11-25 2023-08-04 浙江宇视科技有限公司 一种车辆违章的识别方法、装置、介质及电子设备
CN112819003B (zh) * 2021-04-19 2021-08-27 北京妙医佳健康科技集团有限公司 一种提升体检报告ocr识别准确率的方法及装置
CN113762109B (zh) * 2021-08-23 2023-11-07 北京百度网讯科技有限公司 一种文字定位模型的训练方法及文字定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
KR102463175B1 (ko) * 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
CN108764292B (zh) * 2018-04-27 2022-03-18 北京大学 基于弱监督信息的深度学习图像目标映射及定位方法
CN109522938A (zh) * 2018-10-26 2019-03-26 华南理工大学 一种基于深度学习的图像中目标的识别方法
CN111275040B (zh) * 2020-01-18 2023-07-25 北京市商汤科技开发有限公司 定位方法及装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN111275040B (zh) 2023-07-25
CN111275040A (zh) 2020-06-12
WO2021143865A1 (zh) 2021-07-22
KR20220093187A (ko) 2022-07-05

Similar Documents

Publication Publication Date Title
CN109977262B (zh) 从视频中获取候选片段的方法、装置及处理设备
CN109255352B (zh) 目标检测方法、装置及系统
JP2022540101A (ja) ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体
CN110858394B (zh) 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN108805016B (zh) 一种头肩区域检测方法及装置
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN113971751A (zh) 训练特征提取模型、检测相似图像的方法和装置
US20220351398A1 (en) Depth detection method, method for training depth estimation branch network, electronic device, and storage medium
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN107169503B (zh) 一种室内场景的分类方法及装置
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN115861400A (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113255501A (zh) 生成表格识别模型的方法、设备、介质及程序产品
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN110956131B (zh) 单目标追踪方法、装置及系统
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
CN114972465A (zh) 图像目标深度的检测方法、装置、电子设备和存储介质
CN115273184A (zh) 人脸活体检测模型训练方法及装置
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN114219938A (zh) 感兴趣区域获取方法
CN108932115B (zh) 一种视觉图像的更新方法、装置及电子设备
CN109146969B (zh) 行人定位方法、装置及处理设备及其存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220105

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20221223