JP2022546880A - オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2022546880A
JP2022546880A JP2020572930A JP2020572930A JP2022546880A JP 2022546880 A JP2022546880 A JP 2022546880A JP 2020572930 A JP2020572930 A JP 2020572930A JP 2020572930 A JP2020572930 A JP 2020572930A JP 2022546880 A JP2022546880 A JP 2022546880A
Authority
JP
Japan
Prior art keywords
image
distance
objects
determining
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020572930A
Other languages
English (en)
Inventor
ジョンアン ツァイ，
ジュンジェ ジャン，
ダシュアン レン，
チュンジュン ユー，
ハイユー ジャオ，
シュアイ イー，
Original Assignee
センスタイム インターナショナル プライベート リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by センスタイム インターナショナル プライベート リミテッド filed Critical センスタイム インターナショナル プライベート リミテッド
Priority claimed from PCT/IB2020/060208 external-priority patent/WO2022029479A1/en
Publication of JP2022546880A publication Critical patent/JP2022546880A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明の実施例は、オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラムを開示する。前記方法は、第１画像と第２画像を取得することと、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含み、ここで、オブジェクトの周辺情報が、前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される。

Description

（関連出願への相互参照）
本出願は、２０２０年８月１日にシンガポール特許庁に提出された、出願番号が１０２０２００７３５６Ｕであり、発明名称が「オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラム」であるシンガポール特許出願の優先権を主張し、当該出願の全内容が参照により本出願に組み込まれる。
本発明は、画像処理技術に関するがこれに限定されず、具体的にはオブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラムに関する。
マルチカメラシステムは、実生活においてよく見られている。マルチカメラシステムは、シングルカメラシステムに比べて視野が広く、例えば、無人車両は、通常、マルチカメラシステムを配置し、マルチカメラシステムによって様々な角度からの画像を収集し、シングルカメラで解決できない遮蔽問題を解決することができる。マルチカメラシステムにおける各カメラの情報を融合することにより、被写体の完全な情報を得ることができる。
現在、従来の特徴比較法又は深層学習特徴比較法によりマルチカメラ融合を行うことができるが、どちらの特徴比較法を使用しても、外観が類似又は同じであるオブジェクトを区別できない。同じ又は類似のオブジェクトがシーン内に大量現れる場合、特徴比較法を用いれば、マルチカメラシステムにおける各カメラの情報の融合精度が大幅に低下する。
本発明の実施例は、オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体を提供する。
上記目的を達成するために、本発明の実施例の技術的解決策は、次のように実現される。
本発明の実施例によるオブジェクト関連付け方法は、
第１画像と第２画像を取得することと、
前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含み、
ここで、オブジェクトの周辺情報は、当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される。
本発明の実施例では、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することを含み、ここで、オブジェクトの外観情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックス内の画素に基づいて決定される。
本発明の実施例では、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定することであって、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表すことと、
前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定することであって、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表すことと、
前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定することと、
決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含む。
本発明の実施例では、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定することは、
前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得することを含み、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなる。
本発明の実施例では、前記方法はさらに、
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することを含み、
決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定することと、
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含む。
本発明の実施例では、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することは、
前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得することと、
前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定することと、
前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定することであって、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表すことと、
前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定することと、
決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することとを含む。
本発明の実施例では、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定することは、
前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得することを含む。
本発明の実施例では、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成することであって、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表すことと、
前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定することであって、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すこととを含む。前記隣接マトリックスの各要素の値が１である場合、対応する第１オブジェクトと第２オブジェクトが関連していることを示し、前記隣接マトリックスの各要素の値が０である場合、対応する第１オブジェクトと第２オブジェクトが関連していないことを示す。
本発明の実施例はさらにオブジェクト関連付け装置を提供する。前記装置は、
第１画像と第２画像を取得するように構成される取得ユニットと、
前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの周辺情報が、当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される決定ユニットとを備える。
本発明の実施例では、前記決定ユニットは、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの外観情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックス内の画素に基づいて決定される。
本発明の実施例では、前記決定ユニットは、前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定し、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表し、前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定し、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定し、決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成される。
本発明の実施例では、前記決定ユニットは、前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得するように構成され、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなる。
本発明の実施例では、前記決定ユニットは、さらに前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づいて前記２つのオブジェクトの間の距離を決定し、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成される。
本発明の実施例では、前記決定ユニットは、前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得し、前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定し、前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定し、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表し、前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定し、決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定するように構成される。
本発明の実施例では、前記決定ユニットは、前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得するように構成される。
本発明の実施例では、前記決定ユニットは、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成し、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表し、前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定し、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すように構成される。
本発明の実施例はさらにオブジェクト関連付けシステムを提供する。前記システムは、
シーンを第１視角で収集して第１画像を取得するように構成される第１画像収集装置と、
前記シーンを前記第１視角と異なる第２視角で収集して第２画像を取得するように構成される第２画像収集装置と、
第１画像と第２画像を取得し、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの周辺情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定されるプロセッサとを備える。
本発明の実施例はさらにコンピュータプログラムを記憶し、当該プログラムがプロセッサによって実行されると本発明の実施例に記載の方法のステップを実現するコンピュータ可読記憶媒体を提供する。
本発明の実施例はさらに、プロセッサで実行可能なコンピュータプログラムを記憶しているメモリと、プロセッサとを備え、前記プロセッサが前記プログラムを実行すると本発明の実施例に記載の方法のステップを実現する電子機器を提供する。
本発明の実施例はさらに、コンピュータ可読コードを含み、前記コンピュータ可読コードがコンピュータに実行されると本発明の実施例に記載の方法のステップを実現するコンピュータプログラムを提供する。
本発明の実施例によるオブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラムでは、前記方法は、第１画像と第２画像を取得することと、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含み、ここで、オブジェクトの周辺情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される。本発明の実施例の技術的解決策を採用し、異なる画像における各オブジェクトの周辺情報を異なる画像のオブジェクトの間で関連付けてマッチングする依拠として用いることにより、２つの画像における外観が類似又は同じであるオブジェクトを関連付けてマッチングすることが実現され、関連付けてマッチングする精度が向上する。
本発明の実施例によるオブジェクト関連付け方法のフローチャート１である。 本発明の実施例によるオブジェクト関連付け方法のフローチャート２である。 本発明の実施例によるオブジェクト関連付け方法における特徴距離の決定を示す図である。 本発明の実施例によるオブジェクト関連付け方法のフローチャート３である。 本発明の実施例によるオブジェクト関連付け方法における幾何学的距離の決定を示す図である。 本発明の実施例によるオブジェクト関連付け方法における関連関係の決定を示す図である。 本発明の実施例によるオブジェクト関連付け装置の構成構造図である。 本発明の実施例による電子機器のハードウェア構造図である。
以下に図面及び具体的な実施例を参照しながら本発明をさらに詳しく説明する。
本発明の実施例は、オブジェクト関連付け方法を提供する。図１は本発明の実施例によるオブジェクト関連付け方法のフローチャート１である。図１に示すように、前記方法は、ステップ１０１とステップ１０２とを含む。
ステップ１０１において、第１画像と第２画像を取得する。
ステップ１０２において、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定し、ここで、オブジェクトの周辺情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される。
本実施例における第１画像と第２画像に少なくとも１つのオブジェクトが含まれる。オブジェクトは、実際のシーンに現れる可能性がある任意のオブジェクトであってもよく、本実施例ではオブジェクトのタイプは、限定されない。
本実施例では、第１画像収集装置によって第１画像を収集し、第２画像収集装置によって第２画像を収集することができる。いくつかの実施例では、第１画像収集装置と第２画像収集装置は、同じシーンの異なる視角で当該シーンに対して画像収集を行い、それによって第１画像と第２画像をそれぞれ取得することができる。例示的に、第１画像と第２画像は、同じオブジェクトを有することができるが、オブジェクトの第１画像における位置と第２画像における位置は異なる可能性がある。例えば、第１画像と第２画像は、同じ背景及び３つのリンゴを含むが、３つのリンゴの第１画像における位置及び第２画像における位置は異なる。
別のいくつかの実施例では、第１画像と第２画像は、同じオブジェクト又は少なくとも部分的に異なるオブジェクトを有することができ、オブジェクトの第１画像における位置と第２画像における位置は異なる。例えば、第１画像と第２画像は同じ背景を有しているが、第１画像にはリンゴと梨がそれぞれ１つあり、第２画像には梨とオレンジがそれぞれ１つあり、この例では、第１画像と第２画像は、部分的に異なるオブジェクトを有することである。
選択可能に、オブジェクトの周辺情報には、画像におけるオブジェクトの周辺画素、又はオブジェクトの周辺画素から抽出された特徴が含まれる。同じシーンで異なる画像を異なる視角で収集するため、２つの画像における外観が同じ又は類似しているオブジェクトの周辺情報もわずかに異なる。これに基づき、第１画像及び第２画像における各オブジェクトの外観が同じ又は類似している場合、第１画像及び第２画像における各オブジェクトの間の関連関係を決定するプロセスでは、２つの画像における各オブジェクトの周辺情報に基づいて関連関係を決定する。
ここで、２つの画像にそれぞれ位置する２つのオブジェクトの間の関連関係は、これらの２つのオブジェクトが関連しているか、又は関連していないことを表し、２つの画像にそれぞれ位置する２つのオブジェクトが関連していることは、これらのオブジェクトが同じオブジェクトであることを表し、２つの画像にそれぞれ位置する２つのオブジェクトが関連していないことは、これらの２つのオブジェクトが同じオブジェクトではないことを表す。例示的に、第１画像と第２画像は、同一のシーンで異なる視角から収集された画像であり、シーンにリンゴ１、リンゴ２とリンゴ３があり、即ち、第１画像と第２画像の両方にリンゴ１、リンゴ２とリンゴ３が含まれ、それに応じて、第１画像におけるリンゴ１と第２画像におけるリンゴ１は関連しており、第１画像におけるリンゴ２と第２画像におけるリンゴ２は関連しており、第１画像におけるリンゴ３と第２画像におけるリンゴ３は関連している。第１画像におけるリンゴ１と第２画像におけるリンゴ２は関連していなく、第１画像におけるリンゴ１と第２画像におけるリンゴ３は関連していないことである。
本発明のいくつかの選択可能な実施例では、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することを含み、ここで、オブジェクトの外観情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックス内の画素に基づいて決定される。
本実施例では、オブジェクトの外観情報は、オブジェクトの所在領域の画素情報を含むことができる。いくつかの実施例では、オブジェクトの所在領域を検出ボックスによってマーキングすることができ、検出ボックス内の画素情報を外観情報として用いることができる。いくつかの実施例では、各画像内のオブジェクトの検出ボックスを手動でマーキングすることで、上記第１画像及び第２画像における各オブジェクトの外観情報を取得することができる。別のいくつかの実施例では、画像をターゲット検出ネットワークによって処理し、画像内の各オブジェクトの検出ボックスを取得し、画像内の各オブジェクトの検出ボックス内の画素情報を各オブジェクトの外観情報として用いることができる。
本実施例では、第１画像及び第２画像における各オブジェクトの検出ボックスが決定された後、各オブジェクトの検出ボックスに基づいて各オブジェクトの周辺情報を決定することができる。
本発明のいくつかの選択可能な実施例では、各オブジェクトの周辺情報を決定することは、各オブジェクトの検出ボックスの所在領域を拡大し、拡大後の特定領域を決定し、前記特定領域が前記検出ボックスの所在領域よりも大きく、且つ前記特定領域に前記検出ボックスの所在領域が含まれることと、前記特定領域内、且つ前記検出ボックス外の画素情報を前記オブジェクトの周辺情報として決定することとを含むことができる。
本実施例では、各オブジェクトの検出ボックスの所在領域を予め設定された割合で拡大し、例えば、検出ボックスの所在領域の４つの辺の場合、対応する辺の長さをそれぞれ２０％拡大し、前記特定領域を取得し、前記特定領域内且つ検出ボックス外の領域に対応する画素情報を１つのオブジェクトの周辺画素情報として用いることができる。
本実施例では、第１画像におけるオブジェクトの周辺情報及び外観情報に対して特徴抽出を行い、第２画像におけるオブジェクトの周辺情報及び外観情報に対して特徴抽出を行い、第１画像における１つのオブジェクトと第２画像における１つのオブジェクトとの周辺情報の特徴と外観情報の特徴をマッチングし、第１画像における１つのオブジェクトと第２画像における１つのオブジェクトとの類似度を決定し、当該類似度に基づいて２つのオブジェクトの間の関連関係を決定することができる。
本発明のいくつかの実施例では、図２に示すように、第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定するステップ２０１であって、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表すステップ２０１と、
前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定するステップ２０２であって、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表すステップ２０２と、
前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定するステップ２０３と、
決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するステップ２０４とを含むことができる。
本実施例では、特徴抽出ネットワークによって第１画像及び第２画像における各オブジェクトの外観情報及び周辺情報に対して特徴抽出を行うことができ、外観情報の特徴抽出について、第１画像における各オブジェクトの第１外観特徴及び第２画像における各オブジェクトの第２外観特徴をそれぞれ取得することができ、周辺情報の特徴抽出について、第１画像における各オブジェクトに対応する第１周辺特徴及び第２画像における各オブジェクトの第２周辺特徴をそれぞれ取得することができる。例示的に、特徴抽出ネットワークは、１つ又は複数の畳み込み層を含むことができ、１つ又は複数の畳み込み層によって第１画像及び第２画像における各オブジェクトの検出ボックス内の画素情報に対して畳み込み処理を行い、第１画像における各オブジェクトに対応する第１外観特徴と第２画像における各オブジェクトに対応する第２外観特徴を取得することができ、１つ又は複数の畳み込み層によって第１画像及び第２画像における各オブジェクトの周辺情報に対応する画素情報に対して畳み込み処理を行い、第１画像における各オブジェクトに対応する第１周辺特徴と第２画像における各オブジェクトに対応する第２周辺特徴を取得することができる。
本実施例では、第１画像における任意のオブジェクトを第１オブジェクトとし、第２画像における任意のオブジェクトを第２オブジェクトとするとした場合、第１画像における第１オブジェクトの第１外観特徴と第２画像における第２オブジェクトの第２外観特徴に基づき、第１特徴距離を決定することができ、前記第１特徴距離が前記第１オブジェクトと前記第２オブジェクトとの類似度を表し、前記第１特徴距離が大きいほど、第１オブジェクトと第２オブジェクトとの類似度が低くなることを示すことができ、それに応じて、前記第１特徴距離が小さいほど、第１オブジェクトと第２オブジェクトとの類似度が高くなることを示すことができる。また、第１オブジェクトに対応する第１周辺特徴と第２オブジェクトに対応する第２周辺特徴に基づき、第２特徴距離を決定し、前記第２特徴距離が前記第１オブジェクトに対応する周辺情報と前記第２オブジェクトに対応する周辺情報との類似度を表し、第２特徴距離が大きいほど、前記第１オブジェクトの周辺情報と前記第２オブジェクトの周辺情報との類似度が低くなることを示すことができ、それに応じて、第２特徴距離が小さいほど、前記第１オブジェクトの周辺情報と前記第２オブジェクトの周辺情報との類似度が高くなることを示すことができる。さらに前記第１特徴距離と前記第２特徴距離に基づいて第１オブジェクトと第２オブジェクトの間の特徴距離を取得し、前記特徴距離に基づいて前記第１オブジェクトと前記第２オブジェクトとの関連関係を決定することができる。
いくつかの選択可能な実施例では、第１外観特徴と第２外観特徴に基づいて距離Ｌ２を計算することができ、この場合、距離Ｌ２は、第１特徴距離であり、それに応じて、第１周辺特徴と第２周辺特徴に基づいて距離Ｌ２を計算することができ、この時に距離Ｌ２は、第２特徴距離である。
例示的に、距離Ｌ２は次の式を満たしている。
Figure 2022546880000002
上記距離Ｌ２が第１特徴距離である場合、
Figure 2022546880000003
はそれぞれ第１外観特徴と第２外観特徴を表し、Ｐは第１外観特徴及び第２外観特徴の次元を表し、
Figure 2022546880000004
は第１外観特徴と第２外観特徴の間の距離Ｌ２を表す。それに応じて、上記距離Ｌ２が第２特徴距離である場合、
Figure 2022546880000005
はそれぞれ第１周辺特徴と第２周辺特徴を表し、Ｐは第１周辺特徴及び第２周辺特徴の次元を表し、
Figure 2022546880000006
は第１周辺特徴と第２周辺特徴の間の距離Ｌ２を表す。
いくつかの選択可能な実施例では、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定することは、前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得することを含み、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなる。
本実施例では、第１特徴距離及び第２特徴距離に対して加重合計を行い、第１オブジェクトと第２オブジェクトの間の特徴距離を取得することができる。ここで、特徴距離が大きいほど、第１オブジェクトと第２オブジェクトの関連性が小さいことを示すことができる。それに応じて、特徴距離が小さいほど、第１オブジェクトと第２オブジェクトの関連性が大きいことを示すことができる。いくつかの選択可能な実施例では、特徴距離が第１所定閾値よりも大きい場合、第１オブジェクトと第２オブジェクトが関連していないことを決定することができ、特徴距離が第２所定閾値よりも小さい場合、第１オブジェクトと第２オブジェクトが関連していることを決定することができ、ここで、第２所定閾値が第１所定閾値よりも小さく、第１所定閾値及び第２所定閾値の値は、複数回の実験又はテストによって決定されることができる。
本実施例では、前記２つのオブジェクトの間の類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなる。２つのオブジェクトが類似しているほど、オブジェクト同士を関連付けてマッチングするプロセスにおいて、オブジェクトの周辺情報の間の第２特徴距離を参照する必要があることが理解できる。
いくつかの選択可能な実施例では、第１外観特徴と前記第２外観特徴の間の類似度によって複数の重み係数を予め設定し、現在の第１外観特徴と前記第２外観特徴の間の類似度に従って、設定された複数の重み係数から１つの重み係数を２つのオブジェクトの第２特徴距離の重み係数として選択することができる。
別のいくつかの選択可能な実施例では、上記特徴距離は次の式（２）を満たしている。
Figure 2022546880000007
ここで、ｄａｂは特徴距離を表し、
Figure 2022546880000008
は重み係数であり、
Figure 2022546880000009
は第１外観特徴と第２外観特徴の間の第１特徴距離（例えば距離Ｌ２）を表し、
Figure 2022546880000010
は第１周辺特徴
Figure 2022546880000011
と第２周辺特徴
Figure 2022546880000012
の間の第２特徴距離（例えば距離Ｌ２）を表し、ＳＣはコサイン類似度を表し、即ち第１外観特徴
Figure 2022546880000013
と第２外観特徴
Figure 2022546880000014
の間のコサイン類似度を計算することで重み係数
Figure 2022546880000015
を取得することができる。
上記プロセスについては、例えば、図３を参照することができ、２つの画像がそれぞれ画像ａ（Ｖｉｅｗ ａ）と画像ｂ（Ｖｉｅｗ ｂ）とすることを例とすると、画像ａには１つのオブジェクト（第１オブジェクトとする）に対応する検出ボックスと周辺情報に対応する領域（第１特定領域とする）とが含まれ、画像ｂには１つのオブジェクト（第２オブジェクトとする）に対応する検出ボックスと周辺情報に対応する領域（第２特徴の領域とする）とが含まれ、画像ａと画像ｂから第１オブジェクトの検出ボックスの画素情報、及び第１特定領域の画素情報を切り出す。実際の応用において、周辺情報に対応する領域の取得については、各検出ボックスの所在領域を拡大した領域を画像ａ又は画像ｂから切り出し、さらに切り出された領域内の検出ボックスに対応する領域範囲を検出ボックスのサイズと一致するマスクで覆うことで、上記第１特定領域と第２特定領域の画素情報を取得することができる。
さらに、上記検出ボックス内の画素情報と各特定領域（第１特定領域と第２特定領域を含む）の画素情報をそれぞれ２つの特徴抽出器によって抽出することができる。例えば、画像ａ及び画像ｂに対応する検出ボックス内の画素情報及び各特定領域（第１特定領域及び第２特定領域を含む）の画素情報に対して外観特徴抽出器（Ａｐｐｅａｒａｎｃｅ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）によって特徴抽出を行い、第１オブジェクトに対応する第１外観特徴
Figure 2022546880000016
と第２オブジェクトに対応する第２外観特徴
Figure 2022546880000017
を取得し、画像ａの第１特定領域及び画像ｂの第２特定領域の画素情報に対して周辺特徴抽出器（Ｓｕｒｒｏｕｎｄｉｎｇ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）によって特徴抽出を行い、第１周辺特徴
Figure 2022546880000018
と第２周辺特徴
Figure 2022546880000019
を取得することができる。さらに第１外観特徴
Figure 2022546880000020
と第２外観特徴
Figure 2022546880000021
の間のコサイン類似度を計算して重み係数
Figure 2022546880000022
を取得する。第１外観特徴
Figure 2022546880000023
と第２外観特徴
Figure 2022546880000024
の間の距離Ｌ２を計算し、第１オブジェクトと第２オブジェクト間の特徴距離ｄａｐｐを取得し、第１周辺特徴
Figure 2022546880000025
と第２周辺特徴
Figure 2022546880000026
の間の距離Ｌ２を計算し、第１周辺特徴と第２周辺特徴の間の特徴距離ｄｓｕｒを取得する。最後に、上記式（２）によって第１オブジェクトと第２オブジェクトの間の特徴距離を取得する。
本発明の実施例の技術的解決策を採用し、異なる画像における各オブジェクトの周辺情報を、異なる画像のオブジェクトの間で関連付けてマッチングする依拠として用いることにより、２つの画像における類似又は同一の外観を有するオブジェクトが関連付けてマッチングすることを実現し、関連付けてマッチングする精度が向上する。
本発明の実施例はさらにオブジェクト関連付け方法を提供する。図４は本発明の実施例によるオブジェクト関連付け方法のフローチャート３である。図４に示すように、前記方法は、ステップ３０１－ステップ３０７を含む。
ステップ３０１において、第１画像と第２画像を取得する。
ステップ３０２において、前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定し、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表す。
ステップ３０３において、前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定し、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表す。
ステップ３０４において、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定する。
ステップ３０５において、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定する。
ステップ３０６において、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定する。
ステップ３０７において、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定する。
本実施例のステップ３０１－ステップ３０４については上記実施例の説明を具体的に参照することができるため、ここで説明を省略する。
本発明のいくつかの選択可能な実施例では、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することは、前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得することと、前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定することと、前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定することであって、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表すことと、前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定することと、決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することとを含む。
２つの画像における、外観が同じ又は類似しているオブジェクトを有し、且つ周辺情報も類似しているシーンでオブジェクトを関連付けてマッチングする問題を解決するために、本実施例では、上記エピポーラジオメトリを採用して拘束し、それによって上記シーンでオブジェクトを関連付けてマッチングすることを実現し、関連付けてマッチングする精度を向上させる。
本実施例では、第１画像と第２画像は、異なる視角で収集された画像であり、第１画像が第１視角に対応し、第２画像が第２視角に対応すると仮定する。第１オブジェクトが第１画像におけるいずれかのオブジェクトであり、第１画像における第１オブジェクトに対して、第１オブジェクトの中心点を第１画像収集装置の結像平面の点Ｐに投影し、中心点と点Ｐを連結して１本の直線を形成し、当該直線が第１画像に対応する第１視角における直線である。当該直線を第２画像に投影し、第２画像の第２視角におけるポーラ線を取得し、図５に示すように、第１オブジェクトが図５の左側の画像で「×」でマーキングされるリンゴであると仮定すると、第１オブジェクトの中心点と、中心点の、左側の画像を収集するための画像収集装置の結像平面における像点との連結線を右側の画像に投影し、右画像におけるポーラ線を取得し、右側の画像の右下隅にある機器が左側の画像を収集するための画像収集装置である。
実際の応用において、第１画像収集装置と第２画像収集装置の間の相対位置関係をそれぞれ第１画像収集装置の第１位置及び第２画像収集装置の第２位置によって決定することができ、前記相対位置関係、前記第１画像収集装置の第１内部パラメータ及び第２画像収集装置の第２内部パラメータに基づいて変換関係を決定することができ、第１画像における第１オブジェクトの中心点の第３位置に基づいて第１画像における当該中心点と第３位置との連結線の座標を決定し、上記変換関係に基づいて第１画像における当該中心点と第３位置との連結線の座標に基づいて変換し、第２画像におけるポーラ線を取得することができる。
第１画像の第１オブジェクトと第２画像の第２オブジェクトが関連している場合、つまり、第１オブジェクトと第２オブジェクトが同一のオブジェクトである場合、第２オブジェクトにおけるポーラ線を決定した後、第２画像における各オブジェクトのうちの第２オブジェクトからポーラ線までの垂直画素距離は最小であり、さらにはゼロである。上記の垂直画素距離も第１画像及び第２画像における２つのオブジェクトの間の幾何学的距離である。
したがって、第２画像における各オブジェクトと前記ポーラ線との間の垂直画素距離を決定することにより、第２画像のどのオブジェクトが第１画像における第１オブジェクトに関連しているかを判定する。
本発明のいくつかの選択可能な実施例では、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定することは、前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得することを含む。
本実施例では、第１特徴距離と第２特徴距離の各ペアの間の距離は、特徴距離と幾何学的距離を加重合計することで取得される。加重合計するための重み係数については、固定の予め設定された値を用いることができ、本実施例では、重み係数の値は限定されない。
本発明のいくつかの選択可能な実施例では、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成することであって、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表すことと、前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定することであって、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すこととを含む。
本実施例では、第１オブジェクトと第２オブジェクトの各ペアに対応する１つの距離を取得する場合、第１画像におけるＭつのオブジェクトと第２画像におけるＮつのオブジェクトの間には、Ｍ×Ｎつの距離があり得る。それに応じて、Ｍ×Ｎの距離マトリックスを形成することができる。図６に示すように、画像１と画像２に３つのオブジェクトがあると仮定すると、３×３の距離マトリックスを形成できる。距離マトリックスを予め設定されたアルゴリズムに従って処理し、隣接マトリックスを取得し、隣接マトリックスの値が１である１ペアのオブジェクトが関連しており、隣接マトリックスの値が０である１ペアのオブジェクトのが関連していない。例示的に、距離マトリックスをハンガリーアルゴリズム（Ｋｕｈｎ－Ｍｕｎｋｒｅｓ）（ＫＭアルゴリズムと略称）に従って処理して隣接マトリックスを取得することができる。
本発明の実施例は、さらにオブジェクト関連付け装置を提供する。図７は本発明の実施例によるオブジェクト関連付け装置の構成構造図である。図７に示すように、前記装置は、取得ユニット３１と決定ユニット３２とを備える。
前記取得ユニット３１は、第１画像と第２画像を取得するように構成される。
前記決定ユニット３２は、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの周辺情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックスの周辺の設定範囲内の画素に基づいて決定される。
本発明のいくつかの選択可能な実施例では、前記決定ユニット３２は、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの外観情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックス内の画素に基づいて決定される。
本発明のいくつかの選択可能な実施例では、前記決定ユニット３２は、前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定し、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表し、前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定し、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定し、決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成される。
本発明のいくつかの選択可能な実施例では、前記決定ユニット３２は、前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得するように構成され、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなる。
本発明のいくつかの選択可能な実施例では、前記決定ユニット３２は、さらに前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づいて前記２つのオブジェクトの間の距離を決定し、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成される。
本発明のいくつかの実施例では、前記決定ユニット３２は、前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得し、前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定し、前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定し、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表し、前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定し、決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定するように構成される。
本発明のいくつかの選択可能な実施例では、前記決定ユニット３２は、前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得するように構成される。
本発明のいくつかの選択可能な実施例では、前記決定ユニット３２は、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成し、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表し、前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定し、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すように構成される。
本発明の実施例では、前記オブジェクト関連付け装置での取得ユニット３１と決定ユニット３２の両方は、実際の応用において中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコントローラーユニット（ＭＣＵ：Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実現されてもよい。
説明すべきこととして、上記実施例によって提供されるオブジェクト関連付け装置は、オブジェクト関連付け処理を行う時に、上記各プログラムモジュールの区分のみを例として説明するが、実際の応用において、上記処理割り当ては、ニーズに応じて異なるプログラムモジュールによって完了されてもよく、即ち上記の全部又は一部の処理は、装置の内部構造を異なるプログラムモジュールに分けることで完了されてもよい。また、上記実施例によって提供されるオブジェクト関連付け装置は、オブジェクト関連付け方法と同じ概念に属し、その具体的な実現プロセスについては、方法の実施例を参照するため、ここでは説明を省略する。
本発明の実施例は、さらに電子機器を提供する。図８は本発明の実施例による電子機器のハードウェア構造図である。図８に示すように、前記電子機器４０は、メモリ４２と、プロセッサ４１と、メモリ４２に記憶され且つプロセッサ４１で実行できるコンピュータプログラムとを備え、前記プロセッサ４１が前記プログラムを実行する時に本発明の上記実施例に記載の画像処理方法のステップを実現する。
電子機器４０での各コンポーネントは、バスシステム４３を介して結合されている。バスシステム４３はこれらのコンポーネント間の接続通信を実現することに用いられることが理解できる。バスシステム４３はデータバス以外、電源バス、制御バスと状態信号バスを含む。しかしながら、説明を明確にするために、図８では様々なバスシステムがバスシステム４３として標識される。
メモリ４２が揮発性メモリ又は不揮発性メモリであってもよいし、揮発性メモリ及び不揮発性メモリの両方を含むことができることは理解可能である。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ（登録商標）：ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気表面メモリ、光ディスク、又は読み取り専用光ディスク（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよく、磁気表面メモリは、磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性記憶装置は、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。制限的でなく例示的な説明により、多くの形態のＲＡＭは、利用可能であり、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期静的ランダムアクセスメモリ（ＳＳＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、動的ランダムアクセスメモリ（ＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期動的ランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダブルデータレート同期動的ランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、強化型同期動的ランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期リンク動的ランダムアクセスメモリ（ＳＬＤＲＡＭ：ＳｙｎｃＬｉｎｋ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、直接ラムバスランダムアクセスメモリ（ＤＲＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。本発明の実施例に記載されるメモリ４２は、これらと任意の他の適切なタイプのメモリを含むことを図るがこれらに限定されない。
上記本発明の実施例で開示される方法は、プロセッサ４１に応用されてもよく、又はプロセッサ４１によって実現されもよい。プロセッサ４１は信号処理機能を有する集積回路チップであってもよい。実現プロセスでは、上記方法の各ステップは、プロセッサ４１内のハードウェアの集積論理回路又はソフトウェアの形の命令によって完了されてもよい。上記プロセッサ４１は、汎用プロセッサ、ＤＳＰ、又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。プロセッサ４１は、本発明の実施例において開示される各方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサはマイクロプロセッサ又はいずれかの従来のプロセッサなどであってもよい。本発明の実施例と組み合わせて開示された方法のステップは、ハードウェア復号プロセッサによって実行されて完了され、又は復号プロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせによって実行されて完了されるように直接具現化されてもよい。ソフトウェアモジュールは、記憶媒体に位置してもよく、当該記憶媒体はメモリ４２に位置し、プロセッサ４１はメモリ４２内の情報を読み取り、そのハードウェアと組み合わせて上記方法のステップを完了する。
例示的な実施例では、電子機器４０は、一つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ、汎用プロセッサ、コントローラ、ＭＣＵ、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、又は他の電子素子によって実現されてもよく、上記方法を実行することに用いられる。
例示的実施例では、本発明の実施例はさらにコンピュータ可読記憶媒体、例えば、上記方法に記載されるステップを完了するために電子機器４０のプロセッサ４１によって実行可能なコンピュータプログラムを含むメモリ４２を提供する。コンピュータ可読記憶媒体は、ＦＲＡＭ（登録商標）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気表面メモリ、光ディスク、又はＣＤ－ＲＯＭなどであってもよいし、携帯電話、コンピュータ、タブレットデバイス、パーソナルデジタルアシスタントなどの上記メモリの１つ又は任意の組み合わせを含む様々な機器であってもよい。
本発明の実施例は、さらにオブジェクト関連付けシステムを提供する。前記システムは、
シーンを第１視角で収集して第１画像を取得するように構成される第１画像収集装置と、
前記シーンを前記第１視角と異なる第２視角で収集して第２画像を取得するように構成される第２画像収集装置と、
第１画像と第２画像を取得し、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの周辺情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定されるプロセッサとを備える。
本発明のいくつかの選択可能な実施例では、前記プロセッサは、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの外観情報が当該オブジェクトの所在する画像における、当該オブジェクトの検出ボックス内の画素に基づいて決定される。
本発明のいくつかの選択可能な実施例では、前記プロセッサは、前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定し、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表し、前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定し、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定し、決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成される。
本発明のいくつかの選択可能な実施例では、前記プロセッサは、前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得するように構成され、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなる。
本発明のいくつかの選択可能な実施例では、前記プロセッサは、さらに前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定し、前記第１画像における１つのオブジェクトと前記第２画像に対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づいて前記２つのオブジェクトの間の距離を決定し、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成される。
本発明のいくつかの実施例では、前記プロセッサは、前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得し、前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定し、前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定し、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表し、前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定し、決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定するように構成される。
本発明のいくつかの選択可能な実施例では、前記プロセッサは、前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得するように構成される。
本発明のいくつかの選択可能な実施例では、前記プロセッサは、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成し、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表し、前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定し、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すように構成される。
本発明の実施例によって提供されるコンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、当該プログラムがプロセッサによって実行されると本発明の上記実施例に記載の画像処理方法のステップを実現する。
本出願によって提供されるいくつかの方法の実施例で開示される方法を衝突せずに任意に組み合わせて新しい方法の実施例を得ることができる。
本出願によって提供されるいくつかの製品の実施例で開示される特徴を衝突せずに任意に組み合わせて新しい製品の実施例を得ることができる。
本出願によって提供されるいくつかの方法又は機器の実施例で開示される特徴を衝突せずに任意に組み合わせて新しい方法の実施例又は機器の実施例を得ることができる。
本出願が提供するいくつかの実施例では、開示される機器及び方法は、他の方式により実現されてもよいと理解すべきである。上述した装置の実施例は、例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的区分だけであり、実際に実施する時に他の区分方式もあり得て、例えば複数のユニット又は構成要素は組み合わせられてもよく又は別のシステムに統合されてもよく、又はいくつかの特徴は無視されてもよく、又は実行されなくてもよい。また、示されるか、又は議論される各コンポーネントの間の相互結合、又は直接結合、又は通信接続はいくつかのインターフェース、装置又はユニットを介する間接的結合又は通信接続であってもよいし、電気的、機械的又は他の形態であってもよい。
分離部材として説明された前記ユニットは、物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は物理的ユニットであってもよく又は物理的ユニットでなくてもよく、即ち一つの箇所に位置してもよいし、複数のネットワークユニットに分布してもよく、実際のニーズに応じてその中の一部又は全部のユニットを選択して本実施例の解決策の目的を達成することができる。
また、本発明の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、個々のユニットは個別に一つのユニットとして機能してもよく、２つ又は２つ以上のユニットは一つのユニットに統合されてもよく、上記の統合されたユニットは、ハードウェアの形で実現されてもよいし、ハードウェアとソフトウェア機能の組み合わせの形で実現されてもよい。
当業者は、上記方法の実施例の全部又は一部のステップがプログラムで関連するハードウェアを指令することにより完了されてもよいことを理解でき、前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行される場合、上記方法の実施例のステップが実行されるが、前記記憶媒体は、移動記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
又は、本発明では上記の統合されたユニットは、ソフトウェア機能モジュールの形で実現され且つ独立した製品として販売又は使用される時に、一つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本発明の実施例における技術的解決策は本質的に又は従来技術に寄与する部分がソフトウェア製品の形で具現化されてもよく、当該コンピュータソフトウェア製品が１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい）に本発明の様々な実施例に記載される方法の全て又は一部のステップを実行させるためのいくつかの命令を含む。前記記憶媒体は、移動記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
以上は、本発明の具体的な実施形態だけであるが、本発明の保護範囲はこれに制限されず、当業者が本発明に開示された技術範囲内で容易に想到し得る変化又は入れ替わりが全て本発明の保護範囲以内に含まれるべきである。したがって、本発明の保護範囲は前記特許請求の範囲によってに準拠するべきである。
本発明の実施例はさらに、コンピュータ可読コードを含み、前記コンピュータ可読コードがコンピュータに実行されると本発明の実施例に記載の方法のステップを実現するコンピュータプログラムを提供する。
例えば、本願は以下の項目を提供する。
（項目１）
オブジェクト関連付け方法であって、
第１画像と第２画像を取得することと、
前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含み、
ここで、オブジェクトの周辺情報は、前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される、オブジェクト関連付け方法。
（項目２）
前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することを含み、
ここで、オブジェクトの外観情報は、前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックス内の画素に基づいて決定されることを特徴とする
項目１に記載の方法。
（項目３）
前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定することであって、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表すことと、
前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定することであって、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表すことと、
前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定することと、
決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含むことを特徴とする
項目２に記載の方法。
（項目４）
２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定することは、
前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得することを含み、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなることを特徴とする
項目３に記載の方法。
（項目５）
前記方法はさらに、
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することを含み、
決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定することと、
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含むことを特徴とする
項目３又は４に記載の方法。
（項目６）
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することは、
前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得することと、
前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定することと、
前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定することであって、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表すことと、
前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定することと、
決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することとを含むことを特徴とする
項目５に記載の方法。
（項目７）
２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定することは、
前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得することを含むことを特徴とする
項目５に記載の方法。
（項目８）
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成することであって、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表すことと、
前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定することであって、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すこととを含むことを特徴とする
項目５に記載の方法。
（項目９）
オブジェクト関連付け装置であって、
第１画像と第２画像を取得するように構成される取得ユニットと、
前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、オブジェクトの周辺情報が、前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される決定ユニットとを備える、オブジェクト関連付け装置。
（項目１０）
前記決定ユニットは、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの外観情報が前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックス内の画素に基づいて決定されることを特徴とする
項目９に記載の装置。
（項目１１）
前記決定ユニットは、前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定し、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表し、前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定し、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定し、決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成されることを特徴とする
項目１０に記載の装置。
（項目１２）
前記決定ユニットは、前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得するように構成され、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなることを特徴とする
項目１１に記載の装置。
（項目１３）
前記決定ユニットは、さらに前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づいて前記２つのオブジェクトの間の距離を決定し、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成されることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記決定ユニットは、前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得し、前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定し、前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定し、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表し、前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定し、決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定するように構成されることを特徴とする
項目１３に記載の装置。
（項目１５）
前記決定ユニットは、前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得するように構成されることを特徴とする
項目１３に記載の装置。
（項目１６）
前記決定ユニットは、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成し、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表し、前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定し、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すように構成されることを特徴とする
項目１３に記載の装置。
（項目１７）
オブジェクト関連付けシステムであって、
シーンを第１視角で収集して第１画像を取得するように構成される第１画像収集装置と、
前記シーンを前記第１視角と異なる第２視角で収集して第２画像を取得するように構成される第２画像収集装置と、
第１画像と第２画像を取得し、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの周辺情報が前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定されるプロセッサとを備える、オブジェクト関連付けシステム。
（項目１８）
コンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサによって実行される時に、項目１－８のいずれか一項に記載の方法のステップを実現するコンピュータ可読記憶媒体。
（項目１９）
電子機器であって、プロセッサで実行可能なコンピュータプログラムを記憶しているメモリと、プロセッサとを備え、前記プロセッサが前記プログラムを実行する時に、項目１－８のいずれか一項に記載の方法のステップを実現する、電子機器。
（項目２０）
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードがコンピュータに実行される時に、項目１－８のいずれか一項に記載の方法のステップを実現する、コンピュータプログラム。

Claims (20)

  1. オブジェクト関連付け方法であって、
    第１画像と第２画像を取得することと、
    前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含み、
    ここで、オブジェクトの周辺情報は、前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される、オブジェクト関連付け方法。
  2. 前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
    前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することを含み、
    ここで、オブジェクトの外観情報は、前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックス内の画素に基づいて決定されることを特徴とする
    請求項１に記載の方法。
  3. 前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
    前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定することであって、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表すことと、
    前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定することであって、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表すことと、
    前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定することと、
    決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含むことを特徴とする
    請求項２に記載の方法。
  4. ２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定することは、
    前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得することを含み、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなることを特徴とする
    請求項３に記載の方法。
  5. 前記方法はさらに、
    前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することを含み、
    決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
    前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定することと、
    前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することとを含むことを特徴とする
    請求項３又は４に記載の方法。
  6. 前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することは、
    前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得することと、
    前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定することと、
    前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定することであって、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表すことと、
    前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定することと、
    決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定することとを含むことを特徴とする
    請求項５に記載の方法。
  7. ２つのオブジェクトの間の特徴距離及び幾何学的距離に基づき、前記２つのオブジェクトの間の距離を決定することは、
    前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得することを含むことを特徴とする
    請求項５に記載の方法。
  8. 前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定することは、
    前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成することであって、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表すことと、
    前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定することであって、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すこととを含むことを特徴とする
    請求項５に記載の方法。
  9. オブジェクト関連付け装置であって、
    第１画像と第２画像を取得するように構成される取得ユニットと、
    前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、オブジェクトの周辺情報が、前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定される決定ユニットとを備える、オブジェクト関連付け装置。
  10. 前記決定ユニットは、前記第１画像における各オブジェクトの周辺情報と外観情報、及び前記第２画像における各オブジェクトの周辺情報と外観情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの外観情報が前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックス内の画素に基づいて決定されることを特徴とする
    請求項９に記載の装置。
  11. 前記決定ユニットは、前記第１画像における各オブジェクトの外観情報と前記第２画像における各オブジェクトの外観情報に基づき、第１特徴距離を決定し、前記第１特徴距離が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの類似度を表し、前記第１画像における各オブジェクトの周辺情報と前記第２画像における各オブジェクトの周辺情報に基づき、第２特徴距離を決定し、前記第２特徴距離が、前記第１画像におけるオブジェクトの周辺情報と前記第２画像におけるオブジェクトの周辺情報との類似度を表し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの第１特徴距離と第２特徴距離に基づき、前記２つのオブジェクトの間の特徴距離を決定し、決定された特徴距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成されることを特徴とする
    請求項１０に記載の装置。
  12. 前記決定ユニットは、前記２つのオブジェクトの第１特徴距離及び第２特徴距離に対して加重合計を行い、前記２つのオブジェクトの間の特徴距離を取得するように構成され、ここで、前記２つのオブジェクトの類似度が高いほど、加重合計する時に前記２つのオブジェクトの第２特徴距離の重み係数が大きくなることを特徴とする
    請求項１１に記載の装置。
  13. 前記決定ユニットは、さらに前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定し、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトに対して、２つのオブジェクトの間の特徴距離及び幾何学的距離に基づいて前記２つのオブジェクトの間の距離を決定し、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成されることを特徴とする
    請求項１１又は１２に記載の装置。
  14. 前記決定ユニットは、前記第１画像を収集する第１画像収集装置の第１位置と、前記第２画像を収集する第２画像収集装置の第２位置と、前記第１画像収集装置の第１内部パラメータと、前記第２画像収集装置の第２内部パラメータとを取得し、前記第１画像における１つのオブジェクトの中心点の前記第１画像における第３位置を決定し、前記第１位置、前記第２位置、前記第３位置、前記第１内部パラメータと前記第２内部パラメータに基づき、第２画像内のポーラ線を決定し、前記ポーラ線が、前記第１画像における１つのオブジェクトの中心点と前記第１画像収集装置の結像平面における前記中心点の像点との連結線が前記第２画像に投影された直線を表し、前記第２画像における１つのオブジェクトと前記ポーラ線との間の垂直画素距離を決定し、決定された垂直画素距離に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の幾何学的距離を決定するように構成されることを特徴とする
    請求項１３に記載の装置。
  15. 前記決定ユニットは、前記２つのオブジェクトの間の特徴距離及び前記幾何学的距離に対して加重合計を行い、前記２つのオブジェクトの間の距離を取得するように構成されることを特徴とする
    請求項１３に記載の装置。
  16. 前記決定ユニットは、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトとの間の距離に基づき、距離マトリックスを形成し、前記距離マトリックスの要素の値が、前記第１画像におけるオブジェクトと前記第２画像におけるオブジェクトとの間の距離を表し、前記距離マトリックスに基づき、前記第１画像と前記第２画像の間の隣接マトリックスを決定し、前記隣接マトリックスの要素の値が、前記第１画像における１つのオブジェクトと前記第２画像における１つのオブジェクトが関連しているか、又は関連していないことを表すように構成されることを特徴とする
    請求項１３に記載の装置。
  17. オブジェクト関連付けシステムであって、
    シーンを第１視角で収集して第１画像を取得するように構成される第１画像収集装置と、
    前記シーンを前記第１視角と異なる第２視角で収集して第２画像を取得するように構成される第２画像収集装置と、
    第１画像と第２画像を取得し、前記第１画像における各オブジェクトの周辺情報及び前記第２画像における各オブジェクトの周辺情報に基づき、前記第１画像における各オブジェクトと前記第２画像における各オブジェクトの間の関連関係を決定するように構成され、ここで、オブジェクトの周辺情報が前記オブジェクトの所在する画像における、前記オブジェクトの検出ボックスの周りの設定範囲内の画素に基づいて決定されるプロセッサとを備える、オブジェクト関連付けシステム。
  18. コンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサによって実行される時に、請求項１－８のいずれか一項に記載の方法のステップを実現するコンピュータ可読記憶媒体。
  19. 電子機器であって、プロセッサで実行可能なコンピュータプログラムを記憶しているメモリと、プロセッサとを備え、前記プロセッサが前記プログラムを実行する時に、請求項１－８のいずれか一項に記載の方法のステップを実現する、電子機器。
  20. コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードがコンピュータに実行される時に、請求項１－８のいずれか一項に記載の方法のステップを実現する、コンピュータプログラム。
JP2020572930A 2020-08-01 2020-10-30 オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラム Pending JP2022546880A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202007356U 2020-08-01
SG10202007356U 2020-08-01
PCT/IB2020/060208 WO2022029479A1 (en) 2020-08-01 2020-10-30 Object association method, apparatus and system, electronic device, storage medium and computer program

Publications (1)

Publication Number Publication Date
JP2022546880A true JP2022546880A (ja) 2022-11-10

Family

ID=80003226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572930A Pending JP2022546880A (ja) 2020-08-01 2020-10-30 オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11605215B2 (ja)
JP (1) JP2022546880A (ja)
KR (1) KR102438093B1 (ja)
CN (1) CN114503160A (ja)
AU (1) AU2020294259B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144895A (ja) * 2021-03-19 2022-10-03 三菱重工業株式会社 対象物検知装置、対象物検知方法及び対象物検知プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149620A (ja) * 2013-01-31 2014-08-21 Secom Co Ltd 撮影システム
JP2016157166A (ja) * 2015-02-23 2016-09-01 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
JP2016157336A (ja) * 2015-02-25 2016-09-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019008480A (ja) * 2017-06-22 2019-01-17 富士通株式会社 画像解析プログラム、画像解析装置、及び画像解析方法
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100897542B1 (ko) * 2007-05-17 2009-05-15 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
JP6016295B2 (ja) 2012-08-10 2016-10-26 株式会社日立国際電気 監視システム
JP6088792B2 (ja) 2012-10-31 2017-03-01 株式会社メガチップス 画像検出装置及び制御プログラム並びに画像検出方法
JP6154075B2 (ja) * 2013-08-19 2017-06-28 ノキア テクノロジーズ オーユー オブジェクト検出及び分割の方法，装置，コンピュータプログラム製品
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
CN105844582B (zh) * 2015-01-15 2019-08-20 北京三星通信技术研究有限公司 3d图像数据的注册方法和装置
CN108230353A (zh) 2017-03-03 2018-06-29 北京市商汤科技开发有限公司 目标跟踪方法、系统及电子设备
CN107680128B (zh) 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
JP6925295B2 (ja) 2018-03-26 2021-08-25 Kddi株式会社 オブジェクト追跡装置、方法およびプログラム
US10846554B2 (en) 2018-07-17 2020-11-24 Avigilon Corporation Hash-based appearance search
CN111008631B (zh) 2019-12-20 2023-06-16 浙江大华技术股份有限公司 图像的关联方法及装置、存储介质和电子装置
CN111369590A (zh) 2020-02-27 2020-07-03 北京三快在线科技有限公司 多目标跟踪方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149620A (ja) * 2013-01-31 2014-08-21 Secom Co Ltd 撮影システム
JP2016157166A (ja) * 2015-02-23 2016-09-01 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
JP2016157336A (ja) * 2015-02-25 2016-09-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019008480A (ja) * 2017-06-22 2019-01-17 富士通株式会社 画像解析プログラム、画像解析装置、及び画像解析方法
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN114503160A (zh) 2022-05-13
AU2020294259B2 (en) 2022-06-30
US11605215B2 (en) 2023-03-14
AU2020294259A1 (en) 2022-02-17
US20220036117A1 (en) 2022-02-03
KR102438093B1 (ko) 2022-08-30
KR20220018396A (ko) 2022-02-15

Similar Documents

Publication Publication Date Title
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
US10915998B2 (en) Image processing method and device
CN109479082B (zh) 图象处理方法及装置
CN109416744A (zh) 改进的相机校准系统、目标和过程
CN110213491B (zh) 一种对焦方法、装置及存储介质
CN115526892B (zh) 基于三维重建的图像缺陷去重检测方法和装置
CN112200851B (zh) 一种基于点云的目标检测方法、装置及其电子设备
TW202004664A (zh) 影像處理裝置、影像處理方法、及影像處理程式
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN113255685A (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
JP2022546880A (ja) オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラム
US9392146B2 (en) Apparatus and method for extracting object
CN113393506B (zh) 图像配准方法及相关装置、设备
CN115514887A (zh) 视频采集的控制方法、装置、计算机设备和存储介质
CN111260781B (zh) 一种生成图像信息的方法、装置和电子设备
CN114066731A (zh) 生成全景图的方法、装置、电子设备及存储介质
CN112184766A (zh) 一种对象的跟踪方法、装置、计算机设备和存储介质
WO2022029479A1 (en) Object association method, apparatus and system, electronic device, storage medium and computer program
CN110503605B (zh) 一种图像处理方法、装置及存储介质
CN111667404A (zh) 目标信息采集方法、装置、系统、电子设备及存储介质
CN116481515B (zh) 一种地图生成方法、装置、计算机设备及存储介质
US20220129662A1 (en) System and method for determining information about objects using multiple sensors
CN112070175B (zh) 视觉里程计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230601