JP2022542205A - 速度測定方法及び装置、電子デバイス並びに記憶媒体 - Google Patents

速度測定方法及び装置、電子デバイス並びに記憶媒体 Download PDF

Info

Publication number
JP2022542205A
JP2022542205A JP2021547718A JP2021547718A JP2022542205A JP 2022542205 A JP2022542205 A JP 2022542205A JP 2021547718 A JP2021547718 A JP 2021547718A JP 2021547718 A JP2021547718 A JP 2021547718A JP 2022542205 A JP2022542205 A JP 2022542205A
Authority
JP
Japan
Prior art keywords
transmission parameter
image
size
obtaining
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021547718A
Other languages
English (en)
Inventor
▲楊▼昆霖
侯▲軍▼
伊▲帥▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010613426.XA external-priority patent/CN111739098B/zh
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2022542205A publication Critical patent/JP2022542205A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、速度測定方法及び装置、電子デバイス並びに記憶媒体を開示する。当該方法は、第1処理待ち画像と第2処理待ち画像を取得するステップであって、前記第1処理待ち画像と前記第2処理待ち画像は両方とも第1オブジェクトを含む、ステップと、前記第1処理待ち画像内の前記第1オブジェクトの第1位置、前記第2処理待ち画像内の前記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得するステップと、前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するステップであって、前記移動時間が前記第1処理待ち画像のタイムスタンプ及び前記第2処理待ち画像のタイムスタンプに基づいて取得される、ステップと、を含む。

Description

(関連出願への相互参照)
本開示は、出願番号が202010613426.xであり、出願日が2020年6月30日である中国特許に基づいて提案され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。
本開示は、コンピュータ技術分野に関し、特に速度測定方法及び装置、電子デバイス並びに記憶媒体に関する。
コンピュータビジョン技術の発展に伴い、コンピュータビジョン技術の適用はますます広くなり、多くの応用には、コンピュータビジョン技術に基づくオブジェクト(例えば人と物体など)の移動速度の測定が含まれている。
関連技術では、画像内のオブジェクトの移動距離及びオブジェクトの移動時間に基づいて、オブジェクトの移動速度を取得する。しかし、画像内の移動距離とオブジェクトの物理的な移動距離との差が大きいため、オブジェクトの移動速度の取得精度が低い。
本開示は、速度測定方法及び装置、電子デバイス並びに記憶媒体を提供する。
第1態様による速度測定方法は、
第1処理待ち画像と第2処理待ち画像を取得するステップであって、記第1処理待ち画像と前記第2処理待ち画像は両方とも第1オブジェクトを含む、ステップと、前記第1処理待ち画像内の前記第1オブジェクトの第1位置、前記第2処理待ち画像内の前記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得するステップであって、前記第1移動距離が前記第1位置と前記第2位置との間の距離であり、前記第1透過パラメータが前記第1移動距離と第1物理的距離との間の変換関係を表し、前記第1物理的距離が前記第1移動距離に対応する物理的距離であり、前記第1物理的距離が前記第1処理待ち画像内の前記第1位置のスケールと負の相関関係にあり、及び/又は、前記第1物理的距離が前記第2処理待ち画像内の前記第2位置のスケールと負の相関関係にある、ステップと、前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するステップであって、前記移動時間が前記第1処理待ち画像のタイムスタンプ及び前記第2処理待ち画像のタイムスタンプに基づいて取得される、ステップと、を含む。
この態様では、第1透過パラメータには第1位置のスケール情報及び/又は第2位置のスケール情報が含まれている。速度測定装置は、第1透過パラメータ、第1移動距離及び移動時間に基づいて第1オブジェクトの速度を取得することにより、速度の精度を向上させることができる。
本開示のいずれかの実施形態と組み合わせて、前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するステップは、前記第1透過パラメータと前記第1移動距離に基づいて、第2移動距離を取得するステップと、前記第2移動距離と前記移動時間に基づいて、前記速度を取得するステップと、を含む。
本開示のいずれかの実施形態と組み合わせて、前記第1移動距離の第1透過パラメータを取得するステップは、第3位置の第2透過パラメータを取得するステップであって、前記第3位置が前記第1位置と前記第2位置の連結線上の位置であり、前記第2透過パラメータが第1ピクセルポイントのサイズと第1オブジェクトポイントのサイズとの間の変換関係を表し、前記第1ピクセルポイントが前記第3位置に基づいて前記第1処理待ち画像において決定されたピクセルポイントであり、又は、前記第1ピクセルポイントが前記第3位置に基づいて前記第2処理待ち画像において決定されたピクセルポイントであり、前記第1オブジェクトポイントが前記第1ピクセルポイントに対応するオブジェクトポイントであり、前記第1比が画像内の前記第1ピクセルポイントのスケールと負の相関関係にあり、前記第1比が前記第1ピクセルポイントのサイズと前記第1オブジェクトポイントのサイズとの比である、ステップと、前記第2透過パラメータに基づいて、前記第1透過パラメータを取得するステップであって、前記第1透過パラメータが前記第2透過パラメータと正の相関関係にある、ステップと、を含む。
本開示のいずれかの実施形態と組み合わせて、前記第3位置は、前記第1位置と前記第2位置との間の中間位置である。
本開示のいずれかの実施形態と組み合わせて、第3位置の第2透過パラメータを取得するステップは、前記第1処理待ち画像に対して物体検出処理を行い、第1物体フレームの位置と第2物体フレームの位置を取得するステップであって、前記第1物体フレームに第1物体が含まれ、前記第2物体フレームに第2物体が含まれる、ステップと、前記第1物体フレームの位置に基づいて前記第1物体の第1サイズを取得し、前記第2物体フレームの位置に基づいて前記第2物体の第2サイズを取得するステップと、前記第1サイズと第3サイズに基づいて第3透過パラメータを取得し、前記第2サイズと第4サイズに基づいて第4透過パラメータを取得するステップであって、前記第3サイズが前記第1物体の物理的サイズであり、前記第3透過パラメータが第5サイズと第6サイズとの間の変換関係を表し、前記第5サイズが第2ピクセルポイントのサイズであり、前記第1処理画像内の前記第2ピクセルポイントの位置が前記第1物体フレームの位置に基づいて決定され、前記第6サイズが前記第2ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第4サイズが前記第2物体の物理的サイズであり、前記第4透過パラメータが第7サイズと第8サイズとの間の変換関係を表し、前記第7サイズが第3ピクセルポイントのサイズであり、前記第2処理待ち画像内の前記第3ピクセルポイントの位置が前記第2物体フレームの位置に基づいて決定され、前記第8サイズが前記第3ピクセルポイントに対応するオブジェクトポイントのサイズである、ステップと、前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記第1処理待ち画像の透過パラメータマップを取得するステップであって、第9サイズと第10サイズとの間の変換関係が前記透過パラメータマップ内の第1ピクセル値に基づいて決定され、前記第9サイズが前記第1処理待ち画像内の第4ピクセルポイントのサイズであり、前記第10サイズが前記第4ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第1ピクセル値が第5ピクセルポイントのピクセル値であり、前記第5ピクセルポイントが前記透過パラメータマップ内の前記第4ピクセルポイントに対応するピクセルポイントである、ステップと、前記透過パラメータマップ内の前記第3位置に対応するピクセル値に基づいて、前記第2透過パラメータを取得するステップと、を含む。
本開示のいずれかの実施形態と組み合わせて、前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記処理待ち画像の透過パラメータを取得するステップの前に、前記方法は、信頼度マッピングを取得するステップであって、前記信頼度マッピングが物体タイプと透過パラメータの信頼度の間のマッピングを表す、ステップと、前記第1物体の物体タイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するステップと、をさらに含み、前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記処理待ち画像の透過パラメータを取得するステップは、前記第1信頼度と前記第3透過パラメータに基づいて、第5透過パラメータを取得するステップであって、前記第5透過パラメータが前記第1信頼度と正の相関関係にある、ステップと、前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップと、を含む。
本開示のいずれかの実施形態と組み合わせて、前記第1物体の物体タイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するステップの前に、前記方法は、前記第1物体フレーム内のピクセルポイント領域に対して特徴抽出処理を行い、特徴データを取得するステップと、前記特徴データに基づいて、前記第1物体のスコアを取得するステップであって、前記スコアが前記第1物体のサイズの信頼度と正の相関関係にある、ステップと、をさらに含み、前記第1物体の物体タイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するステップは、前記第1物体のタイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第2信頼度を取得するステップと、前記スコアと前記第2信頼度に基づいて、前記第1信頼度を取得するステップであって、前記第1信頼度が前記スコアと正の相関関係にある、ステップと、を含む。
本開示のいずれかの実施形態と組み合わせて、前記第1信頼度と前記第3透過パラメータに基づいて、第5透過パラメータを取得するステップは、前記第1信頼度と前記第3透過パラメータとの積を決定し、前記第5透過パラメータを取得するステップを含む。
本開示のいずれかの実施形態と組み合わせて、前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップの前に、前記方法は、前記第1処理待ち画像の深度画像を取得するステップと、前記深度画像に基づいて、前記第2ピクセルポイントの第1深度情報及び前記第3ピクセルポイントの第2深度情報を取得するステップと、前記第1深度情報と前記第5透過パラメータに基づいて第1データポイントを取得し、前記第2深度情報と前記第4透過パラメータに基づいて第2データポイントを取得するステップと、をさらに含み、前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップは、前記第1データポイントと前記第2データポイントに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップを含む。
本開示のいずれかの実施形態と組み合わせて、前記第1処理待ち画像と前記第2処理待ち画像は、同一のイメージングデバイスによって収集され、かつ前記第1処理待ち画像の収集中の前記イメージングデバイスのポーズが前記第2処理待ち画像の収集中の前記イメージングデバイスのポーズと同じである。
本開示のいずれかの実施形態と組み合わせて、前記第1オブジェクトは人物であり、前記人物は、監視群集であり、前記方法は、前記速度が安全速度閾値を超えない場合、前記イメージングデバイスの位置を取得するステップと、前記位置を含む警告命令を端末に送信するステップであって、前記警告命令が監視群集の群集密度が高すぎることを示す警告情報を出力するように端末に指示するために用いられるステップと、をさらに含む。
第2態様による速度測定装置は、第1処理待ち画像と第2処理待ち画像を取得するように構成される第1取得ユニットであって、前記第1処理待ち画像と前記第2処理待ち画像は両方とも第1オブジェクトを含む、第1取得ユニットと、前記第1処理待ち画像内の前記第1オブジェクトの第1位置、前記第2処理待ち画像内の前記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得するように構成される第2取得ユニットであって、前記第1移動距離が前記第1位置と前記第2位置との間の距離であり、前記第1透過パラメータが前記第1移動距離と第1物理的距離との間の変換関係を表し、前記第1物理的距離が前記第1移動距離に対応する物理的距離であり、前記第1物理的距離が前記第1処理待ち画像内の前記第1位置のスケールと負の相関関係にあり、及び/又は、前記第1物理的距離が前記第2処理待ち画像内の前記第2位置のスケールと負の相関関係にある、第2取得ユニットと、前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するように構成される第1処理ユニットであって、前記移動時間が前記第1処理待ち画像のタイムスタンプ及び前記第2処理待ち画像のタイムスタンプに基づいて取得される、第1処理ユニットと、を備える。
本開示のいずれかの実施形態と組み合わせて、前記第1処理ユニットは、前記第1透過パラメータと前記第1移動距離に基づいて、第2移動距離を取得し、前記第2移動距離と前記移動時間に基づいて、前記速度を取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記第2取得ユニットは、第3位置の第2透過パラメータを取得し、前記第3位置が前記第1位置と前記第2位置の連結線上の位置であり、前記第2透過パラメータが第1ピクセルポイントのサイズと第1オブジェクトポイントのサイズとの間の変換関係を表し、前記第1ピクセルポイントが前記第3位置に基づいて前記第1処理待ち画像において決定されたピクセルポイントであり、又は、前記第1ピクセルポイントが前記第3位置に基づいて前記第2処理待ち画像において決定されたピクセルポイントであり、前記第1オブジェクトポイントが前記第1ピクセルポイントに対応するオブジェクトポイントであり、前記第1比が画像内の第1ピクセルポイントのスケールと負の相関関係にあり、前記第1比が前記第1ピクセルポイントのサイズと前記第1オブジェクトポイントのサイズとの比であり、前記第2透過パラメータに基づいて、前記第1透過パラメータを取得するように構成され、前記第1透過パラメータが前記第2透過パラメータと正の相関関係にある。
本開示のいずれかの実施形態と組み合わせて、前記第3位置は、前記第1位置と前記第2位置との間の中間位置である。
本開示のいずれかの実施形態と組み合わせて、前記第2取得ユニットは、前記第1処理待ち画像に対して物体検出処理を行い、第1物体フレームの位置と第2物体フレームの位置を取得し、前記第1物体フレームに第1物体が含まれ、前記第2物体フレームに第2物体が含まれ、前記第1物体フレームの位置に基づいて前記第1物体の第1サイズを取得し、前記第2物体フレームの位置に基づいて前記第2物体の第2サイズを取得し、前記第1サイズと第3サイズに基づいて第3透過パラメータを取得し、前記第2サイズと第4サイズに基づいて第4透過パラメータを取得し、前記第3サイズが前記第1物体の物理的サイズであり、前記第3透過パラメータが第5サイズと第6サイズとの間の変換関係を表し、前記第5サイズが第2ピクセルポイントのサイズであり、前記第1処理画像内の前記第2ピクセルポイントの位置が前記第1物体フレームの位置に基づいて決定され、前記第6サイズが前記第2ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第4サイズが前記第2物体の物理的サイズであり、前記第4透過パラメータが第7サイズと第8サイズとの間の変換関係を表し、前記第7サイズが第3ピクセルポイントのサイズであり、前記第2処理待ち画像内の前記第3ピクセルポイントの位置が前記第2物体フレームの位置に基づいて決定され、前記第8サイズが前記第3ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記第1処理待ち画像の透過パラメータマップを取得し、第9サイズと第10サイズとの間の変換関係が前記透過パラメータマップ内の第1ピクセル値に基づいて決定され、前記第9サイズが前記第1処理待ち画像内の第4ピクセルポイントのサイズであり、前記第10サイズが前記第4ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第1ピクセル値が第5ピクセルポイントのピクセル値であり、前記第5ピクセルポイントが前記透過パラメータマップ内の前記第4ピクセルポイントに対応するピクセルポイントであり、前記透過パラメータマップ内の前記第3位置に対応するピクセル値に基づいて、前記第2透過パラメータを取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記第1取得ユニットは、さらに前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記処理待ち画像の透過パラメータを取得する前に、信頼度マッピングを取得するように構成され、前記信頼度マッピングが物体タイプと透過パラメータの信頼度の間のマッピングを表し、前記速度測定装置は、さらに前記第1物体の物体タイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するように構成される第2処理ユニットをさらに備え、前記第2取得ユニットは、前記第1信頼度と前記第3透過パラメータに基づいて、第5透過パラメータを取得するように構成され、前記第5透過パラメータが前記第1信頼度と正の相関関係にある。
前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得する。
本開示のいずれかの実施形態と組み合わせて、前記速度測定装置は、前記第1物体の物体タイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得する前に、前記第1物体フレーム内のピクセルポイント領域に対して特徴抽出処理を行い、特徴データを取得するように構成される第3処理ユニットと、前記特徴データに基づいて、前記第1物体のスコアを取得するように構成される第4処理ユニットであって、前記スコアが前記第1物体のサイズの信頼度と正の相関関係にある、第4処理ユニットと、をさらに備え、前記第2処理ユニットは、前記第1物体のタイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第2信頼度を取得し、前記スコアと前記第2信頼度に基づいて、前記第1信頼度を取得するように構成され、前記第1信頼度が前記スコアと正の相関関係にある。
本開示のいずれかの実施形態と組み合わせて、前記第2取得ユニットは、前記第1信頼度と前記第3透過パラメータとの積を決定し、前記第5透過パラメータを取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記第1取得ユニットは、さらに前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得する前に、前記第1処理待ち画像の深度画像を取得するように構成され、前記第2取得ユニットは、さらに前記深度画像に基づいて、前記第2ピクセルポイントの第1深度情報及び前記第3ピクセルポイントの第2深度情報を取得し、前記第1深度情報と前記第5透過パラメータに基づいて第1データポイントを取得し、前記第2深度情報と前記第4透過パラメータに基づいて第2データポイントを取得するように構成され、前記第2取得ユニットは、さらに前記第1データポイントと前記第2データポイントに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記第1処理待ち画像と前記第2処理待ち画像は、同一のイメージングデバイスによって収集され、かつ前記第1処理待ち画像の収集中の前記イメージングデバイスのポーズが前記第2処理待ち画像の収集中の前記イメージングデバイスのポーズと同じである。
本開示のいずれかの実施形態と組み合わせて、前記第1オブジェクトは人物であり、前記人物は、監視群集であり、前記第1取得ユニットは、さらに前記速度が安全速度閾値を超えない場合、前記イメージングデバイスの位置を取得するように構成され、前記速度測定装置は、前記位置を含む警告命令を端末に送信するように構成される送信ユニットであって、前記警告命令が前記監視群集の群集密度が高すぎることを示す警告情報を出力するように端末に指示するために用いられる、送信ユニットをさらに備える。
第3態様によるプロセッサは、上記の第1態様及びそのいずれかの可能な実現方式における方法を実行することに用いられる。
第4態様による電子デバイスは、プロセッサ、送信装置、入力装置、出力装置及びメモリを備え、前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードはコンピュータ命令を含み、前記プロセッサは、前記コンピュータ命令を実行して、上記第1態様及びそのいずれかの可能な実現方式における方法を実行するように構成される。
第5態様によるコンピュータ可読記憶媒体は、コンピュータプログラムを記憶しており、前記コンピュータプログラムがプログラム命令を含み、前記プログラム命令は、プロセッサに実行されると、前記プロセッサに上記の第1態様及びそのいずれかの可能な実現方式における方法を実行させる。
第6態様によるコンピュータプログラム製品は、コンピュータプログラム又は命令を含み、前記コンピュータプログラム又は命令は、コンピュータで実行されると、前記コンピュータに上記第1態様及びそのいずれかの可能な実現方式における方法を実行させる。
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を制限するものではないことを理解すべきである。
本開示の実施例による群集画像の概略図である。 本開示の実施例によるピクセル座標系の概略図である。 本開示の実施例による速度測定方法のフローチャートである。 本開示の実施例による別の速度測定方法のフローチャートである。 本開示の実施例によるゴールの概略図である。 本開示の実施例による速度測定装置の構造概略図である。 本発明の実施例による速度測定装置のハードウェア構造概略図ある。
本開示の実施例又は背景技術における技術的解決策をより明確に説明するために、以下に本開示の実施例又は背景技術で使用される必要がある図面を説明する。
ここでの添付図面は本明細書に組み込まれて本明細書の一部を構成し、これらの図面は、本開示に一致する実施例を示し、明細書と共に本開示の技術案を解釈することに用いられる。
当業者が本開示の解決策をより良く理解するために、以下に本開示の実施例の図面と組み合わせて本開示の実施例における技術解決策を明確且つ完全に説明し、明らかに、説明される実施例は、すべての実施例ではなく、本開示の実施例の一部だけであり、全ての実施例ではない。本開示の実施例に基づき、当業者が創造的な労力を要せずに得る全ての他の実施例は、本開示の保護範囲に属する。
本開示の明細書と特許請求の範囲及び上記図面における用語「第一」、「第二」などは、異なるオブジェクトを区別するために用いられるが、特定の順序を説明するためのものではない。また、用語「包括」と「有する」及びそれらのいかなる変形は、非排他的な包含をカバーすることを意図する。例えば一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置は、示されたステップ又はユニットに限定されず、任意に、示されないステップ又はユニットをさらに含み、又は、任意に、これらのプロセス、方法、製品又はデバイス固有の他のステップ又はユニットをさらに含む。
本開示において、「少なくとも1つ(アイテム)」が1つ以上を指し、「複数」が2つ以上を指し、「少なくとも2つ(アイテム)」が2つ又は3つ以上を指すことを理解すべきであり、「及び/又は」は、関連付けられたオブジェクトの関連関係を表すために用いられ、3種類の関係が存在できることを示し、例えば、「A及び/又はB」は、Aが単独で存在すること、Bが単独で存在すること及びA及びBが同時に存在することの3つの状況を示すことができ、ここで、A、Bは単数又は複数であってもよい。文字「/」は、前後にある関連オブジェクトが「又は」の関係であることを示すことができ、単一アイテム(個)又は複数アイテム(個)の任意の組み合わせを含むこれらのアイテムの任意の組み合わせを指す。例えば、a、b又はcの少なくとも1アイテム(個)は、a、b、c、「aとb」、「aとc」、「bとc」、又は「aとbとc」を示すことができ、a、b、cは単一であってもよいし、複数であってもよい。文字「/」は、数学演算の除算記号例えばa/b=aをbで割ったもの、6/3=2、「以下の少なくとも1アイテム」又はその類似する表現を示すことができる。
本明細書に言及される「実施例」は、実施例と組み合わせて説明される特定の特徴、構造又は特性が本開示の少なくとも一つの実施例に含まれてもよいことを意味する。本明細書の様々な箇所に現れる当該フレーズは、必ずしも同じ実施例を指すわけではなく、他の実施例と相互に排他的に独立した実施例又は代替実施例ではない。当業者は、本明細書で説明される実施例が他の実施例と組み合わせられてもよいことを明示的及び暗黙的に理解できる。
まず、以下に示されるいくつかの概念を定義する。本開示の実施例では、オブジェクトポイントは、実世界でのポイントを指し、物理的距離は、実世界での距離を指し、物理的サイズは、実世界でのサイズを指す。
オブジェクトポイントは、画像内のピクセルポイントに対応する。例えば、テーブルをカメラで撮影して画像Aを取得する。テーブルは、オブジェクトポイントaを含み、画像A内のピクセルポイントbは、オブジェクトポイントaをイメージングすることによって得られたものであり、オブジェクトポイントaは、ピクセルポイントbに対応する。
物理的領域は、画像内のピクセルポイント領域に対応する。例えば、バスケットボールコートをカメラで撮影して画像Bを取得する。画像A内のピクセルポイント領域cは、バスケットボールコートをイメージングすることによって得られたものであり、バスケットボールコートは、ピクセルポイント領域cに対応する。
本開示の実施例では、近くの物体は、画像内でサイズが大きく、遠くの物体は、画像内でサイズが小さい。本開示の実施例における「遠い」とは、画像内の物体に対応する実物体と上記画像を収集するイメージングデバイスとの間の距離が遠いことを指し、「近い」は、画像内の物体に対応する実物体と上記画像を収集するためのイメージングデバイスとの間の距離が近いことを指す。
画像では、ピクセルポイントのスケールは、当該ピクセルポイントに対応するオブジェクトポイントのスケールと正の相関関係にある。具体的には、画像内のピクセルポイントのスケールが大きいほど、当該ピクセルポイントに対応するオブジェクトポイントのスケールは大きくなる。例えば、画像Aは、ピクセルポイントaとピクセルポイントbを含み、ピクセルポイントaに対応するオブジェクトポイントは、オブジェクトポイント1であり、ピクセルポイントbに対応するオブジェクトポイントは、オブジェクトポイント2である。画像A内のピクセルポイントaのスケールが画像Aのピクセルポイントbのスケールよりも大きい場合、オブジェクトポイント1のサイズは、オブジェクトポイント2のサイズよりも大きい。
画像では、位置のスケールとは、当該位置にある物体のサイズと当該物体の物理的サイズとの比を指す。例えば、図1では、人物Aの位置のスケールが人物Bの位置のスケールよりも大きく、かつ人々の間のサイズの差が小さい(即ち異なる人の物理的サイズ間の差が小さい)ため、人物Aがカバーするピクセルポイント領域の面積は、人物Bがカバーするピクセルポイント領域の面積よりも大きい。
本開示の実施例では、画像内の位置は、すべて画像のピクセル座標における位置を指す。本開示の実施例におけるピクセル座標系の横座標は、ピクセルポイントが位置する列の数を示すために用いられ、ピクセル座標系における縦座標は、ピクセルポイントが位置する行の数を示すために用いられる。例えば、図2に示す画像では、画像の左上隅を座標原点Oとし、画像の行に平行な方向をX軸の方向とし、画像の列に平行な方向をY軸の方向としてピクセル座標系XOYを構築する。横座標と縦座標の単位はすべてピクセルポイントである。例えば、図2内のピクセルポイントA11の座標は(1、1)であり、ピクセルポイントA23の座標は(3、2)であり、ピクセルポイントA42の座標は(2、4)であり、ピクセルポイントA34の座標は(4、3)である。
本開示の実施例の実行本体は、速度測定装置である。いくつかの可能な実現方式では、速度測定装置は、携帯電話、コンピュータ、サーバー、タブレットコンピュータのいずれかであってもよい。以下に本開示の実施例における図面と組み合わせて本開示の実施例を説明する。
以下に本開示の実施例における図面と組み合わせて本開示の実施例を説明する。図3を参照すると、図3は本開示の実施例による速度測定方法のフローチャートである。
301において、第1処理待ち画像と第2処理待ち画像を取得し、ここで、上記第1処理待ち画像と上記第2処理待ち画像は両方とも第1オブジェクトを含む。
本開示の実施例では、第1処理待ち画像と第2処理待ち画像の両方には任意の内容が含まれている。例えば、第1処理待ち画像は、人物を含むことができ、第1処理待ち画像は、道路と自動車を含むこともできる。第2処理待ち画像は、人物を含むことができ、第2処理待ち画像は動物を含むこともできる。本開示では、第1処理待ち画像に含まれる内容と第2処理待ち画像に含まれる内容は限定されていない。
本開示の実施例では、第1オブジェクトは、人物、物体のうちの1つであってもよい。例えば、第1オブジェクトは人間であってもよいし、第1オブジェクトは自動車であってもよく、また、第1オブジェクトは動物であってもよい。
第1処理待ち画像と第2処理待ち画像の両方には第1オブジェクトが含まれている。例えば、第1処理待ち画像には張三が含まれ、第2処理待ち画像にも張三が含まれる。また、例えば、第1処理待ち画像と第2処理待ち画像の両方には車両aが含まれている。
第1処理待ち画像を取得するための実現方式では、速度測定装置は、ユーザが入力コンポーネントを介して入力した第1処理待ち画像を受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
第1処理待ち画像を取得するための別の実現方式では、速度測定装置は、第1端末から送信された第1処理待ち画像を受信する。いくつかの可能な実現方式では、第1端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー又はウェアラブルデバイスのいずれか1つであってもよい。
また、第1処理待ち画像を取得するための別の実現方式では、速度測定装置にはカメラを含む撮影コンポーネントが搭載されている。速度測定装置は、撮影コンポーネントを用いて画像を収集することにより、第1処理待ち画像を取得する。
また、第1処理待ち画像を取得するための別の実現方式では、速度測定装置は、取得されたビデオストリームから1フレームの画像を第1処理待ち画像として選択する。
第2処理待ち画像を取得するための実現方式では、速度測定装置は、ユーザが入力コンポーネントを介して入力した第2処理待ち画像を受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
第2処理待ち画像を取得するための別の実現方式では、速度測定装置は、第2端末から送信された第2処理待ち画像を受信する。いくつかの可能な実現方式では、第2端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー又はウェアラブルデバイスのいずれか1つであってもよい。
また、第2処理待ち画像を取得するための別の実現方式では、速度測定装置にはカメラを含む撮影コンポーネントが搭載されている。速度測定装置は、撮影コンポーネントを用いて画像を収集することにより、第2処理待ち画像を取得する。
また、第2処理待ち画像を取得するための別の実現方式では、速度測定装置は、取得されたビデオストリームから1フレームの画像を第2処理待ち画像として選択する。
いくつかの可能な実現方式における実施形態として、速度測定装置と監視カメラの間には通信接続がある。速度測定装置は、当該通信接続によって監視カメラで収集された監視ビデオストリームを取得し、当該監視ビデオストリームから2フレームの画像を取得し、それぞれ第1処理待ち画像と第2処理待ち画像として用いる。
302において、上記第1処理待ち画像内の上記第1オブジェクトの第1位置、上記第2処理待ち画像内の上記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得する。
本開示の実施例では、第1処理待ち画像内の第1オブジェクトの位置は、第1処理待ち画像内の第1オブジェクトを含むオブジェクトフレームの位置であってもよく、第1処理待ち画像内の第1オブジェクトの位置は、第1処理待ち画像内の、第1オブジェクトがカバーするピクセルポイント領域内のピクセルポイントの位置であってもよい。第2処理待ち画像内の第1オブジェクトの位置は、第2処理待ち画像内の第1オブジェクトを含むオブジェクトフレームの位置であってもよく、第2処理待ち画像内の第1オブジェクトの位置は、第2処理待ち画像内の、第1オブジェクトがカバーするピクセルポイント領域内のピクセルポイントの位置であってもよい。
本開示の実施例では、第1移動距離は、第1位置と第2位置との間の距離であり、即ち、第1移動距離は、ピクセル座標系における距離である。例えば、第1位置は(3、5)であり、即ち第1処理待ち画像内の第1オブジェクトの位置は(3、5)であり、第2位置は(7、8)であり、即ち第2処理待ち画像内の第1オブジェクトの位置は(7、8)である。このとき、第1移動距離は
Figure 2022542205000002
である。
本開示の実施例では、物理的距離(上記第1物理的距離を含む)とは実世界での距離を指す。第1移動距離に対応する物理的距離は、第1物理的距離である。第1透過パラメータは、第1移動距離と第1物理的距離との間の変換関係を表す。例えば、第1処理待ち画像のタイムスタンプがt1であり、第2処理待ち画像のタイムスタンプがt2であり、第1オブジェクトが張三であると仮定する。速度測定装置が第1位置と第2位置に基づいて取得する第1移動距離がd1である場合、速度測定装置は、第1透過パラメータを用いてd1を、t1からt2までの実世界での張三の移動距離(即ち第1物理的距離)に変換することができる。いくつかの可能な実現方式では、第1透過パラメータは、第1移動距離と第1物理的距離との比である。
本開示の実施例では、第1物理的距離は、第1処理待ち画像内の第1位置のスケールと負の相関関係にあり、及び/又は、第1物理的距離は、第2処理待ち画像内の第2位置のスケールと負の相関関係にある。当該相関性関係は、
(1)
速度測定装置が第1移動距離と第1透過パラメータに基づいて取得した第1物理的距離が、第1処理待ち画像内の第1位置のスケールに負の相関関係にあること、
(2)速度測定装置が第1移動距離と第1透過パラメータに基づいて取得した第1物理的距離が第2処理待ち画像内の第2位置のスケールと負の相関関係にあること、
(3)速度測定装置が第1移動距離と第1透過パラメータに基づいて取得した第1物理的距離が、第1処理待ち画像内の第1位置のスケールと負の相関関係にあり、かつ当該第1物理的距離が第2処理待ち画像内の第2位置のスケールと負の相関関係にあることのうちの少なくとも1つを含む。
303において、上記第1移動距離、上記第1透過パラメータ及び移動時間に基づいて、上記第1オブジェクトの速度を取得する。
本開示の実施例では、移動時間は、第1オブジェクトが第1移動距離移動するためにかかる時間時間である。速度測定装置は、第1処理待ち画像のタイムスタンプ及び第2処理待ち画像のタイムスタンプに基づいて当該移動時間を取得することができる。
1つの可能な実現方式では、第1処理待ち画像のタイムスタンプと第2処理待ち画像のタイムスタンプのうちの小さいタイムスタンプをスモールタイムスタンプと呼び、第1処理待ち画像のタイムスタンプと第2処理待ち画像のタイムスタンプのうちの大きいタイムスタンプをビッグタイムスタンプと呼ぶ。移動時間の開始時間はスモールタイムスタンプであり、移動時間の終了時間はビッグタイムスタンプである。例えば、第1処理待ち画像のタイムスタンプは、2020年6月27日16時54分30秒であり、第2処理待ち画像のタイムスタンプは2020年6月27日16時54分33秒である。このとき、スモールタイムスタンプは、2020年6月27日16時54分30秒であり、ビッグタイムスタンプは、2020年6月27日16時54分33秒である。
本開示の実施例では、第1オブジェクトの速度は、実世界での第1オブジェクトの速度である。第1オブジェクトの速度を取得するための実現方式では、速度測定装置は、第1透過パラメータと第1移動距離に基づいて実世界での第1オブジェクトの移動距離(以下、第2移動距離と呼ぶ)を取得する。速度測定装置は、第1物理的移動距離及び移動時間に基づいて、第1オブジェクトの速度を取得することができる。例えば、第1透過パラメータは、第1移動距離と第1物理的距離との比を表し、第1透過パラメータは0.1センチであり、第1移動距離は10であり、移動時間は0.5秒であると仮定する。速度測定装置は、次の式に基づいて第2移動距離10/0.1センチ=100センチ=1メートルを取得することができる。速度測定装置は、次の式に基づいて実世界での第1オブジェクトの速度1/0.5メートル/秒=2メートル/秒を取得することができる。
別の可能な実現方式では、速度測定装置は、第1移動距離及び移動時間に基づいて、画像内の第1オブジェクトの速度(以下に仮想速度と呼ばれる)を取得する。速度測定装置は、仮想速度と第1透過パラメータに基づいて実世界での第1オブジェクトの速度を取得する。
第1透過パラメータには第1位置のスケール情報及び/又は第2位置のスケール情報が含まれている。速度測定装置は、第1透過パラメータ、第1移動距離及び移動時間に基づいて第1オブジェクトの速度を取得することにより、速度の精度を向上させることができる。
いくつかの可能な実現方式における実施形態として、速度測定装置は、以下のステップを実行することで第1透過パラメータを取得する:
1.第3位置の第2透過パラメータを取得する。
本開示の実施例では、第3位置は、第1位置と第2位置の連結線上の位置である。第1位置が第1処理待ち画像内の位置であり、第2位置が第2処理待ち画像内の位置であるが、本開示の実施例において、第1処理待ち画像のピクセル座標系が第2処理待ち画像のピクセル座標系と同じであるため、速度測定装置は、第1位置と第2位置に基づいて、ピクセル座標系における第3位置を決定することができることが理解できる。第3位置は第1処理待ち画像内の位置であってもよく、第3位置は第2処理待ち画像内の位置であってもよい。例えば、第1位置は(3、4)であり、第2位置は(7、8)である。第3位置が第1位置と第2位置との間の中間位置(5、6)であると仮定する。このとき、第3位置は、第1処理待ち画像内の第5行第6列にあるピクセルポイントを表すことができ、第3位置は、第2処理待ち画像内の第5行第6列にあるピクセルポイントを表すこともできる。
本開示の実施例では、速度測定装置は、第3位置に基づいて第1処理待ち画像においてピクセルポイントを決定することができ、速度測定装置は、第3位置に基づいて第2処理待ち画像においてピクセルポイントを決定することもできる。速度測定装置が第3位置に基づいて決定したピクセルポイントは、第1ピクセルポイントと呼ばれ、第2透過パラメータは、第1ピクセルポイントのサイズと第1オブジェクトポイントのサイズとの間の変換関係を表し、ここで、第1オブジェクトポイントは、第1ピクセルポイントに対応するオブジェクトポイントである。例えば、第2透過パラメータは、第1ピクセルポイントの長さと第1オブジェクトポイントの長さとの間の変換関係を表す。また、例えば、第2透過パラメータは、第1ピクセルポイントの高さと第1オブジェクトポイントの高さとの間の変換関係を表す。また、例えば、第2透過パラメータは、第1ピクセルポイントの幅と第1オブジェクトポイントの幅との間の変換関係を表す。
第1ピクセルポイントのサイズと第1オブジェクトポイントのサイズとの間の比は、第1比と呼ばれ、本開示の実施例において、第1比は、画像内の第1ピクセルポイントのスケールと負の相関関係にある。例えば、第1ピクセルポイントは、第1処理待ち画像に属し、第1比が第1ピクセルポイントの長さと第1オブジェクトポイントの長さとの比であると仮定すると、第1処理待ち画像内の第1ピクセルポイントのスケールが大きいほど、第1比は小さくなる。第1処理待ち画像内の任意の2つのピクセルポイントの長さがいずれも同じであり、つまり第1ピクセルポイントの長さが変わらないことを考慮すると、第1ピクセルポイントのスケールが大きいほど、第1オブジェクトポイントの長さは小さくなり、即ち第1オブジェクトポイントのサイズは、第1ピクセルポイントのスケールと負の相関関係にある。
また、例えば、第1比が第1ピクセルポイントの長さと第1オブジェクトポイントの長さとの比であり、第1ピクセルポイントが第2処理待ち画像に属すると仮定すると、第2処理待ち画像内の第1ピクセルポイントのスケールが大きいほど、第1比は小さくなる。第2処理待ち画像内の任意の2つのピクセルポイントの長さがいずれも同じであり、つまり第1ピクセルポイントの長さが変わらないことを考慮すると、第1ピクセルポイントのスケールが大きいほど、第1オブジェクトポイントの長さは小さくなり、即ち第1オブジェクトポイントのサイズは、第1ピクセルポイントのスケールと負の相関関係にある。
以上から分かるように、第1オブジェクトポイントのサイズが第1ピクセルポイントのサイズと第2透過パラメータに基づいて得られ、第1ピクセルポイントのサイズが固定値であるため、第2透過パラメータには第1ピクセルポイントのスケール情報が含まれている。第3位置の第2透過パラメータを取得するための実現方式では、速度測定装置は、ユーザが入力コンポーネントを介して入力した第2透過パラメータを受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
第3位置の第2透過パラメータを取得するための別の実現方式では、速度測定装置は、第3端末から送信された第2透過パラメータを受信する。いくつかの可能な実現方式では、第3端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、ウェアラブルデバイスのいずれか1つであってもよい。第3端末は、第1端末と同じであってもよいし、異なっていてもよい。
2.上記第2透過パラメータに基づいて、上記第1透過パラメータを取得する。
1つの可能な実現方式では、ピクセルポイントのスケールは、ピクセルポイントの横座標に線形に関連し、及び/又は、ピクセルポイントのスケールは、ピクセルポイントの縦座標に線形に関連している。第3位置のスケールは、第1位置のスケールに線形に関連し、及び/又は、第3位置のスケールは、第2位置のスケールに線形に関連している。したがって、速度測定装置は、第1位置と第2位置との間の中間位置にある透過パラメータに基づいて第1移動距離の透過パラメータを決定し、即ち第2透過パラメータに基づいて第1透過パラメータを決定することができる。いくつかの可能な実現方式における実施形態として、第3位置は、第1位置と第2位置との間の中間位置である。
本開示の実施例では、第1透過パラメータは、第2透過パラメータと正の相関関係にある。第1透過パラメータが
Figure 2022542205000003
であり、第2透過パラメータが
Figure 2022542205000004
であると仮定すると、1つの可能な実現方式において、
Figure 2022542205000005
は式(1)を満たしている:
Figure 2022542205000006
ここで、
Figure 2022542205000007
は正数である。いくつかの可能な実現方式では、
Figure 2022542205000008
である。
別の可能な実現方式では、
Figure 2022542205000009
は式(2)を満たしている:
Figure 2022542205000010
ここで、
Figure 2022542205000011
は正数であり、
Figure 2022542205000012
は実数である。いくつかの可能な実現方式では、
Figure 2022542205000013
である。
別の可能な実現方式では、
Figure 2022542205000014
は式(3)を満たしている:
Figure 2022542205000015
ここで、
Figure 2022542205000016
は正数であり、
Figure 2022542205000017
は実数である。いくつかの可能な実現方式では、
Figure 2022542205000018
である。
図4を参照すると、図4は本開示の実施例によって提供されるステップ1の1つの可能な実現方法のフローチャートである。
401において、上記第1処理待ち画像に対して物体検出処理を行い、第1物体フレームの位置と第2物体フレームの位置を取得する。
本開示の実施例では、物体検出処理の検出オブジェクトは、サイズが決定された値に近い物体である。例えば、顔の平均の長さは20cmセンチであり、物体検出処理の検出オブジェクトは、顔であってもよい。また、例えば、人の平均の身長は1.65メートルであり、物体検出処理の検出オブジェクトは、人体であってもよい。また、例えば、サッカー場では、図5に示すゴールの高さがいずれも決定されたもの(例えば2.44メートル)であり、物体検出処理の検出オブジェクトは、ゴールであってもよい。
本開示の実施例では、物体フレームは、任意の形状であってもよく、本開示では物体フレーム(上記第1物体フレームと第2物体フレームを含む)の形状は限定されていない。いくつかの可能な実現方式では、物体フレームの形状は、矩形、菱形、円形、楕円形、多角形の少なくも1つを含む。
本開示の実施例では、物体フレームの位置(上記第1物体フレームの位置と上記第2物体フレームの位置を含む)は、物体フレームに含まれるピクセルポイント領域、即ち処理待ち画像内の物体フレームの位置を決定するために用いられる。例えば、物体フレームの形状が矩形である場合、物体フレームの位置は、矩形内の任意の1ペアの対角の座標を含むことができ、ここで、1ペアの対角とは矩形の対角線上の2つの頂点を指す。また、例えば、物体フレームの形状が矩形である場合、物体フレームの位置は、矩形の幾何学的中心の位置、矩形の長さ及び矩形の幅を含むことができる。また、例えば、物体フレームが円形である場合、物体フレームの位置は、物体フレームの円心の位置、物体フレームの半径を含むことができる。
本開示の実施例では、物体検出処理の検出オブジェクトの数が1以上である。例えば、検出オブジェクトが顔である場合、処理待ち画像に対して物体検出処理を行うことにより、顔を含む顔フレームの位置を取得することができる。また、例えば、検出オブジェクトが顔と人体を含む場合、処理待ち画像に対して物体検出処理を行うことにより、顔を含む顔フレームの位置と人体を含む人体フレームの位置とを取得することができる。また、例えば、検出オブジェクトが顔、人体及びネジを含む場合、処理待ち画像に対して物体検出処理を行うことにより、顔を含む顔フレームの位置、人体を含む人体フレームの位置及びネジを含むネジフレームの位置を取得することができる。いくつかの可能な実現方式では、物体検出処理の検出オブジェクトは、顔、足、人体、ネジ、ゴールの少なくとも1つを含む。
1つの可能な実現方式では、処理待ち画像に対する物体検出処理は、畳み込みニューラルネットワークによって実現されてもよい。ラベル情報付きの画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングされた畳み込みニューラルネットワークは、画像に対する物体検出処理を完了することができる。トレーニングデータのうちの画像のラベル情報は、物体フレームの位置情報であり、当該物体フレームは、物体検出処理の検出オブジェクトを含む。
別の可能な実施形態では、物体検出処理は、物体検出アルゴリズムにより実現されてもよく、ここで、物体検出アルゴリズムは、1回だけ見る(YOLO:you only look once)アルゴリズム、ターゲット検出アルゴリズム(DMP:deformable part model)、単一画像マルチターゲット検出アルゴリズム(SSD:single shot multiBox detector)、Faster-RCNNアルゴリズムなどの1つであってもよく、本開示では、物体検出処理を実現するための物体検出アルゴリズムが限定されていない。
速度測定装置は、第1処理待ち画像に対して物体検出処理を行い、第1物体を含む第1物体フレームの位置及び第2物体を含む第2物体フレームの位置を取得する。第1物体フレームに含まれる検出オブジェクトは、第2物体フレームに含まれる検出オブジェクトと異なる。例えば、第1物体フレームに含まれる検出オブジェクトは、張三の顔であり、第2物体フレームに含まれる検出オブジェクトは、李四の顔である。また、例えば、第1物体フレームに含まれる検出オブジェクトは、張三の顔であり、第2物体フレームに含まれる検出オブジェクトは、インジケータプレートである。
402において、前記第1物体フレームの位置に基づいて第1物体の第1サイズを取得し、前記第2物体フレームの位置に基づいて第2物体の第2サイズを取得する。
速度測定装置は、物体フレームの位置に基づいて、物体フレームに含まれる検出オブジェクトのサイズを決定することができる。例えば、物体フレームの形状が矩形である場合、速度測定装置は、物体フレームの位置に基づいて物体フレームの長さ及び幅を決定し、さらに物体フレーム内の検出オブジェクトの長さ及び幅を決定することができる。
速度測定装置は、第1物体フレームの位置に基づいて第1物体の第1サイズを取得し、第2物体フレームの位置に基づいて第2物体の第2サイズを取得することができる。
ステップ403において、上記第1サイズと第3サイズに基づいて第3透過パラメータを取得し、上記第2サイズと第4サイズに基づいて第4透過パラメータを取得する。
本開示の実施例では、第3サイズは、第1物体の物理的サイズであり、第4サイズは、第2物体の物理的サイズである。例えば、第1物体フレームに含まれる検出オブジェクトが人体である場合、第3サイズは人の身長(例えば170センチ)であってもよい。また、例えば、第2物体フレームに含まれる検出オブジェクトが顔である場合、第3サイズは、顔の長さ(例えば20センチ)であってもよい。
速度測定装置は、第1物体フレームの位置に基づいて第1処理待ち画像において1つのピクセルポイント(即ち第2ピクセルポイント)を決定することができる。例えば、第1物体フレームの形状が矩形である場合、速度測定装置は、第1物体フレームの位置に基づいて第1物体フレームの幾何学的中心の位置を決定し、幾何学的中心に対応するピクセルポイントを第2ピクセルポイントとして用いる。また、例えば、第1物体フレームの形状が矩形である場合、速度測定装置は、第1物体フレームの位置に基づいて第1物体フレームの任意の頂点の位置を決定し、当該頂点に対応するピクセルポイントを第2ピクセルポイントとして用いる。また、例えば、第1物体フレームが円形である場合、速度測定装置は、第1物体フレームの位置に基づいて第1物体フレームの円心の位置を決定し、円心に対応するピクセルポイントを第2ピクセルポイントとして用いる。同様に、速度測定装置は、第2物体フレームの位置に基づいて第1処理待ち画像において1つのピクセルポイント、即ち第3ピクセルポイントを決定することができる。
本開示の実施例では、第2ピクセルポイントのサイズは、第5サイズと呼ばれ、第2ピクセルポイントに対応するオブジェクトポイントのサイズは、第6サイズと呼ばれ、第3ピクセルポイントのサイズは、第7サイズと呼ばれ、第3ピクセルポイントに対応するオブジェクトポイントのサイズは、第8サイズと呼ばれる。第5サイズと第6サイズとの間の変換関係は、第3透過パラメータと呼ばれ、第7サイズと第8サイズとの間の変換関係は、第4透過パラメータと呼ばれる。
速度測定装置は、第1サイズと第3サイズに基づいて第3透過パラメータを取得することができ、第2サイズと第4サイズに基づいて第4透過パラメータを取得することができる。第1サイズが
Figure 2022542205000019
であり、第2サイズが
Figure 2022542205000020
であり、第3サイズが
Figure 2022542205000021
であり、第4サイズが
Figure 2022542205000022
であり、第3透過パラメータが
Figure 2022542205000023
であり、第4透過パラメータが
Figure 2022542205000024
であると仮定する。
1つの可能な実現方式では、
Figure 2022542205000025
は式(4)を満たしている:
Figure 2022542205000026
Figure 2022542205000027
は式(5)を満たしている:
Figure 2022542205000028
ここで、
Figure 2022542205000029
は正数である。いくつかの可能な実現方式では、
Figure 2022542205000030
である。
別の可能な実現方式では、
Figure 2022542205000031
は式(6)を満たしている:
Figure 2022542205000032
Figure 2022542205000033
は式(7)を満たしている:
Figure 2022542205000034
ここで、
Figure 2022542205000035
は正数であり、
Figure 2022542205000036
は実数である。いくつかの可能な実現方式では、
Figure 2022542205000037
である。
別の可能な実現方式では、
Figure 2022542205000038
は式(8)を満たしている:
Figure 2022542205000039
Figure 2022542205000040
は式(9)を満たしている:
Figure 2022542205000041
ここで、
Figure 2022542205000042
は正数であり、
Figure 2022542205000043
は実数である。いくつかの可能な実現方式では、
Figure 2022542205000044
である。
ステップ404において、上記第3透過パラメータと上記第4透過パラメータに対してカーブフィッティング処理を行い、上記第1処理待ち画像の透過パラメータマップを取得する。
第1処理待ち画像では、ピクセルポイントのスケールがピクセルポイントの横座標に線形に関連し、及び/又は、ピクセルポイントのスケールがピクセルポイントの縦座標に線形に関連しているため、速度測定装置は、第3透過パラメータと第4透過パラメータによってカーブフィッティング処理を行うことにより、第1処理待ち画像の透過パラメータを取得することができる。透過パラメータマップのピクセル値に基づいて、第1処理待ち画像内の任意の1つのピクセルポイントの透過パラメータを決定することができる。
透過パラメータマップ内の第5ピクセルポイントを例とする。第5ピクセルポイントのピクセル値が第1ピクセル値であると仮定すると、透過パラメータマップにおける第5ピクセルポイントの位置は、第1処理待ち画像内の第4ピクセルポイントの位置と同じであり、即ち第5ピクセルポイントは、第1透過パラメータマップにおける第4ピクセルポイントに対応するピクセルポイントである。速度測定装置は、第1ピクセル値に基づいて、第4ピクセルポイントのサイズ(即ち第9サイズ)と第10サイズとの間の変換関係を決定することができ、ここで、第10サイズは、第4ピクセルポイントに対応するオブジェクトポイントのサイズである。
第1ピクセル値が
Figure 2022542205000045
であり、第9サイズが
Figure 2022542205000046
であり、第10サイズが
Figure 2022542205000047
であると仮定する。1つの可能な実現方式では、
Figure 2022542205000048
は式(10)を満たしている:
Figure 2022542205000049
ここで、
Figure 2022542205000050
は正数である。いくつかの可能な実現方式では、
Figure 2022542205000051
である。
別の可能な実現方式では、
Figure 2022542205000052
は式(11)を満たしている:
Figure 2022542205000053
ここで、
Figure 2022542205000054
は正数であり、
Figure 2022542205000055
は実数である。いくつかの可能な実現方式では、
Figure 2022542205000056
である。
別の可能な実現方式では、
Figure 2022542205000057
は式(12)を満たしている:
Figure 2022542205000058
ここで、
Figure 2022542205000059
は正数であり、
Figure 2022542205000060
は実数である。いくつかの可能な実現方式では、
Figure 2022542205000061
である。
同様に、速度測定装置は、透過パラメータマップに基づいて第1処理待ち画像内の第4ピクセルポイント以外の任意のピクセルポイントの透過パラメータを決定することができる。
405において、上記透過パラメータマップと上記処理待ち画像内の上記第3位置の位置に基づいて、上記第2透過パラメータを取得する。
第3位置が第1処理待ち画像内の位置を表す場合、速度測定装置は、第3位置に基づいて透過パラメータマップから基準ピクセル値を決定することができ、ここで、透過パラメータマップにおける基準ピクセル値に対応するピクセルポイントの位置は、第3位置と同じである。さらに、速度測定装置は、基準ピクセル値に基づいて、第2透過パラメータを取得することができる。
本開示の実施例では、速度測定装置は、第1サイズと第3サイズに基づいて第3透過パラメータを取得し、第2サイズと第4サイズに基づいて第4透過パラメータを取得する。第3透過パラメータと第4透過パラメータに対してカーブフィッティング処理を行い、透過パラメータマップを取得することにより、透過パラメータマップに基づいて第1処理待ち画像内の任意の1つのピクセルポイントの透過パラメータを決定することができる。
第3位置が第2処理待ち画像内の位置を表す場合、距離測定装置は、第2処理待ち画像に対して物体検出処理を行うことにより、第2処理待ち画像の透過パラメータマップを取得し、さらに第2透過パラメータを決定することができる。
いくつかの可能な実現方式の1つの実施形態として、ステップ404を実行する前に、速度測定装置は、さらに以下のステップを実行する。
3.信頼度マッピングを取得する。
本開示の実施例では、ピクセルポイントの透過パラメータの精度は、当該ピクセルポイントに対応するオブジェクトポイントのサイズの精度と正の相関関係にあり、それに応じて、透過パラメータマップの精度は、第1物体のサイズの精度と第2物体のサイズと正の相関関係にある。
明らかに、固定サイズを有する物体のサイズの精度は、サイズが変動区間にある物体のサイズの精度よりも高い。
例えば、標準的なサッカーゴールは、幅が7.32メートルであり、高さが2.44メートルである。90%の人々の身長が1.4メートル~2メートルにある。サッカーゴールのサイズの精度は、人々の身長の精度よりも高い。
また、例えば、標準的なバスケットボールスタンドの高さは3.05メートルである。95%の顔の長さは、17センチ~30センチにある。バスケットボールスタンドの高さの精度は、顔の長さの精度よりも高い。
また、例えば、固定長さを有するネジがある。95%の足の長さは、20センチ~35センチにある。固定長さを有するネジの長さの精度は足の精度よりも高い。
いくつかの可能な実現方式では、固定サイズを有する上記物体は、特定のシーンで固定サイズを有する物体であってもよい。例えば、待合室の搭乗用インジケータプレートがある。また、例えば、体育館内の椅子がある。また、例えば、事務室内のオフィスデスクがある。
本開示の実施例では、信頼度マッピングは、物体タイプと透過パラメータの信頼度との間のマッピングを表す。例えば、当該信頼度マッピングについては表1を参照できる。
Figure 2022542205000062
信頼度マッピングを取得するための実現方式では、速度測定装置は、ユーザが入力コンポーネントを介して入力した信頼度マッピングを受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
信頼度マッピングを取得するための別の実現方式では、速度測定装置は、第4端末から送信された信頼度マッピングを受信する。いくつかの可能な実現方式では、第4端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、ウェアラブルデバイスのいずれか1つであってもよい。第4端末は、第1端末と同じであってもよいし、異なっていてもよい。
4.上記第1物体の物体タイプ及び上記信頼度マッピングに基づいて、上記第3透過パラメータの第1信頼度を取得する。
速度測定装置が信頼度マッピングを取得した後、信頼度マッピングと第1物体の物体タイプに基づいて、第3透過パラメータの第1信頼度を取得することができる。例えば、信頼度マッピングが上記の表1に設定され、第1物体の物体タイプが人体であると仮定する。このとき、第1信頼度は0.9である。
いくつかの可能な実現方式では、速度測定装置は、第1物体フレームに含まれるピクセルポイント領域に対して特徴抽出処理を行うことにより、第1物体の物体タイプを決定することができる。
いくつかの可能な実現方式における実施形態として、速度測定装置は、各物体フレーム内の物体の物体タイプに基づいて、各物体フレーム内の物体に対応する透過パラメータをそれぞれ決定することができる。例えば、速度測定装置は、第2物体の物体タイプ及び信頼度マッピングに基づいて、第4透過パラメータの信頼度(本出願の実施例では第3信頼度と呼ばれる)を取得することができる。
第1信頼度が取得された後、速度測定装置は、ステップ404の実行中に以下のステップを実行する。
5.上記第1信頼度及び上記第3透過パラメータに基づいて、第5透過パラメータを取得する。
本開示の実施例では、第5透過パラメータは、第1信頼度と正の相関関係にある。第1信頼度が
Figure 2022542205000063
であり、第5透過パラメータが
Figure 2022542205000064
であると仮定する。1つの可能な実現方式では、
Figure 2022542205000065
は式(13)を満たしている:
Figure 2022542205000066
ここで、αは正数である。いくつかの可能な実現方式では、α=1。
別の可能な実現方式では、
Figure 2022542205000067
は式(14)を満たしている:
Figure 2022542205000068
ここで、αは正数であり、еは実数である。いくつかの可能な実現方式では、α=1、е=0。
別の可能な実現方式では、
Figure 2022542205000069
は式(15)を満たしている:
Figure 2022542205000070
ここで、αは正数であり、еは実数である。いくつかの可能な実現方式では、α=1、е=0。
6.上記第4透過パラメータと上記第5透過パラメータに対してカーブフィッティング処理を行い、上記透過パラメータマップを取得する。
速度測定装置は、第4透過パラメータと第5透過パラメータに対してカーブフィッティング処理を行うことにより、透過パラメータマップの精度を向上させることができる。
いくつかの可能な実現方式の1つの実施形態として、速度測定装置がステップ4を実行することで第3信頼度を取得し、第3信頼度と第4透過パラメータに基づいて第6透過パラメータを取得する場合、速度測定装置は、第5透過パラメータと第6透過パラメータによってカーブフィッティング処理を行うことにより、透過パラメータマップを取得することができる。
第3位置が第2処理待ち画像内の位置を表す場合、距離測定装置は、信頼度マッピングに基づいて第2処理待ち画像の透過パラメータマップを取得して、第2処理待ち画像の透過パラメータマップの精度を向上させることができる。
いくつかの可能な実現方式の1つの実施形態として、ステップ4を実行する前に、速度測定装置は、さらに以下のステップを実行する。
7.上記第1物体フレーム内のピクセルポイント領域に対して特徴抽出処理を行い、特徴データを取得する。
本開示の実施例では、特徴抽出処理は、畳み込み処理であってもよいし、プーリング処理であってもよいし、畳み込み処理とプーリング処理の組み合わせであってもよい。いくつかの可能な実現方式では、特徴抽出処理は、トレーニングされた畳み込みニューラルネットワークによって実現されてもよいし、特徴抽出モデルによって実現されてもよく、本開示では限定されない。
速度測定装置は、物体フレーム内のピクセルポイント領域に対して特徴抽出処理を行うことにより、物体フレーム内のピクセルポイント領域内の語義情報を抽出し、物体フレームの特徴データを取得することができる。
第1物体フレームのピクセルポイント領域に対して特徴抽出処理を行うための実現方式では、少なくとも2層の畳み込み層によって第1物体フレーム内のピクセルポイント領域に対して畳み込み処理を層ごとに行い、第1物体フレーム内のピクセルポイント領域に対する特徴抽出処理を完了する。少なくとも2層の畳み込み層内の畳み込み層は、順次直列に接続され、即ち、前の畳み込み層の出力は次の畳み込み層の入力であり、各畳み込み層によって抽出される語義情報はいずれも異なる。具体的には、特徴抽出処理により、第1物体フレーム内のピクセルポイント領域の特徴を段階的に抽象化し、同時に比較的副次的な特徴データも徐々に破棄し、ここで、比較的副次的な特徴情報は、第1物体フレームの物体タイプを決定するために利用可能な特徴情報以外の特徴情報である。したがって、抽出される特徴データのサイズが後になるほど、小さくなり、語義情報はより凝縮される。多層畳み込み層によって第1物体フレームのピクセルポイント領域に対して段階的に畳み込み処理を行うことにより、第1物体フレーム内のピクセルポイント領域の語義情報を取得することができる。
いくつかの可能な実現方式では、速度測定装置は、各物体フレーム内のピクセルポイント領域に対して特徴抽出処理をそれぞれ行うことにより、各物体フレーム内のピクセルポイント領域の特徴データを取得することができる。
8.上記特徴データに基づいて、上記第1物体のスコアを取得する。
固定サイズを有しない物体の実際のサイズが変化する可能性があることを考慮して、本開示の実施例において、物体の特徴データに基づいて物体の状態を決定し、さらに物体のサイズの信頼度を表すためのスコアを取得し、ここで、物体のスコアは、当該物体のサイズの信頼度と正の相関関係にある。
例えば、物体が人体であり、物体のサイズが人の身長であると仮定する。人が直立している状態にある場合、人の高さは、当該人の実際の身長に等しく、このとき、人の身長の信頼度は、最も高く、人が歩いている状態にある場合、人の高さと当該人の実際の身長との誤差が小さく、このとき、人の身長の信頼度は次に高く、人が頭を下げた状態(例えば電話を見下ろす)にある場合、人の高さと当該人の実際の身長との誤差が小さく、このとき、人の身長の信頼度が歩いている状態での人の身長の信頼度よりも低く、人が座っている場合、人の高さと当該人の実際の身長との誤差が大きく、このとき、人の身長の信頼度は低い。
本開示の実施例では、速度測定装置は、物体フレーム内のピクセルポイント領域から抽出された特徴データに基づいて、物体フレーム内の物体のスコアを決定することができる。
いくつかの可能な実現方式における実施形態として、速度測定装置は、分類器(サポートベクターマシン、ソフトマックス関数など)を用いて物体フレームの特徴データを処理し、物体フレーム内の物体のスコアを取得することができる。
いくつかの可能な実現方式では、速度測定装置は、ニューラルネットワークを用いて物体フレーム内のピクセルポイント領域を処理して、物体フレーム内の物体のスコアを取得することができる。例えば、速度測定装置は、ラベル付き画像セットをトレーニングデータとして用い、ニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークを取得する。トレーニングされたニューラルネットワークを用いてラベルのない画像セットを処理し、ラベルのない画像セットのラベルを取得する。ラベル付き画像セット、ラベルのない画像セット、ラベルのない画像セットのラベルを用い、トレーニングされたニューラルネットワークをトレーニングし、画像処理ニューラルネットワークを取得する。ここで、ラベルに含まれる情報には、画像内の物体フレームの位置及び物体フレーム内の物体のスコアが含まれる。
速度測定装置は、第1物体の特徴データに基づいて第1物体のスコアを取得することができる。いくつかの可能な実現方式では、速度測定装置は、第1処理待ち画像内の各物体のスコアをそれぞれ取得することができる。
第1物体のスコアが取得された場合、速度測定装置は、ステップ4の実行中に以下のステップを実行する。
9.上記第1物体の物体タイプ及び上記信頼度マッピングに基づいて、上記第3透過パラメータの第2信頼度を取得する。
このステップの実現プロセスについてはステップ4を参照することができるが、このステップでは、速度測定装置は、第1物体の物体タイプ及び信頼度マッピングに基づいて、第1信頼度でなく第2信頼度を取得する。
10.上記スコアと上記第2信頼度に基づき、上記第1信頼度を取得する。
本開示の実施例では、第1信頼度はスコアと正の相関関係にある。第1信頼度が
Figure 2022542205000071
であり、第2信頼度が
Figure 2022542205000072
であり、スコアがsであると仮定する。1つの可能な実現方式では、
Figure 2022542205000073
は式(16)を満たしている:
Figure 2022542205000074
ここで、
Figure 2022542205000075
は正数である。いくつかの可能な実現方式では、α=1。
別の可能な実現方式では、
Figure 2022542205000076
は式(17)を満たしている:
Figure 2022542205000077
ここで、αは正数であり、
Figure 2022542205000078
は実数である。いくつかの可能な実現方式では、α=1、
Figure 2022542205000079
別の可能な実現方式では、
Figure 2022542205000080
は式(18)を満たしている:
Figure 2022542205000081
ここで、αは正数であり、
Figure 2022542205000082
は実数である。いくつかの可能な実現方式では、α=1、
Figure 2022542205000083
速度測定装置は、第1物体のスコア及び第2信頼度に基づいて、第1信頼度を取得することにより、第1信頼度の精度を向上させることができる。
いくつかの可能な実現方式では、速度測定装置は、ステップ9を実行することにより、第4透過パラメータの第4信頼度を取得することができ、速度測定装置は、第2物体のスコアと第4信頼度に基づいて、上記第3信頼度を取得することができる。
いくつかの可能な実現方式における実施形態として、ステップ6を実行する前に、速度測定装置は、さらに以下のステップを実行する。
11.上記第1処理待ち画像の深度画像を取得する。
本開示の実施例では、第1処理待ち画像の深度画像には第1処理待ち画像内のピクセルポイントの深度情報が含まれている。1つの可能な実現方式では、速度測定装置は、ユーザが入力コンポーネントを介して入力した深度画像を受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
別の可能な実現方式では、速度測定装置にはRGBカメラと深度カメラが搭載されている。速度測定装置は、第1処理待ち画像をRGBカメラで収集するプロセスにおいて、深度カメラを用いて第1処理待ち画像の深度画像を収集する。ここで、深度カメラは、構造化光(structured light)カメラ、TOFカメラ、両眼ステレオビジョン(binocular stereo vision)カメラのいずれか1つであってもよい。
別の可能な実現方式では、速度測定装置は、第5端末によって送信された深度画像を受信し、第5端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバーなどを含む。本実施例では、第5端末は、第1端末同じであってもよいし、異なっていてもよい。
12.上記深度画像に基づいて、上記第2ピクセルポイントの第1深度情報と上記第3ピクセルポイントの第2深度情報を取得する。
上述したように、深度画像には、第1処理待ち画像内のピクセルポイントの深度情報が含まれている。速度測定装置は、深度画像を受信した後、深度画像に基づいて第2ピクセルポイントの深度情報(即ち第1深度情報)及び第3ピクセルポイントの深度情報(即ち第2深度情報)を決定することができる。
13.上記第1深度情報と上記第5透過パラメータに基づいて第1データポイントを取得し、上記第2深度情報と上記第4透過パラメータに基づいて第2データポイントを取得する。
1つの可能な実現方式では、第1データポイントの横座標は、第1深度情報であり、第2データポイントの横座標は、第2深度情報であり、第1データポイントの縦座標は、第5透過パラメータであり、第2データポイントの縦座標は、第4透過パラメータである。即ち、速度測定装置は、ピクセルポイントの深度情報を横座標とし、ピクセルポイントの透過パラメータを縦座標として用いる。
1つの可能な実現方式では、第1データポイントの縦座標は、第1深度情報であり、第2データポイントの縦座標は、第2深度情報であり、第1データポイントの横座標は、第5透過パラメータであり、第2データポイントの横座標は、第4透過パラメータである。即ち、速度測定装置は、ピクセルポイントの深度情報を縦座標とし、ピクセルポイントの透過パラメータを横座標として用いる。
第1データポイントと第2データポイントが取得された後、速度測定装置は、ステップ6の実行中に以下のステップを実行する。
14.上記第1データポイントと上記第2データポイントに対してカーブフィッティング処理を行い、上記透過パラメータマップを取得する。
第1データポイントと第2データポイントの両方にはピクセルポイントの深度情報が含まれている。速度測定装置が第1データポイントと第2データポイントに対してカーブフィッティング処理を行うことで取得した透過パラメータにも深度情報が含まれている。
ピクセルポイントの深度情報に基づいて第1処理待ち画像内のピクセルポイントのスケールを決定することにより、第1処理待ち画像内のピクセルポイントのスケールの精度を向上させることができるため、速度測定装置は、ステップ14を実行して透過パラメータマップを取得することにより、透過パラメータマップの精度を向上させることができ、さらに第1処理待ち画像内のピクセルポイントの透過パラメータの精度を向上させることができ、それによって第1オブジェクトの速度の精度が向上する。
第3位置が第2処理待ち画像内の位置を表す場合、距離測定装置は、第2処理待ち画像の深度マップに基づいて、第2処理待ち画像の透過パラメータマップを取得することができ、これにより、第1オブジェクトの速度の精度が向上する。
いくつかの可能な実現方式における実施形態として、第1処理待ち画像と第2処理待ち画像は、同一のイメージングデバイスによって収集され、かつ第1処理待ち画像の収集中の前記イメージングデバイスのポーズが前記第2処理待ち画像の収集中のイメージングデバイスのポーズと同じである。このようにして、第1処理待ち画像と第2処理待ち画像内の同じ位置にあるピクセルポイントのスケールは同じである。例えば、ピクセルポイントaは第1処理待ち画像に属し、ピクセルポイントbは第2処理待ち画像に属し、かつ第1処理待ち画像内のピクセルポイントaの位置は第2処理待ち画像内のピクセルポイントbの位置と同じである。第1処理待ち画像内のピクセルポイントaのスケールは、第2処理待ち画像内のピクセルポイントbのスケールと同じである。いくつかの可能な実現方式では、イメージングデバイスは監視カメラである。
本開示の実施例によって提供される技術的解決策に基づいて、本開示の実施例は、さらに可能な適用シーンを提供する。
上述したように、公共場所では人通り過多により過密が多発する場合が多く、さらにいくつかの公共事故が発生し、公共場所での群集密度をどのように決定するかは非常に大きな意義がある。
関連技術では、仕事、生活又は社会環境のセキュリティを強化するために、様々な公共場所に監視カメラデバイスを取り付けて、ビデオストリーム情報に基づいてセキュリティ保護を行う。本開示の実施例によって提供される技術的解決策を用い、監視カメラデバイスによって収集されたビデオストリームを処理することにより、公共場所の群集密度を決定することができ、さらに公共事故の発生を効果的に防止することができる。
いくつかの可能な実現方式における実施形態として、上記第1オブジェクトは人物オブジェクトであり、当該人物オブジェクトは監視群集に属し、ここで、監視群集とは監視カメラの監視画面での群集を指す。群集密度の場合、人と人との距離が小さいため、人の移動速度が遅い。したがって、第1オブジェクトの速度によって監視群集の群集密度が高すぎるか否かを判断することができる。
1つの可能な実現方式では、第1オブジェクトの速度が安全速度閾値を超えない場合、速度測定装置は、監視群集の群集密度が高すぎることを決定する。速度測定装置は、さらにイメージングデバイスの位置(イメージングデバイスの位置にイメージングデバイスの番号、イメージングデバイスの緯度及び経度情報の少なくとも1つが含まれる)を取得し、当該位置を含む警告命令を関連する管理者の端末に送信して、監視群集の群集密度が高すぎることを管理者にプロンプトし、これにより、公共安全事故の発生確率を低減する。
1つの可能な実現方式では、警告命令は、監視群集の群集密度が高すぎることを示す警告情報を光、音声、文字及び振動の少なくとも1つの方式で出力するように端末に指示することができる。
当業者は、具体的な実施形態の上記方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対する制限を構成せず、各ステップの具体的な実行順序がその機能及び可能な内部論理で決定されるべきであることを理解することができる。
以上に本開示の実施例の方法を詳細に説明し、以下に本開示の実施例の装置を提供する。
図6を参照すると、図6は本開示の実施例による速度測定装置の構造概略図である。当該速度測定装置は、第1処理待ち画像と第2処理待ち画像を取得するように構成される第1取得ユニット11であって、前記第1処理待ち画像と前記第2処理待ち画像は両方とも第1オブジェクトを含む、第1取得ユニット11と、前記第1処理待ち画像内の前記第1オブジェクトの第1位置、前記第2処理待ち画像内の前記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得するように構成される第2取得ユニット12であって、前記第1移動距離が前記第1位置と前記第2位置との間の距離であり、前記第1透過パラメータが前記第1移動距離と第1物理的距離との間の変換関係を表し、前記第1物理的距離が前記第1移動距離に対応する物理的距離であり、前記第1物理的距離が前記第1処理待ち画像内の前記第1位置のスケールと負の相関関係にあり、及び/又は、前記第1物理的距離が前記第2処理待ち画像内の前記第2位置のスケールと負の相関関係にある、第2取得ユニット12と、前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するように構成される第1処理ユニット13であって、前記移動時間が前記第1処理待ち画像のタイムスタンプ及び前記第2処理待ち画像のタイムスタンプに基づいて取得される、第1処理ユニット13と、を備える。
本開示の任意の実施形態と組み合わせて、前記第1処理ユニット13は、
前記第1透過パラメータと前記第1移動距離に基づいて、第2移動距離を取得し、
前記第2移動距離と前記移動時間に基づいて、前記速度を取得するように構成される。
本開示の任意の実施形態と組み合わせて、前記第2取得ユニット12は、
第3位置の第2透過パラメータを取得し、前記第3位置が前記第1位置と前記第2位置の連結線上の位置であり、前記第2透過パラメータが第1ピクセルポイントのサイズと第1オブジェクトポイントのサイズとの間の変換関係を表し、前記第1ピクセルポイントが前記第3位置に基づいて前記第1処理待ち画像において決定されたピクセルポイントであり、又は、前記第1ピクセルポイントが前記第3位置に基づいて前記第2処理待ち画像において決定されたピクセルポイントであり、前記第1オブジェクトポイントが前記第1ピクセルポイントに対応するオブジェクトポイントであり、前記第1比が画像内の前記第1ピクセルポイントのスケールと負の相関関係にあり、前記第1比が前記第1ピクセルポイントのサイズと前記第1オブジェクトポイントのサイズとの比であり、
前記第2透過パラメータに基づいて、前記第1透過パラメータを取得するように構成され、前記第1透過パラメータが前記第2透過パラメータと正の相関関係にある。
本開示のいずれかの実施形態と組み合わせて、前記第3位置は、前記第1位置と前記第2位置との間の中間位置である。
本開示の任意の実施形態と組み合わせて、前記第2取得ユニット12は、
前記第1処理待ち画像に対して物体検出処理を行い、第1物体フレームの位置と第2物体フレームの位置を取得し、前記第1物体フレームに第1物体が含まれ、ここで、前記第2物体フレームに第2物体が含まれ、
前記第1物体フレームの位置に基づいて前記第1物体の第1サイズを取得し、前記第2物体フレームの位置に基づいて前記第2物体の第2サイズを取得し、
前記第1サイズと第3サイズに基づいて第3透過パラメータを取得し、前記第2サイズと第4サイズに基づいて第4透過パラメータを取得し、前記第3サイズが前記第1物体の物理的サイズであり、前記第3透過パラメータが第5サイズと第6サイズとの間の変換関係を表し、前記第5サイズが第2ピクセルポイントのサイズであり、前記第1処理画像内の前記第2ピクセルポイントの位置が前記第1物体フレームの位置に基づいて決定され、前記第6サイズが前記第2ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第4サイズが前記第2物体の物理的サイズであり、前記第4透過パラメータが第7サイズと第8サイズとの間の変換関係を表し、前記第7サイズが第3ピクセルポイントのサイズであり、前記第2処理待ち画像内の前記第3ピクセルポイントの位置が前記第2物体フレームの位置に基づいて決定され、前記第8サイズが前記第3ピクセルポイントに対応するオブジェクトポイントのサイズであり、
前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記第1処理待ち画像の透過パラメータマップを取得し、第9サイズと第10サイズとの間の変換関係が前記透過パラメータマップ内の第1ピクセル値に基づいて決定され、前記第9サイズが前記第1処理待ち画像内の第4ピクセルポイントのサイズであり、前記第10サイズが前記第4ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第1ピクセル値が第5ピクセルポイントのピクセル値であり、前記第5ピクセルポイントが前記透過パラメータマップ内の前記第4ピクセルポイントに対応するピクセルポイントであり、
前記透過パラメータマップ内の前記第3位置に対応するピクセル値に基づいて、前記第2透過パラメータを取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記第1取得ユニット11は、さらに前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記処理待ち画像の透過パラメータを取得する前に、信頼度マッピングを取得するように構成され、前記信頼度マッピングが物体タイプと透過パラメータの信頼度の間のマッピングを表し、
前記速度測定装置は、前記第1物体の物体タイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するように構成される第2処理ユニット14をさらに備え、前記第2取得ユニット12は、前記第1信頼度と前記第3透過パラメータに基づいて、第5透過パラメータを取得し、前記第5透過パラメータが前記第1信頼度と正の相関関係にあり、前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記速度測定装置1は、前記第1物体の物体タイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得する前に、前記第1物体フレーム内のピクセルポイント領域に対して特徴抽出処理を行い、特徴データを取得するように構成される第3処理ユニット15と、前記特徴データに基づいて、前記第1物体のスコアを取得するように構成される第4処理ユニット16であって、前記スコアが前記第1物体のサイズの信頼度と正の相関関係にある、第4処理ユニット16と、をさらに備え、前記第2処理ユニット14は、前記第1物体のタイプと前記信頼度マッピングに基づいて、前記第3透過パラメータの第2信頼度を取得し、前記スコアと前記第2信頼度に基づいて、前記第1信頼度を取得するように構成され、前記第1信頼度が前記スコアと正の相関関係にある。
本開示のいずれかの実施形態と組み合わせて、前記第2取得ユニット12は、前記第1信頼度と前記第3透過パラメータとの積を決定し、前記第5透過パラメータを取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記第1取得ユニットは、さらに前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得する前に、前記第1処理待ち画像の深度画像を取得するように構成され、前記第2取得ユニット12は、さらに前記深度画像に基づいて、前記第2ピクセルポイントの第1深度情報及び前記第3ピクセルポイントの第2深度情報を取得し、前記第1深度情報と前記第5透過パラメータに基づいて第1データポイントを取得し、前記第2深度情報と前記第4透過パラメータに基づいて第2データポイントを取得するように構成され、前記第2取得ユニット12は、さらに前記第1データポイントと前記第2データポイントに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するように構成される。
本開示のいずれかの実施形態と組み合わせて、前記第1処理待ち画像と前記第2処理待ち画像は、同一のイメージングデバイスによって収集され、かつ前記第1処理待ち画像の収集中の前記イメージングデバイスのポーズが前記第2処理待ち画像の収集中の前記イメージングデバイスのポーズと同じである。
本開示のいずれかの実施形態と組み合わせて、前記第1オブジェクトは人物オブジェクトであり、前記人物オブジェクトは、監視群集に属し、前記第1取得ユニット11は、さらに前記速度が安全速度閾値を超えない場合、前記イメージングデバイスの位置を取得するように構成され、前記速度測定装置は、前記位置を含む警告命令を端末に送信するように構成される送信ユニット17であって、前記警告命令が前記監視群集の群集密度が高すぎることを示す警告情報を出力するように端末に指示するために用いられる、送信ユニット17をさらに備える。
本実施例では、第1透過パラメータには第1位置のスケール情報及び/又は第2位置のスケール情報が含まれている。速度測定装置は、第1透過パラメータ、第1移動距離及び移動時間に基づいて第1オブジェクトの速度を取得することにより、速度の精度を向上させることができる。
いくつかの実施例では、本開示の実施例によって提供される装置が備える機能又はそれに含まれるモジュールは、上記の方法の実施例で説明される方法を実行するために使用されてもよく、具体的な実現については上記の方法の実施例の説明を参照することができ、間欠にするために、ここでは説明を省略する。
図7は本発明の実施例による速度測定装置のハードウェア構造概略図ある。当該速度測定装置2は、プロセッサ21、メモリ22、入力装置23、出力装置24を備える。当該プロセッサ21、メモリ22、入力装置23及び出力装置24は、コネクタを介して結合され、当該コネクタは、様々なインターフェース、伝送ライン又はバスなどを含むが、本開示の実施例で限定されない。本開示の様々な実施例では、結合は、特定の方式の相互接続を指し、直接接続又は他のデバイスを介した間接接続、例えば様々なインターフェース、伝送ライン、バスなどを介して接続することができる間接接続を含む。
プロセッサ21は、1つ又は複数のグラフィックス処理ユニット(GPU:graphics processing unit)であってもよく、プロセッサ21がGPUである場合、当該GPUは、シングルコアGPUであってもよいし、マルチコアGPUであってもよい。いくつかの可能な実現方式では、プロセッサ21は、複数のGPUから構成されるプロセッサグループであってもよく、複数のプロセッサは、1つ又は複数のバスを介して互いに結合される。いくつかの可能な実現方式では、当該プロセッサは、他の物体タイプのプロセッサなどであってもよく、本開示の実施例では限定されない。
メモリ22は、コンピュータプログラム命令、及び本開示の解決策を実行するためのプログラムコードを含む様々なコンピュータプログラムコードを記憶するために用いられてもよい。任意に、メモリは、ランダムアクセスメモリ(RAM:Access Memory)、読み取り専用メモリ(ROM:Read-Only Memory)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable Programmable Read Only Memory)、又はポータブル読み取り専用メモリ(CD-ROM:Compact Disc Read-Only Memory)を含むがこれらに限定されず、当該メモリは、関連する命令及びデータに用いられる。
入力装置23は、データ及び/又は信号を入力するために用いられ、出力装置24は、データ及び/又は信号を出力するために用いられる。入力装置23と出力装置24は、独立したデバイスであってもよいし、一体のデバイスであってもよい。本開示の実施例では、メモリ22は、関連する命令を記憶するためだけでなく、関連するデータを記憶するために用いられてもよいことが理解でき、例えば、当該メモリ22は、入力装置23を介して取得された第1処理待ち画像を記憶するために用いられてもよく、又は、当該メモリ22は、プロセッサ21によって取得された第1オブジェクトの速度などを記憶するために用いられてもよく、本開示の実施例では当該メモリに具体的に記憶されているデータが限定されない。
図7は速度測定装置の簡略化された設計のみを示していることが理解できる。実際の応用中、速度測定装置は、さらに任意の数の入力/出力装置、プロセッサ、メモリなどを含むがこれらに限定されない他の必要なコンポーネントをそれぞれ含むことができ、本開示の実施例を実施できるすべての速度測定装置は、本開示の保護範囲内にある。
当業者であれば、本明細書で開示される実施例と組み合わせて説明された各例のユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせで実現されてもよいと理解できる。これらの機能がハードウェア又はソフトウェアで実行されるかは、技術的解決策の特定アプリケーションと設計制約条件に依存する。当業者は、各特定のアプリケーションに対して異なる方法を用いて記述される機能を実現することができるが、このような実現は、本開示の範囲を超えると考えられるべきではない。
当業者は、説明の便宜及び簡潔のために、上記のシステム、装置及びユニットの具体的な動作プロセスについて、前記方法の実施例における対応するプロセスを参照でき、ここで説明を省略することを明確に理解することができる。当業者は、本開示の各実施例が異なる重点で説明されることを明確に理解することができ、説明の便宜及び簡潔のために、同一又は類似の部分は異なる実施例においては省略される可能性があり、したがって、ある実施例で説明されない部分又は詳しく説明されない部分については、他の実施例の記載を参照することができる。
本開示で提供されるいくつかの実施例では、開示されるシステム、装置及び方法は、他の方式により実現されてもよいと理解すべきである。例えば、上記の装置の実施例は、例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的区分だけであり、実際に実現する時に他の区分モードもあり得て、例えば複数のユニット又はコンポーネントは、組み合わせられてもよく又は別のシステムに統合されてもよく、又はいくつかの特徴は無視されてもよく、又は実行されなくてもよい。また、示される又は議論される相互結合又は直接結合又は通信接続は、いくつかのインターフェース、装置又はユニットを介する間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
分離部材として説明された前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は物理的ユニットであってもよく又は物理的ユニットでなくてもよく、即ち1つの箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。また、本開示の各実施例における各機能ユニットは1つの処理ユニットに統合されてもよく、個々のユニットは単独で物理に存在してもよく、2つ以上のユニットは1つのユニットに統合されてもよい。
上記実施例では、全て又は部分的にソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせによって実行されてもよい。ソフトウェアで実行される場合、全て又は部分的にコンピュータプログラム製品の形で実現されてもよい。前記コンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータで前記コンピュータプログラム命令をロードして実行する場合、本開示の実施例に従って説明されたプロセス又は機能は、全て又は部分的に生成される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は前記コンピュータ可読記憶媒体を介して伝送されてもよい。前記コンピュータ命令は、1つのウェブサイト、コンピュータ、サーバー又はデータセンターから別のウェブサイト、コンピュータ、サーバー又はデータセンターに有線(例えば同軸ケーブル、光ファイバ、デジタル加入者線(DSL:digital subscriber line))又は無線(例えば赤外線、無線、マイクロ波など)で伝送されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセスできるいかなる利用可能な媒体であってもよく、又は1つ又は複数の利用可能な媒体で集積されたサーバー、データセンターなどのデータ記憶デバイスを含む。前記利用可能な媒体は、磁気媒体(例えばフロッピー(登録商標)ディスク、ハードディスク、磁気テープ)、光学媒体(例えばデジタル多用途ディスク(DVD:digital versatile disc))又は半導体媒体(例えばソリッドステートディスク(SSD:Solid State Disk))などであってもよい。
当業者は、上記実施例の方法のプロセスの全て又は一部を実現することを理解することができ、当該プロセスは、コンピュータプログラムで関連するハードウェアを指令して完了されてもよく、当該プログラムがコンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行されるとき、上記の各方法の実施例のプロセスを含むことができる。前記記憶媒体は、読み出し専用メモリ(ROM:read-only memory)又はランダムアクセスメモリ(RAM:random access memory)、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
本開示は、速度測定方法及び装置、電子デバイス並びに記憶媒体を開示する。当該方法は、第1処理待ち画像と第2処理待ち画像を取得するステップであって、前記第1処理待ち画像と前記第2処理待ち画像は両方とも第1オブジェクトを含む、ステップと、前記第1処理待ち画像内の前記第1オブジェクトの第1位置、前記第2処理待ち画像内の前記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得するステップと、前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するステップであって、前記移動時間が前記第1処理待ち画像のタイムスタンプ及び前記第2処理待ち画像のタイムスタンプに基づいて取得される、ステップと、を含む。

Claims (14)

  1. 速度測定方法であって、
    第1処理待ち画像と第2処理待ち画像を取得するステップであって、前記第1処理待ち画像と前記第2処理待ち画像は両方とも第1オブジェクトを含む、ステップと、
    前記第1処理待ち画像内の前記第1オブジェクトの第1位置、前記第2処理待ち画像内の前記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得するステップであって、前記第1移動距離が前記第1位置と前記第2位置との間の距離であり、前記第1透過パラメータが前記第1移動距離と第1物理的距離との間の変換関係を表し、前記第1物理的距離が前記第1移動距離に対応する物理的距離であり、前記第1物理的距離が前記第1処理待ち画像内の前記第1位置のスケールと負の相関関係にあり、及び/又は、前記第1物理的距離が前記第2処理待ち画像内の前記第2位置のスケールと負の相関関係にある、ステップと、
    前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するステップであって、前記移動時間が前記第1処理待ち画像のタイムスタンプと前記第2処理待ち画像のタイムスタンプに基づいて取得される、ステップと、を含む、速度測定方法。
  2. 前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するステップは、
    前記第1透過パラメータと前記第1移動距離に基づいて、第2移動距離を取得するステップと、
    前記第2移動距離と前記移動時間に基づいて、前記速度を取得するステップと、を含むことを特徴とする
    請求項1に記載の方法。
  3. 前記1移動距離の第1透過パラメータを取得するステップは、
    第3位置の第2透過パラメータを取得するステップであって、前記第3位置が前記第1位置と前記第2位置の連結線上の位置であり、前記第2透過パラメータが第1ピクセルポイントのサイズと第1オブジェクトポイントのサイズとの間の変換関係を表し、前記第1ピクセルポイントが前記第3位置に基づいて前記第1処理待ち画像において決定されたピクセルポイントであり、又は、前記第1ピクセルポイントが前記第3位置に基づいて前記第2処理待ち画像において決定されたピクセルポイントであり、前記第1オブジェクトポイントが前記第1ピクセルポイントに対応するオブジェクトポイントであり、第1比が画像内の前記第1ピクセルポイントのスケールと負の相関関係にあり、前記第1比が前記第1ピクセルポイントのサイズと前記第1オブジェクトポイントのサイズとの比である、ステップと、
    前記第2透過パラメータに基づいて、前記第1透過パラメータを取得するステップであって、前記第1透過パラメータが前記第2透過パラメータと正の相関関係にある、ステップと、を含むことを特徴とする
    請求項1又は2に記載の方法。
  4. 前記第3位置は、前記第1位置と前記第2位置との間の中間位置であることを特徴とする
    請求項3に記載の方法。
  5. 前記第3位置の第2透過パラメータを取得するステップは、
    前記第1処理待ち画像に対して物体検出処理を行い、第1物体フレームの位置と第2物体フレームの位置を取得するステップであって、前記第1物体フレームに第1物体が含まれ、前記第2物体フレームに第2物体が含まれる、ステップと、
    前記第1物体フレームの位置に基づいて前記第1物体の第1サイズを取得し、前記第2物体フレームの位置に基づいて前記第2物体の第2サイズを取得するステップと、
    前記第1サイズと第3サイズに基づいて第3透過パラメータを取得し、前記第2サイズと第4サイズに基づいて第4透過パラメータを取得すステップであって、前記第3サイズが前記第1物体の物理的サイズであり、前記第3透過パラメータが第5サイズと第6サイズとの間の変換関係を表し、前記第5サイズが第2ピクセルポイントのサイズであり、前記第1処理画像内の前記第2ピクセルポイントの位置が前記第1物体フレームの位置に基づいて決定され、前記第6サイズが前記第2ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第4サイズが前記第2物体の物理的サイズであり、前記第4透過パラメータが第7サイズと第8サイズとの間の変換関係を表し、前記第7サイズが第3ピクセルポイントのサイズであり、前記第2処理待ち画像内の前記第3ピクセルポイントの位置が前記第2物体フレームの位置に基づいて決定され、前記第8サイズが前記第3ピクセルポイントに対応するオブジェクトポイントのサイズである、ステップと、
    前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記第1処理待ち画像の透過パラメータマップを取得するステップであって、第9サイズと第10サイズとの間の変換関係が前記透過パラメータマップ内の第1ピクセル値に基づいて決定され、前記第9サイズが前記第1処理待ち画像内の第4ピクセルポイントのサイズであり、前記第10サイズが前記第4ピクセルポイントに対応するオブジェクトポイントのサイズであり、前記第1ピクセル値が第5ピクセルポイントのピクセル値であり、前記第5ピクセルポイントが前記透過パラメータマップ内の前記第4ピクセルポイントに対応するピクセルポイントである、ステップと、
    前記透過パラメータマップ内の前記第3位置に対応するピクセル値に基づいて、前記第2透過パラメータを取得するステップと、を含むことを特徴とする
    請求項3又は4に記載の方法。
  6. 前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記処理待ち画像の透過パラメータマップを取得するステップの前に、前記方法は、
    信頼度マッピングを取得するステップであって、前記信頼度マッピングが物体タイプと透過パラメータの信頼度との間のマッピングを表す、ステップと、
    前記第1物体の物体タイプ及び前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するステップと、をさらに含み、
    前記第3透過パラメータと前記第4透過パラメータに対してカーブフィッティング処理を行い、前記第1処理待ち画像の透過パラメータマップを取得するステップは、
    前記第1信頼度と前記第3透過パラメータに基づいて、第5透過パラメータを取得するステップであって、前記第5透過パラメータが前記第1信頼度と正の相関関係にある、ステップと、
    前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップと、を含むことを特徴とする
    請求項5に記載の方法。
  7. 前記第1物体の物体タイプ及び前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するステップの前に、前記方法は、
    前記第1物体フレーム内のピクセルポイント領域に対して特徴抽出処理を行い、特徴データを取得するステップと、
    前記特徴データに基づいて、前記第1物体のスコアを取得するステップであって、前記スコアが前記第1物体のサイズの信頼度と正の相関関係にある、ステップと、をさらに含み、
    前記第1物体の物体タイプ及び前記信頼度マッピングに基づいて、前記第3透過パラメータの第1信頼度を取得するステップは、
    前記第1物体の物体タイプ及び前記信頼度マッピングに基づいて、前記第3透過パラメータの第2信頼度を取得するステップと、
    前記スコアと前記第2信頼度に基づき、前記第1信頼度を取得するステップであって、前記第1信頼度が前記スコアに関連している、ステップと、を含むことを特徴とする
    請求項6に記載の方法。
  8. 前記第1信頼度及び前記第3透過パラメータに基づいて、第5透過パラメータを取得するステップは、
    前記第1信頼度と前記第3透過パラメータとの積を決定し、前記第5透過パラメータを取得するステップを含むことを特徴とする
    請求項5又は6に記載の方法。
  9. 前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップの前に、前記方法は、
    前記第1処理待ち画像の深度画像を取得するステップと、
    前記深度画像に基づいて、前記第2ピクセルポイントの第1深度情報及び前記第3ピクセルポイントの第2深度情報を取得するステップと、
    前記第1深度情報と前記第5透過パラメータに基づいて第1データポイントを取得し、前記第2深度情報と前記第4透過パラメータに基づいて第2データポイントを取得するステップと、を更に含み、
    前記第4透過パラメータと前記第5透過パラメータに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップは、
    前記第1データポイントと前記第2データポイントに対してカーブフィッティング処理を行い、前記透過パラメータマップを取得するステップを含むことを特徴とする
    請求項6-8のいずれか一項に記載の方法。
  10. 前記第1処理待ち画像と前記第2処理待ち画像は、同一のイメージングデバイスによって収集され、かつ前記第1処理待ち画像の収集中の前記イメージングデバイスのポーズが、前記第2処理待ち画像の収集中の前記イメージングデバイスのポーズと同じであることを特徴とする
    請求項1-9のいずれか一項に記載の方法。
  11. 前記第1オブジェクトは人物オブジェクトであり、前記人物オブジェクトは監視群集に属し、前記方法は、
    前記速度が安全速度閾値を超えない場合、前記イメージングデバイスの位置を取得するステップと、
    前記位置を含む警告命令を端末に送信するステップであって、前記警告命令が監視群集の群集密度が高すぎることを示す警告情報を出力するように端末に指示するために用いられるステップと、をさらに含むことを特徴とする
    請求項10に記載の方法。
  12. 速度測定装置であって、
    第1処理待ち画像と第2処理待ち画像を取得するように構成される第1取得ユニットであって、前記第1処理待ち画像と前記第2処理待ち画像は両方とも第1オブジェクトを含む、第1取得ユニットと、
    前記第1処理待ち画像内の前記第1オブジェクトの第1位置、前記第2処理待ち画像内の前記第1オブジェクトの第2位置及び第1移動距離の第1透過パラメータを取得するように構成される第2取得ユニットであって、前記第1移動距離が前記第1位置と前記第2位置との間の距離であり、前記第1透過パラメータが前記第1移動距離と第1物理的距離との間の変換関係を表し、前記第1物理的距離が前記第1移動距離に対応する物理的距離であり、前記第1物理的距離が前記第1処理待ち画像内の前記第1位置のスケールと負の相関関係にあり、及び/又は、前記第1物理的距離が前記第2処理待ち画像内の前記第2位置のスケールと負の相関関係にある、第2取得ユニットと、
    前記第1移動距離、前記第1透過パラメータ及び移動時間に基づいて、前記第1オブジェクトの速度を取得するように構成される第1処理ユニットであって、前記移動時間が前記第1処理待ち画像のタイムスタンプと前記第2処理待ち画像のタイムスタンプに基づいて取得される、第1処理ユニットと、を備える、速度測定装置。
  13. 電子デバイスであって、
    コンピュータ命令を含んでいるコンピュータプログラムコードを記憶するように構成されるメモリと、
    前記コンピュータ命令を呼び出して、請求項1-11のいずれか一項に記載の方法を実行するように構成されるプロセッサと、を備える、電子デバイス。
  14. コンピュータに、請求項1-11のいずれか一項に記載の方法を実行させるためのプログラムを記憶した、コンピュータ可読記憶媒体。
JP2021547718A 2020-06-30 2020-10-16 速度測定方法及び装置、電子デバイス並びに記憶媒体 Pending JP2022542205A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010613426.XA CN111739098B (zh) 2020-06-30 2020-06-30 测速方法及装置、电子设备及存储介质
CN202010613426.X 2020-06-30
PCT/CN2020/121491 WO2022000856A1 (zh) 2020-06-30 2020-10-16 测速方法及装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
JP2022542205A true JP2022542205A (ja) 2022-09-30

Family

ID=79356006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547718A Pending JP2022542205A (ja) 2020-06-30 2020-10-16 速度測定方法及び装置、電子デバイス並びに記憶媒体

Country Status (2)

Country Link
JP (1) JP2022542205A (ja)
KR (1) KR20220004016A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05312819A (ja) * 1992-05-14 1993-11-26 N T T Data Tsushin Kk 移動物体の速度検出装置
JPH07260809A (ja) * 1994-03-17 1995-10-13 Fujitsu Ltd 位置対応付け方法,位置対応付け装置,車両速度算出方法および車両速度算出装置
JP2002311038A (ja) * 2001-04-06 2002-10-23 Toshiba Corp 車両速度算出システム及び車両速度算出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05312819A (ja) * 1992-05-14 1993-11-26 N T T Data Tsushin Kk 移動物体の速度検出装置
JPH07260809A (ja) * 1994-03-17 1995-10-13 Fujitsu Ltd 位置対応付け方法,位置対応付け装置,車両速度算出方法および車両速度算出装置
JP2002311038A (ja) * 2001-04-06 2002-10-23 Toshiba Corp 車両速度算出システム及び車両速度算出方法

Also Published As

Publication number Publication date
KR20220004016A (ko) 2022-01-11

Similar Documents

Publication Publication Date Title
TWI786313B (zh) 目標跟蹤方法、裝置、介質以及設備
US10977818B2 (en) Machine learning based model localization system
TWI752466B (zh) 影像處理方法、處理器、電子設備、儲存媒介
CN105051754B (zh) 用于通过监控系统检测人的方法和装置
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
US10922536B2 (en) Age classification of humans based on image depth and human pose
US20220351390A1 (en) Method for generating motion capture data, electronic device and storage medium
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
US20240104744A1 (en) Real-time multi-view detection of objects in multi-camera environments
EP4050305A1 (en) Visual positioning method and device
CN104143074A (zh) 一种用于基于运动特征信息生成运动特征码的方法和设备
TWI779801B (zh) 測溫方法、電子設備及電腦可讀儲存介質
WO2022088819A1 (zh) 视频处理方法、视频处理装置和存储介质
TWI769641B (zh) 圖像標注方法、電子設備及電腦可讀儲存介質
WO2022000856A1 (zh) 测速方法及装置、电子设备及存储介质
US20220005208A1 (en) Speed measurement method and apparatus, electronic device, and storage medium
CN111739086A (zh) 测量面积的方法及装置、电子设备及存储介质
JP2022542205A (ja) 速度測定方法及び装置、電子デバイス並びに記憶媒体
CN116943216A (zh) 一种贴合关系检测方法、装置、设备及存储介质
WO2023273154A1 (zh) 图像处理方法、装置、设备、介质及程序
TWI739601B (zh) 圖像處理方法、電子設備和儲存介質
Chen et al. An integrated sensor network method for safety management of construction workers
Yen et al. Adaptive Indoor People-Counting System Based on Edge AI Computing
CN111739097A (zh) 测距方法及装置、电子设备及存储介质
CN111681255B (zh) 一种对象识别方法和相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230426