JP2022524787A - 物体検出範囲推定のための、方法、システム、及びプログラム - Google Patents

物体検出範囲推定のための、方法、システム、及びプログラム Download PDF

Info

Publication number
JP2022524787A
JP2022524787A JP2021554382A JP2021554382A JP2022524787A JP 2022524787 A JP2022524787 A JP 2022524787A JP 2021554382 A JP2021554382 A JP 2021554382A JP 2021554382 A JP2021554382 A JP 2021554382A JP 2022524787 A JP2022524787 A JP 2022524787A
Authority
JP
Japan
Prior art keywords
camera
detected object
detection
image data
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021554382A
Other languages
English (en)
Inventor
フイ ラム オング
智史 山崎
ウェン ジャング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2022524787A publication Critical patent/JP2022524787A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

物体検出範囲推定のための方法、システム、およびコンピュータ可読媒体が提供される。物体検出範囲推定のためのシステムは、カメラと処理手段とを含む。処理手段は、カメラに接続されて、カメラによって取得された画像データを受信する。画像データ、検出物体を含む。処理手段は、カメラから受信された画像データ内の検出物体に関連する検出物体メタデータに基づいて、検出物体の空間的範囲を決定するように構成される。【選択図】図2

Description

本発明は、一般にコンピュータビジョンに関するものであり、より詳細には、物体検出範囲推定のための方法およびシステムに関する。
コンピュータビジョンは、さらなる決定のために現実世界の情報を抽出するために、デジタル画像またはビデオを取得し、処理し、分析するための方法を含む学際的分野である。物体検出技術は、コンピュータに対し、デジタル画像から現実世界の物体を識別する能力を提供するために、コンピュータビジョンアルゴリズムおよび画像処理を使用することを含む。
デジタル画像内の物体を検出するために、コンピュータ処理は、対象画像の各部分に対してパターンマッチングを行いながら、画像セグメントをセグメント毎に走査する。画像物体検出処理は、コンピュータパワーを集中的に消費する。画像当たりの解像度が増加するにつれて(例えば、FHD、4 K)、より高いフレームレート(fps)での誤検出を低減するだけでなく、より高い精度を得るためには、より大きなコンピュータパワーが必要とされる。
画像物体検出の計算パワー要件を低減するための従来の方法には、入力画像シーケンスフレームレートを低減すること(例えば、15fpsから5fpsに下げる)、識別された関連領域のみを処理することによって画像解像度を低減すること、および元の画像解像度を縮小すること(例えば、4K解像度をFHD解像度に下げる)が含まれる。画像物体検出の計算パワー要件を低減するためのさらなる従来の方法は、検出物体のサイズ(例えば、ピクセルサイズ)を特定の最小値または最大値によって制限すること、または検出物体を物体の特定の最大数だけ制限することを含む。ほとんどの物体検出システムは、異なる設定要件およびシステム制約のトレードオフのための構成を有するこれらの従来の方法のうちの1つ以上を実装する。
しかし、ほとんどのコンピュータビジョンソフトウェアは、要件を満たすためにシステム制約内でソフトウェアを再構成することによってトレードオフを行うことができるが、この再構成は、システムがカメラの視野の全領域をカバーできなくなるので、効果的な処理範囲に影響を与える。このような推定範囲情報は実世界基準に非常に依存するため、より良い意思決定のために推定実世界空間範囲情報を提供することは困難であるため、これはコンピュータビジョンソリューションを展開する際の課題の1つとなっている。
したがって、より良い意思決定のためのシステム制約と要件のトレードオフを認識するコンピュータビジョンを提供するために、カメラの視点で検出物体の現実世界の空間的範囲を視覚化する物体検出範囲推定のための方法およびシステムが必要である。さらに、他の望ましい特徴および特性は、添付の図面および開示のこの背景と併せて、以下の詳細な説明および添付の特許請求の範囲から明らかになるであろう。
本発明の少なくとも1つの実施形態によれば、物体検出範囲推定のための方法が提供される。本方法は、カメラから画像データを取得するステップを含み、画像データは、少なくとも1つの検出物体を含む。本方法は、さらに、カメラによって取得された画像データ内の少なくとも1つの検出物体に関連する検出物体メタデータに応じて、少なくとも1つの検出物体の空間的範囲を決定するステップを含む。
本発明の別の実施形態によれば、物体検出範囲推定のためのシステムが提供される。システムは、カメラと処理手段とを含む。処理手段は、カメラに接続されて、カメラによって取得された画像データを受信し、その画像データは、少なくとも1つの検出物体を含む。処理手段は、さらに、カメラから受信された画像データ内の少なくとも1つの検出物体に関連する検出物体メタデータに基づいて、検出物体の空間的範囲を決定するように構成される。
さらに、別の実施形態によれば、物体検出範囲推定を行うためのコンピュータ可読媒体が提供される。コンピュータ可読媒体は、カメラによって取得された2次元画像データから、少なくとも1つの検出物体の空間的範囲を決定する処理手段のための命令を記憶している。少なくとも1つの検出物体の空間的範囲は、カメラによって取得された画像データ内の検出物体に関連する2次元画像メタデータに応じて、及び、さらに、ピンホールカメラモデルを使用するカメラのパラメータに応じて、少なくとも1つの検出物体の3次元座標における空間的範囲を計算することによって、画像データの少なくとも1つの検出物体に関連する2次元画像データ内の検出物体メタデータに応じて、決定される。
添付の図面は、同じ参照番号が、別個の図全体にわたって同一または機能的に同様の要素を指し、以下の詳細な説明と共に本明細書に組み込まれ、本明細書の一部を形成するものであり、様々な実施形態を例示し、本実施形態による様々な原理および利点を説明するのに役立つ。
検出物体の上面図を示す。 検出物体の上面図を示す。 図1は、図を含む。図1Aおよび図1Bは、検出物体の上面平面図を示し、図1Aは前景の大きな物体を強調し、図1Bは背景の小さな物体を強調する。
本実施形態による物体検出範囲推定方法を示す。
本実施形態による物体検出範囲推定方法のフロー図である。
本実施形態による物体検出範囲推定のためのシステムのブロック図を示す。
本実施形態に係る2次元画像データから物体の3次元的な空間的範囲を算出する方法を示す。 本実施形態に係る2次元画像データから物体の3次元的な空間的広がりを算出する方法を示す。 本実施形態に係る2次元画像データから物体の3次元的な空間的広がりを算出する方法を示す。 本実施形態に係る2次元画像データから物体の3次元的な空間的範囲を算出する方法を示す。 本実施形態に係る2次元画像データから物体の3次元的な空間的広がりを算出する方法を示す。 図5は、図5A乃至5Eを含む。図5A乃至5Eは、本実施形態に係る2次元画像データから物体の3次元空間的範囲を計算する方法を示し、図5Aは、検出物体のカメラビューの上面図を示し、図5Bは、カメラおよびカメラによって検出物体の側面図を示し、図5Cは、カメラおよびカメラによって検出物体の上面図を示し、図5Dは、空間的範囲の計算に用いる物体の高さの例を示し、図5E は、物体の3次元空間的範囲の計算の例を示す斜視図である。
本実施形態による範囲領域推定の上面図である。 本実施形態に係る範囲領域推定の上面図である。 図6は、図6Aおよび6Bを含む。図6Aおよび6Bは、本実施形態による範囲領域推定の上面図を示し、図6Aは、範囲領域推定の最も近いラインおよび最も遠いラインの上面図を示し、図6Bは、物体の拡大図の輪郭検出推定の上面図を示す。
本実施形態による物体検出推定の2つの態様の上面図を示す。 本実施形態による物体検出推定の2つの態様の上面図を示す。 図7は、図7Aおよび7Bを含み、本実施形態による物体検出推定の2つの態様の上面図を示している。図7Aは、検出物体メタデータに基づく検出物体の空間的範囲の推定を示し、図7Bは、検出物体メタデータに基づくカメラの死角の推定を示す。
熟練した当業者は、図中の要素が単純性および明瞭性のために図示され、必ずしも縮尺通りに描かれていないことを理解するであろう。
以下の詳細な説明は、本質的に単なる例示であり、本発明または本発明の適用および使用を制限することを意図するものではない。さらに、本発明の先行する背景または以下の詳細な説明に提示された理論に拘束される意図はない。本実施形態の目的は、従来の方法およびシステムに必要なトレードオフおよび/または制約を伴うことなく、従来の方法およびシステムよりも少ない計算時間を必要とする物体検出範囲推定のための方法およびシステムを提供することである。本実施形態によれば、物体検出範囲推定のための方法及びシステムを使用して、検出物体に関連する検出物体の死角を決定することができる。
図1Aおよび1Bを参照して、図100、150は、領域110の上面図を示し、領域110は、位置120に位置するカメラからのカメラビューを表す。領域110は、いくつかの前景物体130およびいくつかの背景物体140を含む。画像物体検出処理によれば、検出物体130は、位置120に位置するカメラから取得された画像の処理に関連がある場合があり、検出物体140は位置120に位置するカメラから取得された画像の処理に関連がある場合がある。物体130または物体140を検出するためには、物体検出空間的範囲135、145を推定する必要がある。
しかしながら、このような推定は、従来のコンピュータビジョンシステムでは困難である。というのは、ほとんどのコンピュータビジョンソフトウェアは、要件を満たすためにシステム制約内の構成によってトレードオフを行うことを可能にするが、このようなトレードオフは、検出物体範囲の効果的な処理に影響を及ぼすからである。これは、より良い意思決定のための推定実世界空間的範囲情報を提供することが困難なので、コンピュータビジョンソリューションを展開する際の課題の一つとなっている。図2を参照すると、図200は、カメラメタデータおよび取得された画像からの情報を使用して物体検出空間的範囲を有利に推定する本実施形態による方法およびシステムの基本要素の図210、230、250を示す。
本方法およびシステムの図210は、2次元カメラビュー215(すなわち、2次元座標系における物体基準点の入力)の画像取得を示す。人物216、218、220、222、224は、カメラビュー215内にそれぞれ物体基準点217、219、221、223、225を有する検出物体である。物体範囲推定のための本実施形態によれば、2次元(2D)から3次元(3D)へのマッピング処理228は、3次元座標系における物体基準点を決定するために、検出物体(人216、218、220、222、224)の仮想空間的範囲を、検出物体に関連するメタデータおよびカメラ240のパラメータから再作成する。検出物体の仮想空間的範囲は、領域215の画像ビュー245を有するカメラ240による画像キャプチャの側面ビュー235としてビュー230に示される。
本実施形態に係る処理は、図250に示すように、範囲領域推定248を行う。図250は、計算された範囲領域252を上面座標系で示しており、範囲領域252は、前面境界L1 254と、人物216、218、220を含む背面境界L2 256と、を有している。
図3を参照すると、フロー図300は、本実施形態による物体検出範囲推定のための方法を示す。本方法は、データ収集段階302と、分析構成段階304と、を含む。データ収集段階302では、カメラ240から画像データを取得する(310)。画像データは、少なくとも1つの検出物体を含む。次に、取得した画像データに対して物体検出を行い(312) 、2次元検出物体メタデータを生成する。検出物体メタデータは、データ記憶装置320に記憶される(314)。データ収集段階は、画像取得ステップ310に戻る。
分析構成段階304は、検出物体メタデータをデータ記憶装置320から検索する(330)。コンピュータビジョンが複数のカメラ240を含む場合、検索された検出物体メタデータは、カメラ240のうちの選択された1つに対するものである。検索された検出物体メタデータ(すなわち、検出物体の2次元画像メタデータ)およびカメラ構成情報(すなわち、カメラのパラメータ)から、検出物体の空間的範囲が決定される(332)。検出物体の空間的範囲を決定するステップは、カメラ240によって取得された(310)画像データ内の検出物体に関連する2次元画像メタデータに応じて、およびピンホールカメラモデルを使用してカメラのパラメータに応じて、検出物体の3次元座標における空間的範囲を計算するステップを含む。次いで、推定された検出物体範囲領域を含む範囲領域が表示される (334) 。
検出物体の空間的範囲を推定することに加えて、コンピュータビジョンシステムがカメラ240によって取得された空間ビューをより良く理解するために、検出物体に関連する死角を決定することも重要である。本実施形態によれば、計算ステップ332は、検出物体メタデータに応じて、検出物体の各々に関連する画像データ内の検出物体の死角を決定することをさらに含み得る。ステップ336は、また、検出物体の空間的範囲及び検出物体の各々に関連する検出物体の死角を表示334した後に、検出物体の各々に関連する検出物体の死角に応じて、カメラ範囲の品質を決定することを含む。
図4は、本実施形態による物体検出範囲推定のためのシステムのブロック図400を示す。システムは、コンピュータビジョン画像を取得するための1つ以上のカメラ240を含む。本実施形態の説明は、1つのカメラ240を示し、そのカメラ240からの画像の取得に焦点を当てているが、当業者であれば、コンピュータビジョンシステムが典型的には多くのカメラを含むことを理解するであろう。本実施形態によるシステムおよび方法は、複数のカメラを収容することができ、各カメラについてのデータ収集段階302の間に各カメラから取得された検出物体メタデータは、データ記憶装置320に集中して記憶することができる。
処理手段402は、カメラ240に接続され、カメラ240によって取得された画像データ404を受信する。処理手段402は、画像データ404を受信し、カメラ240毎にデータ収集段階302の処理を行う第1処理装置406を含む。また、処理手段402は、分析構成段階304の処理を行う第2処理装置を含む。第1処理装置406は、検出物体メタデータを第2処理装置408に直接提供することができ(410)、または、図3に関して上述したように、第2処理装置による後の検索414のために、検出物体メタデータを記憶装置320に提供することができる(412)。当業者であれば、処理手段402は、複数のプロセッサを備えた1つのサーバであってもよいし、複数の第1処理装置406および/または複数の第2処理装置408を備えた複数のサーバを含んでもよいことが理解されよう。このように、本実施形態による物体検出範囲推定のための方法およびシステムは、複数の第1処理装置406のために設けられた単一の第2処理装置408を含むことができるシステム構成を提供することができる。
第2処理装置408は、カメラ範囲の質を決定し、検出物体を観察するために、検出物体の空間的範囲を表示するためのディスプレイ416に接続されている。第2処理装置408は、また、カメラ範囲の品質を決定するために、および/または、入力された構成338を受信するために、ユーザ入力を受信するためのユーザ入力装置418に接続されている。上述のように、第2処理装置408は、推定された範囲が、検出物体メタデータに応じて各検出物体に関連する画像データ内の検出物体の死角だけでなく、検出物体のためにある、ことを決定することができる。
本実施形態では、第1処理装置406は、取得した画像データに対して物体検出を行う(312)ことにより、検出物体メタデータを生成する。第2処理手段408は、ピンホールカメラモデルを用いて、検出物体に関連付けられた2次元画像メタデータとカメラのパラメータとから、検出物体の3次元座標における空間的範囲を計算するように構成される。図5A乃至5Eは、本実施形態に係る2次元画像データから検出物体の3次元空間的範囲を算出する方法を示す。
図5Aを参照すると、上面図500は、取得した画像データにおける検出物体画素の投影点のカメラ座標(u、v)における各基準点(u1、v1)、(u2、v2)、(u3、v3)を有する検出対象物502、504、506のカメラビューを示す。現実世界の空間座標系XYZを参照すると、図5Bは、カメラ240の側面平面図520を示し、軸X及び軸Zによって画定される平面においてカメラ240によって検出される物体(人502、504、506)を示す。図5Cは、カメラ240の上面図540及び軸X及び軸Yによって画定される平面においてカメラ240によって検出される物体502、504、506を示す。図5Dは、人間の典型的な頭部高さ(1.70メートル)として、本実施形態の一つに従って選択された、基準寸法562の側面平面図560を示す。
物体範囲推定のための本実施形態によれば、2次元(2D)から3次元(3D)へのマッピング処理228は、3次元座標系における物体基準点を決定するために、検出物体(人216、218、220、222、224)の仮想空間的範囲を、検出物体に関連するメタデータおよびカメラ240のパラメータから再作成する。本実施形態の一態様によれば、マッピング処理としてピンホールカメラモデルが使用される。図5Eを参照すると、斜視図580は、式1乃至5に示すような透視変換を用いて、検出物体のメタデータから生成された3次元点を、3次元座標系に投影することによって、仮想3次元ビューを生成する例示的なピンホールカメラモデルのマッピング処理を示している。この変換への入力は、カメラ座標(u、v)における検出物体の基準点と、実世界座標Zにおける検出物体の推定高さである基準寸法562(図5D)と、を含む。変換の出力は、実世界の座標(X、Y)のセットである。ここで、X、Y、Zは、x584、y585、z586で表される実世界空間座標系における3次元点P582の座標(z586は、一般に、取得画像の光軸)であり、u588、v590は、取得画像データにおける検出物体画素の投影点の座標である。f、fは、画素単位で表されるカメラ240 (すなわち、固有のカメラパラメータ)の焦点距離パラメータである。c、cは、取得画像における主点592の座標であり、通常、画像中心であるx′590、y′591、z′592である。tは、カメラ240の外部パラメータ(例えば、カメラ240の外部パラメータの行列)であり、Rは、関節回転移動行列と呼ばれる外部パラメータの別の行列である。関節回転移動行列は、静止シーンの周りの静止カメラ240の前方の物体の剛体運動、または静止シーンの周りのカメラ240の運動を記述するために使用される。すなわち、Rは、実世界の空間座標系における点(例えば、点P582)の座標を、カメラ(つまり、座標系x584、y585、z586)に対して固定された座標系に変換する。
Figure 2022524787000002
図6Aおよび6Bを参照して、上面図600、650は、本実施形態による検出物体範囲領域推定の結果を示す。図600は、本実施形態によるシステムおよび方法が、第1検出物体606、第2検出物体608および第3検出物体610の範囲領域604の空間的範囲推定を決定するために、最も近いライン推定技術および最も遠いライン推定技術を使用するカメラビュー602を示す。空間的範囲領域推定604は、第1検出物体606を通る最近接ライン612と、第3検出物体610を通る最遠方ライン614とで囲まれている。
図650は、本実施形態によるシステムおよび方法が、物体拡大視野技術の輪郭検出推定を使用して、第1、第2および第3検出体660、662、664の空間的範囲推定を決定するカメラビュー652を示す。物体拡大図の輪郭検出推定は、検出物体660、662、664の形態変換(すなわち拡張) 670、672、674と、検出物体660、662、664の輪郭検出654、656、658と、の両方を含む。
図7Aおよび7Bは、本実施形態による物体検出推定の2つの態様の上面平面図を示す。図7Aは、本実施形態による、検出物体メタデータに基づく検出物体の空間的範囲710、720、730の推定の一変形例の図700を示す。本実施形態の第2の態様によれば、図7Bは、検出物体メタデータに基づくカメラ死角752、754の推定の図750を示す。
したがって、本実施形態は、より良い意思決定のためのシステム制約および要件のトレードオフを認識するコンピュータビジョンを提供するために、カメラの視点で検出物体の現実世界の空間的範囲を有利に視覚化する物体検出範囲推定のための方法およびシステムを提供することが分かる。本実施形態によれば、検出物体の空間的範囲を推定することができるだけでなく、検出物体の死角を識別することもできる。本実施形態による方法およびシステムを利用するコンピュータビジョンシステムは、よりロバストであり、検出物体の範囲領域を推定するために必要な時間がより少なく、それによって応答時間、意思決定および精度が改善される。
例示的な実施形態は、本発明の前述の詳細な説明で提示されているが、膨大な数の変形が存在することを理解されたい。さらに、例示的な実施形態は単なる例であり、本発明の範囲、適用可能性、動作、または構成をいかなる方法でも制限することを意図していないことを理解されたい。むしろ、上記の詳細な説明は、本発明の例示的な実施形態を実施するための便利なロードマップを当業者に提供するものであり、添付の特許請求の範囲に記載された本発明の範囲から逸脱することなく、例示的な実施形態で説明されたステップおよび動作方法の機能および配置において様々な変更がなされ得ることが理解される。本出願は、その開示の全体が参照により本明細書に組み込まれている、2019年3月26日に出願されたシンガポール特許出願第10201902705S号に基づく優先権の利益を主張するものである。

Claims (23)

  1. 物体検出範囲推定のための方法であって、
    少なくとも1つの検出物体を含む画像データをカメラから取得し、
    前記カメラによって取得された画像データ内の少なくとも1つの検出物体に関連する検出物体メタデータに応じて、少なくとも1つの検出物体の空間的範囲を決定する、
    方法。
  2. 前記検出物体メタデータは、2次元画像メタデータを含み、
    前記少なくとも1つの検出物体の空間的範囲を決定することは、前記カメラによって取得された画像データ内の前記少なくとも1つの検出物体に関連する2次元画像メタデータに応じて、さらに、ピンホールカメラモデルを使用する前記カメラのパラメータに応じて、前記少なくとも1つの検出物体の3次元座標における前記空間的範囲を計算することを含む、
    請求項1に記載の方法。
  3. 前記少なくとも1つの検出物体の空間的範囲に応じて、カメラ範囲の品質を決定することをさらに含む、
    請求項1または2のいずれかに記載の方法。
  4. 前記カメラ範囲の品質を決定することは、前記少なくとも1つの検出物体の空間的範囲を表示することを含む、
    請求項3に記載の方法。
  5. 前記検出物体メタデータに応じて、前記少なくとも1つの検出物体の各々に関連する前記画像データ内の検出物体の死角を決定することをさらに含む、
    請求項1に記載の方法。
  6. 前記少なくとも1つの検出物体の各々に関連する前記検出物体の死角に応じて、カメラ範囲の品質を決定することをさらに含む、
    請求項5に記載の方法。
  7. 前記カメラ範囲の品質を決定することは、前記少なくとも1つの検出物体の各々の空間的範囲、及び前記少なくとも1つの検出物体の各々に関連する前記検出物体の死角を表示することを含む、
    請求項6に記載の方法。
  8. 前記検出物体メタデータは、前記取得された画像データに対して物体検出を行うことによって生成される、
    請求項1乃至7のいずれか1項に記載の方法。
  9. 前記物体検出範囲推定のための方法のデータ収集段階は、前記カメラから前記画像データを取得するステップと、前記取得された画像データに対して物体検出を実行するステップと、を含み、
    前記データ収集段階は、前記検出物体メタデータを記憶することをさらに含む、
    請求項8に記載の方法。
  10. 前記物体検出範囲推定のための方法の分析構成段階は、前記少なくとも1つの検出物体の空間的範囲を決定するステップと、前記取得された画像データに対して物体検出を実行するステップと、を含み、
    前記分析構成段階が、記憶された前記検出物体メタデータを検索することをさらに含む、
    請求項9に記載の方法。
  11. 物体検出範囲推定のためのシステムであって、
    カメラと、
    前記カメラに接続され、前記カメラによって取得された画像データを受信する処理手段であって、前記画像データは、少なくとも1つの検出物体を含み、前記カメラから受信された画像データ内の前記少なくとも1つの検出物体に関連する検出物体メタデータに基づいて、前記少なくとも1つの検出物体の空間的範囲を決定するようにさらに構成されている前記処理手段と、
    を備える、
    システム。
  12. 前記検出物体メタデータは、2次元画像メタデータを含み、
    前記処理手段は、ピンホールカメラモデルを用いて、前記カメラから受信された前記画像データにおける前記少なくとも1つの検出物体の空間的範囲を決定し、前記少なくとも1つの検出物体および前記カメラのパラメータに関連付けられた前記2次元画像メタデータから、前記少なくとも1つの検出物体の3次元座標における前記空間的範囲を計算する、
    請求項11に記載のシステム。
  13. 前記処理手段は、前記少なくとも1つの検出物体の空間的範囲に応じて、カメラ範囲の品質をさらに決定する、
    請求項11または請求項12のいずれかに記載のシステム。
  14. 前記処理手段に接続されたディスプレイをさらに含み、
    前記処理手段は、前記カメラ範囲の品質を決定するために、前記少なくとも1つの検出物体の空間的範囲を表示するために、前記ディスプレイにデータを転送する、
    請求項13に記載のシステム。
  15. 前記処理手段は、カメラ範囲の品質を決定するためのユーザ入力を受信するためのユーザ入力装置を備える、
    請求項14に記載のシステム。
  16. 前記処理手段は、前記検出物体メタデータに応じて、前記少なくとも1つの検出物体の各々に関連付けられた前記画像データ内の検出物体の死角をさらに決定する、
    請求項11に記載のシステム。
  17. 前記処理手段は、前記少なくとも1つの検出物体の各々に関連する前記検出物体の死角に応じて、カメラ範囲の品質を決定する、
    請求項16に記載のシステム。
  18. 前記処理手段に接続されたディスプレイをさらに備え、
    前記処理手段は、前記少なくとも1つの検出物体の空間的範囲と、前記少なくとも1つの検出物体の各々に関連する前記検出物体の死角と、を表示して、前記カメラ範囲の品質を決定する、
    請求項17に記載のシステム。
  19. 前記処理手段は、前記取得された画像データに対して物体検出を行うことによって、前記検出物体メタデータを生成する、
    請求項11乃至18のいずれか1項に記載のシステム。
  20. 前記処理手段は、前記取得された画像データに対して物体検出を行うことによって、前記検出物体メタデータを生成する、
    請求項11乃至18のいずれか1項に記載のシステム。
  21. 前記処理手段は、前記少なくとも1つの検出物体の空間的範囲を決定するステップと、前記取得された画像データに対して物体検出を行うステップと、を含む分析構成段階を実行する第2処理装置をさらに含み、
    前記第2処理装置は、記憶手段に接続されており、該記憶手段に記憶された検出物体メタデータを検索する、
    請求項20に記載のシステム。
  22. 物体検出範囲推定を行うコンピュータ可読媒体であって、
    カメラによって取得された2次元画像データから少なくとも1つの検出物体の空間的範囲を決定する処理手段の命令を格納するコンピュータ可読媒体であって、
    前記少なくとも1つの検出物体の空間的範囲は、
    前記カメラによって取得された画像データ内の少なくとも1つの検出物体に関連付けられた2次元画像データに応じて、及び、さらに、ピンホールカメラモデルを使用する前記カメラのパラメータに応じて、少なくとも1つの検出物体の3次元座標における空間的範囲を計算することによって、
    画像データ内の少なくとも1つの検出物体に関連付けられた2次元画像データ内の検出物体メタデータに応じて、決定される、
    コンピュータ可読媒体。
  23. 前記検出物体メタデータに応じて、前記少なくとも1つの検出物体の各々に関連する前記画像データ内の検出物体の死角を決定するための前記処理手段に対する命令をさらに格納する、
    請求項22に記載のコンピュータ可読媒体。
JP2021554382A 2019-03-26 2020-03-24 物体検出範囲推定のための、方法、システム、及びプログラム Pending JP2022524787A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201902705S 2019-03-26
SG10201902705SA SG10201902705SA (en) 2019-03-26 2019-03-26 Method and system for object detection coverage estimation
PCT/JP2020/013016 WO2020196520A1 (en) 2019-03-26 2020-03-24 Method, system and computer readable media for object detection coverage estimation

Publications (1)

Publication Number Publication Date
JP2022524787A true JP2022524787A (ja) 2022-05-10

Family

ID=72612015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021554382A Pending JP2022524787A (ja) 2019-03-26 2020-03-24 物体検出範囲推定のための、方法、システム、及びプログラム

Country Status (4)

Country Link
US (4) US20230394834A1 (ja)
JP (1) JP2022524787A (ja)
SG (1) SG10201902705SA (ja)
WO (1) WO2020196520A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610768B (zh) * 2021-07-14 2024-08-16 南方电网科学研究院有限责任公司 绝缘子表面藻类覆盖率测算方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
JP2012123667A (ja) * 2010-12-09 2012-06-28 Panasonic Corp 姿勢推定装置および姿勢推定方法
WO2013111229A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP2014102668A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
JP2012123667A (ja) * 2010-12-09 2012-06-28 Panasonic Corp 姿勢推定装置および姿勢推定方法
WO2013111229A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP2014102668A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 表示装置

Also Published As

Publication number Publication date
SG10201902705SA (en) 2020-10-29
US20220148314A1 (en) 2022-05-12
US20230394832A1 (en) 2023-12-07
US20230394833A1 (en) 2023-12-07
US20230394834A1 (en) 2023-12-07
US20230401855A1 (en) 2023-12-14
WO2020196520A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
WO2018176938A1 (zh) 红外光斑中心点提取方法、装置和电子设备
KR102120046B1 (ko) 오브젝트를 표시하는 방법
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5818857B2 (ja) 情報処理装置およびその制御方法
CN113315878B (zh) 单程对象扫描
US20200258309A1 (en) Live in-camera overlays
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
JP2011198349A (ja) 情報処理方法及びその装置
JP2019197279A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
CN102194248A (zh) 基于增强现实的虚实碰撞检测及响应方法
CN105809664B (zh) 生成三维图像的方法和装置
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
US20230401855A1 (en) Method, system and computer readable media for object detection coverage estimation
JP4203279B2 (ja) 注目判定装置
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
US20180182117A1 (en) Method for Generating Three Dimensional Images
JP2004046464A (ja) 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
US20210350625A1 (en) Augmenting live images of a scene for occlusion

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231114