JP2022009474A5 - - Google Patents

Download PDF

Info

Publication number
JP2022009474A5
JP2022009474A5 JP2021174197A JP2021174197A JP2022009474A5 JP 2022009474 A5 JP2022009474 A5 JP 2022009474A5 JP 2021174197 A JP2021174197 A JP 2021174197A JP 2021174197 A JP2021174197 A JP 2021174197A JP 2022009474 A5 JP2022009474 A5 JP 2022009474A5
Authority
JP
Japan
Prior art keywords
line
lines
gradient
acquired image
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021174197A
Other languages
English (en)
Other versions
JP2022009474A (ja
JP7393106B2 (ja
Filing date
Publication date
Priority claimed from US16/001,885 external-priority patent/US10937168B2/en
Priority claimed from JP2019104032A external-priority patent/JP2019220163A/ja
Application filed filed Critical
Publication of JP2022009474A publication Critical patent/JP2022009474A/ja
Publication of JP2022009474A5 publication Critical patent/JP2022009474A5/ja
Priority to JP2023198728A priority Critical patent/JP2024016287A/ja
Application granted granted Critical
Publication of JP7393106B2 publication Critical patent/JP7393106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (22)

  1. 1以上のカメラに基づいて取得した画像内のライン特徴を検出するためのシステムであって、
    ビジョンシステムプロセッサと;
    オブジェクトのトレーニング画像内でライン検出プロセスによって特定された複数のラインのうちの関心あるラインに関する個別ラベルの作成を可能にするビジョンシステムプロセッサに関連したインタフェースと;
    取得した画像内のラインを特定するランタイムライン検出プロセスと;
    前記取得した画像内で作成されたラベルに対応するライン特徴を表す確率マップを分類子を使用して決定するニューラルネットプロセスと;
    前記取得した画像に含まれる前記関心のあるラインについて、前記作成されたラベルと前記確率マップに基づいて決定された確率スコア、前記取得した画像上に提供するランタイム結果生成プロセスと;
    を有する、上記システム。
  2. 前記ランタイム結果生成プロセスは、関連性のないラインに対して確率スコアを提供する、請求項1に記載のビジョンシステム。
  3. 前記結果生成プロセスは、ラインを強調表示し、前記強調表示されたラインと関連する確率スコアを提供するインタフェースを含む、請求項1に記載のビジョンシステム。
  4. 前記確率マップは、前記取得した画像とサイズが近似している、請求項1に記載のビジョンシステム。
  5. 前記ニューラルネットプロセスではニューラルネット分類子及び統計的に訓練された分類子の少なくとも1つが使用される、請求項1に記載のビジョンシステム。
  6. 前記ライン検出プロセスは、ライン特徴を含むシーンの画像データを受け取るプロセッサを有し、前記プロセッサは、エッジポイント抽出装置及びラインファインダを備えており、
    前記エッジポイント抽出装置は、
    (a)前記画像データから勾配ベクトル場を計算し、
    (b)前記勾配ベクトル場を複数の勾配投影サブ領域に投影し、かつ
    (c)投影された前記勾配データに基づき前記勾配投影サブ領域のそれぞれにおいて複数のエッジポイントを検出するものであり、
    前記ラインファインダは前記画像から抽出されたエッジポイントと一致している複数のラインを生成するものである、
    請求項1記載のビジョンシステム。
  7. 上記ラインファインダは、RANSACに基づくプロセスを操作してインライアエッジポイントを新しいラインにフィッティングし、事前に定義されたラインを基準にしてアウトライアエッジポイントから反復的にラインを定義することを含む、請求項6に記載のシステム。
  8. 上記勾配場の投影は、1以上の特徴若しくはライン特徴の予想される向きに応答して設定された方向に沿って向けられている、請求項6に記載のシステム。
  9. 上記勾配場の投影は、ガウスカーネルに基づいて粒度を定義する、請求項6に記載のシステム。
  10. 上記エッジポイント抽出装置は、勾配投影サブ領域の各々で複数の勾配強度最大値を検出するように配置されており、勾配強度最大値はそれぞれ複数のエッジポイントの幾つかとして特定されて、位置ベクトルと勾配ベクトルによって記述される、請求項6に記載のシステム。
  11. 上記ラインファインダは、少なくとも1つのエッジポイントの少なくとも1本の候補ラインからの距離と、少なくとも1つのエッジポイントの勾配方向と少なくとも1本の候補ラインの法線方向との間の角度差に基づくメトリックを計算することによって、複数の抽出されたエッジポイントの少なくとも1つのエッジポイントと、前記複数のラインの少なくとも1本の候補ラインとの間の一致を決定するように配置されている、請求項6に記載のシステム。
  12. 1以上のカメラに基づいて取得した画像内のライン特徴を検出するためのシステムであって、
    ビジョンシステムプロセッサと;
    オブジェクトのトレーニング画像内でライン検出プロセスによって特定された複数のラインのうちの関心あるラインに関する個別ラベルの作成を可能にするビジョンシステムプロセッサに関連したインタフェースと;
    取得した画像内のラインを特定するランタイムライン検出プロセスと;
    前記取得した画像内で作成されたラベルに対応するライン特徴を表す確率マップを決定し、前記ライン検出プロセスによって特定されたラインに基づくインタフェースのためのラベルを生成する統計的分類子と;
    を有し、
    前記取得した画像に含まれる前記関心のあるラインについて、前記作成されたラベルと前記確率マップに基づいて決定された確率スコアとが、前記取得した画像上に提供される、
    上記システム。
  13. 1以上のカメラに基づいて取得した画像内のライン特徴を検出するためのシステムであって、
    ビジョンシステムプロセッサと;
    オブジェクトのトレーニング画像内でライン検出プロセスによって特定された複数のラインのうちの関心あるラインに関する個別ラベルの作成を可能にするビジョンシステムプロセッサに関連したインタフェースと;
    取得した画像内のラインを特定するランタイムライン検出プロセスと;
    前記取得した画像内で作成されたラベルに対応するライン特徴を表す確率マップを決定し、前記ライン検出プロセスによって特定されたラインに基づくインタフェースのためのラベルを生成するK-NN分類子と;
    を有し、
    前記取得した画像に含まれる前記関心のあるラインについて、前記作成されたラベルと前記確率マップに基づいて決定された確率スコアとが、前記取得した画像上に提供される、
    上記システム。
  14. 1以上のカメラに基づいて取得した画像内のライン特徴を検出するための方法において、
    オブジェクトのトレーニング画像内でライン検出プロセスによって特定された複数のラインのうちの関心あるラインに関する個別ラベルの作成を可能にするビジョンシステムプロセッサに関連したインタフェースを提供するステップと;
    ランタイムライン検出プロセスによって、取得した画像内検出されたラインを特定するステップと;
    前記取得した画像内で作成されたラベルに対応するライン特徴を表す確率マップを分類子で決定し、少なくとも1本の関連する検出されたラインのためのラベルを生成するステップと;
    前記取得した画像に含まれる前記関心のあるラインについて、前記作成されたラベルと前記確率マップに基づいて決定された確率スコアとを、前記取得した画像上に提供するステップと;
    を有する方法。
  15. 前記分類子は少なくとも1つのニューラルネット分類子を備え、当該方法は、さらに、ラベルに対して検出されたライン特徴の確率マップを決定するためにラベルに基づいて前記少なくとも1つのニューラルネット分類子を使用するステップと、関連性のないラインに対して確率スコアを生成するステップと、を有する請求項14に記載の方法。
  16. 前記生成するステップは、検出されたラインをインタフェースで強調表示し、強調表示されたラインと関連する確率スコアを提供する、請求項15に記載の方法。
  17. 前記分類子はニューラルネット分類子、統計的に訓練された分類子及びK-NN分類子の少なくとも1つである、請求項14に記載の方法。
  18. 前記ライン検出プロセスは、ライン特徴を含むシーンの画像データを受け取るプロセスであり、前記プロセスではエッジポイント抽出装置が、
    (a)前記画像データから勾配ベクトル場を計算し、
    (b)前記勾配ベクトル場を複数の勾配投影サブ領域に投影し、
    (c)投影された前記勾配データに基づきそれぞれの勾配射影サブ領域おいて複数のエッジポイントを検出し、そして
    前記画像から抽出されたエッジポイントと一致する複数のラインを計算する、
    請求項14に記載の方法。
  19. 前記ラインを計算するステップは、RANSACに基づくプロセスを操作してインライアエッジポイントを新しいラインにフィッティングすることを含んでおり、事前に定義されたラインに対するアウトライアエッジポイントから反復的にラインを定義することを含む、請求項18に記載の方法。
  20. 前記勾配場の投影は、1以上のライン特徴の予想される向きに応じて設定された方向に沿って方向付けられている、請求項18に記載の方法。
  21. 前記エッジポイント抽出装置は、勾配投影サブ領域の各々で複数の勾配強度最大値を検出し、前記勾配強度最大値はそれぞれ複数のエッジポイントの幾つかとして特定され、位置ベクトルと勾配ベクトルによって記述される、請求項18に記載の方法。
  22. 前記ライン検出プロセスでは、少なくとも1つのエッジポイントの少なくとも1本の候補ラインからの距離、及び少なくとも1つのエッジポイントの勾配方向と少なくとも1本の候補ラインの法線方向との間の角度差に基づくメトリックを計算することによって、複数の抽出されたエッジポイントの少なくとも1つのエッジポイントと、検出された複数のラインの少なくとも1本の候補ラインとの間の一致が決定される、請求項18に記載の方法。
JP2021174197A 2018-06-06 2021-10-25 ビジョンシステムでラインを検出するためのシステム及び方法 Active JP7393106B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023198728A JP2024016287A (ja) 2018-06-06 2023-11-23 ビジョンシステムでラインを検出するためのシステム及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/001,885 US10937168B2 (en) 2015-11-02 2018-06-06 System and method for finding and classifying lines in an image with a vision system
US16/001,885 2018-06-06
JP2019104032A JP2019220163A (ja) 2018-06-06 2019-06-03 ビジョンシステムでラインを検出するためのシステム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019104032A Division JP2019220163A (ja) 2018-06-06 2019-06-03 ビジョンシステムでラインを検出するためのシステム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023198728A Division JP2024016287A (ja) 2018-06-06 2023-11-23 ビジョンシステムでラインを検出するためのシステム及び方法

Publications (3)

Publication Number Publication Date
JP2022009474A JP2022009474A (ja) 2022-01-14
JP2022009474A5 true JP2022009474A5 (ja) 2022-08-31
JP7393106B2 JP7393106B2 (ja) 2023-12-06

Family

ID=68651911

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019104032A Pending JP2019220163A (ja) 2018-06-06 2019-06-03 ビジョンシステムでラインを検出するためのシステム及び方法
JP2021174197A Active JP7393106B2 (ja) 2018-06-06 2021-10-25 ビジョンシステムでラインを検出するためのシステム及び方法
JP2023198728A Pending JP2024016287A (ja) 2018-06-06 2023-11-23 ビジョンシステムでラインを検出するためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019104032A Pending JP2019220163A (ja) 2018-06-06 2019-06-03 ビジョンシステムでラインを検出するためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023198728A Pending JP2024016287A (ja) 2018-06-06 2023-11-23 ビジョンシステムでラインを検出するためのシステム及び方法

Country Status (4)

Country Link
JP (3) JP2019220163A (ja)
KR (3) KR20190138755A (ja)
CN (2) CN118521604A (ja)
DE (1) DE102019115224A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906701B (zh) * 2021-02-08 2023-07-14 重庆兆光科技股份有限公司 一种基于多注意力神经网络的细粒度图像识别方法及系统
CN117409261B (zh) * 2023-12-14 2024-02-20 成都数之联科技股份有限公司 一种基于分类模型的元件角度分类方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010167B1 (en) * 2002-04-30 2006-03-07 The United States Of America As Represented By The National Security Agency Method of geometric linear discriminant analysis pattern recognition
KR100979811B1 (ko) * 2003-08-12 2010-09-02 삼성전자주식회사 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법
US7400414B2 (en) * 2005-10-31 2008-07-15 Mitutoyo Corporation Hand-size structured-light three-dimensional metrology imaging system and method
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
US8237935B2 (en) * 2007-10-23 2012-08-07 Gii Acquisition, Llc Method and system for automatically inspecting parts and for automatically generating calibration data for use in inspecting parts
US8565536B2 (en) * 2010-04-01 2013-10-22 Microsoft Corporation Material recognition from an image
CN102667859B (zh) * 2010-09-10 2016-01-20 松下电器(美国)知识产权公司 由排他性分类器进行的一般物体的图像识别装置及方法
CN102789573A (zh) * 2011-05-16 2012-11-21 索尼公司 目标检测设备和方法及分类器训练设备和方法
US9536178B2 (en) * 2012-06-15 2017-01-03 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
JP2014092922A (ja) * 2012-11-02 2014-05-19 Tottori Univ 検出装置、検出方法及び検出プログラム
JP2014149788A (ja) * 2013-02-04 2014-08-21 Nippon Telegr & Teleph Corp <Ntt> 物体領域境界推定装置、物体領域境界推定方法及び物体領域境界推定プログラム
JP6209069B2 (ja) * 2013-11-26 2017-10-04 日本電信電話株式会社 境界検出装置、境界検出方法及びコンピュータプログラム
US20150199592A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Contour-based classification of objects
US9477892B2 (en) * 2014-03-26 2016-10-25 Xerox Corporation Efficient method of offline training a special-type parked vehicle detector for video-based on-street parking occupancy detection systems
CA2944829C (en) * 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
CN104166843B (zh) * 2014-08-08 2017-02-15 西安交通大学 一种基于直线连续性的文档图像来源判别方法
US9892301B1 (en) * 2015-03-05 2018-02-13 Digimarc Corporation Localization of machine-readable indicia in digital capture systems
CN106157283A (zh) * 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
DE102016120775A1 (de) * 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
JP6463593B2 (ja) * 2015-11-02 2019-02-06 コグネックス・コーポレイション ビジョンシステムでラインを検出するためのシステム及び方法
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search

Similar Documents

Publication Publication Date Title
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US9373174B2 (en) Cloud based video detection and tracking system
US9721387B2 (en) Systems and methods for implementing augmented reality
JP6345147B2 (ja) ステレオ画像の対において物体を検出する方法
EP2339507B1 (en) Head detection and localisation method
US10755422B2 (en) Tracking system and method thereof
US20110227923A1 (en) Image synthesis method
WO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
Hsu et al. Regressive tree structured model for facial landmark localization
JP2022009474A5 (ja)
EP4158528A1 (en) Tracking multiple objects in a video stream using occlusion-aware single-object tracking
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
JP6290760B2 (ja) 作業類似度算出方法、装置およびプログラム
CN109086725B (zh) 手部跟踪方法及机器可读存储介质
JP2018036770A (ja) 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
JP2010231350A (ja) 人物識別装置、そのプログラム、及び、その方法
KR102399974B1 (ko) 다중 객체 추적 방법 및 이를 위한 장치
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
Li et al. A hybrid pose tracking approach for handheld augmented reality
Rogez et al. Exploiting projective geometry for view-invariant monocular human motion analysis in man-made environments
Yang et al. Vision-inertial hybrid tracking for robust and efficient augmented reality on smartphones
JP2017097549A (ja) 画像処理装置、方法、及びプログラム