JP2011523742A5 - - Google Patents

Download PDF

Info

Publication number
JP2011523742A5
JP2011523742A5 JP2011510530A JP2011510530A JP2011523742A5 JP 2011523742 A5 JP2011523742 A5 JP 2011523742A5 JP 2011510530 A JP2011510530 A JP 2011510530A JP 2011510530 A JP2011510530 A JP 2011510530A JP 2011523742 A5 JP2011523742 A5 JP 2011523742A5
Authority
JP
Japan
Prior art keywords
depth image
image
plane
candidate
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011510530A
Other languages
English (en)
Other versions
JP2011523742A (ja
JP5172010B2 (ja
Filing date
Publication date
Priority claimed from US12/124,016 external-priority patent/US8265425B2/en
Application filed filed Critical
Publication of JP2011523742A publication Critical patent/JP2011523742A/ja
Publication of JP2011523742A5 publication Critical patent/JP2011523742A5/ja
Application granted granted Critical
Publication of JP5172010B2 publication Critical patent/JP5172010B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (9)

  1. 平面を有する対象物の位置を決定するコンピュータを用いた方法であって、
    前記コンピュータは、
    奥行きセンサと奥行き画像内の対象物の部分との間の距離を表す画像画素を含む前記奥行き画像を受け取り、
    前記奥行き画像を処理することによって、前記奥行き画像のうちから、前記奥行き画像よりもサイズが小さい隣接領域である候補領域であって、前記平面を含む可能性を有する前記奥行き画像の部分を表す候補領域を決定し、
    カメラによって取得されたカラー画像であって、前記奥行き画像内の前記候補領域に対応するカラー画像を受け取り、
    前記カラー画像から、前記平面の境界の輪郭を描く幾何学的特徴を検知し選択することによって、前記カラー画像の前記候補領域内の前記対象物の平面を検知すること、
    を特徴とする方法。
  2. 前記奥行き画像内の候補領域を決定することは、
    前記奥行き画像の前記画像画素から、前記奥行き画像内の対象物の面に対して垂直であるベクトルを表す法線ベクトルを計算し、
    所定の方向の法線ベクトルを有する、前記奥行き画像内の１又は複数の領域を決定し、
    前記奥行き画像の前記１又は複数の領域を拡大し前記候補領域を表すマスクを生成すること、
    を含み、
    前記マスクに対応する前記カラー画像の部分は、
    前記幾何学的特徴を検知するためにトリミングされること、
    を特徴とする請求項１に記載の方法。
  3. 前記コンピュータは、
    前記候補領域を決定する前に、前記奥行き画像をガウシアンフィルタでフィルタリングすること、
    を特徴とする請求項１に記載の方法。
  4. 前記幾何学的特徴を検知することは、
    前記候補領域に対応する前記カラー画像内のエッジを検知し、
    前記検知されたエッジに対してハフ変換を実行して前記カラー画像内の線特徴を取得すること、
    を含むこと、
    を特徴とする請求項１に記載の方法。
  5. 前記幾何学的特徴を選択することは、
    前記奥行き画像内の奥行き情報に応じて、前記検知された幾何学的特徴の長さを調節し、前記幾何学的特徴の物理的長さを決定し、
    前記検知された幾何学的特徴の前記物理的長さに基づいて、候補平面の輪郭を描く、前記検知された幾何学的特徴のサブセットを選択すること、
    を含むこと、
    を特徴とする請求項１に記載の方法。
  6. 前記候補平面は、
    前記候補平面のサイズ、
    前記候補平面内の複数の画素に対して垂直な複数のベクトル間の類似性、及び、
    前記候補平面に一致する前記幾何学的特徴の比率、からなる群のうちの少なくとも１つに基づいて評価されること、
    を特徴とする請求項５に記載の方法。
  7. 前記幾何学的特徴を選択することは、
    前記幾何学的特徴の複数の点間の奥行き変化が閾値を超えていると決定する場合は、前記検知された幾何学的特徴を除外すること、
    を含むこと、
    を特徴とする請求項５に記載の方法。
  8. 平面を有する対象物を検知するコンピュータを機能させるためのコンピュータプログラムを格納する、不揮発性のコンピュータ読取可能な記憶媒体であって、
    前記コンピュータプログラムは、
    前記コンピュータのプロセッサに対して、
    奥行きセンサと奥行き画像内の対象物の部分との間の距離を表す画像画素を含む前記奥行き画像を受け取り、
    前記奥行き画像を処理することによって、前記奥行き画像のうちから、前記奥行き画像よりもサイズが小さい隣接領域である候補領域であって、前記平面を含む可能性を有する前記奥行き画像の部分を表す候補領域を決定し、
    カメラによって取得されたカラー画像であって、前記奥行き画像内の前記候補領域に対応するカラー画像を受け取り、
    前記カラー画像から、前記平面の境界の輪郭を描く幾何学的特徴を検知し選択することによって、前記カラー画像の前記候補領域内の前記対象物の平面を検知する処理を実行させること、
    を特徴とする記憶媒体。
  9. 平面を有する対象物の位置を決定するシステムであって、
    前記システムは、
    奥行きセンサと奥行き画像内の対象物の部分との間の距離を表す画像画素を含む前記奥行き画像を受け取り、
    前記奥行き画像を処理することによって、前記奥行き画像のうちから、前記奥行き画像よりもサイズが小さい隣接領域である候補領域であって、前記平面を含む可能性を有する前記奥行き画像の部分を表す候補領域を決定する奥行き画像処理モジュールと、
    前記奥行き画像処理モジュールに接続され、
    カメラによって取得されたカラー画像であって、前記奥行き画像内の前記候補領域に対応するカラー画像を受け取り、
    前記カラー画像から幾何学的特徴を検知し、前記平面の境界の輪郭を描く幾何学的特徴を選択することによって、前記カラー画像の前記候補領域内の前記対象物の平面を検知するカラー画像処理モジュールと、を有すること、
    を特徴とするシステム。
JP2011510530A 2008-05-20 2009-04-14 Ｒｇｂ及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知 Expired - Fee Related JP5172010B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/124,016 2008-05-20
US12/124,016 US8265425B2 (en) 2008-05-20 2008-05-20 Rectangular table detection using hybrid RGB and depth camera sensors
PCT/US2009/040531 WO2009142841A2 (en) 2008-05-20 2009-04-14 Rectangular table detection using hybrid rgb and depth camera sensors

Publications (3)

Publication Number Publication Date
JP2011523742A JP2011523742A (ja) 2011-08-18
JP2011523742A5 true JP2011523742A5 (ja) 2012-08-30
JP5172010B2 JP5172010B2 (ja) 2013-03-27

Family

ID=41340752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011510530A Expired - Fee Related JP5172010B2 (ja) 2008-05-20 2009-04-14 Ｒｇｂ及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知

Country Status (3)

Country Link
US (1) US8265425B2 (ja)
JP (1) JP5172010B2 (ja)
WO (1) WO2009142841A2 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
KR101553522B1 (ko) * 2008-12-29 2015-09-16 삼성전자 주식회사 로봇 및 그 제어 방법
US8406925B2 (en) * 2009-07-01 2013-03-26 Honda Motor Co., Ltd. Panoramic attention for humanoid robots
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
US9201501B2 (en) * 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9288476B2 (en) * 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9241147B2 (en) * 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9407904B2 (en) * 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9875574B2 (en) * 2013-12-17 2018-01-23 General Electric Company Method and device for automatically identifying the deepest point on the surface of an anomaly
US10157495B2 (en) * 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US10586341B2 (en) 2011-03-04 2020-03-10 General Electric Company Method and device for measuring features on or near an object
TWI476403B (zh) * 2011-04-22 2015-03-11 Pai Chi Li 超音波自動掃描系統及其掃描方法
EP2710536A4 (en) * 2011-05-11 2015-07-22 Proiam Llc REGISTRATION APPARATUS, SYSTEM AND METHOD WITH THREE-DIMENSIONAL CAMERA
KR101920473B1 (ko) * 2011-07-27 2018-11-22 삼성전자주식회사 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
KR20130047822A (ko) * 2011-11-01 2013-05-09 삼성전자주식회사 영상 처리 장치 및 방법
US20140313324A1 (en) * 2011-12-16 2014-10-23 Siemens Aktiengesellshaft Dynamic results projection for moving test object
US8995737B2 (en) * 2012-01-20 2015-03-31 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2014002502A (ja) * 2012-06-18 2014-01-09 Dainippon Printing Co Ltd 手のばし検出装置、手のばし検出方法及びプログラム
US8855369B2 (en) * 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
US8831285B2 (en) 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
TWI493962B (zh) * 2012-09-05 2015-07-21 Acer Inc 多媒體處理系統及音訊信號調整方法
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
JP2014170368A (ja) * 2013-03-04 2014-09-18 Univ Of Tokyo 画像処理装置、方法及びプログラム並びに移動体
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9563955B1 (en) * 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
JP6270361B2 (ja) * 2013-07-16 2018-01-31 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP6054831B2 (ja) * 2013-09-03 2016-12-27 国立大学法人 東京大学 画像処理装置、画像処理方法及び画像処理プログラム
US9934611B2 (en) 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
JP2015056057A (ja) * 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット
JP5799273B2 (ja) * 2013-10-02 2015-10-21 パナソニックＩｐマネジメント株式会社 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
US9600928B2 (en) * 2013-12-17 2017-03-21 General Electric Company Method and device for automatically identifying a point of interest on the surface of an anomaly
US9818039B2 (en) 2013-12-17 2017-11-14 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US9259844B2 (en) * 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
US9626766B2 (en) * 2014-02-28 2017-04-18 Microsoft Technology Licensing, Llc Depth sensing using an RGB camera
CN107111598B (zh) * 2014-12-19 2020-09-15 深圳市大疆创新科技有限公司 使用超声深度感测的光流成像系统以及方法
CN104574375B (zh) * 2014-12-23 2017-05-03 浙江大学 结合彩色和深度信息的图像显著性检测方法
US10115035B2 (en) * 2015-01-08 2018-10-30 Sungkyunkwan University Foundation For Corporation Collaboration Vision system and analytical method for planar surface segmentation
GB201501311D0 (en) * 2015-01-27 2015-03-11 Apical Ltd Method, system and computer program product
JP6132246B2 (ja) * 2015-04-01 2017-05-24 パナソニックＩｐマネジメント株式会社 寸法計測方法
WO2017031117A1 (en) * 2015-08-17 2017-02-23 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10021371B2 (en) 2015-11-24 2018-07-10 Dell Products, Lp Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
US11037320B1 (en) 2016-03-01 2021-06-15 AI Incorporated Method for estimating distance using point measurement and color depth
US10311590B1 (en) * 2016-03-01 2019-06-04 Al Incorporated Method for estimating distance using point measurement and color depth
US10616552B2 (en) * 2016-03-25 2020-04-07 Intel Corporation Multi-modal real-time camera localization and environment mapping
JP6574461B2 (ja) * 2016-08-04 2019-09-11 株式会社フォーディーアイズ 点群データ変換システム及びその方法
WO2018025842A1 (ja) * 2016-08-04 2018-02-08 株式会社Ｈｉｅｌｅｒｏ 点群データ変換システム、その方法、及びプログラム
JP6617750B2 (ja) * 2017-05-23 2019-12-11 トヨタ自動車株式会社 車両駆動装置の制御装置
US10636137B1 (en) * 2017-10-23 2020-04-28 Amazon Technologies, Inc. System for determining object orientations in an image
CN107948517B (zh) * 2017-11-30 2020-05-15 Oppo广东移动通信有限公司 预览画面虚化处理方法、装置及设备
CN109974746B (zh) * 2017-12-27 2020-11-24 深圳市优必选科技有限公司 全向轮里程校准方法及机器人
JP7109207B2 (ja) * 2018-02-23 2022-07-29 パナソニックホールディングス株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
CN110291771B (zh) * 2018-07-23 2021-11-16 深圳市大疆创新科技有限公司 一种目标对象的深度信息获取方法及可移动平台
CN114174854A (zh) 2019-08-07 2022-03-11 华为技术有限公司 飞行时间深度增强
CN110706267B (zh) * 2019-09-04 2022-11-15 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN111062305B (zh) * 2019-12-12 2023-02-24 河南省科学院高新技术研究中心 一种棉花装卸运输阴燃监测方法及装置
US11741620B1 (en) 2020-01-24 2023-08-29 Apple Inc. Plane detection using depth sensor and semantic information
CN112734783B (zh) * 2020-02-14 2022-02-25 牧今科技 用于处理候选边缘的方法和计算系统
CN111462234B (zh) * 2020-03-27 2023-07-18 北京华捷艾米科技有限公司 一种位置确定方法及装置
WO2022194352A1 (en) 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Apparatus and method for image correlation correction
CN113332110B (zh) * 2021-06-02 2023-06-27 西京学院 一种基于景物听觉感知的导盲手电及导盲方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243665A (en) 1990-03-07 1993-09-07 Fmc Corporation Component surface distortion evaluation apparatus and method
JP3466661B2 (ja) * 1993-06-29 2003-11-17 キヤノン株式会社 画像処理装置及びその方法
US6095989A (en) 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
JP2919284B2 (ja) 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
GB9515311D0 (en) * 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JPH1139496A (ja) * 1997-07-17 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 平面の姿勢推定方法およびその装置
JP4054103B2 (ja) * 1998-04-09 2008-02-27 富士通テン株式会社 走行路形状認識装置
US6813395B1 (en) 1999-07-14 2004-11-02 Fuji Photo Film Co., Ltd. Image searching method and image processing method
JP3945279B2 (ja) 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
CA2411338C (en) 2002-11-07 2011-05-31 Mcmaster University Method for on-line machine vision measurement, monitoring and control of product features during on-line manufacturing processes
US7822264B2 (en) 2003-08-15 2010-10-26 Scape A/S Computer-vision system for classification and spatial localization of bounded 3D-objects
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US7653216B2 (en) * 2003-12-23 2010-01-26 Carnegie Mellon University Polyhedron recognition system
KR100519781B1 (ko) 2004-02-18 2005-10-07 삼성전자주식회사 객체 추적 방법 및 그 장치
JP4297501B2 (ja) 2004-08-11 2009-07-15 国立大学法人東京工業大学 移動体周辺監視装置
US7466841B2 (en) 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
JP2006178696A (ja) * 2004-12-22 2006-07-06 Nippon Telegr & Teleph Corp <Ntt> 平面検出装置および方法並びに平面検出プログラム
DE102005047160B4 (de) 2005-09-30 2007-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Ermitteln einer Information über eine Form und/oder eine Lage einer Ellipse in einem graphischen Bild
JP4702050B2 (ja) * 2005-12-28 2011-06-15 カシオ計算機株式会社 画像投影装置、画像投影装置の投影画像補正方法及びプログラム
CN101366047B (zh) * 2006-01-07 2011-10-19 依瑞技术株式会社 使用具有立体照相机的移动设备的虹膜识别系统和方法
US7747045B2 (en) 2006-06-30 2010-06-29 Fujifilm Corporation Method and apparatus for diffusion based illumination normalization

Similar Documents

Publication Publication Date Title
JP2011523742A5 (ja)
CN105205486B (zh) 一种车标识别方法及装置
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
JP6369131B2 (ja) 物体認識装置及び物体認識方法
US11049275B2 (en) Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof
JP2015528960A5 (ja)
JP2008286725A (ja) 人物検出装置および方法
US20180174328A1 (en) Turning radius-based corner detection algorithm
JP2014137756A5 (ja)
CN112284256B (zh) 一种工件平面磨损的测量方法和系统
CN107301646B (zh) 基于单目视觉的无人船智能避障方法和装置
US9911204B2 (en) Image processing method, image processing apparatus, and recording medium
JP5977275B2 (ja) 分岐路認識装置
US20180122097A1 (en) Apparatus, method, and non-transitory computer-readable storage medium for storing program for position and orientation estimation
CN112257692A (zh) 一种行人目标的检测方法、电子设备及存储介质
JP7053211B2 (ja) 運転支援装置
JP2015166903A (ja) 分岐路認識装置
Lestriandoko et al. Circle detection based on hough transform and Mexican Hat filter
JP2009134587A (ja) 画像処理装置
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
Shin et al. Lane detection algorithm based on top-view image using random sample consensus algorithm and curve road model
CN107808165B (zh) 一种基于susan角点检测的红外图像匹配方法
US10210414B2 (en) Object detection system and computer program product
CN115937825B (zh) 在线俯仰角估计的bev下鲁棒车道线生成方法及装置
JP2022538127A (ja) 非接触指紋画像のスラップセグメンテーション