CN107229941B - 示教数据的生成方法 - Google Patents

示教数据的生成方法 Download PDF

Info

Publication number
CN107229941B
CN107229941B CN201710176181.7A CN201710176181A CN107229941B CN 107229941 B CN107229941 B CN 107229941B CN 201710176181 A CN201710176181 A CN 201710176181A CN 107229941 B CN107229941 B CN 107229941B
Authority
CN
China
Prior art keywords
image
imaging device
teaching data
coordinate system
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710176181.7A
Other languages
English (en)
Other versions
CN107229941A (zh
Inventor
金丸智行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN107229941A publication Critical patent/CN107229941A/zh
Application granted granted Critical
Publication of CN107229941B publication Critical patent/CN107229941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries

Abstract

本发明提供一种示教数据生成方法。通过被配置在第1指定位置Pi上的拍摄装置(C)拍摄对象物,获取拍摄图像,并从获取的拍摄图像中抽取基础图像区域Si。生成下述结果作为示教数据,该结果是指:基础图像区域Si从一个图像坐标系相对下述假设的拍摄图像的坐标系进行了坐标变换的结果,该假设的拍摄图像是假设拍摄装置(C)被配置在与第1指定位置Pi不同的第2指定位置Pj上时由该拍摄装置(C)拍摄的拍摄图像。根据本发明的方法,能够在实现降低作为基础的图像的数量的同时,生成用于图像识别用的示教数据。

Description

示教数据的生成方法
技术领域
本发明涉及生成用于图像识别的示教数据的技术。
背景技术
已被提案有以下一种方法:利用事先在计算机上施以三维的旋转处理而生成的学习样本构成辨别器,对二维的旋转文字进行识别(例如,参照非专利文献1)。还被提案有以下一种方法:使用利用了图像的亮度梯度识别物体的SIFT(Scale-Invariant FeatureTransform)对同一物体图像进行抽取的方法、具体是指对某一图像根据原样图像和对原图像实施三维旋转后映射成二维而成的图像进行同一物体的匹配的方法(例如,参照非专利文献2)
现有技术文献
非专利文献
非专利文献1:“三维旋转不变文字的识别”成田了等(图像的识别与理解专题研讨会(MIRU2011)2011年7月)信息处理学会电子图书馆(https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages-view_main&active_action=repository_action_common_download&item_id=77644&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8)
非专利文献2:“利用被施以立体变形的图像的SIFT特征实施匹配”冈尾(高知工科大学学士学位论文(2013年3月1日)(http://www.kochi-tech.ac.jp/library/ron/2012/2012info/1130317.pdf)
发明内容
然而,为了从图像中抽取物体,以大量(例如7000以上)从不同视点拍摄的该物体的图像数据为基础生成图像识别用的示教数据时,会导致数据生成所需工时及成本显著增加。
因此,本发明的目的在于提供一种在实现降低作为基础的图像的数量的同时能够生成图像识别用的示教数据的方法。
本发明是生成对象物的图像识别用的示教数据的方法,其特征在于包括以下步骤:利用分别被配置在多个第1指定位置上的拍摄装置对所述对象物进行拍摄,由此获取多个拍摄图像的步骤;分别从所述多个拍摄图像抽取基础图像区域的步骤;以及,生成作为所述示教数据的下述结果的步骤,所述结果是:将所述基础图像区域从一个图像坐标系相对于多个拍摄图像的各个坐标系进行了坐标变换的结果,所述多个拍摄图像是假设所述拍摄装置分别被配置在与所述多个第1指定位置不同的多个第2指定位置上时由该拍摄装置拍摄的拍摄图像。
(发明效果)
根据本发明的方法,能够在实现降低作为基础的图像的数量的同时,生成用于图像识别中必要且充分的数量的示教数据。
附图的简单说明
图1是关于本发明的一实施方式的示教数据的制作方法的说明图。
图2是关于拍摄装置C的拍摄位置的说明图。
图3A是关于相机位置的变更方法的说明图。
图3B是关于相机的内部参数设定的说明图。
图4A是关于从多个不同位置实际拍摄到的物体的图像的说明图。
图4B是关于假设从多个不同位置进行拍摄时的物体的推测图像的说明图。
图5是关于实际的拍摄图像与推测图像的偏差的评价结果的说明图。
符号说明
C 拍摄装置
P1~P5 第1指定位置
Si 基础图像区域
具体实施方式
对作为本发明一实施方式的图像识别用的示教数据的生成方法进行说明。
首先,将表示构成基础的图像的拍摄张数的第1指数i设定成“1”(图1/步骤11)。拍摄装置C的位置P被调节到第1指定位置Pi(图1/步骤12)。拍摄装置C的姿势被调节成其光轴朝向现实空间极坐标系中的一点。
例如,如图2所示,在以三维极坐标系的原点为中心、在该中心上方有极点的半径R的半球面上,除了该极点P1以外,下述4个点P2~P5也被定义成第1指定位置。上述4个点P2~P5是在用θi=θ(20°≤θ≤70°)表述的纬度上沿经度方向等间隔配置的点。这时,第1指定位置Pi可以通过三维极坐标系的坐标值(risinθicosφi,risinθisinφi,ricosθi)来表达。拍摄装置C的位置及姿势可以通过操作者的手动操作调节后固定到云台等合适的器械上,也可以通过机械手臂等驱动装置进行自动调节。
接着,在位置P上由拍摄装置C拍摄物体,由此获取拍摄图像(图1/步骤13)。
从拍摄图像中抽取基础图像区域Si(图1/步骤14)。例如,人(操作者)在目视由输出界面显示的拍摄图像的同时,通过操作输入界面,抽取被识别为大致平面的区域作为基础图像区域Si。基础图像区域Si的抽取是仅针对任意少量张数的拍摄图像所实施的。拍摄装置的光学中心与基础图像区域Si的距离r利用合适的测距传感器进行测定。
判定第1指数i是否是第1指定数N1以上(图1/步骤15)。第1指定数N1例如可以设定成“5”。当被判定第1指数i未满第1指定数N1时(图1/步骤15···否),第1指数i仅增加“1”(图1/步骤16),并在此基础上,重复进行拍摄装置C的位置及姿势调节之后的步骤(图1/步骤12~步骤15)。也可以采用多个拍摄装置C分别被配置在多个指定位置上的形态。
当被判定第1指数i是第1指定数N1以上时(图1/步骤15···是),表示推测图像的生成张数的第2指数j被设定成“1”(图1/步骤21)。虚设的拍摄装置C的位置P被调节到与第1指定位置Pi不同的第2指定位置Pj上(图1/步骤22)。第2指定位置Pj也例如与第1指定位置Pi同样地被定义在上述半球面上(参照图2)。
具体来讲,除了利用如图3A所示的拍摄装置C的光学中心P=e(三维向量),还利用表示以拍摄装置C的光学中心P为基准的图像(基础图像区域Si)的中心方位的单位向量1=(c-e)/|c-e|、表示移动了拍摄装置C的光学中心后的拍摄装置C的向上的单位向量u’=s×l、以及单位向量s=l×u,通过关系式(1)定义使拍摄装置C的光学中心位置P发生变化的坐标变换行列M1
(数式1)
Figure BDA0001251811170000041
除了利用图3B中所示的拍摄装置C的景深(depth of field)的下限值dn及上限值df,还利用横向视角θx相对于纵向视角θy的纵横比(aspect ratio)a、以及f=1/tan(θy/2),通过关系式(2)定义基于拍摄装置C内部参数的变换行列M2
(数式2)
Figure BDA0001251811170000042
基础图像区域Si根据关系式(3)进行坐标变换后生成的结果Si^作为一个示教数据(图1/步骤23)。
(数式3)
Si^=M2M1Si··(3)
判定第2指数j是否是第2指定数N2以上(图1/步骤24)。第2指定数N2被设定成作为图像识别用的示教数据是必要且充分的数量,例如是“7000”。当被判定第2指数j未满第2指定数N2时(图1/步骤24···否),第2指数j仅增加“1”(图1/步骤25),并在此基础上,重复进行拍摄装置C的位置及姿势调节之后的步骤(图1/步骤22~步骤24)。并且,在当被判定第2指数j是第2指定数N2以上时(图1/步骤24···是),结束上述一系列步骤。除了通过前述的方式获取的基础图像区域,通过上述方式推算的推测图像群也作为示教数据被蓄积到数据库中。
然后,从在任意环境下获取的拍摄图像中抽取基础图像区域,该抽取结果与被蓄积在数据库中的示教数据进行对照或模式匹配(pattern-matching),由此识别出在与该基础图像区域相当的现实空间中存在涉及示教数据的物体。
(实施例)
在以大致矩形的平板状的物体表面中心为原点、以其表面为x-y平面的一部分平面的三维坐标系中,使半球面上的拍摄装置C的位置以经度恒定而纬度(或者三维极坐标系中的仰角)断续地发生变化的同时对物体进行拍摄。其中,所述半球面在z轴上具有极点。在图4A中,从左向右依次显示在该情况下拍摄到的实际的拍摄图像。在图4B中,从左向右依次显示下述图像:假设以上述同样的方式使拍摄装置C的位置发生变化的同时对相同物体进行拍摄,并按照前述方法推测的图像。
图5中以散点(plot)的方式示出了表示拍摄装置C的实际的(或虚设性的)位置的仰角θ和下述角度之间的关系。该角度是指:实际的拍摄图像以及推测图像上的、大致矩形板状的物体上一个端角在图像坐标系中的角度。这里假设生成20°≤θ≤160°范围内的推测图像。如图5所示,θ越大(拍摄装置C的位置越接近x-y平面),端角角度的偏差虽呈逐渐增大的趋势,但是最大相对偏差是1.9%。因此可以验证通过将该推测图像群作为示教数据进行使用,能够实现提高物体识别精度。

Claims (1)

1.一种示教数据生成方法,其生成对象物的图像识别用的示教数据,其特征在于,包括以下步骤:
利用分别被配置在多个第1指定位置上的拍摄装置对所述对象物进行拍摄,由此获取多个拍摄图像的步骤;
分别从所述多个拍摄图像抽取作为识别为平面的区域的多个基础图像区域的步骤;以及,
生成作为所述示教数据的下述结果的步骤,所述结果是:将所述基础图像区域从一个图像坐标系相对于多个拍摄图像的各个坐标系进行了坐标变换的结果,所述多个拍摄图像是假设所述拍摄装置分别被配置在与所述多个第1指定位置不同的多个第2指定位置上时由该拍摄装置拍摄的拍摄图像,
在所述获取多个拍摄图像的步骤中,通过所述拍摄装置对所述对象物进行拍摄来获取多个拍摄图像,所述拍摄装置配置于作为所述多个第1指定位置的各个位置的、半球面上的多个点的各个点的位置,所述半球面以三维极坐标系的原点为中心,并且所述拍摄装置的姿态被调节为光轴朝向所述三维极坐标系的原点,
在所述生成示教数据的步骤中,产生多个结果中的各个结果作为所述示教数据,所述多个结果是:将多个所述基础图像区域中的各个基础图像区域分别从所述一个图像坐标系相对于所述多个拍摄图像的各个坐标系进行了坐标变换的结果,所述多个拍摄图像是假设所述拍摄装置被配置在作为所述多个第2指定位置的各个位置的所述半球面上的多个点的各个点的位置,并且所述拍摄装置的姿态被调整为其光轴朝向所述三维极坐标系的原点时由该拍摄装置拍摄的拍摄图像。
CN201710176181.7A 2016-03-25 2017-03-22 示教数据的生成方法 Active CN107229941B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016062606A JP6431495B2 (ja) 2016-03-25 2016-03-25 教師データ生成方法
JP2016-062606 2016-03-25

Publications (2)

Publication Number Publication Date
CN107229941A CN107229941A (zh) 2017-10-03
CN107229941B true CN107229941B (zh) 2020-11-27

Family

ID=59898566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710176181.7A Active CN107229941B (zh) 2016-03-25 2017-03-22 示教数据的生成方法

Country Status (3)

Country Link
US (1) US10311317B2 (zh)
JP (1) JP6431495B2 (zh)
CN (1) CN107229941B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220237485A1 (en) * 2021-01-28 2022-07-28 Kyocera Document Solutions Inc. Printing a portion of a web page using artificial intelligence

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069996A (ja) * 2007-09-11 2009-04-02 Sony Corp 画像処理装置および画像処理方法、認識装置および認識方法、並びに、プログラム
CN102737251A (zh) * 2011-03-31 2012-10-17 索尼公司 图像处理设备、图像处理方法、程序和记录介质
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
CN104647377A (zh) * 2014-12-30 2015-05-27 杭州新松机器人自动化有限公司 一种基于认知系统的工业机器人及其控制方法
CN105234943A (zh) * 2015-09-09 2016-01-13 大族激光科技产业集团股份有限公司 一种基于视觉识别的工业机器人示教装置及方法
JP2016006616A (ja) * 2014-06-20 2016-01-14 ヤフー株式会社 学習装置、学習方法及び学習プログラム
CN105930845A (zh) * 2015-02-26 2016-09-07 韩华泰科株式会社 部件信息的示教方法及其装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674461B1 (en) * 1998-07-07 2004-01-06 Matthew H. Klapman Extended view morphing
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US8134613B2 (en) * 2001-04-10 2012-03-13 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
US7822264B2 (en) * 2003-08-15 2010-10-26 Scape A/S Computer-vision system for classification and spatial localization of bounded 3D-objects
EP1574820B1 (en) * 2004-03-07 2010-05-19 Rafael - Armament Development Authority Ltd. Method and system for pseudo-autonomous image registration
US7502498B2 (en) * 2004-09-10 2009-03-10 Available For Licensing Patient monitoring apparatus
US7480414B2 (en) * 2004-10-14 2009-01-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
US7650030B2 (en) * 2004-12-03 2010-01-19 Sarnoff Corporation Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US20070086627A1 (en) * 2005-10-18 2007-04-19 Samsung Electronics Co., Ltd. Face identification apparatus, medium, and method
US7878402B2 (en) * 2005-12-20 2011-02-01 Cognex Technology And Investment Corporation Decoding distorted symbols
US8078436B2 (en) * 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
US8457390B1 (en) * 2008-10-10 2013-06-04 Cognex Corporation Method and apparatus for training a probe model based machine vision system
US8817071B2 (en) * 2009-11-17 2014-08-26 Seiko Epson Corporation Context constrained novel view interpolation
US8712156B2 (en) * 2010-01-10 2014-04-29 Bronstein Bronstein Kimmel Technologies Ltd. Comparison of visual information
KR101658578B1 (ko) * 2010-01-27 2016-09-22 삼성전자주식회사 복합 센서의 캘리브레이션 장치 및 방법
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
US8509534B2 (en) * 2010-03-10 2013-08-13 Microsoft Corporation Document page segmentation in optical character recognition
JP2011210087A (ja) * 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5501084B2 (ja) * 2010-04-28 2014-05-21 株式会社日立製作所 平面領域検出装置及びステレオカメラシステム
WO2012006578A2 (en) * 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
PL2594077T3 (pl) * 2010-07-15 2016-04-29 Ge Video Compression Llc Hybrydowe kodowanie wideo obsługujące syntezę widoku pośredniego
JP5800494B2 (ja) * 2010-11-19 2015-10-28 キヤノン株式会社 特定領域選択装置、特定領域選択方法及びプログラム
US8649633B2 (en) * 2010-12-03 2014-02-11 Siemens Aktiengesellschaft Image registration system with movable region indicating similarity of alignment
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
JP5759161B2 (ja) * 2010-12-16 2015-08-05 キヤノン株式会社 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
WO2012175731A1 (en) * 2011-06-24 2012-12-27 Softkinetic Software Depth measurement quality enhancement
US8699789B2 (en) * 2011-09-12 2014-04-15 Xerox Corporation Document classification using multiple views
CN107148632B (zh) * 2014-04-24 2020-10-27 河谷控股Ip有限责任公司 用于基于图像的目标识别的稳健特征识别

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069996A (ja) * 2007-09-11 2009-04-02 Sony Corp 画像処理装置および画像処理方法、認識装置および認識方法、並びに、プログラム
CN102737251A (zh) * 2011-03-31 2012-10-17 索尼公司 图像处理设备、图像处理方法、程序和记录介质
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
JP2016006616A (ja) * 2014-06-20 2016-01-14 ヤフー株式会社 学習装置、学習方法及び学習プログラム
CN104647377A (zh) * 2014-12-30 2015-05-27 杭州新松机器人自动化有限公司 一种基于认知系统的工业机器人及其控制方法
CN105930845A (zh) * 2015-02-26 2016-09-07 韩华泰科株式会社 部件信息的示教方法及其装置
CN105234943A (zh) * 2015-09-09 2016-01-13 大族激光科技产业集团股份有限公司 一种基于视觉识别的工业机器人示教装置及方法

Also Published As

Publication number Publication date
US10311317B2 (en) 2019-06-04
CN107229941A (zh) 2017-10-03
US20170277976A1 (en) 2017-09-28
JP2017174350A (ja) 2017-09-28
JP6431495B2 (ja) 2018-11-28

Similar Documents

Publication Publication Date Title
JP6732214B2 (ja) 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
Kuo et al. 3D object detection and pose estimation from depth image for robotic bin picking
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN109559341B (zh) 一种机械臂抓取方案的生成方法及装置
CN106845354B (zh) 零件视图库构建方法、零件定位抓取方法及装置
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN112509036B (zh) 位姿估计网络训练及定位方法、装置、设备、存储介质
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN116249607A (zh) 用于机器人抓取三维物体的方法和装置
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN107229941B (zh) 示教数据的生成方法
JP5743935B2 (ja) 対象物検出装置および対象物検出方法
Żak et al. Local image features matching for real-time seabed tracking applications
WO2020133080A1 (zh) 物体定位方法、装置、计算机设备及存储介质
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
WO2023083154A1 (zh) 用于三维重建的方法、系统和存储介质
JP6198104B2 (ja) 3次元物体認識装置及び3次元物体認識方法
CN106622990B (zh) 零件定位识别处理系统
Hamzah et al. Software Calibration for Stereo Camera on Stereo Vision Mobile Robot using Tsai's Method
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
JP2015184743A (ja) 画像処理装置および物体認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant