CN117529746A - 物体识别系统、物体识别程序以及物体识别方法 - Google Patents

物体识别系统、物体识别程序以及物体识别方法 Download PDF

Info

Publication number
CN117529746A
CN117529746A CN202280043329.9A CN202280043329A CN117529746A CN 117529746 A CN117529746 A CN 117529746A CN 202280043329 A CN202280043329 A CN 202280043329A CN 117529746 A CN117529746 A CN 117529746A
Authority
CN
China
Prior art keywords
image
registered
appearance
objects
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280043329.9A
Other languages
English (en)
Inventor
宫本龙介
竹松干生
花城志帆
纪之定正一
北出雄二郎
学多晃司
山田悦志
刈谷葵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Integrated Printing Co ltd
Zhensheng Printing Co ltd
Meiji University
Original Assignee
Digital Integrated Printing Co ltd
Zhensheng Printing Co ltd
Meiji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Integrated Printing Co ltd, Zhensheng Printing Co ltd, Meiji University filed Critical Digital Integrated Printing Co ltd
Publication of CN117529746A publication Critical patent/CN117529746A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Abstract

本发明解决了提供一种新的物体识别系统的问题，该物体识别系统即使在设想相似的物体的情况下也能够更适当地确定物体。物体识别系统推定用户拍摄的物体图像中包含的对象物体是登记在数据库中的登记物体中的哪一个。物体识别系统包括：获取单元，获取所述物体图像；登记单元，针对一个物体将表示分别从不同的特征角度观察时的外观的多个外观图像按每个所述登记物体登记在所述数据库中；以及推定单元，基于所述物体图像以及所述外观图像，推定所述对象物体是哪一个所述登记物体。

Description

物体识别系统、物体识别程序以及物体识别方法
技术领域
本发明涉及根据拍摄了物体的图像来识别该物体是事先登记的登记物体中的哪一个的物体识别系统、物体识别程序以及物体识别方法。
背景技术
例如，对于工业产品或其部件，有时由于破损或丢失等而想要再次订购。但是，特别是如果是专用的产品或部件，则即使持有实物也不知道其产品名、型号等的情况较多，此外，由于存在多种类似的产品或部件，因此产生了需要者不能确定需要的产品的问题。特别是最近进行了很多通过因特网的商品的销售，但在需要者自身不能确定对象的商品的情况下，结果，需要持有实物去店铺个别咨询、或附加图像进行多次的交流，不能确保充分的便利性。
关于这样的课题，已知有根据物品的外观图像来确定预先登记在词典中的商品的技术。例如，在专利文献1中，公开了如下技术：读入表示物品的外观的信息，提取多个其特征量，与各商品的特征量进行比较，由此识别商品候选。
现有技术文献
专利文献
专利文献1：日本特开2018-142358号公报
例如，如专利文献1那样，在从对象的经营商品中选择候选即可的情况下，能够根据物品的外观比较容易地确定商品候选，此外，在存在多个候选的情况下，也能够通过使用户选择来适当地确定商品。然而，特别是在确定具有较多类似的形状的产品或部件的情况下，存在如下课题：仅通过登记从一个方向观察到的外观，有时类似的物体较多而无法确定。
发明内容
因此，本发明的课题在于提供一种即使在设想相似的物体的情况下也能够更适当地确定物体的新的物体识别系统。
为了解决上述课题，本发明是一种物体识别系统，推定用户拍摄的物体图像中包含的对象物体是登记在数据库中的登记物体中的哪一个，所述物体识别系统具备：获取单元，获取所述物体图像；登记单元，对于针对一个物体表示分别从不同的特征角度观察时的外观的多个外观图像，将外观图像或其特征量作为按每个所述登记物体的外观信息登记在所述数据库中；以及推定单元，基于所述物体图像以及所述外观信息，推定所述对象物体是哪一个所述登记物体。
通过采用这样的结构，能够基于每个物体的多方面的外观图像更准确地识别物体。
在本发明的优选方式中，所述登记单元具有如单元：基于表示所述登记物体的三维形状的信息，生成多个所述外观图像，将基于所生成的外观图像的所述外观信息按每个所述登记物体登记在所述数据库中。
通过采用这样的结构，由于能够基于三维形状的信息来登记外观图像，因此不需要针对各登记物体分别拍摄多个外观图像的工夫，能够容易地制作登记物体的数据库。
在本发明的优选方式中，所述登记单元具有如下单元：获取拍摄了所述登记物体的图像，按每个所述登记物体将该图像作为所述外观图像并将所述外观信息登记在所述数据库中。
通过采用这样的结构，能够将通过实际拍摄物体而得到的图像作为外观图像来登记，并通过与由用户获取的物体图像相似的外观图像来进行对照。
在本发明的优选方式中，所述登记单元生成或获取外观上伴有附着物的所述登记物体的所述外观图像，并将基于所生成的外观图像的所述外观信息登记在所述数据库中。
实际上，在用户拍摄物体时，物体上伴有污垢、瑕疵或锈等附着物的物体有时成为被摄体。这样，通过将外观上伴有附着物的外观图像登记到数据库中，能够期待如下效果：即使在有附着物的情况下，也能够辅助适当地进行物体的识别。
在本发明的优选方式中，所述登记单元将所述外观信息与表示所述特征角度的信息对应地登记。
通过采用这样的结构，例如如果与多个物体图像一起从用户获取与其拍摄角度有关的信息，则能够基于与角度对应的外观的变化来确定物体，能够进一步提高精度。
在本发明的优选方式中，所述登记单元构成为能够将包含用于将所述登记物体与其他物体区别的信息的特征图像与登记物体对应地登记，所述推定单元确定具有是所述对象物体的可能性的所述登记物体的候选，基于该登记物体的所述特征图像，生成用于指示用户拍摄所述对象物体的拍摄指示信息。
通过采用这样的结构，例如通过将包含具有在其他登记物体上没有的特征的形状、独自的刻印等的部分的图像作为特征图像来登记，能够对用户进行拍摄指示以拍摄该部分。由此，即使在存在多个相似的物体的情况下，也能够更准确地确定对象物体。
在本发明的优选方式中，在不能确定具有是所述对象物体的可能性的所述登记物体的候选的情况下，所述推定单元生成用于指示用户除去所述对象物体的附着物的拍摄指示信息。
通过采用这样的结构，即使在因附着物而与登记了外观的外观图像背离的情况下，也能够适当地向用户发出指示，由此获取能够准确地识别物体的物体图像。
在本发明的优选方式中，所述推定单元通过使用将所述物体图像作为输入、将与所述物体图像中包含的对象物体相同的登记物体作为输出的教师数据进行了学习的推定模型，推定所述对象物体是哪一个所述登记物体。
通过采用这样的结构，适当地选择数据集，由此能够提高推定精度。
本发明是一种物体识别程序，用于推定用户拍摄的物体图像中包含的对象物体是登记在数据库中的登记物体中的哪一个，所述物体识别程序使计算机发挥如下功能：获取单元，获取所述物体图像；登记单元，对于针对一个物体表示分别从不同的特征角度观察时的外观的多个外观图像，将外观图像或其特征量作为按每个所述登记物体的外观信息登记在所述数据库中；以及推定单元，基于所述物体图像以及所述外观信息，推定所述对象物体是哪一个所述登记物体。
本发明是一种物体识别方法，推定用户拍摄的物体图像中包含的对象物体是登记在数据库中的登记物体中的哪一个，所述物体识别方法使计算机执行如下步骤：获取步骤，获取所述物体图像；登记步骤，对于针对一个物体表示分别从不同的特征角度观察时的外观的多个外观图像，将外观图像或其特征量作为按每个所述登记物体的外观信息登记在所述数据库中；以及推定步骤，基于所述物体图像以及所述外观信息，推定所述对象物体是哪一个所述登记物体。
根据本发明，能够提供一种即使在设想相似的物体的情况下也能够更适当地确定物体的新的物体识别系统。
附图说明
图1是本发明的实施方式所涉及的物体识别系统的功能框图。
图2是说明本发明的实施方式所涉及的物体的一例的图。
图3是表示本发明的实施方式所涉及的物体识别系统的外观图像的拍摄方向的图。
图4是表示本发明的实施方式所涉及的物体识别系统的外观图像的一例的图。
图5是表示在本发明的实施方式所涉及的物体识别系统中存储于数据库的物体信息的一例的图。
图6是本发明的实施方式所涉及的物体识别系统的物体识别所涉及的处理流程图。
图7是本发明的实施方式所涉及的物体识别系统的拍摄指示的显示例。
图中标示如下：
1：物体识别装置
2：终端装置
11：登记单元
12：获取单元
13：推定单元
21：摄像单元
22：输入单元
23：输出单元
DB：数据库
NW：网络
具体实施方式
以下，使用附图对本发明的物体识别系统进行说明。另外，以下所示的实施方式是本发明的一例，本发明不限于以下的实施方式，也可以采用各种结构。
例如，在本实施方式中，对物体识别系统的结构、动作等进行说明，但同样结构的方法、装置、计算机程序等也能够起到同样的作用效果。此外，程序也可以存储在记录介质中。如果使用该记录介质，则例如能够在计算机中安装程序。这里，存储了程序的记录介质例如也可以是CD-ROM等非临时性的记录介质。
在本发明中，“物体”是指作为实物存在的任意物体，对象不受限定。在本实施方式中，将工业产品、构成该产品的部件、组合了多个部件的子组件等设想为物体。
在本发明中，事先将多个物体与其外观一起登记，将该登记后的该物体称为“登记物体”。然后，基于其外观来识别用户拍摄的对象物体是登记物体中的哪一个。
此外，在本发明中，将表示从特定的角度观察登记物体时的外观的图像称为外观图像。以下将该特定的角度称为“特征角度”，在本实施方式中，表示外观图像或从外观图像得到的特征量的外观信息按每个外观图像与特征角度对应地存储在数据库中。通过按每个登记物体存储与分别不同的特征角度对应的多个外观图像的外观信息，能够基于外观进行物体的识别。
以下，在本实施方式中，作为外观信息设想外观图像本身，将外观信息的登记表述为“登记外观图像”来简化说明，但也可以使用外观图像的特征量来代替外观图像。这里，作为特征量，能够使用通过基于外观图像的像素值进行计算而得到的矢量值。作为特征量，优选使用组合了图像的局部特征和全局特征的信息。此外，也可以通过机器学习来确定所使用的特征量。例如，设想通过使神经网络模型学习从物体的拍摄图像中识别物体的种类的任务，使模型进行特征量的提取，以提高识别精度的方式确定所使用的特征量。
另外，对于同一登记物体，也可以对相同的特征角度登记多个外观图像。例如，在本实施方式中，与同一登记物体的物体信息相关联，作为与同一特征角度对应的外观图像，登记伴有锈、污垢、损伤等附着物的情况下的多个外观图像和不伴有这样的附着物的外观图像。此外，在本发明中，外观信息不一定与特征角度对应地登记，也可以是将物体信息与外观图像相关联地登记的方式。
接着，参照图1对本实施方式的物体识别系统的功能结构进行说明。本实施方式的物体识别系统构成为物体识别装置1和终端装置2能够经由网络NW进行通信，物体识别装置1通过有线或无线方式与数据库DB连接。物体识别装置1从终端装置2接收用户拍摄的物体图像并进行识别处理，由此识别物体图像中包含的对象物体是数据库DB中登记的登记物体中的哪一个。
作为物体识别装置1，能够利用服务器装置等一般的计算机装置，该计算机装置具备CPU(Central Processing Unit，中央处理单元)或GPU(Graphics Processing Unit，图形处理器)等运算装置、RAM(Random Access Memory，随机存取存储器)等主存储装置、HDD(Hard Disk Drive，硬盘驱动器)或SSD(Solid State Drive，固态硬盘)、闪存器等辅助存储装置、包括与网络NW的连接单元的各种输入输出装置等。此外，也可以使用多个计算机构成物体识别装置1。
作为终端装置2，能够利用具备照相机、运算装置、存储装置、包括与网络NW的连接单元的各种输入输出装置等的智能手机、平板型终端等任意的计算机装置。用于向物体识别装置1进行物体图像的发送的专用应用程序、用于访问专用网页的浏览器应用程序等存储在存储装置中，运算装置执行各种处理，由此任意的计算机装置作为本发明的终端装置2发挥功能。
另外，在本实施方式中，将具备照相机的计算机用作终端装置2，经由网络NW将物体图像发送到物体识别装置1，但例如也可以是从数码照相机等以有线或无线方式将物体图像直接发送到物体识别装置1的结构。或者，也可以是物体识别装置1获取事先存储在任意的数据库等中的物体图像的结构。
物体识别装置1具备：登记单元11，按每个登记物体登记外观图像；获取单元12，获取从终端装置2发送的物体图像；以及推定单元13，推定物体图像中包含的对象物体是哪一个登记物体。另外，这些单元也可以分散地设置在多个计算机中。
登记单元11按每个登记物体物登记体信息，并与物体信息相关联地登记多个外观图像。外观图像表示分别从特定的特征角度观察时的物体的外观，与特征角度对应地登记。以下，使用图2～4，对外观图像的登记例进行说明。
这里，为了说明外观图像的登记例，图2表示了物体的一例。如上所述，物体的种类没有限定，但在此例如以图2所示的差压变送器为例进行设想。该差压变送器在上游侧的配管与下游侧的配管之间设置节流部，测量上游侧的压力与下游侧的压力的差异，测量通过配管内的流体的流量。如图2所示，差压变送器能够分为多个部件，在该例中，设想将作为构成差压变送器的部件之一的导管作为登记物体进行登记。
在该例中，在导管中具有低压侧和高压侧，虽然有区别，但其形状非常相似，难以区分它们。这样，在设想非常相似的部件等物体的情况下，与多个特征角度对应地登记外观图像，以便能够区分各个物体。另外，优选登记多个特征角度下的多个外观图像，但与特征角度的对应不是必须的，也可以是仅分别登记不同的特征角度下的多个外观图像的方式。
例如，如图3所示，外观图像能够通过分别从物体的上方、水平位置、下方一边绕铅垂方向的轴错开观察角度(特征角度)一边进行拍摄而获取。这里，在外观图像的获取中，既可以是按每个特征角度实际移动物体、照相机来拍摄实物，或者也可以是使用CG(ComputerGraphics，计算机图形学)技术来获取表示三维形状的信息，并基于此生成从各特征角度观察时的外观图像。
图4表示这样获取的按每个特征角度的外观图像的例子。在本实施方式中，作为特征角度，与从作为基准的位置的水平方向以及铅垂方向的角度对应地登记表示各自外观的图像。另外，这里，对于铅垂方向的角度，设为上方、水平、下方三个阶段，但对于这些例如也可以将水平设为0度，每隔规定的间隔(例如30度)在-90度至90度的范围内变化。此外，特征角度也可以不一定是这样的一定间隔。
此外，进一步地，本实施方式的登记单元11将与外观图像不同或将外观图像的一部分作为包含用于将登记物体与其他物体区别的信息的特征图像与物体信息相关联地登记。例如，在图3的导管的例子中，能够将在低压侧和高压侧刻印有不同的文字的部分的图像作为特征图像进行登记。在本实施方式中，登记单元11对于特征图像也与外观图像的特征角度同样地与该观察角度对应地登记。这里，特征图像的观察角度是容易将登记物体与其他相似的物体区别的角度。
获取单元12获取终端装置2拍摄的物体图像。物体图像的获取方法没有限定，例如，也可以是将事先拍摄的图像作为物体图像上传的方式，但在本实施方式中，设想如下方式：将终端装置2所具备的照相机朝向对象物体，随时拍摄物体图像，每次或以规定的间隔发送到物体识别装置1，由获取单元12获取。此外，在本实施方式中，获取单元12还与物体图像一起一并获取与该拍摄角度有关的信息。
推定单元13基于获取单元12所获取的物体图像以及登记在数据库DB中的登记物体的外观图像，推定物体图像中包含的对象物体是哪一个登记物体。在本实施方式中，使用通过将物体图像作为输入、将与物体图像中包含的对象物体相同的登记物体作为输出的教师数据进行了学习的推定模型，推定对象物体是哪一个登记物体。即，推定单元13将外观图像作为输入，将物体图像输入到对推定与其对应的登记物体的任务进行了学习的推定模型，由此推定对象物体是哪一个登记物体。
数据库DB存储每个登记物体的物体信息、与物体信息关联的外观图像等各种信息。图5是表示在数据库DB中登记的每个登记物体的物体信息的一例的图。作为物体信息，存储唯一地识别登记物体的物体ID、型号、物体名、制造商名、特征图像ID和拍摄指示。特征图像ID是特别指定为了将登记物体与其他相似的登记物体区分而表示重要部位的外观的特征图像的信息。这样，在本实施方式中，按每个登记物体登记特征图像。
特征图像是表示从物体的特征形状、刻印、印字等对与其他物体区别有用的拍摄方向观察的外观的图像。例如，也可以将放大物体的特征部位而拍摄的图像用作特征图像。也可以将与特征图像对应的外观图像中的任一个用作特征图像，但也可以与外观图像不同，例如使用放大了特定的部位而不是整个物体的图像等。即，特征图像既可以与表示物体的观察角度的信息对应，也可以不对应。此外，拍摄指示是用于促使用户拍摄特征图像所表示的部位的语句，登记为字符串。另外，作为拍摄指示，也可以是表示拍摄方向的箭头的图示(图像)等其他形式。
这样，每个特征角度的外观图像、特征图像按每个登记物体登记在数据库DB中。而且，本发明基于登记后的信息和由用户拍摄的物体图像，推测物体图像中包含的对象物体是登记物体中的哪一个。以下，使用流程图对物体的识别处理的步骤进行说明。
图6是本实施方式中的识别处理的流程图。在本实施方式中，在终端装置2中，摄像单元21拍摄对象物体，生成物体图像。在物体识别装置1中，首先，在步骤S1中，获取单元12获取从终端装置2发送的物体图像。这里，在本实施方式中，与物体图像一起还获取由终端装置2所具备的加速度传感器、陀螺传感器等得到的与拍摄角度有关的信息。
这里，在物体图像的拍摄中，可以一张一张地接受拍摄指示来进行拍摄，但优选用户将照相机朝向物体，在此期间摄像单元21随时连续地获取物体图像并发送到物体识别装置1。由此，获取单元12连续地获取多个物体图像，并基于此如后述那样进行推定处理，因此能够期待提高识别精度的效果。此外，对于拍摄角度，也不需要在每次获取物体图像时作为绝对值来获取，也可以通过以某个物体图像的拍摄角度为基准，在哪个方向上运动了多少这样的相对变化来获取。
接着，在步骤S2中，推定单元13基于物体图像以及数据库DB中登记的信息来确定对象物体的候选。具体而言，例如可以设想如下方法：使用对基于数据库DB中登记的外观图像以及其特征角度来识别物体的任务进行了学习的神经网络模型，输入物体图像以及与拍摄角度有关的信息，由此确定对象物体的候选。
在步骤S3中，推定单元13判定候选的确定是否成功。例如，可以考虑：在步骤S2中按每个登记物体计算对象物体是各登记物体的概率，根据是否存在计算出规定值以上的概率的登记物体来判定候选的确定的成功与否。在该情况下，在不存在满足规定值以上的数值的登记物体的情况下，判断为候选的确定失败，前进至步骤S4。
在不能确定候选的情况下，设想物体图像中有可能存在问题。例如由于污垢、锈、其他附着物而物体的形状、颜色等外观发生了变化的情况等。因此，在本实施方式中，在步骤S4中，推定单元13生成用于指示用户除去对象物体的附着物的拍摄指示信息，并发送到终端装置2。然后，在终端装置2中，能够通过进行基于拍摄指示信息的输出，指示用户除去附着物。此外，除此之外，由于设想在拍摄物体图像时检测到大的移动的情况下因抖动而导致物体图像的不良，所以也可以生成指示“请不要移动”等的拍摄指示信息等其他拍摄指示信息，以使在一定时间内不移动。
在步骤S3中，在候选的确定成功的情况下，前进至步骤S5，推定单元13进一步确认是否存在多个候选。在存在多个候选的情况下，前进至步骤S6，推定单元13基于所确定的候选的任一个登记物体中的特征图像，生成用于指示用户拍摄对象物体的拍摄指示信息。推定单元13将所生成的拍摄指示信息发送到终端装置2，输出单元23进行基于拍摄指示信息的输出。
图7是基于拍摄指示信息显示的指示画面的显示例。在本实施方式中，推定单元13基于所确定的任一个候选的物体信息中的特征图像以及拍摄指示，生成拍摄指示信息。这里，显示特征图像，作为拍摄指示，一并显示“请像图像那样拍摄刻印。”这样的语句。此外，例如，也可以是将特征图像重叠显示在拍摄图像的预览上，指示“请将物体对准引导标志”等的方式。可以任意地决定使用候选中的哪个登记物体的特征图像以及拍摄指示。例如，设想使用在步骤S3中计算出的概率高的候选的物体信息的方法等。
此外，这里表示了原样显示特征图像以及拍摄指示的例子，但除此之外，也可以生成具体指示拍摄角度等的拍摄指示信息。例如，设想与特征图像对应地将其观察角度登记在数据库DB中，生成基于此的拍摄指示信息。
更具体而言，首先，获取单元12与物体图像一起获取其拍摄角度。然后，推定单元13比较该拍摄角度和与特征图像对应的观察角度，生成具体地指示移动量以及移动方向、即从当前的拍摄角度向哪个方向移动多少即可的拍摄指示信息。在该情况下，作为输出单元23输出的拍摄指示，例如能够显示“请向右移动30度进行拍摄”等语句、表示移动照相机的方向的箭头等。
另外，这样，在本实施方式中，基于所确定的候选的特征图像生成拍摄指示信息，但也可以不使用特征图像、其观察角度，而生成例如“请从其他方向进行拍摄”、“请旋转物体”等仅指示变更拍摄角度的拍摄指示信息。
如上所述，在本实施方式中，由于连续地获取物体图像，因此通过用户按照指示移动照相机，再次进行识别。这里，由于在步骤S3中已经缩小了候选，因此基于按照步骤S6的指示获取的物体图像以及特征图像，推定单元13从该候选中确定更适当的登记物体，将在步骤S7中所确定的登记物体作为候选输出到终端装置2，从用户接受对识别结果的认可。另外，这里也可以不缩小选择项，而以全部登记物体为对象进行与步骤S2～步骤S5同样的处理。
然后，如果用户认可所显示的候选(在步骤S8中为Yes)，则前进至步骤S9，确定物体并结束处理。另一方面，在认为所显示的候选与拍摄的对象物体不同的情况下，则用户选择不认可(在步骤S8中为No)，返回步骤S1再次重新进行识别处理。
如上所述，根据本实施方式的物体识别系统，用户使用终端装置2拍摄对象物体，由此即使在存在相似的物体的情况下，也能够适当地进行物体的识别。由此，例如，能够显示所确定的登记物体的销售页面、进行基于登记物体的询问，即使在用户自身不知道对象物体的型号等的情况下，也能够容易地进行物体的订购、修理、向制造商的询问等手续。
具体而言，设想在商品的通信销售页面中应用本发明，在确定了物体之后，显示用于将所确定的登记物体追加到购物车中的购买按钮。由此，即使在手边的物体的型号等不明的情况下，用户也能够容易地购买正确的商品。此外，例如，设想在产品的制造商提供的网站中应用本发明，在确定了物体之后，显示用于显示所确定的登记物体的手册组的链接的手册显示按钮。作为手册组，可以包括物体的修理步骤书、使用说明书、安装说明书、规格书等。
另外，在上述的应用例中，在物体是商品的一部分的部件而不能进行单体的购买的情况下、不存在部件自身的手册的情况下等，也可以将物体信息与该商品相关联，显示与所关联的商品对应的商品的购买按钮、手册按钮。

Claims (9)

1.一种物体识别系统，推定用户拍摄的物体图像中包含的对象物体是登记在数据库中的登记物体中的哪一个，所述物体识别系统具备：
获取单元，获取所述物体图像；
登记单元，对于针对一个物体表示分别从不同的特征角度观察时的外观的多个外观图像，将外观图像或其特征量作为按每个所述登记物体的外观信息登记在所述数据库中，并且将表示对将所述登记物体与其他物体区别有用的部位的特征图像、以及用于促使用户拍摄所述特征图像所示的部位的拍摄指示按每个登记物体登记在所述数据库中；以及
推定单元，基于所述物体图像以及所述外观信息，推定所述对象物体是哪一个所述登记物体，确定具有是所述对象物体的可能性的所述登记物体的候选，基于该登记物体的所述特征图像以及拍摄指示，生成用于向用户提供与所述对象物体的拍摄有关的指示的拍摄指示信息。
2.根据权利要求1所述的物体识别系统，其中，
所述登记单元具有如下单元：使所述登记物体的三维模型旋转，生成从各特征角度观察的多个所述外观图像，将基于所生成的外观图像的所述外观信息按每个所述登记物体登记在所述数据库中。
3.根据权利要求1或2所述的物体识别系统，其中，
所述登记单元具有如下单元：获取拍摄了所述登记物体的图像，按每个所述登记物体将该图像作为所述外观图像并将所述外观信息登记在所述数据库中。
4.根据权利要求1至3中任一项所述的物体识别系统，其中，
所述登记单元生成或获取外观上伴有附着物的所述登记物体的所述外观图像，并将基于所生成的外观图像的所述外观信息登记在所述数据库中。
5.根据权利要求1至4中任一项所述的物体识别系统，其中，
所述登记单元将所述外观信息与表示所述特征角度的信息对应地登记。
6.根据权利要求1至5中任一项所述的物体识别系统，其中，
在不能确定具有是所述对象物体的可能性的所述登记物体的候选的情况下，所述推定单元生成用于指示用户除去所述对象物体的附着物的拍摄指示信息。
7.根据权利要求1至6中任一项所述的物体识别系统，其中，
所述推定单元通过使用将所述物体图像作为输入、将与所述物体图像中包含的对象物体相同的登记物体作为输出的教师数据进行了学习的推定模型，推定所述对象物体是哪一个所述登记物体。
8.一种物体识别程序，用于推定用户拍摄的物体图像中包含的对象物体是登记在数据库中的登记物体中的哪一个，所述物体识别程序使计算机发挥如下功能：
获取单元，获取所述物体图像；
登记单元，对于针对一个物体表示分别从不同的特征角度观察时的外观的多个外观图像，将外观图像或其特征量作为按每个所述登记物体的外观信息登记在所述数据库中，并且将表示对将所述登记物体与其他物体区别有用的部位的特征图像、以及用于促使用户拍摄所述特征图像所示的部位的拍摄指示按每个登记物体登记在所述数据库中；以及
推定单元，基于所述物体图像以及所述外观信息，推定所述对象物体是哪一个所述登记物体，确定具有是所述对象物体的可能性的所述登记物体的候选，基于该登记物体的所述特征图像以及拍摄指示，生成用于向用户提供与所述对象物体的拍摄有关的指示的拍摄指示信息。
9.一种物体识别方法，推定用户拍摄的物体图像中包含的对象物体是登记在数据库中的登记物体中的哪一个，所述物体识别方法使计算机执行如下步骤：
获取步骤，获取所述物体图像；
登记步骤，对于针对一个物体表示分别从不同的特征角度观察时的外观的多个外观图像，将外观图像或其特征量作为按每个所述登记物体的外观信息登记在所述数据库中，并且将表示对将所述登记物体与其他物体区别有用的部位的特征图像、以及用于促使用户拍摄所述特征图像所示的部位的拍摄指示按每个登记物体登记在所述数据库中；以及
推定步骤，基于所述物体图像以及所述外观信息，推定所述对象物体是哪一个所述登记物体，确定具有是所述对象物体的可能性的所述登记物体的候选，基于该登记物体的所述特征图像以及拍摄指示，生成用于向用户提供与所述对象物体的拍摄有关的指示的拍摄指示信息。
CN202280043329.9A 2021-12-24 2022-11-30 物体识别系统、物体识别程序以及物体识别方法 Pending CN117529746A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021210042A JP7113469B1 (ja) 2021-12-24 2021-12-24 物体認識システム、物体認識プログラム及び、物体認識方法
JP2021-210042 2021-12-24
PCT/JP2022/044134 WO2023120070A1 (ja) 2021-12-24 2022-11-30 物体認識システム、物体認識プログラム及び、物体認識方法

Publications (1)

Publication Number Publication Date
CN117529746A true CN117529746A (zh) 2024-02-06

Family

ID=82740504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280043329.9A Pending CN117529746A (zh) 2021-12-24 2022-11-30 物体识别系统、物体识别程序以及物体识别方法

Country Status (4)

Country Link
EP (1) EP4343692A1 (zh)
JP (2) JP7113469B1 (zh)
CN (1) CN117529746A (zh)
WO (1) WO2023120070A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103109307A (zh) * 2010-04-28 2013-05-15 公立大学法人大阪府立大学 用于制作三维物体识别用图像数据库的方法和装置
CN108292456A (zh) * 2015-11-30 2018-07-17 凸版印刷株式会社 识别方法以及识别介质
CN110378303A (zh) * 2019-07-25 2019-10-25 杭州睿琪软件有限公司 用于对象识别的方法及系统
CN113421100A (zh) * 2020-03-03 2021-09-21 图灵深视(南京)科技有限公司 物品信息记录、流转、鉴别发起及服务方法、终端和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274097B2 (ja) 2014-12-17 2018-02-07 カシオ計算機株式会社 商品識別装置および商品認識ナビゲーション方法
JP2018169752A (ja) 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 商品認識システム、学習済みモデル、及び商品認識方法
JP6517398B2 (ja) 2018-05-01 2019-05-22 東芝テック株式会社 情報処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103109307A (zh) * 2010-04-28 2013-05-15 公立大学法人大阪府立大学 用于制作三维物体识别用图像数据库的方法和装置
CN108292456A (zh) * 2015-11-30 2018-07-17 凸版印刷株式会社 识别方法以及识别介质
CN110378303A (zh) * 2019-07-25 2019-10-25 杭州睿琪软件有限公司 用于对象识别的方法及系统
CN113421100A (zh) * 2020-03-03 2021-09-21 图灵深视(南京)科技有限公司 物品信息记录、流转、鉴别发起及服务方法、终端和系统

Also Published As

Publication number Publication date
JP2023095748A (ja) 2023-07-06
JP7113469B1 (ja) 2022-08-05
EP4343692A1 (en) 2024-03-27
JP2023094636A (ja) 2023-07-06
WO2023120070A1 (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
CN107690657B (zh) 根据影像发现商户
JP6330879B2 (ja) ヨー・ユーザインターフェイス
US9691158B1 (en) Tracking objects between images
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
JP6330880B2 (ja) カメラ姿勢におけるヨーエラー推定のアルゴリズム
CN106056111A (zh) 图像处理装置及图像处理方法
CN110222641B (zh) 用于识别图像的方法和装置
JP2017014014A (ja) 画像処理装置
JP6810359B2 (ja) 情報処理装置、制御方法、プログラム
KR102042793B1 (ko) 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스
CN110210480B (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
US20150371396A1 (en) Constructing a 3d structure
JPWO2017154655A1 (ja) 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラム
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
TWI734054B (zh) 資訊處理裝置、顯示位置調整方法及儲存媒體
CN111191708A (zh) 自动化样本关键点标注方法、装置及系统
US11205089B2 (en) Object identification device, object identification method, and recording medium
US20230130674A1 (en) Computer-readable recording medium storing learning program, learning method, and information processing apparatus
CN117529746A (zh) 物体识别系统、物体识别程序以及物体识别方法
JP2021077039A (ja) 画像処理装置、画像処理方法、及びプログラム。
US20230127469A1 (en) Computer-readable recording medium storing inference program, computer-readable recording medium storing learning program, inference method, and learning method
JP2020198054A (ja) プログラム、情報処理システム、情報処理装置及び情報処理方法
CN114386156B (zh) 基于bim的隐蔽构件显示方法、装置、设备及可读存储介质
CN115731189A (zh) 肠镜图像病变识别方法、装置、电子设备及存储介质
US11810231B2 (en) Electronic device and method for editing content of external device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination