CN110310330A - 位置关系检测装置 - Google Patents

位置关系检测装置 Download PDF

Info

Publication number
CN110310330A
CN110310330A CN201910235147.1A CN201910235147A CN110310330A CN 110310330 A CN110310330 A CN 110310330A CN 201910235147 A CN201910235147 A CN 201910235147A CN 110310330 A CN110310330 A CN 110310330A
Authority
CN
China
Prior art keywords
information
code
display
detection
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910235147.1A
Other languages
English (en)
Other versions
CN110310330B (zh
Inventor
依田卓也
凌通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ELECTRIC APPARATUS WAVE Co Ltd
Original Assignee
ELECTRIC APPARATUS WAVE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018168798A external-priority patent/JP7305320B2/ja
Application filed by ELECTRIC APPARATUS WAVE Co Ltd filed Critical ELECTRIC APPARATUS WAVE Co Ltd
Publication of CN110310330A publication Critical patent/CN110310330A/zh
Application granted granted Critical
Publication of CN110310330B publication Critical patent/CN110310330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

提供一种即使是利用架板配置的所有信息码未被拍摄到一个拍摄图像中的陈列架上所陈列各物品，也能够检测各物品的位置关系的结构。在陈列架(1)中针对陈列各个种类的物品的每个位置，利用架板(2a～2c)，分别以规定的尺寸配置记录有能够确定该物品的种类的确定信息的信息码(C1～C9)。而且，在存储部(25)中未存储有检测完成码的状态下，通过摄像部(22)拍摄到的一个拍摄图像中包含有确定信息被读取的两个以上的信息码时，基于该信息码的尺寸，对该两个以上的信息码检测相对位置关系。另外，针对判定为处于与至少一个检测完成码一起包含有未检测码的部分未检测状态的拍摄图像，基于基准码的尺寸检测未检测码相对于检测完成码的相对位置关系。

Description

位置关系检测装置
技术领域
本发明涉及一种位置关系检测装置，其利用信息码检测陈列在陈列架上的各物品的位置关系。
背景技术
以往，关于陈列在陈列架上的商品等的管理，具有要掌握陈列架上的每个商品的位置关系的要求，作为与这样检测陈列在陈列架上的商品等的位置关系的位置关系检测装置相关的技术，例如，已知下述专利文献1中公开的商品陈列位置的判定处理方法。在该商品陈列位置的判定处理方法中，在商品陈列架的各架板的前侧表面安装有赋予了识别商品陈列架的各位置的位置识别信息的位置标签、以及赋予了识别陈列在商品陈列架上的各商品的商品识别信息的商品标签。而且，当获取商品陈列架的拍摄图像时，确定根据该拍摄图像检测到的位置识别信息及商品识别信息在拍摄图像上的坐标。然后，当选择相邻的一组位置识别信息，并且在该选择出的一组位置识别信息之间检测到商品识别信息时，则判定为在与所选择的一组位置识别信息相对应的两个位置之间陈列着与检测到的商品识别信息相对应的商品，并记录在商品陈列位置主文件(master)中。由此，用户仅通过拍摄商品陈列架，就能够创建商品陈列位置主文件，而无需进行繁琐的位置登记作业。
现有技术文献
专利文献
专利文献1：日本特开2016-194833号公报
发明内容
发明所要解决的技术问题
然而，在如上述专利文献1的结构中，存在如下的问题：当未拍摄到一组位置识别信息时，就无法确定位于它们之间的商品识别信息的位置。因此，如果以较短的间隔配置各位置识别信息，会产生配置商品识别信息的空间变窄这样的问题。特别是，店铺内设置的陈列架大多设置成沿着通道延长，当以这种方式设置的陈列架不能被拍摄到一个拍摄图像中时，则无法掌握各商品等处于何种位置关系。
例如，如全景图像那样，也可以考虑将连续拍摄的多个拍摄图像连接而生成一个大图像来检测各自的位置关系的方法，但是，在将各拍摄图像进行连接的时间点难以把握设置在陈列架上的所有的信息码是否以能够读取的方式被拍摄到。这样，在将所有的拍摄图像连接完成之后，即使想要根据各信息码获取位置关系，也可能存在出现无法获取的位置的情况。在这种情况下，需要从头开始重新拍摄图像，具有效率低下的问题。
本发明是为了解决上述技术问题而做出的，其目的在于提供如下结构：即使是利用架板配置的所有的信息码未被拍摄到一个拍摄图像中那样的陈列架上陈列的各物品，也能够检测各物品的位置关系。
用于解决技术问题的手段
为了实现上述目的，第一项技术方案中记载的发明是一种位置关系检测装置(10)，检测陈列在被多个架板(2a～2c)分隔开的陈列架(1、1a、1b)上的多种物品(G1～G9)的位置关系，其特征在于，
针对陈列各个种类的物品的每个位置，利用所述架板分别配置信息码(C1～C9、C11～C13、C21～C27)，该信息码记录有能够确定该物品的种类的确定信息，
所述位置关系检测装置(10)具备：
摄像部(22)；
读取部(21)，从通过所述摄像部拍摄到的拍摄图像中包含的所述信息码中读取所述确定信息；
检测部(21)，在通过所述摄像部拍摄到的一个拍摄图像中包含两个以上的被所述读取部读取所述确定信息的所述信息码的情况下，能够对该两个以上的信息码检测出相对位置关系；
存储部(25)，通过所述检测部检测出相对位置关系的信息码的所述确定信息作为检测完成码的所述确定信息，与和所述相对位置关系相关的相对位置信息一起存储于所述存储部中；以及
判定部(21)，在通过所述摄像部拍摄到的一个拍摄图像中包含两个以上的被所述读取部读取所述确定信息的所述信息码的情况下，判定是否处于部分未检测状态，所述部分未检测状态是指与至少一个所述检测完成码一起作为未检测码而包含有所述确定信息未存储在所述存储部中的所述信息码；
所述检测部在所述存储部中未存储有所述检测完成码的状态下，通过所述摄像部拍摄到的一个拍摄图像中包含有两个以上的被所述读取部读取所述确定信息的所述信息码时，对该两个以上的信息码检测相对位置关系，并且
所述检测部针对由所述判定部判定为处于所述部分未检测状态的所述拍摄图像，基于所述检测完成码，检测所述未检测码相对于所述检测完成码的相对位置关系。
此外，上述各括号内的附图标记表示与后述实施方式中描述的具体单元的对应关系。
发明效果
在第一项技术方案的发明中，在陈列架中，在陈列各种物品的每个位置处，利用架板分别配置记录有能够确定该物品的种类的确定信息的信息码。而且，当在存储部中未存储检测完成码的状态下，通过摄像部拍摄到的一个拍摄图像中包含有两个以上的被读取部读取确定信息的信息码时，通过检测部，对该两个以上的信息码检测相对位置关系。另外，针对通过判定部判定为处于与至少一个检测完成码一起包含有未检测码的部分未检测状态的拍摄图像，通过检测部，基于检测完成码，检测未检测码相对于检测完成码的相对位置关系。
由此，在检测出最初被摄像部拍摄的两个以上的信息码的相对位置关系之后，使摄像部的摄像范围沿着陈列架的长度方向移动的方式进行拍摄，由此，每当拍摄新信息码、即未检测码时，检测该未检测码相对于检测完成码的相对位置关系，并作为检测完成码存储到存储部中。因此，可以在读取所有的信息码之后，基于存储在存储部中的各检测完成码的相对位置关系，检测出根据检测完成码的确定信息确定的种类的物品的位置关系、即陈列在陈列架上的各物品的位置关系。因此，即使是利用架板配置的所有的信息码未被拍摄到一个拍摄图像中那样的、陈列架上陈列的各物品，也能够检测各物品的位置关系。
在第二项技术方案的发明中，在信息码中，除了确定信息以外，还记录与该信息码的尺寸相关的信息。因此，能够准确地获取用于检测相对位置关系的信息码的尺寸，从而能够高精度地检测各物品的位置关系。
在第三项技术方案的发明中，信息码全部形成为相同尺寸，因此，掌握一个信息码的尺寸即可，不需要掌握其他信息码的尺寸，从而能够减轻与相对位置关系检测相关的检测处理负担。
在第四项技术方案的发明中，在位于陈列架的长度方向一端的架板的部位上，配置记录有表示该长度方向一端的一端侧信息的信息码，在位于陈列架的长度方向另一端的架板的部位上，配置记录有表示该长度方向另一端的另一端侧信息的信息码。而且，在存储部中，存储通过读取部读取到的一端侧信息，并且存储通过读取部读取到的另一端侧信息。由此，通过在存储部中存储了一端侧信息及另一端侧信息这两者，能够判断为处于已使摄像范围从陈列架的长度方向一端移动到另一端的状态，能够容易地推定配置于陈列架的所有信息码已被读取。
在第五项技术方案的发明中，在一端侧信息以及另一端侧信息的至少任意一个中包含用于确定陈列架的信息，因此，不仅能够掌握从陈列架的长度方向一端到另一端，还能够容易地掌握正在检测哪一个陈列架的物品的位置关系。
在第六项技术方案的发明中，检测部在存储部中未存储有检测完成码的状态下，通过摄像部拍摄到的一个拍摄图像中包含有两个以上的被读取部读取确定信息的信息码时，将任意一个信息码作为基准码，以该基准码在拍摄图像中的码图像尺寸为基准，检测剩余的信息码相对于基准码的尺寸比，并且对该两个以上的信息码检测相对位置关系。另外，检测部针对由判定部判定为处于部分未检测状态的拍摄图像，基于该拍摄图像中包含的基准码或检测完成码的尺寸比，检测未检测码相对于基准码的尺寸比，并且检测未检测码相对于基准码或检测完成码的相对位置关系。
由此，即使在未掌握配置在陈列架上的各个信息码的尺寸(实际尺寸)的情况下，也能够以基准码的尺寸为基准，检测剩余的信息码的尺寸比和相对位置关系。
在第七项技术方案的发明中，在位于陈列架的长度方向一端的架板的部位上，作为记录有表示该长度方向一端的一端侧信息的信息码配置有一端侧码，在位于陈列架的长度方向另一端的架板的部位上，作为记录有表示该长度方向另一端的另一端侧信息的信息码配置有另一端侧码；在一端侧信息以及另一端侧信息的至少任意一个中包含与陈列架的长度方向的长度相关的信息。而且，计算部以一端侧码与另一端侧码之间的上述长度方向的实际距离与通过读取部的读取得到的陈列架的长度方向的长度一致为前提，基于多个相对位置信息，计算各信息码间的实际距离。
即使能够根据存储在存储部中的多个相对位置信息在比率上掌握各信息码间的相对位置关系，也难以仅通过拍摄图像来准确地计算实际距离和尺寸。另一方面，一端侧码与另一端侧码之间的长度方向的实际距离可视作与通过读取一端侧码或另一端侧码获得的陈列架的长度方向的长度相一致。因此，通过将能够掌握实际距离的一端侧码与另一端侧码之间的相对位置关系作为基准，能够计算基于其他相对位置关系的各信息码间的实际距离。
在第八项技术方案的发明中，设置显示部，在所述显示部中，表示根据存储在存储部中的两个以上的检测完成码分别确定的物品的种类的信息根据相对位置信息分别显示在第一显示区域中，并且通过摄像部拍摄的当前的拍摄图像显示在第二显示区域中。由此，当一边观察显示在第二显示区域中的当前的拍摄图像一边使该摄像范围沿着陈列架的长度方向移动时，按照成为摄像范围的顺序，表示陈列在陈列架上的物品的种类的信息以与其相对位置相对应的方式，被追加显示到第一显示区域中。因此，能够依次在视觉上掌握各物品的位置关系的检测状况。
在第九项技术方案的发明中，在存储部中存储多个通过摄像部拍摄信息码得到的拍摄图像。而且，通过生成部，利用存储在存储部中的相对位置信息，以信息码的位置为基准连接存储在存储部中的多个拍摄图像，从而生成陈列架的全景图像，该生成的全景图像的至少一部分显示在显示部中。这样，利用存储在存储部中的相对位置信息，以信息码的位置为基准，将多个拍摄图像连接，由此各拍摄图像的连接基准变得明确，从而能够容易且准确地生成陈列架的全景图像。
在第十项技术方案的发明中，对物品进行拍摄得到的物品图像与确定信息相关联地，按照每个该物品预先存储在存储部中。而且，通过确定部，对通过生成部生成的全景图像与存储在存储部中的多个物品图像分别进行图像比较，从而在该全景图像中针对每个该物品确定物品陈列的陈列范围，并且在显示部中相对于全景图像标明该确定出的多个陈列范围。由此，能够在陈列架的全景图像中分别标明各物品所陈列的范围，所以，不仅能够容易地掌握各物品的陈列状态，还能够从该全景图像中容易地调查所陈列的物品的个数。
在第十一项技术方案的发明中，通过获取部，利用通过读取部读取到的确定信息，针对每个该确定信息从外部获取物品图像并存储在存储部中。由此，不需要进行将有可能陈列的物品的物品图像预先存储在存储部中的作业，从而能够提高作业性。
在第十二项技术方案的发明中，在显示部中，以能够放大的方式显示全景图像的至少一部分，因此，通过放大观察所期望的物品的陈列范围，能够更准确地进行该物品的陈列状态的掌握和个数调查。
附图说明
图1是示出第一实施方式的移动终端和检测对象的陈列架的说明图。
图2是概略性地例示移动终端的电气结构的框图。
图3是例示在第一实施方式中由控制部执行的位置关系检测处理的流程的流程图。
图4是说明存储部中存储的确定信息及相对位置信息的说明图，图4的(A)示出了拍摄图1的摄像区域P1时的存储状态，图4的(B)示出了一边从图1的摄像区域P1移动至摄像区域P2、一边拍摄时的存储状态，图4的(C)示出了一边从图1的摄像区域P1移动至摄像区域P3、一边拍摄时的存储状态。
图5是说明图4的(A)的存储状态下的第一显示区域的显示状态的说明图。
图6是说明图4的(B)的存储状态下的第一显示区域的显示状态的说明图。
图7是说明图4的(C)的存储状态下的第一显示区域的显示状态的说明图。
图8是说明仅跳过信息码C8进行了读取的状态下的第一显示区域的显示状态的说明图。
图9是示出第二实施方式的移动终端和检测对象的陈列架的说明图。
图10是例示在第二实施方式中由控制部执行的位置关系检测处理的流程的流程图。
图11是说明在第二实施方式中第三显示区域的显示状态的说明图。
图12是示出第三实施方式的检测对象的陈列架的说明图。
图13是例示在第三实施方式中由控制部执行的位置关系检测处理的流程的流程图。
图14的(A)是说明图12中的摄像区域P11的拍摄图像的说明图，图14的(B)是说明图12中的摄像区域P12的拍摄图像的说明图。
图15的(A)是说明图12中的摄像区域P13的拍摄图像的说明图，图15的(B)是说明图12中的摄像区域P14的拍摄图像的说明图。
图16是说明以基准码的码图像尺寸为基准将图14及图15的各拍摄图像转换到基准平面后的状态的说明图。
图17是例示第四实施方式的检测对象的陈列架的说明图。
图18是例示在第四实施方式中由控制部执行的位置关系检测处理的流程的流程图。
图19是说明相对于拍摄图17的陈列架得到的全景图像标明各商品陈列的陈列范围的状态的说明图。
附图标记说明
1、1a、1b…陈列架
2a～2c…架板
10…移动终端(位置关系检测装置)
21…控制部(读取部、检测部、判定部、计算部、生成部、确定部)
22…摄像部
23…显示部
23a…显示画面
23b…第一显示区域
23c…第二显示区域
25…存储部
C1～C9，C11～C13，C21～C27…信息码
G1～G9，G21～G27…商品(物品)
Ca…一端侧码
Cb…另一端侧码
Pg…物品图像
S21～S27…陈列范围
具体实施方式
[第一实施方式]
下面，参考附图，对将本发明的位置关系检测装置应用于移动终端的第一实施方式进行说明。
图1所示的移动终端10被构成为利用信息码来检测陈列在陈列架1上的多种物品的位置关系的位置关系检测装置。在本实施方式中，将如图1所示的陈列架1上所陈列的各商品的位置关系作为检测对象，陈列架1被构成为被三个架板2a～2c上下分隔，并且沿着通道在水平方向(相当于下述的宽度方向X)上延长。
如图1所示，在该陈列架1上，可设定在水平方向上延伸的宽度方向X和上下延伸的高度方向Y。此外，还具有与该宽度方向X和高度方向Y正交的深度方向(未图示)，陈列架1的整个面是指该深度方向上的前表面。
在该陈列架1上陈列着：作为商品G1的烹饪纸、作为商品G2的煎锅箔、作为商品G3的铝箔、作为商品G4的便当盒容器、作为商品G5的冷冻袋(大)、作为商品G6的冷冻袋(中)、作为商品G7的冷冻袋(小)、作为商品G8的保鲜膜、以及作为商品G9的塑料袋。
而且，在陈列各商品G1～G9的每个位置处，利用各架板2a～2c，分别以规定的尺寸配置有信息码C1～C9，该信息码C1～C9记录有能够确定该物品的种类的确定信息。此外，在以下的说明中，左侧、中央及右侧是指面向陈列架1观察时的左侧、中央及右侧。
具体地，记录有能够确定作为商品G1的种类的烹饪纸的确定信息的信息码C1配置在设于架板2a的前表面的一部分上的标签粘贴部的左侧，且配置在陈列各种烹饪纸的范围的中央附近。另外，记录有能够确定作为商品G2的种类的煎锅箔的确定信息的信息码C2配置在设于架板2a的前表面的一部分上的标签粘贴部的中央左侧，且配置在陈列各种煎锅箔的范围的中央附近。另外，记录有能够确定作为商品G3的种类的铝箔的确定信息的信息码C3配置在设于架板2a的前表面的一部分上的标签粘贴部的中央右侧，且配置在陈列各种铝箔的范围的中央附近。另外，记录有能够确定作为商品G4的种类的便当盒容器的确定信息的信息码C4配置在设于架板2a的前表面的一部分上的标签粘贴部的右侧，且配置在陈列各种便当盒容器的范围的中央附近。另外，记录有能够确定作为商品G5的种类的冷冻袋(大)的确定信息的信息码C5配置在设于架板2b的前表面的一部分上的标签粘贴部的左侧，且配置在陈列各种冷冻袋(大)的范围的中央附近。另外，记录有能够确定作为商品G6的种类的冷冻袋(中)的确定信息的信息码C6配置在设于架板2b的前表面的一部分上的标签粘贴部的中央，且配置在陈列各种冷冻袋(中)的范围的中央附近。另外，记录有能够确定作为商品G7的种类的冷冻袋(小)的确定信息的信息码C7配置在设于架板2b的前表面的一部分上的标签粘贴部的左侧，且配置在陈列各种冷冻袋(小)的范围的中央附近。另外，记录有能够确定作为商品G8的种类的保鲜膜的确定信息的信息码C8配置在设于架板2c的前表面的一部分上的标签粘贴部的左侧，且配置在陈列各种保鲜膜的范围的中央附近。另外，记录有能够确定作为商品G9的种类的塑料袋的确定信息的信息码C9配置在设于架板2c的前表面的一部分上的标签粘贴部的右侧，且配置在陈列各种塑料袋的范围的中央附近。此外，各信息码C1～C9以全部为相同的码尺寸的方式形成为正方形。
接着，参照附图，对本实施方式的移动终端10的结构进行说明。
移动终端10被构成为确认陈列架1的陈列状态等的、作业人员携带的平板终端或智能手机等的便携式信息终端。该移动终端10被构成为，具有摄像部及显示部等，并且安装有用于利用拍摄到的信息码的读取结果对陈列在陈列架1上的各商品的位置关系等进行画面显示的规定应用程序(以下，也称作位置关系检测应用)。
如图2所示，该移动终端10具备：控制部21，控制部21具备具有CPU(centralprocessing unit：中央处理器)21A的计算机；摄像部22，被构成为具备受光传感器(例如，C-MOS区域传感器、CCD区域传感器等)的摄像机；由液晶显示器等构成的显示部23；由各种操作键和触摸面板等(省略图示)构成的操作部24；由ROM、RAM、非易失性存储器等构成的存储部25；以及通信部26，被构成为能够通过因特网等规定网络与管理服务器等外部设备以无线或有线方式进行通信的通信接口等。
控制部21(具体为CPU21A)发挥作为读取部的功能，该读取部通过对由摄像部22拍摄到的信息码的图像数据执行公知的解码处理，来读取记录在信息码中的信息。另外，显示部23发挥作为显示单元的功能，该显示单元由控制部21控制，并且能够在其显示画面23a画面显示出稍后描述的第一显示区域23b和第二显示区域23c、规定信息。
如此构成的移动终端10通过由控制部21执行的位置关系检测处理，利用拍摄各信息码C1～C9获得的该各信息码C1～C9的相对位置关系、以及各信息码C1～C9的读取结果，将表示各商品G1～G9的位置关系的信息显示到显示部23的显示画面23a上。
下面，参照图3所示的流程图等，说明当利用移动终端10检测陈列在陈列架1上的各商品G1～G9的位置关系时由移动终端10的控制部21执行的位置关系检测处理。
当根据使用者对操作部24进行的规定操作使位置关系检测应用启动从而由控制部21开始位置关系检测处理时，首先，执行图3的步骤S101所示的摄像处理，获取由摄像部22拍摄到的拍摄图像。然后，执行步骤S103所示的解码处理，并且执行用于通过公知的解码方法来解读拍摄图像中所包含的信息码的处理。
接着，执行步骤S105所示的判定处理，对一个拍摄图像中是否包含有两个以上的记录有上述确定信息的信息码进行判定。这里，当在一个拍摄图像中不包含记录有上述确定信息的信息码、或者包含一个记录有上述确定信息的信息码的情况下，在上述步骤S105中判定为“否”，执行从上述步骤S101开始的处理。
在使用者使摄像部22的摄像范围朝向陈列架1，从而在一个拍摄图像中包含两个以上的记录有上述确定信息的信息码时(S105中“是”)，在步骤S107的判定处理中，判定是否设定了基准码。这里，上述基准码被设定为最初拍摄到的两个以上的信息码中的一个信息码，当本次首次在一个拍摄图像中包含有两个以上的记录有上述确定信息的信息码时，在步骤S107中判定为“否”。然后，通过步骤S109的基准码设定处理，将最初拍摄到的两个以上的信息码中的一个信息码设定为基准码。例如，由于图1的摄像区域P1被拍摄，因此当最初信息码C1、C5、C8被拍摄时，将由于位于拍摄图像的左上侧而最初被读取的信息码C1设定为基准码。
接着，执行步骤S111所示的码坐标计算处理。在该处理中，对于利用基于所拍摄的信息码的形状进行的投影变换等，以使各信息码成为大致相同的正方形的方式转换到基准平面后得到的信息码，以基准码的尺寸(一边的长度)为基准，计算相对于基准码的相对位置。
例如，当拍摄图1所示的摄像区域P1时，转换到基准平面后，以信息码C1的尺寸为基准，信息码C5的相对位置被计算为(30，20)，并且信息码C8的相对位置被计算为(36，40)。这样，由于转换到基准平面之后，以信息码的尺寸为基准计算相对位置，因此，能够检测出各信息码的相对位置关系，而无需在各信息码中预先记录位置信息等。此外，也可以以信息码的尺寸为基准，例如，以将信息码的一边的长度设为规定值的方式计算相对位置，也可以以“cm”单位计算相对位置。
另外，在本实施方式中，在基准平面中，将相当于图1的左右方向的水平方向设为X方向(即，陈列架1的宽度方向X或长度方向)，将其右侧设为正侧，并且将相当于图1的上下方向(即，陈列架1的高度方向Y或宽度方向)的方向设为Y方向，将其下侧设为正侧。此外，执行上述步骤S111的码坐标计算处理及后述步骤S119的码坐标计算处理的控制部21，可相当于针对两个以上的信息码能够基于该信息码的尺寸检测出相对位置关系的“检测部”的一例。
通过如上所述那样对各信息码计算相对位置从而检测出各自的相对位置关系时，执行步骤S113所示的存储处理，并且如上所述那样被检测出相对位置关系的信息码的确定信息作为检测完成码的确定信息，与和相对位置相关的相对位置信息一起被存储到存储部25中。当如上所述那样信息码C1、C5、C8被拍摄时，如图4的(A)所示，各信息码C1、C5、C8的确定信息与相对位置信息一起存储在存储部25中。
然后，执行步骤S115所示的显示处理。在该处理中，在显示画面23a的第一显示区域23b中，根据相对位置信息分别显示出表示根据存储在存储部25中的各检测完成码分别确定的商品的种类的种类名。再有，在显示画面23a的第二显示区域23c中显示通过摄像部22拍摄的当前的拍摄图像。
例如，如图4的(A)所示，当检测完成码的确定信息等存储在存储部25中时，如图5所例示，在第一显示区域23b中，以信息码C1的中心为下端中央的方式，显示根据信息码C1的确定信息确定的商品G1的种类名“烹饪纸”。同样地，在第一显示区域23b中，以信息码C5的中心为下端中央的方式，显示根据信息码C5的确定信息确定的商品G5的种类名“冷冻袋(大)”，以信息码C8的中心为下端中央的方式，显示根据信息码C8的确定信息确定的商品G8的种类名“保鲜膜”。此外，在第一显示区域23b中，可以根据规定操作进行放大和缩小显示等。
而且，当未执行规定的结束操作等时(S121中“否”)，在如上述的显示状态下，再次执行从步骤S101开始的处理，成为能够拍摄其他信息码的状态。当在之后拍摄到的一个拍摄图像中包含两个以上的记录有上述确定信息的信息码(S105中“是”)，并且已设定了基准码时(S107中“是”)，执行步骤S117所示的判定处理。在该判定处理中，在将确定信息未存储在存储部25中的信息码设为未检测码时，对是否处于一个拍摄图像中包含的两个以上的信息码的一部分为检测完成码并且剩余部分为未检测码的状态(以下，也称作部分未检测状态)进行判定。
这里，当一个拍摄图像中包含的两个以上的信息码均为检测完成码时，判定为不是部分未检测状态(S117中“否”)，执行上述步骤S121的判定处理。另外，即使一个拍摄图像中包含的两个以上的信息码均为未检测码，也判定为不是部分未检测状态(S117中“否”)，执行上述步骤S121的判定处理。
另一方面，在使用者以使摄像部22的摄像区域从图1的摄像区域P1变为摄像区域P2的方式使移动终端10移动，从而在一个拍摄图像中包含有成为未检测码的信息码C2以及成为检测完成码的信息码C5、C8时，判断为处于部分未检测状态，在上述步骤S117中判定为“是”。在这种情况下，执行步骤S119所示的码坐标计算处理，对于利用基于所拍摄信息码的形状进行的投影变换等，以各信息码成为大致相同的正方形的方式转换到基准平面后得到的未检测码，以一个检测完成码的尺寸为基准，计算相对于该检测完成码的相对位置。此外，执行上述步骤S117的判定处理的控制部21可以相当于“判定部”的一例。
如上所述，如果处于图1所示的摄像区域P2中的摄像状态，在转换到基准平面之后，以检测完成码中的任意一个(例如，信息码C5)的相对位置及其尺寸为基准，信息码C2的相对位置被计算为(72，0)。尤其是，以各信息码成为大致相同的正方形的方式转换到基准平面，因此，即使在图1的摄像区域P1中拍摄的范围的大小与摄像区域P2中拍摄的范围的大小不同的情况下，也能够准确地计算未检测码相对于检测完成码的相对位置。
在如上所述那样针对各信息码计算相对位置从而检测出各自的相对位置关系时，在步骤S113的存储处理中，如上所述那样被检测出相对位置关系的未检测码的确定信息作为检测完成码的确定信息，与和相对位置相关的相对位置信息一起被追加存储到存储部25中。如上所述，当信息码C2被拍摄时，如图4的(B)所示，信息码C2的确定信息以与相对位置信息一起被追加的方式存储到存储部25中。
然后，在步骤S115的显示处理中，表示根据该追加的检测完成码确定的商品种类的种类名，以根据其相对位置信息被追加的方式，显示在显示画面23a的第一显示区域23b中。
如上所述，当图4的(B)所示的检测完成码的确定信息等被存储在存储部25中时，如图6所例示，在第一显示区域23b中，以信息码C2的中心为下端中央的方式，追加显示出根据信息码C2的确定信息确定的商品G2的种类名“煎锅箔”。即，使摄像部22的摄像区域移动，由此，与该摄像区域的移动相应地到目前为止所拍摄到的各信息码的相对位置关系被实时检测出来，并显示在第一显示区域23b中。而且，在未执行规定的结束操作等的情况下(S121中“否”)，在如上所述的显示状态下再次执行从步骤S101开始的处理。
然后，使用者使移动终端10移动，直至摄像部22的摄像区域变为图1的摄像区域P3为止，由此计算在陈列架1中配置在最右侧的信息码C4的相对位置，由此，如图4的(C)所示，所有的信息码C1～C9的确定信息以与相对位置信息一起被追加的方式存储到存储部25中。由此，在步骤S115的显示处理中，如图7所例示，对于所有的信息码C1～C9，表示商品种类的种类名根据相对位置信息被显示到显示画面23a的第一显示区域23b中。由此，当使用者执行结束操作等时(S121中“是”)，与如此检测出的各信息码的相对位置关系等相关的信息作为用于掌握陈列在陈列架1上的各商品的位置关系的数据，经由通信部26被发送到管理服务器等(S123)，本位置关系检测处理结束。
在以上的说明中，说明了使用者使移动终端10移动直至摄像部22的摄像区域从图1的摄像区域P1变为摄像区域P3为止的情况的示例，但是，即使以与这种摄像区域的变位不同的方式使移动终端10移动，也能够检测各信息码的相对位置。例如，在使用者使移动终端10移动直至摄像部22的摄像区域从图1的摄像区域P3变为摄像区域P1为止的情况下，将通过在摄像区域P3中进行拍摄从而最初被读取的信息码C3设定为基准码，并以该基准码为基准，计算各未检测码等的相对位置。
另外，例如，当读取除信息码C8以外的各信息码而跳过信息码C8的情况下，如图8所示，在显示画面23a的第一显示区域23b中，显示除商品G8的种类名以外的各商品的种类名。由于成为这样的显示状态，因此使用者能够容易地掌握跳过信息码C8进行了读取这一情况。在这种情况下，通过在一个拍摄图像中拍摄该跳过的信息码C8以及至少一个其他的检测码，如图7所示，对于所有的信息码C1～C9，能够将表示商品种类的种类名根据其相对位置信息显示在显示画面23a的第一显示区域23b中。
如上所述，在本实施方式的移动终端10中，在陈列架1上陈列各种物品的每个位置处，利用架板2a～2c，分别以规定的尺寸配置记录有能够确定该物品的种类的确定信息的信息码C1～C9。而且，当在存储部25中未存储检测完成码的状态下由摄像部22拍摄到的一个拍摄图像中包含有确定信息被读取的两个以上的信息码时，针对该两个以上的信息码，基于该信息码的尺寸检测相对位置关系。另外，对于判定为处于与至少一个检测完成码一起包含有未检测码的部分未检测状态的拍摄图像(S117中“是”)，基于基准码(检测完成码)的尺寸，检测未检测码相对于检测完成码的相对位置关系。
由此，在摄像部22最初拍摄的两个以上的信息码的相对位置关系被检测出来之后，通过使摄像部22的摄像范围沿着陈列架1的长度方向(本实施方式中为宽度方向X)移动的方式进行拍摄，每当拍摄新的信息码、即未检测码时，该未检测码相对于检测完成码的相对位置关系就会被检测出来，并作为检测完成码存储到存储部25中。因此，在读取出所有的信息码之后，基于存储在存储部25中的各检测完成码的相对位置关系，能够检测根据检测完成码的确定信息确定的种类的物品的位置关系、即陈列在陈列架1上的各物品的位置关系。因此，即使是利用架板2a～2c配置的所有的信息码未被拍摄在一个拍摄图像中那样的、陈列架1上所陈列的各物品，也能够检测各物品的位置关系。
进一步地，各信息码C1～C9均形成为相同尺寸，因此，通过掌握一个信息码(基准码)的尺寸，则无需掌握其他信息码的尺寸，从而能够减轻与相对位置关系检测相关的检测处理负担。
尤其是，在显示部23的显示画面23a中，表示根据存储在存储部25中的两个以上的检测完成码分别确定的物品的种类的信息，根据相对位置信息分别显示在第一显示区域23b中，并且由摄像部22拍摄的当前的拍摄图像显示在第二显示区域23c中。由此，当一边观察显示在第二显示区域23c中的当前的拍摄图像、一边使该摄像范围沿着陈列架1的长度方向(宽度方向X)移动时，按照成为摄像范围的顺序，表示陈列在陈列架1上的物品的种类的信息以与其相对位置相对应的方式，被追加显示到第一显示区域23b中(参照图5～图7)。因此，能够依次在视觉上掌握各物品的位置关系的检测状况。
此外，在配置于陈列架1的各架板2a～2c的信息码C1～C9中，除了确定信息以外，还可以记录与该信息码的尺寸相关的信息。在这种结构中，通过读取该信息码能够准确地获取用于检测相对位置关系的信息码的尺寸，因此，能够高精度地检测各物品的位置关系。如果是这种结构，则各信息码C1～C9不限于全部以相同的码尺寸形成，也可以一部分以不同的尺寸形成。
[第二实施方式]
接着，参照附图，对第二实施方式的移动终端进行说明。
在本第二实施方式中，与上述第一实施方式的主要不同之处在于，进一步追加配置表示陈列架1的长度方向(宽度方向X)上的两端的两个信息码。因此，对于与第一实施方式实质上相同的构成部分，赋予相同的附图标记，并省略该说明。
在本实施方式中，如图9所示，在位于陈列架1的长度方向(宽度方向X)一端的架板2a的部位上，作为记录有表示该长度方向一端的一端侧信息的信息码配置有一端侧码Ca。另外，在位于陈列架1的长度方向另一端的架板2c的部位上，作为记录有表示该长度方向(宽度方向X)另一端的另一端侧信息的信息码配置有另一端侧码Cb。另外，在一端侧信息及另一端侧信息中包含有用于确定陈列架1的架信息。此外，在一端侧信息及另一端侧信息中未记录存储在信息码C1～C9中那样的确定信息，因此，不会检测一端侧码Ca及另一端侧码Cb相对于其他信息码C1～C9的相对位置关系。
而且，在由控制部21执行的位置关系检测处理中，如图10的流程图所示，当执行步骤S103的解码处理时，一端侧码Ca及另一端侧码Cb中的至少一个端侧码被解码时(S104中“是”)，将该该解码后的端侧码(一端侧码Ca或另一端侧码Cb)存储在存储部25中(S104a)。
然后，在步骤S115a所示的显示处理中，作为第三显示区域23d，显示从一端侧码Ca或另一端侧码Cb中读取出的架信息。例如，作为架信息，“架1”被记录在一端侧码Ca及另一端侧码Cb中时，如图11所示，在第三显示区域23d中显示“架1”。
然后，在步骤S121a的判定处理中，判定一端侧码Ca及另一端侧码Cb这两者是否被存储在存储部25中。这里，在一端侧码Ca及另一端侧码Cb这两者未被存储在存储部25中、或者仅一者被存储在存储部25中的情况下，在步骤S121a中判定为“否”，视为未检测到所有信息码的相对位置关系，执行从上述步骤S101开始的处理。另一方面，当一端侧码Ca及另一端侧码Cb这两者被存储在存储部25中时，视为陈列架1上设置的各信息码C1～C9被读取从而所有的信息码的相对位置关系已被检测出来，在步骤S121a中判定为“是”，执行上述步骤S123的处理。
如上所述，在本实施方式的移动终端10中，在位于陈列架1的长度方向(宽度方向X)一端的架板2a的部位上，配置记录有一端侧信息的一端侧码Ca，并且在位于陈列架1的长度方向(宽度方向X)另一端的架板2c的部位上，配置记录有另一端侧信息的另一端侧码Cb。而且，在存储部25中，存储所读取的一端侧信息和另一端侧信息(S104a)。由此，通过在存储部25中存储有一端侧信息及另一端侧信息这两者，能够判断为处于已使摄像范围从陈列架1的长度方向一端移动到另一端的状态，并且能够容易地推定配置于陈列架1的所有的信息码C1～C9已被读取。
尤其是，在一端侧信息及另一端侧信息中包含确定陈列架1的架信息，因此，不仅能够掌握从陈列架的长度方向一端到另一端，而且通过观察第三显示区域23d中的显示还能够容易地掌握正在检测哪个陈列架的物品的位置关系。
[第三实施方式]
接着，参照附图，对第三实施方式的移动终端进行说明。
在本第三实施方式中，与上述第二实施方式的主要不同之处在于，在未获取配置于陈列架上的各个信息码的尺寸(实际尺寸)的状态下，计算各信息码的实际距离等。因此，对于与第二实施方式实质上相同的构成部分，赋予相同的附图标记，并省略该说明。
在本实施方式中，即使在未直接获取到配置于陈列架上的各个信息码的尺寸的状态下，也以上述的基准码在拍摄图像中的码图像尺寸(拍摄图像中基准码所占区域的大小)为基准，检测剩余的信息码相对于基准码的尺寸比，并检测各信息码的相对位置。
另外，在本实施方式中，一端侧码Ca及另一端侧码Cb也与其他信息码同样地成为相对位置关系等的检测对象，为了仅通过拍摄图像准确地计算实际距离和尺寸，在一端侧信息及另一端侧信息中，作为架信息的一部分包含有与陈列架的长度方向((宽度方向X)，以下，也称作架长度方向)的长度相关的信息。其原因将在下面说明。
如果为了掌握陈列架的哪一层陈列着何种商品，则无需掌握实际的各信息码间的距离和尺寸，但是，在要获得陈列在陈列架上的商品利用了何种程度的区域等的详细信息的情况下，则需要掌握实际的各信息码间的距离和尺寸。然而，在未直接获取到配置于陈列架上的各个信息码的尺寸的状态下，即使能够根据存储在存储部25中的多个相对位置信息在比率上掌握各信息码间的相对位置关系，也难以仅通过拍摄图像来准确地计算实际距离和尺寸。另外，例如，当在各信息码中追加记录与该信息码的尺寸相关的信息时，由于码尺寸根据要记录的信息量而不同，因此需要针对每个商品输入尺寸，存在费时费力这样的问题。另外，当将所有的信息码的码尺寸设为相同的尺寸时，在要记录的信息量不均的情况下，需要与记录有较多信息量的信息码相符地统一码尺寸，因此有可能无法满足尽量缩小信息码的要求。
另一方面，一端侧码Ca与另一端侧码Cb之间的架长度方向的实际距离可视作与通过读取一端侧码Ca或另一端侧码Cb得到的陈列架的架长度方向的长度一致。因此，通过将能够掌握实际距离的、一端侧码Ca与另一端侧码Cb之间的相对位置关系作为基准，能够计算基于其他相对位置关系的各信息码间的实际距离。
下面，对本实施方式中的位置关系检测处理，以如图12所示的配置了三个信息码C11～C13以及一端侧码Ca和另一端侧码Cb的陈列架1a为例，参照图13所示的流程图进行说明。此外，在本实施方式中，信息码C11～C13以及一端侧码Ca和另一端侧码Cb形成为正方形的QR码，在一端侧码Ca及另一端侧码Cb中，除了上述的架信息以外，作为与陈列架1a的架长度方向的长度相关的信息，还记录有表示陈列架1a的架长度方向上的实际长度的数值(例如，100cm)。因此，如图12所示，一端侧码Ca配置成其一端侧的外缘与陈列架1a的一端侧的外缘一致，另一端侧码Cb配置成其另一端侧的外缘与陈列架1a的另一端侧的外缘一致。
由控制部21开始位置关系检测处理，当在一个拍摄图像中包含记录有上述确定信息的信息码C11～C13、一端侧码Ca及另一端侧码Cb中的任意两个以上时(图13的S105中“是”)，在未设定基准码的情况下(S107中“否”)，将拍摄到的两个以上的信息码中的一个信息码设定为基准码(S109)。此时，当一端侧码Ca被拍摄并且其解码成功时(S104中“是”)，将从一端侧码Ca读取到的一端侧信息存储在存储部25中(S104a)。另外，例如，由于图12的摄像区域P11被拍摄，因此，如图14的(A)所示，当最初拍摄到一端侧码Ca及信息码C11时，信息码C11被设定为基准码。
然后，在步骤S111a中执行码坐标等计算处理，以基准码(信息码C1)的尺寸为基准，具体而言，将陈列架1a的架长度方向上的基准码的长度设为X，计算(检测)从基准码到一端侧码Ca的架长度方向的长度、以及一端侧码Ca相对于基准码的尺寸比。在图14的(A)的例子中，从基准码到一端侧码Ca的架长度方向的长度被计算为2.6X，并且一端侧码Ca相对于基准码的尺寸比被计算为1.2。此外，在本实施方式中，最初拍摄到的两个以上的信息码中的除一端侧码Ca及另一端侧码Cb之外的信息码被设定为基准码，但是不限于此，也可以将一端侧码Ca及另一端侧码Cb中的任意一个设定为基准码。
而且，当在之后拍摄到的一个拍摄图像中包含两个以上的记录有上述确定信息的信息码(S105中“是”)，且基准码已经被设定(S107中“是”)，并处于部分未检测状态时(S117中“是”)，在步骤S119a中执行码坐标等计算处理。在该处理中，以基准码或检测完成码的尺寸比为基准，计算(检测)从基准码或检测完成码到未检测码的架长度方向的长度、以及未检测码相对于基准码的尺寸比。例如，当由于摄像部22的摄像范围从图12的摄像区域P11变为摄像区域P12使得信息码C12被新拍摄到时，如图14的(B)所示，从作为基准码的信息码C11到作为未检测码的信息码C12的架长度方向上的长度被计算为4.8X，并且信息码C12相对于基准码的尺寸比被计算为0.8。
之后，同样地，当由于摄像部22的摄像范围从图12的摄像区域P12变为摄像区域P13使得信息码C13被新拍摄到时，判定为处于部分未检测状态(S117中“是”)。这种情况下，如图15的(A)所例示，从作为检测完成码的信息码C12到作为未检测码的信息码C13的架长度方向上的长度被计算为4.4X，并且信息码C13相对于基准码的尺寸比被计算为1.2(S119a)。
进一步，当由于摄像部22的摄像范围从图12的摄像区域P13变为摄像区域P14使得另一端侧码Cb被新拍摄到并且被解码时，从另一端侧码Cb读取的另一端侧信息被存储到存储部25中(S104a)，判定为处于部分未检测状态(S117中“是”)。这种情况下，如图15的(B)所示，从作为检测完成码的信息码C13到另一端侧码Cb的架长度方向上的长度被计算为2.8X，并且另一端侧码Cb相对于基准码的尺寸比被计算为1.2(S119a)。
然后，由于读取到一端侧码Ca及另一端侧码Cb，因此一端侧信息及另一端侧信息这两者被存储在存储部25中时(S121a中“是”)，执行步骤S122所示的实际距离等计算处理。在该处理中，基于一端侧信息或另一端侧信息中包含的与陈列架的架长度方向的长度相关的信息，计算读取出的各信息码间的实际距离和尺寸。
具体地，如图14及图15所示计算出相对于基准码的各信息码之间的比率长度和尺寸比时，从以基准码的码图像尺寸为基准将图14及图15的各拍摄图像转换到基准平面之后的图16可知，在整个陈列架1a中能够在比率上掌握各信息码间的相对位置关系。进一步，还能够以基准码的尺寸X为基准计算从一端侧码Ca到另一端侧码Cb的比率长度，设该比率长度与一端侧信息或另一端侧信息中包含的陈列架的架长度方向上的实际长度一致，从而能够计算各信息码间的实际距离和各信息码的实际大小。
如上所述，当作为表示陈列架1a的架长度方向上的实际长度的数值在一端侧码Ca及另一端侧码Cb中记录了100cm时，从一端侧码Ca到另一端侧码Cb的比率长度为20X，因此基准码的长度X能够被计算为5cm。通过以这种方式计算基准码的长度X，能够计算其他信息码间的实际距离和各信息码的实际大小。例如，由于比率长度为4.8X，因此从信息码C11到信息码C12的实际距离能够被计算为24cm。此外，执行上述步骤S122的实际距离等计算处理的控制部21可以相当于“计算部”的一例。
然后，与如此计算(检测)出的各信息码的相对位置关系等相关的信息作为用于掌握陈列在陈列架1a中的各商品的位置关系的数据，经由通信部26被发送到管理服务器等(S123)，本位置关系检测处理结束。
如上所述，在本实施方式的移动终端10中，在由控制部21执行的位置关系检测处理中，当在存储部25中未存储检测完成码的状态下，由摄像部22拍摄到的一个拍摄图像中包含有被读取确定信息或一端侧信息、另一端侧信息的两个以上的信息码时，将任意一个信息码作为基准码，以该基准码在拍摄图像中的码图像尺寸为基准，检测剩余的信息码相对于基准码的尺寸比，并且针对该两个以上的信息码检测相对位置关系。另外，在位置关系检测处理中，对于被判定为处于部分未检测状态的拍摄图像，基于该拍摄图像中包含的基准码或检测完成码的尺寸比，检测未检测码相对于基准码的尺寸比，并且检测未检测码相对于基准码或检测完成码的相对位置关系。
由此，即使在没有掌握配置在陈列架上的各个信息码的尺寸(实际尺寸)的情况下，也能够以基准码的尺寸为基准，检测剩余的信息码的尺寸比和相对位置关系。
尤其是，在位于陈列架的长度方向(宽度方向X)一端的架板的部位上，作为记录有表示该长度方向一端的一端侧信息的信息码配置有一端侧码Ca，在位于陈列架的长度方向另一端的架板的部位上，作为记录有表示该长度方向(宽度方向X)另一端的另一端侧信息的信息码配置有另一端侧码Cb，在一端侧信息及另一端侧信息的至少任意一者中包含与陈列架的架长度方向的长度相关的信息。而且，在步骤S122的实际距离等计算处理中，以一端侧码Ca与另一端侧码Cb之间的架长度方向上的实际距离与通过读取得到的陈列架的架长度方向上的长度一致为前提，基于多个相对位置信息来计算各信息码间的实际距离。
这样，通过以能够掌握实际距离的一端侧码Ca与另一端侧码Cb之间的相对位置关系为基准，能够计算基于其他相对位置关系的各信息码间的实际距离。
此外，在上述步骤S122的实际距离等计算处理中，关于各信息码，针对架长度方向(图16等的左右方向)的相对位置关系进行了检测，但不限于此，进一步，针对与架长度方向(本实施方式中为宽度方向X)正交的宽度方向(图16等的上下方向(本实施方式中为高度方向Y))的相对位置关系也能够进行检测。这种情况下，在一端侧信息及另一端侧信息的至少任意一个中包含与陈列架的宽度方向的实际长度(一端侧码Ca和另一端侧码Cb在与架长度方向正交的方向上的实际长度)相关的信息，由此，能够提高上述实际距离等计算处理中的计算精度。
另外，陈列架的架长度方向的实际长度不限于通过将该数值记录在一端侧码Ca及另一端侧码Cb中来取得，也可以利用记录在一端侧码Ca及另一端侧码Cb中的架信息来取得。即，移动终端10能够利用相关联地记录架信息和该陈列架的架长度方向的长度的数据库，基于从一端侧码Ca或另一端侧码Cb读取到的架信息，取得该陈列架的架长度方向的长度。在这种情况下，用于确定陈列架的架信息可以相当于与陈列架的架长度方向的长度相关的信息的一例。
[第四实施方式]
接着，参照附图，对第四实施方式的移动终端进行说明。
在本第四实施方式中，与上述第一实施方式的主要不同之处在于，相对于利用存储在存储部25中的相对位置信息生成的陈列架的全景图像，标明各商品陈列的陈列范围。因此，对于与第一实施方式实质上相同的构成部分，赋予相同的附图标记，并省略该说明。
在本实施方式中，为了能够容易地实施陈列在陈列架中的各商品的个数的调查作业等，在由控制部21执行的位置关系检测处理中，进一步生成陈列架的全景图像，取代在第一显示区域23b中进行显示等而在显示于显示画面23a的全景图像中标明陈列各物品的陈列范围。
因此，在本实施方式中，对设想向陈列架陈列的物品进行拍摄而得到的物品图像与配置在陈列该物品的位置上的信息码的确定信息相关联地，按照每个该物品预先存储在存储部25中。然后，在位置关系检测处理中，对如上所述那样生成的全景图像与存储在存储部25中的多个物品图像分别进行图像比较，由此在该全景图像中针对每个该物品确定物品陈列的陈列范围。
以下，以如图17所例示的配置有七个信息码C21～C27的陈列架1b为例，参照图18所示的流程图，对当利用移动终端10显示陈列架的全景图像并且标明各陈列范围时由移动终端10的控制部21执行的位置关系检测处理进行说明。
由控制部21开始位置关系检测处理，当在一个拍摄图像中包含记录有上述确定信息的信息码C21～C27中的任意两个以上时(图17的S105中“是”)，执行步骤S106所示的图像存储处理，并且该拍摄图像与读取到的确定信息相关联地存储在存储部25中。然后，在未设定基准码的情况下(S107中“否”)，执行上述步骤S109以后的处理，在已经设定基准码的情况下(S107中“是”)，执行上述步骤S117以后的处理。此外，在图17中，作为在上述图像存储处理中存储的拍摄图像的示例，与拍摄到信息码C25、C23的拍摄图像对应的范围用附图标记P21表示，与拍摄到信息码C25、C23、C21、C26的拍摄图像对应的范围用附图标记P22表示，与拍摄到信息码C25、C23、C21、C26、C24、C22的拍摄图像对应的范围用附图标记P23表示，与拍摄到信息码C21、C26、C24、C22、C27的拍摄图像对应的范围用附图标记P24表示。
然后，当所有的信息码C21～C27被读取，并且各信息码相对于基准码的相对位置分别被计算出，从而进行用于使读取结束的结束操作时(S121中“是”)，执行步骤S125所示的全景图像生成处理。在该处理中，利用存储在存储部25中的相对位置信息，将在上述步骤S106中存储在存储部25中的多个拍摄图像以各信息码的位置为基准进行连接，由此生成陈列架1b的全景图像。此外，进行上述全景图像生成处理的控制部21可以相当于“生成部”的一例。
然后，执行步骤S127所示的陈列范围确定处理，并且执行在如上所述那样生成的全景图像中用于确定陈列各物品的陈列范围的处理。在该处理中，分别读出与所读取到的各确定信息相关联地存储在存储部25中的物品图像，并且对于这些物品图像与全景图像以计算相似度等的方式分别进行图像比较，由此，在该全景图像中针对每个该物品确定物品陈列的陈列范围。然后，执行步骤S129所示的陈列范围标明处理，在显示于显示画面23a的全景图像中标明如上所述确定的陈列范围。此外，进行上述陈列范围确定处理的控制部21可以相当于“确定部”的一例。
具体地，在图17的示例中，例如，关于商品G21的陈列范围S21，对于与信息码C21的确定信息相关联地存储在存储部25中的商品图像(参照图19的附图标记Pg)、和生成的全景图像中的信息码C21的周围部分，计算相似度等并进行图像比较，从而从全景图像中提取多处与商品图像相似的部分。然后，以汇总这样提取的多个提取部分的方式确定陈列范围S21，如图19所例示，该陈列范围S21以利用框线等强调的方式被追加显示到全景图像中。同样地，关于各商品G22～G27的陈列范围S22～S27，分别提取多处全景图像中与各商品图像相似的部分，以分别汇总这些多个提取部分的方式确定陈列范围S22～S27并追加显示到全景图像中。
如上所述，在本实施方式的移动终端10中，在存储部25中，存储通过摄像部22拍摄信息码得到的多个拍摄图像。而且，利用存储在存储部25中的相对位置信息，以信息码的位置为基准连接存储在存储部25中的多个拍摄图像，从而生成陈列架的全景图像，该生成的全景图像的至少一部分被显示在显示部23的显示画面23a中。这样，利用存储在存储部25中的相对位置信息，将多个拍摄图像以信息码的位置为基准连接，由此各拍摄图像的连接基准变得明确，因此能够容易且准确地生成陈列架的全景图像。
尤其是，将拍摄物品得到的物品图像与确定信息相关联地，按照每个该物品预先存储在存储部25中。然后，对生成的全景图像与存储在存储部25中的多个物品图像分别进行图像比较，从而在该全景图像中针对每个该物品确定物品陈列的陈列范围S21～S27，并且在显示部23中相对于全景图像标明该确定出的多个陈列范围。由此，能够在陈列架1b的全景图像中分别标明各物品陈列的范围，所以，不仅能够容易地掌握各物品的陈列状态，还能够从该全景图像中容易地调查所陈列的物品的个数。
此外，物品图像不仅限于拍摄该物品的前表面得到的全体图像，也可以是陈列时醒目的特征部分的图像。另外，物品图像不限于预先存储在存储部25中，也可以每次从外部获取。即，也可以通过经由发挥作为获取部的功能的通信部26向服务器(云端)等发送如上所述那样读取到的确定信息，来从该服务器等获取(接收)与确定信息对应的物品图像，并存储在存储部25中。由此，不需要进行将有可能陈列的物品的物品图像预先存储在存储部25中的作业，从而能够提高作业性。
另外，在上述步骤S129的陈列范围标明处理中，也可以利用构成为触摸面板的显示部23，在其显示画面23a上，利用向外扩大操作(ピンチアウト操作)等，以能够放大的方式显示全景图像的至少一部分。由此，通过放大观察期望的物品的陈列范围，能够更准确地执行该物品的陈列状态的掌握和个数调查。
另外，在全景图像生成中使用的拍摄图像的一部分中，不限于通过上述步骤S106的图像存储处理存储的拍摄图像，也可以包含在其他时刻由摄像部22拍摄到的拍摄图像。
另外，相对于陈列架的全景图像标明各商品陈列的陈列范围的本实施方式的特征结构也可应用于其他实施方式。
此外，本发明不限于上述各实施方式等，例如，也可以通过如下方式具体化。
(1)本发明不限于应用于如上所述使用信息码检测陈列的商品G1～G9的相对位置关系的移动终端(位置关系检测装置)，也可以应用于对食品和杂货等其他类别的物品使用信息码检测陈列状态下的相对位置关系的移动终端(位置关系检测装置)。另外，本发明也适用于具备如上所述的位置关系检测装置以及设置有各信息码的陈列架的位置关系检测系统。
(2)在上述位置关系检测处理中，不限于将由于位于拍摄图像的左上侧从而最初被读取到的信息码设定为基准码，也可以将要拍摄的任一个任意信息码设定为基准码。另外，当通过移动摄像范围使得基准码不再被拍摄时，可以将该时间点拍摄的多个信息码中的一个信息码新设定为基准码。这种情况下，可以根据新设定的基准码来更新迄今为止计算出并存储在存储部25中的各相对位置信息。
(3)在显示画面23a中，不限于显示第一显示区域23b及第二显示区域23c这两者，例如，在画面尺寸较小的移动终端中，也可以不显示第二显示区域23c从而更大地显示第一显示区域23b。
(4)在上述位置关系检测处理中向基准平面转换的处理中，例如，也可以进行如下处理：计算使一个信息码处于正对方向并且成为与实际的码尺寸相同的尺寸的转换矩阵，如果在矩阵中对其他部分也进行转换，则转换为处于正对方向并且尺寸与实物相同的图像。如果对于其他图像以同样的方式进行，则每个图像中的位置信息变为等价，因此能够简单地进行连接。此外，也可以使用推定距离摄像部22的位置这样的一般方法，来掌握各个信息码的位置。另外，也可以通过诸如SURF和SIFT这样的特征量进行匹配的方法、或者记录在信息码中的信息的匹配，来检测成为连接基准的位置。
(5)陈列架1、1a不限于被构成为被三个架板2a～2c分隔，例如，也可以构成为被两个架板分隔，也可以构成为被四个以上的架板分隔。另外，信息码不限于利用上下分隔陈列架1、1a的多个架板来进行配置，例如，也可以利用左右分隔陈列架1、1a的架板或者构成侧板的架板来进行配置。
(6)本发明不限于应用于检测陈列在沿左右方向延长的陈列架上的多种物品的位置关系的位置关系检测装置，也可以应用于检测陈列在沿上下方向延长的陈列架上的多种物品的位置关系的位置关系检测装置，还可以应用于检测陈列在沿上下方向延长并且沿左右方向延长的陈列架上的多种物品的位置关系的位置关系检测装置。
(7)记录在各信息码C1～C9、C11～C13中的确定信息可以是对应商品的种类名本身，也可以是用于从预先准备的对应表中确定对应商品的种类名的固有编号等。
(8)设于陈列架1、1a的各信息码不限于形成为QR码(注册商标)，也可以形成为条形码等一维码和数据矩阵码、Maxi码等的二维码等的其他码类型的信息码。另外，也可以以如上所述那样记录与码的尺寸相关的信息为前提，以一部分信息码的码类型不同的方式形成各信息码。

Claims (12)

1.一种位置关系检测装置，检测陈列在被多个架板分隔开的陈列架上的多种物品的位置关系，其特征在于，
针对陈列各个种类的物品的每个位置，利用所述架板分别配置信息码，该信息码记录有能够确定该物品的种类的确定信息，
所述位置关系检测装置具备：
摄像部；
读取部，从通过所述摄像部拍摄的拍摄图像中包含的所述信息码中读取所述确定信息；
检测部，在通过所述摄像部拍摄到的一个拍摄图像中包含两个以上的被所述读取部读取所述确定信息的所述信息码的情况下，能够对该两个以上的信息码检测出相对位置关系；
存储部，通过所述检测部检测出相对位置关系的信息码的所述确定信息作为检测完成码的所述确定信息，与和所述相对位置关系相关的相对位置信息一起存储于所述存储部中；以及
判定部，在通过所述摄像部拍摄到的一个拍摄图像中包含两个以上的被所述读取部读取所述确定信息的所述信息码的情况下，判定是否处于部分未检测状态，所述部分未检测状态是指与至少一个所述检测完成码一起作为未检测码而包含有所述确定信息未存储在所述存储部中的所述信息码；
所述检测部在所述存储部中未存储有所述检测完成码的状态下，通过所述摄像部拍摄到的一个拍摄图像中包含有两个以上的被所述读取部读取所述确定信息的所述信息码时，对该两个以上的信息码检测相对位置关系，并且
所述检测部针对由所述判定部判定为处于所述部分未检测状态的所述拍摄图像，基于所述检测完成码，检测所述未检测码相对于所述检测完成码的相对位置关系。
2.根据权利要求1所述的位置关系检测装置，其特征在于，
在所述信息码中，除了所述确定信息以外，还记录与该信息码的尺寸相关的信息。
3.根据权利要求1或2所述的位置关系检测装置，其特征在于，
所述信息码全部形成为相同尺寸。
4.根据权利要求1至3中任一项所述的位置关系检测装置，其特征在于，
在位于所述陈列架的长度方向一端的所述架板的部位上，配置记录有表示该长度方向一端的一端侧信息的信息码，在位于所述陈列架的长度方向另一端的所述架板的部位上，配置记录有表示该长度方向另一端的另一端侧信息的信息码，
在所述存储部中，存储通过所述读取部读取到的所述一端侧信息，并且存储通过所述读取部读取到的所述另一端侧信息。
5.根据权利要求4所述的位置关系检测装置，其特征在于，
在所述一端侧信息以及所述另一端侧信息的至少任意一个中包含确定所述陈列架的信息。
6.根据权利要求1所述的位置关系检测装置，其特征在于，
所述检测部在所述存储部中未存储有所述检测完成码的状态下，通过所述摄像部拍摄到的一个拍摄图像中包含有两个以上的被所述读取部读取所述确定信息的所述信息码时，将任意一个信息码作为基准码，以该基准码在所述拍摄图像中的码图像尺寸为基准，检测剩余的信息码相对于所述基准码的尺寸比，并且对该两个以上的信息码检测相对位置关系，并且
所述检测部针对由所述判定部判定为处于所述部分未检测状态的所述拍摄图像，基于该拍摄图像中包含的所述基准码或所述检测完成码的所述尺寸比，检测所述未检测码相对于所述基准码的尺寸比，并且检测所述未检测码相对于所述基准码或所述检测完成码的相对位置关系。
7.根据权利要求6所述的位置关系检测装置，其特征在于，
具备计算部，该计算部基于存储在所述存储部中的多个所述相对位置信息来计算各信息码间的实际距离，
在位于所述陈列架的长度方向一端的所述架板的部位上，作为记录有表示该长度方向一端的一端侧信息的信息码配置有一端侧码，在位于所述陈列架的长度方向另一端的所述架板的部位上，作为记录有表示该长度方向另一端的另一端侧信息的信息码配置有另一端侧码，
在所述一端侧信息以及所述另一端侧信息的至少任意一个中包含与所述陈列架的所述长度方向的长度相关的信息，
所述计算部以所述一端侧码与所述另一端侧码之间的所述长度方向的实际距离与通过所述读取部的读取得到的所述陈列架的所述长度方向的长度一致为前提，基于多个所述相对位置信息，计算各信息码间的实际距离。
8.根据权利要求1至7中任一项所述的位置关系检测装置，其特征在于，
具备显示部，在所述显示部中，表示根据存储在所述存储部中的两个以上的所述检测完成码分别确定的物品的种类的信息根据所述相对位置信息分别显示在第一显示区域中，并且通过所述摄像部拍摄的当前的拍摄图像显示在第二显示区域中。
9.根据权利要求1至7中任一项所述的位置关系检测装置，其特征在于，
在所述存储部中存储多个通过所述摄像部拍摄所述信息码得到的拍摄图像，
所述位置关系检测装置具备：
生成部，利用存储在所述存储部中的所述相对位置信息，以所述信息码的位置为基准，连接存储在所述存储部中的多个所述拍摄图像，从而生成所述陈列架的全景图像；以及
显示部，显示通过所述生成部生成的所述全景图像的至少一部分。
10.根据权利要求9所述的位置关系检测装置，其特征在于，
对物品进行拍摄得到的物品图像与所述确定信息相关联地，按照每个该物品预先存储在所述存储部中，
所述位置关系检测装置具备确定部，该确定部对通过所述生成部生成的所述全景图像与存储在所述存储部中的多个所述物品图像分别进行图像比较，从而在该全景图像中针对每个该物品确定所述物品陈列的陈列范围，
在所述显示部中，相对于所述全景图像标明通过所述确定部确定出的多个所述陈列范围。
11.根据权利要求10所述的位置关系检测装置，其特征在于，
具备获取部，该获取部利用通过所述读取部读取到的所述确定信息，针对每个该确定信息从外部获取所述物品图像并存储在所述存储部中。
12.根据权利要求9至11中任一项所述的位置关系检测装置，其特征在于，
在所述显示部中，以能够放大的方式显示所述全景图像的至少一部分。
CN201910235147.1A 2018-03-27 2019-03-27 位置关系检测装置 Active CN110310330B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2018-060268 2018-03-27
JP2018060268 2018-03-27
JP2018104393 2018-05-31
JP2018-104393 2018-05-31
JP2018-168798 2018-09-10
JP2018168798A JP7305320B2 (ja) 2018-03-27 2018-09-10 位置関係検出装置

Publications (2)

Publication Number Publication Date
CN110310330A true CN110310330A (zh) 2019-10-08
CN110310330B CN110310330B (zh) 2023-01-10

Family

ID=68056488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910235147.1A Active CN110310330B (zh) 2018-03-27 2019-03-27 位置关系检测装置

Country Status (2)

Country Link
US (1) US11049279B2 (zh)
CN (1) CN110310330B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110953989A (zh) * 2019-12-09 2020-04-03 青岛歌尔微电子研究院有限公司 产品标记位置偏移的测量方法、装置、设备及介质
CN110991372A (zh) * 2019-12-09 2020-04-10 河南中烟工业有限责任公司 一种识别零售商户卷烟牌号陈列情况的方法
CN113191172A (zh) * 2020-01-14 2021-07-30 阿里巴巴集团控股有限公司 获取物品陈列信息的方法、装置、计算设备和存储介质
CN113706613A (zh) * 2021-08-06 2021-11-26 百度在线网络技术（北京）有限公司 快递定位方法及其装置

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
CN110603533A (zh) 2017-05-01 2019-12-20 讯宝科技有限责任公司 用于对象状态检测的方法和装置
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10846561B1 (en) * 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) * 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
JP7310633B2 (ja) * 2020-02-12 2023-07-19 株式会社デンソーウェーブ タグ測定環境評価装置
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11295163B1 (en) 2020-04-01 2022-04-05 Scandit Ag Recognition of optical patterns in images acquired by a robotic device
US11216628B2 (en) 2020-04-01 2022-01-04 Scandit Ag High-speed scanning of optical patterns using a digital camera
US11922271B1 (en) 2020-05-15 2024-03-05 Scandit Ag Virtual screen standby mode for mobile device camera
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11495036B1 (en) 2021-01-29 2022-11-08 Scandit Ag Segmenting images for optical character recognition
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US11880738B1 (en) 2021-08-17 2024-01-23 Scandit Ag Visual odometry for optical pattern scanning in a real scene

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8330904D0 (en) * 1982-11-18 1983-12-29 Halbmond Teppiche Veb Jacquard cards
US5707086A (en) * 1995-02-13 1998-01-13 Aksys, Ltd. Tubing connectors and parts for receiving the connectors
JPH1114384A (ja) * 1997-06-24 1999-01-22 Mitsubishi Electric Corp ナビゲーションシステム、ナビゲーションシステム用地点情報コード作成装置、および情報提供システムとその印刷媒体
JP2001312715A (ja) * 2000-04-28 2001-11-09 Denso Corp 光学情報読取装置
CN1595421A (zh) * 2003-09-08 2005-03-16 电装波动株式会社 光学信息读取装置及相关的信息读取方法
US20070119955A1 (en) * 2003-09-23 2007-05-31 Ronald Barenburg Method for improving security and enhancing information storage capability, the system and apparatus for producing the method, and products produced by the system and apparatus using the method
CN102184405A (zh) * 2011-04-19 2011-09-14 清华大学 图像采集分析方法
CN104346872A (zh) * 2013-08-05 2015-02-11 黄自升 冷冻食物自动烹制售卖系统
CN107563234A (zh) * 2016-07-01 2018-01-09 电装波动株式会社 信息码读取系统、信息码处理方法以及移动终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665695B2 (ja) 2011-07-12 2015-02-04 マイティカード株式会社 Ｒｆｉｄタグ移動識別方法及びｒｆｉｄタグ移動識別プログラム
JP6043094B2 (ja) * 2012-05-30 2016-12-14 辛東主 商品陳列情報集計システム
US10438084B2 (en) * 2013-03-04 2019-10-08 Nec Corporation Article management system, information processing apparatus, and control method and control program of information processing apparatus
JP5942912B2 (ja) 2013-03-27 2016-06-29 株式会社デンソーウェーブ 含水率推定システム、無線タグリーダ
WO2016052379A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、棚札管理システム、制御方法、及びプログラム
JP6269851B2 (ja) * 2014-09-30 2018-01-31 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US9483704B2 (en) * 2014-12-10 2016-11-01 Ricoh Co., Ltd. Realogram scene analysis of images: superpixel scene analysis
JP6791534B2 (ja) * 2015-01-22 2020-11-25 日本電気株式会社 商品管理装置、商品管理方法及びプログラム
JP6335131B2 (ja) 2015-03-12 2018-05-30 富士通フロンテック株式会社 タグリーダ、タグリーダによる探索方法、タグリーダによる探索プログラム
JP2016194833A (ja) * 2015-03-31 2016-11-17 富士通株式会社 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
US10304031B2 (en) * 2015-06-23 2019-05-28 Toshiba Tec Kabushiki Kaisha Image processing apparatus
EP3154008B1 (en) * 2015-10-09 2017-12-20 Pricer AB Determination of a product position along a fixture
JP6939790B2 (ja) * 2016-07-21 2021-09-22 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
US20180232686A1 (en) * 2017-02-16 2018-08-16 Toshiba Tec Kabushiki Kaisha Article management apparatus and article management method
JP6938169B2 (ja) * 2017-03-01 2021-09-22 東芝テック株式会社 ラベル生成装置及びプログラム
US10643059B2 (en) * 2018-01-10 2020-05-05 Trax Technology Solutions Pte Ltd. Inspecting store shelf capacity
JP7163760B2 (ja) * 2018-12-25 2022-11-01 株式会社デンソーウェーブ 位置関係検出装置及び位置関係検出システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8330904D0 (en) * 1982-11-18 1983-12-29 Halbmond Teppiche Veb Jacquard cards
US5707086A (en) * 1995-02-13 1998-01-13 Aksys, Ltd. Tubing connectors and parts for receiving the connectors
JPH1114384A (ja) * 1997-06-24 1999-01-22 Mitsubishi Electric Corp ナビゲーションシステム、ナビゲーションシステム用地点情報コード作成装置、および情報提供システムとその印刷媒体
JP2001312715A (ja) * 2000-04-28 2001-11-09 Denso Corp 光学情報読取装置
CN1595421A (zh) * 2003-09-08 2005-03-16 电装波动株式会社 光学信息读取装置及相关的信息读取方法
US20070119955A1 (en) * 2003-09-23 2007-05-31 Ronald Barenburg Method for improving security and enhancing information storage capability, the system and apparatus for producing the method, and products produced by the system and apparatus using the method
CN102184405A (zh) * 2011-04-19 2011-09-14 清华大学 图像采集分析方法
CN104346872A (zh) * 2013-08-05 2015-02-11 黄自升 冷冻食物自动烹制售卖系统
CN107563234A (zh) * 2016-07-01 2018-01-09 电装波动株式会社 信息码读取系统、信息码处理方法以及移动终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110953989A (zh) * 2019-12-09 2020-04-03 青岛歌尔微电子研究院有限公司 产品标记位置偏移的测量方法、装置、设备及介质
CN110991372A (zh) * 2019-12-09 2020-04-10 河南中烟工业有限责任公司 一种识别零售商户卷烟牌号陈列情况的方法
CN110953989B (zh) * 2019-12-09 2021-07-30 青岛歌尔微电子研究院有限公司 产品标记位置偏移的测量方法、装置、设备及介质
CN113191172A (zh) * 2020-01-14 2021-07-30 阿里巴巴集团控股有限公司 获取物品陈列信息的方法、装置、计算设备和存储介质
CN113706613A (zh) * 2021-08-06 2021-11-26 百度在线网络技术（北京）有限公司 快递定位方法及其装置

Also Published As

Publication number Publication date
CN110310330B (zh) 2023-01-10
US20190304132A1 (en) 2019-10-03
US11049279B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
CN110310330A (zh) 位置关系检测装置
JP7294504B2 (ja) 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
CN108492482B (zh) 货品监控系统及监控方法
JP6702464B2 (ja) 画像表示装置、画像表示方法及びプログラム
WO2017085771A1 (ja) 精算支援システム、精算支援プログラム、及び精算支援方法
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
JP6800820B2 (ja) 人流分析方法、人流分析装置、及び人流分析システム
JP5439787B2 (ja) カメラ装置
CN109271935A (zh) 物品与电子标签的配对方法、装置及系统
CN108960038B (zh) 一种基于图像识别技术的购物手推车及其识别方法
US9852434B2 (en) Method, arrangement, and computer program product for coordinating video information with other measurements
CN1984756A (zh) 物品保持系统、机器人以及机器人控制方法
EP3674980B1 (en) Positional relationship detection device and positional relationship detection system
JP2015230236A (ja) 商品案内装置、端末装置、商品案内方法、及びプログラム
CN110119914A (zh) 对象补货处理方法、装置和系统
WO2014020794A1 (ja) 情報処理装置及び画面設定方法
JP2016197342A (ja) 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法
CN110520372A (zh) 物品管理支援装置、物品管理支援系统及物品管理支援方法
CN106203225A (zh) 基于深度的图像元素删除
CN107533783A (zh) 产品登记装置、程序和控制方法
CN107833403A (zh) 商品登记装置及商品登记方法、终端设备
CN109166257B (zh) 一种购物车商品核验方法及其装置
JP2016024596A (ja) 情報処理装置
CN110336944B (zh) 自动拍摄并分析服装图像的方法、装置、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant