JP2021043833A - Information processing apparatus - Google Patents

Information processing apparatus Download PDF

Info

Publication number
JP2021043833A
JP2021043833A JP2019166851A JP2019166851A JP2021043833A JP 2021043833 A JP2021043833 A JP 2021043833A JP 2019166851 A JP2019166851 A JP 2019166851A JP 2019166851 A JP2019166851 A JP 2019166851A JP 2021043833 A JP2021043833 A JP 2021043833A
Authority
JP
Japan
Prior art keywords
processor
image
product
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019166851A
Other languages
Japanese (ja)
Other versions
JP7419004B2 (en
Inventor
平　和樹
Kazuki Taira
和樹 平
善則 岩瀬
Yoshinori Iwase
善則 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2019166851A priority Critical patent/JP7419004B2/en
Publication of JP2021043833A publication Critical patent/JP2021043833A/en
Application granted granted Critical
Publication of JP7419004B2 publication Critical patent/JP7419004B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide an information processing apparatus which effectively presents the change of commodities arranged.SOLUTION: An information processing apparatus according to an embodiment includes an image interface and a processor. The image interface acquires a captured image obtained by capturing an image of an article arranged in a predetermined area. The processor generates shelf allocation information of the article on the basis of the captured image, acquires shelf allocation plan information indicating a shelf allocation plan of the articles arranged in the predetermined area, generates difference information indicating a difference between the shelf allocation information and the shelf allocation plan information, and generates an instruction image by superimposing an intermediate image for instructing to change the articles arranged in the predetermined area on the captured image, on the basis of the difference information.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、情報処理装置に関する。 Embodiments of the present invention relate to an information processing device.

商品棚に配置される商品を認識する情報処理装置には、商品棚に配置された商品と棚割計画との差異を提示するものがある。そのような情報処理装置は、棚割計画が変更されると、商品棚に配置された商品と変更された棚割計画との差異を提示する。即ち、情報処理装置は、オペレータに対して、商品棚に配置されている商品の変更を提示する。 Some information processing devices that recognize the products placed on the product shelves present the difference between the products placed on the product shelves and the shelving allocation plan. Such an information processing device presents the difference between the goods placed on the merchandise shelves and the modified shelving allocation plan when the shelving allocation plan is changed. That is, the information processing device presents the operator with changes to the products placed on the product shelves.

オペレータに対して、商品棚に配置されている商品の変更を効果的に提示する技術が望まれている。 There is a demand for a technique for effectively presenting changes to the products placed on the product shelves to the operator.

特開２０１２−７４０１４号公報Japanese Unexamined Patent Publication No. 2012-74014

上記の課題を解決するために、配置されている商品の変更を効果的に提示する情報処理装置を提供する。 In order to solve the above problems, an information processing device that effectively presents changes in the arranged products is provided.

実施形態によれば、情報処理装置は、画像インターフェースと、プロセッサと、を備える。画像インターフェースは、所定の領域に配置されている物品の画像を撮影した撮影画像を取得する。プロセッサは、前記撮影画像に基づいて、前記物品の棚割情報を生成し、前記所定の領域に配置される物品の棚割計画を示す棚割計画情報を取得し、前記棚割情報と前記棚割計画情報との差異を示す差異情報を生成し、前記差異情報に基づいて、前記所定の領域に配置されている物品を変更することを指示する中間画像を前記撮影画像に重ねた指示画像を生成する。 According to the embodiment, the information processing device includes an image interface and a processor. The image interface acquires a captured image of an article arranged in a predetermined area. The processor generates the shelf allocation information of the article based on the captured image, acquires the shelf allocation plan information indicating the shelf allocation plan of the article arranged in the predetermined area, and obtains the shelf allocation information and the shelf. An instruction image in which an intermediate image indicating a difference from the split plan information is generated and an intermediate image instructing to change an article arranged in the predetermined area is superimposed on the captured image based on the difference information is displayed. Generate.

図１は、第１の実施形態に係る表示システムの構成例を示す図である。FIG. 1 is a diagram showing a configuration example of a display system according to the first embodiment. 図２は、第１の実施形態に係る情報処理装置の構成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of the information processing apparatus according to the first embodiment. 図３は、第１の実施形態に係る表示端末の構成例を示すブロック図である。FIG. 3 is a block diagram showing a configuration example of a display terminal according to the first embodiment. 図４は、第１の実施形態に係る撮影画像の例を示す図である。FIG. 4 is a diagram showing an example of a photographed image according to the first embodiment. 図５は、第１の実施形態に係る棚割情報の例を示す図である。FIG. 5 is a diagram showing an example of shelf allocation information according to the first embodiment. 図６は、第１の実施形態に係る棚割計画情報の例を示す図である。FIG. 6 is a diagram showing an example of shelving allocation plan information according to the first embodiment. 図７は、第１の実施形態に係る差異情報の例を示す図である。FIG. 7 is a diagram showing an example of difference information according to the first embodiment. 図８は、第１の実施形態に係る指示画像の表示例を示す図である。FIG. 8 is a diagram showing a display example of an instruction image according to the first embodiment. 図９は、第１の実施形態に係る指示画像の表示例を示す図である。FIG. 9 is a diagram showing a display example of an instruction image according to the first embodiment. 図１０は、第１の実施形態に係る情報処理装置の動作例を示すフローチャートであるFIG. 10 is a flowchart showing an operation example of the information processing apparatus according to the first embodiment. 図１１は、第２の実施形態に係る表示端末の構成例を示す図であるFIG. 11 is a diagram showing a configuration example of a display terminal according to the second embodiment.

以下、実施形態について、図面を参照して説明する。
（第１の実施形態について）
まず、第１の実施形態について説明する。
実施形態に係る表示システムは、商品棚（所定の領域）に配置される商品を認識し、認識した商品と棚割計画との差異を示す差異情報を生成する。表示システムは、差異情報に基づいて、配置されている商品を変更することを指示する指示画像を出力する。たとえば、表示システムは、オペレータが所持する端末に指示画像を表示させる。また、表示システムは、用紙に指示画像を印刷してもよい。表示システムは、商品を販売する店舗などに設置される。 Hereinafter, embodiments will be described with reference to the drawings.
(About the first embodiment)
First, the first embodiment will be described.
The display system according to the embodiment recognizes the products arranged on the product shelves (predetermined area), and generates difference information indicating the difference between the recognized products and the shelving allocation plan. The display system outputs an instruction image instructing to change the arranged product based on the difference information. For example, the display system causes the terminal owned by the operator to display the instruction image. In addition, the display system may print an instruction image on paper. The display system is installed in a store that sells products.

なお、表示システムは、棚などに配置される部品又は荷物などの物品を認識するものであってもよい。表示システムは、配置されている物品を変更することを指示する指示画像を出力するものであってもよい。 The display system may recognize articles such as parts or luggage arranged on shelves or the like. The display system may output an instruction image instructing to change the arranged article.

図１は、実施形態に係る表示システム１の構成例を示す。図１が示すように、表示システム１は、カメラ２、商品棚３、商品４、情報処理装置１０及び表示端末３０などを備える。情報処理装置１０は、カメラ２及び表示端末３０と接続する。 FIG. 1 shows a configuration example of the display system 1 according to the embodiment. As shown in FIG. 1, the display system 1 includes a camera 2, a product shelf 3, a product 4, an information processing device 10, a display terminal 30, and the like. The information processing device 10 is connected to the camera 2 and the display terminal 30.

なお、表示システム１は、図１が示すような構成の他に必要に応じた構成を具備したり、表示システム１から特定の構成が除外されたりしてもよい。 The display system 1 may have a configuration as required in addition to the configuration shown in FIG. 1, or a specific configuration may be excluded from the display system 1.

商品棚３は、商品４を配置する棚である。商品棚３は、所定の方向を開放し外部から商品を閲覧可能に配置する。たとえば、商品棚３は、商品４を販売する店舗内に設置される。 The product shelf 3 is a shelf on which the product 4 is placed. The product shelf 3 is arranged so that the product can be viewed from the outside by opening a predetermined direction. For example, the product shelf 3 is installed in a store that sells the product 4.

カメラ２は、撮影範囲２ａを撮影する。カメラ２は、撮影範囲２ａに含まれる商品棚３を撮影する。カメラ２は、商品棚３が開放している方向に向って商品棚３を撮影し、商品棚３に配置される商品４を撮影する。カメラ２は、商品棚３を撮影可能な位置に設置される。また、カメラ２は、移動可能なものであってもよい。カメラ２は、撮影によって得られた撮影画像を情報処理装置１０に送信する。たとえば、カメラ２は、ＣＣＤ（Charge Coupled Device）カメラなどである。なお、カメラ２は、商品棚３及び商品４などを照らす照明などを備えるものであってもよい。 The camera 2 captures a shooting range 2a. The camera 2 photographs the product shelf 3 included in the photographing range 2a. The camera 2 photographs the product shelf 3 in the direction in which the product shelf 3 is open, and photographs the product 4 arranged on the product shelf 3. The camera 2 is installed at a position where the product shelf 3 can be photographed. Further, the camera 2 may be movable. The camera 2 transmits the captured image obtained by photographing to the information processing device 10. For example, the camera 2 is a CCD (Charge Coupled Device) camera or the like. The camera 2 may be provided with lighting that illuminates the product shelves 3, the product 4, and the like.

情報処理装置１０は、カメラ２からの撮影画像などに基づいて、指示画像を生成する。情報処理装置１０は、指示画像を印刷し又は表示端末３０へ出力する。情報処理装置１０については、後に詳述する。 The information processing device 10 generates an instruction image based on an image taken from the camera 2 or the like. The information processing device 10 prints an instruction image or outputs the instruction image to the display terminal 30. The information processing device 10 will be described in detail later.

表示端末３０は、情報処理装置１０からの指示画像を表示する。たとえば、表示端末３０は、商品棚３に商品４を配置するオペレータが所持する端末である。表示端末３０は、オペレータが持ち運び可能な端末である。また、表示端末３０は、据え置き型の端末であってもよい。表示端末３０については、後に詳述する。 The display terminal 30 displays an instruction image from the information processing device 10. For example, the display terminal 30 is a terminal owned by an operator who arranges the product 4 on the product shelf 3. The display terminal 30 is a terminal that can be carried by the operator. Further, the display terminal 30 may be a stationary terminal. The display terminal 30 will be described in detail later.

次に、情報処理装置１０について説明する。
図２は、情報処理装置１０の構成例を示すブロック図である。図２が示すように、情報処理装置１０は、基本的な構成として、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９、プリンタ２０及び端末インターフェース２１などを備える。プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９及び端末インターフェース２１とは、データバスを介して互いに接続される。プリンタインターフェース１９と、プリンタ２０とは、互いに接続する。なお、情報処理装置１０は、図２が示すような構成の他に必要に応じた構成を具備したり、情報処理装置１０から特定の構成が除外されたりしてもよい。 Next, the information processing device 10 will be described.
FIG. 2 is a block diagram showing a configuration example of the information processing device 10. As shown in FIG. 2, the information processing device 10 has, as a basic configuration, a processor 11, a ROM 12, a RAM 13, an NVM 14, an operation unit 15, a display unit 16, a communication unit 17, a camera interface 18, a printer interface 19, and a printer 20. And a terminal interface 21 and the like. The processor 11, ROM 12, RAM 13, NVM 14, operation unit 15, display unit 16, communication unit 17, camera interface 18, printer interface 19, and terminal interface 21 are connected to each other via a data bus. The printer interface 19 and the printer 20 are connected to each other. The information processing device 10 may have a configuration as required in addition to the configuration shown in FIG. 2, or a specific configuration may be excluded from the information processing device 10.

プロセッサ１１は、情報処理装置１０全体の動作を制御する機能を有する。プロセッサ１１は、内部キャッシュおよび各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。 The processor 11 has a function of controlling the operation of the entire information processing device 10. The processor 11 may include an internal cache, various interfaces, and the like. The processor 11 realizes various processes by executing a program stored in advance in the internal memory, ROM 12 or NVM 14.

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。 It should be noted that some of the various functions realized by the processor 11 executing the program may be realized by the hardware circuit. In this case, the processor 11 controls the function executed by the hardware circuit.

ＲＯＭ１２は、予め制御用のプログラム及び制御データなどが記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、予め情報処理装置１０の仕様に応じて組み込まれる。ＲＯＭ１２は、たとえば、情報処理装置１０の回路基板を制御するプログラム（例えば、ＢＩＯＳ）などを格納する。 The ROM 12 is a non-volatile memory in which a control program, control data, and the like are stored in advance. The control program and control data stored in the ROM 12 are incorporated in advance according to the specifications of the information processing apparatus 10. The ROM 12 stores, for example, a program (for example, BIOS) that controls the circuit board of the information processing apparatus 10.

ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。 The RAM 13 is a volatile memory. The RAM 13 temporarily stores data and the like being processed by the processor 11. The RAM 13 stores various application programs based on instructions from the processor 11. Further, the RAM 13 may store data necessary for executing the application program, an execution result of the application program, and the like.

ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどにより構成される。ＮＶＭ１４は、情報処理装置１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータを格納する。 The NVM 14 is a non-volatile memory capable of writing and rewriting data. The NVM 14 is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like. The NVM 14 stores a control program, an application, and various data according to the operational use of the information processing apparatus 10.

ＮＶＭ１４は、画像処理によって商品を認識するための辞書情報を格納してもよい。たとえば、辞書情報は、商品の画像である。また、辞書情報は、商品の画像から抽出された特徴量又は特徴量の分布などであってもよい。 The NVM 14 may store dictionary information for recognizing a product by image processing. For example, the dictionary information is an image of a product. Further, the dictionary information may be a feature amount or a distribution of the feature amount extracted from the image of the product.

操作部１５は、情報処理装置１０のオペレータによって、種々の操作指示が入力される。操作部１５は、オペレータに入力された操作指示の信号をプロセッサ１１へ送信する。操作部１５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。 Various operation instructions are input to the operation unit 15 by the operator of the information processing device 10. The operation unit 15 transmits a signal of an operation instruction input to the operator to the processor 11. The operation unit 15 is, for example, a keyboard, a numeric keypad, a touch panel, or the like.

表示部１６は、プロセッサ１１の制御により種々の情報を表示する表示装置である。表示部１６は、たとえば、液晶モニタなどである。なお、操作部１５がタッチパネルなどで構成される場合、表示部１６は、操作部１５と一体的に形成されてもよい。 The display unit 16 is a display device that displays various information under the control of the processor 11. The display unit 16 is, for example, a liquid crystal monitor or the like. When the operation unit 15 is composed of a touch panel or the like, the display unit 16 may be integrally formed with the operation unit 15.

通信部１７は、外部装置とデータを送受信するためのインターフェースである。たとえば、通信部１７は、外部装置から棚割計画を示す棚割計画情報などを取得する。通信部１７は、取得した棚割計画情報などをプロセッサ１１へ送信する。たとえば、通信部１７は、インターネットなどのネットワークを通じて外部装置と接続するものであってもよい。たとえば、通信部１７は、ＬＡＮ（Local Area Network）接続などをサポートする。 The communication unit 17 is an interface for transmitting and receiving data to and from an external device. For example, the communication unit 17 acquires the shelving allocation plan information indicating the shelving allocation plan from the external device. The communication unit 17 transmits the acquired shelving allocation plan information and the like to the processor 11. For example, the communication unit 17 may be connected to an external device through a network such as the Internet. For example, the communication unit 17 supports a LAN (Local Area Network) connection or the like.

カメラインターフェース１８（画像インターフェース）は、カメラ２とデータを送受信するためのインターフェースである。たとえば、カメラインターフェース１８は、カメラ２から撮影画像を取得する。カメラインターフェース１８は、取得した撮影画像をプロセッサ１１へ送信する。 The camera interface 18 (image interface) is an interface for transmitting and receiving data to and from the camera 2. For example, the camera interface 18 acquires a captured image from the camera 2. The camera interface 18 transmits the acquired captured image to the processor 11.

プリンタインターフェース１９は、プリンタ２０とデータを送受信するためのインターフェースである。たとえば、プリンタインターフェース１９は、プロセッサ１１からのデータをプリンタ２０へ送信する。たとえば、プリンタインターフェース１９は、ＵＳＢ（Universal Serial Bus）接続をサポートする。 The printer interface 19 is an interface for transmitting and receiving data to and from the printer 20. For example, the printer interface 19 transmits data from the processor 11 to the printer 20. For example, the printer interface 19 supports a USB (Universal Serial Bus) connection.

プリンタ２０は、プロセッサ１１からの信号に従って用紙に画像を印刷する。たとえば、プリンタ２０は、用紙を供給する供給部、用紙を搬送する搬送モータ、搬送モータを制御するモータ制御部及び用紙に印字する印字部などから構成される。 The printer 20 prints an image on paper according to a signal from the processor 11. For example, the printer 20 is composed of a supply unit for supplying paper, a transport motor for transporting paper, a motor control unit for controlling the transport motor, a printing unit for printing on paper, and the like.

たとえば、供給部は、画像を印刷する用紙を格納する。搬送モータは、モータ制御部からの信号などによって用紙を供給部から印字部へ搬送する。
印字部は、供給部から供給された用紙に画像を印刷する。たとえば、印字部は、インクを用紙に付加して画像を形成する。 For example, the supply unit stores the paper on which the image is printed. The transport motor transports the paper from the supply unit to the printing unit by a signal from the motor control unit or the like.
The printing unit prints an image on the paper supplied from the supply unit. For example, the printing unit adds ink to paper to form an image.

また、用紙が感熱紙である場合、印字部は、用紙を加熱して画像を形成する。たとえば、印字部は、用紙を加熱するサーマルヘッド、及び、サーマルヘッドを制御するサーマルヘッド制御部などから構成される。 When the paper is thermal paper, the printing unit heats the paper to form an image. For example, the printing unit includes a thermal head that heats paper, a thermal head control unit that controls the thermal head, and the like.

端末インターフェース２１（出力インターフェース）は、表示端末３０とデータを送受信するためのインターフェースである。たとえば、端末インターフェース２１は、無線又は有線で表示端末３０と接続する。たとえば、端末インターフェース２１は、プロセッサ１１から画像を表示端末３０に送信する。たとえば、端末インターフェース２１は、ＬＡＮ接続などをサポートする。なお、端末インターフェース２１は、通信部１７と一体的に形成されるものであってもよい。 The terminal interface 21 (output interface) is an interface for transmitting and receiving data to and from the display terminal 30. For example, the terminal interface 21 connects to the display terminal 30 wirelessly or by wire. For example, the terminal interface 21 transmits an image from the processor 11 to the display terminal 30. For example, the terminal interface 21 supports LAN connection and the like. The terminal interface 21 may be integrally formed with the communication unit 17.

次に、表示端末３０について説明する。
図３は、表示端末３０の構成例を示すブロック図である。図３が示すように、表示端末３０は、基本的な構成として、プロセッサ３１、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、操作部３５、表示部３６及び装置インターフェース３７などを備える。プロセッサ３１と、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、操作部３５、表示部３６及び装置インターフェース３７とは、データバスを介して互いに接続される。なお、表示端末３０は、図３が示すような構成の他に必要に応じた構成を具備したり、表示端末３０から特定の構成が除外されたりしてもよい。 Next, the display terminal 30 will be described.
FIG. 3 is a block diagram showing a configuration example of the display terminal 30. As shown in FIG. 3, the display terminal 30 includes a processor 31, a ROM 32, a RAM 33, an NVM 34, an operation unit 35, a display unit 36, a device interface 37, and the like as a basic configuration. The processor 31, the ROM 32, the RAM 33, the NVM 34, the operation unit 35, the display unit 36, and the device interface 37 are connected to each other via a data bus. The display terminal 30 may have a configuration as required in addition to the configuration shown in FIG. 3, or a specific configuration may be excluded from the display terminal 30.

プロセッサ３１は、表示端末３０全体の動作を制御する機能を有する。プロセッサ３１は、内部キャッシュおよび各種のインターフェースなどを備えてもよい。プロセッサ３１は、内部メモリ、ＲＯＭ３２又はＮＶＭ３４が予め記憶するプログラムを実行することにより種々の処理を実現する。 The processor 31 has a function of controlling the operation of the entire display terminal 30. The processor 31 may include an internal cache, various interfaces, and the like. The processor 31 realizes various processes by executing a program stored in advance in the internal memory, ROM 32, or NVM 34.

なお、プロセッサ３１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ３１は、ハードウエア回路により実行される機能を制御する。 It should be noted that some of the various functions realized by the processor 31 executing the program may be realized by the hardware circuit. In this case, the processor 31 controls the functions performed by the hardware circuits.

ＲＯＭ３２は、予め制御用のプログラム及び制御データなどが記憶された不揮発性のメモリである。ＲＯＭ３２に記憶される制御プログラム及び制御データは、予め表示端末３０の仕様に応じて組み込まれる。ＲＯＭ３２は、たとえば、表示端末３０の回路基板を制御するプログラムなどを格納する。 The ROM 32 is a non-volatile memory in which a control program, control data, and the like are stored in advance. The control program and control data stored in the ROM 32 are incorporated in advance according to the specifications of the display terminal 30. The ROM 32 stores, for example, a program for controlling the circuit board of the display terminal 30.

ＲＡＭ３３は、揮発性のメモリである。ＲＡＭ３３は、プロセッサ３１の処理中のデータなどを一時的に格納する。ＲＡＭ３３は、プロセッサ３１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ３３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。 The RAM 33 is a volatile memory. The RAM 33 temporarily stores data and the like being processed by the processor 31. The RAM 33 stores various application programs based on instructions from the processor 31. Further, the RAM 33 may store data necessary for executing the application program, an execution result of the application program, and the like.

ＮＶＭ３４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ３４は、例えば、ＨＤＤ、ＳＳＤ又はフラッシュメモリなどにより構成される。ＮＶＭ３４は、表示端末３０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータを格納する。 The NVM 34 is a non-volatile memory capable of writing and rewriting data. The NVM 34 is composed of, for example, an HDD, an SSD, a flash memory, or the like. The NVM 34 stores a control program, an application, and various data according to the operational use of the display terminal 30.

操作部３５は、表示端末３０のオペレータによって、種々の操作指示が入力される。操作部３５は、オペレータに入力された操作指示の信号をプロセッサ３１へ送信する。操作部３５は、たとえば、キーボード、テンキー及びタッチパネルなどである。ここでは、操作部３５は、タッチパネルから構成される。 Various operation instructions are input to the operation unit 35 by the operator of the display terminal 30. The operation unit 35 transmits a signal of an operation instruction input to the operator to the processor 31. The operation unit 35 is, for example, a keyboard, a numeric keypad, a touch panel, or the like. Here, the operation unit 35 is composed of a touch panel.

表示部３６は、プロセッサ３１の制御により種々の情報を表示する表示装置である。表示部３６は、たとえば、液晶モニタなどである。また、表示部３６は、操作部３５と一体的に形成される。 The display unit 36 is a display device that displays various information under the control of the processor 31. The display unit 36 is, for example, a liquid crystal monitor or the like. Further, the display unit 36 is integrally formed with the operation unit 35.

装置インターフェース３７は、情報処理装置１０とデータを送受信するためのインターフェースである。たとえば、装置インターフェース３７は、無線又は有線で情報処理装置１０と接続する。たとえば、装置インターフェース３７は、情報処理装置１０から指示画像を取得する。装置インターフェース３７は、取得した指示画像などをプロセッサ３１へ送信する。たとえば、装置インターフェース３７は、ＬＡＮ（Local Area Network）接続などをサポートする。 The device interface 37 is an interface for transmitting and receiving data to and from the information processing device 10. For example, the device interface 37 connects to the information processing device 10 wirelessly or by wire. For example, the device interface 37 acquires an instruction image from the information processing device 10. The device interface 37 transmits the acquired instruction image or the like to the processor 31. For example, the device interface 37 supports a LAN (Local Area Network) connection or the like.

プロセッサ３１は、情報処理装置１０からの指示画像を表示部３６に表示する。たとえば、プロセッサ３１は、装置インターフェース３７を通じて情報処理装置１０から指示画像を取得する。プロセッサ３１は、取得した指示画像を表示部３６に表示する。 The processor 31 displays the instruction image from the information processing device 10 on the display unit 36. For example, the processor 31 acquires an instruction image from the information processing device 10 through the device interface 37. The processor 31 displays the acquired instruction image on the display unit 36.

プロセッサ３１は、操作部３５を通じて所定の操作の入力を受け付けた場合に、情報処理装置１０へ指示画像のリクエストを送信し情報処理装置１０から指示画像を取得してもよい。 When the processor 31 receives an input of a predetermined operation through the operation unit 35, the processor 31 may transmit a request for an instruction image to the information processing device 10 and acquire the instruction image from the information processing device 10.

次に、情報処理装置１０のプロセッサ１１が実現する機能について説明する。情報処理装置１０が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。 Next, the functions realized by the processor 11 of the information processing device 10 will be described. The function realized by the information processing device 10 is realized by the processor 11 executing a program stored in the ROM 12 or the NVM 14.

まず、プロセッサ１１は、カメラ２を用いて商品４が配置されている商品棚３を含む撮影領域の撮影画像を取得する機能を有する。
プロセッサ１１は、操作部１５を通じて所定の操作を受け付けると、カメラインターフェース１８を通じてカメラ２に画像を撮影させる信号を送信する。カメラ２は、当該信号に従って画像を撮影する。カメラ２は、カメラインターフェース１８を通じて撮影画像をプロセッサ１１へ送信する。プロセッサ１１は、カメラインターフェース１８を通じてカメラ２から撮影画像を取得する。 First, the processor 11 has a function of using the camera 2 to acquire a photographed image of a photographing area including the product shelf 3 on which the product 4 is arranged.
When the processor 11 receives a predetermined operation through the operation unit 15, the processor 11 transmits a signal for causing the camera 2 to take an image through the camera interface 18. The camera 2 captures an image according to the signal. The camera 2 transmits the captured image to the processor 11 through the camera interface 18. The processor 11 acquires a captured image from the camera 2 through the camera interface 18.

また、オペレータは、カメラ２を所定の位置にセットしてもよい。また、オペレータは、カメラ２に所定の操作を入力してカメラ２に画像を撮影させてもよい。 Further, the operator may set the camera 2 at a predetermined position. Further, the operator may input a predetermined operation to the camera 2 to cause the camera 2 to take an image.

図４は、プロセッサ１１が取得した撮影画像６０の例を示す。図４が示すように、撮影画像６０は、商品棚３及び商品棚３に配置されている商品４などを写す。ここでは、商品棚３は、３段に形成される。商品棚３は、各棚段に商品４を配置する。 FIG. 4 shows an example of the captured image 60 acquired by the processor 11. As shown in FIG. 4, the photographed image 60 captures the product shelf 3 and the product 4 arranged on the product shelf 3. Here, the product shelves 3 are formed in three stages. In the product shelf 3, the product 4 is arranged on each shelf.

また、プロセッサ１１は、撮影画像から商品及び商品の位置を認識する機能を有する。
プロセッサ１１は、商品として、商品を示す商品コードを特定する。 In addition, the processor 11 has a function of recognizing the product and the position of the product from the captured image.
The processor 11 specifies a product code indicating a product as a product.

たとえば、プロセッサ１１は、撮影画像から商品が写る商品領域を特定する。たとえば、プロセッサ１１は、商品棚の背景色に基づいて商品領域を特定してもよい。また、プロセッサ１１は、エッジを検出して商品領域を特定してもよい。プロセッサ１１は、特定された商品領域の位置を商品の位置として特定する。 For example, the processor 11 identifies a product area in which a product appears from a captured image. For example, the processor 11 may specify the product area based on the background color of the product shelf. Further, the processor 11 may detect the edge and specify the product area. The processor 11 specifies the position of the specified product area as the position of the product.

商品領域を特定すると、プロセッサ１１は、商品領域に写る商品を認識する。たとえば、プロセッサ１１は、ＮＶＭ１４に格納される辞書情報を取得する。プロセッサ１１は、取得した辞書情報と商品領域の画像とをマッチングすることで商品領域に写る商品を認識する。
なお、プロセッサ１１が商品及び商品の位置を特定する方法は、特定の構成に限定されるものではない。 When the product area is specified, the processor 11 recognizes the product reflected in the product area. For example, the processor 11 acquires the dictionary information stored in the NVM 14. The processor 11 recognizes the product reflected in the product area by matching the acquired dictionary information with the image of the product area.
The method by which the processor 11 specifies the product and the position of the product is not limited to a specific configuration.

また、プロセッサ１１は、認識した商品及び位置を示す棚割情報を生成する機能を有する。
たとえば、プロセッサ１１は、特定した商品を示す商品コードと商品の座標とを対応付けて格納した棚割情報を生成する。また、棚割情報は、商品の位置として商品が配置されている棚段などを示すものであってもよい。また、棚割情報は、商品の位置として、棚段及び棚段における位置を示すものであってもよい。棚割情報の構成は、特定の構成に限定されるものではない。 In addition, the processor 11 has a function of generating shelving allocation information indicating the recognized product and position.
For example, the processor 11 generates shelving allocation information stored in association with a product code indicating a specified product and the coordinates of the product. Further, the shelf allocation information may indicate the shelf stage on which the product is arranged as the position of the product. In addition, the shelf allocation information may indicate the position of the product on the shelf and the position on the shelf. The structure of the shelving allocation information is not limited to a specific structure.

図５は、プロセッサ１１が生成した棚割情報の例を示す。図５が示す例では、棚割情報は、商品棚３の上段に３つの商品Ａ及び１つの商品Ｂが左から順に配置されていることを示す。また、棚割情報は、商品棚３の中断に３つの商品Ｃ及び２つの商品Ｄが左から順に配置されていることを示す。また、棚割情報は、商品棚３の下段に４つの商品Ｅが２段で及び４つの商品Ｆが２段で左から順に配置されていることを示す。 FIG. 5 shows an example of shelving allocation information generated by the processor 11. In the example shown in FIG. 5, the shelf allocation information indicates that three products A and one product B are arranged in order from the left on the upper stage of the product shelf 3. Further, the shelf allocation information indicates that the three products C and the two products D are arranged in order from the left at the interruption of the product shelves 3. Further, the shelf allocation information indicates that four products E are arranged in two stages and four product Fs are arranged in two stages in the lower row of the product shelf 3 in order from the left.

また、プロセッサ１１は、棚割計画を示す棚割計画情報を取得する機能を有する。
棚割計画は、商品棚３に配置する商品の計画である。棚割計画情報は、商品４と商品棚３において商品４を配置する位置とを対応付けて示す。たとえば、棚割計画情報は、位置として、商品棚３の棚段及び棚段における位置を示すものであってもよい。棚割計画情報の構成は、特定の構成に限定されるものではない。 Further, the processor 11 has a function of acquiring the shelving allocation plan information indicating the shelving allocation plan.
The shelving allocation plan is a plan of products to be arranged on the product shelves 3. The shelving allocation plan information shows the product 4 and the position where the product 4 is arranged on the product shelf 3 in association with each other. For example, the shelf allocation plan information may indicate the position of the product shelf 3 on the shelf and the shelf as the position. The structure of the shelving allocation plan information is not limited to a specific structure.

プロセッサ１１は、通信部１７を通じて所定のタイミングで外部装置から棚割計画情報を受信する。たとえば、プロセッサ１１は、表示システム１が設置される店舗を管理する管理サーバなどから棚割計画情報を受信する。プロセッサ１１は、受信した棚割計画情報をＮＶＭ１４に格納する。プロセッサ１１は、ＮＶＭ１４から棚割計画情報を取得する。 The processor 11 receives the shelving allocation plan information from the external device at a predetermined timing through the communication unit 17. For example, the processor 11 receives the shelving allocation plan information from a management server or the like that manages a store in which the display system 1 is installed. The processor 11 stores the received shelving allocation plan information in the NVM 14. The processor 11 acquires the shelving allocation plan information from the NVM 14.

また、プロセッサ１１は、情報処理装置１０に接続されるメモリなどから棚割計画情報を取得してもよい。
プロセッサ１１が棚割計画情報を取得する方法は、特定の方法に限定されるものではない。 Further, the processor 11 may acquire the shelving allocation plan information from a memory or the like connected to the information processing device 10.
The method by which the processor 11 acquires the shelving allocation plan information is not limited to a specific method.

たとえば、棚割計画情報は、商品の発注データ又は販売データなどに基づいて生成される。また、棚割計画情報は、店舗毎の特性に応じて生成されるものであってもよい。棚割計画情報が生成される方法は、特定の方法に限定されるものではない。 For example, shelving allocation planning information is generated based on product ordering data, sales data, and the like. In addition, the shelving allocation plan information may be generated according to the characteristics of each store. The method of generating the shelving allocation plan information is not limited to a specific method.

図６は、棚割計画情報の例を示す。図６が示すように、棚割計画情報は、商品棚３に配置する商品と、配置する位置とを示す。図６が示す例では、棚割計画情報は、上段に２つの商品Ａと３つの商品Ｂとを左から順に配置することを示す。また、棚割計画情報は、中段に４つの商品Ｃと１つの商品Ｄとを左から順に配置することを示す。また、棚割計画情報は、下段に６つの商品Ｅを２段に、６つの商品Ｇを二段に、左から順に配置することを示す。 FIG. 6 shows an example of shelving allocation plan information. As shown in FIG. 6, the shelf allocation plan information indicates the products to be arranged on the product shelf 3 and the positions to be arranged. In the example shown in FIG. 6, the shelving allocation plan information indicates that the two products A and the three products B are arranged in order from the left in the upper row. Further, the shelving allocation plan information indicates that four products C and one product D are arranged in order from the left in the middle row. Further, the shelf allocation plan information indicates that the six products E are arranged in the lower row, the six products G are arranged in the second row, and the six products G are arranged in the order from the left.

また、プロセッサ１１は、棚割情報と棚割計画情報との差異を示す差異情報を生成する機能を有する。 Further, the processor 11 has a function of generating difference information indicating a difference between the shelving allocation information and the shelving allocation planning information.

たとえば、プロセッサ１１は、同一の位置において、棚割情報が示す商品と、棚割計画情報が示す商品とを比較する。プロセッサ１１は、各位置において、棚割情報が示す商品と、棚割計画情報が示す商品とを比較する。プロセッサ１１は、両者が異なる位置、当該位置において棚割情報が示す商品、及び、当該位置において棚割計画が示す商品を示す差異情報を生成する。また、差異情報は、棚割情報では商品が存在するが棚割計画情報では商品が存在しない位置を示すものであってもよい。また、差異情報は、棚割情報では商品が存在しないが棚割計画情報では商品が存在する位置及び当該商品を示すものであってもよい。差異情報の構成は、特定の構成に限定されるものでない。 For example, the processor 11 compares the product indicated by the shelving allocation information with the product indicated by the shelving allocation planning information at the same position. At each position, the processor 11 compares the product indicated by the shelving allocation information with the product indicated by the shelving allocation planning information. The processor 11 generates difference information indicating a position different from each other, a product indicated by the shelving allocation information at the position, and a product indicated by the shelving allocation plan at the position. Further, the difference information may indicate a position where the product exists in the shelving allocation information but does not exist in the shelving allocation planning information. Further, the difference information may indicate the position where the product does not exist in the shelving allocation information but the product exists in the shelving allocation planning information and the product. The structure of the difference information is not limited to a specific structure.

図７は、プロセッサ１１が生成した差異情報の例を示す。図７が示す例では、差異情報は、商品棚３の上段の左から３番目の位置において差異があり当該位置において棚割情報が商品Ａを示し棚割計画情報が商品Ｂを示すことを表す。また、差異情報は、商品棚３の中段の左から４番目の位置において差異があり当該位置において棚割情報が商品Ｄを示し棚割計画情報が商品Ｃを示すことを表す。また、差異情報は、商品棚３の下段の右半分において差異があり当該位置において棚割情報が商品Ｆを示し棚割計画情報が商品Ｇを示すことを表す。 FIG. 7 shows an example of the difference information generated by the processor 11. In the example shown in FIG. 7, the difference information indicates that there is a difference at the third position from the left in the upper row of the product shelf 3, and the shelf allocation information indicates the product A and the shelf allocation plan information indicates the product B at that position. .. Further, the difference information indicates that there is a difference at the fourth position from the left in the middle row of the product shelf 3, and the shelf allocation information indicates the product D and the shelf allocation plan information indicates the product C at that position. Further, the difference information indicates that there is a difference in the lower right half of the product shelf 3 and that the shelf allocation information indicates the product F and the shelf allocation plan information indicates the product G at that position.

また、プロセッサ１１は、差異情報に基づいて、商品棚３の商品４を変更することを指示する指示画像を生成する機能を有する。
プロセッサ１１は、撮影画像に変更内容を重ねて表示する指示画像を生成する。 Further, the processor 11 has a function of generating an instruction image instructing to change the product 4 of the product shelf 3 based on the difference information.
The processor 11 generates an instruction image for displaying the changed contents superimposed on the captured image.

プロセッサ１１は、変更内容を示す中間画像を生成する。即ち、プロセッサ１１は、差異情報が示す各位置において、棚割情報が示す商品から棚割計画情報が示す商品に変更することを指示する中間画像を生成する。たとえば、プロセッサ１１は、商品棚３に配置されている商品４の画像上に変更後の物品を示す画像を表示する中間画像を生成する。また、プロセッサ１１は、矢印などを用いて棚割情報が示す商品から棚割計画情報が示す商品に変更することを指示する中間画像を生成してもよい。 The processor 11 generates an intermediate image showing the changes. That is, the processor 11 generates an intermediate image instructing to change from the product indicated by the shelving allocation information to the product indicated by the shelving allocation planning information at each position indicated by the difference information. For example, the processor 11 generates an intermediate image that displays an image showing the changed article on the image of the product 4 arranged on the product shelf 3. Further, the processor 11 may generate an intermediate image instructing to change from the product indicated by the shelving allocation information to the product indicated by the shelving allocation planning information by using an arrow or the like.

また、差異情報が棚割情報では商品が存在するが棚割計画情報では商品が存在しない位置を示す場合、プロセッサ１１は、当該位置において、商品を取り出すことを指示する中間画像を生成する。たとえば、プロセッサ１１は、矢印又はゴミ箱などのアイコンを表示する中間画像を生成する。 Further, when the difference information indicates a position where the product exists in the shelving allocation information but does not exist in the shelving allocation planning information, the processor 11 generates an intermediate image instructing to take out the product at the position. For example, the processor 11 generates an intermediate image that displays an icon such as an arrow or a trash can.

また、差異情報が棚割情報では商品が存在しないが棚割計画情報では商品が存在する位置及び当該商品を示す場合、プロセッサ１１は、当該位置において、棚割計画情報が示す商品を追加することを指示する中間画像を生成する。たとえば、プロセッサ１１は、矢印などで当該商品を追加することを指示する中間画像を生成する。また、プロセッサ１１は、当該商品の画像を含む中間画像を生成してもよい。 Further, when the difference information indicates the position where the product exists and the product in the shelf allocation plan information although the product does not exist in the shelf allocation information, the processor 11 adds the product indicated by the shelf allocation plan information at the position. Generates an intermediate image that indicates. For example, the processor 11 generates an intermediate image instructing the addition of the product with an arrow or the like. Further, the processor 11 may generate an intermediate image including an image of the product.

中間画像を生成すると、プロセッサ１１は、撮影画像に中間画像を重ねて指示画像を生成する。たとえば、プロセッサ１１は、中間画像を半透明にして撮影画像に重ねて指示画像を生成する。 When the intermediate image is generated, the processor 11 superimposes the intermediate image on the captured image to generate the instruction image. For example, the processor 11 makes the intermediate image semi-transparent and superimposes it on the captured image to generate an instruction image.

なお、中間画像は、棚割計画情報が示す各商品及び各商品の位置を示すものであってもよい。この場合、中間画像は、変更内容を強調して表示するものであってもよい。たとえば、中間画像は、変更内容をカラー表示し他の内容をモノクロ表示してもよい。 The intermediate image may show each product indicated by the shelving allocation plan information and the position of each product. In this case, the intermediate image may be displayed with the changed contents emphasized. For example, in the intermediate image, the changed contents may be displayed in color and other contents may be displayed in monochrome.

また、プロセッサ１１は、撮影画像をモノクロ画像とし中間画像をカラー画像としてもよい。また、プロセッサ１１は、中間画像としてアニメーションなどの動画を生成してもよい。プロセッサ１１が生成する中間画像及び指示画像は、特定の構成に限定されるものではない。 Further, the processor 11 may use the captured image as a monochrome image and the intermediate image as a color image. Further, the processor 11 may generate a moving image such as an animation as an intermediate image. The intermediate image and the instruction image generated by the processor 11 are not limited to a specific configuration.

また、プロセッサ１１は、指示画像を出力する機能を有する。
たとえば、プロセッサ１１は、端末インターフェース２１を通じて、生成した指示画像を表示端末３０に出力する。プロセッサ１１は、表示端末３０からのリクエストに応じて指示画像を表示端末３０に出力してもよい。 Further, the processor 11 has a function of outputting an instruction image.
For example, the processor 11 outputs the generated instruction image to the display terminal 30 through the terminal interface 21. The processor 11 may output an instruction image to the display terminal 30 in response to a request from the display terminal 30.

表示端末３０のプロセッサ３１は、装置インターフェース３７を通じて指示画像を取得する。プロセッサ３１は、指示画像を取得すると、表示部３６に指示画像を表示する。 The processor 31 of the display terminal 30 acquires an instruction image through the device interface 37. When the processor 31 acquires the instruction image, the processor 31 displays the instruction image on the display unit 36.

図８は、プロセッサ３１が表示する指示画像１０１の例を示す。図８が示すように、指示画像１０１は、図４に示される撮影画像６０に変更内容を示す中間画像７０を重ねて生成される。図８が示す例では、指示画像１０１は、商品棚３の上段の左から３番目の位置において商品Ａを商品Ｂに変更することを指示する。また、指示画像１０１は、商品棚３の中段の左から４番目の位置において商品Ｄを商品Ｃに変更することを指示する。また、指示画像１０１は、商品棚３の下段の右半分において商品Ｆを商品Ｇに変更することを指示する。 FIG. 8 shows an example of the instruction image 101 displayed by the processor 31. As shown in FIG. 8, the instruction image 101 is generated by superimposing the intermediate image 70 showing the changed contents on the photographed image 60 shown in FIG. In the example shown in FIG. 8, the instruction image 101 instructs to change the product A to the product B at the third position from the left in the upper row of the product shelf 3. Further, the instruction image 101 instructs to change the product D to the product C at the fourth position from the left in the middle of the product shelf 3. Further, the instruction image 101 instructs to change the product F to the product G in the lower right half of the product shelf 3.

また、プロセッサ１１は、プリンタ２０を用いて指示画像を用紙に印刷してもよい。
図９は、プロセッサ１１が指示画像１０１を印刷した用紙２００の例を示す。図９が示すように、用紙２００は、指示画像１０１を印刷される。
なお、プロセッサ１１は、指示画像に加えて文字で変更内容を示してもよい。 Further, the processor 11 may print the instruction image on the paper by using the printer 20.
FIG. 9 shows an example of paper 200 on which the processor 11 has printed the instruction image 101. As shown in FIG. 9, the paper 200 is printed with the instruction image 101.
The processor 11 may indicate the changed contents by characters in addition to the instruction image.

次に、情報処理装置１０の動作例について説明する。図１０は、情報処理装置１０の動作例について説明するためのフローチャートである。 Next, an operation example of the information processing device 10 will be described. FIG. 10 is a flowchart for explaining an operation example of the information processing apparatus 10.

まず、情報処理装置１０のプロセッサ１１は、カメラ２を用いて商品棚３の撮影画像を取得する（ＡＣＴ１１）。撮影画像を取得すると、プロセッサ１１は、撮影画像から商品棚３に配置されている商品及び当該商品の位置を特定する（ＡＣＴ１２）。 First, the processor 11 of the information processing device 10 acquires a photographed image of the product shelf 3 using the camera 2 (ACT 11). When the photographed image is acquired, the processor 11 identifies the product arranged on the product shelf 3 and the position of the product from the photographed image (ACT 12).

商品及び当該商品の位置を特定すると、プロセッサ１１は、商品及び当該商品の位置を示す棚割情報を生成する（ＡＣＴ１３）。棚割情報を生成すると、プロセッサ１１は、棚割計画情報を取得する（ＡＣＴ１４）。 Upon specifying the product and the position of the product, the processor 11 generates the product and the shelving allocation information indicating the position of the product (ACT 13). When the shelving allocation information is generated, the processor 11 acquires the shelving allocation plan information (ACT14).

棚割計画情報を取得すると、プロセッサ１１は、棚割情報と棚割計画情報とに基づいて差異情報を生成する（ＡＣＴ１５）。差異情報を生成すると、プロセッサ１１は、差異情報に基づいて、商品棚３の商品４を変更することを指示する指示画像を生成する（ＡＣＴ１６）。 When the shelving allocation plan information is acquired, the processor 11 generates difference information based on the shelving allocation information and the shelving allocation plan information (ACT15). When the difference information is generated, the processor 11 generates an instruction image instructing to change the product 4 on the product shelf 3 based on the difference information (ACT 16).

指示画像を生成すると、プロセッサ１１は、指示画像を出力する（ＡＣＴ１７）。指示画像を出力すると、プロセッサ１１は、動作を終了する。 When the instruction image is generated, the processor 11 outputs the instruction image (ACT 17). When the instruction image is output, the processor 11 ends the operation.

なお、プロセッサ１１は、さらに商品棚３のレイアウトを示す棚割情報を生成してもよい。たとえば、プロセッサ１１は、撮影画像から商品棚３のレイアウト（たとえば、段数、仕切りの有無又は位置など）を特定する。プロセッサ１１は、特定したレイアウトをさらに示す棚割情報を生成する。この場合、棚割計画情報は、さらに商品棚３のレイアウトの計画を示す。プロセッサ１１は、棚割情報が示すレイアウトと棚割計画情報が示すレイアウトとの差異をさらに示す差異情報を生成する。プロセッサ１１は、差異情報に基づいて、商品棚３のレイアウトを棚割計画情報が示すレイアウトに変更することをさらに指示する指示画像を生成し出力する。 The processor 11 may further generate shelf allocation information indicating the layout of the product shelf 3. For example, the processor 11 specifies the layout of the product shelves 3 (for example, the number of stages, the presence / absence of partitions, or the position) from the captured image. The processor 11 generates shelving allocation information further indicating the specified layout. In this case, the shelving allocation plan information further indicates a plan for the layout of the product shelves 3. The processor 11 further generates difference information indicating the difference between the layout indicated by the shelving allocation information and the layout indicated by the shelving allocation planning information. Based on the difference information, the processor 11 generates and outputs an instruction image that further instructs the layout of the product shelf 3 to be changed to the layout indicated by the shelving allocation plan information.

以上のように構成された表示システムは、商品棚に配置された商品と棚割計画との差異に基づいて指示画像を生成する。表示システムは、商品棚を撮影した撮影画像上に変更内容を示す中間画像を重ねて指示画像を生成する。その結果、表示システムは、オペレータに対して商品の変更を効果的に提示することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る表示システムは、ヘッドアップディスプレイに指示画像を表示する点で第１の実施形態に係るそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。 The display system configured as described above generates an instruction image based on the difference between the products arranged on the product shelves and the shelving allocation plan. The display system generates an instruction image by superimposing an intermediate image showing the changed contents on the photographed image of the product shelf. As a result, the display system can effectively present the change of goods to the operator.
(Second embodiment)
Next, the second embodiment will be described.
The display system according to the second embodiment is different from that according to the first embodiment in that an instruction image is displayed on the head-up display. Therefore, other points are designated by the same reference numerals and detailed description thereof will be omitted.

図１は、第２の実施形態に係る表示システム１’の構成例を概略的に示す。図１が示すように、表示システム１’は、カメラ２、商品棚３、商品４、情報処理装置１０’及び表示端末３０’などを備える。情報処理装置１０’は、カメラ２及び表示端末３０’と接続する。 FIG. 1 schematically shows a configuration example of the display system 1'according to the second embodiment. As shown in FIG. 1, the display system 1'includes a camera 2, a product shelf 3, a product 4, an information processing device 10', a display terminal 30', and the like. The information processing device 10'is connected to the camera 2 and the display terminal 30'.

なお、表示システム１’は、図１が示すような構成の他に必要に応じた構成を具備したり、表示システム１’から特定の構成が除外されたりしてもよい。 The display system 1'may include a configuration as required in addition to the configuration shown in FIG. 1, or a specific configuration may be excluded from the display system 1'.

図２は、情報処理装置１０’ の構成例を示すブロック図である。図２が示すように、情報処理装置１０は、基本的な構成として、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９、プリンタ２０及び端末インターフェース２１’などを備える。プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９及び端末インターフェース２１’とは、データバスを介して互いに接続される。なお、情報処理装置１０’は、図２が示すような構成の他に必要に応じた構成を具備したり、情報処理装置１０’から特定の構成が除外されたりしてもよい。 FIG. 2 is a block diagram showing a configuration example of the information processing device 10'. As shown in FIG. 2, the information processing device 10 has, as a basic configuration, a processor 11, a ROM 12, a RAM 13, an NVM 14, an operation unit 15, a display unit 16, a communication unit 17, a camera interface 18, a printer interface 19, and a printer 20. And a terminal interface 21'and the like. The processor 11, the ROM 12, the RAM 13, the NVM 14, the operation unit 15, the display unit 16, the communication unit 17, the camera interface 18, the printer interface 19, and the terminal interface 21'are connected to each other via a data bus. The information processing apparatus 10'may include a configuration as required in addition to the configuration shown in FIG. 2, or a specific configuration may be excluded from the information processing apparatus 10'.

端末インターフェース２１’は、表示端末３０’とデータを送受信するためのインターフェースである。たとえば、端末インターフェース２１’は、無線又は有線で表示端末３０’と接続する。たとえば、端末インターフェース２１’は、プロセッサ１１から画像を表示端末３０’に送信する。たとえば、端末インターフェース２１’は、ＬＡＮ接続などをサポートする。なお、端末インターフェース２１’は、通信部１７と一体的に形成されるものであってもよい。 The terminal interface 21'is an interface for transmitting and receiving data to and from the display terminal 30'. For example, the terminal interface 21'connects to the display terminal 30' wirelessly or by wire. For example, the terminal interface 21'transmits an image from the processor 11 to the display terminal 30'. For example, the terminal interface 21'supports LAN connection and the like. The terminal interface 21'may be integrally formed with the communication unit 17.

次に、表示端末３０’について説明する。
図１１は、表示端末３０’の構成例を示す図である。図１１が示すように、表示端末３０’は、キャップ５０に装着されて用いられる。表示端末３０’は、ヘッドアップディスプレイ４１及びカメラ４２などから構成される。 Next, the display terminal 30'will be described.
FIG. 11 is a diagram showing a configuration example of the display terminal 30'. As shown in FIG. 11, the display terminal 30'is used by being attached to the cap 50. The display terminal 30'consists of a head-up display 41, a camera 42, and the like.

ヘッドアップディスプレイ４１は、情報処理装置１０からの信号に従ってキャップ５０を装着するオペレータに指示画像を表示する。ヘッドアップディスプレイ４１は、オペレータの視界に重ねて指示画像を表示する。ヘッドアップディスプレイ４１は、オペレータの眼前に形成される。 The head-up display 41 displays an instruction image to the operator who wears the cap 50 according to the signal from the information processing device 10. The head-up display 41 displays an instruction image overlaid on the operator's field of view. The head-up display 41 is formed in front of the operator's eyes.

カメラ４２は、オペレータの視線が向う方向を撮影する。たとえば、カメラ４２は、オペレータの視界と同様の領域を撮影する。カメラ４２は、撮影した画像を情報処理装置１０へ送信する。たとえば、カメラ４２は、ＣＣＤカメラなどである。 The camera 42 captures the direction in which the operator's line of sight is directed. For example, the camera 42 captures an area similar to the operator's field of view. The camera 42 transmits the captured image to the information processing device 10. For example, the camera 42 is a CCD camera or the like.

次に、情報処理装置１０’のプロセッサ１１が実現する機能について説明する。情報処理装置１０’が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。 Next, the functions realized by the processor 11 of the information processing device 10'will be described. The function realized by the information processing device 10'is realized by the processor 11 executing a program stored in the ROM 12 or the NVM 14.

情報処理装置１０’のプロセッサ１１は、第１の実施形態において実現する機能に加えて以下の機能を実現する。 The processor 11 of the information processing device 10'realizes the following functions in addition to the functions realized in the first embodiment.

プロセッサ１１は、ヘッドアップディスプレイ４１に指示画像を表示する機能を有する。 The processor 11 has a function of displaying an instruction image on the head-up display 41.

プロセッサ１１は、カメラ４２を用いて画像を撮影する。プロセッサ１１は、撮影した画像からオペレータの視野における商品棚３の領域（位置及び角度など）を特定する。プロセッサ１１は、ヘッドアップディスプレイ４１を用いて、特定した領域に指示画像を表示する。即ち、プロセッサ１１は、現実の商品棚３に指示画像が重なるようにヘッドアップディスプレイ４１に指示画像を表示する。
なお、プロセッサ１１は、特定した領域に中間画像を表示してもよい。 The processor 11 uses the camera 42 to capture an image. The processor 11 identifies an area (position, angle, etc.) of the product shelf 3 in the operator's field of view from the captured image. The processor 11 uses the head-up display 41 to display an instruction image in a specified area. That is, the processor 11 displays the instruction image on the head-up display 41 so that the instruction image overlaps the actual product shelf 3.
The processor 11 may display an intermediate image in the specified area.

以上のように構成された表示システムは、ヘッドアップディスプレイを用いて、オペレータの視野における商品棚に重ねて指示画像を表示する。その結果、表示システムは、より効果的に商品の変更をオペレータに提示することができる。 The display system configured as described above uses the head-up display to display the instruction image on the product shelf in the operator's field of view. As a result, the display system can more effectively present product changes to the operator.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１及び１’…表示システム、２…カメラ、２ａ…撮影範囲、３…商品棚、４…商品、１０及び１０’…情報処理装置、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…操作部、１６…表示部、１７…通信部、１８…カメラインターフェース、１９…プリンタインターフェース、２０…プリンタ、２１…端末インターフェース、２１’…端末インターフェース、３０及び３０’…表示端末、３１…プロセッサ、３２…ＲＯＭ、３３…ＲＡＭ、３４…ＮＶＭ、３５…操作部、３６…表示部、３７…装置インターフェース、４１…ヘッドアップディスプレイ、４２…カメラ、５０…キャップ、１０１…指示画像、２００…用紙。 1 and 1'... display system, 2 ... camera, 2a ... shooting range, 3 ... product shelf, 4 ... product, 10 and 10'... information processing device, 11 ... processor, 12 ... ROM, 13 ... RAM, 14 ... NVM , 15 ... Operation unit, 16 ... Display unit, 17 ... Communication unit, 18 ... Camera interface, 19 ... Printer interface, 20 ... Printer, 21 ... Terminal interface, 21'... Terminal interface, 30 and 30'... Display terminal, 31 ... Processor, 32 ... ROM, 33 ... RAM, 34 ... NVM, 35 ... Operation unit, 36 ... Display unit, 37 ... Device interface, 41 ... Head-up display, 42 ... Camera, 50 ... Cap, 101 ... Instruction image, 200 … Paper.

Claims (5)

所定の領域に配置されている物品の画像を撮影した撮影画像を取得する画像インターフェースと、
前記撮影画像に基づいて、前記物品の棚割情報を生成し、
前記所定の領域に配置される物品の棚割計画を示す棚割計画情報を取得し、
前記棚割情報と前記棚割計画情報との差異を示す差異情報を生成し、
前記差異情報に基づいて、前記所定の領域に配置されている物品を変更することを指示する中間画像を前記撮影画像に重ねた指示画像を生成する、
プロセッサと、
を備える情報処理装置。 An image interface for acquiring captured images of articles arranged in a predetermined area, and
Based on the photographed image, shelving allocation information of the article is generated.
Acquire the shelving allocation plan information indicating the shelving allocation plan of the goods arranged in the predetermined area, and obtain the shelving allocation plan information.
Generate difference information indicating the difference between the shelving allocation information and the shelving allocation planning information,
Based on the difference information, an instruction image is generated in which an intermediate image instructing to change the article arranged in the predetermined area is superimposed on the captured image.
With the processor
Information processing device equipped with. 前記指示画像は、前記所定の領域に配置されている物品の画像上に変更後の物品を示す画像を表示する、
請求項１に記載の情報処理装置。 The instruction image displays an image showing the changed article on the image of the article arranged in the predetermined area.
The information processing device according to claim 1. 前記中間画像は、半透明である、
請求項１又は２に記載の情報処理装置。 The intermediate image is translucent,
The information processing device according to claim 1 or 2. 前記指示画像を表示端末に出力する出力インターフェースを備える、
請求項１乃至３の何れか１項に記載の情報処理装置。 An output interface for outputting the instruction image to a display terminal is provided.
The information processing device according to any one of claims 1 to 3. 前記表示端末は、ヘッドアップディスプレイを備え、
前記プロセッサは、前記ヘッドアップディスプレイを用いて、前記表示端末を装着するオペレータの視界における前記所定の領域に重ねて前記指示画像を表示する、
請求項４に記載の情報処理装置。 The display terminal includes a head-up display.
The processor uses the head-up display to display the instruction image overlaid on the predetermined area in the field of view of the operator who wears the display terminal.
The information processing device according to claim 4.
JP2019166851A 2019-09-13 2019-09-13 information processing equipment Active JP7419004B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019166851A JP7419004B2 (en) 2019-09-13 2019-09-13 information processing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019166851A JP7419004B2 (en) 2019-09-13 2019-09-13 information processing equipment

Publications (2)

Publication Number Publication Date
JP2021043833A true JP2021043833A (en) 2021-03-18
JP7419004B2 JP7419004B2 (en) 2024-01-22

Family

ID=74862383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019166851A Active JP7419004B2 (en) 2019-09-13 2019-09-13 information processing equipment

Country Status (1)

Country Link
JP (1) JP7419004B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063144A1 (en) * 2021-10-15 2023-04-20 日本電気通信システム株式会社 Stowage assistance device, stowage assistance system, stowage assistance method, and recording medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074014A (en) * 2010-08-31 2012-04-12 Ns Solutions Corp Augmented reality provision system, information processing terminal, information processor, augmented reality provision method, information processing method, and program
JP2017162375A (en) * 2016-03-11 2017-09-14 パナソニックＩｐマネジメント株式会社 Commodity monitoring device, commodity monitoring system and commodity monitoring method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074014A (en) * 2010-08-31 2012-04-12 Ns Solutions Corp Augmented reality provision system, information processing terminal, information processor, augmented reality provision method, information processing method, and program
JP2017162375A (en) * 2016-03-11 2017-09-14 パナソニックＩｐマネジメント株式会社 Commodity monitoring device, commodity monitoring system and commodity monitoring method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063144A1 (en) * 2021-10-15 2023-04-20 日本電気通信システム株式会社 Stowage assistance device, stowage assistance system, stowage assistance method, and recording medium

Also Published As

Publication number Publication date
JP7419004B2 (en) 2024-01-22

Similar Documents

Publication Publication Date Title
JP6938169B2 (en) Label generator and program
JP6956485B2 (en) Display control device and program
JP2017014014A (en) Image processing apparatus
JP6687157B2 (en) Display device and display system
JP2014106692A (en) Image processing apparatus, image processing method, image processing system, and program
CN103838369A (en) Gesture control device for printing press
JP2021037736A5 (en) Inspection device, its control method, and program
US20180309953A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable storage medium
US20150254488A1 (en) Code symbol reading apparatus and method for reading code symbol
JP7419004B2 (en) information processing equipment
CN110365954A (en) Electronic device and its object remake method
US20150268470A1 (en) Head mounted display
JP2014132478A (en) Display control device, display control method, and program
US20180190145A1 (en) Work support device, work support method, and computer program product
US11652551B2 (en) Repair terminal and information processing device
JP2019113976A (en) Movement line analysis system, control method therefor, and program
JP6054333B2 (en) Image display system, display device, and information processing method
US11263452B2 (en) Method and device for detecting an inventory in a storage space
US20210097754A1 (en) Virtual display monitors
JP7314227B2 (en) Display controller and program
JP7468921B2 (en) Accounting device, accounting system, product identification method, and program
JP2019038550A (en) Device management system
JP7467075B2 (en) Information processing device and program
CN103916556A (en) Information processing device and display device
JP5186870B2 (en) Information sharing support system, information sharing support program, and information sharing support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240110

R150 Certificate of patent or registration of utility model

Ref document number: 7419004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150