JP2016225930A - Shelving allocation information generation device, shelving allocation information generation system, shelving allocation information generation method, imaging device, and program - Google Patents

Shelving allocation information generation device, shelving allocation information generation system, shelving allocation information generation method, imaging device, and program Download PDF

Info

Publication number
JP2016225930A
JP2016225930A JP2015112784A JP2015112784A JP2016225930A JP 2016225930 A JP2016225930 A JP 2016225930A JP 2015112784 A JP2015112784 A JP 2015112784A JP 2015112784 A JP2015112784 A JP 2015112784A JP 2016225930 A JP2016225930 A JP 2016225930A
Authority
JP
Japan
Prior art keywords
shelf
product
allocation information
guide mark
shelf allocation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015112784A
Other languages
Japanese (ja)
Other versions
JP6679847B2 (en
Inventor
恭太 比嘉
Kyota Higa
恭太 比嘉
貴美 佐藤
Takami Sato
貴美 佐藤
岩元　浩太
Kota Iwamoto
浩太 岩元
八栄子 米澤
Yaeko Yonezawa
八栄子 米澤
実 十五
Minoru Jugo
実 十五
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015112784A priority Critical patent/JP6679847B2/en
Publication of JP2016225930A publication Critical patent/JP2016225930A/en
Priority to JP2020045044A priority patent/JP6933273B2/en
Application granted granted Critical
Publication of JP6679847B2 publication Critical patent/JP6679847B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To generate shelving allocation information for showing an item display state having stabler accuracy.SOLUTION: A shelving allocation information generation device comprises: control means for controlling a guide mark that is to be referred to for determining an imaging position and shows a position of an item shelf, so that the guide mark is displayed in a screen of an imaging device imaging the item shelf; and generation means for generating shelving allocation information showing a state in which an item recognized from an imaged picture having imaged by referring to the guide mark is arranged on the item shelf, on the basis of a result of recognizing the item and position information showing a position on the imaged picture corresponding to the guide mark's position on the screen.SELECTED DRAWING: Figure 1

Description

本発明は、商品陳列状態を表す棚割情報を生成する棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラムに関する。   The present invention relates to a shelf allocation information generation device, a shelf allocation information generation system, a shelf allocation information generation method, an imaging device, and a program that generate shelf allocation information representing a product display state.

コンビニエンスストアやスーパーマーケットなどの小売店では、商品の陳列位置が売上に大きく影響することから、店頭の商品陳列状態を正確に把握することが望まれている。   In retail stores such as convenience stores and supermarkets, since the display position of products greatly affects sales, it is desired to accurately grasp the state of product display at stores.

例えば、特許文献１には、売場写真から売場に陳列されている各商品を識別し、識別結果に基づいて、予め作成された什器モデルの対応する位置に該当する商品の商品マスタを配置する技術が開示されている。   For example, Patent Document 1 discloses a technology for identifying each product displayed on a sales floor from a sales floor photograph and arranging a product master of a product corresponding to a corresponding position of a fixture model created in advance based on the identification result. Is disclosed.

また、構図テンプレートをモニタ表示装置に表示するカメラが特許文献２に記載されている。   Patent Document 2 describes a camera that displays a composition template on a monitor display device.

特開２００９−１８７４８２号公報JP 2009-187482 A 特開２００７−１６６２５０号公報JP 2007-166250 A

上述した特許文献１に記載の技術では、写真画像の棚のサイズが、予め作成した什器モデルの棚のサイズと同じになるように写真画像を調整した後、個々の商品を識別し、什器モデルの対応する位置に商品マスタを表示している。   In the technique described in Patent Document 1 described above, after adjusting the photographic image so that the size of the shelf of the photographic image is the same as the size of the shelf of the fixture model created in advance, each product is identified, and the fixture model The product master is displayed at the corresponding position.

しかしながら、撮影者ごとに撮影品質が異なると、商品の識別精度が低くなる。そのため、特許文献１の技術では、商品陳列状態を正確に再現できない場合がある。   However, if the photographing quality is different for each photographer, the product identification accuracy is lowered. Therefore, with the technique of Patent Document 1, the product display state may not be accurately reproduced.

また、特許文献２に記載の技術は、撮影を行う際のテンプレートであり、商品陳列状態の再現の際に用いられるものではない。   Further, the technique described in Patent Document 2 is a template for performing photographing, and is not used for reproducing a product display state.

本発明は、上記問題に鑑みてなされたものであり、その目的は、精度がより安定化した、商品陳列状態を表す棚割情報を生成することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to generate shelf allocation information representing a product display state with more stable accuracy.

本発明の一態様に係る棚割情報生成装置は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する制御手段と、前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、を備える。   A shelf allocation information generation device according to an aspect of the present invention is a guide mark that is referred to when determining a shooting position, and displays a guide mark that represents the position of a product shelf on a screen of an imaging device that captures the product shelf. Control means for performing control, and shelf allocation information indicating a state in which a product recognized from a photographed image taken with reference to the guide mark is arranged on the product shelf, the guide mark on the screen Generating means for generating the position based on the position information indicating the position on the photographed image corresponding to the position of the product and the recognition result of the product.

また、本発明の一態様に係る棚割情報生成システムは表示画面を有する表示手段と、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、商品が陳列された商品棚を撮影する撮影手段と、前記表示手段に表示された前記ガイドマークを参照して前記撮影手段によって撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、を備える。   Further, the shelf allocation information generating system according to one aspect of the present invention includes a display unit having a display screen, and a guide mark that is referred to for determination of a shooting position, the guide mark representing the position of the product shelf. Recognizing from the photographed image photographed by the photographing means with reference to the guide mark displayed on the display means, the photographing means for photographing the commodity shelf on which the goods are displayed, Shelf allocation information indicating a state in which the sold product is arranged on the product shelf, position information indicating a position on the photographed image corresponding to a position of the guide mark on the display screen, and a recognition result of the product And generating means for generating based on the above.

また、本発明の一態様に係る棚割情報生成方法は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御し、前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する。   Further, the shelf allocation information generation method according to one aspect of the present invention is a guide mark that is referred to when determining a shooting position, and a guide mark that represents the position of a product shelf. The shelf allocation information indicating the state in which the product recognized from the photographed image taken with reference to the guide mark is arranged on the product shelf is displayed on the screen of the guide mark. It produces | generates based on the positional information which shows the position on the said picked-up image corresponding to a position, and the recognition result of the said goods.

また、本発明の一態様に係る撮像装置は、表示画面を有する表示手段と、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、前記表示手段に表示された前記ガイドマークを参照して、商品が陳列された商品棚を撮影する撮影手段と、を備え、前記ガイドマークは、前記撮影手段によって撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成される。   In addition, an imaging apparatus according to an aspect of the present invention displays a display unit having a display screen and a guide mark that is referred to when determining a shooting position and that indicates a position of a product shelf on the display unit. Control means for performing control, and photographing means for photographing a product shelf on which products are displayed with reference to the guide mark displayed on the display means, wherein the guide mark is captured by the photographing means. It is used when generating shelf allocation information indicating a state in which a product recognized from a captured image is arranged on the product shelf, and the shelf allocation information is the guide mark on the display screen. It is generated based on position information indicating a position on the photographed image corresponding to the position and a recognition result of the product.

また、本発明の一態様に係る撮像装置は、表示画面を有する表示手段と、商品が陳列された商品棚を撮影する撮影手段と、を備え、前記表示手段は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを表示し、前記ガイドマークは、前記撮影手段によって前記ガイドマークを参照して撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成される。   The imaging apparatus according to an aspect of the present invention includes a display unit having a display screen, and a photographing unit that photographs a product shelf on which products are displayed. The display unit is referred to when determining a photographing position. A guide mark indicating the position of a product shelf, and the guide mark is a product of a product recognized from a photographed image taken with reference to the guide mark by the photographing means on the product shelf. The shelf allocation information is used when generating shelf allocation information indicating an arrangement state, and the shelf allocation information includes position information indicating a position on the captured image corresponding to a position of the guide mark on the display screen. And based on the recognition result of the product.

なお、上記各装置、システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。   Note that a computer program that realizes each of the above apparatuses, systems, or methods by a computer, and a computer-readable non-transitory recording medium that stores the computer program are also included in the scope of the present invention.

本発明によれば、精度がより安定化した棚割情報を生成することができる。   According to the present invention, it is possible to generate shelf allocation information with more stable accuracy.

本発明の第１の実施の形態に係る棚割情報生成装置の機能構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of a function structure of the shelf allocation information generation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第２の実施の形態に係る棚割情報生成システムの全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the shelf allocation information generation system which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施の形態に係る棚割情報生成システムの利用シーンを説明するための図である。It is a figure for demonstrating the utilization scene of the shelf allocation information generation system which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of a function structure of the shelf allocation information generation system which concerns on the 2nd Embodiment of this invention. 認識部が出力する認識結果の一例を示す図である。It is a figure which shows an example of the recognition result which a recognition part outputs. 本発明の第２の実施の形態に係る棚割情報生成システムにおける処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in the shelf allocation information generation system which concerns on the 2nd Embodiment of this invention. 撮像装置の表示部に表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed on the display part of an imaging device. 生成部が生成した棚割情報であって、画面に表示可能な画像の形式で生成された棚割情報の一例を示す図である。It is a figure which shows an example of the shelf allocation information which was the shelf allocation information which the production | generation part produced | generated, and was produced | generated in the format of the image which can be displayed on a screen. 撮像装置の表示部に表示される画像の他の例を示す図である。It is a figure which shows the other example of the image displayed on the display part of an imaging device. 本発明の第３の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the shelf allocation information generation system which concerns on the 3rd Embodiment of this invention. 本発明の第４の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the shelf allocation information generation system which concerns on the 4th Embodiment of this invention. 本発明の第５の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the shelf allocation information generation system which concerns on the 5th Embodiment of this invention. 本発明の第５の実施の形態に係る棚割情報生成システムにおける処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in the shelf allocation information generation system which concerns on the 5th Embodiment of this invention. 本発明の第６の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the shelf allocation information generation system which concerns on the 6th Embodiment of this invention. 生成部が生成した棚割情報の一例を示す図である。It is a figure which shows an example of the shelf allocation information which the production | generation part produced | generated. 本発明の第７の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the shelf allocation information generation system which concerns on the 7th Embodiment of this invention. 撮像装置の表示部に表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed on the display part of an imaging device. 撮像装置の表示部に表示される画像の他の例を示す図である。It is a figure which shows the other example of the image displayed on the display part of an imaging device. 本発明の第９の実施の形態に係る棚割情報生成システムの基本構成の一例を示すブロック図である。It is a block diagram which shows an example of the basic composition of the shelf allocation information generation system which concerns on the 9th Embodiment of this invention. 本発明の第９の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of a function structure of the shelf allocation information generation system which concerns on the 9th Embodiment of this invention. 本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。It is a figure which illustrates the hardware constitutions of the computer (information processing apparatus) which can implement | achieve each embodiment of this invention.

＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図１は、本実施の形態に係る棚割情報生成装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る棚割情報生成装置１０は、制御部１１と、生成部１２とを備えている。 <First Embodiment>
A first embodiment of the present invention will be described with reference to the drawings. In this embodiment, a basic configuration for solving the problems of the present invention will be described. FIG. 1 is a functional block diagram illustrating an example of a functional configuration of the shelf allocation information generation device 10 according to the present embodiment. As shown in FIG. 1, the shelf allocation information generation device 10 according to the present exemplary embodiment includes a control unit 11 and a generation unit 12.

制御部１１は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、商品棚を撮影する撮像装置の画面に表示させるように制御する。例えば、制御部１１は、上記ガイドマークの位置および大きさを、表示される画面のサイズに応じた位置および大きさに変換し、上記画面の上記変換した位置に、変換した大きさのガイドマークを表示させる。   The control unit 11 controls the guide mark, which is referred to when determining the photographing position, and displays the guide mark indicating the position of the product shelf on the screen of the imaging device that photographs the product shelf. For example, the control unit 11 converts the position and size of the guide mark into a position and size corresponding to the size of the screen to be displayed, and converts the guide mark having the converted size into the converted position on the screen. Is displayed.

生成部１２は、ガイドマークを参照して撮影された撮影画像から認識された商品が商品棚に配置された状態（商品陳列状態とも呼ぶ）を示す棚割情報を生成する。このとき、生成部１２は、撮像装置の画面上のガイドマークの位置に対応する、撮影画像上の位置を示す位置情報と、商品の認識結果とに基づいて、上記棚割情報を生成する。撮影画像上の位置を示す位置情報は、例えば、該撮影画像に含まれる商品棚の棚板の位置を示す情報や該商品棚の領域を示す情報である。商品の認識結果とは、撮影画像から認識された商品を示す情報である。   The production | generation part 12 produces | generates the shelf allocation information which shows the state (it is also called goods display state) by which the goods recognized from the picked-up image imaged with reference to the guide mark were arrange | positioned on the goods shelf. At this time, the generation unit 12 generates the shelf allocation information based on the position information indicating the position on the photographed image corresponding to the position of the guide mark on the screen of the imaging apparatus and the product recognition result. The position information indicating the position on the captured image is, for example, information indicating the position of the shelf of the product shelf included in the captured image or information indicating the region of the product shelf. The product recognition result is information indicating the product recognized from the captured image.

このように、本実施の形態に係る棚割情報生成装置１０は、撮影位置の決定に参照されるガイドマークを、商品棚を撮影する撮像装置の画面に表示させる。これにより、撮影者は、画面に表示されたガイドマークを参照し、該ガイドマークを基準として、商品棚を撮影することができる。これにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質を均一化することができる。   As described above, the shelf allocation information generation device 10 according to the present embodiment displays the guide mark referred to when determining the shooting position on the screen of the imaging device that images the product shelf. Accordingly, the photographer can take a picture of the product shelf with reference to the guide mark displayed on the screen and using the guide mark as a reference. Thereby, since the personality of the photographed image can be further reduced, the quality of the photographed image can be made uniform.

また、生成部１２は、このように撮影された撮影画像から認識された商品が、商品棚に配置された状態を示す棚割情報を、画面上のガイドマークの位置に対応する撮影画像上の位置を示す位置情報に基づいて生成する。この認識された商品は、属人性が低減され、品質が均一化された撮影画像から認識された商品である。また、ガイドマークは商品棚の位置を表すため、画面上のガイドマークの位置に対応する撮影画像上の位置に、商品棚が含まれる。したがって、生成部１２が生成する棚割情報によって示される商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。また、撮影画像の品質が均一化されることにより、撮影画像から認識された商品の精度も均一化される。したがって、棚割情報生成装置１０は、精度がより安定化した棚割情報を生成することができる。   In addition, the generation unit 12 displays shelf allocation information indicating a state in which the product recognized from the captured image captured in this manner is arranged on the product shelf on the captured image corresponding to the position of the guide mark on the screen. Generated based on position information indicating the position. This recognized product is a product recognized from a photographed image with reduced personality and uniform quality. In addition, since the guide mark represents the position of the product shelf, the product shelf is included at a position on the captured image corresponding to the position of the guide mark on the screen. Therefore, the display position of the product indicated by the shelf allocation information generated by the generation unit 12 is a more accurate reproduction of the actual display position. Further, since the quality of the captured image is made uniform, the accuracy of the product recognized from the captured image is also made uniform. Therefore, the shelf allocation information generation device 10 can generate shelf allocation information with more accurate accuracy.

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本発明の第２の実施の形態について、図面を参照して説明する。図２は、本実施の形態に係る棚割情報生成システム１の全体構成の一例を示す図である。図２に示す棚割情報生成システム１は、棚割情報生成装置１００と、撮像装置２００とを含む。棚割情報生成装置１００は、上述した棚割情報生成装置１０の構成を含む。また、図３は、本実施の形態に係る棚割情報生成システム１の利用シーンを説明するための図である。図４は、本実施の形態に係る棚割情報生成システム１の機能構成の一例を示す機能ブロック図である。なお、図４は、本発明に特有な構成について示したものであり、図４に示す棚割情報生成システム１の各装置が図４に示されていない部材を有していてもよいことは言うまでもない。 <Second Embodiment>
Next, a second embodiment of the present invention based on the above-described first embodiment will be described with reference to the drawings. FIG. 2 is a diagram illustrating an example of the overall configuration of the shelf allocation information generation system 1 according to the present embodiment. The shelf allocation information generation system 1 illustrated in FIG. 2 includes a shelf allocation information generation device 100 and an imaging device 200. The shelf allocation information generation device 100 includes the configuration of the shelf allocation information generation device 10 described above. Moreover, FIG. 3 is a figure for demonstrating the utilization scene of the shelf allocation information generation system 1 which concerns on this Embodiment. FIG. 4 is a functional block diagram illustrating an example of a functional configuration of the shelf allocation information generation system 1 according to the present embodiment. FIG. 4 shows a configuration unique to the present invention, and that each device of the shelf allocation information generation system 1 shown in FIG. 4 may have a member not shown in FIG. Needless to say.

図３に示す通り、本実施の形態に係る棚割情報生成システム１は、撮影者が、店舗内に設置されている商品棚２０に陳列されている商品を、撮像装置２００を用いて撮影し、撮影した撮影画像から棚割情報を生成する場合に用いられる。本実施の形態に係る棚割情報生成システム１では、棚割情報生成装置１００が、撮像装置２００に、撮像装置２００によって商品棚２０を撮影する際の撮影位置を決定するために用いられる目印（以下、ガイドマークと呼ぶ）を、ネットワーク３００を介して送信する。撮影者がガイドマークを基準として、商品棚２０を撮影すると、撮影された撮影画像を示すデータ（画像データ）が撮像装置２００からネットワーク３００を介して棚割情報生成装置１００に送信される。棚割情報生成装置１００は、店舗内に設けられるものであってもよいし、例えば、データセンタのような店舗とは別の場所に設けられるものであってもよい。棚割情報生成装置１００は、撮像装置２００からネットワーク３００を介して送信された画像データを受信し、受信した画像データを用いて、認識処理を行い、棚割情報を生成する。   As shown in FIG. 3, in the shelf allocation information generation system 1 according to the present embodiment, a photographer takes an image of products displayed on a product shelf 20 installed in a store using an imaging device 200. This is used when shelf allocation information is generated from a captured image. In the shelf allocation information generation system 1 according to the present embodiment, the shelf allocation information generation device 100 causes the imaging device 200 to determine a shooting position when the imaging device 200 captures the product shelf 20 ( (Hereinafter referred to as a guide mark) is transmitted via the network 300. When the photographer photographs the product shelf 20 using the guide mark as a reference, data (image data) indicating the photographed photographed image is transmitted from the imaging device 200 to the shelf allocation information generating device 100 via the network 300. The shelf allocation information generating apparatus 100 may be provided in a store, or may be provided in a place different from a store such as a data center, for example. The shelf allocation information generation device 100 receives image data transmitted from the imaging device 200 via the network 300, performs recognition processing using the received image data, and generates shelf allocation information.

撮像装置２００と棚割情報生成装置１００との間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。撮像装置２００と、棚割情報生成装置１００との間の通信は、撮像装置２００の構成等に応じで適宜採用することが好ましい。このように、棚割情報生成装置１００と撮像装置２００との間の通信方法は、さまざまな方法が考えられるが、本実施の形態の本質にかかわらないため、詳細な説明は省略する。   The communication means between the imaging device 200 and the shelf allocation information generating device 100 may be either wired or wireless communication, and may be a mobile communication network, a public line network, a LAN (Local Area Network), or a WAN ( Communication via any of Wide Area Networks may be used. It is preferable that the communication between the imaging device 200 and the shelf allocation information generation device 100 is appropriately adopted depending on the configuration of the imaging device 200 and the like. As described above, various communication methods between the shelf allocation information generation device 100 and the imaging device 200 are conceivable, but the detailed description thereof is omitted because it is not related to the essence of the present embodiment.

なお、商品棚２０を撮影する撮像装置２００は、本実施の形態では、携帯電話端末、スマートフォン、デジタルカメラ、タブレット等、撮像機能と表示機能とを備えた端末であるとする。   In this embodiment, the imaging device 200 that captures the product shelf 20 is a terminal having an imaging function and a display function, such as a mobile phone terminal, a smartphone, a digital camera, and a tablet.

本実施の形態において、商品棚２０は、多段式の棚であり、上から順に１段目、２段目、・・・、とする。また、以降では、単に棚と呼ぶ場合、商品棚２０の全体をさし、商品が陳列される部分（商品棚２０の内部空間）を棚段、または、単に段と呼ぶ。また、本実施の形態では、棚板とは商品が乗せられる板であり、商品棚２０内に設けられた板および商品棚２０の最下段の底板を含む。   In the present embodiment, the product shelf 20 is a multistage shelf, and is assumed to be first, second,. Further, hereinafter, when simply referred to as a shelf, the entire product shelf 20 is referred to, and a portion where the product is displayed (internal space of the product shelf 20) is referred to as a shelf or simply as a shelf. In the present embodiment, the shelf board is a board on which products are placed, and includes a board provided in the product shelf 20 and a bottom plate at the bottom of the product shelf 20.

（撮像装置２００）
撮像装置２００は、図４に示す通り、撮影部２１０と、表示部２２０と、入力部２３０と、制御部２４０とを備えている。撮影部２１０は、静止画像または動画像を撮影する。撮影部２１０は、例えば、レンズ（不図示）と撮像素子（不図示）とによって実現される。撮影部２１０は、撮影した画像が静止画像の場合、該静止画像を示す画像データを制御部２４０に出力する。また、撮影した画像が動画像の場合、撮影部２１０は、該動画像から逐次得られる画像データを、制御部２４０に出力する。以降、撮影部２１０が撮影し、制御部２４０に出力した静止画像の画像データまたは動画像の画像データを、単に画像データとも呼ぶ。 (Imaging device 200)
As illustrated in FIG. 4, the imaging apparatus 200 includes an imaging unit 210, a display unit 220, an input unit 230, and a control unit 240. The imaging unit 210 captures a still image or a moving image. The imaging unit 210 is realized by, for example, a lens (not shown) and an image sensor (not shown). When the captured image is a still image, the imaging unit 210 outputs image data indicating the still image to the control unit 240. When the captured image is a moving image, the imaging unit 210 outputs image data sequentially obtained from the moving image to the control unit 240. Hereinafter, the image data of the still image or the image data of the moving image captured by the image capturing unit 210 and output to the control unit 240 is also simply referred to as image data.

表示部２２０は、表示画面を有し、制御部２４０からの指示に基づき、撮影部２１０が撮影した撮影画像を表示画面に表示する。表示部２２０は、例えば、液晶ディスプレイによって実現される。また、表示部２２０は、いわゆるファインダ画像を表示する。これにより、表示部２２０は、ファインダとして機能する。なお、表示部２２０にファインダ画像を表示する機能は一般的であるため、詳細な説明を省略する。   The display unit 220 has a display screen, and displays a captured image captured by the imaging unit 210 on the display screen based on an instruction from the control unit 240. The display unit 220 is realized by a liquid crystal display, for example. The display unit 220 displays a so-called finder image. Thereby, the display unit 220 functions as a finder. In addition, since the function to display a finder image on the display unit 220 is common, detailed description is omitted.

入力部２３０は、ユーザ（例えば、撮影者）からの入力操作を検出する。本実施の形態では、入力部２３０と、表示部２２０とは、タッチパネルとして一体に形成されているとする。また、入力部２３０は、撮像装置２００に備えられた入力装置（例えば、電源ボタン等）を含んでもよい。入力部２３０は、ユーザによって、タッチパネルの画面（表示部２２０）上で入力操作が行われると、ユーザの入力操作が行われた位置（入力位置）を検出する。そして、入力部２３０は、検出した入力位置を示す入力位置情報を、制御部２４０に出力する。また、入力部２３０は、ユーザによって上記入力装置に対する入力操作が行われると、その入力操作の内容（入力内容）を検出する。入力部２３０は、検出した入力内容を制御部２４０に出力する。   The input unit 230 detects an input operation from a user (for example, a photographer). In the present embodiment, it is assumed that input unit 230 and display unit 220 are integrally formed as a touch panel. In addition, the input unit 230 may include an input device (for example, a power button) provided in the imaging device 200. When an input operation is performed on the touch panel screen (display unit 220) by the user, the input unit 230 detects a position (input position) where the user's input operation is performed. Then, the input unit 230 outputs input position information indicating the detected input position to the control unit 240. Further, when the user performs an input operation on the input device, the input unit 230 detects the content of the input operation (input content). The input unit 230 outputs the detected input content to the control unit 240.

制御部２４０は、撮像装置２００内の各部を制御する。制御部２４０は、撮影部２１０から画像データを受け取り、該画像データを、表示部２２０に撮影画像として表示させる表示制御を行う。これにより表示部２２０は、撮影画像を表示する。また、制御部２４０は、この画像データを、棚割情報生成装置１００に送信する。また、制御部２４０は、表示部２２０に、ファインダ画像を表示するよう制御する。   The control unit 240 controls each unit in the imaging apparatus 200. The control unit 240 receives image data from the imaging unit 210 and performs display control for displaying the image data on the display unit 220 as a captured image. As a result, the display unit 220 displays the captured image. In addition, the control unit 240 transmits this image data to the shelf allocation information generation device 100. In addition, the control unit 240 controls the display unit 220 to display a finder image.

また、制御部２４０は、棚割情報生成装置１００から受信した表示指示に基づいた画像を、表示部２２０に表示させる。なお、この処理については、フローチャートを用いて後述する。   In addition, the control unit 240 causes the display unit 220 to display an image based on the display instruction received from the shelf allocation information generation device 100. This process will be described later using a flowchart.

また、制御部２４０は、入力部２３０から送信された、入力位置情報を受信する。そして、制御部２４０は、表示部２２０に表示された画像に応じて、入力位置情報によって示される入力位置における入力操作に関連する処理を実行する。例えば、表示部２２０に商品棚２０を示す情報（例えば、商品棚の種別や型番等）や、店舗を選択する画面が表示されている場合、制御部２４０は、入力位置に表示されている選択項目が選択されたことを検出する。そして、制御部２４０は、選択項目によって示される情報（選択情報）を、棚割情報生成装置１００に送信する。選択情報には、例えば、棚割情報を生成する対象となる商品棚２０を示す情報や、該商品棚２０が配置された店舗を示す情報等が含まれる。   Further, the control unit 240 receives the input position information transmitted from the input unit 230. Then, the control unit 240 executes processing related to the input operation at the input position indicated by the input position information in accordance with the image displayed on the display unit 220. For example, when information indicating the product shelf 20 (for example, the type or model number of the product shelf) or a screen for selecting a store is displayed on the display unit 220, the control unit 240 selects the selection displayed at the input position. Detect that an item has been selected. Then, the control unit 240 transmits information (selection information) indicated by the selection item to the shelf allocation information generation device 100. The selection information includes, for example, information indicating the product shelf 20 for which shelf allocation information is generated, information indicating a store where the product shelf 20 is arranged, and the like.

また、例えば、表示部２２０に撮影を指示するオブジェクト（例えば、シャッターを示すボタン）が表示されており、入力位置がこのオブジェクトの位置であった場合、制御部２４０は、オブジェクトが示す機能である撮影を実行するよう、撮影部２１０に指示する。また、制御部２４０は、入力部２３０が検出した入力内容に従った処理を実行する。   For example, when an object (for example, a button indicating a shutter) instructing photographing is displayed on the display unit 220 and the input position is the position of this object, the control unit 240 is a function indicated by the object. The photographing unit 210 is instructed to perform photographing. Further, the control unit 240 executes a process according to the input content detected by the input unit 230.

（棚割情報生成装置１００）
次に、棚割情報生成装置１００について説明する。棚割情報生成装置１００は、図４に示す通り、制御部１１０と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１５０と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１５０とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１５０は、夫々、棚割情報生成装置１００とは別個の記憶装置にて実現されるものであってもよい。 (Shelf allocation information generating apparatus 100)
Next, the shelf allocation information generation apparatus 100 will be described. As shown in FIG. 4, the shelf allocation information generating apparatus 100 includes a control unit 110, a generation unit 120, a first storage unit 130, a recognition unit 140, and a second storage unit 150. In addition, the 1st memory | storage part 130 and the 2nd memory | storage part 150 may be implement | achieved by one memory | storage part. In addition, the first storage unit 130 and the second storage unit 150 may be realized by a storage device separate from the shelf allocation information generation device 100, respectively.

第２の記憶部１５０には、ガイドマークに関する情報が格納されている。具体的には、第２の記憶部１５０には、例えば、ガイドマークの形状やガイドマークの位置などの情報が、ガイドマークによって位置が示される商品棚を示す情報に関連付けられて格納されている。上記商品棚を示す情報とは、例えば、商品棚を示す識別子等である。また、ガイドマークに関する情報は、店舗を示す店舗を示す識別子（例えば、店舗番号等）に関連付けて格納されていてもよい。   The second storage unit 150 stores information about guide marks. Specifically, in the second storage unit 150, for example, information such as the shape of the guide mark and the position of the guide mark is stored in association with information indicating the product shelf whose position is indicated by the guide mark. . The information indicating the product shelf is, for example, an identifier indicating the product shelf. Moreover, the information regarding a guide mark may be stored in association with an identifier (for example, a store number) indicating a store indicating the store.

ガイドマークに関する情報は、ガイドマークを示す画像であってもよい。また、ガイドマークに関する情報のうち、ガイドマークの位置は、例えば、該ガイドマークを表示する画面の大きさや撮影画像の大きさに応じた相対的な座標値で格納されていてもよい。また、ガイドマークに関する情報には、所定のメッセージが含まれていてもよい。   The information regarding the guide mark may be an image indicating the guide mark. Further, the position of the guide mark in the information regarding the guide mark may be stored as a relative coordinate value corresponding to the size of the screen displaying the guide mark or the size of the photographed image, for example. The information about the guide mark may include a predetermined message.

本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。以下、ガイドマークに関する情報をガイドマーク情報とも呼ぶ。   In the present embodiment, it is assumed that the guide mark is one or more line segments indicating the position of the shelf board of the product shelf 20. Further, it is assumed that the information regarding the guide mark is an image indicating the guide mark. Hereinafter, information on guide marks is also referred to as guide mark information.

制御部１１０は、商品棚を撮影する撮像装置２００に、第２の記憶部１５０に格納されたガイドマーク情報を送信する。このとき、制御部１１０は、撮像装置２００から、棚割情報を生成する対象となる商品棚２０に関する情報（例えば、上述した選択情報）を受信した場合、該選択情報に従って、撮像装置２００に送信するガイドマーク情報を、第２の記憶部１５０から選択し、選択したガイドマーク情報を送信する。具体的には、制御部１１０は、選択情報によって指定された商品棚２０および／または店舗と一致する商品棚２０および／または店舗を示す情報に関連付けられたガイドマーク情報を、第２の記憶部１５０から取得する。そして、制御部１１０は、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２００に送信する。また、制御部１１０は、生成部１２０にも上記ガイドマーク情報を出力する。   The control unit 110 transmits the guide mark information stored in the second storage unit 150 to the imaging device 200 that captures the product shelf. At this time, when receiving information (for example, the selection information described above) regarding the product shelf 20 for which shelf allocation information is generated from the imaging device 200, the control unit 110 transmits the information to the imaging device 200 according to the selection information. The guide mark information to be selected is selected from the second storage unit 150, and the selected guide mark information is transmitted. Specifically, the control unit 110 stores the guide mark information associated with the information indicating the product shelf 20 and / or the store that matches the product shelf 20 and / or the store specified by the selection information with the second storage unit. 150. Then, the control unit 110 transmits a display instruction for causing the display unit 220 to display a guide mark indicated by the guide mark information together with the acquired guide mark information, to the imaging apparatus 200. The control unit 110 also outputs the guide mark information to the generation unit 120.

なお、制御部１１０が上記ガイドマーク情報および表示指示を撮像装置２００に送信するタイミングは、例えば、撮像装置２００と通信可能になった時点であってもよい。また、上記タイミングは、撮像装置２００が表示部２２０にファインダ画像を表示している旨の通知を、撮像装置２００から受け取った時点であってもよい。また、撮像装置２００から選択情報を受信する構成の場合、制御部１１０が上記ガイドマーク情報および表示指示を撮像装置２００に送信するタイミングは、選択情報を受信した時点であってもよい。本実施の形態では、制御部１１０が撮像装置２００から選択情報を受信する構成であるとして説明を行う。   Note that the timing at which the control unit 110 transmits the guide mark information and the display instruction to the imaging apparatus 200 may be, for example, the time when communication with the imaging apparatus 200 becomes possible. In addition, the timing may be a point in time when a notification that the imaging apparatus 200 is displaying a finder image on the display unit 220 is received from the imaging apparatus 200. Further, in the case of a configuration in which selection information is received from the imaging device 200, the timing at which the control unit 110 transmits the guide mark information and the display instruction to the imaging device 200 may be the time when the selection information is received. In the present embodiment, description will be made assuming that the control unit 110 is configured to receive selection information from the imaging device 200.

また、制御部１１０がガイドマーク情報を撮像装置２００に送信するタイミングと生成部１２０に出力するタイミングは、同時であってもよいし、異なるタイミングであってもよい。なお、異なるタイミングの場合、制御部１１０は、生成部１２０が棚割情報を生成する前までに送信すればよい。   In addition, the timing at which the control unit 110 transmits guide mark information to the imaging device 200 and the timing at which it is output to the generation unit 120 may be the same or different. In the case of different timings, the control unit 110 may transmit before the generation unit 120 generates the shelf allocation information.

なお、制御部１１０が撮像装置２００から受信する選択情報が、店舗の場所を示す場所情報の場合、受信した場所情報と一致する、または、受信した場所情報の所定の範囲内に存在する店舗または商品棚を特定してもよい。この場合、第２の記憶部１５０には、店舗または商品棚を特定する情報が、店舗の場所を示す情報に関連付けて格納されていればよい。そして、制御部１１０は、特定した店舗または商品棚を示す情報に関連付けられたガイドマーク情報を棚割情報生成装置１００に送信してもよい。   When the selection information received from the imaging device 200 by the control unit 110 is location information indicating the location of a store, the store or the location that matches the received location information or exists within a predetermined range of the received location information A product shelf may be specified. In this case, the second storage unit 150 only needs to store information specifying a store or a product shelf in association with information indicating the location of the store. And the control part 110 may transmit the guide mark information linked | related with the information which shows the specified shop or goods shelf to the shelf allocation information generation apparatus 100. FIG.

第１の記憶部１３０には、撮像装置２００によって撮影された撮影画像であって、撮像装置２００から送信された画像データが示す撮影画像に含まれる商品を認識するための情報が格納されている。具体的には、第１の記憶部１３０には、商品の画像（マスタ画像とも呼ぶ）、および／または、商品の画像に含まれる特徴量が、商品を識別する情報（例えば、商品を識別するための識別子、商品名等）に紐付けられて、格納されている。ここで、マスタ画像とは、商品に関するデータの一部であり、該商品の外観を示す画像である。本実施の形態では、商品に関するデータを、商品マスタとも呼ぶ。商品マスタには、マスタ画像の他に、例えば、該商品の売上データ、棚卸データ、商品分類、メーカ名、商品名等が含まれる。なお、商品マスタに含まれる情報は、商品に関するデータであればよく、上述した情報以外の情報が含まれていてもよい。なお、第１の記憶部１３０に格納される情報は、商品を認識するために必要な情報であればよい。また、商品を識別するための情報は、上記に限定されるものではなく、商品が特定可能なものであればよい。   The first storage unit 130 stores information for recognizing a product that is a captured image captured by the imaging device 200 and included in the captured image indicated by the image data transmitted from the imaging device 200. . Specifically, in the first storage unit 130, the product image (also referred to as a master image) and / or the feature amount included in the product image is information identifying the product (for example, identifying the product). Identifier, product name, etc.) and stored. Here, the master image is a part of data relating to a product and is an image showing the appearance of the product. In the present embodiment, data relating to a product is also referred to as a product master. In addition to the master image, the product master includes, for example, sales data, inventory data, product classification, manufacturer name, product name, and the like of the product. The information included in the product master may be data regarding the product, and may include information other than the information described above. In addition, the information stored in the 1st memory | storage part 130 should just be information required in order to recognize goods. Further, the information for identifying the product is not limited to the above, and any information that can identify the product may be used.

認識部１４０は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。そして、第１の記憶部１３０に格納された、商品を認識するための情報を参照し、受信した画像データに基づいて、該画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４０が商品を認識する方法は、例えば、局所特徴量、テンプレート、輝度、エッジ、外形、形状、色情報、デプス等を用いるものであってもよいし、その他の情報を用いるものであってもよい。認識部１４０が商品を認識する方法は特に限定されず、一般的な認識手法であってもよいため、本明細書では詳細な説明を省略する。   The recognition unit 140 receives image data of a photographed image obtained by photographing the product shelf 20 from the imaging device 200. Then, referring to the information for recognizing the product stored in the first storage unit 130, based on the received image data, the product included in the captured image is selected from the captured image indicated by the image data. recognize. The method of recognizing the product by the recognition unit 140 may be, for example, a method using a local feature, template, brightness, edge, outline, shape, color information, depth, or the like, or using other information. May be. The method by which the recognition unit 140 recognizes the product is not particularly limited, and may be a general recognition method, and thus detailed description thereof is omitted in this specification.

認識部１４０は、撮影画像を示す情報と、該撮影画像から認識した商品を示す情報と、その位置を示す情報とを認識結果として、生成部１２０に出力する。撮影画像を示す情報は、撮影画像を示す画像データそのものであってもよいし、該撮影画像を特定する情報であってもよい。一般的に商品棚２０には、複数の商品が陳列されている。そのため、商品棚２０を撮影した撮影画像には、複数の商品の画像が含まれている。よって、認識部１４０は、認識した、複数の商品の夫々を示す情報と、各商品が陳列されている位置を示す情報（陳列位置情報）とを出力する。各商品の陳列位置情報は、例えば、各商品の撮影画像内における位置を示す座標である。陳列位置情報は、各商品の中心座標であってもよいし、各商品の中央下部（ボトムセンター）の座標であってもよい。なお、本実施の形態では、各商品の陳列位置情報は、ボトムセンターの座標であるとする。また、各商品を示す情報とは、認識された商品を特定可能な情報であればよく、例えば、商品名であってもよいし、商品を識別する識別子であってもよい。また、各商品を示す情報には、各商品のマスタ画像および／または撮影画像内から切り出した、対応する商品の画像が含まれていてもよい。   The recognition unit 140 outputs information indicating the captured image, information indicating the product recognized from the captured image, and information indicating the position to the generation unit 120 as a recognition result. The information indicating the captured image may be image data itself indicating the captured image, or information specifying the captured image. In general, the product shelf 20 displays a plurality of products. For this reason, the photographed image obtained by photographing the product shelf 20 includes images of a plurality of products. Therefore, the recognizing unit 140 outputs the information indicating each of the plurality of products recognized and the information (display position information) indicating the position where each product is displayed. The display position information of each product is, for example, coordinates indicating the position in the captured image of each product. The display position information may be the center coordinates of each product, or may be the coordinates of the center lower part (bottom center) of each product. In the present embodiment, it is assumed that the display position information of each product is the coordinates of the bottom center. Further, the information indicating each product may be information that can identify the recognized product, and may be, for example, a product name or an identifier for identifying the product. The information indicating each product may include a master image of each product and / or an image of the corresponding product cut out from the photographed image.

認識部１４０が出力する認識結果の例を図５に示す。図５は、認識部１４０が出力する認識結果の一例を示す図である。図５に示す認識結果には、撮影画像を示す情報として、「画像１」で示す画像名が含まれる。また、図５に示す認識結果には、認識した商品を示す情報として、商品名が含まれる。また、図５に示す認識結果には、認識した商品の撮影画像上の位置を示す情報として、商品のボトムセンターの座標が含まれる。認識部１４０は、図５に示す通り、商品名が「商品Ａ」の商品は、ボトムセンターの座標が（４８、２２０）である位置に、配置されているという認識結果を出力する。なお、撮影画像の座標系は、縦軸をｘ軸、横軸をｙ軸、左上隅を原点であるとする。   An example of the recognition result output by the recognition unit 140 is shown in FIG. FIG. 5 is a diagram illustrating an example of a recognition result output from the recognition unit 140. The recognition result shown in FIG. 5 includes the image name indicated by “Image 1” as information indicating the captured image. Further, the recognition result shown in FIG. 5 includes a product name as information indicating the recognized product. Further, the recognition result shown in FIG. 5 includes the coordinates of the bottom center of the product as information indicating the position of the recognized product on the captured image. As shown in FIG. 5, the recognition unit 140 outputs a recognition result that the product whose product name is “product A” is arranged at the position where the coordinates of the bottom center are (48, 220). In the coordinate system of the captured image, the vertical axis is the x axis, the horizontal axis is the y axis, and the upper left corner is the origin.

生成部１２０は、制御部１１０からガイドマーク情報を受信する。また、生成部１２０は、認識部１４０から、撮影画像を示す情報を含む認識結果を受信する。生成部１２０は、認識部１４０から受信した撮影画像を示す情報によって特定される撮影画像のサイズに応じて、受信したガイドマーク情報によって示されるガイドマークの表示位置を変換する。この変換後のガイドマークの、撮影画像上の表示位置は、表示部２２０に表示されたガイドマークの位置に対応する位置となる。なお、生成部１２０は、認識部１４０から認識結果を受信する前に、ガイドマークの表示位置を変換してもよい。例えば、認識部１４０が商品の認識を行っている場合は、生成部１２０は、該商品の認識を行う対象である撮影画像を示す情報を認識部１４０から取得してもよい。また、生成部１２０は、撮像装置２００が撮影する撮影画像のサイズを、撮像装置２００から予め受信してもよい。   The generation unit 120 receives guide mark information from the control unit 110. In addition, the generation unit 120 receives a recognition result including information indicating a captured image from the recognition unit 140. The generation unit 120 converts the display position of the guide mark indicated by the received guide mark information according to the size of the captured image specified by the information indicating the captured image received from the recognition unit 140. The display position of the converted guide mark on the captured image is a position corresponding to the position of the guide mark displayed on the display unit 220. Note that the generation unit 120 may convert the display position of the guide mark before receiving the recognition result from the recognition unit 140. For example, when the recognition unit 140 recognizes a product, the generation unit 120 may acquire information indicating a captured image that is a target for the product recognition from the recognition unit 140. Further, the generation unit 120 may receive in advance the size of the captured image captured by the imaging device 200 from the imaging device 200.

生成部１２０は、変換後のガイドマークの、撮影画像上の表示位置を示す情報と、認識部１４０による商品の認識結果とに基づいて、認識部１４０において認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。   The generation unit 120 converts the product recognized by the recognition unit 140 to the product shelf 20 based on the information indicating the display position of the converted guide mark on the photographed image and the product recognition result by the recognition unit 140. The shelf allocation information indicating the arranged state is generated.

ここで、上述したとおり、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分である。そのため、生成部１２０は、撮影画像上において、該撮影画像から認識された商品が、該撮影画像上のガイドマークの表示位置に配置された状態を示す棚割情報を生成する。   Here, as described above, in the present embodiment, the guide mark is one or more line segments indicating the position of the shelf of the product shelf 20. Therefore, the generation unit 120 generates shelf allocation information indicating a state in which a product recognized from the captured image is arranged at the display position of the guide mark on the captured image on the captured image.

（棚割情報生成システム１の処理の流れ）
次に、棚割情報生成システム１における処理の流れについて説明する。図６は、本実施の形態に係る棚割情報生成システム１における処理の流れの一例を示すフローチャートである。図６においては、撮像装置２００の処理を左側に、棚割情報生成装置１００の処理を右側に示している。また、撮像装置２００に対するフローチャートと、棚割情報生成装置１００に対するフローチャートとの間の破線の矢印は、情報の伝達を示している。 (Processing flow of the shelf allocation information generation system 1)
Next, the flow of processing in the shelf allocation information generation system 1 will be described. FIG. 6 is a flowchart illustrating an example of a processing flow in the shelf allocation information generation system 1 according to the present embodiment. In FIG. 6, the process of the imaging device 200 is shown on the left side, and the process of the shelf allocation information generation device 100 is shown on the right side. A broken-line arrow between the flowchart for the imaging device 200 and the flowchart for the shelf allocation information generation device 100 indicates information transmission.

まず、撮像装置２００の画面上において、棚割情報を生成する対象となる商品棚２０が選択されると、制御部２４０は、選択情報を棚割情報生成装置１００に送信する（ステップＳ５１）。   First, when the product shelf 20 for which shelf allocation information is generated is selected on the screen of the imaging device 200, the control unit 240 transmits the selection information to the shelf allocation information generation device 100 (step S51).

棚割情報生成装置１００の制御部１１０は、撮像装置２００から送信された選択情報を受信し（ステップＳ６１）、該選択情報によって示される商品棚２０に関する情報および／または店舗に関する情報に関連付けられたガイドマーク情報を第２の記憶部１５０から取得する。そして、制御部１１０は、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２００に送信する（ステップＳ６２）。このとき、制御部１１０は、取得したガイドマーク情報を、生成部１２０にも出力する。   The control unit 110 of the shelf allocation information generation device 100 receives the selection information transmitted from the imaging device 200 (step S61), and is associated with information on the product shelf 20 and / or information on the store indicated by the selection information. Guide mark information is acquired from the second storage unit 150. Then, the control unit 110 transmits a display instruction to display the guide mark indicated by the guide mark information on the display unit 220 together with the acquired guide mark information to the imaging device 200 (step S62). At this time, the control unit 110 also outputs the acquired guide mark information to the generation unit 120.

撮像装置２００の制御部２４０は、棚割情報生成装置１００から送信されたガイドマーク情報および表示指示を受信する（ステップＳ５２）。制御部２４０は、表示指示に基づき、画面サイズに応じて、ガイドマーク情報によって示されるガイドマークの大きさや表示位置を変換し、変換したガイドマークを含むガイドマーク画像を生成する（ステップＳ５３）。   The control unit 240 of the imaging device 200 receives the guide mark information and the display instruction transmitted from the shelf allocation information generation device 100 (step S52). Based on the display instruction, the control unit 240 converts the size and display position of the guide mark indicated by the guide mark information according to the screen size, and generates a guide mark image including the converted guide mark (step S53).

そして、制御部２４０は、ファインダ画像上に、ステップＳ５３にて生成したガイドマーク画像を重畳させて、表示部２２０に表示させる（ステップＳ５４）。   And the control part 240 superimposes the guide mark image produced | generated in step S53 on a finder image, and displays it on the display part 220 (step S54).

図７に、表示部２２０に表示される画像の一例を示す。図７に示す通り、表示部２２０には、商品棚２０を含むファインダ画像上に、太線で示すガイドマーク９を含むガイドマーク画像が、重畳して表示されている。これにより、撮像装置２００は、このガイドマーク９と商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。   FIG. 7 shows an example of an image displayed on the display unit 220. As shown in FIG. 7, a guide mark image including a guide mark 9 indicated by a thick line is superimposed on the finder image including the product shelf 20 and displayed on the display unit 220. Thereby, the imaging device 200 can prompt the photographer to take an image at a position where the guide mark 9 and the shelf of the product shelf 20 coincide.

そして、撮影者が、この表示されたガイドマーク９を基準として撮影位置を決定し、決定した撮影位置において、商品棚２０を撮影する指示を撮像装置２００に入力すると、該撮影指示に応じて、撮影部２１０が、商品棚２０を撮影する（ステップＳ５５）。制御部２４０は、撮影した撮影画像を示す画像データを棚割情報生成装置１００に送信する（ステップＳ５６）。以上により、撮像装置２００の処理を終了する。   Then, when the photographer determines a shooting position based on the displayed guide mark 9 and inputs an instruction to shoot the product shelf 20 at the determined shooting position to the imaging device 200, according to the shooting instruction, The imaging unit 210 images the product shelf 20 (step S55). The control unit 240 transmits image data indicating the captured image to the shelf allocation information generating apparatus 100 (step S56). Thus, the process of the imaging device 200 is finished.

その後、棚割情報生成装置１００の認識部１４０は、撮像装置２００から送信された撮影画像を示す画像データを受信する（ステップＳ６３）。そして、認識部１４０は、ステップＳ６３で受信した画像データを用いて、該画像データによって示される撮影画像内に含まれる商品を認識する（ステップＳ６４）。   Thereafter, the recognition unit 140 of the shelf allocation information generation device 100 receives image data indicating a captured image transmitted from the imaging device 200 (step S63). And the recognition part 140 recognizes the goods contained in the picked-up image shown by this image data using the image data received by step S63 (step S64).

生成部１２０は、商品の認識を行った撮影画像のサイズに応じて、制御部１１０から出力されたガイドマーク情報によって示されるガイドマークの表示位置を変換する（ステップＳ６５）。なお、ステップＳ６５は、ステップＳ６４の前に行われてもよいし、ステップＳ６４と同時に行われてもよい。   The generation unit 120 converts the display position of the guide mark indicated by the guide mark information output from the control unit 110 according to the size of the captured image for which the product is recognized (step S65). Note that step S65 may be performed before step S64 or may be performed simultaneously with step S64.

そして、生成部１２０は、変換後のガイドマークの、撮影画像上の表示位置を示す情報と、ステップＳ６４で認識部１４０が商品の認識を行った結果である認識結果とに基づいて、棚割情報を生成する（ステップＳ６６）。以上により、棚割情報生成装置１００の処理を終了する。   Then, the generation unit 120 generates the shelf allocation based on the information indicating the display position of the converted guide mark on the captured image and the recognition result obtained by the recognition unit 140 recognizing the product in step S64. Information is generated (step S66). Thus, the process of the shelf allocation information generating device 100 is finished.

生成部１２０が生成する棚割情報は、商品棚２０の段の位置と商品を示す情報とその商品の配置位置とが順に並べられた文字列であってもよいし、表の形式であってもよいし、その他の形式であってもよい。生成部１２０は、例えば、棚割情報生成装置１００内の図示しない表示部に、表示させる画像を棚割情報として生成してもよい。図８は、生成部１２０が生成した棚割情報であって、表示部に表示させる画像の形式で生成された棚割情報の一例を示す図である。   The shelf allocation information generated by the generation unit 120 may be a character string in which the position of the product shelf 20, information indicating the product, and the arrangement position of the product are arranged in order, or in the form of a table. Alternatively, other formats may be used. The generation unit 120 may generate an image to be displayed on the display unit (not shown) in the shelf allocation information generation device 100 as shelf allocation information, for example. FIG. 8 is a diagram illustrating an example of the shelf allocation information generated by the generation unit 120 and generated in the format of an image to be displayed on the display unit.

図８の各商品内のアルファベットは、商品名の最後の文字を示している。図８において、例えば、商品名が「商品Ａ」の商品は「Ａ」と示されている。生成部１２０は、図７に示す、撮像装置２００の表示部２２０に表示されたガイドマーク９の位置に対応する撮影画像上の位置を示す情報と、図５に示す認識結果とを用いて、図８に示す棚割情報を生成する。なお、図８に表示された各商品は、商品名を示す文字列であってもよいし、商品のマスタ画像であってもよいし、撮影画像内から切り出した商品の画像であってもよい。   The alphabet in each product in FIG. 8 indicates the last character of the product name. In FIG. 8, for example, a product whose product name is “product A” is indicated as “A”. The generation unit 120 uses the information indicating the position on the captured image corresponding to the position of the guide mark 9 displayed on the display unit 220 of the imaging apparatus 200 shown in FIG. 7 and the recognition result shown in FIG. The shelf allocation information shown in FIG. 8 is generated. Each product displayed in FIG. 8 may be a character string indicating a product name, a master image of the product, or an image of the product cut out from the photographed image. .

本実施の形態では、生成部１２０が、撮影画像のサイズに応じて、ガイドマーク情報によって示されるガイドマークの表示位置を変換することについて説明したが、この変換処理は、制御部１１０が行ってもよい。この場合、制御部１１０は、変換した、ガイドマークの表示位置を生成部１２０に出力し、生成部１２０は受信した表示位置に基づいて、棚割情報を生成すればよい。   In the present embodiment, it has been described that the generation unit 120 converts the display position of the guide mark indicated by the guide mark information in accordance with the size of the captured image, but this conversion process is performed by the control unit 110. Also good. In this case, the control unit 110 may output the converted display position of the guide mark to the generation unit 120, and the generation unit 120 may generate the shelf allocation information based on the received display position.

（効果）
以上のように、棚割情報生成装置１００は、上述した第１の実施の形態に係る棚割情報生成装置１０と同様に、精度がより安定化した棚割情報を生成することができる。 (effect)
As described above, the shelf allocation information generation device 100 can generate shelf allocation information with more accurate accuracy, similar to the shelf allocation information generation device 10 according to the first embodiment described above.

また、本実施の形態では、ガイドマークは、棚割情報を生成する対象となる商品棚２０の棚板の位置を表している。そのため、このガイドマークを参照して撮影された撮影画像上に対応するガイドマークの位置は、商品棚２０の棚板の位置となる。そして、生成部１２０は、撮影画像上におけるガイドマークの位置を示す位置情報と認識結果とに基づいて、位置情報によって示される、撮影画像上のガイドマークの位置に、商品が配置された状態を示す棚割情報を生成する。したがって、生成部１２０が生成する棚割情報によって示される商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。したがって、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１００は、より高精度な棚割情報を生成することができる。   Moreover, in this Embodiment, the guide mark represents the position of the shelf board of the goods shelf 20 used as the object which produces | generates shelf allocation information. Therefore, the position of the corresponding guide mark on the photographed image taken with reference to this guide mark is the position of the shelf of the product shelf 20. Then, the generation unit 120 displays the state in which the product is arranged at the position of the guide mark on the captured image indicated by the position information based on the position information indicating the position of the guide mark on the captured image and the recognition result. The shelf allocation information shown is generated. Therefore, the display position of the product indicated by the shelf allocation information generated by the generation unit 120 is a more accurate reproduction of the actual display position. Therefore, the shelf allocation information generation apparatus 100 of the shelf allocation information generation system 1 according to the present embodiment can generate more accurate shelf allocation information.

（変形例１）
本実施の形態の変形例１について図９を参照して説明する。図９は、撮像装置２００の表示部２２０に表示される画像の他の例を示す図である。 (Modification 1)
A first modification of the present embodiment will be described with reference to FIG. FIG. 9 is a diagram illustrating another example of an image displayed on the display unit 220 of the imaging apparatus 200.

商品棚２０の大きさが大きすぎる場合、撮像装置２００の表示部２２０に、商品棚２０の全体が写らない場合がある。また、撮影対象の商品棚２０が設置された店舗の通路の幅が狭いなどの理由により、撮像装置２００の表示部２２０に、商品棚２０の全体が写らない場合がある。また、サイズの小さい商品を陳列するための商品棚２０の場合、商品の認識率を高めるために、商品棚２０に近接して撮影する場合もある。このような場合、例えば、図９に示すように、棚割情報生成装置１００の制御部１１０は、撮像装置２００の表示部２２０に撮影方法を促すメッセージ８を表示させるよう制御してもよい。   When the size of the product shelf 20 is too large, the entire product shelf 20 may not be shown on the display unit 220 of the imaging device 200. In addition, the entire product shelf 20 may not be shown on the display unit 220 of the imaging device 200 due to the narrow width of the passage of the store where the product shelf 20 to be photographed is installed. In addition, in the case of the product shelf 20 for displaying products with a small size, there is a case where photographing is performed close to the product shelf 20 in order to increase the recognition rate of the product. In such a case, for example, as illustrated in FIG. 9, the control unit 110 of the shelf allocation information generation device 100 may control the display unit 220 of the imaging device 200 to display a message 8 that prompts a shooting method.

このとき、第２の記憶部１５０には、ガイドマーク情報として、商品棚２０の上部または下部の情報が含まれていてもよい。この商品棚２０の上部または下部の情報は、商品棚２０のサイズ、商品棚２０が設置された店舗、商品棚２０の種別等に応じて、予め格納されている。そして、上述したステップＳ６１において、制御部１１０は、選択情報を受信し、ガイドマーク情報を第２の記憶部１５０から取得する。そして、制御部１１０は、取得した選択情報に関連付けられた該ガイドマーク情報に含まれる、商品棚２０の上部または下部の情報から、撮影対象の商品棚２０が上下に分けて撮影する対象の商品棚２０であると特定する。その後、制御部１１０は、表示部２２０に、例えば、図９に示す通り、上下に分けて撮影することを促すメッセージとして、「この商品棚は、上下に分けて撮影してください」を表示させるよう制御する。   At this time, the second storage unit 150 may include information on the upper part or the lower part of the product shelf 20 as guide mark information. Information on the upper or lower part of the product shelf 20 is stored in advance according to the size of the product shelf 20, the store where the product shelf 20 is installed, the type of the product shelf 20, and the like. In step S <b> 61 described above, the control unit 110 receives selection information and acquires guide mark information from the second storage unit 150. The control unit 110 then captures the product to be imaged by the product shelf 20 to be imaged separately from the upper or lower information of the product shelf 20 included in the guide mark information associated with the acquired selection information. The shelf 20 is specified. Thereafter, the control unit 110 causes the display unit 220 to display, for example, as shown in FIG. 9, “Please shoot this product shelf separately from the top and bottom” as a message that prompts the user to shoot separately. Control as follows.

また、制御部１１０は、ガイドマーク情報に含まれる、商品棚２０の上部または下部の情報に応じて、更なるメッセージを表示部２２０に表示させてもよい。例えば、ガイドマーク情報に、商品棚２０の上部の情報が含まれる場合、制御部１１０は、図９に示す通り、「まず、上部を撮影してください」というメッセージを表示させるように制御してもよい。   Further, the control unit 110 may cause the display unit 220 to display a further message according to information on the upper or lower part of the product shelf 20 included in the guide mark information. For example, when the information on the upper part of the product shelf 20 is included in the guide mark information, the control unit 110 controls to display a message “First, please photograph the upper part” as shown in FIG. Also good.

以上のように、棚割情報生成装置１００の制御部１１０が画面に撮影方法を促すメッセージを表示させるよう制御することにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質をより均一化することができる。   As described above, since the control unit 110 of the shelf allocation information generation device 100 performs control so that a message prompting the photographing method is displayed on the screen, the personality of the photographed image can be further reduced. Can be made more uniform.

（変形例２）
上述した第２の実施の形態では、各商品の認識を棚割情報生成装置１００内の認識部１４０で行ったが、商品の認識は、棚割情報生成装置１００とは別個の装置で行われてもよい。つまり、第１の記憶部１３０および認識部１４０は、棚割情報生成装置１００とは別個の装置で実現されてもよい。この場合、棚割情報生成装置１００は、認識結果を上記別個の装置から受信する。これにより、棚割情報生成装置１００は、棚割情報生成装置１００に掛かる処理負荷を低減することができる。また、認識部１４０が棚割情報生成装置１００とは別個の装置で実現される場合であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。 (Modification 2)
In the second embodiment described above, each product is recognized by the recognition unit 140 in the shelf allocation information generating device 100. However, the product is recognized by a device separate from the shelf allocation information generating device 100. May be. That is, the first storage unit 130 and the recognition unit 140 may be realized by a device separate from the shelf allocation information generation device 100. In this case, the shelf allocation information generation device 100 receives the recognition result from the separate device. Thereby, the shelf allocation information generation device 100 can reduce the processing load applied to the shelf allocation information generation device 100. Even if the recognition unit 140 is realized by a device separate from the shelf allocation information generation device 100, the shelf allocation information generation system 1 according to the present embodiment is the same as that in the second embodiment described above. An effect similar to that of the shelf allocation information generation system 1 can be obtained.

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、図面を参照して説明する。図１０は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。 <Third Embodiment>
Next, a third embodiment of the present invention will be described with reference to the drawings. FIG. 10 is a functional block diagram showing a functional configuration of the shelf allocation information generation system 1 according to the present embodiment. For convenience of explanation, members having the same functions as those included in the drawings described in the second embodiment described above are given the same reference numerals, and descriptions thereof are omitted. The overall configuration of the shelf allocation information generation system 1 according to the present embodiment is the same as the configuration of the shelf allocation information generation system 1 according to the second embodiment shown in FIG. .

なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す２以上の線分であるとする。また、本実施の形態では、商品棚２０の棚板は、商品が乗せられる板（商品棚２０内に設けられた板および商品棚２０の最下段の底板）と、商品棚２０の天板とを含む。
また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。 In the present embodiment, the guide mark is assumed to be two or more line segments indicating the position of the shelf board of the product shelf 20. Moreover, in this Embodiment, the shelf board of the merchandise shelf 20 is a board (a board provided in the merchandise shelf 20 and a bottom plate of the lowermost stage of the merchandise shelf 20) on which the goods are placed, and a top board of the merchandise shelf 20. including.
Further, it is assumed that the information regarding the guide mark is an image indicating the guide mark.

図１０に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０１と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。   As shown in FIG. 10, the shelf allocation information generation system 1 according to the present embodiment includes a shelf allocation information generation device 101 and an imaging device 200. The configuration of the imaging apparatus 200 is the same as that of the imaging apparatus 200 according to the second embodiment.

棚割情報生成装置１０１は、制御部１１１と、生成部１２１と、第１の記憶部１３０と、認識部１４１と、第２の記憶部１５０と、を備えている。   The shelf allocation information generation apparatus 101 includes a control unit 111, a generation unit 121, a first storage unit 130, a recognition unit 141, and a second storage unit 150.

制御部１１１は、上述した制御部１１０の機能を有する。制御部１１１は、更に、認識部１４１が受信した画像データによって示される撮影画像のサイズを、認識部１４１から受け取る。そして、制御部１１１は、撮影画像のサイズに応じて、ガイドマーク情報によって示されるガイドマークの表示位置を変換する。この変換処理は、上述した生成部１２０で説明した変換処理と同様であるため、詳細な説明を省略する。   The control unit 111 has the function of the control unit 110 described above. The control unit 111 further receives the size of the captured image indicated by the image data received by the recognition unit 141 from the recognition unit 141. Then, the control unit 111 converts the display position of the guide mark indicated by the guide mark information according to the size of the captured image. Since this conversion process is the same as the conversion process described in the generation unit 120 described above, detailed description thereof is omitted.

そして、制御部１１１は、変換後のガイドマークの撮影画像上の表示位置を示す情報（位置情報とも呼ぶ）を、認識部１４１および生成部１２１に出力する。   Then, the control unit 111 outputs information indicating the display position of the converted guide mark on the captured image (also referred to as position information) to the recognition unit 141 and the generation unit 121.

認識部１４１は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。また、認識部１４１は、制御部１１１から変換後のガイドマークの撮影画像上の表示位置を示す情報を受信する。認識部１４１は、画像データと、ガイドマークの表示位置とを用いて、第１の記憶部１３０を参照し、受信した画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４１は、商品の認識を行う際、ガイドマークが全て含まれる範囲内の商品を認識する。言い換えれば、認識部１４１は、ガイドマークが含まれない範囲の商品の認識を行わない。これにより、認識部１４１は、認識処理を行う対象となる商品の量を減らすことができるため、認識処理の処理量および処理時間を減らすことができる。また、認識部１４１は、棚割情報を生成する対象の商品棚２０（対象商品棚と呼ぶ）以外の商品棚に陳列された商品の認識を行わないため、対象商品棚に陳列されていない商品を、対象商品棚に陳列された商品であると認識することを防ぐことができる。   The recognition unit 141 receives image data of a photographed image obtained by photographing the product shelf 20 from the imaging device 200. Further, the recognition unit 141 receives information indicating the display position of the converted guide mark on the captured image from the control unit 111. The recognition unit 141 refers to the first storage unit 130 using the image data and the display position of the guide mark, and recognizes a product included in the captured image from the captured image indicated by the received image data. . When recognizing a product, the recognition unit 141 recognizes a product within a range including all guide marks. In other words, the recognition unit 141 does not recognize products in a range that does not include guide marks. Thereby, since the recognition part 141 can reduce the quantity of the goods used as the object which performs recognition processing, it can reduce the processing amount and processing time of recognition processing. In addition, since the recognition unit 141 does not recognize a product displayed on a product shelf other than the target product shelf 20 (referred to as a target product shelf) for which shelf allocation information is generated, the product that is not displayed on the target product shelf Can be prevented from being recognized as a product displayed on the target product shelf.

その後、認識部１４１は、認識部１４０と同様に認識結果を生成部１２１に出力する。   Thereafter, the recognition unit 141 outputs the recognition result to the generation unit 121 in the same manner as the recognition unit 140.

生成部１２１は、制御部１１１から受信した、変換後のガイドマークの撮影画像上の表示位置を示す情報と、認識部１４１による商品の認識結果とに基づいて、認識部１４１において認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。   The generation unit 121 recognizes the product recognized by the recognition unit 141 based on the information received from the control unit 111 and indicating the display position of the converted guide mark on the captured image and the recognition result of the product by the recognition unit 141. However, shelf allocation information indicating the state of being arranged on the product shelf 20 is generated.

ここで、上述したとおり、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す２以上の線分である。そのため、生成部１２１は、撮影画像上において、該撮影画像から認識された商品が、該撮影画像上のガイドマークの内、天板の位置を示すガイドマーク以外のガイドマークの表示位置に配置された状態を示す棚割情報を生成する。   Here, as described above, in the present embodiment, the guide mark is two or more line segments indicating the position of the shelf of the product shelf 20. Therefore, the generation unit 121 arranges the product recognized from the captured image on the captured image at the display position of the guide mark other than the guide mark indicating the position of the top plate among the guide marks on the captured image. The shelf allocation information indicating the status is generated.

（効果）
以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１０１では、認識部１４１が、ガイドマークの撮影画像上の表示位置を示す位置情報に基づいて、商品を認識する。したがって、本実施の形態に係る棚割情報生成システム１の生成部１２１は、上記位置情報に基づいて認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。これにより、棚割情報生成装置１０１は、棚割情報の生成の対象である対象商品棚に陳列されていない商品を、対象商品棚に陳列された商品であると認識することを防ぐことができる。よって、棚割情報生成装置１０１は、対象商品棚に含まれる商品以外の商品が棚割情報に含まれることを防ぐことができ、より精度が高い棚割情報を生成することができる。 (effect)
As described above, the shelf allocation information generation system 1 according to the present embodiment can obtain the same effects as the shelf allocation information generation system 1 of the second embodiment described above. Moreover, in the shelf allocation information generation apparatus 101 of the shelf allocation information generation system 1 according to the present embodiment, the recognition unit 141 recognizes a product based on position information indicating the display position of the guide mark on the captured image. Therefore, the production | generation part 121 of the shelf allocation information generation system 1 which concerns on this Embodiment produces | generates the shelf allocation information which shows the state by which the goods recognized based on the said positional information were arrange | positioned in the goods shelf 20. FIG. Thereby, the shelf allocation information generation device 101 can prevent a product that is not displayed on the target product shelf that is the target of the shelf allocation information from being recognized as a product displayed on the target product shelf. . Therefore, the shelf allocation information generation device 101 can prevent products other than the products included in the target product shelf from being included in the shelf allocation information, and can generate shelf allocation information with higher accuracy.

また、本実施の形態に係る棚割情報生成装置１０１の第１の記憶部１３０および認識部１４１は、上述した第２の実施の形態の変形例における棚割情報生成システム１と同様に、棚割情報生成装置１０１とは別個の装置で実現されてもよい。   In addition, the first storage unit 130 and the recognition unit 141 of the shelf allocation information generation device 101 according to the present embodiment are similar to the shelf allocation information generation system 1 in the modified example of the second embodiment described above. The split information generation apparatus 101 may be realized by a separate apparatus.

＜第４の実施の形態＞
次に、本発明の第４の実施の形態について、図面を参照して説明する。図１１は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２または第３の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。 <Fourth embodiment>
Next, a fourth embodiment of the present invention will be described with reference to the drawings. FIG. 11 is a functional block diagram showing a functional configuration of the shelf allocation information generation system 1 according to the present embodiment. For convenience of explanation, members having the same functions as the members included in the drawings described in the second or third embodiment are denoted by the same reference numerals, and description thereof is omitted. The overall configuration of the shelf allocation information generation system 1 according to the present embodiment is the same as the configuration of the shelf allocation information generation system 1 according to the second embodiment shown in FIG. .

上述した第２および第３の実施の形態では、商品棚２０を示す情報および／または商品棚２０が設置された店舗を示す情報を、撮影者が選択することについて説明したが、本実施の形態はこれに限定されない。本実施の形態では、撮像装置が、商品棚２０が設置された店舗を示す情報を、撮影者が入力することなく送信する方法について説明する。   In the second and third embodiments described above, it has been described that the photographer selects information indicating the product shelf 20 and / or information indicating the store in which the product shelf 20 is installed. Is not limited to this. In the present embodiment, a method will be described in which the imaging device transmits information indicating the store where the product shelf 20 is installed without the photographer inputting.

図１１に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０２と、撮像装置２０２とを備えている。撮像装置２０２は、撮影部２１０、表示部２２０、制御部２４０および取得部２５０を備えている。なお、撮像装置２０２は、上述した第２および第３の実施の形態に係る撮像装置２００と同様に、入力部２３０を更に備えていてもよい。   As shown in FIG. 11, the shelf allocation information generation system 1 according to the present embodiment includes a shelf allocation information generation device 102 and an imaging device 202. The imaging device 202 includes an imaging unit 210, a display unit 220, a control unit 240, and an acquisition unit 250. Note that the imaging apparatus 202 may further include an input unit 230 as in the imaging apparatus 200 according to the second and third embodiments described above.

取得部２５０は、自装置の場所を測定することによって、自装置の場所を取得する。取得部２５０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどによって実現される。取得部２５０は取得した場所を示す場所情報を、制御部２４０に出力する。制御部２４０は、取得部２５０から取得した場所情報を棚割情報生成装置１０２に送信する。   The acquisition unit 250 acquires the location of the own device by measuring the location of the own device. The acquisition unit 250 is realized by, for example, a GPS (Global Positioning System) sensor. The acquisition unit 250 outputs location information indicating the acquired location to the control unit 240. The control unit 240 transmits the location information acquired from the acquisition unit 250 to the shelf allocation information generation device 102.

棚割情報生成装置１０２は、図１１に示す通り、制御部１１２と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１６２とを備えている。なお、第１の記憶部１３０と、第２の記憶部１６２とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１６２は、夫々、棚割情報生成装置１０２とは別個の記憶装置にて実現されるものであってもよい。   As shown in FIG. 11, the shelf allocation information generation device 102 includes a control unit 112, a generation unit 120, a first storage unit 130, a recognition unit 140, and a second storage unit 162. Note that the first storage unit 130 and the second storage unit 162 may be realized by a single storage unit. Further, the first storage unit 130 and the second storage unit 162 may be realized by a storage device that is separate from the shelf allocation information generation device 102.

第２の記憶部１６２には、上述した第２の記憶部１５０と同様に、ガイドマークに関する情報が格納されている。また、第２の記憶部１６２には、店舗を特定する情報（例えば、店舗番号）が、店舗の場所を示す情報に関連付けて格納されている。なお、第２の記憶部１６２には、店舗内の商品棚２０を特定する情報（例えば、商品棚２０の種別等）が更に含まれていてもよい。   Similar to the second storage unit 150 described above, the second storage unit 162 stores information regarding guide marks. In the second storage unit 162, information for specifying a store (for example, a store number) is stored in association with information indicating the location of the store. The second storage unit 162 may further include information for specifying the product shelf 20 in the store (for example, the type of the product shelf 20).

制御部１１２は、撮像装置２０２から送信された場所情報を受信する。そして、制御部１１２は、第２の記憶部１６２を参照し、受信した場所情報と一致する、または、受信した場所情報の所定の範囲内に存在する店舗または商品棚を特定する。そして、制御部１１２は、特定した店舗または商品棚を示す情報に関連付けられたガイドマーク情報を、第２の記憶部１６２から取得する。そして、制御部１１２は、上述した制御部１１０と同様に、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２０２に送信する。   The control unit 112 receives the location information transmitted from the imaging device 202. Then, the control unit 112 refers to the second storage unit 162 and specifies a store or a product shelf that matches the received location information or exists within a predetermined range of the received location information. And the control part 112 acquires the guide mark information linked | related with the information which shows the specified shop or goods shelf from the 2nd memory | storage part 162. FIG. Then, similarly to the control unit 110 described above, the control unit 112 transmits a display instruction for causing the display unit 220 to display a guide mark indicated by the guide mark information together with the acquired guide mark information, to the imaging device 202.

本実施の形態における棚割情報生成装置１０２の認識部１４０および生成部１２０の動作は、上述した第２の実施の形態における認識部１４０および生成部１２０の動作と同様であるため、説明を省略する。   Since the operations of the recognition unit 140 and the generation unit 120 of the shelf allocation information generation device 102 in the present embodiment are the same as the operations of the recognition unit 140 and the generation unit 120 in the second embodiment described above, the description thereof is omitted. To do.

以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態によれば、制御部１１２が撮像装置２０２の場所を受信することにより、撮影対象の商品棚２０の情報または、該商品棚２０が設置された店舗を特定する。これにより、撮影者が、商品棚２０が設置された店舗を示す情報を入力しなくても、棚割情報生成装置１０２は、棚割情報を生成することができる。   As described above, the shelf allocation information generation system 1 according to the present embodiment can obtain the same effects as the shelf allocation information generation system 1 of the second embodiment described above. Further, according to the present embodiment, the control unit 112 receives the location of the imaging device 202, thereby specifying information on the product shelf 20 to be imaged or a store where the product shelf 20 is installed. Thereby, even if the photographer does not input information indicating the store where the product shelf 20 is installed, the shelf allocation information generation device 102 can generate the shelf allocation information.

また、本実施の形態に係る棚割情報生成装置１０２は、上述した第３の実施の形態に係る棚割情報生成装置１０１と同様に、制御部１１２が認識部１４０にガイドマーク情報を出力する構成であってもよい。そして、認識部１４０は、ガイドマークの撮影画像上の表示位置を示す位置情報に基づいて、商品を認識し、生成部１２０は、上記位置情報に基づいて認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。これにより、本実施の形態に係る棚割情報生成システム１は、上述した第３の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。   Further, in the shelf allocation information generation device 102 according to the present embodiment, the control unit 112 outputs guide mark information to the recognition unit 140 in the same manner as the shelf allocation information generation device 101 according to the third embodiment described above. It may be a configuration. Then, the recognition unit 140 recognizes the product based on the position information indicating the display position of the guide mark on the captured image, and the generation unit 120 stores the product recognized based on the position information on the product shelf 20. The shelf allocation information indicating the arranged state is generated. Thereby, the shelf allocation information generation system 1 according to the present embodiment can obtain the same effects as the shelf allocation information generation system 1 according to the third embodiment described above.

また、本実施の形態に係る棚割情報生成装置１０２は、上述した第２の実施の形態の変形例１と同様に、制御部１１２が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。   Moreover, the shelf allocation information generation apparatus 102 according to the present embodiment controls the control unit 112 to display a message prompting the photographing method on the screen, as in the first modification of the second embodiment described above. May be.

また、本実施の形態に係る棚割情報生成装置１０２の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０２とは別個の装置で実現されてもよい。   In addition, the first storage unit 130 and the recognition unit 140 of the shelf allocation information generation device 102 according to the present embodiment are similar to the shelf allocation information generation system 1 in the second modification of the second embodiment described above. It may be realized by a device separate from the shelf allocation information generation device 102.

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。   Even with such a configuration, the shelf allocation information generation system 1 according to the present embodiment can achieve the same effects as the shelf allocation information generation system 1 in the second embodiment described above.

＜第５の実施の形態＞
次に、本発明の第５の実施の形態について、図面を参照して説明する。図１２は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。 <Fifth embodiment>
Next, a fifth embodiment of the present invention will be described with reference to the drawings. FIG. 12 is a functional block diagram showing a functional configuration of the shelf allocation information generation system 1 according to the present embodiment. For convenience of explanation, members having the same functions as the members included in the drawings described in the above-described embodiments are denoted by the same reference numerals and description thereof is omitted. The overall configuration of the shelf allocation information generation system 1 according to the present embodiment is the same as the configuration of the shelf allocation information generation system 1 according to the second embodiment shown in FIG. . In the present embodiment, the guide mark is assumed to be one or more line segments indicating the position of the shelf of the product shelf 20.

図１２に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０３と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。   As shown in FIG. 12, the shelf allocation information generation system 1 according to the present embodiment includes a shelf allocation information generation device 103 and an imaging device 200. The configuration of the imaging apparatus 200 is the same as that of the imaging apparatus 200 according to the second embodiment. Note that the imaging apparatus 200 may include an acquisition unit 250 as in the imaging apparatus 202 in the fourth embodiment.

棚割情報生成装置１０３は、制御部１１３と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１７３と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１７３とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１７３は、夫々、棚割情報生成装置１０３とは別個の記憶装置にて実現されるものであってもよい。   The shelf allocation information generation device 103 includes a control unit 113, a generation unit 120, a first storage unit 130, a recognition unit 140, and a second storage unit 173. In addition, the 1st memory | storage part 130 and the 2nd memory | storage part 173 may be implement | achieved by one memory | storage part. In addition, the first storage unit 130 and the second storage unit 173 may each be realized by a storage device separate from the shelf allocation information generation device 103.

認識部１４０は、商品の認識を行うと、第２の記憶部１７３に商品の認識結果を格納する。認識部１４０は、例えば、図５に示す認識結果に、商品認識の対象となる商品棚２０を示す情報を関連付けて、第２の記憶部１７３に格納する。このとき、認識部１４０は、認識を行った日付または撮影画像の日付を、認識結果に含めてもよい。また、認識部１４０は、店舗に関する情報を、認識結果に関連付けてもよい。以降、第２の記憶部１７３に格納された認識結果を含む情報を、認識履歴とも呼ぶ。   When the recognition unit 140 recognizes the product, the recognition unit 140 stores the product recognition result in the second storage unit 173. For example, the recognition unit 140 associates information indicating the product shelf 20 as a product recognition target with the recognition result illustrated in FIG. 5 and stores the information in the second storage unit 173. At this time, the recognition unit 140 may include the date of recognition or the date of the captured image in the recognition result. In addition, the recognition unit 140 may associate information about the store with the recognition result. Hereinafter, the information including the recognition result stored in the second storage unit 173 is also referred to as a recognition history.

制御部１１３は、棚割情報を生成する対象となる商品棚２０に関する情報を、撮像装置２００から受信する、または、場所情報から特定する。そして、制御部１１３は、受信または特定した情報に関連付けられた認識結果に含まれる、商品の陳列位置を示す陳列位置情報を、第２の記憶部１７３から取得する。制御部１１３は、この陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する。例えば、認識した商品の撮影画像上の位置を示す情報が、図５に示す通り、商品のボトムセンターの座標である場合、制御部１１３は、例えば、ハフ変換によって、直線を算出する。商品は、棚板の上に陳列されている。よって、算出された直線は、撮影画像上における棚板の部分を含む直線であると推定される。したがって、制御部１１３は、この算出した直線を、棚板の位置と推定する。   The control unit 113 receives information related to the product shelf 20 that is a target for generating shelf allocation information from the imaging device 200 or specifies the location information. And the control part 113 acquires the display position information which shows the display position of goods contained in the recognition result linked | related with the received or specified information from the 2nd memory | storage part 173. FIG. The control unit 113 estimates the position of the shelf of the product shelf 20 on the captured image using this display position information. For example, when the information indicating the position of the recognized product on the captured image is the coordinates of the bottom center of the product as illustrated in FIG. 5, the control unit 113 calculates a straight line by, for example, Hough transform. Goods are displayed on a shelf board. Therefore, the calculated straight line is estimated to be a straight line including a shelf portion on the captured image. Therefore, the control unit 113 estimates the calculated straight line as the position of the shelf board.

そして、制御部１１３は、推定した撮影画像上の棚板の位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させる指示を、撮像装置２００に送信する。ここで、ガイドマークの形状（本実施の形態では、線分）を示す情報は、予め第２の記憶部１７３に格納されていてもよいし、撮像装置から指定されてもよい。また、ガイドマークの形状は、制御部１１３が推定した位置から導出されてもよい。これにより、撮像装置２００の制御部２４０は、ガイドマークを、表示部２２０に表示させる。よって、撮像装置２００は、過去の認識結果に基づいたガイドマークと商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。   Then, the control unit 113 transmits an instruction to display the guide mark to the imaging device 200 at the position of the screen of the imaging device 200 corresponding to the estimated position of the shelf on the captured image. Here, the information indicating the shape of the guide mark (in this embodiment, a line segment) may be stored in advance in the second storage unit 173 or may be designated by the imaging device. The shape of the guide mark may be derived from the position estimated by the control unit 113. Thereby, the control part 240 of the imaging device 200 displays the guide mark on the display part 220. Therefore, the imaging apparatus 200 can prompt the photographer to take an image at a position where the guide mark based on the past recognition result matches the shelf of the product shelf 20.

（棚割情報生成システム１の処理の流れ）
次に、棚割情報生成システム１における処理の流れについて説明する。図１３は、本実施の形態に係る棚割情報生成システム１における処理の流れの一例を示すフローチャートである。図１３においては、撮像装置２００の処理を左側に、棚割情報生成装置１０３の処理を右側に示している。また、撮像装置２００に対するフローチャートと、棚割情報生成装置１０３に対するフローチャートとの間の破線の矢印は、情報の伝達を示している。なお、上述した図６に示すフローチャートと同じ処理については、同じ符号を付している。 (Processing flow of the shelf allocation information generation system 1)
Next, the flow of processing in the shelf allocation information generation system 1 will be described. FIG. 13 is a flowchart illustrating an example of a processing flow in the shelf allocation information generation system 1 according to the present embodiment. In FIG. 13, the process of the imaging device 200 is shown on the left side, and the process of the shelf allocation information generation device 103 is shown on the right side. A broken line arrow between the flowchart for the imaging device 200 and the flowchart for the shelf allocation information generation device 103 indicates transmission of information. The same processes as those in the flowchart shown in FIG. 6 are given the same reference numerals.

まず、撮像装置２００の画面上において、棚割情報を生成する対象となる商品棚２０が選択されると、制御部２４０は、選択情報を棚割情報生成装置１０３に送信する（ステップＳ５１）。   First, when the product shelf 20 for which shelf allocation information is generated is selected on the screen of the imaging device 200, the control unit 240 transmits the selection information to the shelf allocation information generation device 103 (step S51).

棚割情報生成装置１０３の制御部１１３は、撮像装置２００から送信された選択情報を受信する（ステップＳ６１）。そして、制御部１１３は、選択情報によって示される商品棚２０に関する情報および／または店舗に関する情報に関連付けられた認識履歴の陳列位置情報を第２の記憶部１７３から取得する（ステップＳ１３１）。   The control unit 113 of the shelf allocation information generation device 103 receives the selection information transmitted from the imaging device 200 (step S61). And the control part 113 acquires the display position information of the recognition history linked | related with the information regarding the goods shelf 20 shown by selection information, and / or the information regarding a shop from the 2nd memory | storage part 173 (step S131).

そして、制御部１１３は、取得した陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する（ステップＳ１３２）。その後、制御部１１３は、推定した棚板の位置を、ガイドマークの表示位置とし、該ガイドマークの表示位置を含むガイドマーク情報を、表示指示と共に撮像装置２００に送信する（ステップＳ１３３）。その後、棚割情報生成装置１０３および撮像装置２００は、第２の実施の形態に係る棚割情報生成装置１００および撮像装置２００と同様の処理を行う。   And the control part 113 estimates the position of the shelf board of the goods shelf 20 on a picked-up image using the acquired display position information (step S132). Thereafter, the control unit 113 sets the estimated shelf position as the guide mark display position, and transmits guide mark information including the display position of the guide mark to the imaging apparatus 200 together with a display instruction (step S133). Thereafter, the shelf allocation information generation device 103 and the imaging device 200 perform the same processing as the shelf allocation information generation device 100 and the imaging device 200 according to the second embodiment.

以上のように、本実施の形態に係る棚割情報生成システム１によれば、制御部１１３が、過去の認識結果に含まれる商品の陳列位置を示す陳列位置情報から、ガイドマークの撮影画像上における位置を推定する。そして、制御部１１３は、推定した位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させるように制御する。   As described above, according to the shelf allocation information generation system 1 according to the present embodiment, the control unit 113 can display the guide mark on the captured image from the display position information indicating the display position of the product included in the past recognition result. Estimate the position at. And the control part 113 is controlled to display a guide mark in the position of the screen of the imaging device 200 corresponding to the estimated position.

同じ商品棚の場合、過去の認識結果から推定される棚板の位置は、現時点の商品棚２０の棚板の位置と同じである場合が多い。そのため、本実施の形態に係る棚割情報生成システム１によれば、上述した各実施の形態に係る棚割情報生成システム１の効果に加え、より高精度な棚割情報を生成することができる。   In the case of the same product shelf, the position of the shelf board estimated from the past recognition result is often the same as the current shelf position of the product shelf 20. Therefore, according to the shelf allocation information generation system 1 according to the present embodiment, in addition to the effects of the shelf allocation information generation system 1 according to each embodiment described above, more accurate shelf allocation information can be generated. .

また、本実施の形態に係る棚割情報生成装置１０３は、上述した第２の実施の形態の変形例１と同様に、制御部１１３が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。   Further, the shelf allocation information generating apparatus 103 according to the present embodiment controls the control unit 113 to display a message prompting the photographing method on the screen, as in the first modification of the second embodiment described above. May be.

また、本実施の形態に係る棚割情報生成装置１０３の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０３とは別個の装置で実現されてもよい。   In addition, the first storage unit 130 and the recognition unit 140 of the shelf allocation information generation device 103 according to the present embodiment are similar to the shelf allocation information generation system 1 in Modification 2 of the second embodiment described above. It may be realized by a device separate from the shelf allocation information generation device 103.

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。   Even with such a configuration, the shelf allocation information generation system 1 according to the present embodiment can achieve the same effects as the shelf allocation information generation system 1 in the second embodiment described above.

＜第６の実施の形態＞
次に、本発明の第６の実施の形態について、図面を参照して説明する。図１４は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。 <Sixth Embodiment>
Next, a sixth embodiment of the present invention will be described with reference to the drawings. FIG. 14 is a functional block diagram showing a functional configuration of the shelf allocation information generation system 1 according to the present embodiment. For convenience of explanation, members having the same functions as the members included in the drawings described in the above-described embodiments are denoted by the same reference numerals and description thereof is omitted. The overall configuration of the shelf allocation information generation system 1 according to the present embodiment is the same as the configuration of the shelf allocation information generation system 1 according to the second embodiment shown in FIG. . In the present embodiment, the guide mark is assumed to be one or more line segments indicating the position of the shelf of the product shelf 20.

上述した第５の実施の形態では、ガイドマークを、認識履歴から推定することについて説明したが、本実施の形態では、ガイドマークを棚割情報の生成履歴から推定することについて説明する。   In the fifth embodiment described above, the estimation of the guide mark from the recognition history has been described. In the present embodiment, the estimation of the guide mark from the shelf allocation information generation history will be described.

図１４に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０４と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。   As shown in FIG. 14, the shelf allocation information generation system 1 according to the present embodiment includes a shelf allocation information generation device 104 and an imaging device 200. The configuration of the imaging apparatus 200 is the same as that of the imaging apparatus 200 according to the second embodiment. Note that the imaging apparatus 200 may include an acquisition unit 250 as in the imaging apparatus 202 in the fourth embodiment.

棚割情報生成装置１０４は、制御部１１４と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１８４と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１８４とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１８４は、夫々、棚割情報生成装置１０４とは別個の記憶装置にて実現されるものであってもよい。   The shelf allocation information generation device 104 includes a control unit 114, a generation unit 120, a first storage unit 130, a recognition unit 140, and a second storage unit 184. Note that the first storage unit 130 and the second storage unit 184 may be realized by a single storage unit. In addition, the first storage unit 130 and the second storage unit 184 may be realized by a storage device that is separate from the shelf allocation information generation device 104, respectively.

まず、生成部１２０が生成する棚割情報について説明する。生成部１２０が生成する棚割情報は、上述した図８に示すような、図示しない表示部に表示させる画像の形式で生成された棚割情報であってもよい。また、生成部１２０が生成する棚割情報は、図１５に示すような、どの位置にどの商品が配置されるのかが分かる情報であってもよい。図１５は、棚割情報の一例を示す図である。図１５において、段番号とは、商品棚２０の棚段の位置を示す番号であり、商品棚２０の上から順に１段目、２段目、・・・、とした場合の、番号を示している。また、図１５において、スロット番号とは、ある棚段における商品の配置位置を示し、左から順に１、２、３・・・、とした場合の番号を示している。ここで、１スロットには１つの商品が配置されるとする。図１５に示す棚割情報は、図８に示す棚割情報の１段目と２段目とにそれぞれ対応するものである。   First, the shelf allocation information generated by the generation unit 120 will be described. The shelf allocation information generated by the generation unit 120 may be shelf allocation information generated in the form of an image displayed on a display unit (not shown) as shown in FIG. 8 described above. Further, the shelf allocation information generated by the generation unit 120 may be information that shows which product is placed at which position as shown in FIG. FIG. 15 is a diagram illustrating an example of shelf allocation information. In FIG. 15, the column number is a number indicating the position of the shelf of the product shelf 20, and indicates the number in the case of the first, second,... ing. In FIG. 15, the slot number indicates the arrangement position of the commodity on a certain shelf, and indicates numbers in the order of 1, 2, 3,... From the left. Here, it is assumed that one product is arranged in one slot. The shelf allocation information shown in FIG. 15 corresponds to the first level and the second level of the shelf allocation information shown in FIG.

生成部１２０は、生成した棚割情報を、該棚割情報を生成した対象となる商品棚２０を示す情報（例えば、商品棚２０を示す識別子）に関連付けて、第２の記憶部１８４に格納する。以降、第２の記憶部１８４に格納された、過去の棚割情報を、棚割履歴とも呼ぶ。   The generation unit 120 stores the generated shelf allocation information in the second storage unit 184 in association with information indicating the product shelf 20 for which the shelf allocation information is generated (for example, an identifier indicating the product shelf 20). To do. Hereinafter, the past shelf allocation information stored in the second storage unit 184 is also referred to as a shelf allocation history.

制御部１１４は、棚割情報を生成する対象となる商品棚２０に関する情報を、撮像装置２００から受信する、または、場所情報から特定する。そして、制御部１１４は、受信または特定した情報に関連付けられた、過去の棚割情報（棚割履歴）を特定する。過去の棚割情報からは、図１５に示す通り、少なくとも、対象の商品棚２０における棚段数と棚段毎のスロット数とがわかる。これにより、制御部１１４は、商品棚２０の棚板の位置を推定する。なお、棚割履歴に、商品の情報として、商品の大きさに関する情報が含まれている場合、制御部１１４は、この大きさに関する情報を用いて棚板の位置を推定してもよい。また、棚割履歴に、商品の位置を示す座標（例えば、図５に示すようなボトムセンターの位置）が含まれている場合、制御部１１４はこの座標を用いて、棚板の位置を推定してもよい。そして、制御部１１４は、推定した撮影画像上の棚板の位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させる指示を、撮像装置２００に送信する。また、ガイドマークの形状は、制御部１１４が推定した位置から導出されてもよい。これにより、撮像装置２００の制御部２４０は、ガイドマークを、表示部２２０に表示させる。よって、撮像装置２００は、過去の棚割情報に基づいたガイドマークと商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。   The control unit 114 receives information related to the product shelf 20 that is a target for generating shelf allocation information from the imaging device 200 or identifies the information from the location information. And the control part 114 specifies the past shelf allocation information (shelf allocation history) linked | related with the received or specified information. From the past shelf allocation information, as shown in FIG. 15, at least the number of shelves in the target product shelf 20 and the number of slots for each shelf are known. Thereby, the control part 114 estimates the position of the shelf board of the goods shelf 20. FIG. In addition, when the information regarding the magnitude | size of goods is contained in the shelf allocation log | history as information on goods, the control part 114 may estimate the position of a shelf board using the information regarding this magnitude | size. When the shelf allocation history includes coordinates indicating the position of the product (for example, the position of the bottom center as shown in FIG. 5), the control unit 114 estimates the position of the shelf board using the coordinates. May be. Then, the control unit 114 transmits an instruction to display a guide mark to the imaging device 200 at the position of the screen of the imaging device 200 corresponding to the estimated position of the shelf on the captured image. The shape of the guide mark may be derived from the position estimated by the control unit 114. Thereby, the control part 240 of the imaging device 200 displays the guide mark on the display part 220. Therefore, the imaging apparatus 200 can prompt the photographer to take an image at a position where the guide mark based on the past shelf allocation information and the shelf board of the product shelf 20 match.

このように、本実施の形態に係る棚割情報生成システム１は、過去の棚割情報を用いても、棚割情報を生成することができる。   Thus, the shelf allocation information generation system 1 according to the present embodiment can generate the shelf allocation information even using the past shelf allocation information.

また、本実施の形態に係る棚割情報生成装置１０４は、上述した第２の実施の形態の変形例１と同様に、制御部１１４が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。   Further, the shelf allocation information generation device 104 according to the present embodiment controls the control unit 114 to display a message prompting the photographing method on the screen, as in the first modification of the second embodiment described above. May be.

また、本実施の形態に係る棚割情報生成装置１０４の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０４とは別個の装置で実現されてもよい。   Moreover, the 1st memory | storage part 130 and the recognition part 140 of the shelf allocation information generation apparatus 104 concerning this Embodiment are the same as the shelf allocation information generation system 1 in the modification 2 of 2nd Embodiment mentioned above, It may be realized by a device separate from the shelf allocation information generation device 104.

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。   Even with such a configuration, the shelf allocation information generation system 1 according to the present embodiment can achieve the same effects as the shelf allocation information generation system 1 in the second embodiment described above.

（変形例）
第６の実施の形態に係る変形例について説明する。第６の実施の形態では、過去の棚割情報を用いて、ガイドマークの位置を推定した。しかしながら、制御部１１４は、過去の棚割情報に代えて、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、ガイドマークの位置を推定してもよい。 (Modification)
A modification according to the sixth embodiment will be described. In the sixth embodiment, the position of the guide mark is estimated using past shelf allocation information. However, the control unit 114 determines the position of the guide mark based on the recommended shelf allocation information indicating the arrangement state of the product recommended in the product shelf for which the shelf allocation information is generated instead of the past shelf allocation information. May be estimated.

推奨棚割情報とは、例えば、店舗を管理する管理会社等から推奨された棚割の状態を示す情報である。推奨棚割情報は、生成部１２０が生成する棚割情報と同様に、図８に示すような情報であってもよいし、図１５に示すような情報であってもよいし、その他の形態であってもよい。推奨棚割情報には、商品の陳列位置が記されている。そのため、本変形例に係る棚割情報生成システム１の制御部１１４は、推奨棚割情報を用いて、第６の実施の形態に係る制御部１１４と同様の方法で、ガイドマークの位置を推定することができる。   The recommended shelf allocation information is, for example, information indicating a shelf allocation state recommended by a management company that manages a store. Similar to the shelf allocation information generated by the generation unit 120, the recommended shelf allocation information may be information as shown in FIG. 8, may be information as shown in FIG. 15, or other forms. It may be. The recommended shelf allocation information includes the display position of the product. Therefore, the control unit 114 of the shelf allocation information generation system 1 according to this modification estimates the position of the guide mark by using the recommended shelf allocation information in the same manner as the control unit 114 according to the sixth embodiment. can do.

これにより、本変形例に係る棚割情報生成システム１は、上述した第６の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。   Thereby, the shelf allocation information generation system 1 according to the present modification can obtain the same effects as the shelf allocation information generation system 1 according to the above-described sixth embodiment.

＜第７の実施の形態＞
次に、本発明の第７の実施の形態について、図面を参照して説明する。図１６は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。 <Seventh embodiment>
Next, a seventh embodiment of the present invention will be described with reference to the drawings. FIG. 16 is a functional block diagram showing a functional configuration of the shelf allocation information generation system 1 according to the present embodiment. For convenience of explanation, members having the same functions as the members included in the drawings described in the above-described embodiments are denoted by the same reference numerals and description thereof is omitted. The overall configuration of the shelf allocation information generation system 1 according to the present embodiment is the same as the configuration of the shelf allocation information generation system 1 according to the second embodiment shown in FIG. .

上述した第２から第６の実施の形態では、ガイドマークが、商品棚２０の棚板の位置を示す線分であるとして説明を行ったが、本実施の形態はこれに限定されるものではない。本実施の形態では、ガイドマークが、商品棚２０の領域の位置を示すものであるとして、説明を行う。   In the second to sixth embodiments described above, the guide mark is described as a line segment indicating the position of the shelf of the product shelf 20, but the present embodiment is not limited to this. Absent. In the present embodiment, the description will be made assuming that the guide mark indicates the position of the region of the product shelf 20.

図１６に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０５と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。   As shown in FIG. 16, the shelf allocation information generation system 1 according to the present embodiment includes a shelf allocation information generation device 105 and an imaging device 200. The configuration of the imaging apparatus 200 is the same as that of the imaging apparatus 200 according to the second embodiment. Note that the imaging apparatus 200 may include an acquisition unit 250 as in the imaging apparatus 202 in the fourth embodiment.

棚割情報生成装置１０５は、制御部１１５と、生成部１２５と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１５５と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１５５とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１５５は、夫々、棚割情報生成装置１０５とは別個の記憶装置にて実現されるものであってもよい。   The shelf allocation information generation apparatus 105 includes a control unit 115, a generation unit 125, a first storage unit 130, a recognition unit 140, and a second storage unit 155. Note that the first storage unit 130 and the second storage unit 155 may be realized by a single storage unit. Further, the first storage unit 130 and the second storage unit 155 may be realized by a storage device that is separate from the shelf allocation information generation device 105, respectively.

第２の記憶部１５５には、上述した第２の記憶部１５０と同様に、ガイドマークに関する情報が格納されている。本実施の形態では、ガイドマークは、商品棚２０の領域の位置を示すものであるとする。また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。   Similar to the second storage unit 150 described above, the second storage unit 155 stores information related to guide marks. In the present embodiment, it is assumed that the guide mark indicates the position of the region of the product shelf 20. Further, it is assumed that the information regarding the guide mark is an image indicating the guide mark.

制御部１１５は、上述した第２の実施の形態における制御部１１０と同様に、商品棚を撮影する撮像装置２００に、第２の記憶部１５５に格納されたガイドマーク情報を表示指示と共に撮像装置２００に送信する。このとき、制御部１１５は、撮像装置２００から、棚割情報を生成する対象となる商品棚２０に関する情報（例えば、上述した選択情報）を受信した場合、該選択情報に従って、撮像装置２００に送信するガイドマーク情報を、第２の記憶部１５５から選択し、選択したガイドマーク情報を送信する。また、制御部１１５は、生成部１２５にも上記ガイドマーク情報を出力する。   Similar to the control unit 110 in the second embodiment described above, the control unit 115 captures guide mark information stored in the second storage unit 155 together with a display instruction on the imaging device 200 that photographs the product shelf. 200. At this time, when the control unit 115 receives information (for example, the selection information described above) related to the product shelf 20 for which shelf allocation information is generated from the imaging device 200, the control unit 115 transmits the information to the imaging device 200 according to the selection information. The guide mark information to be selected is selected from the second storage unit 155, and the selected guide mark information is transmitted. The control unit 115 also outputs the guide mark information to the generation unit 125.

撮像装置２００の制御部２４０は、棚割情報生成装置１０５から送信されたガイドマーク情報および表示指示を受信する。そして、制御部２４０は、表示指示に基づき、画面サイズに応じて、ガイドマーク情報によって示されるガイドマークの大きさや表示位置を変換し、変換したガイドマークを含むガイドマーク画像を生成する。そして、制御部２４０は、ファインダ画像上に、生成したガイドマーク画像を重畳させて、表示部２２０に表示させる。   The control unit 240 of the imaging device 200 receives the guide mark information and the display instruction transmitted from the shelf allocation information generation device 105. Then, based on the display instruction, the control unit 240 converts the size and display position of the guide mark indicated by the guide mark information according to the screen size, and generates a guide mark image including the converted guide mark. Then, the control unit 240 causes the display unit 220 to display the generated guide mark image on the viewfinder image.

図１７および図１８に、表示部２２０に表示される画像の一例を示す。図１７および図１８に示す通り、表示部２２０には、商品棚２０を含むファインダ画像上に、網掛けで示すガイドマーク９を含むガイドマーク画像が、重畳して表示されている。   17 and 18 show examples of images displayed on the display unit 220. FIG. As shown in FIGS. 17 and 18, a guide mark image including guide marks 9 indicated by shading is superimposed on the finder image including the product shelf 20 and displayed on the display unit 220.

図１７に示すガイドマーク９は、商品棚２０の外枠を示すガイドマークであり、図１８に示すガイドマーク９は、商品棚２０の４隅の位置を示すガイドマークである。図１７および図１８の何れに示すガイドマーク９であっても、撮像装置２００は、このガイドマーク９と商品棚２０の領域とが一致する位置で撮影することを、撮影者に促すことができる。   A guide mark 9 shown in FIG. 17 is a guide mark indicating the outer frame of the product shelf 20, and a guide mark 9 shown in FIG. 18 is a guide mark indicating the positions of the four corners of the product shelf 20. In any of the guide marks 9 shown in FIGS. 17 and 18, the imaging apparatus 200 can prompt the photographer to take an image at a position where the guide mark 9 and the area of the product shelf 20 coincide with each other. .

撮影者が、この表示されたガイドマーク９を基準として撮影位置を決定し、決定した撮影位置において、商品棚２０を撮影する指示を撮像装置２００に入力する。その後、撮像装置２００の撮影部２１０が商品棚２０を撮影する。   The photographer determines a shooting position based on the displayed guide mark 9 and inputs an instruction to shoot the product shelf 20 to the imaging apparatus 200 at the determined shooting position. Thereafter, the imaging unit 210 of the imaging device 200 images the product shelf 20.

その後、棚割情報生成装置１０５の認識部１４０は、撮影された撮影画像を示す画像データを受信する。認識部１４０は、受信した画像データが示す撮影画像から、商品の認識を行う。そして、認識部１４０は、撮影画像を示す情報と、該撮影画像から認識した商品を示す情報と、その位置を示す情報とを認識結果として、生成部１２５に出力する。このとき、認識部１４０は、上述した第３の実施の形態における認識部１４１と同様に、制御部１１５から、ガイドマーク情報によって示されるガイドマークの撮影画像上の表示位置を示す情報を受信してもよい。そして、認識部１４０は、商品の認識を行う際に、撮影画像のうち、このガイドマークの撮影画像上の表示位置によって示される領域内の商品を認識してもよい。   Thereafter, the recognition unit 140 of the shelf allocation information generation device 105 receives image data indicating the captured image. The recognition unit 140 recognizes a product from the captured image indicated by the received image data. Then, the recognition unit 140 outputs information indicating the captured image, information indicating the product recognized from the captured image, and information indicating the position to the generation unit 125 as a recognition result. At this time, the recognition unit 140 receives information indicating the display position of the guide mark indicated by the guide mark information on the photographed image from the control unit 115, similarly to the recognition unit 141 in the above-described third embodiment. May be. And the recognition part 140 may recognize the goods in the area | region shown by the display position on the picked-up image of this guide mark among picked-up images when recognizing goods.

生成部１２５は、制御部１１５からガイドマーク情報を受信する。また、生成部１２５は、認識部１４０から、撮影画像を示す情報を含む認識結果を受信する。生成部１２５は、認識部１４０から受信した撮影画像を示す情報によって特定される撮影画像のサイズに応じて、受信したガイドマーク情報によって示されるガイドマークの表示位置を変換する。また、生成部１２５は、受信した認識結果に含まれる、商品の陳列位置を示す陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する。このとき、生成部１２５は、商品棚２０の棚板の位置を、ガイドマークの表示位置によって示される領域内において、推定する。   The generation unit 125 receives guide mark information from the control unit 115. Further, the generation unit 125 receives a recognition result including information indicating a captured image from the recognition unit 140. The generation unit 125 converts the display position of the guide mark indicated by the received guide mark information according to the size of the captured image specified by the information indicating the captured image received from the recognition unit 140. Moreover, the production | generation part 125 estimates the position of the shelf of the goods shelf 20 on a picked-up image using the display position information which shows the display position of goods contained in the received recognition result. At this time, the production | generation part 125 estimates the position of the shelf board of the goods shelf 20 in the area | region shown by the display position of a guide mark.

そして、生成部１２５は、推定した棚板の位置と、認識部１４０が商品の認識を行った結果である認識結果とに基づいて、推定した棚板の位置に、認識された商品が配置された状態を示す棚割情報を生成する。   And the production | generation part 125 arrange | positions the recognized goods to the position of the estimated shelf board based on the estimated position of the shelf board, and the recognition result which is the result of the recognition part 140 recognizing the goods. The shelf allocation information indicating the status is generated.

以上のように、棚割情報生成装置１０５の制御部１１５は、撮像装置２００の画面上における、商品棚２０の領域の位置を表すガイドマークを、撮像装置２００の画面に表示させるよう制御する。そして、生成部１２５は、認識された商品の撮影画像上の位置およびガイドマークの撮影画像上の位置に基づいて、撮影画像上における商品棚２０の棚板の位置を推定する。そして、生成部１２５は、推定された位置に、認識された商品が配置された状態を示す棚割情報を生成する。   As described above, the control unit 115 of the shelf allocation information generation device 105 performs control so that the guide mark indicating the position of the region of the product shelf 20 on the screen of the imaging device 200 is displayed on the screen of the imaging device 200. Then, the generation unit 125 estimates the position of the shelf of the product shelf 20 on the captured image based on the position of the recognized product on the captured image and the position of the guide mark on the captured image. And the production | generation part 125 produces | generates the shelf allocation information which shows the state by which the recognized goods are arrange | positioned in the estimated position.

これにより、本実施の形態に係る棚割情報生成システム１は、ガイドマークの形状が商品棚２０の棚板の位置を表す線分ではなく、商品棚２０の領域の位置を表すものであっても、精度がより安定化した棚割情報を生成することができる。   Thereby, the shelf allocation information generation system 1 according to the present embodiment represents the position of the region of the product shelf 20 instead of the line segment in which the shape of the guide mark represents the position of the shelf of the product shelf 20. In addition, it is possible to generate shelf allocation information with more stable accuracy.

なお、本実施の形態において、ガイドマークは、予め第２の記憶部１５５に格納されているとして、説明を行ったが、本実施の形態はこれに限定されるものではない。上述した第５の実施の形態と同様に、ガイドマークは認識履歴から推定されるものであってもよい。また、上述した第６の実施の形態と同様に、ガイドマークは、棚割履歴または推奨棚割情報から推定されるものであってもよい。   In the present embodiment, the description has been given assuming that the guide mark is stored in advance in the second storage unit 155, but the present embodiment is not limited to this. Similar to the fifth embodiment described above, the guide mark may be estimated from the recognition history. As in the sixth embodiment described above, the guide mark may be estimated from the shelf allocation history or recommended shelf allocation information.

また、本実施の形態に係る棚割情報生成装置１０５は、上述した第２の実施の形態の変形例１と同様に、制御部１１５が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。   Further, the shelf allocation information generation device 105 according to the present embodiment controls the control unit 115 to display a message prompting the photographing method on the screen, as in the first modification of the second embodiment described above. May be.

また、本実施の形態に係る棚割情報生成装置１０５の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０５とは別個の装置で実現されてもよい。   Moreover, the 1st memory | storage part 130 and the recognition part 140 of the shelf allocation information generation apparatus 105 concerning this Embodiment are the same as the shelf allocation information generation system 1 in the modification 2 of 2nd Embodiment mentioned above, It may be realized by a device separate from the shelf allocation information generation device 105.

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した各実施の形態における棚割情報生成システム１と同様の効果を奏することができる。   Even with such a configuration, the shelf allocation information generation system 1 according to the present embodiment can achieve the same effects as the shelf allocation information generation system 1 in each embodiment described above.

＜第８の実施の形態＞
上述した第２、第３、第５から第７の実施の形態における撮像装置２００の入力部２３０は、表示されたガイドマークの位置の変更を受け付ける機能を有していてもよい。また、第４の実施の形態における撮像装置２０２が、上述したとおり、更に入力部２３０を備える構成の場合においても、該入力部２３０は、表示されたガイドマークの位置の変更を受け付ける機能を有していてもよい。本実施の形態では、この入力部２３０が表示部２２０に表示されたガイドマークの位置の変更を受け付ける機能を有する構成について説明する。なお、本実施の形態では、上述した第２から第７の実施の形態における棚割情報生成システム１と同様の構成を有するため、図面の説明を省略する。 <Eighth Embodiment>
The input unit 230 of the imaging device 200 in the second, third, fifth to seventh embodiments described above may have a function of accepting a change in the position of the displayed guide mark. Further, as described above, even when the imaging apparatus 202 according to the fourth embodiment includes the input unit 230, the input unit 230 has a function of accepting a change in the position of the displayed guide mark. You may do it. In the present embodiment, a configuration in which the input unit 230 has a function of accepting a change in the position of the guide mark displayed on the display unit 220 will be described. In addition, in this Embodiment, since it has the structure similar to the shelf allocation information generation system 1 in 2nd to 7th embodiment mentioned above, description of drawing is abbreviate | omitted.

ユーザが、指などの入力媒体を用いて、ガイドマークの位置を変更する入力操作を行うと、入力部２３０は、入力操作によって変更されたガイドマークの位置を示す情報を、制御部２４０を介して、棚割情報生成装置（１００〜１０５）に送信する。そして、制御部（１１０〜１１５）は、変更されたガイドマークの位置を示す情報を受け付け、受け付けたガイドマークの位置を生成部（１２０、１２５）に出力する。これにより、生成部（１２０、１２５）は、変更されたガイドマークの、撮影画像上の位置に基づいて、棚割情報を生成する。   When the user performs an input operation for changing the position of the guide mark using an input medium such as a finger, the input unit 230 sends information indicating the position of the guide mark changed by the input operation via the control unit 240. To the shelf allocation information generation device (100 to 105). And a control part (110-115) receives the information which shows the position of the changed guide mark, and outputs the received position of the guide mark to a production | generation part (120,125). Thereby, a production | generation part (120,125) produces | generates shelf allocation information based on the position on the picked-up image of the changed guide mark.

このように、撮像装置２００が表示部２２０に表示されたガイドマークに対する変更を受け付けることにより、表示部２２０に表示されたガイドマークの位置と、商品棚２０の位置とに差異があっても、撮影者がその差異を修正することができる。したがって、棚割情報生成システム１は、汎用性を向上させることができる。さらに、ガイドマークの位置を、商品棚２０の位置に修正することができるため、棚割情報生成システム１の棚割情報生成装置が生成する棚割情報の精度をより高めることができる。   Thus, even if there is a difference between the position of the guide mark displayed on the display unit 220 and the position of the product shelf 20, the imaging device 200 accepts a change to the guide mark displayed on the display unit 220. The photographer can correct the difference. Therefore, the shelf allocation information generation system 1 can improve versatility. Furthermore, since the position of the guide mark can be corrected to the position of the product shelf 20, the accuracy of the shelf allocation information generated by the shelf allocation information generation device of the shelf allocation information generation system 1 can be further increased.

＜第９の実施の形態＞
本発明の第９の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する棚割情報生成システムについて説明する。まず、本実施の形態に係る棚割情報生成システム２の基本構成について説明する。図１９は、本実施の形態に係る棚割情報生成システム２の基本構成の一例を示すブロック図である。この図に示す棚割情報生成システム２は、上述した棚割情報生成システム１の基本の構成であるとも言える。図１９に示す通り、本実施の形態に係る棚割情報生成システム２は、制御部２１と、生成部２２と、撮影部２３と、表示部２４とを備えている。制御部２１と、生成部２２と、撮影部２３と、表示部２４とは、互いに通信可能に接続している。制御部２１と、生成部２２と、撮影部２３と、表示部２４との接続方法は、有線接続であってもよいし、無線接続であってもよい。 <Ninth embodiment>
A ninth embodiment of the present invention will be described with reference to the drawings. In the present embodiment, a shelf allocation information generation system that solves the problems of the present invention will be described. First, the basic configuration of the shelf allocation information generation system 2 according to the present embodiment will be described. FIG. 19 is a block diagram illustrating an example of a basic configuration of the shelf allocation information generation system 2 according to the present embodiment. The shelf allocation information generation system 2 shown in this figure can be said to be the basic configuration of the above-described shelf allocation information generation system 1. As illustrated in FIG. 19, the shelf allocation information generation system 2 according to the present embodiment includes a control unit 21, a generation unit 22, a photographing unit 23, and a display unit 24. The control part 21, the production | generation part 22, the imaging | photography part 23, and the display part 24 are connected so that communication is mutually possible. A connection method between the control unit 21, the generation unit 22, the photographing unit 23, and the display unit 24 may be wired connection or wireless connection.

表示部２４は、表示画面を有している。表示部２４は、制御部２１の制御に基づき、表示画面に画像を表示する。   The display unit 24 has a display screen. The display unit 24 displays an image on the display screen based on the control of the control unit 21.

制御部２１は、上述した第１の実施の形態に係る棚割情報生成装置１０の制御部１１の機能を有する。また、制御部２１は、上述した第２の実施の形態における撮像装置２００の制御部２４０の機能を有する。制御部２１は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示部２４に表示させるように制御する。   The control unit 21 has a function of the control unit 11 of the shelf allocation information generation device 10 according to the first embodiment described above. The control unit 21 has the function of the control unit 240 of the imaging device 200 in the second embodiment described above. The control unit 21 controls the display unit 24 to display a guide mark that is referred to when determining the shooting position and represents the position of the product shelf.

撮影部２３は、商品が陳列された商品棚を撮影する。撮影部２３は、上述した第２の実施の形態に係る撮像装置２００の撮影部２１０に相当する。撮影部２３が撮影する撮影画像は、表示部２４に表示されたガイドマークを参照して撮影されたものである。   The photographing unit 23 photographs a product shelf on which products are displayed. The imaging unit 23 corresponds to the imaging unit 210 of the imaging apparatus 200 according to the second embodiment described above. The captured image captured by the capturing unit 23 is captured with reference to the guide mark displayed on the display unit 24.

生成部２２は、上述した第１の実施の形態に係る棚割情報生成装置１０の生成部１２に相当する。生成部２２は、撮影画像から認識された商品が商品棚に配置された状態を示す棚割情報を、商品の認識結果と、表示画面上のガイドマークの位置に対応する撮影画像上の位置を示す位置情報とに基づいて生成する。   The generation unit 22 corresponds to the generation unit 12 of the shelf allocation information generation device 10 according to the first embodiment described above. The generating unit 22 displays shelf allocation information indicating a state in which the product recognized from the captured image is arranged on the product shelf, the product recognition result, and the position on the captured image corresponding to the position of the guide mark on the display screen. It generates based on the position information shown.

次に、図１９の棚割情報生成システム２を基本とする棚割情報生成システム３について、図２０を参照して説明する。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。図２０に示す通り、本実施の形態に係る棚割情報生成システム３は、棚割情報生成装置１０６と、撮像装置２０６と、を備えている。棚割情報生成装置１０６は、生成部１２０と、第１の記憶部１３０と、認識部１４０とを備えている。また、撮像装置２０６は、撮影部２１０と、表示部２２０と、制御部２４６とを備えている。なお、認識部１４０は、上述した第２の実施の形態の変形例と同様に、棚割情報生成装置１０６とは別個の装置で実現されてもよい。   Next, the shelf allocation information generation system 3 based on the shelf allocation information generation system 2 of FIG. 19 will be described with reference to FIG. For convenience of explanation, members having the same functions as the members included in the drawings described in the above-described embodiments are denoted by the same reference numerals and description thereof is omitted. As illustrated in FIG. 20, the shelf allocation information generation system 3 according to the present embodiment includes a shelf allocation information generation device 106 and an imaging device 206. The shelf allocation information generation device 106 includes a generation unit 120, a first storage unit 130, and a recognition unit 140. In addition, the imaging device 206 includes an imaging unit 210, a display unit 220, and a control unit 246. Note that the recognition unit 140 may be realized by a device separate from the shelf allocation information generation device 106, as in the modification of the second embodiment described above.

制御部２４６は、上述した第２の実施の形態における撮像装置２００の制御部２４０の機能を含む。また、制御部２４６は、上述した、制御部１１０、制御部１１１、制御部１１２、制御部１１３、制御部１１４、または制御部１１５の少なくとも何れかの機能を含む。制御部２４６は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示部２２０に表示させるように制御する。また、制御部２４６は、表示部２２０に表示させたガイドマークに関する情報を、棚割情報生成装置１０６に送信する。   The control unit 246 includes the function of the control unit 240 of the imaging device 200 in the second embodiment described above. The control unit 246 includes at least one of the functions of the control unit 110, the control unit 111, the control unit 112, the control unit 113, the control unit 114, and the control unit 115 described above. The control unit 246 controls the display unit 220 to display a guide mark that is referred to when determining the shooting position and represents the position of the product shelf. In addition, the control unit 246 transmits information on the guide mark displayed on the display unit 220 to the shelf allocation information generation device 106.

棚割情報生成装置１０６は、撮像装置２０６から送信された画像データおよびガイドマークに関する情報に基づいて、上述した各実施の形態に係る棚割情報生成装置と同様に、棚割情報を生成する。このとき、生成部１２０は、表示部２２０の表示画面上に表示されたガイドマークの位置に対応する撮影画像上の位置を示す位置情報と認識結果とに基づいて、商品が商品棚に配置された状態を示す棚割情報を生成する。   The shelf allocation information generation device 106 generates the shelf allocation information based on the image data and the information related to the guide marks transmitted from the imaging device 206 in the same manner as the shelf allocation information generation device according to each of the embodiments described above. At this time, the generation unit 120 arranges the product on the product shelf based on the position information indicating the position on the captured image corresponding to the position of the guide mark displayed on the display screen of the display unit 220 and the recognition result. The shelf allocation information indicating the status is generated.

このように、棚割情報生成システム３において、表示部２２０に対する表示制御を行う機能は、棚割情報生成装置１０６ではなく撮像装置２０６に備えられてもよい。この機能は、例えば、撮像装置２０６で動作可能なアプリケーションを実行することによって実現されてもよい。このような構成であっても、本実施の形態に係る棚割情報生成システム３は、上述した各実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。   As described above, in the shelf allocation information generation system 3, a function of performing display control on the display unit 220 may be provided in the imaging device 206 instead of the shelf allocation information generation device 106. This function may be realized, for example, by executing an application operable on the imaging device 206. Even with such a configuration, the shelf allocation information generation system 3 according to the present embodiment can obtain the same effects as the shelf allocation information generation system 1 according to each of the above-described embodiments.

また、上述した各実施の形態において、棚割情報生成システムに含まれる撮像装置と、棚割情報生成装置とは、別々の装置で実現することを例に説明を行ったが、撮像装置と棚割情報生成装置とは一体形成されていてもよい。また、上述した棚割情報生成システムは、撮影機能（撮影部に相当）と、ガイドマークを表示する機能（表示部に相当）と、棚割情報を生成する機能（生成部に相当）と、表示部を制御する機能（制御部に相当）を含む装置と、認識する機能（認識部に相当）を含む他の装置とを備える構成であってもよい。   In each of the above-described embodiments, the imaging device included in the shelf allocation information generation system and the shelf allocation information generation device have been described as examples realized by separate devices. The split information generating device may be integrally formed. The shelf allocation information generation system described above includes an imaging function (equivalent to an imaging unit), a function of displaying guide marks (equivalent to a display unit), a function of generating shelf allocation information (equivalent to a generation unit), A configuration including a device including a function of controlling the display unit (corresponding to the control unit) and another device including a function of recognizing (corresponding to the recognition unit) may be used.

＜第１０の実施の形態＞
本発明の第１０の実施の形態について、以下に説明する。本実施の形態では、上述した第９の実施の形態に係る棚割情報生成システム３と同様の構成を有するため、図２０を参照して説明を行う。本実施の形態に係る棚割情報生成システム３の基本構成は、図１９を用いて説明した構成である。図２０に示す通り、本実施の形態に係る棚割情報生成システム３は、棚割情報生成装置１０６と、撮像装置２０６と、を備えている。棚割情報生成装置１０６は、生成部１２０と、第１の記憶部１３０と、認識部１４０とを備えている。また、撮像装置２０６は、撮影部２１０と、表示部２２０と、制御部２４６とを備えている。 <Tenth Embodiment>
The tenth embodiment of the present invention will be described below. Since this embodiment has the same configuration as the shelf allocation information generation system 3 according to the ninth embodiment described above, the description will be given with reference to FIG. The basic configuration of the shelf allocation information generation system 3 according to the present embodiment is the configuration described with reference to FIG. As illustrated in FIG. 20, the shelf allocation information generation system 3 according to the present embodiment includes a shelf allocation information generation device 106 and an imaging device 206. The shelf allocation information generation device 106 includes a generation unit 120, a first storage unit 130, and a recognition unit 140. In addition, the imaging device 206 includes an imaging unit 210, a display unit 220, and a control unit 246.

なお、本実施の形態では、表示制御を行う制御部が撮像装置２０６に備えられる構成について説明を行うが、上述した第２から第８の各実施の形態と同様に、表示制御を行う制御部は、棚割情報生成装置に備えられてもよい。   In the present embodiment, a configuration in which a control unit that performs display control is provided in the imaging device 206 will be described. However, as in the second to eighth embodiments described above, a control unit that performs display control. May be provided in the shelf allocation information generation device.

本実施の形態における撮像装置２０６では、撮影部２１０が棚割情報生成装置１０６に撮影画像を示す画像データを出力する。しかしながら撮影部２１０は、上述した撮像装置２００の撮影部２１０と同様に、制御部２４６に撮影画像を示す画像データを出力してもよい。この場合、制御部２４６は、受け取った画像データを棚割情報生成装置１０６に送信する。   In imaging device 206 in the present embodiment, imaging unit 210 outputs image data indicating a captured image to shelf allocation information generation device 106. However, the image capturing unit 210 may output image data indicating a captured image to the control unit 246 in the same manner as the image capturing unit 210 of the imaging apparatus 200 described above. In this case, the control unit 246 transmits the received image data to the shelf allocation information generation device 106.

本実施の形態における撮像装置２０６の制御部２４６は、上述した第２の実施の形態における制御部２４０と同様に、ファインダ画像上に、ガイドマーク画像を重畳させて、表示部２２０に表示させる。そして、制御部２４６は、この表示部２２０に表示させたファインダ画像に含まれる商品棚の位置と、ガイドマーク画像に含まれるガイドマークの位置との一致率を算出する。なお、一致率の算出方法は特に限定されない。また、一致率の算出は、所定の間隔で行われてもよいし、一致率の大きさに応じるタイミングで行われてもよい。例えば、一致率が所定の値より小さいときは、算出の間隔を大きくし、一致率が所定の値以上のときは、算出の間隔を小さくしてもよい。   The control unit 246 of the imaging device 206 according to the present embodiment causes the display unit 220 to display the guide mark image on the finder image in the same manner as the control unit 240 according to the second embodiment described above. Then, the control unit 246 calculates a matching rate between the position of the product shelf included in the finder image displayed on the display unit 220 and the position of the guide mark included in the guide mark image. The method for calculating the coincidence rate is not particularly limited. Further, the calculation of the coincidence rate may be performed at a predetermined interval or may be performed at a timing according to the magnitude of the coincidence rate. For example, the calculation interval may be increased when the coincidence rate is smaller than a predetermined value, and the calculation interval may be decreased when the coincidence rate is greater than or equal to a predetermined value.

制御部２４６は、算出した一致率に応じて、ガイドマークの表示態様を変化させて、表示部２２０に表示させるよう制御する。例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを青色で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを赤色で表示させる。また、例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを点滅させた状態で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを点灯させた状態で表示させる。また、例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを点線で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを実線で表示させる。   The control unit 246 performs control so that the display mode of the guide mark is changed and displayed on the display unit 220 according to the calculated matching rate. For example, the control unit 246 displays the guide mark in blue when the matching rate is smaller than a predetermined threshold value, and displays the guide mark in red when the matching rate is equal to or higher than the predetermined threshold value. Further, for example, when the matching rate is smaller than a predetermined threshold, the control unit 246 displays the guide mark in a blinking state, and turns on the guide mark when the matching rate is equal to or higher than the predetermined threshold. Display in state. For example, the control unit 246 displays the guide mark with a dotted line when the matching rate is smaller than a predetermined threshold value, and displays the guide mark with a solid line when the matching rate is equal to or higher than the predetermined threshold value.

このように、制御部２４６が算出した一致率に応じてガイドマークの表示様態を変化させることにより、撮像装置２０６は、ガイドマークと商品棚の棚板とが一致する位置で撮影することを、撮影者により促すことができる。これにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質を均一化することができる。したがって、このような撮影画像を用いて棚割情報を生成する棚割情報生成装置１０６は、上述した各実施の形態に係る棚割情報生成装置と同様に、精度がより安定化した棚割情報を生成することができる。   In this way, by changing the display mode of the guide mark according to the matching rate calculated by the control unit 246, the imaging device 206 captures an image at a position where the guide mark and the shelf of the product shelf match. It can be prompted by the photographer. Thereby, since the personality of the photographed image can be further reduced, the quality of the photographed image can be made uniform. Therefore, the shelf allocation information generation device 106 that generates the shelf allocation information using such a photographed image, like the shelf allocation information generation device according to each of the above-described embodiments, has improved accuracy. Can be generated.

また、制御部２４６は、更に、一致率が所定の閾値以上のときに、商品棚を撮影するよう、撮影部２１０に指示し、撮影部２１０は指示に従って、商品棚を撮影してもよい。これにより、撮影部２１０は、一致率が所定の閾値以上のときに、商品棚を自動的に撮影することができる。これにより、撮像装置２０６は、更に、撮影画像の属人性をより低減させることができる。したがって、このような撮影画像を用いて棚割情報を生成する棚割情報生成装置１０６は、上述した各実施の形態に係る棚割情報生成装置と同様に、精度がより安定化した棚割情報を生成することができる。   Further, the control unit 246 may instruct the photographing unit 210 to photograph the product shelf when the matching rate is equal to or higher than a predetermined threshold, and the photographing unit 210 may photograph the product shelf according to the instruction. Thereby, the photographing unit 210 can automatically photograph the product shelf when the matching rate is equal to or higher than a predetermined threshold. Thereby, the imaging device 206 can further reduce the personality of the captured image. Therefore, the shelf allocation information generation device 106 that generates the shelf allocation information using such a photographed image, like the shelf allocation information generation device according to each of the above-described embodiments, has improved accuracy. Can be generated.

＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）を実現可能なハードウェアの構成例について説明する。上述した棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。 <Example of hardware configuration>
Here, a configuration example of hardware capable of realizing the shelf allocation information generation device (10, 100 to 106) and the imaging device (200, 202, 206) according to each embodiment described above will be described. The shelf allocation information generation device (10, 100 to 106) and the imaging device (200, 202, 206) described above may be realized as dedicated devices, or may be realized using a computer (information processing device). Good.

図２１は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。   FIG. 21 is a diagram illustrating a hardware configuration of a computer (information processing apparatus) capable of realizing each embodiment of the invention.

図２１に示した情報処理装置（コンピュータ）９０のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１、通信インタフェース（Ｉ／Ｆ）９２、入出力ユーザインタフェース９３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９５、記憶装置９７、及びコンピュータ読み取り可能な記憶媒体９９のドライブ装置９８を備え、これらがバス９６を介して接続された構成を有する。入出力ユーザインタフェース９３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース９２は、上述した各実施の形態に係る装置（図１、４、１０、１１、１２、１４、１６および１９）が、外部装置と、通信ネットワーク８０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ９１は、各実施の形態に係る棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）を実現する情報処理装置９０について、全体の動作を司る。   The hardware of the information processing device (computer) 90 shown in FIG. 21 includes a CPU (Central Processing Unit) 91, a communication interface (I / F) 92, an input / output user interface 93, a ROM (Read Only Memory) 94, a RAM ( A random access memory 95, a storage device 97, and a drive device 98 of a computer-readable storage medium 99 are connected to each other via a bus 96. The input / output user interface 93 is a man-machine interface such as a keyboard which is an example of an input device and a display as an output device. The communication interface 92 is a general interface for the devices according to the above-described embodiments (FIGS. 1, 4, 10, 11, 12, 14, 16, and 19) to communicate with external devices via the communication network 80. Communication means. In the hardware configuration, the CPU 91 performs the overall operation of the information processing device 90 that realizes the shelf allocation information generation device (10, 100 to 106) and the imaging device (200, 202, 206) according to each embodiment. Control.

上述した各実施の形態を例に説明した本発明は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図２１に示す情報処理装置９０に対して供給した後、そのプログラムを、ＣＰＵ９１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図６および１３）に記載した各種処理や、或いは、図１、４、１０、１１、１２、１４、１６および１９に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。   The present invention described by taking each of the above-described embodiments as an example supplies, for example, a program (computer program) that can realize the processing described in each of the above-described embodiments to the information processing apparatus 90 illustrated in FIG. Later, the program is read out and executed by the CPU 91. The program is, for example, various processes described in the flowcharts (FIGS. 6 and 13) referred to in the description of the above-described embodiments, or FIGS. 1, 4, 10, 11, 12, 14, 16 and 19 The program which can implement | achieve each part (each block) shown in the said apparatus in the block diagram shown in FIG.

また、情報処理装置９０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（９５）またはハードディスクドライブ等の不揮発性の記憶装置（９７）に格納されてもよい。即ち、記憶装置９７において、プログラム群９７Ａは、例えば、上述した各実施の形態における棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報９７Ｂは、例えば、上述した各実施の形態における撮影画像、商品を認識するための情報、認識結果、認識履歴、棚割履歴、推奨棚割情報等である。ただし、情報処理装置９０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。   Further, the program supplied to the information processing apparatus 90 may be stored in a readable / writable temporary storage memory (95) or a non-volatile storage device (97) such as a hard disk drive. That is, in the storage device 97, the program group 97A includes, for example, the functions of the units shown in the shelf allocation information generation device (10, 100 to 106) and the imaging device (200, 202, 206) in each of the above-described embodiments. It is a program that can realize. The various kinds of stored information 97B are, for example, the captured image, information for recognizing the product, recognition result, recognition history, shelf allocation history, recommended shelf allocation information, and the like in each of the above-described embodiments. However, when the program is installed in the information processing apparatus 90, the constituent unit of each program module is not limited to the division of each block shown in the block diagram, and may be appropriately selected by those skilled in the art at the time of implementation.

また、前記の場合において、当該装置内へのプログラムの供給方法は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（９９）を介して当該装置内にインストールする方法や、インターネット等の通信回線（８０）を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード（プログラム群９７Ａ）或いは係るコードが格納された記憶媒体（９９）によって構成されると捉えることができる。   In the above case, the program is supplied to the apparatus via a computer-readable recording medium (99) such as a CD (Compact Disk) -ROM or a flash memory. A general procedure can be adopted at present, such as a method and a method of downloading from the outside via a communication line (80) such as the Internet. In such a case, the present invention can be understood to be configured by a code (program group 97A) constituting the computer program or a storage medium (99) in which the code is stored.

上述した各実施形態では、ブロック図に示した各ブロックに示す機能を、図２１に示すＣＰＵ９５が実行する一例として、ソフトウェアプログラムによって実現する場合について説明した。しかしながら、ブロック図に示した各ブロックに示す機能は、一部または全部を、ハードウェアの回路として実現してもよい。   In each of the above-described embodiments, a case has been described in which the functions shown in each block shown in the block diagram are realized by a software program as an example executed by the CPU 95 shown in FIG. However, some or all of the functions shown in each block shown in the block diagram may be realized as a hardware circuit.

なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。   Each of the above-described embodiments is a preferred embodiment of the present invention, and the scope of the present invention is not limited only to the above-described embodiments, and those skilled in the art do not depart from the gist of the present invention. However, it is possible to construct a form in which various modifications are made by correcting or substituting the above-described embodiments.

１、２、３ 棚割情報生成システム
８ メッセージ
９ ガイドマーク
１０ 棚割情報生成装置
１１ 制御部
１２ 生成部
２０ 商品棚
２１ 制御部
２２ 生成部
２３ 撮影部
２４ 表示部
１００〜１０６ 棚割情報生成装置
１１０〜１１５ 制御部
１２０ 生成部
１２１ 生成部
１２５ 生成部
１３０ 第１の記憶部
１４０ 認識部
１４１ 認識部
１５０、１５５ 第２の記憶部
１６２、１７３、１８４ 第２の記憶部
２００、２０２、２０６ 撮像装置
２１０ 撮影部
２２０ 表示部
２３０ 入力部
２４０、２４６ 制御部
２５０ 取得部 1, 2, 3 shelf allocation information generation system 8 message 9 guide mark 10 shelf allocation information generation device 11 control unit 12 generation unit 20 product shelf 21 control unit 22 generation unit 23 photographing unit 24 display unit 100 to 106 shelf allocation information generation device 110-115 Control unit 120 Generation unit 121 Generation unit 125 Generation unit 130 First storage unit 140 Recognition unit 141 Recognition unit 150, 155 Second storage unit 162, 173, 184 Second storage unit 200, 202, 206 Device 210 Image capturing unit 220 Display unit 230 Input unit 240, 246 Control unit 250 Acquisition unit

Claims (28)

撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する制御手段と、
前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
を備える棚割情報生成装置。 A control means for controlling to display a guide mark, which is a reference mark for determining a shooting position, and indicating a position of a product shelf on a screen of an imaging device that images the product shelf;
The shelf allocation information indicating the state in which the product recognized from the photographed image photographed with reference to the guide mark is arranged on the product shelf is displayed on the photographed image corresponding to the position of the guide mark on the screen. Generating means for generating based on position information indicating the position of the product and the recognition result of the product;
A shelf allocation information generating apparatus. 前記ガイドマークは、前記棚割情報を生成する対象となる商品棚の棚板の位置を表すものであり、
前記生成手段は、前記位置情報と前記認識結果とに基づいて、前記位置情報によって示される前記撮影画像上の位置に、前記商品が配置された状態を示す前記棚割情報を生成する、請求項１に記載の棚割情報生成装置。 The guide mark represents the position of the shelf of the product shelf that is the target for generating the shelf allocation information,
The said production | generation means produces | generates the said shelf allocation information which shows the state by which the said product was arrange | positioned in the position on the said picked-up image shown by the said positional information based on the said positional information and the said recognition result. The shelf allocation information generation device according to 1. 前記ガイドマークは、前記棚割情報を生成する対象となる商品棚の前記画面上における領域の位置を表すものであり、
前記生成手段は、前記位置情報と前記認識された商品の前記撮影画像上の位置とに基づいて、前記撮影画像上における前記商品棚の棚板の位置を推定し、前記推定された位置に、前記認識された商品が配置された状態を示す前記棚割情報を生成する、請求項１に記載の棚割情報生成装置。 The guide mark represents a position of an area on the screen of a product shelf that is a target for generating the shelf allocation information,
The generation means estimates the position of the shelf of the product shelf on the captured image based on the position information and the position of the recognized product on the captured image, and the estimated position The shelf allocation information generating apparatus according to claim 1, wherein the shelf allocation information indicating a state in which the recognized product is arranged is generated. 前記制御手段は、前記撮像装置の場所を示す情報を取得し、前記取得した場所を示す情報に関連付けられた、店舗および商品棚の少なくとも何れかに関する情報に関連付けられたガイドマークを、前記撮像装置の画面に表示させるように制御する、請求項１から３の何れか１項に記載の棚割情報生成装置。   The control means acquires information indicating the location of the imaging device, and guide marks associated with information regarding at least one of a store and a product shelf associated with the information indicating the acquired location. The shelf allocation information generation device according to any one of claims 1 to 3, wherein the shelf allocation information generation device is controlled to be displayed on the screen. 前記制御手段は、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、請求項１から３の何れか１項に記載の棚割情報生成装置。   The control means estimates the position of the guide mark on the photographed image from the display position information indicating the display position of the product included in the past recognition result, and the screen of the imaging apparatus corresponding to the estimated position. The shelf allocation information generation device according to any one of claims 1 to 3, wherein the guide mark is controlled to be displayed at a position. 前記制御手段は、過去に前記生成手段が生成した棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、請求項１から３の何れか１項に記載の棚割情報生成装置。   The control unit estimates the position of the guide mark on the captured image based on the shelf allocation information generated by the generation unit in the past, and the position of the screen of the imaging device corresponding to the estimated position is The shelf allocation information generation device according to any one of claims 1 to 3, wherein control is performed so that guide marks are displayed. 前記制御手段は、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、請求項１から３の何れか１項に記載の棚割情報生成装置。   The control means estimates a position of the guide mark on the captured image based on recommended shelf allocation information indicating a product arrangement state recommended in a product shelf for which shelf allocation information is generated, and estimates The shelf allocation information generation device according to any one of claims 1 to 3, wherein the guide mark is controlled to be displayed at a position on a screen of the imaging apparatus corresponding to the position. 前記制御手段は、前記ガイドマークの前記画面上の位置に対して変更を加えられた位置を受け付け、
前記生成手段は、変更を加えられた前記画面上のガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて、前記棚割情報を生成する請求項１から７の何れか１項に記載の棚割情報生成装置。 The control means receives a position where a change is made to the position on the screen of the guide mark,
The generation unit generates the shelf allocation information based on position information indicating a position on the photographed image corresponding to the position of the guide mark on the screen that has been changed, and a recognition result of the product. The shelf allocation information generation device according to any one of claims 1 to 7. 前記制御手段は、前記商品棚のサイズ、前記商品棚が設置された店舗、前記商品棚の種別、および、前記ガイドマークの少なくとも何れかに応じて、前記画面に撮影方法を促すメッセージを表示させる、請求項１から８の何れか１項に記載の棚割情報生成装置。   The control means displays a message prompting a photographing method on the screen according to at least one of the size of the product shelf, the store where the product shelf is installed, the type of the product shelf, and the guide mark. The shelf allocation information generation device according to any one of claims 1 to 8. 前記認識された商品は、前記位置情報に基づいて認識された商品である、請求項１から９の何れか１項に記載の棚割情報生成装置。   The shelf allocation information generation device according to any one of claims 1 to 9, wherein the recognized product is a product recognized based on the position information. 表示画面を有する表示手段と、
撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
商品が陳列された商品棚を撮影する撮影手段と、
前記表示手段に表示された前記ガイドマークを参照して前記撮影手段によって撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
を備える棚割情報生成システム。 Display means having a display screen;
Control means for controlling the display to display on the display means a guide mark that is referred to for determination of the photographing position and represents the position of the product shelf;
Photographing means for photographing the product shelf on which the product is displayed;
The shelf allocation information indicating the state in which the product recognized from the captured image captured by the imaging unit with reference to the guide mark displayed on the display unit is arranged on the product shelf is displayed on the display screen. Generating means for generating based on position information indicating a position on the photographed image corresponding to the position of the guide mark and a recognition result of the product;
A shelf allocation information generation system comprising: 前記ガイドマークは、前記棚割情報を生成する対象となる商品棚の棚板の位置を表すものであり、
前記生成手段は、前記位置情報と前記認識結果とに基づいて、前記位置情報によって示される前記撮影画像上の位置に、前記商品が配置された状態を示す前記棚割情報を生成する、請求項１１に記載の棚割情報生成システム。 The guide mark represents the position of the shelf of the product shelf that is the target for generating the shelf allocation information,
The said production | generation means produces | generates the said shelf allocation information which shows the state by which the said product was arrange | positioned in the position on the said picked-up image shown by the said positional information based on the said positional information and the said recognition result. The shelf allocation information generation system according to 11. 前記ガイドマークは、前記棚割情報を生成する対象となる商品棚の前記表示画面上における領域の位置を表すものであり、
前記生成手段は、前記位置情報と前記認識された商品の前記撮影画像上の位置とに基づいて、前記撮影画像上における前記商品棚の棚板の位置を推定し、前記推定された位置に、前記認識された商品が配置された状態を示す前記棚割情報を生成する、請求項１１に記載の棚割情報生成システム。 The guide mark represents a position of an area on the display screen of a product shelf that is a target for generating the shelf allocation information,
The generation means estimates the position of the shelf of the product shelf on the captured image based on the position information and the position of the recognized product on the captured image, and the estimated position The shelf allocation information generation system according to claim 11, wherein the shelf allocation information indicating a state in which the recognized product is arranged is generated. 前記制御手段は、前記商品棚を撮影する場所を示す情報を取得し、前記取得した場所を示す情報に関連付けられた、店舗および商品棚の少なくとも何れかに関する情報に関連付けられたガイドマークを、前記表示手段に表示させるように制御する、請求項１１から１３の何れか１項に記載の棚割情報生成システム。   The control means acquires information indicating a location where the product shelf is photographed, and a guide mark associated with information regarding at least one of the store and the product shelf, associated with the information indicating the acquired location, The shelf allocation information generation system according to any one of claims 11 to 13, wherein the shelf allocation information generation system is controlled so as to be displayed on a display unit. 前記制御手段は、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、請求項１１から１３の何れか１項に記載の棚割情報生成システム。   The control means estimates a position on the photographed image of the guide mark from display position information indicating a display position of a product included in the past recognition result, and a position on the display screen corresponding to the estimated position The shelf allocation information generation system according to claim 11, wherein the guide mark is controlled to be displayed. 前記制御手段は、過去に前記生成手段が生成した棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、請求項１１から１３の何れか１項に記載の棚割情報生成システム。   The control means estimates the position of the guide mark on the captured image based on the shelf allocation information generated by the generation means in the past, and the guide mark is positioned at the position on the display screen corresponding to the estimated position. The shelf allocation information generating system according to any one of claims 11 to 13, which controls to display a mark. 前記制御手段は、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、請求項１１から１３の何れか１項に記載の棚割情報生成システム。   The control means estimates a position of the guide mark on the captured image based on recommended shelf allocation information indicating a product arrangement state recommended in a product shelf for which shelf allocation information is generated, and estimates The shelf allocation information generation system according to any one of claims 11 to 13, wherein control is performed so that the guide mark is displayed at a position on the display screen corresponding to the position. 前記制御手段は、前記ガイドマークの前記表示画面上の位置に対して変更を加えられた位置を受け付け、
前記生成手段は、変更を加えられた前記表示画面上のガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて、前記棚割情報を生成する請求項１１から１７の何れか１項に記載の棚割情報生成システム。 The control means accepts a position where the position of the guide mark is changed with respect to the position on the display screen;
The generation unit generates the shelf allocation information based on position information indicating a position on the photographed image corresponding to the position of the guide mark on the display screen that has been changed, and the recognition result of the product. The shelf allocation information generation system according to any one of claims 11 to 17. 前記制御手段は、前記商品棚のサイズ、前記商品棚が設置された店舗、前記商品棚の種別、および、前記ガイドマークの少なくとも何れかに応じて、前記表示画面に撮影方法を促すメッセージを表示させる、請求項１１から１８の何れか１項に記載の棚割情報生成システム。   The control means displays a message prompting a photographing method on the display screen according to at least one of the size of the product shelf, the store where the product shelf is installed, the type of the product shelf, and the guide mark. The shelf allocation information generation system according to any one of claims 11 to 18. 前記認識された商品は、前記位置情報に基づいて認識された商品である、請求項１１から１９の何れか１項に記載の棚割情報生成システム。   The shelf allocation information generation system according to any one of claims 11 to 19, wherein the recognized product is a product recognized based on the position information. 前記制御手段は、前記ガイドマークを、撮影を開始する前のファインダ画像に重畳させて、前記表示手段に表示させ、
前記ファインダ画像に含まれる前記商品棚の位置と、前記ガイドマークの位置との一致率に応じて、前記ガイドマークの表示態様を変化させて、前記表示手段に表示させる、請求項１１から２０の何れか１項に記載の棚割情報生成システム。 The control means superimposes the guide mark on a finder image before starting photographing, and displays the guide mark on the display means.
21. The display unit according to claim 11, wherein a display mode of the guide mark is changed according to a matching rate between the position of the commodity shelf included in the finder image and the position of the guide mark, and the display unit displays the guide mark. The shelf allocation information generation system according to any one of the above items. 前記制御手段は、前記一致率が所定の閾値以上か否かを判定し、
前記撮影手段は、前記一致率が所定の閾値以上のとき、前記商品棚を撮影する、請求項２１に記載の棚割情報生成システム。 The control means determines whether the match rate is equal to or greater than a predetermined threshold;
The shelf allocation information generation system according to claim 21, wherein the photographing unit photographs the product shelf when the matching rate is equal to or greater than a predetermined threshold. 撮影装置と、棚割情報生成装置とを備え、
前記撮影装置は、前記表示手段と、前記撮影手段を含み、
前記棚割情報生成装置は、前記制御手段と、前記生成手段とを含む、請求項１１から２２の何れか１項に記載の棚割情報生成システム。 A photographing device and a shelf allocation information generating device;
The photographing apparatus includes the display means and the photographing means,
The shelf allocation information generation system according to any one of claims 11 to 22, wherein the shelf allocation information generation device includes the control unit and the generation unit. 撮影装置と、棚割情報生成装置とを備え、
前記撮影装置は、前記表示手段と、前記撮影手段と、前記制御手段とを含み、
前記棚割情報生成装置は、前記生成手段を含む、請求項１１から２２の何れか１項に記載の棚割情報生成システム。 A photographing device and a shelf allocation information generating device;
The photographing apparatus includes the display means, the photographing means, and the control means,
The shelf allocation information generation system according to any one of claims 11 to 22, wherein the shelf allocation information generation device includes the generation unit. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御し、
前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する、棚割情報生成方法。 A guide mark that is referred to when determining the shooting position, and a guide mark that represents the position of the product shelf is controlled to be displayed on a screen of an imaging device that captures the product shelf,
The shelf allocation information indicating the state in which the product recognized from the photographed image photographed with reference to the guide mark is arranged on the product shelf is displayed on the photographed image corresponding to the position of the guide mark on the screen. A shelf allocation information generation method for generating the information based on position information indicating the position of the product and a recognition result of the product. 表示画面を有する表示手段と、
撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
前記表示手段に表示された前記ガイドマークを参照して、商品が陳列された商品棚を撮影する撮影手段と、を備え、
前記ガイドマークは、前記撮影手段によって撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成される、撮像装置。 Display means having a display screen;
Control means for controlling the display to display on the display means a guide mark that is referred to for determination of the photographing position and represents the position of the product shelf;
Photographing means for photographing product shelves on which products are displayed with reference to the guide marks displayed on the display means;
The guide mark is used when generating shelf allocation information indicating a state in which a product recognized from a captured image captured by the imaging unit is arranged on the product shelf, and the shelf allocation information is: An imaging device generated based on position information indicating a position on the photographed image corresponding to the position of the guide mark on the display screen and a recognition result of the product. 表示画面を有する表示手段と、
商品が陳列された商品棚を撮影する撮影手段と、を備え、
前記表示手段は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを表示し、
前記ガイドマークは、前記撮影手段によって前記ガイドマークを参照して撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成される、撮像装置。 Display means having a display screen;
Photographing means for photographing the product shelf on which the products are displayed,
The display means is a guide mark that is referred to in determining the shooting position, and displays a guide mark that represents the position of the product shelf,
The guide mark is used when generating shelf allocation information indicating a state in which a product recognized from a photographed image photographed with reference to the guide mark by the photographing unit is arranged on the product shelf. The shelf allocation information is generated based on position information indicating a position on the photographed image corresponding to the position of the guide mark on the display screen and a recognition result of the product. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する処理と、
前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成処理と、をコンピュータに実行させるプログラム。 A process for controlling a guide mark that is referred to for determining a shooting position and that displays a guide mark representing the position of the product shelf on a screen of an imaging device that captures the product shelf;
The shelf allocation information indicating the state in which the product recognized from the photographed image photographed with reference to the guide mark is arranged on the product shelf is displayed on the photographed image corresponding to the position of the guide mark on the screen. The program which makes a computer perform the production | generation process produced | generated based on the positional information which shows the position of this, and the said product recognition result.
JP2015112784A 2015-06-03 2015-06-03 Shelving allocation information generating device, shelving allocation information generating system, shelving allocation information generating method, imaging device, and program Active JP6679847B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015112784A JP6679847B2 (en) 2015-06-03 2015-06-03 Shelving allocation information generating device, shelving allocation information generating system, shelving allocation information generating method, imaging device, and program
JP2020045044A JP6933273B2 (en) 2015-06-03 2020-03-16 Shelf allocation information generation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015112784A JP6679847B2 (en) 2015-06-03 2015-06-03 Shelving allocation information generating device, shelving allocation information generating system, shelving allocation information generating method, imaging device, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020045044A Division JP6933273B2 (en) 2015-06-03 2020-03-16 Shelf allocation information generation system

Publications (2)

Publication Number Publication Date
JP2016225930A true JP2016225930A (en) 2016-12-28
JP6679847B2 JP6679847B2 (en) 2020-04-15

Family

ID=57748137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015112784A Active JP6679847B2 (en) 2015-06-03 2015-06-03 Shelving allocation information generating device, shelving allocation information generating system, shelving allocation information generating method, imaging device, and program

Country Status (1)

Country Link
JP (1) JP6679847B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020109593A (en) * 2019-01-07 2020-07-16 トヨタ自動車株式会社 Program for operating vehicle from outside of vehicle
WO2021229752A1 (en) * 2020-05-14 2021-11-18 日本電気株式会社 Image storage device, image storage method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7255644B2 (en) * 2020-03-16 2023-04-11 日本電気株式会社 Planogram information generation system, planogram information generation method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163436A (en) * 2000-11-27 2002-06-07 Matsushita Electric Works Ltd Shelf allocation support system
JP2006106857A (en) * 2004-09-30 2006-04-20 Japan Tobacco Inc Vending machine system
JP2007166250A (en) * 2005-12-14 2007-06-28 Pentax Corp Camera with monitor display device
JP2009212804A (en) * 2008-03-04 2009-09-17 Fujifilm Corp Imaging apparats with composition assisting function, and composition assisting method of the same imaging apparatus
JP2013026955A (en) * 2011-07-25 2013-02-04 Canon Inc Camera and server device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163436A (en) * 2000-11-27 2002-06-07 Matsushita Electric Works Ltd Shelf allocation support system
JP2006106857A (en) * 2004-09-30 2006-04-20 Japan Tobacco Inc Vending machine system
JP2007166250A (en) * 2005-12-14 2007-06-28 Pentax Corp Camera with monitor display device
JP2009212804A (en) * 2008-03-04 2009-09-17 Fujifilm Corp Imaging apparats with composition assisting function, and composition assisting method of the same imaging apparatus
JP2013026955A (en) * 2011-07-25 2013-02-04 Canon Inc Camera and server device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020109593A (en) * 2019-01-07 2020-07-16 トヨタ自動車株式会社 Program for operating vehicle from outside of vehicle
US11327478B2 (en) 2019-01-07 2022-05-10 Toyota Jidosha Kabushiki Kaisha Program for operating vehicle from outside vehicle
JP7167716B2 (en) 2019-01-07 2022-11-09 トヨタ自動車株式会社 Programs for operating the vehicle from outside the vehicle
DE102019133320B4 (en) 2019-01-07 2023-06-01 Toyota Jidosha Kabushiki Kaisha Program for operating a vehicle from outside the vehicle
US11767058B2 (en) 2019-01-07 2023-09-26 Toyota Jidosha Kabushiki Kaisha Program for operating vehicle from outside vehicle
WO2021229752A1 (en) * 2020-05-14 2021-11-18 日本電気株式会社 Image storage device, image storage method, and program
JP7380863B2 (en) 2020-05-14 2023-11-15 日本電気株式会社 Image storage device, image storage method, and program

Also Published As

Publication number Publication date
JP6679847B2 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
US20220166961A1 (en) Content Presentation Method, Content Presentation Mode Push Method, and Intelligent Terminal
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
US20190166344A1 (en) Method and device for image white balance, storage medium and electronic equipment
US20170076428A1 (en) Information processing apparatus
CN105245790A (en) Light filling method, device and mobile terminal
US9432645B2 (en) Information processing method and electronic device
JP2017084117A (en) Display control method, display control program and information processing device
JP2016225930A (en) Shelving allocation information generation device, shelving allocation information generation system, shelving allocation information generation method, imaging device, and program
CN105376478A (en) Imaging device, shooting system and shooting method
JP6101661B2 (en) Image composition apparatus, image composition method, image composition program, and recording medium storing image composition program
JP6623565B2 (en) Shelf allocation information generation device, shelf allocation information generation system, shelf allocation information generation method, imaging device, and program
CN103248807A (en) Image processing apparatus, image processing method, and program
EP3293960A1 (en) Information processing device, information processing method, and program
WO2022113344A1 (en) Information processing device, three-dimensional position estimation method, and non-transitory computer-readable medium having program stored thereon
CN104780353A (en) Image processing method and device
JP6933273B2 (en) Shelf allocation information generation system
JP7255644B2 (en) Planogram information generation system, planogram information generation method, and program
KR101518696B1 (en) System for augmented reality contents and method of the same
JP2014197342A (en) Object position detection device, object position detection method and program
JPWO2015141185A1 (en) Imaging control apparatus, imaging control method, and program
JP2017058657A (en) Information processing device, control method, computer program and storage medium
US10051232B2 (en) Adjusting times of capture of digital images
JPWO2019106987A1 (en) Work support system, work support method and program
KR102505659B1 (en) Three demension scanning apparatus using light based on smartphone
US11762532B2 (en) Image processing device, control method therefor, imaging device, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6679847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150