JP2021098596A - Information processing device, information processing method and program - Google Patents

Information processing device, information processing method and program Download PDF

Info

Publication number
JP2021098596A
JP2021098596A JP2019232022A JP2019232022A JP2021098596A JP 2021098596 A JP2021098596 A JP 2021098596A JP 2019232022 A JP2019232022 A JP 2019232022A JP 2019232022 A JP2019232022 A JP 2019232022A JP 2021098596 A JP2021098596 A JP 2021098596A
Authority
JP
Japan
Prior art keywords
article
state
information
information processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019232022A
Other languages
Japanese (ja)
Other versions
JP7421925B2 (en
Inventor
正知 小宮山
Masatomo Komiyama
正知 小宮山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Priority to JP2019232022A priority Critical patent/JP7421925B2/en
Publication of JP2021098596A publication Critical patent/JP2021098596A/en
Application granted granted Critical
Publication of JP7421925B2 publication Critical patent/JP7421925B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Abstract

To enable cargo-handling operation to be managed at lower costs.SOLUTION: An information processing device according to the present invention comprises: obtaining means that obtains state information corresponding to a detected result of a state of a circumference of at least a portion of a holding part, of a carrier device configured to be movable with the holding part holding an article; and recognizing means that recognizes a placement state of the article with respect to a placement region on which the article carried by the carrier device is placed, on the basis of the state information.SELECTED DRAWING: Figure 4

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。 The present disclosure relates to information processing devices, information processing methods, and programs.

フォークリフト等の運搬装置（荷役作業機械）を利用した荷役作業の管理に係る技術が各種提案されている。このような荷役作業の管理に係る技術として、特に、荷役作業における安全管理に関する技術が注目されている。具体的な一例として、フォークリフト等のような運搬装置が用いられる状況下では、棚等の荷物の載置場所に対してずれが生じた状態で荷物が載置されると、当該荷物のずれに伴う影響が事故発生の一要因となるような状況も想定され得る。このような背景から、例えば、特許文献１には、荷役作業の管理に係る技術の一例として、自動格納機能を有する貯蔵設備において、センサを利用して収納棚から荷物がはみ出しているか否かを検知する技術が開示されている。 Various techniques related to the management of cargo handling work using a transport device (cargo handling work machine) such as a forklift have been proposed. As a technique for managing such cargo handling work, a technique for safety management in cargo handling work is particularly attracting attention. As a specific example, in a situation where a transport device such as a forklift is used, if the luggage is placed in a state where the luggage is placed on a shelf or the like with a deviation, the luggage will be displaced. It is possible that the accompanying impact may contribute to the occurrence of an accident. Against this background, for example, Patent Document 1 describes whether or not a load protrudes from a storage shelf by using a sensor in a storage facility having an automatic storage function as an example of a technique related to management of cargo handling work. The technology to detect is disclosed.

特開２００９−２８０３０２号公報Japanese Unexamined Patent Publication No. 2009-280302

一方で、棚等のような物品の載置領域に設置したセンサを荷役作業の管理に利用するような状況下では、載置領域の広さや、載置領域が設定された場所の数等に応じて、設置されるセンサの数が増大する。このような状況下では、センサの数に比例して、当該センサの設置に係るコストや、当該センサのメンテナンスに係るコストが増大する場合がある。 On the other hand, under the situation where the sensor installed in the loading area of the article such as a shelf is used for the management of cargo handling work, the size of the loading area, the number of places where the loading area is set, etc. Correspondingly, the number of sensors installed increases. Under such circumstances, the cost of installing the sensor and the cost of maintaining the sensor may increase in proportion to the number of sensors.

本発明は上記の問題を鑑み、荷役作業の管理をより低いコストで実現可能とすることを目的とする。 In view of the above problems, an object of the present invention is to make it possible to manage cargo handling work at a lower cost.

本発明の情報処理装置は、保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得手段と、前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識手段と、を備える。 The information processing device of the present invention acquires state information according to a detection result of a state around at least a part of the holding part of a transporting device configured to be movable while holding an article by the holding part. A means and a recognition means for recognizing the placement state of the article with respect to the placement area on which the article carried by the transportation device is placed based on the state information are provided.

本発明によれば、荷役作業の管理をより低いコストで実現することが可能となる。 According to the present invention, it is possible to realize management of cargo handling work at a lower cost.

図１は、管理システムの概要について説明するための説明図である。FIG. 1 is an explanatory diagram for explaining an outline of the management system. 図２は、情報収集ユニットの構成について説明するための説明図である。FIG. 2 is an explanatory diagram for explaining the configuration of the information collection unit. 図３は、物品の載置状態の認識について概要を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining the outline of recognition of the placed state of the article. 図４は、物品の載置状態の認識について概要を説明するための説明図である。FIG. 4 is an explanatory diagram for explaining the outline of recognition of the placed state of the article. 図５は、情報処理装置のハードウェア構成の一例を示した図である。FIG. 5 is a diagram showing an example of the hardware configuration of the information processing device. 図６は、管理システムの機能構成の一例を示したブロック図である。FIG. 6 is a block diagram showing an example of the functional configuration of the management system. 図７は、管理システムの処理の一例を示したフローチャートである。FIG. 7 is a flowchart showing an example of processing of the management system.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

＜概要＞
図１を参照して、本実施形態に係る管理システム１の概要について説明する。本実施形態に係る管理システム１は、倉庫等の所定の空間において、荷物を運搬する運搬装置の作業状態を管理するシステムである。管理システム１は、情報処理装置１００と、運搬装置１９０とを含む。なお、本実施形態では、便宜上、運搬装置１９０としてフォークリフトが適用されるものとする。また、運搬装置１９０は、情報収集ユニット１９３を備える。情報処理装置１００と情報収集ユニット１９３とは所定のネットワークを介して情報を送受信可能に構成されている。例えば、図１に示す例では、情報処理装置１００と情報収集ユニット１９３とは無線のネットワークを介して接続される。 <Overview>
An outline of the management system 1 according to the present embodiment will be described with reference to FIG. The management system 1 according to the present embodiment is a system that manages the working state of a transport device that transports luggage in a predetermined space such as a warehouse. The management system 1 includes an information processing device 100 and a transport device 190. In this embodiment, for convenience, a forklift is applied as the transport device 190. Further, the transport device 190 includes an information collection unit 193. The information processing device 100 and the information collecting unit 193 are configured to be able to transmit and receive information via a predetermined network. For example, in the example shown in FIG. 1, the information processing device 100 and the information collecting unit 193 are connected via a wireless network.

なお、図１では、管理システム１の特徴をよりわかりやすくするために、運搬装置１９０が１台の場合について示しているが、複数台の運搬装置１９０が運用されてもよい。この場合には、各運搬装置１９０が情報収集ユニット１９３を備え、情報処理装置１００と、各運搬装置１９０が備える情報収集ユニット１９３それぞれと、が無線のネットワークを介して接続されればよい。
また、運搬装置１９０による荷物等の物品の運搬に係る動作が阻害されなければ、情報処理装置１００と情報収集ユニット１９３とを接続するネットワークの種別は特に限定されない。具体的な一例として、情報処理装置１００と情報収集ユニット１９３とが複数種類のネットワークを介して接続されていてもよく、一部に有線のネットワークが含まれていてもよい。また、情報処理装置１００と情報収集ユニット１９３との間の通信が他の通信装置により中継されてもよい。すなわち、情報処理装置１００と情報収集ユニット１９３との間で論理的なネットワークを介した通信が確立されていればよく、物理的なネットワークの実現方法は特に限定されない。 Although FIG. 1 shows a case where one transport device 190 is used in order to make the features of the management system 1 easier to understand, a plurality of transport devices 190 may be operated. In this case, each transport device 190 may include an information collection unit 193, and the information processing device 100 and each of the information collection units 193 included in each transport device 190 may be connected via a wireless network.
Further, the type of network connecting the information processing device 100 and the information collection unit 193 is not particularly limited as long as the operation related to the transportation of goods such as luggage by the transportation device 190 is not hindered. As a specific example, the information processing device 100 and the information collection unit 193 may be connected to each other via a plurality of types of networks, or a wired network may be partially included. Further, the communication between the information processing device 100 and the information collecting unit 193 may be relayed by another communication device. That is, it is sufficient that communication via a logical network is established between the information processing device 100 and the information collection unit 193, and the method of realizing the physical network is not particularly limited.

情報収集ユニット１９３は、運搬装置１９０に関連する各種状態に関する情報を収集し、収集した当該情報を、ネットワークを介して情報処理装置１００に送信する。
具体的には、本実施形態に係る情報収集ユニット１９３は、運搬装置１９０の周囲の状態に応じた状態情報、特に、フォーク等のような保持部に保持された荷物等の物品の状態や、当該保持部や当該物品の周囲の状態に関する情報を収集可能に構成されている。 The information collection unit 193 collects information on various states related to the transport device 190, and transmits the collected information to the information processing device 100 via the network.
Specifically, the information collecting unit 193 according to the present embodiment provides state information according to the surrounding state of the transport device 190, particularly the state of articles such as luggage held in a holding portion such as a fork, and the state of articles. It is configured to be able to collect information about the surrounding condition of the holding part and the article.

ここで、図２を参照して、情報収集ユニット１９３の構成の一例についてより詳しく説明する。運搬装置１９０は、フォーク等ように荷物等の物品を保持する保持部１９１と、当該保持部１９１を支持する支持部１９２とを含む。支持部１９２は、所定の範囲内で移動可能に支持されている。すなわち、支持部１９２の移動に伴い、当該支持部１９２に支持された保持部１９１が、当該支持部１９２と一体的に移動する。このような構成により、例えば、保持部１９１に荷物が載置された状態で、支持部１９２を上方向に向けて移動させることで、当該荷物を持ち上げることが可能となる。 Here, an example of the configuration of the information collecting unit 193 will be described in more detail with reference to FIG. The transport device 190 includes a holding portion 191 for holding an article such as a luggage such as a fork, and a supporting portion 192 for supporting the holding portion 191. The support portion 192 is movably supported within a predetermined range. That is, as the support portion 192 moves, the holding portion 191 supported by the support portion 192 moves integrally with the support portion 192. With such a configuration, for example, the load can be lifted by moving the support portion 192 upward while the load is placed on the holding portion 191.

また、情報収集ユニット１９３は、検知部１９４を備えており、保持部１９１と検知部１９４とが所定の位置関係となるように支持部１９２の一部に支持される。これにより、例えば、保持部１９１に保持された物品を持ち上げるために支持部１９２が移動した場合においても、情報収集ユニット１９３が支持部１９２と一体的に移動するため、保持部１９１と情報収集ユニット１９３（特に、検知部１９４）との間の位置関係が維持される。 Further, the information collecting unit 193 includes a detection unit 194, and is supported by a part of the support unit 192 so that the holding unit 191 and the detection unit 194 have a predetermined positional relationship. As a result, for example, even when the support unit 192 moves to lift the article held by the holding unit 191, the information collecting unit 193 moves integrally with the support unit 192, so that the holding unit 191 and the information collecting unit The positional relationship with 193 (particularly, the detection unit 194) is maintained.

検知部１９４は、運搬装置１９０の周囲の環境の状態、特に、保持部１９１に保持された物品が所望の載置領域に設置された場合における当該物品及び当該載置領域の状態を検知する。
具体的な一例として、図２は、床面に対して物品が載置される載置領域３０２の範囲を示す枠３０１が設定されており、運搬装置１９０が、保持部１９１により保持された物品３０３（荷物等）を当該載置領域３０２に載置する状況を模式的に示している。検知部１９４は、保持部１９１の少なくとも一部を含む領域１９７を検知対象として、当該領域１９７の状態を検知する。具体的には、領域１９７は、保持部１９１により物品３０３が保持された状態において、当該物品３０３の少なくとも一部と、当該物品３０３の少なくとも一部の周囲の領域と、が含まれるように設定されるとよい。より具体的には、領域１９７は、保持部１９１に保持された物品３０３が載置領域３０２に載置された際に、当該物品３０３と、当該載置領域３０２の規定に係る指標（例えば、枠３０１や、棚のフレーム等）の少なくとも一部が含まれるように設定されるとよい。このような構成に基づき、検知部１９４は、所定の広さを有する領域１９７を検知対象として、２次元的または３次元的に、運搬装置１９０の周囲の状態、特に、保持部１９１により保持された物品３０３の状態と、当該物品３０３の周囲の状態とを検知する。 The detection unit 194 detects the state of the environment around the transport device 190, particularly the state of the article and the mounting area when the article held by the holding unit 191 is installed in a desired mounting area.
As a specific example, in FIG. 2, a frame 301 indicating the range of the mounting area 302 on which the article is placed is set with respect to the floor surface, and the transport device 190 is holding the article by the holding unit 191. The situation where 303 (luggage, etc.) is placed in the loading area 302 is schematically shown. The detection unit 194 detects the state of the region 197 with the region 197 including at least a part of the holding unit 191 as a detection target. Specifically, the area 197 is set so as to include at least a part of the article 303 and a region around at least a part of the article 303 in a state where the article 303 is held by the holding unit 191. It should be done. More specifically, in the area 197, when the article 303 held by the holding unit 191 is placed on the mounting area 302, the article 303 and the index (for example, the index related to the regulation of the mounting area 302) are defined. It may be set so as to include at least a part of the frame 301, the frame of the shelf, etc.). Based on such a configuration, the detection unit 194 is held by the holding unit 191 in a state around the transport device 190 two-dimensionally or three-dimensionally with the region 197 having a predetermined area as a detection target. The state of the article 303 and the state around the article 303 are detected.

具体的な一例として、検知部１９４は、被写体を撮像する撮像部（例えば、デジタルカメラ等）により実現されてもよい。この場合には、保持部１９１により物品が保持された状態において、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、が当該撮像部（検知部１９４）の画角内に収まるように、情報収集ユニット１９３が支持されるとよい。図２に示す例では、領域１９７は、上記撮像部の画角（撮像範囲）に相当する。
なお、上記はあくまで一例であり、保持部１９１により保持された物品３０３の少なくとも一部と、当該物品３０３の少なくとも一部の周囲の領域と、を含む領域１９７の状態を検知することが可能であれば、検知部１９４として適用される構成は特に限定されない。具体的な一例として、検知部１９４が、所謂デプスセンサとして構成されていてもよい。この場合には、検知部１９４は、所定の検知領域内に位置する物体の各部との距離（デプス）を測定し、距離の測定結果を２次元的にマッピングすることで所謂デプスマップを生成してもよい。 As a specific example, the detection unit 194 may be realized by an imaging unit (for example, a digital camera or the like) that images a subject. In this case, in a state where the article is held by the holding unit 191, at least a part of the article and a region around at least a part of the article are within the angle of view of the imaging unit (detection unit 194). The information gathering unit 193 should be supported so that it fits in. In the example shown in FIG. 2, the region 197 corresponds to the angle of view (imaging range) of the imaging unit.
The above is only an example, and it is possible to detect the state of the region 197 including at least a part of the article 303 held by the holding unit 191 and a region around at least a part of the article 303. If so, the configuration applied as the detection unit 194 is not particularly limited. As a specific example, the detection unit 194 may be configured as a so-called depth sensor. In this case, the detection unit 194 measures the distance (depth) from each part of the object located in the predetermined detection area, and generates a so-called depth map by two-dimensionally mapping the measurement result of the distance. You may.

以上のような構成に基づき、保持部１９１により保持された物品３０３と当該物品３０３の周囲の領域との状態が検知部１９４により検知され、当該検知結果に応じた情報が、情報収集ユニット１９３により、ネットワークを介して情報処理装置１００に送信される。これにより、情報処理装置１００は、情報収集ユニット１９３から送信される情報に基づき、載置領域３０２に対する物品３０３の載置状態を認識することが可能となる。具体的には、情報処理装置１００は、情報収集ユニット１９３から送信される情報に基づき、物品３０３と、枠３０１により規定される載置領域３０２と、を認識することで、当該載置領域３０２に対する物品３０３の載置状態を認識する。また、情報処理装置１００は、上記認識の結果を利用することで、個々の物品の載置状態の管理や、所望の領域に載置された一連の物品の載置状態（例えば、デッドスペースが発生しているか否か等）の管理を行うことも可能となる。 Based on the above configuration, the state of the article 303 held by the holding unit 191 and the area around the article 303 is detected by the detection unit 194, and the information according to the detection result is transmitted by the information collecting unit 193. , Is transmitted to the information processing apparatus 100 via the network. As a result, the information processing apparatus 100 can recognize the placement state of the article 303 with respect to the placement area 302 based on the information transmitted from the information collection unit 193. Specifically, the information processing apparatus 100 recognizes the article 303 and the mounting area 302 defined by the frame 301 based on the information transmitted from the information collecting unit 193, thereby recognizing the mounting area 302. Recognize the placement state of the article 303 with respect to. Further, the information processing apparatus 100 can manage the placement state of individual articles and the placement state of a series of articles placed in a desired area (for example, dead space) by using the result of the above recognition. It is also possible to manage (whether or not it has occurred, etc.).

なお、載置領域３０２に対する物品３０３の載置状態の認識には、例えば、載置領域３０２に対して物品３０３が載置された直後に検知部１９４により検知された情報が利用されるとよい。より具体的には、保持部１９１により保持された物品３０３が載置領域３０２に載置された後においても、検知部１９４が状態検知の対象とする領域内に物品３０３が位置する間は、当該検知部１９４により当該物品３０３の少なくとも一部の状態を検知可能である。このような前提の基で、保持部１９１により保持された物品３０３が載置領域３０２に載置された後に取得された、当該物品３０３の少なくとも一部の状態の検知結果に応じた情報が、載置領域３０２に対する物品３０３の載置状態の認識に利用されるとよい。
また、他の一例として、載置領域３０２に対して物品３０３が載置された直前に検知部１９４により検知された情報が、載置領域３０２に対する物品３０３の載置状態の認識に利用されてもよい。具体的には、運搬装置１９０は、保持部１９１により物品３０３が保持された状態で載置領域３０２に移動した後（すなわち、物品３０３を載置領域３０２に運搬した後）に、当該載置領域３０２に対して当該物品３０３の積み下ろしを行うこととなる。このような前提の基で、保持部１９１により保持された状態で載置領域３０２に運搬された物品３０３が、当該載置領域３０２に対して積み下ろしが行われる前に取得された、当該物品３０３の少なくとも一部と、当該物品３０３の少なくとも一部の周囲の領域と、の状態の検知結果に応じた情報が、載置領域３０２に対する物品３０３の載置状態の認識に利用されるとよい。 For recognizing the placement state of the article 303 with respect to the placement area 302, for example, the information detected by the detection unit 194 immediately after the article 303 is placed with respect to the placement area 302 may be used. .. More specifically, even after the article 303 held by the holding unit 191 is placed in the mounting area 302, while the article 303 is located in the area targeted by the detection unit 194 for state detection, The detection unit 194 can detect the state of at least a part of the article 303. Based on such a premise, the information corresponding to the detection result of at least a part of the state of the article 303, which is acquired after the article 303 held by the holding unit 191 is placed in the mounting area 302, is obtained. It may be used for recognizing the placement state of the article 303 with respect to the placement area 302.
Further, as another example, the information detected by the detection unit 194 immediately before the article 303 is placed on the mounting area 302 is used for recognizing the mounting state of the article 303 on the mounting area 302. May be good. Specifically, the transport device 190 moves the article 303 to the mounting area 302 while being held by the holding unit 191 (that is, after transporting the article 303 to the loading area 302), and then the loading device 190 is said to be mounted. The article 303 will be loaded and unloaded with respect to the area 302. Based on such a premise, the article 303 carried to the loading area 302 while being held by the holding unit 191 was acquired before the loading / unloading was performed on the loading area 302. Information according to the detection result of the state of at least a part of the article 303 and the area around at least a part of the article 303 may be used for recognizing the mounted state of the article 303 with respect to the loading area 302.

また、情報収集ユニット１９３は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の技術に基づき、運搬装置１９０の位置情報を取得し、当該位置情報を情報処理装置１００に通知してもよい。これにより、情報処理装置１００は、運搬装置１９０の位置情報を加味して、運搬装置１９０により運搬された物品の載置領域に対する載置状態の認識や管理を行うことも可能となる。 Further, the information collecting unit 193 may acquire the position information of the transport device 190 and notify the information processing device 100 of the position information based on the technology such as GNSS (Global Navigation Satellite System). As a result, the information processing device 100 can also recognize and manage the mounting state of the article transported by the transporting device 190 with respect to the loading area in consideration of the position information of the transporting device 190.

ここで、図３及び図４を参照して、情報処理装置１００が、情報収集ユニット１９３により収集された情報に基づき、載置領域に対する物品の載置状態の認識に係る処理の一例について概要を説明する。なお、図３及び図４に示す例では、検知部１９４として撮像部が適用されているものとする。 Here, with reference to FIGS. 3 and 4, the information processing apparatus 100 outlines an example of processing related to recognition of the placement state of the article in the placement area based on the information collected by the information collection unit 193. explain. In the examples shown in FIGS. 3 and 4, it is assumed that the imaging unit is applied as the detection unit 194.

まず、図３を参照する。図３に示す例では、棚３１０においてフレーム（例えば、仕切り板や棚板等）に仕切られた複数の領域が載置領域３１１として設定されている。また、撮像部（検知部１９４）により、保持部１９１に保持された荷物３１３と、当該荷物３１３の周囲の領域と、を含む領域１９７が撮像される。情報収集ユニット１９３は、撮像部（検知部１９４）による上記撮像の結果に応じた画像（以下、「撮像画像」とも称する）を、ネットワークを介して情報処理装置１００に送信する。 First, refer to FIG. In the example shown in FIG. 3, a plurality of areas partitioned by a frame (for example, a partition plate, a shelf plate, etc.) in the shelf 310 are set as the mounting area 311. Further, the image pickup unit (detection unit 194) captures an image of the area 197 including the baggage 313 held by the holding unit 191 and the area around the baggage 313. The information collecting unit 193 transmits an image (hereinafter, also referred to as “captured image”) according to the result of the imaging by the imaging unit (detection unit 194) to the information processing device 100 via the network.

このような構成の基で、保持部１９１に保持された荷物３１３が載置領域３１１に載置された状態で、撮像部により、当該荷物３１３と、当該載置領域３１１を規定している棚３１０のフレームと、が撮像され、撮像画像が情報処理装置１００に送信される。情報処理装置１００は、送信された当該撮像画像に基づき、被写体として撮像された、荷物３１３と、当該荷物３１３の周囲に存在する棚３１０のフレームと、を認識する。情報処理装置１００は、例えば、棚３１０のフレームの認識結果に基づき、当該フレームにより囲われた領域を物品（例えば、荷物等）の載置領域３１１として認識してもよい。 Based on such a configuration, in a state where the luggage 313 held by the holding unit 191 is placed on the loading area 311 by the image pickup unit, the luggage 313 and the shelf defining the loading area 311 are defined. The frame of 310 and the frame are imaged, and the captured image is transmitted to the information processing apparatus 100. The information processing device 100 recognizes the baggage 313 imaged as a subject and the frame of the shelf 310 existing around the baggage 313 based on the transmitted captured image. Based on the recognition result of the frame of the shelf 310, for example, the information processing device 100 may recognize the area surrounded by the frame as the placement area 311 of the article (for example, luggage).

そして、情報処理装置１００は、載置領域３１１と、当該載置領域３１１に載置された荷物３１３と、の間の位置及び姿勢のうち少なくともいずれかの関係に基づき、当該載置領域３１１に対する当該荷物３１３の載置状態を認識する。具体的な一例として、情報処理装置１００は、載置領域３１１に対する、当該載置領域３１１に載置された荷物３１３の位置及び姿勢のうち少なくともいずれかのずれを認識してもよい。 Then, the information processing apparatus 100 relates to the mounting area 311 based on at least one of the positions and postures between the mounting area 311 and the luggage 313 mounted on the mounting area 311. Recognize the loading state of the luggage 313. As a specific example, the information processing apparatus 100 may recognize a deviation of at least one of the positions and postures of the luggage 313 mounted on the mounting area 311 with respect to the mounting area 311.

ここで、図４を参照する。図４は、図３に示す載置領域３１１のように、棚のフレームにより囲まれた領域が載置領域として設定され、当該載置領域に荷物等の物品が載置されている状態を模式的に示している。
具体的には、棚の棚板３２１及び仕切り板３２２に囲まれた４つの領域が載置領域３２３ａ〜３２３ｄとして設定されている。なお、以降の説明では、載置領域３２３ａ〜３２３ｄを特に区別しない場合には、「載置領域３２３」と称する場合がある。また、載置領域３２３ａには荷物３２４ａが載置されており、載置領域３２３ｂには荷物３２４ｂが載置されている。 Here, reference is made to FIG. FIG. 4 schematically shows a state in which an area surrounded by a frame of a shelf is set as a mounting area and an article such as luggage is placed in the mounting area as in the mounting area 311 shown in FIG. Is shown.
Specifically, four areas surrounded by the shelf board 321 and the partition board 322 of the shelf are set as the mounting areas 323a to 323d. In the following description, when the mounting areas 323a to 323d are not particularly distinguished, they may be referred to as "mounting area 323". Further, the luggage 324a is placed in the loading area 323a, and the luggage 324b is placed in the loading area 323b.

図４に示す例では、荷物３２４ａは、載置領域３２３ａの規定された位置に規定された姿勢で載置されている。この、載置領域３２３ａに載置された荷物３２４ａの状態が、載置領域に対する荷物の正しい載置状態であるものとする。
これに対して、荷物３２４ｂは、載置領域３２３ｂに対して誤った載置状態で載置されている。具体的には、荷物３２４ｂは、載置領域３２３ａに載置された荷物３２４ａに比べて、載置領域３２３ｂに対して傾いた状態で載置されており、当該載置領域３２３ｂとの間に姿勢のずれが生じている。 In the example shown in FIG. 4, the luggage 324a is placed in the specified position of the loading area 323a in the specified posture. It is assumed that the state of the luggage 324a mounted on the loading area 323a is the correct loading state of the luggage with respect to the loading area.
On the other hand, the luggage 324b is placed in an erroneously placed state with respect to the mounting area 323b. Specifically, the luggage 324b is placed in a state of being tilted with respect to the loading area 323b as compared with the luggage 324a mounted in the loading area 323a, and is placed between the luggage 324b and the loading area 323b. There is a shift in posture.

情報処理装置１００は、荷物３２４ａ及び３２４ｂそれぞれが載置領域３２３に載置された際に撮像部（検知部１９４）により撮像された画像に基づき、載置領域３２３に対する荷物３２４ａ及び３２４ｂそれぞれの載置状態を認識する。
具体的な一例として、荷物３２４ａは、載置領域３２３ａに対する位置及び姿勢のずれが閾値以下であるものとする。この場合には、情報処理装置１００は、載置領域３２３ａ及び荷物３２４ａの撮像結果に応じた画像を解析することで、載置領域３２３ａに対する荷物３２４ａの位置及び姿勢のずれを認識し、当該認識結果に基づき荷物３２４ａが正しい載置状態にあると認識する。
また、他の一例として、荷物３２４ｂは、載置領域３２３ａに対する位置及び姿勢のずれが閾値を超えているものとする。この場合には、情報処理装置１００は、載置領域３２３ｂ及び荷物３２４ｂの撮像結果に応じた画像を解析することで、載置領域３２３ｂに対する荷物３２４ｂの位置及び姿勢のずれを認識し、当該認識結果に基づき荷物３２４ｂが誤った載置状態にあると認識する。 The information processing device 100 mounts the luggage 324a and 324b on the loading area 323 based on the image captured by the imaging unit (detection unit 194) when the luggage 324a and 324b are respectively mounted on the mounting area 323. Recognize the placement state.
As a specific example, it is assumed that the deviation of the position and posture of the luggage 324a with respect to the mounting area 323a is equal to or less than the threshold value. In this case, the information processing apparatus 100 recognizes the deviation of the position and orientation of the luggage 324a with respect to the mounting area 323a by analyzing the images according to the imaging results of the loading area 323a and the luggage 324a, and recognizes the recognition. Based on the result, it is recognized that the luggage 324a is in the correct loading state.
Further, as another example, it is assumed that the deviation of the position and posture of the luggage 324b with respect to the mounting area 323a exceeds the threshold value. In this case, the information processing apparatus 100 recognizes the deviation of the position and orientation of the luggage 324b with respect to the mounting area 323b by analyzing the images according to the imaging results of the loading area 323b and the luggage 324b, and recognizes the recognition. Based on the result, it is recognized that the luggage 324b is in the wrong loading state.

また、情報処理装置１００は、荷物３２４ａ及び３２４ｂそれぞれの載置状態の認識結果に応じた情報を所定の記憶領域に記憶させることで、荷物３２４ａ及び３２４ｂそれぞれの載置状態を管理してもよい。これにより、情報処理装置１００は、例えば、荷物３２４ａ及び３２４ｂそれぞれの載置状態の管理結果に応じて、所定の出力部を介してユーザに情報を報知することも可能である。また、他の一例として、情報処理装置１００は、荷物３２４ａ及び３２４ｂそれぞれの載置状態の管理結果を、他の荷役管理に利用することも可能となる。 Further, the information processing device 100 may manage the loading states of the luggage 324a and 324b by storing the information corresponding to the recognition result of the loading states of the luggage 324a and 324b in a predetermined storage area. .. As a result, the information processing apparatus 100 can notify the user of information via a predetermined output unit, for example, according to the management result of the loading state of each of the luggage 324a and 324b. Further, as another example, the information processing apparatus 100 can also use the management result of the loading state of each of the cargo 324a and 324b for other cargo handling management.

以上、本実施形態に係る管理システム１の概要について説明した。なお、以降では、本実施形態に係る管理システム１についてより詳しく説明する。 The outline of the management system 1 according to the present embodiment has been described above. Hereinafter, the management system 1 according to the present embodiment will be described in more detail.

＜ハードウェア構成＞
図５を参照して、本実施形態に係る情報処理装置１００のハードウェア構成の一例について説明する。図５に示すように、本実施形態に係る情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３０とを含む。また、情報処理装置１００は、補助記憶装置２４０と、出力装置２５０と、入力装置２６０と、ネットワークＩ／Ｆ２７０とを含む。ＣＰＵ２１０と、ＲＯＭ２２０と、ＲＡＭ２３０と、補助記憶装置２４０と、出力装置２５０と、入力装置２６０と、ネットワークＩ／Ｆ２７０とは、バス２８０を介して相互に接続されている。 <Hardware configuration>
An example of the hardware configuration of the information processing apparatus 100 according to the present embodiment will be described with reference to FIG. As shown in FIG. 5, the information processing apparatus 100 according to the present embodiment includes a CPU (Central Processing Unit) 210, a ROM (Read Only Memory) 220, and a RAM (Random Access Memory) 230. Further, the information processing device 100 includes an auxiliary storage device 240, an output device 250, an input device 260, and a network I / F 270. The CPU 210, ROM 220, RAM 230, auxiliary storage device 240, output device 250, input device 260, and network I / F 270 are connected to each other via a bus 280.

ＣＰＵ２１０は、情報処理装置１００の各種動作を制御する中央演算装置である。例えば、ＣＰＵ２１０は、情報処理装置１００全体の動作を制御してもよい。ＲＯＭ２２０は、ＣＰＵ２１０で実行可能な制御プログラムやブートプログラムなどを記憶する。ＲＡＭ２３０は、ＣＰＵ２１０の主記憶メモリであり、ワークエリア又は各種プログラムを展開するための一時記憶領域として用いられる。 The CPU 210 is a central processing unit that controls various operations of the information processing device 100. For example, the CPU 210 may control the operation of the entire information processing device 100. The ROM 220 stores a control program, a boot program, and the like that can be executed by the CPU 210. The RAM 230 is the main storage memory of the CPU 210, and is used as a work area or a temporary storage area for developing various programs.

補助記憶装置２４０は、各種データや各種プログラムを記憶する。補助記憶装置２４０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）に代表される不揮発性メモリ等のような、各種データを一時的または持続的に記憶可能な記憶デバイスにより実現される。 The auxiliary storage device 240 stores various data and various programs. The auxiliary storage device 240 is realized by a storage device that can temporarily or continuously store various data such as an HDD (Hard Disk Drive) and a non-volatile memory represented by an SSD (Solid State Drive). ..

出力装置２５０は、各種情報を出力する装置であり、ユーザに対する各種情報の提示に利用される。本実施形態では、出力装置２５０は、ディスプレイ等の表示デバイスにより実現される。出力装置２５０は、各種表示情報を表示させることで、ユーザに対して情報を提示する。ただし、他の例として、出力装置２５０は、音声や電子音等の音を出力する音響出力デバイスにより実現されてもよい。この場合には、出力装置２５０は、音声や電信等の音を出力することで、ユーザに対して情報を提示する。また、出力装置２５０として適用されるデバイスは、ユーザに対して情報を提示するために利用する媒体に応じて適宜変更されてもよい。なお、出力装置２５０が、各種情報の提示に利用される「出力部」の一例に相当する。 The output device 250 is a device that outputs various types of information, and is used for presenting various types of information to the user. In the present embodiment, the output device 250 is realized by a display device such as a display. The output device 250 presents information to the user by displaying various display information. However, as another example, the output device 250 may be realized by an acoustic output device that outputs sounds such as voice and electronic sounds. In this case, the output device 250 presents information to the user by outputting sounds such as voice and telegraph. Further, the device applied as the output device 250 may be appropriately changed depending on the medium used for presenting information to the user. The output device 250 corresponds to an example of an "output unit" used for presenting various types of information.

入力装置２６０は、ユーザからの各種指示の受け付けに利用される。本実施形態では、入力装置２６０は、マウス、キーボード、タッチパネル等の入力デバイスを含む。ただし、他の例として、入力装置２６０は、マイクロフォン等の集音デバイスを含み、ユーザが発話した音声を集音してもよい。この場合には、集音された音声に対して音響解析や自然言語処理等の各種解析処理が施されることで、この音声が示す内容がユーザからの指示として認識される。また、入力装置２６０として適用されるデバイスは、ユーザからの指示を認識する方法に応じて適宜変更されてもよい。また、入力装置２６０として複数種類のデバイスが適用されてもよい。 The input device 260 is used for receiving various instructions from the user. In the present embodiment, the input device 260 includes an input device such as a mouse, a keyboard, and a touch panel. However, as another example, the input device 260 may include a sound collecting device such as a microphone and collect sound spoken by the user. In this case, the collected voice is subjected to various analysis processes such as acoustic analysis and natural language processing, so that the content indicated by the voice is recognized as an instruction from the user. Further, the device applied as the input device 260 may be appropriately changed depending on the method of recognizing the instruction from the user. Further, a plurality of types of devices may be applied as the input device 260.

ネットワークＩ／Ｆ２７０は、外部の装置とのネットワークを介した通信に利用される。なお、ネットワークＩ／Ｆ２７０として適用されるデバイスは、通信経路の種別や適用される通信方式に応じて適宜変更されてもよい。 The network I / F270 is used for communication with an external device via a network. The device applied as the network I / F270 may be appropriately changed according to the type of communication path and the applicable communication method.

ＣＰＵ２１０は、ＲＯＭ２２０又は補助記憶装置２４０に記憶されたプログラムをＲＡＭ２３０に展開し、このプログラムを実行することで、図６に示す管理システム１の機能構成や、図７に示すフローチャートで示された処理が実現される。 The CPU 210 expands the program stored in the ROM 220 or the auxiliary storage device 240 into the RAM 230, and by executing this program, the functional configuration of the management system 1 shown in FIG. 6 and the processing shown in the flowchart shown in FIG. Is realized.

＜機能構成＞
図６を参照して、本実施形態に係る管理システム１の機能構成の一例について、特に、情報処理装置１００及び情報収集ユニット１９３の機能構成に着目して説明する。 <Functional configuration>
An example of the functional configuration of the management system 1 according to the present embodiment will be described with reference to FIG. 6, paying particular attention to the functional configuration of the information processing device 100 and the information collection unit 193.

まず、情報収集ユニット１９３の機能構成について説明する。図１及び図２を参照して説明したように、情報収集ユニット１９３は、運搬装置１９０の保持部１９１と所定の位置関係となるように、当該運搬装置１９０に支持される。例えば、図２に示す例では、保持部１９１を支持する支持部１９２により、情報収集ユニット１９３が支持されることで、当該情報収集ユニット１９３が保持部１９１と所定の位置関係となるように支持されている。 First, the functional configuration of the information collection unit 193 will be described. As described with reference to FIGS. 1 and 2, the information gathering unit 193 is supported by the transport device 190 so as to have a predetermined positional relationship with the holding portion 191 of the transport device 190. For example, in the example shown in FIG. 2, the information collecting unit 193 is supported by the support part 192 that supports the holding part 191 so that the information collecting unit 193 is supported so as to have a predetermined positional relationship with the holding part 191. Has been done.

情報収集ユニット１９３は、検知部１９４と、通信部１９６とを含む。また、情報収集ユニット１９３は、位置情報取得部１９５を含んでもよい。検知部１９４は、図１及び図２に示す検知部１９４に相当する。 The information collecting unit 193 includes a detection unit 194 and a communication unit 196. Further, the information collecting unit 193 may include a position information acquisition unit 195. The detection unit 194 corresponds to the detection unit 194 shown in FIGS. 1 and 2.

通信部１９６は、情報収集ユニット１９３の各構成が、所定のネットワークを介して外部の装置（例えば、情報処理装置１００）との間で情報やデータを送受信するための構成である。なお、通信部１９６を実現するためのデバイスは、情報やデータの送受信に利用されるネットワークの種別に応じて適宜変更されてもよい。具体的な一例として、情報収集ユニット１９３が他の装置と無線のネットワークを介して情報やデータの送受信が行う場合には、通信部１９６は、使用する無線信号の周波数帯に応じたアンテナや変調器等を含んでもよい。なお、以降では、情報収集ユニット１９３の各構成が他の装置と情報やデータの送受信を行う場合には、特に説明が無い限りは、通信部１９６を介して情報やデータの送受信が行われるものとする。 The communication unit 196 is a configuration for each configuration of the information collecting unit 193 to transmit and receive information and data to and from an external device (for example, the information processing device 100) via a predetermined network. The device for realizing the communication unit 196 may be appropriately changed according to the type of network used for transmitting and receiving information and data. As a specific example, when the information collection unit 193 transmits / receives information or data to / from another device via a wireless network, the communication unit 196 uses an antenna or modulation according to the frequency band of the wireless signal to be used. It may include a vessel or the like. In the following, when each configuration of the information collecting unit 193 transmits / receives information / data to / from another device, the information / data is transmitted / received via the communication unit 196 unless otherwise specified. And.

位置情報取得部１９５は、図１及び図２を参照して前述した、運搬装置１９０の位置情報の取得に係る構成である。位置情報取得部１９５は、取得した運搬装置１９０の位置情報を、ネットワークを介して情報処理装置１００に通知する。 The position information acquisition unit 195 has a configuration related to the acquisition of the position information of the transport device 190 described above with reference to FIGS. 1 and 2. The position information acquisition unit 195 notifies the information processing device 100 of the acquired position information of the transport device 190 via the network.

次いで、情報処理装置１００の機能構成について説明する。情報処理装置１００は、通信部１０１と、認識部１０２と、管理部１０３と、記憶部１０４とを含む。また、情報処理装置１００は、出力部１０５を含んでもよい。 Next, the functional configuration of the information processing apparatus 100 will be described. The information processing device 100 includes a communication unit 101, a recognition unit 102, a management unit 103, and a storage unit 104. Further, the information processing device 100 may include an output unit 105.

通信部１０１は、情報処理装置１００の各構成が、所定のネットワークを介して外部の装置（例えば、情報収集ユニット１９３）との間で情報やデータを送受信するための構成である。なお、情報収集ユニット１９３における通信部１９６と同様に、通信部１０１を実現するためのデバイスについては、情報やデータの送受信に利用されるネットワークの種別に応じて適宜変更されてもよい。また、以降では、情報処理装置１００の各構成が他の装置と情報やデータの送受信を行う場合には、特に説明が無い限りは、通信部１０１を介して情報やデータの送受信が行われるものとする。 The communication unit 101 is configured for each configuration of the information processing device 100 to transmit and receive information and data to and from an external device (for example, the information collecting unit 193) via a predetermined network. Similar to the communication unit 196 in the information collection unit 193, the device for realizing the communication unit 101 may be appropriately changed according to the type of network used for transmitting and receiving information and data. Further, thereafter, when each configuration of the information processing device 100 transmits / receives information or data to / from another device, the information / data is transmitted / received via the communication unit 101 unless otherwise specified. And.

記憶部１０４は、情報処理装置１００内の各部が処理を実行するためのデータやプログラムを記憶する記憶領域である。また、記憶部１０４は、情報処理装置１００内の各部が生成した情報やデータを記憶してもよい。
なお、記憶部１０４は、例えば、情報処理装置１００に内蔵された記憶装置により実現されてもよい。また、他の一例として、記憶部１０４は、情報処理装置１００とは異なる外部の記憶装置により実現されてもよい。具体的には、記憶部１０４は、情報処理装置１００に対して外付けされた記憶装置により実現されてもよいし、情報処理装置１００とネットワークを介して接続された記憶装置により実現されてもよい。 The storage unit 104 is a storage area for storing data and programs for each unit in the information processing apparatus 100 to execute processing. Further, the storage unit 104 may store information and data generated by each unit in the information processing device 100.
The storage unit 104 may be realized by, for example, a storage device built in the information processing device 100. Further, as another example, the storage unit 104 may be realized by an external storage device different from the information processing device 100. Specifically, the storage unit 104 may be realized by a storage device externally attached to the information processing device 100, or may be realized by a storage device connected to the information processing device 100 via a network. Good.

認識部１０２は、検知部１９４による検知結果に応じた情報を情報収集ユニット１９３から取得し、取得した当該情報に基づき、物品（すなわち、運搬装置１９０により運搬された物品）が載置された載置領域に対する、当該物品の載置状態を認識する。具体的な一例として、認識部１０２は、物品の運搬先となる載置領域に対して運搬装置１９０により運搬された物品が載置された状態で取得された上記情報に基づき、当該載置領域に対する当該物品の載置状態を認識してもよい。なお、この際に、認識部１０２は、取得した情報に対して所定の解析処理を施し、当該解析処理の結果に基づき、上記載置領域に対する物品の載置状態を認識してもよい。また、検知部１９４による検知結果に応じた情報が、「運搬装置の周囲の状態の検知結果に応じた状態情報」の一例に相当する。 The recognition unit 102 acquires information according to the detection result by the detection unit 194 from the information collection unit 193, and based on the acquired information, the article (that is, the article transported by the transport device 190) is placed. Recognize the placement state of the article with respect to the placement area. As a specific example, the recognition unit 102 is based on the above information acquired in a state where the article transported by the transport device 190 is mounted on the loading area to which the article is transported. You may recognize the placement state of the article with respect to. At this time, the recognition unit 102 may perform a predetermined analysis process on the acquired information and recognize the placement state of the article on the above-mentioned placement area based on the result of the analysis process. Further, the information according to the detection result by the detection unit 194 corresponds to an example of "state information according to the detection result of the state around the transport device".

例えば、認識部１０２は、撮像部として構成された検知部１９４による撮像結果に応じた画像（撮像画像）を取得し、当該画像に対して画像解析を施すことで、物品が載置された載置領域に対する当該物品の載置状態を認識してもよい。 For example, the recognition unit 102 acquires an image (captured image) according to the image capture result by the detection unit 194 configured as the image pickup unit, and performs image analysis on the image to mount the article on the image. You may recognize the placement state of the article with respect to the placement area.

より具体的には、認識部１０２は、取得した撮像画像に対して画像解析を施すことで、当該撮像画像に撮像された被写体の特徴に応じた特徴量を抽出し、当該特徴量に基づき、載置領域に対する物品の載置状態を認識してもよい。この場合には、認識部１０２は、例えば、被写体の形状や色等の視覚的な特徴に応じた特徴量を抽出し、抽出した特徴量を、従前に運搬対象の物品や載置領域の規定に係る指標等について抽出された特徴量と比較する。そして、認識部１０２は、当該比較の結果に基づき、撮像画像に被写体として撮像された物品や載置領域を認識してもよい。
また、この際に、認識部１０２は、物品や載置領域等の認識対象自体の特徴（形状や色等）に応じた特徴量に限らず、例えば、当該認識対象に付されたマーカやタグ等の特徴に応じた特徴量を利用して、当該認識対象の認識を行ってもよい。
なお、この場合には、比較対象となる特徴量に関する情報については、例えば、認識部１０２が読み出し可能な記憶領域（例えば、記憶部１０４）に記憶させておくとよい。 More specifically, the recognition unit 102 performs image analysis on the acquired captured image to extract a feature amount corresponding to the feature of the subject captured in the captured image, and based on the feature amount, the recognition unit 102 extracts the feature amount. You may recognize the placement state of the article with respect to the placement area. In this case, the recognition unit 102 extracts, for example, a feature amount corresponding to a visual feature such as the shape and color of the subject, and previously defines the extracted feature amount as an article to be transported or a placement area. Compare with the extracted features for the indicators related to. Then, the recognition unit 102 may recognize an article or a placement area captured as a subject in the captured image based on the result of the comparison.
Further, at this time, the recognition unit 102 is not limited to the feature amount according to the feature (shape, color, etc.) of the recognition target itself such as the article or the placement area, and for example, the marker or tag attached to the recognition target. The recognition target may be recognized by using the feature amount corresponding to the feature such as.
In this case, it is preferable to store the information regarding the feature amount to be compared in, for example, a storage area (for example, a storage unit 104) that can be read by the recognition unit 102.

そして、認識部１０２は、物品及び載置領域の認識結果に基づき、当該載置領域に対する当該物品の位置及び姿勢のうち少なくともいずれかを、当該載置領域に対する当該物品の載置状態として認識してもよい。また、認識部１０２は、当該載置領域に対する当該物品の位置及び姿勢のうち少なくともいずれかのずれを、当該載置領域に対する当該物品の載置状態として認識してもよい。 Then, the recognition unit 102 recognizes at least one of the positions and postures of the article with respect to the mounting area as the mounting state of the article with respect to the mounting area, based on the recognition result of the article and the mounting area. You may. Further, the recognition unit 102 may recognize at least any deviation of the position and posture of the article with respect to the mounting area as the mounting state of the article with respect to the mounting area.

また、上記はあくまで一例であり、載置領域に対する物品の載置状態の認識に係る処理の内容は、情報収集ユニット１９３から取得される情報の種別に応じて適宜変更されてもよい。例えば、検知部１９４としてデプスセンサが適用される場合には、載置領域に対する物品の載置状態に応じたデプスマップから取得される特徴量に応じて、当該物品の載置状態の認識が行われるように、認識部１０２の処理が適宜変更されてもよい。 Further, the above is only an example, and the content of the process relating to the recognition of the placement state of the article in the placement area may be appropriately changed according to the type of information acquired from the information collection unit 193. For example, when the depth sensor is applied as the detection unit 194, the placement state of the article is recognized according to the feature amount acquired from the depth map according to the placement state of the article with respect to the placement area. As described above, the processing of the recognition unit 102 may be changed as appropriate.

また、認識部１０２として、所謂機械学習に基づき構築された識別器を適用することも可能である。
具体的な一例として、認識部１０２は、運搬対象の物品と、当該物品が載置される載置領域と、を事前の機械学習に基づき個別に識別し、当該識別の結果に基づき、当該載置領域に対する当該物品の載置状態を認識してもよい。この場合には、運搬対象の物品の認識に係る教師データ（例えば、当該物品の撮像画像）や、載置領域の規定に利用される物体の認識に係る教師データ（例えば、当該物体の撮像画像）を利用した教師あり学習に基づき、上記識別器が構築されてもよい。
また、他の一例として、認識部１０２は、載置領域に対する物品の載置状態自体を事前の機械学習に基づき識別してもよい。この場合には、載置領域に対する物品の載置状態（例えば、載置領域に対する物品の位置や姿勢のずれの度合いに応じた状態）ごとの教師データを利用した教師あり学習に基づき、上記識別器が構築されてもよい。 Further, as the recognition unit 102, it is also possible to apply a classifier constructed based on so-called machine learning.
As a specific example, the recognition unit 102 individually identifies the article to be transported and the loading area on which the article is placed based on prior machine learning, and based on the result of the identification, the loading is performed. You may recognize the placement state of the article with respect to the placement area. In this case, the teacher data related to the recognition of the article to be transported (for example, the captured image of the article) and the teacher data related to the recognition of the object used for defining the mounting area (for example, the captured image of the object). The above classifier may be constructed based on supervised learning using).
Further, as another example, the recognition unit 102 may identify the placement state itself of the article with respect to the placement area based on prior machine learning. In this case, the above identification is based on supervised learning using supervised learning for each placement state of the article with respect to the placement area (for example, a state according to the degree of deviation of the position and posture of the article with respect to the placement area). A vessel may be constructed.

以上のようにして、認識部１０２は、情報収集ユニット１９３から取得した情報に基づき載置領域に対する物品の載置状態を認識し、認識結果に応じた情報を管理部１０３に出力する。なお、上述の通り、認識部１０２から出力される、物品が載置された載置領域に対する当該物品の載置状態の認識結果に応じた情報は、検知部１９４による検知結果に応じた情報に基づいている。すなわち、認識部１０２から出力される当該情報が、「運搬装置の周囲の状態の検知結果に応じた状態情報」の他の一例に相当する。 As described above, the recognition unit 102 recognizes the placement state of the article in the placement area based on the information acquired from the information collection unit 193, and outputs the information according to the recognition result to the management unit 103. As described above, the information output from the recognition unit 102 according to the recognition result of the placement state of the article in the placement area on which the article is placed is the information according to the detection result by the detection unit 194. Is based. That is, the information output from the recognition unit 102 corresponds to another example of "state information according to the detection result of the state around the transport device".

管理部１０３は、運搬の対象となる１以上の物品それぞれについて、載置領域に対する当該物品の載置状態の認識結果に応じた情報を認識部１０２から取得し、当該情報に基づき当該１以上の物品それぞれの載置状態の管理を行う。 The management unit 103 acquires information from the recognition unit 102 according to the recognition result of the placement state of the article in the placement area for each of the one or more articles to be transported, and based on the information, the management unit 103 acquires the information according to the recognition result of the one or more articles. Manage the placement status of each item.

例えば、管理部１０３は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかの関係に応じて当該物品の載置状態を特定し、当該特定の結果に基づき当該物品の載置状態の管理を行ってもよい。
具体的な一例として、管理部１０３は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかの関係に応じて、「１．正常状態」、「２．配置にずれがある状態」、及び「３．配置ずれがあり、かつ危険な状態」のいずれに該当するかを判定してもよい。この場合には、管理部１０３は、１以上の物品それぞれに対する当該判定の結果（すなわち、物品の載置状態の特定結果）に基づき、当該１以上の物品それぞれの載置状態の管理を行ってもよい。また、管理部１０３は、１以上の物品それぞれに対する当該判定の結果に基づき、当該１以上の物品を含む一連の物品の載置状態（例えば、判定対象の物品と周囲に載置された物品との載置状態等）を管理してもよい。
なお、「１．正常状態」は、例えば、物品が載置領域の所定の位置に所定の姿勢で載置されている状態に相当する。また、「２．配置にずれがある状態」は、例えば、物品が所定の姿勢で載置されているが、載置された位置にずれが生じている状態や、物品が所定の位置に載置されているが、載置された姿勢に傾きが生じている状態等に相当する。また、「３．配置ずれがあり、かつ危険な状態」は、例えば、物品が載置領域に対して傾いた状態で載置されており当該傾きの大きさが閾値を超える状態や、物品の一部が載置領域からはみ出した状態で載置されている状態等に相当する。 For example, the management unit 103 specifies the placement state of the article according to at least one of the positions and postures of the article with respect to the placement area, and manages the placement state of the article based on the specific result. May be done.
As a specific example, the management unit 103 has "1. normal state", "2. misaligned state", and "2. misaligned state" depending on at least one of the positions and postures of the articles with respect to the placement area. It may be determined which of "3. There is a misalignment and a dangerous state". In this case, the management unit 103 manages the placement state of each of the one or more articles based on the result of the determination for each of the one or more articles (that is, the specific result of the placement state of the articles). May be good. Further, the management unit 103 sets the placement state of a series of articles including the one or more articles based on the result of the determination for each of the one or more articles (for example, the article to be determined and the articles placed in the surroundings). The placement state, etc.) may be managed.
The "1. normal state" corresponds to, for example, a state in which an article is placed in a predetermined position in a placement area in a predetermined posture. Further, in "2. A state in which the arrangement is misaligned", for example, an article is placed in a predetermined posture, but the placed position is misaligned, or the article is placed in a predetermined position. Although it is placed, it corresponds to a state in which the placed posture is tilted. Further, "3. Misaligned and dangerous state" is, for example, a state in which the article is placed in a state of being tilted with respect to the mounting area and the magnitude of the tilt exceeds the threshold value, or a state in which the article is tilted. It corresponds to a state in which a part of the product is mounted so as to protrude from the mounting area.

また、他の一例として、管理部１０３は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかのずれの度合いに応じて当該物品の載置状態を特定し、当該特定の結果に基づき当該物品の載置状態の管理を行ってもよい。
具体的な一例として、管理部１０３は、上記ずれの度合いを閾値と比較し、当該比較の結果に応じて、「１．正常状態」、「２．配置にずれがある状態」、及び「３．配置ずれがあり、かつ危険な状態」のいずれに該当するかを判定してもよい。この場合には、「１．正常状態」、「２．配置にずれがある状態」、「３．配置ずれがあり、かつ危険な状態」の順で、上記ずれの度合いがより小さい状態から当該ずれの度合いがより大きい状態に該当するように、上記判定に利用される閾値が設定されるとよい。そして、管理部１０３は、上記判定の結果（すなわち、物品の載置状態の特定結果）に基づき、物品の載置状態の管理（例えば、１以上の物品それぞれの載置状態の管理や、当該１以上の物品を含む一連の物品の載置状態の管理等）を行ってもよい。 Further, as another example, the management unit 103 specifies the placement state of the article according to the degree of deviation of at least one of the position and posture of the article with respect to the placement area, and the management unit 103 determines the placement state of the article based on the specific result. You may manage the placement state of the article.
As a specific example, the management unit 103 compares the degree of deviation with the threshold value, and depending on the result of the comparison, "1. normal state", "2. state with deviation in arrangement", and "3. It may be determined which of the "dangerous states with misalignment" is applicable. In this case, in the order of "1. normal state", "2. misaligned state", and "3. misaligned and dangerous state", the state in which the degree of misalignment is smaller is the relevant state. It is preferable that the threshold value used for the above determination is set so that the degree of deviation corresponds to a larger state. Then, based on the result of the above determination (that is, the specific result of the placement state of the article), the management unit 103 manages the placement state of the article (for example, the management of the placement state of each of one or more articles, and the said Management of the placement state of a series of articles including one or more articles) may be performed.

また、管理部１０３は、情報収集ユニット１９３から対応する運搬装置１９０の位置情報を取得し、当該位置情報を、当該運搬装置１９０が運搬した物品の載置状態の管理に利用してもよい。具体的な一例として、管理部１０３は、運搬装置１９０が保持部１９１に保持された物品の積み下ろしを行った際に取得された当該運搬装置１９０の位置情報を利用することで、当該物品が載置された位置を推定してもよい。この場合には、管理部１０３は、上述した物品の載置状態の特定結果と、当該物品の位置の推定結果と、を関連付けた情報に基づき、当該物品の載置状態の管理を行ってもよい。これにより、管理部１０３は、管理対象となる物品が、どの位置にどのような載置状態で載置されているかを管理することが可能となる。 Further, the management unit 103 may acquire the position information of the corresponding transport device 190 from the information collection unit 193 and use the position information for managing the placement state of the article transported by the transport device 190. As a specific example, the management unit 103 loads the article by using the position information of the carrier 190 acquired when the carrier 190 loads and unloads the article held by the holding unit 191. The placed position may be estimated. In this case, the management unit 103 may manage the placement state of the article based on the information associated with the above-mentioned specific result of the placement state of the article and the estimation result of the position of the article. Good. As a result, the management unit 103 can manage which position and in what state the article to be managed is placed.

管理部１０３は、物品の載置状態の管理に係るデータを、所定の記憶領域（例えば、記憶部１０４）に記憶させてもよい。これにより、管理部１０３は、例えば、各物品の載置状態の管理結果を時系列に沿ってデータとして記録しておくことも可能となる。 The management unit 103 may store data related to the management of the placement state of the article in a predetermined storage area (for example, the storage unit 104). As a result, the management unit 103 can record, for example, the management result of the placement state of each article as data in chronological order.

また、管理部１０３は、物品の載置状態の管理結果に応じた情報やデータを所定の出力先に出力してもよい。
具体的な一例として、管理部１０３は、物品の載置状態の管理結果に応じた情報を出力部１０５に出力させることで、当該情報をユーザに提示してもよい。より具体的な一例として、管理部１０３は、載置領域に対する物品の位置や姿勢のずれの認識結果に応じて、出力部１０５に報知情報を報知させてもよい。これにより、例えば、載置領域に対する物品の位置や姿勢のずれが閾値を超える場合に、ユーザに対して警告を報知することも可能となる。
また、他の一例として、管理部１０３は、物品の載置状態の管理結果に応じたデータを、ネットワークを介して他の装置に送信してもよい。これにより、当該他の装置は、当該データに基づき物品の載置状態を認識することが可能となり、ひいては、当該状態の認識結果を他の処理の実行に利用することも可能となる。 Further, the management unit 103 may output information or data according to the management result of the placement state of the article to a predetermined output destination.
As a specific example, the management unit 103 may present the information to the user by causing the output unit 105 to output information according to the management result of the placement state of the article. As a more specific example, the management unit 103 may cause the output unit 105 to notify the notification information according to the recognition result of the deviation of the position and the posture of the article with respect to the mounting area. As a result, for example, when the deviation of the position or posture of the article with respect to the placement area exceeds the threshold value, it is possible to notify the user of a warning.
Further, as another example, the management unit 103 may transmit data according to the management result of the placement state of the article to another device via the network. As a result, the other device can recognize the placement state of the article based on the data, and by extension, the recognition result of the state can be used for executing other processing.

出力部１０５は、各種情報を出力することで、当該情報をユーザに提示する。
例えば、出力部１０５は、ディスプレイ等のようの表示デバイスを含んでもよい。この場合には、出力部１０５は、提示対象となる情報に応じた表示情報を表示させることで、当該情報をユーザに提示してもよい。
また、出力部１０５は、所謂スピーカ等のような音響出力デバイスを含んでもよい。この場合には、出力部１０５は、提示対象となる情報に応じた音声や電子音等の音響を出力することで、当該情報をユーザに提示してもよい。
もちろん上記はあくまで一例であり、情報の提示方法に応じて、出力部１０５の構成が適宜変更されてもよい。 The output unit 105 presents the information to the user by outputting various information.
For example, the output unit 105 may include a display device such as a display. In this case, the output unit 105 may present the information to the user by displaying the display information according to the information to be presented.
Further, the output unit 105 may include an acoustic output device such as a so-called speaker or the like. In this case, the output unit 105 may present the information to the user by outputting a sound such as a voice or an electronic sound according to the information to be presented.
Of course, the above is only an example, and the configuration of the output unit 105 may be appropriately changed depending on the method of presenting the information.

なお、上記機能構成はあくまで一例であり、上述した各部の処理を実現することが可能であれば、必ずしも本実施形態に係る管理システム１の機能構成を限定するものではない。例えば、情報処理装置１００の少なくとも一部の機能が、複数の装置が協働すること実現されてもよい。具体的な一例として、情報処理装置１００の一部の機能が、情報処理装置１００とは異なる他の装置により実現されてもよい。より具体的な一例として、認識部１０２と管理部１０３とのそれぞれに相当する機能構成が、互いに異なる他の装置に設けられていてもよい。このように、本実施形態に係る管理システム１の技術思想を逸脱しない範囲であれば、管理システム１の一部の構成や処理が適宜変更されてもよい。 The above-mentioned functional configuration is merely an example, and the functional configuration of the management system 1 according to the present embodiment is not necessarily limited as long as it is possible to realize the processing of each part described above. For example, at least a part of the functions of the information processing device 100 may be realized by the cooperation of a plurality of devices. As a specific example, some functions of the information processing device 100 may be realized by another device different from the information processing device 100. As a more specific example, functional configurations corresponding to the recognition unit 102 and the management unit 103 may be provided in other devices different from each other. As described above, a part of the configuration and processing of the management system 1 may be appropriately changed as long as the technical concept of the management system 1 according to the present embodiment is not deviated.

また、上記では、運搬装置１９０が１台の場合に着目して説明したが、複数の運搬装置１９０が管理の対象となってもよい。この場合には、情報処理装置１００が、各運搬装置１９０に支持された情報収集ユニット１９３から情報やデータを取得した際に、当該情報や当該データの送信元を特定できるとよい。具体的な一例として、情報収集ユニット１９３は、送信対象となる情報やデータに対して自身の識別情報を関連付けたうえで、当該情報や当該データを情報処理装置１００に送信すればよい。これにより、情報処理装置１００は、受信した情報やデータに関連付けられた識別情報に基づき、当該情報や当該データの送信元を識別することが可能となる。また、情報処理装置１００は、どの情報収集ユニット１９３がどの運搬装置１９０に支持されているかを示す情報をあらかじめ保持しておくことで、送信元の情報収集ユニット１９３の特定結果に基づき、対応する運搬装置１９０を特定することも可能となる。これにより、情報処理装置１００は、各運搬装置１９０の識別結果に基づき、当該運搬装置１９０が運搬対象とする物品（荷物等）を特定することで、当該運搬装置１９０により載置領域に載置された物品を識別することも可能となる。 Further, in the above description, the case where the number of transport devices 190 is one has been described, but a plurality of transport devices 190 may be subject to management. In this case, when the information processing device 100 acquires information or data from the information collecting unit 193 supported by each transport device 190, it is preferable that the information processing device 100 can identify the source of the information or the data. As a specific example, the information collecting unit 193 may transmit the information or the data to the information processing apparatus 100 after associating the information or the data to be transmitted with its own identification information. As a result, the information processing apparatus 100 can identify the information and the source of the data based on the received information and the identification information associated with the data. Further, the information processing device 100 stores information indicating which information collection unit 193 is supported by which transportation device 190 in advance, and responds based on the specific result of the transmission source information collection unit 193. It is also possible to identify the transport device 190. As a result, the information processing device 100 is placed in the mounting area by the transport device 190 by specifying the article (luggage, etc.) to be transported by the transport device 190 based on the identification result of each transport device 190. It is also possible to identify the goods that have been processed.

＜処理＞
図７を参照して、本実施形態に係る管理システム１の処理の一例について説明する。なお、図７に示す例では、本実施形態に係る管理システム１の特徴をよりわかりやすくするために、検知部１９４として撮像部が適用された場合に着目して、特に、情報処理装置１００の処理について説明する。 <Processing>
An example of the processing of the management system 1 according to the present embodiment will be described with reference to FIG. 7. In the example shown in FIG. 7, in order to make the features of the management system 1 according to the present embodiment easier to understand, paying attention to the case where the imaging unit is applied as the detection unit 194, in particular, the information processing device 100 The processing will be described.

Ｓ１０１において、情報処理装置１００（認識部１０２）は、運搬装置１９０により運搬された物品が載置された状態における、検知部１９４による当該運搬装置１９０の周囲の状態の撮像結果に応じた画像を取得する。検知部１９４は、上述したように保持部１９１により保持された物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、が画角内に収まるように支持されている。これにより、載置領域に物品が載置された状態で検知部１９４により運搬装置１９０の周囲の状態が撮像されると、撮像結果に応じた画像には、上記物品と、上記載置領域の規定に係る指標（例えば、枠や、棚のフレーム等）と、が撮像されることとなる。なお、検知部１９４により撮像された画像が、運搬装置の周囲の状態の検知結果に応じた「状態情報」の一例に相当する。また、Ｓ１０１の処理が、上記状態情報を取得する取得処理の一例に相当する。 In S101, the information processing device 100 (recognition unit 102) captures an image according to the image capture result of the surrounding state of the transport device 190 by the detection unit 194 in the state where the article transported by the transport device 190 is placed. get. The detection unit 194 is supported so that at least a part of the article held by the holding unit 191 and a region around at least a part of the article are within the angle of view as described above. As a result, when the state around the transport device 190 is imaged by the detection unit 194 in a state where the article is placed in the placement area, the image according to the imaging result includes the above-mentioned article and the above-mentioned placement area. An index (for example, a frame, a frame of a shelf, etc.) according to the regulation will be imaged. The image captured by the detection unit 194 corresponds to an example of "state information" according to the detection result of the state around the transport device. Further, the process of S101 corresponds to an example of the acquisition process for acquiring the state information.

Ｓ１０２において、情報処理装置１００（認識部１０２）は、取得した画像（状態情報）に対して画像解析を施すことで、当該画像に撮像された物品と、当該物品が載置された載置領域と、を認識する。そして、情報処理装置１００は、物品及び載置領域の認識結果に基づき、当該載置領域に対する当該物品の載置状態を認識する。
例えば、情報処理装置１００は、物品及び載置領域の認識結果に基づき、当該載置領域に対する当該物品の位置及び姿勢のうち少なくともいずれかを、当該載置領域に対する当該物品の載置状態として認識してもよい。 In S102, the information processing device 100 (recognition unit 102) performs image analysis on the acquired image (state information) to obtain an article captured in the image and a placement area on which the article is placed. And recognize. Then, the information processing device 100 recognizes the placement state of the article with respect to the placement area based on the recognition result of the article and the placement area.
For example, the information processing apparatus 100 recognizes at least one of the positions and postures of the article with respect to the mounting area as the mounting state of the article with respect to the mounting area, based on the recognition result of the article and the mounting area. You may.

Ｓ１０３において、情報処理装置１００（管理部１０３）は、運搬の対象となる１以上の物品それぞれについて、載置領域に対する物品の載置状態の認識結果に応じた情報を取得し、当該情報に基づき当該１以上の物品それぞれの載置状態の管理を行う。
具体的な一例として、情報処理装置１００は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかの関係に応じて、「１．正常状態」、「２．配置にずれがある状態」、及び「３．配置ずれがあり、かつ危険な状態」のいずれに該当するかを判定してもよい。この場合には、情報処理装置１００は、当該判定の結果（すなわち、物品の載置状態の特定結果）に基づき、物品の載置状態の管理を行ってもよい。
また、情報処理装置１００は、情報収集ユニット１９３から対応する運搬装置１９０の位置情報を取得し、当該位置情報を、当該運搬装置１９０が運搬した物品の載置状態の管理に利用してもよい。
これにより、例えば、情報処理装置１００は、物品の載置状態の管理結果に応じた情報を所定の出力部（例えば、出力部１０５）に出力させることで、当該情報をユーザに提示することも可能となる。 In S103, the information processing apparatus 100 (management unit 103) acquires information according to the recognition result of the placement state of the articles in the placement area for each of the one or more articles to be transported, and based on the information. It manages the placement state of each of the one or more articles.
As a specific example, the information processing apparatus 100 has "1. normal state", "2. misaligned state", depending on at least one of the positions and postures of the articles with respect to the placement area. And "3. There is a misalignment and a dangerous state" may be determined. In this case, the information processing apparatus 100 may manage the placement state of the article based on the result of the determination (that is, the specific result of the placement state of the article).
Further, the information processing device 100 may acquire the position information of the corresponding transport device 190 from the information collection unit 193 and use the position information for managing the placement state of the article carried by the transport device 190. ..
As a result, for example, the information processing apparatus 100 can present the information to the user by outputting the information according to the management result of the placement state of the article to a predetermined output unit (for example, the output unit 105). It will be possible.

＜補足＞
実施形態として上述した例はあくまで一例であり、必ずしも管理システム１を実現するための構成や、当該管理システム１の処理を限定するものではない。すなわち、上述した本実施形態に係る管理システム１の実現に係る技術思想を逸脱しない範囲で、管理システム１の構成や処理の一部が適宜変更されてもよい。 <Supplement>
The above-mentioned example as an embodiment is merely an example, and does not necessarily limit the configuration for realizing the management system 1 and the processing of the management system 1. That is, a part of the configuration and processing of the management system 1 may be appropriately changed as long as the technical idea relating to the realization of the management system 1 according to the above-described embodiment is not deviated.

具体的な一例として、情報処理装置１００の各機能構成のうち少なくとも一部の構成が、情報収集ユニット１９３側に設けられていてもよい。具体的な一例として、認識部１０２に相当する構成が、情報収集ユニット１９３側に設けられていてもよい。
また、他の一例として、情報収集ユニット１９３と情報処理装置１００とが一体的に構成されていてもよい。この場合には、情報処理装置１００側の機能構成に相当する部分（例えば、認識部１０２や管理部１０３）のうち、情報収集ユニット１９３側の機能構成（例えば、検知部１９４や位置情報取得部１９５）から情報を取得する処理が、「取得処理」の一例に相当する。 As a specific example, at least a part of the functional configurations of the information processing apparatus 100 may be provided on the information collection unit 193 side. As a specific example, a configuration corresponding to the recognition unit 102 may be provided on the information collection unit 193 side.
Further, as another example, the information collection unit 193 and the information processing device 100 may be integrally configured. In this case, among the parts corresponding to the functional configuration on the information processing apparatus 100 side (for example, the recognition unit 102 and the management unit 103), the functional configuration on the information collection unit 193 side (for example, the detection unit 194 and the position information acquisition unit). The process of acquiring information from 195) corresponds to an example of the “acquisition process”.

また、上記では運搬装置１９０としてフォークリフトが適用される場合の一例について説明したが、必ずしも本実施形態に係る管理システム１の適用先を限定するものではない。すなわち、荷物等の物品を何らかの方法で保持する保持部を備えた装置により運搬された物品の、所望の載置領域に対する載置状態を管理するような場合には、本実施形態に係る管理システム１を適用することが可能である。
具体的な一例として、運搬装置１９０としてクレーンを適用することも可能である。この場合には、例えば、クレーンのフックに相当する部分が保持部１９１の一例に相当する。
また、他の一例として、ショベルカーやブルドーザー等の工作機械を本実施形態に係る管理システム１における運搬装置１９０と見立てて、当該工作機械により運搬された土砂等の載置状態の管理を行うことも可能である。この場合には、例えば、ショベルカーやブルドーザーのバケットに相当する部分が、保持部１９１の一例に相当する。 Further, although an example in which the forklift is applied as the transport device 190 has been described above, the application destination of the management system 1 according to the present embodiment is not necessarily limited. That is, in the case of managing the placement state of the article transported by the device provided with the holding portion for holding the article such as luggage in a desired loading area, the management system according to the present embodiment. It is possible to apply 1.
As a specific example, it is also possible to apply a crane as a transport device 190. In this case, for example, the portion corresponding to the hook of the crane corresponds to an example of the holding portion 191.
Further, as another example, a machine tool such as a shovel car or a bulldozer is regarded as a transport device 190 in the management system 1 according to the present embodiment, and the placement state of earth and sand or the like transported by the machine tool is managed. Is also possible. In this case, for example, the portion corresponding to the bucket of the excavator car or the bulldozer corresponds to an example of the holding portion 191.

また、情報処理装置１００は、載置領域に対する物品の載置状態の特定に係る条件を制御してもよい。
例えば、情報処理装置１００は、物品の種別に応じて、載置領域に対する当該物品の載置状態の特定に係る条件（例えば、位置及び姿勢のずれの特定に利用する閾値）を制御してもよい。具体的には、運搬対象となる物品の形状が必ずしも一般的な箱のように直方体や立方体の形状を有しているとは限らない。このような状況下では、例えば、載置領域に対する物品の姿勢を調整したとしても、当該物品の一部が当該載置領域に対して傾いた状態で載置されることとなる場合がある。このような場合には、情報処理装置１００は、運搬対象となる物品の形状に応じて、載置領域に対する物品の載置状態が正常と判定する条件（例えば、載置領域に対する物品の位置や姿勢のずれの比較対象となる閾値）を緩和してもよい。なお、この場合には、物品の種別を特定する方法は特に限定されない。例えば、情報処理装置１００は、物品の撮像結果に応じた画像に基づき当該物品の種別を特定してもよいし、物品に付されたマーカやタグ等の読み取り結果に基づき当該物品の種別を特定してもよい。
また、他の一例として、情報処理装置１００は、載置領域の種別に応じて、載置領域に対する当該物品の載置状態の特定に係る条件（例えば、位置及び姿勢のずれの特定に利用する閾値）を制御してもよい。上述した物品の場合と同様に、載置領域の形状についても、必ずしも方形状とは限らない。このような状況下では、例えば、運搬対象となる物品が箱状の形状（直方体や立方体の形状）を有している場合に、載置領域に対する物品の姿勢を調整したとしても、当該物品の一部が当該載置領域に対して傾いた状態で載置されることとなる場合がある。そのため、このような場合には、情報処理装置１００は、運搬対象となる物品が載置される載置領域の形状に応じて、載置領域に対する物品の載置状態が正常と判定する条件（例えば、載置領域に対する物品の位置や姿勢のずれの比較対象となる閾値）を緩和してもよい。なお、この場合には、載置領域の種別を特定する方法は特に限定されない。例えば、情報処理装置１００は、載置領域の撮像結果に応じた画像に基づき当該載置領域の種別を特定してもよいし、載置領域に付されたマーカやタグ等の読み取り結果に基づき当該載置領域の種別を特定してもよい。 Further, the information processing apparatus 100 may control the conditions for specifying the placement state of the article with respect to the placement area.
For example, the information processing apparatus 100 may control a condition (for example, a threshold value used for specifying a displacement of a position and a posture) related to specifying a placement state of the article with respect to the placement area according to the type of the article. Good. Specifically, the shape of the article to be transported does not necessarily have the shape of a rectangular parallelepiped or a cube like a general box. Under such circumstances, for example, even if the posture of the article with respect to the loading area is adjusted, a part of the article may be placed in an inclined state with respect to the loading area. In such a case, the information processing apparatus 100 determines that the placement state of the article with respect to the placement area is normal according to the shape of the article to be transported (for example, the position of the article with respect to the placement area or the position of the article. The threshold value for comparison of posture deviation) may be relaxed. In this case, the method for specifying the type of the article is not particularly limited. For example, the information processing device 100 may specify the type of the article based on an image according to the imaging result of the article, or specify the type of the article based on the reading result of a marker, a tag, or the like attached to the article. You may.
Further, as another example, the information processing apparatus 100 is used for specifying a condition (for example, a deviation in position and posture) related to specifying a mounting state of the article with respect to the mounting area according to the type of the mounting area. Threshold) may be controlled. As in the case of the article described above, the shape of the mounting area is not necessarily square. Under such circumstances, for example, when the article to be transported has a box-like shape (cuboid or cube shape), even if the posture of the article with respect to the mounting area is adjusted, the article A part of the mounting area may be mounted in an inclined state with respect to the mounting area. Therefore, in such a case, the information processing apparatus 100 determines that the placement state of the article with respect to the placement area is normal according to the shape of the placement area on which the article to be transported is placed ( For example, the threshold value for comparing the position and posture deviation of the article with respect to the placement area) may be relaxed. In this case, the method of specifying the type of the mounting area is not particularly limited. For example, the information processing apparatus 100 may specify the type of the mounting area based on the image according to the imaging result of the mounting area, or based on the reading result of a marker, a tag, or the like attached to the mounting area. The type of the mounting area may be specified.

また、情報処理装置１００は、運搬装置により運搬された物品が載置された載置領域に対する当該物品の載置状態に加えて、当該物品の周囲に載置された他の物品の載置状態を認識してもよい。例えば、検知部１９４（例えば、撮像部）が状態検知の対象とする領域の広さに応じて、当該検知部１９４は、載置領域に載置された物品の状態に加えて、当該物品の周囲に載置された他の物品の状態を検知することも可能である。この場合には、情報処理装置１００は、運搬された物品の載置状態の認識結果に加えて、当該物品の周囲に載置された他の物品の載置状態の認識結果を、一連の物品の載置状態の管理に利用してもよい。これにより、例えば、運搬された物品が載置領域に載置された際に、周囲に載置された他の物品に対して運搬された物品や運搬装置の保持部が接触することで他の物品の載置状態が変化した場合に、当該他の物品の載置状態の変化を認識することが可能となる。 Further, in the information processing device 100, in addition to the mounting state of the article on the loading area on which the article transported by the transport device is placed, the mounting state of other articles placed around the article. May be recognized. For example, depending on the size of the area targeted by the detection unit 194 (for example, the imaging unit) for state detection, the detection unit 194 may add the state of the article placed in the mounting area to the state of the article. It is also possible to detect the condition of other articles placed around it. In this case, the information processing device 100, in addition to the recognition result of the placed state of the transported article, recognizes the placed state of other articles placed around the article as a series of articles. It may be used to manage the mounting state of. As a result, for example, when the transported article is placed in the loading area, the transported article or the holding portion of the transport device comes into contact with the other articles placed around it, thereby causing other articles. When the placement state of an article changes, it becomes possible to recognize the change in the placement state of the other article.

また、情報処理装置１００は、載置領域に対する物品の載置状態の認識結果に応じた情報を時系列に沿って履歴として管理してもよい。また、この際に、情報処理装置１００は、物品の載置状態の認識結果に応じた情報に対して、当該物品を運搬した運搬装置に関する情報や、当該物品が載置された載置領域に関する情報を関連付けてもよい。以上のようにして蓄積された履歴を解析することで、例えば、載置された際に物品の位置や姿勢のずれが発生しやすい載置領域や、載置領域に対して物品の積み下ろしが行われる際に当該物品の位置や姿勢のずれが発生しやすい運搬装置を特定することも可能となる。 Further, the information processing apparatus 100 may manage information according to the recognition result of the placement state of the article in the placement area as a history in chronological order. Further, at this time, the information processing device 100 relates to the information regarding the transport device that carried the article and the placement area on which the article is placed, with respect to the information according to the recognition result of the placement state of the article. Information may be associated. By analyzing the history accumulated as described above, for example, when the article is placed, the position or posture of the article is likely to shift, and the article can be loaded or unloaded with respect to the loading area. It is also possible to identify a transport device in which the position and posture of the article are likely to be displaced when the article is struck.

＜むすび＞
以上説明したように、本実施形態に係る管理システム１において、情報処理装置１００は、取得手段と、認識手段とを備える。取得手段は、保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する。認識手段は、上記状態情報に基づき、上記運搬装置により運搬された上記物品が載置された載置領域に対する、当該物品の載置状態を認識する。以上のような構成により、本実施形態に係る管理システム１に依れば、運搬対象となる物品や当該物品が載置される棚等の載置領域に対してセンサ等を設けなくとも、当該載置領域に対する当該物品の載置状態を認識することが可能となる。すなわち、本実施形態に係る管理システム１に依れば、荷役作業の管理をより低いコストで実現することが可能となる。
また、本実施形態に係る管理システム１に依れば、必ずしもセンサ等を利用する必要が無いため、センサの動作が制限されるような環境下においても、所望の載置領域に対する物品の載置状態を認識することが可能となる。 <Conclusion>
As described above, in the management system 1 according to the present embodiment, the information processing device 100 includes acquisition means and recognition means. The acquisition means acquires state information according to the detection result of the surrounding state of at least a part of the holding portion of the transport device configured to be movable while the article is held by the holding portion. Based on the state information, the recognition means recognizes the placement state of the article with respect to the placement area on which the article carried by the transportation device is placed. With the above configuration, according to the management system 1 according to the present embodiment, even if a sensor or the like is not provided for a mounting area such as an article to be transported or a shelf on which the article is placed, the said article. It becomes possible to recognize the placement state of the article with respect to the placement area. That is, according to the management system 1 according to the present embodiment, it is possible to realize the management of cargo handling work at a lower cost.
Further, according to the management system 1 according to the present embodiment, since it is not always necessary to use a sensor or the like, the article is placed in a desired mounting area even in an environment where the operation of the sensor is restricted. It becomes possible to recognize the state.

また、本実施形態に係る管理システム１に依れば、物品の載置状態の認識結果（例えば、載置領域に対する物品のずれ等）を荷役作業の管理に利用することで、倉庫等のような物品（荷物等）が載置される空間を有効に活用することも可能となる。
具体的には、撮像画像に対して画像解析を施すことで、載置された物品（荷物等）のサイズを取得したり、倉庫内の棚に紐付けられた荷物の情報のうち、予め登録された当該荷物のサイズの情報を利用することで、当該棚において荷物が占める占有率を算出して荷役管理に利用するような場合がある。このような場合において、荷物が本来載置される領域からずれた状態で載置されると、デッドスペースが生じる等の影響により、事前に算出された占有率の通りに荷物を載置することが困難となる場合がある。本実施形態に係る管理システム１に依れば、このような現象の発生を未然に防止することが可能となる。
また、ずれの度合いが閾値より小さいために誤った載置状態にあると認識しない場合であっても、認識された載置状態に基づき、より正確な占有率を算出することが可能となる。これにより、例えば、それぞれの載置領域について算出された占有率や各運搬装置の状態に基づいて、各運搬装置に対してより適切な作業指示を行うことが可能となる。 Further, according to the management system 1 according to the present embodiment, the recognition result of the loading state of the article (for example, the displacement of the article with respect to the loading area) is used for the management of the cargo handling work, so that the cargo handling work can be performed like a warehouse. It is also possible to effectively utilize the space in which various items (baggage, etc.) are placed.
Specifically, by performing image analysis on the captured image, the size of the placed article (baggage, etc.) can be obtained, and the information on the baggage linked to the shelves in the warehouse can be registered in advance. By using the information on the size of the cargo, the occupancy rate of the cargo on the shelf may be calculated and used for cargo handling management. In such a case, if the luggage is placed in a state deviated from the area where it is originally placed, the luggage should be placed according to the occupancy rate calculated in advance due to the influence of dead space and the like. May be difficult. According to the management system 1 according to the present embodiment, it is possible to prevent the occurrence of such a phenomenon.
Further, even if the degree of deviation is smaller than the threshold value and it is not recognized that the vehicle is in the wrong mounting state, it is possible to calculate the occupancy rate more accurately based on the recognized mounting state. This makes it possible to give more appropriate work instructions to each transport device, for example, based on the occupancy rate calculated for each mounting area and the state of each transport device.

１ 管理システム
１００ 情報処理装置
１０１ 通信部
１０２ 認識部
１０３ 管理部
１０４ 記憶部
１０５ 出力部
１９０ 運搬装置
１９１ 保持部
１９２ 支持部
１９３ 情報収集ユニット
１９４ 検知部
１９５ 位置情報取得部
１９６ 通信部 1 Management system 100 Information processing device 101 Communication unit 102 Recognition unit 103 Management unit 104 Storage unit 105 Output unit 190 Transport device 191 Holding unit 192 Support unit 193 Information collection unit 194 Detection unit 195 Location information acquisition unit 196 Communication unit

Claims (18)

保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得手段と、
前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識手段と、
を備える、情報処理装置。 An acquisition means for acquiring state information according to a detection result of a state around at least a part of the holding part of a transport device configured to be movable while holding an article by a holding part.
Based on the state information, a recognition means for recognizing the placement state of the article with respect to the placement area on which the article carried by the transportation device is placed.
Information processing device. 運搬の対象となる１以上の物品それぞれについて、前記認識の結果に基づき、当該１以上の物品それぞれの前記載置状態を管理する管理手段を備える、請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a management means for managing the pre-described state of each of the one or more articles to be transported based on the result of the recognition. 前記認識手段は、前記載置状態として、少なくとも、前記載置領域と前記物品との間の位置及び姿勢のうち少なくいずれかの関係を認識する、請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the recognition means recognizes at least one of the positions and postures between the pre-described area and the article as the pre-described state. 前記認識手段は、前記載置状態として、少なくとも、前記載置領域に対する、当該載置領域に載置された前記物品の位置及び姿勢のうちの少なくともいずれかのずれを認識し、
前記管理手段は、前記ずれの認識結果に応じて、所定の出力手段に報知情報を報知させる、
請求項３に記載の情報処理装置。 The recognition means recognizes at least any deviation of at least one of the positions and postures of the articles placed in the mounting area with respect to the pre-described placement area as the pre-described placement state.
The management means causes a predetermined output means to notify the notification information according to the recognition result of the deviation.
The information processing device according to claim 3. 前記管理手段は、認識された前記ずれの量が閾値を超えた場合に、前記出力手段に前記報知情報を報知させる、請求項４に記載の情報処理装置。 The information processing device according to claim 4, wherein the management means causes the output means to notify the notification information when the recognized amount of the deviation exceeds a threshold value. 前記管理手段は、前記物品の種別に応じて前記閾値を制御する、請求項５に記載の情報処理装置。 The information processing device according to claim 5, wherein the management means controls the threshold value according to the type of the article. 前記管理手段は、前記載置領域に応じて前記閾値を制御する、請求項５または６に記載の情報処理装置。 The information processing device according to claim 5 or 6, wherein the management means controls the threshold value according to the above-described storage area. 前記管理手段は、前記載置状態の認識結果に応じた情報を時系列に沿って管理する、請求項２〜７のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 2 to 7, wherein the management means manages information according to the recognition result of the previously described stationary state in chronological order. 前記管理手段は、前記載置状態の認識結果に基づき、前記載置領域を前記物品が占める占有率を算出する、請求項２〜８のいずれか１項に記載の情報処理装置。 The information processing device according to any one of claims 2 to 8, wherein the management means calculates the occupancy rate of the article in the pre-described storage area based on the recognition result of the pre-described storage state. 前記状態情報は、前記保持部により前記物品が保持された状態において、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、を含むように設定された領域の状態の検知結果に応じた情報である、
請求項１〜９のいずれか１項に記載の情報処理装置。 The state information detects the state of a region set to include at least a part of the article and a region around at least a part of the article in a state where the article is held by the holding portion. Information according to the result,
The information processing device according to any one of claims 1 to 9. 前記状態情報は、前記載置領域に対して前記保持部に保持された前記物品の積み下ろしが行われた後に取得された、当該保持部の少なくとも一部の周囲に位置する当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、の状態の検知結果に応じた情報である、請求項１０に記載の情報処理装置。 The state information is at least a part of the article located around at least a part of the holding part, which is acquired after the article held in the holding part is loaded and unloaded with respect to the previously described placing area. The information processing apparatus according to claim 10, wherein the information is based on the detection result of the state of at least a part of the surrounding area of the article. 前記状態情報は、前記保持部により保持された状態で前記載置領域に運搬された前記物品が、当該載置領域に対して積み下ろしが行われる前に取得された、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、の状態の検知結果に応じた情報である、請求項１０に記載の情報処理装置。 The state information includes at least a part of the article obtained before the article carried to the above-mentioned placement area while being held by the holding portion is loaded and unloaded with respect to the placement area. The information processing apparatus according to claim 10, wherein the information is based on the detection result of the state of at least a part of the surrounding area of the article. 前記状態情報は、前記保持部に対して所定の位置関係となるように支持された検知部による、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた情報である、請求項１〜１２のいずれか１項に記載の情報処理装置。 The state information is information according to the detection result of the state around at least a part of the holding part by the detecting part supported so as to have a predetermined positional relationship with respect to the holding part. The information processing apparatus according to any one of 12 to 12. 前記検知部は、撮像部であり、
前記状態情報は、前記撮像部により撮像された画像であり、
前記撮像部は、前記保持部により前記物品が保持された状態における、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、を含む領域が画角内に収まるように支持される、
請求項１３に記載の情報処理装置。 The detection unit is an imaging unit and
The state information is an image captured by the imaging unit, and is an image.
The imaging unit supports the region including at least a part of the article and a region around at least a part of the article in a state where the article is held by the holding portion so as to fit within the angle of view. Be done,
The information processing device according to claim 13. 前記運搬装置は、フォークリフトであり、
前記保持部は、前記フォークリフトが備えるフォークである、
請求項１〜１４のいずれか１項に記載の情報処理装置。 The transport device is a forklift.
The holding portion is a fork included in the forklift.
The information processing device according to any one of claims 1 to 14. 前記認識手段は、前記載置領域に載置された前記物品の周囲に載置された他の物品の載置状態を認識する、請求項１〜１５のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 15, wherein the recognition means recognizes a placement state of another article placed around the article placed in the above-mentioned placement area. .. 情報処理装置が実行する情報処理方法であって、
保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得ステップと、
前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識ステップと、
を含む、情報処理方法。 It is an information processing method executed by an information processing device.
An acquisition step of acquiring state information according to a detection result of a state around at least a part of the holding part of a transport device configured to be movable while holding an article by a holding part.
Based on the state information, a recognition step of recognizing the placement state of the article with respect to the placement area on which the article carried by the transportation device is placed, and
Information processing methods, including. コンピュータに、
保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得ステップと、
前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識ステップと、
を実行させるためのプログラム。 On the computer
An acquisition step of acquiring state information according to a detection result of a state around at least a part of the holding part of a transport device configured to be movable while holding an article by a holding part.
Based on the state information, a recognition step of recognizing the placement state of the article with respect to the placement area on which the article carried by the transportation device is placed, and
A program to execute.
JP2019232022A 2019-12-23 2019-12-23 Information processing device, information processing method, and program Active JP7421925B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019232022A JP7421925B2 (en) 2019-12-23 2019-12-23 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019232022A JP7421925B2 (en) 2019-12-23 2019-12-23 Information processing device, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2021098596A true JP2021098596A (en) 2021-07-01
JP7421925B2 JP7421925B2 (en) 2024-01-25

Family

ID=76540718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019232022A Active JP7421925B2 (en) 2019-12-23 2019-12-23 Information processing device, information processing method, and program

Country Status (1)

Country Link
JP (1) JP7421925B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190634A1 (en) * 2021-03-12 2022-09-15 オムロン株式会社 Transport possibility determining device, distance measuring device, transportation unit, transport possibility determining method, and transport possibility determining program
WO2022190635A1 (en) * 2021-03-12 2022-09-15 オムロン株式会社 Transport unit, transport method, and transport program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6439327B2 (en) 2014-09-02 2018-12-19 村田機械株式会社 Transport vehicle system
JP6747511B2 (en) 2016-10-07 2020-08-26 村田機械株式会社 Conveying device and conveying method
JP6822255B2 (en) 2017-03-22 2021-01-27 日本電気株式会社 In-vehicle devices, control circuits, control methods, and programs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190634A1 (en) * 2021-03-12 2022-09-15 オムロン株式会社 Transport possibility determining device, distance measuring device, transportation unit, transport possibility determining method, and transport possibility determining program
WO2022190635A1 (en) * 2021-03-12 2022-09-15 オムロン株式会社 Transport unit, transport method, and transport program

Also Published As

Publication number Publication date
JP7421925B2 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
KR102347015B1 (en) Vehicle tracking in a warehouse environment
US10586218B2 (en) Waste management system implementing receptacle tracking
JP2019531907A (en) Assessment of robot grip
JP2012532816A (en) A system for inventory management of shipping container handling equipment.
JP7444687B2 (en) On-board equipment, operation management device, driving support system, and driving support program
JP2021098596A (en) Information processing device, information processing method and program
US10012992B2 (en) Integrated obstacle detection and payload centering sensor system
US20190262994A1 (en) Methods and systems for operating a material handling apparatus
JP2009015684A (en) Vehicle dispatching system and method
GB2602588A (en) Electronic device for automated user identification
JP2012197136A (en) Physical distribution quality inspection system and component device thereof
US10035647B1 (en) Waste receptacle and system having visual indicator
US20200074676A1 (en) Management system, storage medium, position calculation method, and management apparatus
JP6600726B1 (en) Determination apparatus and determination method
JP7486095B2 (en) VEHICLE MONITORING METHOD, VEHICLE MONITORING DEVICE, VEHICLE, AND VEHICLE MONITORING SYSTEM
ES2933409T3 (en) System and procedure to identify the destination of a payload
JP2021076711A (en) Scrap image capturing system, scrap image capturing method, image capturing support device, and program
CN116468231A (en) Cargo transportation abnormality determination method and device, intelligent terminal and storage medium
KR101834336B1 (en) Material location recognition system using storage image monitoring and forklift truck
KR20110052332A (en) Transport vehicles management server and container transport management system including the same
US20150213400A1 (en) Placement information registration device, placement information registration method, and placement information registration program
JP7346283B2 (en) Information processing device, information processing method, and program
JP7411406B2 (en) Information processing device, information processing method, and program
JP2017077955A (en) Management device, baggage management system, management method, and program
JP6763266B2 (en) Management device, management method, program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240115

R150 Certificate of patent or registration of utility model

Ref document number: 7421925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150