JP2023143182A - Baggage search system, baggage search method, information processing device, and control method thereof - Google Patents
Baggage search system, baggage search method, information processing device, and control method thereof Download PDFInfo
- Publication number
- JP2023143182A JP2023143182A JP2022050420A JP2022050420A JP2023143182A JP 2023143182 A JP2023143182 A JP 2023143182A JP 2022050420 A JP2022050420 A JP 2022050420A JP 2022050420 A JP2022050420 A JP 2022050420A JP 2023143182 A JP2023143182 A JP 2023143182A
- Authority
- JP
- Japan
- Prior art keywords
- image
- baggage
- sorting
- package
- search range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000010365 information processing Effects 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000011144 upstream manufacturing Methods 0.000 claims description 14
- 230000032258 transport Effects 0.000 description 65
- 238000012545 processing Methods 0.000 description 56
- 238000007726 management method Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本開示は、荷物探索システム、荷物探索方法、情報処理装置およびその制御方法に関する。 The present disclosure relates to a baggage search system, a baggage search method, an information processing device, and a control method thereof.
近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。 With the increase in economic activity in recent years, the amount of parcels in circulation is increasing. In the baggage distribution process, the sorting process of sorting packages by destination is a time-consuming process that has traditionally relied on manual labor, but technologies have also been proposed to automate at least part of the sorting process.
特許文献1は、搬送経路上を移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。 Patent Document 1 tracks a package moving on a transport route, determines an image to be displayed based on information about the package read from the package and information on the location of the package, and projects the image onto the package from a projector to display the image. The company is disclosing a system that displays this on luggage.
しかしながら、昨今の荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。 However, in recent years, the amount of parcels in circulation has been increasing more and more, and the types of parcels have become more diverse, and there is a need for technology for sorting parcels more efficiently and accurately.
本開示は、上述した従来の事情を鑑みて案出され、荷物の仕分けをより効率的かつ正確に行うための技術に関する。特に、荷物探索システム、荷物探索方法、情報処理装置およびその制御方法を提供することを目的とする。 The present disclosure was devised in view of the above-mentioned conventional circumstances, and relates to a technique for sorting packages more efficiently and accurately. In particular, the present invention aims to provide a baggage search system, a baggage search method, an information processing device, and a control method thereof.
本開示は、搬送されている荷物の連続する複数の画像を撮影する撮影部と、前記複数の画像それぞれを用いて荷物を検出する検出部と、を有し、前記検出部は、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲を設定し、前記第2の画像のうち、前記探索範囲から、前記荷物の検出を行う荷物探索システムを提供する。 The present disclosure includes a photographing unit that captures a plurality of consecutive images of a package being transported, and a detection unit that detects the package using each of the plurality of images, and the detection unit includes a plurality of images of the package being transported. After detecting a package using a first image of the images, when detecting a package using a second image subsequent to the first image, the position of the package detected from the first image. The present invention provides a baggage search system that sets a search range for the baggage in the second image based on the above, and detects the baggage from the search range in the second image.
また、本開示は、搬送されている荷物の連続する複数の画像を撮影部により撮影する撮影ステップと、前記複数の画像それぞれを用いて荷物を検出する検出ステップと、を有し、前記検出ステップにおいて、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲を設定し、前記第2の画像のうち、前記探索範囲から、前記荷物の検出が行われる、荷物探索方法を提供する。 Further, the present disclosure includes a photographing step of photographing a plurality of consecutive images of the baggage being transported by a photographing unit, and a detection step of detecting the baggage using each of the plurality of images, and the detection step After detecting a package using a first image of the plurality of images, when detecting a package using a second image subsequent to the first image, A baggage search method is provided, in which a search range for the baggage in the second image is set based on the detected position of the baggage, and the baggage is detected from the search range in the second image. .
また、本開示は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、搬送されている荷物の連続する複数の画像を取得し、前記複数の画像それぞれを用いて荷物を検出し、前記検出において、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲が設定され、前記第2の画像のうち、前記探索範囲から、前記荷物の検出が行われる、情報処理装置を提供する。 Further, the present disclosure includes a processor and a memory, and the processor cooperates with the memory to acquire a plurality of consecutive images of the cargo being transported, and uses each of the plurality of images to Detecting a package, and in the detection, detecting the package using a first image of the plurality of images, and then detecting the package using a second image subsequent to the first image. , a search range for the package in the second image is set based on the position of the package detected from the first image, and the package is detected from the search range in the second image. , provides an information processing device.
また、本開示は、プロセッサがメモリと協働して、搬送されている荷物の連続する複数の画像を取得し、前記複数の画像それぞれを用いて荷物を検出し、前記検出において、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲が設定され、前記第2の画像のうち、前記探索範囲から、前記荷物の検出が行われる、情報処理装置の制御方法を提供する。 Further, the present disclosure provides a method in which a processor cooperates with a memory to acquire a plurality of consecutive images of the transported baggage, detects the baggage using each of the plurality of images, and in the detection, the plurality of After detecting a package using a first image of the images, when detecting a package using a second image subsequent to the first image, the position of the package detected from the first image. A search range for the baggage in the second image is set based on the search range for the baggage in the second image, and the baggage is detected from the search range in the second image.
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。 Note that arbitrary combinations of the above components and expressions of the present disclosure converted between methods, devices, systems, storage media, computer programs, etc. are also effective as aspects of the present disclosure.
本開示によれば、荷物の仕分けをより効率的かつ正確に行うことが可能となる。 According to the present disclosure, it is possible to sort packages more efficiently and accurately.
以下、添付図面を適宜参照しながら、本開示に係る荷物探索システム、荷物探索方法、情報処理装置およびその制御方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、あるいは、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments specifically disclosing a baggage search system, a baggage search method, an information processing device, and a control method thereof according to the present disclosure will be described in detail with reference to the accompanying drawings as appropriate. However, more detailed explanation than necessary may be omitted. For example, detailed explanations of well-known matters or redundant explanations of substantially the same configurations may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art. The accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter recited in the claims.
<実施の形態1>
[システム構成]
図1は、実施の形態に係る荷物仕分けシステム100の構成例を示すブロック図である。荷物仕分けシステム100は、搬送コンベア(図1では不図示)により搬送されてくる複数の荷物を仕分ける作業者の作業を支援するシステムであり、荷物探索システムとしても動作する。荷物仕分けシステム100は、例えば、小売業者、卸売り業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形やサイズは特に限定はされず、荷物の種類も特に限定されない。荷物を搬送する搬送コンベアは、例えば、ベルトコンベアまたはローラコンベアなどであってよい。また、荷物の搬送経路は、複数の搬送コンベアを組み合わせることで、搬送方向が変化したり、搬送経路の一部が分岐したりしていてもよい。
<Embodiment 1>
[System configuration]
FIG. 1 is a block diagram showing a configuration example of a
荷物仕分けシステム100は、仕分け管理サーバ101、連携サーバ102、ラベルリーダ103、仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107を含んで構成される。仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107を1つの組として、荷物を搬送する搬送コンベア上に設けられる複数の仕分け領域それぞれに対応付けて複数のクライアントシステム110が設けられる。したがって、仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107はそれぞれ、仕分け領域の数に応じて複数設置される。以下の説明において、個別に装置の説明を要する場合には添え字(a,b,・・・)を付し、装置をまとめて説明する場合には添え字を省略して示す。
The
仕分け管理サーバ101は、本実施の形態に係る荷物仕分けシステム100の全体の制御を司る情報処理装置である。仕分け管理サーバ101は、ラベルリーダ103の検出結果を取得したり、連携サーバ102から各種荷物情報を取得したりする。また、仕分け管理サーバ101は、1または複数の仕分けクライアント104それぞれに対して、各種指示を行ったり、各種情報を収集したりする。更に、仕分け管理サーバ101は、後述する搬送コンベアの動作制御や、動作情報の収集および管理を行ってよい。
The
連携サーバ102は、ラベル情報と、荷物情報とを対応付けて保持、管理している。そして、連携サーバ102は、仕分け管理サーバ101からの要求に応じて、ラベルリーダ103にて読み取ったラベル情報に対応する荷物情報を提供する。なお、図1の例では、仕分け管理サーバ101、および連携サーバ102はそれぞれ1台ずつ示しているが、機能の冗長化や負荷分散などの観点から複数の装置にて構成されてもよい。また、仕分け管理サーバ101側にて、ラベル情報と仕分けのパターンを対応付けて管理しておき、これに基づいて、後述する各荷物の仕分けに係る処理を行ってもよい。このような場合などには、連携サーバ102の構成を省略し、仕分け管理サーバ101は、取得したラベル情報のパターンに基づいて、後述する各荷物の仕分けに係る処理を行うような構成であってよい。
The
ラベルリーダ103は、搬送コンベアにより搬送されている荷物に付されているラベルを読み取るための装置であり、レンズやイメージセンサなどの光学部品を含んで構成される。荷物に付されているラベルを読み取ることで、ラベルにて示される各種情報(以下、「ラベル情報」と称する)を取得する。ラベルの形式や方式は特に限定するものではなく、例えば、バーコードや二次元コード(QRコード(登録商標)など)を利用することができる。本実施の形態では、ラベルとしてバーコードを例に挙げて説明する。また、ラベル情報は、例えば、荷物を一意に識別するための識別情報を含んでよい。この場合、識別情報を構成する文字種や桁数などは特に限定されない。
The
ラベルリーダ103は、例えば、一般的な撮像カメラを使用し、撮像した画像からラベルの領域を画像認識によって抽出して各種情報を読み取ったり、ラベルに記載されている文字等をOCR(Optical Character Recognition/Reader)によって認識したりしてもよい。ラベルリーダ103は、ラベルを読み取るための専用の装置であってもよいし、他の装置と一体となった構成であってもよい。また、ラベルリーダ103は、ラベルの三次元座標を検出するような構成であってもよい。また、荷物の多様なサイズなどに対応して複数のラベルリーダ103が備えられてもよいし、ラベルの様々な貼り付け位置に対応して多方向から荷物を撮影するような構成であってもよい。
The
本実施の形態に係る荷物情報としては、例えば、荷物に個別に付与される荷物特定番号(例えば、荷物を一意に識別するための識別情報)、荷物の発送元の氏名、住所、電話番号、宛先(例えば、受取人)の氏名、住所、電話番号、荷物の種類、などが挙げられる。なお、これらの情報に限定するものではなく、荷物情報に含まれる項目は、必要に応じて増減してよい。本実施の形態において、仕分け管理サーバ101がラベルリーダ103からラベル情報を取得し、このラベル情報を用いて連携サーバ102に問い合わせを行うことで、対応する荷物情報を取得する。上述したように、連携サーバ102との連携を省略するような構成の場合には、仕分け管理サーバ101側で、ラベル情報と仕分けに関するパターンの情報とを対応付けて保持しておいてよい。
The package information according to this embodiment includes, for example, a package identification number that is individually assigned to a package (e.g., identification information for uniquely identifying a package), the name, address, and telephone number of the package sender, Examples include the name, address, telephone number, and type of package of the destination (for example, recipient). Note that the information is not limited to these, and the items included in the baggage information may be increased or decreased as necessary. In this embodiment, the
仕分けクライアント104は、仕分け管理サーバ101からの指示に基づいて、搬送されている荷物に対する投影処理等を制御する情報処理装置である。また、仕分けクライアント104は、距離センサ106および画像センサ107による撮影結果を取得し、その撮影結果に基づいて荷物を検出、管理する。また、仕分けクライアント104は、検出した荷物の位置情報やサイズ情報、検出した時刻情報などを仕分け管理サーバ101に提供する。
The sorting client 104 is an information processing device that controls projection processing and the like for the cargo being transported based on instructions from the
プロジェクタ105は、仕分けクライアント104の指示に基づいて、搬送経路上の荷物に対して所定の投影パターンを含む投影画像の照射を行う投影装置である。なお、本実施の形態において、「投影画像」とは、プロジェクタ105により仕分け領域全体に重畳して投影させる画像全体を示す。また、「投影パターン」とは、仕分け領域にて検出された荷物それぞれに対応して重畳して表示させる画像を示す。したがって、仕分け領域にて荷物が検出された場合、投影画像には、荷物に応じて1または複数の投影パターンが含まれることとなる。投影パターンの例については後述する。 The projector 105 is a projection device that irradiates a projection image including a predetermined projection pattern onto the cargo on the transport route based on instructions from the sorting client 104 . Note that in this embodiment, the "projection image" refers to the entire image projected by the projector 105 onto the entire sorting area in a superimposed manner. Further, the "projection pattern" refers to an image that is displayed in a superimposed manner corresponding to each baggage detected in the sorting area. Therefore, when a package is detected in the sorting area, the projected image will include one or more projection patterns depending on the package. Examples of projection patterns will be described later.
距離センサ106は、距離センサ106と撮像対象(例えば、荷物の表面)との距離情報を検出するためのセンサであり、検出結果を距離画像として取得する。距離画像は、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものを含んでよい。すなわち、距離画像は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造を特に限定するものではない。距離センサ106としては、例えば、赤外線センサ(IRセンサ)や、複数のカメラにて構成されるステレオカメラなどが用いられてよい。 The distance sensor 106 is a sensor for detecting distance information between the distance sensor 106 and an object to be imaged (for example, the surface of a package), and acquires the detection result as a distance image. The distance image may include something that cannot be recognized as an image by the human eye, such as a table listing numerical values indicating distance. That is, the distance image may be information indicating the relationship between coordinates and distance within the imaged area, and its data structure is not particularly limited. As the distance sensor 106, for example, an infrared sensor (IR sensor), a stereo camera composed of a plurality of cameras, or the like may be used.
画像センサ107は、レンズ、イメージセンサ等の光学部品を含む撮像装置である。画像センサ107は、例えば、撮像カメラにて構成される。撮像カメラは、三次元カメラ、複数台の二次元カメラが用いられてよい。画像センサ107は、搬送コンベアにより搬送されてくる荷物を含む搬送コンベアを撮像し、色画像を生成する。ここでの色画像とは、撮影対象の表面の色を所定の階調で表現した画像を示す。階調にはRGB(Red,Green,Blue)の256階調の他、グレースケールなどを含んでよい。 The image sensor 107 is an imaging device that includes optical components such as a lens and an image sensor. The image sensor 107 is composed of, for example, an imaging camera. As the imaging camera, a three-dimensional camera or a plurality of two-dimensional cameras may be used. The image sensor 107 captures an image of the conveyor including the baggage being conveyed by the conveyor, and generates a color image. The color image here refers to an image in which the color of the surface of the object to be photographed is expressed in a predetermined gradation. In addition to the 256 gradations of RGB (Red, Green, and Blue), the gradation may include a gray scale.
クライアントシステム110の数は、搬送コンベアの長さや各センサの検出範囲などに応じて異なる。なお、仕分けクライアント104は1台構成とし、この1台の仕分けクライアント104にて、複数の仕分け領域に対応した複数のプロジェクタ105、複数の距離センサ106、および複数の画像センサ107を制御するような構成であってもよい。また、本実施の形態では、センサとして距離センサ106と画像センサ107を用いる例を示したが、これらが一体となったセンサが用いられてもよいし、いずれか一方のみが用いられるような構成であってもよい。また、他の種類のセンサが用いられてもよい。搬送コンベアの搬送形式は特に限定するものではなく、例えば、1列にて荷物を搬送するような構成であってもよいし、複数列にて荷物を搬送するような構成であってもよい。 The number of client systems 110 varies depending on the length of the conveyor, the detection range of each sensor, and the like. Note that the sorting client 104 is configured as one unit, and this one sorting client 104 controls a plurality of projectors 105, a plurality of distance sensors 106, and a plurality of image sensors 107 corresponding to a plurality of sorting areas. It may be a configuration. Further, in this embodiment, an example is shown in which the distance sensor 106 and the image sensor 107 are used as sensors, but a sensor in which these are integrated may be used, or a configuration in which only one of them is used is also possible. It may be. Also, other types of sensors may be used. The conveyance format of the conveyor is not particularly limited, and for example, the conveyor may be configured to convey the loads in one line, or may be configured to convey the loads in multiple lines.
各装置は、有線/無線により通信可能に接続される。ここでの通信方式や接続方式は特に限定するものではなく、所定のネットワークケーブルを用いて接続されてもよいし、複数の方式を組み合わせて接続されてもよい。 Each device is communicably connected by wire/wireless. The communication method and connection method here are not particularly limited, and the connection may be made using a predetermined network cable, or may be made by combining a plurality of methods.
(情報処理装置)
図2は、本実施の形態に係る仕分け管理サーバ101や連携サーバ102、仕分けクライアント104として適用可能な情報処理装置のハードウェア構成の例を示す図である。ここでは各装置が同じ構成を有するものとして説明するが、各装置がそれぞれ異なる構成であってもよい。
(Information processing device)
FIG. 2 is a diagram illustrating an example of the hardware configuration of an information processing device that can be used as the
情報処理装置200は、CPU(Central Processing Unit)201、メモリ202、記憶装置203、入出力部204、通信部205、および外部I/F206を含んで構成される。CPU201は、メモリ202や記憶装置203に格納された各種プログラムやデータを読み出して処理を実行することで、各種機能を実現する。なお、CPU201は、GPU(Graphics Processing Unit)のような他の演算回路であってもよいし、他の演算回路と併用されてもよい。メモリ202は、各種情報を記憶、保持するための記憶領域であり、例えば、不揮発性の記憶領域であるROM(Read Only Memory)や、揮発性の記憶領域であるRAM(Random Access Memory)などから構成される。記憶装置203は、各種情報を記憶、保持するための記憶領域であり、HDD(Hard Disk Drive)などから構成される。
The
入出力部204は、例えば、不図示のマウスやキーボードからユーザによる指示を受け付けたり、不図示のディスプレイなどにより各種情報を出力したりする。通信部205は、有線/無線などのネットワークを介して外部装置との通信を行い、各種データや信号の送受信を行う。通信部205による通信方式は、特に限定するものではなく、複数の通信方式に対応していてよい。例えば、WAN(Wide Area Network)、LAN(Local Area Network)、電力線通信、近距離無線通信(例えば、Bluetooth(登録商標))などが用いられてよい。外部I/F206は、外部装置とのデータの送受信を行うためのインタフェースである。情報処理装置200が備える各部位は、不図示の内部バスなどにより通信可能に接続される。
The input/
[搬送例]
図3は、本実施の形態に係る荷物の搬送を説明するための概略図である。搬送対象の荷物300にはそれぞれラベル301が付される。ラベル301は、搬送経路の任意の位置に設置されたラベルリーダ103によって、搬送中に読み取られる。なお、図3の例では、ラベル301は、荷物300の上面に付され、上側からラベルリーダ103により読み取られる構成としたが、これに限定するものではない。例えば、荷物300の側面にラベル301が付され、これに対応してラベルリーダ103が側方から読み取り可能な構成であってもよい。
[Example of transportation]
FIG. 3 is a schematic diagram for explaining the transportation of luggage according to this embodiment. A
荷物300は、搬送コンベア302により任意の速度にて搬送される。搬送コンベア302には、ロータリーエンコーダ303が設置され、その搬送距離を適時検出し、仕分け管理サーバ101に提供される。ロータリーエンコーダ303は、搬送コンベア302の搬送に伴って回転する回転機構(不図示)に取り付けられており、その回転機構の回転数を出力する。この回転機構は、搬送コンベア302がベルトコンベアの場合は、ベルトに接しているローラまたはベルトを移動させるモータである。また、搬送コンベア302がローラコンベアの場合は、搬送コンベア302を構成するローラである。ここでは、矢印にて示す方向に沿って、荷物が搬送されているものとする。搬送コンベア302は、ユーザからの指定に応じてその搬送速度が変化したり、搬送を停止したりする。必要に応じて、逆方向への搬送が行われてもよい。また、搬送コンベア302の搬送速度は、搬送コンベア302の各機構の物理的な特性など、ユーザからの指定以外の要因でも変化したりする。しかし、ロータリーエンコーダ303は、回転機構の回転数を正確に検知するため、搬送速度の変化等の影響を受けにくい。搬送コンベア302による搬送は、例えば、仕分け管理サーバ101により制御されてもよいし、別途設けられる制御装置(不図示)にて制御されてもよい。
The
ラベルリーダ103よりも搬送方向の下流側には、複数の仕分け領域に対応して、各種センサ(本例では、距離センサ106および画像センサ107)と、プロジェクタ105が複数設置される。図3では、複数の仕分け領域のうちの最上流の仕分け領域Aを示している。仕分け領域Aに対応する各種センサは、仕分け領域Aを撮影することにより各種画像を取得し、これらの画像を用いて、仕分けクライアント104aにより搬送中の荷物が検出される。具体的には、仕分け領域Aの開始位置305aに荷物300が到達すると、荷物300は、各種センサの撮影範囲に進入することとなる。距離センサ106aおよび画像センサ107aの撮影範囲304は、少なくとも仕分け領域Aの範囲を含む。また、仕分け領域Aの範囲内において、仕分け管理サーバ101や仕分けクライアント104の指示に基づいて、プロジェクタ105aが所定の投影画像を投影する。プロジェクタ105aによる投影範囲306は、少なくとも仕分け領域Aを含む。なお、ラベルリーダ103の読み取り位置から、開始位置305aまでの距離は、後述する処理シーケンスの処理速度や、各種センサの読み取り速度などに応じて規定されてよい。
On the downstream side of the
搬送コンベア302の周囲には、荷物300に対する作業を行う作業者Mが位置し、必要に応じて、各種作業を実施する。このとき、作業者Mは、プロジェクタ105により投影された投影画像(投影パターン等)に基づいて作業を実施することが可能である。
A worker M who performs work on the
図4は、複数のクライアントシステム110それぞれに対応した複数の仕分け領域を説明するための図である。ここでは、2つの仕分け領域A、Bを例に挙げ、それぞれ、クライアントシステム110a、110bにより監視されているものとして説明する。仕分け領域の数やその範囲(例えば、搬送方向の長さや幅)はクライアントシステム110の機能に応じて規定されてよい。したがって、仕分け領域Bよりも更に搬送方向下流において、更に1または複数の仕分け領域が設けられてよい。
FIG. 4 is a diagram for explaining a plurality of sorting areas corresponding to each of a plurality of client systems 110. Here, two sorting areas A and B will be taken as an example and explained as being monitored by
仕分け領域Aは、距離センサ106aおよび画像センサ107aにより撮影され、その画像が仕分けクライアント104aに提供される。また、仕分け領域Aにおいて、プロジェクタ105aにより、任意の投影パターンを含む投影画像が投影される。同様に、仕分け領域Aの搬送方向下流側に隣接する仕分け領域Bは、距離センサ106bおよび画像センサ107bにより撮影され、その画像が仕分けクライアント104bに提供される。また、仕分け領域Bにおいて、プロジェクタ105bにより、任意の投影パターンを含む投影画像が投影される。仕分け領域Bでは、仕分け領域Aから搬送されてきた荷物の監視を引き継ぐ形で監視が行われる。このとき、図4に示すように、クライアントシステム110それぞれによる仕分け領域は、一部の領域が重複しており、以下、この領域を「ハンドオーバ領域」とも称する。開始位置305bは、仕分け領域Bの監視の開始位置を示し、仕分け領域Bの上流側に隣接する仕分け領域Aの監視の終了位置(不図示)とは異なる。ハンドオーバ領域の詳細については後述する。
The sorting area A is photographed by the
[処理シーケンス]
図5、図6を用いて、本実施の形態に係る荷物仕分けシステム100の処理シーケンスについて説明する。各装置の処理は、各処理の処理主体(CPU等)により各種機能に対応したプログラムが実行されることで実現されてよい。図5や図6に示す処理が開始される際に搬送コンベア302の動作が開始され、それにより荷物が順次搬送されるものとする。なお、以下に示す処理シーケンスにおける各処理の主体は一例であり、その一部が他の装置によって実行されてもよい。例えば、以下に示す仕分け管理サーバ101の処理の一部を、仕分けクライアント104が実行するような構成であってもよい。または、図1に示した各サーバや仕分けクライアントを1の装置にて構成し、この1の装置にて以下の処理シーケンスを実行させてもよい。
[Processing sequence]
The processing sequence of the
ラベルリーダ103は、搬送コンベア302にて搬送されている荷物に付与されているラベルを検出し、そのラベル情報を読み取る(ステップS501)。
The
ラベルリーダ103は、S501にて読み取ったラベル情報を仕分け管理サーバ101へ送信する(ステップS502)。この時送信する情報としては、ラベルにて示される情報の他、読み取った時刻やラベルを読み取る際に検出した位置情報(例えば、三次元情報など)が含まれてもよい。
The
仕分け管理サーバ101は、ラベルリーダ103から送信されてきたラベル情報を取得する(ステップS503)。このとき、仕分け管理サーバ101は、搬送コンベア302に備えられたロータリーエンコーダ303から、検出値を取得して、対応付けて保持する。ロータリーエンコーダ303による検出値は、その回転数に基づく、搬送コンベア302の移動距離に相当する。更に、仕分け管理サーバ101は、取得したラベル情報を用いて、連携サーバ102に対して荷物情報を問い合わせる。
The
連携サーバ102は、仕分け管理サーバ101からの問い合わせにて示されるラベル情報に対応する荷物情報を所定のDB(データベース)から検索し、特定する(ステップS504)。DBは、連携サーバ102が内部に備えていてもよいし、ネットワークを介して連携サーバ102に接続された外部装置(不図示)に構成されていてもよい。
The
連携サーバ102は、ステップS504にて特定した荷物情報を、問い合わせに対する応答として仕分け管理サーバ101へ送信する(ステップS505)。
The
仕分け管理サーバ101は、連携サーバ102から取得した荷物情報に基づき、投影パターンを決定する(ステップS506)。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。投影パターンは、例えば、荷物情報にて示される宛先(例えば、送付先住所)に応じて決定されてよいし、仕分け領域に応じて決定されてもよい。
The
仕分け管理サーバ101は、ステップS506にて決定した投影パターンを含む投影指示を仕分けクライアント104へ送信する(ステップS507)。ここでは、図3にて示したように、搬送経路の最上流に位置する仕分け領域Aに対応するクライアントシステム110aの仕分けクライアント104aに送信するものとして説明する。つまり、各荷物は、まず、仕分け領域Aに向けて搬送される。なお、投影指示には、投影パターンのほか、ステップS506にて取得した荷物情報や、ステップS501にてラベルリーダ103にて読み取ったラベル情報およびその読み取った際の時刻の情報などを含んでよい。ここでの投影指示は、仕分けクライアント104aがセンサ類にて荷物を検出したことに起因して、その荷物に関する情報を問い合わせ、それに応じて仕分け管理サーバ101から仕分けクライアント104aに送信されてよい。または、仕分け管理サーバ101がラベルリーダ103からラベル情報を受信したことに起因して、仕分けクライアント104aに送信されてよい。
The
ステップS520(ステップS508~ステップS515)は、仕分け領域(ここでは、仕分け領域A)内を搬送されている各荷物を監視するためにクライアントシステム110(ここでは、クライアントシステム110a)により繰り返し行われる処理である。ここでは、便宜上、距離センサ106および画像センサ107(ここでは、距離センサ106aおよび画像センサ107a)をまとめて「センサ類」と記載する。
Step S520 (steps S508 to S515) is a process repeatedly performed by the client system 110 (here, the
センサ類は、仕分け領域A内を撮影し、その画像を取得する(ステップS508)。なお、本実施の形態では、仕分けクライアント104aが、センサ類にて撮影された画像を用いて荷物の検出を行うものとして説明するが、その処理の一部をセンサ類側で実施するような構成であってもよい。例えば、センサ類は、荷物に対応する領域の特定(荷物の有無)や、各荷物の三次元座標(位置)やサイズ(縦、横、高さ)などを検出するような構成であってもよい。
The sensors photograph the inside of the sorting area A and obtain the image (step S508). Note that in this embodiment, the sorting
センサ類は、取得結果を仕分けクライアント104aに送信する(ステップS509)。このとき、センサ類は、取得した画像に対して所定の処理を行った上で、仕分けクライアント104aに送信してよい。例えば、画像センサ107aの場合、取得した画像情報に対して任意の画像処理(例えば、画像圧縮や補正処理)が行われてよい。
The sensors transmit the obtained results to the
仕分けクライアント104aは、ステップS509にてセンサ類から送信された取得結果に基づいて、荷物の検出処理を行う(ステップS510)。具体的には、仕分けクライアント104aは、仕分け領域A内において、搬送コンベア302により搬送されている1または複数の荷物を、センサ類からの取得結果に基づいて特定する。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。
The sorting
仕分けクライアント104aは、ステップS507にて仕分け管理サーバ101から送信された投影指示と、ステップS510の検出結果とに基づいて、各情報の対応付けを行う(ステップS511)。これにより、検出した1または複数の荷物それぞれと、仕分け管理サーバ101から送信された投影指示にて示される各種情報(投影パターン等)が対応付けられる。
The sorting
投影パターンは、例えば、荷物の配送先住所に対応した仕分け場所を示す色を有し、円い枠で囲んだ数字の画像である。ここで、数字は、例えば、仕分けられた荷物を運ぶトラックの番号(トラック自体の番号や駐車場番号など)や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応する。また、数字の画像は、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューター(不図示)の番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため、搬送コンベア302周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベア302と搬送トラック等との間にシューターを挟み、搬送コンベア302周辺ではシューターの番号を投影することで、搬送コンベア302周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することができる。この場合、状況の変化に応じて、投影パターンの内容が切り替えられてもよい。
The projection pattern is, for example, an image of numbers surrounded by a circular frame and has a color indicating the sorting location corresponding to the delivery address of the package. Here, the numbers correspond to, for example, the number of the truck that transports the sorted cargo (the number of the truck itself, the parking lot number, etc.), the number of the shelf or box to be carried into the truck, etc. In addition, the image of the number may not directly correspond to the number of a shelf or box, but may correspond to the number of a shooter (not shown) that moves the picked up cargo to another location or truck, etc. good. Since the parking positions of trucks and the like frequently change depending on traffic conditions, it may be difficult to change the sorting destination as seen from around the
投影パターンとして、数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Pをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印(搬送コンベア302の搬送方向に対して右または左など)または文字(「左」、「右」など)であってもよい。更に、表示の形態も円い枠で囲んだ数字に限られるものではなく、四角い枠で囲んだ数字(“3”、“359”、“24735”)など様々な構成であってよい。さらに、投影パターンは、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸、三角、四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。 Other examples of displaying numbers as the projection pattern include the postal code corresponding to the delivery address, the number of the worker who should pick up the package P, etc. Further, as an example of displaying information other than numbers, an arrow indicating the sorting direction (such as right or left with respect to the transport direction of the transport conveyor 302) or characters (such as "left" or "right") may be used. . Further, the display form is not limited to numbers surrounded by a circular frame, but may be various configurations such as numbers surrounded by a square frame ("3", "359", "24735"). Further, the projection pattern is not limited to one in which numbers or letters are surrounded by a frame, but may be white numbers or letters with the background filled in. Further, depending on the information to be displayed, the shapes of the numbers or characters to be displayed, such as circles, triangles, squares, etc., may be changed. Alternatively, a picture that can be individually associated with each piece of information to be displayed may be displayed.
また、投影パターンは静止画像に限らず、アニメーションであってもよい。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりしてもよい。また、仕分け方向を反映したアニメーションを投影してもよい。仕分け方向を反映したアニメーションの例としては、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影パターンの全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示させたりするなどが挙げられる。投影パターンの一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させてもよい。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。 Further, the projection pattern is not limited to a still image, but may be an animation. As examples of animation, each of the above examples may be made to blink, be enlarged/reduced, or change color. Furthermore, an animation reflecting the sorting direction may be projected. Examples of animations that reflect the sorting direction include moving light rays or light spots toward the sorting direction, forming all or part of a projected pattern toward the sorting direction, changing color, Examples include displaying the image by moving an arrow. If you want to animate only a part of the projected pattern, do not change the parts that have a large influence on the operator's judgment of the sorting destination, such as numbers and arrows, and change the parts that have less influence on the sorting destination, such as the frame line. It may be changed. However, in situations where it is more efficient to intuitively convey the sorting direction rather than the meaning of numbers etc. projected within the frame, such as when there are few options for sorting destinations, numbers or arrows may be displayed within a fixed frame. may be moved in the sorting direction. Further, the animation may be projected repeatedly or may be projected only once.
また、投影パターンは、仕分け先を示すものには限られず、荷物仕分けシステム100で発生しているエラーや、作業者が荷物を見過ごしてしまった場合の通知等であってもよい。
Further, the projection pattern is not limited to one indicating a sorting destination, but may also be a notification of an error occurring in the
また、投影パターンを荷物に直接投影するのではなく、画像を表示可能な眼鏡を介して、擬似的に、荷物に投影パターンが投影されているかのように作業者に認識させてもよい。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物の像に、ここでの投影パターンを重ねあわせてもよい。 Further, instead of directly projecting the projection pattern onto the luggage, the operator may be made to perceive the projection pattern as if it were being projected onto the luggage in a pseudo manner through glasses that can display an image. In other words, if the worker wears special glasses that can display images, the projected pattern may be superimposed on the image of the package that is viewed through the glasses.
また、投影パターンは、荷物以外の場所に投影してもよい。例えば、搬送コンベア302の、荷物が存在していない領域に、作業者への一般的な通知内容を投影してもよい。このような通知の例としては、荷物の到着量の増減の予告や、作業の残り時間、作業者への挨拶等が挙げられる。
Furthermore, the projection pattern may be projected onto a location other than the baggage. For example, general notification contents to the worker may be projected onto an area of the
仕分けクライアント104aは、ステップS510にて検出した1または複数の荷物に対する三次元空間における処理を行う(ステップS512)。ここでの三次元空間における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。なお、センサ類の数や配置によっては、センサ類の死角に位置する面の情報は得られないことがある。この場合、各荷物の三次元形状を一般的な荷物の形状(例えば、直方体形状等)に合致するよう補完してもよい。また、荷物を構成する面のうち、投影画像が投影されるべき面の三次元形状が認識できていれば、指示を投影することができるため、投影対象となる面のみ、または、投影対象となる面を含む面の集合を荷物の三次元形状として表現してもよい。本実施の形態では、投影対象となる面は荷物の上面であるものとするが、側面等であっても構わない。本実施の形態のセンサ類は、最低限、荷物の上面の情報が得られるよう上方に配置されているが、投影対象の面が側面等の場合は、その面に合わせた位置から荷物を撮影する。
The sorting
搬送経路上の三次元座標系については、クライアントシステム110a内において原点及び各座標軸が予め規定されているものとする。また、ラベルリーダ103、および複数のクライアントシステム110それぞれにおける三次元座標系についても、その対応関係が予め対応付けられ、適時調整されているものとする。ここでの複数の三次元座標系は、荷物仕分けシステム100全体で絶対座標系を共有し、その絶対座標系にて対応付けられてもよい。また、複数の三次元座標系は、相対座標系にて対応付けられてもよい。相対座標系を使用する場合は、例えば、荷物仕分けシステム100の上流に位置するクライアントシステム110を基準とし、他のクライアントシステム110が使用する座標系を、基準となるクライアントシステム110との相対的な座標系で定義してもよい。なお、相対座標系の基準となる座標系は、荷物仕分けシステム100内の任意の座標系を使用してよい。例えば、他のクライアントシステムや、センサ群の利用している座標系など、他の座標系であってもよい。なお、本工程の処理は、搬送される荷物の形状やプロジェクタ105の構成などにより高さ方向の調整が不要である場合には、二次元空間、すなわち、平面空間での処理が行われてもよい。
Regarding the three-dimensional coordinate system on the transport route, it is assumed that the origin and each coordinate axis are defined in advance within the
仕分けクライアント104aは、ステップS512にて処理された三次元形状の1または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する(ステップS513)。具体的には、仕分けクライアント104aは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域A全体に対する投影画像を決定する。この投影画像は、一例として、個別の荷物に対応する領域に各荷物向けの投影パターンが含まれ、荷物が存在しない領域には黒色の画像が含まれるような画像である。このような投影画像を用いることで、プロジェクタの数を抑えつつ、多数の荷物に対する投影を同時に行うことができる。なお、一般的なプロジェクタでは、投影対象となる面とプロジェクタとの間の距離が近いほど画像は小さく、遠いほど画像は大きく投影される。そのため、ステップS512にて描画される投影画像における各荷物向けの投影パターンの大きさは、各荷物とプロジェクタとの間の距離が近いほど大きくなるよう調整されてもよい。
The sorting
仕分けクライアント104aは、ステップS513にて決定した投影画像に従って、プロジェクタ105aに投影指示を行う(ステップS514)。
The sorting
プロジェクタ105aは、ステップS514の仕分けクライアント104aからの投影指示に基づいて、仕分け領域Aに対し投影画像の投影を行う(ステップS515)。各荷物は継続的に搬送コンベア302により搬送されているため、搬送が継続される間、ステップS520に示す処理が継続して実行されてよい。
The
(荷物のハンドオーバ処理)
図5では、ラベルリーダ103の読み取り位置よりも搬送方向下流側における最初の(最上流の)仕分け領域Aに着目して処理を説明した。上述したように、搬送コンベア302による搬送経路上においては、複数の仕分け領域が設けられ、その仕分け領域間において各荷物の監視を各クライアントシステム110間で引継ぎ(以下、「ハンドオーバ」とも称する)を行う。
(Luggage handover processing)
In FIG. 5, the processing has been described focusing on the first (most upstream) sorting area A on the downstream side in the transport direction from the reading position of the
図6を用いて、ハンドオーバ処理に関する処理シーケンスを説明する。ここでは、搬送経路上において、仕分け領域Aに対応するクライアントシステム110aと、仕分け領域Aよりも搬送方向下流側に隣接する仕分け領域Bに対応するクライアントシステム110bとの間のハンドオーバ処理を例に挙げて説明する。搬送経路の長さなどに応じて、仕分け領域の数は変動し得るため、ハンドオーバ処理は隣接する仕分け領域に対応するクライアントシステム110間にて適時行われる。なお、クライアントシステム110aについては、図5にて説明した処理シーケンスを同時並行的に行っているものとする。
A processing sequence related to handover processing will be explained using FIG. 6. Here, handover processing between a
ステップS620(ステップS601~ステップS603)は、仕分け領域A内を搬送されている各荷物を監視するためにクライアントシステム110aにより繰り返し行われる処理である。ここでは、便宜上、距離センサ106aおよび画像センサ107aをまとめてセンサ類Aと記載する。
Step S620 (steps S601 to S603) is a process repeatedly performed by the
センサ類Aは、仕分け領域A内を撮影し、その画像を取得する(ステップS601)。ここでは、図5にて示したように、仕分けクライアント104a側で、センサ類Aにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Aに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。クライアントシステム110aの場合、本処理は、図5のステップS508に対応する。
The sensors A photograph the inside of the sorting area A and obtain the image (step S601). Here, as shown in FIG. 5, the description will be made assuming that the sorting
センサ類Aは、取得結果を仕分けクライアント104aに送信する(ステップS602)。このとき、センサ類Aは、取得した画像に対して所定の処理を行った上で、仕分けクライアント104aに送信してよい。クライアントシステム110aの場合、本処理は、図5のステップS509に対応する。
Sensors A transmit the obtained results to the
仕分けクライアント104aは、ステップS602にてセンサ類Aから送信されてきた取得結果に基づいて、荷物の検出を行う(ステップS603)。更に、仕分けクライアント104aは、検出した荷物の搬送情報を仕分け管理サーバ101へ送信する(ステップS603)。具体的には、図5の処理シーケンスにてすでに行われている三次元空間内における処理の結果などに応じて、追跡していた荷物のうち、下流側の仕分け領域(ここでは、仕分け領域B)との境界に近づいている荷物を特定し、その荷物に関する情報を搬送情報として送信してよい。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。
The sorting
ステップS630(ステップS604~ステップS606、ステップS610~ステップS614)は、仕分け領域B内を搬送されている各荷物を監視するためにクライアントシステム110bにより繰り返し行われる処理である。ここでは、便宜上、距離センサ106bおよび画像センサ107bをまとめてセンサ類Bと記載する。
Step S630 (steps S604 to S606, steps S610 to S614) is a process repeatedly performed by the client system 110b in order to monitor each package being transported within the sorting area B. Here, for convenience, the
センサ類Bは、仕分け領域B内を撮影し、その画像を取得する(ステップS604)。ここでは、仕分け領域Aと同様、仕分けクライアント104b側で、センサ類Bにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Bに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。
Sensors B photograph the inside of sorting area B and obtain the image (step S604). Here, similarly to the sorting area A, the description will be made assuming that the sorting
センサ類Bは、取得結果を仕分けクライアント104bに送信する(ステップS605)。このとき、センサ類Bは、取得した情報に対して所定の処理を行った上で、仕分けクライアント104bに送信してよい。
Sensors B transmit the obtained results to the sorting
仕分けクライアント104bは、ステップS605にてセンサ類Bから送信されてきた取得結果に基づいて、荷物の検出を行う(ステップS606)。更に、仕分けクライアント104bは、検出した荷物の搬送情報を仕分け管理サーバ101へ送信する。例えば、検出した荷物のうち、上流側の仕分け領域(ここでは、仕分け領域A)との境界に位置する荷物(すなわち、新たに搬送されてきた荷物)を特定し、その荷物に関する情報(位置やサイズなど)を搬送情報として送信してよい。
The sorting
仕分け管理サーバ101は、ステップS603にて仕分けクライアント104aから送信されてきた搬送情報と、ステップS606にて仕分けクライアント104bから送信されてきた搬送情報とに基づいて、仕分け領域間(ここでは、仕分け領域Aと仕分け領域Bの間)にてハンドオーバがなされる荷物を特定する(ステップS607)。つまり、ある荷物が搬送されることに伴ってその荷物の監視主体がクライアントシステム110aからクライアントシステム110bへとハンドオーバするために、各クライアントシステム110にて検出した仕分け領域間の境界に位置する荷物を、同一の荷物であるとして対応付ける。例えば、仕分け管理サーバ101は、仕分け領域を跨いだ荷物が、管理している荷物情報のうちのいずれに対応するかを特定することで対応付けてよい。
The
仕分け管理サーバ101は、ステップS607の対応付けと、上流側の仕分け領域(ここでは、仕分け領域A)にて用いていた荷物情報とに基づいて、下流の仕分け領域(ここでは、仕分け領域B)における投影パターンを決定する(ステップS608)。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。なお、投影パターンは、上流の仕分け領域(ここでは、仕分け領域A)と同じであってもよいし、同じ荷物であっても搬送中の仕分け領域に応じて切り替えるような構成であってもよい。
The
仕分け管理サーバ101は、ステップS608にて決定した投影パターンを含む投影指示を仕分けクライアント104へ送信する(ステップS609)。ここでは、荷物の監視がハンドオーバされるクライアントシステム110bの仕分けクライアント104bに投影指示が送信される。なお、投影指示には、投影パターンのほか、対応する荷物の荷物情報などを含んでよい。
The
仕分けクライアント104bは、ステップS609にて仕分け管理サーバ101から送信された投影指示と、ステップS606の検出結果とに基づいて、各情報の対応付けを行う(ステップS610)。具体的には、仕分けクライアント104bは、仕分け領域B内において、搬送コンベア302により搬送されている1または複数の荷物を、センサ類Bの検出結果に基づいて特定する。更に、仕分けクライアント104bは、特定した1または複数の荷物それぞれに対し、仕分け管理サーバ101から送信された投影指示に含まれる各種情報を対応付ける。これにより、仕分けクライアント104bによって検出された1または複数の荷物それぞれと、仕分け管理サーバ101から送信された投影指示にて示される各種情報(投影パターン等)が対応付けられる。
The sorting
仕分けクライアント104bは、ステップS610にて特定した1または複数の荷物に対する三次元空間内における処理を行う(ステップS611)。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。ここでの処理は、図5のステップS512の処理と同一であってよい。
The sorting
仕分けクライアント104bは、ステップS611にて処理された三次元形状の1または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する(ステップS612)。具体的には、仕分けクライアント104bは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域B全体の投影画像を決定する。ここでの投影画像は、図5にて説明したステップS513と同様の構成であってよい。
The sorting
なお、1の仕分け領域に対応付けて複数のプロジェクタを設置してもよい。例えば、1の仕分け領域を更に細分化して複数のプロジェクタそれぞれが担当する範囲を設定してもよい。この場合、仕分けクライアント104bは、複数のプロジェクタそれぞれに対して、担当範囲に相当する投影画像を生成する。この場合の投影画像の一例としては、担当範囲内に存在する荷物の位置には各荷物向けの投影パターンが含まれ、担当範囲内の荷物の存在しない位置には黒色の画像が含まれる画像が挙げられる。このようにすることで、プロジェクタの性能またはプロジェクタを設置可能な高さの限界などから、一台のプロジェクタでは仕分け領域全体への投影が難しい場合であっても、仕分け領域全体に対する投影を行うことができる。
Note that a plurality of projectors may be installed in association with one sorting area. For example, one sorting area may be further subdivided to set a range to be handled by each of a plurality of projectors. In this case, the sorting
また、各プロジェクタが1つの荷物を担当し、その荷物のみに向けた投影を行うようにしてもよい。この場合、複数のプロジェクタそれぞれは担当する荷物の移動に合わせて照射の角度を変更したり、担当する荷物の位置以外の位置に黒色の画像を投影したりすることで、自身の担当する荷物のみに向けた投影を行う。このようにすることで、複数のプロジェクタそれぞれは、自身の担当する荷物に最適なパラメータを用いた投影を行うことができる。例えば、複数のプロジェクタそれぞれの焦点距離を自動的に調整することができるので、荷物の高さなどにバラつきがある場合であっても、各荷物にピントが合った画像を投影できる。 Furthermore, each projector may be in charge of one baggage and project only to that baggage. In this case, each of the multiple projectors can change the irradiation angle according to the movement of the baggage it is responsible for, or project a black image to a position other than the position of the baggage it is responsible for, so that only the baggage it is responsible for Projection towards. By doing so, each of the plurality of projectors can perform projection using the optimal parameters for the baggage that it is in charge of. For example, since the focal length of each of the plurality of projectors can be automatically adjusted, even if there are variations in the height of the packages, it is possible to project images that are in focus on each package.
仕分けクライアント104bは、ステップS612にて決定した投影画像に従って、プロジェクタ105bに投影指示を行う(ステップS613)。
The sorting
プロジェクタ105bは、ステップS613の仕分けクライアント104bからの投影指示に基づいて、仕分け領域Bに対し投影画像の投影を行う(ステップS614)。各荷物は継続的に搬送コンベア302により搬送されているため、搬送が継続される間、仕分け領域B以降の監視を担うクライアントシステム110はそれぞれ、ステップS630に示す処理を継続して実行されてよい。
The
[荷物認識]
図7は、本実施形態に係る仕分け領域における荷物の認識を説明するための図である。ここでは、搬送コンベア302の搬送経路上のある仕分け領域701と、その搬送方向上流側および下流側に隣接する仕分け領域702、仕分け領域703を例に挙げて説明する。また、搬送コンベア302により、3つの荷物706、707、708が搬送されているものとする。
[Baggage recognition]
FIG. 7 is a diagram for explaining recognition of packages in the sorting area according to the present embodiment. Here, a
仕分け領域701と仕分け領域702にはハンドオーバ領域704が設けられる。ハンドオーバ領域704は、仕分け領域701に対応するクライアントシステムと、仕分け領域702に対応するクライアントシステムの両方にてセンサ類による検出が行われる領域である。同様に、仕分け領域701と仕分け領域703にはハンドオーバ領域705が設けられる。ハンドオーバ領域705は、仕分け領域701に対応するクライアントシステム110と、仕分け領域703に対応するクライアントシステム110の両方にてセンサ類による検出が行われる領域である。
A
本実施の形態に係る各仕分け領域では、搬送されている荷物は、その範囲が適時特定される。荷物の範囲を特定することで、荷物のサイズや形状が認識される。ここでの範囲は、荷物の形状と完全に一致する必要はなく、所定のマージンを設けてよい。そして、各荷物の範囲に応じて、各荷物に投影させる投影パターンのサイズや形状、位置が調整される。なお、調整の方法は、特に限定するものではなく、例えば、投影パターンの視認性や作業効率性などを考慮して行われてよい。 In each sorting area according to the present embodiment, the range of the cargo being transported is specified in a timely manner. By specifying the range of the baggage, the size and shape of the baggage can be recognized. The range here does not need to completely match the shape of the baggage, and a predetermined margin may be provided. Then, the size, shape, and position of the projection pattern to be projected onto each piece of baggage are adjusted according to the range of each piece of baggage. Note that the adjustment method is not particularly limited, and may be performed in consideration of, for example, visibility of the projection pattern, work efficiency, etc.
なお、本実施の形態では、ラベルリーダ103と、画像センサ107とは、異なるものとして説明したが、ラベルリーダ103を画像センサ107の代わりに使用してもよい。具体的には、ラベルリーダ103によって読み取ったラベルの位置を荷物の位置として取り扱い、ラベルの位置に対して投影画像を投影する。ラベルからは荷物の識別情報を得ることができるため、このような構成を採用することにより、クライアントシステム110間で同一の荷物を紐づける処理が不要となる。ただし、ラベルリーダ103が認識可能な領域はラベルの領域に限られるため、荷物全体を追跡可能な画像センサ107による追跡と比べて、投影画像の大きさや投影画像を照射する位置の自由度は低下する。同様に、画像センサ107をラベルリーダ103の代わりに使用してもよい。具体的には、画像センサ107が取得した画像に含まれるラベルの画像からラベル情報を取得してもよい。以下では、特に断らない限り、画像センサ107の撮像画像を用いた荷物の追跡の例を示すが、ラベルリーダ103を画像センサ107の代わりに用いてもよい。
Note that in this embodiment, the
[荷物の追跡]
搬送コンベア302にて搬送されている荷物を追跡する際に、連続する複数の画像から同一の荷物を検出(追跡)する場合を考える。本実施の形態に係る画像センサ107は、高速(すなわち、高フレームレート)にて撮影可能な高速度カメラである。このような高速度カメラを用いる場合、搬送コンベア302による荷物の搬送速度を考慮すると、連続して撮影された画像内における同一の荷物の移動(位置の変化)は、相対的に小さいものとなる。つまり、ある画像(フレーム)にて検出された荷物の位置は、その直後や一定範囲内の画像において、大きく変動することは無いと考えられる。なお、ここでの高速とは、特にその速度を限定するものではなく、搬送コンベア302の搬送速度との相対関係により規定されてよい。例えば、本実施の形態に係る高速度カメラとしては、数百fps(Frame Per Second)~の性能を有するカメラが用いられてよい。
[Package tracking]
Consider a case where the same package is detected (tracked) from a plurality of consecutive images when tracking the package being transported on the
このような状況を鑑みると、荷物を追跡する際に、画像情報全体を探索するよりも、着目する画像の直前の画像や一定範囲の前の画像にて検出された荷物の位置に応じて、探索範囲を絞ったうえで探索した方がより効率的に荷物の追跡を行うことが可能となる。 Considering this situation, when tracking a package, rather than searching the entire image information, it is possible to track a package based on the position of the package detected in the image immediately before the image of interest or a certain range of images before the image of interest. It is possible to track packages more efficiently by narrowing down the search range.
図8は、本実施の形態に係る荷物の探索範囲の減縮を説明するための図である。図8(a)は、ある時点において、画像センサ107により撮影された搬送コンベア302の搬送面の画像の例を示す。本例においては、搬送コンベア302により、2つの荷物801、802が搬送されている。図8(b)は、画像センサ107にて撮影された連続する画像のうち、図8(a)にて示した画像の次の画像を示す。ここでは、矢印にて示す方向を、搬送コンベア302の搬送方向として説明する。図8(b)において、荷物801、802はそれぞれ、搬送方向に沿って一定の距離の分だけ移動している。破線811は、直前の画像(すなわち、図8(a)に示す画像)における荷物801の位置を示す。また、破線812は、直前の画像(すなわち、図8(a)に示す画像)における荷物802の位置を示す。
FIG. 8 is a diagram for explaining reduction of the search range for luggage according to the present embodiment. FIG. 8A shows an example of an image of the conveyance surface of the
図8(b)に示すように、ある荷物の位置は、直前の画像にて検出された位置を基準として、一定の範囲内であると予測することができる。図8(c)は、図8(b)に示す画像において、各荷物の探索範囲を示す。探索範囲821は、荷物801を探索する範囲を示す。同様に、探索範囲822は、荷物802を探索する範囲を示す。各探索範囲のサイズは、例えば、図8(a)にて検出されている荷物のサイズ、搬送コンベア302の搬送方向および搬送速度、画像センサ107のフレームレートなどに応じて、荷物ごとに設定されてよい。
As shown in FIG. 8(b), the position of a certain baggage can be predicted to be within a certain range based on the position detected in the immediately previous image. FIG. 8(c) shows the search range of each baggage in the image shown in FIG. 8(b). The
具体的には、フレームレートの逆数として求められる連続する画像間の経過時間と、搬送コンベアの搬送速度とを乗算することで、荷物が移動すると思われる距離を推測する。そして、前の画像で荷物が存在した範囲から荷物を搬送方向にこの距離の分、動かした範囲を探索範囲の基準とする。この探索範囲の基準は、荷物が搬送コンベア302の搬送方向に忠実に搬送された場合に移動し得る範囲に相当する。一方、荷物に人が触れたり荷物同士が衝突したりするなどして荷物の位置や向きが変わってしまった場合、実際の荷物は搬送された結果、探索範囲外に出てしまうおそれがある。そこで、本実施の形態では、このような場合も荷物が探索範囲に含まれるよう、探索範囲の基準に対して、搬送コンベア302の搬送面に平行な全ての方向に所定のマージンを追加する。マージンの幅は、例えば、荷物が、搬送コンベア302の搬送面以外から作用する力を受けた場合に移動し得る範囲を考慮して決定してよい。例えば、人間の手の移動速度の物理的な限界値に、連続する画像間の経過時間を乗算した値を基準としてもよい。このようなマージンを設けることで、人間の手が触れたことによって荷物が移動し得る範囲の全てを探索範囲に含めることができる。また、ロボットアームなどの人間の手よりも高速な物体の干渉によって荷物が移動し得る場合は、そのような物体の移動速度の限界値に基づいてマージンを設定してもよい。また、荷物同士が衝突することによる移動を考慮してマージンを設定してもよい。
Specifically, the distance that the package is expected to travel is estimated by multiplying the elapsed time between consecutive images, which is determined as the reciprocal of the frame rate, by the conveyance speed of the conveyor. Then, the range in which the baggage is moved by this distance in the transport direction from the range where the baggage was present in the previous image is set as the reference of the search range. The standard of this search range corresponds to the range in which the cargo can move if it is transported faithfully in the transport direction of the
また、各探索範囲の配置は、例えば、図8(a)にて検出されている荷物の位置を基準として設定されてよい。なお、図8の例では、搬送方向が一方向である場合を示したが、搬送コンベア302の搬送方向とは異なる方向への搬送が生じた場合には、その方向に応じて探索範囲を設定してよい。例えば、作業者が荷物に触れた場合には、荷物は搬送コンベア302の搬送方向と作業者が触れた方向とを合成した方向に搬送される。この場合、搬送方向と異なる方向の搬送速度は、例えば、画像間での荷物の移動速度を用いてもよい。探索範囲にマージンを設けておくことで、搬送コンベア302の搬送方向と異なる方向に移動した荷物を探索範囲に含めることができることは上述の通りである。したがって、画像間における荷物の移動量を、画像間の経過時間で除算することで、搬送速度を推定することができる。
Further, the arrangement of each search range may be set based on, for example, the position of the package detected in FIG. 8(a). In addition, although the example of FIG. 8 shows the case where the conveyance direction is one direction, when conveyance occurs in a direction different from the conveyance direction of the
図9は、本実施の形態に係る荷物の追跡の処理のフローチャートである。本実施の形態では、本処理は、仕分けクライアント104のCPUが各機能に対応するプログラムを記憶部から読み出して実行することにより実現される。 FIG. 9 is a flowchart of the package tracking process according to the present embodiment. In this embodiment, this processing is realized by the CPU of the sorting client 104 reading out programs corresponding to each function from the storage unit and executing them.
仕分けクライアント104は、画像センサ107から画像情報を取得する(ステップS901)。本実施の形態において、画像センサ107から取得する画像情報の間隔は、画像センサ107にて撮影可能なフレームレートや搬送コンベア302による搬送速度に応じて規定されてよい。例えば、搬送コンベア302による搬送速度が遅い場合には、早い場合に比べて画像情報を取得する時間間隔も長く設定してよい。
The sorting client 104 acquires image information from the image sensor 107 (step S901). In this embodiment, the interval of image information acquired from the image sensor 107 may be defined according to the frame rate at which images can be captured by the image sensor 107 and the conveyance speed by the
仕分けクライアント104は、搬送コンベア302の搬送速度の情報を取得する(ステップS902)。本実施の形態において、ロータリーエンコーダ303により検出される移動距離(回転数)が、仕分け管理サーバ101から仕分けクライアント104それぞれに適時提供される。搬送コンベア302による荷物の搬送速度は、その情報を用いて算出できる。本実施の形態では、探索範囲を広めに設定するのであれば、搬送コンベア302の速度の正確性は厳格には求められない。そのため、ロータリーエンコーダ303を設置せず、搬送コンベア302のカタログ上の速度等を搬送速度の情報として用いてもよい。また、このとき、搬送速度の情報には、搬送方向の情報も含めてよい。
The sorting client 104 acquires information on the conveyance speed of the conveyor 302 (step S902). In this embodiment, the moving distance (rotation speed) detected by the
仕分けクライアント104は、直前の画像情報にて検出された1または複数の荷物の情報を取得する(ステップS903)。上述したように、搬送コンベア302は、1または複数の荷物を搬送しており、それらは以前の画像情報から検出され、適時記憶されている。なお、ここでの直前の画像情報とは、ステップS901にて取得した順番における1つ前の画像情報を指し、画像センサ107にて撮影された画像(フレーム)の順序における1つ前の画像に必ずしも一致するものでは無い。
The sorting client 104 acquires information on one or more packages detected in the previous image information (step S903). As mentioned above, the
仕分けクライアント104は、ステップS903にて取得した1または複数の荷物の情報のうち、未処理の荷物に着目する(ステップS904)。 The sorting client 104 focuses on unprocessed packages among the information on the one or more packages acquired in step S903 (step S904).
仕分けクライアント104は、着目した荷物の直前の画像情報にて検出された位置情報、ステップS902にて取得した搬送速度に基づいて、本画像情報における該当荷物の探索範囲を設定する(ステップS905)。更に、連続する画像情報のフレームレートや、時刻情報などを用いてもよい。本実施の形態では、画像情報にて示される画像全体のうち、該当荷物が検出されると想定される範囲に限定するように、探索範囲を設定する。本実施の形態では、図8(c)にて示したように、矩形にて探索範囲を設定する。 The sorting client 104 sets a search range for the corresponding baggage in the main image information based on the position information detected in the image information immediately before the baggage of interest and the conveyance speed acquired in step S902 (step S905). Furthermore, the frame rate of continuous image information, time information, etc. may be used. In this embodiment, the search range is set so as to limit the range within the entire image indicated by the image information where the corresponding baggage is expected to be detected. In this embodiment, the search range is set as a rectangle, as shown in FIG. 8(c).
仕分けクライアント104は、ステップS906にて設定した探索範囲から該当する荷物を探索する(ステップS907)。ここでの探索の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。 The sorting client 104 searches for the corresponding package from the search range set in step S906 (step S907). The search process here may be performed using a known method, and is not particularly limited. For example, the area corresponding to the baggage may be detected by area segmentation using machine learning. Alternatively, packages may be detected by pattern matching using a predefined pattern.
仕分けクライアント104は、ステップS907にて検出された荷物を、直前の画像情報にて検出された荷物と対応付けて記憶する(ステップS908)。これにより、画像情報内の荷物と、それに関する荷物情報が対応付けられることとなる。 The sorting client 104 stores the package detected in step S907 in association with the package detected in the previous image information (step S908). As a result, the baggage in the image information and the baggage information related to the baggage are associated with each other.
仕分けクライアント104は、ステップS903にて取得した1または複数の荷物の情報のうち、未処理の情報があるか否を判定する(ステップS908)。未処理の荷物の情報がある場合は(ステップS908;YES)、仕分けクライアント104の処理は、ステップS904へ戻り、未処理の荷物の情報に対して処理を繰り返す。一方、未処理の荷物の情報が無い場合(ステップS908;NO)、仕分けクライアント104の処理は、ステップS909へ進む。 The sorting client 104 determines whether there is unprocessed information among the information on the one or more packages acquired in step S903 (step S908). If there is information on unprocessed packages (step S908; YES), the processing of the sorting client 104 returns to step S904 and repeats the process on the information on unprocessed packages. On the other hand, if there is no information on unprocessed packages (step S908; NO), the processing of the sorting client 104 proceeds to step S909.
仕分けクライアント104は、追跡処理を終了するか否かを判定する(ステップS909)。例えば、搬送コンベア302の動作が停止した場合、システム全体が停止した場合、各種情報が取得できなかった場合などに、追跡処理を終了すると判定してよい。追跡処理を終了すると判定した場合(ステップS909;YES)、本処理フローを終了する。一方、追跡処理を継続すると判定した場合(ステップS909;NO)、仕分けクライアント104は、ステップS901へ戻り、次の画像情報を取得して処理を継続する。
The sorting client 104 determines whether to end the tracking process (step S909). For example, the tracking process may be determined to end when the operation of the
なお、図9の例では、画像内に含まれる1または複数の荷物に対し、繰り返し処理として検出が行われているが、この構成に限定するものではなく、複数の荷物の検出処理を同時並行的に行うような処理であってもよい。いずれにしても、画像全体において、直前の画像情報にて検出された荷物の数だけ、範囲が狭められた探索範囲が設定される。 Note that in the example of FIG. 9, detection is performed as repeated processing for one or more packages included in the image, but the configuration is not limited to this, and detection processing for multiple packages can be performed simultaneously. It may also be a process that is performed automatically. In any case, in the entire image, a search range is set that is narrowed by the number of packages detected in the immediately previous image information.
また、荷物仕分けシステム100は、探索範囲から荷物が検出されなかった場合、探索範囲外からの荷物の検出も行うようにしてもよい。これにより、荷物が急激に移動して探索範囲外に移動してしまったとしても、荷物を検出できる可能性が高まる。また、探索範囲内からのみ荷物の検出を行い、探索範囲内から荷物が発見されなかった場合は、その荷物の探索を中止してもよい。このようにすることで、荷物の検出に要する処理負荷を低減することができる。
Further, the
以上により、実施の形態1に係る荷物仕分けシステム100は、搬送されている荷物の連続する複数の画像を撮影する画像センサ107と、複数の画像それぞれを用いて荷物を検出する仕分けクライアント104と、を有し、仕分けクライアント104は、複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、第1の画像から検出した荷物の位置に基づいて第2の画像における当該荷物の探索範囲を設定し、第2の画像のうち、探索範囲を、当該探索範囲から、荷物の検出を行う。
As described above, the
これにより、荷物の仕分けをより効率的かつ正確に行うことが可能となる。特に、各荷物を追跡する際の処理負荷を低減しつつ、効率的に搬送中の荷物の管理が可能となる。 This makes it possible to sort luggage more efficiently and accurately. In particular, it becomes possible to efficiently manage packages being transported while reducing the processing load when tracking each package.
また、第2の画像のうち、探索範囲を当該探索範囲の外よりも優先して、荷物の検出を行う。 Further, in the second image, the search range is given priority over the outside of the search range to detect the baggage.
これにより、物の仕分けをより効率的に行うことが可能となる。 This makes it possible to sort items more efficiently.
また、第2の画像のうち、探索範囲内からのみ、荷物の検出を行う。 In addition, packages are detected only from within the search range in the second image.
これにより、物の仕分けをより効率的に行うことが可能となる。 This makes it possible to sort items more efficiently.
また、荷物は搬送コンベア302によって搬送され、仕分けクライアント104は、搬送コンベア302の搬送速度に基づいて第2の画像における荷物の探索範囲を設定する。
Further, the package is conveyed by the
これにより、各荷物の搬送速度に応じて、探索範囲の設定が可能となり、効率的に荷物の追跡が可能となる。 This makes it possible to set a search range according to the conveyance speed of each package, making it possible to efficiently track packages.
また、荷物は搬送コンベア302によって搬送され、仕分けクライアント104は、第2の画像における荷物の探索範囲を、搬送コンベア302の搬送方向において最も長くなるように設定する。
Further, the baggage is transported by the
これにより、搬送方向を考慮して、最も荷物が搬送される可能性が高い範囲について、より広く探索範囲を設定することが可能となる。 This makes it possible to set a wider search range in consideration of the transport direction and the range where the cargo is most likely to be transported.
また、荷物の検出に用いられる複数の画像は、搬送コンベア302の搬送速度に応じて規定されるフレームレートに基づいて、画像センサ107にて撮影された画像の中から取得される。
Further, the plurality of images used for detecting the baggage are acquired from among the images photographed by the image sensor 107 based on a frame rate defined according to the conveyance speed of the
これにより、搬送コンベア302の搬送速度に応じて、適切な探索用の画像を設定することができ、探索処理の負荷を低減することができる。
Thereby, an appropriate search image can be set according to the conveyance speed of the
また、仕分けクライアント104は、第2の画像のうち、上流から荷物が搬送される方向に沿って所定の長さの範囲においては、その範囲の全てを荷物の探索範囲として設定する。 Further, the sorting client 104 sets the entire range of a predetermined length along the direction in which the package is transported from upstream in the second image as the search range for the package.
これにより、荷物が一定の範囲から出るまでに荷物の全体が認識される可能性を高めることが可能となる。 This makes it possible to increase the possibility that the entire package will be recognized before the package leaves a certain range.
また、荷物の探索範囲の形状は、直前の画像から検出した当該荷物の形状に基づいて設定される。 Further, the shape of the search range for the package is set based on the shape of the package detected from the immediately previous image.
これにより、検出済みの荷物の形状に基づいて、次の画像での当該荷物の探索範囲を設定するため、効率的な探索が可能となる。 As a result, the search range for the package in the next image is set based on the shape of the package that has already been detected, making it possible to perform an efficient search.
また、荷物の探索範囲の形状は、前の画像から検出した当該荷物の形状に基づいて設定される矩形形状である。 Further, the shape of the search range for the package is a rectangular shape that is set based on the shape of the package detected from the previous image.
これにより、検出済みの荷物の形状に基づいて、次の画像での当該荷物の探索範囲を矩形形状にて設定するため、効率的な探索が可能となる。 As a result, the search range for the package in the next image is set in a rectangular shape based on the shape of the detected package, making it possible to perform an efficient search.
画像センサ107は、高速度カメラである。 Image sensor 107 is a high speed camera.
これにより、搬送コンベア302の搬送速度に対応したフレームレートにて荷物を検出するための複数の画像を利用できる。
This makes it possible to use a plurality of images for detecting packages at a frame rate corresponding to the conveyance speed of the
<その他の実施形態>
上記実施の形態において、図8の処理は、複数のクライアントシステム110のいずれで行われてもよい。また、上記の実施の形態では、高速度カメラとして、画像センサ107を例に挙げて説明したが、これに限定するものではない。例えば、距離センサ106が高速度にて距離画像を撮影できる場合には、同様の処理を距離センサにて実現してもよい。
<Other embodiments>
In the embodiment described above, the process in FIG. 8 may be performed in any of the plurality of client systems 110. Further, in the embodiment described above, the image sensor 107 has been described as an example of a high-speed camera, but the present invention is not limited to this. For example, if the distance sensor 106 is capable of capturing distance images at high speed, similar processing may be implemented using the distance sensor.
また、図7に示したように1つの仕分け領域は、隣接する仕分け領域と一部(ハンドオーバ領域)が重複している。したがって、図9にて示したような処理は、仕分け領域のうち、上流側のハンドオーバ領域以外で行うような構成であってもよい。この場合、上流側のハンドオーバ領域では、新たに荷物が搬送されてくることが想定されるため、全体を探索範囲としてよい。または、投影指示に含まれる情報に基づいて、新たに搬送されてくる荷物の位置やサイズが特定できる場合には、その情報に基づいて、ハンドオーバ領域における探索範囲を設定してもよい。 Further, as shown in FIG. 7, one sorting area partially overlaps an adjacent sorting area (handover area). Therefore, the process shown in FIG. 9 may be configured to be performed in a region other than the handover region on the upstream side of the sorting region. In this case, since it is assumed that a new package will be transported in the upstream handover area, the entire area may be set as the search range. Alternatively, if the position and size of the newly transported baggage can be specified based on the information included in the projection instruction, the search range in the handover area may be set based on that information.
また、最上流の仕分け領域Aにおいては、開始位置305aから一定の範囲は全て探索し、それ以降は上記のような処理を行うような構成であってもよい。この範囲では、荷物の全体が認識されていない可能性があり、探索範囲を正確に絞り込めないためである。なお、搬送される荷物の最大サイズが規定されているのであれば、一定の範囲は、その最大サイズ以上の範囲に定めてもよい。このようにすることで、荷物が一定の範囲から出るまでに荷物の全体が認識される可能性が高いためである。また、仕分け領域間のハンドオーバができない場合に、下流側の仕分け領域の開始位置から一定の範囲は全て探索し、それ以降は上記のような処理を行うような構成であってもよい。仕分け領域間のハンドオーバができない場合としては、具体的には、搬送コンベア302が配置される施設の構造や他の設備の配置との関係から、仕分け領域同士を重複して設定できない場合などが考えられる。
Further, in the most upstream sorting area A, a configuration may be adopted in which a certain range from the starting
また、図8に示す例では、探索範囲を矩形にて示したがこれに限定するものではない。例えば、円にて示される範囲にて探索範囲を設定してもよいし、直前の荷物の位置を基準として、搬送方向側に広がった扇状にて示される範囲にて探索範囲を設定してもよい。また、荷物の形状やサイズは多様であるため、その形状やサイズに応じて探索範囲の形状やサイズを調整してもよい。なお、搬送コンベア302を使用している場合は、探索範囲の長さが搬送コンベア302の搬送方向において最も長くなるよう調整してもよい。この方向は、他の方向と比べて、荷物が移動する可能性が最も高い方向であるからである。
Further, in the example shown in FIG. 8, the search range is shown as a rectangle, but the search range is not limited to this. For example, the search range may be set in the range indicated by a circle, or the search range may be set in the range indicated by a fan shape that spreads in the transport direction based on the position of the immediately preceding package. good. Furthermore, since the shapes and sizes of luggage vary, the shape and size of the search range may be adjusted depending on the shape and size. Note that when the
また、探索範囲の中から荷物が発見できなかった場合は、荷物を見失ったと判定してもよいし、探索範囲の外も含めて荷物を追加で探索してもよい。すなわち、探索範囲は、少なくとも荷物の探索が優先的に行われる範囲であればよい。 Further, if the baggage cannot be found within the search range, it may be determined that the baggage has been lost, or the baggage may be additionally searched for, including outside the search range. That is, the search range may be at least a range in which the search for luggage is performed preferentially.
また、上記実施の形態は荷物仕分けシステムを例として説明したが、上記実施の形態の構成を荷物の仕分けを伴わないシステムに適用してもよい。本実施の形態は、少なくとも荷物を探索する機能を備えているシステムに対して適用することができる。 Furthermore, although the above embodiment has been described using a luggage sorting system as an example, the configuration of the above embodiment may be applied to a system that does not involve sorting luggage. This embodiment can be applied to a system that has at least a function of searching for luggage.
また、上述した1以上の実施の形態の機能を実現するためのプログラムおよびアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。 Further, programs and applications for realizing the functions of one or more embodiments described above may be supplied to a system or device using a network or a storage medium, and one or more processors in a computer of the system or device may This can also be achieved by reading and executing a program.
また、1以上の機能を実現する回路(例えば、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field Programmable Gate Array))によって実現してもよい。 Further, it may be realized by a circuit (for example, an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array)) that realizes one or more functions.
以上、図面を参照しながら各種の実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に相当し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施形態における各構成要素を任意に組み合わせてもよい。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present disclosure is not limited to such examples. It is clear to those skilled in the art that various changes, modifications, substitutions, additions, deletions, and equivalents may be made within the scope of the claims; It is understood that it naturally falls within the technical scope of the present disclosure. Moreover, each component in the various embodiments described above may be combined arbitrarily within a range that does not depart from the spirit of the invention.
本開示は、複数の利用者に対して、権利に応じた行動の利便性を向上させることが可能な荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法として有用である。 The present disclosure is useful as a baggage sorting system, a baggage sorting method, an information processing device, and a control method thereof that can improve the convenience of actions according to rights for multiple users.
100…荷物仕分けシステム
101…仕分け管理サーバ
102…連携サーバ
103…ラベルリーダ
104…仕分けクライアント
105…プロジェクタ
106…距離センサ
107…画像センサ
110…クライアントシステム
300…荷物
301…ラベル
302…搬送コンベア
303…ロータリーエンコーダ
100...
Claims (13)
前記複数の画像それぞれを用いて荷物を検出する検出部と、
を有し、
前記検出部は、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲を設定し、
前記第2の画像のうち、前記探索範囲から、前記荷物の検出を行う、
荷物探索システム。 a photography department that takes multiple consecutive images of the cargo being transported;
a detection unit that detects luggage using each of the plurality of images;
has
The detection unit detects a package using a first image of the plurality of images, and then detects the package using a second image subsequent to the first image. setting a search range for the baggage in the second image based on the position of the baggage detected from the image;
Detecting the baggage from the search range in the second image;
Baggage search system.
前記検出部は、前記搬送コンベアの搬送速度に基づいて前記第2の画像における荷物の探索範囲を設定する、請求項1に記載の荷物探索システム。 The baggage is transported by a transport conveyor,
The baggage search system according to claim 1, wherein the detection unit sets a search range for the baggage in the second image based on a conveyance speed of the conveyor.
前記検出部は、前記第2の画像における荷物の探索範囲を、前記搬送コンベアの搬送方向において最も長くなるように設定する、請求項1に記載の荷物探索システム。 The baggage is transported by a transport conveyor,
The baggage search system according to claim 1, wherein the detection unit sets the baggage search range in the second image to be the longest in the transport direction of the transport conveyor.
前記複数の画像それぞれを用いて荷物を検出する検出ステップと、
を有し、
前記検出ステップにおいて、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲を設定し、
前記第2の画像のうち、前記探索範囲から、前記荷物の検出が行われる、
荷物探索方法。 a photographing step in which a photographing unit photographs a plurality of consecutive images of the cargo being transported;
a detection step of detecting baggage using each of the plurality of images;
has
In the detection step, after detecting a package using a first image of the plurality of images, when detecting a package using a second image subsequent to the first image, the first setting a search range for the baggage in the second image based on the position of the baggage detected from the image;
The baggage is detected from the search range in the second image,
How to search for luggage.
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
搬送されている荷物の連続する複数の画像を取得し、
前記複数の画像それぞれを用いて荷物を検出し、
前記検出において、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲が設定され、
前記第2の画像のうち、前記探索範囲から、前記荷物の検出が行われる、
情報処理装置。 a processor;
Equipped with memory and
The processor cooperates with the memory to:
Obtain multiple consecutive images of the cargo being transported,
Detecting the package using each of the plurality of images,
In the detection, after detecting a package using a first image of the plurality of images, when detecting a package using a second image subsequent to the first image, the first A search range for the baggage in the second image is set based on the position of the baggage detected from the image,
The baggage is detected from the search range in the second image,
Information processing device.
搬送されている荷物の連続する複数の画像を取得し、
前記複数の画像それぞれを用いて荷物を検出し、
前記検出において、前記複数の画像のうちの第1の画像を用いて荷物を検出した後、当該第1の画像の後続の第2の画像を用いて荷物を検出する際に、前記第1の画像から検出した荷物の位置に基づいて前記第2の画像における当該荷物の探索範囲が設定され、
前記第2の画像のうち、前記探索範囲から、前記荷物の検出が行われる、
情報処理装置の制御方法。 Processor works with memory to
Obtain multiple consecutive images of the cargo being transported,
Detecting the package using each of the plurality of images,
In the detection, after detecting a package using a first image of the plurality of images, when detecting a package using a second image subsequent to the first image, the first A search range for the baggage in the second image is set based on the position of the baggage detected from the image,
The baggage is detected from the search range in the second image,
A method of controlling an information processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022050420A JP2023143182A (en) | 2022-03-25 | 2022-03-25 | Baggage search system, baggage search method, information processing device, and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022050420A JP2023143182A (en) | 2022-03-25 | 2022-03-25 | Baggage search system, baggage search method, information processing device, and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023143182A true JP2023143182A (en) | 2023-10-06 |
Family
ID=88219646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022050420A Pending JP2023143182A (en) | 2022-03-25 | 2022-03-25 | Baggage search system, baggage search method, information processing device, and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023143182A (en) |
-
2022
- 2022-03-25 JP JP2022050420A patent/JP2023143182A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11315262B1 (en) | Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras | |
US11783613B1 (en) | Recognizing and tracking poses using digital imagery captured from multiple fields of view | |
US9723199B1 (en) | Focus specification and focus stabilization | |
US11861927B1 (en) | Generating tracklets from digital imagery | |
EP3434626B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
US11393207B1 (en) | Multi-video annotation | |
US11600094B1 (en) | Obfuscating portions of video data | |
US10860855B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
US10282902B1 (en) | Real-time textured 3D models | |
EP3434621B1 (en) | Instruction projecting device, parcel sorting system and instruction projecting method | |
US11922728B1 (en) | Associating events with actors using digital imagery and machine learning | |
US11468681B1 (en) | Associating events with actors using digital imagery and machine learning | |
US20200290093A1 (en) | Projection instruction device, package sorting system, and projection instruction method | |
JPWO2019003689A1 (en) | Projection instructing device, luggage sorting system, and projection instructing method | |
US11468698B1 (en) | Associating events with actors using digital imagery and machine learning | |
JP2023143182A (en) | Baggage search system, baggage search method, information processing device, and control method thereof | |
WO2023181518A1 (en) | Cargo detection system, cargo detection method, information processing device, and control method therefor | |
EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
JP2023143177A (en) | Package detection system, package detection method, and image-projection device | |
JPWO2019003687A1 (en) | Projection instructing device, luggage sorting system, and projection instructing method | |
JP2023143180A (en) | Package sorting system, package sorting method, information processing device, and method for controlling the same | |
JP2023143181A (en) | Luggage detection system, luggage detection method, information processing device, and control method therefor | |
JP7194884B2 (en) | Luggage sorting system, projection instruction device, projection instruction method | |
WO2023181495A1 (en) | Information processing device, load detection system, and calibration method | |
EP3689789B1 (en) | Baggage recognition device, baggage sorting system, and baggage recognition method |