JP2020087171A - 画像処理プログラム、画像処理方法、および画像処理装置 - Google Patents

Abstract

【課題】一実施形態は、荷物に取り付けたタグが外れた場合にも、荷物の積み込み作業を円滑に進めることができる。【解決手段】一実施形態に係る画像処理装置は、荷物に取り付けられたタグから読取装置で読み取られた識別情報であって、荷物の持ち主に関する情報と対応付けられている識別情報と、撮影装置が撮影した荷物が写る撮影画像とを受信した場合、荷物が画角に含まれないタイミングで撮影装置が撮影した背景画像と、撮影画像とに基づいて、撮影画像から荷物が写る領域を抽出した荷物画像を生成する生成部と、荷物画像を識別情報と対応付けて記憶部に保存する保存部と、を含む。【選択図】図６

Description

本発明は、画像処理プログラム、画像処理方法、および画像処理装置に関する。

例えば、空港などにおいて、乗客から預かった手荷物を、乗客が搭乗する航空機に積み込まれるコンテナが置かれたエリアまで搬送する手荷物取扱システムが利用されている。

手荷物取扱システムでは、例えば、手荷物の預け入れ時に、手荷物の持ち主の情報と対応付けられた識別情報が発行される。そして、例えば、識別情報をコード化したバーコードが印刷されたタグが手荷物に取り付けられる。その後、手荷物取扱システムは、手荷物に取り付けられたタグから識別情報をコンベア沿いに設置されたバーコードリーダで読み取る。そして、手荷物取扱システムは、読み取った識別情報を基にコンベアを制御して手荷物を仕分けし、最終的に手荷物の持ち主が搭乗する航空機に積み込まれるコンテナまで搬送する。

また、画像データを加工したり、画像データの解析結果を利用したりする様々な技術が知られている。

特開２００９−１５２７４８号公報 特開２００８−２８７１６号公報 特開２０１２−１１９８７号公報

上述のように、手荷物は手荷物取扱システムにより高い精度で仕分けされ、コンテナに積み込まれている。しかしながら、例えば、上述の手荷物などの荷物をコンベアで搬送している間に、荷物に取り付けたタグが外れてしまうことがある。この場合、例えば、タグの識別情報を用いて、荷物の持ち主の情報を特定できなくなるため、荷物の積み込み作業が滞ってしまうことがある。

１つの側面では、本発明は、荷物に取り付けたタグが外れた場合にも、荷物の積み込み作業を円滑に進めることのできる技術を提供することを目的とする。

本発明の一つの態様の画像処理プログラムは、荷物に取り付けられたタグから読取装置で読み取られた識別情報であって、荷物の持ち主に関する情報と対応付けられている識別情報と、撮影装置が撮影した荷物が写る撮影画像とを受信した場合、荷物が画角に含まれないタイミングで撮影装置が撮影した背景画像と、撮影画像とに基づいて、撮影画像から荷物が写る領域を抽出した荷物画像を生成し、荷物画像を識別情報と対応付けて記憶部に保存する、処理を、画像処理装置に実行させる。

荷物に取り付けたタグが外れた場合にも、荷物の積み込み作業を円滑に進めることができる。

実施形態に係る手荷物取扱システムのシステム構成を例示する図である。 実施形態に係る手荷物取扱システムによる手荷物の取り扱いの流れを説明する図である。 実施形態に係る画像処理装置のブロック構成を例示する図である。 実施形態に係る手荷物管理情報を例示する図である。 実施形態に係る手荷物画像の生成処理の動作フローを例示する図である。 手荷物画像の生成について例を説明する図である。 実施形態に係る手荷物画像の生成の流れを例示する図である。 実施形態に係る画像検索処理の動作フローを例示する図である。 例示的な画像検索の検索結果を示す図である。 第１の変形例に係る手荷物画像からの複数の手荷物画像の生成を例示する図である。 第１の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。 撮影装置で手荷物を撮影した画像の背景と別のタイミングで撮影した画像の背景とが異なる場合を例示する図である。 例示的な背景画像管理情報を示す図である。 第２の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。 実施形態に係る画像処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。 実施形態に係る端末を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付すことがある。

上述のように、空港では、例えば、乗客は、航空機内へ持ち込む手荷物以外の手荷物を、搭乗前に航空会社のチェックインカウンタに預ける。預け入れの際に、手荷物には手荷物を識別するための識別情報が割り当てられ、識別情報をコード化したバーコードを含むタグが取り付けられて、手荷物はベルトコンベアなどのコンベア上を搬送される。識別情報は、例えば、手荷物の持ち主に関する情報（以下、手荷物情報と呼ぶことがある）と対応付けられている。手荷物情報は、例えば、手荷物の持ち主の氏名、持ち主の性別、持ち主が乗る航空機の航空会社、および航空機の便名などの情報を含んでよい。

また、コンベア沿いにはバーコードリーダを備える読取装置が設置されている。そして、読取装置でタグのバーコードが読み取られ、読み取られた識別情報に従って、手荷物は最終的に持ち主が搭乗する航空機の荷物室に積み込むコンテナのあるメイクエリアまでベルトコンベアにより仕分け搬送される。

しかしながら、手荷物の搬送中に、手荷物に取り付けたタグが外れてしまうことがある。例えば、タグは、粘着性のシール等で手荷物に貼りつけられることがあるが、タグの粘着面が露出していると、粘着面が壁などにくっついてしまい、手荷物がコンベアを運ばれる力で引っ張られてタグが切れてしまうことがある。このようにタグが手荷物から外れてしまうと、タグに記載される識別情報から、手荷物情報を取得することができなくなるため、手荷物をどこに搬送すべきか等を特定することが難しくなる。この様な場合、一例では、コンベア上を撮影するビデオカメラの映像を巻き戻して、タグが外れてしまった手荷物がどこから流れてきたかを特定することで航空会社や便を特定して、持ち主を探す作業などが行われている。これらの作業には、例えば、３０分や１時間などの長い時間がかかることがある。その結果、手荷物の積み込みが航空機の出発時刻に間に合わず、出発が遅れてしまったり、渡航先での顧客の手荷物の受け取りが遅れてしまったりなど、顧客の満足度の低下を招くことがある。また、そうした顧客に、補償や追加のサービスを提供することがあり、コストの増加を招いている。

また一方で、近年、訪日外国人が増加しており、空港で提供するサービスの益々の効率化および改善も求められている。

そのため、手荷物に取り付けたタグが外れてしまったことに起因して、手荷物の積み込み作業が遅延してしまうのを抑制することのできる技術の提供が望まれている。

以下で述べる実施形態では、手荷物取扱システムは、コンベア上を搬送される手荷物を撮影した手荷物が写る画像と、手荷物が画角に含まれないタイミングで撮影した背景画像とに基づいて、手荷物が写るが画像領域を抽出する。そして、手荷物取扱システムは、抽出した手荷物の写る画像領域の画像（以下、手荷物画像または荷物画像と呼ぶことがある）と、コンベア沿いに設置された読取装置で読み取られた手荷物の識別情報とを対応付けて記憶装置に保存する。それにより、手荷物取扱システムでは、画像検索により識別情報の特定が可能になる。

例えば、メイクエリアでコンテナへの手荷物の積み込みを担当する作業員が、タグが外れた手荷物を発見したとする。この場合に、作業員は、手荷物の画像を撮影し、撮影した画像で記憶装置に保存された手荷物画像を対象に画像検索を行うことで、検索にヒットした手荷物画像から手荷物の識別情報を取得することができる。そのため、例えば、コンベア上を撮影するビデオカメラなどの映像を巻き戻して、手荷物の持ち主の特定を行う場合と比較して、画像検索により短い時間で手荷物の持ち主と対応する手荷物情報を取得することができる。その結果、手荷物からタグが外れてしまったことに起因して、手荷物の積み込み作業が遅延してしまうのを抑制することができる。以下、実施形態を更に詳細に説明する。

図１は、実施形態に係る手荷物取扱システム１００のシステム構成を例示する図である。手荷物取扱システム１００は、例えば、ＢＨＳ（Baggage Handling System）であってよい。手荷物取扱システム１００は、例えば、コンベア１０１、コンベア制御装置１０２、読取装置１０３、コントローラ１０４、管理サーバ１０５、画像処理装置１０６、および端末１０７を含む。

コンベア制御装置１０２、コントローラ１０４、管理サーバ１０５、画像処理装置１０６、および端末１０７は、例えば、ネットワーク１５０を介して互いに接続されていてよい。ネットワーク１５０は、例えば、ＬＡＮ（Local Area Network）であってよく、有線ネットワーク、および無線ネットワークを含んでよい。

コンベア１０１は、例えば、ベルトコンベアであってよい。コンベア１０１は、例えば、通信機能を備えるコンベア制御装置１０２と接続されていてよく、コンベア制御装置１０２を介してネットワーク１５０に接続し、管理サーバ１０５からの制御を受けて手荷物を仕分け搬送する。

読取装置１０３は、例えば、バーコードリーダ１３１、および撮影装置１３２を備える。読取装置１０３のバーコードリーダ１３１は、例えば、コンベア１０１上を搬送される手荷物に付加されたタグ２６０のバーコードから識別情報を読み取る。また、読取装置１０３の撮影装置１３２は、例えば、コンベア１０１上を搬送される手荷物を撮影する。読取装置１０３は、例えば、通信機能を備えるコントローラ１０４と接続し、コントローラ１０４を介して管理サーバ１０５に識別情報を送信する。また、読取装置１０３は、例えば、バーコードリーダ１３１で読み取った識別情報と、撮影装置１３２で撮影した手荷物の撮影画像とをコントローラ１０４を介して画像処理装置１０６に送信する。

管理サーバ１０５は、例えば、読取装置１０３のバーコードリーダ１３１で読み取られた識別情報に基づいて、コンベア１０１による手荷物の仕分け搬送を制御する。

画像処理装置１０６は、例えば、読取装置１０３の撮影装置１３２で撮影されたコンベア１０１上を搬送される手荷物の撮影画像を解析し、手荷物の写る領域を抽出した手荷物画像を生成する。そして、画像処理装置１０６は、手荷物画像を、手荷物画像に写る手荷物の識別情報と対応付けて記憶する。

端末１０７は、例えば、タブレット端末、スマートフォンなどの通信機能を備える端末である。また、端末１０７は、例えば、カメラなどの撮影装置１７１を備える。

なお、図１に示す手荷物取扱システム１００は例示であり、実施形態はこれに限定されるものではなく、手荷物取扱システム１００は、その他の構成であってもよい。例えば、手荷物取扱システム１００は、後述するチェックインカウンタに設置された端末などの更なる構成を含んでもよい。

続いて、実施形態に係る手荷物取扱システム１００による手荷物の取り扱いの流れを説明する。図２は、実施形態に係る手荷物取扱システム１００による手荷物の取り扱いの流れを説明する図である。図２には、例えば、コンベア１０１、読取装置１０３、管理サーバ１０５、画像処理装置１０６、チェックインカウンタ２０１、手荷物検査装置２０２、コンテナ２７０、メイクエリア２９０が示されている。

ここで、乗客は、例えば、チェックインカウンタ２０１にて手荷物２５０を預ける（図２の（１））。チェックインカウンタ２０１に設置された端末は、例えば、預けられた手荷物２５０の持ち主に関する手荷物情報と対応付けて識別情報を発行し、その識別情報をコードするバーコードを印刷したタグ２６０を発券する。発券されたタグ２６０は、預けられた手荷物２５０に取り付けられる（図２の（２））。

続いて、手荷物２５０は、手荷物検査装置２０２へとコンベア１０１上を運ばれ、手荷物検査装置２０２は、手荷物２５０に手荷物検査を実行し、検査内容を管理サーバ１０５に送信する（図２の（３））。手荷物検査の検査員は、例えば、管理サーバ１０５で受信した手荷物検査装置２０２の検査内容に基づいて手荷物を検査する。

続いて、手荷物２５０はコンベア１０１を更に運ばれ、読取装置１０３を通過する。読取装置１０３においてバーコードリーダ１３１は、例えば、コンベア１０１上を流れてきた手荷物２５０に付されたタグ２６０から識別情報を読み取る。また、読取装置１０３の撮影装置１３２は、例えば、コンベア１０１上を流れてきた手荷物２５０を撮影する。なお、読取装置１０３の撮影装置１３２は、所定の画角でコンベア１０１上を撮影するように設置されていてよい。続いて、読取装置１０３は、例えば、バーコードリーダ１３１で読み取った識別情報を、コントローラ１０４を介して管理サーバ１０５に送信する（図２の（４））。

管理サーバ１０５は、例えば、識別情報と対応する手荷物２５０の手荷物情報に基づいてコンベア制御装置１０２を制御し（図２の（５））、積み込み先のコンテナ２７０のあるメイクエリア２９０までコンベア１０１で手荷物２５０を仕分け搬送する。それにより、手荷物２５０は、持ち主が搭乗する便に積載されるコンテナ２７０への手荷物２５０の積み込み作業が行われるメイクエリア２９０に運ばれる（図２の（６））。メイクエリア２９０では、作業員は、例えば、端末１０７を用いて手荷物２５０に取り付けられたタグ２６０から識別情報を読み取る。そして、作業員は、例えば、端末１０７で識別情報を用いて手荷物２５０と対応する手荷物情報を確認し、持ち主が搭乗する航空機のコンテナ２７０に手荷物２５０を積み込む。

また、例えば、手荷物検査装置２０２において、手荷物２５０から不審物が発見された場合には、手荷物２５０は回避検査室までコンベア１０１で運ばれて、更なる検査を受ける（図２の（７））。この様に、手荷物取扱システム１００では、タグ２６０に印刷されたバーコードなどの識別情報により手荷物２５０の個体管理が行われ、大量の手荷物２５０が高い精度で仕分けされ航空機に積み込まれている。

また、実施形態では読取装置１０３は、例えば、撮影装置１３２で撮影した手荷物２５０が写る撮影画像とバーコードリーダ１３１で読み取った識別情報とを対応付けて画像処理装置１０６に送信してよい（図２の（８））。画像処理装置１０６は、例えば、撮影装置１３２で撮影された手荷物２５０が写る撮影画像から、手荷物の写る領域を抽出した手荷物画像を生成する。そして、画像処理装置１０６は、生成した手荷物画像を、読取装置１０３から受信した識別情報と対応付けて記憶装置に保存する。そのため、手荷物２５０からタグ２６０が外れてしまった場合にも、手荷物２５０の画像を撮影し、撮影した画像を検索キーとして、記憶装置に保存した手荷物画像を画像検索することで、手荷物画像と対応付けられている識別情報を取得することが可能になる。

例えば、メイクエリア２９０でコンテナ２７０への手荷物の積み込みを担当する作業員が、タグ２６０が外れてしまった手荷物２５０を発見したとする。この場合、タグ２６０から識別情報を取得することができない。ここで、作業員は、例えば、タグ２６０の外れた手荷物２５０の画像を端末１０７の撮影装置１７１で撮影して、得られた画像をキーとして画像処理装置１０６に画像検索を依頼する（図２の（９））。

画像処理装置１０６は、記憶装置に記憶している手荷物画像と、検索キーとして受信した手荷物２５０の画像とを比較し、類似度を評価する。そして、画像処理装置１０６は、所定の条件を満たす類似度で類似している手荷物画像を、その手荷物画像と対応付けられる識別情報とともに端末１０７に返す。なお、所定の条件としては、例えば、類似度が上位の所定の数に入ることであってよい。作業員は、端末１０７で受信した手荷物画像および識別情報から、タグ２６０が外れてしまった手荷物２５０の識別情報を特定することができる。そして、手荷物２５０の識別情報が分かれば、作業員は、端末１０７を操作して識別情報と対応する手荷物情報について管理サーバ１０５に問い合わせを行うことで、手荷物２５０を積み込むべきコンテナ２７０などの情報を取得することができる。

以上で述べた実施形態に係る手荷物取扱システム１００による手荷物の取り扱いの流れに関し、画像処理装置１０６が実行する処理の更なる詳細の例を以下に述べる。

図３は、実施形態に係る画像処理装置１０６のブロック構成を例示する図である。画像処理装置１０６は、例えば、制御部３０１、記憶部３０２、および通信部３０３を含む。制御部３０１は、例えば、生成部３１１、および保存部３１２などとして動作してよい。記憶部３０２は、例えば、上述の手荷物画像と識別情報とを対応付けて記憶していてよい。通信部３０３は、制御部３０１の指示に従ってネットワーク１５０に接続し、コントローラ１０４を介して読取装置１０３と通信する。これらの各部の詳細および記憶部３０２に格納されている情報の詳細については後述する。

図４は、実施形態に係る手荷物管理情報４００を例示する図である。手荷物管理情報４００のエントリには、例えば、航空会社、便、ゲート、識別情報を含む手荷物情報が登録されている。航空会社は、例えば、エントリと対応する手荷物２５０を運び込む航空便の航空会社を示す情報である。便は、例えば、エントリと対応する手荷物２５０を運び込む航空便を示す情報である。ゲートは、例えば、エントリと対応する手荷物２５０を運び込む航空便が停留するゲートを示す情報である。識別情報は、例えば、エントリと対応する手荷物２５０に対して発行された識別情報である。なお、識別情報は、例えば、エントリと対応する手荷物２５０がチェックインカウンタ２０１に預け入れられる際に発行されてよく、手荷物２５０には識別情報を含むタグ２６０が取り付けられてよい。図４の例では、手荷物管理情報４００のエントリは、航空会社、便、ゲート、識別情報を含むが、実施形態はこれに限定されるものではなく、手荷物管理情報４００のエントリは、例えば、手荷物の持ち主の氏名、持ち主の性別などのその他の情報を含んでもよい。

図５は、実施形態に係る手荷物画像の生成処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の生成処理の実行指示が入力されると、図５の動作フローを開始してよい。

Ｓ５０１において制御部３０１は、読取装置１０３から手荷物２５０を撮影した撮影画像と、その手荷物２５０に取り付けられたタグ２６０から読み取った識別情報との組を受信したか否かを判定する。読取装置１０３から撮影画像と識別情報の組を受信していない場合（Ｓ５０１がＮＯ）、フローはＳ５０１の処理を繰り返す。一方、読取装置１０３から撮影画像と識別情報の組を受信している場合（Ｓ５０１がＹＥＳ）、フローはＳ５０２に進む。

Ｓ５０２において制御部３０１は、受信した撮影画像と、記憶部３０２に記憶されている背景画像とに基づいて、撮影画像から手荷物２５０が写る領域を抽出した手荷物画像を生成する。なお、背景画像は、例えば、撮影装置１３２で、手荷物２５０が画角に含まれないタイミングに背景となるコンベア１０１を撮影した画像であってよく、画像処理装置１０６の記憶部３０２に予め記憶されていてよい。

図６は、Ｓ５０２で実行される手荷物画像の生成について例を説明する図である。図６には、背景となるコンベア１０１を撮影した背景画像６０１と、手荷物２５０が写る撮影画像６０２と、手荷物画像６０３とが示されている。制御部３０１は、読取装置１０３から受信した撮影画像６０２と、記憶部３０２から読み出した背景画像６０１とに基づいて、撮影画像６０２から背景となるコンベア１０１が写る領域を取り除き、手荷物２５０が写る領域を抽出した手荷物画像６０３を生成する。このように抽出した手荷物画像６０３は、画像内の大部分の画素が手荷物２５０を示す情報となるため、画像検索の精度を高めることが可能である。以下、手荷物画像６０３の生成の更なる詳細について例示する。

図７は、実施形態に係る手荷物画像の生成の流れを例示する図である。図７の（１）において画像処理装置１０６の制御部３０１は、読取装置１０３の撮影装置１３２で撮影された手荷物２５０が写る撮影画像を記憶部３０２から読み出す。（２）において制御部３０１は、記憶部３０２から背景画像を読み出し、背景画像と、手荷物２５０が写る撮影画像との明るさの差分画像を得る。なお、図７の（２）から（７）は、明るさの白黒画像で示されており、黒色は暗く、白色は明るいことを表している。

（３）において制御部３０１は、得られた差分画像から小さい白色領域などのノイズを除去し、その後、白色領域の輪郭を太線化する。（４）において制御部３０１は、（１）に示す手荷物２５０が写る撮影画像からエッジを抽出したエッジ画像を生成し、エッジ画像と（３）で得られた画像とで白色画素の重なる領域を抽出する。

（５）において制御部３０１は、（４）で得られた画像から小さい白色領域などのノイズを除去し、その後、白色領域の輪郭を太線化する。（６）において制御部３０１は、（５）で得られた画像から白色領域で囲まれた黒色の小領域を除去する。（７）において制御部３０１は、（６）で得られた画像を１８０度回転させて回転前の画像に重畳する。（８）において制御部３０１は、（７）で得られた画像に矩形フィッティングを行い、手荷物領域を切り出して、手荷物画像として保存する。フィッティングでは、制御部３０１は、例えば、白色領域の外形を取り囲む最小の矩形領域を、手荷物画像として切り出してよい。

例えば、以上のようにして、画像処理装置１０６の制御部３０１は、撮影装置１３２で撮影された手荷物２５０の写る撮影画像から、手荷物画像を生成することができる。

なお、図７で述べた手荷物画像の取得は例示であり、実施形態はこれに限定されるものではない。例えば、別の実施形態では、制御部３０１は、手荷物２５０の領域が特定された撮影画像と、背景画像とを教師データとして用いて機械学習の手法により、手荷物２５０の写る領域を認識する学習器を作成し、作成された学習器により手荷物画像を生成してもよい。

続いて、図５のＳ５０３において制御部３０１は、Ｓ５０２で生成した手荷物画像と、Ｓ５０１で受信した識別情報とを対応付けて記憶部３０２に記憶し、フローはＳ５０１に戻る。一例では、制御部３０１は、手荷物画像を保存する際のファイル名を識別情報とすることで、手荷物画像と識別情報を対応付けて記憶部３０２に保存してよい。別な実施形態では、制御部３０１は、データベースに手荷物画像と識別情報とを対応付けたエントリを登録することで、手荷物画像と識別情報とを対応付けて管理してもよい。

続いて、実施形態に係る手荷物画像の画像検索処理を説明する。手荷物画像の画像検索処理は、例えば、タグ２６０の外れてしまった手荷物２５０が見つかった際に、その手荷物２５０の識別情報を特定するために実行されてよい。

図８は、実施形態に係る画像検索処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の画像検索処理の実行指示が入力されると、図８の動作フローを開始してよい。

Ｓ８０１において制御部３０１は、端末１０７から検索依頼を受け付ける。例えば、メイクエリア２９０でコンテナ２７０への手荷物２５０の積み込みを担当する作業員が、タグ２６０が外れてしまった手荷物２５０を発見したとする。この場合、作業員は、端末１０７を用いてタグ２６０が外れてしまった手荷物２５０の画像を撮影し、撮影した画像を含む検索依頼を端末１０７から画像処理装置１０６に送信してよい。Ｓ８０１において制御部３０１が端末１０７から検索依頼を受信していない場合（Ｓ８０１がＮＯ）、フローはＳ８０１の処理を繰り返す。一方、Ｓ８０１において制御部３０１が端末１０７から検索依頼を受信した場合（Ｓ８０１がＹＥＳ）、フローはＳ８０２に進む。

Ｓ８０２において制御部３０１は、検索依頼からタグ２６０が外れてしまった手荷物２５０を写した画像を取得し、取得した画像を検索キーとして記憶部３０２に記憶されている複数の手荷物画像を画像検索する。なお、記憶部３０２に記憶されている複数の手荷物画像は、それぞれが、例えば、Ｓ５０３で記憶部３０２に記憶された手荷物画像であってよく、識別情報と対応付けられている。また、画像検索は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、KAZE特徴量、AKAZE（Accelerated-KAZE）特徴量などの局所特徴量ベースの画像比較を用いて実行することができる。

図９は、例示的な画像検索の検索結果を示す図である。図９では、タグ２６０の外れてしまった手荷物２５０を写した画像を検索キーとして画像検索が実行されており、検索結果として、手荷物画像が、識別情報および手荷物画像と検索キーの画像との類似度を示すスコアとともに示されている。

Ｓ８０３において制御部３０１は、所定の条件を満たす類似度で類似している手荷物画像と、その手荷物画像の識別情報とを検索結果として端末１０７に返し、フローはＳ８０１に戻る。例えば、制御部３０１は、局所特徴量ベースの類似評価においてスコアが高く、類似していると判定された上位の所定の数の手荷物画像を、その識別情報とともに、検索結果として端末１０７に返してよい。そのため、作業者は、端末１０７で受信した手荷物画像の中から、タグ２６０の外れた手荷物２５０と一致する手荷物画像を容易に見つけることができ、その手荷物画像と対応付けられた識別情報を取得することができる。そして、作業者は、例えば、手荷物画像と対応付けられた識別情報を端末１０７から管理サーバ１０５に通知することで、管理サーバ１０５から識別情報と対応付けられた手荷物管理情報４００のエントリの情報を取得することができる。そのため、作業者は、例えば、タグ２６０が外れてしまった手荷物２５０を積み込むべきコンテナ２７０を迅速に特定することができる。

（第１の変形例）
続いて、上述の実施形態の第１の変形例を説明する。例えば、手荷物画像に対して画像検索を実行する場合、検索キーとして用いる画像と、手荷物画像とで、画像に写る手荷物２５０の向きがおおよそ揃っていた方が類似度の評価精度が向上する。そのため、第１の変形例では制御部３０１は、手荷物画像から複数の手荷物画像を生成する。

図１０は、第１の変形例に係る手荷物画像からの複数の手荷物画像の生成を例示する図である。図１０の例では、制御部３０１は、手荷物画像１００１を、９０度ずつ回転して、３つの手荷物画像１００２を生成している。なお、実施形態に係る手荷物画像からの複数の手荷物画像の生成はこれに限定されるものではない。例えば、別の実施形態では、制御部３０１は、一周するまで、３０度ずつ回転して複数の手荷物画像を生成するなど、その他の角度で手荷物画像を回転して複数の手荷物画像を生成してもよい。或いは、更に別の実施形態では、制御部３０１は、例えば、手荷物画像の縮尺を変更して、または、向きと縮尺の両方を変更して複数の手荷物画像を生成してもよい。

図１１は、第１の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の生成処理の実行指示が入力されると、図１１の動作フローを開始してよい。

続くＳ１１０１およびＳ１１０２の処理は、Ｓ５０１およびＳ５０２の処理と対応していてよく、制御部３０１は、例えば、Ｓ１１０１およびＳ１１０２の処理においてＳ５０１およびＳ５０２と同様の処理を実行してよい。

Ｓ１１０３において制御部３０１は、生成した手荷物画像から複数の手荷物画像を生成する。制御部３０１は、例えば、図１０で述べたように、手荷物画像の向きを変更して複数の手荷物画像を生成してよい。

Ｓ１１０４において制御部３０１は、Ｓ１１０２で生成した手荷物画像および手荷物画像から生成した複数の手荷物画像のそれぞれを、Ｓ１１０１で受信した識別情報と対応付けて記憶部３０２に保存し、フローはＳ１１０１へと戻る。一例では、制御部３０１は、手荷物画像および複数の手荷物画像のそれぞれを保存する際のファイル名を、識別情報を含む名称とすることで、手荷物画像および複数の手荷物画像を識別情報と対応付けて記憶部３０２に保存してよい。

以上で述べた様に、図１１の動作フローによれば、制御部３０１は、手荷物画像から複数の手荷物画像を生成し、複数の手荷物画像を識別情報と対応付けて記憶部３０２に記憶する。そのため、例えば、上述の図８の動作フローで画像検索が実行された場合に、検索キーとして用いる画像と写っている手荷物２５０の向きが近い手荷物画像が、記憶部３０２に記憶されている手荷物画像のうちから見つかる可能性を高めることができる。その結果、画像検索の精度を高めることができる。

（第２の変形例）
例えば、図６を参照して述べた様に、実施形態では制御部３０１は、撮影装置１３２で撮影した手荷物２５０が写る撮影画像と、手荷物２５０が画角に入らないタイミングでコンベア１０１を撮影して得た背景画像とに基づいて、手荷物画像を生成する。

しかしながら、例えば、手荷物２５０の外面に露出している金属などでコンベア１０１の表面にキズがついたり、タグ２６０などのシールがコンベア１０１に貼りついてしまったりすることがある。例えば、この様な場合に、撮影画像おいて手荷物２５０が写る領域以外の背景領域と、背景画像に写る背景とが異なってしまうことがある。

図１２は、撮影装置１７１で撮影した画像の背景が、別のタイミングで撮影した画像の背景と大きく異なってしまう場合を例示する図である。図１２（ａ）では、撮影画像１２０１においてコンベア１０１にタグ２６０が貼りついており、タグ２６０が写り込んでしまっている。そして、この撮影画像１２０１と、コンベア１０１に貼りついたタグ２６０が写っていない背景画像１２０２とで差分をとったとする。この場合、手荷物２５０の写る領域に加えてタグ２６０が写る領域でも差分が大きく出てしまい、手荷物２５０が写る領域の画定において邪魔になることがある。

そのため、変形例では、図１２（ｂ）に示す様に、画像処理装置１０６は、画角に手荷物２５０が含まれない様々なタイミングでコンベア１０１を撮影した複数の背景画像１２０２を記憶部３０２に記憶している。そして、制御部３０１は、例えば、読取装置１０３から撮影装置１３２で撮影された撮影画像１２０１を受信した際に、受信した撮影画像１２０１の背景に応じて、複数の背景画像１２０２のうちから背景画像を選択する。一例では、制御部３０１は、受信した撮影画像１２０１と、複数の背景画像１２０２のそれぞれとの明るさの差分をとった差分画像を生成し、差分の合計が最も小さい差分画像が得られた背景画像を選択して、以降の処理で用いる。図１２（ｂ）に示す例では、複数の背景画像１２０２のうちから、タグ２６０が写る背景画像１２０２が選択されている。

以上で例示したように、様々なタイミングで複数の背景画像を撮影し、記憶部３０２に記憶しておくことで、手荷物画像の生成における手荷物２５０が写る領域の抽出精度を向上させることができる。なお、実施形態は、以上の例に限定されるものではない。例えば、様々な撮影条件で撮影された複数の背景画像を記憶部３０２に格納しておくこともできる。

一例として、撮影の際の光の条件が異なる複数の背景画像を記憶部３０２に格納しておくことができる。光の条件は、例えば、撮影装置１３２が自然光が入射する建物に設置されている場合、時刻、天気、および、季節に応じた自然光の入射角などに応じて異なる。そのため、記憶部３０２には、時刻、天気、および、季節に応じた複数の背景画像が格納されていてもよい。

図１３は、例示的な背景画像管理情報１３００を示す図である。背景画像管理情報１３００には、例えば、日付、天気、時刻、および背景画像が対応付けられたエントリが登録されている。日付は、例えば、エントリと対応する背景画像が撮影された日付である。天気は、例えば、エントリと対応する背景画像が撮影されたときの天気である。時刻は、例えば、エントリと対応する背景画像が撮影された時刻である。背景画像は、例えば、エントリの日付、天気、および時刻に示される撮影条件で撮影された背景画像である。そして、一実施形態では、制御部３０１は、手荷物画像を生成する場合に、手荷物２５０が写る撮影画像が撮影された季節、天気、および時刻と近い季節、天気、および時刻に撮影された背景画像を背景画像管理情報１３００から取得してよい。一例では、制御部３０１は、撮影画像が撮影日の月および日と、所定の日にち以内で近い月および日に撮影されており、撮影時刻が所定の時間以内で近しく、かつ、同様の天気で撮影された背景画像を背景画像管理情報１３００から取得して用いてよい。以下、第２の変形例に係る手荷物画像の生成処理の動作フローを説明する。

図１４は、第２の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の生成処理の実行指示が入力されると、図１４の動作フローを開始してよい。

Ｓ１４０１において制御部３０１は、読取装置１０３から手荷物２５０を撮影した撮影画像と、その手荷物２５０に取り付けられたタグ２６０から読み取った識別情報との組を受信したか否かを判定する。読取装置１０３から撮影画像と識別情報の組を受信していない場合（Ｓ１４０１がＮＯ）、フローはＳ１４０１の処理を繰り返す。一方、読取装置１０３から撮影画像と識別情報の組を受信している場合（Ｓ１４０１がＹＥＳ）、フローはＳ１４０２に進む。

Ｓ１４０２において制御部３０１は、記憶部３０２に記憶されている複数の背景画像を読み出す。例えば、制御部３０１は、図１２で示したように、異なる背景が写る複数の背景画像を読み出してよい。また、例えば、別の実施形態では制御部３０１は、Ｓ１４０１で受信した撮影画像の季節、天気、および時刻と近い季節、天気、および時刻に撮影された背景画像を背景画像管理情報１３００から読み出してもよい。

Ｓ１４０３において制御部３０１は、複数の背景画像のうちから、手荷物画像の生成に用いる背景画像を選択する。例えば、制御部３０１は、受信した撮影画像と、複数の背景画像のそれぞれとで各画素の明るさの差分をとり、差分の合計が小さい背景画像を選択して、以降の処理で用いてよい。

続くＳ１４０４およびＳ１４０５の処理は、例えば、Ｓ５０２およびＳ５０３の処理と対応していてよく、制御部３０１は、Ｓ１４０４およびＳ１４０５においてＳ５０２およびＳ５０３と同様の処理を実行してよい。

以上の図１４の動作フローによれば、受信した撮影画像に応じて適切な背景画像が選択されるため、撮影画像からの手荷物画像の生成の際の手荷物２５０が写る領域の切り出し精度を向上させることができる。

なお、第１の変形例および第２の変形例で記憶部３０２に記憶される手荷物画像と、識別情報と組に対しても、図８で述べた画像検索処理を実行することが可能である。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、図１４の動作フローにおいて、Ｓ１４０５の処理の代わりに、図１１で述べたＳ１１０３およびＳ１１０４の処理を実行し、手荷物画像から複数の手荷物画像を生成して、識別情報と対応付けて記憶してもよい。

また、上述の実施形態では、タグ２６０には識別情報がコード化されたバーコードが印刷される例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、２次元コードとして識別情報がコード化されてもよい。或いは、タグ２６０は、ＲＦＩＤ（radio frequency identifier）タグであってよく、読取装置１０３は、ＲＦＩＤリーダを含み、近距離無線通信で識別情報を読み取ってもよい。

また、上述の実施形態では読取装置１０３が、手荷物２５０の撮影画像と識別情報とを取得し、画像処理装置１０６に通知する例を述べているが、実施形態はこれに限定されるものではない。例えば、チェックインカウンタ２０１での手荷物２５０の預け入れ時に、チェックインカウンタに設置された端末が、手荷物２５０を撮影し、撮影した撮影画像と、手荷物２５０に対して発行した識別情報とを対応付けて画像処理装置１０６に通知してもよい。

また、上述の実施形態では、手荷物を例に説明を行っているが、実施形態はこれに限定されるものではなく、実施形態はその他の荷物に適用されてもよい。例えば、上述の実施形態に係る荷物の管理は、運送業者の配送センターなどの物流センターにおける荷物の仕分けなどにおいて利用されてもよい。

なお、上述の実施形態において、例えば、Ｓ５０２、Ｓ１１０２、およびＳ１４０４の処理では、画像処理装置１０６の制御部３０１は、生成部３１１として動作する。また、例えば、Ｓ５０３、Ｓ１１０４、およびＳ１４０５の処理では、画像処理装置１０６の制御部３０１は、保存部３１２として動作する。

図１５は、実施形態に係る画像処理装置１０６を実現するためのコンピュータ１５００のハードウェア構成を例示する図である。図１５の画像処理装置１０６を実現するためのハードウェア構成は、例えば、プロセッサ１５０１、メモリ１５０２、記憶装置１５０３、可搬型記憶媒体インタフェース１５０４、通信インタフェース１５０６、および入出力インタフェース１５０７を備える。なお、プロセッサ１５０１、メモリ１５０２、記憶装置１５０３、可搬型記憶媒体インタフェース１５０４、通信インタフェース１５０６、入出力インタフェース１５０７は、例えば、バス１５０８を介して互いに接続されている。

プロセッサ１５０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１５０１は、メモリ１５０２を利用して例えば上述の図５、図８、図１１、または図１４の動作フローの手順を記述したプログラムを実行することにより、上述した制御部３０１の一部または全部の機能を提供する。例えば、プロセッサ１５０１は、プログラムを実行することで、上述の生成部３１１、および保存部３１２として動作してよい。

メモリ１５０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１５０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

可搬型記憶媒体インタフェース１５０４は、プロセッサ１５０１の指示に従って可搬型記憶媒体１５０５にアクセスする。可搬型記憶媒体１５０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

画像処理装置１０６の記憶装置１５０３は、例えば、手荷物画像と識別情報とを対応付けて記憶していてよい。なお、メモリ１５０２、記憶装置１５０３、可搬型記憶媒体１５０５、およびこれらの組み合わせは、上述の記憶部３０２の例である。

通信インタフェース１５０６は、プロセッサ１５０１の指示に従ってネットワークを介してデータを送受信する。なお、通信インタフェース１５０６は、上述の通信部３０３の一例である。入出力インタフェース１５０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびプリンタなどの印刷装置である。

図１６は、実施形態に係る端末１０７を実現するためのコンピュータ１６００のハードウェア構成を例示する図である。なお、端末１０７は、例えば、タブレット端末、スマートフォン、および携帯電話機などであってよい。図１６の端末１０７を実現するためのハードウェア構成は、例えば、プロセッサ１６０１、メモリ１６０２、通信装置１６０３、入力装置１６０４、表示装置１６０５、および撮影装置１７１を備える。なお、メモリ１６０２、通信装置１６０３、入力装置１６０４、表示装置１６０５、および撮影装置１７１は、例えば、バスなどの信号線１６１０を介してプロセッサ１６０１に接続されていてよい。

プロセッサ１６０１は、メモリ１６０２を利用して例えば上述の端末１０７が実行する処理の手順を記述したプログラムを実行することにより、端末１０７が有する機能の一部または全部の機能を提供する。

メモリ１６０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。通信装置１６０３は、例えば、プロセッサ１６０１の指示に従ってネットワークを介して管理サーバ１０５および画像処理装置１０６とデータを送受信する。入力装置１６０４は、例えば、静電式タッチパネルおよび感圧式タッチパネルなどであってよい。表示装置１６０５は、例えば、ディスプレーであってよい。ユーザは例えば表示装置１６０５の表示画面に沿って配設されたタッチパネルなどの入力装置１６０４を介して入力を行ってよい。

撮影装置１７１は、例えば、カメラであり、手荷物２５０の画像を撮影するために用いられてよい。

なお、実施形態に係る各プログラムは、例えば、記憶部３０２、およびメモリ１６０２に予め記憶されていてよい。または、実施形態に係る各プログラムは、例えば、プログラムサーバなどのサーバからネットワークを介して提供されてもよい。

また、図１５および図１６を参照して述べた画像処理装置１０６および端末１０７を実現するためのハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の画像処理装置１０６および端末１０７の一部または全部の機能がＦＰＧＡおよびＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除してまたは置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

１００ 手荷物取扱システム
１０１ コンベア
１０２ コンベア制御装置
１０３ 読取装置
１０４ コントローラ
１０５ 管理サーバ
１０６ 画像処理装置
１０７ 端末
１３１ バーコードリーダ
１３２ 撮影装置
１５０ ネットワーク
１７１ 撮影装置
２０１ チェックインカウンタ
２０２ 手荷物検査装置
２５０ 手荷物
２６０ タグ
２７０ コンテナ
２９０ メイクエリア
３０１ 制御部
３０２ 記憶部
３０３ 通信部
３１１ 生成部
３１２ 保存部
１５００ コンピュータ
１５０１ プロセッサ
１５０２ メモリ
１５０３ 記憶装置
１５０４ 可搬型記憶媒体インタフェース
１５０５ 可搬型記憶媒体
１５０６ 通信インタフェース
１５０７ 入出力インタフェース
１５０８ バス
１６００ コンピュータ
１６０１ プロセッサ
１６０２ メモリ
１６０３ 通信装置
１６０４ 入力装置
１６０５ 表示装置
１６１０ 信号線

Claims (6)

1. 荷物に取り付けられたタグから読取装置で読み取られた識別情報であって、前記荷物の持ち主に関する情報と対応付けられている前記識別情報と、撮影装置が撮影した前記荷物が写る撮影画像とを受信した場合、前記荷物が画角に含まれないタイミングで前記撮影装置が撮影した背景画像と、前記撮影画像とに基づいて、前記撮影画像から前記荷物が写る領域を抽出した荷物画像を生成し、
   前記荷物画像を前記識別情報と対応付けて記憶部に保存する、
   処理を、画像処理装置に実行させる画像処理プログラム。
2. 前記荷物画像を回転することで第２の荷物画像を生成し、
   前記第２の荷物画像を前記識別情報と対応付けて前記記憶部に保存する、
   処理を、更に前記画像処理装置に実行させる、請求項１に記載の画像処理プログラム。
3. 前記荷物が画角に含まれないタイミングで前記撮影装置が撮影した複数の背景画像のうちで、前記撮影画像との明るさの差分が最も小さくなる背景画像を選択する、
   処理を、更に前記画像処理装置に実行させる、請求項１または２に記載の画像処理プログラム。
4. 前記記憶部は、前記荷物画像を含む複数の荷物画像を記憶しており、
   検索依頼を受信した場合に、前記検索依頼に含まれる荷物が写る画像と所定の条件を満たす類似度で類似している荷物画像を、前記複数の荷物画像のうちから特定する、
   処理を、更に前記画像処理装置に実行させる、請求項１から３のいずれか１項に記載の画像処理プログラム。
5. 荷物に取り付けられたタグから読取装置で読み取られた識別情報であって、前記荷物の持ち主に関する情報と対応付けられている前記識別情報と、撮影装置が撮影した前記荷物が写る撮影画像とを受信した場合、前記荷物が画角に含まれないタイミングで前記撮影装置が撮影した背景画像と、前記撮影画像とに基づいて、前記撮影画像から前記荷物が写る領域を抽出した荷物画像を生成し、
   前記荷物画像を前記識別情報と対応付けて記憶部に保存する、
   ことを含む、画像処理装置が実行する画像処理方法。
6. 荷物に取り付けられたタグから読取装置で読み取られた識別情報であって、前記荷物の持ち主に関する情報と対応付けられている前記識別情報と、撮影装置が撮影した前記荷物が写る撮影画像とを受信した場合、前記荷物が画角に含まれないタイミングで前記撮影装置が撮影した背景画像と、前記撮影画像とに基づいて、前記撮影画像から前記荷物が写る領域を抽出した荷物画像を生成する生成部と、
   前記荷物画像を前記識別情報と対応付けて記憶部に保存する保存部と、
   を含む、画像処理装置。