JP2020087172A - 画像処理プログラム、画像処理方法、および画像処理装置 - Google Patents

Abstract

【課題】一実施形態は、画像検索の際に、検索キーとした画像に写る荷物と一致する荷物が写る荷物画像を効率よく見つける。【解決手段】一実施形態に係る画像処理装置は、画像検索依頼を受信した場合、異なる荷物が写る複数の荷物画像であって、それぞれが荷物の持ち主を識別するための識別情報と対応付けられている複数の荷物画像に対して、画像検索依頼に含まれる荷物が写る画像を検索キーとして画像検索を実行して、複数の荷物画像のそれぞれと、画像検索依頼に含まれる荷物が写る画像との類似度を評価する評価部と、複数の荷物画像のうちで、画像検索依頼に含まれる荷物が写る画像の色と、色が所定の判定条件を満たさないと判定した荷物画像の類似度を低くなるように変更する変更部と、変更後の類似度が所定の条件を満たす荷物画像と、所定の条件を満たす荷物画像に対応付けられている識別情報とを返信する返信部と、を含む。【選択図】図１０

Description

本発明は、画像処理プログラム、画像処理方法、および画像処理装置に関する。

例えば、空港などにおいて、乗客から預かった手荷物を、乗客が搭乗する航空機に積み込むコンテナが置かれたエリアまで搬送する手荷物取扱システムが利用されている。

手荷物取扱システムでは、例えば、手荷物の預け入れ時に、手荷物の持ち主の情報と対応付けられた識別情報が発行される。そして、例えば、識別情報をコード化したバーコードが印刷されたタグが手荷物に取り付けられる。その後、手荷物取扱システムは、手荷物に取り付けられたタグから識別情報をコンベア沿いに設置されたバーコードリーダで読み取る。そして、手荷物取扱システムは、読み取った識別情報を基にコンベアを制御して手荷物を仕分けし、最終的に手荷物の持ち主が搭乗する航空機に積み込まれるコンテナまで手荷物を搬送する。

また、例えば、物品の管理や放置物の検出などに、画像データを利用する技術が知られている。

特開平１０−１４９４３４号公報 特開２００９−１５２７４８号公報 国際公開第２０１８／０１２４３９号

例えば、手荷物をコンベアで搬送している間に、手荷物に取り付けたタグが外れてしまい、タグから手荷物の持ち主の情報を特定できなくなることがある。例えば、その様な状況に対処するために、乗客の手荷物を写した手荷物画像と、識別情報とを対応付けて予め保存しておくことが考えられる。それにより、例えば、タグの外れた手荷物が見つかった場合にも、タグの外れた手荷物を撮影した画像を検索キーとして画像検索を実行することで、識別情報を特定することが可能である。しかしながら、この様に、例えば、手荷物などの荷物が写る画像を検索キーとして画像検索を実行した場合に、色の異なる荷物を写した荷物画像が検索結果の上位に含まれてしまうことがある。その結果、検索キーとした画像に写る荷物と一致する荷物が写る荷物画像を見つけるまでの効率が低下することがある。

１つの側面では、本発明は、画像検索の際に、検索キーとした画像に写る荷物と一致する荷物が写る荷物画像を効率よく見つけることのできる技術を提供することを目的とする。

本発明の一つの態様の画像処理プログラムは、画像検索依頼を受信した場合、異なる荷物が写る複数の荷物画像であって、それぞれが荷物の持ち主を識別するための識別情報と対応付けられている複数の荷物画像に対して、画像検索依頼に含まれる荷物が写る画像を検索キーとして画像検索を実行して、複数の荷物画像のそれぞれと、画像検索依頼に含まれる荷物が写る画像との類似度を評価し、複数の荷物画像のうちで、画像検索依頼に含まれる荷物が写る画像の色と、色が所定の判定条件を満たさないと判定した荷物画像の類似度を低くなるように変更し、変更後の類似度が所定の条件を満たす荷物画像と、所定の条件を満たす荷物画像に対応付けられている識別情報とを返信する、処理を、画像処理装置に実行させる。

画像検索の際に、検索キーとした画像に写る荷物と一致する荷物が写る荷物画像を効率よく見つけることができる。

実施形態に係る手荷物取扱システムのシステム構成を例示する図である。 実施形態に係る手荷物取扱システムによる手荷物の取り扱いの流れを説明する図である。 実施形態に係る画像処理装置のブロック構成を例示する図である。 実施形態に係る手荷物管理情報を例示する図である。 実施形態に係る手荷物画像の生成処理の動作フローを例示する図である。 手荷物画像の生成について例を説明する図である。 実施形態に係る手荷物画像の生成の流れを例示する図である。 実施形態に係る画像検索処理の動作フローを例示する図である。 色相環を例示する図である。 類似度の評価結果の変化を例示する図である。 第１の変形例に係る手荷物画像からの複数の手荷物画像の生成を例示する図である。 第１の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。 撮影装置で撮影した画像の背景と別のタイミングで撮影した画像の背景とが異なる場合を例示する図である。 例示的な背景画像管理情報を示す図である。 第２の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。 実施形態に係る画像処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。 実施形態に係る端末を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付すことがある。

上述のように、空港では、例えば、乗客は、航空機内へ持ち込む手荷物以外の手荷物を、搭乗前に航空会社のチェックインカウンタに預ける。預け入れの際に、手荷物には、手荷物を識別するための識別情報がコード化されたバーコードを含むタグが取り付けられて、ベルトコンベアなどのコンベア上を搬送される。識別情報は、例えば、手荷物の持ち主に関する情報（以下、手荷物情報と呼ぶことがある）と対応付けられており、手荷物の持ち主を識別するために用いられてよい。手荷物情報は、例えば、手荷物の持ち主の氏名、持ち主の性別、持ち主が乗る航空機の航空会社、および航空機の便名などの情報を含んでよい。

また、コンベア沿いにはバーコードリーダを備える読取装置が設置されている。そして、読取装置でタグのバーコードが読み取られ、読み取られた識別情報に従って、最終的に手荷物は持ち主が搭乗する航空機の荷物室に積み込むコンテナのあるメイクエリアまでベルトコンベアにより仕分け搬送される。

ここで、手荷物の搬送中に、手荷物に取り付けたタグが外れてしまうことがある。例えば、タグは、粘着性のシール等で手荷物に貼りつけられることがあるが、タグの粘着面が露出していると、粘着面が壁などにくっついてしまい、手荷物がコンベアを運ばれる力で引っ張られてタグが切れてしまうことがある。このようにタグが手荷物から外れてしまうと、タグに記載される識別情報から、手荷物情報を取得することができなくなるため、手荷物をどこに搬送すべきか等を特定することが難しくなる。

こうした状況に対処するための一つの手法として、例えば、乗客の手荷物を写した画像（以下、手荷物画像または荷物画像と呼ぶことがある）と、識別情報とを対応付けて予め記憶装置に保存しておくことが考えられる。そして、例えば、タグの外れた手荷物が見つかった場合に、タグの外れた手荷物の画像を撮影装置で撮影し、その撮影した画像を検索キーとして、記憶装置に保存されている手荷物画像を画像検索する。それにより、検索で上位に評価された手荷物画像のうちから、タグの外れた手荷物と対応する手荷物画像を特定して識別情報を迅速に取得することが可能である。

しかしながら、例えば、画像検索の結果、検索キーとして用いた画像に写る手荷物と、色の明らかに異なる手荷物を写した手荷物画像が上位に現れることがある。

例えば、画像検索に用いられる局所特徴量に基づく画像の比較は、明るさの変化の分布をもとに行われるため、色が異なっていても形状が似ていると、その画像の類似度を高く評価してしまうことがある。そのため、検索キーとして入力した画像に写る手荷物と色が明らかに異なる手荷物を写した手荷物画像が、画像検索において上位に現れることを抑制し、検索精度を高めることのできる技術の提供が望まれている。

以下で述べる実施形態では、画像検索で検索キーとして用いる手荷物の画像と、記憶装置に保存されている手荷物画像とのそれぞれの画像から、手荷物の色の特徴を表す特徴値を決定する。そして、２つの画像の特徴値が所定の近似度を下回って似ていない場合には、その手荷物画像の類似度の評価を下げる。それにより、画像検索の精度を高め、検索キーとして入力した画像に写る手荷物と一致する手荷物が写る手荷物画像を効率よく特定することを可能にする。以下、実施形態を更に詳細に説明する。

まず、実施形態に係る手荷物取扱システム１００について説明する。

（手荷物取扱システム）
図１は、実施形態に係る手荷物取扱システム１００のシステム構成を例示する図である。手荷物取扱システム１００は、例えば、ＢＨＳ（Baggage Handling System）であってよい。手荷物取扱システム１００は、例えば、コンベア１０１、コンベア制御装置１０２、読取装置１０３、コントローラ１０４、管理サーバ１０５、画像処理装置１０６、および端末１０７を含む。

コンベア制御装置１０２、コントローラ１０４、管理サーバ１０５、画像処理装置１０６、および端末１０７は、例えば、ネットワーク１５０を介して互いに接続されていてよい。ネットワーク１５０は、例えば、ＬＡＮ（Local Area Network）であってよく、有線ネットワーク、および無線ネットワークを含んでよい。

コンベア１０１は、例えば、ベルトコンベアであってよい。コンベア１０１は、例えば、通信機能を備えるコンベア制御装置１０２と接続されていてよく、コンベア制御装置１０２を介してネットワーク１５０に接続し、管理サーバ１０５からの制御を受けて手荷物を仕分け搬送する。

読取装置１０３は、例えば、バーコードリーダ１３１、および撮影装置１３２を備える。読取装置１０３のバーコードリーダ１３１は、例えば、コンベア１０１上を搬送される手荷物に付加されたタグ２６０のバーコードから識別情報を読み取る。また、読取装置１０３の撮影装置１３２は、例えば、コンベア１０１上を搬送される手荷物を撮影する。読取装置１０３は、例えば、通信機能を備えるコントローラ１０４と接続し、コントローラ１０４を介して管理サーバ１０５に識別情報を送信する。また、読取装置１０３は、例えば、バーコードリーダ１３１で読み取った識別情報と、撮影装置１３２で撮影した手荷物の撮影画像とをコントローラ１０４を介して画像処理装置１０６に送信する。

管理サーバ１０５は、例えば、読取装置１０３のバーコードリーダ１３１で読み取られた識別情報に基づいて、コンベア１０１による手荷物の仕分け搬送を制御する。

画像処理装置１０６は、例えば、読取装置１０３の撮影装置１３２で撮影されたコンベア１０１上を搬送される手荷物の撮影画像を解析し、手荷物の写る領域を抽出した手荷物画像を生成する。そして、画像処理装置１０６は、手荷物画像を、手荷物画像に写る手荷物の識別情報と対応付けて記憶する。また、画像処理装置１０６は、例えば、端末１０７から画像検索依頼を受信すると、画像検索依頼に含まれる画像データを検索キーとして、記憶している手荷物画像を画像検索する。

端末１０７は、例えば、タブレット端末、スマートフォンなどの通信機能を備える端末である。また、端末１０７は、例えば、カメラなどの撮影装置１７１を備える。

なお、図１に示す手荷物取扱システム１００は例示であり、実施形態はこれに限定されるものではなく、手荷物取扱システム１００は、その他の構成であってもよい。例えば、手荷物取扱システム１００は、後述するチェックインカウンタに設置された端末などの更なる構成を含んでもよい。

続いて、実施形態に係る手荷物取扱システム１００による手荷物の取り扱いの流れを説明する。図２は、実施形態に係る手荷物取扱システム１００による手荷物の取り扱いの流れを説明する図である。図２には、例えば、コンベア１０１、読取装置１０３、管理サーバ１０５、画像処理装置１０６、チェックインカウンタ２０１、手荷物検査装置２０２、コンテナ２７０、メイクエリア２９０が示されている。

ここで、乗客は、例えば、チェックインカウンタ２０１にて手荷物２５０を預ける（図２の（１））。チェックインカウンタ２０１に設置された端末は、例えば、預けられた手荷物２５０の持ち主に関する手荷物情報と対応付けて識別情報を発行し、その識別情報をコードするバーコードを印刷したタグ２６０を発券する。発券されたタグ２６０は、預けられた手荷物２５０に取り付けられる（図２の（２））。

続いて、手荷物２５０は、手荷物検査装置２０２へとコンベア１０１上を運ばれ、手荷物検査装置２０２は、手荷物２５０に手荷物検査を実行し、検査内容を管理サーバ１０５に送信する（図２の（３））。手荷物検査の検査員は、例えば、管理サーバ１０５で受信した手荷物検査装置２０２の検査内容に基づいて手荷物を検査する。

続いて、手荷物２５０はコンベア１０１を更に運ばれ、読取装置１０３を通過する。読取装置１０３においてバーコードリーダ１３１は、例えば、コンベア１０１上を流れてきた手荷物２５０に付されたタグ２６０から識別情報を読み取る。また、読取装置１０３の撮影装置１３２は、例えば、コンベア１０１上を流れてきた手荷物２５０を撮影する。なお、読取装置１０３の撮影装置１３２は、所定の画角でコンベア１０１上を撮影するように設置されていてよい。続いて、読取装置１０３は、例えば、バーコードリーダ１３１で読み取った識別情報を、コントローラ１０４を介して管理サーバ１０５に送信する（図２の（４））。

管理サーバ１０５は、例えば、識別情報と対応する手荷物２５０の手荷物情報に基づいてコンベア制御装置１０２を制御し（図２の（５））、積み込み先のコンテナ２７０のあるメイクエリア２９０までコンベア１０１で手荷物２５０を仕分け搬送する。それにより、手荷物２５０は、持ち主が搭乗する便に積載されるコンテナ２７０への手荷物２５０の積み込み作業が行われるメイクエリア２９０に運ばれる（図２の（６））。メイクエリア２９０では、作業員は、例えば、端末１０７を用いて手荷物２５０に取り付けられたタグ２６０から識別情報を読み取る。そして、作業員は、例えば、端末１０７で識別情報を用いて手荷物２５０と対応する手荷物情報を確認し、持ち主が搭乗する航空機のコンテナ２７０に手荷物２５０を積み込む。

また、例えば、手荷物検査装置２０２において、手荷物２５０から不審物が発見された場合には、手荷物２５０は回避検査室までコンベア１０１で運ばれて、更なる検査を受ける（図２の（７））。この様に、手荷物取扱システム１００では、タグ２６０に印刷されたバーコードなどの識別情報により手荷物２５０の個体管理が行われ、大量の手荷物２５０が高い精度で仕分けされ航空機に積み込まれている。

また、実施形態では読取装置１０３は、例えば、撮影装置１３２で撮影した手荷物２５０が写る撮影画像とバーコードリーダ１３１で読み取った識別情報とを対応付けて画像処理装置１０６に送信してよい（図２の（８））。画像処理装置１０６は、例えば、撮影装置１３２で撮影された手荷物２５０が写る撮影画像から、手荷物の写る領域を抽出した手荷物画像を生成する。そして、画像処理装置１０６は、生成した手荷物画像を、読取装置１０３から受信した識別情報と対応付けて記憶装置に保存する。そのため、手荷物２５０からタグ２６０が外れた場合にも、作業員は、手荷物２５０の画像を撮影し、撮影した画像を検索キーとして、記憶装置に保存した手荷物画像を画像検索することで、手荷物画像と対応付けられている識別情報を取得することが可能になる。

例えば、メイクエリア２９０でコンテナ２７０への手荷物の積み込みを担当する作業員が、タグ２６０が外れてしまった手荷物２５０を発見したとする。この場合、タグ２６０から識別情報を取得することができない。ここで、作業員は、例えば、タグ２６０の外れた手荷物２５０の画像を端末１０７の撮影装置１７１で撮影して、撮影した画像をキーとして画像処理装置１０６に画像検索を依頼する（図２の（９））。

画像処理装置１０６は、記憶装置に記憶している手荷物画像と、検索キーとして受信した手荷物２５０の画像とを比較し、類似度を評価する。また、画像処理装置１０６は、記憶装置に記憶している手荷物画像と、検索キーとして受信した手荷物２５０の画像との色の近似度を評価し、近似度に基づいて色が似ていないと判定した手荷物画像の類似度を低くなるように変更する。その後、画像処理装置１０６は、所定の条件を満たす類似度で類似している手荷物画像を、その手荷物画像と対応付けられる識別情報とともに端末１０７に返す。なお、所定の条件としては、例えば、類似度が上位の所定の数に入ることであってよい。作業員は、端末１０７で受信した手荷物画像および識別情報から、タグ２６０が外れてしまった手荷物２５０の識別情報を特定することができる。そして、手荷物２５０の識別情報が分かれば、作業員は、端末１０７を操作して識別情報と対応する手荷物情報について管理サーバ１０５に問い合わせを行うことで、手荷物２５０を積み込むべきコンテナ２７０などの情報を取得することができる。

以上で述べた実施形態に係る手荷物取扱システム１００による手荷物の取り扱いの流れに関し、画像処理装置１０６が実行する処理に関する更なる詳細の例を以下に述べる。

図３は、実施形態に係る画像処理装置１０６のブロック構成を例示する図である。画像処理装置１０６は、例えば、制御部３０１、記憶部３０２、および通信部３０３を含む。制御部３０１は、例えば、評価部３１１、変更部３１２、および返信部３１３などとして動作してよい。記憶部３０２は、例えば、上述の手荷物画像と識別情報とを対応付けて記憶していてよい。通信部３０３は、制御部３０１の指示に従ってネットワーク１５０に接続し、端末１０７と通信したり、コントローラ１０４を介して読取装置１０３と通信したりする。これらの各部の詳細および記憶部３０２に格納されている情報の詳細については後述する。

図４は、実施形態に係る手荷物管理情報４００を例示する図である。手荷物管理情報４００のエントリには、例えば、航空会社、便、ゲート、識別情報を含む手荷物情報が登録されている。航空会社は、例えば、エントリと対応する手荷物２５０を運び込む航空便の航空会社を示す情報である。便は、例えば、エントリと対応する手荷物２５０を運び込む航空便を示す情報である。ゲートは、例えば、エントリと対応する手荷物２５０を運び込む航空便が停留するゲートを示す情報である。識別情報は、例えば、エントリと対応する手荷物２５０に対して発行された識別情報である。識別情報は、例えば、エントリと対応する手荷物２５０がチェックインカウンタ２０１に預け入れられる際に発行されてよく、手荷物２５０には識別情報を含むタグ２６０が取り付けられてよい。なお、図４の例では、手荷物管理情報４００のエントリは、航空会社、便、ゲート、識別情報を含むが、実施形態はこれに限定されるものではない。例えば、手荷物管理情報４００のエントリは、手荷物の持ち主の氏名、持ち主の性別などのその他の情報を含んでもよい。

図５は、実施形態に係る手荷物画像の生成処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の生成処理の実行指示が入力されると、図５の動作フローを開始してよい。

Ｓ５０１において制御部３０１は、読取装置１０３から手荷物２５０を撮影した撮影画像と、その手荷物２５０に取り付けられたタグ２６０から読み取った識別情報との組を受信したか否かを判定する。読取装置１０３から撮影画像と識別情報の組を受信していない場合（Ｓ５０１がＮＯ）、フローはＳ５０１の処理を繰り返す。一方、読取装置１０３から撮影画像と識別情報の組を受信している場合（Ｓ５０１がＹＥＳ）、フローはＳ５０２に進む。

Ｓ５０２において制御部３０１は、受信した撮影画像と、記憶部３０２に記憶されている背景画像とに基づいて、撮影画像から手荷物２５０が写る領域を抽出した手荷物画像を生成する。なお、背景画像は、例えば、撮影装置１３２で、手荷物２５０が画角に含まれないタイミングに背景となるコンベア１０１を撮影した画像であってよく、画像処理装置１０６の記憶部３０２に予め記憶されていてよい。

図６は、Ｓ５０２で実行される手荷物画像の生成について例を説明する図である。図６には、背景となるコンベア１０１を撮影した背景画像６０１と、手荷物２５０が写る撮影画像６０２と、手荷物画像６０３とが示されている。制御部３０１は、読取装置１０３から受信した撮影画像６０２と、記憶部３０２から読み出した背景画像６０１とに基づいて、撮影画像６０２から背景となるコンベア１０１が写る領域を取り除き、手荷物２５０が写る領域を抽出した手荷物画像６０３を生成する。このように抽出した手荷物画像６０３は、画像内の大部分の画素が手荷物２５０を示す情報となるため、画像検索の精度を高めることが可能である。以下、手荷物画像６０３の生成の更なる詳細について例示する。

図７は、実施形態に係る手荷物画像の生成の流れを例示する図である。図７の（１）において画像処理装置１０６の制御部３０１は、読取装置１０３の撮影装置１３２で撮影された手荷物２５０が写る撮影画像を記憶部３０２から読み出す。（２）において制御部３０１は、記憶部３０２から背景画像を読み出し、背景画像と、手荷物２５０が写る撮影画像との明るさの差分画像を得る。なお、図７の（２）から（７）は、明るさを表す白黒画像で示されており、黒色は暗く、白色は明るいことを表している。

（３）において制御部３０１は、得られた差分画像から小さい白色領域などのノイズを除去し、その後、白色領域の輪郭を太線化する。（４）において制御部３０１は、（１）に示す手荷物２５０が写る撮影画像からエッジを抽出したエッジ画像を生成し、エッジ画像と（３）で得られた画像とで白色画素の重なる領域を抽出する。

（５）において制御部３０１は、（４）で得られた画像から小さい白色領域などのノイズを除去し、その後、白色領域の輪郭を太線化する。（６）において制御部３０１は、（５）で得られた画像から白色領域で囲まれた黒色の小領域を除去する。（７）において制御部３０１は、（６）で得られた画像を１８０度回転させて回転前の画像に重畳する。（８）において制御部３０１は、（７）で得られた画像に矩形フィッティングを行い、手荷物領域を切り出して、手荷物画像として保存する。フィッティングでは、制御部３０１は、例えば、白色領域の外形を取り囲む最小の矩形領域を、手荷物画像として切り出してよい。

例えば、以上のようにして、画像処理装置１０６の制御部３０１は、撮影装置１３２で撮影された手荷物２５０の写る撮影画像から、手荷物画像を生成することができる。

なお、図７で述べた手荷物画像の取得は例示であり、実施形態はこれに限定されるものではない。例えば、別の実施形態では、制御部３０１は、手荷物２５０の領域が特定された撮影画像と、背景画像とを教師データとして用いて機械学習の手法により、手荷物２５０の写る領域を認識する学習器を作成し、作成された学習器により手荷物画像を生成してもよい。

続いて、図５のＳ５０３において制御部３０１は、Ｓ５０２で生成した手荷物画像と、Ｓ５０１で受信した識別情報とを対応付けて記憶部３０２に記憶し、フローはＳ５０１に戻る。一例では、制御部３０１は、手荷物画像を保存する際のファイル名を識別情報とすることで、手荷物画像と識別情報を対応付けて記憶部３０２に保存してよい。別な実施形態では、制御部３０１は、データベースに手荷物画像と識別情報とを対応付けたエントリを登録することで、手荷物画像と識別情報とを対応付けて管理してもよい。なお、図５のＳ５０３の実行のたびに記憶部３０２に保存される手荷物画像と識別情報との組は、以下に後述するように、画像検索の検索対象として用いることができる。

（手荷物画像の画像検索処理）
続いて、実施形態に係る手荷物画像の画像検索処理を説明する。手荷物画像の画像検索処理は、例えば、タグ２６０の外れてしまった手荷物２５０が見つかった際に、その手荷物２５０の識別情報を特定するために実行されてよい。なお、例えば、上述の局所特徴量に基づく画像検索のように、画像検索では、検索キーとして用いた画像に写る手荷物と色の明らかに異なる手荷物を写した手荷物画像が、類似する手荷物画像として上位に現れることがある。そのため、以下で述べる画像検索処理では、制御部３０１は、検索キーとして用いる手荷物の画像と、記憶装置に保存されている手荷物画像との色の近似度を評価し、２つの画像の色が似ていない場合には、その手荷物画像の類似度の評価を下げる。それにより、画像検索の精度が高まり、検索キーとして入力した画像に写る手荷物と一致する手荷物が写る手荷物画像を効率よく特定することが可能になる。

図８は、実施形態に係る画像検索処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の画像検索処理の実行指示が入力されると、図８の動作フローを開始してよい。

Ｓ８０１において制御部３０１は、端末１０７から画像検索依頼を受け付ける。例えば、メイクエリア２９０でコンテナ２７０への手荷物２５０の積み込みを担当する作業員が、タグ２６０が外れてしまった手荷物２５０を発見したとする。この場合、作業員は、端末１０７を用いてタグ２６０が外れてしまった手荷物２５０の画像を撮影し、撮影した画像を含む画像検索依頼を端末１０７から画像処理装置１０６に送信してよい。Ｓ８０１において制御部３０１が端末１０７から画像検索依頼を受信していない場合（Ｓ８０１がＮＯ）、フローはＳ８０１の処理を繰り返す。一方、Ｓ８０１において制御部３０１が端末１０７から画像検索依頼を受信した場合（Ｓ８０１がＹＥＳ）、フローはＳ８０２に進む。

Ｓ８０２において制御部３０１は、画像検索依頼からタグ２６０が外れてしまった手荷物２５０を写した画像を取得し、取得した画像を検索キーとして記憶部３０２に記憶されている複数の手荷物画像を画像検索する。なお、記憶部３０２に記憶されている検索対象の複数の手荷物画像は、それぞれが、例えば、Ｓ５０３で記憶部３０２に記憶された手荷物画像であってよく、識別情報と対応付けられている。また、画像検索には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、KAZE特徴量、AKAZE（Accelerated-KAZE）特徴量などの局所特徴量ベースの画像比較を用いることができる。制御部３０１は、例えば、これらの局所特徴量ベースの画像比較により画像の類似度を評価してよい。そして、制御部３０１は、例えば、手荷物画像を類似度の高い順に並べ替えてよい。例えば、局所特徴量ベースの画像比較では、類似度をスコアで表すことができ、制御部３０１は、スコアの高い手荷物画像から順に、手荷物画像を並べ替えてよい。

続いて、Ｓ８０３で制御部３０１は、色の近似度を評価する。例えば、制御部３０１は、画像検索依頼に含まれる手荷物２５０を写した画像から、手荷物の色の特徴を表す特徴値を決定する。また、制御部３０１は、記憶部３０２に記憶されている複数の手荷物画像のそれぞれについて、手荷物の色の特徴を表す特徴値を決定する。そして、制御部３０１は、手荷物２５０を写した画像から得た特徴値と、記憶部３０２に記憶されているそれぞれの手荷物画像の特徴値とを比較し、色が近いか否かの近似度を評価する。

なお、色の近似度の評価に利用可能な特徴値としては、例えば、色相を用いることができる。色相は、例えば、色合い、色味のことであり、彩度および明度とともに、色の三属性の一つである。色相は、色の比較の指標として好ましく用いることができる。以下、色相を例に色の近似度を評価する例を述べるが、実施形態はこれに限定されるものではなく、その他の色の成分を用いて、色の近似度が評価されてもよい。

一実施形態において制御部３０１は、画像内の画素の色相を代表する代表値を算出し、手荷物の色の特徴を表す特徴値として用いてよい。代表値は、一例では、画像全体で色相を平均した値であってよい。例えば、色相の平均は、以下のように求めることができる。

図９は、色相環を例示する図である。図９に例示するように、色相環は色相の総体を順序立てて円環にして並べたものであり、色相環上での角度θにより色相を値で表すことができる。なお、以下では、色相環上での角度θを、色相値と呼ぶことがある。そして、画像内の１つの画素の色相は、角度θにより表すことができる。また更に、例えば、画像内に含まれる画素の色相の平均値は、以下の計算で求めることができる。

まず、以下の式により、画像内の各画素の色相のＸ軸成分とＹ軸成分とのそれぞれの総和を求める。

ここで、θは画像内の画素の色相である。Ｓは、画像内の全ての画素の色相のＹ軸成分の総和である。また、Ｃは、画像内の全ての画素の色相のＸ軸成分の総和である。続いて、Ｓ／Ｃのアークタンジェントを計算し、θ_averageを求める。

ただし、アークタンジェントの出力は、−９０°＜θ＜９０°の範囲の値をとる。そのため、ＳおよびＣのそれぞれの符号を用いて色相の平均値を決定する。例えば、θ_averageが、４５°であったとする。この場合に、ＳとＣの符号が正であれば、色相の平均値を４５°と決定することができる。一方、ＳとＣの符号がともに負であれば、色相の平均値を２２５°と決定することができる。また、同様に、θ_averageが−４５°であったとする。この場合、Ｓの符号が負であり、Ｃの符号が正であれば、色相の平均値は−４５°で、すなわち、３１５°と決定することができる。一方、Ｓの符号が正であり、Ｃの符号が負であれば、色相の平均値は−４５°で、すなわち、１３５°と決定することができる。例えば、以上のように、色相の平均値を求めることができる。

そして、Ｓ８０３の処理において制御部３０１は、例えば、手荷物２５０を写した画像から得た色相の平均値と、記憶部３０２に記憶されている手荷物画像の色相の平均値との角度差の大きさが、所定の判定条件を満たせば色が近いと判定する。一方、制御部３０１は、例えば、手荷物２５０を写した画像から得た色相の平均値と、記憶部３０２に記憶されている手荷物画像の色相の平均値との角度差の大きさが、所定の判定条件を満たさなければ色が似ていないと判定してよい。一例として、制御部３０１は、手荷物２５０を写した画像から得た色相の平均値と、記憶部３０２に記憶されている手荷物画像の色相の平均値との角度差の大きさが、所定の角度未満であれば、色が近いと判定してよい。一方、例えば、手荷物２５０を写した画像から得た色相の平均値と、記憶部３０２に記憶されているそれぞれの手荷物画像の色相の平均値との角度差の大きさが、所定の角度以上であれば、制御部３０１は、色が近くないと判定してよい。なお、所定の角度は、例えば、４５°〜１３５°の範囲の角度であってよく、一例では、９０°であってよい。

Ｓ８０４において制御部３０１は、色が近くないと判定した手荷物画像に対して、Ｓ８０２の画像検索で得られた類似度を低くなるように変更する。例えば、制御部３０１は、画像検索の結果得られた類似度を表すスコアから所定の値を引くなどして、色が近くないと判定した手荷物画像に対するスコアを引き下げてよい。所定の値としては、例えば、色が近くないと判定された手荷物画像が、類似度による並び順で、上位に入らないような値を用いることができる。

続いて、Ｓ８０５において制御部３０１は、変更後の類似度において、類似度が所定の条件を満たして類似している手荷物画像と、その手荷物画像の識別情報とを検索結果として端末１０７に返し、フローはＳ８０１に戻る。例えば、制御部３０１は、類似度が上位の所定の数の手荷物画像を、その識別情報とともに、検索結果として端末１０７に返してよい。

そのため、作業者は、端末１０７で受信した手荷物画像の中から、タグ２６０の外れた手荷物２５０と一致する手荷物画像を容易に見つけることができ、その手荷物画像と対応付けられた識別情報を取得することができる。そして、作業者は、例えば、手荷物画像と対応付けられた識別情報を端末１０７から管理サーバ１０５に通知することで、管理サーバ１０５から識別情報と対応付けられた手荷物管理情報４００のエントリの情報を取得することができる。そのため、作業者は、例えば、タグ２６０が外れてしまった手荷物２５０を積み込むべきコンテナ２７０を迅速に特定することができる。

また、図８の動作フローによれば、検索キーの画像に色が似ていない手荷物画像は類似度が低く評価されるため、検索キーとした画像に写る手荷物と一致する手荷物が写る手荷物画像を効率よく見つけることができる。

図１０は、以上で述べた図８の動作フローの類似度の評価結果の変化を例示する図である。（１）に示すように、制御部３０１は、タグ２６０の外れてしまった手荷物２５０を写した画像を検索キーとして画像検索を実行する（図８のＳ８０２）。（２）は検索結果として、手荷物画像が類似度の高い方から順に並べており、図１０の例では手荷物画像Ａ＞手荷物画像Ｂ＞手荷物画像Ｃ＞手荷物画像Ｄの順に類似度が高い。ここで、手荷物画像Ａおよび手荷物画像Ｂに写る手荷物２５０は、形状は似ているが、色が全く異なり、検索キーとして入力された画像の手荷物と明らかに異なっている。この様に、明るさの変化の分布をもとに実行される局所特徴量ベースの比較では、異なる色をした明らかに別の手荷物２５０が、類似する手荷物２５０として上位に現れることがある。

しかし、実施形態では（３）に示す様に、制御部３０１は、色の近似度を評価し、色が似ていない手荷物画像の類似度を下げる（図８のＳ８０３およびＳ８０４）。それにより、（４）に示す様に、色が似ていない手荷物画像Ａおよび手荷物画像Ｂを下位にし、類似度が高く、かつ、色も近い手荷物画像Ｃを上位にすることができる。そして、制御部３０１は、上位の所定の数の手荷物画像を、その識別情報とともに、検索結果として端末１０７に返してよい。それにより、作業者は、端末１０７で受信した手荷物画像の中から、タグ２６０の外れた手荷物２５０と一致する手荷物画像を容易に見つけることができ、その手荷物画像と対応付けられた識別情報を取得することができる。

以上で述べた様に、実施形態によれば、色の近似度を評価するため、画像検索の精度を高めて、検索キーとして入力した画像に写る手荷物と一致する手荷物が写る手荷物画像を効率よく特定することが可能になる。

なお、以上で述べた実施形態では、画像の色相を代表する値として、平均値を用いる例を述べたが実施形態はこれに限定されるものでない。例えば、別の実施形態では、最頻値などのその他の統計値を用いることができる。また、例えば、上述の実施形態では、画像全体で色相の平均値を得る例を述べたが、実施形態は、これに限定されるものではない。例えば、作業者がタグ２６０の外れてしまった手荷物２５０を撮影装置で撮影する場合、手荷物は画像の中心に寄せて撮影する可能性が高い。また、例えば、Ｓ５０２の処理で生成される手荷物画像においても手荷物は画像の中心に配置されている可能性が高い。即ち、これらの画像において中心付近の画素からは、手荷物の色の情報を、背景などの不要な情報を含まずに取得できる可能性が高い。そのため、制御部３０１は、別の実施形態では、画像の全体ではなく、中心付近の所定のサイズの領域に含まれる画素から色相の平均値などの代表値を得てもよい。

（第１の変形例）
続いて、上述の実施形態の第１の変形例を説明する。例えば、手荷物画像に対して画像検索を実行する場合、検索キーとして用いる画像と、手荷物画像とで、画像に写る手荷物２５０の向きがおおよそ揃っていた方が類似度の評価精度が向上する。そのため、第１の変形例では制御部３０１は、手荷物画像から複数の手荷物画像を生成する。

図１１は、第１の変形例に係る手荷物画像からの複数の手荷物画像の生成を例示する図である。図１１の例では、制御部３０１は、手荷物画像１１０１を、９０度ずつ回転して、３つの手荷物画像１１０２を生成している。なお、実施形態に係る手荷物画像からの複数の手荷物画像の生成はこれに限定されるものではない。例えば、別の実施形態では、制御部３０１は、一周するまで、３０度ずつ回転して複数の手荷物画像を生成するなど、その他の角度で手荷物画像を回転して複数の手荷物画像を生成してもよい。或いは、更に別の実施形態では、制御部３０１は、例えば、手荷物画像の縮尺を変更して、または、向きと縮尺の両方を変更して複数の手荷物画像を生成してもよい。

図１２は、第１の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の生成処理の実行指示が入力されると、図１２の動作フローを開始してよい。

続くＳ１２０１およびＳ１２０２の処理は、Ｓ５０１およびＳ５０２の処理と対応していてよく、制御部３０１は、例えば、Ｓ１２０１およびＳ１２０２の処理においてＳ５０１およびＳ５０２と同様の処理を実行してよい。

Ｓ１２０３において制御部３０１は、生成した手荷物画像から複数の手荷物画像を生成する。制御部３０１は、例えば、図１１で述べたように、手荷物画像の向きを変更して複数の手荷物画像を生成してよい。

Ｓ１２０４において制御部３０１は、Ｓ１２０２で生成した手荷物画像および手荷物画像から生成した複数の手荷物画像のそれぞれを、Ｓ１２０１で受信した識別情報と対応付けて記憶部３０２に保存し、フローはＳ１２０１へと戻る。一例では、制御部３０１は、手荷物画像および複数の手荷物画像のそれぞれを保存する際のファイル名を、識別情報を含む名称とすることで、手荷物画像および複数の手荷物画像を識別情報と対応付けて記憶部３０２に保存してよい。

以上で述べた様に、図１２の動作フローによれば、制御部３０１は、手荷物画像から複数の手荷物画像を生成し、複数の手荷物画像を識別情報と対応付けて記憶部３０２に記憶する。そのため、例えば、上述の図８の動作フローで画像検索が実行された場合に、検索キーとして用いる画像と写っている手荷物２５０の向きが近い手荷物画像が、記憶部３０２に記憶されている可能性を高めることができる。その結果、画像検索の精度を高めることができる。

（第２の変形例）
例えば、図６を参照して述べた様に、実施形態では制御部３０１は、撮影装置１３２で撮影した手荷物２５０が写る撮影画像と、手荷物２５０が画角に入らないタイミングでコンベア１０１を撮影して得た背景画像とに基づいて、手荷物画像を生成する。

しかしながら、例えば、手荷物２５０の外面に露出している金属などでコンベア１０１の表面にキズがついたり、タグ２６０などのシールがコンベア１０１に貼りついてしまったりすることがある。例えば、この様な場合に、撮影画像おいて手荷物２５０が写る領域以外の背景領域と、背景画像に写る背景とが異なってしまうことがある。

図１３は、撮影装置１７１で撮影した画像の背景が、別のタイミングで撮影した画像の背景と大きく異なってしまう場合を例示する図である。図１３（ａ）では、撮影画像１３０１においてコンベア１０１にタグ２６０が貼りついており、タグ２６０が写り込んでしまっている。そして、この撮影画像１３０１と、コンベア１０１に貼りついたタグ２６０が写っていない背景画像１３０２とで差分をとったとする。この場合、手荷物２５０の写る領域に加えてタグ２６０が写る領域でも差分が大きく出てしまい、手荷物２５０が写る領域の画定において邪魔になることがある。

そのため、変形例では、図１３（ｂ）に示す様に、画像処理装置１０６は、画角に手荷物２５０が含まれない様々なタイミングでコンベア１０１を撮影した複数の背景画像１３０２を記憶部３０２に記憶している。そして、制御部３０１は、例えば、読取装置１０３から撮影装置１３２で撮影された撮影画像１３０１を受信した際に、受信した撮影画像１３０１の背景に応じて、複数の背景画像１３０２のうちから背景画像を選択する。一例では、制御部３０１は、受信した撮影画像１３０１と、複数の背景画像１３０２のそれぞれとの明るさの差分をとった差分画像を生成し、差分の合計が最も小さい差分画像が得られた背景画像を選択して、以降の処理で用いてよい。図１３（ｂ）に示す例では、複数の背景画像１３０２のうちから、タグ２６０が写る背景画像１３０２が選択されている。

以上で例示したように、様々なタイミングで複数の背景画像を撮影し、記憶部３０２に記憶しておくことで、手荷物画像の生成における手荷物２５０が写る領域の抽出精度を向上させることができる。なお、実施形態は、以上の例に限定されるものではない。例えば、様々な撮影条件で撮影された複数の背景画像を記憶部３０２に格納しておくこともできる。

一例として、撮影の際の光の条件が異なる複数の背景画像を記憶部３０２に格納しておくことができる。光の条件は、例えば、撮影装置１３２が自然光が入射する建物に設置されている場合、時刻、天気、および、季節に応じた自然光の入射角などに応じて異なる。そのため、記憶部３０２には、時刻、天気、および、季節に応じた複数の背景画像が格納されていてもよい。

図１４は、例示的な背景画像管理情報１４００を示す図である。背景画像管理情報１４００には、例えば、日付、天気、時刻、および背景画像が対応付けられたエントリが登録されている。日付は、例えば、エントリと対応する背景画像が撮影された日付である。天気は、例えば、エントリと対応する背景画像が撮影されたときの天気である。時刻は、例えば、エントリと対応する背景画像が撮影された時刻である。背景画像は、例えば、エントリの日付、天気、および時刻に示される撮影条件で撮影された背景画像である。そして、一実施形態では、制御部３０１は、手荷物画像を生成する場合に、手荷物２５０が写る撮影画像が撮影された季節、天気、および時刻と近い季節、天気、および時刻に撮影された背景画像を背景画像管理情報１４００から取得してよい。一例では、制御部３０１は、撮影画像が撮影日の月および日と、所定の日にち以内で近い月および日に撮影されており、撮影時刻が所定の時間以内で近しく、かつ、同様の天気で撮影された背景画像を背景画像管理情報１４００から取得して用いてよい。以下、第２の変形例に係る手荷物画像の生成処理の動作フローを説明する。

図１５は、第２の変形例に係る手荷物画像の生成処理の動作フローを例示する図である。画像処理装置１０６の制御部３０１は、例えば、手荷物画像の生成処理の実行指示が入力されると、図１５の動作フローを開始してよい。

Ｓ１５０１において制御部３０１は、読取装置１０３から手荷物２５０を撮影した撮影画像と、その手荷物２５０に取り付けられたタグ２６０から読み取った識別情報との組を受信したか否かを判定する。読取装置１０３から撮影画像と識別情報の組を受信していない場合（Ｓ１５０１がＮＯ）、フローはＳ１５０１の処理を繰り返す。一方、読取装置１０３から撮影画像と識別情報の組を受信している場合（Ｓ１５０１がＹＥＳ）、フローはＳ１５０２に進む。

Ｓ１５０２において制御部３０１は、記憶部３０２に記憶されている複数の背景画像を読み出す。例えば、制御部３０１は、図１３で示したように、異なる背景が写る複数の背景画像を読み出してよい。また、例えば、別の実施形態では制御部３０１は、Ｓ１５０１で受信した撮影画像の季節、天気、および時刻と近い季節、天気、および時刻に撮影された背景画像を背景画像管理情報１４００から読み出してもよい。

Ｓ１５０３において制御部３０１は、複数の背景画像のうちから、手荷物画像の生成に用いる背景画像を選択する。例えば、制御部３０１は、受信した撮影画像と、複数の背景画像のそれぞれとで各画素の明るさの差分をとり、差分の合計が小さい背景画像を選択して、以降の処理で用いてよい。

続くＳ１５０４およびＳ１５０５の処理は、例えば、Ｓ５０２およびＳ５０３の処理と対応していてよく、制御部３０１は、Ｓ１５０４およびＳ１５０５においてＳ５０２およびＳ５０３と同様の処理を実行してよい。

以上の図１５の動作フローによれば、受信した撮影画像に応じて適切な背景画像が選択されるため、撮影画像からの手荷物画像の生成の際の手荷物２５０が写る領域の切り出し精度を向上させることができる。

なお、第１の変形例および第２の変形例で記憶部３０２に記憶される手荷物画像と、識別情報と組に対しても、図８で述べた画像検索処理を実行することが可能である。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、図１５の動作フローにおいて、Ｓ１５０５の処理の代わりに、図１２で述べたＳ１２０３およびＳ１２０４の処理を実行し、手荷物画像から複数の手荷物画像を生成して、識別情報と対応付けて記憶してもよい。

また、上述の実施形態では、タグ２６０には識別情報がコード化されたバーコードが印刷される例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、２次元コードとして識別情報がコード化されてもよい。或いは、タグ２６０は、ＲＦＩＤ（radio frequency identifier）タグであってよく、読取装置１０３は、ＲＦＩＤリーダを含み、近距離無線通信で識別情報を読み取ってもよい。

また、上述の実施形態では読取装置１０３が、手荷物２５０の撮影画像と識別情報とを取得し、画像処理装置１０６に通知する例を述べているが、実施形態はこれに限定されるものではない。例えば、チェックインカウンタ２０１での手荷物２５０の預け入れ時に、チェックインカウンタに設置された端末が、手荷物２５０を撮影し、撮影した撮影画像と、手荷物２５０に対して発行した識別情報とを対応付けて画像処理装置１０６に通知してもよい。

また、上述の実施形態では、手荷物を例に説明を行っているが、実施形態はこれに限定されるものではなく、実施形態はその他の荷物に適用されてもよい。例えば、上述の実施形態に係る荷物の管理は、配送センターなどの物流センターにおける荷物の仕分けなどにおいて利用されてもよい。

なお、上述の実施形態において、例えば、Ｓ８０２の処理では、画像処理装置１０６の制御部３０１は、評価部３１１として動作する。また、例えば、Ｓ８０３〜Ｓ８０４の処理では、画像処理装置１０６の制御部３０１は、変更部３１２として動作する。例えば、Ｓ８０５の処理では、画像処理装置１０６の制御部３０１は、返信部３１３として動作する。

図１６は、実施形態に係る画像処理装置１０６を実現するためのコンピュータ１６００のハードウェア構成を例示する図である。図１６の画像処理装置１０６を実現するためのハードウェア構成は、例えば、プロセッサ１６０１、メモリ１６０２、記憶装置１６０３、可搬型記憶媒体インタフェース１６０４、通信インタフェース１６０６、および入出力インタフェース１６０７を備える。なお、プロセッサ１６０１、メモリ１６０２、記憶装置１６０３、可搬型記憶媒体インタフェース１６０４、通信インタフェース１６０６、入出力インタフェース１６０７は、例えば、バス１６０８を介して互いに接続されている。

プロセッサ１６０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１６０１は、メモリ１６０２を利用して例えば上述の図５、図８、図１２、または図１５の動作フローの手順を記述したプログラムを実行することにより、上述した制御部３０１の一部または全部の機能を提供する。例えば、プロセッサ１６０１は、プログラムを実行することで、上述の評価部３１１、変更部３１２、および返信部３１３として動作してよい。

メモリ１６０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１６０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

可搬型記憶媒体インタフェース１６０４は、プロセッサ１６０１の指示に従って可搬型記憶媒体１６０５にアクセスする。可搬型記憶媒体１６０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

画像処理装置１０６の記憶装置１６０３は、例えば、手荷物画像と識別情報とを対応付けて記憶していてよい。なお、メモリ１６０２、記憶装置１６０３、可搬型記憶媒体１６０５、およびこれらの組み合わせは、上述の記憶部３０２の例である。

通信インタフェース１６０６は、プロセッサ１６０１の指示に従ってネットワークを介してデータを送受信する。なお、通信インタフェース１６０６は、上述の通信部３０３の一例である。入出力インタフェース１６０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびプリンタなどの印刷装置である。

図１７は、実施形態に係る端末１０７を実現するためのコンピュータ１７００のハードウェア構成を例示する図である。なお、端末１０７は、例えば、タブレット端末、スマートフォン、および携帯電話機などであってよい。図１７の端末１０７を実現するためのハードウェア構成は、例えば、プロセッサ１７０１、メモリ１７０２、通信装置１７０３、入力装置１７０４、表示装置１７０５、および撮影装置１７１を備える。なお、メモリ１７０２、通信装置１７０３、入力装置１７０４、表示装置１７０５、および撮影装置１７１は、例えば、バスなどの信号線１６１０を介してプロセッサ１７０１に接続されていてよい。

プロセッサ１７０１は、メモリ１７０２を利用して例えば上述の端末１０７が実行する処理の手順を記述したプログラムを実行することにより、端末１０７が有する機能の一部または全部の機能を提供する。

メモリ１７０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。通信装置１７０３は、例えば、プロセッサ１７０１の指示に従ってネットワークを介して管理サーバ１０５および画像処理装置１０６とデータを送受信する。入力装置１７０４は、例えば、静電式タッチパネルおよび感圧式タッチパネルなどであってよい。表示装置１７０５は、例えば、ディスプレーであってよい。一例では、ユーザは例えば表示装置１７０５の表示画面に沿って配設されたタッチパネルなどの入力装置１７０４を介して入力を行ってよい。

撮影装置１７１は、例えば、カメラであり、手荷物２５０の画像を撮影するために用いられてよい。

なお、実施形態に係る各プログラムは、例えば、記憶部３０２、およびメモリ１７０２に予め記憶されていてよい。または、実施形態に係る各プログラムは、例えば、プログラムサーバなどのサーバからネットワークを介して提供されてもよい。

また、図１６および図１７を参照して述べた画像処理装置１０６および端末１０７を実現するためのハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の画像処理装置１０６および端末１０７の一部または全部の機能がＦＰＧＡおよびＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除してまたは置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

１００ 手荷物取扱システム
１０１ コンベア
１０２ コンベア制御装置
１０３ 読取装置
１０４ コントローラ
１０５ 管理サーバ
１０６ 画像処理装置
１０７ 端末
１３１ バーコードリーダ
１３２ 撮影装置
１５０ ネットワーク
１７１ 撮影装置
２０１ チェックインカウンタ
２０２ 手荷物検査装置
２５０ 手荷物
２６０ タグ
２７０ コンテナ
２９０ メイクエリア
３０１ 制御部
３０２ 記憶部
３０３ 通信部
３１１ 評価部
３１２ 変更部
３１３ 返信部
１６００ コンピュータ
１６０１ プロセッサ
１６０２ メモリ
１６０３ 記憶装置
１６０４ 可搬型記憶媒体インタフェース
１６０５ 可搬型記憶媒体
１６０６ 通信インタフェース
１６０７ 入出力インタフェース
１６０８ バス
１６１０ 信号線
１７００ コンピュータ
１７０１ プロセッサ
１７０２ メモリ
１７０３ 通信装置
１７０４ 入力装置
１７０５ 表示装置

Claims (7)

1. 画像検索依頼を受信した場合、異なる荷物が写る複数の荷物画像であって、それぞれが荷物の持ち主を識別するための識別情報と対応付けられている前記複数の荷物画像に対して、前記画像検索依頼に含まれる荷物が写る画像を検索キーとして画像検索を実行して、前記複数の荷物画像のそれぞれと、前記画像検索依頼に含まれる荷物が写る画像との類似度を評価し、
   前記複数の荷物画像のそれぞれの色と、前記画像検索依頼に含まれる荷物が写る画像の色とが所定の判定条件を満たさないと判定した荷物画像の前記類似度を低くなるように変更し、
   変更後の前記類似度が所定の条件を満たす荷物画像と、前記所定の条件を満たす荷物画像に対応付けられている前記識別情報とを返信する、
   処理を、画像処理装置に実行させる画像処理プログラム。
2. 前記荷物が写る画像を代表する色相値と、前記複数の荷物画像のそれぞれを代表する色相値との色相環における角度差の大きさが所定の角度以上である場合に、所定の判定条件を満たさないと判定する、
   処理を、更に画像処理装置に実行させる、請求項１に記載の画像処理プログラム。
3. コンベア上を流れる第１の荷物に取り付けられたタグから読取装置で読み取られた第１の識別情報と、撮影装置が撮影した前記第１の荷物が写る第１の撮影画像とを受信した場合、荷物が画角に含まれないタイミングで前記撮影装置が撮影した背景画像と、前記第１の撮影画像とに基づいて、前記第１の撮影画像から前記第１の荷物が写る領域を抽出した第１の荷物画像を生成し、
   前記第１の荷物画像を前記第１の識別情報と対応付け、前記画像検索の検索対象として前記複数の荷物画像に含めて記憶部に保存する、
   処理を、更に画像処理装置に実行させる、請求項１または２に記載の画像処理プログラム。
4. 前記第１の荷物画像を回転することで第２の荷物画像を生成し、
   前記第２の荷物画像を前記第１の識別情報と対応付け、前記画像検索の検索対象として前記複数の荷物画像に含めて前記記憶部に保存する、
   処理を、更に前記画像処理装置に実行させる、請求項３に記載の画像処理プログラム。
5. 荷物が画角に含まれないタイミングで前記撮影装置が撮影した複数の背景画像のうちで、前記第１の撮影画像との明るさの差分が最も小さくなる背景画像を選択する、
   処理を、更に前記画像処理装置に実行させる、請求項３または４に記載の画像処理プログラム。
6. 画像検索依頼を受信した場合、異なる荷物が写る複数の荷物画像であって、それぞれが荷物の持ち主を識別するための識別情報と対応付けられている前記複数の荷物画像に対して、前記画像検索依頼に含まれる荷物が写る画像を検索キーとして画像検索を実行して、前記複数の荷物画像のそれぞれと、前記画像検索依頼に含まれる荷物が写る画像との類似度を評価し、
   前記複数の荷物画像のうちで、前記画像検索依頼に含まれる荷物が写る画像の色と、色が所定の判定条件を満たさないと判定した荷物画像の前記類似度を低くなるように変更し、
   変更後の前記類似度が所定の条件を満たす荷物画像と、前記所定の条件を満たす荷物画像に対応付けられている前記識別情報とを返信する、
   ことを含む、画像処理装置が実行する画像処理方法。
7. 画像検索依頼を受信した場合、異なる荷物が写る複数の荷物画像であって、それぞれが荷物の持ち主を識別するための識別情報と対応付けられている前記複数の荷物画像に対して、前記画像検索依頼に含まれる荷物が写る画像を検索キーとして画像検索を実行して、前記複数の荷物画像のそれぞれと、前記画像検索依頼に含まれる荷物が写る画像との類似度を評価する評価部と、
   前記複数の荷物画像のうちで、前記画像検索依頼に含まれる荷物が写る画像の色と、色が所定の判定条件を満たさないと判定した荷物画像の前記類似度を低くなるように変更する変更部と、
   変更後の前記類似度が所定の条件を満たす荷物画像と、前記所定の条件を満たす荷物画像に対応付けられている前記識別情報とを返信する返信部と、
   を含む、画像処理装置。