JP2019028897A - 画像処理装置と画像処理プログラムと画像処理方法 - Google Patents

Abstract

【課題】物品の情報の事前準備を必要とせず、所定の空間内の物品の位置を特定することが可能な画像処理装置と画像処理プログラムと画像処理方法とを提供する。【解決手段】画像処理装置は、閉空間内に配置される撮像装置が撮像して出力する撮像画像に基づいて物品の物品情報を特定する物品情報特定部と、撮像画像に基づいて物品の位置情報を特定する位置情報特定部と、記憶部と、物品情報と位置情報とを関連付けて記憶部に記憶する制御部と、物品情報に基づいて位置情報を記憶部から読み出して出力する検索部と、を有している。物品情報特定部は、第１物品の物品情報と第２物品の物品情報とを特定する。位置情報特定部は、第１物品の位置情報と第２物品の位置情報とを特定する。制御部は、第１物品の物品情報と第２物品の位置情報とを関連付けて記憶部に記憶する。検索部は、第１物品の物品情報に基づいて第２物品の位置情報を記憶部から読み出して出力する。【選択図】図１

Description

本発明は、画像処理装置と、画像処理プログラムと、画像処理方法と、に関する。

近年、情報化社会の発達に伴い、会議や打ち合わせなどで使用される資料（印刷物やサンプルなど）の数は、多くなりやすい。また、オフィスや工場、学校、役所などにおいて保管が義務付けられている書類は、膨大な量に及んでいる。

このような資料や書類は、通常、ファイルや段ボール箱などにまとめて収容され、棚や倉庫などに保管される。そのため、保管された資料や書類を探す人は、ファイルや段ボール箱に記載された文字などを頼りに、ファイルや段ボール箱を１つずつ確認しなければならない。その結果、資料や書類の探索には時間が掛かり、その時間に掛かるコストは無視することができない。

このような問題を解決する技術として、共用物品に取り付けられたバーコードやタグを用いて共用物品の位置を特定する技術が開示されている（例えば、特許文献１と特許文献２とを参照）。

特許文献１に開示された技術は、対象とする物品の全てにバーコードなどのコードを貼り付け、同コードをカメラで読み取り識別することにより、物品の位置を特定する。しかし、特許文献１に開示された技術は、コードを貼り付けるスペースが無い物品（例えば、薄い書籍や、書類など）には適用することができない。また、例えば、物品がファイルや箱などに収容された場合、カメラは、同物品のコードを識別することができない。すなわち、特許文献１に開示された技術は、ファイルや箱などに収容されてファイルなどの外からは見えない物品の探索に適用することができない。

一方、特許文献２に開示された技術は、対象とする物品（書類）の全てにＲＦＩＤ（Radio Frequency Identifier）タグを取り付け、同ＲＦＩＤタグからの情報をタグリーダで受信することにより、ファイルや箱などに収容された物品の位置を特定する。

特開２０１４−１０８８９２号公報 特開２０１０−６６８３８号公報

特許文献１と特許文献２とに開示された技術は、コードと物品の情報とを関連付けてデータベース化する作業や、物品の情報をデータ化してＲＦＩＤタグに記憶させる作業、コードやＲＦＩＤタグを物品に貼り付ける作業、などの個々の物品を特定するための事前準備を前提とする。そのため、前述した資料や書類の探索に同技術を適用するためには、全ての資料や書類に対して事前準備が必要となり、この準備には膨大な時間とコストとが必要となる。また、ＲＦＩＤタグを貼り付けた書類を数百枚束ねると、ＲＦＩＤタグからの電波の混信が生じる場合がある。

本発明は、以上のような従来技術の問題点を解消するためになされたもので、物品の情報の事前準備を必要とせず、所定の空間内の物品の位置を特定することが可能な画像処理装置と画像処理プログラムと画像処理方法とを提供することを目的とする。

本発明は、閉空間内に配置される少なくとも１の撮像装置が撮像して出力する撮像画像を処理する画像処理装置であって、撮像画像に基づいて、閉空間内を移動する物品の物品情報を特定する物品情報特定部と、撮像画像に基づいて、閉空間内での物品の位置情報を特定する位置情報特定部と、物品の物品情報と物品の位置情報とを記憶する記憶部と、物品の物品情報と物品の位置情報とを関連付けて記憶部に記憶する制御部と、物品の物品情報に基づいて、物品の位置情報を記憶部から読み出して出力する検索部と、を有してなり、物品は、第１物品と、第２物品と、を含み、物品情報特定部は、第１物品の物品情報と、第２物品の物品情報と、を特定し、位置情報特定部は、第１物品の位置情報と、第２物品の位置情報と、を特定し、制御部は、第１物品の物品情報と、第２物品の位置情報と、を関連付けて記憶部に記憶し、検索部は、第１物品の物品情報に基づいて、第２物品の位置情報を記憶部から読み出して出力する、ことを特徴とする。

本発明によれば、物品の情報の事前準備を必要とせず、所定の空間内の物品の位置を特定することができる。

本発明にかかる画像処理装置の実施の形態を示す機能ブロック図である。 図１の画像処理装置が物品の位置を特定する閉空間の例を示す模式図である。 図１の画像処理装置が備える記憶部に記憶されているデータベースに記憶される情報の例を示す模式図である。 図１の画像処理装置が備える記憶部に記憶されているデータベースに記憶される情報の別の例を示す模式図である。 図１の画像処理装置が備える記憶部に記憶されているデータベースに記憶される情報のさらに別の例を示す模式図である。 本発明にかかる画像処理方法に含まれる情報処理のうち、一部の情報処理を示すフローチャートである。 図６の画像処理方法に含まれる情報取得処理を示すフローチャートである。 図７の情報取得処理において更新される情報の例を示す図である。 図６の画像処理方法に含まれる物品特定処理を示すフローチャートである。 本発明にかかる画像処理方法に含まれる情報処理のうち、他の一部の情報処理を示すフローチャートである。 物品の検索画面の例を示す模式図である。 検索結果表示画面の例を示す模式図である。 検索結果表示画面の別の例を示す模式図である。 検索結果表示画面の別の例を示す模式図である。 撮像装置が撮像した撮像画像の例を示す模式図である。 図３のデータベースに記憶された情報の例を示す模式図である。 図３のデータベースに記憶された情報の別の例を示す模式図である。 図１５の撮像画像の次の撮像画像の例を示す模式図である。 図１８の撮像画像の次の撮像画像の例を示す模式図である。 図１９の撮像画像の次の撮像画像の例を示す模式図である。 図２の閉空間内での人の動きを示す模式図である。

以下、図面を参照しながら、本発明にかかる画像処理装置と、画像処理プログラムと、画像処理方法と、の実施の形態について説明する。

●画像処理装置●
先ず、本発明にかかる画像処理装置（以下「本装置」という。）の実施の形態について説明する。

図１は、本装置の実施の形態を示す機能ブロック図である。
本装置１は、後述する閉空間Ｒ内において撮像装置２が撮像して出力した物品の撮像画像に基づいて、物品の物品情報と、位置情報と、時刻情報と、を特定すると共に、ある物品（第１物品）の物品情報に基づいて、同物品と関連する他の物品（第２物品）の閉空間Ｒ内の位置を特定する。本装置１は、閉空間Ｒとは別の空間に配置される。

なお、本装置は、閉空間内に配置されてもよい。

図２は、本装置１が物品の位置を特定する閉空間Ｒの例を示す模式図である。
同図は、閉空間Ｒが、領域Ａと領域Ｂと領域Ｃと領域Ｄとの４つの領域を備える１つの部屋であることを示す。同図は、Ａ領域に机ａと部屋の出入口と端末５とが、Ｂ領域に後述する画像形成装置４が、Ｃ領域に棚ｃが、Ｄ領域に棚ｄが、それぞれ配置されることを示す。棚ｃ，ｄは、物品が収納される収納場所である。

「閉空間Ｒ」は、物品が移動可能な空間であって、本装置１が物品の位置を特定可能な空間である。閉空間Ｒは、ｎ個（ｎは整数）の撮像装置２のそれぞれに撮像される領域（空間）の集合である。

「撮像装置２」は、閉空間Ｒ内の所定の領域を撮像する。撮像装置２は、例えば、連続した静止画を撮像可能なカメラユニットである。複数の撮像装置２（１），２（２），・・・，２（ｎ）は、閉空間Ｒ内に配置される。撮像装置２は、有線または無線の通信回線を介して、本装置１に接続される。撮像装置２が撮像する領域は、撮像装置２ごとに割り当てられる。そのため、本装置１は、撮像画像を撮像した撮像装置２を特定することにより、その撮像画像に撮像された領域が閉空間Ｒ内のどの領域（位置）に対応するか、を特定することができる。すなわち、各撮像装置２が撮像する領域と、閉空間Ｒ内の位置と、の関係は、本装置１により管理される（同関係は、本装置１に設定されている）。

撮像装置２の動作（撮像のタイミングや撮像の時間間隔）は、後述する本装置１の制御部１５により制御される。撮像装置２により撮像された撮像画像は、通信回線を介して、後述する本装置１の記憶部１１に記憶される。

ここで、撮像装置２の撮像の時間間隔は、例えば、閉空間Ｒ内で人や物品の移動がないときには時間Ｔ１とし、閉空間Ｒ内で人や物品の移動があるときには時間Ｔ２（＜Ｔ１）とする。閉空間Ｒ内での人や物品の移動の有無の判定は、例えば、複数の撮像のタイミングで撮像装置２により撮像された複数の撮像画像を本装置１が比較して異同を検出し、複数の撮像画像が同じであれば人などの移動はないと判定し、複数の撮像画像が異なれば人などの移動はあると判定する。閉空間Ｒ内の人や物品の検知は、例えば、ＡＩ（Artificial Intelligence）を使った人体検出や一般物体検出（一体物体認識）に適用される公知のアルゴリズムを用いる。

また、撮像装置２の撮像の開始や終了は、人感センサによる閉空間Ｒ内での人や物品の移動の検知と連動させてもよい。すなわち、例えば、人感センサが閉空間Ｒの出入口や撮像装置２ごとに配置されていて、撮像装置２は、人感センサが人などの移動を検知すると所定の時間間隔で撮像を開始する。その後、人感センサが人などの移動を検知しなくなると、撮像装置２は、撮像を停止する。

さらに、撮像装置２の撮像の時間間隔は、人感センサによる閉空間Ｒ内での人や物品の移動の検知と連動させてもよい。すなわち、例えば、人感センサが閉空間Ｒの出入口や撮像装置２ごとに配置されていて、撮像装置２の撮像の時間間隔は、人感センサが人などの移動を検知していないときには時間Ｔ１とし、人感センサが人などの移動を検知しているときには時間Ｔ２（＜Ｔ１）としてもよい。

複数の撮像装置２（１−ｎ）のそれぞれは、閉空間Ｒを構成する複数の領域Ａ−Ｄのいずれかに対応して配置される。各領域Ａ−Ｄに対応して配置された複数の撮像装置２（１−ｎ）は、撮像装置群を構成する。すなわち、撮像装置群を構成する各撮像装置２の撮像領域は、閉空間Ｒを構成する複数の領域Ａ−Ｄのいずれかに対応する。

なお、撮像装置は、動画を撮像するカメラユニットでもよく、静止画と動画とを撮像するカメラユニットでもよい。

「物品」は、閉空間Ｒ内において本装置１により位置が特定される対象であって、閉空間Ｒ内を移動可能な有体物（例えば、書類、書籍、工具、備品など）である。本装置１により位置が特定される物品は、後述する第１物品と、後述する第２物品と、を含む。

ここで、「閉空間Ｒ内を移動」は、閉空間Ｒの外部から閉空間Ｒへの進入や、閉空間Ｒから閉空間Ｒの外部への退出、を含む。本装置１により特定される物品の位置は、閉空間Ｒの外部を含む（例えば、本装置１は、物品が閉空間Ｒから持ち出されたことを特定する）。

「物品情報」は、撮像画像に基づいて特定される物品ごとの情報であって、物品の外観に基づく情報である。物品の外観は、物品が撮像装置２に撮像されたときの撮像画像に含まれる物品の画像に対応する部分である。すなわち、例えば、物品がバインダー式のファイル（以下「ファイル」という。）であれば、物品の外観は、撮像装置２に撮像された閉じられたファイルの表紙や、開かれたファイルの内側である。物品情報は、例えば、物品の形状、模様、色彩、物品に付される文字や図形などの物品の外観の画像や、「ファイル」「書類」「段ボール箱」などの物品の属性を示す情報、などである。

「位置情報」は、閉空間Ｒ内における物品の位置を特定する情報である。すなわち、例えば、位置情報は、閉空間Ｒ内における物品の座標や、物品が収容された固定物の位置、を示す情報である。「固定物の位置を示す情報」は、例えば、棚の正面画像や棚の番号などである。「固定物」は、例えば、棚や机など、閉空間Ｒ内を移動しない有体物である。

「時刻情報」は、閉空間Ｒ内における所定の位置に物品が存在した時刻を特定する情報である。すなわち、例えば、時刻情報は、撮像装置２が撮像画像を撮像した時刻を示す情報である。時刻情報は、例えば、Ｅｘｉｆ（Exchangeable image file format）などの規格に基づく画像情報のメタデータとして撮像画像と共に撮像装置２から出力される。

「第１物品」は、閉空間Ｒ内において、ある撮像のタイミングを境に撮像装置２により撮像されなくなった物品である。第１物品は、例えば、ファイルに収容される書類や、段ボール箱に収容される工具や備品など、他の物品に収容されて、同他の物品と共に移動可能な物品である。

「第２物品」は、閉空間Ｒ内において、ある物品が撮像装置２により撮像されなくなったタイミングにおいて、同物品（第１物品として特定される物品）の近くに配置され、かつ、撮像装置２に撮像され続ける物品である。第２物品は、例えば、書類を収容するファイルや、工具や備品などを収容する段ボール箱など、第１物品を収容して、第１物品と共に移動可能な物品である。

ここで、第２物品は、他の物品との関係で第１物品にもなり得る。すなわち、例えば、工具を収容した工具箱が段ボール箱に収容されたとき、工具箱は、工具に対して第２物品であり、段ボール箱に対して第１物品である。この場合、後述のとおり、本装置１は、閉空間Ｒ内における工具の位置として、段ボール箱の位置情報を出力する。

●画像処理装置の構成
図１に戻る。
本装置１は、パーソナルコンピュータなどで実現される。本装置１では、本発明にかかる画像処理プログラム（以下「本プログラム」という。）が動作して、本プログラムが本装置１のハードウェア資源と協働して、後述する本発明にかかる画像処理方法（以下「本方法」という。）を実現する。

なお、コンピュータ（不図示）に本プログラムを実行させることで、同コンピュータを本装置と同様に機能させて、同コンピュータに本方法を実行させることができる。

本装置１は、記憶部１１と、物品情報特定部１２と、位置情報特定部１３と、関連情報取得部１４と、制御部１５と、検索部１６と、画像出力部１７と、表示部１８と、通信部１９と、を有してなる。

記憶部１１は、本装置１が後述する本方法を実行するために必要な情報を記憶する。記憶部１１は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記録装置や、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、などにより構成される。記憶部１１は、物品情報データベースＤＢ１、時刻位置情報データベースＤＢ２、関連物品データベースＤＢ３や、撮像装置２が撮像した撮像画像などを記憶する。ＤＢ１−ＤＢ３については、後述する。

物品情報特定部１２は、撮像画像に基づいて、閉空間Ｒ内を移動する物品の物品情報を特定する。物品情報の特定方法については、後述する。

位置情報特定部１３は、撮像画像に基づいて、閉空間Ｒ内での物品の位置情報を特定する。位置情報の特定方法については、後述する。

関連情報取得部１４は、物品の物品情報に基づいて、物品の関連情報を取得する。関連情報の取得方法については、後述する。

「関連情報」は、物品の物品情報に基づいて、外部装置３や画像形成装置４から取得される物品に関連する情報である。関連情報は、第１関連情報と第２関連情報とを含む。ここで、「外部装置３」は、例えば、インターネットなどの通信ネットワーク（不図示）を介して、本装置１と互いに通信可能なウェブサーバやファイルサーバなどである。「画像形成装置４」は、例えば、パーソナルコンピュータなどの端末５（図２参照）から受信した情報を紙などの記録媒体に印刷する複合機やプリンタである。

「第１関連情報」は、画像形成装置４が保有する情報（例えば、画像形成装置４が印刷した時刻を特定する情報、画像形成装置４に情報を送信した端末を特定する情報、印刷された情報）などである。

「第２関連情報」は、例えば、物品が画像形成装置４から出力された印刷物（記録媒体）の場合、印刷物に印刷された画像に含まれる文字や図形を検索キーワードとして外部装置３から取得された情報（ウェブサイトから検索された情報など）である。

制御部１５は、各情報（物品情報、位置情報、時刻情報、関連情報）の記憶部１１への記憶、撮像装置２の撮像動作の制御、後述する本方法の実行、本装置１全体の動作の制御、などを実行する。制御部１５の動作については、後述する。

検索部１６は、物品の物品情報に基づいて、物品の位置情報を記憶部１１から読み出して出力する。位置情報の読み出しや出力については、後述する。

画像出力部１７は、第２物品が含まれる複数の撮像画像を記憶部１１から読み出して出力し、複数の撮像画像の出力態様を決定する。撮像画像の出力態様については、後述する。

物品情報特定部１２と、位置情報特定部１３と、関連情報取得部１４と、制御部１５と、検索部１６と、画像出力部１７とは、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路により構成される。

なお、本発明における物品情報特定部と位置情報特定部と関連情報取得部と制御部と検索部と画像出力部とは、共通するプロセッサや集積回路により構成されてもよく、あるいは、個別のプロセッサや集積回路により構成されてもよい。

表示部１８は、関連情報が入力される関連情報入力画面や、検索部１６が出力する位置情報、画像出力部１７が出力する撮像画像、などを表示する。表示部１８は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）などのディスプレイである。

通信部１９は、通信回線を介して外部装置３や画像形成装置４など、本装置１とは物理的に離れた装置と通信する。通信部１９は、例えば、ＮＩＣ（Network Interface Card）などの通信インターフェースである。通信部１９は、無線または有線の通信回線を介して、通信ネットワークに接続される。通信部１９は、通信回線を介して、外部装置３や画像形成装置４との間で情報の送受信を行う。通信部１９は、例えば、送信対象として入力された情報（物品情報）を所定の形式のデータに変換し、通信ネットワークを介して外部装置３に送信する。また、通信部１９は、通信ネットワークを介して外部装置３から情報（関連情報）を受信すると、同情報を復号する。

●物品情報データベース
図３は、ＤＢ１に記憶される情報の例を示す模式図である。

「ＤＢ１」は、物品ごとの物品ＩＤと、物品情報と、位置情報と、時刻情報と、関連情報と、を関連付けて記憶するデータベースである。

「物品ＩＤ」は、本装置１が物品情報を特定するために用いる識別情報である。物品ＩＤは、物品ごとに本装置１により割り当てられる。

同図は、例えば、物品ＩＤ「１０１」の物品に対して、物品情報「ｐ１」「花火」「８／２」と、位置情報「Ｐ１１１」と、時刻情報「Ｔ１１１」と、関連情報「Ｚ川花火大会」と、が関連付けられてＤＢ１に記憶されていることを示す。ここで、「ｐ１」は画像情報であり、「花火」「８／２」は「ｐ１」からＯＣＲ（Optical Character Recognition）により特定された文字情報である。

本装置１は、物品情報を用いてＤＢ１を参照することで、同物品情報と関連付けて記憶されている物品ＩＤをＤＢ１から読み出すことができる。また、例えば、本装置１は、関連情報を用いてＤＢ１を参照することで、同関連情報と関連付けて記憶されている物品情報をＤＢ１から読み出すことができる。ここで、ＤＢ１に記憶されている位置情報と時刻情報とは、閉空間Ｒ内において、対応する物品が最後に撮像されたタイミング、つまり、最新の位置情報と時刻情報とである。

●時刻位置情報データベース
図４は、ＤＢ２に記憶されている情報の例を示す模式図である。

「ＤＢ２」は、物品ごとの時刻情報と位置情報とを関連付けて記憶するデータベースである。

同図は、例えば、時刻情報「Ｔ１１３」に対して、位置情報「Ｐ１１３」が関連付けられてＤＢ２に記憶されていることを示す。

本装置１は、時刻情報を用いてＤＢ２を参照することで、同時刻情報と関連付けて記憶されている位置情報をＤＢ２から読み出すことができる。

このように、物品ＩＤごとに時刻情報と位置情報とが関連付けられることにより、本装置１は、閉空間Ｒ内に同じ外観の物品（例えば、同じ型式のファイルなど）が複数存在していても、所定の時刻における位置情報の差異により、各物品を別の物品として識別することができる。

●関連物品データベース
図５は、ＤＢ３に記憶される情報の例を示す模式図である。

「ＤＢ３」は、第１物品の物品ＩＤと、第２物品の物品ＩＤと、を関連付けて記憶するデータベースである。

同図は、例えば、物品ＩＤ「１０１」の第１物品に対して、物品ＩＤ「２０１」の第２物品が関連付けられてＤＢ２に記憶されていることを示す。すなわち、同図は、物品ＩＤ「１０１」の第１物品が物品ＩＤ「２０１」の第２物品に収容されていることを示す。

本装置１は、第１物品の物品ＩＤを用いてＤＢ３を参照することで、同物品ＩＤと関連付けて記憶されている第２物品の物品ＩＤをＤＢ３から読み出すことができる。

ここで、前述のとおり、ＤＢ１は物品ＩＤと物品情報と位置情報と時刻情報と関連情報とを関連付けて記憶し、ＤＢ３は第１物品の物品ＩＤと第２物品の物品ＩＤとを関連付けて記憶する。すなわち、第１物品の物品情報は、物品ＩＤ同士の関連付けを介して、第２物品の物品情報と位置情報と時刻情報とに関連付けられて記憶部１１に記憶される。

ＤＢ３において、１つの第２物品の物品ＩＤに関連付けられる第１物品の物品ＩＤの数は、「１」以上である。すなわち、例えば、１つのファイル（第２物品）に複数の書類（第１物品）が収容されているとき、複数の書類の物品ＩＤそれぞれは、１つのファイルの物品ＩＤに関連付けられる。

●画像処理方法●
次に、本方法の実施の形態について、説明する。

本方法は、後述する記憶処理（Ｓ１）と情報取得処理（Ｓ２）と物品特定処理（Ｓ３）と（図６参照）、後述する検索処理（Ｓ４）と（図１０参照）、を含む。本方法のうち、記憶処理（Ｓ１）と、情報取得処理（Ｓ２）と、物品特定処理（Ｓ３）とは、撮像装置２が撮像した撮像画像を本装置１が受信するごとに実行される。一方、検索処理（Ｓ４）は、記憶処理（Ｓ１）と、情報取得処理（Ｓ２）と、物品特定処理（Ｓ３）と、が実行された後であって、利用者が検索をする任意のタイミングで実行される。

図６は、本方法の情報処理のうち、記憶処理（Ｓ１）と情報取得処理（Ｓ２）と物品特定処理（Ｓ３）とを示すフローチャートである。

「記憶処理（Ｓ１）」は、本装置１が撮像装置２から受信した撮像画像を記憶部１１に記憶する処理である。本装置１は、記憶処理（Ｓ１）により記憶部１１に記憶された撮像画像に基づいて、情報取得処理（Ｓ２）と物品特定処理（Ｓ３）とを実行する。

以下の説明において、「今の撮像画像」は、実行中の本方法の処理の対象となっている撮像画像である。「１つ前の撮像画像」は、今の撮像画像を撮像した撮像装置２が、その１つ前（直前）の撮像のタイミングで撮像した撮像画像である。「次の撮像画像」は、今の撮像画像を撮像した撮像装置２が、その次（直後）の撮像のタイミングで撮像した撮像画像である。

●情報取得処理
図７は、情報取得処理（Ｓ２）のフローチャートである。

「情報取得処理（Ｓ２）」は、本装置１が撮像画像に基づいて、物品の物品情報と位置情報と時刻情報とを特定すると共に、物品情報に基づいて、関連情報を取得する処理である。

先ず、制御部１５は、記憶部１１から今の撮像画像を読み出す（Ｓ２１）。

次いで、物品情報特定部１２は、撮像画像に基づいて、閉空間Ｒ内を移動する物品の物品情報を特定する（Ｓ２２）。物品情報特定部１２は、例えば、撮像画像内の領域のうち物品が撮像されている領域の画像を抽出し、同画像を物品情報として特定する。また、物品情報特定部１２は、抽出した各物品の画像から、例えば、ＯＣＲを用いて文字情報などを物品情報として特定する。

ここで、撮像画像内の各物品の画像（領域）は、公知のアルゴリズムを用いて抽出される。公知のアルゴリズムは、例えば、ＡＩ（Artificial Intelligence）を使った一般物体検出（一体物体認識）に適用されるアルゴリズムや、エッジ検出に適用されるアルゴリズムである。

次いで、位置情報特定部１３は、撮像画像に基づいて、閉空間Ｒ内での物品の位置情報と時刻情報とを特定する（Ｓ２３）。位置情報は、例えば、撮像画像における物品の画像の位置、大きさ、範囲などに基づいて、算出される。時刻情報は、例えば、撮像画像に含まれるメタデータに基づいて、特定される。

次いで、制御部１５は、物品ＩＤを生成して、同物品ＩＤと、物品情報と位置情報と時刻情報と、を関連付けて、ＤＢ１に記憶する（Ｓ２４）。

ここで、制御部１５は、特定した物品情報と位置情報との組み合わせと、同一の物品情報と位置情報との組み合わせと、がすでにＤＢ１に記憶されている場合、物品ＩＤを生成しない。すなわち、例えば、制御部１５は、１つ前の撮像画像に撮像されていた物品と、今の撮像画像に撮像されている物品と、が同一の場合、物品ＩＤを生成しない。この場合、例えば、制御部１５は、特定した物品情報と位置情報と時刻情報とのうち、変化のあった情報のみを、特定した物品情報に対応する既存の物品ＩＤと関連付けて、ＤＢ１に記憶する。

次いで、本装置１は、物品情報ごとに関連情報を取得する。取得される関連情報は、物品情報が特定された物品が画像形成装置４から出力された記録媒体であるか否かにより異なる。

物品情報が特定された物品が画像形成装置４から出力された記録媒体である場合（Ｓ２５の「Ｙｅｓ」）、関連情報取得部１４は、通信部１９を介して、物品の第１関連情報を画像形成装置４から取得する（Ｓ２６）。第１関連情報は、前述のとおり、画像形成装置４が記録媒体を出力した時刻を特定する情報、画像形成装置４に情報を送信した端末を特定する情報、記録媒体に形成（印刷）される文字情報や図形情報など、画像形成装置４が保有する情報である。

次いで、関連情報取得部１４は、通信部１９を介して、撮像画像に含まれる文字情報または図形情報（物品の物品情報）を外部装置３に送信し、送信された文字情報または図形情報に対応する第２関連情報を外部装置３から受信する（Ｓ２７）。すなわち、関連情報取得部１４は、文字情報または図形情報に基づいて、第２関連情報を外部装置３から取得する。第２関連情報は、文字情報や図形情報と関連付けて外部装置３に記憶されている。

次いで、制御部１５は、第１関連情報と第２関連情報とを、物品情報と関連付けてＤＢ１に記憶する（Ｓ２８）。このとき、制御部１５は、画像形成装置４から取得した第１関連情報に基づいて、ＤＢ１に記憶されている物品情報を更新する。すなわち、例えば、制御部１５は、ＯＣＲなどにより読み取れず撮像画像から特定が困難な文字情報や図形情報などを、画像形成装置４から取得した第１関連情報（文字情報や図形情報）に基づいて、更新する。つまり、制御部１５は、本発明における物品情報更新部として機能する。その結果、物品情報の精度は、向上する。

図８は、第１関連情報に基づいて更新される物品情報の例を示す模式図である。
同図は、白抜きの矢印の上に更新前のＤＢ１（抜粋）に記憶されている情報を、矢印の下に更新後のＤＢ１（抜粋）に記憶されている情報を、それぞれ示す。同図は、物品情報「△△花火△△」（△はＯＣＲで読み取れなかった文字）が「Ｚ川花火大会」に更新されたことを示す。

一方、物品情報などが特定された物品が画像形成装置４から出力された記録媒体でない場合（Ｓ２５の「Ｎｏ」）、本装置１の情報処理は、処理（Ｓ２７）に移行する。

なお、本装置は、関連情報取得部を用いて、物品の物品情報と共に関連情報入力画面を表示部に表示させ、本装置の利用者にキーボードや音声認識装置（プログラム）などの入力手段を用いて関連情報を入力させてもよい。この場合、関連情報取得部は、関連情報入力画面に入力された情報を、物品の関連情報として取得する。その結果、利用者は、任意の関連情報を物品情報と関連付けて記憶部に記憶させることができる。

また、関連情報の取得は、物品情報が特定されるごとに実行されなくてもよい。すなわち、例えば、関連情報取得部は、検索キーワードとなり得る物品情報（例えば、文字情報）が特定されたときに関連情報を取得してもよく、あるいは、定期的に関連情報を取得してもよい。

さらに、情報取得処理は、後述する物品特定処理において第１物品と第２物品とが特定された後、第１物品と第２物品それぞれに対しても実行される。すなわち、本方法は、物品情報特定部が第１物品の物品情報と第２物品の物品情報とを特定するステップと、位置情報特定部が第１物品の位置情報と第２物品の位置情報とを特定するステップと、関連情報取得部が第１物品の関連情報と第２物品の関連情報とを取得するステップと、制御部が第１物品の物品情報と第２物品の位置情報とを関連付けて記憶部に記憶するステップと、を備える。

●物品特定処理
図９は、物品特定処理（Ｓ３）のフローチャートである。

「物品特定処理（Ｓ３）」は、本装置１が物品の中から第１物品と第２物品とを特定する処理である。

先ず、制御部１５は、撮像画像に基づいて、例えば、撮像画像に撮像されている物品同士の距離を算出するなどして（Ｓ３１）物品同士の位置関係を特定し、記憶部１１に記憶する。物品同士の距離は、例えば、情報取得処理で特定した物品情報と位置情報とを用いて算出される。

次いで、制御部１５は、１つ前の撮像画像で距離を算出した物品であって、今の撮像画像で撮像されなくなった物品（以下「未撮像物品」という。）の有無を検出する（Ｓ３２）。

未撮像物品が有るとき（Ｓ３２の「Ｙｅｓ」）、制御部１５は、未撮像物品を第１物品として特定すると共に、１つ前の撮像画像で未撮像物品の最も近くに配置（撮像）されていた物品であって、今の撮像画像に撮像されている物品を第２物品として特定する（Ｓ３３）。換言すれば、制御部１５は、第１物品の位置情報と、第２物品の位置情報と、に基づいて、第１物品と第２物品とを特定する。

なお、第１物品の特定と第２物品の特定とに用いられる撮像画像は、同一の撮像装置が２つの異なる撮像のタイミングで撮像した複数の撮像画像であればよく、今の撮像画像と１つ前の撮像画像とに限定されない。すなわち、例えば、第１物品の特定と第２物品の特定とに用いる撮像画像は、今の撮像画像と２つ前の撮像のタイミングで撮像された撮像画像とでもよく、あるいは、今の撮像画像と１つ前の撮像画像と２つ前の撮像のタイミングで撮像された撮像画像とでもよい。

一方、未撮像物品が無いとき（Ｓ３２の「Ｎｏ」）、制御部１５は、処理（Ｓ３２）を終了する。

次いで、制御部１５は、第１物品として特定した物品の物品ＩＤと、第２物品として特定した物品の物品ＩＤと、を関連付けてＤＢ３に記憶する（Ｓ３４）。その結果、第１物品の物品情報と位置情報と時刻情報と関連情報とは、物品ＩＤ同士の関連付けに基づいて、同第１物品に対応する第２物品の物品情報と位置情報と時刻情報と関連情報とに関連付けられる。換言すれば、制御部１５は、第１物品の物品情報と、第２物品の位置情報と、を関連付けて記憶部１１に記憶する。

このように、制御部１５は、物品同士の位置関係、すなわち、第１物品の位置情報と第２物品と位置情報と、に基づいて、第１物品の物品情報と、第２物品の位置情報と、を関連付けて記憶部１１に記憶する。

なお、本発明における制御部は、第１物品の物品情報と、第２物品の物品情報と、に基づいて、第１物品と第２物品とを特定してもよい。すなわち、例えば、制御部は、１つ前の撮像画像において、次の撮像画像で未撮像物品となる物品により一部が覆われて撮像されている他の物品（例えば、綴じ込まれる資料を乗せたファイルなど）を第２物品として特定してもよい。つまり、制御部は、１つ前の撮像画像において、次の撮像画像で未撮像物品となる物品の物品情報により、領域の一部が覆われている物品情報に対応する物品を第２物品として特定してもよい。換言すれば、制御部は、第１物品の物品情報と、第１物品の位置情報と、第２物品の物品情報と、第２物品の位置情報と、に基づいて、第１物品の物品情報と、第２物品の位置情報と、を関連付けて記憶部に記憶してもよい。

また、制御部による第２物品の特定は、本実施の形態に限定されない。すなわち、例えば、制御部は、１つ前の撮像画像で未撮像物品との距離が所定の閾値よりも小さい物品であって、今の撮像画像に撮像されている物品を第２物品として特定してもよい。なお、本装置は、未撮像物品との距離が所定の閾値よりも小さい物品が複数存在する場合、すべての物品を第２物品としてもよい。あるいは、本装置は、未撮像物品との距離が所定の閾値よりも小さい物品が複数存在する場合、すべての物品を第２物品の候補として特定し、第１物品の物品情報と第２物品の各候補の物品情報とに基づいて、複数の第２物品の候補の中から目的の第２物品を特定（第２物品の候補を限定）してもよい。

●検索処理
図１０は、検索処理（Ｓ４）のフローチャートである。

「検索処理（Ｓ４）」は、第１物品の物品情報に基づいて、第２物品の位置情報を検索する処理である。

先ず、本装置１は、表示部１８に物品の検索画面を表示させる（Ｓ４１）。

図１１は、物品の検索画面の例を示す模式図である。
同図は、検索キーワードとして、物品情報である「花火」「８／２」が入力された状態を示す。「検索画面」は、複数の物品の中から１の物品を検索するための検索キーワードを本装置１が取得するための画面であり、検索キーワードが入力される領域を含む。

なお、検索キーワードは、文字情報に限定されず、図形情報でもよい。

次いで、検索部１６は、検索画面への検索キーワードの入力の有無を検出する（Ｓ４２）。検索キーワードは、例えば、本装置１の利用者により、キーボードなどの入力手段（不図示）を介して入力される。

検索画面への検索キーワードの入力が無いとき（Ｓ４２の「Ｎｏ」）、本装置１の情報処理は、処理（Ｓ４１）に戻る。

検索画面への検索キーワードの入力が有るとき（Ｓ４２の「Ｙｅｓ」）、検索部１６は、入力された検索キーワードが第１物品の物品情報、または、第１物品の関連情報であるか否かを判定する（Ｓ４３）。

入力された検索キーワードが第１物品の物品情報、または、第１物品の関連情報であるとき（Ｓ４３の「Ｙｅｓ」）、検索部１６は、検索キーワードに関連付けてＤＢ１に記憶されている第１物品の物品情報を検索し、検索された物品情報の一覧を表示部１８に出力する（Ｓ４４）。

図１２は、第１物品の物品情報の検索結果表示画面の例を示す模式図である。
同図は、検索キーワードに関連付けてＤＢ１に記憶されている物品ＩＤ「１０１」の物品の物品情報「ｐ１」「花火」「８／２」がＤＢ１から読み出されて、表示部１８に出力されたことを示す。「検索結果表示画面」は、検索キーワードによる検索の結果が表示される画面である。

なお、検索キーワードを物品情報または関連情報に含む物品が複数存在するとき、表示部に出力される物品情報は、複数の物品それぞれに対応する物品情報である。この場合、利用者は、複数の物品それぞれに対応する物品情報の中から、目的の物品情報に対応する物品を選択する。

本装置１の利用者により第１物品の物品情報が選択されたとき（図１２のボタン「はい」が選択されたとき）（Ｓ４５の「Ｙｅｓ」）、検索部１６は、選択された第１物品の物品情報に基づいて、同物品情報に関連付けられて記憶部１１に記憶されている第２物品の位置情報を、記憶部１１から読み出して表示部１８に出力する（Ｓ４６）。すなわち、本方法は、検索部１６が第１物品の物品情報に基づいて、第２物品の位置情報を記憶部１１から読み出して出力するステップを備える。第１物品の物品情報は、例えば、本装置１の利用者が入力手段を操作することにより選択される。

図１３は、第２物品の位置情報の検索結果表示画面の例を示す模式図である。
同図は、選択された第１物品の物品情報に関連付けて記憶部１１に記憶されている第２物品の物品情報「ｐ２」「ＦＩＬＥ１」と、位置情報「Ｐ２０１」と、時刻情報「Ｔ２０１」と、が表示部１８に表示されたことを示す。その結果、検索結果表示画面を見た本装置１の利用者は、物品情報「ｐ１」「花火」「８／２」に対応する第１物品が、物品ＩＤ「２０１」の第２物品に収容されていることを知ることができる。

ここで、検索部１６が表示部１８に出力する第２物品の位置情報は、閉空間Ｒにおける第２物品の座標である。

なお、本発明における検索部が表示部に出力する第２物品の位置情報は、閉空間に配置された棚や机などの固定物を示す情報（棚の正面画像など）でもよい。すなわち、例えば、検索部は、表示部に目的の第２物品が収容された棚の正面画像を表示すると共に、同第２物品をハイライト表示してもよい。この場合、本装置の利用者は、第１物品を収容した第２物品の位置（収容場所）を容易に確認することができる。

図１４は、第２物品の位置情報の検索結果表示画面の別の例を示す模式図である。
同図は、第２物品の位置情報が、同第２物品が収容された棚の正面画像により表示されていることを示す。同図は、ハイライト表示された棚ｃの黒塗りの部分に目的の第２物品が収容されていることを示す。

本装置１の利用者により第１物品の物品情報が選択されないとき（図１２のボタン「いいえ」が選択されたとき）（Ｓ４５の「Ｎｏ」）、本装置１の情報処理は、処理（Ｓ４１）に戻る。

検索画面に入力されたキーワードが第１物品の物品情報、または、第１物品の関連情報でないとき（Ｓ４３の「Ｎｏ」）、検索部１６は、入力されたキーワードが第２物品の物品情報、または、第２物品の関連情報であるか否かを判定する（Ｓ４７）。

検索画面に入力されたキーワードが第２物品の物品情報、または、第２物品の関連情報であるとき（Ｓ４７の「Ｙｅｓ」）、検索部１６は、キーワードに関連付けてＤＢ１に記憶されている第２物品の物品情報を検索し、検索された物品情報の一覧を表示部１８に出力する（Ｓ４８）。

本装置１の利用者により第２物品の物品情報が選択されたとき（Ｓ４９の「Ｙｅｓ」）、検索部１６は、選択された第２物品の物品情報に基づいて、同物品情報に関連付けられて記憶部１１に記憶されている第１物品の物品情報の一覧を、記憶部１１から読み出して表示部１８に出力する（Ｓ５０）。

次いで、本装置１の情報処理は、処理（Ｓ４５）に移行する。

なお、本装置の利用者は、第２物品の物品情報と位置情報とに基づいて、記憶部に記憶されている第１物品の物品情報の一覧を、記憶部から読み出して表示部に出力してもよい。その結果、利用者は、所定の位置に保管されている第２物品に収容されている第１物品の一覧を容易に確認することができる。

本装置１の利用者により第２物品の物品情報が選択されないとき（Ｓ４９の「Ｎｏ」）、本装置１の情報処理は、処理（Ｓ４１）に戻る。

入力されたキーワードが第２物品の物品情報、または、第２物品の関連情報でないとき（Ｓ４７の「Ｎｏ」）、本装置１の情報処理は、処理（Ｓ４１）に戻る。

●本方法の使用例
次に、本方法の使用例を、撮像装置２により連続して撮像された４つの撮像画像（図１５，図１８−２０）を参照しながら説明する。以下、紙媒体がファイルに収容されて、同ファイルが棚ｃに保管される場合を例に説明する。すなわち、紙媒体とファイルとは、本発明における物品の例である。ファイルに収容された紙媒体は、本発明における第１物品の例である。紙媒体を収容したファイルは、本発明における第２物品の例である。

図１５は、撮像装置２が撮像した撮像画像の例を示す模式図である。
同図は、撮像画像内にファイルＸと紙媒体Ｙと紙媒体Ｚとが撮像されていることを示す。

本装置１は、図１５に示される撮像画像から、ファイルＸと紙媒体Ｙ，Ｚの物品情報と位置情報と時刻情報とを特定して、ＤＢ１に記憶する。

図１６は、ＤＢ１に記憶された情報の例を示す模式図である。
同図は、例えば、物品ＩＤ「１０１」の物品（紙媒体Ｙ）に対して、物品情報「ｐ１」「花火」「８／２」と、位置情報「Ｐ１１１」と、時刻情報「Ｔ１１１」と、が関連付けられてＤＢ１に記憶されていることを示す。

次いで、本装置１は、ＤＢ１に記憶されている物品情報ごとに、同物品情報の関連情報を取得して、ＤＢ１に記憶する。

図１７は、ＤＢ１に記憶された情報の別の例を示す模式図である。
同図は、例えば、物品ＩＤ「１０１」の物品（紙媒体Ｙ）に対して、関連情報「Ｚ川花火大会」が、同物品の物品情報「ｐ１」「花火」「８／２」と関連付けられて記憶されていることを示す。

図１８は、図１５の撮像画像の次の撮像画像の例を示す模式図である。
同図は、図１５の撮像画像に撮像されていたファイルＸが開いている状態を示す。すなわち、同図は、図１５の撮像画像に撮像されていたファイルＸが、新たな物品Ｘ´として撮像画像に撮像されていることを示す。

本装置１は、図１８に示される撮像画像から、物品Ｘ´と紙媒体Ｙ，Ｚの物品情報と位置情報と時刻情報とを特定して、ＤＢ１に記憶する。ここで、本装置１は、例えば、物品Ｘ´の位置情報と、一つ前の撮像画像（図１５）におけるファイルＸの位置情報と、の一致割合に基づいて、物品Ｘ´をファイルＸと同一物品であると判定する。本実施の形態では、物品Ｘ´の位置情報は、全てファイルＸの位置情報に含まれる。その結果、本装置１は、物品Ｘ´の画像をファイルＸの物品情報としてＤＢ１に記憶する。

なお、本装置が、１つ前の撮像画像に撮像された物品と、今の撮像画像に撮像された物品と、が同一物品と判定する手法は、本実施の形態に限定されない。すなわち、例えば、閉空間内に人の出入や人の移動がないとき、本装置は、これら２つの物品を同一物品であると判定してもよい。

図１９は、図１８の撮像画像の次の撮像画像の例を示す模式図である。
同図は、ファイルＸ（Ｘ´）の上に紙媒体Ｙが重なって撮像されていることを示す。すなわち、紙媒体Ｙの位置情報は、ファイルＸ（Ｘ´）の位置情報の一部と一致する。

図２０は、図１９の撮像画像の次の撮像画像の例を示す模式図である。
同図は、ファイルＸ（Ｘ´）が閉じられて、紙媒体ＹがファイルＸ（Ｘ´）に収容されたことを示す。すなわち、同図は、図１９の撮像画像に撮像されていた物品Ｘ´と紙媒体Ｙとは図２０の撮像画像には撮像されておらず、ファイルＸが図２０の撮像画像に撮像されていることを示す。

本装置１は、物品Ｘ´とファイルＸとが同一物品であると判定しているため、紙媒体Ｙのみを未撮像物品として特定すると共に、紙媒体Ｙを第１物品として特定する。

次いで、本装置１は、１つ前の撮像画像（図１９）で未撮像物品（紙媒体Ｙ）の最も近くに位置した物品（ファイルＸ（Ｘ´））であって、今の撮像画像（図２０）に撮像されている物品（ファイルＸ）を第２物品として特定する。

ここで、１つ前の撮像画像（図１９）で未撮像物品（紙媒体Ｙ）から離れて存在していた紙媒体Ｚは、今の撮像画像（図２０）で第１物品と第２物品のいずれにも特定されない物品である。

次いで、本装置１は、第１物品として特定された紙媒体Ｙの物品ＩＤと、第２物品として特定されたファイルＸの物品ＩＤと、を関連付けてＤＢ３に記憶する。すなわち、第１物品（紙媒体Ｙ）の物品情報と位置情報と時刻情報と関連情報とは、同第１物品に対応する第２物品（ファイルＸ）の物品情報と位置情報と時刻情報と関連情報とに関連付けられて記憶部１１に記憶される。

図２１は、閉空間Ｒ内での人Ｈｍの動きを示す模式図である。同図は、紙媒体Ｙを収容したファイルＸを手に持つ人Ｈｍが領域Ａから、領域Ｂを通り、領域Ｃにある棚ｃの前に移動したことを示す。

本装置１は、各撮像装置２で閉空間Ｒ内を連続的に撮像した撮像画像に本方法を適用することにより、撮像画像ごとに、閉空間Ｒ内を移動する第２物品（ファイルＸ）の位置情報と時刻情報とを特定する。その結果、本装置１は、撮像画像に撮像されない第１物品（紙媒体Ｙ）の閉空間Ｒ内の位置を、同第１物品に関連付けられている第２物品（ファイルＸ）の位置情報と時刻情報とを用いて、利用者に提供することができる。

ここで、本装置１は、画像出力部１７を用いて、閉空間Ｒ内を移動する第２物品（ファイルＸ）の画像が含まれる複数の撮像画像を記憶部１１から読み出して表示部１８に出力することができる。この場合、画像出力部１７は、第１物品の物品情報と関連付けて記憶部１１に記憶されている第２物品の時刻情報に基づいて、複数の撮像画像の出力の順序を決定する。すなわち、例えば、画像出力部１７は、第２物品の時刻情報に示される時刻より前に撮像された撮像画像や、同時刻より後に撮像された撮像画像を時系列に並べて表示部１８に出力する。その結果、本装置１は、所定の時刻を起点として撮像画像を並べて表示することにより、第２物品の移動経路を表示することができる。

このように、本装置１は、第１物品の物品情報と位置情報と時刻情報と関連情報と、第２物品の物品情報と位置情報と時刻情報と関連情報と、を関連付けて記憶部１１に記憶する。そのため、本装置１は、第１物品の物品情報に基づいて、同物品情報と関連付けられている第２物品の位置情報と時刻情報とを出力することができる。すなわち、例えば、本装置１は、ファイルＸに収容されてファイルＸの外部からは視認できない紙媒体Ｙの情報（物品情報）から、同紙媒体Ｙを収容したファイルＸの現在の位置を検索することができる。

また、本装置１は、第２物品の物品情報と位置情報とに基づいて、第１物品の物品情報を出力することができる。すなわち、例えば、本装置１は、利用者がファイルＸの物品情報を指定すれば、同ファイルＸに収容されている紙媒体Ｙの物品情報を検索して、利用者に閲覧させることができる。

さらに、本装置１は、第１物品の関連情報に基づいて、第２物品の位置情報を出力することができる。すなわち、例えば、本装置１は、ウェブサイトなどから取得された関連情報を利用者に検索キーワードとして指定させて、紙媒体Ｙの物品情報を記憶部１１から読み出し、紙媒体Ｙを収容したファイルＸの現在の位置をして利用者に閲覧させることができる。

●まとめ
以上説明した実施の形態によれば、制御部１５は、第１物品の物品情報と、第２物品の位置情報と、を関連付けて記憶部１１に記憶する。検索部１６は、第１物品の物品情報に基づいて、第２物品の位置情報を記憶部１１から読み出して表示部１８に出力する。すなわち、本装置１は、第１物品の物品情報を検索キーワードにして、同第１物品を収容している第２物品の位置を出力する。換言すれば、本装置１は、第２物品（ファイルや段ボール箱）に収容されて撮像装置２により撮像されない第１物品（書類）の物品情報（外観・文字情報など）から、同第１物品（書類）を収容している第２物品（ファイルや段ボール箱）の現在の位置を特定する。つまり、本装置１は、物品の情報の事前準備を必要とせず、所定の空間内の物品の位置を特定することができる。

また、以上説明した実施の形態によれば、検索部１６は、第２物品の物品情報に基づいて、第１物品の物品情報を記憶部１１から読み出して表示部１８に出力する。すなわち、本装置１は、第２物品の物品情報を検索キーワードにして、同第２物品に収容されている第１物品の物品情報を出力する。その結果、本装置１は、第２物品（ファイル）の物品情報（外観など）から同第２物品に収容されている第１物品（書類）の物品情報（外観・文字情報など）を出力し、同第１物品の物品情報から同第１物品を収容している第２物品の現在の位置を特定する。つまり、本装置１は、物品の情報の事前準備を必要とせず、所定の空間内の物品の位置を特定することができる。

さらに、以上説明した実施の形態によれば、検索部１６は、第２物品の物品情報と位置情報とに基づいて、第１物品の物品情報を記憶部１１から読み出して表示部１８に出力する。その結果、本装置１は、所定の時刻・場所に存在する第２物品の物品情報から同第２物品に収容されている第１物品（書類）の物品情報（外観・文字情報など）を出力し、同第１物品の物品情報から同第１物品を収容している第２物品の現在の位置を特定する。つまり、本装置１は、物品の情報の事前準備を必要とせず、所定の空間内の物品の位置を特定することができる。

さらにまた、以上説明した実施の形態によれば、制御部１５は、第１物品の位置情報と第２物品の位置情報とに基づいて、第１物品の物品情報と第２物品の位置情報とを関連付けて記憶部１１に記憶する。すなわち、本装置１は、物品同士の距離に基づいて、第１物品に対応する第２物品を特定する。

さらにまた、以上説明した実施の形態によれば、制御部１５は、第１物品の物品情報と第２物品の物品情報とに基づいて、第１物品の物品情報と第２物品の位置情報とを関連付けて記憶部１１に記憶する。すなわち、本装置１は、物品の物品情報の変化（物品同士が重なることによる外観画像の欠けなど）に基づいて、第１物品に対応する第２物品を特定する。

さらにまた、以上説明した実施の形態によれば、制御部１５は、第１物品の物品情報と、第１物品の位置情報と、第２物品の物品情報と、第２物品の位置情報と、に基づいて、第１物品の物品情報と第２物品の位置情報とを関連付けて記憶部１１に記憶する。すなわち、本装置１は、物品同士の距離と、物品の物品情報の変化と、に基づいて、第１物品に対応する第２物品を特定する。その結果、第１物品に対応する第２物品の特定の精度は、向上する。

さらにまた、以上説明した実施の形態によれば、制御部１５は、物品の関連情報を、同物品の物品情報と関連付けて記憶部１１に記憶する。検索部１６は、第１物品の関連情報に基づいて第１物品の物品情報を記憶部１１から読み出して、同第１物品の物品情報に基づいて第２物品の位置情報を記憶部１１から読み出して表示部１８に出力する。すなわち、本装置１は、第１物品の関連情報を検索キーワードにして、同第１物品を収容している第２物品の位置を表示部１８に出力する。その結果、本装置１は、例えば、第１物品の物品情報を思い出せない利用者であっても、第１物品の関連情報を基に、同第１物品を収容している第２物品の現在の位置を特定する。つまり、本装置１は、物品の情報の事前準備を必要とせず、所定の空間内の物品の位置を特定することができる。

さらにまた、以上説明した実施の形態によれば、関連情報取得部１４は、ＯＣＲにより特定される文字や図形で構成される物品の物品情報に基づいて、物品の関連情報を取得する。そのため、物品の画像から特定される単なる色彩や形状などで構成される物品の物品情報から関連情報を取得する場合と比較して、関連情報の精度（物品との関連性）は向上する。

さらにまた、以上説明した実施の形態によれば、関連情報取得部１４は、通信部１９を介して、外部装置３から物品の関連情報（第２関連情報）を取得する。その結果、本装置１は、物品の外観から直接的に得られる物品情報に加えて、同物品の位置情報を検索するときに検索キーワードとなり得る情報（第２関連情報）を物品情報に関連付けて記憶することができる。

さらにまた、以上説明した実施の形態によれば、関連情報取得部１４は、通信部１９を介して、物品の関連情報（第１関連情報）を画像形成装置４から取得する。その結果、本装置１は、画像形成装置４が印刷した時刻を特定する情報、画像形成装置４に情報を送信した端末を特定する情報、印刷される情報などを関連情報として取得することができる。この場合、例えば、本装置１は、「端末」と「端末の使用者」とを関連付けて記憶しておき、画像形成装置４に情報を送信した端末を特定する情報に基づいて、その端末の使用者を特定し、その使用者を関連情報として設定してもよい。

さらにまた、以上説明した実施の形態によれば、制御部１５は、画像形成装置４から取得した物品の関連情報に基づいて、同物品の物品情報を更新する。すなわち、例えば、本装置１は、撮像画像からＯＣＲでは読み取れない文字情報を、画像形成装置４から関連情報として取得した文字情報で更新することにより、検索処理における物品情報の精度を向上させることができる。

なお、制御部は、撮像画像に含まれる被写体画像に基づいて、撮像装置の撮像動作を制御してもよい。すなわち、例えば、制御部は、閉空間Ｒ内の特定の領域（例えば、画像形成装置の出力口や、机の上）に被写体（物品や人）が撮像されたとき、同領域を撮像する撮像装置の撮像動作を変更（解像度を上げる、撮像間隔を短くする、撮像倍率を上げる、など）してもよい。この構成によれば、印刷物やメモなどが生成される複合機や机を監視することにより、本装置は、同印刷物やメモに表示された文字情報を物品情報として容易に特定することができる。

また、制御部は、被写体画像に特定被写体画像が含まれるとき、撮像装置に特定撮像処理を実行させてもよい。すなわち、例えば、制御部は、撮像画像に特定の被写体（例えば、特定の図形や記号、利用者の指で形成されるサイン）の画像が含まれるとき、同特定の被写体を撮像した撮像装置の動作を変更してもよい。ここで、「特定撮像処理」は、解像度を上げた撮像処理、撮像間隔を短くした撮像処理、撮像倍率を上げた撮像処理、などの処理である。この構成によれば、物品情報の取りこぼし（物品情報の特定ミス）が抑制され、検索処理における物品情報の精度が向上する。

さらにまた、物品情報特定部は、撮像画像に含まれる物品の画像を抽出し、複数の撮像画像ごとに抽出された物品の画像を合成して、物品の物品情報として特定してもよい。換言すれば、物品情報特定部は、記憶部に記憶された複数の撮像画像に基づいて、物品情報を特定してもよい。すなわち、例えば、物品情報特定部は、各撮像画像に基づいて断片的に特定された物品情報を合成して、合成された情報を同物品の物品情報として特定してもよい。その結果、本装置は、断片化された文字情報を合成して一つの意味のある文字情報や、複数の角度から撮像された物品の画像を合成して、いわゆる３Ｄ化された物品の画像、などを物品情報として特定することができる。

さらにまた、１つの第１物品の物品ＩＤに関連付けられる第２物品の物品ＩＤの数は、「１」に限定されず、「２以上」でもよい。この場合、本装置は、検索処理において、第１物品が収容されている第２物品の位置情報の候補を複数出力することができる。その結果、本装置の利用者は、目的の第１物品が収容されている第２物品の位置を絞り込むことができる。

１ 画像処理装置
１１ 記憶部
１２ 物品情報特定部
１３ 位置情報特定部
１４ 関連情報取得部
１５ 制御部（物品情報更新部）
１６ 検索部
１７ 画像出力部
１８ 表示部
１９ 通信部
２ 撮像装置
３ 外部装置
４ 画像形成装置
５ 端末

Claims (28)

1. 閉空間内に配置される少なくとも１の撮像装置が撮像して出力する撮像画像を処理する画像処理装置であって、
   前記撮像画像に基づいて、前記閉空間内を移動する物品の物品情報を特定する物品情報特定部と、
   前記撮像画像に基づいて、前記閉空間内での前記物品の位置情報を特定する位置情報特定部と、
   前記物品の物品情報と前記物品の位置情報とを記憶する記憶部と、
   前記物品の物品情報と前記物品の位置情報とを関連付けて前記記憶部に記憶する制御部と、
   前記物品の物品情報に基づいて、前記物品の位置情報を前記記憶部から読み出して出力する検索部と、
   を有してなり、
   前記物品は、
   第１物品と、
   第２物品と、
   を含み、
   前記物品情報特定部は、前記第１物品の物品情報と、前記第２物品の物品情報と、を特定し、
   前記位置情報特定部は、前記第１物品の位置情報と、前記第２物品の位置情報と、を特定し、
   前記制御部は、前記第１物品の物品情報と、前記第２物品の位置情報と、を関連付けて前記記憶部に記憶し、
   前記検索部は、前記第１物品の物品情報に基づいて、前記第２物品の位置情報を前記記憶部から読み出して出力する、
   ことを特徴とする画像処理装置。
2. 前記検索部は、前記第２物品の物品情報に基づいて、前記第１物品の物品情報を前記記憶部から読み出して出力する、
   請求項１記載の画像処理装置。
3. 前記検索部は、前記第２物品の物品情報と前記第２物品の位置情報とに基づいて、前記第１物品の物品情報を前記記憶部から読み出して出力する、
   請求項１記載の画像処理装置。
4. 前記制御部は、前記第１物品の位置情報と、前記第２物品の位置情報と、に基づいて、前記第１物品の物品情報と前記第２物品の位置情報とを関連付けて前記記憶部に記憶する、
   請求項１記載の画像処理装置。
5. 前記制御部は、前記第１物品の物品情報と、前記第２物品の物品情報と、に基づいて、前記第１物品の物品情報と前記第２物品の位置情報とを関連付けて前記記憶部に記憶する、
   請求項１記載の画像処理装置。
6. 前記制御部は、前記第１物品の物品情報と、前記第１物品の位置情報と、前記第２物品の物品情報と、前記第２物品の位置情報と、に基づいて、前記第１物品の物品情報と前記第２物品の位置情報とを関連付けて前記記憶部に記憶する、
   請求項１記載の画像処理装置。
7. 前記物品情報は、前記物品の外観に基づく情報である、
   請求項１記載の画像処理装置。
8. 前記物品情報は、前記物品の外観の画像である、
   請求項１記載の画像処理装置。
9. 前記位置情報は、前記閉空間内に配置された固定物を示す情報である、
   請求項１記載の画像処理装置。
10. 前記検索部が出力する前記位置情報は、前記閉空間内に配置された固定物を示す情報である、
    請求項１記載の画像処理装置。
11. 前記位置情報は、前記固定物の画像である、
    請求項９または１０記載の画像処理装置。
12. 前記制御部は、前記撮像画像に含まれる被写体画像に基づいて、前記撮像装置の撮像動作を制御する、
    請求項１記載の画像処理装置。
13. 前記制御部は、前記被写体画像に特定被写体画像が含まれるとき、前記撮像装置に特定撮像処理を実行させる、
    請求項１２記載の画像処理装置。
14. 前記物品の関連情報を取得する関連情報取得部、
    を備え、
    前記制御部は、前記物品の関連情報を、前記物品の物品情報と関連付けて前記記憶部に記憶し、
    前記物品の関連情報は、前記第１物品の関連情報を含み、
    前記検索部は、前記第１物品の関連情報に基づいて、前記第２物品の位置情報を前記記憶部から読み出して出力する、
    請求項１記載の画像処理装置。
15. 前記検索部は、
    前記第１物品の関連情報に基づいて、前記第１物品の物品情報を前記記憶部から読み出し、
    前記第１物品の物品情報に基づいて、前記第２物品の位置情報を前記記憶部から読み出す、
    請求項１４記載の画像処理装置。
16. 前記関連情報取得部は、前記物品の物品情報に基づいて、前記物品の関連情報を取得する、
    請求項１４記載の画像処理装置。
17. 前記物品の物品情報は、前記物品の画像に含まれる文字情報または図形情報であり、
    前記関連情報取得部は、前記文字情報または前記図形情報に基づいて、前記物品の関連情報を取得する、
    請求項１６記載の画像処理装置。
18. 通信回線を介して外部装置と通信する通信部、
    を備え、
    前記関連情報取得部は、前記通信部を介して、
    前記文字情報または前記図形情報を前記外部装置に送信し、
    前記外部装置から前記第１物品の関連情報を受信する、
    請求項１７記載の画像処理装置。
19. 通信回線を介して画像形成装置と通信する通信部、
    を備え、
    前記物品は、前記画像形成装置が出力する記録媒体であり、
    前記関連情報取得部は、前記通信部を介して、前記物品の関連情報を前記画像形成装置から取得する、
    請求項１４記載の画像処理装置。
20. 前記物品の物品情報を更新する物品情報更新部、
    を備え、
    前記物品情報更新部は、前記物品の関連情報に基づいて、前記物品の物品情報を更新する、
    請求項１９記載の画像処理装置。
21. 前記物品の関連情報が入力される関連情報入力画面が表示される表示部、
    を備え、
    前記関連情報取得部は、
    前記関連情報入力画面を、前記物品の物品情報と共に前記表示部に表示させ、
    前記関連情報入力画面に入力された情報を、前記物品の関連情報として取得する、
    請求項１４記載の画像処理装置。
22. 前記制御部は、前記物品の位置情報を、前記撮像装置が前記物品を撮像した時刻を示す時刻情報と関連付けて前記記憶部に記憶し、
    前記検索部は、前記第１物品の物品情報に基づいて、前記第２物品の位置情報と前記第２物品の時刻情報とを前記記憶部から読み出して出力する、
    請求項１記載の画像処理装置。
23. 前記第２物品の画像が含まれる複数の前記撮像画像を前記記憶部から読み出して出力する画像出力部、
    を備え、
    前記画像出力部は、前記第１物品の物品情報と関連付けて前記記憶部に記憶されている前記第２物品の時刻情報に基づいて、複数の前記撮像画像の出力態様を決定する、
    請求項２２記載の画像処理装置。
24. 複数の前記撮像画像の出力態様は、複数の前記撮像画像の出力の順序である、
    請求項２３記載の画像処理装置。
25. 前記物品情報特定部は、前記記憶部に記憶された複数の前記撮像画像に基づいて、前記物品の物品情報を特定する、
    請求項１記載の画像処理装置。
26. 前記物品情報特定部は、
    前記撮像画像に含まれる前記物品の画像を抽出し、
    複数の前記撮像画像ごとに抽出された前記物品の画像を合成して、前記物品の物品情報を特定する、
    請求項２５記載の画像処理装置。
27. コンピュータを、請求項１記載の画像処理装置として機能させる、
    ことを特徴とする画像処理プログラム。
28. 閉空間内に配置される少なくとも１の撮像装置が撮像して出力する撮像画像を処理する画像処理装置により実行される画像処理方法であって、
    前記画像処理装置は、
    前記撮像画像に基づいて、前記閉空間内を移動する物品の物品情報を特定する物品情報特定部と、
    前記撮像画像に基づいて、前記閉空間内での前記物品の位置情報を特定する位置情報特定部と、
    前記物品の物品情報と前記物品の位置情報とを記憶する記憶部と、
    前記物品の物品情報と前記物品の位置情報とを関連付けて前記記憶部に記憶する制御部と、
    前記物品の物品情報に基づいて、前記物品の位置情報を前記記憶部から読み出して出力する検索部と、
    を備え、
    前記物品は、
    第１物品と、
    第２物品と、
    を含み、
    前記物品情報特定部が、前記第１物品の物品情報と、前記第２物品の物品情報と、を特定するステップと、
    前記位置情報特定部が、前記第１物品の位置情報と、前記第２物品の位置情報と、を特定するステップと、
    前記制御部が、前記第１物品の物品情報と、前記第２物品の位置情報と、を関連付けて前記記憶部に記憶するステップと、
    前記検索部が、前記第１物品の物品情報に基づいて、前記第２物品の位置情報を前記記憶部から読み出して出力するステップと、
    を有してなることを特徴とする画像処理方法。
    
    

Images