JP2015055546A - センサ情報管理装置、センサ情報管理方法 - Google Patents

Abstract

【課題】故障診断における信頼性を向上することができるセンサ情報管理装置、センサ情報管理方法を提供することである。
【解決手段】実施形態のセンサ情報管理装置は、画像入力部と、撮像画像表示部と、操作部と、操作情報記憶部と、出力部とを持つ。画像入力部は、画像センサが異なる位置または角度に設置され物品を撮像した撮像結果に応じた画像をそれぞれの画像センサから得る。撮像画像表示部は、前記画像センサによって得られた各画像を表示する。操作部は、前記表示された各画像のうち少なくともいずれか１つの画像に対する操作内容の入力を受け付ける。操作情報記憶部は、前記操作内容に基づく操作情報を記憶する。出力部は、前記操作情報記憶部に記憶された操作情報を出力する。
【選択図】図１

Description

本発明の実施形態は、センサ情報管理装置、センサ情報管理方法に関する。

近年、小包処理装置が利用されている。この小包処理装置は、例えば、区分先情報が記載された配達伝票等の帳票が少なくとも１つの面に貼付された、例えば６面形状の小包を複数の角度から撮像した撮像画像を取得する。そして、この撮像画像を基に、帳票に記載されている区分先情報を読み取り、この読み取った区分先情報に基づいて当該小包を行先別に区分処理することができる。
この場合、区分先情報を読み取り易い撮像画像が得られることが望ましいが、撮像装置や他の機器に何らかの不具合があると、必ずしもそのような撮像画像が得られない場合がある。そのため、区分処理を効率的に行なうためには、小包処理装置において不具合が生じていないかを把握し、不具合がある場合には改善することが望ましい。
例えば、スキャナによって撮影された画像の濃度に基づいて、撮影画像自体に不具合があるか否かを把握する技術も提案されている。

特開２０１１−１３７８９５号公報

上述の小包処理装置において、撮像画像から区分先情報を認識する認識率に基づいて不具合があるか否かを診断することも可能であるが、この認識率の低下は、撮像装置の故障以外の要因もあり得る。そのため、この診断方法の信頼性は低い。

本発明が解決しようとする課題は、故障診断における信頼性を向上することができるセンサ情報管理装置、センサ情報管理方法を提供することである。

実施形態のセンサ情報管理装置は、画像入力部と、撮像画像表示部と、操作部と、操作情報記憶部と、出力部とを持つ。画像入力部は、画像センサが異なる位置または角度に設置され物品を撮像した撮像結果に応じた画像をそれぞれの画像センサから得る。撮像画像表示部は、前記画像センサによって得られた各画像を表示する。操作部は、前記表示された各画像のうち少なくともいずれか１つの画像に対する操作内容の入力を受け付ける。操作情報記憶部は、前記操作内容に基づく操作情報を記憶する。出力部は、前記操作情報記憶部に記憶された操作情報を出力する。

実施形態のセンサ情報管理方法は、画像入力部と、撮像画像表示部と、操作部と、操作情報記憶部と、出力部とを持つセンサ情報管理装置のセンサ情報管理方法である。画像入力部は、画像センサが異なる位置または角度に設置され物品を撮像した撮像結果に応じた画像をそれぞれの画像センサから得る。撮像画像表示部は、前記画像センサによって得られた各画像を表示する。操作部は、前記表示された各画像のうち少なくともいずれか１つの画像に対する操作内容の入力を受け付ける。出力部は、前記操作内容に基づく操作情報が記憶された操作情報記憶部から読み出される操作情報を出力する。

第１の実施形態における配達物処理システム１の構成を示す概略構成図である。 センサ情報管理装置１０の処理を説明するフローチャートである。 画像表示部１２１に表示される画像の一例を表す図である。 画像表示部１２１に詳細画像が表示された一例を表す図である。 操作情報記憶部１３１に記憶される操作情報の一例を示す図である。 キャンセルの理由を入力する場合に画像表示部１２１に表示される画像の一例を表す図である。 第２の実施形態におけるセンサ情報管理装置１１を適用した配達物処理システム２の構成を示す概略構成図である。 画像一覧において領域を選択する操作を行なう場合の画面例を表す図である。 詳細画像において、領域を選択する操作を行なう場合の画面例を表す図である。

以下、実施形態によるセンサ情報管理装置について、図を参照して説明する。
《第１の実施形態》
図１は、第１の実施形態における配達物処理システム１の構成を示す概略構成図である。
この配達物処理システム１は、画像センサ１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｆ、１０１ｇ、１０１ｈ、１０１i（以下、各画像センサの何れであるかを特定しない場合には単に画像センサ１０１と称す）と、搬送装置１０３と、センサ情報管理装置１０と含んで構成される。

画像センサ１０１は、搬送装置１０３によって搬送される配達物１０２を撮像する。この画像センサ１０１は、互いに異なる位置または異なる角度になるように設置されている。例えば、画像センサ１０１は、配達物１０２の各面（例えば６面）のうちいずれかの面を撮像するように、それぞれの面に対応して設けられ、それぞれの画像センサ１０１によって、配達物１０２の各面の画像を撮像する。ここで、搬送装置１０３の一部には撮像窓（透明窓）が形成されており、画像センサ１０１の少なくとも１つは、配達物１０２の底面をこの撮像窓を介して撮像できるようになっている。画像センサ１０１は、同じ位置に異なる角度で設置することもでき、また、角度は同じであるが異なる位置に設置することもできる。

また、例えば、画像センサ１０１ａは、搬送装置１０３の上方の位置に、配達物１０２の上面を撮像できる角度で設置されている。画像センサ１０１ｂは、搬送装置１０３の上方の位置に、配達物１０２の側面を撮像できる角度で設置されている。画像センサ１０１ｄは、搬送装置１０３の上方の位置に、画像センサ１０１ｂが撮像する側面とは異なる側面を撮像できる角度で設置されている。また、画像センサ１０１ｆは、搬送装置１０３の上方の位置に、配達物１０２の側面のうち２面以上を撮像できる角度で設置されている。
この画像センサ１０１は、少なくともいずれか１つは、配達物１０２の全体を画角に納めることができるように広角で撮像するように設定されている。
この画像センサ１０１は、例えば、搬送中の配達物１０２を１ラインずつ撮像するラインセンサを用いることができる。
配達物１０２の外形は、種々の形状があり、また、帳票Ｌは、配達物１０２に貼り付けられる位置が必ずしも一定の面であるとは限らない。さらに、配達物１０２は、同じ向きで搬送されるとは限らない。しかし、画像センサ１０１を上述のように構成することで、例えば、ある１つの配達物１０２が撮像対象位置まで搬送装置１０３によって搬送されてきた時、複数の画像センサ１０１によって１つの配達物１０２を撮像し、この配達物１０２の各面のそれぞれの画像を生成し、それらを関連付けて区分先認識装置１１０へ出力することができる。すなわち、帳票Ｌが配達物１０２に貼付される位置や面が一定でなくても、また、配達物１０２が搬送される向きが一定でなくても、いずれかの画像センサ１０１によって、帳票を撮像することができるようになっている。

配達物１０２は、多面形状たとえば６面形状であり、少なくとも１つの面上に区分先情報が記載された帳票Ｌが添付（例えば貼付）されている。帳票Ｌは、配達物１０２の届け先を示す区分先情報（住所情報等）が記載される区分先情報欄、依頼主の住所情報が記載される依頼主情報欄、帳票Ｌ固有のバーコード、その他の情報欄等があり、それぞれの欄に各情報が手書きまたは印刷されることで記載されている。区分先情報は、例えば、都道府県名、市町村名、街区番号の全てあるいは一部から構成される。この区分先情報には、届け先の相手の名称（団体名や氏名等）や、帳票Ｌを識別するバーコードを含むようにすることもできる。

搬送装置１０３は、上流側から供給される配達物１０２を下流側（例えば符号２００で示す方向）に向かって搬送する。この搬送装置１０３は、例えばベルトコンベアである。

センサ情報管理装置１０は、区分先認識装置１１０、ビデオコーディングシステム１２０、操作情報解析装置１３０、表示装置１４０を備える。
区分先認識装置１１０は、画像センサ１０１から得られる画像に基づいて配達物１０２の区分先を認識する。この区分先認識装置１１０は、画像入力部１１１、認識処理部１１２、結果出力部１１３、区分先入力部１１４を備えている。画像入力部１１１は、それぞれの画像センサ１０１から画像を入力する。

認識処理部１１２は、入力された画像から区分先情報を認識する。例えば、認識処理部１１２は、基準の文字が記憶されている辞書データと、区分先情報欄に記載されうる住所を表す住所候補が記憶されている宛先データを記憶している。そして認識処理部１１２は、配達物１０２の各面の撮像画像から、区分先情報欄の記載領域を検出し、検出した記載領域から文字列を検出し、この文字列に含まれる各文字を検出する。各文字を検出すると、認識処理部１１２は、検出した文字と、辞書データに登録された文字との類似度を算出することにより、各文字について類似する文字である文字候補を抽出する。文字候補としては、例えば、類似度の高い順に所定数の文字候補を各文字についてそれぞれ抽出する。このような文字候補を抽出すると、認識処理部１１２は、各文字それぞれの文字候補を組み合わせて単語候補を生成し、生成した単語候補と、宛先データの住所候補との類似度を算出することにより、文字認識結果としての区分先情報を出力する。例えば、認識処理部１１２は、算出された類似度に基づいて、類似度が最も高い文字候補の組み合わせを区分先情報として出力する。認識処理部１１２は、例えばＣＰＵ（中央処理装置）やメモリ等によって構成されている。
認識処理部１１２は、例えばＣＰＵ（中央処理装置）やメモリ等によって構成されている。

この認識処理部１１２の区分先情報の認識処理は、例えば、配達物１０２の各面（６面）から取得された画像に対しそれぞれ行なわれる。そのため、１つの配達物１０２を複数の画像センサ１０１によって撮像した際、複数の画像センサ１０１によって同じ帳票Ｌが撮像される場合もある。この場合、認識処理部１１２は、各面の画像を認識処理して得られた区分先情報のうち、類似度が最も高い文字候補の組み合わせが得られた画像の区分先情報を出力する。

結果出力部１１３は、認識処理部１１２が認識した区分先情報を出力する。区分先入力部１１４は、ビデオコーディングシステム（以下、ＶＣＳ）１２０から区分先を入力する。

ＶＣＳ１２０は、区分先認識装置１１０によって配達物１０２の区分先の認識処理に失敗した場合に、画像を表示し、オペレータが目視で区分先を認識し、オペレータの操作内容に基づいて区分先情報を入力する。このＶＣＳ１２０は、画像表示部１２１と操作部１２２とを備える。画像表示部１２１は、それぞれの画像センサ１０１によって撮像され区分先認識装置１１０から出力されるそれぞれの画像を表示する。操作部１２２は、オペレータが行なう操作に応じて各種情報の入力を受け付ける。例えば、操作部１２２は、画像表示部１２１に表示された各画像のうち少なくともいずれか１つの画像に対する操作内容の入力を受け付ける。この操作内容としては、例えば、画像表示部１２１に表示された画像から選択された画像について詳細画像を表示する操作、表示された表示画像を非表示にする操作（以下、キャンセルともいう）がある。詳細画像を表示する場合、例えば、詳細画像を表示するよう操作入力された画像について、画像表示部１２１に並べて表示された画像の解像度よりも高い解像度の画像を画像表示部１２１に表示したり、あるいは、画像表示部１２１に並べて表示された画像に対し選択された領域について拡大した拡大画像を詳細画像として表示したりすることができる。この操作部１２２は、例えば、キーボードやマウス等の入力装置を利用することができる。

操作情報解析装置１３０は、ＶＣＳ１２０に入力された操作内容を自装置に設けられた記憶装置に記録し、この記録された情報に基づいて画像センサ１０１の不具合状況について解析する。例えば、操作情報解析装置１３０は、操作情報記憶部１３１と、操作情報解析部１３２とを備える。操作情報記憶部１３１は、ＶＣＳ１２０から得られる操作内容を操作情報として記憶する。操作情報解析部１３２は、操作情報記憶部１３１に記憶された操作情報に基づいてセンサの不具合状況について診断する。

この操作情報解析装置１３０は、解析処理として、画像表示部１２１に並べて表示された画像のうち、詳細画像を表示する操作内容に基づく操作情報と詳細画像の表示を解除する操作内容に基づく操作情報とに基づいて、画像センサ１０１の不具合状況について診断する処理を行なう。不具合としては、例えば、画像センサ１０１が配達物１０２に対してピントが合った状態で撮像できていない場合や、配達物１０２を撮像範囲に含むような位置に画像センサ１０１が設置されていない場合、配達物１０２を撮像範囲に含むような角度で画像センサ１０１が設置されていない場合、画像センサ１０１が故障している場合等があげられる。

表示装置１４０は、操作情報解析装置１３０によって診断、解析された結果を含む各種情報を表示画面上に表示する。

次に、上述のセンサ情報管理装置１０の処理について図２のフローチャートを用いて説明する。まず、搬送装置１０３によって配達物１０２が搬送され、各画像センサ１０１によって配達物１０２が撮像され、画像が生成される。画像入力部１１１は、各画像センサ１０１から画像を取得する（ステップＳ２０１）。認識処理部１１２は、取得した各画像から区分先情報の認識処理を行なう（ステップＳ２０２）。認識処理部１１２は、区分先情報の認識処理を正常に行なうことができた場合には（ステップＳ２０３−ＹＥＳ）、結果出力部１１３から、区分先情報を後段の区分装置に出力する。区分装置は、この区分先情報に基づき、この区分先情報の認識処理が行なわれた配達物１０２を区分口に区分して搬送する。

一方、認識処理部１１２は、区分先情報の認識処理を正常に行なうことができなかった場合には（ステップＳ２０３−ＹＥＳ）、ＶＣＳ１２０に、区分先情報の認識処理ができなかった各画像を出力する。ＶＣＳ１２０の画像表示部１２１は、結果出力部１１３から出力された画像を表示画面上に表示する（ステップＳ２０５）。この時、画像表示部１２１は、結果出力１０７から出力された各画像を、１つの画面上に並べて表示する。オペレータは、画像表示部１２１に各画像が表示されると、これらの画像の中から画像を目視確認しやすくするための操作を行なう（ステップＳ２０６）。この操作は、例えば、目視にて区分先情報を読み取ることができそうな画像を選択し、詳細画像を表示するよう操作部１２２から指示を入力することで操作を行なうことができる。詳細画像が表示される、オペレータによって、詳細画像から区分先情報を目視にて読み取られ、読み取り結果に応じた操作が操作部１２２に対して行なわれると、操作部１２２は、この操作に応じて区分先情報を入力する（ステップＳ２０７）。操作情報解析装置１３０は、操作部１２２が入力した操作内容を記憶する（ステップＳ２０８）。

操作部１２２から区分先情報が入力されると、区分先認識装置１１０は、区分先入力部１１４によってこの区分先情報を取得し、取得した区分先情報を結果出力部１１３から後段の区分処理に出力する。区分装置は、この区分先情報に基づき、この区分先情報の認識処理が行なわれた配達物１０２を区分口に区分して搬送する。

次に、上述した画像表示部１２１に表示される情報と、操作部１２２が入力する操作内容について説明する。図３は、画像表示部１２１に表示される画像の一例を表す図である。特に、図３は、認識処理部１１２において区分先情報の読み取りを正常に行なうことができなかった場合に画像表示部１２１に表示される画像センサ１０１のそれぞれから得られた画像が並べて画像一覧として表示された場合を表している。ここでは、配達物１０２の上面、右側面、左側面、手前側面、奥側面、底面等の各面や、配達物１０２を斜め方向から撮影して得られる画像等、９種類の画像が、例えば、サムネイル画像として表示される。オペレータは、この画像一覧のうち、帳票Ｌが撮像された画像であって、区分先情報を目視で読み取ることができる可能性が高いサムネイル画像を選択し、操作部１２２から選択されたサムネイル画像の詳細画像を表示させる指示を入力する。画像表示部１２１は、操作部１２２から入力された指示に基づいて、詳細画像を表示する。例えば、画像一覧の画面上に新たなウインドウを表示し、そのウインドウ内に詳細画像を表示することができる。詳細画像としては、サムネイル画像の解像度よりも高い解像度の画像を表示する。例えば、画像表示部１２１は、画像センサ１０１から得られた画像の解像度よりも低いサムネイル画像を生成して画像一覧に表示しておき、詳細画像が選択されると、画像センサ１０１から得られた画像を表示する。

図４は、画像表示部１２１に詳細画像が表示された一例を表す図である。ここでは、例えば、図３において表示された９種類の画像のうち、中段右側に配置された画像（図３符号４０１）についての詳細画像が表示された場合が図示されている。図４においては、その画像の一部に、帳票Ｌが含まれている（符号４０２）。オペレータは、この詳細画像を表示させた状態において、帳票Ｌの画像から区分先情報が読み取れる場合には、読み取りを行ない、操作部１２２から区分先情報を入力し、入力後に、詳細画像を非表示にする指示を操作部１２２から入力する。画像表示部１２１は、この詳細画像を非表示にする指示が操作部１２２から入力されると、詳細画像のウインドウを閉じ、詳細画像を非表示にする。

一方、オペレータの期待に反して、選択された詳細画像から区分先情報を読み取ることができない場合には、区分先情報の入力を行なわずに、詳細画像のウインドウを閉じるよう操作部１２２を操作する。操作部１２２から詳細画像を閉じる指示が入力されると、画像表示部１２１は、この指示に従い、詳細画像のウインドウを閉じ、再度画像一覧を表示する。オペレータは、この画像一覧の中から、区分先情報を目視で読み取ることができる可能性が次に高い画像を選択し、操作部１２２から選択された画像の詳細画像を表示させる指示を入力する。画像表示部１２１は、操作部１２２から入力された指示に基づいて、詳細画像を表示する。

ＶＣＳ１２０において、操作内容の入力が行なわれると、操作情報解析装置１３０は、入力された操作内容に従い、操作内容を操作情報として記憶する。図５は、操作情報解析装置１３０の操作情報記憶部１３１に記憶される操作情報の一例を示す図である。操作情報は、画像センサ１０１毎の、選択回数とキャンセル回数とを含む情報であり、区分先情報入力回数も含むようにすることができる情報である。選択回数は、一覧画像の中から詳細画像を表示するように指示された画像センサ１０１毎の回数である。例えば、この図において、画像センサ１０１ａは、ｎａ_１回選択され、画像センサ１０１ｂは、ｎｂ_１回選択されたことが図示されている。この選択回数は、同じ配達物１０２について、同じ画像センサ１０１が複数回選択された場合であっても、１回としてカウントすることもできるし、選択される毎にカウントするようにしてもよい。区分先情報入力回数は、詳細画像として選択された画像に基づいて区分先認識が入力された回数である。例えば、画像センサ１０１ａの区分先情報入力回数は、ｎａ_２回であり、画像センサ１０１ｂの区分先情報入力回数は、ｎｂ_２回である場合が図示されている。キャンセル回数は、詳細画像として選択された後、区分先情報が入力されずに詳細画像を非表示にする指示が入力された回数である。例えば、画像センサ１０１ａのキャンセル回数は、ｎａ_３回であり、画像センサ１０１ｂのキャンセル回数は、ｎｂ_３回である場合が図示されている。

ここで、操作情報は、選択回数、区分先情報入力回数、キャンセル回数以外の情報であっても含むようにすることもできる。例えば、詳細画像を表示するよう画像が選択されてから非表示の指示が入力されるまでの間、カーソルにより選択するインタフェースの場合は選択時のカーソルの位置を表すカーソル位置情報を含むようにしてもよい。また、画像一覧から選択された画像やキャンセルされた画像を含むようにしてもよい。また、キャンセル時の操作として、キャンセルの理由によって異なる操作内容を入力してもらい、この入力されたキャンセル理由を表す情報を画像センサ１０１毎に含むようにしてもよい。

ここで図６は、詳細画像が表示された状態においてキャンセルの理由を入力する場合に画像表示部１２１に表示される画像の一例を表す図である。画像表示部１２１は，詳細画像（符号５０１）を画面上に表示するとともに、非表示にする指示を入力するキャンセルボタンを非表示にする理由毎に画面上に表示する。複数のキャンセルボタンのうち、Ｘ１（符号５０２）は、詳細画像のぼけが原因である場合を表すキャンセルボタンであり、Ｘ２（符号５０３）は、配達物１０２の帳票Ｌの汚れや付着物が原因である場合を表すキャンセルボタンであり、Ｘ３（符号５０４）は、詳細画像を選択する操作を誤ってしまった場合を表すキャンセルボタンである。操作情報解析装置１３０は、これらいずれかのキャンセルボタンが選択されたかを操作情報として記憶する。ここで、操作情報とともに画像を記憶する構成である場合、キャンセル時の操作によって、画像を保存するか否かを判定するようにしてもよい。例えば、画像ぼけが原因でＸ１のキャンセルボタンが押下された場合には、センサ不具合の可能性があるので画像を記憶し、配達物１０２の汚れや付着物が原因でＸ２のキャンセルボタンが押下された場合には、画像センサ１０１には関係しない不具合であるため、画像を記憶しないようにすることもできる。キャンセルボタンとしては、上記以外にも、画像を選択したがその画像に帳票が含まれていない（撮像範囲外である）場合を表すキャンセルボタン、反射光が強いため帳票Ｌに記載された文字を読み取ることができない場合を表すキャンセルボタン等を設けることもできる。

次に、操作情報解析装置１３０の解析処理の流れを説明する。まず、操作情報解析装置１３０は、操作情報記憶部１３１に記憶された操作情報を基に、操作情報解析部１３２によって操作情報の解析をする。操作情報解析装置１３０は、操作情報解析部１３２の解析結果を基にセンサ診断結果を表示装置１４０に出力し、表示装置１４０が診断結果を表示する。

ここで、操作情報解析部１３２が行なう解析処理、解析結果の表示について説明する。操作情報解析部１３２は、例えば、操作情報記憶部１３１に記憶された操作情報に基づいて、それぞれの画像センサ１０１について、不具合や故障があるか否かを判定する。この判定は、例えば、選択回数Ｘ、区分先情報入力回数Ｙ、及びキャンセル回数Ｚを画像センサ１０１毎にカウントし、このカウント結果に基づいて、Ｘが基準値以上であるかＺ／Ｘが基準となる比率以上である画像センサ１０１について、不具合があると判定する。表示装置１４０は、不具合や故障があると操作情報解析装置１３０によって判定された場合、その画像センサに関して不具合や故障があることを表示する。表示装置１４０は、ユーザからの指示に応じて、画像センサ毎に、選択回数と区分先情報入力回数とキャンセル回数との少なくともいずれか１つの情報に基づいて、その回数に応じた図形によって解析結果を画面上に出力する。図形による表示は、例えば、画像センサ１０１毎に、選択回数Ｘや選択回数Ｘとキャンセル回数Ｚとの比率（Ｚ/Ｘ）を、棒グラフ、円グラフ等によって表示することができる。また、数値や色別表示等によって一覧を表示することもできる。このように解析結果を図形、色等で表示することで、画像センサがＶＣＳにおいて利用されている状況を簡単に把握し、画像センサの不具合状況について判断することができる。

また、表示装置１４０は、不具合や故障と判定された画像センサ１０１について、さらに詳細に状況を把握するために、画像選択時や、キャンセル時に記憶された画像を表示し、ユーザに再度目視してもらうこともできる。

上述した第１の実施形態において、詳細画像を表示させた状態において区分先情報の入力が完了した場合には、詳細画像を非表示にするようオペレータからの指示が入力されなくても、詳細画像を非表示にし、次に区分先情報の認識処理が失敗した際の各画像センサ１０１の一覧画像を表示するようにしてもよい。この場合であっても、詳細画像を選択した操作内容と、その詳細画像に基づいて区分先認識の入力が完了したことを表す操作内容とを記憶する。

また、上述の第１の実施形態において、入力されるキャンセル理由を利用し、画像センサ１０１に不具合があるか否かの判定をすることもできる。例えば、操作情報解析部１３２は、詳細画像を表示する操作内容を表す操作情報とキャンセル理由とに基づいて、前記画像センサに不具合があるか否かを判定する。例えば、キャンセルされた理由が、単にオペレータの操作ミス（画像一覧から画像を選択する際、詳細画像を表示したい対象とは異なる画像を誤って選択してしまった場合）による場合には、その詳細画像を選択した操作内容を除外して不具合診断を行なうことができる。また、操作情報解析部１３２は、キャンセルの理由毎に非表示が指示された回数をカウントし、不具合診断に用いることができる。これにより、キャンセル理由も考慮した診断を行なうことができる。

以上述べた第１の実施形態によれば、操作情報として操作内容とともに選択あるいはキャンセルが指示された画像を記憶するようにした場合、操作された画像がどのようなものであるかを診断後に参照することができ、これにより、不具合があると判定された理由について画像を基に検討することができる。また、記憶された画像を基に、不具合に対してどのような対応をすればよいかを検討することもできる。例えば、画像センサ１０１の位置や角度を改善すればよいか、ピントの設定をし直すか、画像センサ１０１を交換すればよいか等を検討することができる。

また、以上述べた第１の実施形態において、画像一覧を表示するようにしたので、複数の画像センサ１０１から得られた画像のうちどの画像を用いれば区分先情報を得られる可能性が高いかを把握した上で詳細画像を表示したい画像を選択することができる。
また、以上述べた第１の実施形態おいて、詳細画像を非表示にする際に、理由が対応付けられたボタンをクリックしてもらうことで詳細画像を非表示するようにしたので、詳細画像が用いられなかった理由をオペレータに係る負荷を軽減して収集することができる。

次に、第２の実施形態によるセンサ情報管理装置について、図を参照して説明する。
《第２の実施形態》
図７は、第２の実施形態におけるセンサ情報管理装置１１を適用した配達物処理システム２の構成を示す概略構成図である。この配達物処理システム２において、第１の実施形態における配達物処理システム１と同様の構成については同じ符号を付し、その説明を省略する。ＶＣＳ１２５は、画像表示部１２１と操作部１２６とを備える。操作部１２６は、一覧画像または詳細画像において、注目する対象となる領域を選択する指示を入力する。例えば、操作部１２６がマウスである場合、オペレータからの指示に従い、ドラッグされることで、矩形のサイズや位置を変更する操作内容を拡大対象の領域として入力する。
表示装置１４５は、操作部１２６によって選択された領域について拡大した拡大画像を詳細画像として表示する。

図８は、画像一覧において、領域を選択する操作を行なう場合の画面例を表す図である。この図においては、画像一覧において、ある画像センサ１０１の画像について、拡大対象の領域が指定された場合が図示されている。ここでは、拡大対象の領域として配達物１０２の帳票Ｌが撮像された範囲を囲むように選択領域が設定されている（符号６０３）。図９は、詳細画像において、領域を選択する操作を行なう場合の画面例を表す図である。この図においては、詳細画像において、拡大対象の領域として配達物１０２の帳票Ｌが撮像された範囲を囲むように選択領域が設定されている（符号６０４）。表示装置１４５は、この選択領域が設定された範囲の画像を拡大した画像を別のウインドウ等によって表示する。

表示装置１４５は、操作部１２６からの指示に従い、拡大表示した画像が期待に反して読み取りが困難である場合には、キャンセルボタンの操作に応じて拡大画像を非表示にし、その後、操作部１２６からの指示に従い、別の領域が選択領域として指定された場合には、その指定された領域を拡大表示する。このとき、操作情報解析装置１３５の操作情報記憶部１３６は、指定された領域の位置Ｕ、区分先情報が入力された上で詳細画像を非表示にするよう指示が入力された回数Ｖ、領域が指定されてからキャンセルされるまでの時間Ｔ、指定領域を含む画像、非表示の指示が入力された画像、をそれぞれ記憶することもできる。

操作情報解析装置１３５の操作情報解析部１３７は、操作情報記憶部１３６に記憶されたこれらの情報に基づいて解析処理する。操作情報解析部１３７は、画像に対して選択された領域の位置と、当該画像に対する詳細画像を表示する操作内容と、解除する操作内容とに基づいて、画像センサに不具合があるか否かを判定する。操作情報解析部１３７の解析処理は、例えば、指定された領域内の画像のコントラストと尖鋭度（画像のエッジがどれだけはっきりしているかを表す度合い）とのうち少なくともいずれか一方の画質評価指標の値を算出し、得られた値と、基準値とを比較し、算出された値が基準値以上である場合、センサの不具合が生じていないと判定し、算出された値が基準値未満である場合、センサの不具合が生じていると判定する。

このように、領域を選択し、その選択結果に基づいて解析する場合、配達物１０２の外面にぼんやりとした模様があるが、帳票Ｌに記載された文字が正常に読めるような状態であっても、尖鋭度が低いすなわち、画像センサ１０１に不具合があると判定されてしまうことを防止することができる。

また、例えば、操作情報解析部１３７は、選択領域（図８符号６０３、図９符号６０４)とその選択領域のキャンセル回数をもとに、特定の領域がキャンセルされた回数を蓄積し、キャンセル回数の多い領域では画像センサの不具合が発生していると判定することもできる。また、操作情報解析部１３７は、例えば、区分先情報が含まれていると期待して選択される選択範囲（図８符号６０３、図９符号６０４)の位置が、画像中で偏っている場合には、配達物１０２に対する画像センサ１０１の設置位置や角度が不適切であると判定し、判定結果に応じた警告画面を表示装置１４５に表示する。この警告画面においては、判定結果において不具合が発生していると判断された画像センサから得られた画像の輪郭を他の画像とは異なる色で表示したり、警告を表すマークや文字を画像周辺に表示したりすることで、オペレータに対し、どの画像センサ１０１の画像を用いれば区分先情報を読み取ることができる可能性があるかを把握しやすくすることができる。また、不具合あるいは故障と判定された画像センサについてさらに詳細に状況を把握するために、領域指定、キャンセル時に保存された画像を表示装置１４５が操作情報記憶部１３６から読み出して表示し、ユーザに再度目視確認してもらうこともできる。

以上述べた第２の実施形態によれば、人が目視で指定した画像の領域について故障診断を行うため、画像全体に対する診断と比較して、認識対象部分に合った診断を行なうことができる。すなわち、帳票Ｌの記載内容を把握する対象の領域が正しく撮像され、それ以外の領域がぼけて撮像された画像が得られた場合、必要の無い領域がぼけたことに起因して不具合であると判定されてしまう誤報を低減することができる。

次に、第３の実施形態によるセンサ情報管理装置について説明する。
《第３の実施形態》
上述した第１または第２の実施形態における画像センサ１０１、区分先認識装置１１０、ＶＣＳ１２５は、搬送装置１０３を搬送、仕分けする配送センター等に設置する。ここで、操作情報解析部１３２、操作情報解析部１３７、表示装置１４０、表示装置１４５については、配送センターとは遠隔の管理センター等に設置する。操作情報解析部１３２の解析処理は第１の実施形態の解析処理と同様に行い、操作情報解析部１３７の解析処理は、第２の実施形態の解析処理と同様に行なうことができる。

また、複数の配送センターの作業情報を統合して、統計処理や、比較を行ってもよい。たとえば、画像の選択、キャンセル回数と、実際のセンサ不具合の確率の関係を、各配送センターにおいて得られた操作情報と画像情報をもとに算出してもよい。また、各画像センサの中で、ＶＣＳ１２０、ＶＣＳ１２５において画像選択される画像センサの割合を算出し、画像選択されない画像センサを検出し、検出された画像センサについて、設置位置や角度の再検討を行うこともできる。また、操作情報記憶部１３１に記憶された操作情報と、操作情報解析部１３２によって算出される認識成功率の相関を求め、画像センサの設置位置や角度の再検討を行なうこともできる。また、操作情報記憶部１３６に記憶された操作情報と、操作情報解析部１３７によって算出される認識成功率の相関を求め、画像センサの設置位置や角度の再検討を行なうこともできる。ここでいう認識成功率は、画像センサ毎に、詳細画像を表示するよう指示された回数に対する、詳細画像を参照することによって区分先情報が入力された回数の割合から求められる。

以上述べた第３の実施形態によれば、操作情報解析部、表示装置が遠隔地に設置することができるので、配送センター以外の場所においても不具合も検知することができ、複数の配送センターの状態を中央管理することが可能となる。

また、以上述べた少なくとも一つの実施形態において、画像一覧からいずれかの画像が選択され詳細画像を表示したのち、非表示の指示が入力された場合、画像が選択されてから非表示の指示が入力されるまでの操作時間を操作内容として記憶することもできる。この操作時間が基準時間と比較して長い場合には、詳細画像から区分先情報を読み取ろうとしたと判定することができ、基準時間未満である場合には、詳細画像を表示する対象として選択した操作が誤りであったとして判定し、画像センサ１０１の不具合判定に用いないようにすることもできる。

また、以上述べた少なくとも一つの実施形態におけるＶＣＳ１２０、ＶＣＳ１２５においては、画像一覧を表示し、その中から選択された画像に対する詳細画像を別のウインドウによって表示する場合について説明したが、画像一覧と詳細画像は、一つの画面内に表示するようにすることもできる。また、詳細画像を非表示する指示としては、キャンセルボタンをクリックすることだけではなく、他の操作に基づいて、詳細画像を非表示にする指示として利用することもできる。例えば、詳細画像が表示された状態において、画像一覧から別の画像が選択された場合に、既に表示されている詳細画像を非表示にし、選択されたその別の画像の詳細画像を表示するようにしてもよい。これにより、非表示にする指示そのものではなく、他の詳細画像を表示する指示を利用することができる。

以上述べた少なくとも一つの実施形態におけるセンサ情報管理装置によれば、オペレータが目視で画像を選択し、その画像から区分先情報の判読可能性を判定した結果をもとに、故障診断を行うことができるため、自動認識結果に基づく診断と比較して信頼性を向上させることができる。

また、以上述べた少なくとも一つの実施形態におけるセンサ情報管理装置によれば、故障診断の対象となる操作情報の元となる画像を操作情報とともに保存しておくことで、故障診断の結果が正しいかどうかを、保存された画像と診断結果とを照合し、目視で確認することができる。

また、以上述べた少なくとも一つの実施形態におけるセンサ情報管理装置によれば、ＶＣＳに対する入力作業中の操作情報を利用して判定を行なうようにしたので、画像センサの不具合診断のための新たな作業をオペレータにしてもらうことなく診断することができる。また、ＶＣＳを用いた区分先情報の入力作業を中断させずに、画像センサに不具合があるか否かに関する情報を得ることができる。

また、以上述べた少なくとも一つの実施形態によれば、画像センサ１０１に不具合があると判定された場合には、その判定結果に基づいて、不具合と判定された画像センサ１０１を対象とし、メンテナンス担当者が、設置位置や設置角度、ピントの調整、画像センサ１０１の交換等のメンテナンスを行なうこともできる。

また、以上述べた少なくとも一つの実施形態において、画像センサ１０１によって撮像された画像のうち、オペレータによって詳細画像を表示するよう選択される頻度が低い（あるいは全く選ばれない）場合は、その画像センサ１０１から得られる画像には、撮像範囲に配達物１０２が入っていない場合や、画像センサ１０１から得られた画像によって区分先情報が区分先認識装置１１０によって認識されている可能性がある。従って、操作情報解析装置１３０、操作情報解析装置１３５に記憶された操作情報と、区分先認識装置１１０によって区分先情報が認識された場合に用いられた画像を生成した画像センサ１０１とに基づいて、区分先認識装置１１０によって区分先情報が認識されなかった画像を生成した画像センサ１０１であって、かつ、ＶＣＳ１３０またはＶＣＳ１２５によって詳細画像を表示するよう選択されなかった画像を生成した画像センサ１０１については、不具合があるとして判定するようにしてもよい。これにより、オペレータによって操作内容が入力されなかったという履歴を用いて不具合があるか否かを判定することもできる。なお、ＶＣＳにおいて詳細画像を表示するよう選択が全くなされていない場合には、画像センサ１０１に不具合がある場合や、画像センサ１０１に不具合がないが、帳票Ｌの位置がその画像センサ１０１の撮像範囲に入らず、他の画像センサ１０１の撮像範囲に入るように搬送されている場合もあるため、操作情報とともに記憶された画像を参照することで、いずれの場合であるかを判断することもできる。

また、以上述べた少なくとも１つの実施形態において、ある期間において１つの画像センサ１０１から得られた画像が用いられ、ＶＣＳにおいて区分先情報の入力が行なわれていたにもかかわらず、次のある期間において、その画像センサ１０１の画像が利用されず、他の画像センサ１０１の画像が利用されることが継続した場合には、その１つの画像センサ１０１に不具合があった可能性あるとして判定することもできる。この場合、区分先認識装置１１０によって区分先認識が認識されるようになったため、ＶＣＳにおいて画像が利用されなくなったのか、あるいは不具合が生じたから利用されなくなったのかについて、操作情報解析装置１３０、操作情報解析装置１３５に記憶された画像を参照し、メンテナンス担当者が不具合か否かを判断することもできる。また、区分先認識装置１１０において区分先情報が認識できた数について、その画像を生成した画像センサ１０１をカウントすることで、そのカウント数に基づいて、不具合が発生していない画像センサ１０１がどれであるかを推定することもできる。

また、以上述べた少なくとも１つの実施形態においては、オペレータの操作内容の履歴に基づいて画像センサ１０１に不具合があるか否かを判定するようにした。これにより、オペレータから画像センサ１０１に故障があることを入力してもらうと、画像センサ１０１に不具合であると判断する基準がオペレータ毎にばらつきが生じてしまうことを回避することができ、客観的な判断をすることができる。

なお、上述の各実施形態における図１のＶＣＳ１２０の機能、操作情報解析装置１３０の機能、表示装置１４０の機能、図７のＶＣＳ１２５の機能、操作情報解析装置１３５の機能、表示装置１４５の機能の各々の少なくともいずれか１つの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、ＶＣＳ１２０、操作情報解析装置１３０、表示装置１４０、図７のＶＣＳ１２５、操作情報解析装置１３５、表示装置１４５として動作させるようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、２…配達物処理システム １０、１１…センサ情報管理装置 １０１、１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｆ、１０１ｇ、１０１ｈ、１０１ｉ…画像センサ １０２…配達物 １０３…搬送装置 １１０…区分先認識装置 １１１…画像入力部 １１２…認識処理部 １１３…結果出力部 １１４…区分先入力部 １２０、１２５…ＶＣＳ １２１…画像表示部 １２２、１２６…操作部 １３０、１３５…操作情報解析装置 １３１、１３６…操作情報記憶部 １３２、１３７…操作情報解析部 １４０、１４５…表示装置

Claims (13)

1. 画像センサが異なる位置または角度に設置され物品を撮像した撮像結果に応じた画像をそれぞれの画像センサから得る画像入力部と、
   前記画像センサによって得られた各画像を表示する撮像画像表示部と、
   前記表示された各画像のうち少なくともいずれか１つの画像に対する操作内容の入力を受け付ける操作部と、
   前記操作内容に基づく操作情報を記憶する操作情報記憶部と、
   前記操作情報記憶部に記憶された操作情報を出力する出力部と、
   を有することを特徴とするセンサ情報管理装置。
2. 前記操作部は、前記表示された各画像のうち指定される画像の少なくとも一部の詳細画像を表示する操作内容と、詳細画像の表示を解除する操作内容とが入力され、
   前記操作情報記憶部は、前記詳細画像を表示する操作内容に基づく操作情報と前記詳細画像の表示を解除する操作内容に基づく操作情報とを記憶し、
   前記画像表示部は、前記詳細画像を表示する操作内容に応じて詳細画像を表示し、前記詳細画像の表示を解除する操作内容に応じて詳細画像を非表示にする
   ことを特徴とする請求項１記載のセンサ情報管理装置。
3. 前記操作情報記憶部に記憶された操作情報に基づいて、前記センサの不具合状況について診断する操作情報解析部
   を有し、
   前記出力部は、前記操作情報解析部によって得られた診断結果を出力する
   ことを特徴とする請求項１または請求項２に記載のセンサ情報管理装置。
4. 前記操作情報解析部は、
   前記詳細画像を表示する操作内容が入力された後、当該詳細画像が表示された画像に対して詳細画像の表示を解除する指示が入力されたことを表す操作情報に基づいて前記画像センサに不具合があるか否かを判定する
   ことを特徴とする請求項３記載のセンサ情報管理装置。
5. 前記操作部は、前記詳細画像の表示を解除する理由が入力され、
   前記操作情報解析部は、前記詳細画像を表示する操作内容を表す操作情報と前記詳細画像の表示を解除する理由とに基づいて、前記画像センサに不具合があるか否かを判定する
   ことを特徴とする請求項３または請求項４に記載のセンサ情報管理装置。
6. 前記操作情報解析部は、前記詳細画像を表示するよう操作入力された画像毎の回数と、前記詳細画像の表示を解除するよう操作入力された画像毎の回数と、のいずれか一方または両方と基準値とを比較し、基準値を超えたか否かを判定することで診断し、
   前記出力部は、前記基準値を超えたと判定された場合に警告する情報を出力する
   ことを特徴とする請求項３から請求項５のうちいずれか１項に記載のセンサ情報管理装置。
7. 前記操作情報記憶部は、前記詳細画像を表示するよう操作内容が入力された画像を、当該画像に対する操作内容とともに記憶し、
   前記出力部は、前記詳細画像を表示するよう操作入力された画像と、当該画像に対する操作内容とを出力する
   ことを特徴とする請求項１から請求項６のうちいずれか１項に記載のセンサ情報管理装置。
8. 前記出力部は、前記詳細画像を表示するよう操作内容が入力された画像毎の回数と、前記詳細画像の表示を解除するよう操作内容が入力された画像毎の回数とに基づいて、それぞれの回数に応じた図形を表す情報を出力する
   ことを特徴とする請求項１から請求項７のうちいずれか１項に記載のセンサ情報管理装置。
9. 前記撮像画像表示部は、前記複数の画像センサによって得られた画像を並べて表示し、当該並べられた画像のうち、前記操作部から詳細画像を表示するよう操作入力されると、当該操作入力された画像について、前記並べられた画像の解像度よりも高い解像度の画像を表示することを特徴とする請求項２から請求項８のうちいずれか１項に記載のセンサ情報管理装置。
10. 前記撮像画像表示部は、前記複数の画像センサによって得られた画像を並べて表示し、当該並べられた画像のうち、前記操作部によって指定された画像に対し選択された領域について拡大した拡大画像を詳細画像として表示することを特徴とする請求項２から請求項８のうちいずれか１項に記載のセンサ情報管理装置。
11. 前記操作情報解析部は、前記選択された領域内の画質評価指標に基づいて、前記画像センサに不具合があるか否かを判定する
    ことを特徴とする請求項１０記載のセンサ情報管理装置。
12. 前記操作情報解析部は、画像に対して前記選択された領域の位置と、当該画像に対する詳細画像を表示する操作内容と、解除する操作内容とに基づいて、前記センサに不具合があるか否かを判定する
    ことを特徴とする請求項１０または請求項１１に記載のセンサ情報管理装置。
13. 画像入力部が、画像センサが異なる位置または角度に設置され物品を撮像した撮像結果に応じた画像をそれぞれの画像センサから得るステップと、
    撮像画像表示部が、前記画像センサによって得られた各画像を表示するステップと、
    操作部が、前記表示された各画像のうち少なくともいずれか１つの画像に対する操作内容の入力を受け付けるステップと、
    出力部が、前記操作内容に基づく操作情報が記憶された操作情報記憶部から読み出される操作情報を出力するステップと、
    を有することを特徴とするセンサ情報管理方法。

Images