JP2015058390A - 仕分装置および仕分方法 - Google Patents

仕分装置および仕分方法 Download PDF

Info

Publication number
JP2015058390A
JP2015058390A JP2013193445A JP2013193445A JP2015058390A JP 2015058390 A JP2015058390 A JP 2015058390A JP 2013193445 A JP2013193445 A JP 2013193445A JP 2013193445 A JP2013193445 A JP 2013193445A JP 2015058390 A JP2015058390 A JP 2015058390A
Authority
JP
Japan
Prior art keywords
feature
unit
sorting
identification information
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013193445A
Other languages
English (en)
Other versions
JP6151141B2 (ja
Inventor
入江 文平
Bumpei Irie
文平 入江
浜村 倫行
Tomoyuki Hamamura
倫行 浜村
匡哉 前田
Masaya Maeda
匡哉 前田
英 朴
Hide Boku
英 朴
優香 渡辺
Yuka Watanabe
優香 渡辺
馬場 賢二
Kenji Baba
賢二 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013193445A priority Critical patent/JP6151141B2/ja
Priority to EP14184861.4A priority patent/EP2851846B1/en
Priority to US14/488,743 priority patent/US9375758B2/en
Priority to CN201410478964.7A priority patent/CN104438096A/zh
Publication of JP2015058390A publication Critical patent/JP2015058390A/ja
Application granted granted Critical
Publication of JP6151141B2 publication Critical patent/JP6151141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/424Postal images, e.g. labels or addresses on parcels or postal envelopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Sorting Of Articles (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】対象物に情報を印字することなく、対象物を精度良く識別できる仕分装置および仕分方法を提供する。【解決手段】実施形態によれば、仕分装置は、センサと、特徴抽出部と、特徴検索部と、判別部と、仕分部とを有する。センサは、対象物から物理量を検出する。特徴抽出部は、センサにより検出した対象物の物理量から複数種類の特徴量を抽出する。特徴検索部は、特徴抽出部が抽出した各種の特徴量の値に基づいて、各種の特徴量の値と対象物の識別情報とを対応づけて記憶している特徴データベースから当該対象物と同定される対象物の識別情報を特定する。判別部は、特徴検索部が特定した対象物の識別情報に基づいて、対象物の識別情報と仕分情報とを対応づけて記憶している区分データベースから当該対象物の仕分情報を判別する。仕分部は、判別部が判別した仕分情報に基づいて対象物を仕分けする。【選択図】図1

Description

本発明の実施形態は、仕分装置および仕分方法に関する。
区分装置などの仕分装置は、対象物を住所などの仕分情報に基づいて仕分ける。たとえば、仕分装置は、文字或いはコードなどの区分情報を含む対象物の画像を取得し、取得した対象物の画像に含まれる仕分情報を認識し、この認識結果として得られた仕分情報に基づいて対象物を仕分ける仕分処理(仕分セッション)を実施する。仕分装置は、個々の対象物に対して複数回の仕分処理(仕分セッション)を実施することがある。複数回の仕分処理を実施する形態として、仕分装置は、1回目の仕分処理で対象物に識別情報(たとえば、バーコード)を印字し、印字した識別情報と当該対象物の区分情報とを対応づけて保存しておき、2回目以降の仕分処理では印字された識別情報により対象物の区分情報を特定するものがある。しかしながら、識別情報を対象物に実際に印字するには、印字機構を仕分装置に設ける必要があり、対象物の形状及び性質によっては識別情報が印字しにくいことがあるという問題がある。
特表2003−510183号公報 WO 2009/110538
本発明では、対象物に情報を印字することなく、対象物を精度良く識別できる仕分装置および仕分方法を提供することを目的とする。
実施形態によれば、仕分装置は、センサと、特徴抽出部と、特徴検索部と、判別部と、仕分部とを有する。センサは、対象物から物理量を検出する。特徴抽出部は、センサにより検出した対象物の物理量から複数種類の特徴量を抽出する。特徴検索部は、特徴抽出部が抽出した各種の特徴量の値に基づいて、各種の特徴量の値と対象物の識別情報とを対応づけて記憶している特徴データベースから当該対象物と同定される対象物の識別情報を特定する。判別部は、特徴検索部が特定した対象物の識別情報に基づいて、対象物の識別情報と仕分情報とを対応づけて記憶している区分データベースから当該対象物の仕分情報を判別する。仕分部は、判別部が判別した仕分情報に基づいて対象物を仕分けする。
図1は、実施形態に係る仕分装置としての区分装置を含む区分システムの構成例を示す図である。 図2は、実施形態に係る区分装置の識別部の構成例を示すブロック図である。 図3は、実施形態に係る区分装置の識別部における特徴データベースの構成例を示す図である。 図4は、実施形態に係る区分装置の識別部における第1特徴量テーブルを用いた投票テーブルへの投票例を示す図である。 図5は、実施形態に係る区分装置の識別部における第2特徴量テーブルを用いた投票テーブルへの投票例を示す図である。 図6は、実施形態に係る区分装置の識別部における第3特徴量テーブルを用いた投票テーブルへの投票例を示す図である。 図7は、実施形態に係る区分装置の識別部における第4特徴量テーブルを用いた投票テーブルへの投票例を示す図である。 図8は、実施形態に係る区分装置の識別部における1つの対象物に対する投票テーブルへの投票結果の例を示す図である。 図9は、実施形態に係る区分装置における1回目の区分処理の例を説明するためのフローチャートである。 図10は、実施形態に係る区分装置における2回目の区分処理の例を説明するためのフローチャートである。
以下、実施形態について図面を参照して説明する。
図1は、仕分システムの一実施形態としての区分システム1の概略構成を示す図である。
区分システム1は、図1に示すように、区分装置2とVCS(ビデオコーディングシステム)3とを有する。区分装置2は、仕分装置の一実施形態である。区分装置2は、区分(仕分け)の対象物を住所情報などの区分情報(仕分情報)に基づいて区分処理(仕分処理)するものである。また、VCS3は、区分装置2にて区分情報が判別できなかった対象物の区分情報をオペレータのコーディング作業により入力するものである。
区分装置2が区分処理の対象とする対象物(以下、単に、対象物と称する)は、搬送機構により搬送して区分(仕分け)可能な物体であって、認識可能な区分情報が付与されるものである。たとえば、対象物は、区分情報が記載あるいは貼付される、紙葉類(例えば、はがき、封書等の郵便物など)、小包、あるいは、物品などが想定される。
対象物に付与される区分情報は、文字、数字、記号あるいはバーコードなどで表現される情報である。区分情報を構成する文字、数字、記号あるいはバーコードは、スキャン画像などからパターン認識技術により認識可能な情報であるものを想定する。例えば、対象物に付与される区分情報としては、郵便番号、住所、宛名などを含む宛先情報が想定される。また、区分情報は、対象物におけるスキャナで読取り可能な位置に付与される。たとえば、区分情報は、対象物の表面に記載(印字あるいは手書き)される。また、対象物には、区分情報を記載したラベルが貼り付けられるようにしても良い。
区分装置2は、対象物を搬送しながら区分情報に応じた区分先を決定し、決定した区分先に対象物を区分(仕分け)する区分処理(仕分処理、仕分けセッション)を実行する。本実施形態に係る区分装置2は、1回目の区分処理と2回目以降の区分処理とを実施する機能を有する。1回目の区分処理は、区分情報が特定されていない状態の対象物を区分する区分処理(つまり、認識処理によって得られる区分情報で区分する区分処理)であり、2回目以降の区分処理は、対象物の区分情報が既に特定されている状態で、区分情報が識別情報(ID)から特定できる対象物を区分する区分処理(つまり、対象物を識別情報に対応する区分情報で区分する区分処理)での区分処理を想定している。
図1に示すように、区分装置2は、前面にオペレーションパネル10が設けられている。オペレーションパネル10は、タッチパネル内蔵の表示装置などにより構成される。オペレーションパネル10では、オペレータ(操作員)が処理モードや処理開始を指定したり、区分機の動作状態などを表示したりする。
区分装置2は、対象物を供給する供給部11を有する。供給部11には、区分情報が付与されている複数の対象物がセットされる。オペレータは、複数の対象物を供給部11にセットし、処理モード(例えば、1回目の区分処理あるいは2回目以降の区分処理)を選択した状態で、オペレーションパネル10に区分処理の開始を指示する。
区分処理が開始されると、供給部11は、セットされている対象物を所定の間隔で一個ずつ搬送部12へ供給する。搬送部12は、供給部11から供給された対象物を区分部18へ至る搬送路により搬送する。搬送部12の搬送路上には、センサ部13、および、区分部18が設けられている。センサ部13には、識別部14、判別部15が接続される。これらの各部は、区分制御部17により制御される。
搬送部12は、センサ部13を通過した対象物が識別部14及び判別部15での処理が完了した後に区分部18へ至るように各対象物を搬送する。つまり、搬送部12は、対象物が区分部18へ到達するまでの間に、識別部14及び判別部15が処理を実施する間、ように各対象物を搬送する。
センサ部13は、搬送部12により搬送される対象物の物理量を検知するための単一又は複数の物理センサ13a、13b、13c、…を有する。たとえば、センサ部13は、物理センサとして、スキャナ13a、採寸センサ13b、質量センサ13cなどを有する。本実施形態に係る区分装置2においては、センサ部13の1つ物理センサとして、少なくともスキャナ13aが含まれるものとする。スキャナ13aは、搬送部12により搬送される対象物の画像を読み取る。スキャナ13aが読取る対象物の画像は、識別部14において対象物を識別する特徴量を抽出するための物理量として用いられるとともに、判別部15における区分情報の認識処理にも用いられるものとする。採寸センサ13bは、対象物の大きさを計測する。質量センサ13cは、対象物の重量を計測する。
また、センサ部13としては、対象物の厚さを検知する厚さセンサ、対象物に含まれる特定の物質を検知するセンサ、あるいは、各種の異なる波長領域を用いた複数の画像センサなどを設けても良い。すなわち、センサ部13としては、対象物を識別するための物理量を計測する物理センサを含むものであれば良く、想定される対象物の形状あるいは運用形態に応じた各種の物理センサが設けられる。
本実施形態に係る区分装置2におけるセンサ部13の1つとしてのスキャナ13aは、搬送部12により搬送される対象物の画像を読み取る。スキャナ13aは、搬送部12により搬送される対象物における区分情報の記載領域を含む画像を読み取るように設置される。スキャナ13aは、読み取った対象物の画像を識別部14および判別部15へ供給する。
識別部14は、対象物の特徴量を抽出する特徴抽出機能、対象物の特徴量と識別情報(ID)とを登録する登録機能、処理対象の対象物を登録済みの対象物から検索する検索機能、および、異常検知機能などを有する。識別部14は、特徴抽出機能として、各センサ13が対象物から検知した情報に基づいて特徴量を抽出する。識別部14は、登録機能として、特徴抽出機能により抽出した対象物の特徴量と当該対象物に割り当てた識別情報(ID)とを対応づけて登録する。また、識別部14は、検索機能(同定機能)として、特徴抽出機能により抽出した対象物の特徴量に基づいて登録済みの対象物から同一らしい対象物を検索(同定)する。
判別部15は、対象物の区分情報を特定する。判別部15は、搬送部12により搬送される対象物に付与されている区分情報を認識する認識部15aを有する。認識部15aは、スキャナ13aが読取った対象物の読み取る画像に対するパターン認識によって当該対象物の区分情報を認識する認識部15aを有する。たとえば、認識部15aは、文字認識装置(OCR)などで構成され、対象物に記載されている区分情報を示す文字を認識する。
判別部15は、1回目の区分処理、つまり、区分情報が未確定の対象物(区分データベース16に登録されていない対象物)に対する区分処理においては、認識部15aにより対象物に付与されている区分情報を認識する認識処理を行う。認識部15aによる認識処理によって対象物の区分情報が特定できた場合、判別部15は、区分情報の認識結果を当該対象物の識別情報に対応づけて区分データベース16に登録する。
また、判別部15は、認識部15aによる認識処理で区分情報が認識できなかった場合、当該対象物の識別情報と当該対象物の読取画像とを含むコーディング情報をVCS3へ供給する。VCS3は、コーディング情報に基づいて入力される当該対象物の区分情報が当該対象物の識別情報に対応づけて区分データベース16に登録する。
また、判別部15は、2回目以降の区分処理、つまり、区分データベース16に区分情報が登録済みの対象物(認識結果が得られた対象物、或いは、VCS3で区分情報が入力された対象物)に対する区分処理においては、識別部14で識別される対象物の識別情報(ID)を検索キーとして区分データベース16から当該対象物の区分情報を特定する。
区分部18は、区分制御部17による制御に従って搬送部12により供給された対象物を各区分先に区分(仕分け)する。なお、区分部18による対象物の区分先は、対象物の形状及び大きさなどに応じたものとなる。たとえば、区分部18は、複数の段、複数の列に区画された複数の区分ポケット(図示しない)を区分先としても良い。
区分部18の各区分先には、区分情報が設定される。区分部18は、区分制御部17による制御に従って対象物を区分情報に対応する区分先に区分(仕分け)する。また、区分部18には、区分先が認識できなかった対象物が区分されるVCS排除部(図示しない)が設けられる。VCS排除部に集積された対象物は、区分情報がVCS3にて入力された後、供給部11に再供給される。VCS3で区分情報が入力された後に供給部11に再供給された対象物は、当該対象物の識別情報(ID)とVCS3で入力された区分情報とに基づいて再区分される。
区分制御部17は、各部による対象物に対する処理を制御する。区分制御部17は、各部による処理状況に基づいて対象物の搬送を制御する。区分制御部17は、判別部15から与えられる対象物の区分情報(認識結果、あるいは、対象物の識別情報に対応する区分情報)に基づいて当該対象物を区分制御する。たとえば、区分制御部17は、判別部15が判別した対象物の区分情報に対応する区分先を決定し、当該対象物を区分情報に対応する区分先へ搬送区分させる制御を行う。
なお、識別部14、判別部15および区分制御部17は、たとえば、プロセッサ、各種メモリおよび各種インターフェースを有する電子計算機(コンピュータ)を同様なハードウエア構成を有するもので実現できる。すなわち、識別部14、判別部15あるいは区分制御部17による各処理は、プロセッサがプログラムを実行することにより実現される機能であっても良い。また、識別部14、判別部15および区分制御部17は、それぞれを、プロセッサ、メモリおよびインターフェース等を有する電子計算機(コンピュータ)で実現しても良いし、1つの電子計算機で識別部14、判別部15および区分制御部17の各機能を実現するようにしても良い。
次に、VCS3について説明する。
VCS3は、図1に示すように、情報蓄積分配装置31および複数のビデオコーディング端末(以下、VCDと称する)32などから構成される。
情報蓄積分配装置31は、区分装置2で区分情報が認識できなかった対象物の画像を各VCD32へ配信し、各VCD32による住所情報の打鍵入力結果を区分装置2へ返す処理を行う。情報蓄積分配装置31は、区分装置2に接続されている。情報蓄積分配装置31は、例えば、CPU、各種メモリおよび各種インターフェースを有するパーソナルコンピュータ(PC)で構成される。情報蓄積分配装置31は、認識部15aで区分情報が認識できなかった対象物の画像に当該対象物の識別情報(ID)を対応づけて記憶し、記憶した紙葉類の画像を各VCD32へ配信する。
VCD32は、ディスプレイ(表示部)あるいはキーボード(操作部)などを有する。VCD32は、例えば、PCにより構成される。VCD32では、情報蓄積分配装置31から分配される対象物の画像をディスプレイに表示する。対象物の画像を表示した状態において、VCD32では、オペレータがキーボードにより住所情報を入力する。VCD32による入力結果は、当該対象物の識別情報(ID)と対応づけて情報蓄積分配装置31へ返される。また、情報蓄積分配装置31は、VCD32からの入力結果を当該対象物の識別情報(ID)と対応づけて区分装置2の区分データベースに登録する。このようなVCS3により、区分装置2としては、認識部15aで区分情報が認識できなかった対象物についても当該対象物の識別情報(ID)に対応する区分情報が区分データベース16に登録される。
次に、本実施形態に係る区分装置2における識別部14の構成について説明する。
図2は、本実施形態に係る区分装置における識別部14の構成例を示すブロック図である。
図2に示す構成例において、識別部14は、特徴抽出部101、特徴登録部102、特徴データベース103、特徴検索部104、および、異常検知部107などを有する。特徴抽出部101、特徴登録部102、および、特徴検索部104は、CPUなどのプロセッサがRAMなどのメモリを使用しつつプログラムを実行することにより実現する機能であっても良い。
識別部14は、1回目の区分処理(1回目の仕分けセッション)において、特徴抽出部101および特徴登録部102により、各対象物について特徴量と識別情報(ID)とを対応づけて特徴データベース103に登録する登録処理を行う。また、識別部14は、2回目以降の区分処理(2回目以降の仕分けセッション)において、特徴抽出部101および特徴検索部104により、処理対象の対象物の識別情報を特定する検索(同定)処理を行う。
特徴抽出部101は、各仕分けセッションにおいて、対象物からセンサ部13の各物理センサ13a、13b、…、13nが検知したデータから当該対象物を識別するために用いる特徴量を抽出する。上述したように、センサ部13は、対象物の物理量をセンシングするものであれば良く、単数または複数の物理センサ13a、…で構成される。また、センサ部13の各物理センサ13a、…によるセンシングは、同一対象物から得られたものであることが保証される限り、同一タイミングでなくても良い。たとえば、搬送部12が対象物を個々に追跡する機能を持つ場合、その機能を利用して複数時点のセンシングデータを各対象物のデータとして利用することができる。
特徴抽出部101は、センサ部13の各物理センサ13a、13b、…、13nが1つの対象物から検知したデータ(センシングデータ)をそれぞれ取得する。特徴抽出部101は、各物理センサ13a、…のセンシングデータから当該対象物を識別するための特徴量を抽出(計算)する。特徴抽出部101は、対象物を識別するための特徴量を抽出するものであれば良く、区分処理ごとの処理条件(たとえば、対象物の搬送状態(位置、角度など))で変動しにくい特徴量を抽出するものとする。たとえば、センサ部13における物理センサの1つが画像センサである場合、特徴抽出部101は、平行移動と回転に対して不変な値となるSIFT特徴を特徴量として抽出するようにしても良い。
特徴抽出部101は、対象物の識別に用いる所定数の種類の特徴量を抽出する。たとえば、対象物を識別するのにN種類の特徴量を用いる場合、特徴抽出部101は、区分処理の度に、各対象物についてN種類の特徴量を抽出する。特徴抽出部101は、何度目の区分処理(どの仕分けセッション)であっても、所定数の特徴量を計算する。たとえば、1回目の区分処理(1回目の仕分けセッション)において、特徴抽出部101は、特徴データベース103に登録する対象物のN種類の特徴量を抽出する。また、2回目以降の区分処理(2回目以降の仕分けセッション)において、特徴抽出部101は、特徴検索部104が特徴データベース103を参照して対象物(対象物のID)を検索するため、対象物のN種類の特徴量を抽出する。
特徴登録部102は、特徴抽出部101が抽出した特徴量と当該対象物に割り当てられた識別情報(ID)とを対応づけて特徴データベース103に登録する。特徴データベース103は、特徴抽出部101が抽出する特徴量の種類(識別情報を検索するための各種の特徴量)ごとの特徴量テーブル105(105a〜105n)を有する。たとえば、特徴抽出部101が抽出する特徴量が4種類である場合、特徴データベース103には、4つの特徴量テーブル105を設ける。
各特徴量テーブル105は、対象物に対する特徴量の値を示す。たとえば、各特徴量テーブル105は、特徴量の値を複数段階(たとえば、N個の段階)に分け、各値に対応づけて対象物のIDを登録できるように構成して良い。このような特徴量テーブル105は、設計時点では各値に登録する対象物IDの数が不定である。このため、各特徴量テーブル105は、不定長のレコードを持つものとする。不定長のレコードを持つ特徴量テーブル105は、特徴量の値から対象物IDを特定できるものであれば良く、任意の実装方法で実現してよい。たとえば、特徴量テーブル105は、動的メモリアロケーションあるいはリスト構造などの実装方法で実現しても良い。
特徴検索部104は、対象物から抽出した特徴量に基づいて、特徴データベース103に登録済みの識別情報(ID)を検索(同定)する検索(同定)処理を行う。特徴検索部104は、特徴データベース103に特徴量とIDとが登録された対象物に対して区分処理する場合(2回目の仕分けセッションを行う場合)、特徴抽出部101が抽出した特徴量と同定される対象物の識別情報を検出する。特徴検索部104は、たとえば、各種の特徴量ごとに所定の値を投票する投票テーブル106を用いて同定処理を行う。投票テーブルを用いた同定処理については、後で詳細に説明するものとする。
異常検知部107は、各物理センサ13a、…の異常、あるいは、対象物の異常などを検知するものである。すなわち、異常検知部107は、特徴抽出部101が抽出する特定の特徴量が異常な値である場合、当該特徴量を抽出した物理量を検知する物理センサに異常が発生した可能性があることを検知する。たとえば、特徴量が所定の通常範囲値を超えている場合、あるいは、複数の対象物における特定の特徴量が連続する複数の対象物で同じ値となった場合、当該特徴量に対応する物理センサの異常を検知したりすることが考えられる。
また、異常検知部107は、特徴検索部104による検索結果に応じて対象物あるいは物理センサの異常を検知する。たとえば、特徴検索部104によるある対象物に対する同定処理において、一部の特徴量の変化(特徴データベースに登録済みの特徴量と当該区分処理で得た特徴量との差異)が所定の閾値を超えた場合、異常検知部107は、当該対象物に異常(物理的な変化)が発生したか、あるいは、当該特徴量に対応する物理量を検知する物理センサに異常が発生した可能性があることを検知する。
また、異常検知部107は、検知した異常内容に応じた警告を出力するようにしても良い。
なお、特定の物理センサについて異常が検出された場合、異常検知部107は、異常が検出された物理センサを停止するようにしても良いし、異常が検出された物理センサが検出する物理量を無効としても良い。また、後述する対象物を識別するための処理に影響が少なければ、異常が検出された物理センサに判定にし、する
以下、識別部14における処理例について具体例を挙げて説明する。
上述したように、識別部14では、1回目の区分処理において、特徴データベース103に各種の特徴量の値に対応づけて対象物のIDを登録する登録処理を行い、2回目の区分処理において、特徴データベース103を参照して対象物のIDを同定する検索(同定)処理を行う。
まず、1回目の区分処理における、特徴データベース103に対する対象物のIDの登録処理の例について説明する。
図3は、特徴データベース103に設けられる特徴量テーブル105の例を示す図である。図3に示す例は、対象物を識別するための特徴量の種類を4種類とし、4種類の特徴量に対応する4つの特徴量テーブルを特徴データベースに用意する。また、図3に示す各特徴量テーブル105は、各特徴量の値を0、1、…、7の8段階の値に分けて、各対象物のIDを登録するように構成されている。
なお、特徴データベース103に保存される特徴量のうちには、特徴量テーブル105に登録されないものがあってもよいものとする。この場合、登録されなかった特徴量は、最終的に複数の対象物のIDが同定の候補として得られた場合に最終的にいずれかを選ぶ処理に用いることが可能である。
1回目の区分処理(仕分セッション)において、特徴登録部102は、処理対象となる対象物のIDを登録する各特徴量テーブル105を初期化する。たとえば、特徴登録部102は、特徴データベース103における各特徴量テーブル105における全ての欄のエントリーを空に初期化する。
各特徴量テーブル105を初期化した後、特徴登録部102は、対象物に与えられるID、および、当該対象物の特徴量を取得する。対象物のIDは、全対象物にユニークな値であれば任意の値で良い。たとえば、対象物のIDは、供給部11から供給される順番に番号を付与した値であっても良い。また、特徴登録部102は、特徴抽出部101が対象物のセンシングデータから抽出した所定の種類の特徴量を取得する。
特徴登録部102は、特徴量テーブル105ごとに、当該対象物の特徴量の値が対応する欄に当該対象物の識別情報を登録する。たとえば、対象物から抽出したK番目の特徴量の値がVkであった場合、特徴登録部102は、K番目の特徴量に対応する特徴量テーブルのVkの欄に当該対象物のIDを登録(追記)する。特徴登録部102は、各特徴量テーブルへのIDの登録を全ての対象物、全ての特徴量について行う。ただし、特徴登録部102は、特徴量テーブルに登録しない特徴量があっても良い。
図3は、1回目の仕分けセッションにおいて対象物の識別情報(ID)が登録された4つの特徴量テーブル105U1〜105U4での例を示す図である。
図3に示す例において、特徴量テーブル105U1には、特徴量U1の各値に対して対象物のIDが登録され、同様に、各特徴量テーブル105U2、105U3、105U4には、特徴量U2、U3、U4の各値に対して各対象物のIDが登録される。図3に示す特徴量テーブルによれば、各対象物の特徴量が参照できる。
次に、特徴検索部104の動作について説明する。
特徴検索部104は、対象物のセンシングデータから抽出した特徴量に基づいて、当該対象物が特徴データベース103に登録されているどの対象物に該当するかを検索(同定)する。特徴検索部104は、検索対象となる対象物ごとに投票テーブル106を用意する。投票テーブル106は、2回目の区分処理(仕分けセッション)で各対象物のIDを求める処理を開始するごとに初期化する。
2回目の区分処理において、特徴検索部104は、センサ13の各センサが対象物から検出したセンシングデータに基づいて特徴抽出部が抽出した特徴量を取得する。たとえば、抽出した第k番目の特徴量の値がUkであったとする。この場合、特徴検索部104は、第k番目の特徴量テーブル105Ukにおける特徴量の値Uk±j(j=0,1,・・・m、0≦K+j≦Dk)に対して登録されている対象物のIDを選出する。特徴検索部104は、投票テーブル106に対する投票として、投票テーブル106における選出した対象物のIDの欄の値を、jに応じてあらかじめ定められた値(M[j]を加算した値に更新する。
ただし、mは事前に決められた負でない整数の定数とする。ここでm=0の場合は、Ukに対応する対象物のIDのみに投票することになる。しかしながら、特徴量は同一対象物から得られたものであっても各種条件により多少の変動が考えられる。このため、そのような変動に対応するため、前後の複数の値に対応する対象物のIDにも投票する。このため、mの値としては、0より大きな整数値を設定しておくものとする。また、M[j]は、通常、j=0の場合に最大で、jが増加するにつれて広義の単調減少するように重み付けした値となるように設定する。このM[j]は、ぼかしマスクに相当し、特徴量の変動に対応するためのポイントとなる。
特徴検索部104は、対象物の各特徴量について投票を行った後、当該対象物の各特徴量に対する投票結果に基づいて当該対象物のIDを決定する。特徴検索部104は、投票結果において、投票された値が最大である対象物のIDを求める。特徴検索部104は、投票数が最大である対象物のIDを、処理対象の対象物の検索(同定)結果として出力する。
以下、対象物の各特徴量に対する投票テーブル106への投票について説明する。
図4、図5、図6および図7は、ある対象物の各特徴量に基づく投票テーブル106への投票の例を示す図である。図4、図5、図6および図7の例では、m=1、M[0]=2,M[1]=1とするものとする。また、図4、図5、図6、図7の例は、図3に示す状態の特徴量テーブルを参照して、2回目の仕分けセッションで抽出した特徴量の値に基づく投票テーブル106への投票を示す図である。
図4は、ある対象物の第1特徴量U1が「1」であった場合の投票テーブル106への投票例を示す図である。
図4に示す例において、特徴検索部104は、第1特徴量U1の特徴量テーブル105U1における、U1、U1±j(j=0、1、0≦U1+j≦7)の欄に登録されている対象物のIDに対し、投票テーブル106のそれぞれの欄の値をM[0]=2、M[1]=1だけ増加させる。M[0]およびM[1]の値は、特徴量に応じて投票する値を意味する。
なお、M[0]、および、M[1]の値(投票する値)は、投票に対する重み付けを反映した値であり、各特徴量の特性などに応じて任意の値を設定しても良い。また、投票する範囲についても、特徴量に応じて設定しても良い。
まず、特徴検索部104は、j=0とし、第1特徴量U1の第1特徴量テーブル105における「1(=1(U1の値)+0)」の欄を参照する。図4に示す例では、第1特徴量テーブル105U1の「1」の欄には、対象物の「ID」として、「3」と「5」とが登録されている。これにより、特徴検索部104は、投票テーブル106における対象物のIDが「3」の欄と「5」の欄をM[0]=2だけ増加させる。図4に示す例の場合、各欄の初期値が0であるので、特徴検索部104は、投票テーブル106における「3」の欄および「5」の欄にそれぞれ「2」を投票して「3」および「5」の欄の値を「2(=0+2)」に更新する。
また、図4に示す例では、第1特徴量テーブル105U1において、第1特徴量U1が「0(=1(U1の値)−1)」の欄には対応する対象物のIDが登録されていない。このため、特徴検索部104は、U1−1=0については投票先なしとする。
さらに、第1特徴量テーブル105U1において、第1特徴量U1が「2(=1(U1の値)+1)」の欄には対応する対象物のIDとして「2」が登録されている。このため、特徴検索部104は、投票テーブル106における対象物のIDが「2」の欄をM[1]=1だけ増加させる。この結果として、特徴検索部104は、投票テーブル106における対象物のIDが「2」の欄に「1」を投票して「1(=0+1)」に更新する。
第1特徴量U1に基づく投票テーブル106への投票が完了すると、特徴検索部104は、第2特徴量U2に基づく投票テーブル106への投票を実施する。
図5は、第2特徴量U2が「2」であった場合の図4に示す投票後の投票テーブル106への投票例を示す図である。
図5に示す例において、特徴検索部104は、第2特徴量U2の特徴量テーブル105U2における、U2、U2±j(j=0,1,0≦U2+j≦7)の欄に登録されている対象物のIDに対し、投票テーブル106のそれぞれの値をM[0]=2、M[1]=1だけ増加させる。
まず、特徴検索部104は、j=0とし、第2特徴量U2の第2特徴量テーブル105U2における「4(=4(U2の値)+0」の欄を参照する。図5に示す例では、第2特徴量テーブル105U2の「4」の欄には、対象物のIDとして「8」が登録されている。これにより、特徴検索部104は、投票テーブル106における対象物のIDが「8」の欄をM[0]=2だけ増加させる。図5に示す例の場合、投票前の投票テーブル106における「8」の欄が「0」であるので、特徴検索部104は、投票テーブル106における「8」の欄に「2」を投票して「2(0+2=2)」に更新する。
また、図5に示す例では、第2特徴量テーブル105U2において、第2特徴量U2が「3(=4(U2の値)−1)」の欄には対応する対象物のIDとして「3」が登録されている。このため、特徴検索部104は、投票テーブル106における対象物のIDが「3」の欄をM[1]=1だけ増加させる。図5に示す例では、投票前の投票テーブル106における「3」の欄が「2」であるので、特徴検索部104は、投票テーブル106における「3」の欄に「1」を投票して「3(2+1=3)」に更新する。
図5に示す例では、第2特徴量テーブル105U2において、第2特徴量U2が「5(=4(U2の値)+1)」の欄には対応する対象物のIDが登録されていない。このため、特徴検索部104は、U2+1=5については投票先なしとする。
第2特徴量U2に基づく投票テーブル106への投票が完了すると、特徴検索部104は、第3特徴量U3に基づく投票テーブル106への投票を実施する。
図6は、第3特徴量U3が「5」であった場合の図5に示す投票後の投票テーブル106への投票例を示す図である。
図6に示す例において、特徴検索部104は、第3特徴量U3の第3特徴量テーブル105U3における、U3、U3±j(j=0,1,0≦U3+j≦7)の欄に登録されている対象物のIDに対し、投票テーブル106のそれぞれの値をM[0]=2,M[1]=1だけ増加させる。
まず、特徴検索部104は、j=0とし、第3特徴量U3の第3特徴量テーブル105U5における「5(=5(U3の値)+0)」の欄を参照する。図6に示す例では、第3特徴量テーブル105U5の「5」の欄には、対象物のIDとして「1」と「3」とが登録されている。これにより、特徴検索部104は、投票テーブル106における対象物のIDが「1」の欄と「3」の欄とをM[0]=2だけ増加させる。図6に示す例の場合、投票前の投票テーブル106における「1」の欄が「0」であり、「3」の欄が「3」であるので、特徴検索部104は、投票テーブル106における「1」の欄には「2」を投票して「2(=0+2)」に更新し、「3」の欄には「2」を投票して「5(=3+2)」に更新する。
また、図6に示す例では、第3特徴量テーブル105U3において、第3特徴量U3が「4(=5(U3の値)−1)」の欄および「6(=5(U3の値)+1」には対応する対象物のIDが登録されていない。このため、特徴検索部104は、U3−1=4及びU3+1=6については投票先なしとする。
第3特徴量U3に基づく投票テーブル106への投票が完了すると、特徴検索部104は、第4特徴量U4に基づく投票テーブル106への投票を実施する。
図7は、第4特徴量U4が「4」であった場合の図6に示す投票後の投票テーブル106への投票例を示す図である。
図7に示す例において、特徴検索部104は、第4特徴量U4の第4特徴量テーブル105U4における、U4,U4±j(j=0,1,0≦U4+j≦7)の欄に登録されている対象物のIDに対し、投票テーブル106のそれぞれの値をM[0]=2,M[1]=1だけ増加させる。
まず、特徴検索部104は、j=0とし、第4特徴量U4の第4特徴量テーブル105U4における「4(=4(U4の値)+0)」の欄を参照する。図7に示す例では、第4特徴量テーブル105U4の「4」の欄には、対象物のIDとして「6」が登録されている。これにより、特徴検索部104は、投票テーブル106における対象物のIDが「6」の欄をM[0]=2だけ増加させる。図7に示す例の場合、投票前の投票テーブル106における「4」の欄が「0」であるので、特徴検索部104は、投票テーブル106における「4」の欄に「2」を投票して「2(=0+2)」に更新する。
また、図7に示す例では、第4特徴量テーブル105U4において、第4特徴量U4が「3(=4(U4の値)−1)」の欄には対応する対象物のIDとして「3」が登録されている。このため、特徴検索部104は、投票テーブル106における対象物のIDが「3」の欄をM[1]=1だけ増加させる。図7に示す例では、投票前の投票テーブル106における「3」の欄が「5」であるので、特徴検索部104は、投票テーブル106における「3」の欄に「1」を投票して「6(=5+1)」に更新する。
また、図7に示す例では、第4特徴量テーブル105U4において、第4特徴量U4が「5(=4(U4の値)+1)」の欄には対応する対象物のIDとして「7」が登録されている。このため、特徴検索部104は、投票テーブル106における対象物のIDが「3」の欄をM[1]=1だけ増加させる。図7に示す例では、投票前の投票テーブル106における「7」の欄が「0」であるので、特徴検索部104は、投票テーブル106における「7」の欄に「1」を投票して「1(=0+1)」に更新する。
次に、投票テーブル106への投票結果に基づく対象物の同定について説明する。
1つの対象物について各特徴量に基づく投票テーブル106への投票が完了すると、特徴検索部104は、投票テーブル106への投票結果に基づいて対象物を同定し、対象物のIDを決定する。
図8は、対象物の各特徴量に対する投票テーブル106への最終的な投票結果の例である。図8は、図4、図5、図6及び図7に示す投票処理による投票結果を示している。
特徴検索部104は、投票テーブル106への投票結果における投票値の最大値が所定の基準値以上であれば、最大値となる対象物のIDを投票結果に基づく同定結果とする。すなわち、図8に示す例では、図8に示す投票テーブル106への投票結果において、投票された値(投票値)が最大なのは「6」であり、投票値が最大となる対象物のIDは、「3」である。ここで、「6」が最大値に対する所定の基準値以上であるとすれば、特徴検索部104は、図8に示す投票結果に基づく同定結果として、対象物のIDを「3」とする。
また、特徴検索部104は、投票結果に基づく同定結果を検証するようにしても良い。たとえば、投票結果に基づく同定結果として対象物のIDが「3」となった場合、特徴検索部104は、投票結果から得られたIDが「3」の対象物について、1回目の区分処理で得られた各特徴量と2回目以降の区分処理で得られた各特徴量とを比較する。特徴検索部104は、対応する特徴量どうしの差異(変化)が、各センサ13a、…によるセンシング時の各種変動に起因する変動量の限界(変動の許容値)として、あらかじめ設定された閾値以内であるか否かを判断する。
特徴検索部104は、全ての特徴量について1回目の区分処理で得られた特徴量と2回目の区分処理で得られた特徴量の差が上記閾値以内であれば、投票結果に基づく同定結果として得られた対象物のID(上記例では「3」)を同定結果として確定する。
一方、いずれかの特徴量において1回目の区分処理で得られた特徴量と2回目の区分処理で得られた特徴量の差が上記閾値を超えた場合、特徴検索部104は、1回目の区分処理と2回目の区分処理との間に、当該対象物あるいは物理センサ自体に何らかの変化があったものと判断する。ある特徴量に閾値以上の変化があった場合、特徴検索部104は、対象物の変化あるいは物理センサの不具合などの変化があった旨を出力するようにしても良い。
また、一部の特徴量に閾値以上の変化があった場合、特徴検索部104は、投票結果に基づく同定結果(上述の例ではIDが「3」)を出力するようにしても良いし、同定結果が不定である旨を出力するようにしても良い。たとえば、特徴検索部104は、閾値以上の変化があった特徴量の数が所定数未満である場合には、投票結果に基づく同定結果を出力するようにしても良いし、特定の特徴量に閾値以上の変化があった場合には、同定結果が不定である旨を出力したりするようにしても良い。
また、各特徴量の変化の要因については、物理センサおよび特徴量の種類に応じて、原因として想定される変化の種類をあらかじめ分類して記憶部に記憶しておくようにしても良い。例えば、重量が著しく減少(閾値以上減少)した場合には、原因として内容物の脱落などが想定され、外形寸法が大きく変化(閾値以上変化)していた場合には、原因として対象物の破損などが考えられる。これらのような変化の要因として想定される事項は、特徴量に閾値以上の変化があった旨とともに出力するようにしても良い。
さらに、特徴検索部104は、特徴量に閾値以上の変化があった場合には、当該特徴量に対応する物理センサの故障を警告するようにしても良い。また、複数の対象物に対して特定の特徴量に閾値以上の変化が検出された場合に、当該特徴量に対応する物理センサの故障を警告するようにしても良い。
また、上記のような投票を利用した検索(同定)に必要な処理の量は、特徴量の種類数に(2m+1)を乗じた投票回数と、投票テーブルの最大値を求めるために対象物のIDを1度全走査する処理とであり、対象物のIDの最大数×特徴量の数のマッチングを行う処理よりもはるかに少なくて済む。
なお、投票テーブルにおける最大値は、投票テーブルを1回全走査することによって求めることができる。ただし、特徴量の種類の方が対象物の数より少ないことが想定されるので、投票のたびに最大値を更新する処理を追加することでも実現可能である。この場合は対象物のIDの最大数に比例した処理はなくなる。
また、投票テーブルは、各対象物に対するIDの同定処理ごとに初期化する。同定処理ごとに処理機する処理は、対象物のIDの最大数に比例した手間がかかる。このため、投票テーブルに「最後にその欄を更新した際のセッションID」のカラムを追加し、マシン立ち上げ時に一度だけその初期化を行い、次回からは全データを初期化する代わりに、毎回異なるセッションIDを生成し、投票テーブルを更新する際に「最後に更新した際のセッションID」を調べて、現在処理しているセッションIDより古い場合にその欄の投票値を初期化したうえで「最後に更新した際のセッションID」を更新することにしてもよい。これにより、同定処理ごとに投票テーブルを初期化するための対象物のIDの最大数に比例した手間がかからなくなり、処理全体としての高速化が可能となる。
また、投票回数および投票値を設定するための上述したmの数とM[i]の値とは、特徴量の種類ごとに、各物理センサによるセンシングのたびにどの程度変動するかを考慮してそれぞれ異なる値としておくことも可能である。
次に、区分装置2における1回目の区分処理について説明する。
図9は、区分装置2における1回目の区分処理の例を説明するためのフローチャートである。
まず、オペレータは、1回目の区分処理の対象とする対象物を供給部11にセットし、処理モードとして1回目の区分処理を選択した状態で、オペレーションパネル10に区分処理の開始を指示する。1回目の区分処理の開始が指示されると、供給部11は、セットされている対象物を所定の間隔で一個ずつ搬送部12へ供給する(ステップS11)。搬送部12は、供給部11から供給される対象物を搬送路により搬送する(ステップS12)。また、区分制御部17は、供給部11から供給されて搬送部12により搬送される対象物に対して識別情報(ID)を発行して各部へ通知するとともに、搬送部12により搬送される対象物の搬送状況を継続的に監視(追尾)する。
搬送部12が対象物を搬送すると、搬送路上に設けたセンサ部13の各物理センサ(スキャナ13a、および、各物理センサ13b、13c、…)は、搬送部12により搬送される対象物から各種の物理量が検出する(ステップS13)。センサ部13の各物理センサ13a、…は、対象物から検出したデータ(センシングデータ)を識別部14へ供給する。これにより、識別部14は、各物理センサ13a、…によって対象物から検出した各種のセンシングデータを取得する(ステップS14)。
なお、各対象物は搬送状況が監視されている。このため、各物理センサ13a、…が異なる位置あるいは異なるタイミングで検出したデータであっても、1つの対象物から検出した各種のセンシングデータは、1つの対象物から検出されたセンシングデータとして識別部14へ供給される。
対象物の各種のセンシングデータを取得すると、識別部14は、特徴抽出部101により取得したセンシングデータから対象物の識別に用いる各種の特徴量を抽出する(ステップS15)。たとえば、N種類の特徴量により対象物を識別する場合、特徴抽出部101は、取得したセンシングデータからN種類の特徴量を抽出する。特徴抽出部101が各種の特徴量を抽出すると、異常検知部107は、抽出した特徴量の値が異常な値であるか否かをチェックすることにより、各物理センサ13a、…における異常(故障)の有無をチェックする(ステップS16)。
何れかの物理センサ13a、…に異常が有ると判断した場合(ステップS17、YES)、異常検知部107は、異常内容を示す警告を出力する(ステップS18)。たとえば、異常検知部107は、各特徴量の種類に対応づけて異常な値となった場合に予想される異常内容を保持しておき、異常な値と判断された特徴量の種類に応じて予想される異常内容の警告を出力する。また、異常が有ると判断した場合、異常検知部107あるいは特徴登録部102は、異常内容に応じて登録処理が継続できるか否かを判断する(ステップS19)。登録処理が継続不可と判断された場合(ステップS19、YES)、識別部14は、登録処理を終了する。
各物理センサ13a、…に異常がないと判断された場合(ステップS17、YES)、特徴抽出部101は、当該対象物から抽出した各種の特徴量を特徴登録部102へ供給する。また、何れかの物理センサ13a、…に異常が有ると判断された後に登録処理が継続可能と判断された場合(ステップS19、NO)、特徴抽出部101は、当該対象物から抽出した各種の特徴量を特徴登録部102へ供給する。この場合、特徴登録部102は、異常と判断された物理センサで検知された物理量以外の物理量から抽出した特徴量を取得するようにしても良い。
また、特徴登録部102は、特徴抽出部101から当該対象物の各種の特徴量を取得するとともに、区分制御部17が発行した当該対象物の識別情報(ID)を取得する。当該対象物から抽出した各種の特徴量とIDとを取得すると、特徴登録部102は、各種の特徴量に対する各特徴量テーブル105に対して、当該対象物の特徴量の値が対応する欄に当該対象物のIDを登録する(ステップ20)。
また、判別部15には、スキャナ13aが当該対象物から読み取った画像が供給される。スキャナ13aから対象物の読取画像が供給されると、判別部15は、認識部15aにより取得した読取画像に基づいて当該対象物の区分情報を認識する認識処理を行う(ステップS21)。また、判別部15には、当該対象物のIDも通知される。これにより、判別部15は、スキャナ13aが読取った対象物の画像と当該対象物のIDと対応づけて管理する。
認識部15aによる対象物の読取画像に対する認識結果が得られると、判別部15は、認識結果と識別情報とを対応づけて区分データベース16に登録する(ステップS22)。たとえば、認識部15aが対象物の読取画像から区分情報を認識できた場合、判別部15は、認識結果として得られた区分情報を当該対象物のIDに対応づけて区分データベース16に登録する。また、認識部15aが対象物の読取画像から区分情報を認識できなかった場合、判別部15は、認識結果として判別不可であった旨(または、VCSによる処理)と当該対象物のIDに対応づけて区分データベース16に登録する。区分情報が認識できなかった対象物については、判別部15は、当該対象物の読取画像と識別情報(ID)とを対応づけてコーディング情報を作成してVCS3へ供給する。VCS3は、VCDを用いてオペレータが入力する区分情報を識別情報(ID)に対応づけて区分データベース16に登録する。
認識部15aによる認識結果が得られると、判別部15は、認識結果を区分制御部17へ通知する。区分制御部17は、判別部15による区分情報の認識結果に従って対象物を区分制御する(ステップS23)。1回目の対象物に対する区分処理が終了するまでが無くなるまで、区分装置2は、各対象物に対して上記ステップS11〜S24の処理を実行する。
上記の処理によれば、区分装置は、対象物に対する1回目の区分処理として、対象物に対して各物理センサが検出する物理量から抽出される各種の特徴量を当該対象物のIDと対応づけて特徴データベースに登録するとともに、対象物に対する区分情報の認識結果をIDに対応づけて区分データベースに登録する。これにより、区分装置は、1回目の区分処理において、各対象物を区分情報の認識結果に従って区分するとともに、各物理センサが検出する物理量から抽出される各種の特徴量の値により対象物のIDを参照できる情報を保持することできる。
次に、区分装置2における2回目の区分処理について説明する。
図10は、区分装置2における2回目の区分処理の例を説明するためのフローチャートである。
まず、オペレータは、2回目の区分処理の対象とする対象物を供給部11にセットし、処理モードとして2回目の区分処理を選択した状態で、オペレーションパネル10に区分処理の開始を指示する。2回目の区分処理の開始が指示されると、供給部11は、セットされている対象物を所定の間隔で一個ずつ搬送部12へ供給する(ステップS31)。搬送部12は、供給部11から供給される対象物を搬送路により搬送する(ステップS32)。なお、区分制御部17は、供給部11から供給されて搬送部12により搬送される対象物の搬送状況を継続的に監視(追尾)するものとする。
搬送部12が対象物を搬送すると、搬送路上に設けたセンサ部13の各物理センサ(スキャナ13a、および、各物理センサ13b、13c、…)は、搬送部12により搬送される対象物から各種の物理量を検出する(ステップS33)。センサ部13の各物理センサ13a、…は、対象物から検出したデータ(センシングデータ)を識別部14へ供給する。これにより、識別部14は、各物理センサ13a、…が対象物から検出した各種のセンシングデータを取得する(ステップS34)。
なお、各対象物は搬送状況が監視されているため、各物理センサ13a、…が異なる位置あるいは異なるタイミングで検出したデータであっても、1つの対象物から検出した各種のセンシングデータは、1つの対象物から検出されたデータとして識別部14へ供給される。
1つの対象物に対する各種のセンシングデータを取得すると、識別部14は、特徴抽出部101により取得したセンシングデータから対象物の識別に用いる各種の特徴量を抽出する(ステップS35)。たとえば、N種類の特徴量により対象物を識別する場合、特徴抽出部101は、取得したセンシングデータからN種類の特徴量を抽出する。特徴抽出部101が各種の特徴量を抽出すると、異常検知部107は、抽出した特徴量の値が異常な値であるか否かをチェックすることにより、各物理センサ13a、…における異常(故障)の有無をチェックする(ステップS36)。
何れかの物理センサ13a、…に異常が有ると判断した場合(ステップS37、YES)、異常検知部107は、異常内容を示す警告を出力する(ステップS38)。たとえば、異常検知部107は、異常な値と判断された特徴量の種類に応じて予想される異常内容の警告を出力する。また、何れかの物理センサ13a、…に異常が有ると判断した場合、異常検知部107あるいは特徴検索部104は、異常内容に応じてIDの検索(同定)処理が継続できるか否かを判断する(ステップS39)。検索処理が継続不可であると判断された場合(ステップS39、YES)、識別部14は、当該区分処理を終了する。
各物理センサ13a、…に異常がないと判断された場合(ステップS37、YES)、特徴抽出部101は、当該対象物から抽出した各種の特徴量を特徴検索部104へ供給する。また、何れかの物理センサ13a、…に異常が有ると判断された後にIDの検索処理が継続可能であると判断された場合(ステップS39、NO)、特徴抽出部101は、当該対象物から抽出した各種の特徴量を特徴検索部104へ供給する。この場合、特徴検索部104は、異常と判断された物理センサで検知された物理量以外の物理量から抽出した特徴量を取得するようにしても良い。
当該対象物のセンシングデータから抽出した各種の特徴量を取得すると、特徴検索部104は、各種の特徴量に対する各特徴量テーブル105(105a、…)を参照して、各種の特徴量について、当該対象物から得た特徴量の値とその値を中心とする所定範囲の値が対応するIDに対して投票処理を行う(ステップ40)。すなわち、特徴検索部104は、当該対象物のIDを識別するための投票テーブル106を用意し、各種の特徴量ごとに投票を行う。たとえば、特徴検索部104は、投票テーブル106に対して、各種の特徴量ごとに、当該対象物から得た特徴量の値に登録されているIDに対してはM(0)の値を投票(加算)し、当該対象物から得た特徴量の値から「n」だけ離れた値に登録されているIDに対してはM(n)の値を投票(加算)する。
全特徴量についての投票が完了すると、特徴検索部104は、投票テーブル106における投票結果に基づいて同定結果としてのIDを選出する(ステップS41)。たとえば、特徴検索部104は、投票値が最大となるIDを同定結果として選出する。また、特徴検索部104は、投票値が所定の基準値以上のIDを同定結果として選出しても良い。また、特徴検索部104は、投票値が最大となり、かつ、その投票値が所定の基準値以上のIDを同定結果として選出しても良い。
なお、同定結果として複数のIDが選出された場合、特徴検索部104は、特定の特徴量に対する投票結果を参照して同定結果を決定するようにしても良い。たとえば、各種の特徴量について同定結果を決定するための優先順位を設定しておき、複数のIDが同定結果として選出された場合には、優先順位の高い特徴量に対する投票結果を参照して同定結果としてのIDを1つに決定するようにしても良い。
投票結果としてのIDが選出された場合、異常検知部107は、対象物から得られた特徴量に基づいて異常の有無をチェックする(ステップS42)。たとえば、異常検知部107は、選出されたIDの特徴データベース103に登録されている特徴量の値(つまり、1回目の区分処理で得られた特徴量の値)と当該区分処理で得られた特徴量の値(2回目の区分処理で得られた特徴量の値)との差分の値が閾値以内か否かにより、各特徴量に対して異常チェックを行う。
何れかの特徴量について上記差分の値が閾値を超えた場合、異常検知部107は、上記差分の値が閾値を超えた特徴量の種類に応じた異常内容を示す警告を出力する(ステップS44)。たとえば、異常検知部107は、差分の値が閾値を超えた場合に予想される異常内容を特徴量の種類ごとに保持しておくことにより、差分の値が閾値を超えた特徴量の種類に応じた異常内容を示す警告を出力する。また、何れかの特徴量に異常が有ると判断した場合、異常検知部107あるいは特徴検索部104は、異常内容に応じてIDの検索(同定)処理が継続できるか否かを判断する(ステップS45)。検索処理の継続が不可であると判断された場合(ステップS45、YES)、識別部14は、当該区分処理を終了する。
各種の特徴量に異常がないと判断された場合(ステップS43、YES)、あるいは、何れかの特徴量に異常が有ると判断された後にIDの検索処理が継続可能であると判断された場合(ステップS45、NO)、特徴検索部104は、投票結果から選出したIDを当該対象物のIDとして確定する(ステップS46)。同定処理により対象物のIDが確定すると、特徴検索部104は、確定したIDを当該対象物のIDとして判別部15へ通知する。
対象物のIDが通知されると、判別部15は、通知されたIDに基づいて当該対象物の区分情報を特定する(ステップS47)。すなわち、判別部15は、識別部14により通知されたIDに基づいて区分データベース16に登録されている当該IDの対象物に対する区分情報を特定する。当該対象物の区分情報を特定すると、判別部15は、特定した当該対象物の区分情報を区分制御部17へ通知する。区分制御部17は、判別部15が特定した区分情報に基づく区分先に当該対象物が区分されるように区分部18を制御する(ステップS48)。
区分装置2は、供給部11にセットされた対象物に対する区分処理が終了するまでが無くなるまで(ステップS49、NO)、各対象物に対して上記ステップS31〜S48の処理を実行する。
上記の処理によれば、区分装置は、対象物に対する2回目の区分処理として、対象物に対して各物理センサが検出する物理量から各種の特徴量の値を抽出し、各種の特徴量ごとに特徴データベースを参照して投票を行い、投票結果により当該対象物のIDを決定する。これにより、区分装置は、各対象物にバーコードなどを印字しなくても、対象物を識別でき、各種の特徴量ごとの投票によって高精度な対象物の同定処理が実現できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…区分システム、2…区分装置、3…VCS、11…供給部、12…搬送部、13…センサ部、13a.13b、13c、…、13n…物理センサ、14…識別部、15…判別部、15a…認識部、16…区分データベース、17…区分制御部、18…区分部、101…特徴抽出部、102…特徴登録部、103…特徴データベース、104…特徴検索部、105(105a、…、105n、105U1〜105U4)…特徴量テーブル、106…投票テーブル、107…異常検知部。

Claims (18)

  1. 対象物から物理量を検出するセンサと、
    前記センサにより検出した対象物の物理量から複数種類の特徴量を抽出する特徴抽出部と、
    前記特徴抽出部が抽出した各種の特徴量の値に基づいて、各種の特徴量の値と対象物の識別情報とを対応づけて記憶している特徴データベースから当該対象物と同定される対象物の識別情報を特定する特徴検索部と、
    前記特徴検索部が特定した対象物の識別情報に基づいて、対象物の識別情報と仕分情報とを対応づけて記憶している区分データベースから当該対象物の仕分情報を判別する判別部と、
    前記判別部が判別した仕分情報に基づいて対象物を仕分けする仕分部と、
    を有する仕分装置。
  2. 前記特徴検索部は、前記特徴データベースを参照して、各対象物の識別情報に対して投票値を記録する投票テーブルに対して、当該対象物から得られた特徴量の値に対応する対象物の識別情報に投票を行い、前記投票テーブルへの投票結果に基づいて当該対象物の識別情報を特定する、
    請求項1に記載の仕分装置。
  3. 当該対象物から得られた特徴量の値に対応する対象物の識別情報に投票するとともに、当該対象物から得られた特徴量の値を基準とする所定範囲の特徴量の値に対応する対象物の識別情報へも投票する、
    請求項2に記載の仕分装置。
  4. 当該対象物から得られた特徴量の値に対応する対象物の識別情報に投票する値は、当該対象物から得られた特徴量の値を基準とする所定範囲の特徴量の値に対応する対象物の識別情報に投票する値の中で最大とする、
    請求項3に記載の仕分装置。
  5. 前記特徴検索部は、前記投票テーブルへの投票結果において投票値が最大となった識別情報を当該対象物の識別情報として選定する、
    請求項1乃至4の何れか1項に記載の仕分装置。
  6. 前記特徴検索部は、前記投票テーブルへの投票結果において投票値が最大かつ所定基準値以上となった識別情報を当該対象物の識別情報として選定する、
    請求項5に記載の仕分装置。
  7. 前記特徴量抽出部が抽出した各種の特徴量の値と当該対象物の識別情報とを対応させて特徴データベースに登録する特徴登録部と、
    前記特徴登録部が前記特徴データベースに識別情報を登録した対象物の仕分情報を認識処理する認識部と、を有し、
    前記判別部は、前記認識部による認識結果に基づいて当該対象物の仕分情報を判別する、
    請求項1乃至6の何れか1項に記載の仕分装置。
  8. 前記特徴データベースは、複数の特徴量ごとに、特徴量のデータから対象物の識別情報を特定する複数の特徴量テーブルを有し、
    前記特徴登録部は、前記特徴データベースにおける各特徴量テーブルに、前記特徴量抽出部で抽出した特徴量の値に対応づけて対象物の識別情報を登録する、
    請求項7に記載の仕分装置。
  9. 前記特徴登録部は、1回目の仕分処理において特徴抽出部で対象物から特徴量を抽出するごとに、前記特徴量テーブルに前記特徴抽出部が抽出した特徴量の値に対応づけて対象物の識別情報を登録する、
    請求項8の仕分装置。
  10. 前記特徴検索部により当該対象物と同定される対象物の識別情報を特定した場合、前記特徴データベースに登録されている当該対象物と同定された対象物の特徴量の値と当該対象物から抽出した特徴量の値との差分の値が所定の閾値を超えた場合、当該特徴量に関連する異常を検出する異常検知部を有する、
    請求項1乃至9の何れか1項に記載の仕分装置。
  11. 前記異常検知部は、前記差分の値が前記閾値を超えた特徴量の種類に応じた異常内容を示す警告を行う、
    請求項10に記載の仕分装置。
  12. 前記センサは、対象物の画像を読み取るスキャナを含む、
    請求項1乃至11の何れか1項に記載の仕分装置。
  13. 前記センサは、対象物の重量を計測するセンサを含む、
    請求項1乃至12の何れか1項に記載の仕分装置。
  14. 前記センサは、対象物の大きさを計測するセンサを含む、
    請求項1乃至13の何れか1項に記載の仕分装置。
  15. 物理量を検出するセンサにより検出した対象物の物理量から複数種類の特徴量を抽出し、
    前記対象物から抽出した各種の特徴量の値に基づいて、各種の特徴量の値と対象物の識別情報とを対応づけて記憶している特徴データベースから当該対象物と同定される対象物の識別情報を特定し、
    前記特定した対象物の識別情報に基づいて、対象物の識別情報と仕分情報とを対応づけて記憶している区分データベースから当該対象物の仕分情報を判別し、
    前記判別した仕分情報に基づいて対象物を仕分けする、
    仕分方法。
  16. 各対象物の識別情報に対して投票値を記録する投票テーブルを設定し、
    前記特徴データベースを参照して、前記投票テーブルに対して当該対象物から得られた特徴量の値に対応する対象物の識別情報に投票を行い、
    当該対象物と同定される対象物の識別情報は、前記投票テーブルへの投票結果に基づいて特定する、
    請求項15に記載の仕分方法。
  17. さらに、当該対象物から抽出した各種の特徴量の値と当該対象物の識別情報とを対応させて特徴データベースに登録し、
    前記特徴データベースに識別情報を登録した当該対象物の仕分情報を認識処理し、
    前記認識部による認識結果に基づいて当該対象物の仕分情報を判別する、
    請求項15又は16の何れかに記載の仕分方法。
  18. 当該対象物と同定される対象物の識別情報を特定した場合、前記特徴データベースに登録されている当該対象物と同定された対象物の特徴量の値と当該対象物から抽出した特徴量の値との差分の値が所定の閾値を超えた場合、当該特徴量に関連する異常を検出する、
    請求項15乃至17の何れか1項に記載の仕分方法。
JP2013193445A 2013-09-18 2013-09-18 仕分装置および仕分方法 Active JP6151141B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013193445A JP6151141B2 (ja) 2013-09-18 2013-09-18 仕分装置および仕分方法
EP14184861.4A EP2851846B1 (en) 2013-09-18 2014-09-16 Sorting device and sorting method
US14/488,743 US9375758B2 (en) 2013-09-18 2014-09-17 Sorting device and sorting method
CN201410478964.7A CN104438096A (zh) 2013-09-18 2014-09-18 分拣装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013193445A JP6151141B2 (ja) 2013-09-18 2013-09-18 仕分装置および仕分方法

Publications (2)

Publication Number Publication Date
JP2015058390A true JP2015058390A (ja) 2015-03-30
JP6151141B2 JP6151141B2 (ja) 2017-06-21

Family

ID=51589098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013193445A Active JP6151141B2 (ja) 2013-09-18 2013-09-18 仕分装置および仕分方法

Country Status (4)

Country Link
US (1) US9375758B2 (ja)
EP (1) EP2851846B1 (ja)
JP (1) JP6151141B2 (ja)
CN (1) CN104438096A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017000954A (ja) * 2015-06-10 2017-01-05 株式会社東芝 配達物処理装置、配達物処理支援装置、配達物処理システム、配達物処理プログラム、および配達物処理支援プログラム
JP2018041325A (ja) * 2016-09-08 2018-03-15 株式会社東芝 配達物処理システム、配達物処理装置、および配達物処理プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432927B2 (en) * 2014-09-30 2019-10-01 Ningbo Sunny Opotech Co., Ltd. 3D test chart, adjusting arrangement, forming method and adjusting method thereof
WO2017120182A1 (en) * 2016-01-05 2017-07-13 United States Postal Service Accurate tracking of item delivery using a confidence event recorder
CN106391487A (zh) * 2016-10-17 2017-02-15 桐城市闲产网络服务有限公司 一种实现物流自动分拣的系统
CN106778871A (zh) * 2016-12-19 2017-05-31 上海理工大学 轴承分类装置以及轴承分类方法
US11361273B2 (en) 2017-10-09 2022-06-14 United States Postal Service Use of geospatial coordinate systems for tracking item delivery
CN108480220A (zh) * 2018-03-12 2018-09-04 滨州职业学院 一种物流分拣系统
WO2020206396A1 (en) 2019-04-04 2020-10-08 Plus One Robotics, Inc. Industrial robotics systems and methods for continuous and automated learning
WO2020210769A1 (en) * 2019-04-11 2020-10-15 Plus One Robotics, Inc. Systems and methods for identifying package properties in an automated industrial robotics system
JP2021015546A (ja) * 2019-07-16 2021-02-12 株式会社日立製作所 情報処理システムおよび情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004136201A (ja) * 2002-10-17 2004-05-13 Toshiba Corp 区分機と区分機に用いられる区分方法
US20060008151A1 (en) * 2004-06-30 2006-01-12 National Instruments Corporation Shape feature extraction and classification
JP2010227885A (ja) * 2009-03-27 2010-10-14 Nec Corp 物品区分機、物品区分方法、及び物品区分プログラム
WO2012173193A1 (ja) * 2011-06-17 2012-12-20 トヨタ自動車株式会社 物体識別装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3942932A1 (de) * 1989-12-23 1991-06-27 Licentia Gmbh Verfahren zum verteilen von paketen o. ae.
JP3712831B2 (ja) * 1997-05-29 2005-11-02 日立オムロンターミナルソリューションズ株式会社 文書理解装置および郵便区分機
DE10034629A1 (de) * 1999-08-11 2001-03-22 Ibm Verfahren und System zum Verzahnen von OCR und ABL zur automatischen Postsortierung
DE19947259C1 (de) * 1999-09-30 2000-09-28 Siemens Ag Verfahren und Vorrichtung zum Sortieren von Sendungen
US7590260B2 (en) * 2003-09-25 2009-09-15 Siemens Aktiengesellschaft Method and apparatus for video coding by validation matrix
FR2866252B1 (fr) * 2004-02-18 2006-04-21 Solystic Procede pour trier des envois postaux en plusieurs passes de tri
US7258277B2 (en) * 2004-12-17 2007-08-21 Pitney Bowes Inc. Method for enhancing mail piece processing system
JP4332556B2 (ja) * 2005-03-01 2009-09-16 公立大学法人大阪府立大学 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
US8199973B2 (en) * 2006-08-31 2012-06-12 Osaka Prefecture University Public Corporation Image recognition method, image recognition device, and image recognition program
US8055079B2 (en) * 2007-03-06 2011-11-08 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, and image forming apparatus
JP4336729B2 (ja) * 2007-03-28 2009-09-30 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理プログラムおよびその記録媒体
WO2009110538A1 (ja) 2008-03-05 2009-09-11 日本電気株式会社 発送物区分装置、発送物区分方法、プログラムおよびコンピュータ読み取り可能な記録媒体
CN101234381B (zh) * 2008-03-07 2011-09-07 天津市华核科技有限公司 基于视觉识别的颗粒物料分选分级方法
US7958136B1 (en) * 2008-03-18 2011-06-07 Google Inc. Systems and methods for identifying similar documents
US8059861B2 (en) * 2008-11-17 2011-11-15 Lockheed Martin Corporation Method and system for identifying and recognizing products for sorting/sequencing operations
DE102009019054A1 (de) * 2009-04-27 2010-11-11 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Sortieren von Gegenständen in zwei Sortiervorgängen
JP5984327B2 (ja) * 2010-07-24 2016-09-06 キヤノン株式会社 情報処理方法及びその装置、プログラム
KR20120063378A (ko) * 2010-12-07 2012-06-15 한국전자통신연구원 운송물 처리 시스템 및 그 방법
US9033238B2 (en) * 2011-08-30 2015-05-19 Digimarc Corporation Methods and arrangements for sensing identification information from objects
JP5984096B2 (ja) * 2011-08-30 2016-09-06 ディジマーク コーポレイション 物体を識別する方法及び機構
DE102011083580A1 (de) * 2011-09-28 2013-03-28 Siemens Aktiengesellschaft Sortieranlage und Sortierverfahren zum gemeinsamen Sortieren von verschiedenartigen Gegenständen
CN102928431B (zh) * 2012-10-24 2015-05-27 浙江工业大学 基于单目多视角机器视觉的珍珠大小形状在线自动分级装置
TW201437925A (zh) * 2012-12-28 2014-10-01 Nec Corp 物體識別裝置、方法及電腦程式產品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004136201A (ja) * 2002-10-17 2004-05-13 Toshiba Corp 区分機と区分機に用いられる区分方法
US20060008151A1 (en) * 2004-06-30 2006-01-12 National Instruments Corporation Shape feature extraction and classification
JP2010227885A (ja) * 2009-03-27 2010-10-14 Nec Corp 物品区分機、物品区分方法、及び物品区分プログラム
WO2012173193A1 (ja) * 2011-06-17 2012-12-20 トヨタ自動車株式会社 物体識別装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017000954A (ja) * 2015-06-10 2017-01-05 株式会社東芝 配達物処理装置、配達物処理支援装置、配達物処理システム、配達物処理プログラム、および配達物処理支援プログラム
JP2018041325A (ja) * 2016-09-08 2018-03-15 株式会社東芝 配達物処理システム、配達物処理装置、および配達物処理プログラム

Also Published As

Publication number Publication date
EP2851846A3 (en) 2016-01-13
JP6151141B2 (ja) 2017-06-21
EP2851846A2 (en) 2015-03-25
CN104438096A (zh) 2015-03-25
US9375758B2 (en) 2016-06-28
US20150076041A1 (en) 2015-03-19
EP2851846B1 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
JP6151141B2 (ja) 仕分装置および仕分方法
JP4580233B2 (ja) 画像シグネチャによる郵便物の識別タグおよび関連するメール操作機
US8428772B2 (en) Method of processing mailpieces using customer codes associated with digital fingerprints
US7356162B2 (en) Method for sorting postal items in a plurality of sorting passes
US8126204B2 (en) Method of processing mailpieces, the method including graphically classifying signatures associated with the mailpieces
JP2004500974A (ja) 大量郵便差出人によって送られた小荷物上の住所情報の自動位置特定
US20100040256A1 (en) Mail piece identification using bin independent attributes
US20160259988A1 (en) Delivery system and computer readable storage medium
US10118202B2 (en) Method of sorting postal articles into a sorting frame with the sorted articles being counted automatically
US8672140B2 (en) Method of storing a plurality of articles with information being scrutinized
JP5433470B2 (ja) 住所データベース構築装置および住所データベース構築方法
US9805062B2 (en) Address recognition apparatus, sorting apparatus, integrated address recognition apparatus and address recognition method
US20180089507A1 (en) Pairing of images of postal articles with descriptors of singularities of the gradient field
CA2706301A1 (en) Method and apparatus for analysis of a database
US8818023B2 (en) Bulk region of interest learning
US11640702B2 (en) Structurally matching images by hashing gradient singularity descriptors
JP6976158B2 (ja) 区分装置および区分システム
JP5684365B2 (ja) 紙葉類処理装置および紙葉類処理方法
JP2015155077A (ja) 紙葉類区分装置
JP5558065B2 (ja) 区分装置、区分情報の認識方法および区分情報の認識プログラム
JP5684366B2 (ja) 紙葉類処理装置および紙葉類処理方法
US20180004995A1 (en) Systems and methods for detecting double-feed items on mail processing equipment
WO2013108347A1 (ja) 文字認識装置、それを備えた区分装置、文字認識方法および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170524

R151 Written notification of patent or utility model registration

Ref document number: 6151141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151