JP2015041371A - 物品情報認識装置 - Google Patents

Abstract

【課題】物品の情報表示面に表示された物品情報を迅速に認識することが可能な物品情報認識装置を提供する。【解決手段】物品情報認識部が、撮像画像において物品情報の種別を示す文字列である種目文字列を検出する種目文字列検出処理と、種目文字列検出処理にて検出された種目文字列に基づいて、種目文字列に対応する物品情報を示す文字列である内容文字列が表示されていると予定される表示予定領域を撮像画像に設定し、且つ、表示予定領域に存在する内容文字列を抽出する文字列抽出処理と、文字列抽出処理にて抽出した内容文字列に基づいて物品情報を認識する物品情報認識処理と、を実行する。【選択図】図４

Description

本発明は、物品における情報表示面を撮像する撮像装置と、前記撮像装置の撮像画像に基づいて前記情報表示面に表示された物品情報を示す文字列を認識する物品情報認識部と、が設けられた物品情報認識装置に関する。

このような物品情報認識装置は、例えば、物流設備において、当該物流設備に受け入れられた物品の物品情報（製造番号や使用期限等）を認識するために用いられる。物品情報は、物品の情報表示面に、作業者にも識別可能な文字情報として表示される。
従来、情報表示面を撮像装置で撮像し、撮像装置の撮像画像に対して、情報表示面において物品情報が表示されることが予定されている所定の領域の文字列を抽出して物品情報として認識し（以降、領域文字列認識処理と称する）、上記所定の領域に文字列が抽出できなかった場合には、情報表示面に表示されているすべての文字列を抽出した上で、抽出した文字列と上記物品情報として規定される文字列のパターン（例えば、各文字の文字種別等の情報）との照合を行って、許容条件を満たした文字列を物品情報として認識する（以降、パターン認識処理と称する）ように構成された物品情報認識装置があった（例えば、特許文献１（特に段落〔００５３〕）参照）。

特開２００６−１０３８１３号公報

上記特許文献１の物品情報認識装置では、物品情報を示す文字列が撮像画像における所定の領域に存在していれば、領域文字列認識処理によって迅速にその文字列を抽出して物品情報として認識することができる。
しかしながら、物品が複数種別存在する場合には、上記物品情報の文字列が常に所定の領域に位置しているとは限らない。また、例えば、物品のデザイン変更によって、物品情報の文字列が表示される位置が変更されることもあり得る。その為、所定の領域を対象に領域文字列認識処理を実行しても文字列が抽出できなくなる虞があり、そのような場合には、物品の情報表示面に表示される全ての文字列を抽出し、抽出した文字列に対してパターン認識処理を行うことになり、情報表示面に表示された物品情報を認識する処理を迅速に行い難いという問題があった。特に、物品が複数種別存在する場合には、物品情報の文字列のパターンが複数存在することになるため、その複数のパターンとの照合を行わねばならず、上記問題が顕著となる。

そこで、物品の情報表示面に表示された物品情報を迅速に認識することが可能な物品情報認識装置の実現が望まれる。

上記課題を解決するための本発明にかかる物品情報認識装置は、物品における情報表示面を撮像する撮像装置と、前記撮像装置の撮像画像に基づいて前記情報表示面に表示された物品情報を認識する物品情報認識部と、が設けられたものであって、
前記物品情報認識部が、前記撮像画像において前記物品情報の種別を示す文字列である種目文字列を検出する種目文字列検出処理と、前記種目文字列検出処理にて検出された前記種目文字列に基づいて、前記種目文字列に対応する物品情報を示す文字列である内容文字列が表示されていると予定される表示予定領域を前記撮像画像に設定し、且つ、前記表示予定領域に存在する前記内容文字列を抽出する文字列抽出処理と、前記文字列抽出処理にて抽出した前記内容文字列に基づいて前記物品情報を認識する物品情報認識処理と、を実行する点を特徴とする。

すなわち、検出した種目文字列に対応して設定される表示予定領域に存在する内容文字列を抽出し、抽出した内容文字列に基づいて物品情報を認識することができる。
種目文字列は、例えば、「製造番号」や「使用期限」等といった、物品情報の種別を表す文字列である。例えば、使用期限を示す種目文字列としては、他に「ＵｓｅＢｙＤａｔｅ」等の文字列が想定し得るが、そのバリエーションは限られている。一方、内容文字列としては、物品の種別によって、文字数や文字の並び順の異なる様々なバリエーションが想定し得る。このように、種目文字列のバリエーションは内容文字列のバリエーションに比べて少ない。このため、例えば、上述したようなパターン認識処理を行う場合と比べて、物品の情報表示面に表示された物品情報を迅速に認識することが可能となる。
このように、物品の情報表示面に表示された物品情報を迅速に認識することが可能な物品情報認識装置が提供できる。

本発明に係る物品情報認識装置の実施形態においては、前記物品情報認識部が、前記内容文字列に使用される文字の属性である設定文字属性を前記種目文字列に対応づけて予め記憶するように構成され、かつ、前記種目文字列ついての前記表示予定領域に対して実行した前記文字列抽出処理にて抽出した前記内容文字列について、前記設定文字属性に基づいて適正度を評価する文字列評価処理を実行し、前記物品情報認識処理において、前記文字列評価処理にて評価された前記内容文字列の適性度が設定適正条件を満たす場合に、当該内容文字列が示す内容を前記物品情報として認識するように構成されていることが好ましい。

すなわち、種目文字列についての表示予定領域に対して実行した文字列抽出処理にて抽出した内容文字列について、その種目文字列に対応づけて予め記憶された設定文字属性に基づいて適正度を評価し、適性度が設定適正条件を満たす場合に、当該内容文字列が示す内容を物品情報として認識するから、文字列抽出処理において複数の文字列を抽出した場合に、より適正度の高い内容文字列を物品情報として認識することができる。このため、文字列抽出処理にて抽出した内容文字列に基づいて、より正確に物品情報を認識することができ、認識精度を向上できる。

本発明に係る物品情報認識装置の実施形態においては、前記設定文字属性が、前記内容文字列に使用される文字の書体であることが好ましい。

すなわち、情報表示面に表示される内容文字列の夫々が、異なる複数の書体を用いて表示されている場合がある。このような場合に、内容文字列に使用される文字に基づいてその内容文字列の適正度を評価し、設定適正条件を満たす内容文字列を物品情報として認識することによって、より適正度の高い内容文字列を物品情報として認識することができる。

本発明に係る物品情報認識装置の実施形態においては、前記設定文字条件が、前記内容文字列における文字の上下方向の寸法であることが好ましい。

すなわち、情報表示面に表示される文字列の夫々の上下方向の寸法が異なる場合がある。このような場合に、文字列の上下方向の寸法に基づいてその文字列の適正度を評価し、設定適正条件を満たす内容文字列を物品情報として認識することによって、より適正度の高い内容文字列を物品情報として認識することができる。

本発明に係る物品情報認識装置の実施形態においては、前記物品情報認識部が、前記内容文字列の文字数として定められた予定文字数情報を前記種目文字列に対応づけて予め記憶するように構成され、かつ、前記文字列抽出処理を実行した結果、その文字列抽出処理にて抽出された前記内容文字列の文字数が前記予定文字数情報にて規定された文字数に満たない場合には、前記表示予定領域を設定寸法だけ拡張した拡張後の表示予定領域に対して前記文字列抽出処理を実行するように構成されていることが好ましい。

すなわち、情報表示面には種目文字列に対応する内容文字列として必要な文字数の文字がすべて表示されていたとしても、その内容文字列における全ての文字が表示予定領域に存在しない場合（すなわち、内容文字列が表示予定領域からずれて表示されているような場合）、文字列抽出処理によって抽出した内容文字列が物品情報として必要な文字数よりも少ない状態となる場合がある。

上記構成によれば、文字列抽出処理にて抽出された内容文字列の文字数が予定文字数情報にて規定された文字数に満たなければ、表示予定領域を設定寸法だけ拡張した拡張後の表示予定領域に対して文字列抽出処理を実行することになる。
これにより、拡張後の表示予定領域には、物品情報として必要な全ての文字列が存在する可能性が高くなるので、その拡張した表示予定領域に対して文字列抽出処理を実行することによって、種目文字列に対応する内容文字列を適切に抽出できる可能性が高くなる。
また、仮に拡張した表示予定領域に対して文字列抽出処理を実行しても、なお抽出した内容文字列が物品情報として必要な文字数よりも少ない場合は、さらに表示予定領域を拡張してその拡張した表示予定領域に対して文字列抽出処理を実行すれば、種目文字列に対応する内容文字列を適切に抽出できる可能性がさらに高くなる。

すなわち、上記構成によれば、文字列抽出処理の対象とする領域を制限することによって物品情報の認識の迅速化を図りつつ、そのように文字列抽出処理の対象とする領域を制限することによって内容文字列が欠落する事態を極力回避できる。
このように、上記構成によれば、物品情報の認識の迅速化を図りつつ、文字列抽出処理によって抽出した内容文字列が欠落する事態を極力回避できる。

本発明に係る物品情報認識装置の実施形態においては、前記物品情報認識部が、前記内容文字列に使用される文字の候補である認識候補文字を前記種目文字列に対応づけて予め記憶するとともに、前記認識候補文字の少なくとも１つについて、当該認識候補文字に類似する文字として予め設定された少なくとも１つの誤読想定文字を当該認識候補文字に対応付けて記憶するように構成され、かつ、前記種目文字列ついての前記表示予定領域に対して実行した前記文字列抽出処理にて抽出した前記内容文字列の夫々の文字について、前記認識候補文字であるか否かを判定する抽出文字判定処理と、前記抽出文字判定処理により前記認識候補文字でないと判定された文字が前記誤読想定文字である場合には、当該誤読想定文字を当該誤読想定文字に対応付けて記憶されている前記認識候補文字と置換する認識結果置換処理を実行することが好ましい。

すなわち、文字列抽出処理において、種目文字列に対応する内容文字列に使用されるべき文字とは異なる文字が抽出される場合がある。例えば、使用期限を示す内容文字列においては、数字についてはすべての文字が使用されないので、使用期限についての文字列抽出処理にて例えば「Ｉ」や「Ｏ」を抽出したとすれば、これらに類似した形象の文字である数字の「１」や「０」と誤読している可能性がある。
上記構成によれば、認識候補文字でないと判定された文字が誤読想定文字である場合には、誤読想定文字をその誤読想定文字に対応付けられている認識候補文字と置換することができる。上記の例の場合、アルファベットの「Ｉ」や「Ｏ」を誤読想定文字に設定し、認識候補文字のうち数字の「１」をアルファベットの「Ｉ」に対応する認識候補文字として、数字の「０」をアルファベットの「Ｏ」に対応する認識候補文字として記憶しておけば、抽出文字判定処理において認識候補文字でないと判定された誤読想定文字としてのアルファベットの「Ｉ」や「Ｏ」を、当該「Ｉ」や「Ｏ」に対応付けられている認識候補文字としての数字の「１」や「０」に置換することができる。
このように、文字列抽出処理にて抽出した内容文字列に基づいて物品情報を認識する場合に、その認識精度を向上することができる。

本発明に係る物品情報認識装置の実施形態においては、異なる２つの属性の前記物品情報に対応する異なる２つの前記種目文字列が、前記物品の前記情報表示面における異なる位置に表示され、前記物品情報認識部が、前記種目文字列検出処理において異なる２つの前記種目文字列の夫々を検出自在に構成され、かつ、前記種目文字列検出処理により異なる２つの前記種目文字列のうち一方の前記種目文字列のみが検出され、当該一方の種目文字列についての前記表示予定領域に２つの前記内容文字列を抽出した場合において、抽出された２つの前記内容文字列のうち一方の内容文字列が一方の種目文字列に対応する物品情報と認識したときには、抽出された２つの前記内容文字列のうち他方の内容文字列を、異なる２つの前記種目文字列のうち他方の種目文字列に対応する物品情報と認識するように構成されていることが好ましい。

すなわち、種目文字列検出処理にて異なる２つの属性の物品情報に対応する異なる２つの種目文字列のうちの一方のみが検出され、その一方の種目文字列についての表示予定領域に２つの内容文字列を抽出した場合において、抽出された２つの内容文字列のうち一方の内容文字列が一方の種目文字列に対応する物品情報と認識できた場合、２つの内容文字列のうち他方の内容文字列は、種目文字列検出処理にて検出できなかった他方の種目文字列に対応するものと推定することができる。
そこで、上記のような場合、抽出された２つの内容文字列のうち他方の内容文字列を、異なる２つの種目文字列のうち他方の種目文字列に対応する物品情報と認識することによって、仮に２つの種目文字列のうちの一方のみしか検出できなかったとしても、２つの種目文字列と、その夫々に対応する内容文字列とを対応付けて、適切に物品情報を認識することができる。

物品情報認識装置の要部を示す斜視図 情報表示面に表示された種目文字列及び内容文字列の例を示す図 物品情報認識装置の制御ブロック図 物品情報認識装置が実行する処理のフローチャート 物品情報認識装置が実行する処理のフローチャート 物品情報認識装置が実行する処理のフローチャート 種目文字列に対して複数の内容文字列が抽出された場合を示す例 文字列抽出処理において読取結果の誤認が生じた場合を示す例 認識候補文字と誤読想定文字との対応付を説明する図 認識結果置換処理を説明する図 表示予定領域の拡張を説明する図 ２つの種目文字列の一方のみが検出された場合の内容文字列と種目文字列との対応付けを説明する図

本発明の物品情報認識装置の実施形態を、図面に基づいて説明する。
本実施形態では、物品情報認識装置は物流設備における受け入れ箇所に設置されている。受け入れ箇所では、製品を収容した状態で製造元等から搬入された段ボールケース（以降、物品Ｂと称する）の物品識別情報と、その物品Ｂの製造番号や使用期限等の物品情報とを対応付けるべく、物品識別情報の読取と、物品情報の認識とが行われる。本実施形態の物品情報認識装置は、上記物品情報の認識のために用いられる。

図１に、物品情報認識装置が備えられる物流設備の受け入れ箇所を示す。
受け入れ箇所には、物品を自動倉庫等の保管設備に搬送する搬送コンベヤ５が備えられており、その搬送経路途中に、搬送中の物品Ｂの情報表示面Ｂｈを撮像自在な撮像装置５０が備えられている。

物品Ｂの情報表示面Ｂｈには、図１に示すように、物品Ｂの種別を識別するためのバーコードＢＣが表示されている。また、物品Ｂの情報表示面ＢｈにおけるバーコードＢＣとは異なる箇所に、図２に示すように、物品情報の種目を示す種目文字列として、製造番号を示す第１種目文字列Ｓ１０、及び、使用期限を示す第２種目文字列Ｓ２０が表示されている。さらに、第１種目文字列Ｓ１０の横側方には、製造番号を表す文字列である第１内容文字列Ｍ１０が表示され、第２種目文字列Ｓ２０の横側方には、使用期限を表す文字列である第２内容文字列Ｍ２０が表示されている。
なお、図１及び図２に示した第１種目文字列Ｓ１０と第１内容文字列Ｍ１０、及び、第２種目文字列Ｓ２０と第２内容文字列Ｍ２０との表示形態は一例であり、他の種別の物品Ｂにおいては異なる表示形態（例えば、第１種目文字列Ｓ１０と第１内容文字列Ｍ１０との対と第２種目文字列Ｓ２０と第２内容文字列Ｍ２０とが横並びになっている等）となっていることもあり得る。

図３に示すように、制御部Ｈは、例えば演算装置と記憶装置とを備えたコンピュータにて構成されており、記憶装置に記憶したプログラムを実行することによって、各種の制御を実行するようになっている。制御部Ｈには、撮像装置５０、コンベヤコントローラＣ１、上位管理装置Ｈｕ、及び、物品データベースＤＢが、当該制御部Ｈと相互に通信自在に接続されている。
撮像装置５０は、制御部Ｈからの指令によって画像を撮像するとともに、撮像した画像を制御部Ｈに送信可能に構成されている。本実施形態では、制御部Ｈ及び物品データベースＤＢが物品情報認識部に相当する。

コンベヤコントローラＣ１は、搬送コンベヤ５の搬送作動を制御するとともに、リミットスイッチＳＷの検出情報が入力されるように構成されている。リミットスイッチＳＷは、撮像装置５０が物品Ｂの情報表示面Ｂｈを撮像するのに適した撮像好適位置に物品Ｂが到達したことを検出自在に構成され、検出情報をコンベヤコントローラＣ１に送信する。
コンベヤコントローラＣ１は、上記リミットスイッチＳＷの検出情報を受信すると、物品Ｂが撮像好適位置に到達したことを示す情報を制御部Ｈに通知し、制御部Ｈは、コンベヤコントローラＣ１からの通知によって物品Ｂが撮像好適位置に到達したと判別すると、撮像装置５０に撮像を指令して、撮像好適位置に位置する物品Ｂの撮像画像を取得するようになっている。

制御部Ｈは、撮像装置５０が撮像した撮像画像において物品情報の種別を示す文字列である種目文字列（第１種目文字列Ｓ１０、第２種目文字列Ｓ２０）を検出する種目文字列検出処理と、種目文字列検出処理にて検出された種目文字列に基づいて、種目文字列に対応する物品情報を示す文字列である内容文字列（第１内容文字列Ｍ１０、第２内容文字列Ｍ２０）が表示されていると予定される表示予定領域（第１表示予定領域Ｗ１２、第２表示予定領域Ｗ２２）を撮像画像に設定し、且つ、その表示予定領域に存在する内容文字列を抽出する文字列抽出処理と、文字列抽出処理にて抽出した前記内容文字列（第１内容文字列Ｍ１０、第２内容文字列Ｍ２０）が表示されていると予定される表示予定領域（第１表示予定領域Ｗ１２、第２表示予定領域Ｗ２２）に基づいて物品情報を認識する物品情報認識処理と、を実行するように構成されている。

また、制御部Ｈは、図示しないバーコードリーダによりバーコードＢＣの情報（物品種別ＩＤ）を読み取り、その物品種別ＩＤを物品データベースＤＢに通知する。物品データベースＤＢは、通知された物品種別ＩＤに基づいて物品Ｂの仕様情報を検索し、制御部Ｈに対して、物品Ｂの仕様情報を送信する。
なお、物品Ｂの仕様情報には、物品Ｂの寸法情報、その物品Ｂにおける第１種目文字列Ｓ１０及び第２種目文字列Ｓ２０の文字の属性情報、その物品Ｂにおける第１内容文字列Ｍ１０及び第２内容文字列Ｍ２０の文字の属性情報である設定文字属性、第１種目文字列Ｓ１０及び第２種目文字列Ｓ２０の文字の並びに係る情報、第１種目文字列Ｓ１０および第２種目文字列Ｓ２０に対して設定される表示予定領域が第１種目文字列Ｓ１０および第２種目文字列Ｓ２０に対してどのような位置関係にあるかを示す情報、及び、第１内容文字列Ｍ１０及び第２内容文字列Ｍ２０の文字数としての予定文字数情報を含む情報であり、個々の物品Ｂについての物品情報は含まない。

ちなみに、第１種目文字列Ｓ１０および第２種目文字列Ｓ２０の文字列についての情報とは、文字列の書体及び文字の上下方向の寸法といった文字の属性、及び、文字列の文字の並び情報（文字列がどのような文字並びで表現されるか）を示すものである。
つまり、異なる種別の物品の間では、第１種目文字列Ｓ１０として表示される文字列であっても、例えば「製造番号」、「製造Ｎｏ．」、「ＬｏｔＮｏ．」、「固有番号」等様々な表記が存在し得るが、その物品Ｂの物品種別ＩＤが分かれば、第１種目文字列Ｓ１０としてどのような文字の並びが用いられるかが分かる。同様に、異なる種別の物品の間では、第２種目文字列Ｓ２０として表示される文字列であっても、例えば「使用期限」、「使用期限年月」、「消費期限」、「ＵｓｅＢｙＤａｔｅ」等様々な表記が存在し得るが、その物品Ｂの物品種別ＩＤが分かれば、第２種目文字列Ｓ２０としてどのような文字の並びが用いられるかが分かる。

制御部Ｈは、処理として、種目文字列検出処理、文字列抽出処理、文字列評価処理、抽出文字判定処理、認識結果置換処理、及び物品情報認識処理を実行自在に構成されている。
種目文字列検出処理とは、撮像画像から、第１種目文字列Ｓ１０及び第２種目文字列Ｓ２０の双方を検出する処理である。
この検出にあたって、制御部Ｈは、物品データベースＤＢから取得した文字仕様及び文字並び情報に基づいて、パターン認識処理を行う。パターン認識処理については、汎用的に用いられる技術を使用するものであるため、詳細な説明は省略する。制御部Ｈは、種目文字列検出処理によって、第１種目文字列Ｓ１０及び第２種目文字列Ｓ２０を検出するようになっている。なお、このとき、第１種目文字列Ｓ１０又は第２種目文字列Ｓ２０の一方しか検出できない場合もあるが、この場合の処理は後述する。

文字列抽出処理について説明する。文字列抽出処理は、撮像画像から、第１種目文字列Ｓ１０に対して設定された表示予定領域（後述の枠Ｗ１２）に存在する第１内容文字列Ｍ１０、及び、第２種目文字列Ｓ２０に対して設定された表示予定領域（後述の枠Ｗ２２）に存在する第２内容文字列Ｍ２０を抽出する処理である。

第１種目文字列Ｓ１０及び第２種目文字列Ｓ２０に対して設定される表示予定領域を図２に示す。つまり、第１種目文字列Ｓ１０を隙間なく囲む枠Ｗ１１を設定し、この枠Ｗ１１の上端から上方に距離Ｙ１１したＹ座標に位置する上辺、枠Ｗ１１の下端から下方に距離Ｙ１２離間したＹ座標に位置する下辺、及び、枠Ｗ１１の右端と同じＸ座標に位置する左辺、当該左辺から右方向に距離Ｘ１だけ離間した右辺で囲まれる枠Ｗ１２を設定する。この枠Ｗ１２が第１種目文字列Ｓ１０に対する表示予定領域である。また、第２種目文字列Ｓ２０についても同様にして枠Ｗ２２を設定する。枠Ｗ２２が第２種目文字列Ｓ２０についての表示予定領域である。

次に、文字列評価処理について説明する。制御部Ｈは、第１内容文字列Ｍ１０に使用される設定文字属性を第１種目文字列Ｓ１０に対応付けて、及び、第２内容文字列Ｍ２０に使用される設定文字属性を第２種目文字列Ｓ２０に対応付けて、予め記憶するように構成されている。すなわち、制御部Ｈが、内容文字列に使用される文字の属性である設定文字属性を種目文字列に対応づけて予め記憶するように構成されている。また、本実施形態では、設定文字属性は物品Ｂの種別に対応付けて記憶されている。
文字列評価処理は、文字列抽出処理によって複数の文字列を抽出した場合に、制御部Ｈに記憶された設定文字属性に基づいて適正度を評価する処理である。
種目文字列に対する表示予定領域に複数の文字列が検出される場合がある。例えば、図７（ａ）に示すように、複数の文字情報が記載されたラベルＲが表示予定領域に相当する箇所に貼付された場合等である。このような場合、図７（ｂ）に示すように、読み取った複数の内容文字列について、例えば文字の上下方向の寸法に基づく適正度の評価値である高さスコアと、文字の書体に基づく適正度の評価値である書体スコアを算出し、そのトータル値を比較し、最もトータル値が高い内容文字列をその種目文字列に対応付ける。

次に、抽出文字判定処理及び認識結果置換処理について説明する。これは、図８に示すように、文字列抽出処理を実行した結果、内容文字列の文字列における文字が誤読された場合に、その誤読された文字を強制的に修正するための処理である。
制御部Ｈは、図９に示すように、内容文字列に使用される文字の候補である認識候補文字を種目文字列に対応づけて予め記憶するとともに、認識候補文字の少なくとも１つについて、当該認識候補文字に類似する文字として予め設定された少なくとも１つの誤読想定文字を当該認識候補文字に対応付けて記憶するように構成されている。
抽出文字判定処理は、種目文字列についての表示予定領域に対して実行した文字列抽出処理にて抽出した内容文字列の夫々の文字について、上記認識候補文字であるか否かを判定する処理である。また、認識結果置換処理は、図１０に示すように、抽出文字判定処理により認識候補文字でないと判定された文字が誤読想定文字である場合には、当該誤読想定文字を当該誤読想定文字に対応付けられている認識候補文字と置換する認識結果置換処理を実行する処理である。すなわち、図１０の例では、誤読想定文字である「Ｉ」を認識候補文字の「１」に置換している。

次に、制御部Ｈが実行する制御について図４〜図６のフローチャートに基づいて説明する。
制御部Ｈは、物品Ｂが撮像好適位置に到達したことをリミットスイッチＳＷが検出したことを検知すると、撮像装置５０に撮像を指令してその撮像画像を取得する（ステップ＃１０１、＃１０２）。
続いて、バーコードリーダによって読み取られた当該物品ＢのバーコードＢＣから物品種別ＩＤを取得し、その物品種別ＩＤに相当する物品Ｂの仕様情報を取得する（ステップ＃１０３）。
制御部Ｈは、引き続き、撮像画像より情報表示面Ｂｈに対応する領域を切出す（ステップ＃１０４）。情報表示面Ｂｈに対応する領域の切出しには、上述の物品Ｂの仕様情報における寸法情報を用いてもよいし、撮像画像における背景と物品Ｂとの境界を認識して物品Ｂに対応する部分を抽出するようにしてもよい。

次に、制御部Ｈは、ステップ＃１０４で切出した画像に対して、種目文字列検出処理を実行する（ステップ＃１０５）。
引き続き、制御部Ｈは、種目文字列検出処理で検出した種目文字列数が１つであるか２つであるかを判別する（ステップ＃１０６）。なお、ここで種目文字列が３つ検出されたときは、エラー処理（作業者に読み取りエラーが発生したことを通知する処理）に移行する。ステップ＃１０６にて、検出した種目文字列数が２つであると判別すると、制御部Ｈは、検出された種目文字列夫々について表示予定領域を設定する（ステップ＃１０８）。

制御部Ｈは、上記第１種目文字列Ｓ１０については枠Ｗ１２に存在する文字を抽出する文字列抽出処理を、第２種目文字列Ｓ２０については枠Ｗ２２に存在する文字を抽出する文字列抽出処理を、夫々実行する（ステップ＃１０９）。
ステップ＃１０９において、枠Ｗ１２、又は枠Ｗ２２に２つ以上の内容文字列が抽出されると、制御部Ｈは、引き続き、文字列評価処理を実行し（ステップ＃１１２）、設定適正条件を満たす内容文字列を、その種目文字列に対応する内容文字列として選定する（ステップ＃１１３）。尚、本実施形態においては、設定適正条件は、上述のように高さスコアと書体スコアとのトータル値が最も高いものという条件である。

制御部Ｈは、ステップ＃１０９で枠Ｗ１２又は枠Ｗ２２において抽出された内容文字列が１つであった場合、又は、上記ステップ＃１１３の処理が終了すると、引き続き、内容文字列の文字数が、種目文字列に対応付けて制御部Ｈに記憶された予定文字数未満か否かを判別する（ステップ＃１１０）。
ステップ＃１１０で内容文字列の文字数が予定文字数未満であると判別すると（ステップ＃１１０：Ｎｏ、図１１（ａ）、図１１（ｂ）のような場合）、制御部Ｈは、表示予定領域を図１１（ｃ）に示すように設定寸法Ｘ１ａだけ拡張し（ステップ＃１１１）、引き続きステップ＃１０８に戻って拡張後の表示予定領域に対して文字列抽出処理を実行する。

ステップ＃１０６にて、検出した種目文字列数が１つであると判別すると、制御部Ｈは、検出した種目文字列に対して表示予定領域を設定する（ステップ＃１１４、図１２参照）。続いて、ステップ＃１１４にて設定した表示予定領域に対して文字列抽出処理を実行し、抽出した内容文字列数が１つか、又は２つかを判別する（ステップ＃１１５）。ステップ＃１１５にて抽出した内容文字列数が２つと判別したときは、抽出した内容文字列と一方の種目文字列とを対応付ける（ステップ＃１１６）。ステップ＃１１５にて抽出した内容文字列数が２つと判別したときは、続いて、抽出した一方の内容文字列と一方の種目文字列とが対応するものか否かを判別し（ステップ＃１１７）、対応するものであれば（ステップ＃１１７：Ｙｅｓ）、他方の内容文字列と他方の種目文字列とを対応付ける（ステップ＃１１８）。ステップ＃１１７にてＮｏと判別すると、エラー処理を行う。ステップ＃１１６又はステップ＃１１８の処理の実行後、引き続きステップ＃１１０の処理を行う。

制御部Ｈは、ステップ＃１１０で内容文字列の文字数が予定文字数以上であると判別すると（ステップ＃１１０：Ｙｅｓ）、続いて、上述した抽出文字列判定処理を行う（ステップ＃１２１）。この結果、認識結果置換処理が必要と判別されれば認識結果置換処理を実行し（ステップ＃１２２：Ｙｅｓ、＃１２３）、認識結果置換処理が必要ないと判別された場合（ステップ＃１２２：Ｎｏ）、又は、ステップ＃１２３の処理が終了すると、以上の処理にて第１種目文字列Ｓ１０及び第２種目文字列Ｓ２０に対応付けられた第１内容文字列Ｍ１０及び第２内容文字列Ｍ２０に基づいて物品情報を認識する物品情報認識処理を実行する（ステップ＃１２４）。

すなわち、制御部Ｈは、撮像画像において物品情報の種別を示す文字列である種目文字列を検出する種目文字列検出処理と、種目文字列検出処理にて検出された種目文字列に基づいて、種目文字列に対応する物品情報を示す文字列である内容文字列が表示されていると予定される表示予定領域を撮像画像に設定し、且つ、表示予定領域に存在する内容文字列を抽出する文字列抽出処理と、文字列抽出処理にて抽出した前記内容文字列に基づいて前記物品情報を認識する物品情報認識処理と、を実行する。

また、制御部Ｈは、種目文字列ついての表示予定領域に対して実行した文字列抽出処理にて抽出した内容文字列について、設定文字属性に基づいて適正度を評価する文字列評価処理を実行し、物品情報認識処理において、文字列評価処理にて評価された内容文字列の適性度が設定適正条件を満たす場合に、当該内容文字列が示す内容を物品情報として認識する。

さらに、制御部Ｈは、種目文字列検出処理において異なる２つの種目文字列の夫々を検出自在に構成され、かつ、種目文字列検出処理により異なる２つの種目文字列のうち一方の種目文字列のみが検出され、当該一方の種目文字列についての表示予定領域に２つの内容文字列を抽出した場合において、抽出された２つの内容文字列のうち一方の内容文字列が一方の種目文字列に対応する物品情報と認識したときには、抽出された２つの内容文字列のうち他方の内容文字列を、異なる２つの種目文字列のうち他方の種目文字列に対応する物品情報と認識する。

〔別実施形態〕
（１）上記実施形態では、種目文字列検出処理において、種目文字列として、第１種目文字列Ｓ１０と第２種目文字列Ｓ２０の２つを検出するように構成する例を示したが、種目文字列検出処理において、種目文字列を１つ又は３つ以上検出する構成としてもよい。種目文字列を１つのみ設定した場合、図４〜図６のフローチャートにおけるステップ＃１０６及びステップ＃１１４〜ステップ＃１１９の処理は不要となる。
また、種目文字列検出処理にて検出する種目文字列数を、物品種別ＩＤに基づいて物品データベースＤＢより取得する構成としてもよい。この場合、種目文字列検出処理において検出した種目文字列数が物品種別ＩＤに基づいて物品データベースＤＢより取得した予定種目文字列数よりも少ない場合には、フローチャートのステップ＃１１９に示すようなエラー処理を行う構成としてもよい。

（２）上記実施形態では、物品Ｂの情報表示面Ｂｈに表示されるバーコードＢＣをバーコードリーダで読み取る構成を説明したが、このような構成に限定されるものではなく、バーコードＢＣも撮像装置５０の撮像画像に基づいて検出するようにしてもよい。また、バーコードＢＣに代えて、ＲＦＩＤ等を用いる構成としてもよい。
また、上記実施形態では、バーコードＢＣ等の物品種別ＩＤに基づいて物品Ｂの物品仕様に係る情報を物品データベースＤＢから取得する構成としたが、コンベヤコントローラＣ１が上位管理装置Ｈｕの指令に基づいて物品Ｂを撮像好適位置に搬送するように構成し、物品データベースＤＢが上位管理装置Ｈｕによって搬送を指令されている物品Ｂの物品仕様に係る情報を制御部Ｈに送信するように構成してもよい。

（３）上記実施形態では、設定文字属性を内容文字列に使用される文字の書体及び内容文字列における文字の上下方向の寸法とする構成を説明したが、その一方のみを設定文字属性としてもよい。また、文字の書体及び文字の上下方向の寸法以外の属性、例えば、文字数を含めて３つの設定文字属性を設定する等、文字のどのような属性を設定文字属性とするかは任意である。

（４）上記実施形態では、内容文字列に使用される文字の候補である認識候補文字について、当該認識候補文字に類似する文字として予め設定された１つの誤読想定文字を当該認識候補文字に対応付けて記憶する構成としたが、１つの認識候補文字について２つ以上の誤読想定文字を対応付けてもよい。例えば、誤読想定文字としての「Ｉ（英大文字“アイ”）」、「ｉ（英小文字“アイ”）」、「Ｌ（英大文字“エル”）」「ｌ（英小文字“エル”）」と認識候補文字としての「1（数字“イチ”）」に対応付ける等が考えられる。

５０ 撮像装置
Ｂ 物品
Ｂｈ 情報表示面
Ｊ 物品情報認識部
Ｍ１０、Ｍ２０ 内容文字列
Ｓ１０、Ｓ２０ 種目文字列
Ｗ１２、Ｗ２２ 表示予定領域
Ｘ１ａ 設定寸法

Claims (7)

1. 物品における情報表示面を撮像する撮像装置と、
   前記撮像装置の撮像画像に基づいて前記情報表示面に表示された物品情報を認識する物品情報認識部と、が設けられた物品情報認識装置であって、
   前記物品情報認識部が、前記撮像画像において前記物品情報の種別を示す文字列である種目文字列を検出する種目文字列検出処理と、前記種目文字列検出処理にて検出された前記種目文字列に基づいて、前記種目文字列に対応する物品情報を示す文字列である内容文字列が表示されていると予定される表示予定領域を前記撮像画像に設定し、且つ、前記表示予定領域に存在する前記内容文字列を抽出する文字列抽出処理と、前記文字列抽出処理にて抽出した前記内容文字列に基づいて前記物品情報を認識する物品情報認識処理と、を実行する物品情報認識装置。
2. 前記物品情報認識部が、前記内容文字列に使用される文字の属性である設定文字属性を前記種目文字列に対応づけて予め記憶するように構成され、かつ、
   前記種目文字列ついての前記表示予定領域に対して実行した前記文字列抽出処理にて抽出した前記内容文字列について、前記設定文字属性に基づいて適正度を評価する文字列評価処理を実行し、前記物品情報認識処理において、前記文字列評価処理にて評価された前記内容文字列の適性度が設定適正条件を満たす場合に、当該内容文字列が示す内容を前記物品情報として認識するように構成されている請求項１に記載の物品情報認識装置。
3. 前記設定文字属性が、前記内容文字列に使用される文字の書体である請求項２に記載の物品情報認識装置。
4. 前記設定文字属性が、前記内容文字列における文字の上下方向の寸法である請求項２又は３に記載の物品情報認識装置。
5. 前記物品情報認識部が、前記内容文字列の文字数として定められた予定文字数情報を前記種目文字列に対応づけて予め記憶するように構成され、かつ、前記文字列抽出処理を実行した結果、その文字列抽出処理にて抽出された前記内容文字列の文字数が前記予定文字数情報にて規定された文字数に満たない場合には、前記表示予定領域を設定寸法だけ拡張した拡張後の表示予定領域に対して前記文字列抽出処理を実行するように構成された請求項１に記載の物品情報認識装置。
6. 前記物品情報認識部が、
   前記内容文字列に使用される文字の候補である認識候補文字を前記種目文字列に対応づけて予め記憶するとともに、前記認識候補文字の少なくとも１つについて、当該認識候補文字に類似する文字として予め設定された少なくとも１つの誤読想定文字を当該認識候補文字に対応付けて記憶するように構成され、かつ、前記種目文字列ついての前記表示予定領域に対して実行した前記文字列抽出処理にて抽出した前記内容文字列の夫々の文字について、前記認識候補文字であるか否かを判定する抽出文字判定処理と、前記抽出文字判定処理により前記認識候補文字でないと判定された文字が前記誤読想定文字である場合には、当該誤読想定文字を当該誤読想定文字に対応付けて記憶されている前記認識候補文字と置換する認識結果置換処理を実行する請求項１〜５の何れか１項に記載の物品情報認識装置。
7. 異なる２つの属性の前記物品情報に対応する異なる２つの前記種目文字列が、前記物品における前記情報表示面の異なる位置に表示され、
   前記物品情報認識部が、前記種目文字列検出処理において異なる２つの前記種目文字列の夫々を検出自在に構成され、かつ、前記種目文字列検出処理により異なる２つの前記種目文字列のうち一方の前記種目文字列のみが検出され、当該一方の種目文字列についての前記表示予定領域に２つの前記内容文字列を抽出した場合において、抽出された２つの前記内容文字列のうち一方の内容文字列が一方の種目文字列に対応する物品情報と認識したときには、抽出された２つの前記内容文字列のうち他方の内容文字列を、異なる２つの前記種目文字列のうち他方の種目文字列に対応する物品情報と認識するように構成された請求項１〜６の何れか１項に記載の物品情報認識装置。

Images