JP2018042067A - 画像処理システム、画像処理方法、情報処理装置 - Google Patents

画像処理システム、画像処理方法、情報処理装置 Download PDF

Info

Publication number
JP2018042067A
JP2018042067A JP2016173939A JP2016173939A JP2018042067A JP 2018042067 A JP2018042067 A JP 2018042067A JP 2016173939 A JP2016173939 A JP 2016173939A JP 2016173939 A JP2016173939 A JP 2016173939A JP 2018042067 A JP2018042067 A JP 2018042067A
Authority
JP
Japan
Prior art keywords
image
image processing
specific document
information
fax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016173939A
Other languages
English (en)
Inventor
由希子 吉岡
Yukiko Yoshioka
由希子 吉岡
俊典 ▲高▼木
俊典 ▲高▼木
Shunsuke Takagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016173939A priority Critical patent/JP2018042067A/ja
Publication of JP2018042067A publication Critical patent/JP2018042067A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】画像データに効率的に画像処理を施す画像処理システムを提供すること。【解決手段】第1の画像処理装置と第2の画像処理装置とが通信する画像処理システムであって、前記第1の画像処理装置は、書類から生成された画像データを受信する受信手段と、前記画像データに対し第1の画像処理を行う第1の画像処理手段と、前記第1の画像処理の結果に基づいて前記画像データから特定書類画像を検出する仕分け手段と、前記仕分け手段により仕分けられた前記特定書類画像を前記第2の画像処理装置に送信する送信手段と、を有する。【選択図】図1

Description

本発明は画像処理システム、画像処理方法及び情報処理装置に関する。
従来、企業と受注業者との発注業務は、電話で当事者が会話しながら伝票などに手書きしたり、企業側が書いた伝票を受注業者に郵送したりしていた。また、FAXが普及すると、伝票の送信にFAXが活用されるようになった。さらに、近年では、このような発注業務をコンピュータと通信回線を組み合わせたシステムを用いて電子的に行う電子発注システム(EOS)が普及するようになった。
EOSは紙による書類の作成が不要であり、インターネットを通じて発注を行うので、発注作業に要する時間を短縮でき書類の管理も不要となり、さらに間違いも少なくなるなど多くの利点がある。例えば、多くの種類の商品を大量に発注するチェーン店の本部などは、社内における発注書の審査・承認にいくつもの作業工数を要するため、情報が電子化されているEOSは大変便利である。
しかし、個々の店舗において急に発注する必要が生じた場合、店舗の担当者が本部に発注依頼しなければならないとすると、納入までに時間がかかりタイムリーな販売を行うことができない場合がある。このため、各店舗では店舗ごとに個別に商品の発注を行う場合が少なくない。この場合の発注にはEOSは使用されず、個々の店舗による発注は、EOSへの入力が考慮された所定の注文書又は紙による注文書などを担当者が作成し、FAXで送信することが多い。
受注業者の担当者は店舗から送信されたFAXをFAX装置で打ち出し(自動的に打ち出されることが多い)、受注システムへ注文内容を手で入力する。このような、FAXによる注文が増えると受注業者の担当者はその度に発注商品名、発注数量、発注金額などの情報を受注システムに入力しなければならず、作業量が膨大になり間違いも起こしやすくなってしまうため、FAXによる受注処理の効率化が求められている。
このような要請に対し、OCR(Optical Character Reader)処理を利用することが検討される(例えば、特許文献1参照。)。特許文献1には、FAX受信画像に含まれる数字又は文字を受信テキストデータとして認識し、受信テキストデータに基づいてデータ送信先を特定するFAXOCRシステムが開示されている。
しかしながら、特許文献1に記載されているFAXOCRシステムでは、サーバが受信したFAX受信画像の全体にOCR処理を施しているため、無駄なOCR処理が多いという問題がある。
まず、受注業者が受信するFAXには発注書の他に一般文書も含まれるため、受注業者が受信した全てのFAX画像をOCR処理する必要性は低い。そこで、FAX画像を仕分けることが検討されるが、仕分けるためにFAX画像の全体に画像処理を行う必要がない場合がある。このように、従来の技術ではOCR処理が効率よく行われていなかった。
本発明は、上記課題に鑑み、画像データに効率的に画像処理を施す画像処理システムを提供することを目的とする。
本発明は、第1の画像処理装置と第2の画像処理装置とが通信する画像処理システムであって、
前記第1の画像処理装置は、書類から生成された画像データを受信する受信手段と、前記画像データに対し第1の画像処理を行う第1の画像処理手段と、前記第1の画像処理の結果に基づいて前記画像データから特定書類画像を検出する仕分け手段と、前記仕分け手段により仕分けられた前記特定書類画像を前記第2の画像処理装置に送信する送信手段と、を有し、
前記第2の画像処理装置は、前記特定書類画像に対し第2の画像処理を行う第2の画像処理手段と、前記第2の画像処理の結果に基づいて前記特定書類画像の項目から項目情報を抽出する抽出手段と、を有し、
前記特定書類画像は、所定の領域に特定の書類に関する特定書類情報を有し、前記第1の画像処理手段は、前記所定の領域よりも大きく、かつ、前記特定書類画像が生成される際に想定される位置ずれを許容する範囲で、前記画像データから部分画像を抽出し、前記仕分け手段は、前記部分画像に基づいて前記特定書類画像か否かを判別し、前記抽出手段は、前記第2の画像処理手段が前記特定書類画像の前記位置ずれを補正した前記特定書類画像から、前記項目情報を抽出する。
画像データに効率的に画像処理を施す画像処理システムを提供することができる。
画像処理システムの概略的な動作を説明する図の一例である。 画像処理システムのシステム構成図の一例である。 MFPの概略的なハードウェア構成を示したブロック図の一例である。 PCの概略的なハードウェア構成を示したブロック図の一例である。 画像処理システムの機能を説明する機能ブロック図の一例である。 発注書の一例を示す図である。 発注書における会社名又はロゴの位置を説明する図の一例である。 傾き補正について説明する図の位置である。 ロゴやシンボルマークの検出に関する処理部の機能を説明する図の一例である。 特徴空間を説明する図の一例である。 MFPが行う動作手順を説明する図の一例である。 OCR処理により発注書か否かの判断処理を説明するフローチャート図の一例である。 類似画像検索により発注書か否かの判断処理を説明するフローチャート図の一例である。 前処理部の処理を説明するフローチャート図の一例である。 天地識別処理と天地補正処理の例を示す図である。 罫線(表組み)の検出で使用される交点を模式的に示す図の一例である。 FAX画像の縦ずれ・横ずれの一例を説明する図である。 OCR処理の手順を示すフローチャート図の一例である。 OCR処理を説明する図の一例である。 登録部が発注システム用DBに発注書の内容を登録する手順を示すフローチャート図の一例である。 MFPの基準位置登録部が会社マスタDBに判断テキスト位置や判断画像位置を登録する手順を示すフローチャート図の一例である。 操作表示部に表示される画面例を説明する図の一例である。 MFPの基準位置登録部が会社マスタDBに判断テキスト位置や判断画像位置を追加して登録する手順を示すフローチャート図の一例である。
以下、本発明を実施するための画像処理システムと、画像処理システムが行う画像処理方法について図面を参照しながら説明する。
<概略的な動作>
図1は、本実施形態の画像処理システム100の概略的な動作を説明する図の一例である。受注業者はMFP(Multi-Function Peripheral)10とPC(Personal Computer)30を有している。MFP10はFAXを受信するFAX機能を有している。
(1)発注者がFAXで商品を発注する際、発注者FAX装置8から発注書6を受注業者5に送信する。図1の受注業者5は受注作業が行われる拠点又は受注業者としての法人などを意味する。また、発注者は、商品等を発注する法人又はその担当者などをいう。
(2)また、受注業者には発注書6以外の一般文書7も送信される。一般文書7を送信するFAX装置を一般FAX装置9と称し、一般FAX装置9は一般文書7を受注業者に送信する。
(3)受注業者のMFP10は発注書6及び一般文書7を受信するが、受信した時には発注書6か一般文書7かを判別できない。このため、MFP10がFAX機能で受信したFAX画像の一部に、MFP10はFAX画像を仕分けるための画像処理を施し、受注処理のためのOCR(Optical Character Reader)処理を施すか否かを判断する。受注処理のためのOCR処理を施すFAX画像は発注書6であり、受注処理のためのOCR処理を施さないFAX画像は一般文書7である。
(4)一般文書7に仕分けられたFAX画像をMFP10は印刷する。
(5)発注書6に仕分けられたFAX画像をMFP10はPC30に送信する。
(6)PC30は傾き補正、天地補正、罫線検出、縦ずれ補正、横ずれ補正などに対応し、MFPよりも高精度にテキストデータを検出できるOCR機能を有している。また、このFAX画像は発注書の可能性が高いので、MFP10は受注処理のためFAX画像の全体にOCR処理を施す。PC30の処理能力はMFP10よりも高く、また、FAX画像が絞り込まれているので、受注業務が滞る可能性は低い。MFP10は比較的短時間に、FAX画像から受注処理に必要な商品名、商品コード、発注数量などを低い誤り率で検出できる。OCR処理により得られたテキストデータは発注システム用DB43に格納され、適宜、発注システムに送信される。
このように、本実施形態の画像処理システム100は、FAX機能で受信したFAX画像の一部のみにMFP10が画像処理を施して仕分けするので、MFP10が費やすリソースを削減できる。また、MFP10は受注処理のためのOCR処理を行う必要がない。また、PC30がOCR処理を施すのは発注書6だけなので、PC30が全てのFAX画像にOCR処理を施す必要がない。
<用語について>
書類とは、何らかの情報が記載されたシート状の有体物である。あるいは、情報が電子化され画像データに変換されうるシート状の物体である。本実施形態では、書類として発注書を例に説明する。発注書とは発注する企業が、発注内容を記載して受注先の企業に提出する書類である。発注書の他、画像データとして送信される情報がOCR処理により文字コードなどに変換される書類であれば、発注書以外でも好適に適用できる。例えば、見積書、納品書、受領書、請求書、領収書、契約書などにも適用できる。また、例えば、住民表、申告書などの法的書類、役所への提出書類などは文字コードなどに変換されると手入力が不要になる。また、一般のオフィスで使用される報告書などでもよい。
第1の画像処理は、画像データを仕分けるために必要な情報を画像データから取得、抽出、又は、検出する処理である。あるいは、画像データが所定の書類であるか否かを判断するための情報を取得する処理である。本実施形態では、画像データの一部へのOCR処理又は類似画像検索が挙げられる。
特定書類画像とは、不特定の書類の画像データと対比される用語であり、特定の書類の画像データをいう。すなわち、目的の情報が記載された書類から生成された画像データである。本実施形態では例えば発注書のFAX画像が例として挙げられる。
第2の画像処理は、画像データから目的の情報を取得、抽出、又は、検出する処理である。本実施形態では、例えばOCR処理が挙げられるが、特定書類画像によっては、人、写真又は任意のマークを取り出すパターンマッチングなどでもよい。
所定の項目情報は、第2の画像処理において取得の対象となる目的の情報である。発注書6の場合は、受注処理に使用される情報、又は商品に関する情報等である。発注書6以外では、書類によって、氏名、電話番号、住所、マイナンバーなど目的の情報は様々である。
特定書類情報とは、特定の書類に関する情報である。あるいは、特定の書類であることを判断するための情報である。したがって、特定の書類によって特定書類情報は変わりうる。また、判断方法によって特定の書類は同じでも特定書類情報が異なってよい。例えば特定の書類が発注書の場合、特定書類情報は会社名又は会社名を特定するための情報であるが、この他、発注書という文字でもよいし、商品名・商品コードなど発注書を意味する文字列でもよい。
部分画像とは、画像データの一部をいう。あるいは、特定書類情報が記載されている画像データの一部である。
出力とは、画像データを視認可能な態様に加工することをいう。例えば、紙文書に印刷すること、ディスプレイに表示することなどをいう。
OCR処理とは、印刷されたり手書きされた文字等を、スキャナやデジタルカメラによって画像データに変換し、この画像データの文字等を文字コードに変換する処理をいう。文字等には、0〜9の数字、+、!及び%等の記号を含む。また、日本語や英語などの言語に応じてOCR処理される。
<受注時の作業について>
説明の便宜上、FAXを利用した従来の受注業務を説明する。店舗ごとに発注する場合、個々の店舗の担当者(画像処理システム100のユーザ)は、紙による発注書6を作成しFAXを受注業者に送信する。しかし、これら店舗がいわゆる同じ系列のチェーン店である場合、各店舗が同じ書式の発注書6をFAXで送信する。つまり、会社名はチェーン店を展開する会社の名前で同じだが、店舗名だけが異なる。
受注業者から見ると書式と会社名は同じで店舗名だけが異なる発注書6を一日に数百件も受領する。受注業者の担当者は、まず発注者の会社名で仕分けを行い、次いで店舗ごとに発注書6の内容を受注システムへ入力する。例えば、店舗ごとに発注された商品名、発注数量、発注金額などの情報を受注システムに入力する。
このような手作業を低減するために、OCR処理が利用される場合がある。受注業者の担当者はMFP10などのFAX装置で印刷された発注書6を、発注者ごとに仕分けする。次いで、印刷された発注書6のうち特定の発注者の注文書をスキャナでスキャンして画像データ化し、インターネットによるデータ送信や光ディスクへ記録することによりPC30に転送する。
転送された発注書6はPC30内でのOCR処理や手作業による入力によりテキストデータ化され、店舗名・商品名・発注数量・発注金額などの情報が受注システムに入力される。
このように、OCR処理を利用する場合でも、FAX装置が印刷した発注書6(紙文書)を担当者が手作業で仕分けし、仕分け後の発注書6を、再度、画像データに変換する必要がある。また、FAX装置が印刷した紙文書はFAX発信時の読み取り(スキャン)で傾いている場合が多く、画像データ化の2度目の読み取り(スキャン)でさらに傾くことになる。傾いた画像データに対しPC30がOCR処理を行うと読み取り精度が低下する可能性が高くなる。
さらに、発注書6のような同じ書式に記載される文書は、罫線内の決まった領域に値が入力される。例えば、商品名、商品コード、個数などが1テーブルに記載されるような表のフォーマットの発注書6では、PC30が表の罫線を解析して各入力位置を特定する必要があり、左右の傾きだけでなく上下のずれもエラーの原因となる場合があった。
本実施形態の画像処理システム100は以上のような不都合を低減するため、手作業を少なくし、読み取り精度を向上させることが可能になる。
<システム構成例>
図2は、画像処理システム100のシステム構成図の一例である。画像処理システム100は、主に、MFP10とPC30とがネットワークNを介して接続された構成を有する。画像処理システム100がさらに、発注者FAX装置8及び一般FAX装置9を有していてもよい。
このネットワークNは、MFP10が設置されている施設などに構築されているLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークNが複数のLANを有する場合、ネットワークはWANやインターネットと呼ばれる。ネットワークNは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、MFP10が3GやLTEなどの携帯電話網に接続する機能を有する場合、ネットワークは携帯電話網とプロバイダネットワークである。
また、ネットワークNはMFP10とPC30を有線又は無線で1対1に接続するものでもよい。例えば、USBケーブル、イーサネットケーブル(登録商標)、無線LANのアドホックモード、ダイレクトWi−Fiなどがある。
MFP10は、複合機、画像形成装置又はプリンタなどと呼ばれる機器であるが、本実施形態ではFAX機能を有していればよい。さらに、好ましくは印刷機能を有するが、印刷はMFP10とは別のプリンタで行ってもよい。また、MFP10は、FAX機能と印刷機能の他、スキャナ機能及びコピー機能の1つ以上を有していてもよい。また、MFP10は、複写機、コピー機、オフィス機器などと呼ばれていてもよい。
PC30は、情報処理装置の一例である。PC30はサーバと呼ばれていてもよい。また、PC30がクラウドコンピューティングに対応していてもよい。クラウドとは、特定のハードウェア資源を意図しない場合に用いられる用語である。この場合、PC30は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成される。また、一台の情報処理装置の中の仮想化環境に構築されていたり、複数台の情報処理装置に跨って構築されたりしてもよい。
PC30は受注業者の施設内にある必要はなく、インターネット上など受注業者が利用できるリソースであればよい。
また、PC30が、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC(Personal Computer)などと呼ばれていてもよい。さらに、PC30がFAXを受信するMFP10とは別のMFP10で代用されてもよい。
受注業者のMFP10はFAX網Fを介して発注者FAX装置8、及び、一般FAX装置と通信可能に接続されている。FAX網Fは、従来から公衆交換電話網が利用されている。しかし、近年では、インターネットなどの電話交換機を介さないIP通信網が利用される場合も多い。
発注者FAX装置8、及び、一般FAX装置9はどちらもFAX画像の送受信を行う装置である。すなわち、少なくともスキャナ機能と送信機能を有する。送信する書類をスキャナ機能でFAX画像に変換し、FAX網に送信する。また、FAX網からFAX画像を受信して印刷機能で紙文書に変換する。発注者FAX装置8は本実施形態において発注書6を送信するFAX装置であり、一般FAX装置9は本実施形態において一般文書7を送信するFAX装置である。
受注業者は一例として問屋又は卸売業者と呼ばれ、発注者は一例として小売業者と呼ばれる。発注者は店頭の商品の在庫が不足すると、受注業者に商品を発注する。受注業者は在庫があればその商品を、在庫がない場合は商品を仕入れ、発注者に配送する。本実施例の発注者は同じ系列のチェーン店の各店舗であることが想定されるが、チェーン店には限られず、フランチャイズ店、個人店舗など、どのような店舗でもよい。また、受注業者は、これらの多様な店舗(又は個人でもよい)からの受注業務を行う業者であればよく、一般的な販売店でもよい。受注業者は多様な企業からFAX画像を受信する。
<ハードウェア構成>
<<MFP10のハードウェア構成について>>
図3は、MFP10の概略的なハードウェア構成を示したブロック図の一例である。MFP10は、コントローラ410とエンジン部(Engine)415とをPCI(Peripheral Component Interface)バス416で接続した構成となる。
コントローラ410は、MFP10全体の制御と描画、通信、操作表示部411からの入力を制御するコントローラである。エンジン部415は、PCIバス416に接続可能なプリンタエンジンなどであり、たとえば白黒プロッタ、1ドラムカラープロッタ、4ドラムカラープロッタ、スキャナ又はファックスユニットなどである。
なお、このエンジン部415には、プロッタなどのいわゆるエンジン部分に加えて、誤差拡散やガンマ変換などの画像処理部分が含まれる。
コントローラ410は、CPU401と、ノースブリッジ(NB)403と、システムメモリ(MEM−P)402と、サウスブリッジ(SB)404と、ローカルメモリ(MEM−C)407と、ASIC(Application Specific Integrated Circuit)406と、ハードディスクドライブ(HDD)408とを有し、ノースブリッジ(NB)403とASIC406との間をAGP(Accelerated Graphics Port)バス405で接続した構成となる。
また、MEM−P402は、ROM(Read Only Memory)402aと、RAM(Random Access Memory)402bと、をさらに有する。
CPU401は、MFP10の全体制御をおこなうものであり、NB403、MEM−P402及びSB404からなるチップセットを有し、このチップセットを介して他の機器と接続される。
NB403は、CPU401とMEM−P402、SB404、AGPバス405とを接続するためのブリッジであり、MEM−P402に対する読み書きなどを制御するメモリコントローラと、PCIマスタ及びAGPターゲットとを有する。
MEM−P402は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いるシステムメモリであり、ROM402aとRAM402bとからなる。
ROM402aは、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、RAM402bは、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込み及び読み出し可能なメモリである。
SB404は、NB403とPCIデバイス、周辺デバイスとを接続するためのブリッジである。このSB404は、PCIバスを介してNB403と接続されており、このPCIバスには、ネットワークI/F409なども接続される。ASIC406は、画像処理用のハードウェア要素を有する画像処理用途向けのIC(Integrated Circuit)であり、AGPバス405、PCIバス416、HDD408及びMEM−C407をそれぞれ接続するブリッジの役割を有する。
このASIC406は、PCIターゲット及びAGPマスタと、ASIC406の中核をなすアービタ(ARB)と、MEM−C407を制御するメモリコントローラと、ハードウェアロジックなどにより画像データの回転などをおこなう複数のDMAC(Direct Memory Access Controller)と、エンジン部415との間でPCIバスを介したデータ転送をおこなうPCIユニットとを有する。
ネットワークI/F409はネットワークNを介してPC30等と通信するための通信装置であり、例えばNIC(Network Interface Card)である。
このASIC406には、PCIバスを介してFCU(Facsimile Control Unit)412、USB(Universal Serial Bus)413、IEEE1394(the Institute of Electrical and Electronics Engineers 1394)インタフェース414が接続される。
操作表示部411はASIC406に直接接続されている。MEM−C407は、コピー用画像バッファ、符号バッファとして用いるローカルメモリである。HDD408は、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストレージである。
また、HDD408は、MFP10で実行されるアプリケーションのライセンスファイルを保存する。AGPバス405は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレーターカード用のバスインターフェースであり、MEM−P402に高スループットで直接アクセスすることにより、グラフィックスアクセラレーターカードを高速にするものである。
<<PC30のハードウェア構成>>
図4は、PC30の概略的なハードウェア構成を示したブロック図の一例である。本発明のPC30は、概ねパーソナル・コンピュータ、ワークステーション又はアプライアンス・サーバとして実装することができる。PC30は、CPU201と、CPU201が使用するデータの高速アクセスを可能とするメモリ202とを備える。CPU201及びメモリ202は、システム・バス203を介して、PC30の他のデバイス又はドライバ、例えば、グラフィックス・ドライバ204及びネットワーク・ドライバ(NIC)205へと接続されている。
グラフィックス・ドライバ204は、バスを介してLCD(ディスプレイ装置)206に接続されて、CPU201による処理結果をモニタする。また、ネットワーク・ドライバ205は、トランスポート層レベル及び物理層レベルでPC30をネットワークNへと接続して、MFP10とのセッションを確立させている。
システム・バス203には、さらにI/Oバス・ブリッジ207が接続されている。I/Oバス・ブリッジ207の下流側には、PCIなどのI/Oバス208を介して、IDE、ATA、ATAPI、シリアルATA、SCSI、USBなどにより、HDD(ハードディスクドライブ)209などの記憶装置が接続されている。HDD209はPC30の全体を制御するプログラム209pを記憶している。HDD209はSSD(Solid State Drive)でもよい。
また、I/Oバス208には、USBなどのバスを介して、キーボード及びマウス(ポインティング・デバイスと呼ばれる)などの入力装置210が接続され、システム管理者などのオペレータによる入力及び指令を受け付けている。
<画像処理システム100の機能について>
図5は、画像処理システム100の機能を説明する機能ブロック図の一例である。
<<MFP10>>
MFP10は、受信部11、読取部12、印刷部13、基準位置登録部14、補正部15、処理部16、仕分部17、及び、転送部18を有する。これら各機能は、図3に示したHDD408からMEM−P402に展開されたプログラム408pをCPU401が実行することにより実現されている。なお、このプログラム408pは、プログラム配信用のサーバから配信されてもよいし、USBメモリや光記憶媒体などの可搬性の記憶媒体に記憶された状態で配布されてもよい。
また、MFP10は、HDD408及びMEM−P402などにより実現された画像記憶部21及び会社マスタDB22を有する。画像記憶部21は、FAX画像を例えば時系列に記憶する記憶装置である。会社マスタDB22について表1で説明する。
Figure 2018042067
表1は会社マスタDB22が記憶する情報をテーブル状に示す表である。会社マスタDB22には受注業者がFAX画像を仕分けるための情報が登録されている。会社マスタDB22は、会社名、判断テキスト位置1,判断テキスト位置2、判断画像位置1、判断画像位置2、及び仕分方法の各項目を有する。判断テキスト位置i(iは自然数)は1つでも3つ以上でもよく、区別しない場合は単に判断テキスト位置という。判断画像位置1,2についても同様である。
会社名は発注者を受注業者が認識、識別又は特定するための名称である。判断テキスト位置1には、会社名と、会社名を判断するためにMFP10が画像処理を施すべきFAX画像の位置が登録されている。すなわち、会社名が記載されている可能性が高い位置が指定されている。会社名の他、電話番号、FAX番号、電子メールアドレス、発注者コードなど、発注者を特定できる情報が記載されていてもよい。また、発注者の企業が一社の場合、支店コードや支店コード(後述する店舗コード)により発注者を判断してもよい。
定型の書式の発注書6では会社名の位置は固定なので、受注業者の担当者等が予め判断テキスト位置を設定しておくことができる。判断テキスト位置は、例えば、左上コーナと右下コーナで特定される矩形範囲を示す。本実施形態では図7に示すように予めいくつかの位置が定められている。円形やその他の多角形でもよい。判断テキスト位置2には、会社名が存在する可能性がある別の判断テキスト位置が登録される。別の判断テキスト位置とは、発注書6で会社名が記載されている場所が一箇所でない場合や、定型以外の発注書6が使用された場合に、会社名が記載されている可能性が高い場所である。
判断画像位置1には、発注者のロゴやシンボルマーク、及び、これらが記載されている可能性が高い位置が登録されている。ロゴとは会社名や代表的な商標が美的にデザインされた模様の一種であり、シンボルマークとは会社を表すマークやアイコンなどの模様の一種である。ロゴとシンボルマークを厳密に区分しなくてもよい。発注書6には会社のロゴやシンボルマークが決まった場所に記載されていることが多く、受注業者の担当者等が予め判断画像位置を設定しておくことができる。指定方法は判断テキスト位置1,2と同様である。判断画像位置2は、発注書6で会社のロゴやシンボルマークが記載されている場所が一箇所でない場合や、定型以外の発注書6が使用された場合に、ロゴやシンボルマークが記載されている可能性が高い場所である。
仕分方法には、原則的にFAX画像のPC30への転送と登録されている。これは、発注書6をPC30でOCR処理するためである。ただし、大量にFAXで発注書6を送信する会社にはPC30へ転送と登録しておき、それ以外の会社の場合、担当者が手で入力するため印刷すると登録されていてもよい。
(MFP10の機能)
受信部11は、図3に示したCPU401がプログラム408pを実行しFCU412又はネットワークI/Fを制御すること等により実現され、発注者FAX装置8及び一般FAX装置9からFAX画像を受信する。
読取部12は、図3に示したCPU401がプログラム408pを実行しエンジン部415を制御すること等により実現され、紙文書を読み取って画像データに変換する。上記の判断テキスト位置1,判断テキスト位置2、判断画像位置1、判断画像位置2の登録時に紙文書を読み取る。
印刷部13は、図3に示したCPU401がプログラム408pを実行しエンジン部415を制御すること等により実現され、FAX画像を紙文書に印刷する。
補正部15は、図3に示したCPU401がプログラム408pを実行すること等により実現され、FAX画像に対し傾き補正等を行う。
処理部16は、図3に示したCPU401がプログラム408pを実行すること等により実現され、FAX画像の一部にFAX画像を仕分けるための画像処理を施す。つまり、受注処理のためのOCR処理を施すか否かを判断する。この画像処理は、例えば簡易的なOCR処理や類似画像検索である。
仕分部17は、図3に示したCPU401がプログラム408pを実行すること等により実現され、処理部16の処理結果を利用して、FAX画像をPC30に転送するか、又は、MFP10で印刷するかを判断する。
転送部18は、図3に示したCPU401がプログラム408pを実行しネットワークI/F409を制御すること等により実現され、FAX画像をPC30に送信する。なお、この場合は会社名が分かっているので、会社名もPC30に送信する。
印刷部13は、図3に示したCPU401がプログラム408pを実行しエンジン部415を制御すること等により実現され、FAX画像を紙文書に印刷する。
基準位置登録部14は、図3に示したCPU401がプログラム408pを実行すること等により実現され、判断テキストと判断テキスト位置又は判断画像と判断画像位置を会社マスタDB22に登録する。なお、処理部16がOCR処理のみを行う場合、判断画像と判断画像位置は登録されなくてもよく、類似画像検索のみを行う場合、判断テキスト位置と判断テキストは登録されなくてもよい。
<<PC30>>
PC30は、受信部31、前処理部32、OCR処理部33、及び、登録部34を有する。これら各機能は、図4に示したHDD209からメモリ202に展開されたプログラム209pをCPU201が実行することにより実現されている。なお、このプログラム209pは、プログラム配信用のサーバから配信されてもよいし、USBメモリや光記憶媒体などの可搬性の記憶媒体に記憶された状態で配布されてもよい。
また、PC30は、HDD209及びメモリ202などにより実現された画像記憶部41、発注システム用DB43、及び発注書DB42を有する。画像記憶部41は、MFP10から送信されたFAX画像を例えば時系列に記憶する記憶装置である。発注システム用DB43について表2で、発注書DB42を表3で説明する。
Figure 2018042067
表2は、発注システム用DB43に登録されている情報をテーブル状に示す表である。発注システム用DB43は、発注書6に記載された発注内容が登録されるデータベースである。受注業者の担当者は、FAX画像と発注システム用DB43の内容を照らし合わせ、変換ミスがないことを確認した上、発注システムに登録する。変換ミスがある場合は、担当者が修正する。
発注システム用DB43は、受注日時、会社名、会社コード、商品名、商品コード、及び、発注数量の各項目を有する。受注日時は、FAX網Fを介して発注書6をMFP10が受信した日時である。PC30がFAX画像を受信した日時でもよい。会社名は発注者の名称、会社コードは会社を特定するための情報、商品名は商品の名称、商品コードは商品を特定するための情報、発注数量は発注された商品の個数である。
Figure 2018042067
表3は、発注書DB42に登録されている情報をテーブル状に示す表である。発注書DB42は、各発注者の典型的(基本の)な発注書6の基本書式が登録されたデータベースである。発注書6の書式は一定でないものの、同じ発注者は同じ書式の発注書6を使用する場合が多い。また、発注書6には罫線や表組みが多用されているが、OCR処理で罫線を正しく検出しないと発注書6にOCR処理を施して得た発注内容に誤りが含まれるおそれがある。本実施形態では、各発注者の発注書6の書式が登録されているので、MFP10が発注者を特定できれば、発注者の発注書6の基本書式を特定できる。したがって、PC30は発注書6の書式に登録された罫線や表組みの位置と、FAX画像の罫線や表組みの位置を比較してFAX画像の横ずれや縦ずれを補正できる。また、OCR処理で表組みの構造を検出すれば、発注書6の書式と照らし合わせて各項目を特定し、項目内の発注内容を取り出せる。
なお、発注書DB42には発注書6の画像データそのものが記憶されていてもよいし、書式の特徴情報が登録されていてもよい。特徴情報とは、発注書6の特徴を示す情報であり、例えば、FAX画像の上端、下端、左端、右端から罫線までの距離、罫線と罫線の間隔などである。
また、発注書DB42には、項目の並び、及び、各項目に格納されている情報が登録されている。例えば、(株)ABCの発注書6は項目が横方向に並んでおり、項目1には商品名、項目2には数量、項目3には金額が登録されている。項目1〜3は発注書6の項目を特定するための情報であり、発注書6の各項目と1対1に対応付けられている。より具体的には、発注書6における各項目の位置が項目1〜3に登録されている。これにより、OCR処理により各項目をテキストデータに変換したPC30は、発注書6の各項目の情報を発注者の意図する内容で取得できる(例えば、商品名を誤って数量として取得することがない)。
(PC30の機能)
PC30の受信部31は、図4に示したCPU201がプログラム209pを実行しネットワーク・ドライバ205を制御すること等により実現され、MFP10からFAX画像を受信する。なお、PC30のIPアドレスはMFP10に予め登録されている。
前処理部32は、図4に示したCPU201がプログラム209pを実行すること等により実現され、OCR処理に必要な前処理を行う。例えば、傾き補正、天地補正、罫線検出、縦ずれ補正、横ずれ補正等を行う。
OCR処理部33は、図4に示したCPU201がプログラム209pを実行すること等により実現され、FAX画像にOCR処理を施して、テキストデータを取り出す。
登録部34は、図4に示したCPU201がプログラム209pを実行すること等により実現され、発注書DB42の発注書6の書式を参照して、OCR処理で得られたテキストデータ(発注内容)を発注システム用DB43に登録する。
<発注書6の一例>
図6は、発注書6の一例を示す図である。発注書6とは、発注者が商品を受注業者に発注するための所定の書式(様式)の書類(又は文書と称してもよい)である。同じ店舗や同じ系列のチェーン店であれば同じ書式の発注書6を使用する場合が多いが、各企業で使用する書式はまちまちであり、一定の書式が決まっているわけではない。
図6の発注書6には、発注書6という文字501、発注者のロゴ502、発注者の会社名503、支店名504、店舗コード505、発注リスト506、及び発注番号507等が記載されている。発注リスト506には商品名、商品コード及び発注数量などが記載されている。支店名504は店舗の名称であり、店舗コード505は店舗の識別情報である。これらは、チェーン店内(同じ会社名に対し)で重複しないように付与されているため一意であるが、別の会社とは重複するおそれがある。
なお、図6の発注書6は説明のための一例であり、発注システム用DB43に登録されうる情報を含んでいてもよい。一方、受注業者は商品コードと商品名が対応付いた商品DBを有することが一般なので、発注システム用DB43に登録されうる情報を全て含まなくてよい場合もある。
受注業者の担当者は、発注書6という文字501や発注リスト506を見て、MFP10が受信したFAX画像が発注書6であると判断する。また、MFP10が発注書6という文字列を検出することもそれほど困難ではない。しかし、受注処理の目的である発注リスト506の内容を正確に検出しようとすると、OCR処理がFAX画像の全体に対して必要になり、縦ずれや横ずれなどを補正する必要もあるためMFP10の処理負荷が大きくなってしまう。この場合、FAX画像の受信頻度に対し発注書6かどうかの判断が遅れてしまうおそれが高い。
これに対し、発注書6であるどうかを判断するのであれば、比較的、小さい負荷の画像処理で対応できる。
そこで、本実施形態ではMFP10が、発注書6と一般文書7にFAX画像を仕分ける。これにより、MFP10は少ない処理負荷又はリソースでFAX画像の仕分けが可能になる。
発注書6には発注書6であることを示す情報と、発注者に関する情報がある。MFP10が発注書6を仕分けるためには、発注書6であることを示す情報を検出することが確実である。発注書6であることを示す情報には以下の情報がある。
・発注書6という文字501
・発注リスト506
・発注番号507
発注リスト506を抽出することは、発注書6の全体の画像処理が必要になり処理負荷が増大するおそれがある。そこで、発注書6という文字501や発注番号507など「発注」という文字列を抽出することが考えられる。この場合は、判断テキスト位置が発注書6という文字501や発注番号507に対し適切な位置に設定される。このような処理は処理負荷もそれほど大きくないが、「発注」という言葉が含まれる一般文書もあるため、一般文書をPC30に仕分ける可能性がある。しかし、この場合、PC30でOCR処理した場合に会社名や罫線などから発注書6でないと判断できる。また、発注書6という文字列はFAX画像が縦ずれした場合にFAXのヘッダー(FAX装置が自動的に付与する送信元の社名、日付、宛先等)と重なるおそれがある。この場合、一般文書として印刷されるが、このような発注書6は多くないので、この場合は担当者が対応すればよい。
次に、発注者に関する情報には以下の情報がある。
・発注者のロゴ502
・発注者の会社名503
・支店名504
・店舗コード505、
また、これらの他、電話番号、FAX番号、電子メールアドレス、発注者コードなども発注者に関する情報である。したがって、受注業者から見た発注者が1社の場合、これらの文字列(数字列を含む)を抽出して、例えば所定の会社名のものであれば、発注書6であることを特定できる。また、受注業者から見た発注者が2社以上の場合、これらの文字列(数字列を含む)を抽出して、会社マスタDB22と照合することで発注書6を特定できる。この場合、発注者が一般文書を送信した場合に一般文書を発注書6と誤認識する場合がある。しかし、この場合、PC30でOCR処理した場合に罫線などが検出されないので発注書6でないと判断できる。
発注者に関する情報を利用して発注書6を検出する方法では、会社マスタDB22が必要になるため、画像処理システム100にコストがかかる。しかし、発注者を振り分けて、発注者によって異なる処理が可能になるという利点がある。例えば、Aという発注者の発注書6はPC30で処理し、Bという発注者の発注書6は担当者が手で入力したり個別に対応したりしたい場合に便利である。そこで、本実施形態では、発注者に関する情報を利用して発注書6を検出する方法を説明する。ただし、発注書6であることを示す情報で発注書6を検出する方法も本実施形態で対応できる。
点線509で示す判断テキスト位置又は判断画像位置のように、会社名503やロゴ502等は発注書の一部の決まった位置に記載されることが多い。また、受注業者に発注する発注者は繰り返し発注することが多く、不特定の発注者が発注することは少ない。また、不特定の発注者であれば発注書6の数も少ないので、受注業者の担当者が個別に対応できる。MFP10は、判断テキスト位置又は判断画像位置から発注者に関する情報(図では会社名503、ロゴ502、支店名504、店舗コード505)を検出し、会社マスタDB22に登録されているかどうかに応じて発注書6かどうかを判断する。
<判断テキスト、判断画像の位置>
図7は、発注書6における会社名又はロゴ等の位置を説明する図の一例である。上記のように発注書6では、会社名又はロゴ等の位置はほぼ決まっている。一般に、右上がほとんどである。また、同じ店舗であれば会社名又はロゴ等の位置はほぼ固定である。
そこで、受注業者の担当者は予め、発注者となる店舗の発注書6の会社名又はロゴ等の位置を会社マスタDB22に登録しておく。図7では、5つの位置が登録されている。この5つの位置は、会社名やロゴ等が記載されている可能性が高い位置である。なお、右上側に2箇所の位置が登録されているのは、特に右上に会社名やロゴ等が記載されていることが多いため、細かく区切って登録されているためである。
位置の広さは狭いほどMFP10の処理負荷が低下するため好ましいが、狭すぎると会社名やロゴ等が位置からはみ出してしまい、MFP10がFAX画像を正しく仕分けできなくなる。逆に、位置の広さが広すぎると、MFP10の処理負荷が高くなってしまう。そこで、位置の広さは、FAX送信時の傾き、横ずれ又は縦ずれが生じても、会社名やロゴ等がはみ出さない程度に余裕を持って設定されることが好ましい。例えば、発注書6の長手方向には4〜5区分程度、短手方向には2〜3程度に区分されることが好適である。
担当者は図7の5つの位置から、登録する対象の会社の会社名又はロゴやシンボルマークを含む位置を考慮して、判断テキスト位置又は判断画像位置を選択する。このように担当者が選択するだけでよいので、作業を低減できる。
なお、担当者はこれら判断テキスト位置又は判断画像の位置を登録する対象の会社名をOCR処理で入力してもよいし、手で入力してもよい。また、判断テキスト位置又は判断画像位置のどちらに登録するかを選択しておく。
また、担当者が任意の位置を登録してもよい。判断テキスト、判断画像の位置の登録の際、受注業者の担当者は、発注書6をMFP10のスキャナ機能で読み取らせる。読取部12は発注書6を画像データに変換し、基準位置登録部14が操作表示部411に発注書6の画像データを表示する。担当者は、会社名やロゴ等が記載されている範囲よりもやや大きい範囲を指などで指定する。例えば、会社名やロゴ等が記載されている範囲の外接矩形のやや外側の左上コーナから右下コーナまで指をドラッグする。基準位置登録部14は、指定された左上コーナと右下コーナに、書類読取時の傾き、横ずれ及び縦ずれを考慮して判断テキスト位置又は判断画像位置を決定し会社マスタDB22に登録する。登録の詳細を図21〜23等で説明する。
<傾き補正について>
MFP10では負荷の高い処理は実行しない方が好ましいが、FAXで送信されたFAX画像は発注者FAX装置8や一般FAX装置9が文書を読み取る際に傾いている場合が多い。この場合、受信したFAX画像も傾いている。傾いたFAX画像を傾いたままOCR処理すると(会社名等を検出すると)、傾いていることにより処理部16が正確に会社名等を読み取ることができない場合が多い。例えば、誤ったテキストを検出する場合や、テキストを検出できない(処理エラー)場合がある。
そこで、本実施形態のMFP10では、処理部16がOCR処理を行う前に、補正部15がFAX画像の傾き補正を行う。傾き補正のような処理であれば、MFP10の処理負荷もそれほど高くならない。ただし、MFP10では傾き補正を含むOCR処理のための画像処理を一切行わなくてもよい。
図8は、傾き補正について説明する図の位置である。MFP10の補正部15は、FAX画像(すでに2値化されている)の文字の並び(行)や図形のエッジ部(直線部)を検出して、画像の傾きθを検出する。そして、この傾きθがゼロになるようにFAX画像を回転させる。FAX画像の傾きは発注書6の上辺がFAX装置のスキャナと平行になっていないために起こるので、例えばFAX画像の左上コーナを中心に回転させる。
補正する画像の傾きは、大半は数度、すなわち10度以下である(水平方向に対し)。補正部15は傾きが10度以下でない場合はエラーであると判断し、傾き補正しなくてもよい。また、補正部15はFAX画像のいくつか異なる場所で傾きを検出し、これらが10度以下である場合に、中央値や最頻値を傾きに決定することが好ましい。
なお、文字の並びを検出することは後述するように処理負荷が高く、図形などの直線部のみを検出することも好適である。例えば、罫線を検出するため、所定長さ以上に連続した黒画素を探索し、直線かどうかを判断する。連続した黒画素の任意の二点を通る直線を算出し、連続した黒画素の他の点がこの直線を通るかどうかにより、直線かどうかを判断できる。あるいは、ハフ変換を行うことで直線を検出できる。直線のうち傾きが10度以下の直線を検出できれば、この直線の傾きをFAX画像の傾きとして検出する。なお、垂直方向に対する傾きが10度以下の直線を検出してもよい。
<ロゴやシンボルマークの類似画像検索>
続いて、図9、図10を用いてFAX画像からロゴやシンボルマークを処理部16が検出する類似画像検索を説明する。
図9は、ロゴやシンボルマークの検出に関する処理部16の機能を説明する図の一例である。処理部16は、特徴抽出部16aとマッチング部16bを有している。特徴抽出部16aは、FAX画像の判断画像位置にある画像及び会社マスタDB22から取得した判断画像から画像の特徴量を抽出する処理を実行する。マッチング部16bはFAX画像の判断画像位置から抽出された特徴量と、会社マスタDB22に登録されている判断画像の特徴量とを比較し、FAX画像の判断画像位置に含まれる画像と特徴が類似する判断画像と対応付けられた会社名を会社マスタDB22から決定する。
なお、FAX画像の判断画像位置で指定される位置にロゴやシンボルマークが含まれているという前提では、エッジを検出してエッジで囲まれる範囲がロゴやシンボルマークの画像であると推定できる。
画像の特徴量としては、画像の色特徴(色ヒストグラム)、画像のエッジ特徴及び画像中のテクスチャ特徴が知られている。ただし、FAX画像が白黒の場合、色ヒストグラムは使用されない。
画像の色ヒストグラムは、適当な色空間(例えばLab,Luv,HSVなどが一般的)を複数の領域に分割し、画像の各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を全体のピクセル数により正規化することによって得ることができる。画像のエッジは、例えばsobelのようなエッジ抽出フィルタを用いて得ることができる。さらに、テクスチャは、同時生起行列(一定距離離れた2つのピクセル間の画素値の関係から模様を統計的に記述する方法)に基づくテクスチャ抽出によって得ることができる。あるいは、フーリエ変換やウェーブレット変換などの周波数解析によりテクスチャを検出してもよい。
特徴量の抽出によりFAX画像又は判断画像は、抽出した特徴量の種類毎に図10に示すような特徴空間で表される。マッチング部16bは、FAX画像又は判断画像の特徴量を図10に示す特徴空間にマッピングして、2つの特徴量が類似しているか否かを判断する。図10に示すポイント(黒点)は、特徴空間にマップされた画像の特徴量を示し、FAX画像のポイントと判断画像のポイント間の距離がFAX画像と判断画像の類似度となる。特徴量はベクトルデータとして扱えるので、ポイント間の距離をユークリッド距離などで算出するとこの距離を類似度として利用できる。また、画像の特徴量の種類に合わせて独自の距離を定義することもできる。
<MFP10の動作手順>
図11は、MFP10が行う動作手順を説明する図の一例である。図11の処理は、例えばMFP10の受信部11がFAX画像を受信するとスタートする。
まず、受信部11は受信したFAX画像を画像記憶部21に記憶させる(S10)。
次に、補正部15はFAX画像を画像記憶部21から読み出して、上記のように傾き補正を行う。補正部15は、判断テキスト位置1、判断テキスト位置2、判断画像位置1及び判断画像位置2にのみ傾き補正を行ってもよい。これにより、MFP10の処理負荷を低減できる。また、処理部16がロゴやシンボルマークなどの判断画像のみで発注書6か否かを判断する場合、傾き補正は行わなくてもよい。これは、画像の特徴量は傾きには影響されないためである。
次に、処理部16は傾き補正されたFAX画像に対し、発注書6か否かの判断処理を行う(S30)。この判断処理には、OCR処理を使用する方法と類似画像検索を使用する方法がある。まず、図12を用いて、判断処理としてOCR処理が行われる場合を説明する。
S1: 処理部16は、会社マスタDB22から判断テキスト位置1及び判断テキスト位置2を読み出す。会社マスタDB22に複数の発注先の会社が登録されている場合、判断テキスト位置1及び判断テキスト位置2の全てを読み出す。
S2: 処理部16は、判断テキスト位置1及び判断テキスト位置2を登録されている個数が多い順に並べる。図7に示したように、位置が5つの場合は、第2位置、第3位置、第1位置、第4位置、第5位置のように各位置の順番が決定される。
S3:処理部16は決定した順に、FAX画像から判断テキスト位置で決まる範囲をトリミングする。
S4:次に、処理部16はトリミングした範囲にOCR処理を施す。
S5:処理部16はテキストデータを検出できたか否かを判断する。テキストデータが検出されない場合、処理はステップS3に戻り、次の判断テキスト位置をトリミングして同様の処理が行われる。
S6:テキストデータが検出された場合、処理部16は、会社マスタDB22に検出したテキストデータが登録されているか否かを判断する。例えば、処理部16がトリミングした範囲から「ABC」というテキストを抽出し(認識し)、会社マスタDB22に「ABC」という会社名が登録されている場合、テキストデータが会社マスタDB22に登録されていると判断される。逆に、会社マスタDB22の「ABC」という会社名が、処理部16がトリミングした範囲のテキストデータに含まれているかどうかを判断してもよい。
S7:この場合、処理部16はFAX画像が発注書6であると判断する。また、トリミングした範囲から抽出された「ABC」というテキストにより会社マスタDB22の会社名を特定できる。
S8:一方、会社マスタDB22に抽出したテキストデータが登録されていない場合、処理部16は一般文書7であると判断する。
次に、図13を用いて、判断処理として類似画像検索が行われる場合を説明する。図13のステップS1〜S3は図12と同様である。
S4:処理部16は、トリミングした範囲及び会社マスタDB22の判断画像から画像の特徴量を抽出する。なお、会社マスタDB22の判断画像の特徴量は予め抽出しておくことで、図13の処理のたびに画像の特徴量を抽出する必要をなくすことができる。
S5:処理部16は、トリミングした範囲の特徴量と、会社マスタDB22の各判断画像の特徴量との距離をそれぞれ算出する。
S6:処理部16は、距離に基づいてトリミングした範囲の画像が会社マスタDB22に登録されているか否かを判断する。まず、各判断画像のうちトリミングした範囲の画像との距離が最も短い距離を決定する。そして、最も短い距離が閾値以下か否かを判断する。この閾値は、トリミングした範囲の画像と判断画像が同一と見なせる程度の距離であり、予め定められている。
S7:トリミングした範囲の画像が会社マスタDB22に登録されていると判断された場合、処理部16はFAX画像が発注書6であると判断する。また、距離が最も小さかった判断画像に対応付けられた会社名を会社マスタDB22から特定できる。
S8:トリミングした範囲の画像が会社マスタDB22に登録されていない場合、処理部16は一般文書7であると判断する。
ここで、OCR処理と類似画像検索は両方、行われてもよい。この場合、OCR処理と類似画像検索の両方で同じ結果(同じ会社名)が得られる場合に、該会社名を特定してもよいし、いずれか一方で会社名が検出できれば該会社名であると特定してもよい。前者はより正確に会社名を特定でき、後者は処理負荷を向上させずに会社名を特定できる可能性を向上できる。
図11に戻り、ステップS30に続いて、処理部16はステップS30の結果を使用して発注書6か否かを判断する(S40)。
ステップS40の判断がYesの場合、仕分部17は会社マスタDB22の仕分方法を参照し、PC30に転送するか印刷するかを判断する。ここでは、転送すると判断されたものとし、FAX画像と会社名を転送部18に転送させる(S50)。
ステップS40の判断がNoの場合、仕分部17はFAX画像を印刷部13に印刷させる(S60)。
発注書6が印刷された場合は、受注業者の担当者が紙文書を確認して手で入力すると共に、必要であれば後述する判断テキスト位置や判断画像位置の登録を行う。一般文書がPC30に転送された場合は、PC30によるOCR処理を受注業者の担当者がFAX画像と発注システム用DB43の登録内容を比較して確認する際に気づくため不都合はない。あるいは、そもそも発注内容がないのでPC30がその旨を検出し、FAX画像を担当者にメールなどで通知できる。
なお、判断テキスト位置1及び判断テキスト位置2の両方で同じ会社名が検出されることを条件にしてもよいし、判断テキスト位置1又は判断テキスト位置2の片方で会社名が検出されることを条件にしてもよい。前者はより正確に会社名を特定でき、後者は処理負荷を向上させずに会社名を特定できる可能性を向上できる。
なお、図11では、FAX画像が発注書6か否かでFAX画像が仕分けされているが、会社マスタDB22には発注者ごとに(会社ごと)転送先が登録されているので、発注書6をさらに仕分けることもできる。例えば、X社の発注書6はMFP10内でOCR処理をするなどである。
また、ステップS40の判断がYesの場合でも、転送部18がFAX画像をPC30に転送すると共に、印刷部13が印刷してよい。すなわち、発注書6の場合、PC30で受注処理のためにOCR処理されると共に、MFP10が印刷する。これにより、担当者は発注書6も紙文書で取得できる。一方、担当者は発注書6が、発注書6として判断されPC30に転送されたか、一般文書7として判断されたか不明になるので、MFP10は一般文書7と区別できる態様で発注書6を印刷することが好ましい。例えば、一般文書7とは別の所定の排紙トレイに排紙したり、発注書6に「受注処理済み」という文字等を追加して印刷したりする。これらにより、担当者は発注書6が処理済みであると判断できる。
<前処理部32によるOCR処理の前処理>
以上のようにして、発注書6のFAX画像と会社名がPC30に送信される。PC30の受信部31はFAX画像と会社名を対応付けて画像記憶部41に記憶させる。PC30の前処理部32は、OCR処理のためFAX画像に天地補正、傾き補正、罫線検出、縦ずれ補正、横ずれ補正等の前処理を行う。前処理とは、OCR処理の認識率を高めるための処理であり、必ずしも必須ではない。しかし、発注書のように正確さが求められるOCR処理では前処理が行われることが好ましい。
図14は、前処理部32の処理を説明するフローチャート図の一例である。以下、前処理を順番に説明する。なお、傾き補正がMFP10で行われている場合は、PC30は行わなくてよいためと、傾き補正についてはすでに説明したため省略する。
<<S20 天地補正>>
図15は、天地識別処理と天地補正処理の例を示す図である。天地識別処理では、画像の特徴量に基づいて画像の方向を識別する。画像を地図になぞらえて正しく表示された場合の上方を北と称する。天地識別結果により、現在のFAX画像の向き(東西南北)が分かる。図15(a)には西向きのFAX画像が、図15(b)には東向きのFAX画像が、図15(c)には南向きのFAX画像がそれぞれ示されている。
前処理部32は、文字部に傾き補正された状態で簡易的にOCR処理を行うことで、現在のFAX画像の向きを検出する。まず、FAX画像を像域分離するなどしてレイアウトを判断する。前処理部32は、FAX画像のレイアウトを判断することにより、文字部601、表組み602、図形603、その他などを識別する。ここでは、文字部601を検出できればよいので、連続した黒画素の外接矩形がほぼ同じ大きさで、このほぼ同じ大きさの外接矩形が複数並んで得られる領域が文字部である。
各文字の外接矩形の縦横比に基づき、OCR処理を行う文字を選択する。例えば、縦横比が50%以上かつ200%未満の文字をOCR処理の対象にする。これは、「一」や「1」など認識しても文字の方向を特定しにくい文字を除外するためである。また、前処理部32は文字サイズが閾値(例えば20ピクセル)以上の文字をOCR処理の対象にする。これは、同様の理由で「・」や「,」など小さい文字を除外するためである。
前処理部32は、OCR処理の対象となった文字の任意の100文字くらいにOCR処理を施す。OCR処理を文字の方向を90度ずつ変えながら繰り返す。そして、方向ごとに、どのくらいの確度で文字を認識できるかを比較し、最も確度の高い方向が北向きとなるように天地補正する。このようにして北向きにFAX画像が補正される。
<<S30 罫線検出>>
図16は罫線(表組み)の検出で使用される交点を模式的に示す図の一例である。罫線(表組み)は、図16の交点を一部に有している。前処理部32は、FAX画像からこれらの交点を検出して罫線(表組み)を検出する。
具体的には、前処理部32は、直線を検出すると任意の場所から直線の黒画素を追跡し、直角に分岐している部分(追跡してきた方向を除き2又は3方向に黒画素が連続する)を交点として検出する。この交点を中心に所定長の線分をトリミングして、図16の部品とマッチングすると交点の種類を特定できる。
FAX画像の全ての交点について交点の種類を特定すると、罫線(表組み)を検出できたことになる。なお、ノイズを省くため、所定長以上の直線と接続された交点のみを抽出してもよい。
このように、罫線(表組み)の全体が検出されたので、罫線(表組み)の構造が明らかになる。例えば、罫線(表組み)のレコード数とカラム数が特定される。また、罫線の位置(FAX画像の上端、下端、左端、右端から罫線までの距離)も特定される。また、発注書DB42に登録されている発注書6の書式と比較することにより、MFP10が判断した会社名が正しいかどうかを検証できる。
<<S40 縦ずれ・横ずれの補正>>
FAXによるスキャン時にFAX画像が縦ずれ・横ずれを起こすことがある。原因は種々であるが、例えばスキャン時に発注書6の紙送りに不具合が発生し、発注書6が紙送りされていないのにFAX画像の読み取りだけが進んでしまったような場合に縦ずれが発生する。また、発注者の担当者が発注書6を発注者FAX装置8に置く際に場所がずれてしまった様な場合に横ずれが発生する。
図17は、FAX画像の縦ずれ・横ずれの一例を説明する図である。図17(a)は縦ずれ及び横ずれしていない状態の発注書6を示し、図17(b)は縦ずれ及び横ずれしている状態の発注書6を示す。
縦ずれ量と横ずれ量は、発注書DB42の発注書6の発注リストの位置と、FAX画像の発注リストの位置の差により算出される。発注書などの文字の位置を比較してもよいが、罫線は、直線で構成されているため、位置を特定しやすい。
発注書DB42の発注書6の書式における罫線の位置を上端からV、左端からHとする。また、FAX画像における罫線の位置を上端からV、左端からHとする。したがって、縦ずれ量と横ずれ量は以下のように算出される。
縦ずれ量:V−V=V
横ずれ量:H−H=H
Vが負値の場合、前処理部32は左方向にV(絶対値)だけFAX画像を全体に移動する(平行移動する)。Vが正値の場合、前処理部32は右方向にV(絶対値)だけFAX画像を全体に移動する(平行移動する)。
Hが負値の場合、前処理部32は上方向にH(絶対値)だけFAX画像を全体に移動する(平行移動する)。Hが正値の場合、前処理部32は下方向にH(絶対値)だけFAX画像を全体に移動する(平行移動する)。
こうすることで、図17(c)に示すように、FAX画像のずれが解消される。これにより、PC30は、発注書DB42の書式等にしたがって、FAX画像から発注商品名、商品コード、発注数量等の発注内容を正しく読み出すことができる。
<OCR処理>
続いて、図18、図19を使用して、OCR処理を説明する。図18はOCR処理の手順を示すフローチャート図の一例である。
まず、OCR処理部33は、前処理が施されたFAX画像の全体にレイアウト解析を行う(S10)。すなわち、文字部611、罫線部(表組み部)612、図形613等に分離する。文字部611については図15で説明した。また、表組み(表組み部)612については図16にて説明した。図形は文字部611と罫線部(表組み部)612以外の領域であり、連続した黒画素の外接矩形が文字より大きい領域等として検出される。
次に、OCR処理部33は文字部611と罫線部612から行を切り出す(S20)。図19(a)は行の切り出しを説明する図の一例である。OCR処理部33は、上端から1画素ずつ水平方向に走査線621で走査して白画素を検出する。白画素が水平方向に連続した部分が行間である。また、行間の上と下の黒画素が行である。このようにして、行を切り出すことができる。なお、垂直方向にも同様に処理するが、図19(a)のように横書きの場合、垂直方向に連続した白画素は検出されない。
また、罫線の内部については、各項目内で同様の処理を行うことで、項目内の行を検出できる。
次に、OCR処理部33は、文字の切り出しを行う(S30)。図19(b)は文字の切り出しを説明する図の一例である。OCR処理部33は、各行ごとに黒画素を垂直方向に投影したヒストグラムを作成する。文字と文字の境ではヒストグラムがゼロになるので、ゼロとゼロの間を1つの文字として切り出す。
次に、OCR処理部33は、文字認識を行う(S40)。具体的には、正規化(S401)、特徴抽出(S402)、マッチング(S403)という処理を行う。正規化とは、切り出した1つの文字を一定の大きさ(日本語の場合一般に正方形)に変倍する処理である。これにより、文字の変形(縦長、横長など)を吸収し、マッチングの精度が向上する。
特徴抽出とは、文字を特徴づける情報を抽出することである。図19(c)は文字の特徴として、文字の方向成分の抽出例を示す。図19(c)のように文字を左右、斜め上方向、上下、左上方向の4つの成分に分解する。そして、図19(d)に示すように、4つの成分を7×7画素程度に縮小し、文字の特徴として使用する。したがって、7×7×4=196個の特徴値に変換される。
次に、マッチングとは、文字の特徴を使って、登録された全ての文字の特徴(標準パターン)と認識対象の文字とを比較することである。なお、標準パターンは、いろいろな字体(明朝体、ゴシック体、教科書体など)や「かすれ」文字、「つぶれ」文字の認識を安定して行うために、いろいろな状態で印字された文字を平均化して作られる。なお、比較には、認識対象の文字と標準パターンの特徴をそれぞれベクトルとして、ユークリッド距離などを算出し、ユークリッド距離が最も近い標準パターンの文字が採用される。
次に、OCR処理部33は、知識処理を適用して変換ミスを補正する(S50)。実際には似ている文字が存在するため、一意に文字が決まらない場合がある。このような場合、OCR処理部33は辞書を参照して複数の候補のうち、辞書に登録されている用語になるように各文字を修正する。
<<発注システム用DB43への登録>>
OCR処理が終了すると、PC30の登録部34が発注システム用DB43に発注書6の内容を登録できる。図20は、登録部34が発注システム用DB43に発注書6の内容を登録する手順を示すフローチャート図の一例である。
まず、登録部34は、FAX画像に対しPC30のOCR処理で得られたテキストデータから会社名を検出する(S10)。例えば、会社マスタDB22の判断テキスト位置と同様の情報から会社名が記載された位置を特定し、会社名を取得してもよいし、テキストデータの全体から会社マスタDB22に登録されている会社名を検索してもよい。
次に、登録部34は、MFP10の認識結果と一致するか否かを判断する(S20)。MFP10はFAX画像と共に会社名を送信しているので、ステップS10の会社名と比較する。
ステップS20の判断がNoの場合、発注者を正しく識別できていない可能性が高いため、登録部34はFAX画像を受注業者の担当者に電子メールなどで送信する(S80)。これにより、担当者はFAX画像を確認し、発注書6であれば発注システムに登録し、発注書6でなければ印刷したり破棄したりする。担当者のメールアドレスはPC30に登録されている。あるいは、一般文書7であると判断されたFAX画像と同様に、MFP10に打ち出させてもよい。この場合、一般文書7とは別の排紙トレイから印刷することが好ましい。
ステップS20の判断がYesの場合、発注者を正しく識別できた可能性が高いため、登録部34は会社マスタDB22から罫線(表組み)の各項目の位置を取得する(S30)。
次に、PC30のOCR処理で得られたテキストデータから、ステップS30で取得された項目の位置のテキストデータを取得する(S40)。これにより、発注商品名、商品コード、発注数量などを取得できる。
登録部34は、発注システム用DB43に項目のテキストデータを登録する(S50)。すなわち、発注商品名、発注コード、発注数量等を発注システム用DB43の定められたフィールドに登録する。
登録部34は、ステップS30で取得した全ての項目の登録が終了したか否かを判断する(S60)。ステップS60の判断がNoの場合、処理はステップS40に戻り、ステップS60の判断がYesの場合、図20の処理は終了する。
一般文書がPC30でOCR処理された場合、罫線が検出されないこと、又は、発注内容を抽出できないことなどを登録部34が検出できる。この場合も、登録部34はステップS20のように電子メールなどで担当者に通知することが好ましい。
<会社マスタDB22への登録>
一般文書7として印刷されたFAX画像の中には、発注書6も存在しうると考えられる。例えば、会社マスタDB22に登録されている判断テキスト位置や判断画像位置ではない位置に会社名などがある場合などである。この場合、受注業者の担当者は会社マスタDB22に新たに判断テキスト位置や判断画像位置を登録することが好ましい。これにより、MFP10による発注書6の仕分けの精度を向上できる。
図21は、MFP10の基準位置登録部14が会社マスタDB22に判断テキスト位置や判断画像位置を登録する手順を示すフローチャート図の一例である。なお、適宜、図22の画面例を参照して説明する。
まず、担当者は登録初期画面631を操作表示部411に表示する(S10)。図22(a)は登録初期画面631の一例を示す。担当者が会社マスタ変更ボタン632を押下すると、基準位置登録部14が操作を受け付ける(S20)。
この操作により、基準位置登録部14は会社名選択画面641を操作表示部411に表示する。図22(b)は会社名選択画面641の一例を示す。会社名選択画面641は会社名ボタン642、新規登録ボタン643及び自動登録ボタン644を有する。会社名ボタン642は、すでに登録されている会社名に判断テキスト位置や判断画像位置を追加するためのボタンであり、新規登録ボタン643は新たに会社マスタDB22に会社名などの1レコードを登録するためのボタンである。自動登録ボタン644は、すでに会社名等が登録されている発注者に判断テキスト位置及び判断画像位置を自動で登録するためのボタンである。自動登録ボタン644については図23にて説明する。
担当者が会社名ボタン642又は新規登録ボタン643を押下すると、基準位置登録部14が操作を受け付ける(S30)。
基準位置登録部14は紙文書をMFP10にセットするように担当者に要求し、担当者が紙文書をMFP10にセットしてその旨をMFP10に入力すると、読取部12が紙文書を読み取り画像データに変換する(S40)。この紙文書は発注書6だが一般文書7であると判断されたFAX画像の紙文書である。基準位置登録部14は画像データを操作表示部411に表示する。図22(c)は画像データ画面651の一例を示す。画像データ画面651には画像データ652、判断テキストボタン653、及び、判断画像ボタン654が表示される。判断テキストボタン653は判断テキスト位置を登録するためのボタンであり、判断画像ボタン654は判断画像位置を登録するためのボタンである。
次に、基準位置登録部14は判断テキスト位置又は判断画像位置を受け付ける(S50)。図22(d)は画像データ画面651において担当者が入力した判断テキスト位置655を示す図である。担当者は判断テキストボタン653又は判断画像ボタン654のいずれかを選択する。基準位置登録部14は選択を受け付ける。新規登録の場合は両者が順番に指定される。
基準位置登録部14は、補正部15や処理部16を利用して画像データのうち指定された位置にOCR処理又は画像トリミングを施す(S60)。判断テキストボタン653が押下された場合、OCR処理が行われ、判断画像ボタン654が押下された場合、画像トリミングが行われる。
OCR処理により、会社名などのテキストデータが得られる。画像トリミングにより判断画像の候補画像が得られる。図22(e)は登録テキスト表示画面671の一例である。登録テキスト表示画面671では、OCR処理で得られた会社名672、OKボタン673、及びキャンセルボタン674が表示される。担当者はOCR処理の結果を見て登録するかどうかを判断する。ここで、誤認識がある場合、担当者が修正してよい。担当者によるOKボタン673、及びキャンセルボタン674の操作を基準位置登録部14が受け付ける。なお、画像トリミングの場合、会社名672の代わりに判断画像の候補画像が表示される。判断画像の候補画像は、外接矩形でトリミングされる。
OKボタン673が押下された場合、基準位置登録部14は情報を追加するか更新するかを受け付ける。図22(f)は追加更新選択画面681の一例である。追加更新選択画面681は、情報を追加するためのラジオボタン682と情報を更新するためのラジオボタン683を有する。情報の追加とは、すでに登録されている判断テキスト位置又は判断画像位置に、ステップS50で受け付けた判断テキスト位置又は判断画像位置を追加することをいう。情報の更新とは、すでに登録されている判断テキスト位置又は判断画像位置を、ステップS50で受け付けた判断テキスト位置又は判断画像位置で置き換えることをいう。
受注業者の担当者がいずれかのラジオボタン682,683を選択すると、基準位置登録部14はステップS30で新規登録が選択されていたかどうかを判断する(S70)。
新規登録であった場合(S70のYes)、基準位置登録部14は重複登録を禁止して会社名等を会社マスタDB22に登録する(S80)。基準位置登録部14はOCR処理で得られた会社名が会社マスタDB22にすでに登録されている場合はその旨を操作表示部411に表示し、重複登録しない。重複登録でない場合、会社名、判断テキスト位置1、判断画像位置1、及び仕分方法を会社マスタDB22に登録する。
新規登録でない場合(S70のNo)、基準位置登録部14はステップS60のOCR処理で得られた会社名を会社マスタDB22から検索する。あるいは、画像トリミングで得られたロゴ又はシンボルマークと類似した判断画像に対応付けられた会社名を特定する。これらにより、判断テキスト位置と判断テキスト又は判断画像位置と判断画像を会社名に対応付けて登録する(S90)。すなわち、追加更新選択画面681で情報の追加が選択された場合は判断テキスト位置又は判断画像位置を追加し、情報の更新が選択された場合は判断テキスト位置又は判断画像位置を上書きする。
このように、受注業者の担当者は、紙文書を読み取らせるという簡単な操作で会社マスタDB22に会社名等を登録できる。
<<変形例>>
また、図23に示すように、担当者が判断テキスト位置又は判断画像位置を登録しなくても、簡易的に判断テキスト位置又は判断画像位置が登録することもできる。図23は、MFP10の基準位置登録部14が会社マスタDB22に判断テキスト位置や判断画像位置を追加して登録する手順を示すフローチャート図の一例である。図23では主に図21との相違を説明する。
まず、ステップS10、S20は図21と同様でよい。次に、担当者が自動登録ボタン644を押下したものとする。基準位置登録部14が操作を受け付ける(S30)。自動登録ボタン644が押下される場合、会社名等が登録済みなので、会社名又は判断画像が会社マスタDB22に登録されている。したがって、会社マスタDB22に登録された会社名又は判断画像を画像データから検索することが可能である。
基準位置登録部14は紙文書をMFP10にセットするように担当者に要求し、担当者が紙文書をMFP10にセットしてその旨をMFP10に入力すると、読取部12が紙文書を読み取り画像データに変換する(S40)。
基準位置登録部14は、補正部15や処理部16を利用して画像データの全体にOCR処理を施し、また、判断画像の候補画像を抽出する(S50)。候補画像は、像域分離などによりロゴやシンボルマークと推定できる文字以外の画像である。
そして、基準位置登録部14は、会社マスタDB22の会社名をOCR処理で得られたテキストデータから検索し、会社マスタDB22の判断画像のうち画像候補と類似している判断画像を決定する(S60)。これにより、登録するために読み取られた画像データがどの会社のものか分かる。
基準位置登録部14は、会社名が検出された位置を判断テキスト位置として会社マスタDB22に登録し、ロゴ等が検出された位置を判断画像位置として会社マスタDB22に登録する(S70)。なお、登録する判断テキスト位置又は判断画像位置は、会社名又は判断画像の外接矩形に十分なマージンを含んで決定される。十分なマージンとは、発注者FAX装置8で発注書6を読み取る際の傾き、縦ずれ・横ずれを許容できる程度のマージンである。
したがって、すでに会社マスタDB22に登録されている発注者の発注書6であれば、担当者が判断テキスト位置又は判断画像位置を指定しなくても、判断テキスト位置又は判断画像位置を登録できる。
<まとめ>
以上説明したように、本実施形態の画像処理システム100は、FAX機能で受信したFAX画像の一部のみにMFP10が画像処理して仕分けを行うので、仕分けに必要なMFP10のリソースを削減できる。また、MFP10は受注処理のためのOCR処理を行う必要がない。また、PC30が受注処理のためのOCR処理を施すのは発注書6だけなので、PC30が全てのFAX画像にOCR処理を施す必要がない。また、発注書6が一般文書と判断されても、担当者が新たな判断テキスト位置や判断画像位置を登録することができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、MFP10はFAX装置と印刷装置の2台に分散されていてもよい。また、PC30は複数台、存在してもよいし、複数のPC30に機能が分散されていてもよい。
また、会社マスタDB22はMFP10がアクセスできる場所にあればよく、MFP10が有していなくてもよい。また、発注書DB42や発注システム用DB43はPC30がアクセスできる場所にあればよく、PC30が有していなくてもよい。
また、図5などの構成例は、MFP10及びPC30の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、MFP10及びPC30の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
なお、受信部11は受信手段の一例であり、処理部16は第1の画像処理手段の一例であり、仕分部17は仕分け手段の一例であり、転送部18は送信手段の一例であり、前処理部32とOCR処理部33は第2の画像処理手段の一例であり、登録部34は抽出手段の一例であり、印刷部13は印刷手段の一例であり、基準位置登録部14は登録手段の一例である。MFP10は第1の画像処理装置の一例であり、PC30は第2の画像処理装置の一例である。会社マスタDB22は記憶手段の一例であり、判断テキスト位置又は判断画像位置は部分画像位置情報の一例である。
10 MFP
12 読取部
13 印刷部
14 基準位置登録部
15 補正部
16 処理部
17 仕分部
18 転送部
31 受信部
32 前処理部
33 OCR処理部
34 登録部
100 画像処理システム
特開2012-178692号公報

Claims (11)

  1. 第1の画像処理装置と第2の画像処理装置とが通信する画像処理システムであって、
    前記第1の画像処理装置は、
    書類から生成された画像データを受信する受信手段と、
    前記画像データに対し第1の画像処理を行う第1の画像処理手段と、
    前記第1の画像処理の結果に基づいて前記画像データから特定書類画像を検出する仕分け手段と、
    前記仕分け手段により仕分けられた前記特定書類画像を前記第2の画像処理装置に送信する送信手段と、を有し、
    前記第2の画像処理装置は、
    前記特定書類画像に対し第2の画像処理を行う第2の画像処理手段と、
    前記第2の画像処理の結果に基づいて前記特定書類画像の項目から項目情報を抽出する抽出手段と、を有し、
    前記特定書類画像は、所定の領域に特定の書類に関する特定書類情報を有し、
    前記第1の画像処理手段は、前記所定の領域よりも大きく、かつ、前記特定書類画像が生成される際に想定される位置ずれを許容する範囲で、前記画像データから部分画像を抽出し、
    前記仕分け手段は、前記部分画像に基づいて前記特定書類画像か否かを判別し、
    前記抽出手段は、前記第2の画像処理手段が前記特定書類画像の前記位置ずれを補正した前記特定書類画像から、前記項目情報を抽出する画像処理システム。
  2. 前記特定書類情報は予め定められた文字列を含み、
    前記第1の画像処理手段は、前記部分画像からテキストデータを抽出し、
    前記仕分け手段は、前記テキストデータが前記文字列を含む場合に、前記画像データが前記特定書類画像であると判断することを特徴とする請求項1に記載の画像処理システム。
  3. 前記特定書類情報は模様を含み、
    前記第1の画像処理手段は、前記部分画像から検出した前記模様が、予め定められた模様と類似するか否かを判断し、
    前記仕分け手段は、前記部分画像から検出した前記模様が予め定められた模様と類似すると判断された場合、前記画像データが前記特定書類画像であると判断することを特徴とする請求項1に記載の画像処理システム。
  4. 前記特定書類画像でないと判断された前記画像データを印刷する印刷手段を有し、
    前記印刷手段は、前記特定書類画像と判断された前記画像データと前記特定書類画像でないと判断された前記画像データとを異なる排紙トレイに出力する請求項1〜3のいずれか1項に記載の画像処理システム。
  5. 前記特定書類情報と、前記部分画像の位置を指定する部分画像位置情報とを対応付けて記憶する記憶手段を有し、
    前記第1の画像処理装置は、
    ユーザにより指定された画像データに対する前記部分画像位置情報を受け付け、
    前記画像データの前記部分画像位置情報が指定する範囲を解析して得られた前記特定書類情報と、前記部分画像位置情報を対応付けて前記記憶手段に登録する登録手段、を有する請求項1〜4のいずれか1項に記載された画像処理システム。
  6. 前記記憶手段に登録されている前記特定書類情報が、前記第1の画像処理により前記画像データから検出された場合、
    前記登録手段は、前記記憶手段の前記特定書類情報に対応付けて、前記画像データで前記特定書類情報が検出された位置を含む前記部分画像位置情報を登録する請求項5に記載の画像処理システム。
  7. 前記記憶手段には、前記特定書類情報に模様が対応付けて登録されており、
    前記第1の画像処理により前記画像データから前記模様と類似する模様が検出された場合、
    前記登録手段は、前記記憶手段の前記特定書類情報に対応付けて、前記画像データで前記模様が検出された位置を含む前記部分画像位置情報を登録する請求項5に記載の画像処理システム。
  8. 前記第1の画像処理手段は、前記記憶手段に登録されている前記部分画像位置情報に基づき抽出した前記部分画像から前記特定書類情報を抽出し、
    前記仕分け手段は、抽出した前記特定書類情報が前記記憶手段に登録されているか否かに応じて、前記画像データが前記特定書類画像か否かを判断することを特徴とする請求項5〜7のいずれか1項に記載の画像処理システム。
  9. 前記特定書類情報は前記画像データを送信した送信元を特定するための情報であり、
    前記部分画像には、前記送信元を特定するための情報が記載されている請求項1〜8のいずれか1項に記載の画像処理システム。
  10. 第1の画像処理装置と第2の画像処理装置とが通信する画像処理システムが行う画像処理方法であって、
    前記第1の画像処理装置にて行われる、
    受信手段が、書類から生成された画像データを受信するステップと、
    第1の画像処理手段が、前記画像データに対し第1の画像処理を行うステップと、
    仕分け手段が、前記第1の画像処理の結果に基づいて前記画像データから特定書類画像を検出するステップと、
    送信手段が、前記仕分け手段により仕分けられた前記特定書類画像を前記第2の画像処理装置に送信するステップと、を有し、
    前記第2の画像処理装置に行われる、
    第2の画像処理手段が、前記特定書類画像に対し第2の画像処理を行うステップと、
    抽出手段が、前記第2の画像処理の結果に基づいて前記特定書類画像の項目から項目情報を抽出するステップと、を有し、
    前記特定書類画像は、所定の領域に特定の書類に関する特定書類情報を有し、
    前記第1の画像処理手段は、前記所定の領域よりも大きく、かつ、前記特定書類画像が生成される際に想定される位置ずれを許容する範囲で、前記画像データから部分画像を抽出し、
    前記仕分け手段は、前記部分画像に基づいて前記特定書類画像か否かを判別し、
    前記抽出手段は、前記第2の画像処理手段が前記特定書類画像の前記位置ずれを補正した前記特定書類画像から、前記項目情報を抽出する画像処理方法。
  11. 予め定められた特定書類画像に対し第2の画像処理を行う第2の画像処理手段と、
    前記第2の画像処理の結果に基づいて前記特定書類画像の項目から項目情報を抽出する抽出手段と、を有し、
    前記抽出手段は、前記第2の画像処理手段が前記特定書類画像の位置ずれを補正した前記特定書類画像から前記項目情報を抽出する第2の画像処理装置と通信する情報処理装置であって、
    書類から生成された画像データを受信する受信手段と、
    前記画像データに対し第1の画像処理を行う第1の画像処理手段と、
    前記第1の画像処理の結果に基づいて前記画像データから特定書類画像を検出する仕分け手段と、
    前記仕分け手段により仕分けられた前記特定書類画像を前記第2の画像処理装置に送信する送信手段と、を有し、
    前記特定書類画像は、所定の領域に特定の書類に関する特定書類情報を有し、
    前記第1の画像処理手段は、前記所定の領域よりも大きく、かつ、前記特定書類画像が生成される際に想定される前記位置ずれを許容する範囲で、前記画像データから部分画像を抽出し、
    前記仕分け手段は、前記部分画像に基づいて前記特定書類画像か否かを判別する情報処理装置。
JP2016173939A 2016-09-06 2016-09-06 画像処理システム、画像処理方法、情報処理装置 Pending JP2018042067A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016173939A JP2018042067A (ja) 2016-09-06 2016-09-06 画像処理システム、画像処理方法、情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016173939A JP2018042067A (ja) 2016-09-06 2016-09-06 画像処理システム、画像処理方法、情報処理装置

Publications (1)

Publication Number Publication Date
JP2018042067A true JP2018042067A (ja) 2018-03-15

Family

ID=61626586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016173939A Pending JP2018042067A (ja) 2016-09-06 2016-09-06 画像処理システム、画像処理方法、情報処理装置

Country Status (1)

Country Link
JP (1) JP2018042067A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11223743B2 (en) 2019-07-09 2022-01-11 Canon Kabushiki Kaisha Image processing system, image processing apparatus, method of controlling the image processing apparatus, and storage medium
JP2023016031A (ja) * 2021-07-20 2023-02-01 ネイバー コーポレーション テーブルに含まれる情報を認識する文字認識方法及び文字認識システム
US11647128B2 (en) * 2020-09-25 2023-05-09 Ricoh Company, Ltd. Management apparatus, management system, and recording medium
US11954343B2 (en) 2020-01-07 2024-04-09 Ricoh Company, Ltd. Apparatus, data transfer system, and data transfer method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11223743B2 (en) 2019-07-09 2022-01-11 Canon Kabushiki Kaisha Image processing system, image processing apparatus, method of controlling the image processing apparatus, and storage medium
US11954343B2 (en) 2020-01-07 2024-04-09 Ricoh Company, Ltd. Apparatus, data transfer system, and data transfer method
US11647128B2 (en) * 2020-09-25 2023-05-09 Ricoh Company, Ltd. Management apparatus, management system, and recording medium
JP2023016031A (ja) * 2021-07-20 2023-02-01 ネイバー コーポレーション テーブルに含まれる情報を認識する文字認識方法及び文字認識システム
JP7398526B2 (ja) 2021-07-20 2023-12-14 ネイバー コーポレーション テーブルに含まれる情報を認識する文字認識方法及び文字認識システム

Similar Documents

Publication Publication Date Title
US9754164B2 (en) Systems and methods for classifying objects in digital images captured using mobile devices
US9405751B2 (en) Database for mixed media document system
US8949287B2 (en) Embedding hot spots in imaged documents
US9171202B2 (en) Data organization and access for mixed media document system
JP7013182B2 (ja) 情報処理装置、情報処理方法およびプログラム
US7551780B2 (en) System and method for using individualized mixed document
US8521737B2 (en) Method and system for multi-tier image matching in a mixed media environment
US8838591B2 (en) Embedding hot spots in electronic documents
US9454696B2 (en) Dynamically generating table of contents for printable or scanned content
EP1917636B1 (en) Method and system for image matching in a mixed media environment
US8508756B2 (en) Image forming apparatus having capability for recognition and extraction of annotations and additionally written portions
US20070047780A1 (en) Shared Document Annotation
US8412705B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
US11321558B2 (en) Information processing apparatus and non-transitory computer readable medium
US8391607B2 (en) Image processor and computer readable medium
US9626738B2 (en) Image processing apparatus, image processing method, and storage medium
JPWO2015064107A1 (ja) 管理システム、リスト作成装置、データ構造および印刷ラベル
JP2018042067A (ja) 画像処理システム、画像処理方法、情報処理装置
US20170124390A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
US8538154B2 (en) Image processing method and image processing apparatus for extracting heading region from image of document
EP2884425B1 (en) Method and system of extracting structured data from a document
US11941903B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium
US11438477B2 (en) Information processing device, information processing system and computer readable medium
US11620844B2 (en) Image processing apparatus, control method of image processing apparatus, and storage medium
JP2018067096A (ja) 文字認識装置及び文字認識方法