JP2017182276A - 画像処理システム、画像処理装置、および画像処理プログラム - Google Patents

画像処理システム、画像処理装置、および画像処理プログラム Download PDF

Info

Publication number
JP2017182276A
JP2017182276A JP2016065759A JP2016065759A JP2017182276A JP 2017182276 A JP2017182276 A JP 2017182276A JP 2016065759 A JP2016065759 A JP 2016065759A JP 2016065759 A JP2016065759 A JP 2016065759A JP 2017182276 A JP2017182276 A JP 2017182276A
Authority
JP
Japan
Prior art keywords
image
unit
image processing
recognition
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016065759A
Other languages
English (en)
Other versions
JP6856321B2 (ja
Inventor
聡一郎 小野
Soichiro Ono
聡一郎 小野
鈴木 智久
Tomohisa Suzuki
智久 鈴木
彰夫 古畑
Akio Furuhata
彰夫 古畑
篤弘 吉田
Atsuhiro Yoshida
篤弘 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2016065759A priority Critical patent/JP6856321B2/ja
Priority to CN201710152851.1A priority patent/CN107317951B/zh
Priority to US15/460,450 priority patent/US10902278B2/en
Publication of JP2017182276A publication Critical patent/JP2017182276A/ja
Application granted granted Critical
Publication of JP6856321B2 publication Critical patent/JP6856321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

【課題】本発明は、帳票などの文書に含まれる秘匿情報のセキュリティを確保しつつ、帳票から認識された文字の修正を可能とする画像処理システム、画像処理装置及び画像処理プログラムを提供する。【解決手段】画像処理システムは、文書の画像を認識する画像処理装置と、入力部および表示部を備える複数の作業者用端末装置とがネットワークにより接続される。画像処理装置は、画像に文字認識処理を行う認識部と、認識部の認識結果から秘匿情報を検出する秘匿情報検出部と、秘匿情報に基づいて、画像における秘匿情報部分を断片化した第1の加工画像を作成する加工部と、を備える。作業者用端末装置は、第1の加工画像を表示する表示部と、第1の加工画像の修正データを入力する入力部と、を備える。【選択図】図2

Description

以下に記載の実施の形態は、画像処理システム、画像処理装置、および画像処理プログラムに関する。
帳票に記入された文字や画像などの情報をデータベースに保存するために、OCR(Optical Character Reader)などの文字読取装置にて帳票を読み取り、記入された文字をテキストデータに変換する技術がある。この場合、誤認識に対応するために、作業員による人力での認識結果確認と修正の工程が行われる。
上記の工程において、作業員は、例えば修正のための作業用端末装置の画面上に、手書きで記入された書類の読取り画像と文字読取装置による読取りデータとを表示させて両者を比較し、文字読取装置による読取りデータの誤りを修正する。
この誤認識の対応工程をクラウドソーシングなどの形でアウトソーシングする際、個人情報保護等の点でコンプライアンス上の制約が大きいという問題がある。
特開公報2008−259156公報
本発明の実施形態は、帳票などの文書に含まれる秘匿情報のセキュリティを確保しつつ帳票から認識された文字の修正を可能とする画像処理システム、画像処理装置、及び画像処理プログラムを提供することを目的とする。
本発明の実施形態に係る画像処理システムは、文書の画像を認識する画像処理装置と、入力部および表示部を備える端末装置とがネットワークにより接続される。画像処理装置は、画像に文字認識処理を行う認識部と、認識部の認識結果から秘匿情報を検出する秘匿情報検出部と、秘匿情報に基づいて、画像における秘匿情報部分を断片化した第1の加工画像を作成する加工部と、を備える。端末装置は、第1の加工画像を表示する表示部と、第1の加工画像の修正データを入力する入力部と、を備える。
実施形態に係る画像処理システムのハードウェア構成を示す概略図。 実施形態に係る画像処理システムの機能構成の一例を示すブロック図。 実施形態に係る画像処理システムの動作の一例を示すフローチャート。 実施形態に係る画像処理システムにおける画像の一例を示す図。 実施形態に係る画像処理システムにおける画像の一例を示す図。 実施形態に係る画像処理システムにおける秘匿情報検出処理と加工処理の一例を示す概略図。 実施形態に係る画像処理システムの枠線画像の一例を示す概略図。
以下、本発明の実施形態の一例について図面を参照して説明する。
まず、図1を参照して本実施形態の画像処理システムの構成について説明する。図1は、本実施形態に係る画像処理システム100のハードウェア構成を示すブロック図である。
画像処理システム100は、スキャナ101と、ソフトウェア102が搭載されたサーバ装置103(以下、画像処理装置という)と、画像データや画像処理装置103による処理結果などを記憶する記憶装置104と、ウェブブラウザ107が搭載された作業者用端末装置106と、画像処理装置103と作業者用端末装置106とを接続するネットワーク105と、を備える。
なお、「接続」とは、必ずしも物理的に配線等により接続されていることを指すものではなく、構成要素間でデータや信号を送受信できることを意味している。すなわち、画像処理装置103と作業者用端末装置106とはネットワーク105を介して互いに通信が可能である。また、画像処理装置103は、単一でなくても良く、複数のサーバ装置が互いに連携して1つのシステムを構成してもよい。
スキャナ101は、画像処理装置103にて処理をする対象の帳票等の文書を読み取り、文書全体、もしくは文書の一部の画像(文書画像)を作成する。スキャナ101は、作成した画像を画像処理装置103に入力する。画像処理装置103は入力された画像を記憶装置104に記憶する。なお、画像は、例えばカメラでの撮影により作成することも可能である。
ソフトウェア102は、画像処理装置103の各種機能を実現する。また、ソフトウェア102はウェブブラウザ107からの操作に従い、作業者用端末装置106での表示を制御する。
画像処理装置103は、画像の認識を行い、画像認識結果を作業者用端末装置に送信する。本実施形態の認識対象の画像は、スキャナ101によって作成され、画像乳処理装置103に入力される。画像処理装置103は記憶装置104に入力された画像を記憶させる。また、画像処理装置103は画像認識結果を記憶装置104に記憶させる。
記憶装置104は、例えばハードディスクドライブで構成される。記憶装置104は、画像処理装置103に入力された画像や、画像処理装置103による画像認識結果を記憶する。また、記憶装置104は、画像処理装置103による画像処理に必要な情報があらかじめ記憶されている。
作業者用端末装置106は、パーソナルコンピュータ、携帯電話、タブレットコンピュータ、スマートフォンなどで構成され、画像処理装置103から受信した画像認識結果を表示する表示部と、表示された画像に関する修正データを入力する入力部と備える。すなわち、作業者は、作業者用端末装置103を用いて、画像処理装置103による画像認識結果の修正処理を行うことができる。
上記の構成により、本実施形態の画像処理システム100は、画像に含まれた秘匿情報を除去することを可能とする。また、画像処理システム100は、作業者用端末装置106に秘匿情報が除去された画像を表示し、作業者による表示された画像の認識結果の修正作業を可能にする。すなわち、秘匿情報を提供することなく、画像の認識結果の修正作業を外部に依頼するができる。また、画像処理システム100は、秘匿情報を除去した画像から元の画像を復元することにより、修正作業で入力された内容を画像処理装置103による認識結果に反映することが可能である。
図2を参照して、画像処理装置システム100の機能について説明する。図2は、画像処理システム100の機能構成の一例を示す。
図2に示すように、画像処理装置103は、枠線検出部130、認識部140、秘匿情報検出部150、加工部160、および修正部170を備え、入力された画像に対し画像処理を行う。
本実施形態では、スキャナ101が読み取った画像データが記憶装置104にあらかじめ記憶され、画像処理装置103は、記憶装置104に記憶された画像(以下、原画像)201が入力されると画像処理を行う。なお、画像には必要に応じて二値化などの前処理を施してもよい。
枠線検出部130は、原画像201に対して枠線検出処理を行い、帳票上の記入枠を検出する。
枠線検出部130は、検出した記入枠の情報である枠線情報202を記憶装置104に記憶する。
記入枠を構成する枠線は直線であるため、ハフ変換などにより検出可能である。例えば、あらかじめ定めた閾値以上の太さおよび長さを持つ直線を枠線候補と定め、枠線を検出する。また、枠線を構成する線分の端点は別の枠線上にあると考えられることから、これにより検出された直線の中から記入枠を構成する枠線候補を、端点が他の直線上にあるものだけに絞り込んでもよい。
また、帳票の構造があらかじめわかっている場合は、記入枠の情報をあらかじめ設定し、枠線情報202として記憶装置104に記憶しておくようにしてもよい。
認識部140は、枠線情報202に基づいて、帳票の記入枠ごとに切り出した部分画像(以下、切り出し画像という)を作成する。なお、認識部140は、後述する修正部170により修正された記入枠に基づいて切り出し画像を作成する場合もある。
また、認識部140は、帳票画像および帳票からの切り出し画像の文字認識を行う。すなわち、認識部140は、画像データ中から文字列を検出し、検出した文字列を認識する。
画像中から文字列を検出する方法は、例えば、枠線検出部130によって検出された記入枠の内部にあるものを文字列とみなす方法がある。もしくは、帳票の構造があらかじめ分かっている場合は文字列の位置をあらかじめ与えておいてもよい。
すなわち、認識部140は、枠線情報202に基づいて、画像の記入枠の中に文字認識を行い、認識結果203を出力する。認識結果203は、切り出し画像、文字および文字の位置情報を含む。なお、認識部140は、認識結果203の信頼度も出力するようにしてもよい。認識部140は、認識結果203を記憶装置104に記憶する。
秘匿情報検出部150は、認識部140が出力した認識結果203に含まれる文字情報において、秘匿すべき情報(以下、秘匿情報という)204にあたる部分を検出する。秘匿情報204は、例えば氏名・住所などの個人情報のように文字列の内容から判定できる情報と、何らかの暗証番号のように文字列の内容からは判断が困難な情報がある。
秘匿情報検出部150は、帳票の構造があらかじめ分かっている場合は、画像上の秘匿情報204の文字列位置を知識としてあらかじめ設定しておくことにより秘匿情報204を検出できる。すなわち、秘匿情報検出部150は認識部140による認識結果203の文字列の位置のうち、あらかじめ設定された秘匿情報204の文字列位置に適合するものを秘匿情報204と判断する。
帳票の構造が分かっていない場合は、秘匿情報検出部150は、認識結果203に含まれる文字情報に基づいて秘匿情報204を検出する。例えば、秘匿情報204の項目名をあらかじめ知識として登録しておき、認識結果203に含まれる文字が秘匿情報の項目名と一致した場合は秘匿情報204と判定する、等の方法で検出できる。また、秘匿情報検出部150は、検出した秘匿情報204を記憶装置104に格納する。
加工部160は、秘匿情報が検出された場合は、検出された秘匿情報204に基づいて、切り出し画像の秘匿情報部分に加工処理を行い、加工画像(第1の加工画像)205を作成する。
加工部160が行う、秘匿情報部分への加工処理は例えば、秘匿情報部分の画像に対する、消去、劣化、モザイクなどの、画像の情報量を減らす加工や、文字位置の並び替えなど、である。すなわち、加工画像205における秘匿情報部分への加工処理は秘匿情報を断片化する加工であり、加工部の処理内容を知らなくては加工画像205それぞれからは秘匿情報を復元できないが、加工部の処理内容を知っていれば、必要ならば加工画像205それぞれを組み合わせることで秘匿情報を復元することが可能である。なお、加工部160により作成される加工画像205は、秘匿情報の断片化の方法によっては、複数枚になることもある。
加工処理の具体的な例としては、加工部160は、電話番号などのそれ自体は意味を持たない数字・記号列については、文字を無作為に選んだ順序に並び替えた加工画像を作成する。これにより、後述する修正部170における修正処理において、作業者には元の文字列に関する情報を与えないことが可能となる。画像データの提供元にて、作業者によって入力された修正データを元の順序に従って並び替えることによって、与えられた修正を認識結果に正しく適用することができる。
加工部160は、秘匿情報が検出されなかった場合は、枠線情報202に基づいて、切り出し画像の記入枠以外の部分を除去した枠線画像(第2の加工画像)を作成する。
加工部160は、作成した第1の加工画像と第2の加工画像とを、加工画像205として記憶装置104に記憶する。
修正部170は、作業者用端末装置106に、作業者が認識結果203の修正を行うために必要なデータ(以下、修正処理データという)を送信する。送信された修正処理データは作業者用端末装置106に表示され、作業者は、表示された画面から認識結果203の修正処理を行う。作業者用端末装置106に送信される修正処理データは、例えば、加工画像205である。必要に応じて、加工画像205に加えて、枠線検出部130によって検出された枠線情報202や、認識結果203を修正処理データに加えてもよい。
作業者は、作業者用端末装置106に表示された修正処理データを参照し、加工画像205の修正内容(修正データ)の入力を行う。入力される修正データは、加工画像205に表示された文字の入力である。もしくは、加工画像205とともに認識結果203が修正処理データに含まれている場合は、文字の正誤判定および修正する文字を入力する。
また、加工画像205が枠線画像である場合は、入力される修正データは表示された枠線の正誤判定および枠線の修正である。
修正部170は、作業者用端末装置106からネットワーク105を介して修正データを受信する。また、修正部170は、加工画像205と修正データとから秘匿情報を復元する。
図3を参照して、本実施形態の画像処理システム100の動作の一例について説明する。図3は画像処理システム100の動作の一例を示すフローチャートである。
まず、スキャナ101が、文字認識対象の帳票を読取って画像データを作成する(ステップS10)。
図4に原画像201の一例として、画像Aを示す。画像Aは、表が記載された帳票の画像データであり、左側の列には項目名21が記載されており、右側の列には項目ごとに記入欄22があり、文字が記載されている。画像Aの1行目の項目名21は会員番号である。画像Aの2行目の項目名21は氏名である。画像Aの3行目の項目21は電話番号である。
画像Aは、画像処理装置103に入力され、画像処理装置103によって記憶装置104に原画像201として記憶される。
画像処理装置103の枠線検出部130は、記憶装置104の原画像201に枠線検出処理を行い、帳票の記入枠を検出する(ステップS20)。
枠線検出部130は、検出した記入枠ごとに、記入枠の原画像201における位置情報を含む枠線情報202を記憶装置104に記憶する。
認識部140は、出した記入枠ごとの切り出し画像を作成し、作成した切り出し画像に対して文字認識処理を行う(ステップS30)。認識部140は、認識結果203を記憶装置104に記憶する。
図5に、本実施形態における切り出し画像の一例を示す。図5は画像Aから作成された切り出し画像である。図5に示すように画像Aからは、切り出し画像1〜3の3つの切り出し画像が作成される。
秘匿情報検出部150は、認識結果203の文字から、個人情報等の秘匿情報204を検出する(ステップS40)。秘匿情報検出部150は、検出した秘匿情報204を記憶装置104に記憶する。
秘匿情報204が検出された場合(ステップS50がYes)、加工部160は、検出された秘匿情報204に基づいて、秘匿情報204の検出元の切り出し画像の加工を行う(ステップS60)。すなわち、加工部160は、秘匿情報204が検出された切り出し画像における秘匿情報部分を加工した加工画像205(第1の加工画像ともいう)を作成する。加工部160は、加工画像205を記憶装置104に記憶する。
図6を用いて、切り出し画像2における、秘匿情報検出部150による秘匿情報検出処理および加工部160による加工処理について説明する。図6は、本実施形態の切り出し画像2に対する秘匿情報検出処理と加工処理の概略図である。
図6に示すように、切り出し画像2にステップS40の秘匿情報検出処理が行われると、認識結果203の文字と秘匿情報に関する知識とに基づいて、秘匿情報204として、「東芝」と「太郎」の2つが検出される。
この秘匿情報検出結果に基づいて、加工部160が切り出し画像2に加工処理を行い、加工画像205を作成する。ここでは、加工部160は2つ検出された秘匿情報204の「姓」と「名」のうち、一方をそのままにして、他方を削除する加工を行い、加工画像205−1と加工画像205−2を作成する。
図3の説明に戻る。修正部170は、秘匿情報部分を加工された加工画像205を含む修正処理データを作業者用端末装置106に送信する(ステップS70)。なお、修正部170が送信する修正処理データは、必要に応じて枠線情報202や認識結果203を含んでもよい。このとき認識結果203に含まれる秘匿情報204は、加工画像205における加工と同様の処理が行われ、秘匿情報がわからないようになっている。
作業者用端末装置106は、受信した加工画像205を含む修正処理データを作業者に表示する。表示された加工画像205に基づいて、作業者により、作業者用端末装置106に修正データが入力される(ステップS80)。なお、内容が同一であるなど一定の規則に従っているべき加工画像205が複数ある場合は、それらを重畳または並列して一度に表示してもよい。例えば、性別など記入内容が少数の選択肢の内容に限られる項目については、同一の認識結果となった加工画像205複数を重畳または並列して一度に表示することにより、誤認識された少数の加工画像205を効率よく発見することができる。
作業者用端末装置106は、作業者によって入力された修正データを画像処理装置103に送信する(ステップS90)。修正部170は、受信した修正データと、加工画像205とに基づいて認識結果203の修正処理を行う(ステップS100)。例えば、修正部170は、加工画像205を照合することによって、加工画像205から切り出し画像を復元するとともに修正データから秘匿情報を復元する。秘匿情報が復元された修正データを用いて、修正部170は、切り出し画像の認識結果203を修正する。この時の修正は、例えば、修正データと認識結果203との文字をそれぞれ比較し、異なる文字がある場合に、異なる文字と、この文字に対応する部分の画像とを作業者用端末装置106に表示し、作業者にどちらか選ばせる、という方法がある。
認識結果203から秘匿情報204が検出されない場合(ステップS50がNo)、加工部160は、切り出し画像における、枠線検出部130によって検出された記入枠以外の部分に加工処理を行い、枠線画像(第2の加工画像)を作成する(ステップS110)。すなわち、加工部160は、切り出し画像における記入枠以外の部分に、消去、劣化、もしくは改変等の加工を行う。
図7に本実施形態の枠線画像を作成する過程のイメージ図を示す。図7は、枠線画像の一例を示す概略図である。
図7における左側の切り出し画像4は、画像Aから枠線検出部130により切り出された部分画像データの一例である。この切り出し画像4では点線部分が記入枠として検出されている。記入枠の検出が間違っていることにより、2つの記入枠が一つの記入枠として検出されている。このため、秘匿情報検出処理が行われた結果、秘匿情報204が検出されなかったとする。この場合、加工部160は切り出し画像4における記入枠以外の画素を検出し、検出した画素を削除する。これにより、加工部160は枠線画像を作成する。
修正部170は、枠線画像を作業者用端末装置106に送信する(ステップS120)。
作業者用端末装置106は受信した枠線画像を表示する。作業者は表示された枠線画像を確認し、記入枠として検出された枠線の修正が必要かどうかを判定する。すなわち、記入枠の修正が必要な場合、作業者により枠線の修正が行われ、作業者用端末装置106に入力される(ステップS130)。枠線の修正は、例えば作業者用端末装置106に表示された枠線画像上の枠線のうち、誤りだと思われる枠線を作業者が選択すると、修正部170が、選択された枠線を削除する、等の方法で行うことができる。
作業者用端末装置106は、枠線の修正データを画像処理装置103に送信する(ステップS140)。
修正部170は、枠線画像の修正データを受信すると、枠線画像の修正が行われたかどうかを判定する(ステップS150)。枠線画像の修正が行われた場合(ステップS150がYes)、認識部140は、修正された枠線に基づいて切り出し画像を作成し、文字認識を行う(ステップS160)。その後、ステップS40に戻り、秘匿情報検出部150が認識結果203から秘匿情報を検出する。これにより、正しい記入枠に基づいて文字認識が行われるため、秘匿情報の検出が高精度で可能になる。
枠線画像の修正が行われていない場合(ステップS150がNo)、すなわち、認識結果203に秘匿情報204が含まれない場合であって、記入枠が正しく検出されている場合、修正部17は、この枠線画像の加工元の切り出し画像を作業者用端末装置106に送信する(ステップS170)。作業者は、作業者用端末装置106に表示された切り出し画像に基づいて、ステップS80以降の処理を行い、認識結果の修正を行う。
以上説明したように、本実施形態の画像処理システム100は、個人情報などの秘匿すべき情報を含んだ画像が、アウトソーシング先に提供されない状態での文字認識結果の修正作業を可能とする。
例えば、秘匿情報204が検出され、一つの切り出し画像から複数の加工画像205が作成される場合、画像処理装置103が複数の加工画像を照合することによって加工元の原画像を復元できるようにした上で、それぞれを別の作業者に提供することにより、個人情報の修正をアウトソーシングすることができる。
一方、秘匿情報検出部150により秘匿情報204が検出されない場合、原画像201において枠線検出部130による枠線の検出ミスが起きている場合がある。この場合、加工部160は、秘匿情報検出元の切り出し画像の枠線以外の成分を抹消した画像を作成する。作成された画像は、修正部170により、作業者用端末装置106に送信され作業者に提示される。提示された画像に基づいて作業者が正しい枠線を選択すると、選択された枠線に基づいて文字認識部120が再度文字認識を行う。
これにより、本実施形態の画像処理システム100によると、秘匿情報が含まれた画像がアウトソーシング先に提供されることを防ぐことが可能になる。すなわち、枠線が正しく検出できなかったことにより、秘匿情報が正しく検出されないことを防ぐことが可能になる。
以上、本実施形態に係る画像処理システム100について説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、加工部160は、原画像201中の、電話番号などのそれ自体は意味を持たない数字・記号列については文字を無作為に選んだ順序に並び替えた1枚の加工画像を出力するようにしてもよい。もしくは、奇数番目の文字のみを抹消した加工画像と偶数番目の文字のみを抹消した加工画像という2枚の加工画像を出力するようにすることも可能である。
これにより、修正処理において作業者には元の文字列に関する情報を与えず、提供元では修正入力を元の順序に従って並び替えることでから認識結果を正しく修正することができる。
また、加工部160の処理の別の例としては、原画像として、同一様式の帳票であって、異なる内容が記載された帳票の画像データが複数ある場合に、それぞれの原画像において検出された秘匿情報の一部を入れ替えることによって複数の加工画像を出力することが考えられる。入れ替える秘匿情報の場所は各原画像の同一の位置にある。
例えば2枚の原画像のそれぞれから秘匿情報として氏名が検出された場合、加工部160は1枚目の原画像に含まれる氏名のうちの名の部分を削除し2枚目の原画像に含まれる氏名のうちの名と置き換える。同様に、加工部160は2枚目の原画像含まれる氏名のうちの名を削除し1枚目の画像に含まれる姓名のうちの名の画像で置き換える。
100…画像処理システム
101…スキャナ
102−107…ソフトウェア
103…画像処理装置
104…記憶装置
105…ネットワーク
106…作業者用端末装置
130…枠線検出部
140…認識部
150…秘匿情報検出部
160…加工部
170…修正部
201…原画像
202…枠線情報
203…認識結果
204…秘匿情報
205…加工画像

Claims (8)

  1. 文書の画像を認識する画像処理装置と、入力部および表示部を備える端末装置とがネットワークにより接続された画像処理システムにおいて、
    前記画像処理装置は、
    前記画像に文字認識処理を行う認識部と、
    前記認識部の認識結果から秘匿情報を検出する秘匿情報検出部と、
    前記秘匿情報に基づいて、前記画像における前記秘匿情報部分を断片化した第1の加工画像を作成する加工部と、
    を備え、
    前記端末装置は、
    前記第1の加工画像を表示する表示部と、
    前記第1の加工画像の修正データを入力する入力部と、
    を備える、画像処理システム。
  2. 前記画像処理装置はさらに、
    前記画像から記入枠を検出する検出部を備え、
    前記認識部は、前記記入枠に基づいて画像を切り出した部分画像を作成し、作成した前記部分画像に前記文字認識処理を行い、
    前記加工部は、前記秘匿情報検出部が前記文字認識処理の結果から秘匿情報を検出しない場合、前記部分画像における前記記入枠以外の部分を除去した第2の加工画像を作成する、請求項1に記載の画像処理システム。
  3. 前記端末装置の前記表示部は、前記第2の加工画像を表示し、
    前記端末装置の前記入力部は、前記第2の加工画像の修正データを入力し、
    前記画像処理装置の前記認識部は、前記第2の加工画像における前記記入枠の修正が行われた場合、修正された当該記入枠に基づいて文字認識処理を行う、請求項2に記載の画像処理システム。
  4. 前記画像処理装置はさらに、
    前記加工画像を前記端末装置に送信し、前記端末装置の入力部から入力された、前記加工画像への修正データを受信する修正部を備える請求項1乃至請求項3のいずれか1項に記載の画像処理システム。
  5. 前記画像処理装置の前記修正部は、前記加工部により断片化された部分を断片化前の状態に復元する、請求項1乃至請求項4のいずれか1項に記載の画像処理システム。
  6. 文書の画像に文字認識処理を行う認識部と、
    前記認識部の認識結果から秘匿情報を検出する秘匿情報検出部と、
    前記秘匿情報に基づいて、前記画像における前記秘匿情報部分を断片化した第1の加工画像を作成する加工部と、を備える画像処理装置。
  7. 前記画像から記入枠を検出する検出部をさらに備え、
    前記認識部は、前記記入枠に基づいて画像を切り出した部分画像を作成し、作成した前記部分画像に前記文字認識処理を行い、
    前記加工部は、前記秘匿情報検出部が前記文字認識処理の結果から秘匿情報を検出しない場合、前記部分画像における前記記入枠以外の部分を断片化した第2の加工画像を作成する、請求項6に記載の画像処理装置。
  8. 文書の画像を認識する画像処理装置のプログラムであって、コンピュータに、
    画像に文字認識処理を行う機能と、
    認識結果から秘匿情報を検出する機能と、
    前記秘匿情報に基づいて、前記画像における前記秘匿情報部分を断片化した第1の加工画像を作成する機能と、を実現させるプログラム。
JP2016065759A 2016-03-29 2016-03-29 画像処理システム、画像処理装置、および画像処理プログラム Active JP6856321B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016065759A JP6856321B2 (ja) 2016-03-29 2016-03-29 画像処理システム、画像処理装置、および画像処理プログラム
CN201710152851.1A CN107317951B (zh) 2016-03-29 2017-03-15 图像处理系统、图像处理装置以及图像处理方法
US15/460,450 US10902278B2 (en) 2016-03-29 2017-03-16 Image processing apparatus, image processing system, computer program product, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016065759A JP6856321B2 (ja) 2016-03-29 2016-03-29 画像処理システム、画像処理装置、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017182276A true JP2017182276A (ja) 2017-10-05
JP6856321B2 JP6856321B2 (ja) 2021-04-07

Family

ID=59961681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016065759A Active JP6856321B2 (ja) 2016-03-29 2016-03-29 画像処理システム、画像処理装置、および画像処理プログラム

Country Status (3)

Country Link
US (1) US10902278B2 (ja)
JP (1) JP6856321B2 (ja)
CN (1) CN107317951B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020187678A (ja) * 2019-05-17 2020-11-19 株式会社日立システムズ 文字一致性確認システム、文字一致性確認装置、文字一致性確認方法及び文字一致性確認プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7236928B2 (ja) * 2019-05-17 2023-03-10 株式会社日立システムズ 文字一致性確認システム、文字一致性確認装置、文字一致性確認方法及び文字一致性確認プログラム
CN113657274B (zh) * 2021-08-17 2022-09-20 北京百度网讯科技有限公司 表格生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329187A (ja) * 1995-06-06 1996-12-13 Oki Electric Ind Co Ltd 文書読取装置
JP2007183985A (ja) * 1998-01-28 2007-07-19 Daiwa Computer Service Kk 情報入力方法とシステム
JP2007272615A (ja) * 2006-03-31 2007-10-18 Oki Electric Ind Co Ltd 文字読み取り装置
JP2008259156A (ja) * 2007-03-30 2008-10-23 Sharp Corp 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記録媒体
JP2010277168A (ja) * 2009-05-26 2010-12-09 Fuji Xerox Co Ltd データ入力システム、データ入力受付装置及びプログラム
JP2012234344A (ja) * 2011-04-28 2012-11-29 Fujitsu Frontech Ltd 帳票上の文字を認識する文字認識装置、マスク処理方法、および、マスク処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235286B2 (ja) 1998-09-11 2009-03-11 キヤノン株式会社 表認識方法及び装置
JP3258287B2 (ja) * 1999-01-06 2002-02-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像データの解析方法及び解析装置、及び画像データの解析を行うためのプログラム・プロダクトを格納した記録媒体
JP2006025255A (ja) * 2004-07-08 2006-01-26 Sharp Corp 画像読取装置
EP1615417A1 (en) 2004-07-08 2006-01-11 Sharp Kabushiki Kaisha Image forming apparatus and image scanner
JP4929064B2 (ja) * 2007-05-15 2012-05-09 株式会社リコー 秘匿処理装置および画像形成装置
EP2154815A4 (en) * 2007-05-30 2012-11-14 Fujitsu Ltd IMAGE ENCRYPTION DEVICE, IMAGE KEYING DEVICE, METHOD AND PROGRAM
JP2009010744A (ja) * 2007-06-28 2009-01-15 Kyocera Mita Corp 画像形成装置
JP2009188808A (ja) 2008-02-07 2009-08-20 Ricoh Co Ltd 画像処理装置、サーバ、画像処理方法、プログラムおよび記憶媒体
US20120265578A1 (en) * 2011-04-12 2012-10-18 Jana Mobile, Inc. Completing tasks involving confidential information by distributed people in an unsecure environment
US10319479B2 (en) * 2015-05-14 2019-06-11 Florence Healthcare, Inc. Remote monitoring and dynamic document management systems and methods
JP6690170B2 (ja) * 2015-09-28 2020-04-28 富士ゼロックス株式会社 画像処理装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329187A (ja) * 1995-06-06 1996-12-13 Oki Electric Ind Co Ltd 文書読取装置
JP2007183985A (ja) * 1998-01-28 2007-07-19 Daiwa Computer Service Kk 情報入力方法とシステム
JP2007272615A (ja) * 2006-03-31 2007-10-18 Oki Electric Ind Co Ltd 文字読み取り装置
JP2008259156A (ja) * 2007-03-30 2008-10-23 Sharp Corp 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記録媒体
JP2010277168A (ja) * 2009-05-26 2010-12-09 Fuji Xerox Co Ltd データ入力システム、データ入力受付装置及びプログラム
JP2012234344A (ja) * 2011-04-28 2012-11-29 Fujitsu Frontech Ltd 帳票上の文字を認識する文字認識装置、マスク処理方法、および、マスク処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020187678A (ja) * 2019-05-17 2020-11-19 株式会社日立システムズ 文字一致性確認システム、文字一致性確認装置、文字一致性確認方法及び文字一致性確認プログラム
WO2020235299A1 (ja) * 2019-05-17 2020-11-26 株式会社日立システムズ 文字一致性確認システム、文字一致性確認装置、文字一致性確認方法及び文字一致性確認プログラム
JP7270457B2 (ja) 2019-05-17 2023-05-10 株式会社日立システムズ 文字一致性確認システム、文字一致性確認装置、文字一致性確認方法及び文字一致性確認プログラム

Also Published As

Publication number Publication date
CN107317951A (zh) 2017-11-03
US10902278B2 (en) 2021-01-26
CN107317951B (zh) 2020-07-21
US20170286795A1 (en) 2017-10-05
JP6856321B2 (ja) 2021-04-07

Similar Documents

Publication Publication Date Title
US9374501B2 (en) Methods and devices for form-independent registration of filled-out content
US10726254B2 (en) Dynamic duplicate detection
CN110705235B (zh) 业务办理的信息录入方法、装置、存储介质及电子设备
JP6856321B2 (ja) 画像処理システム、画像処理装置、および画像処理プログラム
US20170132462A1 (en) Document checking support apparatus, document checking support system, and non-transitory computer readable medium
US10706581B2 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
US20170094123A1 (en) Electronic device, information processing system, and information processing method
JP5669041B2 (ja) 文書処理装置及び文書処理方法
JP4982587B2 (ja) データエントリシステムおよびデータエントリ方法
US10242263B1 (en) Virtual assistant of safe locker
US20200226162A1 (en) Automated Reporting System
US10657309B2 (en) Information processing apparatus capable of correcting a written object on the basis of a detected reference direction
KR102024127B1 (ko) 문자인식 시스템, 문자인식 프로그램 및 문자인식방법
CN106055693B (zh) 一种信息处理方法及终端
JP6850323B2 (ja) 情報処理装置、その制御方法及びプログラム
JP2017097859A (ja) 情報処理装置と、その処理方法及びプログラム
US20200082499A1 (en) Information processing method, computer-readable non-transitory storage medium having program stored thereon, and information processing device
KR101790544B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 기억 매체
US9661179B2 (en) Image processing device, information processing method, and non-transitory computer-readable medium
US20190222713A1 (en) Image communicating apparatus, and control method
JP6717228B2 (ja) 画像読取装置、画像読取方法及び画像形成装置
JP5169648B2 (ja) 原画像探索装置及び原画像探索プログラム
JP4887867B2 (ja) 文字読み取り装置
KR102171906B1 (ko) 광학 문자 인식 기반 증명서류 검증 방법
JP5251652B2 (ja) 帳票イメージファイリングシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

A603 Late request for extension of time limit during examination

Free format text: JAPANESE INTERMEDIATE CODE: A603

Effective date: 20200313

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210318

R150 Certificate of patent or registration of utility model

Ref document number: 6856321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150