JP2023141193A - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP2023141193A
JP2023141193A JP2022047394A JP2022047394A JP2023141193A JP 2023141193 A JP2023141193 A JP 2023141193A JP 2022047394 A JP2022047394 A JP 2022047394A JP 2022047394 A JP2022047394 A JP 2022047394A JP 2023141193 A JP2023141193 A JP 2023141193A
Authority
JP
Japan
Prior art keywords
processing
information
progress
correction
processes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022047394A
Other languages
English (en)
Inventor
貴慎 大野
Takanori Ono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2022047394A priority Critical patent/JP2023141193A/ja
Priority to US17/896,805 priority patent/US20230306764A1/en
Priority to EP22199936.0A priority patent/EP4250202A1/en
Publication of JP2023141193A publication Critical patent/JP2023141193A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/127Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】OCRにおける一連の複数の処理の各段階で個別に処理の適否を判断する構成と比較して、全体の処理が完了した後、一連の複数の処理を遡って各段階の処理の適否を確認可能とする。【解決手段】情報処理装置としてのユーザ端末10は、制御部11を備え、制御部11では、OCR制御部101が文字情報を読み取ってデータ化する処理として2以上の処理を順次実行して処理結果を出力し、処理結果取得部102が処理結果情報として取得し、入力操作受付部103が処理結果情報に対するユーザの操作を受け付け、表示制御部107が入力操作に応じて処理結果に至る2以上の処理における個々の処理の経過を表示装置としてのユーザインターフェースに表示する制御を行う。【選択図】図4

Description

本発明は、情報処理装置およびプログラムに関する。
用紙等の媒体に記録された文字情報を読み取ってデータ化する技術が知られている(例えば、特許文献1および2)。
特開2020-170465号公報 特開2020-102166号公報
このような技術では、OCR(Optical Character Recognition/Reader)による文字情報の読み取りから最終的なデータが得られるまで一連の複数の処理が実行され、複数の処理のいくつかの段階で、必要に応じて処理の適否を判断し補正することが行われる。しかしながら、文字情報からデータ化されるまでの一連の複数の処理において、処理結果のデータが得られた後、得られた処理結果に誤りがある場合には、一連の複数の処理のうち誤りの原因となった処理を特定することが困難となる。
本発明の目的は、OCRにおける一連の複数の処理の各段階で個別に処理の適否を判断する構成と比較して、全体の処理が完了した後、一連の複数の処理を遡って各段階の処理の適否を確認可能とすることにある。
請求項1に記載された発明は、プロセッサを備え、前記プロセッサは、文字情報を読み取ってデータ化する処理として2以上の処理を順次実行して処理結果を出力し、出力された前記処理結果に対するユーザの操作を受け付け、前記操作に応じて、前記処理結果に至る前記2以上の処理における個々の処理の経過を表示装置に表示することを特徴とする、情報処理装置である。
請求項2に記載された発明は、前記プロセッサは、前記2以上の処理の一部または全部について、前記個々の処理の経過を一覧表示することを特徴とする、請求項1に記載の情報処理装置である。
請求項3に記載された発明は、前記プロセッサは、前記処理結果として複数項目の情報を出力し、ユーザによる前記複数項目のうちの何れかの項目の選択操作を受け付け、選択された項目に関連する処理の経過を前記表示装置に表示し、他の処理の経過を表示しないことを特徴とする、請求項2に記載の情報処理装置である。
請求項4に記載された発明は、前記プロセッサは、前記2以上の処理における個々の処理の経過を、当該個々の処理ごとに個別に表示することを特徴とする、請求項1に記載の情報処理装置である。
請求項5に記載された発明は、前記プロセッサは、ユーザの操作を受け付けて、前記表示装置に表示されている前記個々の処理の経過を表示する画面から、当該処理の直前の処理または直後の処理の経過を表示する画面へ遷移させることを特徴とする、請求項4に記載の情報処理装置である。
請求項6に記載された発明は、前記プロセッサは、前記処理の経過の表示において、予め定められた基準に基づき問題があると推定される前記処理の経過を、他の処理の経過に対して識別可能に表示することを特徴とする、請求項1乃至請求項5の何れかに記載の情報処理装置である。
請求項7に記載された発明は、前記2以上の処理には、前段の処理で得られた中間データを修正する修正処理、および、前段の処理で得られた中間データを変換する変換処理の少なくとも一方が含まれ、前記プロセッサは、前記修正処理に係る前記処理の経過の表示において、1または複数の修正候補を表示し、前記変換処理に係る前記処理の経過の表示において、1または複数の変換候補を表示することを特徴とする、請求項1に記載の情報処理装置である。
請求項8に記載された発明は、前記プロセッサは、前記修正処理および前記変換処理の経過の表示において、前記修正候補および前記変換候補に関して、予め定められた基準に基づいて判断される当該修正候補および当該変換候補の妥当性を表す表示を行うことを特徴とする、請求項7に記載の情報処理装置である。
請求項9に記載された発明は、前記プロセッサは、前記修正候補の妥当性を、少なくとも、前段の処理で得られた中間データと当該修正候補との類似度に基づいて特定することを特徴とする、請求項8に記載の情報処理装置である。
請求項10に記載された発明は、前記プロセッサは、前記修正処理として、予め定められた規則にしたがって前記プロセッサが行う補正と、ユーザの入力操作を受け付けて前記中間データの文字列を入力された文字列に置き換える訂正とを行い、前記修正候補の妥当性を、前段の処理で得られた中間データと前記補正における当該修正候補との類似度および当該修正候補と前記訂正で入力された文字列との類似度に基づいて特定することを特徴とする、請求項8に記載の情報処理装置である。
請求項11に記載された発明は、前記プロセッサは、前記変換候補を、予め定められた分類に基づくデータ群から選択し、前記変換候補の妥当性を、当該変換候補の分類に含まれるデータ群から抽出される規則性に対する適合の程度に基づいて特定することを特徴とする、請求項8に記載の情報処理装置である。
請求項12に記載された発明は、前記プロセッサは、前記修正処理として、予め定められた規則にしたがって前記プロセッサが行う補正と、ユーザの入力操作を受け付けて前記中間データの文字列を入力された文字列に置き換える訂正とを行い、前記補正における処理の経過と前記訂正における処理の経過とを識別可能に表示することを特徴とする、請求項7に記載の情報処理装置である。
請求項13に記載された発明は、前記プロセッサは、前記個々の処理を、当該処理ごとに予め定められた定義に基づいて実行し、前記個々の処理のうち、処理の経過が前記表示装置に表示された処理に関して、当該処理の経過を表示する画面においてユーザによる操作を受け付け、当該処理で利用した定義および当該処理の結果を修正することを特徴とする、請求項1に記載の情報処理装置である。
請求項14に記載された発明は、前記プロセッサは、前記処理に関する修正が行われた後、当該修正に係る当該処理から一連の処理を再実行することを特徴とする、請求項13に記載の情報処理装置である。
請求項15に記載された発明は、コンピュータに、文字情報を読み取ってデータ化する処理として2以上の処理を順次実行して処理結果を出力する機能と、出力された前記処理結果に対するユーザの操作を受け付ける機能と、前記操作に応じて、前記処理結果に至る前記2以上の処理における個々の処理の経過を表示装置に表示する機能と、を実現させることを特徴とする、プログラムである。
請求項1の本発明によれば、一連の処理の各段階で個別に処理の適否を判断する構成と比較して、全体の処理が完了した後、一連の処理を遡って各段階の処理の適否を確認できるようにする情報処理装置を提供できる。
請求項2の本発明によれば、個々の処理を個別に表示する構成と比較して、各段階の処理の関係の把握が容易になる。
請求項3の本発明によれば、複数項目の処理経過を全て表示する構成と比較して、ユーザにより選択された処理の経過の視認性を高めることができる。
請求項4の本発明によれば、2以上の処理の全体を一覧表示する構成と比較して、個々の処理の経過について、より多くの情報を提示することができる。
請求項5の本発明によれば、処理の一覧等から選択された処理の画面に遷移させる構成と比較して、遷移元および遷移先の処理の時系列の関係の把握が容易になる。
請求項6の本発明によれば、各処理の経過を同じ態様で表示する構成と比較して、一連の処理において問題があると推定される箇所を視覚的に認識することが容易になる。
請求項7の本発明によれば、修正および変換の結果のみを表示する構成と比較して、ユーザが処理の過程をより詳細に把握することができる。
請求項8の本発明によれば、候補の表示において妥当性を示さない構成と比較して、問題のある候補を視覚的に識別することが容易になる。
請求項9の本発明によれば、前段の処理結果との類似関係を用いずに妥当性を判断する構成と比較して、修正処理の適否を判断することができる。
請求項10の本発明によれば、前段の処理結果および訂正文字列との類似関係を用いずに妥当性を判断する構成と比較して、修正処理の適否を判断することができる。
請求項11の本発明によれば、変換候補の分類に含まれるデータ群から抽出される規則性を用いずに妥当性を判断する構成と比較して、データ群における各データ間の関係に基づいて変換候補の適否を判断することができる。
請求項12の本発明によれば、プロセッサによる補正とユーザによる訂正とを同じ態様で表示する構成と比較して、プロセッサによる処理とユーザによる処理とを区別して把握することができる。
請求項13の本発明によれば、処理の定義や処理における候補を別途修正する構成と比較して、定義や候補の修正を円滑に行うことができる。
請求項14の本発明によれば、2以上の処理の全体を再実行する構成と比較して、修正箇所以前の処理結果を再利用することができる。
請求項15の本発明によれば、一連の処理の各段階で個別に処理の適否を判断する構成と比較して、全体の処理が完了した後、一連の処理を遡って各段階の処理の適否を確認できるようにするプログラムを提供できる。
本実施の形態が適用される情報処理装置としてのユーザ端末を含む情報処理システムの全体構成の一例を示す図である。 本実施の形態が適用される情報処理装置としてのユーザ端末のハードウェア構成の一例を示す図である。 本実施の形態が適用される情報処理装置としての管理サーバのハードウェア構成の一例を示す図である。 ユーザ端末の制御部の機能構成の一例を示す図である。 管理サーバがユーザ端末の処理の一部を行う場合における、管理サーバの制御部の機能構成の一例を示す図である。 ユーザ端末の処理の流れを示すフローチャートの一例である。 管理サーバがユーザ端末の処理の一部を行う場合における、管理サーバの処理の流れを示すフローチャートの一例である。 本発明が適用されるサービスの具体例を示す図である。 ユーザ端末の表示部に表示装置として表示されるユーザインターフェースの具体例を示す図である。 ユーザ端末の表示部に表示装置として表示されるユーザインターフェースの具体例を示す図である。 ユーザ端末の表示部に表示装置として表示されるユーザインターフェースの具体例を示す図である。 ユーザ端末の表示部に表示装置として表示されるユーザインターフェースの具体例を示す図である。 ユーザ端末の表示部に表示装置として表示されるユーザインターフェースの具体例を示す図である。 ユーザ端末の表示部に表示装置として表示されるユーザインターフェースの具体例を示す図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
(情報処理システムの構成)
図1は、本実施の形態が適用される情報処理装置としてのユーザ端末10-1乃至10-n(nは2以上の整数値)を含む情報処理システム1の全体構成の一例を示す図である。
情報処理システム1は、ユーザ端末10-1乃至10-nと、管理サーバ30とがネットワーク90を介して接続されることにより構成されている。ネットワーク90は、例えば、LAN(Local Area Network)、インターネット等である。なお、ユーザ端末10-1乃至10-nの各々を個別に説明する必要がない場合、これらをまとめてユーザ端末10と呼ぶ。
ユーザ端末10は、ユーザが操作するパーソナルコンピュータ、スマートフォン、タブレット端末等の情報処理装置である。ユーザ端末10は、文字情報の読み取りからの文字情報のデータ化までの一連の処理(以下、「OCR処理」と呼ぶ。)を行う。OCR処理は、2以上の処理で構成されている。OCR処理を構成する各処理には定義が定められており、その定義に基づいて各処理が実行される。
ユーザ端末10は、実行したOCR処理を構成する各処理の個々の処理結果を出力し、出力された情報を「処理結果情報」としてユーザインターフェースに表示する。そして、処理結果情報に対するユーザの入力操作が行われると、その入力情報に応じて、処理結果に至る各処理における個々の処理の経過を、「経過情報」としてユーザインターフェースに表示する。すなわち、処理結果情報は、OCR処理を構成する2以上の処理の各々の処理結果を前後の処理結果に関係なく個別に出力する情報であるのに対し、経過情報は、OCR処理を構成する2以上の処理の各々の処理結果を前後の処理結果が関連付けられた全体的なフローとして出力する情報である。
OCR処理に含まれる2以上の処理としては、例えば、複数のユーザにより行われる処理と、複数のCPU(Central Processing Unit)(図2の制御部11の説明参照)により行われる処理と、ユーザおよびCPUにより行われる処理とが挙げられる。このうち、複数のユーザにより行われる2以上の処理としては、例えば、あるユーザが確認処理や訂正処理を行った後、他のユーザが確認処理や訂正処理を行ういわゆるダブルチェックのように、2以上の処理が異なるユーザによって直列的に行われるもの、2以上のユーザがそれぞれ確認処理や訂正処理を同時並行的に行うもの、2以上のユーザがそれぞれ確認処理や訂正処理を同時並行的に行った後に突合せを行うもの等が挙げられる。
また、OCR処理に含まれる処理のうち、複数のCPUにより行われる2以上の処理としては、例えば、第1の辞書に基づいたOCR処理と、第2の辞書に基づいたOCR処理とがそれぞれ行われる場合等が挙げられる。また、OCR処理に含まれる処理のうち、ユーザおよびCPUにより行われる2以上の処理としては、例えば、CPUによる処理と、ユーザによる処理との組み合わせ等が挙げられる。ここでいう「組み合わせ」としては、例えば、CPUによる補正の制御処理と、ユーザによる確認処理および訂正処理との組み合わせ等が挙げられる。
管理サーバ30は、情報処理システム1の全体の管理をするサーバとしての情報処理装置である。管理サーバ30は、ユーザ端末10による上述の処理の一部を行うことができる。例えば、管理サーバ30は、OCR処理の一部を行う場合には、ユーザ端末10により読み取られた情報(以下、「読取情報」と呼ぶ。)をデータ化する処理や、実行した2以上の処理の個々の処理結果を処理結果情報としてユーザ端末10に向けて送信する処理等を行う。
また、管理サーバ30は、OCR処理の一部を行う場合には、処理結果情報に対する入力情報がユーザ端末10から送信されてくると、その入力情報に応じて経過情報を生成する。このように、管理サーバ30がユーザ端末10による上述の処理の一部を行う場合には、管理サーバ30とユーザ端末10との間において、ユーザの入力操作によりユーザ端末10に入力された情報、ユーザ端末10および管理サーバ30の各々の処理の結果として出力された情報、図示せぬ外部から取得された情報等の送受信が行われる。なお、管理サーバ30によるこれらの処理の詳細については後述する。
上述の情報処理システム1の構成は一例であり、情報処理システム1全体として上述の処理を実現させる機能を備えていればよい。このため、上述の処理を実現させる機能のうち、一部または全部を情報処理システム1内で分担してもよいし協働してもよい。すなわち、ユーザ端末10の機能の一部または全部を管理サーバ30の機能としてもよいし、管理サーバ30の機能の一部または全部をユーザ端末10の機能としてもよい。さらに、情報処理システム1を構成するユーザ端末10および管理サーバ30の各々の機能の一部または全部を、図示せぬ他のサーバ等に移譲してもよい。これにより、情報処理システム1全体としての処理が促進され、また、処理を補完し合うことも可能となる。
(ユーザ端末のハードウェア構成)
図2は、本実施の形態が適用される情報処理装置としてのユーザ端末10のハードウェア構成の一例を示す図である。
ユーザ端末10は、制御部11と、メモリ12と、記憶部13と、通信部14と、操作部15と、表示部16と、読取部17とを有している。これらの各部は、データバス、アドレスバス、PCI(Peripheral Component Interconnect)バス等で接続されている。
制御部11は、OS(基本ソフトウェア)やアプリケーションソフトウェア(応用ソフトウェア)等の各種ソフトウェアの実行を通じてユーザ端末10の機能の制御を行うプロセッサである。制御部11は、例えばCPUで構成される。メモリ12は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、演算に際して作業エリアとして用いられる。メモリ12は、例えばRAM(Random Access Memory)等で構成される。
記憶部13は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。記憶部13は、例えばプログラムや各種設定データなどの記憶に用いられるHDD(Hard Disk Drive)やSSD(Solid State Drive)、半導体メモリ等で構成される。記憶部13には、各種情報を記憶するデータベースとして、例えば、各種の文字列および変換テーブル等が記憶された文字列DB131、処理結果情報が格納された処理結果DB132等が格納されている。
通信部14は、ネットワーク90を介して管理サーバ30および外部との間でデータの送受信を行う。操作部15は、例えばキーボード、マウス、機械式のボタン、スイッチで構成され、入力操作を受け付ける。また、操作部15は、表示部16に表示された操作画像を有する。操作部15には、表示部16と一体的にタッチパネルを構成するタッチセンサも含まれる。表示部16は、例えば情報の表示に用いられる液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイで構成され、画像やテキストのデータなどを表示する。表示部16には、表示装置としてのユーザインターフェースが表示される。
読取部17は、記録媒体としての用紙等の媒体(例えば、帳票等)に記録された画像を読み取る。読取部17は、例えば光源から原稿に照射した光に対する反射光をレンズで縮小してCCD(Charge Coupled Devices)で受光するCCD方式のスキャナや、LED光源から原稿に順に照射した光に対する反射光をCIS(Contact Image Sensor)で受光するCIS方式のスキャナ等で構成される。
(管理サーバのハードウェア構成)
図3は、本実施の形態が適用される情報処理装置としての管理サーバ30のハードウェア構成の一例を示す図である。
管理サーバ30は、図2のユーザ端末10のハードウェア構成のうち、制御部11、メモリ12、記憶部13、通信部14、操作部15、および表示部16の各々に対応するハードウェア構成を有している。そして、これらの各部は、データバス、アドレスバス、PCIバス等で接続されている。
すなわち、管理サーバ30は、CPU等のプロセッサで構成される制御部31と、RAM等の記憶領域で構成されるメモリ32と、HDDやSDD、半導体メモリ等の記憶領域で構成される記憶部33とを有している。記憶部33には、各種情報を記憶するデータベースとして、例えば、各種の文字列および変換テーブル等が記憶された文字列DB331、処理結果情報が格納された処理結果DB332等が格納されている。また、ネットワーク90を介してユーザ端末10や外部との間でデータの送受信を行う通信部34を有している。また、管理サーバ30は、キーボード、マウス、タッチパネル等で構成される操作部35と、液晶ディスプレイや有機ELディスプレイ等で構成される表示部36を有している。
(ユーザ端末の制御部の機能構成)
図4は、ユーザ端末10の制御部11の機能構成の一例を示す図である。
ユーザ端末10の制御部11では、OCR制御部101と、処理結果取得部102と、入力操作受付部103と、経過情報生成部104と、候補抽出部105と、妥当性特定部106と、表示制御部107と、送受信制御部108とが機能する。
OCR制御部101は、OCR処理の実行の制御を行う。上述のように、OCR処理は、2以上の処理で構成されている。OCR処理を構成する処理としては、上述のように、複数のユーザにより行われる処理、複数のCPUにより行われる処理、ユーザおよびCPUにより行われる処理等が挙げられる。例えば、前段の処理の結果として取得された中間データを修正する処理(以下、「修正処理」と呼ぶ。)、前段の処理の結果として取得された中間データを、データベースを用いて他のデータへ変換する処理(以下、「変換処理」と呼ぶ。)は、いずれもOCR処理を構成する処理の一例である。
OCR制御部101は、修正処理の制御として、予め定められた規則にしたがってCPUが行う補正の制御と、前段の処理の結果として取得された中間データの文字列を、ユーザの入力操作により入力された文字列に置き換える訂正の制御とを行う。また、OCR制御部101は、ユーザの入力操作に基づいて、OCR処理で利用された定義および処理の結果の修正の制御を行う。この場合、OCR制御部101は、ユーザの入力操作に応じて、OCR処理で利用された定義および処理の結果の修正が行われた後、その修正に係る処理からOCR処理を再実行する制御を行うことができる。
処理結果取得部102は、OCR制御部101の制御により実行された、OCR処理を構成する2以上の処理の個々の処理結果を取得する。処理結果には、複数の項目からなる情報が含まれる。処理結果取得部102により取得された処理結果は、処理結果情報としてデータベースに記憶されて管理される。具体的には、取得された処理結果情報は、記憶部13(図2参照)の処理結果DB132に記憶されて管理される。
入力操作受付部103は、ユーザの入力操作を受け付ける。ユーザの入力操作としては、例えば、指によるタッチ操作やマウス操作等が挙げられる。また、入力操作受付部103は、アプリケーションソフトウェアを起動してユーザインターフェースを表示部16(図2参照)に表示させるための入力操作を受け付ける。
また、入力操作受付部103は、ユーザインターフェースに表示された処理結果情報に対するユーザの入力操作を受け付ける。例えば、入力操作受付部103は、ユーザの入力操作として、処理結果情報に含まれる複数の項目からなる情報のうち、経過情報を生成する対象となる1または複数の項目の情報を選択するための入力操作を受け付ける。また、入力操作受付部103は、OCR処理を構成する処理のうち、ユーザインターフェースに表示された処理の経過情報に対するユーザの入力操作を受け付ける。また、入力操作受付部103は、OCR処理を構成する各処理で利用された定義および処理の結果を修正するための入力操作を受け付ける。
経過情報生成部104は、入力操作受付部103により入力が受け付けられた入力情報に応じて、処理結果に至る2以上の処理における経過情報を生成する。
候補抽出部105は、修正処理の経過情報としてユーザインターフェースに表示される1または複数の修正候補を、データベースに記憶されている情報から抽出する。また、候補抽出部105は、変換処理の経過情報としてユーザインターフェースに表示される1または複数の変換候補を、データベースに記憶されている情報から抽出する。例えば、候補抽出部105は、記憶部13の文字列DB131に記憶されている情報から、1または複数の修正候補あるいは変換候補を抽出する。
妥当性特定部106は、候補抽出部105により修正候補または変換候補が抽出される場合には、修正候補または変換候補の妥当性を特定する。修正候補または変換候補の妥当性は、予め定められた基準に基づいて判断される。このうち、修正候補の妥当性を特定するための基準としては、例えば、前段の処理で取得された中間データと修正候補との類似の程度を示す類似度や、訂正のためにユーザにより入力された文字列との類似の程度を示す類似度等が用いられる。また、変換候補の妥当性の度合を特定するための基準としては、例えば、変換候補の分類に含まれるデータ群から抽出される規則性に対する適合の程度を示す値等が用いられる。
表示制御部107は、各種情報を表示部16(図2参照)に表示させる制御を行う。例えば、表示制御部107は、表示部16の表示装置としてのユーザインターフェースを表示する制御を行う。表示部16に表示されるユーザインターフェースは、ユーザ端末10に予めインストールされた、ユーザ向けの専用のアプリケーションソフトウェアを起動することで表示させることができる。また、ユーザインターフェースは、ユーザ向けの専用のウェブサイトにアクセスすることでも表示させることができる。
表示制御部107は、処理結果取得部102により取得され、データベースに記憶されている処理結果情報をユーザインターフェースに表示する制御を行う。具体的には、表示制御部107は、記憶部13の処理結果DB132に記憶されている、OCR処理を構成する処理の個々の処理結果情報をユーザインターフェースに表示する制御を行う。ユーザインターフェースに表示される処理結果情報には、複数の項目からなる情報が含まれる。なお、処理結果情報が表示されたユーザインターフェースの具体例については、図9を参照して後述する。
また、表示制御部107は、経過情報生成部104により生成された経過情報をユーザインターフェースに表示する制御を行う。具体的には、表示制御部107は、OCR処理を構成する2以上の処理の一部または全部について、個々の処理の経過情報を一覧表示する制御を行う。また、表示制御部107は、ユーザの入力操作により選択された項目に関連する処理の経過情報をユーザインターフェースに表示する制御を行う。この場合、表示制御部107は、選択された項目に関連しない処理の経過については、ユーザインターフェースに表示しない制御を行うことができる。なお、個々の処理の経過情報が一覧表示されたユーザインターフェースの具体例については、図10および図11を参照して後述する。
また、表示制御部107は、処理結果に至る2以上の処理における個々の処理の経過情報を、個々の処理ごとに個別に表示する制御を行うことができる。この場合、表示制御部107は、ユーザの入力操作をさらに受け付けて、ユーザインターフェースに表示された個々の処理の経過を表示する画面から、個々の処理の直前の処理、または直後の処理の経過を表示する画面に遷移させる制御を行うことができる。
また、表示制御部107は、経過情報として、予め定められた基準に基づき問題があると推定される処理の経過を、他の処理の経過に対して識別可能な態様でユーザインターフェースに表示する制御を行う。「予め定められた基準」は、特に限定されず、例えば、ユーザの入力操作により設定された閾値等を基準としてもよい。また、表示制御部107は、修正処理の経過情報として、1または複数の修正の候補となる文字列(以下、「修正候補」と呼ぶ。)をユーザインターフェースに表示する制御を行う。また、例えば、表示制御部107は、変換処理の経過情報として、1または複数の変換の候補となる文字列(以下、「変換候補」と呼ぶ。)をユーザインターフェースに表示する制御を行う。なお、修正候補および変換候補は、予め定められた基準に基づいて、後述する候補抽出部105により抽出される。
表示制御部107は、妥当性特定部106により特定された、修正候補または変換候補の妥当性を表す表示をユーザインターフェースに表示する制御を行う。「妥当性を表す表示」の態様は特に限定されず、ユーザが一見して変換候補の妥当性を認識できる表示の態様であればよい。例えば、色、数値等の表示の態様を採用することができる。また、表示制御部107は、修正処理の経過情報として、CPUによる補正の制御処理の経過と、ユーザの入力操作により入力された文字列に置き換える訂正の処理の経過とを識別可能な態様でユーザインターフェースに表示する制御を行う。
送受信制御部108は、通信部14(図2参照)を介して各種情報を送受信する制御を行う。送受信制御部108は、管理サーバ30または図示せぬ外部の他のサーバ等が、ユーザ端末10の処理の一部を行う場合に機能する。例えば、ユーザ端末10が、用紙等の媒体に形成された文字情報を読み取る処理を行い、管理サーバ30が、ユーザ端末10により読み取られた文字情報をデータ化する処理を行う構成になっていたとする。この場合、送受信制御部108は、OCR制御部101の制御により読み取られた文字情報を読取情報として管理サーバ30に向けて送信する制御や、管理サーバ30から送信されてくる処理結果情報や経過情報等を受信する制御等を行う。
(管理サーバの制御部の機能構成)
図5は、管理サーバ30がユーザ端末10の処理の一部を行う場合における、管理サーバ30の制御部の機能構成の一例を示す図である。
ユーザ端末10の処理の一部を管理サーバ30が行う場合、管理サーバ30の制御部では、読取情報取得部301と、OCR制御部302と、処理結果取得部303と、入力情報取得部304と、経過情報生成部305と、候補抽出部306と、妥当性特定部307と、送受信制御部308とが機能する。なお、このうち、OCR制御部302、処理結果取得部303、経過情報生成部305、候補抽出部306、および妥当性特定部307の各々の機能は、図3のOCR制御部101、処理結果取得部102、経過情報生成部104、候補抽出部105、および妥当性特定部106の各々の機能と同様であり、説明を省略する。
読取情報取得部301は、ユーザ端末10から送信され、送受信制御部308の制御により受信された読取情報を取得する。
入力情報取得部304は、ユーザ端末10から送信され、送受信制御部308の制御により受信された、処理結果情報に対する入力情報を取得する。
送受信制御部308は、通信部34(図3参照)を介して各種情報を送受信する制御を行う。例えば、ユーザ端末10が、用紙等の媒体(例えば、帳票等)に形成された文字情報を読み取る処理を行い、管理サーバ30が、ユーザ端末10により読み取られた文字情報をデータ化する処理を行う構成になっていたとする。この場合、送受信制御部308は、ユーザ端末10から送信されてきた読取情報を受信する制御を行い、処理結果情報をユーザ端末10に向けて送信する制御を行う。また、送受信制御部308は、ユーザ端末10から送信されてきた、処理結果情報に対する入力情報を受信する制御を行い、生成された経過情報をユーザ端末10に向けて送信する制御を行う。
(ユーザ端末の処理の流れ)
図6は、ユーザ端末10の処理の流れを示すフローチャートの一例である。
ユーザ端末10は、OCR処理を実行し(ステップ601)、処理結果情報を出力する(ステップ602)。ユーザ端末10は、アプリケーションソフトウェアを起動させるための入力操作が行われると(ステップ603でYES)、入力操作を受け付けて(ステップ604)、表示部16(図2参照)にユーザインターフェースを表示する(ステップ605)。これに対して、アプリケーションソフトウェアを起動させるための入力操作が行われない場合(ステップ603でNO)、ユーザ端末10は、アプリケーションソフトウェアを起動させるための入力操作が行われるまでステップ603を繰り返す。
ユーザ端末10は、ユーザインターフェースに処理結果情報を表示する(ステップ606)。ユーザ端末10は、ユーザインターフェースに表示した処理結果情報に含まれる複数項目の情報のうち、経過情報を生成する対象となる1または複数の項目の情報を選択するための入力操作が行われると(ステップ607でYES)、その入力操作を受け付けて(ステップ608)、入力情報に応じた経過情報を生成する(ステップ609)。これに対して、経過情報を生成する対象となる1または複数の項目の情報を選択するための入力操作が行われていない場合(ステップ607でNO)、ユーザ端末10は、その入力操作が行われるまでステップ607を繰り返す。
ユーザ端末10は、ステップ609で生成した経過情報の中に、予め定められた基準に基づき問題があると推定される処理の経過がある場合には(ステップ610でYES)、問題があると推定された処理の経過が他の処理の経過に対して識別可能になるように経過情報の表示態様を変更して(ステップ611)、その経過情報をユーザインターフェースに表示する(ステップ612)。これに対して、経過情報の中に、予め定められた基準に基づき問題があると推定される処理の経過がない場合には(ステップ610でNO)、ステップ612に進む。
ユーザ端末10は、OCR処理を構成する各処理で利用された定義および処理の結果を修正するための入力操作が行われると(ステップ613でYES)、その入力操作を受け付けて(ステップ614)、その修正を行う(ステップ615)。そして、ユーザの入力操作に応じて、修正に係る処理からOCR処理を再実行する(ステップ616)。これに対して、OCR処理を構成する各処理で利用された定義および処理の結果を修正するための入力操作が行われていない場合(ステップ613でNO)、ユーザ端末10は、その入力操作が行われるまでステップ613を繰り返す。
(管理サーバの処理の流れ)
図7は、管理サーバ30がユーザ端末10の処理の一部を行う場合における、管理サーバ30の処理の流れを示すフローチャートの一例である。
管理サーバ30は、ユーザ端末10から読取情報が送信されてくると、(ステップ701でYES)、その読取情報を取得し(ステップ702)、読み取られた文字列のデータ化を含むOCR処理を実行する(ステップ703)。そして、管理サーバ30は、処理結果情報を出力する(ステップ704)。これに対して、読取情報が送信されてきていない場合(ステップ701でNO)、管理サーバ30は、読取情報が送信されてくるまでステップ701を繰り返す。
管理サーバ30は、ステップ704で出力した処理結果情報をユーザ端末10に向けて送信する(ステップ705)。管理サーバ30は、ユーザ端末10から処理結果情報に対する入力情報が送信されてくると(ステップ706でYES)、その入力情報を取得し(ステップ707)、入力情報に応じて経過情報を生成する(ステップ708)。これに対して、処理結果情報に対する入力情報が送信されてきていない場合(ステップ706でNO)、管理サーバ30は、処理結果情報に対する入力情報が送信されてくるまでステップ706を繰り返す。
管理サーバ30は、ステップ708で出力した経過情報をユーザ端末10に向けて送信する(ステップ709)。管理サーバ30は、ユーザ端末10から、OCR処理を構成する各処理で利用された定義および処理の結果を修正するための入力情報が送信されてくると(ステップ710でYES)、その入力情報を取得し(ステップ711)、その修正を行う(ステップ712)。そして、ユーザにより入力された入力情報に応じて、修正に係る処理からOCR処理を再実行する(ステップ713)。これに対して、OCR処理を構成する各処理で利用された定義および処理の結果を修正するための入力情報が送信されてきていない場合(ステップ710でNO)、ユーザ端末10は、その入力情報が送信されてくるまでステップ710を繰り返す。
(具体例)
図8は、本発明が適用されるサービスの具体例を示す図である。図8において、破線より上の領域はクラウドを示し、破線より下の領域はオンプレミスを示している。
図8に示すように、本発明が適用されるサービス(以下、「本サービス」と呼ぶ。)は、(1)乃至(10)に示す処理で実現される。このうち、(1)の「業務設計および運用検証」では、用紙等の媒体(例えば、帳票等)に形成された文字列の読み取り定義の設定、出力設定、業務チェック設定等の処理が行われる。
(1)の「業務設計および運用検証」は、後述する(4)の「帳票判別確認訂正」、(5)の「OCR確認訂正」、および(6)の「業務チェック」との連携(例えば、運用検証からのフィードバック)により実現される。(2)の「データ入力」では、OCR処理の対象となるデータの入力等の処理が行われる。OCR処理の対象となるデータは、クラウドストレージサービス、複合機(MFP)、スキャナ、ウェブブラウザ等から入力される場合と、API(Application Programming Interface)を介して外部システムから入力される場合とがある。
(3)の「仕分けOCR」では、(1)の「業務設計および運用検証」で設定された設計データに基づき入力されたデータについて、どの帳票のどのページにあたるのか等の仕分け、文字情報の読み取りおよび抽出等の処理が、OCRエンジンにより行われる。(4)の「帳票判別確認訂正」では、(3)の「仕分けOCR」による仕分けの結果に基づく帳票ごとの分割、分割結果のユーザへの提示、正しい状態への訂正等の処理が行われる。
(5)の「OCR確認訂正」では、(3)の「仕分けOCR」で抽出された文字情報のユーザへの提示、正しい状態への訂正や差し戻し等の処理が行われる。また、(5)の「OCR確認訂正」では、抽出、確認、および訂正の結果と、予め定められたデータベースに記憶されたデータとの突合、突合の結果補正されたデータのユーザインターフェースへの表示、確認訂正における手間や誤りの検出、置換結果の事前表示等の処理が行われる。
(6)の「業務チェック」では、(1)の「業務設計および運用検証」で定義された業務チェックの設定内容に基づいた、(5)の「OCR確認訂正」の処理結果のチェック、エラー検出、ユーザに対するエラーの報知、ユーザによる修正および差し戻し等の処理が行われる。(7)の「データ出力」では、上記の(1)乃至(6)の処理結果に基づき、(1)の「業務設計および運用検証」で定義された出力の設定により最終的に出力されるデータの生成および出力等の処理が行われる。(7)の「データ出力」で出力されるデータには、クラウド環境で運用される業務システムや、クラウドストレージサービスに向けて出力されるデータ、APIを介して外部システムに向けて出力されるデータ、オンプレミス環境で運用される業務システムに向けてウェブユーザインターフェースを介して出力されるデータ等が含まれる。
(8)の「差し戻し」では、(5)および(6)の処理におけるチェック時における、前段までの工程への差し戻し等の処理が行われる。(8)の「差し戻し」は、ユーザが判断できない場合におけるエスカレーションとして行われる場合や、(4)の処理で誤りが検出され再実行される場合等がある。(9)の「業務管理」では、本発明が適用され、ウェブサイト(テナント)、ワークスペース、ジョブの管理および実行等の処理が行われる。(10)の「DB」(データベース)では、定義されたデータや、処理結果等の保存データの記憶および管理が行われる。
図9乃至図14は、ユーザ端末10の表示部16に表示装置として表示されるユーザインターフェースの具体例を示す図である。図9には、その一例として、処理結果情報が表示されたユーザインターフェースが示されている。処理結果情報は、OCR処理におけるジョブ単位で取得される。「ジョブ」とは、処理実行の単位である。OCR処理を構成する処理は、ジョブ単位で管理される。ジョブごとの処理結果情報には、読み取りまたはデータ変換の対象がレコードごとに記録されている。「レコード」とは、ジョブで投入された1または複数の帳票を、1帳票ごとに分割した単位である。例えば、1ジョブに3帳票分のデータが含まれる場合には、3レコードが生成される。
図9に示すジョブ(ジョブ026)の処理結果情報には、1帳票に5レコード(レコード001乃至005)が含まれている。また、各レコードにおける読み取りまたはデータ変換の対象は、「Name」(名前)、「Product」(商品名)、「Price」(価格)、「Code-1」(商品コード1)、および「Code-2」(商品コード2)となっている。このうち、「Code-1」(商品コード1)は、レコード001が「XP00102」、レコード002が「XP11099」、レコード003が「a02」、レコード004が「XP2534」、レコード005が「XP12334」となっており、レコード003が不自然な値になっている。この場合、ユーザは、不自然な値(a02)が表示されているセルを選択する操作(例えば、タッチ操作やクリック操作)を行う。図9の例では、網掛けされたセルを選択する操作がなされたとする。すると、選択されたセルに対応するレコード003の経過情報がユーザインターフェースに表示される。図10には、その一例が示されている。
図10には、経過情報が表示されたユーザインターフェースの具体例が示されている。図10に示すユーザインターフェースには、上述の図9のジョブ026の処理結果情報の中から不自然な値として選択されたレコード003の経過情報が表示されている。図10に示す経過情報は、ジョブおよびレコードが選択された状態で表示されるが、ドロップダウンボタンB1を押下することで他のジョブに切り替えることができ、ドロップダウンボタンB2を押下することで他のレコードに切り替えることができる。また、図10の例において、白抜きのセルCのみがユーザによる修正が可能とされている。ユーザは、白抜きのセルCの中から、確認または修正したいセルCを選択する操作を行う。
図10の例において、OCR処理は、処理P1乃至P7で構成されている。処理P1乃至P7の各々を示す破線の領域には、個々の処理結果や処理の内容を示す情報が表記された1または複数のセルが配置されている。例えば、「帳票イメージ」(処理P1)は、図10に示す字体で、「〇〇次郎」、「D-Centre」、「C5150」、および「XY44」であることが示されている。また、「認識結果」(処理P2)は、図10に示す字体で、「〇〇次郎」、「D-Cento」、「C515o」、および「XY44」であることが示されている。
また、「データ補正」(処理P3)では、「D-Cento」のデータ補正(補正001)と、「C515o」のデータ補正(補正002)とが行われたことが示されている。そして、「データ補正結果」(処理P4)は、「D-Cento」については、2つの候補(候補01「D-Centre」、候補02「D-Works」)が抽出され、このうち、候補01「D-Centre」が選択されたことが示されている。また、選択された候補(候補01)と、選択されなかった候補(候補02)とが識別可能な態様で表示される。なお、図10の例では、識別可能な態様として、選択されなかった候補(候補02)が不明瞭化されている。また、「C515o」については、「C5150」に補正されたことが示されている。
続いて、「確認訂正結果」(処理P5)は、図10に示す字体で、「〇〇次郎」、「D-Centre」、「C5150」、および「XY44」であることが示されている。また、「データ変換」(処理P6)では、「D-Centre」のデータ変換(変換001および変換002)と、「C5150」のデータ変換(変換001および変換002)とが行われたことが示されている。そして、「出力結果」(処理P7)は、図10に示す字体で、「〇〇次郎」、「D-Centre」、「324,000」、「a02」、および「XY44」であることが示されている。「出力結果」(処理P7)に表示されたセルCに表記された内容は、上述の図9の処理結果情報のレコード003の内容となる。ここで、不自然な値として選択された「a02」は、識別可能な態様で表示されてもよい。例えば、文字の色、文字の太さ、セルCの色、セルCの枠の太さ等で識別できるようにしてもよい。
また、経過情報として、処理上の問題が生じている可能性と、処理上の問題が生じていない可能性とのうち少なくとも一方が、視覚を通じて識別可能な態様で表現されてもよい。なお、本実施の形態では、読み取りまたはデータ変換の対象となった文字列の類似の度合を示す値(以下、「類似度」と呼ぶ。)により、問題が生じている可能性と、問題が生じていない可能性とを識別できるようにしている。
上述の図9の処理結果情報のうち不自然な値として選択された、「出力結果」(処理P7)の「a02」の導出に関連するセルCは、「データ補正」(処理P3)の「補正001」および「補正002」と、「確認訂正結果」(処理P5)の「D-Centre」および「C5150」と、「データ変換」(処理P6)の「変換002」との5つである。このうち、「出力結果」(処理P7)の「a02」に直結する「変換002」以外の4つのセルC(「補正001」、「補正002」、「D-Centre」、および「C5150」)については、例えば、「認識結果」(処理P2)と、「データ補正結果」(処理P4)と、「確認訂正結果」(処理P5)との間のレーベンシュタイン距離を用いて類似度を算出し、類似度の差が一定の範囲内であれば「問題の可能性は低い」と判断し、その旨を識別可能な態様でセルCに表示されてもよい。図示はしないが、例えば、セルCの色分け等がなされてもよい。
また、「データ変換」(処理P6)では、類似度が算出される際、変換テーブルの隣接する値との規則性の違い等が考慮される。算出した類似度が低い場合には、問題が生じている可能性が高い旨を識別可能な態様でセルCに表示してもよい。例えば、図示はしないが、セルCの色分け等がなされてもよい。さらに、類似度をセルCに併記してもよい。図11には、その一例が示されている。
算出した類似度をセルCに併記する場合には、例えば、図11に示すように、0乃至1の数値で表してもよい。この場合、例えば、「0」に近付くほど「異常」として、「1」に近付くほど「正常」とする類似度を併記することができる。図11の例では、「データ補正」(処理P3)の「補正001」に併記された類似度は「0.75」、「補正002」に併記された類似度は「0.8」、「確認訂正結果」(処理P5)の「D-Centre」に併記された類似度は「1.0」、「C5150」に併記された類似度は「1.0」となっている。そして、「データ変換」(処理P6)の「変換002」に併記された類似度は「0.0」となっている。
なお、上記の例では、「データ補正結果」(処理P4)の2つの候補のうち、候補01「D-Centre」が選択され、選択されなかった候補02「D-Works」の表示が不明瞭化された例が示されているが、不備等の理由によりいずれの候補も選択されない場合がある。この場合、図示はしないが、いずれの候補も表示が不明瞭化されるが、「確認訂正結果」(処理P5)を見ることで、ユーザの入力操作による訂正が行われたことがわかる。これにより、「データ補正」(処理P3)が、意図する精度で機能していないことを検出することができる。
本実施の形態では、妥当性を特定するためのロジックとして、上記の類似度が用いられる。例えば、レーベンシュタイン距離を用いて類似度を算出する式が、「類似度=1-レーベンシュタイン距離÷長い方の文字列の文字数」と予め定められていたとする。さらに、類似度が0より大きく0.4より小さければ、類似度が低いことを示す赤色でセルCが表示され、類似度が0.4以上0.7未満であれば、類似度が高いことを示す緑色でセルCが表示されるように予め閾値が定められていたとする。
この場合、「データ補正」(処理P3)の「補正001」の妥当性は以下のように特定される。すなわち、「認識結果」(処理P2)の「D-Cento」と、「データ補正結果」(処理P4)の候補01「D-Centre」との類似度が「0.75」(1-2÷8=0.75)となり、「データ補正結果」(処理P4)の候補01「D-Centre」と、「確認訂正結果」(処理P5)の「D-Centre」との類似度が「1.0」(1-0÷8=1.0)となる。このため、いずれも類似度が0.7以上となり、セルの色は、類似度が高いことを示す緑色となる。その結果、妥当性が「高い」と特定される。
また、「データ補正」(処理P3)の「補正002」の妥当性は、以下のように特定される。すなわち、「認識結果」(処理P2)の「C515o」と、「データ補正結果」(処理P4)の「C5150」との類似度が「0.8」(1-1÷5=0.8)となり、「データ補正結果」(処理P4)の「C5150」と、「確認訂正結果」(処理P5)の「C5150」との類似度が「1.0」(1-0÷5=1.0)となる。このため、いずれも類似度が0.7以上となり、セルの色は、類似度が高いことを示す緑色となる。その結果、妥当性が「高い」と特定される。
妥当性の特定に用いられる上記のロジックは、テーブルごとに予め定義されてもよいし、文字列の種別等に応じて決定されてもよい。また、複数のチェックを実行し、最も規則性を抽出できていると認められるチェック結果が採用されるようにしてもよい。また、データ数が少ない場合には、データ数に応じて閾値が可変するようにしてもよい。例えば、データ数が「3つ」であるように僅少である場合には、3つのデータのうち2つのデータが一致しても、類似度は「0.67」になってしまい妥当でないからである。
上述の図10および図11に示す例では、図9の処理結果情報の中から不自然な値として選択されたレコード003の経過情報として、全ての処理のセルCがユーザインターフェースに表示されるが、ユーザの入力操作により選択された「出力結果」(処理P7)の「a02」に関連する処理のセルCのみをユーザインターフェースに表示させることもできる。図12には、その一例となるユーザインターフェースの具体例が示されている。選択された「出力結果」(処理P7)の「a02」に関連するセルCのみをユーザインターフェースに表示させるためには、図12に示すように、「選択した出力結果に関連する処理のみを表示する」と表記されたチェックボタンB3を押下する。
図12に示すユーザインターフェースに表示されたセルCのうち、「データ変換」(処理P6)の「変換002」のセルCを選択する操作(例えば、タッチ操作やクリック操作)を行うと、処理で利用した定義および処理の結果の修正を行うためのユーザインターフェースが表示される。図13には、その一例となるユーザインターフェースの具体例が示されている。
図13に示すユーザインターフェースの表示領域A1には、ドロップダウンボタンB11が配置されている。ドロップダウンボタンB11は、ドロップダウンリストに表示されるデータ変換処理の処理結果のうち、修正の対象となる処理結果を選択するためのボタンである。なお、図13の例では、上述の図12の「変換002」のセルを選択する操作が行われているので、ドロップダウンボタンB11には、「変換002」が初期値として自動選択されている。
また、表示領域A2には、ユーザを支援する情報として、上述の図12の経過情報のうちの一部と、導出パスとが表示されている。また、表示領域A3には、「データ変換」(処理P6)で用いられた変換テーブルT1およびT2が表示されている。このうち、変換テーブルT1は、「商品名」と「コードテーブル」とが対応付けられたテーブルであり、テーブル名は「table01」である。また、変換テーブルT2は、「型番」と「商品コード」とが対応付けられたテーブルであり、テーブル名は「List02」である。なお、変換テーブルT1およびT2は、記憶部13の文字列DB131に記憶されて管理されている。
変換テーブルT1およびT2の各々の右側に表示された、「修正」と表記されたボタンB12およびB13は、不自然な値として選択されたレコード003のうち関連する文字列の横に表示されるボタンである。これにより、ユーザは、不要な操作を行うことなく、修正に必要となる操作のみをスムーズに行うことができる。この場合、ユーザは、表示された変換テーブルT2を見ながら、型番「C5150」に対応付けられている商品コードが間違っていることを確認し、商品コードの修正を行うためにボタンB13を押下する。すると、図示はしないが、変換テーブルT2に記憶された商品コードを個別に編集するための入力欄が表示されるので、例えば、正しい文字列「XP2459」を入力すると、「a02」が「XP2459」に修正される。
図14には、修正内容が反映されたユーザインターフェースが表示されている。修正内容は、修正されたことが識別可能な態様で表示される。図14の例では、修正内容を太字で表示することで、修正されたことが識別可能となっている。なお、「修正されたことが識別可能な態様」とは、変更内容を太字で示した図14の例に限定されず、例えば、修正内容の色を変えてもよいし、セルをハイライト表示してもよい。また、ユーザは、修正内容を保存するが、処理を再実行しない場合には、「保存してXXXに戻る」と表記されたボタンB14を押下する。また、ユーザは、修正内容を保存し、かつ、処理を再実行する場合には、「保存して再実行する」と表記されたボタンB15を押下する。この場合、図示はしないが、既存のOCR処理を差し戻して再実行するか、別途OCR処理を立ち上げて新たに実行するかを選択可能にするボタンが配置されていてもよい。また、ユーザは、修正内容を保存することなく図10または図11に示すユーザインターフェースに戻る場合には、「戻る」と表記されたボタンB16を押下する。
なお、「データ変換」(処理P6)の「変換002」の妥当性は以下のように特定される。その際、「table01」は、二段階照合における中間テーブルとなるため考慮されない。まず、変換テーブルT2(テーブル名「List02」)の「商品コード」を示す各値について、文字列の規則性(共通度合い)に関するアルゴリズムを用いたチェックが行われる。例えば、最長共通部分列(LCS/Longest Common Subsequence)のアルゴリズムを用いた場合には、商品コードを示す値である「XP0040」、「XP0037」、「XP4144」、および「XP3237」に共通する文字列として、「XP」が抽出される。そして、商品コードを示す値である「a02」には、共通する文字列「XP」が含まれないので、「a02」が異常値として検出される。
以上、本実施の形態について説明したが、本発明は上述した本実施の形態に限るものではない。また、本発明による効果も、上述した本実施の形態に記載されたものに限定されない。例えば、図1に示す情報処理システム1の構成、図2に示すユーザ端末10のハードウェア構成、および図3に示す管理サーバ30のハードウェア構成は、いずれも本発明の目的を達成するための例示に過ぎず、特に限定されない。また、図4に示すユーザ端末10の機能構成、および図5に示す管理サーバ30の機能構成も例示に過ぎず、特に限定されない。上述した処理を全体として実行できる機能が図1の情報処理システム1に備えられていれば足り、この機能を実現するためにどのような機能構成を用いるかは図4および図5の例に限定されない。
また、図6に示すユーザ端末10の処理のステップ、および図7に示す管理サーバ30の処理のステップの各々の順序も例示に過ぎず、特に限定されない。図示されたステップの順序に沿って時系列的に行われる処理だけではなく、必ずしも時系列的に処理されなくとも、並列的あるいは個別的に行われてもよい。また、図8乃至図14に示す具体例も一例に過ぎず、特に限定されない。
例えば、上述の実施の形態では、OCR処理として文字情報が読み取られるが、文字情報に加えて図形情報が読み取られてもよい。
また、例えば、図10乃至図12には、経過情報として、処理P1乃至P7の各々の処理結果の前後関係を含む全体の流れがわかるように表示されているが、これに限定されない。例えば、処理P1乃至P7の各々の処理結果が1つずつユーザインターフェースに表示されるようにしてもよい。この場合、予め定められた操作を行うことで、前段の処理についての処理結果に表示が切り替わるようにしてもよい。「予め定められた操作」としては、例えば、図示はしないが、「前へ」と表記されたボタンを押下する操作等が挙げられる。これにより、ユーザは、処理ごとの処理結果を遡って確認することができる。
また、例えば、図10乃至図12に示すユーザインターフェースにおいて、類似度に応じたセルCの色分けについて、「赤色」(類似度低)および「緑色」(類似度高)を例に挙げて説明したが、これに限定されない。例えば、類似度の閾値を複数設定し、数値に応じた色分けを3種類以上の色を用いて行ってもよい。また、判定不能である旨を示す色が表示されるようにしてもよい。また、処理P1乃至P7のうち、プログラムによる処理と、ユーザの入力操作による処理とを一見して識別できるようにしてもよい。例えば、プログラムによる処理である「データ補正」(処理P3)および「データ変換」(処理P6)の破線の領域と、「確認訂正結果」(処理P5)の破線の領域とを色分けすることで識別できるようにしてもよい。
1…情報処理システム、10…ユーザ端末、11…制御部、30…管理サーバ、31…制御部、90…ネットワーク、101…OCR制御部、102…処理結果取得部、103…入力操作受付部、104…経過情報生成部、105…候補抽出部、106…妥当性特定部、107…表示制御部、108…送受信制御部、109…表示制御部、301…読取情報取得部、302…OCR制御部、303…処理結果取得部、304…入力情報取得部、305…経過情報生成部、306…候補抽出部、307…妥当性特定部、308…送受信制御部

Claims (15)

  1. プロセッサを備え、
    前記プロセッサは、
    文字情報を読み取ってデータ化する処理として2以上の処理を順次実行して処理結果を出力し、
    出力された前記処理結果に対するユーザの操作を受け付け、
    前記操作に応じて、前記処理結果に至る前記2以上の処理における個々の処理の経過を表示装置に表示することを特徴とする、情報処理装置。
  2. 前記プロセッサは、前記2以上の処理の一部または全部について、前記個々の処理の経過を一覧表示することを特徴とする、請求項1に記載の情報処理装置。
  3. 前記プロセッサは、
    前記処理結果として複数項目の情報を出力し、
    ユーザによる前記複数項目のうちの何れかの項目の選択操作を受け付け、
    選択された項目に関連する処理の経過を前記表示装置に表示し、他の処理の経過を表示しないことを特徴とする、請求項2に記載の情報処理装置。
  4. 前記プロセッサは、前記2以上の処理における個々の処理の経過を、当該個々の処理ごとに個別に表示することを特徴とする、請求項1に記載の情報処理装置。
  5. 前記プロセッサは、ユーザの操作を受け付けて、前記表示装置に表示されている前記個々の処理の経過を表示する画面から、当該処理の直前の処理または直後の処理の経過を表示する画面へ遷移させることを特徴とする、請求項4に記載の情報処理装置。
  6. 前記プロセッサは、前記処理の経過の表示において、予め定められた基準に基づき問題があると推定される前記処理の経過を、他の処理の経過に対して識別可能に表示することを特徴とする、請求項1乃至請求項5の何れかに記載の情報処理装置。
  7. 前記2以上の処理には、前段の処理で得られた中間データを修正する修正処理、および、前段の処理で得られた中間データを変換する変換処理の少なくとも一方が含まれ、
    前記プロセッサは、
    前記修正処理に係る前記処理の経過の表示において、1または複数の修正候補を表示し、
    前記変換処理に係る前記処理の経過の表示において、1または複数の変換候補を表示することを特徴とする、請求項1に記載の情報処理装置。
  8. 前記プロセッサは、前記修正処理および前記変換処理の経過の表示において、前記修正候補および前記変換候補に関して、予め定められた基準に基づいて判断される当該修正候補および当該変換候補の妥当性を表す表示を行うことを特徴とする、請求項7に記載の情報処理装置。
  9. 前記プロセッサは、前記修正候補の妥当性を、少なくとも、前段の処理で得られた中間データと当該修正候補との類似度に基づいて特定することを特徴とする、請求項8に記載の情報処理装置。
  10. 前記プロセッサは、
    前記修正処理として、予め定められた規則にしたがって前記プロセッサが行う補正と、ユーザの入力操作を受け付けて前記中間データの文字列を入力された文字列に置き換える訂正とを行い、
    前記修正候補の妥当性を、前段の処理で得られた中間データと前記補正における当該修正候補との類似度および当該修正候補と前記訂正で入力された文字列との類似度に基づいて特定することを特徴とする、請求項8に記載の情報処理装置。
  11. 前記プロセッサは、
    前記変換候補を、予め定められた分類に基づくデータ群から選択し、
    前記変換候補の妥当性を、当該変換候補の分類に含まれるデータ群から抽出される規則性に対する適合の程度に基づいて特定することを特徴とする、請求項8に記載の情報処理装置。
  12. 前記プロセッサは、
    前記修正処理として、予め定められた規則にしたがって前記プロセッサが行う補正と、ユーザの入力操作を受け付けて前記中間データの文字列を入力された文字列に置き換える訂正とを行い、
    前記補正における処理の経過と前記訂正における処理の経過とを識別可能に表示することを特徴とする、請求項7に記載の情報処理装置。
  13. 前記プロセッサは、
    前記個々の処理を、当該処理ごとに予め定められた定義に基づいて実行し、
    前記個々の処理のうち、処理の経過が前記表示装置に表示された処理に関して、当該処理の経過を表示する画面においてユーザによる操作を受け付け、当該処理で利用した定義および当該処理の結果を修正することを特徴とする、請求項1に記載の情報処理装置。
  14. 前記プロセッサは、前記処理に関する修正が行われた後、当該修正に係る当該処理から一連の処理を再実行することを特徴とする、請求項13に記載の情報処理装置。
  15. コンピュータに、
    文字情報を読み取ってデータ化する処理として2以上の処理を順次実行して処理結果を出力する機能と、
    出力された前記処理結果に対するユーザの操作を受け付ける機能と、
    前記操作に応じて、前記処理結果に至る前記2以上の処理における個々の処理の経過を表示装置に表示する機能と、
    を実現させることを特徴とする、プログラム。
JP2022047394A 2022-03-23 2022-03-23 情報処理装置およびプログラム Pending JP2023141193A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022047394A JP2023141193A (ja) 2022-03-23 2022-03-23 情報処理装置およびプログラム
US17/896,805 US20230306764A1 (en) 2022-03-23 2022-08-26 Information processing device, information proessing method, and non-transitory computer readable medium
EP22199936.0A EP4250202A1 (en) 2022-03-23 2022-10-06 Information processing device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022047394A JP2023141193A (ja) 2022-03-23 2022-03-23 情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2023141193A true JP2023141193A (ja) 2023-10-05

Family

ID=83688930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022047394A Pending JP2023141193A (ja) 2022-03-23 2022-03-23 情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US20230306764A1 (ja)
EP (1) EP4250202A1 (ja)
JP (1) JP2023141193A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277128B2 (ja) 2018-12-25 2023-05-18 キヤノン株式会社 画像処理システム、画像処理方法、プログラム、画像処理装置、情報処理装置
JP2020170465A (ja) 2019-04-05 2020-10-15 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム
JP7387363B2 (ja) * 2019-09-30 2023-11-28 キヤノン株式会社 データ入力支援装置、データ入力支援方法及びプログラム

Also Published As

Publication number Publication date
US20230306764A1 (en) 2023-09-28
EP4250202A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
US9697193B2 (en) Associating captured image data with a spreadsheet
US9324038B2 (en) Method and system for clustering, modeling, and visualizing process models from noisy logs
KR20210042864A (ko) 테이블 식별 방법, 장치, 기기, 매체 및 컴퓨터 프로그램
US20140169665A1 (en) Automated Processing of Documents
US11438467B2 (en) Apparatus, method, and storage medium for supporting data entry by correcting erroneously recoginized characters
US20210286941A1 (en) Information processing apparatus, method, and storage medium for associating metadata with image data
US20170132462A1 (en) Document checking support apparatus, document checking support system, and non-transitory computer readable medium
US20120016832A1 (en) Automated document separation
US11195004B2 (en) Method and system for extracting information from document images
JP2023110102A (ja) 文字候補提案装置、手書文字識別システム、手書文字識別方法およびプログラム
JP2021077332A (ja) 情報処理装置、サーバ、システム、情報処理方法、およびプログラム
JP2023141193A (ja) 情報処理装置およびプログラム
US11887390B2 (en) Information processing apparatus, information processing system, information processing method, and non-transitory recording medium
US11972208B2 (en) Information processing device and information processing method
JP6870159B1 (ja) データ処理装置、データ処理方法及びプログラム
JP2019194853A (ja) 情報処理装置、情報処理プログラム及び情報処理システム
US20220197444A1 (en) Information processing apparatus and non-transitory computer readable medium
US20200279106A1 (en) Document extraction system and method
JP2019057137A (ja) 情報処理装置及び情報処理プログラム
US20210042555A1 (en) Information Processing Apparatus and Table Recognition Method
JP2022133739A (ja) プログラム及び情報処理装置
JP2021135584A (ja) 文字認識システムおよび方法
JP2020009279A (ja) 情報処理プログラム、情報処理装置及び情報処理方法
JP6682827B2 (ja) 情報処理装置及び情報処理プログラム
US20210056301A1 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program