JP2021144512A - 文書処理装置及びプログラム - Google Patents

文書処理装置及びプログラム Download PDF

Info

Publication number
JP2021144512A
JP2021144512A JP2020043169A JP2020043169A JP2021144512A JP 2021144512 A JP2021144512 A JP 2021144512A JP 2020043169 A JP2020043169 A JP 2020043169A JP 2020043169 A JP2020043169 A JP 2020043169A JP 2021144512 A JP2021144512 A JP 2021144512A
Authority
JP
Japan
Prior art keywords
page
classified
candidate
displayed
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020043169A
Other languages
English (en)
Other versions
JP7480536B2 (ja
Inventor
勇人 木下
Isato Kinoshita
勇人 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2020043169A priority Critical patent/JP7480536B2/ja
Priority to US17/060,177 priority patent/US11782990B2/en
Publication of JP2021144512A publication Critical patent/JP2021144512A/ja
Application granted granted Critical
Publication of JP7480536B2 publication Critical patent/JP7480536B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Character Input (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】複数のページで構成される文書が複数セット含まれているデータを各セットに分類し、分類できなかったページがあった場合、該ページが属しうるセットの候補を表示しない場合と比して、分類できなかったページに対して適切なセットを特定するユーザの手間を削減する。【解決手段】文書処理装置1は、複数のページで構成される文書が複数セット含まれているデータを取得するデータ取得部11と、取得したデータを複数の文書のセットに分類するセット分類部12と、セット分類部12が分類できなかったページの文書種別をユーザに選択させ、その文書書別が欠落している文書のセットを分類できなかったページが属するセットの候補として抽出し、セットの候補に分類できなかったページを挿入した形でユーザに提示することによって、分類できなかったページを、当該ページが属するべき文書のセットに分類させる分類支援処理部13と、を有する。【選択図】図1

Description

本発明は、文書処理装置及びプログラムに関する。
帳票をスキャナで読み取り、その読取画像から帳票の種別を判別し、その帳票の種別に応じて帳票を分類する場合において、読取画像から帳票の種別が特定できない場合がある。このような場合に対応するために、従来では、読み取った帳票の種別を判定する技術が提案されている(例えば、特許文献1)。この従来技術では、帳票の分類の信頼度が決定閾値を超えない場合において候補閾値を超える場合には、その帳票の分類の種別のスコアが高かった領域をハイライト表示し、その表示を参照するユーザに正しい種別を選択させる。
特開2017−107455号公報
予め定められた複数のページで構成される文書が、複数セット含まれているデータを受け付け、各セットに分類した場合、分類できないページが見つかることがある。その場合、該ページが、どのセットに属すのか、ユーザが判断して該ページを適切なセットに分類する必要がある。
本発明は、複数のページで構成される文書が複数セット含まれているデータを各セットに分類し、分類できなかったページがあった場合、該ページが属しうるセットの候補を表示しない場合と比して、分類できなかったページに対して適切なセットを特定するユーザの手間を削減することを目的とする
本発明に係る文書処理装置は、プロセッサを備え、前記プロセッサは、予め定められた複数のページで構成される文書が、複数セット含まれているデータを受け付け、前記データを各セットに分類し、前記データにおいて分類できなかったページがある場合、前記ページが属しうるセットの候補を表示させる、ことを特徴とする。
また、前記プロセッサは、前記セットの候補と分類できなかった前記ページを同一画面上に表示させることを特徴とする。
また、前記プロセッサは、前記セットの候補のページが欠落している位置に、分類できなかった前記ページを挿入して表示させることを特徴とする。
また、前記プロセッサは、分類できなかった前記ページの受付日時、前記ページに記入されている文字の筆跡または前記ページに記載されている内容のうち、少なくとも1つと類似しているセットを前記セットの候補として表示させることを特徴とする。
また、前記プロセッサは、前記セットの候補の選出根拠を表示させることを特徴とする。
また、前記選出根拠は、分類されなかった前記ページと前記セットの候補が類似している箇所であることを特徴とする。
また、前記プロセッサは、前記セットの候補が複数存在する場合、分類できなかった前記ページに対する類似度によって前記セットの候補を優先付けて表示させることを特徴とする。
また、前記プロセッサは、前記セットの候補が抽出できなかった場合、分類できなかった前記ページを所定の格納先に登録することを特徴とする。
本発明に係るプログラムは、コンピュータに、予め定められた複数のページで構成される文書が、複数セット含まれているデータを受け付ける機能、前記データを各セットに分類する機能、前記データにおいて分類できなかったページがある場合、前記ページが属しうるセットの候補を表示させる機能、を実現させる。
請求項1に記載の発明によれば、複数のページで構成される文書が複数セット含まれているデータを各セットに分類し、分類できなかったページがあった場合、該ページが属しうるセットの候補を表示しない場合と比して、分類できなかったページに対して適切なセットを特定するユーザの手間を削減することができる。
請求項2に記載の発明によれば、同一画面上でセットの候補と分類できなかったページを確認させることができる。
請求項3に記載の発明によれば、セットの候補のページが欠落している位置に、分類できなかったページを挿入して表示させない場合と比して、分類できなかったページが属すべきセットをより確認しやすく表示させることができる。
請求項4に記載の発明によれば、受付日時、筆跡または記載内容を参照することにより分類できなかったページが属するセットの候補を抽出することができる。
請求項5に記載の発明によれば、セットの候補として抽出した根拠をユーザに提示することができる。
請求項6に記載の発明によれば、分類できなかったページとセットの候補の類似した箇所をユーザが確認することができる。
請求項7に記載の発明によれば、優先順位の高いセットから優先的にユーザに提示することができる。
請求項8に記載の発明によれば、属するセットが探し出せなかったページを別途管理することができる。
請求項9に記載の発明によれば、複数のページで構成される文書が複数セット含まれているデータを各セットに分類し、分類できなかったページがあった場合、該ページが属しうるセットの候補を表示しない場合と比して、分類できなかったページに対して適切なセットを特定するユーザの手間を削減することができる。
本発明に係る文書処理装置の一実施の形態を示すブロック構成図である。 本実施の形態における文書のセットへの分類処理をフローチャートである。 図2Aに続くフローチャートである。 本実施の形態においていずれかの文書のセットに分類できなかったページを一覧表示させたときの表示画面の一例を示す図である。 図3においていずれかのページが選択された後に表示される表示画面の一例を示す図である。 図4においてページ種別が選択された後に表示される表示画面の一例を示す図である。 図5において、ページの画像が部分的に拡大表示されたときに表示される表示画面の一例を示す図である。 図5又は図6において、ユーザがサンプル文書の種別が正しいと判定したときに表示される表示画面の一例を示す図である。 本実施の形態において、表示されているセットの候補が候補として選出されている理由が表示されている表示画面の一例を示す図である。 本実施の形態において、表示されているセットの候補が候補として選出されている理由が表示されている表示画面の他の例を示す図である。 本実施の形態において、表示されているセットの候補が候補として選出されている理由が表示されている表示画面の他の例を示す図である。 図7において、候補切替ボタンが選択されたときに表示される表示画面の一例を示す図である。 本実施の形態において処理対象ページがセットに登録されたときに表示される表示画面の一例を示す図である。 本実施の形態における単独ページ記憶部18に記憶されている単独ページを表示させる表示画面の一例を示す図である。 図5又は図6において、処理対象ページが添付文書の場合においてユーザがサンプル文書の種別が正しいと判定したときに表示される表示画面の一例を示す図である。 本実施の形態において、表示されているセットの候補が候補として選出されている理由が表示されている表示画面の一例を示す図である。
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
本実施の形態における文書処理装置1は、パーソナルコンピュータ(PC)等の従前から存在する汎用的なコンピュータのハードウェア構成で実現できる。すなわち、文書処理装置は、CPU、ROM、RAM、ハードディスクドライブ(HDD)等の記憶手段、入力手段マウスやキーボード及び表示手段として設けられたディスプレイ等のユーザインタフェース手段、通信手段として設けられたネットワークインタフェース等を有する。
図1は、本発明に係る文書処理装置1の一実施の形態を示すブロック構成図である。本実施の形態における文書処理装置1は、データ取得部11、セット分類部12、分類支援処理部13、ユーザインタフェース(UI)処理部14、セット記憶部15、未分類ページ記憶部16、サンプル文書記憶部17及び単独ページ記憶部18を有している。なお、本実施の形態の説明に用いない構成要素については図から省略する。
データ取得部11は、処理対象とするデータを取得する。本実施の形態では、予め定められた複数のページで構成される文書を取り扱うが、本実施の形態における「データ」には、この文書が複数セット含まれて構成される。セット分類部12は、データに含まれているページをいずれかのセットの文書(以下、単に「セット」ともいう)に分類する。例えば、10ページからなる文書を5セット取り扱う場合、データには50ページが含まれることになるが、セット分類部12は、50ページから成るデータを5セットの文書に分類する。ただ、ページの文書種別が特定できないなどにより、いずれのセットにも分類できなかったページがある場合、そのページがどのセットに属するページであるのかという判断をユーザに委ねることになるが、分類支援処理部13は、このユーザによるページの分類処理を支援する。ユーザインタフェース処理部14は、操作受付部141及び表示制御部142を有している。操作受付部141は、マウスやキーボード等を用いたユーザ操作を受け付ける。表示制御部142は、ディスプレイへの表示を制御する。
セット記憶部15には、セット分類部12により文書種別が特定でき分類できた文書の各セットが記憶される。未分類ページ記憶部16には、セット分類部12により文書種別が特定できず、分類できなかったページが記憶される。未分類ページ記憶部16に記憶されるページは、分類支援処理部13によりいずれかのセットに分類されるが、単独ページ記憶部18には、それでもいずれのセットにも分類できなかったページが記憶される。サンプル文書記憶部17には、本実施の形態において取り扱う文書のサンプル文書が記憶される。本実施の形態では、文書を構成する各ページの文書種別として帳票又は添付文書を想定している。「帳票」というのは、文書の一形態であって、所定の形式に手書きなどによって何らかの記載がされている文書のことをいう。帳票は、例えば納品書や請求書等であり、帳票に添付される添付文書は、例えば免許証や保険証等である。従って、サンプル文書には、各ページのサンプルとなる画像が文書種別(つまり、納品書や免許証等)毎に含まれている。この文書種別毎に用意されるサンプルとなる画像のことを、以降の説明では「サンプルページ」と称することにする。サンプルページは、例えばページの形式を示す画像で形成される。
文書処理装置1における各構成要素11〜14は、文書処理装置1を形成するコンピュータと、コンピュータに搭載されたCPUで動作するプログラムとの協調動作により実現される。また、各記憶部15〜17は、文書処理装置1に搭載されたHDDにて実現される。あるいは、外部にある記憶手段をネットワーク経由で利用してもよい。
また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、CD−ROMやUSBメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのCPUがプログラムを順次実行することで各種処理が実現される。
前述したように、本実施の形態における「データ」は、予め定められた複数のページで構成される文書が複数セット含まれて構成される。また、セットを構成するページ数は既知であって、各セットとも同数である。また、各セットにおけるページの並び順、すなわちページの文書種別(以下、「ページ種別」という)の並び順も同じで予め定められている。従って、ページ種別が特定できると、当該ページは、属するセットの何ページ目に位置するページかということが特定できる。例えば、各セットが納品書、請求書、領収書及び添付文書という並び順の4ページで構成されている場合においてデータに3セットの文書が含まれているとする。すなわち、データは12ページで構成されている。データに含まれている各ページは、自動分類処理によっていずれかのセットに分類されることになるが、何らかの理由によりいずれのセットにもページが分類できない場合が発生しうる。ただ、この場合でも、分類できなかったページのページ種別が、例えばユーザによって請求書と特定されたとすると、分類できなかったページ(つまり、請求書)は、セットの2ページ目に位置すると特定することができる。
しかしながら、この請求書は、3セットのうちのどのセットに属するページなのかまでは特定できない。データを構成するセットのうちただ1つのセットのみに請求書が欠落しているのであれば、請求書が属するセットは、請求書が欠落しているセットと容易に特定することができる。ただ、例えばデータが100セットの文書で構成されていて、3ページ分の請求書がいずれのセットに属するのか分類できなかった場合、それぞれの請求書がどのセットに属するべきなのかは、容易に特定することはできない。
そこで、本実施の形態においては、このような場合でも分類できなかったページが属するセットの特定を支援することによって当該ページを分類できるようにすることを特徴としている。以下、本実施の形態におけるセットへの分類処理について、図2に示すフローチャートを用いて説明する。本実施の形態では、文書として帳票を取り扱う場合を例にして説明する。
データ取得部11は、データを取得する(ステップ101)。データには、複数セットの文書が含まれている。文書は、帳票又は添付文書という文書種別のページを含めて構成される。文書の画像データは、文書をスキャナで読み取ることで作成される。本実施の形態では、説明の便宜上、文書の画像データを単に「文書」とも称する。また、文書は、複数のページの画像データで構成されるが、本実施の形態では、説明の便宜上、ページの画像データを単に「ページ」とも称する。
続いて、セット分類部12は、データに含まれる各ページの分類確信度を計算する(ステップ102)。分類確信度は、ページ種別の自動判定の正確性を示す指標である。分類確信度は、0〜100の値を取り、値が大きいほど、ページ種別を正確に判定できていることを示す。ページ種別が判別できないと、当該ページをいずれかのセットに分類することができない。本実施の形態では、ページをサンプルページと比較するなどして分類確信度を算出するが、分類確信度の算出方法は既存技術を利用する。また、本実施の形態では、各ページのセットへの分類が正しいと判定するための所定の閾値を予め設定している。セット分類部12は、算出した分類確信度が所定の閾値以上のページを、対応するセットに分類してセット記憶部15に保存する(ステップ103)。一方、セット分類部12は、分類確信度が所定の閾値未満のページを、未分類ページ記憶部16に登録する。
分類支援処理部13は、表示制御部142に、未分類ページ記憶部16に登録されたページを同一画面上に一覧表示させる(ステップ104)。なお、表示制御部142は、セット分類部12及び分類支援処理部13からの指示に応じて情報をディスプレイに表示するよう表示制御を行うが、以降の説明では、説明の簡略化のために、表示制御部142の動作を省略して説明する。
図3は、本実施の形態において分類確信度が所定の閾値未満のページを一覧表示させたときの表示画面の一例を示す図である。表示画面には、分類確信度が所定の閾値未満のページの縮小画像(以下、縮小画像のことを「サムネイル」と称する)が表示される。分類確信度が所定の閾値未満のページというのは、データに含まれるページのうち分類確信度が所定の閾値より低いことから、いずれのセットにも分類できなかったページと同義である。ユーザは、図3に示す表示画面から処理対象とするページを1つ選択する。操作受付部141がその選択操作を受け付けると、分類支援処理部13は、選択されたページ(以下、「処理対象ページ」ともいう)を受け付ける(ステップ105)。なお、上記のように、ユーザによる何らかの操作は、操作受付部141が受け付けることになるが、以降の説明では、説明の簡略化のために、操作受付部141の動作は省略して説明する。図3では、ページ番号1のページが処理対象ページとして選択された例が示されている。
図4は、処理対象ページが選択された後に表示される表示画面の一例を示す図である。図4には、図3に示したページの一覧の表示領域21と、処理対象ページの情報の表示領域22と、処理対象ページの種別の候補となるページが表示される表示領域23とが示されている。ページ一覧の表示領域21については、図3において説明した通りである。処理対象ページの情報の表示領域22には、図3において選択された処理対象ページの画像24と、ステップ102において算出された分類確信度が表示される。本実施の形態では、文書には帳票と添付文書が含まれていることを想定しているので、処理対象ページが帳票と仮定した場合の分類確信度(以下、「帳票分類確信度」)と、処理対象ページが添付文書と仮定した場合の分類確信度(以下、「添付種別確信度」)と、を別個に求めている。表示領域23には、処理対象ページの分類確信度が所定の閾値に達していなかったページの種別が表示さる(ステップ106)。
表示領域23には、分類確信度が所定の閾値に達していなかったとは言え、達していない中で分類確信度が高い順にページ種別を並べて優先的に表示させる。表示領域23に表示されるのは、サンプル文書記憶部17に記憶されている当該ページ種別に対応するサンプルページである。各サンプルページには、当該サンプルページのサムネイルに対応させて、ページ種別(例えば、“帳票種1”、“添付−免許証”)、帳票の場合はセットにおけるページ番号(すなわち当該ページが何ページ目のページであるかを示す情報、例えば、“P2”)及び処理対象ページが当該サンプルページによって示される文書種別と判定される場合の分類確信度が示される。図4では、分類確信度が高い順に6種類の文書種別に対応するサンプルページが表示されている例が示されているが、表示させるページ数はこの例に限る必要はない。表示領域23をスクロールできるユーザインタフェースとしてもよい。
ユーザは、表示領域23に表示されているサンプルページを参照して、選択した処理対象ページが該当すると推測するページ種別を選択した後、「OK」ボタン26を選択すると、分類支援処理部13は、選択されたページ種別を受け付ける(ステップ107)。ここでは、“帳票種1”に対応するサンプルページのサムネイル25が選択されたとする。この場合、分類支援処理部13は、サンプルページを含むサンプル文書をサンプル文書記憶部17から取得して画面に表示させる。
図5は、図4においてページ種別が選択され「OK」ボタン26が選択された場合に(ステップ108でN)、表示される表示画面の一例を示す図である。図5に示すように、画面左側には、図4における表示領域22に表示された分類確信度が低いページ、すなわち処理対象ページの画像24が表示される。なお、以降の説明では、処理対象ページの画像24を単に「処理対象ページ24」とも称する。画面右側には、表示領域23から選択されたサンプルページを含むサンプル文書の画像が表示される。なお、サンプルページの画像25を単に「サンプルページ25」とも称する。このとき、処理対象ページ24と処理対象ページに対応するサンプルページ25とが対比しやすいように、分類支援処理部13は、当該サンプルページ25を他のサンプルページより大きく、かつサンプル文書の最前面に表示させる。
このように、分類支援処理部13は、処理対象ページ24をサンプル文書と合わせて表示させる(ステップ109)。ここで、処理対象ページ24にマウスカーソルを移動させ、所定の操作、例えば右クリックすると、分類支援処理部13は、マウスカーソルの位置を中心とした所定の範囲の画像を抽出して表示領域30aに拡大表示させる。また、これと共に処理対象ページ24から抽出した範囲に対応するサンプルページ25の部分画像も合わせて表示領域30bに拡大表示させる。このときの画面表示例を図6に示す。なお、表示領域30aは、右クリックに限らず、ドロップ操作などによって拡大表示させる範囲をユーザに指定させてもよい。ここでは、処理対象ページ24をユーザによる操作対象としたが、サンプルページ25を処理対象としてもよい。この場合、サンプルページ25に対応する表示領域30bと共に処理対象ページ24に対応する表示領域30aを合わせて表示させる。
ユーザが図5に示す表示画面を参照して、処理対象ページ24に対応する正しいサンプルページ25を選択していないと判断した場合、「いいえ」ボタン29を選択する。この場合(ステップ110でN)、分類支援処理部13は、文書種別をユーザに改めて選択させるために、ステップ106に移行し、ページ種別の候補が表示される表示画面(図4)を表示させる。
ユーザは、図5又は図6に示す表示画面を参照して、処理対象ページに対応する正しいサンプルページ25を選択していると判断した場合、「はい」ボタン28を選択する。この場合(ステップ110でY)、分類支援処理部13は、処理対象ページが欠落しているセット、上記例では2ページ目が欠落しているセットをセット記憶部15から取得して画面に表示させる。
図7は、「はい」ボタン28が選択された場合に表示される表示画面の一例を示す図である。分類支援処理部13は、2ページ目が欠落しているセットの候補と共に処理対象ページ24を表示させる(ステップ111)。具体的には、セットの1ページ目の画像31と3ページ目の画像32の間、すなわちセットの候補においてページが欠落している2ページ目の位置に処理対象ページの画像24を挿入して表示させる。
ところで、2ページ目が欠落しているセットがセット記憶部15に複数登録されている場合が考えられる。この場合、本実施の形態では、処理対象ページを挿入するセットの候補に優先順位を付けて表示させる。本実施の形態では、スキャン日時、筆跡又はページに記載されている内容のいずれかを、セットの候補の表示順を決める指標としてユーザ選択させ、ユーザにより選択された指標に従ってセットの候補に優先順位を付けることができるようにした。以下、優先順位を考慮したセットの候補の表示について図8〜図10を用いて説明する。
図7に示す表示画面において、ユーザがアローボタン33を操作してプルダウンメニューを表示させ、その中から「スキャン日時が近い」を選択する。なお、図7に示すように、セットの候補の表示順を決める初期値として「スキャン日時が近い」が設定されているので、「スキャン日時が近い」をあえて選択するための操作を行わなくてもよい。分類支援処理部13は、ユーザにより選択された指標であるスキャン日時に従ってセットの候補を処理対象ページとスキャン日時の近い順に並べる。より詳細には、セットの1ページ目又は3ページ目のスキャン日時を参照する。スキャンは、各セットを1ページ目から順番にスキャンされていると仮定した場合、処理対象ページ(ここでは、2ページ目)とスキャン日時が最も近い1ページ目又は3ページ目を持つセットが、処理対象ページが属するセットと判断してもよい。スキャナによるスキャン日時は、各ページのプロパティ情報に含まれている。本実施の形態においては、スキャナにより読み取られたデータを即座にセットに分類することを想定しているので、各ページのスキャン日時を、文書処理装置1が当該ページを受け付けた受付日時と仮定している。
分類支援処理部13は、処理対象ページのスキャン日時と、各セットにおける1(又は3)ページ目のスキャン日時とを対比し、スキャン日時の近い順にセットの候補を並べる。なお、スキャン日時に近い順というのは、処理対象ページとスキャン日時が類似している順ということができる。
ユーザがセットの候補の優先順位を決める指標(ここでは、スキャン日時)を選択した後、「根拠表示」ボタン34を選択すると、分類支援処理部13は、この選択操作に応じて図8に示すように各画像31,24,32に対応するページがスキャンされた日時を当該セットが候補として選出されている理由、換言すると表示対象となっている根拠として画面表示させる。ユーザは、表示された処理対象ページとその前後に位置する1ページ目と3ページ目のスキャン日時を参照することで、表示されているセットの候補が、処理対象ページが属するセットかどうかを確認することができる。
また、ユーザがアローボタン33を操作してプルダウンメニューを表示させ、その中から「筆跡が近い」を選択すると、分類支援処理部13は、この操作に応じて処理対象ページ24を解析することによって手書き文字を検出する。そして、セットの候補に対しても同様に手書き文字を検出する。そして、分類支援処理部13は、処理対象ページ24における手書き文字の筆跡と各セットの候補における手書き文字の筆跡とを対比し、筆跡が処理対象ページ24と類似している順、つまり筆跡の類似度の高い順にセットの候補を並べる。
ユーザがセットの候補の優先順位を決める指標(ここでは、筆跡)を選択した後、「根拠表示」ボタン34を選択すると、分類支援処理部13は、この選択操作に応じて図9に示すように各画像31,24,32から検出された手書き文字を拡大表示させる。比較しやすいように、表示させる手書き文字は、同じ項目(図9においては住所)を表示させるのが好適である。ただ、異なる文書種別のページなので、それぞれに同じ項目が含まれているとは限らない。従って、表示させる手書き文字は、特に限定する必要は無い。手書き文字はなければ生じさせる必要は無い。
また、ユーザがアローボタン33を操作してプルダウンメニューを表示させ、その中から「記載内容が近い」を選択すると、分類支援処理部13は、この操作に応じて各画像31,24,32に対して文字認識処理及び自然言語処理を実施して、処理対象ページ24における記載内容と各セットの候補における記載内容とを対比し、記載内容が類似している順、つまり記載内容の類似度の高い順にセットの候補を並べる。
ユーザがセットの候補の優先順位を決める指標(ここでは、記載内容)を選択した後、「根拠表示」ボタン34を選択すると、分類支援処理部13は、この選択操作に応じて図10に示すように各画像31,24,32から検出された記載内容を拡大表示させる。比較しやすいように、表示させる記載内容は、同じ項目(図10においては氏名)を表示させるのが好適である。ただ、異なる文書種別のページなので、それぞれに同じ項目が含まれているとは限らないので、該当する記載がされていないページにおいては、3ページ目のように「該当なし」と表示させる。
以上のようにして、ユーザは、表示されているセットの候補が、処理対象ページが属する正しいセットかどうかを確認する。そして、他の文書のセットの候補も参照したい場合、ユーザは、候補切替ボタンとして設けられている「次へ」ボタン35又は「戻る」ボタン36を選択する。分類支援処理部13は、上記候補切替ボタンの選択操作が行われると(ステップ112でY)、他のセットの候補を選択して画面に表示させる(ステップ117)。セットの候補は、所定の項目(スキャン日時等)の優先順位に従って並べられているので、分類支援処理部13は、「次へ」ボタン35が選択されると、現在表示中のセットに続く優先順位(つまり、優先順位が1つ下)のセットの候補を選択して表示させる。「戻る」ボタン36が選択されると、現在表示中のセットより1つ手前の優先順位(つまり、優先順位が1つ上)のセットの候補を選択して表示させる。
図11には、上記候補切替ボタンの選択操作に応じてセット候補1からセット候補2のセットに表示が切り替わった後の表示画面例が示されている。この場合も上記と同様に、分類支援処理部13は、処理対象ページ24を実際の2ページ目の位置、すなわち表示されているセットの1ページ目の画像37と3ページ目の画像38の間に挿入して表示させる。
ここで、ユーザがセットの候補の中に処理対象ページが属するセットが存在しないと判断した場合、「戻る」ボタン40を選択する。分類支援処理部13は、この操作に応じて(ステップ113でN)、処理をステップ109に移行し、図5に示す表示画面を表示させる。そして、ユーザは、図4において選択したページが適切でないと判断すると、図5に示す表示画面から「いいえ」ボタン29を選択する。この場合(ステップ110でN)、分類支援処理部13は、ページ種別をユーザに改めて選択させるために、ステップ106に移行し、ページ種別の候補が表示される表示画面(図4)を表示させる。
一方、ユーザが、表示されているセットの候補が、処理対象ページが属するセットであると判断した場合、「OK」ボタン39を選択する。分類支援処理部13は、この操作に応じて(ステップ113でY)、処理対象ページを表示されているセットの候補の2ページ目として含め、処理対象ページを含むセットをセット分類部12に登録する(ステップ114)。
図12は、処理対象ページが登録されたときの表示画面の一例を示す図である。処理対象ページがいずれかの文書のセットに登録された場合、分類支援処理部13は、その登録されたセットを特定する情報を少なくとも含むメッセージ41を表示させてユーザに知らせる。
以上説明したように、本実施の形態では、図4に示す表示画面の表示領域23に表示されているサンプルページの中から処理対象ページの文書種別と推測されるサンプルページをユーザに選択させて、処理対象ページが属するセットを見つけ出せるようにした。ただ、表示領域23に表示されているサンプルページから処理対象ページが属するセットを見つけ出せなかった場合、ユーザは、「該当なし」ボタン27を選択する。分類支援処理部13は、「該当なし」ボタン27が選択されると、処理対象ページが属するセットを探し出せなかったと判断し(ステップ108でY)、処理対象ページを単独ページとして所定の格納先である単独ページ記憶部18に登録する(ステップ116)。本実施の形態における単独ページ記憶部18に記憶されている単独ページを表示させる表示画面の一例を図13に示す。
ユーザは、単独ページとして登録されたことを確認すると「OK」ボタン42を選択する。これにより、処理はステップ115に移行する。
図3において、選択されたペーに対しては、以上のように処理される。そして、分類できなかった全てのページに対して前述した処理が実施されていない場合(ステップ115でN)、分類支援処理部13は、ステップ104に処理を移行して、図3に示す表示画面を表示させる。
ところで、ページ種別には、帳票の他に添付文書がある。処理対象ページが添付文書の場合でも上記と同様に処理すればよい。ただ、添付文書は、いずれかの文書のセットに添付されるページであることから、セットと添付文書を紐付ける情報がセットに含まれるいずれかの帳票に記載されている可能性が高い。
図14は、処理対象ページが添付文書の場合であって、図5又は図6に示す表示画面から「はい」ボタン28が選択された場合に表示される表示画面の一例を示す図である。図14は、処理対象ページが添付文書ではなく帳票の場合の図7に対応する図である。図14には、ページ種別が添付文書であって“セット候補1”のセットの候補が表示されている。上記説明では、表示されているセットの候補が、処理対象ページが属する正しいセットかどうかをユーザに確認させる機能について図8〜図10を用いて説明したが、添付文書に対しては、更にセットの候補に優先順位をつける別の指標を示している。
ユーザがアローボタン33を操作してプルダウンメニューを表示させ、その中から「添付種チェック」を選択すると、分類支援処理部13は、この操作に応じて処理対象ページ45及びセット候補に含まれているページの画像43,44に対して文字認識処理を実施して処理対象ページのページ種別(この例では、“免許証”)を特定する文字列を画像43,44から抽出する。分類支援処理部13は、抽出した文字列“免許証”の数の多い順、又は画像43,44における位置などを基準にセットの候補と類似している順、つまり添付文書の種別の類似度の高い順にセットの候補を並べる。
ユーザがセットの候補の優先順位を決める指標(ここでは、添付文書の種別)を選択した後、「根拠表示」ボタン34を選択すると、分類支援処理部13は、この選択操作に応じて図15に示すように、添付文書の種別を示す文字列(ここでは、“免許証”)を、例えばマーカなどを施して文字列が見つけやすいように表示させる。これ以外の処理は、ページ種別が帳票の場合と同じでよいので、説明を省略する。
上記実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス等)を含むものである。
また上記実施の形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施の形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
1 文書処理装置、11 データ取得部、12 セット分類部、13 分類支援処理部、14 ユーザインタフェース(UI)処理部、15 セット記憶部、16 未分類ページ記憶部、17 サンプル文書記憶部、18 単独ページ記憶部、141 操作受付部、142 表示制御部。

Claims (9)

  1. プロセッサを備え、
    前記プロセッサは、
    予め定められた複数のページで構成される文書が、複数セット含まれているデータを受け付け、
    前記データを各セットに分類し、
    前記データにおいて分類できなかったページがある場合、前記ページが属しうるセットの候補を表示させる、
    ことを特徴とする文書処理装置。
  2. 前記プロセッサは、前記セットの候補と分類できなかった前記ページを同一画面上に表示させることを特徴とする請求項1に記載の文書処理装置。
  3. 前記プロセッサは、前記セットの候補のページが欠落している位置に、分類できなかった前記ページを挿入して表示させることを特徴とする請求項2に記載の文書処理装置。
  4. 前記プロセッサは、分類できなかった前記ページの受付日時、前記ページに記入されている文字の筆跡または前記ページに記載されている内容のうち、少なくとも1つと類似しているセットを前記セットの候補として表示させることを特徴とする請求項1に記載の文書処理装置。
  5. 前記プロセッサは、前記セットの候補の選出根拠を表示させることを特徴とする請求項1に記載の文書処理装置。
  6. 前記選出根拠は、分類されなかった前記ページと前記セットの候補が類似している箇所であることを特徴とする請求項5に記載の文書処理装置。
  7. 前記プロセッサは、前記セットの候補が複数存在する場合、分類できなかった前記ページに対する類似度によって前記セットの候補を優先付けて表示させることを特徴とする請求項1に記載の文書処理装置。
  8. 前記プロセッサは、前記セットの候補が抽出できなかった場合、分類できなかった前記ページを所定の格納先に登録することを特徴とする請求項1に記載の文書処理装置。
  9. コンピュータに、
    予め定められた複数のページで構成される文書が、複数セット含まれているデータを受け付ける機能、
    前記データを各セットに分類する機能、
    前記データにおいて分類できなかったページがある場合、前記ページが属しうるセットの候補を表示させる機能、
    を実現させるためのプログラム。
JP2020043169A 2020-03-12 2020-03-12 文書処理装置及びプログラム Active JP7480536B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020043169A JP7480536B2 (ja) 2020-03-12 2020-03-12 文書処理装置及びプログラム
US17/060,177 US11782990B2 (en) 2020-03-12 2020-10-01 Document processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020043169A JP7480536B2 (ja) 2020-03-12 2020-03-12 文書処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021144512A true JP2021144512A (ja) 2021-09-24
JP7480536B2 JP7480536B2 (ja) 2024-05-10

Family

ID=77663670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020043169A Active JP7480536B2 (ja) 2020-03-12 2020-03-12 文書処理装置及びプログラム

Country Status (2)

Country Link
US (1) US11782990B2 (ja)
JP (1) JP7480536B2 (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3812185B2 (ja) * 1998-12-01 2006-08-23 株式会社日立製作所 欠陥分類方法およびその装置
JP2001005831A (ja) 1999-06-24 2001-01-12 Ricoh Co Ltd ファイリング方法及びそれを格納した記録媒体
JP4526661B2 (ja) * 2000-06-28 2010-08-18 株式会社日立製作所 検査装置および検査方法
US20040013302A1 (en) * 2001-12-04 2004-01-22 Yue Ma Document classification and labeling using layout graph matching
JP2006031181A (ja) 2004-07-13 2006-02-02 Canon Inc 画像検索装置、方法、記憶媒体及びプログラム
JP2007066098A (ja) 2005-08-31 2007-03-15 Canon Inc 帳票認識装置及び方法、プログラム
US8351706B2 (en) * 2007-07-24 2013-01-08 Sharp Kabushiki Kaisha Document extracting method and document extracting apparatus
JP4630350B2 (ja) 2008-02-29 2011-02-09 株式会社沖データ 画像処理装置および画像処理方法
JP2009302944A (ja) 2008-06-13 2009-12-24 Konica Minolta Business Technologies Inc 画像処理装置
US20110258195A1 (en) * 2010-01-15 2011-10-20 Girish Welling Systems and methods for automatically reducing data search space and improving data extraction accuracy using known constraints in a layout of extracted data elements
US8737724B2 (en) * 2011-06-10 2014-05-27 Microsoft Corporation Image type classifier for improved remote presentation session compression
US9053361B2 (en) * 2012-01-26 2015-06-09 Qualcomm Incorporated Identifying regions of text to merge in a natural image or video frame
JP2016063400A (ja) 2014-09-18 2016-04-25 株式会社沖データ 画像処理装置および画像処理方法
KR101981075B1 (ko) * 2015-03-31 2019-05-22 가부시키가이샤 프론테오 데이터 분석 시스템, 데이터 분석 방법, 데이터 분석 프로그램, 및 기록매체
JP2017107455A (ja) 2015-12-10 2017-06-15 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
SG11201901778YA (en) * 2016-09-02 2019-03-28 Futurevault Inc Automated document filing and processing methods and systems

Also Published As

Publication number Publication date
US20210286990A1 (en) 2021-09-16
JP7480536B2 (ja) 2024-05-10
US11782990B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
RU2357284C2 (ru) Способ обработки цифровых рукописных примечаний для распознавания, привязки и переформатирования цифровых рукописных примечаний и система для его осуществления
US8792141B2 (en) Embedded form extraction definition to enable automatic workflow configuration
US11783610B2 (en) Document structure identification using post-processing error correction
US20160092730A1 (en) Content-based document image classification
US20120063684A1 (en) Systems and methods for interactive form filling
JP6876914B2 (ja) 情報処理装置
JP5774558B2 (ja) 手書き文書処理装置、方法及びプログラム
US10142499B2 (en) Document distribution system, document distribution apparatus, information processing method, and storage medium
US11303769B2 (en) Image processing system that computerizes documents with notification of labeled items, control method thereof, and storage medium
US11321558B2 (en) Information processing apparatus and non-transitory computer readable medium
US11521404B2 (en) Information processing apparatus and non-transitory computer readable medium for extracting field values from documents using document types and categories
US10949604B1 (en) Identifying artifacts in digital documents
JP7379987B2 (ja) 情報処理装置及びプログラム
JP2015187846A (ja) 文書処理システム、及び文書処理装置
US20230206672A1 (en) Image processing apparatus, control method of image processing apparatus, and storage medium
US10706581B2 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
JP7480536B2 (ja) 文書処理装置及びプログラム
US11508139B2 (en) Information processing apparatus and non-transitory computer readable medium
US20210042555A1 (en) Information Processing Apparatus and Table Recognition Method
US20120079404A1 (en) Method for creating and searching a folder in a computer system
JPH06103411A (ja) 文書読取装置
US8923625B2 (en) Original image searching device, original image searching method, and computer readable medium
US11481447B2 (en) Information processing device and non-transitory computer readable medium
JP2014044555A (ja) 画像処理装置、画像処理システム及びプログラム
US20210295032A1 (en) Information processing device and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408