JP2023072812A - 情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システム - Google Patents

情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システム Download PDF

Info

Publication number
JP2023072812A
JP2023072812A JP2021185482A JP2021185482A JP2023072812A JP 2023072812 A JP2023072812 A JP 2023072812A JP 2021185482 A JP2021185482 A JP 2021185482A JP 2021185482 A JP2021185482 A JP 2021185482A JP 2023072812 A JP2023072812 A JP 2023072812A
Authority
JP
Japan
Prior art keywords
image
character
information
data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021185482A
Other languages
English (en)
Inventor
真也 曽我
Masaya Soga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021185482A priority Critical patent/JP2023072812A/ja
Priority to US17/981,307 priority patent/US20230156138A1/en
Publication of JP2023072812A publication Critical patent/JP2023072812A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Facsimiles In General (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】スキャン文書の画像のファイル名に使用されている文字列の文字領域を、プレビュー画像から容易に確認する情報処理装置、その制御方法及びプログラム並びに画像処理システムを提供する。【解決手段】画像処理システムにおいて、MFP連携サービスは、スキャン文書画像の文字領域を文字認識処理することにより抽出した1又は複数の文字列の情報を含むデータと、スキャン文書のプレビュー画像と、を生成する生成手段と、プレビュー画像、データ及びスキャン文書画像のファイルを合わせて送信する送信手段と、を有する。生成手段は、データに含まれる各文字列の情報と、各文字列の情報に対応するプレビュー画像の文字領域の組み合わせ毎に、同じ文字装飾を施す。【選択図】図10

Description

本発明は、スキャン文書の画像に、自動的にファイル名を付与する情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システムに関する。
従来、紙帳票をスキャンして電子化し、電子化した帳票のファイル名を該帳票の記載内容に基づいて設定することで帳票を管理するシステムがある。このファイル名を設定する方法として、帳票画像に文字認識処理を実行した認識結果に基づいて設定する方法がある。また、ユーザーがファイル名に使用した帳票の文字領域を学習することにより、類似フォーマットの帳票をスキャンした場合、学習結果を用いてファイル名に使用する文字列を自動で決定する方法がある。
ユーザーがファイル名に使用する文字領域を決定するファイル名付け画面において、帳票画像の特徴量として使用した文字領域とファイル名の文字位置を対応付けて色付けや網掛けする方法がある。これにより、ファイル名に使用した文字領域の位置を確認しやすくすることができる。また、スキャンした帳票に対して学習した結果を基に自動でファイル名を付け、ファイル名付け画面をスキップして自動で帳票を管理するシステムに送信する方法がある。この場合、自動で設定されたファイル名が正しいかどうかは送信した先の管理システムで、設定されたファイル名と帳票を管理するシステムのプレビュー画像等で確認する必要がある。
特許文献1には、文書を管理するシステムにおいて、管理された文書の記載内容に応じて内容を確認しやすいようにプレビュー画像を生成する方法が開示されている。
特開2017-184047号公報
しかしながら、特許文献1の手法では、ユーザーがファイル名に使用した文字領域情報を基に帳票のプレビューを作成することはできないため、帳票のどの文字領域が使用されたか容易に確認することができない。
本発明は上記問題点に鑑みてなされたものであり、スキャン文書の画像のファイル名に使用されている文字列の文字領域を、プレビュー画像から容易に確認することができるシステムを提供することを目的とする。
本発明は、情報処理装置であって、スキャン文書画像の文字領域を文字認識処理することにより抽出した1又は複数の文字列の情報を含むデータと、前記スキャン文書のプレビュー画像と、を生成する生成手段と、前記プレビュー画像、前記データ及びスキャン文書画像のファイルを合わせて送信する送信手段を有し、前記生成手段は、前記データに含まれる各文字列の情報と、前記各文字列の情報に対応する前記プレビュー画像の前記文字領域の組み合わせごとに、同じ文字装飾を施すことを特徴とする。
本発明によれば、スキャン文書の画像のファイル名に使用されている文字列の文字領域を、プレビュー画像から容易に確認することが可能となる。
本発明のシステムの全体構成を示す図。 MFPのハードウェア構成図。 クライアントPC及びMFP連携サービスのハードウェア構成図。 本発明のシステムのソフトウェア構成図。 各機器間の処理の流れを示すシーケンス図。 MFP又はクライアントPCが表示する画面の一例を示す図。 MFP又はクライアントPCが表示する画面の一例を示す図。 実施例の画像処理部が行う画像解析処理の詳細を示すフローチャート。 実施例の画像処理部が行う解析結果保存処理で保存するデータ構造。 実施例における自動送信設定の画面の一例。 実施例の自動送信処理の詳細を示すフローチャート。 実施例の自動送信結果の画面の一例を示す図。
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
<実施形態1>
[全体構成]
図1は、本システムの全体構成を示す図である。画像処理システムは、MFP(Multifunction Peripheral)110、クライアントPC111、MFP連携サービス120およびクラウドストレージ130を含む。MFP110及びクライアントPC111は、LAN(Local Area Network)経由でインターネット上の各種サービスを提供するサーバーに対して通信可能に接続されている。
MFP110は、スキャナやプリンタといった複数の機能を有する複合機であり、画像処理装置の一例である。クライアントPC111はMFP連携サービス120に対して依頼したサービスの提供を受けるコンピュータ又はアプリケーションである。MFP連携サービス120は、MFP110でスキャンした文書画像ファイルを自サーバー上に保存したり、別のストレージサービス等のファイル保存が可能なサービスに転送したりする機能を持つサービスの一例であり情報処理装置で実行されている。記憶装置であるクラウドストレージ130は、インターネットを介してファイルを保存したり、MFP110やクライアントPC111上のウェブブラウザ等が、保存されたファイルを取得したりすることができるサービスである。
本実施例の画像処理システムは、画像処理装置であるMFP110、クライアントPC111、MFP連携サービス120および記憶装置であるクラウドストレージ130からなる構成としているがこれに限定されない。例えば、MFP110がクライアントPC111やMFP連携サービス120の役割を兼ね備えてもよい。また、MFP連携サービス120を提供する情報処理装置はインターネット上ではなくLAN上のサーバーに配置した接続形態であってもよい。また、記憶装置であるクラウドストレージ130はメールサーバーなどに置き換えて、スキャンした画像をメールに添付し送信してもよい。
[MFPのハードウェア構成]
図2は、画像処理装置であるMFP110のハードウェア構成図である。MFP110は、制御部210、操作部220、プリンタ部221、スキャナ部222、モデム223で構成される。制御部210は、以下の各部211~219で構成され、MFP110全体の動作を制御する。CPU211は、ROM212に記憶された制御プログラムを読み出して、読取/印刷/通信などMFP110が有する各種機能を実行・制御する。RAM213は、CPU211の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施例では1つのCPU211が1つのメモリ(RAM213又はHDD214)を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のCPUや複数のRAM又はHDDを協働させて各処理を実行してもよい。HDD214は、画像データや各種プログラムを記憶する大容量記憶部である。操作部I/F215は、操作部220と制御部210とを接続するインタフェースである。操作部220には、タッチパネルやキーボードなどが備えられており、ユーザーによる操作/入力/指示を受け付ける。プリンタI/F216は、プリンタ部221と制御部210とを接続するインタフェースである。印刷用の画像データはプリンタI/F216を介して制御部210からプリンタ部221へ転送され、紙などの記録媒体上に印刷される。スキャナI/F217は、スキャナ部222と制御部210とを接続するインタフェースである。スキャナ部222は、不図示の原稿台やADF(Auto Document Feeder)にセットされた原稿を読み取って画像データを生成し、スキャナI/F217を介して制御部210に入力する。MFP110は、スキャナ部222で生成された画像データをプリンタ部221から印刷出力(コピー)する他、ファイル送信又はメール送信することができる。モデムI/F218は、モデム223と制御部210とを接続するインタフェースである。モデム223は、PSTN上のファクシミリ装置との間で画像データをファクシミリ通信する。ネットワークI/F219は、制御部210(MFP110)をLANに接続するインタフェースである。MFP110は、ネットワークI/F219を用いてインターネット上の各サービスに画像データや情報を送信したり、各種情報を受信したりする。
[クライアントPC、MFP連携サービスのハードウェア構成]
図3は、クライアントPC111及びMFP連携サービス120を提供する情報処理装置のハードウェア構成図である。クライアントPC111及びMFP連携サービス120は、CPU311、ROM312、RAM313、HDD314及びネットワークI/F315で構成される。CPU311は、ROM312に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。RAM313は、CPU311の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD314は、画像データや各種プログラムを記憶する大容量記憶部である。ネットワークI/F315は、MFP連携サービス120をインターネットに接続するインタフェースである。MFP連携サービス120およびクラウドストレージ130は、ネットワークI/F315を介して他の装置(MFP110など)から処理リスエストを受けて各種情報を送受信する。
[画像処理システムのソフトウェア構成]
MFP
図4は、本実施例に係る画像処理システムのソフトウェア構成図である。MFP110は、ネイティブ機能部410と追加機能部420の大きく2つに分けられる。ネイティブ機能部410に含まれる各部はMFP110に標準的に備えられたものであるのに対し、追加機能部420はMFP110に追加インストールされたアプリケーションである。追加機能部420はJava(登録商標)をベースとしたアプリケーションであり、MFP110への機能追加を容易に実現できる。なお、MFP110には図示しない他の追加アプリケーションがインストールされていてもよい。
ネイティブ機能部410は、スキャン実行部411および画像データ保存部412を有する。追加機能部420は、表示制御部421、スキャン指示部422、連携サービスリクエスト部423を有する。
表示制御部421は、MFP110の操作部220のタッチパネル機能を有する液晶表示部に、ユーザーによる操作を受け付けるためのUI画面を表示する。例えば、MFP連携サービス120へアクセスするための認証情報の入力、スキャン設定、ならびに、スキャン開始の操作、プレビュー画面などのUI画面を表示する。スキャン指示部422は、UI画面を介して入力されたユーザー指示に応じたスキャン設定と共にスキャン実行部411にスキャン処理を要求する。
スキャン実行部411は、スキャン指示部422からのスキャン設定を含んだスキャン要求を受け取る。スキャン実行部411は、スキャン要求に従い、スキャナI/F217を介してスキャナ部222で、原稿台ガラスに置かれた原稿を読み取ることでスキャン画像データを生成する。生成したスキャン文書画像データは、画像データ保存部412に送られる。スキャン実行部411は、保存したスキャン文書画像データを一意に示すスキャン画像識別子をスキャン指示部422へ送る。スキャン画像識別子はMFP110においてスキャンした画像をユニークに識別するための番号や記号、アルファベットなどである(不図示)。画像データ保存部412は、スキャン実行部411から受け取ったスキャン画像データをHDD214に保存する。
スキャン指示部422は、スキャン実行部411から受け取ったスキャン画像識別子に対応するスキャン文書画像データを画像データ保存部412から取得する。スキャン指示部422は、取得したスキャン文書画像データにMFP連携サービス120で処理を行う指示を連携サービスリクエスト部423に要求する。
連携サービスリクエスト部423は、MFP連携サービス120に対して各種処理の要求を行う。例えば、ログイン、スキャン画像の解析、スキャン画像の送信などの要求を行う。MFP連携サービス120とのやり取りはRESTやSOAPなどのプロトコルを使用するが、その他の通信手段を用いてもよい。
MFP連携サービス
MFP連携サービス120は、リクエスト制御部431、画像処理部432、クラウドストレージアクセス部433、データ管理部434、表示制御部435を有する。
リクエスト制御部431は、外部装置からの要求を受信できる状態で待機している。処理要求を受けると要求に応じて適宜、画像処理部432、クラウドストレージアクセス部433、データ管理部434に処理を指示する。
画像処理部432は、画像に対して文字領域解析、OCR、類似帳票判定(後述の図5のS510の処理で説明する)、画像の回転や傾き補正などの画像に対する認識処理や画像の加工処理を行う。ここで、OCRは、Optical Character Recognitionの略である。
クラウドストレージアクセス部433は、クラウドストレージに対する処理の要求を行う。クラウドサービスは一般的にRESTやSOAPなどのプロトコルで、クラウドストレージにファイルを保存したり、保存したファイルを取得したりするための様々なインタフェースを公開している。クラウドストレージアクセス部433は、公開されたクラウドストレージのインタフェースを使用してクラウドストレージの操作を行う。
データ管理部434は、MFP連携サービス120で管理するユーザー情報や各種設定データ等を保持する。
表示制御部435は、インターネット経由で接続されたPCやモバイル等の別端末(不図示)上で動作しているウェブブラウザからのリクエストを受けて画面表示に必要な画面構成情報(HTML、CSS等)を返す。ユーザーは、ウェブブラウザで表示される画面経由でMFP連携サービス120に登録しているユーザー情報を確認したり、スキャンする際の設定を変更したりできる。
なお図4ではMFP110に追加機能部420をインストールする構成の例について説明したが、本件はこの構成に限定せず、クライアントPC111に追加機能部420の機能が含まれていても構わない。
[全体の処理の流れ]
図5は、MFP110でスキャンした画像をファイル化してクラウドストレージに送信する際の各装置間の処理の流れを示すシーケンス図である。ここでは、各装置間のやり取りを中心に説明する。なお、図5ではMFP110がMFP連携サービス120とやり取りを行う記載としているが、後述する解析結果取得、画面の表示、学習の指示等はMFP110でなくクライアントPC111が実行する構成でも構わない。以降、”MFP110又はクライアントPC111”が実行する処理について、クライアントPC111を省略し、”MFP110”とのみを記載する。
MFP110は、通常の状態では提供する各機能を実施するためのボタンを並べたメイン画面をタッチパネル上に表示する。
MFP110にスキャン帳票をクラウドストレージに送信するための追加アプリケーション(以降「スキャンアプリ」という。)をインストールすることで、アプリケーションの機能を使用するボタンがMFP110のメイン画面に表示される。このボタンを押すとスキャンした帳票をクラウドストレージに送信するための画面が表示され、図5のシーケンスで示す処理が行われる。
S501においてMFP110は、MFP連携サービス120にアクセスするための認証情報を入力するログイン画面を表示する。
続いてS502でユーザーがログイン操作をすることにより、MPF110はMFP連携サービスにユーザー名、パスワード等を送信する。
S503においてMFP連携サービス120は、ログイン要求に含まれるユーザー名とパスワードが正しいか検証し、正しければアクセストークンをMFP110に返す。以降のMFP110からMFP連携サービス120に対して行う各種リクエストにはこのアクセストークンと共に要求が出され、この情報により処理対象のユーザーを特定することができる。ユーザー認証の方法は一般的に公知な手法(Basic認証、Digest認証、OAuthを用いた認可等)を用いて行う。
MFP110は、ログイン処理が完了したらS504でスキャン設定画面を表示する。ユーザーは、各種スキャンの読み込みに関する設定を行い、原稿台ガラス又はADFにスキャンする対象の紙帳票を置き、「スキャン開始」ボタンを押す。
S505で、MFP110は、スキャンを実行して紙帳票を電子化した画像データを生成する。
そして、S506でスキャン処理により生成した画像とともにスキャン文書画像の解析要求をMFP連携サービス120に送信する。このときにスキャン文書画像全てを送信してもよいし、解析対象だけ先に送信し、あとで全てのスキャン文書画像を送信してもよい。
MFP連携サービス120は、スキャン文書画像の解析要求を受信するとS507において、MFP連携サービス120の画像処理部432で画像解析を開始する。その後、MFP連携サービス120は、画像解析処理の終了を待たずに、MFP連携サービス120に依頼した解析を一意に示す識別子である”processId”をMFP110に返す。
MFP連携サービス120は、要求受信後、画像処理部432で画像解析処理を行う。
、まずS508で、画像解析処理は画像内に存在する文字領域の解析を行う。
そして、S509で帳票内の文字領域の配置情報を利用して、過去にスキャンした文書の画像の配置情報と今回スキャンした文書の画像の配置情報を比較し類似した文字領域の配置を持つ画像をスキャンしたかどうかを判定する。この処理を類似帳票判定という。この判定で使用する過去のスキャン文書画像の情報は後述するS519の処理により保存、蓄積されている。この処理を帳票学習という。
S510で、S509の判定結果に基づいて、解析した領域に対して文字認識処理を行う。なおS508~S510の処理の詳細については図7とともに後述する。
S511でMFP110は、S506のレスポンスで受け取った”processId”を使用してMFP連携サービス120に定期的(例えば数百ミリ秒から数ミリ秒程度毎など)に”processId”の画像解析の処理状況の確認を行う。図では省略するが、S511の処理はMFP連携サービス120の画像処理完了のレスポンスが取得できるまで(S512のタイミングまで)継続して行う。
S512で、MFP連携サービス120は、処理状況確認の要求を受けると”processId”の処理の状況を確認し、レスポンスを返す。
レスポンスには、”status”に現在の処理状況を示す文字列が格納される。例えば”status”が”processing”の時は、MFP連携サービス120で処理が行われている最中であることを示し、”completed”の時は処理が完了している状態であることを示す。なお、処理が失敗した場合に”failed”など、この他のステータスが返ることもある。また処理完了時(”status”が”completed”の場合)のレスポンスには、ステータスと共にスキャン画像を解析した結果やスキャン設定等の情報を含む。
S504~S513は、ユーザーのスキャンする帳票数だけ繰り返す。もしくは、S505で複数枚の帳票をスキャンし、S507の画像解析で所定枚数ごとに分割し、S506~S513を分割した帳票数だけ繰り返してもよい。
S512において処理の完了を検知すると、S513でレスポンスに含まれる結果情報が格納されたURLから結果情報を取得する。
S514においてS513で取得した結果情報を使用して帳票リストを表示する。
このときMFP110の画面を手動操作して送信する帳票が存在する場合はリスト表示がされ、S514~S522を実行する。
手動操作して送信する帳票が存在しない場合はS523~S526が自動で実行される。手動送信する帳票は図9の自動送信設定が有効ではない場合や、自動送信設定が有効だが、未学習帳票が存在する場合などである。図9について詳細は後述するが、自動送信設定を設けず、学習済み帳票は必ず自動送信としてもよい。また、学習済み帳票であっても、文字認識や帳票認識の確信度(認識精度の確からしさ)によって、自動送信をするか決めてもよい。
図6Aは、MFP110で表示するスキャン済み帳票一覧画面600の一例を示したものである。本例では自動送信設定が無効で未学習帳票、学習済み帳票両方が存在する場合を記載している。また、図6Aの帳票リストのうちの任意のひとつの帳票の選択をダブルクリックなどで開くと、S515でファイル名を設定するためのファイル名設定画面図6Bを表示する。ファイル名設定画面での処理の詳細については後述する。
ユーザーが、ファイル名設定画面でスキャン帳票にファイル名を設定し、[送信]ボタン602を押す。
すると、S516でMFP110は送信要求を検出する。
続くS517で入力情報としてファイル名を設定するために使用した文字領域の情報や入力した文字列情報をMFP連携サービス120に送信する。
S518で、学習のリクエストを受信したMFP連携サービス120のリクエスト制御部431は、画像処理部432に帳票学習を依頼する。
S519で、画像処理部432は画像全体の文字領域の情報とS518で受け取ったユーザーがファイル名に使用した文字領域の入力情報を保存する。
その後、S520でMFP連携サービス120はMFP連携サービスに登録されたスキャン設定からクラウドストレージ130に送信するファイルフォーマットの情報を取得し、その設定に基づいてスキャン文書画像からファイルを生成する。また、スキャン画像のファイルに設定するファイル名等のメタデータ情報を生成する。
S521で、MFP連携サービス120は、クラウドストレージサービス130にファイルとメタデータを送信する。MFP110は入力情報の送信のレスポンスを受けると処理を終了し、S522で帳票リストを再判定した結果で更新する。
S523では自動送信を行うジョブが存在するかチェックを行う。自動送信を行うジョブが存在する場合(S523で、Yes)、S524に進む。
S524で、MFP連携サービスに登録されたスキャン設定からクラウドストレージ130に送信するファイルフォーマットの情報を取得し、その設定に基づいてスキャン画像からファイルを生成する。また、スキャン画像のファイルに設定するファイル名等のメタデータ情報を生成する。
続くS525で自動送信時に合わせて送信する学習結果に基づいたプレビュー画像とメタデータを生成する。詳細は後述する。
S526で、生成したファイル、メタデータをクラウドストレージサービス130に送信する。これらの自動送信の処理は手動送信の処理と並行して行ってもよいし、手動送信完了後に行ってもよい。
(表示画面:MFP)
図6A、BはMFP110が表示する画面の一例を示す図である。図6Aはスキャン済み帳票一覧画面600の一例を示す図である。本画面はスキャン及び画像解析処理が完了し、クラウドストレージ130に送信前の帳票の一覧を閲覧することができる。また本画面はスキャン済み帳票一覧601、[送信]ボタン602、[編集]ボタン603、[削除]ボタン604、[設定]ボタン618から構成されている。スキャン済み帳票一覧601はスキャン及び画像解析(S505~S510)が完了した帳票の一覧を表示する画面である。スキャン済み帳票一覧601は帳票名605、送信先606、ステータス607、種類608、確認状態609から構成されている。帳票名605は帳票の名前を一意に識別する識別子である。送信先606は帳票のファイルを送信するクラウドストレージ130の名前である。ステータス607は帳票に対して類似帳票判定を行った際の結果を示しており、「未学習」又は「学習済」のいずれかが表示される。「未学習」は類似帳票が存在しないと判定されたことを、「学習済」は類似帳票が存在したと判定されたことを意味している。種類608は帳票の種類を表している。例えば「見積書」や「請求書」が表示される。またステータス607が学習済の帳票に関しては、「請求書AAA」や「請求書BBB」のように、どの請求書のフォーマットに該当するか詳細な種類が表示される。これは類似帳票判定処理により決定した最も類似する帳票と関連付けられている。確認状態609は、帳票の状態を表すデータであり、確認済みや未確認の状態などが表示される。この表示は、図6Aに示すような文字ではなく状態を示すアイコンや、各行に塗る背景色などで示してもよい。
[送信]ボタン602はクラウドストレージ130に対して帳票を送信するためのボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、[送信]ボタン602を押下することで送信先606に表示されているクラウドストレージ130に対して送信を行う。なお送信が正常に完了した場合、その帳票は一覧から削除される。
[編集]ボタン603は、後述するファイル名設定画面610(図6B)に移動するためのボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、[編集]ボタン603を押下することで選択した帳票のファイル名設定画面610へと移動する。
[削除]ボタン604は帳票の削除を行うボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、[削除]ボタン604を押下することで選択した帳票を削除することができる。
[設定]ボタン618を押下すると、図9の設定画面900を表示し、自動設定を有効するか、有効にする場合にどのユーザー・グループに有効にするか設定する。詳細は後述する。
図6Bはファイル名設定画面610の一例を示す図である。
ファイル名領域611は、ユーザーが設定したファイル名を表示する領域である。また、ファイル名領域611の空白部分をタッチすると、ソフトキーボードが表示され、任意の文字を入力することができる。ファイル名が設定され文字列が表示されていた場合は、その文字列をタッチするとタッチした部分の文字列を修正するためのソフトキーボードが表示され、入力した文字を修正することができる。
プレビュー領域612は、スキャン文書の画像を表示する。さらに画像の文字領域をタッチすると、タッチした位置に対応する文字領域をファイル名に追加することができる。選択した文字列は、選択したことがわかるように選択した文字領域などに線、枠線などの形状や色などを付与して表示してもよい。複数の文字領域を選択した場合、それぞれの文字領域の色を異なる色にしてもよい。プレビュー上の文字領域とファイル名の文字列にそれぞれに同じ色や同じ網掛け枠を表示して、対応付けが分かりやすいようにしてもよい。本例では、プレビュー上の選択した文字領域とファイル名の表示領域を同じ網掛け枠を使用することで対応付けを分かりやすくした例である。また、選択した文字領域が中央になるようにプレビュー表示位置の変更や、拡大率の変更を行ってもよい。また、文字領域が複数存在する場合、あらかじめ設定された領域数分の文字領域が表示されるように、プレビュー表示位置を算出してもよい。例えば、ファイル名に使用した領域のうち、一番上部の領域と一番下部の領域の中央部分が、プレビュー領域の縦方向の中央になるように表示位置と拡大率の変更を行い、プレビュー表示を行う。一度選択した文字領域を再度タッチすると、選択が解除されて対応するファイル名の文字列を削除して、文字領域に付与した線や色なども表示しない状態に戻す。例では文字列が非選択時の場合に、文字領域はプレビュー上には表示されないように記載している。しかし、ユーザーにどの領域がタッチできるのかを示すために色や枠線を用いて文字領域がわかるように表示してもよい。また、文字領域がわかるようにする表示は、ボタンなどで表示と非表示が切り替えられるようにしてもよい。プレビュー領域に対してスワイプ操作を行うと、プレビュー領域で表示される画像の位置を移動することができる。
ファイル名削除ボタン613は、ファイル名のうち末尾に追加されている文字領域に対応する文字を削除する。
プレビュー拡大ボタン614は、プレビュー領域に表示している画像の拡大倍率を大きくする。プレビュー縮小ボタン615は、プレビュー領域に表示している画像の拡大倍率を小さくする。拡大および縮小時にプレビュー領域の中央の座標が拡大および縮小前と同一となるように表示位置の調整を行う。プレビュー初期表示ボタン616は、スワイプによるプレビュー画像の表示位置の移動やプレビュー拡大ボタンやプレビュー縮小ボタンを押して表示倍率を変更していた場合に、初期状態の倍率と表示位置に戻す。
[OK]ボタン617は、ファイル名設定画面を閉じる。
その後、[送信]ボタン602を押下することで、設定したファイル名をMFP連携サービス120へ送信し、学習処理(S518~S519)を実行する。このタイミングで、以降説明を行う類似帳票再判定処理も実行される。送信が完了するとスキャン済み帳票一覧画面600に戻る。また、学習済み帳票を選択してファイル名設定画面を表示した場合は、学習結果に基づいて設定されたファイル名、ファイル名に使用している文字領域を表示した状態で画面を表示する。これにより、学習結果に基づいてどこの文字領域を使用してファイル名を設定したか確認することが可能となる。
[画像解析処理]
図7は、本システムにおける画像処理部432が行う画像解析処理の詳細を示すフローチャートである。本フローは図5におけるS507~S510に相当する。
はじめにS701において、入力画像の文字領域を解析し、帳票内の文字領域群を取得する。
続くS702において、類似帳票判定を行う。これらのステップは図5で説明を行ったため詳細な説明は省略する。
S703で、類似帳票があったか否かを判断する。類似帳票が見つかった場合(S703でYes)、S704に進み、そうでない場合は(S703でNo)、S708に進む。
S704では、見つかった類似帳票に登録されている文字領域に対応する対象帳票の文字領域を取得する。
そしてS705において、S704で取得した対応する文字領域に対して文字認識処理(OCR)を実施し、文字列を抽出する。この処理により、対象帳票においてユーザーが所望すると思われるファイル名を、類似帳票のファイル名設定ルールに基づいて提示することができる。
その後S706において、解析結果を学習済み帳票の保存領域に追加する。
最後にS707で”学習済み帳票”としてリクエスト制御部431に通知し本フローを終了する。
一方、S703で類似する帳票が見つからなかった場合、S708では帳票の全文字領域に対して文字認識処理を実施し、文字列を抽出する。ここで全文字領域に対して文字認識処理を行うのは、類似帳票が存在しないと判定され、ファイル名設定に使用すると思われる領域が不明なためである。
その後S709において、解析結果を未学習帳票の保存領域に追加する。
最後にS710で”未学習帳票”として通知し本フローを終了する。
(画像解析結果のデータ構造)
図8は本システムにおける画像処理部が行う解析結果保存処理で保存するデータ構造の一例を示す図である。なお本データは図7のS706、S709において保存される。
はじめに図8(a)は解析結果のデータ構造の概要の一例を示す図である。ここでは大きく3つの保存領域が存在しており、S509の類似帳票判定処理結果に基づいて分類されている。具体的には、類似帳票が存在しないと判定された帳票群は同一の保存領域に保存され、類似帳票が存在すると判定された場合は、最も類似する帳票毎に同一の保存領域に保存される。
次に図8(b)は解析結果のデータ構造の詳細の一例を示す図である。解析結果には図7のS704で解析した文字領域情報及びS705又はS708で抽出した文字列情報を含んでいる。ルートの”formList”は帳票のリストを表し、複数の帳票に関する解析結果が図8(a)で説明した単位で配列として格納される。各帳票は”formID”、”imageWidth”、”imageHeight”、”checked”、“regions”を持つ。
”formID”は帳票に付与される本システムで一意となる識別子である。
”imageWidth”は、解析した画像のX方向(横方向)のピクセル数を示す。
”imageHeight”は、解析した画像のY方向(縦方向)のピクセル数を示す。
”checked”は、その帳票がユーザーによって確認済みであることを示す。
”regions”は解析した画像から解析された文字領域の座標情報と文字情報の配列が含まれる。次に”regions”内の情報について説明する。”rect”には抽出した文字領域一つの座標を示す。”x”は領域の左上のX座標、”y”は領域の左上のY座標、”width”は領域のX方向のピクセル数、”height”は領域のY方向のピクセル数を示す。”text”は”rect”の文字領域をOCRして文字認識を行った結果、抽出された文字列を示す。この”rect”と”text”の情報が解析したスキャン画像内の全文字領域分含まれる。
(自動送信先設定画面)
図9は設定画面である。図6Aの設定ボタン618を押下すると、図9の設定画面900を表示し、図6Aの画面を用いて手動送信せずに、自動で学習結果に基づいてファイル名を付けてスキャン文書画像を送信するか設定する。自動送信設定901はチェックボックス902を選択することで有効・無効を設定することができる。自動送信設定の対象のユーザー/グループ設定903では、テキストボックス904にユーザー名・グループ名を入力し、[追加]ボタン905を選択して追加する。追加されたユーザー・グループは[削除]ボタン906を選択することで設定削除することができる。また、自動送信設定のチェックボックスがONでユーザー・グループが何も設定されていない場合に全てのユーザーが自動送信可能である状態としてもよい。設定完了後、[保存]ボタン907を押下することで保持される。設定完了後に[戻る]ボタン908を押下すると図6Aの画面に戻る。
[自動送信処理]
次に、図5のS523~S526の自動送信処理について、図10~図11を用いて詳細に説明を行う。本処理は、MFP連携サービス120のリクエスト制御部431又は画像処理部432が行う。
S1001で、リクエスト制御部431は自動送信設定が有効か確認し、有効である場合に学習済み帳票が存在するか確認し、存在する場合は(S1001でYes)、S1002に進み、そうでない場合は(S1001でNo)、S1006に進む。
S1002で、画像処理部432はMFP連携サービスに登録されたスキャン設定からクラウドストレージ130に送信するファイルフォーマットの情報を取得し、その設定に基づいてスキャン文書画像からファイルを生成する。また、スキャン文書画像のファイルに設定するファイル名等のメタデータ情報を生成する。
S1003で、送信先のクラウドストレージサービスがプレビュー画像を合わせて送信可能なシステムかどうかを確認する。ここでは例えばスキャン文書画像の他に合わせて別の画像も送信可能かどうかや、スキャン文書画像のプレビュー画像として別の画像を送信可能かどうか確認する。送信可能であれば(S1003でYes)、S1004に進み、そうでない場合は(S1003でNo)、S1006に進む。
S1004で、画像処理部432は学習結果に基づくプレビュー画像の作成を行う。具体的には、図6Bのように、プレビュー画像に選択した文字領域の色付けや網掛けなどの文字装飾を施した状態のプレビュー画像を生成する。また、その際、文字領域の違いが分かるように文字領域ごとに異なる色や異なる網掛けなどの文字装飾を施すことが可能である。
S1005で、画像処理部432はS1004で生成したプレビュー画像の文字領域に使用した色や網掛けの文字装飾を使用してメタデータを生成する。具体的には、図6Bのように「見積書」、「下丸子株式会社」の文字領域それぞれに使用した色・網掛けをファイル名領域611の対応する文字列に反映されるようにファイル名のメタデータを生成する。メタデータの形式は対応するクラウドストレージサービスに合わせてXML形式、JSON形式など色付け・網掛けなどの文字装飾を反映可能な形式で対応する。
S1006で、リクエスト制御部431はS1002で生成したスキャン文書画像ファイルとS1004で生成したプレビュー画像、S1005で生成したファイル名の色・網掛けなどの情報を反映したメタデータを、クラウドストレージ130に送信する。S1004、S1005で生成したプレビュー画像とメタデータが存在しなければ、手動送信時と同様にスキャン文書画像ファイルと付与したファイル名のみを送信する。
(クラウドストレージサービスによる表示画面)
具体的には図11を用いて説明する。図11はクラウドストレージサービスに送信後の結果を表示したクラウドストレージの表示画面で、1つの帳票をスキャンした時の結果を基に以下で詳細を説明する。
表示画面1100では、メタデータ表示領域1101とプレビュー表示が可能なファイル領域1102が存在するクラウドストレージサービスの場合の例である。メタデータ表示領域とは例えば、テキストメッセージやファイルプロパティなどを表示する領域である。MFP連携サービス120は、ファイル名に使用した「見積書」、「下丸子株式会社」の部分に色付け・網掛け(どちらか一方でもよい)を行ったプレビュー画像1104を作成し、スキャン文書画像ファイル1105と合わせて送信する。その際、プレビュー画像に色付け・網掛けを行ったのと同様にファイル名「見積書_下丸子株式会社」の対応する文字列に色付け・網掛けを行ったメタデータを生成する。そして、このメタデータも合わせてクラウドストレージサービスに送信する。これにより、メタデータ表示領域1101に色付け・網掛けが反映されたファイル名1103が表示される。これらメタデータ表示領域のファイル名1103とファイル領域のプレビュー画像1104を確認することで、帳票のどの文字領域がファイル名に使用されたか、登録されたスキャン画像ファイルを開いて探すことなく確認が可能となる。また、メタデータ表示領域で色付け・網掛けなどの文字装飾を施せないクラウドサービスの場合は、ファイル名1103と同じ表示の画像を生成し、プレビュー画像1104、スキャン文書画像ファイル1105と合わせて送信してもよい。また、スキャン文書画像ファイル1105のファイル名に直接色付け・網掛けが可能なクラウドサービスの場合、メタデータ表示領域1101ではなく、スキャン文書画像ファイル1105のファイル名に直接反映してもよい。本実施例では自動送信のみで学習結果に基づいたプレビュー画像とメタデータの生成と送信を行っているが、手動送信時にも生成して送信するようにしてもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
110 MFP
111 クライアントPC
120 MFP連携サービス
421 表示制御部
431 リクエスト制御部
432 画像処理部
434 データ管理部

Claims (8)

  1. 情報処理装置であって、
    スキャン文書画像の文字領域を文字認識処理することにより抽出した1又は複数の文字列の情報を含むデータと、前記スキャン文書のプレビュー画像と、を生成する生成手段と、
    前記プレビュー画像、前記データ及びスキャン文書画像のファイルを合わせて送信する送信手段を有し、
    前記生成手段は、前記データに含まれる各文字列の情報と、前記各文字列の情報に対応する前記プレビュー画像の前記文字領域の組み合わせごとに、同じ文字装飾を施すことを特徴とする情報処理装置。
  2. 前記文字装飾は、網掛け及び/又は色付けである
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記データに含まれる各文字列の情報は、スキャン文書画像のファイルのファイル名に対応するである
    ことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記データの形式は、XML形式又はJSON形式である
    ことを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。
  5. 前記データは、画像データの形式である
    ことを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。
  6. 情報処理装置の制御方法であって、
    スキャン文書画像の文字領域を文字認識処理することにより抽出した1又は複数の文字列の情報を含むデータと、前記スキャン文書のプレビュー画像と、を生成する生成工程と、
    前記プレビュー画像、前記データ及びスキャン文書画像のファイルを合わせて送信する送信工程を有し、
    前記生成工程は、前記データに含まれる各文字列の情報と、前記各文字列の情報に対応する前記プレビュー画像の前記文字領域の組み合わせごとに、同じ文字装飾を施すことを特徴とする情報処理装置の制御方法。
  7. 請求項6に記載の情報処理装置の制御方法を、コンピュータに実行させるためのプログラム。
  8. ネットワークで接続された文書をスキャンする画像処理装置、記憶装置及び請求項1~5のいずれか1項に記載の情報処理装置よりなる画像処理システムであって、
    前記画像処理装置は、スキャン文書画像を前記情報処理装置に送信し、
    前記情報処理装置は、前記プレビュー画像、前記データ及びスキャン文書画像のファイルを合わせて前記記憶装置に送信し、
    前記記憶装置は、受信した前記プレビュー画像、前記データ及びスキャン文書画像のファイルを保存する
    ことを特徴とする画像処理システム。
JP2021185482A 2021-11-15 2021-11-15 情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システム Pending JP2023072812A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021185482A JP2023072812A (ja) 2021-11-15 2021-11-15 情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システム
US17/981,307 US20230156138A1 (en) 2021-11-15 2022-11-04 Information processing apparatus, method of controlling information processing apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021185482A JP2023072812A (ja) 2021-11-15 2021-11-15 情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システム

Publications (1)

Publication Number Publication Date
JP2023072812A true JP2023072812A (ja) 2023-05-25

Family

ID=86323260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021185482A Pending JP2023072812A (ja) 2021-11-15 2021-11-15 情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システム

Country Status (2)

Country Link
US (1) US20230156138A1 (ja)
JP (1) JP2023072812A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023167871A (ja) * 2022-05-13 2023-11-24 キヤノン株式会社 画像処理装置、情報処理装置、画像処理システム、画像処理方法、情報処理方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393234B2 (en) * 2020-01-21 2022-07-19 Canon Kabushiki Kaisha Image processing system for computerizing document, control method thereof, and storage medium
JP7434001B2 (ja) * 2020-03-13 2024-02-20 キヤノン株式会社 情報処理装置、プログラム、情報処理方法

Also Published As

Publication number Publication date
US20230156138A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
JP7391672B2 (ja) 文書を電子化するための画像処理システム、その制御方法及びプログラム
JP2021163178A (ja) 情報処理装置
JP2009020822A (ja) ファイル送信装置、方法、プログラム、並びに、ファイル版数管理システム
US11765292B2 (en) Information processing apparatus used for converting image to file, image processing system, method of controlling information processing apparatus, and storage medium
JP2010056770A (ja) 文書管理システム、画像形成装置、サーバ、文書管理方法、及びプログラム
JP2020178283A (ja) タッチパネルを用いた文字入力のための画像処理装置、その制御方法及びプログラム
JP2023072812A (ja) 情報処理装置、情報処理装置の制御方法、そのプログラム及び画像処理システム
JP2017135497A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US11991331B2 (en) Server, method of controlling the server, and storage medium
US11800032B2 (en) Apparatus, information processing method, and storage medium
JP7542980B2 (ja) 画像処理システム、画像処理方法及びプログラム
US11620840B2 (en) Image processing apparatus for extracting a desired character string from a scanned image
JP2020178280A (ja) スキャン画像にプロパティを設定するための画像処理装置、その制御方法及びプログラム
JP2021190834A (ja) 情報処理装置、その処理方法、およびプログラム
JP7520563B2 (ja) 文書を電子化するための画像処理システム、その制御方法及びプログラム
JP2022069405A (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法及びプログラム
JP2024032563A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP7358663B2 (ja) タッチパネルを用いた文字入力のための画像処理装置、その制御方法及びプログラム
JP7387282B2 (ja) スキャン画像のプレビュー表示を行なう画像処理装置、その制御方法及びプログラム
JP2023071227A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2011015104A (ja) 画像形成装置とその処理方法およびプログラム
JP2024040612A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2009272990A (ja) ワークフロー実行制御方法、画像処理装置、およびコンピュータプログラム
JP2022083074A (ja) 情報処理システム
JP2024072113A (ja) 情報処理装置、情報処理装置の処理方法およびプログラム