JP2023071227A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】チャットサービスに対して加筆修正した帳票画像を加筆修正前の帳票が投稿されているスレッドへ自動で投稿することができない。【解決手段】スレッドで管理するチャットサービスに画像及び情報を含むメッセージを投稿する情報処理装置であって、画像を識別するための情報を該画像を解析することにより生成する生成手段と、前記サービスに投稿されたメッセージを取得する取得手段と、前記取得したメッセージに前記生成された画像を識別するための情報が含まれているか判断する判断手段と、前記判断手段が前記生成された画像を識別するための情報が含まれているメッセージを検出した場合、前記画像及び画像を識別するための情報を含むメッセージを前記チャットサービスの前記検出されたメッセージが含まれるスレッドに送信する送信手段とを有することを特徴とする。【選択図】図５

Description

本発明は、ビジネスチャット等のクラウドサービスに文書データを送信する技術に関する。

従来、ＭＦＰ（Multifunction Peripheral）等の情報処理装置において、文書をスキャンして得られた画像データをファイル化し、ネットワーク上のクラウドサービスに送信するシステムがある。また、スキャンした画像の情報を基に送信先や格納先を振り分ける方法がある。特許文献１には、チャット機能を有するサービスに対してスキャン画像からキーワードを抽出し、送信先を自動的に判断しスキャン画像を含んだメッセージを送信する技術が開示されている。

特開2014-241111号公報

また、話題ごとにスレッドを分けて投稿することができる機能を有するチャットサービスが存在する。これを利用し確認が必要な帳票に対して帳票ごとにスレッドを分け、他の人に帳票の確認依頼を行い修正点があった場合、修正後再度同一スレッドにアップロードするケースがある。また帳票の承認依頼を承認依頼者がスレッド上で行い、承認者が承認印や署名を追記後、元のスレッドにアップロードするケースもある。これらのケースにおいて、複数の帳票のスレッドがチャット内に存在するとき、利用者は以前投稿したスレッドを探し加筆修正した帳票をアップロードしなければならない。
上記特許文献１の技術は、スキャン画像から名詞等をキーワードとして抽出し、送信対象に対して過去に投稿したテキストメッセージから前記キーワードを検索し、類似度を計算することで送信先を決定している。このため、スレッドの送信先の決定に用いるには、１つ１つのスレッドが事前に十分なメッセージ数の投稿がされていないと類似度を計算することができず、正しいスレッドに送信することはできない。しかし帳票の確認依頼や承認依頼のスレッドは、依頼するメッセージや修正点を述べたメッセージのみの短いスレッドになることが多くみられる。
そこで、本発明は、チャットサービスに対して送信された帳票画像を加筆修正した画像が同一スレッドで管理されるように、修正した帳票画像の送信先スレッドを自動で決定する仕組みを提供することを目的とする。

本発明は、スレッドで管理するチャットサービスに画像及び情報を含むメッセージを投稿する情報処理装置であって、画像を識別するための情報を該画像を解析することにより生成する生成手段と、前記サービスに投稿されたメッセージを取得する取得手段と、前記取得したメッセージに前記生成された画像を識別するための情報が含まれているか判断する判断手段と、前記判断手段が前記生成された画像を識別するための情報が含まれているメッセージを検出した場合、前記画像及び画像を識別するための情報を含むメッセージを前記チャットサービスの前記検出されたメッセージが含まれるスレッドに送信する送信手段とを有することを特徴とする。

本発明によれば、加筆修正した帳票画像を加筆修正前の帳票が投稿されているスレッドへ自動で決定する仕組みが提供可能となる。

本システムの全体構成を示す図。 ＭＦＰのハードウェア構成図。 クライアントＰＣ及びＭＦＰ連携サービスのハードウェア構成図。 本システムのソフトウェア構成図。 各機器間の処理の流れを示すシーケンス図。 ＭＦＰ又はクライアントＰＣが表示する画面の例を示す図。 ＭＦＰ又はクライアントＰＣが表示する画面の例を示す図。 画像処理部が行う画像解析処理のフローチャート。 解析結果保存処理で保存するデータ構造の一例を示す図。 チャットサービスのメッセージを表示する画面の例を示す図。 送信先判断部が行う送信先スレッドの判断処理のフローチャート。 チャットサービスのメッセージを表示する画面の例を示す図。 チャットサービスのメッセージを表示する画面の例を示す図。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

(第１実施形態)
[システム構成]
図１は、本システムの全体構成を示す図である。情報処理システムは、ＭＦＰ（Multifunction Peripheral）110、クライアントＰＣ111、ＭＦＰ連携サービス120およびチャットサービス130を含む。ＭＦＰ110及びクライアントＰＣ111は、ＬＡＮ（Local Area Network）経由でインターネット上の各種サービスを提供する各種装置に対して通信可能に接続されている。
ＭＦＰ110は、スキャナやプリンタといった複数の機能を有する複合機であり、画像処理装置の一例である。
クライアントＰＣ111は、インターネットを介してクラウドサービスの提供を受けることが可能な、デスクトップ端末やモバイル端末等の情報処理装置である。
ＭＦＰ連携サービス120は、ＭＦＰ110から受け取ったスキャン画像に対し画像解析を行ったり、別のサービスに対しＭＦＰ110からのリクエストを転送したりする機能を持つサービスの一例である。
チャットサービス130は、インターネットを介して、コミュニティ間でメッセージを送受信することができ情報共有を行うことができるコミュニケーションツールを提供する。またメッセージにはファイルを添付することができ、一連のメッセージをスレッドとして管理する。
本実施形態の情報処理システムは、ＭＦＰ110、クライアントＰＣ111、ＭＦＰ連携サービス120及びチャットサービス130からなる構成としているがこれに限定されない。例えば、ＭＦＰ110がクライアントＰＣ111やＭＦＰ連携サービス120の役割を兼ね備えてもよい。また、ＭＦＰ連携サービス120はインターネット上ではなくＬＡＮ上に配置されていてもよい。

[ＭＦＰのハードウェア構成]
図２は、ＭＦＰ110のハードウェア構成図である。ＭＦＰ110は、制御部210、操作部220、プリンタ部221、スキャナ部222、モデム223で構成される。
制御部210は、以下の各部211～219で構成され、ＭＦＰ110全体の動作を制御する。
ＣＰＵ211は、ＲＯＭ212に記憶された制御プログラムを読み出して、読取／印刷／通信などＭＦＰ110が有する各種機能を実行・制御する。
ＲＡＭ213は、ＣＰＵ211の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施例では１つのＣＰＵ211が１つのメモリ（ＲＡＭ213又はＨＤＤ214）を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のＣＰＵや複数のＲＡＭ又はＨＤＤを協働させて各処理を実行してもよい。
ＨＤＤ214は、画像データや各種プログラムを記憶する大容量記憶部である。
操作部Ｉ/Ｆ215は、操作部220と制御部210とを接続するインタフェースである。
操作部220には、タッチパネルやキーボードなどが備えられており、ユーザによる操作／入力／指示を受け付ける。
プリンタＩ/Ｆ216は、プリンタ部221と制御部210とを接続するインタフェースである。印刷用の画像データはプリンタＩ/Ｆ216を介して制御部210からプリンタ部221へ転送され、記録媒体上に印刷される。
スキャナＩ/Ｆ217は、スキャナ部222と制御部210とを接続するインタフェースである。
スキャナ部222は、不図示の原稿台やＡＤＦ（Auto Document Feeder）にセットされた原稿を読み取ってスキャン画像データを生成し、スキャナＩ/Ｆ217を介して制御部210に入力する。ＭＦＰ110は、スキャナ部222で生成された画像データをプリンタ部221から印刷出力（コピー）する他、ファイル送信又はメール送信することができる。
モデムＩ/Ｆ218は、モデム223と制御部210とを接続するインタフェースである。
モデム223は、ＰＳＴＮ上のファクシミリ装置との間で画像データをファクシミリ通信する。
ネットワークＩ/Ｆ219は、制御部210（ＭＦＰ110）をＬＡＮに接続するインタフェースである。ＭＦＰ110は、ネットワークＩ/Ｆ219を用いて、インターネット上の各サービスに画像データや情報を送信したり、各種情報を受信したりする。
以上説明したＭＦＰ110のハードウェア構成は一例であり、必要に応じてその他の構成を備えるものであってもよいし、一部の構成を有していなくてもよい。

[クライアントＰＣ、ＭＦＰ連携サービスのハードウェア構成]
図３は、クライアントＰＣ111及びＭＦＰ連携サービス120のハードウェア構成図である。クライアントＰＣ111及びＭＦＰ連携サービス120は、ＣＰＵ311、ＲＯＭ312、ＲＡＭ313、ＨＤＤ314及びネットワークＩ/Ｆ315で構成される。
ＣＰＵ311は、ＲＯＭ312に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。
ＲＡＭ313は、ＣＰＵ311の主メモリ、ワークエリア等の一時記憶領域として用いられる。
ＨＤＤ314は、画像データや各種プログラムを記憶する大容量記憶部である。
ネットワークＩ/Ｆ315は、クライアントＰＣ111又はＭＦＰ連携サービス120をインターネットに接続するインタフェースである。
ＭＦＰ連携サービス120およびチャットサービス130は、ネットワークＩ/Ｆ315を介して他の装置（ＭＦＰ110など）から処理リスエストを受けて各種情報を送受信する。

[情報処理システムのソフトウェア構成]
図４は、本実施形態に係る情報処理システムのソフトウェア構成図である。
（ＭＦＰ）
ＭＦＰ110は、ネイティブ機能部410と追加機能部420の大きく２つに分けられる。ネイティブ機能部410に含まれる各部はＭＦＰ110に標準的に備えられたものであるのに対し、追加機能部420はＭＦＰ110に追加インストールされたアプリケーションである。追加機能部420はJava（登録商標）をベースとしたアプリケーションであり、ＭＦＰ110への機能追加を容易に実現できる。なお、ＭＦＰ110には図示しない他の追加アプリケーションがインストールされていてもよい。
ネイティブ機能部410は、スキャン実行部411及び画像データ保存部412を有する。また、追加機能部420は、表示制御部421、スキャン指示部422、連携サービスリクエスト部423を有する。
表示制御部421は、ＭＦＰ110の操作部220のタッチパネル機能を有する液晶表示部に、ユーザによる操作を受け付けるためのＵＩ画面を表示する。例えば、ＭＦＰ連携サービス120へアクセスするための認証情報の入力、スキャン設定、ならびに、スキャン開始の操作、プレビュー画面などのＵＩ画面を表示する。
スキャン指示部422は、ＵＩ画面を介して入力されたユーザ指示に応じたスキャン設定と共にスキャン実行部411にスキャン処理を要求する。
スキャン実行部411は、スキャン指示部422からのスキャン設定を含んだスキャン要求を受け取る。スキャン実行部411は、スキャン要求に従い、スキャナＩ/Ｆ217を介してスキャナ部222で、原稿台ガラスに置かれた原稿を読み取ることでスキャン画像データを生成する。生成したスキャン画像データは、画像データ保存部412に送られる。スキャン実行部411は、保存したスキャン画像データを一意に示すスキャン画像識別子をスキャン指示部422へ送る。スキャン画像識別子はＭＦＰ110においてスキャンした画像をユニークに識別するための番号や記号、アルファベットなどである（不図示）。
画像データ保存部412は、スキャン実行部411から受け取ったスキャン画像データをＨＤＤ214に保存する。

スキャン指示部422は、スキャン実行部411から受け取ったスキャン画像識別子に対応するスキャン画像データを画像データ保存部412から取得する。スキャン指示部422は、取得したスキャン画像データにＭＦＰ連携サービス120で処理を行う指示を連携サービスリクエスト部423に要求する。
連携サービスリクエスト部423は、ＭＦＰ連携サービス120に対して各種処理の要求を行う。例えば、ログイン、スキャン画像の解析、スキャン画像の送信などの要求を行う。ＭＦＰ連携サービス120とのやり取りはＲＥＳＴやＳＯＡＰなどのプロトコルを使用するが、その他の通信手段を用いてもよい。
（ＭＦＰ連携サービス）
ＭＦＰ連携サービス120は、リクエスト制御部431、画像処理部432、送信先判断部433、チャットサービスアクセス部434、データ管理部435、表示制御部436を有する。
リクエスト制御部431は、外部装置からの要求を受信できる状態で待機している。処理要求を受けると要求に応じて適宜、画像処理部432、送信先判断部433、チャットサービスアクセス部434、データ管理部435に処理を指示する。
画像処理部432は、画像に対して文字領域解析、解析した文字領域に対する文字認識処理（以下「ＯＣＲ（Optical Character Recognition）処理」という。）、類似帳票判定（後述の図５のＳ507、Ｓ508、Ｓ509の処理で説明する。）、画像の回転や傾き補正などの画像に対する認識処理や画像の加工処理を行う。
送信先判断部433は、チャット内のどのスレッドに送信するか、又は新規スレッドを作成し送信先判定（後述の図５のＳ520）を行う。
チャットサービスアクセス部434は、チャットサービスに対する処理の要求を行う。チャットサービスは一般的にＲＥＳＴやＳＯＡＰなどのプロトコルで、チャットサービスにメッセージを送信したり、投稿されているメッセージの情報を取得したりするための様々なインタフェースを公開している。チャットサービスアクセス部434は、公開されたチャットサービスのインタフェースを使用してチャットサービスの操作を行う。
データ管理部435は、ＭＦＰ連携サービス120で管理するユーザ情報や各種設定データ等を保持・管理する。
表示制御部436は、インターネット経由で接続されたＰＣやモバイル等の別端末（不図示）上で動作しているウェブブラウザからのリクエストを受けて画面表示に必要な画面構成情報（ＨＴＭＬ、ＣＳＳ等）を返す。ユーザは、ウェブブラウザで表示される画面経由でＭＦＰ連携サービス120に登録しているユーザ情報を確認したり、スキャンする際の設定を変更したりする。

[全体の処理の流れ]
図５は、ＭＦＰ110でスキャンした画像をファイル化してチャットサービスに送信する際の各装置間の処理の流れを示すシーケンス図である。ここでは、各装置間のやり取りを中心に説明する。なお、図５ではＭＦＰ110がＭＦＰ連携サービス120とやり取りを行う記載としているが、後述する解析結果取得、画面の表示、学習の指示等はＭＦＰ110でなくクライアントＰＣ111が実行する構成でも構わない。
ＭＦＰ110は、通常の状態では提供する各機能を実施するためのボタンを並べたメイン画面をタッチパネル上に表示する。
ＭＦＰ110にスキャン帳票をチャットサービスに送信するための追加アプリケーション（以下「スキャンアプリ」という。）をインストールすることで、アプリケーションの機能を使用するボタンがＭＦＰ110のメイン画面（不図示）に表示される。このボタンを押すとスキャンした帳票をチャットサービスに送信するための画面が表示され、図５のシーケンスで示す処理が行われる。
（ログイン）
Ｓ501においてスキャンアプリは、ＭＦＰ連携サービス120にアクセスするための認証情報を入力するログイン画面を表示する。
Ｓ502で、スキャンアプリは、入力された認証情報をＭＦＰ連携サービス120のリクエスト制御部431に送信する。
Ｓ503においてＭＦＰ連携サービス120のリクエスト制御部431は、ログイン要求に含まれるユーザ名とパスワードが正しいか検証し、正しければアクセストークンをＭＦＰ110に返す。以降のＭＦＰ110からＭＦＰ連携サービス120に対して行う各種リクエストにはこのアクセストークンと共に要求が出され、この情報により処理対象のユーザを特定することができる。ユーザ認証の方法は一般的に公知な手法（Basic認証、Digest認証、OAuthを用いた認可等）を用いて行う。
(スキャン処理)
ログイン処理が完了したら、Ｓ504でＭＦＰ110は、スキャン設定画面を表示する。各種スキャンの読み込みに関する設定を行い、原稿台ガラス又はＡＤＦにスキャンする対象の紙帳票を置き、[スキャン開始]ボタンを押すとＳ505でスキャンを実行して紙帳票を電子化した画像データを生成する。
（画像解析処理）
続いて、Ｓ506でスキャン処理により生成した画像とともにスキャン画像の解析要求をＭＦＰ連携サービス120に送信する。
ＭＦＰ連携サービス120のリクエスト制御部431は、スキャン画像の解析要求を受信するとＳ507において、ＭＦＰ連携サービス120の画像処理部432に画像解析を依頼する。その後、ＭＦＰ連携サービス120のリクエスト制御部431は、画像解析処理の終了を待たずに、ＭＦＰ連携サービス120に依頼した解析を一意に示す識別子である”processId”をＭＦＰ110に返す。
ＭＦＰ連携サービス120の画像処理部432は、要求受信後、画像解析処理を行う。
まずＳ508で画像内に存在する文字領域の解析を行う。
続いて、Ｓ509で帳票内の文字領域の配置情報を利用して、過去にスキャンした画像の文字領域の配置情報と今回スキャンした画像の文字領域の配置情報を比較し、類似した文字領域の配置を持つ画像かどうかを判定する。この処理を類似帳票判定という。この判定で使用する過去のスキャン画像の情報は後述するＳ517の処理により保存、蓄積されたものである。
その後Ｓ510で判定結果に基づいて、解析した領域に対してＯＣＲ処理を行う。なお508～Ｓ510の画像解析処理の詳細については図７のフローチャートを用いて後述する。

ＭＦＰ110は、Ｓ511でＳ506のレスポンスで受け取った”processId”を使用してＭＦＰ連携サービス120に定期的（例えば数百ミリ秒から数ミリ秒程度毎など）に”processId”の画像解析処理状況の確認を行う。図５では省略するが、Ｓ511の処理はＭＦＰ連携サービス120の画像処理完了のレスポンスが取得できるまで（Ｓ512のタイミングまで）継続して行う。ＭＦＰ連携サービス120は、Ｓ511の処理状況確認の要求を受けると”processId”の処理の状況を確認し、レスポンスを返す。
レスポンスには、”status”に現在の処理状況を示す文字列が格納される。例えば”status”が”processing”の時は、ＭＦＰ連携サービス120で処理が行われている最中であることを示し、”completed”の時は処理が完了している状態であることを示す。なお、処理が失敗した場合に”failed”など、この他のステータスが返ることもある。また処理完了時（”status”が”completed”の場合）のレスポンスは、ステータスと共にスキャン画像を解析した結果やスキャン設定等の情報を含む。
Ｓ512においてＭＦＰ110は画像解析処理の完了を検知する。
続くＳ513でレスポンスに含まれる結果情報が格納されたＵＲＬから結果情報を取得する。
（学習データ処理）
Ｓ514においてＳ513で取得した結果情報を使用して帳票の画像を識別するための情報（以下「ユニーク情報」という。）を設定するためのメッセージ設定画面を表示する。ユニーク情報の一例としては、帳票に記載されている通し管理番号や、帳票のタイトルと宛先の会社名などの複数情報の組み合わせで帳票を特定できる情報である。
図６(b)は、ＭＦＰ110で表示するメッセージ設定画面610の一例を示したものである。メッセージ設定画面の詳細については後述する。
メッセージ設定画面610でメッセージテキスト616とユニーク情報611を設定し、[ＯＫ]ボタン621が押されるとＳ515に進む。
Ｓ515で、ＭＦＰ110は、画像を識別するためのユニーク情報を抽出、生成するための学習を依頼するためにユニーク情報を設定するために使用した文字領域の情報をＭＦＰ連携サービス120に送信する。
学習のリクエストを受信したＭＦＰ連携サービス120のリクエスト制御部431は、Ｓ516で画像処理部432に帳票学習を依頼する。
Ｓ517で、画像処理部432は画像全体の文字領域の情報とＳ515で受け取った、ユーザがユニーク情報に使用した文字領域の入力情報を保存する。
（チャットサービスへの投稿処理）
Ｓ518で、ＭＦＰ110はスキャン画像とユニーク情報、テキストメッセージ等の情報をＭＦＰ連携サービス120に送信する。ＭＦＰ連携サービス120のリクエスト制御部431はリクエストを受信するとリクエストを正常に受けたことをＭＦＰ110に返す。
ＭＦＰ110は送信のレスポンスを受けると処理を終了し、Ｓ504のスキャン設定画面表示に戻る。
ＭＦＰ連携サービス120のリクエスト制御部431は、Ｓ519でチャットサービス130に対し投稿されているメッセージの一覧を取得するリクエストを送信する。その後チャットサービス130はリクエストを受信すると、リクエストに応じてメッセージ情報をＭＦＰ連携サービス120に返す。リクエストには投稿日が何日前までのメッセージを取得対象にするか期間を指定するようにしてもよい。さらにまた、複数回にわたりメッセージの投稿が行われることもあるため最終の投稿日を基準に取得対象の期間を決定する、さらには、相手方からの返信の有無に応じて、取得対象の期間を変更してもよい。
Ｓ520で、ＭＦＰ連携サービス120のリクエスト制御部431は、送信先判断部433にＳ519で取得したチャットのメッセージ群とＳ518で受信したユニーク情報を渡し、送信先スレッドの判定を依頼する。送信先判断部433は、取得したメッセージ群の中にＳ518で受信したユニーク情報を含んだメッセージが存在するか判定し送信先のスレッドを決定し、リクエスト制御部431に返信する。送信先判定処理の詳細は図１０のフローチャートともに後述する。
Ｓ521で、ＭＦＰ連携サービス120のリクエスト制御部431は、ＭＦＰ連携サービス120に登録されたスキャン設定からチャットサービス130に送信するファイルフォーマットの情報を取得し、それに基づいてスキャン画像からファイルを生成する。
続くＳ522で、Ｓ521で生成したファイルとＳ518で受信したテキストメッセージを含んだメッセージをチャットサービス130の先に受信した送信先のスレッドに送信する。なお、送信先のスレッドがあったとしても、送信先判断部433で判断されたスレッドに送信するか、新規のスレッドに送信するかをユーザに選択可能に問い合わせるようにしてもよい。図１１はメッセージ送信後にチャットサービス130がウェブブラウザ又はアプリケーション上に表示する受信後チャット画面の一例である。受信後チャット画面の詳細については後述する。
なお以上の実施形態では、Ｓ505、Ｓ506においてスキャンした画像をチャットサービス130に送信する処理について説明した。スキャンした画像に替えて、ＭＦＰ110又はクライアントＰＣ111内に保存されている画像ファイルをＭＦＰ連携サービス120に送信し、同様にＳ507～Ｓ522の処理を行うことでチャットサービス130に画像ファイルを送信するようにしてもよい。

＜帳票一覧画面＞
図６Ａ，ＢはＭＦＰ110又はクライアントＰＣ111が表示する画面の一例を示す図である。図６Ａはスキャン済み帳票一覧画面600の一例を示す図である。本画面はスキャン及び画像解析処理が完了した後で、チャットサービス130に送信前の帳票の一覧を表示している。また本画面はスキャン済み帳票一覧601、[送信]ボタン602、[編集]ボタン603、[削除]ボタン604から構成されている。スキャン済み帳票一覧601はスキャン及び画像解析（Ｓ505～Ｓ510）が完了した帳票の一覧を表示する画面である。本画面は帳票名605、送信先606、ステータス607、種類608から構成されている。帳票名605は帳票の名前を一意に識別する識別子である。送信先606はメッセージを送信するチャットサービス130の名前である。ステータス607は帳票に対して類似帳票判定を行った際の結果を示しており、「未学習」又は「学習済」のいずれかが表示される。「未学習」は類似帳票が存在しないと判定されたもので、「学習済」は類似帳票が存在したと判定されたものであることを意味している。種類608は帳票の種類を表している。ステータス607が学習済の帳票に関しては、「請求書ＡＡＡ」や「請求書ＢＢＢ」のように、どの帳票のフォーマットに該当するか詳細な種類が表示される。未学習の場合は「-」で表示される。これは類似帳票判定処理により決定した最も類似する帳票と関連付けられている。
[送信]ボタン602はチャットサービス130に対して帳票を送信するためのボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、[送信]ボタン602を押下することで送信先606に表示されているチャットサービス130に対してスキャン画像とユニーク情報、テキストメッセージの送信を行う。なお送信が正常に完了した場合、その帳票は一覧から削除される。また、[送信]ボタン602を押したときにチャットに含めるテキストメッセージが設定されていない場合、テキストメッセージを入力する画面を表示して設定してもよい。また帳票のフォーマットを示す種類608をユニーク情報の一つとして含めてもよい。
[編集]ボタン603は、後述するメッセージ設定画面610に移動するためのボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、[編集]ボタン603を押下することで選択した帳票のメッセージ設定画面610へと移動する。削除ボタン604は帳票の削除を行うボタンである。スキャン済み帳票一覧601から任意の帳票を選択し、削除ボタン604を押下することで選択した帳票を削除することができる。

＜メッセージ設定画面＞
図６Ｂはメッセージ設定画面610の一例を示す図である。ユニーク情報領域611は、ユーザが設定したユニーク情報を表示する領域である。ユニーク情報領域611にはユニーク情報を入力するユニーク情報フィールド612が表示される。Ｓ509で類似帳票がないと判定され未学習の帳票の場合、プレビュー領域617の文字領域が選択されていない状態となり、ユニーク情報フィールド612は空の状態で表示される。Ｓ509で類似帳票があると判定された場合は、類似帳票で選択した文字領域を用いて、ユニーク情報フィールド612が設定された状態となる。プレビュー領域617は、スキャン画像を表示する。ユニーク情報フィールド612を選択し、プレビュー領域617に表示されている文字領域をマウスでクリック又はタッチパネルをタッチすると、当該文字領域の文字列をユニーク情報フィールド612に追加する。選択した文字列は、選択したことがわかるように選択した文字領域などに線、枠線などの形状や色などを付与して表示してもよい。ユニーク情報追加ボタン613は、設定するユニーク情報の項目を追加する。ユニーク情報削除ボタン614は、設定したユニーク情報の項目を削除する。メッセージ領域615は、チャットに含めるテキストメッセージを表示する領域である。メッセージ領域615にはチャットに含めるテキストメッセージを入力するメッセージフィールド616が表示される。メッセージフィールド616はチャットサービスによって件名、本文など複数メッセージを入力する箇所がある場合など、チャットサービスに応じてメッセージフィールド616をメッセージ領域615内に複数設定してもよい。プレビュー拡大ボタン619は、プレビュー領域617に表示している画像の拡大倍率を大きくする。プレビュー縮小ボタン620は、プレビュー領域617に表示している画像の拡大倍率を小さくする。拡大および縮小時にプレビュー領域の中央の座標が拡大および縮小前と同一となるように表示位置の調整を行う。プレビュー初期表示ボタン618は、スワイプによるプレビュー画像の表示位置の移動やプレビュー拡大ボタンやプレビュー縮小ボタンを押して表示倍率を変更していた場合に、初期状態の倍率と表示位置に戻す。[ＯＫ]ボタン621は、メッセージ設定画面で設定したユニーク情報と共にスキャン画像をＭＦＰ連携サービス120へ送信し、帳票とＯＣＲ処理結果修正の学習処理（Ｓ515～Ｓ517）を実行する。送信が完了するとスキャン済み帳票一覧画面600に戻る。

[画像解析処理]
図７は、本システムにおける画像処理部432が行う画像解析処理の詳細を示すフローチャートである。本フローは図５におけるＳ507のリクエストを受信した後に画像処理部432で実行されるＳ508からＳ510の処理の詳細を示した図である。
はじめにＳ701において、Ｓ505でスキャンした画像の文字領域を解析し、帳票内の文字領域群を取得する。
続くＳ702で、Ｓ701で解析して検出したすべての文字列領域に対して文字認識処理を行う。
Ｓ703では、Ｓ701，Ｓ702で検出した情報を使用して類似帳票判定を行う。類似判定は、文字領域の配置情報を利用して、過去にスキャンした画像の配置情報（学習データ）と今回スキャンした画像の配置情報から比較し類似した文字領域の配置を持つ画像をスキャンしたかどうかを判定する。
Ｓ704において類似する帳票である判定された場合（Ｓ704でYes）、Ｓ705に進み、Ｓ704において類似する帳票がないと判定された場合（Ｓ704でNo）、Ｓ707に進む。
Ｓ705では、見つかった類似帳票に登録されている文字領域に対応する対象帳票の文字領域を取得する。
そしてＳ706において、スキャン画像に対して同様の位置にある文字領域を検知しＯＣＲ処理を行って、その領域の文字列から解析結果情報を生成する。この処理により、対象帳票においてユーザが所望すると思われる画像を識別するためのユニーク情報を、類似帳票のユニーク情報の取得ルールに基づいて抽出、生成する。
一方類似帳票がないと判定された場合、Ｓ707では、スキャン画像の文字領域情報を新しい帳票として保存、登録する。
続くＳ708では、以前にユニーク情報に使用した領域はないのでその部分を除いて未学習であることを示す情報を追加した解析結果情報を生成する。
Ｓ709では、Ｓ706又はＳ708で抽出、生成した解析結果情報をＭＦＰ連携サービス120内のＨＤＤで保存する。

図８は本システムにおける画像処理部が行う解析結果保存処理で保存するデータ構造の一例を示す図である。(a)は類似帳票が見つかった場合のデータの一例を示し、(b)は類似帳票が見つからなかった場合のデータの一例を示す。
”matched”は、解析対象の画像が類似帳票判定により以前にスキャンした画像と類似した帳票が見つかったかどうかを示す値が格納される。類似帳票があった場合は”true”となり、なかった場合は”false”となる。”formID”は、その帳票の種類を一意に示す値が格納される。”formName”は、帳票の種類の名前が格納される。”formName”は、スキャン済み帳票一覧画面の種類608に表示される。”imageWidth”は、解析した画像のＸ方向（横方向）のピクセル数を示す。”imageHeight”は、解析した画像のＹ方向（縦方向）のピクセル数を示す。”regions”は解析した画像から解析された文字領域の座標情報と文字情報の配列が含まれる。次に”regions”内の情報について説明する。”rect”には抽出した文字領域一つの座標を示す。”x”は領域の左上のＸ座標、”y”は領域の左上のＹ座標、”width”は領域のＸ方向のピクセル数、”height”は領域のＹ方向のピクセル数を示す。”text”は”rect”の文字領域をＯＣＲして文字認識を行った結果、抽出された文字列を示す。この”rect”と”text”の情報が解析したスキャン画像内の全文字領域分含まれる。
類似帳票が見つからなかった場合は、”matched”と”formID”のみが格納され、Ｓ515～Ｓ517によって新規フォーマットとして学習することで(a)の形式で格納される。

＜チャット画面＞
図９は、チャットサービス130がウェブブラウザ又はアプリケーション上に表示するチャット画面900の一例を示す図である。チャット画面900はスレッド901によって話題ごとにメッセージを分けて表示することができる。メッセージ902は[送信]ボタン602を押して新規スレッドとして投稿されたメッセージの例である。送信者名903はメッセージを送信した送信者の名前を表示する。送信日時904は送信した日時が表示される。テキストメッセージ905はメッセージフィールド616で設定したテキストメッセージとユニーク情報フィールド612で設定したユニーク情報が表示される。またユニーク情報を後から検出できるようにユニーク情報を識別するための文字列であるユニーク情報識別子906をユニーク情報の前に含める。添付ファイル907はＳ521においてスキャン画像から生成したファイルを添付する。

（送信先スレッドの決定処理）
図１０は、本システムにおける送信先判断部433が行うＳ520における送信先スレッドの決定方法を示すフローチャートである。
初めにＳ1001において、送信先判断部433はスキャン画像から取得したユニーク情報とＳ519によってチャットから取得したメッセージ群を受信する。
Ｓ1002において、受信したチャットのメッセージ群内にスキャン画像と同じユニーク情報の組み合わせを含んだメッセージが存在するか確認を行う。なおメッセージ群からユニーク情報を取得するにはテキストメッセージ905からユニーク情報識別子906を検索し、ユニーク情報識別子906を検出した場合は以降に記載される文字列をユニーク情報として取得する。
Ｓ1002において同じユニーク情報の組み合わせのメッセージがチャット内に存在した場合（Ｓ1002でYes）はＳ1003に進み、チャット内に存在しなかった場合（Ｓ1002でNo）はＳ1004に進む。
Ｓ1003で、同じユニーク情報の組み合わせのメッセージのスレッドを送信先として設定し、処理を終了する。なお同じユニーク情報の組み合わせのメッセージが複数存在した場合は投稿日が新しい方を優先など、優先順位を設定してもよい。
Ｓ1004では、新規スレッドを送信先として設定し、処理を終了する。

＜チャット画面＞
図１１Ａ，Ｂは、Ｓ522においてメッセージを送信後のチャットサービス130がウェブブラウザ又はアプリケーション上に表示するチャット画面の一例を示す図である。
図１１ＡはＳ520において同じユニーク情報を含んだメッセージのスレッドを送信先に設定し、Ｓ522においてメッセージを送信したときのチャット画面1100の一例である。既存メッセージ1101は、本システムを用いて既に投稿されているメッセージの一例である。修正依頼メッセージ1102は他者が既存メッセージ1101に添付されている帳票を確認し、修正依頼を記載しているメッセージの一例である。同一帳票メッセージ1103は、既存メッセージ1101と同じユニーク情報を含むスキャン画像から、図１０で説明した方法で生成したメッセージである。Ｓ1003において同じユニーク情報を含む既存メッセージ1101のスレッドを送信先として設定され、Ｓ522のメッセージ送信処理において設定したスレッドに送信を行っているため、修正を加えた帳票は同じスレッドで管理される。また同一帳票メッセージ1103には、既に同一スレッド内にユニーク情報が含まれているメッセージが存在するため、メッセージにユニーク情報を含めなくてもよい。
図１１ＢはＳ520において新規スレッドを送信先に設定し、Ｓ522においてメッセージを送信したときのチャット画面1110の一例である。既存メッセージ1111は、本システムを用いて既に投稿されているメッセージの一例である。新規帳票メッセージ1112は、既存のメッセージに同じユニーク情報が存在しないスキャン画像から、図９で説明した方法で生成したメッセージである。Ｓ1004において新規スレッドを送信先として設定され、Ｓ522のメッセージ送信処理において新規スレッドを作成し送信を行っている。今後新規帳票メッセージ1112に添付の帳票が修正等されたとき同じスレッド上で管理される。

(その他の実施例)
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路(例えば、ＡＳＩＣ)によっても実現可能である。

110 ＭＦＰ
111 クライアントＰＣ
120 ＭＦＰ連携サービス
421 表示制御部
431 リクエスト制御部
432 画像処理部
433 送信先判断部
435 データ管理部

Claims (12)

1. スレッドで管理するチャットサービスに画像及び情報を含むメッセージを投稿する情報処理装置であって、
   画像を識別するための情報を該画像を解析することにより生成する生成手段と、
   前記サービスに投稿されたメッセージを取得する取得手段と、
   前記取得したメッセージに前記生成された画像を識別するための情報が含まれているか判断する判断手段と、
   前記判断手段が前記生成された画像を識別するための情報が含まれているメッセージを検出した場合、前記画像及び画像を識別するための情報を含むメッセージを前記チャットサービスの前記検出されたメッセージが含まれるスレッドに送信する送信手段とを
   有することを特徴とする情報処理装置。
2. 前記送信手段は、前記判断手段が前記生成された画像を識別するための情報が含まれているメッセージを検出しなかった場合、前記生成された画像を識別するための情報及び画像を含むメッセージを前記チャットサービスの新規スレッドに送信することを有することを特徴とする請求項１に記載の情報処理装置。
3. 前記送信手段は、前記画像を識別するための情報が同一のメッセージが複数存在した場合は投稿日が新しい方のスレッドに送信することを特徴とする
   請求項１又は２に記載の情報処理装置。
4. 前記画像は、スキャンにより読み込まれた画像であることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
5. 過去に解析された画像と比較して類似の画像を判定する判定手段を有し、
   前記生成手段は、前記判定手段が類似の画像と判定した過去にスキャンされた画像の文字領域の配置情報を利用し、該文字領域を文字認識処理することにより画像を識別するための情報を生成することを
   特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
6. スキャンされた画像の文字領域の配置情報を学習する学習手段を有する
   ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
7. 画像をスキャンにより読み込む機能を有することを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記取得手段は、指定された期間に投稿されたメッセージを取得対象とすることを特徴とする請求項１～７のいずれか１項に記載の情報処理装置。
9. 前記指定された期間は、返信の投稿の有無に伴って変更することを特徴とする請求項８に記載の情報処理装置。
10. スキャンにより画像を読み込む画像処理装置と、請求項１～９のいずれか１項に記載の情報処理装置と、スレッドで管理するチャットサービスがネットワークを介して接続されるシステム。
11. スレッドで管理するチャットサービスに画像及び情報を含むメッセージを投稿する情報処理装置の制御方法であって、
    画像を識別するための情報を該画像を解析することにより生成する生成工程と、
    前記サービスに投稿されたメッセージを取得する取得工程と、
    前記取得したメッセージに前記生成された画像を識別するための情報が含まれているか判断する判断工程と、
    前記判断工程において前記生成された画像を識別するための情報が含まれているメッセージを検出した場合、前記画像及び画像を識別するための情報を含むメッセージを前記チャットサービスの前記検出されたメッセージが含まれるスレッドに送信する送信工程とを
    有することを特徴とする情報処理装置の制御方法。
12. 請求項１１に記載の情報処理装置の制御方法を、コンピュータに実行させるためのプログラム。
    
    

Images