JP2016167156A - システム、プログラム及び制御方法 - Google Patents

Abstract

【課題】 本発明は、送信結果の履歴に基づいて、領域の座標を比較し、識別情報を付与することにより、より高速にシステムへ入力を行うことを目的とする。【解決手段】 本発明のシステムは、受信した文書内における文字認識用の複数の領域を作成し、作成された領域の座標と、履歴の領域の座標を比較し、その比較結果と履歴に基づいて、作成された領域の座標に対応する識別情報を決定して、作成された領域に対する文字認識に基づくテキスト情報と決定された識別情報を送信して、送信された識別情報に基づいて特定される、テキスト情報をアプリケーションに入力するためのスクリプトを実行する。【選択図】 図１７

Description

本発明は、システム、プログラム及び制御方法に関する。

従来、受信したＦＡＸを紙で出力するのではなく、イメージとしてＰＣ端末に取り込み、表示することによって、ペーパーレスを実現するシステムがある。特許文献１は、ＦＡＸにより受信された注文票をＰＣ端末で表示し、ＦＡＸに含まれる情報をシステムに入力するＦＡＸ注文票ペーパーレス入力システムに関する技術を開示している。

特開２００９−２０６４２号公報

本明細書ではＦＡＸに含まれる情報をシステムに入力する方法として、識別情報に基づいたスクリプトを実行することでアプリケーションにＯＣＲで認識されたテキスト情報を入力する構成について検討する。しかしながら、ユーザーが識別情報を毎回手動操作で特定していては操作が煩雑であり、付与する操作にかかる時間によってシステムへの入力が遅くなる。

これに対して本発明は、送信結果の履歴に基づいて、領域の座標を比較し、識別情報を特定することにより、より高速にシステムへ入力を行うことを目的とする。

上記の目的を達成するための本発明に係るシステムは、
文書内の領域の座標と、前記領域に対応する識別情報を保存する保存手段と、
新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成手段と、
前記作成手段によって作成された領域の座標と、前記保存手段によって保存された領域の座標を比較する比較手段と、
前記比較手段による比較の結果と、前記保存手段によって保存された領域に対応する識別情報に基づいて、前記作成手段によって作成された領域の座標に対応する識別情報を決定する決定手段と、
前記決定手段によって決定された前記識別情報と、前記作成手段によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信手段と、
前記送信手段によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行手段と、を有し、
前記保存手段は、前記送信手段による送信の結果に基づいて、前記作成手段によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とする。

本発明のシステムによれば、送信結果の履歴に基づいて、領域の座標を比較し、識別情報を特定することにより、より高速にシステムへ入力を行うことができる。

システムの全体構成の一例を示す図である。 各装置のハードウェア構成の一例を示す図である。 各装置のソフトウェア構成の一例を示す図である。 モバイルアプリのＵＩの一例を示す図である。 システムの基本的な処理フローの一例を示す図である。 メッセージのデータ構造の一例を示す図である。 中継アプリで保持する情報の一例を示す図である。 図５のステップＳ５０７の処理の詳細を示す図である。 基幹システム接続アプリの操作画面の一例を示す図である。 スクリプト実行時の処理フローの一例を示す図である。 画像分類処理の一例を示す図である。 座標処理の一例を示す図である。 送信履歴データベースのデータ構造の一例を示す図である。 モバイルアプリのＵＩの一例を示す図である。 モバイルアプリのＵＩの一例を示す図である。 送信履歴データベースが保持する情報の一例を示す図である。 モバイルアプリの処理フローの一例を示す図である。 座標補正処理の一例を示す図である。 モバイルアプリのＵＩの一例を示す図である。 検索領域絞り込み処理の一例を示す図である。 モバイルアプリの処理フローの一例を示す図である。 モバイルアプリのＵＩの一例を示す図である。 モバイルアプリの処理フローの一例を示す図である。 モバイルアプリの処理フローの一例を示す図である。 システムの全体構成、及び各装置のソフトウェア構成の一例を示す図である。

以下、本発明を実施するための形態について図面などを参照して説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。

（第１実施形態）
［システム構成］
本実施形態に係る情報処理システムの一例として、ＦＡＸ受注システムを例に説明する。

図１は、ＦＡＸ受注システム２０００の全体構成の一例を示す図である。ＦＡＸ受注システム２０００は、画像形成装置１０１、ＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、端末の一例であるモバイル端末１０４、及びＰＣ端末１０５を有する。

画像形成装置１０１は、ユーザー環境に配置された装置であり、ネットワーク１００に接続されるとともに、ＦＡＸを受信するための公衆回線１１１に接続されている。ＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、モバイル端末１０４、及びＰＣ端末１０５は、ユーザー環境に配置された装置であり、ネットワーク１００を介して互いに通信可能に接続されている。

なお、図１においてＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、モバイル端末１０４、及びＰＣ端末１０５は、同一ネットワークに属しているが、これに限定されるものではない。それぞれの装置は、独立したネットワークに属しているか、又はインターネット１１０に直接接続されていても構わない。また、各サーバーは、１台で構成されていてもよいし、複数台で構成されていてもよい。

ＦＡＸ保管サーバー１０２は、画像形成装置１０１と同一のネットワークに存在するオンプレミスのＳＭＢ（Ｓｅｒｖｅｒ Ｍｅｓｓａｇｅ Ｂｌｏｃｋ）サーバー等である。また、ＦＡＸ保管サーバー１０２は、インターネットに接続された公知の一般的なストレージサーバーであっても構わない。一般的なストレージサーバーの例としては、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＯｎｅＤｒｉｖｅ（登録商標）やＧｏｏｇｌｅ（登録商標）社のＧｏｏｇｌｅドライブなどがある。

基幹業務サーバー１０３は、特定の業務に関して、ＰＣ端末１０５で動作する基幹システム接続アプリケーションを通じて情報の入力を受け付け、処理を行うサーバーである。本発明において、基幹業務サーバー１０３が受け付ける情報、および、それに基づいて実行する処理については、規定されるものではない。また、入力元の情報がＦＡＸから抽出された情報であることを、必ずしも想定する必要はない。基幹業務サーバー１０３は、単に、ＰＣ端末１０５で動作する基幹システム接続アプリケーションを通じて情報の入力を受け付け、処理を行うという条件だけを満たせばよい。図１に示すシステム構成において、ＰＣ端末１０５が備える中継アプリケーションが、モバイル端末１０４が取り込んだＦＡＸイメージに含まれる情報を基幹業務サーバー１０３へ入力する。

［ハードウェア構成］
図２は、ＦＡＸ受注システム２０００を構成する各装置（画像形成装置１０１、ＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、モバイル端末１０４、及びＰＣ端末１０５）のハードウェアの構成の一例を示す図である。ＦＡＸ受注システム２０００を構成する各装置２０１は、各種のユニット（２０２〜２０７）を含んで構成される。

なお、ＦＡＸ受注システム２０００を構成する各装置のハードウェア構成は同一でも構わないし、それぞれ異なっていても構わない。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０４は、各種のプログラム等を記憶するユニットである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３は、各種の情報を記憶するユニットである。また、ＲＡＭ２０３は、ＣＰＵ２０２の一時的な作業記憶領域としても利用されるユニットである。例えば、ＣＰＵ２０２は、ＲＯＭ２０４に記憶されているプログラムをＲＡＭ２０３にロードしてプログラムを実行する。

加えて、ＣＰＵ２０２がフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）といった外部記憶装置に記憶されているプログラムに基づき処理を実行する。これにより、図３に示されるようなＦＡＸ受注システム２０００を構成する各装置のソフトウェア構成及び後述するシーケンスの各ステップの処理が実現される。

なお、各装置の機能及び後述するシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現してもよい。

Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０５は、各装置に接続されているディスプレイ（不図示）にデータを送信する他、同じく各装置に接続されているポインティングデバイス（不図示）からデータを受信するユニットである。

ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２０６は、装置をネットワーク１００に接続するためのユニットである。上述したユニットは、バス２０７を介してデータの送受信を行うことが可能に構成されている。

さらに、画像形成装置１０１は、ＦＡＸユニット（不図示）を搭載しており、バス２０７を介して各ユニットとデータを送受信することが可能に構成されている。ＦＡＸユニットは、各装置より受けたＦＡＸ制御言語をイメージに展開し不図示の公衆回線、又はインターネット１１０（ＩＰ−ＦＡＸ）を介して他のＦＡＸ装置（不図示）へ転送することができる。

ここで、画像形成装置１０１は、印刷ユニット（不図示）を更に搭載していても構わない。印刷ユニットは、バス２０７を介して各ユニットとデータを送受信することが可能に構成されている。なお、印刷ユニットは、ラスタイメージを紙などの記録媒体に記録（印刷）することが可能なユニットである。

そして、画像形成装置１０１は、スキャナユニット（不図示）を更に搭載していても構わない。スキャナユニットは、バス２０７を介して各ユニットとデータを送受信することが可能に構成されている。なお、スキャナユニットは、画像を入力することが可能なユニットである。

また、モバイル端末１０４では、Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０５にタッチパネル（不図示）が接続されている。タッチパネルは、ディスプレイ等の表示部の一例であり、出力（表示）と入力との２つの機能を備えている。

［ソフトウェア構成（全般）］
次に、ＦＡＸ受注システム２０００を構成する各装置のソフトウェアの構成について説明する。図３は、各装置のソフトウェア構成の一例を示す図である。

図３に示される各ソフトウェア（アプリケーション）における機能（モジュール部）を実現するプログラムは、各装置のＲＯＭ２０４等に記憶されている。

［ソフトウェア構成（モバイル端末）］
次に、モバイル端末１０４におけるソフトウェアの構成について説明する。なお、モバイル端末１０４は、携帯端末の一例であり、無線通信機能などの装備によって自由な場所で利用できる端末である。

モバイル端末１０４のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）（不図示）は、後述する各モジュール（画像管理部３０１、アドレス管理部３０２、及び通知処理部３０３）を有する。

画像管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、画像管理部３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ ＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）を提供している。各アプリはその制御ＡＰＩを利用することで画像管理部３０１が管理する画像やアプリケーションデータの取得や保存を行う。

アドレス管理部３０２は、氏名や電話番号、住所などのアドレス情報を管理する。アドレス管理部３０２も画像管理部３０１と同様に、各アプリが利用するための制御ＡＰＩを提供している。

通知処理部３０３は、通知サーバー（不図示）から通知情報を受信し、通知情報内のアプリのトークンを用いて通知の受信先であるアプリを特定し、アプリに対して通知情報を伝搬する。

モバイルアプリ（モバイルアプリケーション）３０４は、モバイル端末１０４のＯＳのインストール機能（例えばＡｐｐｌｅ ＳｔｏｒｅやＧｏｏｇｌｅ Ｐｌａｙ）を利用して、ダウンロードしインストールすることにより実行可能なアプリケーションである。モバイルアプリ３０４は、ＦＡＸ保管サーバー１０２が管理するデータに対する各種のデータ処理を行う。

メイン制御部３０５は、モバイル端末１０４用のアプリケーション（モバイルアプリ）３０４を制御し、後述する各モジュール部（３０６〜３１７）に対する指示、及び管理を行う。

情報表示部３０６は、メイン制御部３０５からの指示に従い、モバイルアプリ３０４のユーザインタフェース（ＵＩ）をユーザーに提供する。

図４は、モバイルアプリ３０４のＵＩ（携帯端末用のＵＩ）を提供する画面の一例（モバイル端末画面４００）を示す図である。モバイル端末画面４００は、モバイル端末１０４のタッチパネルに表示される。また、モバイル端末画面４００では、表示および操作領域４０１にＦＡＸデータが表示され、文書等に対するユーザーによる操作（ユーザ操作）を、表示されたＵＩを介して受け付ける。ＯＣＲボタン４０２は、後述のＯＣＲ画面１４００に画面遷移するボタンである。

なお、モバイルアプリ３０４のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、図に示す形態に限定されるものではなく、モバイル端末１０４の機能を実現することができる適宜の構成を採用することができる。

再び図３に戻ってモバイルアプリ３０４の各モジュールの説明を行う。

操作情報取得部３０７は、情報表示部３０６により表示されたモバイルアプリ３０４のＵＩがユーザー操作された情報を取得し、取得した情報をメイン制御部３０５に通知する。例えば、表示および操作領域４０１をユーザーが手で触れると、操作情報取得部３０７は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０５に送信する。

データ送受信部３０８は、ＦＡＸ保管サーバー１０２とデータの送信および受信を行い、送受信するデータをメイン制御部３０５とやり取りする。データ送受信部３０８は、ＦＡＸデータ操作及びＦＡＸデータ編集によるファイルの更新をＦＡＸ保管サーバー１０２に要求する。

記憶部３０９は、操作情報取得部３０７を介して、換言するならばモバイルアプリ３０４のＵＩを介して、ユーザーにより入力された設定値を保存（永続化）する。さらに記憶部３０９は、データ送受信部３０８でＦＡＸ保管サーバー１０２から受信したデータを保存する。

ＦＡＸ画像解析部３１０は、ＦＡＸイメージを解析して、レイアウト情報を生成する。レイアウト情報には、ＦＡＸイメージから抽出された矩形領域とその種別（文字、図形、線、表など）とが含まれる。

ＯＣＲ部３１１は、ＦＡＸ画像解析部３１０で抽出した矩形領域の中で、文字と判定された矩形領域に対して、ＯＣＲ（光学文字認識）処理を行う。

メッセージ生成部３１２は、ＰＣ端末１０５の中継アプリ（中継アプリケーション）３２１に送信するメッセージを生成する。メッセージには、例えば、ＯＣＲ部３１１で処理した結果やユーザーが入力した結果のテキスト情報が含まれる。

メッセージ送受信部３１３は、ＰＣ端末１０５の中継アプリ３２１に、メッセージ生成部３１２で生成したメッセージを送信し、その応答メッセージ（応答情報）を受信する。メッセージ解析部３１４は、メッセージ送受信部３１３で受信したＰＣ端末１０５の中継アプリ３２１からの応答メッセージを解析し、ＦＡＸイメージに対する処理を実行する。

画像分類部３１５は、ＦＡＸ保管サーバー１０２から受信したＦＡＸイメージに対して、予め学習処理を行った特徴量を用いて分類処理を行い、ＦＡＸイメージの分類を行う。

操作履歴管理部３１６は、ユーザーが選択した短形領域の座標情報、ＯＣＲ結果のテキスト情報、中継アプリ３２１に送信したメッセージ等をＤＢ部３１７のデータベースを用いて管理する。

ＤＢ部３１７はデータベース機能を有し、操作履歴情報を管理する。

座標処理部３１８は、データベースへ座標情報を登録する際の座標正規化処理やデータベースへの座標問い合わせ時の座標補正処理行う。

［ソフトウェア構成（ＰＣ端末）］
次に、ＰＣ端末１０５におけるソフトウェアの構成について説明する。

ＰＣ端末１０５は、ＰＣ端末１０５にインストールされたＯＳ上で複数のアプリケーションを実行することが可能である。図３では、複数のアプリケーションの一つである中継アプリ３２１と基幹システム接続アプリ（基幹システム接続アプリケーション）３３１について記載している。

なお、基幹システム接続アプリ３３１は、ユーザーからの入力を受け付け、基幹業務サーバー１０３に送信するアプリケーションである。基幹システム接続アプリ３３１の詳細については図９を用いて後述する。

中継アプリ３２１のモジュール構成について説明する。

メイン制御部３２２は、モバイルアプリ３０４と基幹システム接続アプリ３３１との間を中継する中継アプリ３２１を制御し、後述する各モジュール部（３２３〜３２６）に対する指示、管理を行う。

記憶部３２３は、ユーザーによって作成されたスクリプトを保存する。スクリプトは、モバイル端末１０４のモバイルアプリ３０４から受信したテキスト情報が含まれるメッセージにしたがって中継アプリ３２１が実行する簡単なプログラムである。詳細は後述するが、中継アプリ３２１がスクリプトを実行することによって基幹業務サーバー１０３に情報の入力が行われる。

メッセージ受信部３２４は、モバイル端末１０４のモバイルアプリ３０４からメッセージを受信する。

メッセージ解析部３２５は、メッセージ受信部３２４で受信したメッセージを解析する。

スクリプト実行部３２６は、メッセージ解析部３２５がメッセージを解析した結果、メッセージの内容に含まれる識別情報に紐付く、記憶部３２３に保存されているスクリプトを実行する。

［ソフトウェア構成（画像形成装置）］
次に、画像形成装置１０１におけるソフトウェアの構成について説明する。

画像形成装置１０１は、Ｊａｖａ（登録商標）のプラットフォーム上で複数のアプリケーションを実行する。図３では複数のアプリケーションの一つであるＦＡＸ受信アプリ３４１について記載している。以降ではこのＦＡＸ受信アプリ３４１のモジュール構成について説明する。

メイン制御部３４２は、ＦＡＸ受信アプリ３４１の各モジュールを制御し、各モジュールに対して指示し、各モジュールの管理を行う。

情報表示部３４３は、メイン制御部３４２からの指示に従い、ＦＡＸ受信アプリ３４１のＵＩをユーザーに提供する。ユーザーは、このＵＩ上でＦＡＸイメージの保存先（ＦＡＸ保管サーバー１０２）を指定することができる。

操作情報取得部３４４は、情報表示部３４３により表示されたＦＡＸ受信アプリ３４１のＵＩ上のユーザー操作を情報として取得し、取得した情報をメイン制御部３４２に通知する。

データ送受信部３４５は、ＦＡＸ保管サーバー１０２とデータの送信および受信を行う。

記憶部３４６は、情報表示部３４３及び操作情報取得部３４４を介してユーザーにより入力された設定値（例えば電話番号毎の振り分け先情報など）及び送受信するＦＡＸイメージの一時保存などを実行する。

［基本フロー］
次に、ＦＡＸ受注システム２０００の基本的な処理フローについて図５を用いて説明する。

本フローは、画像形成装置１０１におけるＦＡＸユニットが他のＦＡＸ装置からＦＡＸイメージを受信したことをトリガーに開始する。

Ｓ５０１で、画像形成装置１０１は、ＦＡＸイメージを受信する。そして、受信したＦＡＸイメージとＦＡＸ情報（送り元電話番号、ＦＡＸ受信時間などのＦＡＸヘッダ）を画像形成装置１０１内のＲＡＭ等に保存する。ＦＡＸイメージを受信したことをトリガーとして、ＦＡＸ受信アプリ３４１のメイン制御部３４２は、ＦＡＸ情報の送り元電話番号をキーにしてアドレス帳を調べ、電話番号が一致するアドレスの情報を元にＦＡＸ受信書誌情報を作成する。記憶部３４６は、ＦＡＸ受信データ（ＦＡＸイメージとＦＡＸ受信書誌情報）を保存する。

Ｓ５０２で、メイン制御部３４２は、ＦＡＸ受信データを、データ送受信部３４５を介してＦＡＸ保管サーバー１０２に送信する。

Ｓ５０３で、モバイル端末１０４のモバイルアプリ３０４のメイン制御部３０５は、ＦＡＸ保管サーバー１０２から、ＦＡＸ受信データをダウンロードする。

Ｓ５０４で、情報表示部３０６は、ＦＡＸ受信データに基づいてＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。

Ｓ５０５で、ＦＡＸ画像解析部３１０は、ＦＡＸ受信データに含まれるＦＡＸイメージを解析してレイアウト情報を取得する。文字と認識された領域に関して、ＯＣＲ部３１１はＯＣＲ処理を行い、テキスト情報を生成する。ユーザー操作、例えばＵＩ上のボタン操作により生成したテキスト情報の送信を指示する操作をトリガーとして、メッセージ生成部３１２は、テキスト情報からＰＣ端末１０５の中継アプリ３２１に送信するメッセージを生成する。メッセージ送受信部３１３は、メッセージ生成部３１２が生成したメッセージをＰＣ端末１０５の中継アプリ３２１に送信する。

Ｓ５０６で、ＰＣ端末１０５の中継アプリ３２１のメイン制御部３２２は、モバイル端末１０４のモバイルアプリ３０４からメッセージを受信する。

Ｓ５０７で、中継アプリ３２１はスクリプトの検索と実行を行う。Ｓ５０７の詳細な処理に関しては図８を用いて後述する。

Ｓ５０８で、メイン制御部３２２は、基幹システム接続アプリ３３１から受注番号を読み取り、応答メッセージとして、モバイル端末１０４のモバイルアプリ３０４に送信する。

Ｓ５０９で、モバイル端末１０４のモバイルアプリ３０４のメイン制御部３０５は、ＰＣ端末１０５の中継アプリ３２１から受信した受注番号をＦＡＸデータの付加情報（アノテーション）として保存する。

［データ構造］
次に、モバイル端末１０４のモバイルアプリ３０４と、ＰＣ端末１０５の中継アプリ３２１との間で送受信されるメッセージについて説明する。

図６は、本実施形態におけるメッセージのデータ構造の一例を示す図である。

メッセージ６０１は、ｍｅｓｓａｇｅキーとそれに対する値を含む。また、ｍｅｓｓａｇｅキーの値は、子プロパティ６０２を含む。子プロパティ６０２は、ｂｏｄｙキー、ｉｎｔｅｒｎａｌ−ｎａｍｅキー、ｄｉｓｐｌａｙ−ｎａｍｅキーを含む。ｂｏｄｙキーの値は、ＰＣ端末１０５の中継アプリ３２１がスクリプトを実行した際に、基幹システム接続アプリ３３１に入力される値（情報）である。ｉｎｔｅｒｎａｌ−ｎａｍｅキーの値は、モバイル端末１０４のモバイルアプリ３０４と、ＰＣ端末１０５の中継アプリ３２１との間で、メッセージの種類（項目）を一意に識別するための値である。ｄｉｓｐｌａｙ−ｎａｍｅキーの値は、モバイル端末１０４のモバイルアプリ３０４、および、ＰＣ端末１０５の中継アプリ３２１で表示に使用する値である。メッセージ６０３〜６０７は、メッセージの内容をＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式で表現した例である。メッセージ６０３は、基幹システム接続アプリ３３１への入力をクリアする際に使用する。メッセージ６０４、６０５、６０６は、それぞれ基幹システム接続アプリ３３１に、電話番号、商品コード、商品数量を入力する際に使用するメッセージである。メッセージ６０７は、メッセージ６０４、６０５、６０６で、基幹システム接続アプリ３３１に入力した値を確定し、基幹システム接続アプリに表示される注文番号を取得する際に使用するメッセージである。

［中継アプリで保持する情報］
図７は、ＰＣ端末１０５の中継アプリ３２１で保持する情報の一例を示す図である。接続先情報７１１は、モバイル端末１０４との通信を開始するために使用する。接続先情報７１１は、接続先アドレスとポート番号を含み、それぞれ、モバイル端末１０４のアドレスと、モバイルアプリ３０４の待ち受けポート番号である。中継アプリ３２１は、アプリ起動時に、接続先情報７１１を使用して、モバイル端末１０４のモバイルアプリ３０４との間に、通信コネクションを確立する。スクリプトファイル情報７１２は、モバイルアプリ３０４から受信したメッセージに対して、実行するスクリプトファイル（スクリプト）を示す。スクリプトファイル情報７１２は、識別名とスクリプトファイル名を含む。識別名は、モバイルアプリ３０４から受信したメッセージに含まれるｉｎｔｅｒｎａｌ−ｎａｍｅキーの値である。接続先情報７１１、および、スクリプトファイル情報７１２は、記憶部３２３で保持される。

［中継アプリの基本フロー］
図８は、図５のフローのＳ５０７の処理の詳細を示す図である。ＰＣ端末１０５の中継アプリ３２１は、Ｓ８０１でモバイル端末１０４のモバイルアプリ３０４からのメッセージを受信する。Ｓ８０２で、メッセージ解析部３２５は、メッセージを解析し、メッセージに含まれるｉｎｔｅｒｎａｌ−ｎａｍｅキーの値を取得する。Ｓ８０３で、スクリプト実行部３２６は、スクリプトファイル情報７１２を参照して、ｉｎｔｅｒｎａｌ−ｎａｍｅキーに対応付けられたスクリプトファイル名を取得する。これによって、後述する図１７のＳ１７２３で送信される識別情報に基づいてスクリプトが特定され、特定されたスクリプトが実行される。Ｓ８０４で、スクリプト実行部３２６は、スクリプトファイルを記憶部３２３から読み出し、スクリプトを実行する。実行される処理は、スクリプトファイルの内容に依存する。Ｓ８０５で、スクリプト実行部３２６は、スクリプトの実行結果を取得する。Ｓ８０６で、スクリプト実行部３２６は、スクリプトの実行結果に値（応答情報）が含まれているかどうかを判断し、値が含まれていなければ終了する。Ｓ８０６で、スクリプトの実行結果に値が含まれていると判断した場合は、Ｓ８０７で、メイン制御部３２２は、その値をモバイルアプリ３０４に送信する。

［基幹システム接続アプリの画面］
図９は、基幹システム接続アプリ３３１の操作画面の一例を示す図である。

本実施形態における基幹システム接続アプリ３３１は、ユーザーの入力をＧＵＩで受け付けるアプリケーションであれば、どのようなアプリケーションでもよい。本実施形態では基幹システム接続アプリ３３１は、基幹業務サーバー１０３に情報を入出力するための図９のようなＧＵＩを持つアプリケーションであることを前提として、以降の説明を行う。

なお、本実施形態では、中継アプリ３２１がスクリプトを実行することにより、以降の説明でユーザーが行う入力やボタン押下等の操作を自動化することができる。中継アプリ３２１がスクリプトを実行する処理の詳細は、図１０を用いて後述する。また、中継アプリ３２１がスクリプトを実行することで入力された情報を、ユーザーが操作画面上でさらに編集することも当然可能である。

９００は、基幹システム接続アプリ３３１のメインウィンドウである。表示欄９０１、９０２、及び９０３は、それぞれ、顧客社名表示欄、顧客名称表示欄、顧客部署表示欄である。電話番号入力欄９０５は、電話番号を入力する入力欄であり、ユーザーがＦＡＸイメージからＦＡＸの送信元電話番号を読み取って、入力する。９０４は、検索ボタンであり、検索ボタン９０４が押下されると電話番号入力欄９０５に入力された電話番号を元に、基幹業務サーバー１０３のデータベースから顧客情報を検索し、検索結果を表示欄９０１、９０２、及び９０３に表示（出力）する。９０６は、注文入力欄である。注文入力欄９０６は、複数行から成り、（１行目のタイトル行を除く）各行は、商品コード入力欄９０７、商品名称表示欄９０８、数量入力欄９０９、単価表示欄９１０、金額表示欄９１１から成る。ユーザーは、ＦＡＸイメージから注文された商品の商品コードを読み取って、商品コード入力欄９０７に商品コードを入力する。商品コードが入力されると、基幹業務サーバー１０３のデータベースから商品情報が検索され、検索結果が同じ列の商品名称表示欄９０８、及び単価表示欄９１０に表示される。

さらに、ユーザーが、ＦＡＸイメージから注文された商品の数量を読み取って、数量入力欄９０９に数量を入力すると、単価と数量から算出された金額が同じ列の金額表示欄９１１に表示される。受注した商品が複数ある場合は、商品コード入力欄９０７への入力と、数量入力欄９０９への入力を繰り返す。

９１３は、受注発行ボタンであり、９１４は、受注番号表示欄である。ユーザーが受注番号発行ボタン９１３を押下すると、表示欄９０１〜９０５に表示されている顧客情報と、注文入力欄９０６に表示されている情報が注文情報として基幹業務サーバー１０３のデータベースとして登録される。このとき、基幹業務サーバー１０３から発行される受注番号が、受注番号表示欄９１４に表示される。９１２は、クリアボタンである。ユーザーが、クリアボタン９１２を押下することにより、メインウィンドウ９００の表示が初期化され、各表示欄が空欄となる。

［スクリプトで実行される処理のフロー］
図１０は、後述するように、Ｓ８０３で電話番号用のスクリプトが特定され、図８のＳ８０４で実行される電話番号用のスクリプトが実行される際の処理フローをより詳細に示した図である。本明細書のスクリプトは、図９で示したＧＵＩを持つ基幹システム接続アプリ３３１への入力を前提に作成されている。中継アプリがスクリプトを実行することにより、ウィンドウメッセージのやりとりが行われ、ユーザーが手動で入力することなしに、基幹システム接続アプリ３３１への情報の入力を自動的に行うことができる。以降、より具体的に説明する。

図８のＳ８０３では、モバイル端末１０４のモバイルアプリ３０４から受信したメッセージのｉｎｔｅｒｎａｌ−ｎａｍｅキーの値に、ｔｅｌが設定されていた場合に、スクリプトとしてｔｅｌ．ｐｓ１が特定される。図１０はそのｔｅｌ．ｐｓ１を実行することで行われる処理を示したフローである。Ｓ１１０１で、ＰＣ端末１０５で動作する複数のアプリケーションの中から、基幹システム接続アプリ３３１が特定される。Ｓ１１０２で、基幹システム接続アプリ３３１のメインウィンドウ９００が特定される。Ｓ１１０３で、メインウィンドウ９００に表示されているＧＵＩコントロールの中から、電話番号入力欄９０５（項目）が特定される。Ｓ１１０４で、電話番号入力欄９０５に、モバイルアプリ３０４から受信したメッセージのｂｏｄｙキーの値が設定される。Ｓ１１０５で、メインウィンドウ９００に表示されているＧＵＩコントロールの中から、検索ボタン９０４が特定される。Ｓ１１０６で、検索ボタン９０４の押下が実行される。

［画像分類処理］
次に、画像分類部３１５が行うＦＡＸイメージの分類について図１１を用いて説明する。画像分類部３１５は、学習処理部１１０１と分類処理部１１０２から構成される。画像分類部３１５は、予め学習処理部１１０１で学習処理を行い、特徴量データをＤＢ部３１７の特徴量ＤＢ１１０７に蓄えておく。さらに画像分類部３１５は、特徴量ＤＢ１１０７の情報に基づき分類処理部１１０２で分類処理を行い、分類を決定する。

一般的にイメージの特徴を表す特徴量データは、多次元のデータで表し、特徴ベクトルと呼ばれる。次元数は特徴の種類が何種類あるかを示している。

学習処理部１１０１で行う学習処理は、分類毎の複数の学習画像から特徴抽出を行い、各学習画像に対して、１００次元の特徴ベクトルを算出する。さらに複数の学習画像の特徴ベクトルを元に、１００次元の特徴ベクトルからその分類の中で際立った特徴を有する１０次元の特徴ベクトルを決定する。この次元削減処理はフィルタと呼ばれるソフトウェアコンポーネントによって実行される。分類毎に算出した特徴ベクトル（１０次元）及びにフィルタは、ＤＢ部３１７の特徴量ＤＢ１１０７で管理する。

分類処理部１１０２で行う分類処理は、入力ＦＡＸイメージ１１０３の特徴抽出を行い、特徴ベクトル（１００次元）を算出する。入力ＦＡＸイメージ１１０３の特徴ベクトル（１００次元）に対して特徴量ＤＢ１１０７の各分類のフィルタを適用（主成分分析）し、各分類に対応した特徴ベクトル（１０次元）を算出する。そして入力ＦＡＸイメージ１１０３の特徴ベクトル（１０次元）と特徴量ＤＢの特徴ベクトル（１０次元）を比較し、類似度判定により分類を決定する。

図１１の学習結果１１０９は、学習処理により特徴量ＤＢ１１０７に蓄えられたデータの一例を表している。特徴量ＤＢ１１０７には、分類１（１１０４）、分類２（１１０５）、分類３（１１０６）を分類可能な特徴ベクトル（１０次元）とフィルタが蓄えられている。また分類結果１１１０は、分類処理により入力画像と特徴量ＤＢ１１０７の情報を元に分類が決定した例を表している。入力ＦＡＸイメージ１１０３を入力し、分類１（１１０４）、分類２（１１０５）、分類３（１１０６）の中から入力画像の分類結果１１０８が分類１（１１０４）に判別されたことを示している。なお、画像分類部３１５が行う画像分類は、本形態に限定されるものではなく、本機能を実現することができる適宜の手法を採用することができる。

［座標処理］
次に、座標処理部３１８が行う座標正規化処理について図１２を用いて説明する。座標正規化処理は、元画像の縦横に依存しない、かつｄｐｉが異なる場合でも対応可能にするために行うものであり、ユーザーが行った送信操作の選択領域の座標情報をＤＢ部３１７へ登録する際、また登録された操作履歴をＤＢ部３１７に問い合わせる際に行われる。まず座標系には、ディスプレイ座標（ディスプレイのどの位置）、ＦＡＸイメージ座標（ＦＡＸイメージのどの位置）、データベース登録座標がある。座標正規化処理とは、ユーザーによりディスプレイで選択された選択座標からＦＡＸイメージ座標に変換し、さらにデータベース登録座標に変換する処理のことである。データベース登録座標はＦＡＸイメージ座標の全体に対する割合に１００００を掛け合わしたものとする。

ここでは単純化のためにディスプレイ座標とＦＡＸイメージ座標は一致しており、ＦＡＸイメージ１２０１の横が１５００ｐｘ、縦が２０００ｐｘの場合で説明する。選択領域１２０２の左上座標１２０３が（Ｘ，Ｙ）＝（２００，７００）、右下座標１２０４が（４００、７５０）の場合、データベース登録座標は（１３３３、３５００）、（２６６６，３７５０）となる。以下、データベース登録座標の左上Ｘ座標をｍｉｎＸ、右下Ｘ座標をｍａｘＸ、左上Ｙ座標をｍｉｎＹ、右下Ｙ座標をｍａｘＹとする。

［データ構造（ＤＢ）］
次に、ＤＢ部３１７の操作履歴データベース１３００について説明する。図１３は、本実施形態における操作履歴データベース１３００のデータ構造の一例を示す図である。操作履歴データベース１３００は、送信履歴Ｔａｂｌｅ１３０１と送信領域Ｔａｂｌｅ１３０２から構成される。

送信履歴Ｔａｂｌｅ１３０１は、ｉｄカラム、ｉｎｔｅｒｎａｌｎａｍｅカラム、ｃｌａｓｓｉｆｉｃａｔｉｏｎカラム、ｏｃｒｒｅｓｕｌｔカラム、ｓｅｎｄｍｅｓｓａｇｅカラムから構成される。ｉｄカラムは送信履歴Ｔａｂｌｅ１３０１にレコードが追加されるたびに１インクリメンタルされる値で、ＴａｂｌｅのＰｒｉｍａｒｙ ｋｅｙである。ｉｎｔｅｒｎａｌｎａｍｅカラムは送信結果の識別情報を格納する。ｃｌａｓｓｉｆｉｃａｔｉｏｎカラムは、ＦＡＸイメージの分類結果（例えば図１１の１１０８）を格納する。ｏｃｒｒｅｓｕｌｔカラムは選択領域のＯＣＲ結果を格納する。ｓｅｎｄｍｅｓｓａｇｅは送信結果（送信したテキスト情報）を格納する。

送信領域Ｔａｂｌｅ１３０２は、ｉｄカラム、ｍｉｎＸカラム、ｍａｘＸカラム、ｍｉｎＹカラム、ｍａｘＹカラムから構成される。ｍｉｎＸカラムは、選択領域の左上Ｘ座標を格納する。ｍａｘＸカラムは、選択領域右下Ｘ座標を格納する。ｍｉｎＹカラムは、選択領域の左上Ｙ座標を格納する。ｍａｘＹカラムは、選択領域右下Ｙ座標を格納する。また送信領域Ｔａｂｌｅ１３０２は、Ｒ−ｔｒｅｅインデックス（多次元情報のインデックス付け）手法を使うことにより領域検索を高速に行える構成になっている。

ＳＱＬ文１３０３〜１３１０は、操作履歴データベース１３００に対する各種問い合わせＳＱＬ文を表現した例である。ＳＱＬ文１３０３は送信履歴Ｔａｂｌｅ１３０１を新規作成するためのＳＱＬ文である。ＳＱＬ文１３０４は送信領域Ｔａｂｌｅ１３０２を新規作成するためのＳＱＬ文である。ＳＱＬ文１３０３、１３０４は、アプリの初期化時に実行され、作成されたＴａｂｌｅはＤＢ部３１７に保存する。ＳＱＬ文１３０５は、同一分類の送信履歴があるかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０６は、同一分類で、選択座標と一致するもがあるかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０７は、同一分類で、選択座標が一致した履歴の識別情報がすべて一致するかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０８は、同一分類で、座標が一致した履歴の送信結果がすべて一致するかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０９は、同一分類で、ＯＣＲ結果が一致したものがあるかどうかを確認するＳＱＬ文である。ＳＱＬ文１３１０は、分類情報をキーに送信履歴を保存するＳＱＬ文である。

［ＯＣＲ画面（モバイル端末）］
次に、モバイル端末１０４におけるＯＣＲ画面について図１４を用いて説明する。ＯＣＲ画面１４００は、モバイル端末画面４００のＯＣＲボタン４０２を押すと表示される画面である。ＯＣＲ画面表示時にＦＡＸ表示画面で表示していたＦＡＸのイメージ画像に対して、ＯＣＲ用のブロック（領域）を作成し、そのブロックに対してＯＣＲ処理する。さらにブロックのうちテキストと認識されたものを１４０９、１４１１に示すように選択可能領域として、四角で囲って選択可能状態で表示する。選択可能領域１４０９、１４１１は、オブジェクト認識、ＯＣＲの結果としてテキストと認識されたものが四角で囲って選択できるようになったものである。ボタン表示領域１４０２は、ボタン設定画面（不図示）で設定したボタンを表示するための領域である。ボタン１４０４〜１４０６を押した後に選択可能領域を押すと選択可能領域のＯＣＲ結果を中継アプリ３２１にメッセージ送信することが出来る。図６のメッセージ６０４は、電話番号ボタンを押して送信したメッセージの例である。商品Ｃｏｄｅボタン１４０５、商品数量ボタン１４０６を押してメッセージ送信した例が、図６のメッセージ６０５、メッセージ６０６である。表示名領域１４０８は、ボタンに定義した表示名を表示する領域である。選択済み領域は、選択可能領域をユーザーが選択した時に選択されたことが分かるように、１４１０に示すように選択可能領域に印が付いたものである。ユーザーが選択可能領域を選択すると、その領域は選択済み領域になり、後述する送信確認画面１５００に遷移する。

［送信確認画面（モバイル端末）］
次に、モバイル端末１０４における送信確認画面について図１５を用いて説明する。１５００は送信確認画面である。送信確認画面１５００では、ユーザーが選択した領域のＯＣＲ結果を見て、間違いがないと判断すれば中継アプリ３２１に送信する。さらに間違いがあれば、修正あるいは送信をキャンセルするための画面である。選択済み画像表示領域１５０１は、ユーザーが選択した選択可能領域の画像を拡大して表示する。テキスト入力エリア１５０２は、選択された選択可能領域のＯＣＲ処理結果のテキスト情報、あるいは操作履歴データベース１３００から決定された送信結果情報を初期値として編集可能な入力エリアである。テキストクリアボタン１５０３は、テキスト入力エリアのテキスト値をクリアするボタンである。ＯＣＲ結果が間違っていた場合などに使用する。送信実行ボタン１５０４は、送信を実行するボタンである。ボタンを押すとメッセージが中継アプリ３２１に送信される。キャンセルボタン１５０５は、画面をキャンセルするボタンであり、ＯＣＲ画面に戻る。

［操作履歴データベースの一例］
次に、操作履歴データベース１３００が保持する情報の一例について図１６を用いて説明する。ＦＡＸイメージ１６００に対して画像分類部３１５が、分類を「分類１」と決定し、ユーザーが選択領域１６０１〜１６０５を中継アプリ３２１に送信した場合の送信履歴Ｔａｂｌｅ１３０１と送信領域Ｔａｂｌｅ１３０２の具体例が、送信履歴Ｔａｂｌｅ具体例１６０６と送信領域Ｔａｂｌｅ具体例１６０７である。送信履歴レコード１６０８は、ＦＡＸイメージ１６００の選択領域１６０１を選択し、識別情報を「ｔｅｌ」、ＯＣＲ結果が「０８０−１２８４−１２３４」であるものを送信確認画面１５００で修正し、「０８０−１２３４−１２３４」として送信したことを示す。また送信履歴レコード１６０９は、ＦＡＸイメージ１６００の選択領域１６０２を選択し、識別情報を「ｃｏｄｅ」、ＯＣＲ結果が「２３０１１１９」であるものを送信確認画面１５００で修正し、「２８０１１１９」として送信したことを示す。また送信履歴レコード１６１０は、ＦＡＸイメージ１６００の選択領域１６０３を選択し、識別情報を「ｃｏｄｅ」、ＯＣＲ結果が「３８９１１２０」であるものを送信確認画面１５００で修正することなくそのまま送信したことを示す。また送信履歴レコード１６１１は、ＦＡＸイメージ１６００の選択領域１６０４を選択し、識別情報を「ｎｕｍ」、ＯＣＲ結果が「３」であるものを送信確認画面１５００で修正することなくそのまま送信したことを示す。また送信履歴レコード１６１２は、ＦＡＸイメージ１６００の選択領域１６０５を選択し、識別情報を「ｎｕｍ」、ＯＣＲ結果が「３」であるものを送信確認画面１５００で修正することなくそのまま送信したことを示す。

［抽出情報送信処理のフローチャート］
イメージから抽出した情報をボタン操作で送る図５の処理Ｓ５０５の詳細なフローについて図１７を用いて説明する。本フローは、モバイル端末１０４のモバイル端末画面４００でＦＡＸイメージを表示している時にユーザーがＯＣＲボタン４０２を押したことをトリガーに開始する。

Ｓ１７０１で、ＦＡＸ画像解析部３１０は、ＦＡＸ受信データに含まれるＦＡＸイメージを解析して、ＦＡＸイメージ内における文字認識用の複数のブロックを作成する。

Ｓ１７０２で、ＯＣＲ部３１１は、各ブロックに対してＯＣＲ処理を行い、テキスト情報を抽出する。

Ｓ１７０３で、情報表示部３０６は、ＦＡＸイメージに対してＯＣＲできたブロックの領域の色を変え、選択可能状態にし、図１４に示すＯＣＲ画面１４００を表示する。

Ｓ１７０４で、ユーザーによりＯＣＲ画面１４００で送信したい選択可能領域が選択されると、情報表示部３０６は、選択された選択可能領域を選択状態にする。選択状態になることによって、図１４で示したように選択済み領域が選択可能領域とは識別可能に表示される。例えば図１４の０８０−１２３４−１２３４と記載された領域が選択されると、選択済み領域１４１０として表示される。

Ｓ１７０５で、画像分類部３１５の分類処理部１１０２は、分類処理を行い、ＦＡＸイメージを分類する。以下主に図１６のデータベースが既に作成されている状況を前提に説明する。具体的には操作履歴データベース１３００として送信履歴Ｔａｂｌｅ具体例１６０６と送信領域Ｔａｂｌｅ具体例１６０７が既に作成されている場合である。

Ｓ１７０６で、ＦＡＸイメージが分類できた場合は、Ｓ１７０７へ遷移する。ＦＡＸイメージが分類できなかった場合は、Ｓ１７２１に遷移する。

Ｓ１７０７で、操作履歴管理部３１６は、ＤＢ部３１７の操作履歴データベース１３００に対して、分類情報、例として分類１（１１０４）をキーに検索を実行し、同一分類ですでに送信した履歴情報があるかどうかを確認する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０５である。

Ｓ１７０８で、一致した履歴情報がある場合はＳ１７０９に遷移する。一致した履歴情報がなければＳ１７２１に遷移する。送信履歴Ｔａｂｌｅ具体例１６０６でいうと分類１（１１０４）のレコード（１６０８〜１６１２）が５つヒットするのでＳ１７０９に遷移する。

Ｓ１７０９で、操作履歴管理部３１６は、座標処理部３１８で、Ｓ１７０４で選択した選択済み領域１４１０の座標情報の座標補正処理および図１２を用いて説明した座標正規化処理を行う。

ここで座標補正処理とＳ１７１０で行う内包問い合わせ、オーバーラップ問い合わせの詳細について、図１８を使って説明する。選択済み領域１４１９の座標情報を使って操作履歴データベース１３００に問い合わせる方法として、内包問い合わせ１８０１とオーバーラップ問い合わせ１８０２の２種類がある。内包問い合わせ１８０１とは、問い合わせ領域に対して、内包している領域のみを検索する問い合わせであり、内包問い合わせ領域１８０７に対して、内包領域１８０８を探す問い合わせである。内包問い合わせ１８０１は、問い合わせに対する処理速度が速い反面、ヒットしない例１８０３のように問い合わせに一致しないということがある。

一方、オーバーラップ問い合わせ１８０２は、問い合わせ領域に対して、重なり合う領域を検索する問い合わせであり、オーバーラップ問い合わせ領域１８０９に対して、オーバーラップ領域１８１０を検索する問い合わせである。オーバーラップ問い合わせ１８０２は、確実にヒットする代わりに、問い合わせに対する処理速度が遅い、またノイズがヒットする可能性があるということがある。

ヒットしない例１８０３は、問い合わせ領域１８１１とヒットしない領域１８１２が交差しており内包していないため、内包問い合わせにヒットしない例である。このように内包問い合わせ１８０１は、少しでも座標がずれると問い合わせにヒットしない。

またヒットしない例１８０４は、問い合わせ領域１８１３とヒットしない領域１８１４が内包もオーバーラップもしていないため、どちらの問い合わせに対しても検索にヒットしない例である。例えば、図１６で説明したように商品コードとして１６０２や１６０３の２つの履歴が保存してある場合に、図１４のＯＣＲ画面のように３つ目の商品コードが記載されたＦＡＸイメージを新たに読み込んだ場合を意味する。Ｓ１７０４で１４１０の代わりに選択可能領域１４１１が選択された場合に、問い合わせに一致しないということを示している。

まずヒットしない例１８０３に対応するためにＳ１７０９で座標補正処理を行い、座標位置を補正する。座標補正処理の具体例を、図１８の１８００を使って説明する。ユーザーが選択した座標が図に示すように左上座標１２０３と右下座標１２０４である場合に、図に示すように補正後左上座標１８０５と補正後右下座標１８０６に座標を補正する。

またヒットしない例１８０４に対応するために後述のＳ１７１０で、内包問い合わせ１８０１で一致するのもがない場合、オーバーラップ問い合わせ１８０２で再度検索を行う。

以降、再度図１７の説明を行う。Ｓ１７１０で、操作履歴管理部３１６は、分類情報が分類１（１１０４）で、選択済み領域と操作履歴データベース１３００の座標を比較して、一致するものがあるかどうかを確認する。具体的には、まず前述の内包問い合わせ１８０１を行い、一致するものがない場合、前述のオーバーラップ問い合わせを行う。この時操作履歴データベース１３００に問い合わせる内包問い合わせのＳＱＬ文は１３０６であり、オーバーラップ問い合わせのＳＱＬ文は、１３１１である。送信履歴Ｔａｂｌｅ具体例１６０６でいうとレコード１６０８が１つヒットする。

Ｓ１７１１で、一致した履歴情報があれば、Ｓ１７１２へと遷移する。一致した履歴がなければＳ１７２１に遷移する。

Ｓ１７１２で、一致した履歴の識別情報がすべて同一であれば、Ｓ１７１３に遷移する。一致した履歴の識別情報がすべて同一でなければ、Ｓ１７２１に遷移する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０７である。送信履歴Ｔａｂｌｅ具体例１６０６でいうと、識別情報はすべて「ｔｅｌ」であるので、すべて同一であると判断し、Ｓ１７１３に遷移する。

Ｓ１７１３で、送信領域Ｔａｂｌｅに対応する送信履歴Ｔａｂｌｅの識別情報に基づいて、Ｓ１７０４で選択された領域に対する識別情報が決定され、情報表示部３０６は、ボタンを選択状態にする。送信履歴Ｔａｂｌｅ具体例１６０６でいうと識別情報が「ｔｅｌ」に決定され、電話番号ボタン１４０４が選択状態になる。選択状態のボタンがどのように表示されるかは図１５を用いて後述する。

Ｓ１７１４で、操作履歴管理部３１６は、Ｓ１７１１で一致した履歴の送信結果（ｓｅｎｄｍｅｓｓａｇｅ）を確認する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０８である。

Ｓ１７１５で、送信結果（ｓｅｎｄｍｅｓｓａｇｅ）がすべて同一であれば、Ｓ１７１６へ遷移する。同一でなければＳ１７１７へ遷移する。

Ｓ１７１６で、操作履歴管理部３１６は、送信結果を表示することを決定する。送信履歴Ｔａｂｌｅ具体例１６０６でいうとレコード１６０８の送信結果「０８０−１２３４−１２３４」に決定する。

Ｓ１７１７で、操作履歴管理部３１６は、選択済み領域１４１０のＯＣＲ結果と一致するテキストが操作履歴データベースのＯＣＲ結果（ｏｃｒｒｅｓｕｌｔ）にあるかを確認する。一致するものがあれば、Ｓ１７１８に遷移する。なければＳ１７２１に遷移する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０９である。

Ｓ１７１８で、操作履歴管理部３１６は、複数の送信結果があるかどうかを確認する。複数の送信結果の場合はＳ１７１９へ遷移する。複数の送信結果でない場合は、Ｓ１７２０へ遷移する。

Ｓ１７１９で、操作履歴管理部３１６は、送信回数の多い送信結果を表示することを決定する。

Ｓ１７２０で、操作履歴管理部３１６は、送信結果を表示することを決定する。

Ｓ１７２１で操作履歴管理部３１６は、選択済み領域１４１０のＯＣＲ結果を表示することを決定する。

Ｓ１７２２で、メイン制御部３０５は、操作履歴管理部３１６から受け取った情報を元に、送信確認画面１５００を表示する。選択済み画像表示領域１５０１の画像は、選択済み領域１４１０の画像である。またテキスト入力エリア１５０２の値は、上記ステップで決定した送信結果またはＯＣＲ結果を格納する。選択状態ボタン１５０６は、電話番号ボタン１４０４が選択状態になっていることを表している。Ｓ１７１３で識別情報が決定していない場合は、ユーザーが識別情報を判断し、ボタン１４０４〜１４０６を選択する必要がある。

Ｓ１７２３で、ユーザーにより送信実行ボタン１５０４が押されたことをトリガーとして、メッセージ生成部３１２は、テキスト入力エリア１５０２の値「０８０−１２３４−１２３４」と、電話番号ボタン１４０４に設定されている識別情報「ｔｅｌ」をＰＣ端末１０５の中継アプリ３２１に送信するメッセージを生成する。この時生成されたメッセージは、図６のメッセージ６０４である。さらにメッセージ送受信部３１３が、中継アプリ３２１に対してメッセージを送信する。これによって、Ｓ１７１３で決定された識別情報と、Ｓ１７０１で作成されたブロックに対する文字認識に基づくテキスト情報が送信される。

Ｓ１７２４で、メイン制御部３０５は送信履歴を操作履歴データベース１３００に保存する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３１０である。これによって、モバイルアプリ３０４の送信結果に基づいて、文書内の領域の座標と、領域に対応する識別情報が保存される。

以上のように、本実施形態によれば、モバイル端末で取り込んだＦＡＸイメージのＯＣＲ結果、または履歴情報の送信結果のテキスト情報は、履歴情報を元に自動的に決定した識別情報とともにＰＣ端末の中継アプリに送信される。中継アプリが、識別情報により特定されるスクリプトを実行することによって、ユーザーのシステムへの入力操作を自動化することができる。

（実施例２）
本実施例では、第２の抽出情報送信処理について説明する。前の実施例で説明した構成や処理フローの詳細な説明は省略する。実施例１では、ユーザーにより選択された選択可能領域に対して、選択時に履歴情報とＯＣＲ情報を使って識別情報を決定していたが、本実施例では、後述のＯＣＲ画面１９００表示時に予め履歴情報を元にすべての選択領域の識別情報を自動決定し、ユーザーに可視化して表示する。

［ＯＣＲ画面（モバイル端末）］
モバイル端末１０４における第２のＯＣＲ画面１９００について図１９を用いて説明する。ＯＣＲ画面１９００は、すべての選択領域が履歴情報を元に識別情報が決定され、識別可能に可視化して表示している一例を表している。選択領域１９０１は、識別情報が「ｔｅｌ」と決定された選択領域である。選択領域１９０２は、識別情報が「ｃｏｄｅ」と決定された選択領域である。選択領域１９０３は、識別情報が「ｃｏｄｅ」と決定された選択領域である。選択領域１９０４は、識別情報が「ｃｏｄｅ」と決定された選択領域である。選択領域１９０５は、識別情報が「ｎｕｍ」と決定された選択領域である。選択領域１９０６は、識別情報が「ｎｕｍ」と決定された選択領域である。選択領域１９０７は、識別情報が「ｎｕｍ」と決定された選択領域である。識別情報が決定された選択領域は、識別情報毎に、例えば色を変えて表示することにより、ユーザーにより判別可能にする。

［検索領域絞り込み処理］
次に、操作履歴管理部３１６で行う検索領域絞り込み処理について、図２０を用いて説明する。図１９のような第２のＯＣＲ画面１９００を表示させる場合、ＦＡＸイメージに対して抽出した選択可能領域すべてに対して識別情報を決定する必要がある。そこで予め履歴情報の座標情報から検索必要領域２００１と検索除外領域２００２を識別しておくことにより、入力があったＦＡＸイメージ２００３の選択可能領域から検索必要領域２００４と検索除外領域２００５を決定する。そうすることで検索必要領域２００４に対してのみ識別情報を決定することで検索対象を減らすことが出来るため、表示の速度が向上する。検索必要領域２００１と検索除外領域２００２の識別は、メッセージ送信後に操作履歴データベースに履歴を登録するときに行う。既存の検索領域と操作履歴情報の座標情報を比較し、既存の検索領域と座標情報のＡＮＤ条件の領域を検索領域とする。

［抽出情報送信処理のフローチャート］
イメージから抽出した情報をボタン操作で送る第２の処理（図５のＳ５０５）のフローについて図２１を用いて説明する。本フローは、モバイル端末１０４のモバイル端末画面４００でＦＡＸを表示している時にユーザーがＯＣＲボタン４０２を押したことをトリガーに開始する。

なお、既に説明したステップと同じ処理については、既に説明したステップの番号と同一の番号を付与し、特に断りが無い限り説明は省略する。

Ｓ２１０１で、操作履歴管理部３１６は、図２０を用いて説明した検索領域絞り込み処理を行う。

Ｓ２１０２で、操作履歴管理部３１６は、ＦＡＸイメージから作成されたブロックにそれぞれに対して検索必要領域２００４に含まれているかどうかを判断する。判断の結果、対象のブロックが検索必要領域２００４に含まれている場合は、Ｓ１７０９へ遷移する。ブロックが検索除外領域２００５の場合は、次のブロックへ遷移し、再度本Ｓ２１０２で次のブロックに対する判断処理を行う。

Ｓ２１０３で、操作履歴管理部３１６は、各ブロックの識別情報を決定する。さらに情報表示部３０６は、ＦＡＸイメージに対してブロックの領域の色を変える。さらに情報表示部３０６は、識別情報毎に色を変える。またこれら領域を選択可能状態にする。

Ｓ２１０４で、情報表示部３０６は、ＯＣＲ画面１９００を表示する。

Ｓ２１０５で、操作履歴管理部３１６は、送信履歴座標が既存の検索領域の枠内に含まれるかを確認し、枠外の場合は検索領域情報を更新する。

以上のように、本実施形態によれば、モバイル端末で取り込んだＦＡＸイメージに対してＯＣＲ画面で、履歴情報を元に選択領域の識別情報を自動決定し、可視化して表示することができる。

（実施例３）
本実施例では、第３の抽出情報送信処理について説明する。前の実施例で説明した構成や処理フローの詳細な説明は省略する。実施例２では、ＯＣＲ画面１９００表示時に予め履歴情報を元にすべての選択領域の識別情報を自動決定し、ユーザーに可視化して表示していた。本実施例では、後述のＯＣＲ画面２２００表示時に自動決定した識別情報と共に、決定したＯＣＲ結果、または送信結果のテキスト情報を表示する。

［ＯＣＲ画面（モバイル端末）］
モバイル端末１０４における第３のＯＣＲ画面２２００について図２２を用いて説明する。動的生成表示エリア２２０１は、識別情報が判別された選択領域のテキスト情報を元に動的に生成される。本実施例の例では５つの表示エリアが生成されている。電話番号表示エリア２２０２は、選択領域１９０１に対応した表示エリアである。商品コード表示エリア２２０３は、選択領域１９０２に対応した表示エリアである。数量表示エリア２２０４は、選択領域１９０５に対応した表示エリアである。商品コード表示エリア２２０５は、選択領域１９０３に対応した表示エリアである。数量表示エリア２２０６は、選択領域１９０６に対応した表示エリアである。商品コード表示エリア２２０７は、選択領域１９０４に対応した表示エリアである。数量表示エリア２２０８は、選択領域１９０６に対応した表示エリアである。電話番号修正ボタン２２０９、商品コード修正ボタン２２１０、数量修正ボタン２２１１、商品コード修正ボタン２２１２、数量修正ボタン２２１３、商品コード修正ボタン２２１４、数量修正ボタン２２１５は提示されたテキスト情報を修正したい場合に押す。各ボタンを押すと送信確認画面１５００に遷移する。遷移した送信画面の送信実行ボタン１５０４は、非表示状態になり、その代り、戻るボタン（不図示）が表示状態になる。ユーザーは本画面でテキスト情報を修正し、戻るボタンを押すことにより、ＯＣＲ画面２２００に戻ることが出来る。さらに動的生成表示エリア２２０１は、ユーザー操作により表示エリアの追加削除を行うことが出来る。

［抽出情報送信処理のフローチャート］
イメージから抽出した情報をボタン操作で送る第３の処理Ｓ５０５のフローについて図２４を用いて説明する。本フローは、モバイル端末１０４のモバイル端末画面４００でＦＡＸを表示している時にユーザーがＯＣＲボタン４０２を押したことをトリガーに開始する。

なお、既に説明したステップと同じ処理については、既に説明したステップの番号と同一の番号を付与し、特に断りが無い限り説明は省略する。

Ｓ２４０１で、情報表示部３０６は、表示エリア領域を作成する。

Ｓ２４０２で、情報表示部３０６は、表示エリア領域に送信結果、またはＯＣＲ結果のテキスト情報を設定する。

Ｓ２４０３で、Ｓ２１０３で識別情報が決定したものが２つ以上ある場合はＳ２４０４に遷移し、それ以外の場合は、Ｓ２１０４に遷移する。

Ｓ２４０４で、情報表示部３０６は、図２２のＯＣＲ画面２２００を表示する。

Ｓ２４０５で、ユーザーにより修正ボタン２２０９〜２２１５が押されると、情報表示部３０６は、図１５の送信確認画面１５００を表示する。

以上のように、本実施形態によれば、モバイル端末で取り込んだＦＡＸイメージに対してＯＣＲ画面で、履歴情報を元に選択領域の識別情報を自動決定し、識別情報に基づく種別とテキスト情報を一覧で表示することができる。

（実施例４）
本実施例では、第２のシステム構成について説明する。前の実施例で説明した構成や処理フローの詳細な説明は省略する。本実施例では、分類処理を画像形成装置で行い、その結果をモバイル端末が利用する。さらに履歴情報はサーバーに蓄積され、複数のモバイル端末から利用可能な構成について説明する。

［システム構成］
本実施形態に係る情報処理システムの一例として、ＦＡＸ受注システム３０００を例に図２５を用いて説明する。

モバイル端末１０７は、モバイル端末１０４と同様の構成を持ち、ネットワーク１００を介して互いに通信可能に接続されている。

操作履歴管理サーバー１０６は、モバイル端末１０４、１０５で行われた操作履歴情報を管理するサーバーである。

［ソフトウェア構成（画像形成装置）］
次に、画像形成装置１０１におけるソフトウェアの構成について説明する。

画像分類部２５０１は、画像分類部３１５と同様に、図１１を用いて説明したように、ＦＡＸイメージに対して予め学習処理を行った特徴量ＤＢ１１０７を用いて分類処理を行い、ＦＡＸイメージの分類を行う。

［ソフトウェア構成（モバイル端末）］
データ送受信部３０８は、操作履歴管理部３１６で発行した問い合わせを操作履歴管理サーバー１０６に要求し、情報取得、情報更新を行う。

［ソフトウェア構成（操作履歴管理サーバー１０６）］
操作履歴管理サーバー１０６の履歴管理アプリ２５００は、操作履歴管理部２５０２、ＤＢ部２５０３を持つ。操作履歴管理部２５０２はモバイル端末１０４、１０５のデータ送受信部３０８とデータの送受信を行う。ＤＢ部２５０３は操作履歴管理部２５０２からの問い合わせに応じて操作履歴Ｔａｂｌｅから情報取得、情報更新を行う。

［基本フロー］
次に、ＦＡＸ受注システム３０００の基本的な処理フローについて図２６を用いて説明する。

本フローは、画像形成装置１０１におけるＦＡＸユニットが他のＦＡＸ装置からＦＡＸイメージを受信したことをトリガーに開始する。

ステップＳ２６０１で、画像分類部２５０１は、ＦＡＸイメージを分類する。その分類情報はＦＡＸ受信書誌情報として保存する。

ステップＳ２６０２で、メイン制御部３０５は、ＦＡＸ受信書誌情報に含まれる分類情報を認識する。さらに操作履歴管理部３１６は、データ送受信部３０８を通して操作履歴管理サーバー１０６に対して各種問い合わせを行い、操作履歴情報を取得する。

ステップＳ２６０３で、に操作履歴管理部３１６は、データ送受信部３０８を通して操作履歴管理サーバー１０６に対して操作履歴情報を送信する。操作履歴管理サーバー１０６は受信した操作履歴情報をＤＢ部に格納する。

以上のように、本実施形態によれば、操作履歴を外部のサーバーに保存し、複数のモバイル端末で共有することができる。なお、操作履歴はＰＣ端末１０５や画像形成装置１０１が保存するように構成しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０４ モバイル端末

Claims (11)

1. 文書内の領域の座標と、前記領域に対応する識別情報を保存する保存手段と、
   新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成手段と、
   前記作成手段によって作成された領域の座標と、前記保存手段によって保存された領域の座標を比較する比較手段と、
   前記比較手段による比較の結果と、前記保存手段によって保存された領域に対応する識別情報に基づいて、前記作成手段によって作成された領域の座標に対応する識別情報を決定する決定手段と、
   前記決定手段によって決定された前記識別情報と、前記作成手段によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信手段と、
   前記送信手段によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行手段と、を有し、
   前記保存手段は、前記送信手段による送信の結果に基づいて、前記作成手段によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とするシステム。
2. 前記新たに受信した文書を特徴に基づいて分類する分類手段と、を有し、
   前記保存手段は、前記分類手段による分類と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
   前記決定手段は、前記比較手段の結果と、前記保存手段によって保存された前記分類と前記領域に対応する識別情報に基づいて、前記作成手段によって作成された領域の座標に対応する識別情報を決定することを特徴とする請求項１に記載のシステム。
3. 前記実行手段によって前記スクリプトが実行されることにより、ウィンドウメッセージのやりとりが行われ、システム接続アプリケーションへの情報の入力が行われることを特徴とする請求項１又は請求項２に記載のシステム。
4. 前記保存手段は、前記テキスト情報と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
   前記情報処理装置はさらに、
   前記保存手段によって保存された前記テキスト情報又は前記作成手段によって作成された領域に対する文字認識の結果を表示し、前記文字認識の結果を修正して前記テキスト情報として送信するための確認画面を表示する表示手段と、を有し、
   前記送信手段は、前記確認画面で前記文字認識の結果が修正された場合、前記決定手段によって決定された前記識別情報と、前記確認画面で修正された前記テキスト情報を送信することを特徴とする請求項１乃至３のいずれか１項に記載のシステム。
5. 前記保存手段は、前記文字認識の結果と、前記テキスト情報と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
   前記表示手段は、前記作成手段によって作成された領域に対する文字認識の結果と、前記保存手段によって保存された前記文字認識の結果が同一である場合に、前記保存手段によって保存された前記テキスト情報を表示することを特徴とする請求項４に記載のシステム。
6. コンピュータに、
   文書内の領域の座標と、前記領域に対応する識別情報を保存する保存工程と、
   新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成工程と、
   前記作成工程によって作成された領域の座標と、前記保存工程によって保存された領域の座標を比較する比較工程と、
   前記比較工程による比較の結果と、前記保存工程によって保存された領域に対応する識別情報に基づいて、前記作成工程によって作成された領域の座標に対応する識別情報を決定する決定工程と、
   前記決定工程によって決定された前記識別情報と、前記作成工程によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信工程と、
   前記送信工程によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行工程と、を実行させ、
   前記保存工程は、前記送信工程による送信の結果に基づいて、前記作成工程によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とするプログラム。
7. 前記コンピュータに、
   前記新たに受信した文書を特徴に基づいて分類する分類工程と、を実行させ、
   前記保存工程は、前記分類工程による分類と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
   前記決定工程は、前記比較工程の結果と、前記保存工程によって保存された前記分類と前記領域に対応する識別情報に基づいて、前記作成工程によって作成された領域の座標に対応する識別情報を決定することを特徴とする請求項６に記載のプログラム。
8. 前記実行工程によって前記スクリプトが実行されることにより、ウィンドウメッセージのやりとりが行われ、システム接続アプリケーションへの情報の入力が行われることを特徴とする請求項６又は請求項７に記載のプログラム。
9. 前記保存工程は、前記テキスト情報と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
   前記コンピュータにさらに、
   前記保存工程によって保存された前記テキスト情報又は前記作成工程によって作成された領域に対する文字認識の結果を表示し、前記文字認識の結果を修正して前記テキスト情報として送信するための確認画面を表示する表示工程と、を実行させ、
   前記送信工程は、前記確認画面で前記文字認識の結果が修正された場合、前記決定工程によって決定された前記識別情報と、前記確認画面で修正された前記テキスト情報を送信することを特徴とする請求項６乃至８のいずれか１項に記載のプログラム。
10. 前記保存工程は、前記文字認識の結果と、前記テキスト情報と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
    前記表示工程は、前記作成工程によって作成された領域に対する文字認識の結果と、前記保存工程によって保存された前記文字認識の結果が同一である場合に、前記保存工程によって保存された前記テキスト情報を表示することを特徴とする請求項９に記載のプログラム。
11. 文書内の領域の座標と、前記領域に対応する識別情報を保存する保存工程と、
    新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成工程と、
    前記作成工程によって作成された領域の座標と、前記保存工程によって保存された領域の座標を比較する比較工程と、
    前記比較工程による比較の結果と、前記保存工程によって保存された領域に対応する識別情報に基づいて、前記作成工程によって作成された領域の座標に対応する識別情報を決定する決定工程と、
    前記決定工程によって決定された前記識別情報と、前記作成工程によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信工程と、
    前記送信工程によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行工程と、を有し、
    前記保存工程は、前記送信工程による送信の結果に基づいて、前記作成工程によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とする制御方法。

Images