JP2017084198A

JP2017084198A - システム、プログラム及び制御方法

Info

Publication number: JP2017084198A
Application number: JP2015213560A
Authority: JP
Inventors: 満夫木村; Mitsuo Kimura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-10-30
Filing date: 2015-10-30
Publication date: 2017-05-18

Abstract

【課題】送信結果の履歴に基づいて、領域の座標を比較し、識別情報を付与することにより、より高速にシステムへ入力を行うことを目的とする。【解決手段】受信した文書に対するブロックセレクション処理で抽出された領域、および、ユーザーが指定した任意の領域に対して、領域の座標と、履歴の領域の座標を比較し、その比較結果と履歴に基づいて、それぞれの領域の座標に対応する識別情報を決定して、その領域に対する文字認識に基づくテキスト情報と決定された識別情報を送信して、送信された識別情報に基づいて特定される、テキスト情報をアプリケーションに入力するためのスクリプトを実行する。【選択図】図１７

Description

本発明は、システム、プログラム及び制御方法に関する。

従来、受信したＦＡＸを紙で出力するのではなく、イメージとしてＰＣ端末に取り込み、表示することによって、ペーパーレスを実現するシステムがある。特許文献１は、ＦＡＸにより受信された注文票をＰＣ端末で表示し、ＦＡＸに含まれる情報をシステムに入力するＦＡＸ注文票ペーパーレス入力システムに関する技術を開示している。

本明細書ではＦＡＸに含まれる情報をシステムに入力する方法として、識別情報に基づいたスクリプトを実行することでアプリケーションにＯＣＲ（光学的文字認識）で認識されたテキスト情報を入力する構成について検討する。スクリプトとは、ソースコードを記述するだけで容易に実行が可能な簡易的なプログラムである。特許文献２は、ユーザーの手動操作によって、ＯＣＲで認識されたテキスト情報に対する識別情報を特定する帳票読取システムに関する技術を開示している。

特開２００９−２０６４２号公報特開２０１５−９０６２３号公報

しかしながら、ユーザーが識別情報を毎回手動操作で特定していては操作が煩雑であり、操作にかかる時間によってシステムへの入力が遅くなる。

そこで、本発明は、送信結果の履歴に基づいて、領域の座標を比較し、識別情報を特定することにより、より高速にシステムへ入力を行うことを目的とする。

上記の目的を達成するために、本発明に係るシステムは、
文書内の領域の座標と、前記領域に対応する識別情報を保存する保存手段と、
新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成手段と、
前記作成手段によって作成される領域は、文書に対するブロックセレクション処理によって抽出される領域と、ユーザーが指定する任意の領域とを含み、
前記作成手段によって作成された領域の座標と、前記保存手段によって保存された領域の座標を比較する比較手段と、
前記比較手段による比較の結果と、前記保存手段によって保存された領域に対応する識別情報に基づいて、前記作成手段によって作成された領域の座標に対応する識別情報を決定する決定手段と、
前記決定手段によって決定された前記識別情報と、前記作成手段によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信手段と、
前記送信手段によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行手段と、を有し、
前記保存手段は、前記送信手段による送信の結果に基づいて、前記作成手段によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とする。

本発明に係るシステムによれば、送信結果の履歴に基づいて、領域の座標を比較し、識別情報を特定することにより、より高速にシステムへ入力を行うことができる。

システムの全体構成の一例を示す図である。各装置のハードウェア構成の一例を示す図である。各装置のソフトウェア構成の一例を示す図である。モバイルアプリのＵＩの一例を示す図である。システムの基本的な処理フローの一例を示す図である。メッセージのデータ構造の一例を示す図である。中継アプリで保持する情報の一例を示す図である。図５のステップＳ５０７の処理の詳細を示す図である。基幹システム接続アプリの操作画面の一例を示す図である。スクリプト実行時の処理フローの一例を示す図である。画像分類処理の一例を示す図である。座標処理の一例を示す図である。送信履歴データベースのデータ構造の一例を示す図である。モバイルアプリのＵＩの一例を示す図である。モバイルアプリのＵＩの一例を示す図である。送信履歴データベースが保持する情報の一例を示す図である。モバイルアプリの処理フローの一例を示す図である。モバイルアプリの処理フローの一例を示す図である。モバイルアプリの処理フローの一例を示す図である。座標補正処理の一例を示す図である。検索領域絞り込み処理の一例を示す図である。履歴から選択可能領域を生成する処理の一例を示す図である。

以下、本発明を実施するための形態について図面などを参照して説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。

（第１実施形態）
［システム構成］
本実施形態に係る情報処理システムの一例として、ＦＡＸ受注システムを例に説明する。

図１はＦＡＸ受注システム１０００の全体構成の一例を示す図である。

ＦＡＸ受注システム２０００は、画像形成装置１０１、ＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、端末の一例であるモバイル端末１０４、及びＰＣ端末１０５を有する。

画像形成装置１０１は、ユーザー環境に配置された装置であり、ネットワーク１００に接続されるとともに、ＦＡＸを受信するための公衆回線１１１に接続されている。ＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、モバイル端末１０４、及びＰＣ端末１０５は、ユーザー環境に配置された装置であり、ネットワーク１００を介して互いに通信可能に接続されている。

なお、図１においてＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、モバイル端末１０４、及びＰＣ端末１０５は、同一ネットワークに属しているが、これに限定されるものではない。それぞれの装置は、独立したネットワークに属しているか、又はインターネット１１０に直接接続されていても構わない。また、各サーバーは、１台で構成されていてもよいし、複数台で構成されていてもよい。

ＦＡＸ保管サーバー１０２は、画像形成装置１０１と同一のネットワークに存在するオンプレミスのＳＭＢ（ＳｅｒｖｅｒＭｅｓｓａｇｅＢｌｏｃｋ）サーバー等である。また、ＦＡＸ保管サーバー１０２は、インターネットに接続された公知の一般的なストレージサーバーであっても構わない。一般的なストレージサーバーの例としては、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＯｎｅＤｒｉｖｅ（登録商標）やＧｏｏｇｌｅ（登録商標）社のＧｏｏｇｌｅドライブなどがある。

基幹業務サーバー１０３は、特定の業務に関して、ＰＣ端末１０５で動作する基幹システム接続アプリケーションを通じて情報の入力を受け付け、処理を行うサーバーである。本発明において、基幹業務サーバー１０３が受け付ける情報、および、それに基づいて実行する処理については、規定されるものではない。また、入力元の情報がＦＡＸから抽出された情報であることを、必ずしも想定する必要はない。基幹業務サーバー１０３は、単に、ＰＣ端末１０５で動作する基幹システム接続アプリケーションを通じて情報の入力を受け付け、処理を行うという条件だけを満たせばよい。図１に示すシステム構成において、ＰＣ端末１０５が備える中継アプリケーションが、モバイル端末１０４が取り込んだＦＡＸイメージに含まれる情報を基幹業務サーバー１０３へ入力する。

［ハードウェア構成］
図２はＦＡＸ受注システム１０００を構成する各装置（画像形成装置１０１、ＦＡＸ保管サーバー１０２、基幹業務サーバー１０３、モバイル端末１０４、及びＰＣ端末１０５）のハードウェアの構成の一例を示す図である。

ＦＡＸ受注システム１０００を構成する各装置２０１は、各種のユニット（２０２〜２０７）を含んで構成される。なお、ＦＡＸ受注システム１０００を構成する各装置のハードウェア構成は同一でも構わないし、それぞれ異なっていても構わない。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０２は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０４は、各種のプログラム等を記憶するユニットである。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３は、各種の情報を記憶するユニットである。また、ＲＡＭ２０３は、ＣＰＵ２０２の一時的な作業記憶領域としても利用されるユニットである。例えば、ＣＰＵ２０２は、ＲＯＭ２０４に記憶されているプログラムをＲＡＭ２０３にロードしてプログラムを実行する。

加えて、ＣＰＵ２０２がフラッシュメモリ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｉｓｋ）といった外部記憶装置に記憶されているプログラムに基づき処理を実行する。これにより、図３に示されるようなＦＡＸ受注システム１０００を構成する各装置のソフトウェア構成及び後述するシーケンスの各ステップの処理が実現される。

なお、各装置の機能及び後述するシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現してもよい。

Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０５は、各装置に接続されているディスプレイ（不図示）にデータを送信する他、同じく各装置に接続されているポインティングデバイス（不図示）からデータを受信するユニットである。

ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）２０６は、装置をネットワーク１００に接続するためのユニットである。上述したユニットは、バス２０７を介してデータの送受信を行うことが可能に構成されている。

さらに、画像形成装置１０１は、ＦＡＸユニット（不図示）を搭載しており、バス２０７を介して各ユニットとデータを送受信することが可能に構成されている。ＦＡＸユニットは、各装置より受けたＦＡＸ制御言語をイメージに展開し不図示の公衆回線、又はインターネット１１０（ＩＰ−ＦＡＸ）を介して他のＦＡＸ装置（不図示）へ転送することができる。

ここで、画像形成装置１０１は、印刷ユニット（不図示）を更に搭載していても構わない。印刷ユニットは、バス２０７を介して各ユニットとデータを送受信することが可能に構成されている。なお、印刷ユニットは、ラスタイメージを紙などの記録媒体に記録（印刷）することが可能なユニットである。

そして、画像形成装置１０１は、スキャナユニット（不図示）を更に搭載していても構わない。スキャナユニットは、バス２０７を介して各ユニットとデータを送受信することが可能に構成されている。なお、スキャナユニットは、画像を入力することが可能なユニットである。

また、モバイル端末１０４では、Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０５にタッチパネル（不図示）が接続されている。タッチパネルは、ディスプレイ等の表示部の一例であり、出力（表示）と入力との２つの機能を備えている。

［ソフトウェア構成（全般）］
次に、ＦＡＸ受注システム１０００を構成する各装置のソフトウェアの構成について説明する。図３は、各装置のソフトウェア構成の一例を示す図である。

図３に示される各ソフトウェア（アプリケーション）における機能（モジュール部）を実現するプログラムは、各装置のＲＯＭ２０４等に記憶されている。

［ソフトウェア構成（モバイル端末）］
次に、モバイル端末１０４におけるソフトウェアの構成について説明する。なお、モバイル端末１０４は、携帯端末の一例であり、無線通信機能などの装備によって自由な場所で利用できる端末である。

モバイル端末１０４のＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）（不図示）は、後述する各モジュール（画像管理部３０１、アドレス管理部３０２、及び通知処理部３０３）を有する。

画像管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、画像管理部３０１を利用するための制御ＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）を提供している。各アプリはその制御ＡＰＩを利用することで画像管理部３０１が管理する画像やアプリケーションデータの取得や保存を行う。

アドレス管理部３０２は、氏名や電話番号、住所などのアドレス情報を管理する。アドレス管理部３０２も画像管理部３０１と同様に、各アプリが利用するための制御ＡＰＩを提供している。

通知処理部３０３は、通知サーバー（不図示）から通知情報を受信し、通知情報内のアプリのトークンを用いて通知の受信先であるアプリを特定し、アプリに対して通知情報を伝搬する。

モバイルアプリ（モバイルアプリケーション）３０４は、モバイル端末１０４のＯＳのインストール機能（例えばＡｐｐｌｅＳｔｏｒｅやＧｏｏｇｌｅＰｌａｙ）を利用して、ダウンロードしインストールすることにより実行可能なアプリケーションである。モバイルアプリ３０４は、ＦＡＸ保管サーバー１０２が管理するデータに対する各種のデータ処理を行う。

メイン制御部３０５は、モバイル端末１０４用のアプリケーション（モバイルアプリ）３０４を制御し、後述する各モジュール部（３０６〜３１７）に対する指示、及び管理を行う。

情報表示部３０６は、メイン制御部３０５からの指示に従い、モバイルアプリ３０４のユーザーインタフェース（ＵＩ）をユーザーに提供する。

図４はモバイルアプリ３０４のＵＩ（携帯端末用のＵＩ）を提供する画面の一例（モバイル端末画面４００）を示す図である。

モバイル端末画面４００は、モバイル端末１０４のタッチパネルに表示される。また、モバイル端末画面４００では、表示および操作領域４０１にＦＡＸデータが表示され、文書等に対するユーザーによる操作（ユーザー操作）を、表示されたＵＩを介して受け付ける。ＯＣＲボタン４０２は、後述のＯＣＲ画面１４００に画面遷移するボタンである。

なお、モバイルアプリ３０４のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、図に示す形態に限定されるものではなく、モバイル端末１０４の機能を実現することができる適宜の構成を採用することができる。

再び図３に戻ってモバイルアプリ３０４の各モジュールの説明を行う。

操作情報取得部３０７は、情報表示部３０６により表示されたモバイルアプリ３０４のＵＩがユーザー操作された情報を取得し、取得した情報をメイン制御部３０５に通知する。例えば、表示および操作領域４０１をユーザーが手で触れると、操作情報取得部３０７は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０５に送信する。

データ送受信部３０８は、ＦＡＸ保管サーバー１０２とデータの送信および受信を行い、送受信するデータをメイン制御部３０５とやり取りする。データ送受信部３０８は、ＦＡＸデータ操作及びＦＡＸデータ編集によるファイルの更新をＦＡＸ保管サーバー１０２に要求する。

記憶部３０９は、操作情報取得部３０７を介して、換言するならばモバイルアプリ３０４のＵＩを介して、ユーザーにより入力された設定値を保存（永続化）する。さらに記憶部３０９は、データ送受信部３０８でＦＡＸ保管サーバー１０２から受信したデータを保存する。

ＦＡＸ画像解析部３１０は、ＦＡＸイメージを解析して、レイアウト情報を生成する。レイアウト情報には、ＦＡＸイメージから抽出された矩形領域とその種別（文字、図形、線、表など）とが含まれる。

ＯＣＲ部３１１は、ＦＡＸ画像解析部３１０で抽出した矩形領域の中で、文字と判定された矩形領域、あるいは、操作情報取得部３０７で取得したユーザー操作によって指定された矩形領域に対して、ＯＣＲ（光学文字認識）処理を行う。

メッセージ生成部３１２は、ＰＣ端末１０５の中継アプリ（中継アプリケーション）３２１に送信するメッセージを生成する。メッセージには、例えば、ＯＣＲ部３１１で処理した結果やユーザーが入力した結果のテキスト情報が含まれる。

メッセージ送受信部３１３は、ＰＣ端末１０５の中継アプリ３２１に、メッセージ生成部３１２で生成したメッセージを送信し、その応答メッセージ（応答情報）を受信する。メッセージ解析部３１４は、メッセージ送受信部３１３で受信したＰＣ端末１０５の中継アプリ３２１からの応答メッセージを解析し、ＦＡＸイメージに対する処理を実行する。

画像分類部３１５は、ＦＡＸ保管サーバー１０２から受信したＦＡＸイメージに対して、予め学習処理を行った特徴量を用いて分類処理を行い、ＦＡＸイメージの分類を行う。

操作履歴管理部３１６は、ユーザーが選択した短形領域の座標情報、ＯＣＲ結果のテキスト情報、中継アプリ３２１に送信したメッセージ等をＤＢ部３１７のデータベースを用いて管理する。

ＤＢ部３１７はデータベース機能を有し、操作履歴情報を管理する。

座標処理部３１８は、データベースへ座標情報を登録する際の座標正規化処理やデータベースへの座標問い合わせ時の座標補正処理行う。

［ソフトウェア構成（ＰＣ端末）］
次に、ＰＣ端末１０５におけるソフトウェアの構成について説明する。

ＰＣ端末１０５は、ＰＣ端末１０５にインストールされたＯＳ上で複数のアプリケーションを実行することが可能である。図３では、複数のアプリケーションの一つである中継アプリ３２１と基幹システム接続アプリ（基幹システム接続アプリケーション）３３１について記載している。

なお、基幹システム接続アプリ３３１は、ユーザーからの入力を受け付け、基幹業務サーバー１０３に送信するアプリケーションである。基幹システム接続アプリ３３１の詳細については図９を用いて後述する。

中継アプリ３２１のモジュール構成について説明する。

メイン制御部３２２は、モバイルアプリ３０４と基幹システム接続アプリ３３１との間を中継する中継アプリ３２１を制御し、後述する各モジュール部（３２３〜３２６）に対する指示、管理を行う。

記憶部３２３は、ユーザーによって作成されたスクリプトを保存する。スクリプトは、モバイル端末１０４のモバイルアプリ３０４から受信したテキスト情報が含まれるメッセージにしたがって中継アプリ３２１が実行する簡単なプログラムである。詳細は後述するが、中継アプリ３２１がスクリプトを実行することによって基幹業務サーバー１０３に情報の入力が行われる。

メッセージ受信部３２４は、モバイル端末１０４のモバイルアプリ３０４からメッセージを受信する。

メッセージ解析部３２５は、メッセージ受信部３２４で受信したメッセージを解析する。

スクリプト実行部３２６は、メッセージ解析部３２５がメッセージを解析した結果、メッセージの内容に含まれる識別情報に紐付く、記憶部３２３に保存されているスクリプトを実行する。

［ソフトウェア構成（画像形成装置）］
次に、画像形成装置１０１におけるソフトウェアの構成について説明する。

画像形成装置１０１は、Ｊａｖａ（登録商標）のプラットフォーム上で複数のアプリケーションを実行する。図３では複数のアプリケーションの一つであるＦＡＸ受信アプリ３４１について記載している。以降ではこのＦＡＸ受信アプリ３４１のモジュール構成について説明する。

メイン制御部３４２は、ＦＡＸ受信アプリ３４１の各モジュールを制御し、各モジュールに対して指示し、各モジュールの管理を行う。

情報表示部３４３は、メイン制御部３４２からの指示に従い、ＦＡＸ受信アプリ３４１のＵＩをユーザーに提供する。ユーザーは、このＵＩ上でＦＡＸイメージの保存先（ＦＡＸ保管サーバー１０２）を指定することができる。

操作情報取得部３４４は、情報表示部３４３により表示されたＦＡＸ受信アプリ３４１のＵＩ上のユーザー操作を情報として取得し、取得した情報をメイン制御部３４２に通知する。

データ送受信部３４５は、ＦＡＸ保管サーバー１０２とデータの送信および受信を行う。

記憶部３４６は、情報表示部３４３及び操作情報取得部３４４を介してユーザーにより入力された設定値（例えば電話番号毎の振り分け先情報など）及び送受信するＦＡＸイメージの一時保存などを実行する。

［基本フロー］
次に、ＦＡＸ受注システム１０００の基本的な処理フローについて図５を用いて説明する。

本フローは、画像形成装置１０１におけるＦＡＸユニットが他のＦＡＸ装置からＦＡＸイメージを受信したことをトリガーに開始する。

Ｓ５０１で、画像形成装置１０１は、ＦＡＸイメージを受信する。そして、受信したＦＡＸイメージとＦＡＸ情報（送り元電話番号、ＦＡＸ受信時間などのＦＡＸヘッダ）を画像形成装置１０１内のＲＡＭ等に保存する。ＦＡＸイメージを受信したことをトリガーとして、ＦＡＸ受信アプリ３４１のメイン制御部３４２は、ＦＡＸ情報の送り元電話番号をキーにしてアドレス帳を調べ、電話番号が一致するアドレスの情報を元にＦＡＸ受信書誌情報を作成する。記憶部３４６は、ＦＡＸ受信データ（ＦＡＸイメージとＦＡＸ受信書誌情報）を保存する。

Ｓ５０２で、メイン制御部３４２は、ＦＡＸ受信データを、データ送受信部３４５を介してＦＡＸ保管サーバー１０２に送信する。

Ｓ５０３で、モバイル端末１０４のモバイルアプリ３０４のメイン制御部３０５は、ＦＡＸ保管サーバー１０２から、ＦＡＸ受信データをダウンロードする。

Ｓ５０４で、情報表示部３０６は、ＦＡＸ受信データに基づいてＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）を表示する。

Ｓ５０５で、ＦＡＸ画像解析部３１０は、ＦＡＸ受信データに含まれるＦＡＸイメージを解析してレイアウト情報を取得する。文字と認識された領域に関して、ＯＣＲ部３１１はＯＣＲ処理を行い、テキスト情報を生成する。ユーザー操作、例えばＵＩ上のボタン操作により生成したテキスト情報の送信を指示する操作をトリガーとして、メッセージ生成部３１２は、テキスト情報からＰＣ端末１０５の中継アプリ３２１に送信するメッセージを生成する。メッセージ送受信部３１３は、メッセージ生成部３１２が生成したメッセージをＰＣ端末１０５の中継アプリ３２１に送信する。

Ｓ５０６で、ＰＣ端末１０５の中継アプリ３２１のメイン制御部３２２は、モバイル端末１０４のモバイルアプリ３０４からメッセージを受信する。

Ｓ５０７で、中継アプリ３２１はスクリプトの検索と実行を行う。Ｓ５０７の詳細な処理に関しては図８を用いて後述する。

Ｓ５０８で、メイン制御部３２２は、基幹システム接続アプリ３３１から受注番号を読み取り、応答メッセージとして、モバイル端末１０４のモバイルアプリ３０４に送信する。

Ｓ５０９で、モバイル端末１０４のモバイルアプリ３０４のメイン制御部３０５は、ＰＣ端末１０５の中継アプリ３２１から受信した受注番号をＦＡＸデータの付加情報（アノテーション）として保存する。

［データ構造］
次に、モバイル端末１０４のモバイルアプリ３０４と、ＰＣ端末１０５の中継アプリ３２１との間で送受信されるメッセージについて説明する。

図６は本実施形態におけるメッセージのデータ構造の一例を示す図である。

メッセージ６０１は、ｍｅｓｓａｇｅキーとそれに対する値を含む。また、ｍｅｓｓａｇｅキーの値は、子プロパティ６０２を含む。子プロパティ６０２は、ｂｏｄｙキー、ｉｎｔｅｒｎａｌ−ｎａｍｅキー、ｄｉｓｐｌａｙ−ｎａｍｅキーを含む。ｂｏｄｙキーの値は、ＰＣ端末１０５の中継アプリ３２１がスクリプトを実行した際に、基幹システム接続アプリ３３１に入力される値（情報）である。ｉｎｔｅｒｎａｌ−ｎａｍｅキーの値は、モバイル端末１０４のモバイルアプリ３０４と、ＰＣ端末１０５の中継アプリ３２１との間で、メッセージの種類（項目）を一意に識別するための値である。ｄｉｓｐｌａｙ−ｎａｍｅキーの値は、モバイル端末１０４のモバイルアプリ３０４、および、ＰＣ端末１０５の中継アプリ３２１で表示に使用する値である。

メッセージ６０３〜６０７は、メッセージの内容をＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標）ＯｂｊｅｃｔＮｏｔａｔｉｏｎ）形式で表現した例である。メッセージ６０３は、基幹システム接続アプリ３３１への入力をクリアする際に使用する。メッセージ６０４、６０５、６０６は、それぞれ基幹システム接続アプリ３３１に、電話番号、商品コード、商品数量を入力する際に使用するメッセージである。メッセージ６０７は、メッセージ６０４、６０５、６０６で、基幹システム接続アプリ３３１に入力した値を確定し、基幹システム接続アプリに表示される注文番号を取得する際に使用するメッセージである。

［中継アプリで保持する情報］
図７はＰＣ端末１０５の中継アプリ３２１で保持する情報の一例を示す図である。

接続先情報７１１は、モバイル端末１０４との通信を開始するために使用する。接続先情報７１１は、接続先アドレスとポート番号を含み、それぞれ、モバイル端末１０４のアドレスと、モバイルアプリ３０４の待ち受けポート番号である。中継アプリ３２１は、アプリ起動時に、接続先情報７１１を使用して、モバイル端末１０４のモバイルアプリ３０４との間に、通信コネクションを確立する。スクリプトファイル情報７１２は、モバイルアプリ３０４から受信したメッセージに対して、実行するスクリプトファイル（スクリプト）を示す。スクリプトファイル情報７１２は、識別名とスクリプトファイル名を含む。識別名は、モバイルアプリ３０４から受信したメッセージに含まれるｉｎｔｅｒｎａｌ−ｎａｍｅキーの値である。接続先情報７１１、および、スクリプトファイル情報７１２は、記憶部３２３で保持される。

［中継アプリの基本フロー］
図８は図５のフローのＳ５０７の処理の詳細を示す図である。

ＰＣ端末１０５の中継アプリ３２１は、Ｓ８０１でモバイル端末１０４のモバイルアプリ３０４からのメッセージを受信する。

Ｓ８０２で、メッセージ解析部３２５は、メッセージを解析し、メッセージに含まれるｉｎｔｅｒｎａｌ−ｎａｍｅキーの値を取得する。

Ｓ８０３で、スクリプト実行部３２６は、スクリプトファイル情報７１２を参照して、ｉｎｔｅｒｎａｌ−ｎａｍｅキーに対応付けられたスクリプトファイル名を取得する。これによって、後述する図１８のＳ１８１１で送信される識別情報に基づいてスクリプトが特定され、特定されたスクリプトが実行される。

Ｓ８０４で、スクリプト実行部３２６は、スクリプトファイルを記憶部３２３から読み出し、スクリプトを実行する。実行される処理は、スクリプトファイルの内容に依存する。

Ｓ８０５で、スクリプト実行部３２６は、スクリプトの実行結果を取得する。

Ｓ８０６で、スクリプト実行部３２６は、スクリプトの実行結果に値（応答情報）が含まれているかどうかを判断し、値が含まれていなければ終了する。

Ｓ８０６で、スクリプトの実行結果に値が含まれていると判断した場合は、Ｓ８０７で、メイン制御部３２２は、その値をモバイルアプリ３０４に送信する。

［基幹システム接続アプリの画面］
図９は基幹システム接続アプリ３３１の操作画面の一例を示す図である。

本実施形態における基幹システム接続アプリ３３１は、ユーザーの入力をＧＵＩで受け付けるアプリケーションであれば、どのようなアプリケーションでもよい。本実施形態では基幹システム接続アプリ３３１は、基幹業務サーバー１０３に情報を入出力するための図９のようなＧＵＩを持つアプリケーションであることを前提として、以降の説明を行う。

なお、本実施形態では、中継アプリ３２１がスクリプトを実行することにより、以降の説明でユーザーが行う入力やボタン押下等の操作を自動化することができる。中継アプリ３２１がスクリプトを実行する処理の詳細は、図１０を用いて後述する。また、中継アプリ３２１がスクリプトを実行することで入力された情報を、ユーザーが操作画面上でさらに編集することも当然可能である。

９００は、基幹システム接続アプリ３３１のメインウィンドウである。表示欄９０１、９０２、及び９０３は、それぞれ、顧客社名表示欄、顧客名称表示欄、顧客部署表示欄である。電話番号入力欄９０５は、電話番号を入力する入力欄であり、ユーザーがＦＡＸイメージからＦＡＸの送信元電話番号を読み取って、入力する。９０４は、検索ボタンであり、検索ボタン９０４が押下されると電話番号入力欄９０５に入力された電話番号を元に、基幹業務サーバー１０３のデータベースから顧客情報を検索し、検索結果を表示欄９０１、９０２、及び９０３に表示（出力）する。

９０６は、注文入力欄である。注文入力欄９０６は、複数行から成り、（１行目のタイトル行を除く）各行は、商品コード入力欄９０７、商品名称表示欄９０８、数量入力欄９０９、単価表示欄９１０、金額表示欄９１１から成る。ユーザーは、ＦＡＸイメージから注文された商品の商品コードを読み取って、商品コード入力欄９０７に商品コードを入力する。商品コードが入力されると、基幹業務サーバー１０３のデータベースから商品情報が検索され、検索結果が同じ列の商品名称表示欄９０８、及び単価表示欄９１０に表示される。

さらに、ユーザーが、ＦＡＸイメージから注文された商品の数量を読み取って、数量入力欄９０９に数量を入力すると、単価と数量から算出された金額が同じ列の金額表示欄９１１に表示される。受注した商品が複数ある場合は、商品コード入力欄９０７への入力と、数量入力欄９０９への入力を繰り返す。

９１３は、受注発行ボタンであり、９１４は、受注番号表示欄である。ユーザーが受注番号発行ボタン９１３を押下すると、表示欄９０１〜９０５に表示されている顧客情報と、注文入力欄９０６に表示されている情報が注文情報として基幹業務サーバー１０３のデータベースとして登録される。このとき、基幹業務サーバー１０３から発行される受注番号が、受注番号表示欄９１４に表示される。９１２は、クリアボタンである。ユーザーが、クリアボタン９１２を押下することにより、メインウィンドウ９００の表示が初期化され、各表示欄が空欄となる。

［スクリプトで実行される処理のフロー］
図１０は後述するように、Ｓ８０３で電話番号用のスクリプトが特定され、図８のＳ８０４で実行される電話番号用のスクリプトが実行される際の処理フローをより詳細に示した図である。

本明細書のスクリプトは、図９で示したＧＵＩを持つ基幹システム接続アプリ３３１への入力を前提に作成している。中継アプリがスクリプトを実行することにより、ウィンドウメッセージのやりとりが行われ、ユーザーが手動で入力することなしに、基幹システム接続アプリ３３１への情報の入力を自動的に行うことができる。以降、より具体的に説明する。

図８のＳ８０３では、モバイル端末１０４のモバイルアプリ３０４から受信したメッセージのｉｎｔｅｒｎａｌ−ｎａｍｅキーの値に、ｔｅｌが設定されていた場合に、スクリプトとしてｔｅｌ．ｐｓ１が特定される。図１０はそのｔｅｌ．ｐｓ１を実行することで行われる処理を示したフローである。Ｓ１１０１で、ＰＣ端末１０５で動作する複数のアプリケーションの中から、基幹システム接続アプリ３３１が特定される。Ｓ１１０２で、基幹システム接続アプリ３３１のメインウィンドウ９００が特定される。Ｓ１１０３で、メインウィンドウ９００に表示されているＧＵＩコントロールの中から、電話番号入力欄９０５（項目）が特定される。Ｓ１１０４で、電話番号入力欄９０５に、モバイルアプリ３０４から受信したメッセージのｂｏｄｙキーの値が設定される。Ｓ１１０５で、メインウィンドウ９００に表示されているＧＵＩコントロールの中から、検索ボタン９０４が特定される。Ｓ１１０６で、検索ボタン９０４の押下が実行される。

［画像分類処理］
次に、画像分類部３１５が行うＦＡＸイメージの分類について図１１を用いて説明する。

画像分類部３１５は、学習処理部１１０１と分類処理部１１０２から構成される。画像分類部３１５は、予め学習処理部１１０１で学習処理を行い、特徴量データをＤＢ部３１７の特徴量ＤＢ１１０７に蓄えておく。さらに画像分類部３１５は、特徴量ＤＢ１１０７の情報に基づき分類処理部１１０２で分類処理を行い、分類を決定する。

一般的にイメージの特徴を表す特徴量データは、多次元のデータで表し、特徴ベクトルと呼ばれる。次元数は特徴の種類が何種類あるかを示している。

学習処理部１１０１で行う学習処理は、分類毎の複数の学習画像から特徴抽出を行い、各学習画像に対して、100次元の特徴ベクトルを算出する。さらに複数の学習画像の特徴ベクトルを元に、100次元の特徴ベクトルからその分類の中で際立った特徴を有する10次元の特徴ベクトルを決定する。この次元削減処理はフィルタと呼ばれるソフトウェアコンポーネントによって実行される。分類毎に算出した特徴ベクトル（１0次元）及びにフィルタは、ＤＢ部３１７の特徴量ＤＢ１１０７で管理する。

分類処理部１１０２で行う分類処理は、入力ＦＡＸイメージ１１０３の特徴抽出を行い、特徴ベクトル（１００次元）を算出する。入力ＦＡＸイメージ１１０３の特徴ベクトル（１００次元）に対して特徴量ＤＢ１１０７の各分類のフィルタを適用（主成分分析）し、各分類に対応した特徴ベクトル（10次元）を算出する。そして入力ＦＡＸイメージ１１０３の特徴ベクトル（10次元）と特徴量ＤＢの特徴ベクトル（10次元）を比較し、類似度判定により分類を決定する。

図１１の学習結果１１０９は、学習処理により特徴量ＤＢ１１０７に蓄えられたデータの一例を表している。特徴量ＤＢ１１０７には、分類１（１１０４）、分類２（１１０５）、分類３（１１０６）を分類可能な特徴ベクトル（１０次元）とフィルタが蓄えられている。また分類結果１１１０は、分類処理により入力画像と特徴量ＤＢ１１０７の情報を元に分類が決定した例を表している。入力ＦＡＸイメージ１１０３を入力し、分類１（１１０４）、分類２（１１０５）、分類３（１１０６）の中から入力画像の分類結果１１０８が分類１（１１０４）に判別されたことを示している。なお、画像分類部３１５が行う画像分類は、本形態に限定されるものではなく、本機能を実現することができる適宜の手法を採用することができる。

［座標処理］
次に、座標処理部３１８が行う座標正規化処理について図１２を用いて説明する。座標正規化処理は、元画像の縦横に依存しない、かつdpiが異なる場合でも対応可能にするために行うものである。ユーザーが行った送信操作の選択領域の座標情報をDB部３１７へ登録する際、また登録された操作履歴をＤＢ部３１７に問い合わせる際に行われる。まず座標系には、ディスプレイ座標（ディスプレイのどの位置）、ＦＡＸイメージ座標(ＦＡＸイメージのどの位置)、データベース登録座標がある。座標正規化処理とは、ユーザーによりディスプレイで選択された選択座標からＦＡＸイメージ座標に変換し、さらにデータベース登録座標に変換する処理のことである。データベース登録座標はＦＡＸイメージ座標の全体に対する割合に１００００を掛け合わしたものとする。

ここでは単純化のためにディスプレイ座標とＦＡＸイメージ座標は一致しており、ＦＡＸイメージ１２０１の横が１５００ｐｘ、縦が２０００ｐｘの場合で説明する。選択領域１２０２の左上座標１２０３が（Ｘ，Ｙ）＝（２００，７００）、右下座標１２０４が（４００、７５０）の場合、データベース登録座標は（１３３３、３５００）、（２６６６，３７５０）となる。以下、データベース登録座標の左上Ｘ座標をminX、右下X座標をmaxX、左上Y座標をminY、右下Y座標をmaxYとする。

［データ構造(DB)］
次に、DB部３１７の操作履歴データベース１３００について説明する。

図１３は本実施形態における操作履歴データベース１３００のデータ構造の一例を示す図である。

操作履歴データベース１３００は、送信履歴Table１３０１と送信領域Table１３０２から構成される。

送信履歴Table１３０１は、idカラム、internalnameカラム、classificationカラム、ocrresultカラム、sendmessageカラムから構成される。idカラムは送信履歴Table１３０１にレコードが追加されるたびに１インクリメンタルされる値で、TableのPrimary keyである。internalnameカラムは送信結果の識別情報を格納する。classificationカラムは、ＦＡＸイメージの分類結果（例えば図１１の１１０８）を格納する。ocrresultカラムは選択領域のOCR結果を格納する。sendmessageは送信結果（送信したテキスト情報）を格納する。

送信領域Table１３０２は、idカラム、minXカラム,maxXカラム,minYカラム,maxYカラムから構成される。minXカラムは、選択領域の左上Ｘ座標を格納する。maxXカラムは、選択領域右下X座標を格納する。minYカラムは、選択領域の左上Y座標を格納する。maxYカラムは、選択領域右下Y座標を格納する。また送信領域Table１３０２は、R-treeインデックス（多次元情報のインデックス付け）手法を使うことにより領域検索を高速に行える構成になっている。

ＳＱＬ文１３０３〜１３１０は、操作履歴データベース１３００に対する各種問い合わせＳＱＬ文を表現した例である。ＳＱＬ文１３０３は送信履歴Table１３０１を新規作成するためのＳＱＬ文である。ＳＱＬ文１３０４は送信領域Table１３０２を新規作成するためのＳＱＬ文である。ＳＱＬ文１３０３、１３０４は、アプリの初期化時に実行され、作成されたTableはDB部３１７に保存する。ＳＱＬ文１３０５は、同一分類の送信履歴があるかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０６は、同一分類で、選択座標と一致するもがあるかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０７は、同一分類で、選択座標が一致した履歴の識別情報がすべて一致するかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０８は、同一分類で、座標が一致した履歴の送信結果がすべて一致するかどうかを確認するＳＱＬ文である。ＳＱＬ文１３０９は、同一分類で、ＯＣＲ結果が一致したものがあるかどうかを確認するＳＱＬ文である。ＳＱＬ文１３１０は、分類情報をキーに送信履歴を保存するＳＱＬ文である。

［ＯＣＲ画面（モバイル端末）］
次に、モバイル端末１０４におけるＯＣＲ画面１４００について図１４を用いて説明する。

ＯＣＲ画面１４００は、モバイル端末画面４００のＯＣＲボタン４０２を押すと表示される画面である。ＯＣＲ画面表示時にＦＡＸ表示画面で表示していたＦＡＸのイメージ画像に対して、ＯＣＲ用のブロック（領域）を作成し、そのブロックに対してＯＣＲ処理する。さらにブロックのうちテキストと認識されたものを１４０９に示すように選択可能領域として、四角で囲って選択可能状態で表示する。選択可能領域１４０９は、オブジェクト認識、ＯＣＲの結果としてテキストと認識されたものが四角で囲って選択できるようになったものである。ＯＣＲ画面１４００は、すべての選択領域が履歴情報を元に識別情報が決定され、識別可能に可視化して表示している一例を表している。

ボタン表示領域１４０２は、ボタン設定画面（不図示）で設定したボタンを表示するための領域である。ボタン１４０４〜１４０６を押した後に選択可能領域を押すと選択可能領域のＯＣＲ結果を中継アプリ３２１にメッセージ送信することが出来る。図６のメッセージ６０４は、電話番号ボタンを押して送信したメッセージの例である。商品Ｃｏｄｅボタン１４０５、商品数量ボタン１４０６を押してメッセージ送信した例が、図６のメッセージ６０５、メッセージ６０６である。表示名領域１４０８は、ボタンに定義した表示名を表示する領域である。ユーザーが選択可能領域を選択すると、後述する送信確認画面１５００に遷移する。選択領域１４１０は、識別情報が「tel」と決定された選択領域である。選択領域１４１１は、識別情報が「code」と決定された選択領域である。選択領域１４１２は、識別情報が「code」と決定された選択領域である。選択領域１４１３は、識別情報が「code」と決定された選択領域である。選択領域１４１４は、識別情報が「num」と決定された選択領域である。選択領域１４１５は、識別情報が「num」と決定された選択領域である。選択領域１４１６は、識別情報が「num」と決定された選択領域である。識別情報が決定された選択領域は、識別情報毎に、例えば色を変えて表示することにより、ユーザーにより判別可能にする。

［送信確認画面（モバイル端末）］
次に、モバイル端末１０４における送信確認画面について図１５を用いて説明する。

１５００は送信確認画面である。送信確認画面１５００では、ユーザーが選択した領域のＯＣＲ結果を見て、間違いがないと判断すれば中継アプリ３２１に送信する。さらに間違いがあれば、修正あるいは送信をキャンセルするための画面である。選択済み画像表示領域１５０１は、ユーザーが選択した選択可能領域の画像を拡大して表示する。テキスト入力エリア１５０２は、選択された選択可能領域のＯＣＲ処理結果のテキスト情報、あるいは操作履歴データベース１３００から決定された送信結果情報を初期値として編集可能な入力エリアである。テキストクリアボタン１５０３は、テキスト入力エリアのテキスト値をクリアするボタンである。ＯＣＲ結果が間違っていた場合などに使用する。送信実行ボタン１５０４は、送信を実行するボタンである。ボタンを押すとメッセージが中継アプリ３２１に送信される。キャンセルボタン１５０５は、画面をキャンセルするボタンであり、ＯＣＲ画面に戻る。

［操作履歴データベースの一例］
次に、操作履歴データベース１３００が保持する情報の一例について図１６を用いて説明する。

ＦＡＸイメージ１６００に対して画像分類部３１５が、分類を「分類１」と決定し、ユーザーが選択領域１６０１〜１６０５を中継アプリ３２１に送信した場合について示している。送信履歴Ｔａｂｌｅ１３０１と送信領域Ｔａｂｌｅ１３０２の具体例が、送信履歴Ｔａｂｌｅ具体例１６０６と送信領域Ｔａｂｌｅ具体例１６０７である。

送信履歴レコード１６０８は、ＦＡＸイメージ１６００の選択領域１６０１を選択し、識別情報を「tel」、OCR結果が「080-1284-1234」であるものを送信確認画面１５００で修正し、「080-1234-1234」として送信したことを示す。また送信履歴レコード１６０９は、ＦＡＸイメージ１６００の選択領域１６０２を選択し、識別情報を「code」、OCR結果が「２３０１１１９」であるものを送信確認画面１５００で修正し、「２８０１１１９」として送信したことを示す。また送信履歴レコード１６１０は、ＦＡＸイメージ１６００の選択領域１６０３を選択し、識別情報を「code」、OCR結果が「３８９１１２０」であるものを送信確認画面１５００で修正することなくそのまま送信したことを示す。また送信履歴レコード１６１１は、ＦＡＸイメージ１６００の選択領域１６０４を選択し、識別情報を「num」、OCR結果が「3」であるものを送信確認画面１５００で修正することなくそのまま送信したことを示す。また送信履歴レコード１６１２は、ＦＡＸイメージ１６００の選択領域１６０５を選択し、識別情報を「num」、OCR結果が「3」であるものを送信確認画面１５００で修正することなくそのまま送信したことを示す。

［検索領域絞り込み処理］
次に、操作履歴管理部３１６で行う検索領域絞り込み処理について、図２１を用いて説明する。

図１４のような第2のＯＣＲ画面１４００を表示させる場合、ＦＡＸイメージに対して抽出した選択可能領域すべてに対して識別情報を決定する必要がある。そこで予め履歴情報の座標情報から検索必要領域２１０１と検索除外領域２１０２を識別しておくことにより、入力があったＦＡＸイメージ２１０３の選択可能領域から検索必要領域２１０４と検索除外領域２１０５を決定する。そうすることで検索必要領域２１０４に対してのみ識別情報を決定することで検索対象を減らすことが出来るため、表示の速度が向上する。検索必要領域２１０１と検索除外領域２１０２の識別は、メッセージ送信後に操作履歴データベースに履歴を登録するときに行う。既存の検索領域と操作履歴情報の座標情報を比較し、既存の検索領域と座標情報のＡＮＤ条件の領域を検索領域とする。

［抽出情報送信処理のフローチャート］
イメージから抽出した情報をボタン操作で送る図５の処理Ｓ５０５の詳細なフローについて図１７〜図１９を用いて説明する。

本フローは、モバイル端末１０４のモバイル端末画面４００でＦＡＸイメージを表示している時にユーザーがＯＣＲボタン４０２を押したことをトリガーに開始する。

図１７はＦＡＸイメージから抽出した情報を表示するまでの処理のフローについて説明している。

Ｓ１７０１で、ＦＡＸ画像解析部３１０は、ＦＡＸ受信データに含まれるＦＡＸイメージを解析して、ＦＡＸイメージ内における文字認識用の複数のブロックを作成する。この処理をブロックセレクション処理と呼ぶ。

Ｓ１７０２で、ＯＣＲ部３１１は、各ブロックに対してＯＣＲ処理を行い、テキスト情報を抽出する。

Ｓ１７０３で、画像分類部３１５の分類処理部１１０２は、分類処理を行い、ＦＡＸイメージを分類する。以下主に図１６のデータベースが既に作成されている状況を前提に説明する。具体的には操作履歴データベース１３００として送信履歴Ｔａｂｌｅ具体例１６０６と送信領域Ｔａｂｌｅ具体例１６０７が既に作成されている場合である。

Ｓ１７０４で、ＦＡＸイメージが分類できた場合は、Ｓ１７０５へ遷移する。ＦＡＸイメージが分類できなかった場合は、Ｓ２１０４に遷移する。

Ｓ１７０５で、操作履歴管理部３１６は、ＤＢ部３１７の操作履歴データベース１３００に対して、分類情報、例として分類１（１１０４）をキーに検索を実行し、同一分類ですでに送信した履歴情報があるかどうかを確認する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０５である。

Ｓ１７０６で、一致した履歴情報がある場合はＳ１７０７に遷移する。

Ｓ１７０７で、操作履歴管理部３１６は、図２１を用いて説明した検索領域絞り込み処理を行う。一致した履歴情報がなければＳ１７１９に遷移する。送信履歴Ｔａｂｌｅ具体例１６０６でいうと分類１（１１０４）のレコード（１６０８〜１６１２）が5つヒットするのでＳ１７０８に遷移する。

Ｓ１７０８で、操作履歴管理部３１６は、ＦＡＸイメージから作成されたブロックそれぞれに対して検索必要領域２１０４に含まれているかどうかを判断する。判断の結果、対象のブロックが検索必要領域２１０４に含まれている場合は、Ｓ１７０９へ遷移する。ブロックが検索除外領域２１０５の場合は、次のブロックへ遷移し、再度Ｓ１７０８で次のブロックに対する判断処理を行う。

Ｓ１７０９で、操作履歴管理部３１６は、座標処理部３１８で、Ｓ１８０１で選択した選択済み領域１４１０の座標情報の座標補正処理および図１２を用いて説明した座標正規化処理を行う。

ここで座標補正処理とＳ１７１０で行う内包問い合わせ、オーバーラップ問い合わせの詳細について、図２０を使って説明する。

選択済み領域１４１９の座標情報を使って操作履歴データベース１３００に問い合わせる方法として、内包問い合わせ２００１とオーバーラップ問い合わせ２００２の2種類がある。内包問い合わせ２００１とは、問い合わせ領域に対して、内包している領域のみを検索する問い合わせであり、内包問い合わせ領域２００７に対して、内包領域２００８を探す問い合わせである。内包問い合わせ２００１は、問い合わせに対する処理速度が速い反面、ヒットしない例２００３のように問い合わせに一致しないということがある。

一方、オーバーラップ問い合わせ２００２は、問い合わせ領域に対して、重なり合う領域を検索する問い合わせであり、オーバーラップ問い合わせ領域２００９に対して、オーバーラップ領域２０１０を検索する問い合わせである。オーバーラップ問い合わせ２００２は、確実にヒットする代わりに、問い合わせに対する処理速度が遅い、またノイズがヒットする可能性があるということがある。

ヒットしない例２００３は、問い合わせ領域２０１１とヒットしない領域２０１２が交差しており内包していないため、内包問い合わせにヒットしない例である。このように内包問い合わせ２００１は、少しでも座標がずれると問い合わせにヒットしない。

またヒットしない例２００４は、問い合わせ領域２０１３とヒットしない領域２０１４が内包もオーバーラップもしていないため、どちらの問い合わせに対しても検索にヒットしない例である。例えば、図１６で説明したように商品コードとして１６０２や１６０３の２つの履歴が保存してある場合に、図１４のＯＣＲ画面のように3つ目の商品コードが記載されたＦＡＸイメージを新たに読み込んだ場合を意味する。Ｓ１８０１で１４１０の代わりに選択可能領域１４１１が選択された場合に、問い合わせに一致しないということを示している。

まずヒットしない例２００３に対応するためにＳ１７０９で座標補正処理を行い、座標位置を補正する。座標補正処理の具体例を、図２０の２０００を使って説明する。ユーザーが選択した座標が図に示すように左上座標１２０３と右下座標１２０４である場合に、図に示すように補正後左上座標２００５と補正後右下座標２００６に座標を補正する。

またヒットしない例２００４に対応するために後述のＳ１７１０で、内包問い合わせ２００１で一致するのもがない場合、オーバーラップ問い合わせ２００２で再度検索を行う。

以降、再度図１７の説明を行う。

Ｓ１７１０で、操作履歴管理部３１６は、分類情報が分類１（１１０４）で、選択済み領域と操作履歴データベース１３００の座標を比較して、一致するものがあるかどうかを確認する。具体的には、まず前述の内包問い合わせ２００１を行い、一致するものがない場合、前述のオーバーラップ問い合わせを行う。この時操作履歴データベース１３００に問い合わせる内包問い合わせのＳＱＬ文は１３０６であり、オーバーラップ問い合わせのＳＱＬ文は、１３１１である。送信履歴Ｔａｂｌｅ具体例１６０６でいうとレコード１６０８が1つヒットする。

Ｓ１７１１で、一致した履歴情報があれば、Ｓ１７１２へと遷移する。一致した履歴がなければ、次のブロックへ遷移し、再度Ｓ１７０８で次のブロックに対する判断処理を行う。

Ｓ１７１２で、一致した履歴の識別情報がすべて同一であれば、Ｓ１７１３に遷移する。一致した履歴の識別情報がすべて同一でなければ、次のブロックへ遷移し、再度Ｓ１７０８で次のブロックに対する判断処理を行う。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０７である。送信履歴Ｔａｂｌｅ具体例１６０６でいうと、識別情報はすべて「tel」であるので、すべて同一であると判断し、Ｓ１７１３に遷移する。

Ｓ１７１３で、操作履歴管理部３１６は、各ブロックの識別情報を決定する。さらに情報表示部３０６は、ＦＡＸイメージに対してブロックの領域の色を変える。さらに情報表示部３０６は、識別情報毎に色を変える。またこれら領域を選択可能状態にする。

すべてのブロックに対してＳ１７０８〜Ｓ１７１２の処理が終了したら、Ｓ１７１４で、操作履歴管理部３１６は、ブロックに一致しなかった履歴を抽出する。

Ｓ１７１５で、抽出した履歴の中で、領域が一部、または、全部が重なっている履歴に対して、それらの領域すべてを包含するような一つの領域（矩形）を生成する。

図２２はＳ１７１５の処理の一例を示した図である。

２２０５、２２０９は、ＦＡＸイメージ２２００に対して、Ｓ１７１４で抽出した送信履歴と送信領域の具体例である。この例では、ブロックに一致しなかった三つの履歴２２０６、２２０７、２２０８が抽出されている。これらの履歴の領域をＦＡＸイメージ２２００に図示したのが、２２０１、２２０２、２２０３である。図を見てわかる通り、これら三つの領域は互いに重なっている。この三つの領域に対して、これらをすべて包含するような領域として生成された領域が２２０４である。２２０４の左上座標は、送信領域２２０９のminXの最小値とminYの最小値、つまり、ｘ座標が700、ｙ座標が3450である。２２０４の右下座標は、送信領域２２０９のmaxXの最大値とmaxYの最大値、つまり、x座標が7710、y座標が4090である。

Ｓ１７１６で、生成した領域それぞれに対して、領域を包含する履歴の識別情報がすべて同一であれば、Ｓ１７１７に遷移する。領域を包含する履歴の識別情報がすべて同一でなければ、Ｓ１７１８に遷移する。

Ｓ１７１７で、操作履歴管理部３１６は、領域の識別情報を決定する。さらに情報表示部３０６は、ＦＡＸイメージに対して領域の色を変える。さらに情報表示部３０６は、識別情報毎に色を変える。また領域を選択可能状態にする。

Ｓ１７１８で、ＯＣＲ部３１１は、選択可能領域に対してＯＣＲ処理を行い、テキスト情報を抽出する。Ｓ１７１５で生成した領域すべてに対してＳ１７１６〜Ｓ１７１８の処理が終了したら、Ｓ１７１９に遷移する。

Ｓ１７１９で、情報表示部３０６は、ＯＣＲ画面１４００を表示し、終了する。

図１８はユーザーによりＯＣＲ画面１４００で選択された選択可能領域に関する情報を送信するまでの処理のフローを説明している。

Ｓ１８０１で、ユーザーによりＯＣＲ画面１４００で送信したい選択可能領域が選択されると、情報表示部３０６は、選択された選択可能領域を選択状態にする。選択状態になることによって、選択済み領域が選択可能領域とは識別可能に表示される。

Ｓ１８０２で、操作履歴管理部３１６は、Ｓ１７１１で一致した履歴の送信結果（sendmessage）を確認する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０８である。

Ｓ１８０３で、送信結果(sendmessage)がすべて同一であれば、Ｓ１８０４へ遷移する。同一でなければＳ１８０５へ遷移する。

Ｓ１８０４で、操作履歴管理部３１６は、送信結果を表示することを決定する。送信履歴Ｔａｂｌｅ具体例１６０６でいうとレコード１６０８の送信結果「080-1234-1234」に決定する。

Ｓ１８０５で、操作履歴管理部３１６は、選択済み領域１４１０のＯＣＲ結果と一致するテキストが操作履歴データベースのＯＣＲ結果(ocrresult)にあるかを確認する。一致するものがあれば、Ｓ１８０６に遷移する。なければＳ１８０９に遷移する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３０９である。

Ｓ１８０６で、操作履歴管理部３１６は、複数の送信結果があるかどうかを確認する。複数の送信結果の場合はＳ１８０７へ遷移する。複数の送信結果でない場合は、Ｓ１８０８へ遷移する。

Ｓ１８０７で、操作履歴管理部３１６は、送信回数の多い送信結果を表示することを決定する。

Ｓ１８０８で、操作履歴管理部３１６は、送信結果を表示することを決定する。

Ｓ１８０９で操作履歴管理部３１６は、選択済み領域１４１０のＯＣＲ結果を表示することを決定する。

Ｓ１８１０で、メイン制御部３０５は、操作履歴管理部３１６から受け取った情報を元に、送信確認画面１５００を表示する。選択済み画像表示領域１５０１の画像は、選択済み領域１４１０の画像である。またテキスト入力エリア１５０２の値は、上記ステップで決定した送信結果またはＯＣＲ結果を格納する。選択状態ボタン１５０６は、電話番号ボタン１４０４が選択状態になっていることを表している。Ｓ１７１３で識別情報が決定していない場合は、ユーザーが識別情報を判断し、ボタン１４０４〜１４０６を選択する必要がある。

Ｓ１８１１で、ユーザーにより送信実行ボタン１５０４が押されたことをトリガーとして、メッセージ生成部３１２は、ＰＣ端末１０５の中継アプリ３２１に送信するメッセージを生成する。具体的には、テキスト入力エリア１５０２の値「080-1234-1234」と、電話番号ボタン１４０４に設定されている識別情報「tel」を送信するメッセージである。この時生成されたメッセージは、図６のメッセージ６０４である。さらにメッセージ送受信部３１３が、中継アプリ３２１に対してメッセージを送信する。これによって、Ｓ１７１３で決定された識別情報と、Ｓ１７０１で作成されたブロックに対する文字認識に基づくテキスト情報が送信される。

Ｓ１８１２で、メイン制御部３０５は送信履歴を操作履歴データベース１３００に保存する。この時操作履歴データベース１３００に問い合わせるＳＱＬ文は１３１０である。これによって、モバイルアプリ３０４の送信結果に基づいて、文書内の領域の座標と、領域に対応する識別情報が保存される。

Ｓ１８１３で、操作履歴管理部３１６は、送信履歴座標が既存の検索領域の枠内に含まれるかを確認し、枠外の場合は検索領域情報を更新し、終了する。

図１９はユーザー操作によりＯＣＲ画面１４００で指定された領域に関する情報を送信するまでの処理のフローを説明している。ここで、ユーザー操作により指定される任意の領域とは、ＦＡＸイメージに対してブロックセレクション処理を行った結果、ブロックとして抽出されなかった領域である。なお、既に説明したステップと同じ処理については、既に説明したステップの番号と同一の番号を付与し、特に断りが無い限り説明は省略する。

Ｓ１９０１で、ユーザー操作によりＯＣＲ画面１４００で任意の領域が指定されると、情報表示部３０６は、指定された領域を選択状態にする。選択状態になることによって、選択済み領域が選択可能領域とは識別可能に表示される。

Ｓ１９０２で、ＯＣＲ部３１１は、指定された領域に対してＯＣＲ処理を行い、テキスト情報を抽出する。

以上のように、本実施形態によれば、モバイル端末で取り込んだＦＡＸイメージのＯＣＲ結果、または履歴情報の送信結果のテキスト情報は、履歴情報を元に自動的に決定した識別情報とともにＰＣ端末の中継アプリに送信される。中継アプリが、識別情報により特定されるスクリプトを実行することによって、ユーザーのシステムへの入力操作を自動化することができる。

また、ＦＡＸイメージに対するブロックセレクション処理で、ブロックとして認識されなかった領域に関しても、履歴情報を元に領域を生成して、選択可能な領域としてユーザーに提示することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０１画像形成装置、１０２ＦＡＸ保管サーバー、１０３基幹業務サーバー、
１０４モバイル端末、１０５ＰＣ端末

Claims

文書内の領域の座標と、前記領域に対応する識別情報を保存する保存手段と、
新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成手段と、
前記作成手段によって作成される領域は、文書に対するブロックセレクション処理によって抽出される領域と、ユーザーが指定する任意の領域とを含み、
前記作成手段によって作成された領域の座標と、前記保存手段によって保存された領域の座標を比較する比較手段と、
前記比較手段による比較の結果と、前記保存手段によって保存された領域に対応する識別情報に基づいて、前記作成手段によって作成された領域の座標に対応する識別情報を決定する決定手段と、
前記決定手段によって決定された前記識別情報と、前記作成手段によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信手段と、
前記送信手段によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行手段と、を有し、
前記保存手段は、前記送信手段による送信の結果に基づいて、前記作成手段によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とするシステム。
前記作成手段によって作成される領域は、前記保存手段によって保存された領域で、かつ、文書に対するブロックセレクション処理によって抽出されなかった領域を含むことを特徴とする請求項１に記載のシステム。
前記新たに受信した文書を特徴に基づいて分類する分類手段と、を有し、
前記保存手段は、前記分類手段による分類と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
前記決定手段は、前記比較手段の結果と、前記保存手段によって保存された前記分類と前記領域に対応する識別情報に基づいて、前記作成手段によって作成された領域の座標に対応する識別情報を決定することを特徴とする請求項１又は請求項２に記載のシステム。
前記実行手段によって前記スクリプトが実行されることにより、ウィンドウメッセージのやりとりが行われ、システム接続アプリケーションへの情報の入力が行われることを特徴とする請求項１乃至請求項３の何れか一項に記載のシステム。
前記保存手段は、前記テキスト情報と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
前記情報処理装置はさらに、
前記保存手段によって保存された前記テキスト情報又は前記作成手段によって作成された領域に対する文字認識の結果を表示し、前記文字認識の結果を修正して前記テキスト情報として送信するための確認画面を表示する表示手段と、を有し、
前記送信手段は、前記確認画面で前記文字認識の結果が修正された場合、前記決定手段によって決定された前記識別情報と、前記確認画面で修正された前記テキスト情報を送信することを特徴とする請求項１乃至請求項４の何れか一項に記載のシステム。
コンピュータに、
文書内の領域の座標と、前記領域に対応する識別情報を保存する保存工程と、
新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成工程と、
前記作成工程によって作成される領域は、文書に対するブロックセレクション処理によって抽出される領域と、ユーザーが指定する任意の領域とを含み、
前記作成工程によって作成された領域の座標と、前記保存工程によって保存された領域の座標を比較する比較工程と、
前記比較工程による比較の結果と、前記保存工程によって保存された領域に対応する識別情報に基づいて、前記作成工程によって作成された領域の座標に対応する識別情報を決定する決定工程と、
前記決定工程によって決定された前記識別情報と、前記作成工程によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信工程と、
前記送信工程によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行工程と、を実行させ、
前記保存工程は、前記送信工程による送信の結果に基づいて、前記作成工程によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とするプログラム。
前記作成工程によって作成される領域は、前記保存工程によって保存された領域で、かつ、文書に対するブロックセレクション処理によって抽出されなかった領域を含むことを特徴とする請求項６に記載のプログラム。
前記コンピュータに、
前記新たに受信した文書を特徴に基づいて分類する分類工程と、を実行させ、
前記保存工程は、前記分類工程による分類と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
前記決定工程は、前記比較工程の結果と、前記保存工程によって保存された前記分類と前記領域に対応する識別情報に基づいて、前記作成工程によって作成された領域の座標に対応する識別情報を決定することを特徴とする請求項６又は請求項７に記載のプログラム。
前記実行工程によって前記スクリプトが実行されることにより、ウィンドウメッセージのやりとりが行われ、システム接続アプリケーションへの情報の入力が行われることを特徴とする請求項６乃至請求項８の何れか一項に記載のプログラム。
前記保存工程は、前記テキスト情報と、前記文書内の領域の座標と、前記識別情報を対応付けて保存し、
前記コンピュータにさらに、
前記保存工程によって保存された前記テキスト情報又は前記作成工程によって作成された領域に対する文字認識の結果を表示し、前記文字認識の結果を修正して前記テキスト情報として送信するための確認画面を表示する表示工程と、を実行させ、
前記送信工程は、前記確認画面で前記文字認識の結果が修正された場合、前記決定工程によって決定された前記識別情報と、前記確認画面で修正された前記テキスト情報を送信することを特徴とする請求項６乃至請求項９の何れか一項に記載のプログラム。
文書内の領域の座標と、前記領域に対応する識別情報を保存する保存工程と、
新たに受信した文書から、受信した文書内における文字認識用の複数の領域を作成する作成工程と、
前記作成工程によって作成される領域は、文書に対するブロックセレクション処理によって抽出される領域と、ユーザーが指定する任意の領域とを含み、
前記作成工程によって作成された領域の座標と、前記保存工程によって保存された領域の座標を比較する比較工程と、
前記比較工程による比較の結果と、前記保存工程によって保存された領域に対応する識別情報に基づいて、前記作成工程によって作成された領域の座標に対応する識別情報を決定する決定工程と、
前記決定工程によって決定された前記識別情報と、前記作成工程によって作成された領域に対する文字認識に基づくテキスト情報を送信する送信工程と、
前記送信工程によって送信された前記識別情報に基づいて、テキスト情報をアプリケーションに入力するためのスクリプトを特定し、特定されたスクリプトを実行する実行工程と、を有し、
前記保存工程は、前記送信工程による送信の結果に基づいて、前記作成工程によって作成された領域の座標と、前記領域に対応する識別情報を保存することを特徴とする制御方法。
前記作成工程によって作成される領域は、前記保存工程によって保存された領域で、かつ、文書に対するブロックセレクション処理によって抽出されなかった領域を含むことを特徴とする請求項１１に記載の制御方法。