JP2012090061A - ワークフロー実行装置、プレビュー作成方法及びプログラム - Google Patents

Abstract

【課題】ワークフローにおいて、各サービス実行手段の実行結果のプレビューの表示形態を統一し、各実行結果の確認を容易にする。
【解決手段】本発明に係るワークフロー実行装置は、ワークフロー実行手段と、第１のデータを構成する第１の構成要素及び第１の位置情報を第１のプレビュー特性として抽出する第１のプレビュー特性抽出手段と、第２データを構成する第２の構成要素及び第２の位置情報を第２のプレビュー特性として抽出する第２のプレビュー特性抽出手段と、プレビュー特性を管理するプレビュー特性管理手段と、第１のプレビュー特性において処理対象となった第１の構成要素に代えて処理結果である第２の構成要素を挿入し、第１の位置情報と第２の構成要素とを対応付け第３のプレビュー特性を生成するプレビュー特性生成手段と、プレビュー特性に基づいてプレビュー画像を作成するプレビュー作成手段を有する。
【選択図】図１０

Description

本発明は、ワークフロー実行装置、プレビュー作成方法及びプログラムの分野に関する。

近年、ネットワーク上において提供される各サービス実行手段を複数組み合わせ、一連のワークフローとして処理を構築、実行するワークフロー実行システムが知られている。従来、ローカル環境においては、ユーザは例えば自分の持っている画像形成装置（以下、MFP：Multi-Function Peripheralともいう）が搭載する機能しか利用することができなかった。しかし近年、インターネット等を通じて提供されるサービスが増えてきており、ネットワーク上のサービスプロバイダが提供するサービス実行手段を、自分の持っているＭＦＰの機能の如く利用できるようになってきた。

例えば、ユーザはＭＦＰにて文書をスキャンする。ＭＦＰは自装置でスキャンした画像データをネットワーク上のサービスプロバイダが提供するＯＣＲサービス実行手段に転送する。ＭＦＰはＯＣＲ処理後のテキストデータを今度はネットワーク上のサービスプロバイダが提供する英語翻訳サービス実行手段に転送する。ＭＦＰは翻訳処理後のテキストデータに対し画像処理を加えてから、自装置で印刷出力する。このようにＭＦＰ装置自体はＯＣＲ及び英語翻訳機能を有していなくとも、ネットワーク上において提供される各サービス実行手段を複数組み合わせ、一連のワークフローとして処理を実行することができる。

これに関する技術として特許文献１には、ネットワーク上のサービスプロバイダから提供されている機能を、あたかも自分の持っている画像形成装置の機能であると表示して、機能の選択、実行を行うという目的で、ユーザ環境における画像形成装置と、各種サービスの提供を行うプロバイダ環境とがインターネットで接続されたシステムが開示され、ネットワーク環境で接続されたサービスの処理結果をユーザ環境における画像形成装置でプレビューとして表示する構成や、ネットワーク上で提供されているサービスがワークフローのような工程管理処理であってもよいという構成が開示されている。

しかしながら、従来のワークフロー実行システムにおいてネットワーク上で提供されるサービスを複数組み合わせてワークフローとして構築、実行した際に、ネットワーク上で提供されるサービス実行手段の結果を見るプレビュー機能では、各サービス実行手段でプレビューの見せ方が異なることとなる。つまり、ユーザはワークフロー内のそれぞれ各サービス実行手段の処理結果のプレビューを見ることができるが、サービス実行処理は、それぞれのサービス実行手段が実行しているため、その実行処理結果として表示されるプレビューの見せ方、見え方が異なる場合がある。

具体的に図１を参照する。上記のＭＦＰの例でいえば、スキャン結果のプレビューはＭＦＰ自体の機能により実現されたものであるため、そのプレビューの見え方は見やすい。しかしＯＣＲ結果のプレビューや英語翻訳プレビューはＭＦＰ自体の機能により実現されたものでないため、そのプレビューの見え方も同じフォーマットで見えるとは限らない。またプレビュー表示自体が可能であるとも限らない（即ちサービスプロバイダの返答する処理結果に依存する）。

そのため、各サービス実行手段のプレビューを比較して、ワークフロー内の各サービス実行手段の処理結果を段階的に確認したい場合に、プレビューの比較が容易ではなく処理結果を確認しづらいという問題があった。

上述の特許文献１においては、ネットワーク上でサービスプロバイダが提供する処理機能の処理結果をプレビューで見ることができるものの、サービス実行手段毎でプレビューの見せ方が異なるために、サービス実行手段ごとのプレビューを比較してワークフロー内の各サービス実行手段の処理結果の確認をしたい場合、やはりプレビューの比較が容易ではなく処理結果を確認しづらいという問題がある。

本発明は上記のような問題に鑑み提案されたものであり、その目的とするところは、異なる提供者により提供される複数のサービス実行手段を組み合わせて実現されるワークフローにおいて、各サービス実行手段の実行結果のプレビューの表示形態を統一し、各実行結果の確認を容易にするワークフロー実行装置、プレビュー作成方法及びプログラムを提供することにある。

そこで上記課題を解決するため、本発明に係るワークフロー実行装置は、複数のサービス提供手段とネットワークを介し接続されたワークフロー実行装置であって、前記サービス提供手段による処理を組み合わせて実行されるワークフローを実行するワークフロー実行手段と、第１のデータを解析し、該第１のデータを構成する第１の構成要素及び該構成要素の第１の位置情報を第１のプレビュー特性として抽出する第１のプレビュー特性抽出手段と、前記サービス提供手段により前記第１のデータが処理された処理結果である第２データを解析し、該第２データを構成する第２の構成要素及び該構成要素の第２の位置情報を第２のプレビュー特性として抽出する第２のプレビュー特性抽出手段と、前記プレビュー特性を保存し管理するプレビュー特性管理手段と、前記プレビュー特性管理手段から前記第１のプレビュー特性と前記第２のプレビュー特性とを取得し、前記第１のプレビュー特性において、前記サービス提供手段による処理対象となった第１の構成要素に代えて前記サービス提供手段による処理結果である第２の構成要素を挿入し、第１の位置情報と第２の構成要素とを対応付けることにより第３のプレビュー特性を生成するプレビュー特性生成手段と、前記プレビュー特性に基づいてプレビュー画像を作成するプレビュー作成手段とを有することを特徴とする。

また上記課題を解決するため、前記ワークフロー実行装置は、前記サービス提供手段により前記第２のデータが処理された処理結果である第３データを解析し、該第３データを構成する第３の構成要素及び該構成要素の第３の位置情報を第３のプレビュー特性として抽出する第３のプレビュー特性抽出手段を有し、前記プレビュー特性生成手段は、前記プレビュー特性管理手段から前記第２のプレビュー特性と前記第３のプレビュー特性とを取得し、前記第２のプレビュー特性において、前記サービス提供手段による処理対象となった第２の構成要素に代えて前記サービス提供手段による処理結果である第３の構成要素を挿入し、第２の位置情報と第３の構成要素とを対応付けることにより第４のプレビュー特性を生成することを特徴とする。

また上記課題を解決するため、前記ワークフロー実行装置は、前記プレビュー特性生成手段は、挿入した第２の構成要素に所定フラグを付し、前記プレビュー作成手段は、前記第３プレビュー特性に基づいてプレビュー画像を作成するとき、所定フラグが付された第２の構成要素に対し強調表示を付けてプレビュー画像を作成することを特徴とする。

また上記課題を解決するため、前記ワークフロー実行装置は、前記構成要素は、処理結果データを構成する画像コンテンツ、文字コンテンツ、音声コンテンツ、動画コンテンツのいずれかであることを特徴とする。

また上記課題を解決するため、前記ワークフロー実行装置は、前記プレビュー特性管理手段は、前記プレビュー特性をスタイルシートにより管理することを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。

本発明によれば、異なる提供者により提供される複数のサービス実行手段を組み合わせて実現されるワークフローにおいて、各サービス実行手段の実行結果のプレビューの表示形態を統一し、各実行結果の確認を容易にするワークフロー実行装置、プレビュー作成方法及びプログラムを提供することができる。

従来のワークフロー内の処理結果のプレビュー例を示す。 本実施形態に係るネットワーク構成図である。 ワークフロー実行サーバ１０の一実施形態の主要構成を示すハードウェア構成図である。 本実施形態に係る各装置の主要機能構成を示す機能ブロック図である。 ワークフロー実行サーバ１０の情報処理の概要を示す。 ワークフロー実行サーバ１０の情報処理の概要を示す。 本実施形態に係るワークフロー実行サーバ１０の情報処理を説明するシーケンス図である。 プレビュー特性抽出を説明する図である。 音声及び動画のプレビュー特性抽出を説明する図である。 プレビュー特性生成を説明する図（その１）である。 プレビュー特性生成を説明する図（その２）である。 プレビュー特性生成を説明する図（その３）である。 スタイルシートによるプレビュー特性の具体的保存例を示す。

以下、本発明を実施するための形態を実施形態において図面を用いて説明する。

[システム構成]
（ネットワーク構成）
はじめに、具体的な発明の内容を説明する前に、本発明を実施するにあたっての全体構成について説明する。図２は、本実施形態に係るネットワーク構成図である。図に示されるように、ワークフロー実行サーバ１０、ＰＣ（Personal Computer）２０、ＭＦＰ３０、ＯＣＲ（Optical Character Recognition）サーバ４０、翻訳サーバ５０が、ネットワーク６０を介して接続されている。

ワークフロー実行サーバ１０は、ユーザのＰＣ２０からの指示を受け付けて、ネットワーク６０上のサービスプロバイダから提供される各サービスを組み合わせ、一連のワークフローとして処理を構築、実行するサーバである。本実施形態に係るワークフローは、ＰＣ２０から入力された文書データ（画像領域及び文字画像領域から構成）に対し、「ＯＣＲ処理」を実行し、「翻訳処理」を実行し、「画像処理」を経て「印刷処理」を実行するものとする。

ＰＣ２０は、ワークフロー実行サーバ１０に対し実行したい処理を指示する。例えばユーザはＰＣ２０を操作してワークフロー実行サーバ１０にアクセスすると、提供可能な処理メニューが表示され、ユーザはこの中から一又は複数の処理を選択する。処理が複数の処理で構成される場合には、その順序指定や具体的な詳細設定（例えばパラメータ指示）を行ってから処理を指示する。

ＭＦＰ３０は、ファックス、プリンタ、コピーおよびスキャナなどの各装置の機能を１つの筐体内に収納した画像形成装置である。ＭＦＰは、１つの筐体内に表示部、印刷部および撮像部などを設けると共に、ファックス、プリンタ、コピーおよびスキャナにそれぞれ対応する４種類のアプリケーションを設け、そのアプリケーションを切り替えることより、ファックス、プリンタ、コピーおよびスキャナとして動作させるものである。本実施形態においては、サービス提供手段としての役割を有し、上述のワークフローでは、入力データに対し「画像処理」、「印刷処理」を実行する。

ＯＣＲサーバ４０は、光学文字認識（ＯＣＲ）により文書画像を読み取ってコンピュータが編集可能なテキスト形式に変換するサーバである。従来のＯＣＲ技術によればよく、本実施形態においては、サービス提供手段としての役割を有し、上述のワークフローでは、入力データに対し「ＯＣＲ処理」を実行する。

翻訳サーバ５０は、入力された入力データ（テキスト）を読み取って指定言語へ翻訳、変換するサーバである。従来の翻訳技術によればよく、本実施形態においては、サービス提供手段としての役割を有し、上述のワークフローでは、入力データに対し「翻訳処理」を実行する。

ネットワーク６０は、有線、無線を含むネットワークである。本実施形態において、ワークフロー実行サーバ１０、ＰＣ２０及びＭＦＰ３０は、同一ローカル・エリア・ネットワーク（ＬＡＮ）６０上に接続され、ＯＣＲサーバ４０及び翻訳サーバ５０は、外部のサービスプロバイダに提供されるため、例えばインターネット・ネットワーク６０に接続される。

なおいうまでもなく本図のネットワーク構成はあくまで一例であり、ネットワーク上いずれかに接続され通信可能な限りいずれに配置されてもよい。なおまた本実施形態に係るワークフロー実行サーバ１０は例えばＭＦＰ３０が兼ねてもよい。この場合ユーザはＭＦＰ３０をワークフロー実行サーバとして扱い、ＭＦＰ３０はネットワーク６０上のサービスプロバイダから提供される各サービスを組み合わせ、一連のワークフローとして処理を構築、実行できる。このとき例えばプレビューはＭＦＰ３０のタッチパネル上で確認できる。

（ハードウェア）
ここで、ワークフロー実行サーバ１０のハードウェア構成について簡単に説明しておく。図３は、ワークフロー実行サーバ１０の一実施形態の主要構成を示すハードウェア構成図である。ワークフロー実行サーバ１０は、主要な構成として、ＣＰＵ１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、補助記憶装置１０４、記憶媒体読取装置１０５、入力装置１０６、表示装置１０７、及び通信装置１０８を含む構成である。

ＣＰＵ１０１は、マイクロプロセッサ及びその周辺回路から構成され、装置全体を制御する回路である。また、ＲＯＭ１０２は、ＣＰＵ１０１で実行される所定の制御プログラム（ソフトウェア部品）を格納するメモリであり、ＲＡＭ１０３は、ＣＰＵ１０１がＲＯＭ１０２に格納された所定の制御プログラム（ソフトウェア部品）を実行して各種の制御を行うときの作業エリア（ワーク領域）として使用するメモリである。

補助記憶装置１０４は、汎用のＯＳ（Operating System）、各種プログラムを含む各種情報を格納する装置であり、不揮発性の記憶装置であるＨＤＤ（Hard Disk Drive）などが用いられる。

入力装置１０６は、ユーザが各種入力操作を行うための装置である。入力装置１０６は、マウス、キーボード、表示装置１０７の表示画面上に重畳するように設けられたタッチパネルスイッチなどを含む。表示装置１０７は、各種データを表示画面に表示する装置である。例えば、ＬＣＤ(Liquid Crystal Display)、ＣＲＴ(Cathode Ray Tube)などから構成される。

通信装置１０８は、ネットワーク６０を介して他の機器との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。

（機能）
図４は、本実施形態に係る各装置の主要機能構成を示す機能ブロック図である。以下、装置ごとに説明する。

ワークフロー実行サーバ１０：
ワークフロー実行サーバ１０は、ワークフロー実行部１１１、通信部１１２、プレビュー特性抽出部１１３、プレビュー特性管理部１１４、プレビュー特性生成部１１５、プレビュー作成部１０６を含み構成される。

ワークフロー実行部１１１は、ＭＦＰ３０、ＯＣＲサーバ４０、翻訳サーバ５０などの、複数のサービス提供手段の組み合わせにより構成されるワークフローを実行する。また例えば各サービスの実行順序や実行するサービス内容（処理内容）等を含め、ワークフロー全般を管理制御する機能を担う。

通信部１１２は、ネットワーク６０を介し他装置との通信を行う。

プレビュー特性抽出部１１３は、入力データや、入力データがサービス提供手段により処理された処理結果データを解析し、入力データや処理結果データを構成する構成要素（例えばコンテンツ）及び該構成要素の位置情報をプレビュー特性として抽出する。このプレビュー特性の詳細については後述する。

プレビュー特性管理部１１４は、プレビュー特性を管理（記憶）する。管理方法は様々であるが、例えば後述のスタイルシート等で管理できる。

プレビュー特性生成部１１５は、プレビュー特性管理部１１４から、２つのプレビュー特性を取得する。例えば、入力データに基づく第１のプレビュー特性と、あるサービス提供手段により処理された処理結果データに基づく第２のプレビュー特性とを取得する。そして第１のプレビュー特性において、サービス提供手段による処理対象となった第１の構成要素に代えてサービス提供手段による処理結果である第２の構成要素を挿入し、第１の位置情報と第２の構成要素とを対応付けることにより新たなプレビュー特性を生成する。この点詳細は後述する。

プレビュー作成部１０６は、プレビュー特性に基づいてプレビュー画像を作成する。
プレビュー特性は、処理結果データに基づくものであるから、プレビュー特性に基づいて処理結果データを反映したプレビュー画像を作成できる。

ＰＣ２０：
通信部２０１は、ネットワーク６０を介し他装置との通信を行う。

プレビュー表示部２０２は、ワークフロー実行サーバ１０から送信されてくるプレビュー画像を表示する。例えばＰＣ２０の表示装置により実現される。

ＰＣ３０：
通信部３０１は、ネットワーク６０を介し他装置との通信を行う。

画像処理部３０２は、クライアント（本実施形態ではワークフロー実行サーバ１０）からの要求を受けて入力されたデータに対し所定の画像処理を行う。

印刷処理部３０２は、クライアントからの要求を受けて入力されたデータに対し印刷処理を行う。印刷処理により印刷用紙に画像が転写され排紙される。

ＯＣＲサーバ４０：
通信部４０１は、ネットワーク６０を介し他装置との通信を行う。
ＯＣＲ処理部４０２は、クライアント（本実施形態ではワークフロー実行サーバ１０）からの要求を受けて入力されたデータに対しＯＣＲ処理を行う。ＯＣＲ処理部４０２は入力として文字画像データを受付け、出力として文字テキストデータを出力する。文字画像以外の箇所は処理しない。

翻訳サーバ５０：
通信部５０１は、ネットワーク６０を介し他装置との通信を行う。

翻訳処理部５０２は、クライアント（本実施形態ではワークフロー実行サーバ１０）からの要求を受けて入力されたデータに対し翻訳処理を行う。翻訳処理部５０２は入力として文字テキストデータ（Ａ言語）を受付け、出力として文字テキストデータ（Ｂ言語）を出力する。文字テキスト以外の箇所は処理しない。

以上本図の機能構成は、本発明を説明するにあたっての主要機能構成を示したものであり、これ以外にも各装置それぞれの機能を有していることは言うまでもない。また以上これらの各機能は、実際には各装置のＣＰＵが実行するプログラムによりコンピュータに実現させるものである。

[情報処理]
（概要）
次に、本実施形態に係るワークフロー実行サーバ１０の情報処理について説明する。

図５、６は、ワークフロー実行サーバ１０の情報処理の概要を示す。ユーザによりＰＣ２０から処理すべきワークフローの実行が指示される。ＰＣ２０からは、ワークフローを構成するサービスとして、「ＯＣＲ処理」を実行し、「翻訳処理」を実行し、「画像処理」を実行し、「印刷処理」を実行するものが指示される。またこのときＰＣ２０から処理対象となる文書データ（画像領域及び文字画像領域から構成）が入力される。またユーザはＰＣ２０においてワークフローの詳細設定として、「ＯＣＲ処理」の対象となる文字画像領域、「翻訳処理」の対象となる文字画像領域については、その範囲指定などを行うことができる。

ワークフロー実行サーバ１０は、ワークフロー内の各サービスが実行されるたびに、ＰＣ２０に対しプレビュー画像を作成してからこれを送信し、ユーザがサービス毎の実行結果を確認できるようにする。

プレビュー画像は、各サービスが実行結果（処理内容）を確認するものであるため、実行結果（処理内容）を反映したものである必要があるが、これら各サービスは様々なサービスプロバイダによって提供されるため、各サービス提供手段がワークフロー実行サーバ１０に対して返す実行結果（処理内容）やそのプレビュー画像のフォーマットはまちまちであることも多い。

従って本実施形態に係るワークフロー実行サーバ１０はプレビュー画像を作成に際し、ある一のプレビュー画像の表示形態を基準として、その他のプレビュー画像は基準となったプレビュー画像の表示形態に合わせてプレビュー画像を作成する。具体的にはまず基準となるプレビュー画像から、基準となるプレビュー特性を抽出する。また以降のプレビュー画像については、基準のプレビュー特性に沿って以降のプレビュー画像を作成する（詳細後述）。

例えば図６に示されるように、ＰＣ２０上から、ユーザに最初に入力された文書データ６００はユーザにとって最も馴染むものであるので、この文書データ６００の表示形態をユーザの視覚的な基準とし、以降のＯＣＲプレビュー６０１、翻訳プレビュー６０２、画像処理プレビュー６０３は、入力された文書データの見え方と同じような表示形態となるようにプレビュー画像が作成されるようにする。ユーザはワークフロー内の各サービスが実行されるたびに、ＰＣ２０にてサービス毎の実行結果を同じ表示形態で確認できるため、プレビューの比較を容易に行え、処理結果を確認しやすい。

一方、例えば翻訳サーバは処理結果として翻訳箇所のみを実行結果として返す仕様であるものとすると、翻訳プレビュー６０２には、翻訳箇所のみ表示されてしまうことになり（即ち天気図は非表示）、それ以前の文書データ６００やＯＣＲプレビュー６０１の見え方と異なるため、ユーザにとってはプレビューの比較を行いにくいものとなる。

（情報処理）
図７は、本実施形態に係るワークフロー実行サーバ１０の情報処理を説明するシーケンス図である。以下シーケンス図を参照しながら説明する。

Ｓ１：ワークフロー実行サーバ１０のワークフロー実行部１１１は、ワークフローの実行を開始する。ワークフロー実行部１１１はワークフロー全般を管理・制御するため、ユーザから実行指示のあったワークフローを構成するサービス、その実行順序、処理対象となる入力データ（例えば文書データ６００）、処理対象となる領域範囲指定などを把握している。

Ｓ２：まずワークフロー実行部１１１はプレビュー特性抽出部１１３に対し、入力された文書データ６００からのプレビュー特性抽出要求を行う。

Ｓ３：プレビュー特性抽出部１１３は、入力された文書データを解析し、その文書データからプレビュー特性を抽出する。なお入力データからまずプレビュー画像を作成し、そのプレビュー画像からプレビュー特性を抽出してもよい。

図８は、プレビュー特性抽出を説明する図である。プレビュー特性とは、データを解析し、データを構成する構成要素（コンテンツ）及びその構成要素の位置情報をテキスト形式に記述したものである。つまりプレビューを作成するために必要な情報をテキスト形式に置き換えて記述したものであるから、逆にプレビュー特性からプレビュー画像を作成することも可能である。

図に示されるように、具体的にプレビュー特性は、固有識別子（例えばＩＤ：Ｓ１）と、「画像」、「文字画像」のような構成要素種別（コンテンツ種別）と、座標等で表現されるその構成要素の位置と、その構成要素のコンテンツ（コンテンツ実体はパス先に格納）とで記述される。例えば図８の入力データは解析の結果、「画像」、「文字画像」という２つの構成要素種別から構成され、またそれぞれ図に示される位置に構成要素のコンテンツが配置されていることが解析される。

なおプレビュー特性抽出部１１３は、従来のＯＣＲ技術や画像と文字の領域分割技術を用いて、構成要素種別、画像の描画位置、構成要素そのものの内容（コンテンツ）をプレビュー特性として抽出することができる。例えばプレビュー特性を抽出するにあたり、画像を文字領域と画像領域に分ける既存技術（例えば本出願人による特開２００６−２６０３０４号公報）を利用することが可能である。なお構成要素としては、画像（文字画像含む）や文字のほかに、データが音声コンテンツや動画コンテンツを含む場合、音声や動画についても抽出しプレビュー特性として記述することもできる（例えば図９参照）。

Ｓ４：プレビュー特性抽出部１１３は、入力された文書データ６００のプレビュー特性を抽出すると、プレビュー特性管理部１１４に対しプレビュー特性保管要求を行う。

Ｓ５：プレビュー特性管理部１１４は、プレビュー特性保管要求を受けてプレビュー特性を保管する。なお管理上、入力された文書データのプレビュー特性であることを識別するため、入力データとプレビュー特性の識別子（例えばＩＤ：Ｓ１）とを対応付けて管理しておく。

Ｓ６：さて次に、ワークフロー実行部１１１は、ワークフローを構成する１つ目の処理であるＯＣＲ実行を行う。そのため通信部１１２を介しＯＣＲサーバ４０に対し、ＯＣＲ処理の実行要求を行う。またＯＣＲサーバ４０に対して処理の対象である入力された文書データ６００をあわせて送信する。なおことのき、文書データ６００の全体を送信する場合には、ＯＣＲの対象範囲（文字画像領域）を指定するとよい。またもしくは文書データ６００のうちＯＣＲの対象範囲（文字画像領域）のみを切り出して送信することも可能である。

Ｓ７：ＯＣＲサーバ４０のＯＣＲ処理部４０２は、自身の通信部４０１を介し、ワークフロー実行サーバ１０からＯＣＲ処理の実行要求を受信する。

Ｓ８：ＯＣＲ処理部４０２は、ＯＣＲ処理の実行要求に従い、ＯＣＲ処理を実行する。実行を終えると、処理結果をワークフロー実行サーバ１０へ返答する。この処理結果は、ＯＣＲ処理結果であるためテキストデータとなるが、ＯＣＲサーバ４０は、ＯＣＲ処理を行った箇所をテキストデータに変換した文書データ６００の全体を返答する場合もありうるし、またもしくはＯＣＲ処理結果であるテキストデータのみを返答する場合もありうる（即ちＯＣＲサーバ４０の仕様次第）。

Ｓ９：ワークフロー実行部１１１はプレビュー特性生成部１１５に対し、ＯＣＲ処理結果を送信し、ＯＣＲ処理後のプレビュー特性生成要求を行う。このときプレビュー特性生成の対象となるのは、ＯＣＲ処理結果データである。

Ｓ１０：プレビュー特性生成部１１５はプレビュー特性管理部１１４に対し、先に保管された入力された文書データ６００のプレビュー特性の取得要求を行う。具体的には、識別子ＩＤ：Ｓ１のプレビュー特性を取得する。

Ｓ１１：プレビュー特性生成部１１５は、Ｓ１０にて取得した識別子ＩＤ：Ｓ１のプレビュー特性と、Ｓ９にて取得したＯＣＲ処理結果とに基づき、ＯＣＲ処理後のプレビュー特性（識別子ＩＤ：Ｓ２）を生成する。

図１０は、プレビュー特性生成を説明する図（その１）である。ＯＣＲ処理後のプレビュー特性生成は、ＯＣＲ処理前のプレビュー特性のうちＯＣＲ処理対象となった構成要素（コンテンツ）と、ＯＣＲ処理対象となったＯＣＲ処理結果としての構成要素（コンテンツ）を入れ替えることにより生成する。具体的に、まず入力データのプレビュー特性（ＩＤ：Ｓ１）をコピーし、ＩＤをＳ２に書き換えることによりＯＣＲ処理後のプレビュー特性の枠組を生成する。

ここでは、入力データのプレビュー特性内の「文字画像」の「コンテンツ」に対して、ＯＣＲサーバ４０によるＯＣＲ処理が行われているため、ＯＣＲ処理後のプレビュー特性（ＩＤ：Ｓ２）において、構成要素種別を「文字画像」から「文字」へ書き換えるとともに、「コンテンツ」のパス先の情報のみを書き換える。つまり、「コンテンツ」をＯＣＲ処理前のデータ（C:\image/S1-2.jpeg）からＯＣＲ処理後のデータ（C:\image/S2-1.txt）に書き換える。

ＯＣＲ処理後のプレビュー特性（ＩＤ：Ｓ２）においては、ＯＣＲ処理後のコンテンツについては「C:\image/S2-1.txt」へと書き換えられているものの、その位置は変わらずに（xx2,yy2）のままである。つまりこの書換えにより、コンテンツ「C:\image/S2-1.txt」と、位置（xx2,yy2）との対応付けがなされた。そしてこのプレビュー特性に基づきプレビューを作成すれば、ＯＣＲ処理結果は反映されつつも、このＯＣＲ処理結果は（xx2,yy2）に位置するため、全体としての見え方は入力された文書データ６００と同じになる（図６の文書データ６００及びＯＣＲプレビュー６０１参照）。

Ｓ１２：プレビュー特性生成部１１５はプレビュー特性管理部１１４に対し、新たに生成した識別子ＩＤ：Ｓ２のＯＣＲ処理後のプレビュー特性の保管要求を行う。プレビュー特性生成部１１５は管理上、ＯＣＲ処理後のプレビュー特性であることを識別するため、ＯＣＲ処理結果とプレビュー特性の識別子（ＩＤ：Ｓ２）とを対応付けて管理しておく。

Ｓ１３：さて次に、ワークフロー実行部１１１はプレビュー作成部１１６に対し、ＯＣＲ処理後のプレビュー作成要求を行う。ワークフローを構成する１つ目の処理であるＯＣＲ実行を終え、この時点でのプレビューをユーザに提示するためである。

Ｓ１４：プレビュー作成部１１６はプレビュー特性管理部１１４に対し、先に保管されたＯＣＲ処理後のプレビュー特性の取得要求を行う。具体的には、識別子ＩＤ：Ｓ２のプレビュー特性を取得する。

Ｓ１５：プレビュー作成部１１６は、ＯＣＲ処理後のプレビュー画像（ＯＣＲプレビュー６０１）を作成する。ＯＣＲ処理後のプレビュー特性（ＩＤ：Ｓ２）は、図１０に示されるが、上述したようにプレビュー特性は、プレビューを作成するために必要な情報をテキスト形式に置き換えて記述したものであるから、プレビュー特性からプレビュー画像を作成することが可能である。そして作成されたＯＣＲ処理後のプレビュー画像はワークフロー実行部１１１に返答される。

Ｓ１６：ワークフロー実行部１１１は通信部１１２を介しＰＣ２０に対し、ＯＣＲ処理後のプレビュー画像を送信する。ＰＣ２０上においてこのプレビューをユーザに提示するためである。

Ｓ１７：ＰＣ２０のプレビュー表示部２０２は、ＯＣＲ処理後のプレビュー画像を受信すると、ＯＣＲプレビュー６０１をユーザに対し表示する。図６のＯＣＲプレビュー６０１に示されるように、入力された文書データ６００と同じ表示形態、同じフォーマットでＯＣＲプレビュー６０１が表示されている。ユーザはこのＯＣＲ処理後のＯＣＲプレビュー６０１を確認することで、ワークフロー中ＯＣＲ処理ステップは正常に処理されたことを確認できる。その一方、例えば仮に文字化け等の不具合が生じているような場合、このＯＣＲ処理後のＯＣＲプレビュー６０１を確認することで文書データ６００と比較しながら容易に不具合箇所に気が付くことができる。

なおこのように表示されるのは上述の如く、文書データ６００のプレビュー特性（ＩＤ：Ｓ１）に基づき、ＯＣＲプレビュー６０１のプレビュー特性（ＩＤ：Ｓ２）が生成され、このＯＣＲプレビュー６０１のプレビュー特性（ＩＤ：Ｓ２）からＯＣＲプレビュー６０１が作成されているからである。即ち、ＩＤ：Ｓ２のプレビュー特性においては、ＯＣＲ処理後のデータについては「C:\image/S2-1.txt」へと書き換えられているものの、その位置は変わらずに（xx2,yy2）のままであるため、ＯＣＲ処理結果は反映されつつも、全体としての見え方は入力された文書データと同じとなっている。

続いて、ワークフロー実行部１１１は「ＯＣＲ処理」を実行した後、「翻訳処理」を実行し、「画像処理」を実行し、「印刷処理」を実行する。その流れはＯＣＲの場合と同様に、Ｓ６〜Ｓ１７の処理を行えばよく（説明省略）、最終的に入力された文書データ６００は印刷されＭＦＰ３０から排出される。以下「翻訳処理」、「画像処理」についてはプレビュー特性生成に関する点を説明する。

図１１は、プレビュー特性生成を説明する図（その２）である。ワークフロー実行サーバ１０は、翻訳サーバ５０から翻訳処理結果を得ると、今度は前回保存したＯＣＲ処理後のプレビュー特性（ＩＤ：Ｓ２）に基づき翻訳後のプレビュー特性（ＩＤ：Ｓ３）を生成し、生成した翻訳後のプレビュー特性から翻訳後のプレビュー画像を作成する。そしてこの翻訳後のプレビュー画像はＰＣ２０に送信され、ユーザに対しプレビュー表示される。

図６の翻訳プレビュー６０２に示されるように、入力された文書データ６００や、その前のＯＣＲプレビュー６０１と同じ表示形態、フォーマットで翻訳プレビュー６０２が表示されている。ユーザはこの翻訳処理後の翻訳プレビュー６０２を確認することで、ワークフロー中翻訳処理ステップは正常に処理されたことを確認できる。

図１２は、プレビュー特性生成を説明する図（その３）である。ワークフロー実行サーバ１０は、ＭＦＰ３０から画像処理結果を得ると、今度は前回保存した翻訳処理後のプレビュー特性（ＩＤ：Ｓ３）に基づき画像処理後のプレビュー特性（ＩＤ：Ｓ４）を生成し、生成した画像処理後のプレビュー特性から画像処理後のプレビュー画像を作成する。そしてこの画像処理後のプレビュー画像はＰＣ２０に送信され、ユーザに対しプレビュー表示される。

図６の画像処理プレビュー６０３に示されるように、入力された文書データ６００や、ＯＣＲプレビュー６０１、その前の翻訳プレビュー６０２と同じ表示形態、フォーマットで画像処理プレビュー６０３が表示されている。ユーザはこの画像処理後の画像処理プレビュー６０３を確認することで、ワークフロー中画像処理ステップは正常に処理されたことを確認できる。

（プレビュー特性の保存例）
図１３は、スタイルシートによるプレビュー特性の具体的保存例を示す。図１３は、ＩＤ：Ｓ４のプレビュー特性（図１０）を例に取り上げ、スタイルシートにより記述しこれを示すものである。スタイルシートによるプレビュー特性は、プレビュー特性管理部１１４にて保存（保管）、管理されるが、スタイルシートによりプレビュー特性を保存しておくことによりその保守性や読み込み速度の向上が期待できる。

なお、図１３のスタイルシートには、<strong>タグが設けられている。この<strong>タグで囲まれた箇所は、プレビュー表示上、強調表示して表示されることを示すものである。あるサービス実行手段が終了し、直前のサービス実行手段のプレビューと関連付けたプレビューを作成した際に、直前のサービス実行手段から変更（処理）された箇所が出てくるが、その変更された箇所に対して、太線や色つきの点線などでその処理範囲を明示することで、ユーザに対し変更箇所（処理箇所）を分かりやすく表示することができる。再び図６を参照すると、各プレビュー６０１〜６０３において、サービス実行手段により処理された箇所が点線などで強調表示されていることが分かる。

[補足]
上述の実施形態においては、ワークフローの処理対象となった入力データは文書データ（電子データ）であり、その文書データからまずプレビュー特性を抽出するものとした。ユーザに最初に入力された文書データ６００はユーザにとって最も馴染むものであるので、この文書データ６００の表示形態をユーザの視覚的な基準としたためである。

しかしながら、入力データが文書原稿（紙媒体）である場合には、例えばＭＦＰ３０によりスキャンされ電子データ化される必要がある。従ってこの場合には、上述のワークフローは、「スキャン処理」、「ＯＣＲ処理」、「翻訳処理」、「画像処理」、「印刷処理」という処理により構成し、「スキャン処理」後の処理結果データに対して、基準となるプレビュー特性を抽出するようにするとよい。また、スキャン処理後のプレビューをユーザに表示するため、スキャン処理後のプレビュー特性に基づいてスキャン処理後のプレビュー画像を作成する。スキャン処理後のプレビュー画像は、ＰＣ２０に送信されプレビュー表示される。

次にスキャンされた電子データに対しＯＣＲ処理がなされると、ＯＣＲ処理結果とスキャン処理後のプレビュー特性とに基づいて、ＯＣＲ処理後のプレビュー特性を生成し、ＯＣＲ処理後のプレビュー画像を作成する。ＯＣＲ処理後のプレビュー画像は、同様にＰＣ２０に送信されプレビュー表示される。ユーザはスキャン処理後のプレビューとＯＣＲ処理後のプレビューとを容易に比較しながら、スキャン処理結果やＯＣＲ処理結果を確認できる。

[総括]
従来のワークフロー実行システムにおいてネットワーク上で提供されるサービスを複数組み合わせてワークフローとして構築、実行した際に、ネットワーク上で提供されるサービス実行手段の結果を見るプレビュー機能では、各サービス実行手段でプレビューの見せ方が異なることがあったところ、本実施形態に係るワークフロー実行サーバ１０は、ある１のデータから基準となるプレビュー特性を抽出し、以降のプレビューは基準となるプレビュー特性の表示形態に統一しながらプレビュー画像を作成するため、各サービス実行手段のプレビューを比較して、ワークフロー内の各サービス実行手段の処理結果を段階的に確認したい場合、プレビューの比較や各処理結果の確認を容易に行うことが可能となる。

即ち本実施形態によれば、異なる提供者により提供される複数のサービス実行手段を組み合わせて実現されるワークフローにおいて、各サービス実行手段の実行結果のプレビューの表示形態を統一し、各実行結果の確認を容易にするワークフロー実行装置等を提供することができる。

本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば本実施形態においては情報処理装置の一例として、画像形成装置に対して本発明を適用したものであり、その他のシステムや装置においても広く適用され得る。

１０ ワークフロー実行サーバ
２０ ＰＣ
３０ ＭＦＰ
４０ ＯＣＲサーバ
５０ 翻訳サーバ
６０ ネットワーク６
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 補助記憶装置
１０５ 記憶媒体読取装置
１０６ 入力装置
１０７ 表示装置
１０８ 通信装置
１１１ ワークフロー実行部
１１２ 通信部
１１３ プレビュー特性抽出部
１１４ プレビュー特性管理部
１１５ プレビュー特性生成部
１１６ プレビュー作成部
２０１ 通信部
２０２ プレビュー表示部
３０１ 通信部
３０２ 画像処理部
３０３ 印刷処理部
４０１ 通信部
４０２ ＯＣＲ処理部
５０１ 通信部
５０２ 翻訳処理部

特開２００５−１６７９８８公報

Claims (7)

1. 複数のサービス提供手段とネットワークを介し接続されたワークフロー実行装置であって、
   前記サービス提供手段による処理を組み合わせて実行されるワークフローを実行するワークフロー実行手段と、
   第１のデータを解析し、該第１のデータを構成する第１の構成要素及び該構成要素の第１の位置情報を第１のプレビュー特性として抽出する第１のプレビュー特性抽出手段と、
   前記サービス提供手段により前記第１のデータが処理された処理結果である第２データを解析し、該第２データを構成する第２の構成要素及び該構成要素の第２の位置情報を第２のプレビュー特性として抽出する第２のプレビュー特性抽出手段と、
   前記プレビュー特性を保存し管理するプレビュー特性管理手段と、
   前記プレビュー特性管理手段から前記第１のプレビュー特性と前記第２のプレビュー特性とを取得し、前記第１のプレビュー特性において、前記サービス提供手段による処理対象となった第１の構成要素に代えて前記サービス提供手段による処理結果である第２の構成要素を挿入し、第１の位置情報と第２の構成要素とを対応付けることにより第３のプレビュー特性を生成するプレビュー特性生成手段と、
   前記プレビュー特性に基づいてプレビュー画像を作成するプレビュー作成手段と、
   を有することを特徴とするワークフロー実行装置。
2. 前記サービス提供手段により前記第２のデータが処理された処理結果である第３データを解析し、該第３データを構成する第３の構成要素及び該構成要素の第３の位置情報を第３のプレビュー特性として抽出する第３のプレビュー特性抽出手段を有し、
   前記プレビュー特性生成手段は、前記プレビュー特性管理手段から前記第２のプレビュー特性と前記第３のプレビュー特性とを取得し、前記第２のプレビュー特性において、前記サービス提供手段による処理対象となった第２の構成要素に代えて前記サービス提供手段による処理結果である第３の構成要素を挿入し、第２の位置情報と第３の構成要素とを対応付けることにより第４のプレビュー特性を生成すること、
   を特徴とする請求項１記載のワークフロー実行装置。
3. 前記プレビュー特性生成手段は、挿入した第２の構成要素に所定フラグを付し、
   前記プレビュー作成手段は、前記第３プレビュー特性に基づいてプレビュー画像を作成するとき、所定フラグが付された第２の構成要素に対し強調表示を付けてプレビュー画像を作成すること、
   を特徴とする請求項１又は２記載のワークフロー実行装置。
4. 前記構成要素は、処理結果データを構成する画像コンテンツ、文字コンテンツ、音声コンテンツ、動画コンテンツのいずれかであること、
   を特徴とする請求項１ないし３何れか一項記載のワークフロー実行装置。
5. 前記プレビュー特性管理手段は、前記プレビュー特性をスタイルシートにより管理すること、
   を特徴とする請求項１ないし４何れか一項記載のワークフロー実行装置。
6. 複数のサービス提供手段とネットワークを介し接続され、前記サービス提供手段による処理を組み合わせて実行されるワークフローを実行するワークフロー実行手段を有するワークフロー実行装置におけるプレビュー作成方法であって、
   前記ワークフロー実行装置が、
   第１のデータを解析し、該第１のデータを構成する第１の構成要素及び該構成要素の第１の位置情報を第１のプレビュー特性として抽出する第１のプレビュー特性抽出手順と、
   前記サービス提供手段により前記第１のデータが処理された処理結果である第２データを解析し、該第２データを構成する第２の構成要素及び該構成要素の第２の位置情報を第２のプレビュー特性として抽出する第２のプレビュー特性抽出手順と、
   前記プレビュー特性を保存し管理するプレビュー特性管理手順と、
   前記プレビュー特性管理手順により保存された前記第１のプレビュー特性と前記第２のプレビュー特性とを取得し、前記第１のプレビュー特性において、前記サービス提供手段による処理対象となった第１の構成要素に代えて前記サービス提供手段による処理結果である第２の構成要素を挿入し、第１の位置情報と第２の構成要素とを対応付けることにより第３のプレビュー特性を生成するプレビュー特性生成手順と、
   前記プレビュー特性に基づいてプレビュー画像を作成するプレビュー作成手順と、
   を有することを特徴とするプレビュー作成方法。
7. 請求項６記載のプレビュー作成方法をコンピュータに実行させるためのプログラム。

Images