JP2010282616A - 画像情報処理システム、および画像情報処理方法 - Google Patents

Abstract

【課題】小型で情報処理機能が限定された携帯情報装置においても簡便かつ効果的かつユーザの要求に対して柔軟な画像情報処理システム、および画像情報処理方法を提供する。
【解決手段】通信手段と、撮影手段とを有する携帯情報端末５００ｃと、画像情報を取得する画像情報取得手段とを有し、携帯情報端末５００ｃは、画像情報を画像情報取得手段に送信する際に画像ファイルもしくは送信情報に所定の処理情報を記述する記述手段を有し、画像情報取得手段を監視し画像情報取得手段に処理情報を含む添付情報が付加された画像ファイルが送信された際に添付情報を元に画像情報に対して所定の処理を行うシステムで、処理対象画像が少なくとも同一もしくはひとつ以上の撮影条件を変化させて同一対象を撮影した連続画像情報であり、少なくとも２つ以上の画像情報の画像処理結果を基に添付情報に含まれる処理情報に基づく処理を実行する処理実行手段を備える。
【選択図】図１４

Description

本発明は、携帯情報端末を用いたネットワークを介して画像情報の処理を行なう画像情報処理システム、および画像情報処理方法に関する。

従来の技術として、たとえば特許文献１に開示された方法がある。このシステム構成を図１９に示す。ここでは、情報提供サーバ７が詳細情報からなるファイルを情報提供者の端末装置４から無線基地局５、ネットワーク６を介して受信する。さらに、ユーザが事前に対応情報を格納した情報提供サーバ７で保管アドレスを生成し、本アドレスをエンコードしたバーコードをポスター等の紙文書に挿入して印刷して配布される。ユーザは情報に添付されたバーコード（デジタルマーク）を撮影して画像データとしてメールに添付し、前記情報提供サーバ７に送付し、サーバ７では画像データからバーコード情報を解析して、上記保管アドレスを生成し対応した保管情報をデータベース９から読み出してメールにてユーザの携帯電話９ａ〜９ｄに送信し、ユーザは受信したファイルを表示することにより所望の情報へアクセスする。

またメールを使ったリモート操作システムとしては、たとえば特許文献２が開示されている。このシステム構成を図２０に示す。これはメールにコマンドを含む電子メールを送信して、メールサーバにて解析し、その解析結果に基づきコンテンツデータの処理等を行い、ユーザの端末に返信処理を行う。

しかしながら、図１９に示すような従来の方法にあっては、最終的にユーザの携帯端末側で情報を表示することを目的としているので、用いる情報端末ごとに適した情報ソースを事前に用意しておく必要があるとともに、それぞれの情報へのアクセスのためにそれぞれのソースに対して複数のデジタルマークを文書に挿入する必要があるため、印刷文書上にデジタルマークが複数存在することがあり本来の文書情報がみにくくなるなどの問題がある。また、自分への詳細情報の提示システムに特化しているため単一画像情報に対する単一の操作しかできない。これに、図２０に示すようなメールに処理コマンドを記述させて、コマンドメッセージを実行することも可能であるが、処理の順番や添付する画像データと処理の対応関係等すべてのパラメータをメール内に記入する必要があり、特に入力環境が貧弱な携帯情報端末では操作が煩雑になる。

また、図１９に示すような従来の方法であっては、紙面等のデジタルマークを撮影する際、照明状況によってはシャッター速度の低下による手ぶれや低照度によるフォーカスエラーによるデジタルマークのボケが発生して、デジタルマークのデコード処理が不可能になってしまうといった問題がある。また、これに、図２０に示すようなメールに処理コマンドを記述させて、コマンドメッセージを実行することも可能であるが、上記手ぶれやフォーカスエラーなどによるデコードエラーの際には何度もデジタルマークをとり直してはメールを再送する手間が必要になる。

本発明は、上記に鑑みてなされたものであって、小型で情報処理機能が限定された携帯情報装置においても簡便かつ効果的かつユーザの要求に対して柔軟な画像情報処理システム、および画像情報処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、少なくとも、通信手段と、撮影手段と、画像情報を所定のフォーマットにて電子ファイルに変換する変換手段とを有する携帯情報端末と、前記通信手段にて接続可能なネットワーク上に設置してなる前記画像情報を取得する画像情報取得手段と、を有し、前記携帯情報端末は、前記画像情報を前記ネットワークを介して前記画像情報取得手段に送信する際に前記画像ファイルもしくは送信情報に所定の処理情報を記述する記述手段を有し、前記画像情報取得手段を監視し前記画像情報取得手段に前記処理情報を含む添付情報が付加された画像ファイルが送信された際に前記添付情報を元に前記画像情報に対して所定の処理を行う画像情報処理システムであって、前記処理対象画像が少なくとも同一もしくはひとつ以上の撮影条件を変化させて同一対象を撮影した連続画像情報であり、少なくとも２つ以上の前記画像情報の画像処理結果を基に前記添付情報に含まれる処理情報に基づく処理を実行する処理実行手段を備えたことを特徴とする。

本発明は、処理対象画像が少なくとも同一もしくはひとつ以上の撮影条件を変化させて同一対象を撮影した連続画像情報であり、少なくとも２つ以上の前記画像情報の画像処理結果を基に添付情報に含まれる処理情報に基づく処理を実行する処理実行手段を備えたので、小型で情報処理が限定された携帯情報端末において簡便でかつユーザの要求に対して柔軟な情報を提供することができるという効果を奏する。

図１は、本発明の第１の実施の形態にかかるシステム構成を示す説明図である。 図２は、図１におけるシステムの内部構成を示すブロック図である。 図３は、本発明の第１の実施の形態にかかるメタ情報の書き込み手順を示すフローチャートである。 図４は、本発明の第１の実施の形態にかかるファイル例およびタグ情報例を示す説明図である。 図５は、本発明の第１の実施の形態にかかる処理例を示す説明図である。 図６は、本発明の第２の実施の形態にかかるファイルの新規作成手順を示すフローチャートである。 図７は、本発明の第２の実施の形態にかかるシステム構成を示す説明図である。 図８は、図７におけるシステムの内部構成を示すブロック図である。 図９は、本発明の第２の実施の形態にかかる携帯情報端末の表示リスト例などを示す説明図である。 図１０は、本発明の第２の実施の形態にかかるファイル例およびタグ情報例を示す説明図である。 図１１は、本発明の第２の実施の形態にかかる携帯情報端末のメール表示例を示す説明図である。 図１２−１は、本発明の第２の実施の形態にかかるメール処理手順（１）を示すフローチャートである。 図１２−２は、本発明の第２の実施の形態にかかるメール処理手順（２）を示すフローチャートである。 図１３は、本発明の第３の実施の形態にかかるシステム構成を示す説明図である。 図１４は、図１３におけるシステムの内部構成を示すブロック図である。 図１５は、本発明の第３の実施の形態にかかる携帯情報端末のメール表示例を示す説明図である。 図１６は、本発明の第３の実施の形態にかかる携帯情報端末の表示リスト例などを示す説明図である。 図１７は、本発明の第３の実施の形態にかかるファイル例およびタグ情報例を示す説明図である。 図１８−１は、本発明の第３の実施の形態にかかるメール処理手順（１）を示すフローチャートである。 図１８−２は、本発明の第３の実施の形態にかかるメール処理手順（２）を示すフローチャートである。 図１９は、従来におけるシステム構成例（１）を示す説明図である。 図２０は、従来におけるシステム構成例（２）を示す説明図である。

以下に添付図面を参照して、この発明にかかる画像情報処理システム、および画像情報処理方法の一実施の形態について詳細に説明する。

本発明は、標準の画像（静止画、動画）フォーマットを使い、そのフォーマット内のユーザもしくはメーカ（画像データを生成する携帯情報端末を提供）が独自に記述可能なメタ情報（構造化ファイルでいうタグ情報）に処理フローを記述し、ネット経由でその画像データをアップロードしたサーバでその処理フローにしたがってデータ処理を行い、その結果を有効利用するシステムを提供するものである。さらにメッセージのやり取りをメールシステムベースで行い、さらに全体の処理フローをメールに記述することにより、複数の画像を用いたより複雑な情報操作を行うことが可能になる。以下、第１の実施の形態〜第３の実施の形態で詳細に述べる。

（第１の実施の形態）
本発明によるシステム構成を図１に示す。本システムでは、通信機能および画像情報入力機能を有する小型携帯情報入力端末機器として、たとえばデジタルカメラ（通信機能付き）やデジタルカメラ付き携帯電話等の情報端末機器１００を有し、かつ無線通信等で接続可能なネットワーク２００上にはファイル転送機能を実装した通信プロトコルをサポートした記憶手段としての情報装置３００ａ、たとえばＰＣサーバ等のクライアント-サーバ型のシステム構成を有する。また前記情報装置３００ａでは処理結果をファイルとして所定の記憶領域に保持して後日閲覧可能な手段（ＰＣ４００）を設ける。また即座に処理結果を利用したい場合には、情報端末機器１００の通信機能を介して送信された処理結果ないしは処理のログ情報を閲覧するための手持ちの携帯情報端末５００ａ（前記携帯機器と一体でもかまわない）を有するに構成とすることも可能である。

本システムでは、図２に示すように前記情報端末の撮影部１０で所定の画像を撮影して所定のフォーマットにて画像ファイルを作成（ＣＰＵ１１および記憶部１２およびそれを制御するプログラムにより実行）後、ユーザは、前記対象画像ファイルに対して所望の処理情報を記述するために情報端末機器１００のメニュー画面から処理過程を記述するための操作を行う。対象となる処理としては、情報機器３００ａ側にてサービスされる処理部１６に対応したリストをテキスト形式（たとえばＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等）にて記述しておいたファイルを情報端末機器１００の記憶部１２にあらかじめ作成しておく。

つぎに、図３のフローチャートを参照しメニュー操作について説明する。まず、メインメニューを表示し（ステップＳ１１）、コメント入力モードを選択したか否かを判断する（ステップＳ１２）。ここでコメント入力モードが選択されると、コメントデータファイルを読み込む（ステップＳ１３）。このリスト情報を読み込んだ後に、表示してユーザに選択を促す。リストが選択されたか否かを判断する。（ステップＳ１４）。ここでユーザは各項目を選択する。ここでリストが選択されたならば、選択された項目を一時的に記憶手段に順次保存する（ステップＳ１５）。続いて、追加リストがあるか否かを判断し（ステップＳ１６）、対応する次項目がないと判断された段階で、ユーザにそれまでの選択項目を提示し（ステップＳ１７）、確認後（ステップＳ１８）、所定のメタ情報領域に選択項目文字の選択順の連結文字列として書き込む（ステップＳ１９）。

たとえば、情報端末としてデジタルカメラを用いた場合には、一般に用いられるフォーマット形式である図４に示すＥｘｉｆ（Ｅｘｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔ）規格の画像フォーマット形式にて画像情報を保持するとともに、ユーザが自由に書き込むことが許可されているＵｓｅｒＣｏｍｍｅｎｔタグ２０（タグＮｏ．３７５１０）のデータ領域に前記処理情報であるテキストデータを保存する。

具体的な操作方法の例としては図５に示すように、対象画像を撮影し保存した後、再生モードにて所定の画像データを選択表示し、タブ形式のメニュー画面５３を起動操作（実際にはメニュー起動ボタン５０を押してメニューを起動した後、操作としてはメニュー項目の移動を十字キー５２と決定キー５１で操作する）して、処理手順に即した順番でメニュー項目を選択していく。たとえば、資料などの文字情報を含む画像を撮影した画像に対してＯＣＲ（光学文字認識）処理を実行して文書タイトルや資料作成者などの情報をテキスト情報としてメールにて取得したい場合には、まず第一処理項目メニュー５４でＯＣＲ処理項目を選択し（符号５４ａ参照）、処理結果の受け取り方法として第二処理項目５５のメール通知項目５５ａを選択した後、関連項目としてアドレス項目５６を表示して出力先であるメール送付先アドレスを選択（符号５６ａ参照）する。最後に、これまでの選択結果を表示（符号５７参照）し確認した後（符号５７ａ参照）、メタ情報としては項目の区切りを示す識別記号（ここでは“＞＞”）で仕切られた形で文字列情報として連結してＵｓｅｒＣｏｍｍｅｎｔタグ（タグＮｏ．３７５１０）のデータ領域にテキストデータ５８として書き込む。

処理の開始は、通信部を介して図２に示すサーバ（情報機器３００ａ）上の記憶部１４の所定の領域に画像ファイルを送信し、画像ファイルを新たに受信したことを監視部１５にて検知したことにより開始される。

図６に処理のフローチャートを示す。サーバ（情報機器３００ａ）では常時前記記憶部（フォルダ）１４を監視し、新規に前記画像ファイルが生成されたか否かを判断し（ステップＳ２１）、生成されたことを検知したらならば、前記画像ファイルのメタ情報を取得する（ステップＳ２２）。続いて、取得されたメタ情報の中から前記処理項目がテキスト情報として記述されたメタ情報の有無を確認し（ステップＳ２３）、確認後、メタ情報の内容を取得する（ステップＳ２４）。さらに、識別子により区切られた処理項目から処理手順に準じた処理リスト情報を作成する（ステップＳ２５）。このリスト作成後にリスト情報に記述された項目を判断し（ステップＳ２６、Ｓ２７）、順次所定の処理を実行する（ステップＳ２８〜Ｓ３２）。そしてリストのすべての処理が行われた、つまり処理段階でエラーが発生した場合はそこまで処理した（ステップＳ３１）ことをシステムが確認した後、処理結果（途中エラーの場合はそこまでの処理結果もしくはエラー内容）を所定のフォーマットでファイル化して、ログ情報として所定のフォルダに格納する（ステップＳ３３）。

図１および図２に示す上記デジタルカメラの例でより具体的に示すと、サーバとなるＰＣ（情報機器３００ａ、ＯＳとしてＷｉｎｄｏｗｓシステム、なお、Ｗｉｎｄｏｗｓは米マイクロソフト社の登録商標である）でフォルダ（記憶部１４）の監視機能を実装したアプリケーション（監視部１５）を起動しておく。デジタルカメラのユーザはＦＴＰなどのファイル転送機能を使って、ＰＣサーバ（情報機器３００ａ）上で起動しているＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバを通して所定のフォルダ（記憶部１４）に画像ファイルを転送する。ＦＴＰサーバがファイルを受け取ると、ＯＳ（オペレーションシステム）が新たなファイルが作成されたことに伴い、所定のイベント情報を生成する。上記アプリケーション（監視部１５）はファイルに関するイベントを監視している。ここでイベントを検知した際には、処理部１６である処理アプリケーション（前記監視アプリケーション内に実装してもよい）により前記ファイル内容をメモリー内に読み込み処理を行う。

このとき、通信環境もしくはイベントの種類によっては画像ファイルがフォルダ（記憶部１４）に書き込み終わる前にイベントを感知してしまうため、適切なイベント処理を行うか、ファイルがすべて書き込まれたことを確認してからファイルの読み込みをはじめるように読み込みのタイミングを制御する必要がある（たとえば所定時間の処理遅延を設けるとか、ファイルサイズを確認する処理を行うなど）。

上記ファイルを読み込んだ後、Ｅｘｉｆファイルフォーマットに応じたタグ情報の読み込みを行い、ＵｓｅｒＣｏｍｍｅｎｔ（タグＮｏ，３７５０）のタグデータ領域（図４の符号２０参照）からテキスト情報を抽出、識別子（ここでは“＞＞”）を参照して項目文字列を切り出して個別にたとえば配列情報として保持する。上記ＯＣＲの例（図５の処理データ５８の例）では、文字列配列に“ＯＣＲ”、“メール通知”、“○○＠××.jp”と順番に保持され、まずはじめに“ＯＣＲ”文字列から、ＯＣＲ（＝ Optical Charactor Recognition）モジュール（たとえばＤＬＬ（Ｄｙｎａｍｉｃ Ｌｉｎｋ Ｌｉｂｒａｒｙ）形式で処理部１６に実装されるプログラム）を起動して、画像データを受け渡し文字情報変換処理を行う。

そしてＯＣＲ結果をファイルとして所定のフォルダ（記憶部１４）に保存する。つぎに“メール通知”文字列から電子メール送信モジュール（たとえばＤＬＬ形式で処理部１６に実装されるプログラム）を呼び出して、メールの本文データに前記ＯＣＲ結果のファイ
ル内容をコピーし、さらに“○○＠××.jp”文字列を取得して、送信先データにコピーしてＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｃｏｌ）サーバ（ネットワーク内に存在する、図示せず）へメールデータを送信する。このとき、他のＥｘｉｆ情報（たとえば、撮影日時やＧＰＳ（全地球測位システム）による位置情報など）をメール本文やタイトルに追加コピーして送ってもよい。本システムにより、たとえば資料を撮影して書かれてある文字情報を手元の携帯情報端末５００ａにメールの形でテキスト情報として受信して表示部１８にて取得し、それらをネットワーク上の検索データに使ったり、名刺撮影の場合では名刺の近接撮影後に名刺の人物の顔写真を撮影、名刺の画像データのＯＣＲ結果に顔写真データをリンクさせて所望のデータベースに登録するような処理を自動的に行うことが可能になる。

さらに、処理結果のファイル名や処理ログファイル名（保存先のルート情報を含めてもよい）を上記画像データのＵｓｅｒＣｏｍｍｅｎｔタグに追加記述してリンク情報として、画像情報とともに検索等で利用することも可能である。これにより本発明により処理結果を別ファイルに保存しても、画像ファイル単体のみから、後日処理情報確認が可能になり、また処理データもしく上記リンクデータをたどることにより、処理結果ファイルを容易に取得することが可能である。

なお、この実施の形態は、下記の実施の形態に対して画像データの送信はＦＴＰ、処理結果のやり取りはメールで行う場合を示しており、処理手順をすべて画像情報のメタ情報内に書き込む例である。

（第２の実施の形態）
以下の実施の形態において、メッセージのやり取りおよび画像データの送信を電子メールの本文および添付ファイルで行い、かつ処理手順はメールのテキスト記述部分と画像データのメタ情報内に分けて記述して処理を行う例を示す。

図７および図８に本発明にかかる画像処理情報システムの概略構成を示し、図９、図１
０、図１１、および図１２−１、図１２−２にその動作例および構成要素を示す。

本発明によるシステムでは、図７に示すようにデジタル撮影可能なカメラ機構とネットワークを介して電子メールを前記画像データを添付して送信可能なメール機能を有する携帯情報端末５００ｂと、ネットワーク２００を介して上記情報端末と接続可能なメールサーバ（情報機器３００ｂがメール処理サーバを内蔵している。物理的に別に処理サーバを設けても通信手段によって結ばれているならばよい）を備えている。図８に示すように携帯情報端末５００ｂは、撮影した画像に対してメタ情報を編集可能な画像データ編集部１１０および通信部１１３を有する電子メール送受信部１１４を有する。

撮影部１１１により撮影した画像情報は、たとえばＥｘｉｆ形式のフォーマットで保存されるとすると、図１０に示すようにＥｘｉｆ形式の場合ヘッダー部分１３０において、ユーザが自由にテキスト情報を記述可能なＵｓｅｒＣｏｍｍｅｎｔタグ１３１が用意されており、各ユーザがこのタグ領域にテキスト情報を書き込むことが可能である。本システムに用いる携帯情報端末５００ｂでは、Ｅｘｉｆタグ情報を編集する編集部１１０（アプリケーション）を実装して、このタグ１３１にテキスト情報として撮影画像に対する画像処理項目を記述する。または携帯情報端末５００ｂの記憶部１１２にあらかじめ利用可能な画像処理に対応したキーワードリストを記憶しておき、図９に示すように編集部１１０にてリスト項目１２１ａを選択する(１２１ｂ)ことにより記述するようにしてもよい。

たとえばバーコードシンボルを含む文書１０４を撮影した際には、デコード処理を指示するための“バーコード処理”を選択、また認証を行うための顔画像１０５を撮影して認証処理を行う場合には、“顔認識”と記述することにより処理結果に認証の有無やユーザ情報を受け取ることも可能である。

本発明のシステムでは、メール処理を行う情報装置３００ｂ（含むメールサーバ１１５とメール解析サーバ１１６）では、たとえば図１１に示すようにメール解析処理用に特定アドレス１４２を指定して、上記のように所定画像処理キーワードをメタ情報内に記述した画像情報１４４を添付し、メールの本文（件名でも可能）に処理フロー情報（添付画像情報の処理情報を除く）およびパラメータの指定（必要な情報ソース等を指示、たとえばメールアドレスとか画像処理後に抽出された内容の一部＝ファイルの保管先アドレス）による一定のルールで記述する（符号１４３）ことにより、メール解析サーバ１１６が本処理フロー（符号１４３）の内容を解析し、順次対応する処理を実行する。

図１２−１、図１２−２にメール処理のフローチャートを示す。まず、メール解析サーバ１１６では、メールサーバ１１５にて受信されたメールを定期的にチェックを行い、宛先が前記所定メールアドレスかどうかをチェックする（ステップＳ４１）。ここで、該当のアドレスを検出した際には、メールを受信してメール本文内容を抽出し（ステップＳ４２）、記述形式や内容をチェックする（ステップＳ４３）。つぎに処理のために処理キーワードのリストを生成し（ステップＳ４４）、順次キーワードに対応する処理を実行する（ステップＳ４５〜Ｓ５１）。このとき並列に添付ファイルを切り出して画像処理を各添付画像ファイルに対して実行する。各画像処理では前記メタ情報からキーワードを取り出し（ステップＳ５３）、対応する画像処理を実行し（ステップＳ５４）、その処理結果を所定の（メモリー等の）記憶部１１８に結果内容を記憶しておく（ステップＳ５５、Ｓ５６）。このとき処理結果に応じて必要なデータベースを参照して処理結果に対応する各種情報を取得してもよい。たとえば顔認証処理を行った結果、人物特定が成功したときなどはその人物に対する各種情報（氏名やメールアドレス、所属や役職情報等）を人事管理データベースから取得するなどがある。前記メール本文からの処理キーワードに対応した遂次処理の際には、パラメータで記述されたキーワードに対応した各種情報を上記画像処理結果および抽出された付加情報を格納した記憶部１１８から所定のタイミングで参照して、その内容を利用して逐次処理を実行していくことによりバッチ処理を行う。そして、処理結果を本文中に記述したメールをユーザに返信する（ステップＳ５２）ことにより、ユーザは処理状態を把握することが可能である。

携帯情報端末５００ｂでは、さらにロケーションによりメール解析サーバ１１６に実装されているメール処理部１１９が異なる場合には、メール解析サーバ１１６の記憶部１１８に実装された画像処理サービスに対応したキーワードリストを作成保持しておき、ユーザが携帯情報端末５００ｂで本サービス範囲内（ネットから本メールサービスが検知可能な範囲）に入った場合には、所定のメールアドレスにサービスリストを問い合わせるメールを送信、返信メールの本文もしくは添付ファイルとして上記サービスリストを取得し、携帯情報端末５００ｂ内の所定の記憶部１１２に保持し、上記画像処理サービスを行う際には、このリストから所定の項目を選択して各メタ情報をセットするようにすれば、複数のサービスを適した場所でいつでも受けることが可能になる。

つぎに、文書配信を行う例により、具体的について説明する。図７において、対象紙文書の電子実体へのリンク情報（ファイルパス等）をエンコードしてバーコードとして印刷時に所定の位置に書き込んだ紙文書１０４をバーコードを含む形で撮影、タグ情報編集機能をもちいてタグに“デコード処理”と記述しておく。さらに、会議等の場なのでその場にいた相手に前記ファイル情報を送りたいときにはさらにその相手の顔１０５を撮影して前記タグ情報編集機能をもちいてタグに“顔認証”と記述しておく。携帯情報端末でメールを配信する際には、本文に処理手順を記述、たとえば“；”文字を区切り子にして“キーワード；パラメータ；”の所定の記述ルールに従って、処理内容および処理のパラメータを指定（符号１４３、図１１参照）して、上記画像データ（符号１４４、図１１参照）を添付する。このとき上記画像データを添付して処理用の所定のアドレス１４２（図１１参照）に送信する。本システムのサーバ側におけるメールサーバは他のメールと同じく受信処理を行う。このとき本システムでは、メール処理サーバ（前記特定メールアドレスが割り当てられている）が定期的に受信メールを確認、自分宛に送られてきたメールを検知した際には、メール本文を取得して内容をチェック、上記記述ルールで書かれたテキストの有無を判断する。上記記述を検出したら、処理リストを作成するとともに添付された各画像データを抽出処理し処理モジュールに送信する。処理モジュールでは、まずタグ情報を参照、そこに記述されている処理項目を解析して、処理項目に対応した画像処理解析を行う。上の例ではバーコード画像データはデコード処理に、顔写真は顔認識処理にかけられる。それぞれの処理が成功すると所定の処理結果が出力される。たとえば、デコード処理ではデコード結果を、顔認識では認識された人情報（名前、所属、メールアドレス等）を出力して、所定の記憶部１１８にセットされる。また前記処理リストを作成した後、リスト順に処理項目を実行、必要に応じて前記画像処理モジュールの出力結果を参照して、パラメータをセットしていくことにより逐次処理を行う。

本動作を上記例でいえば、メール本文１４３の“mailperson;”と“fileto;_decode;”の処理内容を抽出、下記の処理リストを作成する。
順番 処理項目 パラメータ
１ mailperson
２ fileto _decode
mailpersonキーワードに対しては、パラメータが示す人情報（この場合顔認証結果参照）からメールアドレス情報を受け取り、メールのあて先にセットする。filetoキーワードに対しては、パラメータが示すデコード結果からファイルパス情報を参照し、対応する電子実体のドキュメントデータのコピーを取得してメールの添付ファイルにセットして、メールの送信を行う。

また本発明では複数の画像情報を添付して、メール処理サーバにて合成することによりさらに高度な画像情報を提供することが可能である。たとえば、顔認証を使った本人認証を考えた場合には、別に取得した顔写真を用いると他人が簡単に本人に成りすますことが本システムでも可能になる。そこで本発明では、顔写真を所定の異なる角度にて撮影した複数の画像情報をもちい、メタ情報にたとえば上記記述例と同じく“；”を区切り子にもちい“顔合成；１；顔認証；＋２”（処理；パラメータの組み合わせで記述し、この例の意味するところは“顔画像の合成の実行指示；１枚目の画像；顔認証を行う；全部で２枚合成”）と記述することにより二枚の顔写真を用いて立体画像として合成し、３次元の顔情報として認証処理を行うことにより上記写真等を用いた成りすましを防止することが可能である。

このように、本発明によるシステムを用いることにより提供される処理にあった形でユーザが情報処理フローをカスタマイズすることができ、柔軟なメールをベースにしたリモート情報サービスの提供が可能であり、複雑な処理記述を必要としない、分かりやすい情報の操作環境を提供することが可能になる。

本発明は上記例に限らず種々の変形が可能で、たとえばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ファイル形式の場合、独自のメタ情報をアプリケーションマーカセグメントとして設定可能であることから、独自メタ情報を該当部分に独自形式で記述することが可能であり、さらに複雑な処理項目を記述することが可能である。また、処理のサービスも種々のもが考えられ、たとえばバーコード情報が画像内にある場合には、上記処理フロー情報をバーコード情報内にエンコード処理を行い、バーコード内のコード情報に従った処理を行うようにすることも可能である。

（第３の実施の形態）
本発明は、ネットワーク経由でその画像データをアップロードしたサーバでその処理フローに従いデータ処理を行うシステムにおいて、撮影条件を変化させた連写画像を使い、連写画像のそれぞれの画像処理結果を比較することにより、より確実に画像処理結果を取得するシステムを提供するものである。以下、この第３の実施の形態において詳述する。

本発明にかかる第３の実施の形態のシステム構成を図１３に示す。本システムでは、通信機能および画像情報入力機能を有する小型の携帯情報端末５００ｃ、たとえばデジタルカメラ機能付き携帯電話等の情報端末機器（そのほかには通信機能付きデジタルカメラでも可能であるが、処理結果のその場での閲覧や処理のログ情報を閲覧することを考えると双方向の通信機能および小型のディスプレイが搭載されていることが望ましい）を有し、かつ無線通信等で接続可能なネットワーク２００上にはファイル取得機能を実装した通信部（たとえば電子メールサーバ機能、ＦＴＰなどファイル交換サーバでも可）をサポートした記憶部を有するサーバとしての情報機器３００ｃ、たとえばＰＣサーバ等のクライアントサーバ型のシステム構成を有する。また情報機器３００ｃでは処理結果をファイルとして所定の記憶領域に保持して後日閲覧することが可能な手段も設けてもよい。

本システム（この実施の形態では電子メールベースのシステムについての例を示す）では、図１４に示すように携帯情報端末５００ｃの連写撮影部１５５で複数枚の撮影条件（同一でもよいが本発明を効果的にするには露出やシャッタースピードなどを機械が判断した最適値の前後の所定の量変化させたもの）を変化させた所定の一連の画像群を撮影して所定のフォーマット（たとえばＥｘｉｆ形式）にて各画像ファイル群を作成する。このとき連写画像であることを示すために、たとえば図１５に示すように同一の画像ファイル名＋連番のようにファイル名１７０ｃを設定することにより、前記サーバ側で連番部を除くファイル名部分が一致する場合には連写画像として画像処理を行うようにする。ユーザは、前記対象画像ファイル群を電子メールクライアント１７１を用いてファイル名１７０ｃを添付するとともに、その画像処理結果を用いた所望の処理情報を所定の記述ルールで本文１７３（件名でも可能であるが、件名には文字数制限等がある）に記述することにより予定のリモートサービスを実行する。

本システムでは、たとえば携帯情報端末５００ｃ側ではサービスを利用するために所定のアドレス先１７２にメールを送り、サーバ（情報装置３００ｃ）側では前記特定アドレスへのメールをメール送受信部１６２にて監視し、受信した際にメールサーバ１６０からメールをダウンロードしてメール処理手段１６４にて所定の処理を行う。たとえば“；”文字を区切り子にして“キーワード；パラメータ；”の所定の記述ルールに従って、処理内容および処理のパラメータを指定して本文に記述して連写画像データを添付して、上記アドレス先へ送信する。画像処理結果をパラメータとして使用する場合にはパラメータのあとに“＜対象画像ファイル名＞”のように“＜”“＞”記号で対象画像を明示するようにすれば、図１３に示すような複数種類の画像１５１，１５２（ここでは顔認識処理とバーコード処理を示している）を対象にした複雑な処理サービス（たとえば図１３に示すような顔認識の画像１５１により相手先メールアドレス取得と文書添付バーコード処理（符号１５２参照）による対象文書のメール添付の配送サービス）を実現することが可能になる。

サーバでの処理を図１８−１、図１８−２のフローチャートに示す。まず、アドレスをチェックする（ステップＳ６１）。ここで、本システムの情報装置３００ｃ（前記特定メールアドレスが割り当てられている）では定期的に受信メールを確認し、自分宛に送られてきたメールを検知した際には、メール本文を取得して内容および添付ファイルをチェックし（ステップＳ６２、Ｓ６３）、上記記述ルールで書かれたテキストの有無を判断する。上記記述を検出したら、処理リストを作成する（ステップＳ６４）とともに、添付された各画像データ群を抽出処理し処理モジュール（ステップＳ７１〜Ｓ７８）に送信する。この処理モジュールでは、前記処理リストから画像処理のリストを参照（画像処理用キーワードの項目の処理リストのみ参照）し、そこに記述されている処理項目を解析して、処理項目に対応した画像処理解析を行う。

図１５に示した例では，二次元バーコード（たとえば、ＱＲコード）の画像データはデコード処理（キーワードは“ＱＲｄｅｃｏｄｅ”）に、顔写真は顔認識処理（キーワードは“ＦａｃｅＲｅｃｏｎｉｔｉｏｎ）にかけられる。それぞれの処理が成功すると所定の処理結果が出力される。たとえば、デコード処理ではデコード結果を、顔認識では認識された人情報（名前、所属、メールアドレス等）を出力して、所定の記憶部１６４にセットされる。画像処理ルーチン（ステップＳ７４〜Ｓ７８）では、同一ファイル名（連番部分を除く）か否かを判断しステップ７１）、キーワードで示された画像処理をパラメータで示されるファイル名を持つ一連の連写画像データに対して行い（ステップＳ７２、Ｓ７３）、その結果を比較し検討する（ステップＳ７６）。本例では、ＦａｃｅＲｅｃｏｎｉｔｉｏｎキーワードに対してはパラメータで示されたファイル名“ＡＡＡＡＡＡ”（連番部分を除く）を有する画像ファイルに対して顔認識処理を行う。ＱＲｄｅｃｏｄｅキーワードに対してはパラメータで示されたファイル名“ＢＢＢＢＢＢ”（連番部分を除く）を有する画像ファイルに対してデコード処理を行う。処理結果としては、たとえば各画像処理に対しての処理結果を比較して複数で一致したものを採用するなどの方法がある。また、ＯＣＲ処理のような各画像処理結果がばらつくような場合には、処理結果の共通するテキスト部分のみを抽出したテキストデータ（もしくは共通した部分と異なる部分を併記した連結テキストデータでもよい）を処理結果に採用してもよい。

また、ステップＳ６４で処理リストを作成した後、バッチ処理に関するキーワード項目を参照してバッチ処理リスト項目を作成（ステップＳ６４内に含む）して実行し、必要に応じて前記画像処理モジュールの出力結果を参照して、パラメータをセットしていくことにより逐次処理を行う（ステップＳ６５〜Ｓ６９）。

本動作を上記例でいえば、メール本文中のバッチ処理キーワード項目の“mailto;_person<AAAAAA>;”と“fileto;_decode<BBBBBB>;”の処理リストを抽出、下記の処理リストを作成する。
順番 処理項目 パラメータ 参照画像処理
１ mailto _person AAAAAA
２ fileto _decode BBBBBB
ｍａｌｔｉｏキーワードに対しては、“ＡＡＡＡＡＡ＋連番”で示される連射画像データ群の画像処理結果からパラメータが示す人情報（この場合、顔認証結果参照）からメールアドレス情報を受け取り、メールのあて先にセットする。ｆｉｌｅｔｏキーワードに対しては、“BBBBBB＋連番”で示される連射画像データ群の画像処理結果からパラメータが示すデコード結果からファイルパス情報を取得し、対応する電子実体のドキュメントデータのコピーを取得してメールの添付ファイルにセットして、メールの送信を行う（ステップＳ７０）。

さらに画像処理情報に関しては、図１６に示すようにたとえばサーバ（情報装置３００ｃ）側にてサービスされるメール処理部２４に対応したリストをテキスト形式（たとえばＸＭＬ形式等）にて記述しておいたファイルを携帯情報端末５００ｃの記憶部１５７にあらかじめ作成しておき、このリスト情報を読み込んだ後、符号１８０に示すように表示してユーザに選択を促す。ユーザは各項目１８１aを選択して、確認後所定のメタ情報領域に選択項目文字１８１ｂを書き込むことも可能である。

たとえば、デジタル静止画データフォーマットとして一般に用いられるフォーマット形式である図１７に示すＥｘｉｆ規格の画像フォーマット形式にて画像情報を保持する際に、ユーザが自由に書き込むことが許可されているＵｓｅｒＣｏｍｍｅｎｔタグ１８６（タグＮｏ．３７５１０）のデータ領域に前記処理情報であるテキストデータ（図１６に示す例ではバーコード処理）を保存する。具体的な操作方法の例としては図１６に示すように、対象の連写画像を撮影して保存した後、再生モードにて所定の連写画像データ群を選択表示し、メニュー画面１８０を起動操作して所望の画像処理キーワード項目１８１ｂを選択する。たとえば、資料に印刷された保存場所情報をエンコードした二次元コード画像１８２を連写撮影した画像群に対してデコード処理を指示する場合には、処理項目メニュー１８１ａでバーコード処理項目を選択し、保存操作にて連写画像データ群の各画像ファイルのＥｘｉｆデータタグ領域のＵｓｅｒＣｏｍｍｅｎｔタグ（タグＮｏ．３７５１０）のデータ領域にテキストデータとして書き込む。

なお、図１８において、上述した画像処理ルーチンでは各画像ファイルのＵｓｅｒＣｏｍｍｅｎｔタグから処理項目がタグ内のテキスト情報の有無を確認後を抽出し、処理項目に対応した処理キーワードを用いた処理リスト情報を作成する（ステップＳ７２）。前記リスト作成後にリスト情報に記述されたキーワードを判断して、順次所定の画像処理を実行する。そして該当の画像処理が行われたことをシステムが確認した後、同一連写画像群の処理結果を上記比較処理して所定の記憶部１６４に所定のフォーマットでファイル化して結果を格納してもよい。

本発明は上記の実施の形態例に限らず種々の変形が可能で、たとえばＪＰＥＧファイル形式の場合、独自のメタ情報をアプリケーションマーカセグメントとして設定可能であることから、独自のメタ情報を該当部分独自形式で記述することが可能であり、さらに複雑な処理項目を記述することも可能である。

以上のように、本発明にかかる画像情報処理システム、および画像情報処理方法は、携帯情報端末を用いたネットワークを介しての画像情報処理システムやその方法に有用であり、特に、メタ情報を用いた画像情報処理、連続撮影画像を用いた画像情報処理などに適している。

１０ 撮影部
１１ ＣＰＵ
１２，１４，１１２，１１８ 記憶部
１３ 通信部
１５ 監視部
１６ 処理部
１７，１１３ 通信部
１８ 表示部
１００ 情報端末機器
１１０ 画像情報編集部
１１１ 撮影部
１１４ メール送受信部
１１５，１６０ メールサーバ
１１７，１６２ メール送受信部
１１９，１６３ メール処理部
１５５ 連写撮影部
２００ ネットワーク
３００ａ，ｂ，ｃ 情報装置（サーバ）
４００ ＰＣ
５００ａ，ｂ，ｃ 携帯情報端末

特開２００３−９１４８７号公報 特開２００３−６７３１１号公報

Claims (8)

1. 少なくとも、通信手段と、撮影手段と、画像情報を所定のフォーマットにて電子ファイルに変換する変換手段とを有する携帯情報端末と、前記通信手段にて接続可能なネットワーク上に設置してなる前記画像情報を取得する画像情報取得手段と、を有し、
   前記携帯情報端末は、前記画像情報を前記ネットワークを介して前記画像情報取得手段に送信する際に前記画像ファイルもしくは送信情報に所定の処理情報を記述する記述手段を有し、
   前記画像情報取得手段を監視し前記画像情報取得手段に前記処理情報を含む添付情報が付加された画像ファイルが送信された際に前記添付情報を元に前記画像情報に対して所定の処理を行う画像情報処理システムであって、
   前記処理対象画像が少なくとも同一もしくはひとつ以上の撮影条件を変化させて同一対象を撮影した連続画像情報であり、少なくとも２つ以上の前記画像情報の画像処理結果を基に前記添付情報に含まれる処理情報に基づく処理を実行する処理実行手段を備えたことを特徴とする画像情報処理システム。
2. 前記連続画像情報が同一対象を撮影した画像情報であることを示す情報を各画像情報のファイル名やメタ情報等のファイル属性に付加するファイル属性付加手段を設けたことを特徴とする請求項１に記載の画像情報処理システム。
3. 前記連続画像情報での画像処理結果のうち少なくとも２つ以上一致する結果が得られたことを認識する認識手段と、
   前記一致結果を画像処理結果として採用して前記画像情報に付加された処理を継続する継続手段と、
   を設けたことを特徴とする請求項１に記載の画像情報処理システム。
4. 前記連続画像情報の各画像処理結果を比較合成する比較合成手段と、
   前記比較合成手段からの比較合成処理結果を用いて前記画像情報に付加された処理を継続する処理継続手段と、
   を設けたことを特徴とする請求項１に記載の画像情報処理システム。
5. 少なくとも、通信手段と、撮影手段と、画像情報を所定のフォーマットにて電子ファイルに変換する変換手段とを有する携帯情報端末と、前記画像情報を取得する画像情報取得手段と、を有し、
   さらに前記携帯情報端末は、前記画像情報を前記ネットワークを介して前記取得手段に送信する際に前記画像ファイルもしくは送信情報に所定の処理情報を記述する情報記述手段を有し、
   前記画像取得手段を監視し前記画像情報取得手段に前記処理情報を含む添付情報が付加された画像ファイルが送信された際に前記添付情報を元に前記画像情報に対して所定の処理を行う画像情報処理方法であって、
   撮影手段が、前記処理対象画像が少なくとも同一もしくはひとつ以上の撮影条件を変化させて同一対象を撮影する撮影工程と、
   送信手段が、前記画像情報群を送信する送信工程と、
   処理手段が、少なくとも２つ以上の前記画像情報の画像処理結果を基に前記添付情報に含まれる処理情報に基づく処理を実行する処理工程と、
   を含むことを特徴とする画像情報処理方法。
6. 属性付加手段が、前記連続画像情報が同一対象を撮影した画像情報であることを示す情報を各画像情報のファイル名やメタ情報等のファイル属性に付加する属性付加工程を含むことを特徴とする請求項５に記載の画像情報処理方法。
7. 認識手段が、前記連続画像情報での画像処理結果のうち少なくとも２つ以上一致する結果が得られたことを認識する認識工程と、
   継続手段が、前記の一致結果を画像処理結果として採用して前記画像情報に付加された処理を継続する継続工程と、
   を含むことを特徴とする請求項５に記載の画像情報処理方法。
8. 比較合成手段が、前記連続画像情報の各画像処理結果を比較合成する比較合成工程と、
   継続手段が、前記比較合成工程からの比較合成処理結果を用いて前記画像情報に付加された処理を継続する継続工程と、
   を含むことを特徴とする請求項５に記載の画像情報処理方法。

Images