JP2006165944A - イメージデータへの登録方法及び装置、登録プログラム及びそれを記録した記録媒体、並びにイメージデータの検証方法及び装置、検証プログラム及びそれを記録した記録媒体 - Google Patents

Abstract

【課題】 テキスト情報の記載されたイメージデータの改ざん場所を特定する。
【解決手段】 テキスト情報の記載されたイメージデータに対して文字認識処理を行い、その文字認識結果とイメージデータに対して電子署名を付与する。電子署名は文字認識結果とイメージデータのそれぞれの特徴量を結合したデータに対して付与する。改ざん場所の特定は、電子署名の検証とイメージデータに文字認識処理とを行い、更に、文字認識の結果の特徴量を計算し、保存されている文字認識結果の特徴量と比較することで、両特徴量が不一致となる箇所を改ざん箇所として特定する。
【選択図】 図１０

Description

本発明は、イメージデータに対する登録方法及び装置、登録プログラム及びそれを記録した記録媒体、並びに登録されたイメージデータが改ざんされた場合にその改ざん場所を特定可能なイメージデータの検証方法及び装置、検証プログラム及びそれを記録した記録媒体に関する。

情報技術の発展に伴い、従来、紙で保存が義務付けられていた書類をスキャニング装置を用いて電子化しイメージデータとして保存するというニーズが高まっている。しかし、電子化されたイメージデータは、紙文書と比較して、痕跡を残さずに改ざん可能であるという問題がある。

この問題に対して、特許文献１には、イメージデータに対して電子署名を付与することで、改ざんを検知可能とする手法として電子データ化方法及び装置が開示されている。

また、特許文献２では、電子透かし技術を用いることでイメージデータの改変場所を特定する手法が開示されている。

しかし、紙文書の場合であれば、修正の跡や筆跡やインクの違いなどから改ざんされた場所を特定できるが、特許文献１で開示されている手法では、紙文書を電子化して得られるイメージデータの改ざんを検知することは可能であっても、改ざんされている場所までは検知できない。

また、特許文献２で開示されている手法により、ブロック単位（例、８Ｘ８ピクセル）で改ざんされた場所を検知可能であるが、テキスト情報の記載されたイメージデータに対して項目単位（例、紙文書が例えば、領収書のような場合において、名前、日付、金額などの項目）で改ざんを検知することはできない。
特開２００２−２３０２０２号公報（段落［００２６］〜［００３１］、図１） 特許３３４２６７７「コンテンツデータ鑑定装置」（ＣＡ２３０７５３４ “ＣＯＮＴＥＮＴ ＤＡＴＡ ＪＵＤＧＩＮＧ ＡＰＰＡＲＡＴＵＳ”）

本発明では、イメージデータが改ざんされたことを後で検証可能にする電子署名を伴う登録と、そうした電子署名が付与されたイメージデータから項目単位で改ざん場所の特定を可能にする検証を得る点で解決すべき課題がある。

この発明の目的は、紙文書を電子化して得られるイメージデータについて改ざんがあったことのみならず、改ざんが行われた場所をも特定することが可能となるイメージデータに対する登録方法及び装置、登録プログラム及びそれを記録した記録媒体、並びにイメージデータの改ざん場所が特定可能な検証方法及び装置、そうした改ざん場所を特定可能な検証プログラム及びそれを記録した記録媒体を提供することである。

上記課題を解決するため、本発明によるイメージデータの登録方法は、１項目以上のテキスト部分を含むイメージデータを取得するイメージデータ取得ステップと、前記イメージデータ取得ステップで取得された前記イメージデータから前記テキスト部分のテキスト情報を認識するテキスト情報認識ステップと、前記イメージデータ及び前記テキスト情報認識ステップで認識された１項目以上のテキスト情報のそれぞれについて特徴量を計算する特徴量計算ステップと、前記特徴量計算ステップで計算された前記特徴量に対して電子署名を付与する署名付与ステップと、前記イメージデータ、前記特徴量及び前記署名付与ステップで付与された前記電子署名を記録する記録ステップとを有することから成っている。

このイメージデータの登録方法によれば、イメージデータ取得ステップにおいて１項目以上のテキスト部分を含むイメージデータが取得され、テキスト情報認識ステップにおいては、上記取得されたイメージデータ内のテキスト部分のテキスト情報が認識される。特徴量計算ステップにおいてイメージデータの特徴量と、テキスト情報認識ステップで認識された１項目以上のテキスト情報について特徴量が計算される。署名付与ステップにおいては、特徴量計算ステップで計算されたイメージデータの特徴量と、テキスト情報について特徴量に対して電子署名が付与される。電子署名は、例えば、イメージデータの管理者のみが知る秘密鍵による暗号化で行われる。記録ステップにおいては、イメージデータ、特徴量及び署名付与ステップで付与された電子署名が記録され、イメージデータの検証に用いることができる。

このイメージデータの登録方法において、前記認識したテキスト情報を修正するテキスト情報修正ステップを更に有し、前記特徴量計算ステップにおいて、前記テキスト情報修正ステップで修正された前記テキスト情報の特徴量を更に計算し、前記署名付与ステップにおいて、修正された前記テキスト情報について前記特徴量計算ステップで計算された前記特徴量に対して更に電子署名を付与し、前記記録ステップにおいて、前記修正されたテキスト情報の前記特徴量とその電子署名を更に記録することができる。認識したテキスト情報が誤っている場合には、テキスト情報修正ステップにおいてテキスト情報を修正する。特徴量計算ステップにおいてはテキスト情報修正ステップで修正したテキスト情報の特徴量を計算し、署名付与ステップにおいては、修正したテキスト情報の特徴量に対して更に電子署名を付与し、記録ステップにおいて、修正されたテキスト情報の前記特徴量とその電子署名を更に記録する。

上記イメージデータの登録方法において、前記特徴量計算ステップでは、前記イメージデータ若しくは認識又は修正された前記テキスト情報のサイズに応じて、前記特徴量の計算方法を異ならすことが好ましい。データのサイズは、データの内容に応じて非常に変化するので、サイズに応じて計算方法を変更し、同じ程度のサイズの情報量に対して特徴量を計算する方が好ましい。

特徴量の計算方法を異ならす上記イメージデータの登録方法において、前記特徴量の計算では、前記イメージデータ若しくは認識又は修正された前記テキスト情報のサイズが、予め決められた値よりも小さい場合には前記イメージデータ又は前記テキスト情報のサイズを前記特徴量とし、前記予め決められた値以上である場合には前記イメージデータ又は前記テキスト情報のサイズが入力される一方向性関数の出力値を前記特徴量とすることができる。テキスト情報のサイズが予め決められた値よりも小さい場合には、そのサイズを特徴量とするが、予め決められた値よりも大きい場合にはテキスト情報のサイズが入力される一方向性関数の出力値を特徴量とする。一般に、イメージデータのサイズはテキスト情報のサイズと比較して非常に大きい。したがって、特徴量の計算方法として、データのサイズが予め決められた値よりも大きい場合には一方向性関数を用いてサイズを出力値として下げることが好ましい。この場合、一方向性関数としては、例えば、ハッシュ関数が挙げられる。

この発明によるイメージデータの登録プログラムは、上記のイメージデータの登録方法における各ステップをコンピュータに実行させるプログラムである。また、この発明による記録媒体は、上記登録プログラムを記録してあり、コンピュータでの読取りが可能な記録媒体である。

この発明によるイメージデータの登録装置は、１項目以上のテキスト部分が含まれているイメージデータを取得するイメージデータ取得部と、前記イメージデータ取得部で取得された前記イメージデータ内の前記テキスト部分の前記テキスト情報を認識するテキスト情報認識部と、前記イメージデータ及び前記テキスト情報認識部で認識された１項目以上のテキスト情報のそれぞれについて特徴量を計算する特徴量計算部と、前記特徴量計算部で計算された前記特徴量に対して電子署名を付与する署名付与部と、前記イメージデータ、前記特徴量及び前記署名付与部で付与された前記電子署名を記録する記録部とを有することから成る。

このイメージデータの登録装置によれば、イメージデータ取得部は１項目以上のテキスト部分が含まれているイメージデータを取得し、テキスト情報認識部はイメージデータ取得部で取得されたイメージデータ内のテキスト部分についてテキスト情報を認識し、特徴量計算部はイメージデータの特徴量とテキスト情報認識部が認識したテキスト情報の特徴量とを計算する。署名付与部は、特徴量計算部が計算したイメージデータの特徴量とテキスト情報の特徴量とに対して電子署名を付与する。電子署名は、例えば、イメージデータの管理者のみが知る秘密鍵による暗号化で行われる。記録部は、イメージデータの検証に用いるため、イメージデータ、特徴量及び署名付与部が付与した電子署名を記録する。

このイメージデータの登録装置は、前記テキスト情報認識部で認識された前記テキスト情報を修正するテキスト情報修正部を更に有し、前記特徴量計算部は、前記テキスト情報修正部で修正された前記テキスト情報の特徴量を更に計算し、前記署名付与部は、修正された前記テキスト情報の前記特徴量に対して更に電子署名を付与し、前記記録部は、修正された前記テキスト情報の前記特徴量とその電子署名を更に記録することができる。即ち、テキスト情報認識部が認識したテキスト情報が誤っている場合には、テキスト情報修正部において人手にてテキスト情報を修正可能とする。修正されたテキスト情報について、特徴量の計算、電子署名及び記録が行われる。詳細には、特徴量計算部はテキスト情報修正部で修正したテキスト情報の特徴量を計算し、署名付与部は修正したテキスト情報の特徴量に対して更に電子署名を付与し、記録部は修正されたテキスト情報の前記特徴量とその電子署名を更に記録する。

このイメージデータの登録装置において、前記特徴量計算部は、認識又は修正された前記テキスト情報のサイズに応じて、前記特徴量の計算方法を異にすることができる。データのサイズは、データの内容に応じて非常に変化するので、サイズに応じて計算方法を変更し、同じ程度のサイズの情報量に対して特徴量を計算する方が好ましい。

このイメージデータの登録装置において、前記特徴量計算部は、前記イメージデータ若しくは認識又は修正された前記テキスト情報のサイズが、予め決められた値よりも小さい場合には前記イメージデータ又は前記テキスト情報のサイズを前記特徴量とし、前記予め決められた値以上である場合には前記イメージデータ又は前記テキスト情報のサイズが入力される一方向性関数の出力値を前記特徴量とすることができる。一般に、イメージデータのサイズはテキスト情報のサイズと比較して非常に大きい。したがって、特徴量の計算方法として、データのサイズが予め決められた値よりも大きい場合には一方向性関数を用いてサイズを出力値として下げることが好ましい。この場合、一方向性関数としては、例えば、ハッシュ関数が挙げられる。

この発明によるイメージデータの検証方法は、１項目以上のテキスト部分が含まれているイメージデータと、前記イメージデータ内の前記テキスト部分についてのテキスト情報の特徴量と、当該特徴量に対して付与された電子署名とを取得する取得ステップと、前記取得ステップで取得された前記電子署名を検証する署名検証ステップと、前記イメージデータ内の前記テキスト情報を認識するテキスト情報認識ステップと、前記認識したテキスト情報の特徴量を計算する特徴量計算ステップと、前記取得ステップで取得された前記テキスト情報の前記特徴量と前記テキスト情報認識ステップで認識された前記テキスト情報の前記特徴量とを比較する比較ステップと、前記比較ステップでの比較において前記取得ステップで取得された前記特徴量と前記テキスト情報認識ステップで認識された前記特徴量とが不一致であるとされた前記テキスト情報が前記改ざん場所であると特定する改ざん場所特定ステップとを有することから成っている。

このイメージデータの検証方法によれば、取得ステップにおいて、１項目以上のテキスト部分が含まれているイメージデータと、前記イメージデータ内の前記テキスト部分についてのテキスト情報の特徴量と、当該特徴量に対して付与された電子署名とが取得される。署名検証ステップにおいては、取得ステップで取得された電子署名が検証される。電子署名が有効なものであると判断されると、テキスト情報認識ステップにおいては、イメージデータ内のテキスト部分についてそのテキスト情報が認識される。特徴量計算ステップにおいては、認識されたテキスト情報の特徴量が計算される。そして、比較ステップにおいては、取得ステップで取得されたテキスト情報の特徴量とテキスト情報認識ステップで認識されたテキスト情報の特徴量とが比較される。比較ステップでの比較において、取得ステップで取得された特徴量は正当な特徴量であるが、テキスト情報認識ステップで認識された特徴量と不一致である場合には、改ざん場所特定ステップはイメージデータが改ざんされたためと推察され、その不一致となった特徴量を持つテキスト情報が改ざん場所であると特定する。

このイメージデータの検証方法において、前記イメージデータ内の前記テキスト情報の配置を定義したフォーマット定義情報を読み込むフォーマット定義情報読込みステップを更に有し、前記比較ステップにおいて、前記テキスト情報認識ステップで認識された前記テキスト情報の前記特徴量は、前記フォーマット定義情報読込みステップで読み込まれた前記フォーマット定義情報から取得された前記イメージデータ内の前記テキスト情報についての前記特徴量と比較することができる。イメージデータが、所定の書式を持つ書類のイメージデータである場合には、書式が定まっていないためにイメージデータ内の領域指定から開始して文字認識を行う場合に比べて、フォーマット定義情報を読み込むことでテキスト情報の認識までの動作を迅速化することができる。

上記イメージデータの検証方法において、前記比較ステップでは、前記取得ステップで取得された前記イメージデータ内の前記テキスト情報の前記特徴量と前記テキスト情報認識ステップで認識された前記テキスト情報の前記特徴量とが不一致となるときに、改ざん場所表示ステップでは、前記テキスト情報の場所を前記イメージデータ上で表示することができる。両特徴量が不一致となるテキスト情報の場所をイメージデータ上で表示することで、イメージデータの利用者は、容易にイメージデータの改ざん場所を認識することができる。

この発明によるイメージデータの検証プログラムは、上記のイメージデータの検証方法における各ステップをコンピュータに実行させるプログラムである。また、この発明による記録媒体は、上記検証プログラムを記録してあり、コンピュータでの読取りが可能な記録媒体である。

この発明によるイメージデータの検証装置は、１項目以上のテキスト部分が記載されているイメージデータと、前記イメージデータ内の前記テキスト部分についてのテキスト情報の特徴量と当該特徴量に対して付与された電子署名とを取得する取得部と、前記取得部で取得された前記電子署名を検証する署名検証部と、前記イメージデータ内の前記テキスト情報を認識するテキスト情報認識部と、前記認識したテキスト情報の特徴量を計算する特徴量計算部と、前記取得部で取得された前記テキスト情報の前記特徴量と前記テキスト情報認識部で認識された前記テキスト情報の前記特徴量とを比較する比較部とを有し、前記比較部での比較において前記取得部で取得された前記特徴量と前記テキスト情報認識部で認識された前記特徴量とが不一致であるとされた前記テキスト情報を前記改ざん場所として特定する改ざん場所特定部とを有することから成っている。

このイメージデータの検証装置によれば、取得部は、１項目以上のテキスト部分が記載されているイメージデータと、前記イメージデータ内の前記テキスト部分についてのテキスト情報の特徴量と当該特徴量に対して付与された電子署名とを取得する。署名検証部は、取得部で取得された電子署名を検証する。電子署名が有効であると検証されると、テキスト情報認識部はイメージデータ内のテキスト部分についてテキスト情報を認識する。特徴量計算部は認識したテキスト情報の特徴量を計算し、比較部は、取得部で取得されたテキスト情報の特徴量（正当な特徴量）と、テキスト情報認識部で認識されたテキスト情報の特徴量とを比較する。比較部での比較において、取得部で取得された特徴量とテキスト情報認識部で認識された特徴量とが不一致であるとされると、改ざん場所特定部は、その特徴量が不一致であるテキスト情報がイメージデータにおいて改ざんされた場所であると特定する。

このイメージデータの検証装置において、前記イメージデータ内の前記テキスト情報の配置を定義したフォーマット定義情報を読み込むフォーマット定義情報読込み部を更に有し、前記比較部において、前記テキスト情報認識部で認識された前記テキスト情報の前記特徴量は、前記フォーマット定義情報読込み部で読み込まれた前記フォーマット定義情報から取得された前記イメージデータ内の前記テキスト情報についての前記特徴量であるとすることができる。イメージデータが、所定の書式を持つ書類のイメージデータである場合には、書式が定まっていないためにイメージデータ内の領域指定から開始して文字認識を行う場合に比べて、フォーマット定義情報を読み込むことでテキスト情報の認識までの動作を迅速化することができる。

このイメージデータの検証装置において、前記取得部で取得された前記イメージデータ内の前記テキスト情報の前記特徴量と前記テキスト情報認識部で認識された前記テキスト情報の前記特徴量とが前記比較部で不一致とされた前記テキスト情報の場所を前記イメージデータ上で表示する改ざん場所表示部を有することができる。両特徴量が不一致となるテキスト情報の場所をイメージデータ上で表示することで、イメージデータの利用者は、容易にイメージデータの改ざん場所を認識することができる。

このように、テキスト部分を含むイメージデータに対してテキスト情報認識（文字認識）処理が行われ、テキスト情報認識結果を含むデータに対して電子署名が付与され、イメージデータ、文字認識結果とイメージデータのそれぞれの特徴量、及び電子署名が保存される。電子署名に対して逆の作用として組み合わされる検証においては、電子署名の検証を行い、電子署名が有効と判定されれば、イメージデータに対して文字認識処理を行い、その文字認識の結果の特徴量を計算し、保存されている文字認識結果の特徴量と比較することで、不一致となる特徴量が存在すればばその特徴量を持つテキスト情報に対応したテキスト部分が改ざん箇所として特定される。これにより、従来目視での確認が必要であった改ざん場所の特定作業を自動化することができ、紙書類を電子化した場合における監査業務に必要な時間を大幅に削減できる。

本発明による、イメージデータの登録方法及び装置、登録プログラム及びそれを記録した記録媒体、並びに署名が付与されたイメージデータが改ざんされた場合にその改ざん場所を特定可能なイメージデータの検証方法及び装置、検証プログラム及びそれを記録した記録媒体においては、イメージデータの改ざんを検知できるだけでなく、改ざんされたテキスト部分の場所を特定することができる。

本発明によるイメージデータの登録方法及びイメージデータの改ざん場所特定可能な検証方法の第１の実施例について、図面を参照しつつ説明する。本実施例では、従来のイメージデータのみに対する電子署名方法ではなく、イメージデータと、イメージデータに対して行った文字認識結果との両方に対して電子署名を適用することで、紙書類のイメージデータの改ざん場所を特定することができる方法について説明する。

図１は、本実施例におけるイメージデータの改ざん場所を特定可能な検証方法を実行する情報処理システムの概略を示す構成例である。本システムを構成するコンポーネントは、スキャニング装置１００２、登録装置１００１、データ保管装置１００３、検証装置１００４、ネットワーク１００５である。本実施例においては、機能毎に装置１００１，１００３及び１００４を分離し、それぞれの装置をネットワーク１００５で繋いでいるが、１台の装置に複数の装置の機能を備えてもよい。

スキャニング装置１００２は、紙の書類をイメージデータに変換する装置である。紙の書類としては、申込書や契約書などの業務によってフォーマットが一定である紙の定形書類である場合や、領収書や請求書などの発行元によりフォーマットの異なる紙の非定形書類がある。

登録装置１００１、データ保管装置１００３、検証装置１００４は、それぞれ、ＣＰＵ、メモリ、記憶装置、表示装置、キーボードを備えたコンピュータである。登録装置１００１は、イメージデータ取得１００６、文字認識１００７、署名生成１００８、データ登録１００９の各機能を備える。文字認識１００７では、スキャニング装置１００２又は記憶装置からイメージデータを読み込み、イメージデータ内に含まれるテキスト部分について文字認識処理、即ち、テキスト情報認識処理を行う。更に、署名生成１００８においては、イメージデータ及び文字認識結果に対して署名が付与され、データ保管装置１００３にイメージデータ、文字認識結果及び署名を登録する。

データ保管装置１００３は、データ受信１０１０、署名検証１０１１、データ保管１０１２、及びデータ提供１０１３の各機能を備える。データ保管装置１００３は、データ受信１０１０において登録装置１００１から署名を含むデータを受け取り、署名検証１０１１において署名検証を行う。署名が有効な場合に、データ保管１０１２において記憶装置にデータ（イメージデータ、文字認識結果、署名データ）を保管する。署名が有効でない場合には、データを保管せずにエラーを登録装置１００１に返信する。なお、文字認識結果はイメージデータの検索用に利用できるが、必要ない場合には保管しなくてもよい。

検証装置１００４は、検証対象データ取得１０１４、署名検証１０１１、改ざん場所特定１０１５、改ざん場所表示１０１６の各機能を備える。検証装置１００４は、検証対象データ取得１０１４においてデータ保管装置１００３から検証対象データ（イメージデータ、文字認識結果、署名データ）を取得し、署名検証１０１１において検証対象データのうちの署名について署名検証を行う。検証が無効である場合には、改ざん場所特定１０１５において改ざん場所検知の処理を行う。更に、改ざん場所表示１０１６において、視覚的に判るようにイメージデータの改ざん場所を表示する。

図２は、登録装置１００１における文字認識（テキスト情報認識）１００７の処理フローである。本フローが、本発明におけるテキスト情報認識ステップに関連する。
ステップ２００１：開始。
ステップ２００２：イメージデータ取得１００６で取得したイメージデータが定形書類である場合にはステップ２００３へ進む。そうでない場合（非定形書類である場合）にはステップ２００５へ進む。
ステップ２００３：フォーマット定義情報を読み込む。フォーマット定義情報とは、以降のステップにおける文字認識を行う場所（範囲）とその場所に記載されている内容の識別情報及びデータ形式（例：数字、文字など）を定義している情報である。
ステップ２００４：フォーマット定義情報に従い、指定された箇所の文字認識を行う。 ステップ２００５：イメージデータ全体に対して文字認識を行う。文字認識処理は行単位で行い、それぞれの行の認識結果を１つの要素として扱う。
ステップ２００６：文字認識結果を表示する。正しく文字を認識できているかをユーザに確認してもらうために行う。なお、誤認識の可能性がない場合には、このステップは省略してもよい。
ステップ２００７：文字認識結果に誤りがある場合にデータを修正する（ユーザ操作による）。
ステップ２００８：文字認識結果データを作成する。
ステップ２００９：終了。

図３は、ステップ２００３におけるフォーマット定義情報３００１のフォーマットの一例を示している。フォーマット定義情報３００１は、帳票ＩＤ３００２、属性ＩＤ３００３、データ形式３００４及び読取範囲３００５より構成される。帳票ＩＤ３００２は、書類のフォーマットを識別する情報である。なお、帳票ＩＤ３００２における０ｘ００００は、書類のフォーマットが非定形であることを示す。属性ＩＤ３００３は、文字認識を行う情報の識別子である。書類には、名前、日付、金額などが記載されており、属性ＩＤ３００３はそれらを識別するための情報である。データ形式３００４は、文字列、数字等の各属性の型情報である。読取範囲３００５は、各属性ＩＤ３００３の情報が記載されているイメージデータ上の範囲を表す情報であり、４つの値は左から、始点のＸ座標、始点のＹ座標、終点のＸ座標、終点のＹ座標を表している。読取範囲３００５は、イメージデータ上において、始点と終点を結ぶ線を対角線とする長方形の内部に対応している。

図４は、ステップ２００８における文字認識結果データ４００１のフォーマットの一例を示す図である。文字認識結果データ４００１は、属性ＩＤ３００３、登録データ４００２及び修正前データ４００３より構成される。属性ＩＤ３００３は、定形書類の場合、認識されたデータの内容の識別子であり、それぞれの属性ＩＤ３００３は、例えば、日付、名前、金額などに関連付けられている。非定形書類の場合は、属性ＩＤ３００３は行番号とされる。登録データ４００２は、文字認識の結果であり、ユーザが修正した場合には修正したデータとなる。修正前データ４００３は、ユーザが修正する前のデータであり、ユーザが修正しなかった場合には空欄（データなし）となる。

図５は、登録装置１００１における署名生成１００８での処理フローである。
ステップ５００４：イメージデータ５００１及び文字認識１００７の出力である文字認識結果データ４００１の各属性の登録データ５００２と修正前データ５００３に対してそれぞれ特徴量５００５、５００６、５００７を計算する。ここで、各属性の修正前データ５００３の特徴量５００７はデータが存在する場合（ユーザが文字認識結果を修正した場合）のみ計算する。特徴量の計算の具体的内容については、図７を参照して後述する。
ステップ５００８：イメージデータの特徴量５００５と文字認識結果の各属性ＩＤ３００３と特徴量５００６、５００７とを結合したデータに対して、署名値を計算する。署名値は、結合データに対して秘密鍵を適用することによって暗号化された値である。
ステップ５００９：特徴量５００５、５００６、５００７、属性ＩＤ３００３及び署名値から署名データ５０１０を作成する。
当フローの５００７までが特徴量計算ステップに相当し、それ以後が本発明における署名付与ステップに相当する。

図６は、署名データ５０１０のフォーマットを示している。署名データ５０１０は、公開鍵証明書６００１、署名対象データ６００２及び署名値６００３より構成される。公開鍵証明書６００１は、認証局（公的な性格を帯びるものから、民間の団体まである）が発行している公開鍵の証明書であり、上記秘密鍵に対応し且つ署名データ５０１０を検証するための公開鍵を含み、且つ公開鍵の持ち主の証明を果たしている。署名対象データ６００２は、イメージデータの特徴量５００５と、各属性ＩＤ３００３（属性ＩＤ１〜属性ＩＤＮ）についてのそれぞれの認識結果６００４とを含んでいる。各属性ＩＤ３００３の認識結果６００４は、各属性ＩＤｉ（ｉ＝１〜Ｎ）とその登録データ４００２の特徴量５００６を含む。更に、ユーザが文字認識結果を修正した場合には、各属性ＩＤ３００３の認識結果６００４には修正前データ４００３の特徴量５００７が含められる。その他、時刻情報など任意のデータを署名対象データ６００２に含めてもよい。ユーザによる文字認識結果の修正は、本発明におけるテキスト情報修正ステップに対応している。

また、署名データ５０１０に含まれるデータには、図５に示したデータ以外を含めてもよい。さらに、公開鍵証明書６００１、署名対象データ６００２、署名値６００３は関連付けがされていれば、分離された状態で保管してもよい。署名データ５０１０のフォーマットとしては、例えば、署名の標準フォーマットとして利用されているＲＦＣ３３６９“Ｃｒｙｐｔｏｇｒａｐｈｉｃ Ｍｅｓｓａｇｅ Ｓｙｎｔａｘ”で定義されているＳｉｇｎｅｄＤａｔａ構造体を利用することができる。

図７は、ステップ５００４における特徴量の計算方法の詳細を示すフローチャートである。
ステップ７００１：開始。
ステップ７００２：入力データ（ｉｎ）のデータサイズ（ｓ）を計算する。
ステップ７００３：データサイズ（ｓ）が予め決められた値である閾値（Ｌ）より小さい場合にはステップ７００４へ進む。そうでない場合には、ステップ７００５へ進む。即ち、イメージデータ若しくは認識又は修正されたテキスト情報のサイズ（入力データのサイズ）に応じて、特徴量の計算方法が異なっている。
ステップ７００４：特徴量を入力データ（ｉｎ）とする。即ち、入力データのサイズが閾値（Ｌ）より小さい場合には、その入力データのサイズが特徴量とされる。
ステップ７００５：特徴量＝ｈ（ｉｎ）として特徴量を計算する。関数ｈ（）としては、一例として、一方向性関数としてのハッシュ関数を利用してもよい。
ステップ７００６：終了。

図８はデータ登録１００９において、登録装置１００１がデータ保管装置１００３に送信するデータ８００１のフォーマットを示している。送信データ８００１は帳票ＩＤ３００２、イメージデータ５００１、文字認識結果データ４００１、署名データ５０１０より構成される。その他、登録者を識別する情報や登録日時等、図８に示したデータ以外のデータを送信データ８００１に含めてもよい。データ保管装置１００３は、登録装置１００１が送信したデータを受信し、署名の検証を行い、署名が有効である場合に受信したデータを保管する。データ登録１００９は、本発明における記録ステップに対応している。

図９は検証装置１００４における署名検証１０１１の処理手順を示している。
ステップ９００１：開始。
ステップ９００２：署名データ５０１０の中に含まれる公開鍵証明書６００１を検証する。
ステップ９００３：公開鍵証明書６００１が有効である場合にはステップ９００４へ進む。そうでない場合にはステップ９０１０へ進む。
ステップ９００４：公開鍵証明書６００１から公開鍵を取り出す。
ステップ９００５：イメージデータ５００１（改ざんの可能性がある）の特徴量を計算し、署名対象データ６００２に含まれる特徴量５００５と比較する。
ステップ９００６：ステップ９００５において特徴量が一致する場合にはステップ９００７へ進む。そうでない場合にはステップ９０１０へ進む。
ステップ９００７：公開鍵、署名対象データ６００２、署名値６００３から署名を検証する。即ち、取り出した公開鍵で署名値６００３を解読することによって、元のイメージデータの特徴量５００５と文字認識結果の各属性ＩＤ３００３と特徴量５００６、５００７とを結合したデータが復号化される。復号化された特徴量５００５、文字認識結果の各属性ＩＤ３００３及びそれらの特徴量５００６、５００７と、署名対象データ６００２に含まれているイメージデータ５００１の特徴量５００５、各属性ＩＤ３００３及びそれらの特徴量５００６、５００７とを比較することで、署名が有効か否かを検証することができる（一致していれば、署名は有効と判断される）。
ステップ９００８：署名が有効である場合にはステップ９００９へ進む。そうでない場合にはステップ９０１０へ進む。
ステップ９００９：（正常）終了。
ステップ９０１０：ステップ９００３において公開鍵証明書６００１が有効でない場合及びステップ９００６において特徴量が一致しない場合には、エラー終了とする。

データ保管装置１００３の署名検証１０１１において、エラー終了（ステップ９００８）の場合には、受信したデータを破棄し、登録装置１００１にエラーである旨を返送する。正常終了の場合には、受信したデータをデータ保管１０１２の処理によりデータ保管装置１００３内に記録する。また、データ保管装置１００３は、データ提供機能１０１３の機能を備える。データ提供機能１０１３は、データ保管装置１００３に保管したデータを他の計算機からの要求に対して、データを送信する機能である。これにより、他の計算機（例、検証装置１００４）は、データ保管装置１００３に保管されているデータを参照できる。データ提供機能１０１３は、ユーザ認証機能やアクセス制御機能を備えることで、参照可能なユーザを制限してもよい。

検証装置１００４は、検証対象データ取得１０１４を利用して、データ保管装置１００３から検証対象データ（イメージデータ５００１、文字認識結果データ４００１、署名データ５０１０）を取得する。検証装置１００４は、取得したデータから署名検証機能１０１１、改ざん場所特定１０１５を実行する。署名検証１０１１は、図９に示すフローチャートと同じデータベース順で実行される。署名検証１０１１においてエラーとなった場合には、改ざん場所特定機能１０１５が実行される。更に、改ざん場所特定１０１５において、改ざんリストに１つ以上の値が存在する場合には、その結果をもとに改ざん場所表示１０１６を実行し、改ざん場所表示を行う。

図１０は、改ざん場所特定１０１５の処理手順を示している。
ステップ１０００１：開始。
ステップ１０００２：イメージデータ５００１に対して、文字認識処理を行う。なお、ここでの文字認識処理は、図２に示す文字認識処理の処理手順のうち、ステップ２００６（文字認識結果の表示）、２００７（ユーザーによる認識結果の修正）の処理を省略した処理である。更に、ステップ２００８で作成する文字認識結果データ４００１は全ての修正前データ４００４が空欄となっている。
ステップ１０００３：認識結果の特徴量を計算する。
ステップ１０００４：内部変数ｉ＝０に設定する。
ステップ１０００５：属性ＩＤｉの認識結果の特徴量と署名対象データ６００２内の登録データの特徴量５００６が一致しているか確認する。一致している場合にはステップ１０００６へ進む。そうでない場合にはステップ１０００８へ進む。
ステップ１０００６：内部変数ｉ＝ｉ＋１とする。
ステップ１０００７：ｉ＞Ｎの場合にはステップ１００１０へ進む。そうでない場合にはステップ１０００５へ戻る。ここで、Ｎは認識結果の数であり、文字認識結果データ４００１の属性ＩＤの数と一致する。
ステップ１０００８：属性ＩＤｉの認識結果の特徴量と署名対象データ６００２内の修正前データの特徴量５００７を比較する。
ステップ１０００９：比較結果を不一致リストに追加する。なお、修正前データの特徴量５００７が存在しない場合には不一致とする。
ステップ１００１０：終了。

図１１は、改ざん場所特定１０１５で作成する不一致リスト１１００１のフォーマットの一例を示している。不一致リスト１１００１は、属性ＩＤ３００３、認識結果１１００２、比較結果１１００３を含む。認識結果１１００２は、ステップ１０００２の文字認識結果である。比較結果１１００３は、修正前データの特徴量５００７と認識結果１１００２の特徴量を比較して一致する場合には「１」、一致しない場合には「０」を指定する。なお、修正前データがない場合には「０」となる。

図１２は、改ざん場所表示１０１６の処理手順の一例を示すフローチャートである。
ステップ１２００１：開始。
ステップ１２００２：フォーマット定義情報３００１を読み込む。
ステップ１２００３：不一致リスト１１００１からデータを１つ取り出す。なお、データは、図１１に示す不一致リスト１１００１の行単位で取り出す。取り出したデータは不一致リスト１１００１から削除する。
ステップ１２００４：フォーマット定義情報３００１と属性ＩＤから当該属性の情報が記載されているイメージデータ上の位置を特定し、マークする。マークは、例えば、当該箇所を枠で囲うなど、視覚的にわかるようにする。また、比較結果１１００３の違いにより、色を分けても良い。比較結果１１００３が「１」の場合には文字認識処理が誤っている可能性があり、ユーザに確認を求めるようにする。また、「０」の場合には改ざんされている可能性が非常に高いので、改ざんされている旨を画面に表示する。
ステップ１２００５：不一致リスト１１００１にデータが残っている場合にはステップ１２００３へ進む。そうでない場合にはステップ１２００６へ進む。
ステップ１２００６：終了。

以上の手順により、イメージデータに対して文字認識処理を施して電子署名を付与し、検証時に再度文字認識処理を行って結果を比較することでイメージデータ上の改ざん場所を特定することができる。改ざん場所を特定の機能を付加するために、データ量が従来と比べて増加するが、その増加量はイメージデータ量と比較して僅かであるので、特段の問題はない。

また、本実施例を応用すれば、改ざん場所を特定できるだけでなく、データを復元することもできる。各属性（氏名、日付、金額など）はランダムな値ではなく、「氏名」であれば、過去に登録した「氏名」と一致する可能性もあり、「日付」「金額」などはある程度範囲を絞ることができる。「氏名」であれば、データベースに登録されている全「氏名」を取り出し、特徴量をそれぞれ計算して比較し、署名データ５０１０内の特徴量と一致すれば、それが正しいデータとなる。また、「日付」「金額」についても同様であり、範囲を絞ってそれぞれの特徴量を計算して比較することでデータを復元することができる。

図１３には、図１に示すイメージデータの登録・保管・検証システムにおける登録装置の概略の一例が示されている。イメージデータの登録装置１は、１項目以上のテキスト部分が含まれているイメージデータを取得するイメージデータ取得部２と、イメージデータ取得部２で取得されたイメージデータ内のテキスト部分についてのテキスト情報を認識するテキスト情報認識部３と、イメージデータ取得部２で取得されたイメージデータ及びテキスト情報認識部３で認識されたテキスト情報のそれぞれについて特徴量を計算する特徴量計算部４と、特徴量計算部４で計算された特徴量に対して電子署名を付与する署名付与部５とを有している。テキスト情報認識部３で認識されたテキスト情報に誤りがあれば、テキスト情報修正部６で修正され、修正されたテキスト情報が特徴量計算部４に送られる。イメージデータ取得部２で取得されたイメージデータ、特徴量計算部４で計算された特徴量、及び署名付与部５で付与された電子署名は、記録部７で記録される。

図１４には、図１に示すイメージデータの登録・保管・検証システムにおける検証装置の概略の一例が示されている。図１４に示すイメージデータの検証装置１０は、１項目以上のテキスト部分が含まれているイメージデータと、そのイメージデータ内のテキスト部分についてのテキスト情報の特徴量と、当該特徴量に対して付与された電子署名とを取得する取得部１１を備えている。検証装置１０は、また、取得部１１で取得された電子署名を検証する署名検証部１２と、署名検証部１２で電子署名が有効とされた場合に、取得部１１で取得されているイメージデータ内のテキスト部分についてのテキスト情報を認識するテキスト情報認識部１３と、テキスト情報認識部１３で認識したテキスト情報の特徴量を計算する特徴量計算部１４とを更に有している。検証装置１０は、更に、取得部１３で取得されているテキスト情報の特徴量と、テキスト情報認識部１３で認識されたテキスト情報の特徴量とを比較する比較部１５を備えている。紙書類が定型用紙に記載されているものである場合には、その定型用紙のフォーマット定義情報読込み部１６からフォーマット定義情報が読み込まれて、比較部１５に特徴量の情報が与えられる。検証装置１０は、更にまた、比較部１５での比較において取得部１１で取得されたテキスト情報の特徴量と、対応するテキスト部分についてテキスト情報認識部１３で認識されたテキスト情報の特徴量とが不一致であるとき、そのテキスト情報を改ざん場所として特定する改ざん場所特定部１６を有し、更に、改ざん場所特定部１６で特定された改ざん場所をイメージデータ上で表示させる改ざん場所表示部１７を備えている。

上記したようなイメージデータ、イメージデータ内のテキスト情報の特徴量及び当該特徴量に対して付与された電子署名とを取得する取得ステップと、電子署名を検証する署名検証ステップと、テキスト情報を認識するテキスト情報認識ステップと、テキスト情報の特徴量を計算する特徴量計算ステップと、両特徴量を比較する比較ステップと、両特徴量が不一致であることに応じた改ざん場所特定ステップとを有するイメージデータの検証方法については、各ステップをコンピュータに実行させることができるイメージデータの検証プログラムとして具体化することができる。

そうしたプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭのような記録媒体に記録させた状態で市場に流通させることができる。また、プログラムデータとして、インターネット等の公衆回線を通じてダウンロード可能な状態にして、ユーザが購入することができるようにしてもよい。上記イメージデータの検証方法のプログラムには、イメージデータ内のテキスト情報の配置を定義したフォーマット定義情報を読み込むフォーマット定義情報読込みステップを有するもの、また、両特徴量が不一致となるときにテキスト情報の場所をイメージデータ上で表示する改ざん場所表示ステップを更に有するもの等が含まれることは明らかである。

本発明の実施例の構成を示す図。 文字認識処理のフローチャートを示す図。 文字認識処理におけるフォーマット定義情報を示す図。 文字認識結果データを示す図。 署名生成処理のフローチャートを示す図。 署名データのフォーマットを示す図。 特徴量の計算方法のフローチャートを示す図。 登録データのフォーマットを示す図。 署名検証処理のフローチャートを示す図。 改ざん場所特定のフローチャートを示す図。 不一致リストのフォーマットを示す図。 改ざん場所表示のフローチャートを示す図。 図１に示すイメージデータの登録・保管・検証システムにおける登録装置の概略の一例を示す図。 図１に示すイメージデータの登録・保管・検証システムにおける検証装置の概略の一例を示す図。

符号の説明

１ イメージデータの登録装置
２ イメージデータ取得部
３ テキスト情報認識部
４ 特徴量計算部
５ 署名付与部
６ テキスト情報修正部
７ 記録部
１０ イメージデータの検証装置
１１ 取得部
１２ 署名検証部
１３ テキスト情報認識部
１４ 特徴量計算部
１５ 比較部
１６ フォーマット定義情報読込み部
１７ 改ざん場所特定部
１８ 改ざん場所表示部
１００１ 登録装置
１００２ スキャニング装置
１００３ データ保管装置
１００４ 検証装置
１００５ ネットワーク
１００６ イメージデータ取得
１００７ 文字認識
１００８ 署名生成
１００９ データ登録
１０１０ データ受信
１０１１ 署名検証
１０１２ データ保管
１０１３ データ提供
１０１４ 検証対象データ取得
１０１５ 改ざん場所特定
１０１６ 改ざん場所表示
３００１ フォーマット定義情報
３００２ 帳票ＩＤ
３００３ 属性ＩＤ
３００４ データ形式
３００５ 読取範囲
４００１ 文字認識結果データ
４００２ 登録データ
４００３ 修正前データ
５００１ イメージデータ
５００５ イメージデータの特徴量
５００６ 各属性の登録データの特徴量
５００７ 各属性の修正前データの特徴量
５０１０ 署名データ
６００１ 公開鍵証明書
６００２ 署名対象データ
６００３ 署名値
８００１ 登録装置からデータ保管装置への送信データ
１１００１ 不一致リスト
１１００２ 認識結果
１１００３ 比較結果

Claims (18)

1. １項目以上のテキスト部分を含むイメージデータを取得するイメージデータ取得ステップと、
   前記イメージデータ取得ステップで取得された前記イメージデータから前記テキスト部分のテキスト情報を認識するテキスト情報認識ステップと、
   前記イメージデータ及び前記テキスト情報認識ステップで認識された１項目以上のテキスト情報のそれぞれについて特徴量を計算する特徴量計算ステップと、
   前記特徴量計算ステップで計算された前記特徴量に対して電子署名を付与する署名付与ステップと、
   前記イメージデータ、前記特徴量及び前記署名付与ステップで付与された前記電子署名を記録する記録ステップとを有することから成るイメージデータの登録方法。
2. 前記認識したテキスト情報を修正するテキスト情報修正ステップを更に有し、
   前記特徴量計算ステップにおいて、前記テキスト情報修正ステップで修正された前記テキスト情報の特徴量を更に計算し、
   前記署名付与ステップにおいて、修正された前記テキスト情報について前記特徴量計算ステップで計算された前記特徴量に対して更に電子署名を付与し、
   前記記録ステップにおいて、前記修正されたテキスト情報の前記特徴量とその電子署名を更に記録することから成る請求項１に記載のイメージデータの登録方法。
3. 前記特徴量計算ステップにおいて、前記イメージデータ若しくは認識又は修正された前記テキスト情報のサイズに応じて、前記特徴量の計算方法が異なることから成る請求項１又は２に記載のイメージデータの登録方法。
4. 前記特徴量の計算において、前記イメージデータ若しくは認識又は修正された前記テキスト情報のサイズが、予め決められた値よりも小さい場合には前記イメージデータ又は前記テキスト情報のサイズを前記特徴量とし、前記予め決められた値以上である場合には前記イメージデータ又は前記テキスト情報のサイズが入力される一方向性関数の出力値を前記特徴量とすることから成る請求項３に記載のイメージデータの登録方法。
5. 請求項１乃至請求項４の何れかに記載の前記各ステップをコンピュータに実行させることから成るイメージデータへの登録プログラム。
6. 請求項５に記載の前記登録プログラムを記録してあることから成るコンピュータでの読取りが可能な記録媒体。
7. １項目以上のテキスト部分が含まれているイメージデータを取得するイメージデータ取得部と、
   前記イメージデータ取得部で取得された前記イメージデータ内の前記テキスト部分の前記テキスト情報を認識するテキスト情報認識部と、
   前記イメージデータ及び前記テキスト情報認識部で認識された１項目以上のテキスト情報のそれぞれについて特徴量を計算する特徴量計算部と、
   前記特徴量計算部で計算された前記特徴量に対して電子署名を付与する署名付与部と、
   前記イメージデータ、前記特徴量及び前記署名付与部で付与された前記電子署名を記録する記録部とを有することから成るイメージデータの登録装置。
8. 前記テキスト情報認識部で認識された前記テキスト情報を修正するテキスト情報修正部を更に有し、
   前記特徴量計算部は、前記テキスト情報修正部で修正された前記テキスト情報の特徴量を更に計算し、
   前記署名付与部は、修正された前記テキスト情報の前記特徴量に対して更に電子署名を付与し、
   前記記録部は、修正された前記テキスト情報の前記特徴量とその電子署名を更に記録することから成る請求項７に記載のイメージデータの登録装置。
9. 前記特徴量計算部は、認識又は修正された前記テキスト情報のサイズに応じて、前記特徴量の計算方法を異にすることから成る請求項７又は８に記載のイメージデータの登録装置。
10. 前記特徴量計算部は、前記イメージデータ若しくは認識又は修正された前記テキスト情報のサイズが、予め決められた値よりも小さい場合には前記イメージデータ又は前記テキスト情報のサイズを前記特徴量とし、前記予め決められた値以上である場合には前記イメージデータ又は前記テキスト情報のサイズが入力される一方向性関数の出力値を前記特徴量とすることから成る請求項９に記載のイメージデータの登録装置。
11. １項目以上のテキスト部分が含まれているイメージデータと、前記イメージデータ内の前記テキスト部分についてのテキスト情報の特徴量と、当該特徴量に対して付与された電子署名とを取得する取得ステップと、
    前記取得ステップで取得された前記電子署名を検証する署名検証ステップと、
    前記イメージデータ内の前記テキスト情報を認識するテキスト情報認識ステップと、
    前記認識したテキスト情報の特徴量を計算する特徴量計算ステップと、
    前記取得ステップで取得された前記テキスト情報の前記特徴量と前記テキスト情報認識ステップで認識された前記テキスト情報の前記特徴量とを比較する比較ステップと、
    前記比較ステップでの比較において前記取得ステップで取得された前記特徴量と前記テキスト情報認識ステップで認識された前記特徴量とが不一致であるとされた前記テキスト情報が前記改ざん場所であると特定する改ざん場所特定ステップとを有することから成るイメージデータの検証方法。
12. 前記イメージデータ内の前記テキスト情報の配置を定義したフォーマット定義情報を読み込むフォーマット定義情報読込みステップを更に有し、
    前記比較ステップにおいて、前記テキスト情報認識ステップで認識された前記テキスト情報の前記特徴量は、前記フォーマット定義情報読込みステップで読み込まれた前記フォーマット定義情報から取得された前記イメージデータ内の前記テキスト情報についての前記特徴量と比較されることから成る請求項１１に記載のイメージデータの検証方法。
13. 前記比較ステップにおいて、前記取得ステップで取得された前記イメージデータ内の前記テキスト情報の前記特徴量と前記テキスト情報認識ステップで認識された前記テキスト情報の前記特徴量とが不一致となるときに、前記テキスト情報の場所を前記イメージデータ上で表示する改ざん場所表示ステップを更に有することから成る請求項１１又は１２に記載のイメージデータの検証方法。
14. 請求項１１乃至請求項１３の何れかに記載の前記各ステップをコンピュータに実行させることから成るイメージデータの検証プログラム。
15. 請求項１４に記載の前記検証プログラムを記録してあることから成るコンピュータでの読取りが可能な記録媒体。
16. １項目以上のテキスト部分が含まれているイメージデータと、前記イメージデータ内の前記テキスト部分についてのテキスト情報の特徴量と、当該特徴量に対して付与された電子署名とを取得する取得部と、
    前記取得部で取得された前記電子署名を検証する署名検証部と、
    前記イメージデータ内の前記テキスト情報を認識するテキスト情報認識部と、
    前記認識したテキスト情報の特徴量を計算する特徴量計算部と、
    前記取得部で取得された前記テキスト情報の前記特徴量と前記テキスト情報認識部で認識された前記テキスト情報の前記特徴量とを比較する比較部と、
    前記比較部での比較において前記取得部で取得された前記特徴量と前記テキスト情報認識部で認識された前記特徴量とが不一致であるとされた前記テキスト情報を前記改ざん場所として特定する改ざん場所特定部とを有することから成るイメージデータの検証装置。
17. 前記イメージデータ内の前記テキスト情報の配置を定義したフォーマット定義情報を読み込むフォーマット定義情報読込み部を更に有し、
    前記比較部において、前記テキスト情報認識部で認識された前記テキスト情報の前記特徴量は、前記フォーマット定義情報読込み部で読み込まれた前記フォーマット定義情報から取得された前記イメージデータ内の前記テキスト情報についての前記特徴量であることから成る請求項１６に記載のイメージデータの検証装置。
18. 前記比較部において、前記取得部で取得された前記イメージデータ内の前記テキスト情報の前記特徴量と前記テキスト情報認識部で認識された前記テキスト情報の前記特徴量とが不一致とされた前記テキスト情報の場所を前記イメージデータ上で表示する改ざん場所表示部とを更に有することから成る請求項１６又は１７に記載のイメージデータの検証装置。

Images