JP2004266646A

JP2004266646A - Data processing method and its device

Info

Publication number: JP2004266646A
Application number: JP2003056071A
Authority: JP
Inventors: Jun Hirai; 純平井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-03
Filing date: 2003-03-03
Publication date: 2004-09-24

Abstract

<P>PROBLEM TO BE SOLVED: To provide a data processing method which can verify whether both a generating source and a providing source of image data to be checked and image data for collating are the same or not with the image data to be checked and the image data for collation. <P>SOLUTION: When the image data to be checked are inputted, a server 5 generates encryption data to be checked by encrypting them by using a password of its providing source. And, the server 5 detects the correlation between the encryption data for collation and the encryption data to be checked. The server 5 judges whether there is a difference caused by variations peculiar to the light receiving sensitivity between the image data for collation and the image data to be checked on the basis of the detected correlation. It verifies whether the image data for collation and the image data to be checked are generated at the same generating source, and they are provided from the same providing source or not on the basis of the judgement results. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データの生成元および提供元を検証するデータ処理方法およびその装置に関する。
【０００２】
【従来の技術】
例えば、デジタル方式のカメラで撮像したデジタル形式の画像データが、当該画像データの著作権者の許諾を受けずに、第三者によって不正に使用されることがある。
このような不正使用を防止するために、画像データに対して、当該画像データを生成したカメラ（生成元）を特定する情報を、電子透かし情報や、画像ファイルのヘッダとして付加する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した画像データに電子透かし情報を付加する方法では、付加する回路が複雑なためカメラにその回路を搭載することが難しいという問題がある。
また、上述した画像ファイルのヘッダとして付加する方法では、ヘッダの書き換えにより、カメラを特定する情報が容易に改竄されてしまうという問題がある。
また、１台のカメラを複数人が使用し、各自がサーバ装置にその画像データを提供する場合に、その生成元であるカメラの他に、当該画像データの提供元を検証したいという要請がある。
【０００４】
本発明は上述した従来技術の問題点に鑑みてなされ、被検用の画像データと照合用の画像データとで、その生成元および提供元の双方が同じであるか否かを検証できるデータ処理方法およびその装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明のデータ処理方法は、受光感度に固有のバラツキがある複数の受光素子の受光結果を基に生成された画像データの生成元および提供元を検証するデータ処理方法であって、第１の前記画像データを、その提供元のパスワードを用いて暗号化して第１の暗号データを生成する第１の工程と、前記第１の工程で生成された前記第１の暗号データと、第２の前記画像データをその提供元のパスワードを用いて暗号化した第２の暗号データとの相関を検出する第２の工程と、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する差異があるか否かを前記第２の工程で検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する第３の工程とを有する。
【０００６】
第１の発明のデータ処理方法の作用は以下のようになる。
第１の工程において、第１の前記画像データを、その提供元のパスワードを用いて暗号化して第１の暗号データを生成する。
次に、第２の工程において、前記第１の工程で生成された前記第１の暗号データと、第２の前記画像データをその提供元のパスワードを用いて暗号化した第２の暗号データとの相関を検出する。
次に、第３工程において、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記第２の工程で検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する。
【０００７】
第１の発明のデータ処理方法は、好ましくは、前記第２の工程は、
前記第１の暗号データおよび前記第２の暗号データを直交変換してそれぞれ第１の周波数成分データおよび第２の周波数成分データを生成する第７の工程と、前記第１の周波数成分データを構成する各々の複素数データを、各複素数データの絶対値で除算して第１の複素数データを生成し、前記第２の周波数成分データを構成する各々の複素数データを、各複素数データの絶対値で除算して第２の複素数データを生成する第８の工程と、前記第１の複素数データおよび前記第２の複素数データの一方を構成する各々の複素数データを複素共役な複素数データに置き換えた第３の複素数データを生成する第９の工程と、前記第９の工程で置き換えが行われていない前記第１の複素数データまたは前記第２の複素数データと、前記第９の工程で生成された前記第３の複素数データとを乗算して第４の複素数データを生成する第１０の工程と、前記第１０の工程で生成した前記第４の複素数データを逆直交変換して相関データを生成する第１１の工程とを有する。
【０００８】
第２の発明のデータ処理方法は、受光感度に固有のバラツキがある複数の受光素子の受光結果を基に生成された画像データの生成元および提供元を検証するデータ処理方法であって、照合用の第１の前記画像データの暗号データをその提供元のパスワードを用いて復号して復号データを生成する第１２の工程と、第１２の工程で生成された前記復号データと、被検用の第２の前記画像データとの相関を検出する第２の工程と、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記第２の工程で検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する第３の工程とを有する。
【０００９】
第２の発明のデータ処理方法の作用は以下のようになる。
第１の工程において、照合用の第１の前記画像データの暗号データをその提供元のパスワードを用いて復号して復号データを生成する。
第２の工程において、前記第１２の工程で生成された前記復号データと、被検用の第２の前記画像データとの相関を検出する。
第３の工程において、前記第１２の工程と前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記第２の工程で検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する。
【００１０】
第３の発明のデータ処理方法は、受光感度に固有のバラツキがある複数の受光素子の受光結果を基に生成元で生成された画像データを保存するデータ処理方法であって、書き込み要求に係わる第１の前記画像データを、その提供元のパスワードを用いて暗号化して第１の暗号データを生成する第１の工程と、前記第１の工程で生成された前記第１の暗号データと、照合用の第２の前記画像データをその提供元のパスワードを用いて暗号化した第２の暗号データとの相関を検出する第２の工程と、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記第２の工程で検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する第３の工程と、前記第３の工程で、前記生成元および前記提供元の双方が同一であると検証されると、前記第１の工程で生成した前記第１の暗号データを記録媒体に書き込む第４の工程とを有する。
【００１１】
第４の発明のデータ処理方法は、受光感度に固有のバラツキがある複数の受光素子の受光結果を基に生成元で生成された画像データを記録媒体から読み出すデータ処理方法であって、照合用の第１の前記画像データの提供元のパスワードを用いて前記第１の画像データを暗号化した第１の暗号データを記録媒体から読み出す第１の工程と、前記第１の暗号データと対応付けられかつ前記パスワードを用いて第２の画像データを暗号化されており、読み出し要求に係わる第２の暗号データを記録媒体から読み出す第２の工程と、前記第１の工程で読み出された前記第１の暗号データと、前記第２の工程で読み出された前記第２の暗号データとの相関を検出する第３の工程と、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記第３の工程で検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する第４の工程と、前記第４の工程で前記生成元および前記提供元の双方が同一であると検証されると、前記第２の工程で読み出された前記第２の暗号データを、前記読み出し要求の送信元から受けたパスワードを用いて復号する第５の工程とを有する。
【００１２】
第５の発明のデータ処理装置は、受光感度に固有のバラツキがある複数の受光素子の受光結果を基に生成された画像データの生成元および提供元を検証するデータ処理装置であって、第１の前記画像データを、その提供元のパスワードを用いて暗号化して第１の暗号データを生成する暗号手段と、前記暗号手段で生成された前記第１の暗号データと、第２の前記画像データをその提供元のパスワードを用いて暗号化した第２の暗号データとの相関を検出する照合手段と、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記照合手段が検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する検証手段とを有する。
【００１３】
第５の発明のデータ処理装置の作用は以下のようになる。
暗号手段が、第１の前記画像データを、その提供元のパスワードを用いて暗号化して第１の暗号データを生成する。
次に、照合手段が、前記暗号手段で生成された前記第１の暗号データと、第２の前記画像データをその提供元のパスワードを用いて暗号化した第２の暗号データとの相関を検出する。
次に、検証手段が、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記照合手段が検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する。
【００１４】
第６の発明のデータ処理装置は、受光感度に固有のバラツキがある複数の受光素子の受光結果を基に生成された画像データの生成元および提供元を検証するデータ処理装置であって、照合用の第１の前記画像データの暗号データをその提供元のパスワードを用いて復号して復号データを生成する復号手段と、前記復号手段が生成した前記復号データと、被検用の第２の前記画像データとの相関を検出する照合手段と、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記照合手段が検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する検証手段とを有する。
【００１５】
第６の発明のデータ処理装置の作用は以下のようになる。
復号手段が、照合用の画像データの暗号データをその提供元のパスワードを用いて復号して復号データを生成する。
そして、照合手段が、前記復号手段が生成した前記復号データと、被検用の第２の前記画像データとの相関を検出する。
そして、検証手段が、前記第１の画像データと前記第２の画像データとの間に前記受光感度の固有のバラツキに起因する共通点があるか否かを前記照合手段が検出した前記相関を基に判断し、前記第１の画像データと前記第２の画像データとが同じ前記生成元で生成されかつ同じ前記提供元から提供されたか否かを前記判断の結果を基に検証する。
【００１６】
【発明の実施の形態】
〔第１の実施形態〕
図１は、本発明の第１実施形態に係わる通信システム１の構成図である。
図１に示すように、通信システム１は、例えば、ネットワーク９を介して、ＰＣ３，ＰＣ４およびサーバ５が接続されている。ＰＣ３には、例えば、デジタルカメラ２が接続されている。
図１において、サーバ５が第５の発明のデータ処理装置に対応している。
また、デジタルカメラ２が本発明の画像データの生成元に対応している。
また、ユーザ１０３および１０４が本発明の画像データの提供元に対応している。
本実施形態は、サーバ５において、受光感度に固有のバラツキがある複数の受光素子の受光結果を基にデジタルカメラ２において生成された画像データの生成元および提供元の検証を行う。
サーバ５は、照合用画像データの提供元のパスワードを用いて暗号化して生成した照合用暗号データＶＥを登録する。
サーバ５は、被検用画像データを入力すると、その提供元のパスワードを用いそれを暗号化して被検用暗号データＲＣを生成する。
そして、サーバ５は、照合用暗号データＶＥと被検用暗号データＲＣとの相関を検出する。
サーバ５は、照合用画像データと被検用画像データとの間に上記受光感度の固有のバラツキに起因する共通点があるか否かを上記検出した相関を基に判断し、照合用画像データと被検用画像データとが同じ生成元で生成されかつ同じ提供元から提供されたか否かを上記判断の結果を基に検証する。
【００１７】
〔デジタルカメラ２〕
デジタルカメラ２は、マトリクス状に配設された複数の受光素子を有し、被写体からの光がレンズを介して受光素子に入射する。
そして、デジタルカメラ２は、複数の受光素子の受光結果を基に画像データを生成する。
【００１８】
ここで、上記受光素子は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）撮像素子であり、受光感度に製造上の固有のばらつきがある。当該ばらつきは、人為的に再現困難なものである。
図２は、図１に示すデジタルカメラが備える受光素子１１の断面を模式的に示す図である。
図２に示すように、受光素子１１は、シリコン基板１２、開口部１３が設けられた遮光層１４、並びに集光レンズ１５を有する。
シリコン基板１２には、開口部１３と対向する位置に光電変換領域が形成されている。
また、集光レンズ１５は、遮光層１４に対してシリコン基板１２と反対側の位置から、遮光層１４を介してシリコン基板１２に達するように形成されている。
【００１９】
開口部１３は、例えば、紫外線の露光によってエッチングのマスクになるレジストに微細加工を施した後、遮光層１４とその下部の絶縁層１６をエッチングによって除去して形成される。
集光レンズ１５は、ガラス層にフォトリソグラフィーにより微細加工を施した後、高温でガラス層を融解し球状に形成される。
上述した受光素子１１の製造過程で、開口部１３は、なるべく均一な形状が形成されるように制御されるが、様々な要因により形状にはばらつきが生じる。このため、複数の受光素子の各々の開口部１３の形状にはばらつきがある。
ここで、各受光素子の開口部１３の形状のばらつきによって、受光素子に入射する光（光束）の形状がばらつき、シリコン基板１２の光電変換領域に入射する光量がばらつく。従って、各受光素子によって、受光感度のばらつきが生じる。このような受光感度のばらつきは、人為的なものではなく、しかも、指紋のようにそれぞれの受光素子に固有のものである。また、このような受光素子の受光感度のばらつきの影響が、上記受光素子を用いたカメラによって生成される画像データに生じる。
本実施形態では、上述したように、デジタルカメラ２によって生成された画像データに生じる、受光素子の受光感度の製造上のばらつきを利用して、被判定対象画像データが、所定のカメラで撮像されたものであるか否かを判定する。
【００２０】
〔ＰＣ３〕
ＰＣ３は、ユーザ１０３の操作に応じて、デジタルカメラ２が生成した照合用の画像データを、ネットワーク９を介してサーバ５に送信する。
【００２１】
〔ＰＣ４］
ＰＣ４は、ユーザ１０４の操作に応じて、被検用の画像データを、ネットワーク９を介してサーバ５に送信する。
【００２２】
〔サーバ５〕
図３は、サーバ５の機能ブロック図である。
図３に示すように、サーバ５は、例えば、インタフェース２１、暗号化部２２、データベース２３、照合部２４および制御部２５を有し、これらがデータ伝送路２０を介して接続されている。
インタフェース２１は、ネットワーク９を介して、ＰＣ３およびＰＣ４とデータ授受を行う。
ここで、暗号化部２２が第５の発明の暗号手段に対応し、データベース２３が第５の発明の記録媒体に対応し、照合部２４が第５の発明の照合手段に対応し、制御部２５が第５の発明の検証手段に対応している。
【００２３】
暗号化部２２は、インタフェース２１を介してＰＣ３から入力した照合用画像データ（第１の発明および第５の発明の第２の画像データ）を、その提供元であるユーザ１０３のパスワード、並びにその属性データを用いて暗号化して照合用暗号データ（第１の発明および第５の発明の第２の暗号データ）を生成する。
また、暗号化部２２は、インタフェース２１を介してＰＣ４から入力した被検用画像データ（第１の発明および第５の発明の第１の画像データ）を、その提供元であるユーザ１０４のパスワード、並びにその属性データを用いて暗号化して被検用暗号データ（第１の発明および第５の発明の第１の暗号データ）を生成する。
なお、上記属性データとしては、例えば、提供元であるユーザ１０３，１０４の名前、住所および電話番号、あるいはデジタルカメラ２の識別データなどが用いられる。
上記属性データは、例えば、ＰＣ３やＰＣ４の半導体メモリなどに暗号化されあるいは暗号化されずに記憶され、サーバ５のアクセス時に自動的に読み出されてサーバ５に送信されるようにしてもよい。当該属性データの暗号化は、例えば、ＰＣ３やＰＣ４などに機器ＩＤをキーとして行われる。当該半導体メモリは、携帯型のものでもよい。
【００２４】
また、上記パスワードの代わりに、提供元であるユーザ１０３，１０４の生体情報を用いてもよい。
データベース２３は、上記照合用暗号データを記憶する。なお、データベース２３の記憶データは、ミラーサーバなどにも保管してもよい。
照合部２４は、照合用暗号データと被検用暗号データとの相関を検出する。
【００２５】
以下、ＳＰＯＭＦ（ＳｙｍｍｅｔｒｉｃａｌＰｈａｓｅＯｎｌｙＭａｔｃｈｅｄＦｉｌｔｅｒｉｎｇ）方式を採用した照合部２４について説明する。
ＳＰＯＭＦは、文献”ＳｙｍｍｅｔｒｉｃＰｈａｓｅ−ＯｎｌｙＭａｔｃｈｅｄＦｉｌｔｅｒｉｎｇｏｆＦｏｕｒｉｅｒ−ＭｅｌｌｉｎＴｒａｎｓｆｏｒｍｓｆｏｒＩｍａｇｅＲｅｇｉｓｔｒａｔｉｏｎａｎｄＲｅｃｏｇｎｉｔｉｏｎ” ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＰａｔｔｅｒｎａｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ＶＯＬ．１６Ｎｏ．１２Ｄｅｃｅｍｂｅｒ１９９４などに記載されている。
図４は、図３に示す照合部２４の機能ブロック図である。
図４に示すように、照合部２４は、例えば、ＦＦＴ回路（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍｓ）３１、ホワイトニング回路３２、ＦＦＴ回路３３、ホワイトニング回路３４、複素共役化回路３５、乗算回路３６およびＩＦＦＴ回路３７を有する。
ＦＦＴ回路３１およびＦＦＴ回路３３が本発明の変換手段に対応し、ホワイトニング回路３２およびホワイトニング回路３４が本発明の除算手段に対応し、複素共役化回路３５が本発明の置換手段に対応し、乗算回路３６が本発明の乗算回路に対応し、ＩＦＦＴ回路３７が本発明の逆変換回路に対応している。
【００２６】
ＦＦＴ回路３１は、例えば、図３に示すインタフェース２１を介して入力した被検用暗号データＲＣにフーリエ変換を施して第１の周波数成分データＳ３１を生成し、これをホワイトニング回路３２に出力する。
ホワイトニング回路３２は、第１の周波数成分データＳ３１を構成する各々の複素数データを、各複素数データの絶対値で除算して（すなわち、各要素データの絶対値を等しくする）第１の複素数データＳ３２を生成し、これを乗算回路３６に出力する。
【００２７】
ＦＦＴ回路３３は、例えば、図３に示すデータベース２３から読み出した照合用暗号データＶＥにフーリエ変換を施して第２の周波数成分データＳ３３を生成し、これをホワイトニング回路３４に出力する。
ホワイトニング回路３４は、第２の周波数成分データＳ３３を構成する各々の複素数データを、各複素数データの絶対値で除算して第２の複素数データＳ３４を生成し、これを複素共役化回路３５に出力する。
【００２８】
複素共役化回路３５は、第２の複素数データＳ３４を構成する各々の複素数データを、複素共役な複素数データに置き換えた第３の複素数データＳ３５を生成し、これを乗算回路３６に出力する。
乗算回路３６は、第１の複素数データＳ３２と第３の複素数データＳ３５とを乗算して第４の複素数データＳ３６を生成し、これをＩＦＦＴ回路３７に出力する。
ＩＦＦＴ回路３７は、第４の複素数データＳ３６に逆フーリエ変換を施して相関データＳ２４を生成し、これを図３に示す制御部２５に出力する。
ここで、相関データは、被検用暗号データＲＣと照合用暗号データＶＥとの相対位置を２次元上で循環的にずらして相関をとった全ての値を示している。
【００２９】
ところで、図５（Ａ）に示すように、自然画像では、画像のエネルギーは低域に集中している。これに対して、受光素子のピクセルの感度ばらつきはランダムな現象なので感度ばらつきによって画像に重畳されている成分は、図５（Ｂ）に示すように、ホワイトノイズのように広い周波数成分にわたってほぼ均等なエネルギーをもつ。
上述したＳＰＯＭＦによる照合では、周波数領域に変換後、各要素の絶対値を等しくする。このため、自然画像の低域の信号にかく乱されることなくピクセル感度ばらつきのパターンの照合が可能となる。
【００３０】
制御部２５は、サーバ５の各構成要素の動作を統括的に制御する。
制御部２５は、照合部２４が生成した相関データＳ２４を基に、照合用画像データと検証用画像データとの間にデジタルカメラ２の受光素子の受光感度の固有のバラツキに起因する共通点があるか否かを判断し、その判断結果を基に、照合用画像データと検証用画像データとが同じ生成元で生成されかつ同じ提供元から提供されたか否かを検証する。
ところで、照合用暗号データＶＥとしては、例えば、被検用暗号データＲＣを基に表示される絵柄と相関の無い絵柄を表示するものが用いられる。
そのため、被検用暗号データＲＣと照合用暗号データＶＥとでそれらの生成したカメラが異なる場合には、被検用暗号データＲＣと照合用暗号データＶＥとは無相関なものになる。すなわち、相関データＳ２４の原点には大きな値は生じない。
一方、被検用暗号データＲＣと照合用暗号データＶＥとでそれらの生成したカメラが同じであり、しかもそれらの提供元が同じである場合には、被検用暗号データＲＣと照合用暗号データＶＥとは、前述した受光素子の固有の受光感度の影響で相関を有する。
制御部２５は、照合部２４が検出した相関データＳ２４を基に、当該相関データＳ２４が示す相関値が所定の値を越えた場合に、被検用暗号データＲＣに対応する被検用画像データと照合用暗号データＶＥに対応する照合用画像データとが同じカメラで生成（撮像）され、かつそれらの提供元が同じであると判定する。
【００３１】
以下、制御部２５による上記判定の基準に用いられる値の決定方法について説明する。
前述したように、相関データＳ２４は、被検用暗号データＲＣと照合用暗号データＶＥとの間の相対位置を２次元上循環的にずらして相関をとった値の全ての値を示している。
ここで、被検用暗号データＲＣと照合用暗号データＶＥとでは、絵柄については無相関なので、相関データＳ２４の原点以外の値は、無相関なデータ間の偶発的な相関値を示している。
制御部２５は、相関データＳ２４の標準偏差σを求め、相関データＳ５の原点の値Ｃ００が標準偏差の所定数倍を越えるか否かを基準として、上記判定を行う。
値Ｃ００を用いたのは、画像全体同士で相関を取る場合、撮像素子の固有パターンが一致するのは原点を一致させた状態なので、その場合に相関器の出力Ｃ００にピークが現れるからである。
【００３２】
相関データＳ２４内の各要素データをＣｉｊ、また、要素データの数をｎとする。
制御部２５は、下記式（１）に基づいて、相関データＳ２４内の全要素データが示す値の平均値ｍｅａｎを生成する。
【００３３】
【数１】
ｃｍｅａｎ＝（Σｃｉｊ）／ｎ …（１）
【００３４】
また、制御部２５は、上記平均値ｍｅａｎを用いて、下記式（２）に基づいて、標準偏差σを生成する。
【００３５】
【数２】
σ ＝ √｛｛Σ（ｃｉｊ−ｃｍｅａｎ）×（ｃｉｊ−ｃｍｅａｎ）｝／ｎ｝…（２）
【００３６】
そして、制御部２５は、下記式（３）を基に、相関データＳ２４内の原点の要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超える場合には、被検用暗号データＲＣと照合用暗号データＶＥとが同じカメラで生成され、しかもそれらの提供元が同じであると判定する。
【００３７】
【数３】
ｃ００＞１０×σ …（３）
【００３８】
上述したように、サーバ５では、画像同士でＳＰＯＭＦにより相関を取ることによって、これらの画像が同一の受光素子を備えた同じカメラで生成され、しかもそれらの提供元が同じであるか否かを判定する。
当該判定（照合）を正確に行う確率は、以下のように定量化できる。
ランダムに分布するデータ同士の照合の結果は正規分布に従うと考えられる。異なる受光素子で撮影された画像データを照合した場合、二つのデータは無相関であると考えられる。無相関なデータ同士の相関の値が１０σを超える確率は、７．６×１０^−２４である。
【００３９】
以下、図１に示す通信システム１の動作例を、サーバ５の動作例と関連付けて説明する。
〔照合用画像の登録〕
当該動作例では、ユーザ１０３がデジタルカメラ２を用いて撮像した画像データをサーバ５に登録する場合を説明する。
この場合に、デジタルカメラ２が当該画像データの生成元となり、ユーザ１０３が当該画像データの提供元となる。
図６は、当該動作を説明するためのフローチャートである。
ステップＳＴ１１：
ユーザ１０３が、ＰＣ３を操作して、デジタルカメラ２で撮像した照合用画像データを、ネットワーク９を介してサーバ５に送信する。
サーバ５は、図３に示すインタフェース２１を介して、当該照合用画像データを入力する。
【００４０】
ステップＳＴ１２：
ユーザ１０３が、ＰＣ３を操作して、自らのみが知るパスワードＰＡ＿１０３、並びに自らの属性データＰＲ＿１０３を、ネットワーク９を介してサーバ５に送信する。
サーバ５は、図３に示すインタフェース２１を介して、パスワードＰＡ＿１０３および属性データＰＲ＿１０３を入力する。
【００４１】
ステップＳＴ１３：
暗号化部２２は、ステップＳＴ１１で入力した照合用画像データを、ステップＳＴ１２で入力したパスワードＰＡ＿１０３および属性データＰＲ＿１０３を用いて暗号化して照合用暗号データＶＥを生成する。
ステップＳＴ１４：
制御部２５は、ステップＳＴ１３で生成した照合用暗号データＶＥをデータベース２３に書き込む。
【００４２】
〔照合依頼〕
当該動作例では、ユーザ１０４が自らが提供する画像データ（被検用画像データ）の照合をサーバ５に依頼する場合を説明する。
図７は、当該動作を説明するためのフローチャートである。
ステップＳＴ２１：
ユーザ１０４が、ＰＣ４を操作して、自らが提供する被検用画像データを、ネットワーク９を介してサーバ５に送信する。
サーバ５は、図３に示すインタフェース２１を介して、当該被検用画像データを入力する。
このとき、ユーザ１０４は、照合用暗号データＶＥを特定する情報をＰＣ４を介してサーバ５に送信する。
【００４３】
ステップＳＴ２２：
ユーザ１０４が、ＰＣ４を操作して、自らのみが知るパスワードＰＡ＿１０４、並びに自らの属性データＰＲ＿１０４を、ネットワーク９を介してサーバ５に送信する。
サーバ５は、図３に示すインタフェース２１を介して、パスワードＰＡ＿１０４および属性データＰＲ＿１０４を入力する。
【００４４】
ステップＳＴ２３：
暗号化部２２は、ステップＳＴ２１で入力した被検用画像データを、ステップＳＴ２２で入力したパスワードＰＡ＿１０４および属性データＰＲ＿１０４を用いて暗号化して被検用暗号データＲＣを生成する。
ステップＳＴ２４：
照合部２４は、例えば、データベース２３からステップＳＴ２１で特定された情報を基に照合用暗号データＶＥを読み出す。
【００４５】
ステップＳＴ２５：
照合部２４は、ステップＳＴ２３で生成した被検用暗号データＲＣと、ステップＳＴ２４で読み出した照合用暗号データＶＥとの相関を検出し、その結果を示す相関データＳ２４を制御部２５に出力する。
ステップＳＴ２６：
制御部２５は、上述したように、相関データＳ２４を基に、相関データＳ２４内の原点の要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えるか否かを判断する。
【００４６】
ステップＳＴ２７：
制御部２５は、要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えると判断すると、被検用暗号データＲＣと照合用暗号データＶＥとが同じカメラで生成された画像データについてのものであり、しかもそれらの提供元が同じ（ユーザ１０３と１０４が同じ）であると判定する。
ステップＳＴ２８：
制御部２５は、被検用暗号データＲＣと照合用暗号データＶＥとが異なるカメラで生成された画像データについてのものであるか、あるいはそれらの提供元が異なると判定する。
【００４７】
以上説明したように、通信システム１によれば、サーバ５において、画像データに対して当該画像データを生成したカメラを特定する情報を、電子透かし情報や、画像ファイルのヘッダとして付加することなく、照合用画像データと被検用画像データとでそれらの生成元および提供元の双方が同じであるか否かを判定できる。
これにより、例えば、報道などで、同じ被写体を同じ位置から複数のカメラで撮像した場合に、他人の画像を複製した場合にそのことを容易に立証できる。また、同じカメラを複数人で使用する場合にも、他人が撮像した画像データが悪用された場合に、そのことを容易に立証できる。
また、通信システム１によれば、サーバ５において、照合用画像データが暗号化された状態でデータベース２３に保持され、かつ、復号されることなく照合に用いられるため、照合用画像データが流出して不正に使用されることを効果的に抑制できる。
【００４８】
〔第２実施形態〕
上述した第１実施形態では、サーバ５において、照合用暗号データＶＥと被検用暗号データＲＣとの相関を基に照合を行う場合を例示したが、本実施形態では、暗号化されていない照合用画像データと被検用画像データとの相関を基に照合を行う場合を例示する。
【００４９】
図８は、本実施形態のサーバ５ａの機能ブロック図である。
図８に示すように、サーバ５ａは、例えば、インタフェース２１、暗号化部２２、データベース２３、照合部４１、復号部４２および制御部４３を有し、これらがデータ伝送路２０を介して接続されている。
ここで、復号部４２が第４の発明の復号手段に対応し、照合部４１が第４の発明の照合手段に対応し、制御部４３が第４の発明の検証手段に対応している。
図８において、図３と同じ符号を付した構成要素は第１実施形態で説明したものと同じである。
【００５０】
照合部４１は、暗号化されていない被検画像データ（第２の発明および第５の発明の第２の画像データ）と照合用画像データ（第２の発明および第５の発明の第１の画像データ）との間で相関を検出する。
復号部４２は、データベース２３から読み出した照合用暗号データＶＥ（第２および第５の発明の暗号データ）を復号した復号データ（第２および第５の発明の復号データ）を照合部４１に出力する。
制御部４３は、以下に示すサーバ５ａの動作を統括的に制御する。
なお、制御部４３は、相関データＳ２４を基に、照合用画像データと被検用画像データとで生成元および提供元の双方が同一であるか否かの検証を第１実施形態の制御部２５と同様の手法で行う。
【００５１】
以下、サーバ５ａの動作例を説明する。
なお、照合用画像データの登録処理は、図６を用いて前述したものと同じである。
当該動作例では、ユーザ１０４が自らが提供する画像データ（被検用画像データ）の照合をサーバ５ａに依頼する場合を説明する。
図９は、当該動作例を説明するためのフローチャートである。
【００５２】
ステップＳＴ３１：
ユーザ１０４が、ＰＣ４を操作して、自らが提供する被検用画像データを、ネットワーク９を介してサーバ５ａに送信する。
サーバ５ａは、図８に示すインタフェース２１を介して、当該被検用画像データを入力する。
このとき、ユーザ１０４は、照合用暗号データＶＥを特定する情報をＰＣ４を介してサーバ５に送信する。
【００５３】
ステップＳＴ３２：
ユーザ１０４が、ＰＣ４を操作して、自らのみが知るパスワードＰＡ＿１０４、並びに自らの属性データＰＲ＿１０４を、ネットワーク９を介してサーバ５ａに送信する。
サーバ５ａは、図８に示すインタフェース２１を介して、パスワードＰＡ＿１０４および属性データＰＲ＿１０４を入力する。
【００５４】
ステップＳＴ３３：
復号部４２は、データベース２３から照合用暗号データＶＥを読み出す。
ステップＳＴ３４：
復号部４２は、ステップＳＴ３３で読み出した照合用暗号データＶＥを、ステップＳＴ３２で入力したパスワードＰＡ＿１０４および属性データＰＲ＿１０４を用いて復号して照合用画像データを生成する。
【００５５】
ステップＳＴ３５：
照合部４１は、ステップＳＴ３１で入力した被検用画像データと、ステップＳＴ３４で生成した照合用画像データとの相関を検出し、その結果を示す相関データを制御部４３に出力する。
ステップＳＴ３６：
制御部４３は、上述したようにステップＳＴ３５で検出した相関データを基に、第１実施形態で説明した手法により、当該相関データ内の原点の要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えるか否かを判断する。
【００５６】
ステップＳＴ３７：
制御部４３は、要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えると判断すると、被検用画像データと照合用画像データとが同じカメラで生成された画像データについてのものであり、しかもそれらの提供元が同じ（ユーザ１０３と１０４が同じ）であると判定する。
ステップＳＴ２８：
制御部２５は、被検用画像データと照合用画像データとが異なるカメラで生成されたものであるか、あるいはそれらの提供元が異なると判定する。
【００５７】
以上説明したように、本実施形態によれば、サーバ５ａにおいて、画像データに対して、当該画像データを生成したカメラを特定する情報を、電子透かし情報や、画像ファイルのヘッダとして付加することなく、照合用画像データと被検用画像データとで、生成元および提供元の双方が同じであるか否かを判定できる。また、本実施形態によれば、被検用画像データの暗号化を行わないため、処理時間が第１実施形態に比べて短縮できる可能性がある。
また、本実施形態によれば、被検用画像データを暗号化しないため、偽信号による相関検出の誤動作を回避できる。
【００５８】
〔第３実施形態〕
当該動作例は、第１実施形態のサーバ５の機能を拡張して、画像データの保管サービスを行うサーバ５ｂについて説明する。
【００５９】
図１０は、本実施形態のサーバ５ｂの機能ブロック図である。
図１０に示すように、サーバ５ｂは、例えば、インタフェース２１、暗号化部２２、データベース２３、照合部２４、データベース６１、復号部６２および制御部６３を有し、これらがデータ伝送路２０を介して接続されている。
図１０において、図３と同じ符号を付した構成要素は第１実施形態で説明したものと同じである。
データベース６１は、保管サービスに係わる画像データの保管用暗号データを記憶する。
制御部６３は、以下に示すサーバ５ｂの動作を統括的に制御する。
なお、制御部６３は、相関データＳ２４を基に、照合用画像データと被検用画像データとで生成元および提供元の双方が同一であるか否かの検証を第１実施形態の制御部２５と同様の手法で行う。
以下、サーバ５ｂの動作例を説明する。
なお、第１実施形態で図６を用いて説明した照合用画像データの登録方法は本実施形態において同じである。
〔第１の動作例〕
当該動作例では、ユーザ１０４が自らが提供する画像データ（保管用画像データ）の保管をサーバ５ｂに依頼する場合を説明する。
図１１は、当該動作を説明するためのフローチャートである。
ステップＳＴ４１：
ユーザ１０４が、ＰＣ４を操作して、自らが提供し、サーバ５ｂに保管を要求する保管要求画像データを、ネットワーク９を介してサーバ５ｂに送信する。サーバ５ｂは、図１０に示すインタフェース２１を介して、当該保管要求画像データを入力する。
このとき、ユーザ１０４は、照合用暗号データＶＥを特定する情報をＰＣ４を介してサーバ５ｂに送信する。
【００６０】
ステップＳＴ４２：
ユーザ１０４が、ＰＣ４を操作して、自らのみが知るパスワードＰＡ＿１０４、並びに自らの属性データＰＲ＿１０４を、ネットワーク９を介してサーバ５に送信する。
サーバ５ｂは、図１０に示すインタフェース２１を介して、パスワードＰＡ＿１０４および属性データＰＲ＿１０４を入力する。
【００６１】
ステップＳＴ４３：
暗号化部２２は、ステップＳＴ４１で入力した保管要求画像データを、ステップＳＴ４２で入力したパスワードＰＡ＿１０４および属性データＰＲ＿１０４を用いて暗号化して保管要求暗号データＲＣを生成する。
ステップＳＴ４４：
照合部２４は、例えば、データベース２３からステップＳＴ４１で特定された情報を基に照合用暗号データＶＥを読み出す。
【００６２】
ステップＳＴ４５：
照合部２４は、ステップＳＴ４３で生成した保管要求暗号データＲＣと、ステップＳＴ４４で読み出した照合用暗号データＶＥとの相関を検出し、その結果を示す相関データＳ２４を制御部６３に出力する。
ステップＳＴ４６：
制御部６３は、上述したように、相関データＳ２４を基に、相関データＳ２４内の原点の要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えるか否かを判断する。
【００６３】
ステップＳＴ４７：
制御部６３は、要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えると判断すると、保管用暗号データＲＣと照合用暗号データＶＥとが同じカメラで生成された画像データについてのものであり、しかもそれらの提供元が同じ（ユーザ１０３と１０４が同じ）であると判定する。
そして、制御部６３は、ステップＳＴ４３で生成した保管用暗号データＲＣをデータベース６１に書き込む。
ステップＳＴ４８：
制御部６３は、保管用暗号データＲＣと照合用暗号データＶＥとが異なるカメラで生成された画像データについてのものであるか、あるいはそれらの提供元が異なると判定する。
そして、制御部６３は、保管できない旨をＰＣ４に通知する。
【００６４】
〔第２の動作例〕
当該動作例では、上述した第１の動作例でサーバ５ｂに保管した画像データを、ユーザ１０４が読み出す場合を説明する。
図１２は、当該動作例を説明するためのフローチャートである。
ステップＳＴ５１：
ユーザ１０４が、ＰＣ４を操作して、保管画像と照合画像を特定した読み出し要求を、ネットワーク９を介してサーバ５ｂに送信する。
サーバ５ｂは、図１０に示すインタフェース２１を介して、当該読み出し要求を入力する。
【００６５】
ステップＳＴ５２：
ユーザ１０４が、ＰＣ４を操作して、自らのみが知るパスワードＰＡ＿１０４、並びに自らの属性データＰＲ＿１０４を、ネットワーク９を介してサーバ５に送信する。
サーバ５ｂは、図１０に示すインタフェース２１を介して、パスワードＰＡ＿１０４および属性データＰＲ＿１０４を入力する。
【００６６】
ステップＳＴ５３：
制御部６３は、ステップＳＴ５１で特定された保管画像に対応する保管用暗号データをデータベース６１から読み出し、上記特定された照合画像に対応する照合用暗号データＶＥをデータベース２３から読み出す。
ステップＳＴ５４：
照合部２４は、ステップＳＴ５３で読み出した保管用暗号データと、照合用暗号データＶＥとの相関を検出し、その結果を示す相関データＳ２４を制御部６３に出力する。
ステップＳＴ５５：
制御部６３は、上述したように、相関データＳ２４を基に、相関データＳ２４内の原点の要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えるか否かを判断する。
【００６７】
ステップＳＴ５６：
制御部６３は、要素データｃ００が示す値が、標準偏差σの１０倍（所定のレベル）を超えると判断すると、保管用暗号データが正当であると判断し、これを復号部６２で復号して保管用画像データを生成する。
ステップＳＴ５７：
制御部６３は、要求にかかわる保管用画像データを提供できない胸をＰＣ４に通知する。
ステップＳＴ５８：
制御部６３は、ステップＳＴ５６で生成した保管用画像データを、図１０に示すインタフェース２１を介してＰＣ４に送信する。
【００６８】
以上説明したように、本実施形態によれば、サーバ５ｂを用いて画像データの保管サービスを提供できる。
また、本実施形態によれば、図１１に示すように画像データを保管する際に、照合用暗号データＶＥとの間で照合を行うため、著作権が侵害されていない正当な画像データのみを保管サービスの対象とすることができる。
また、本実施形態によれば、図１２に示すように、保管用画像データを読み出す際に、それと照合用暗号データＶＥとを照合するため、サーバ５ｂの運用側で不正が行われた場合に、それを検出できる。
【００６９】
以下、上述した照合部２４における照合の精度を高める手法について説明する。
〔第１の手法〕
当該第１の手法は、例えば、上述した第２実施形態のように、復号された画像データ間で照合を行う場合に特に効果的である。
例えば、図１３に示すように、照合部２４は、第１の切り出し位置を基準に画像データＳ８７（例えば、第２実施形態の照合用画像データ）から画像データＳ８７ａを切り出す。
また、照合部２４は、上記第１の切り出し位置から（ｘ１，ｙ１）だけずれた第２の切り出し位置を基準に画像データＳ８１（例えば、第２実施形態の被検用画像データ）から画像データＳ８１ａを切り出す。
そして、照合部２４は、画像データＳ８７ａとＳ８１ａとの相関の検出を行う。
この場合に、上記ＳＰＯＭＦは画像を順次循環的にずらした場合の相関の強さを表すので、画像データＳ８１と画像データＳ８７とが同じカメラで生成されている場合には、相関データ内の（ｙ１、ｘ１）の点の要素データにピークが現れる。
そして、照合部２４は、前記第１の切り出し位置および前記第２の切り出し位置を変更して複数回行って相関データＳ２４を生成し、当該相関データＳ２４を用いて制御部２５，４３，６３が順次判定を行う。
これにより、相関データＳ２４を用いた制御部２５，４３，６３による誤判定の確率を低くすることができる。すなわち、誤判定確率はそれぞれの判定での誤判定確率の積となる。例えばピークの値が３σで有ったとすると誤判定の確率は１回の判定合では１×１０^−３であるが、１０回切り出し位置を変えながら判定することで１×１０^−３０まで誤判定の確率を下げることが出来る。
【００７０】
〔第２の手法〕
デジタルカメラ２が生成する画像データは、レンズを介して光を結像することによる映像に、受光素子の受光感度の固有パターンと熱、電気的な要因によるノイズが重畳されている。
しかも画像データの振幅は、多くの場合８ビットに量子化されている。
このような、レンズによる結像、ノイズ、量子化の影響を避けるために、図１４に示すように、デジタルカメラ２が生成した複数の照合用画像データＳ８７＿１〜Ｓ８７＿Ｎを平均化して用いることが非常に有用である。
この場合には、デジタルカメラ２を用いて生成されたＮ（Ｎは２以上の整数）枚の照合用画像データＳ８７＿１〜Ｓ８７＿Ｎが、図３に示すインタフェース２１を介して暗号化部２２に出力され、暗号化される。
そして、制御部２５等が、暗号化された複数の照合用画像データＳ８７＿１〜Ｓ８７＿Ｎを平均化して照合用暗号データＶＥを生成し、これをデータベース２３に書き込む。
照合用画像データＳ８７＿１〜Ｓ８７＿Ｎの枚数は、実験の結果、数百枚程度まで増やすことに効果があり、相関の値が一枚の参照用画像データを用いた場合に比べて倍程度まで上がる。
【００７１】
〔第３の手法〕
上述したように、デジタルカメラ２では、レンズを介して受光素子に光が入射する。
図１５〜図１７は、レンズ２３１を通った光が受光素子の光電変換領域２３２に焦点を結ぶ様子を示している。
図１５（Ａ），（Ｂ）は、広角で絞り２３０を開けた場合、図１６（Ａ），（Ｂ）は広角で絞り２３０を絞った場合、図１７（Ａ）は望遠で絞り２３０を開けた場合、図１７（Ｂ）は望遠で絞り２３０を絞った場合を示す図である。
これらの図から分かるように、光線２３３が光電変換領域２３２に入射する（当たる）状態が異なることがわかる。
前述したように、受光素子の受光感度のばらつきは、受光素子に入射する光量によるものであるから、絞り２３０の口径によってばらつきの状態も異なる。
本実施形態では、図１６に示すように、異なる絞り２３０の口径比および焦点距離を基にカメラで複数の画像データａ〜ｉを生成し、これらを第１実施形態の照合用画像データとして用いて照合部２４が上記相関データＳ２４を生成してもよい。
実験によれば、このように照合用画像データとして、複数の画像データａ〜ｉを用意することで、単数の画像データを用意した場合に比べて、相関の値が１．５倍程度まで上がることがわかった。これにより、制御部２５等による判定精度が向上する。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、被検用の画像データと照合用の画像データとで、その生成元および提供元の双方が同じであるか否かを検証できるデータ処理方法およびその装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態に係わる通信システムの構成図である。
【図２】図２は、図１に示すデジタルカメラが備える受光素子の断面を模式的に示す図である。
【図３】図３は、図１に示すサーバの機能ブロック図である。
【図４】図４は、図３に示す照合部の機能ブロック図である。
【図５】図５は、図４に示す照合部における相関検出を説明するための図である。
【図６】図６は、図１に示す通信システムにおいて、ユーザがデジタルカメラを用いて撮像した画像データをサーバに登録する場合を説明するためのフローチャートである。
【図７】図７は、図１に示す通信システムにおいて、ユーザが自らが提供する画像データ（被検用画像データ）の照合をサーバに依頼する場合を説明するための図である。
【図８】図８は、本発明の第２実施形態に係わる通信システムのサーバの機能ブロック図である。
【図９】図９は、図８に示すサーバの動作例を説明するための図である。
【図１０】図１０は、本発明の第３実施形態に係わる通信システムのサーバの機能ブロック図である。
【図１１】図１１は、図１０に示すサーバの画像保管時の動作例を説明するための図である。
【図１２】図１２は、図１０に示すサーバの画像読み出し時の動作例を説明するための図である。
【図１３】図１３は、本発明の実施形態の照合部における照合精度を高める第１の手法を説明するための図である。
【図１４】図１４は、本発明の実施形態の照合部における照合精度を高める第２の手法を説明するための図である。
【図１５】図１５は、本発明の実施形態の照合部における照合精度を高める第３の手法を説明するための図である。
【図１６】図１６は、本発明の実施形態の照合部における照合精度を高める第３の手法を説明するための図である。
【図１７】図１７は、本発明の実施形態の照合部における照合精度を高める第３の手法を説明するための図である。
【図１８】図１８は、本発明の実施形態の照合部における照合精度を高める第３の手法を説明するための図である。
【符号の説明】
１…通信システム、２…デジタルカメラ、３…ＰＣ、４…ＰＣ、５…サーバ、９…ネットワーク、２１…インタフェース、２２…暗号化部、２３…データベース、２４…照合部、２５…制御部、４１…照合部、４２…復号部、４３…制御部、６１…データベース、６２…復号部、６３…制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a data processing method and an apparatus for verifying a source and a source of image data.
[0002]
[Prior art]
For example, digital image data captured by a digital camera may be illegally used by a third party without permission from the copyright holder of the image data.
In order to prevent such unauthorized use, there is a method of adding information specifying the camera (generation source) that generated the image data to the image data as digital watermark information or a header of the image file.
[0003]
[Problems to be solved by the invention]
However, the above-described method of adding digital watermark information to image data has a problem that it is difficult to mount the circuit on a camera because the circuit to be added is complicated.
In addition, the above-described method of adding a header of an image file has a problem that information for identifying a camera is easily falsified by rewriting the header.
In addition, when a plurality of persons use one camera and each provides the image data to the server device, there is a request that the provider of the image data be verified in addition to the camera that generated the image data. .
[0004]
The present invention has been made in view of the above-described problems of the related art, and has been made in consideration of the above-described problem, and has been made in consideration of the above-described data processing. It is an object to provide a method and an apparatus thereof.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, a data processing method according to a first aspect of the present invention verifies a source and a source of image data generated based on light receiving results of a plurality of light receiving elements having a variation in light receiving sensitivity. A data processing method, comprising: a first step of encrypting a first image data using a password of a provider of the first image data to generate first encrypted data; and a step of generating the first encrypted data. A second step of detecting a correlation between the first encrypted data and the second encrypted data obtained by encrypting the second image data using a password of a provider of the first image data; It is determined based on the correlation detected in the second step whether or not there is a difference due to the inherent variation of the light receiving sensitivity between the first image data and the second image data. The same origin as the second image data The generated and whether provided from the same the provider and a third step of verifying on the basis of the result of the determination.
[0006]
The operation of the data processing method of the first invention is as follows.
In a first step, the first image data is encrypted using a password of a provider of the first image data to generate first encrypted data.
Next, in the second step, the first encrypted data generated in the first step and the second encrypted data obtained by encrypting the second image data using the password of the provider thereof Detect the correlation of
Next, in the third step, it is detected in the second step whether or not there is a common point between the first image data and the second image data due to the inherent variation of the light receiving sensitivity. And determining whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination. Verify.
[0007]
In the data processing method according to the first invention, preferably, the second step includes:
A seventh step of orthogonally transforming the first encrypted data and the second encrypted data to generate first frequency component data and second frequency component data, respectively; and forming the first frequency component data. Dividing each complex data by the absolute value of each complex data to generate first complex data, and dividing each complex data constituting the second frequency component data by the absolute value of each complex data An eighth step of generating second complex number data by performing a third step in which each complex number data forming one of the first complex number data and the second complex number data is replaced with complex conjugate complex number data. A ninth step of generating complex data, the first complex data or the second complex data not replaced in the ninth step, and the ninth step A tenth step of generating the fourth complex number data by multiplying the third complex number data obtained by the third complex number data, and performing an inverse orthogonal transform of the fourth complex number data generated in the tenth step to obtain correlation data. And an eleventh step of generating.
[0008]
A data processing method according to a second aspect of the present invention is a data processing method for verifying a source and a source of image data generated based on light receiving results of a plurality of light receiving elements having variations in light receiving sensitivity. A twelfth step of generating decrypted data by decrypting encrypted data of the first image data for use with a password of a provider of the first data, and the decrypted data generated in the twelfth step; A second step of detecting a correlation with the second image data, and a common point between the first image data and the second image data due to the inherent variation of the light receiving sensitivity. And determining whether or not the first image data and the second image data are generated by the same source and provided by the same source. Based on the result of the above judgment And a third step of proving.
[0009]
The operation of the data processing method of the second invention is as follows.
In the first step, decrypted data is generated by decrypting the encrypted data of the first image data for verification using the password of the provider.
In a second step, a correlation between the decoded data generated in the twelfth step and the second image data to be inspected is detected.
In the third step, the correlation detected in the second step as to whether or not there is a common point between the twelfth step and the second image data due to the inherent variation of the light receiving sensitivity. And verifies whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination.
[0010]
A data processing method according to a third aspect of the present invention is a data processing method for storing image data generated at a generation source based on light reception results of a plurality of light receiving elements having variations inherent in light reception sensitivity, and relates to a write request. A first step of encrypting the first image data using a password of a provider of the first image data to generate first encrypted data; and the first encrypted data generated in the first step; A second step of detecting the correlation between the second image data for verification and the second encrypted data obtained by encrypting the second image data using the password of the provider, and a step of detecting the correlation between the first image data and the second image. It is determined based on the correlation detected in the second step whether or not there is a common point due to the inherent variation of the light receiving sensitivity between the first image data and the second image data. The image data is generated by the same And a third step of verifying whether or not provided by the same provider based on the result of the determination, and in the third step, it is verified that both the generator and the provider are the same. Then, a fourth step of writing the first encrypted data generated in the first step to a recording medium is provided.
[0011]
A data processing method according to a fourth aspect of the present invention is a data processing method for reading out image data generated at a generation source from a recording medium based on the light receiving results of a plurality of light receiving elements having variations inherent in light receiving sensitivity. A first step of reading out, from a recording medium, first encrypted data obtained by encrypting the first image data using a password of a provider of the first image data, and associating the first encrypted data with the first encrypted data. A second step of reading second encrypted data related to a read request from a recording medium, wherein the second image data is encrypted using the password, and the second image data read in the first step. A third step of detecting a correlation between the first encrypted data and the second encrypted data read in the second step; and a step of detecting a correlation between the first image data and the second image data. Between the light receiving sensitivity It is determined based on the correlation detected in the third step whether or not there is a common point due to the unique variation, and the first image data and the second image data are generated by the same source. A fourth step of verifying whether or not the source and the provider are generated based on the result of the determination as to whether or not the source and the source are provided by the same provider; and verifying that both the source and the provider are the same in the fourth step And decrypting the second encrypted data read in the second step using the password received from the transmission source of the read request.
[0012]
A data processing apparatus according to a fifth aspect of the present invention is a data processing apparatus for verifying a source and a source of image data generated based on light receiving results of a plurality of light receiving elements having variations in light receiving sensitivity. An encryption unit that encrypts the image data using a password of a provider of the image data to generate first encrypted data; the first encrypted data generated by the encryption unit; Collation means for detecting a correlation between the data and second encrypted data obtained by encrypting the data using the password of the provider; and a unique characteristic of the light receiving sensitivity between the first image data and the second image data. Determining whether there is a common point due to the variation based on the correlation detected by the matching unit, wherein the first image data and the second image data are generated by the same generation source; and From the same provider Whether it is subjected and a verification means for verifying based on the results of the judgment.
[0013]
The operation of the data processing device according to the fifth invention is as follows.
Encrypting means encrypts the first image data using a password of a provider of the first image data to generate first encrypted data.
Next, the collating unit detects a correlation between the first encrypted data generated by the encrypting unit and the second encrypted data obtained by encrypting the second image data using the password of the provider. I do.
Next, the verification unit detects whether or not there is a common point between the first image data and the second image data due to the inherent variation of the light receiving sensitivity. And verifies whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination.
[0014]
A data processing device according to a sixth aspect of the present invention is a data processing device for verifying a source and a source of image data generated based on light receiving results of a plurality of light receiving elements having a variation inherent in light receiving sensitivity. Decrypting means for decrypting encrypted data of the first image data using a password of a provider of the decrypted data to generate decrypted data; the decrypted data generated by the decrypting means; Matching means for detecting a correlation with the image data; and checking whether there is a common point between the first image data and the second image data due to a unique variation in the light receiving sensitivity. Means for determining based on the correlation detected by the means, and determining whether the first image data and the second image data have been generated by the same source and provided by the same source. Verification based on And a means.
[0015]
The operation of the data processing device according to the sixth invention is as follows.
The decryption unit decrypts the encrypted image data for verification using the password of the provider, thereby generating decrypted data.
Then, the matching unit detects a correlation between the decoded data generated by the decoding unit and the second image data to be inspected.
Then, the verification unit checks the correlation detected by the comparison unit to determine whether there is a common point between the first image data and the second image data due to the inherent variation of the light receiving sensitivity. And determining whether the first image data and the second image data have been generated by the same source and provided by the same source based on the result of the determination.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
[First Embodiment]
FIG. 1 is a configuration diagram of a communication system 1 according to the first embodiment of the present invention.
As shown in FIG. 1, in the communication system 1, for example, a PC 3, a PC 4 and a server 5 are connected via a network 9. For example, the digital camera 2 is connected to the PC 3.
In FIG. 1, a server 5 corresponds to the data processing device of the fifth invention.
Further, the digital camera 2 corresponds to a source of the image data of the present invention.
Further, the users 103 and 104 correspond to the image data provider of the present invention.
In the present embodiment, the server 5 verifies the source and the source of the image data generated in the digital camera 2 based on the light receiving results of the plurality of light receiving elements having the light receiving sensitivity-specific variations.
The server 5 registers the encrypted verification data VE generated by encrypting using the password of the provider of the verification image data.
Upon input of the image data to be inspected, the server 5 encrypts the image data using the password of the provider and generates encrypted data for inspection RC.
Then, the server 5 detects a correlation between the encrypted data for verification VE and the encrypted data for inspection RC.
The server 5 determines, based on the detected correlation, whether or not there is a common point between the image data for verification and the image data for inspection due to the inherent variation of the light receiving sensitivity. It is verified based on the result of the above-mentioned judgment whether or not the test image data and the test image data have been generated by the same source and provided by the same source.
[0017]
[Digital camera 2]
The digital camera 2 has a plurality of light receiving elements arranged in a matrix, and light from a subject enters the light receiving elements via a lens.
Then, the digital camera 2 generates image data based on the light receiving results of the plurality of light receiving elements.
[0018]
Here, the light receiving element is, for example, a CCD (Charge Coupled Device) imaging element, and the light receiving sensitivity has a manufacturing-specific variation. The variation is artificially difficult to reproduce.
FIG. 2 is a diagram schematically showing a cross section of the light receiving element 11 provided in the digital camera shown in FIG.
As shown in FIG. 2, the light receiving element 11 includes a silicon substrate 12, a light shielding layer 14 provided with an opening 13, and a condenser lens 15.
A photoelectric conversion region is formed in the silicon substrate 12 at a position facing the opening 13.
The condenser lens 15 is formed to reach the silicon substrate 12 via the light shielding layer 14 from a position opposite to the silicon substrate 12 with respect to the light shielding layer 14.
[0019]
The opening 13 is formed by, for example, performing fine processing on a resist serving as an etching mask by exposure to ultraviolet light, and then removing the light-shielding layer 14 and the insulating layer 16 therebelow by etching.
The condenser lens 15 is formed into a spherical shape by subjecting the glass layer to fine processing by photolithography and then melting the glass layer at a high temperature.
In the manufacturing process of the light receiving element 11 described above, the opening 13 is controlled so as to form as uniform a shape as possible, but the shape varies due to various factors. For this reason, the shape of each opening 13 of the plurality of light receiving elements varies.
Here, the shape of the light (light flux) incident on the light receiving element varies due to the variation in the shape of the opening 13 of each light receiving element, and the amount of light incident on the photoelectric conversion region of the silicon substrate 12 varies. Therefore, the light receiving sensitivity varies among the light receiving elements. Such a variation in light receiving sensitivity is not artificial, and is unique to each light receiving element like a fingerprint. Further, the influence of the variation in the light receiving sensitivity of the light receiving element occurs in image data generated by a camera using the light receiving element.
In the present embodiment, as described above, the image data to be determined is captured by a predetermined camera by utilizing the manufacturing variation of the light receiving sensitivity of the light receiving element that occurs in the image data generated by the digital camera 2. It is determined whether or not it is the same.
[0020]
[PC3]
The PC 3 transmits the image data for collation generated by the digital camera 2 to the server 5 via the network 9 in response to the operation of the user 103.
[0021]
[PC4]
The PC 4 transmits the image data to be inspected to the server 5 via the network 9 in response to the operation of the user 104.
[0022]
[Server 5]
FIG. 3 is a functional block diagram of the server 5.
As shown in FIG. 3, the server 5 includes, for example, an interface 21, an encryption unit 22, a database 23, a collation unit 24, and a control unit 25, which are connected via a data transmission path 20.
The interface 21 exchanges data with the PCs 3 and 4 via the network 9.
Here, the encryption unit 22 corresponds to the encryption means of the fifth invention, the database 23 corresponds to the recording medium of the fifth invention, the collation unit 24 corresponds to the collation means of the fifth invention, and the control unit Reference numeral 25 corresponds to the verification means of the fifth invention.
[0023]
The encryption unit 22 converts the collation image data (the second image data of the first invention and the fifth invention) input from the PC 3 through the interface 21 into the password of the user 103 that has provided the collation image data and the password thereof. Encrypting is performed using the attribute data to generate encrypted data for collation (second encrypted data of the first invention and the fifth invention).
Further, the encryption unit 22 converts the test image data (the first image data of the first invention and the fifth invention) inputted from the PC 4 via the interface 21 into the password of the user 104 as the provider. And the attribute data to be encrypted to generate encrypted data to be tested (the first encrypted data of the first and fifth inventions).
As the attribute data, for example, the names, addresses and telephone numbers of the users 103 and 104, which are the providers, or the identification data of the digital camera 2 is used.
The attribute data may be encrypted or stored unencrypted in a semiconductor memory of the PC 3 or the PC 4, for example, and may be automatically read and transmitted to the server 5 when the server 5 is accessed. . The attribute data is encrypted, for example, by using the device ID as a key in PC3, PC4, or the like. The semiconductor memory may be portable.
[0024]
Further, instead of the password, biometric information of the users 103 and 104 as providers may be used.
The database 23 stores the encrypted data for collation. The data stored in the database 23 may be stored in a mirror server or the like.
The collating unit 24 detects a correlation between the encrypted data for verification and the encrypted data for inspection.
[0025]
Hereinafter, the collating unit 24 employing the SPOMF (Symmetrical Phase Only Matched Filtering) method will be described.
The SPOMF is described in the document "Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition of Recommendations." 16 No. 12 December 1994, and the like.
FIG. 4 is a functional block diagram of the matching unit 24 shown in FIG.
As illustrated in FIG. 4, the matching unit 24 includes, for example, an FFT circuit (Fast Fourier Transforms) 31, a whitening circuit 32, an FFT circuit 33, a whitening circuit 34, a complex conjugate circuit 35, a multiplication circuit 36, and an IFFT circuit 37. .
The FFT circuit 31 and the FFT circuit 33 correspond to the converting means of the present invention, the whitening circuit 32 and the whitening circuit 34 correspond to the dividing means of the present invention, and the complex conjugate circuit 35 corresponds to the replacing means of the present invention. The circuit 36 corresponds to the multiplication circuit of the present invention, and the IFFT circuit 37 corresponds to the inverse conversion circuit of the present invention.
[0026]
The FFT circuit 31 generates a first frequency component data S31 by performing a Fourier transform on the test encryption data RC input via the interface 21 shown in FIG. 3, for example, and outputs the first frequency component data S31 to the whitening circuit 32.
The whitening circuit 32 divides each complex number data constituting the first frequency component data S31 by the absolute value of each complex number data (that is, equalizes the absolute value of each element data). Is generated and output to the multiplication circuit 36.
[0027]
The FFT circuit 33 performs, for example, Fourier transform on the encrypted encryption data VE read from the database 23 illustrated in FIG. 3 to generate second frequency component data S33, and outputs the second frequency component data S33 to the whitening circuit 34.
The whitening circuit 34 divides each complex data constituting the second frequency component data S33 by the absolute value of each complex data to generate second complex data S34, and outputs this to the complex conjugate circuit 35 I do.
[0028]
The complex conjugate circuit 35 generates third complex data S35 in which each complex data constituting the second complex data S34 is replaced with complex conjugate complex data, and outputs this to the multiplication circuit 36.
The multiplication circuit 36 multiplies the first complex number data S32 and the third complex number data S35 to generate fourth complex number data S36, and outputs this to the IFFT circuit 37.
The IFFT circuit 37 performs inverse Fourier transform on the fourth complex number data S36 to generate correlation data S24, and outputs this to the control unit 25 shown in FIG.
Here, the correlation data indicates all values obtained by correlating the relative positions of the test encryption data RC and the verification encryption data VE cyclically on two dimensions.
[0029]
By the way, as shown in FIG. 5A, in a natural image, the energy of the image is concentrated in a low band. On the other hand, since the sensitivity variation of the pixels of the light receiving element is a random phenomenon, the component superimposed on the image due to the sensitivity variation is substantially uniform over a wide frequency component such as white noise as shown in FIG. Energy.
In the above-described collation by SPOMF, the absolute value of each element is made equal after conversion into the frequency domain. For this reason, the pattern of the pixel sensitivity variation pattern can be collated without being disturbed by the low-frequency signal of the natural image.
[0030]
The control unit 25 generally controls the operation of each component of the server 5.
The control unit 25 determines, based on the correlation data S24 generated by the matching unit 24, a common point between the image data for matching and the image data for verification due to an inherent variation in the light receiving sensitivity of the light receiving element of the digital camera 2 between the image data for matching and the image data for verification. It is determined whether or not there is, and based on the determination result, it is verified whether or not the image data for verification and the image data for verification have been generated by the same source and provided by the same source.
By the way, as the verification encryption data VE, for example, a data that displays a pattern that is not correlated with a pattern displayed based on the test encryption data RC is used.
Therefore, when the cameras that generate the cryptographic data for inspection RC and the cryptographic data for verification VE are different, the cryptographic data for inspection RC and the cryptographic data for verification VE are uncorrelated. That is, a large value does not occur at the origin of the correlation data S24.
On the other hand, if the cameras that have generated the same cryptographic data RC to be inspected and the cryptographic data VE to be verified are the same and their sources are the same, then the cryptographic data to be tested RC and the cryptographic data to be verified VE has a correlation with the influence of the light receiving sensitivity inherent in the light receiving element described above.
When the correlation value indicated by the correlation data S24 exceeds a predetermined value based on the correlation data S24 detected by the collation unit 24, the control unit 25 controls the test image data corresponding to the test encryption data RC. And the verification image data corresponding to the verification encryption data VE are generated (imaged) by the same camera, and the providing sources are determined to be the same.
[0031]
Hereinafter, a method of determining a value used as a criterion for the determination by the control unit 25 will be described.
As described above, the correlation data S24 indicates all the values obtained by correlating the relative positions between the test encryption data RC and the verification encryption data VE cyclically in two dimensions. .
Here, since the pattern is uncorrelated between the test encryption data RC and the verification encryption data VE, values other than the origin of the correlation data S24 indicate accidental correlation values between the uncorrelated data. .
The control unit 25 obtains the standard deviation σ of the correlation data S24, and makes the above determination based on whether or not the value C00 of the origin of the correlation data S5 exceeds a predetermined number of times the standard deviation.
The reason why the value C00 is used is that, when a correlation is obtained between the entire images, the unique pattern of the image sensor matches the origin, so that a peak appears in the output C00 of the correlator in that case. .
[0032]
Each element data in the correlation data S24 is Cij, and the number of element data is n.
The control unit 25 generates an average value mean of the values indicated by all the element data in the correlation data S24 based on the following equation (1).
[0033]
(Equation 1)
cmean = (Σcij) / n (1)
[0034]
Further, the control unit 25 generates a standard deviation σ based on the following equation (2) using the average value mean.
[0035]
(Equation 2)
σ = {(cij-cmean) × (cij-cmean)} / n} (2)
[0036]
If the value indicated by the element data c00 at the origin in the correlation data S24 exceeds 10 times the standard deviation σ (predetermined level) based on the following equation (3), the control unit 25 It is determined that the encryption data RC for verification and the encryption data VE for verification are generated by the same camera, and that the providing sources are the same.
[0037]
[Equation 3]
c00> 10 × σ (3)
[0038]
As described above, the server 5 correlates the images with each other by SPOMF to determine whether these images are generated by the same camera having the same light receiving element and whether the sources are the same. judge.
The probability of making the determination (collation) accurately can be quantified as follows.
It is considered that the result of collation between randomly distributed data follows a normal distribution. When image data captured by different light receiving elements is compared, the two data are considered to be uncorrelated. The probability that the value of correlation between uncorrelated data exceeds 10σ is 7.6 × 10 ⁻²⁴ It is.
[0039]
Hereinafter, an operation example of the communication system 1 illustrated in FIG. 1 will be described in association with an operation example of the server 5.
[Registration of image for verification]
In the operation example, a case where the user 103 registers image data captured using the digital camera 2 in the server 5 will be described.
In this case, the digital camera 2 is a generator of the image data, and the user 103 is a provider of the image data.
FIG. 6 is a flowchart for explaining the operation.
Step ST11:
The user 103 operates the PC 3 to transmit the collation image data captured by the digital camera 2 to the server 5 via the network 9.
The server 5 inputs the matching image data via the interface 21 shown in FIG.
[0040]
Step ST12:
The user 103 operates the PC 3 to transmit the password PA_103 known only by the user and the attribute data PR_103 of the user to the server 5 via the network 9.
The server 5 inputs the password PA_103 and the attribute data PR_103 via the interface 21 shown in FIG.
[0041]
Step ST13:
The encryption unit 22 encrypts the verification image data input in step ST11 using the password PA_103 and the attribute data PR_103 input in step ST12 to generate verification encryption data VE.
Step ST14:
The control unit 25 writes the verification encryption data VE generated in step ST13 into the database 23.
[0042]
(Verification request)
In the operation example, a case will be described in which the user 104 requests the server 5 to collate image data (image data to be inspected) provided by the user 104.
FIG. 7 is a flowchart for explaining the operation.
Step ST21:
The user 104 operates the PC 4 to transmit the test image data provided by the user 104 to the server 5 via the network 9.
The server 5 inputs the image data for inspection via the interface 21 shown in FIG.
At this time, the user 104 transmits information for specifying the verification encryption data VE to the server 5 via the PC 4.
[0043]
Step ST22:
The user 104 operates the PC 4 to transmit the password PA_104 known only by itself and the attribute data PR_104 of the user to the server 5 via the network 9.
The server 5 inputs the password PA_104 and the attribute data PR_104 via the interface 21 shown in FIG.
[0044]
Step ST23:
The encryption unit 22 encrypts the test image data input in step ST21 using the password PA_104 and the attribute data PR_104 input in step ST22 to generate test encryption data RC.
Step ST24:
The verification unit 24 reads the verification encryption data VE from the database 23 based on the information specified in step ST21, for example.
[0045]
Step ST25:
The collating unit 24 detects the correlation between the encrypted data to be detected RC generated in step ST23 and the encrypted cryptographic data VE read in step ST24, and outputs the correlation data S24 indicating the result to the control unit 25.
Step ST26:
As described above, the control unit 25 determines whether or not the value indicated by the element data c00 at the origin in the correlation data S24 exceeds 10 times the standard deviation σ (a predetermined level) based on the correlation data S24. I do.
[0046]
Step ST27:
When the control unit 25 determines that the value indicated by the element data c00 exceeds 10 times the standard deviation σ (a predetermined level), the test encryption data RC and the verification encryption data VE are generated by the same camera. It is determined that the image data is for the image data and that the providers are the same (users 103 and 104 are the same).
Step ST28:
The control unit 25 determines that the test encryption data RC and the verification encryption data VE are for image data generated by different cameras, or that the providers thereof are different.
[0047]
As described above, according to the communication system 1, the server 5 does not add information for specifying the camera that generated the image data to the image data as electronic watermark information or a header of the image file. It is possible to determine whether both the source and the source of the collation image data and the test image data are the same.
Thus, for example, when the same subject is imaged from the same position by a plurality of cameras in a news report or the like, and when an image of another person is copied, it can be easily proved. Further, even when a plurality of persons use the same camera, if image data captured by another person is misused, it can be easily proved.
Further, according to the communication system 1, the server 5 stores the image data for comparison in the database 23 in an encrypted state and uses the image data for decryption without decryption. Illegal use can be effectively suppressed.
[0048]
[Second embodiment]
In the first embodiment described above, the case in which the server 5 performs the collation based on the correlation between the collation encrypted data VE and the to-be-tested encrypted data RC has been described. However, in the present embodiment, the unencrypted collation is performed. The case where collation is performed based on the correlation between the image data for inspection and the image data for inspection will be exemplified.
[0049]
FIG. 8 is a functional block diagram of the server 5a of the present embodiment.
As shown in FIG. 8, the server 5a has, for example, an interface 21, an encryption unit 22, a database 23, a collation unit 41, a decryption unit 42, and a control unit 43, which are connected via the data transmission path 20. ing.
Here, the decoding unit 42 corresponds to the decoding unit of the fourth invention, the matching unit 41 corresponds to the matching unit of the fourth invention, and the control unit 43 corresponds to the verification unit of the fourth invention.
8, the components denoted by the same reference numerals as in FIG. 3 are the same as those described in the first embodiment.
[0050]
The collation unit 41 compares the unencrypted test image data (the second image data of the second invention and the fifth invention) with the image data for comparison (the first image of the second invention and the fifth invention) Image data).
The decryption unit 42 outputs decrypted data (the decrypted data of the second and fifth inventions) obtained by decrypting the encrypted encryption data VE (the encrypted data of the second and fifth inventions) read from the database 23 to the collation unit 41. I do.
The control unit 43 controls the operation of the server 5a as described below.
The control unit 43 verifies whether the source and the provider of the image data for verification and the source of the image are the same based on the correlation data S24 in the first embodiment. This is performed in the same manner as in step 25.
[0051]
Hereinafter, an operation example of the server 5a will be described.
The registration processing of the image data for collation is the same as that described above with reference to FIG.
In the operation example, a case will be described in which the user 104 requests the server 5a to collate image data (image data to be inspected) provided by the user 104.
FIG. 9 is a flowchart for explaining the operation example.
[0052]
Step ST31:
The user 104 operates the PC 4 to transmit the test image data provided by the user 104 to the server 5 a via the network 9.
The server 5a inputs the test image data via the interface 21 shown in FIG.
At this time, the user 104 transmits information for specifying the verification encryption data VE to the server 5 via the PC 4.
[0053]
Step ST32:
The user 104 operates the PC 4 to transmit the password PA_104 known only by himself / herself and the attribute data PR_104 of his / her own to the server 5a via the network 9.
The server 5a inputs the password PA_104 and the attribute data PR_104 via the interface 21 shown in FIG.
[0054]
Step ST33:
The decryption unit 42 reads the collation encrypted data VE from the database 23.
Step ST34:
The decrypting unit 42 decrypts the verification encrypted data VE read out in step ST33 using the password PA_104 and the attribute data PR_104 input in step ST32 to generate verification image data.
[0055]
Step ST35:
The collation unit 41 detects a correlation between the image data for inspection input in step ST31 and the image data for collation generated in step ST34, and outputs correlation data indicating the result to the control unit 43.
Step ST36:
Based on the correlation data detected in step ST35 as described above, the control unit 43 uses the method described in the first embodiment to change the value indicated by the element data c00 at the origin in the correlation data to the standard deviation σ of 10 It is determined whether or not the number exceeds a predetermined value (a predetermined level).
[0056]
Step ST37:
When the control unit 43 determines that the value indicated by the element data c00 exceeds 10 times the standard deviation σ (a predetermined level), the image data to be inspected and the image data for collation are generated by the same camera. It is determined that the service providers are the same (users 103 and 104 are the same).
Step ST28:
The control unit 25 determines that the image data for inspection and the image data for collation are generated by different cameras, or that the providers thereof are different.
[0057]
As described above, according to the present embodiment, in the server 5a, information for specifying the camera that generated the image data is not added to the image data as digital watermark information or a header of the image file. It can be determined whether both the source and the source are the same for the image data for verification and the image data for inspection. Further, according to the present embodiment, since the test image data is not encrypted, there is a possibility that the processing time can be shortened as compared with the first embodiment.
Further, according to the present embodiment, since the test image data is not encrypted, it is possible to avoid a malfunction of the correlation detection due to the false signal.
[0058]
[Third embodiment]
In the operation example, a server 5b that performs a storage service of image data by extending the function of the server 5 of the first embodiment will be described.
[0059]
FIG. 10 is a functional block diagram of the server 5b of the present embodiment.
As illustrated in FIG. 10, the server 5 b includes, for example, an interface 21, an encryption unit 22, a database 23, a collation unit 24, a database 61, a decryption unit 62, and a control unit 63. Connected.
In FIG. 10, components denoted by the same reference numerals as those in FIG. 3 are the same as those described in the first embodiment.
The database 61 stores encryption data for storage of image data related to the storage service.
The control unit 63 controls the operation of the server 5b as described below.
The control unit 63 verifies whether the source and the provider of the image data for verification and the image data for inspection are the same based on the correlation data S24 according to the control unit of the first embodiment. This is performed in the same manner as in step 25.
Hereinafter, an operation example of the server 5b will be described.
Note that the method of registering the image data for comparison described in the first embodiment with reference to FIG. 6 is the same in the present embodiment.
[First operation example]
In the operation example, a case will be described in which the user 104 requests the server 5b to store image data (storage image data) provided by the user 104.
FIG. 11 is a flowchart for explaining the operation.
Step ST41:
The user 104 operates the PC 4 to transmit storage request image data provided by itself and requesting storage to the server 5b to the server 5b via the network 9. The server 5b inputs the storage request image data via the interface 21 shown in FIG.
At this time, the user 104 transmits information specifying the collation encryption data VE to the server 5b via the PC 4.
[0060]
Step ST42:
The user 104 operates the PC 4 to transmit the password PA_104 known only by itself and the attribute data PR_104 of the user to the server 5 via the network 9.
The server 5b inputs the password PA_104 and the attribute data PR_104 via the interface 21 shown in FIG.
[0061]
Step ST43:
The encryption unit 22 generates the storage request encrypted data RC by encrypting the storage request image data input in step ST41 using the password PA_104 and the attribute data PR_104 input in step ST42.
Step ST44:
The verification unit 24 reads the verification encryption data VE from the database 23 based on the information specified in step ST41, for example.
[0062]
Step ST45:
The collating unit 24 detects a correlation between the storage request encrypted data RC generated in step ST43 and the encrypted encrypted data VE read in step ST44, and outputs the correlation data S24 indicating the result to the control unit 63.
Step ST46:
As described above, the control unit 63 determines whether or not the value indicated by the element data c00 at the origin in the correlation data S24 exceeds 10 times the standard deviation σ (a predetermined level) based on the correlation data S24. I do.
[0063]
Step ST47:
If the control unit 63 determines that the value indicated by the element data c00 exceeds 10 times the standard deviation σ (predetermined level), the storage encryption data RC and the verification encryption data VE are generated by the same camera. It is determined that the data is for the data, and the providers are the same (users 103 and 104 are the same).
Then, the control unit 63 writes the storage encryption data RC generated in step ST43 into the database 61.
Step ST48:
The control unit 63 determines that the storage encryption data RC and the verification encryption data VE are for image data generated by different cameras, or that the providing sources are different.
Then, the control unit 63 notifies the PC 4 that the data cannot be stored.
[0064]
[Second operation example]
In this operation example, a case where the user 104 reads out the image data stored in the server 5b in the first operation example described above will be described.
FIG. 12 is a flowchart for explaining the operation example.
Step ST51:
The user 104 operates the PC 4 to transmit a read request specifying the storage image and the collation image to the server 5 b via the network 9.
The server 5b inputs the read request via the interface 21 shown in FIG.
[0065]
Step ST52:
The user 104 operates the PC 4 to transmit the password PA_104 known only by itself and the attribute data PR_104 of the user to the server 5 via the network 9.
The server 5b inputs the password PA_104 and the attribute data PR_104 via the interface 21 shown in FIG.
[0066]
Step ST53:
The control unit 63 reads the storage encryption data corresponding to the storage image specified in step ST51 from the database 61, and reads the verification encryption data VE corresponding to the specified verification image from the database 23.
Step ST54:
The collation unit 24 detects the correlation between the storage encryption data read in step ST53 and the encryption encryption data VE, and outputs correlation data S24 indicating the result to the control unit 63.
Step ST55:
As described above, the control unit 63 determines whether or not the value indicated by the element data c00 at the origin in the correlation data S24 exceeds 10 times the standard deviation σ (a predetermined level) based on the correlation data S24. I do.
[0067]
Step ST56:
When the control unit 63 determines that the value indicated by the element data c00 exceeds 10 times the standard deviation σ (a predetermined level), the control unit 63 determines that the storage encryption data is valid, and the decryption unit 62 decrypts it. To generate image data for storage.
Step ST57:
The control unit 63 notifies the PC 4 of a chest that cannot provide storage image data related to the request.
Step ST58:
The control unit 63 transmits the storage image data generated in step ST56 to the PC 4 via the interface 21 shown in FIG.
[0068]
As described above, according to the present embodiment, an image data storage service can be provided using the server 5b.
Further, according to the present embodiment, as shown in FIG. 11, when storing image data, the image data is collated with the encryption data for collation VE, so that only valid image data whose copyright is not infringed is used. Can be subject to storage services.
Further, according to the present embodiment, as shown in FIG. 12, when reading the storage image data, the storage image data is compared with the verification encryption data VE. , It can be detected.
[0069]
Hereinafter, a method of improving the accuracy of the matching in the matching unit 24 will be described.
[First method]
The first method is particularly effective, for example, when matching is performed between decoded image data as in the above-described second embodiment.
For example, as illustrated in FIG. 13, the matching unit 24 cuts out the image data S87a from the image data S87 (for example, the matching image data of the second embodiment) based on the first cutout position.
Further, the collating unit 24 converts the image data S81 (for example, the image data for inspection of the second embodiment) from the image data S81 based on the second cutout position shifted by (x1, y1) from the first cutout position. S81a is cut out.
Then, the matching unit 24 detects the correlation between the image data S87a and S81a.
In this case, since the SPOMF indicates the strength of the correlation when the images are sequentially and cyclically shifted, if the image data S81 and the image data S87 are generated by the same camera, ( A peak appears in the element data at the point (y1, x1).
Then, the collating unit 24 changes the first cutout position and the second cutout position and performs a plurality of times to generate correlation data S24, and the control units 25, 43, and 63 use the correlation data S24 to generate the correlation data S24. The determination is performed sequentially.
Thereby, the probability of erroneous determination by the control units 25, 43, 63 using the correlation data S24 can be reduced. That is, the erroneous determination probability is the product of the erroneous determination probabilities in each determination. For example, if the peak value is 3σ, the probability of erroneous determination is 1 × 10 in one determination. ^-3 However, 1 × 10 ^-30 It is possible to reduce the probability of erroneous determination.
[0070]
[Second method]
The image data generated by the digital camera 2 is obtained by superimposing an inherent pattern of light receiving sensitivity of the light receiving element and noise due to heat and electric factors on an image obtained by forming light through a lens.
Moreover, the amplitude of the image data is often quantized to 8 bits.
In order to avoid such effects of image formation, noise, and quantization by a lens, it is very important to average a plurality of pieces of collation image data S87_1 to S87_N generated by the digital camera 2 as shown in FIG. Useful for
In this case, N (N is an integer of 2 or more) pieces of collation image data S87_1 to S87_N generated using the digital camera 2 are output to the encryption unit 22 via the interface 21 illustrated in FIG. , Encrypted.
Then, the control unit 25 or the like averages the plurality of encrypted image data for verification S87_1 to S87_N to generate encrypted data for verification VE, and writes this to the database 23.
As a result of an experiment, it is effective to increase the number of pieces of collation image data S87_1 to S87_N to about several hundreds, and the correlation value increases to about twice as compared with the case where one piece of reference image data is used.
[0071]
[Third method]
As described above, in the digital camera 2, light enters the light receiving element via the lens.
15 to 17 show a state in which light passing through the lens 231 is focused on the photoelectric conversion region 232 of the light receiving element.
FIGS. 15A and 15B show the case where the diaphragm 230 is opened at a wide angle, FIGS. 16A and 16B show the case where the diaphragm 230 is narrowed at a wide angle, and FIG. FIG. 17B is a diagram illustrating a case where the diaphragm 230 is stopped down in telephoto when the cover is opened.
As can be seen from these figures, the state in which the light ray 233 is incident (hits) on the photoelectric conversion region 232 is different.
As described above, the variation in the light receiving sensitivity of the light receiving element depends on the amount of light incident on the light receiving element.
In the present embodiment, as shown in FIG. 16, a plurality of image data a to i are generated by a camera based on the aperture ratio and the focal length of different apertures 230, and these are used as the image data for comparison in the first embodiment. Then, the collation unit 24 may generate the correlation data S24.
According to an experiment, by preparing a plurality of image data a to i as the image data for comparison, the correlation value is increased to about 1.5 times as compared with a case where a single image data is prepared. I understand. Thereby, the accuracy of the determination by the control unit 25 and the like is improved.
[0072]
【The invention's effect】
As described above, according to the present invention, a data processing method and a data processing method capable of verifying whether both a source and a source of image data for inspection and image data for collation are the same are provided. An apparatus can be provided.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a communication system according to a first embodiment of the present invention.
FIG. 2 is a diagram schematically showing a cross section of a light receiving element provided in the digital camera shown in FIG. 1;
FIG. 3 is a functional block diagram of a server shown in FIG. 1;
FIG. 4 is a functional block diagram of a collating unit shown in FIG. 3;
FIG. 5 is a diagram for explaining correlation detection in the matching unit shown in FIG. 4;
FIG. 6 is a flowchart illustrating a case in which image data captured by a user using a digital camera is registered in a server in the communication system illustrated in FIG. 1;
FIG. 7 is a diagram for explaining a case where a user requests a server to collate image data (image data for inspection) provided by the user in the communication system shown in FIG. 1;
FIG. 8 is a functional block diagram of a server of the communication system according to the second embodiment of the present invention.
FIG. 9 is a diagram for explaining an operation example of the server shown in FIG. 8;
FIG. 10 is a functional block diagram of a server of a communication system according to a third embodiment of the present invention.
FIG. 11 is a diagram for explaining an operation example of the server shown in FIG. 10 at the time of image storage.
FIG. 12 is a diagram for explaining an operation example at the time of image reading of the server shown in FIG. 10;
FIG. 13 is a diagram for explaining a first technique for improving the matching accuracy in the matching unit according to the embodiment of the present invention.
FIG. 14 is a diagram illustrating a second technique for improving the matching accuracy in the matching unit according to the embodiment of the present invention.
FIG. 15 is a diagram for explaining a third technique for improving the matching accuracy in the matching unit according to the embodiment of the present invention.
FIG. 16 is a diagram for explaining a third technique for improving the matching accuracy in the matching unit according to the embodiment of the present invention.
FIG. 17 is a diagram illustrating a third technique for improving the matching accuracy in the matching unit according to the embodiment of the present invention.
FIG. 18 is a diagram illustrating a third technique for improving the matching accuracy in the matching unit according to the embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Communication system, 2 ... Digital camera, 3 ... PC, 4 ... PC, 5 ... Server, 9 ... Network, 21 ... Interface, 22 ... Encryption unit, 23 ... Database, 24 ... Collation unit, 25 ... Control unit, 41: collating unit, 42: decoding unit, 43: control unit, 61: database, 62: decoding unit, 63: control unit

Claims

A data processing method for verifying a generation source and a provision source of image data generated based on light reception results of a plurality of light receiving elements having a variation in light reception sensitivity,
A first step of encrypting the first image data using a password of a provider thereof to generate first encrypted data;
A second step of detecting a correlation between the first encrypted data generated in the first step and second encrypted data obtained by encrypting the second image data using a password of a provider of the first image data; When,
Determining whether there is a difference between the first image data and the second image data due to the inherent variation of the light receiving sensitivity based on the correlation detected in the second step, A third step of verifying whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination. Data processing method.

Prior to the first step, the second image data for verification is encrypted using a password of a provider thereof to generate the second encrypted data, and the second encrypted data is stored in a recording medium. Further comprising a fourth step of recording;
The first step is to encrypt the first image data for inspection using a password of a provider of the first image data to generate the first encrypted data,
2. The data processing method according to claim 1, wherein the second step detects a correlation between the first encrypted data and the second encrypted data read from the recording medium.

The first step generates the first encrypted data further using attribute data of a provider of the first image data,
The second step detects a correlation between the first encrypted data and second encrypted data obtained by encrypting the second image data using a password of the provider and attribute data of the provider. 2. The data processing method according to claim 1, wherein:

In the second step, the correlation is determined by using the second encrypted data obtained by encrypting the second image data that displays a pattern having no correlation with the pattern displayed based on the first image data. The data processing method according to claim 1, wherein the detection is performed.

A third image data is generated by averaging a plurality of the first image data generated by the same generation source, and the third image data is generated by using a password of a provider of the first image data. The data processing method according to claim 1, further comprising a fifth step of encrypting to generate the first encrypted data.

In the case where the generator generates the image data by causing light to enter the plurality of light receiving elements via a lens, the light is incident on the light receiving element in each of a plurality of different states of the aperture of the lens. A sixth step of generating the first image data and encrypting the plurality of first image data to generate a plurality of first encrypted data,
The data processing method according to claim 1, wherein the second step detects the correlation using the plurality of first encrypted data generated in the sixth step.

The second step includes:
A seventh step of orthogonally transforming the first encrypted data and the second encrypted data to generate first frequency component data and second frequency component data, respectively;
Each complex data forming the first frequency component data is divided by the absolute value of each complex data to generate first complex data, and each complex data forming the second frequency component data is An eighth step of dividing the absolute value of each complex number data to generate a second complex number data;
A ninth step of generating third complex data by replacing each complex data constituting one of the first complex data and the second complex data with complex conjugate complex data;
Multiplying the first complex number data or the second complex number data not replaced in the ninth step by the third complex number data generated in the ninth step to obtain a fourth complex number; A tenth step of generating complex data;
An eleventh step of performing inverse orthogonal transformation on the fourth complex data generated in the tenth step to generate correlation data.

2. The data processing method according to claim 1, wherein the inherent variation of the light receiving sensitivity of the light receiving element occurs during the manufacturing process of the light receiving element and is difficult to reproduce artificially.

A data processing method for verifying a generation source and a provision source of image data generated based on light reception results of a plurality of light receiving elements having a variation in light reception sensitivity,
A first step of decrypting encrypted data of the first image data for verification using a password of a provider thereof to generate decrypted data;
A second step of detecting a correlation between the decoded data generated in the first step and the second image data for inspection;
Determining whether there is a difference between the first image data and the second image data due to the inherent variation of the light receiving sensitivity based on the correlation detected in the second step, A third step of verifying whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination. Data processing method.

The second step cuts out third image data from the decoded data based on a first cutout position, cuts out fourth image data from the second image data based on a second cutout position, The data processing method according to claim 9, wherein the detection of the correlation between the third image data and the fourth image data is performed a plurality of times by changing the first cutout position and the second cutout position.

In the second step, the correlation between the decoded data and the second image data is converted into an image of the decoded data and the second image data in units of pixel data corresponding to the light receiving element. 10. The data processing method according to claim 9, wherein a relative position with respect to the corresponding image is sequentially shifted in two dimensions and detected.

A data processing method for storing image data generated at a generation source based on light reception results of a plurality of light receiving elements having variations in light reception sensitivity,
A first step of encrypting the first image data related to the write request using a password of a provider of the first image data to generate first encrypted data;
Detecting a correlation between the first encrypted data generated in the first step and second encrypted data obtained by encrypting the second image data for verification using a password of a provider of the first encrypted data; Two steps,
Determining whether there is a difference between the first image data and the second image data due to the inherent variation of the light receiving sensitivity based on the correlation detected in the second step, A third step of verifying whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination;
When it is verified in the third step that both the source and the provider are the same, a fourth step of writing the first encrypted data generated in the first step to a recording medium; A data processing method comprising:

A data processing method for reading image data generated at a generation source from a recording medium based on light reception results of a plurality of light receiving elements having variations inherent in light reception sensitivity,
A first step of reading, from a recording medium, first encrypted data obtained by encrypting the first image data using a password of a provider of the first image data for verification;
A second step of reading the second encrypted data associated with the first encrypted data from the recording medium, wherein the second image data is encrypted using the password, and
A third step of detecting a correlation between the first encrypted data read in the first step and the second encrypted data read in the second step;
It is determined whether there is a common point between the first image data and the second image data due to the inherent variation of the light receiving sensitivity based on the correlation detected in the third step. A fourth step of verifying whether the first image data and the second image data have been generated by the same source and provided by the same source based on the result of the determination;
If it is verified in the fourth step that both the source and the provider are the same, the second encrypted data read in the second step is transmitted from the source of the read request to the second encrypted data. Decrypting using the received password.

A data processing apparatus for verifying a generation source and a provision source of image data generated based on light reception results of a plurality of light receiving elements having a variation in light reception sensitivity,
Encrypting means for encrypting the first image data using a password of a provider thereof to generate first encrypted data;
Collating means for detecting a correlation between the first encrypted data generated by the encrypting means and second encrypted data obtained by encrypting the second image data using a password of a provider thereof;
Determining whether there is a common point between the first image data and the second image data due to the inherent variation of the light receiving sensitivity based on the correlation detected by the matching unit, A data processing apparatus comprising: a verification unit configured to verify whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination. .

Control means for encrypting the second image data for verification using a password of a provider of the second image data to generate the second encrypted data, and recording the second encrypted data on a recording medium,
The encrypting means encrypts the first image data for inspection using a password of a provider of the first image data to generate the first encrypted data;
15. The data processing device according to claim 14, wherein the matching unit detects a correlation between the first encrypted data and the second encrypted data read from the recording medium by the control unit.

A data processing apparatus for verifying a generation source and a provision source of image data generated based on light reception results of a plurality of light receiving elements having a variation in light reception sensitivity,
Decryption means for decrypting encrypted data of the first image data for verification using a password of a provider thereof to generate decrypted data;
Collation means for detecting a correlation between the decoded data generated by the decoding means and the second image data for inspection;
Determining whether there is a common point between the first image data and the second image data due to the inherent variation of the light receiving sensitivity based on the correlation detected by the matching unit, A data processing apparatus comprising: a verification unit configured to verify whether the first image data and the second image data are generated by the same source and provided by the same source based on the result of the determination. .