JP2013097351A - Image evaluation method - Google Patents

Image evaluation method Download PDF

Info

Publication number
JP2013097351A
JP2013097351A JP2011243096A JP2011243096A JP2013097351A JP 2013097351 A JP2013097351 A JP 2013097351A JP 2011243096 A JP2011243096 A JP 2011243096A JP 2011243096 A JP2011243096 A JP 2011243096A JP 2013097351 A JP2013097351 A JP 2013097351A
Authority
JP
Japan
Prior art keywords
image
difference
encrypted
feature amount
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011243096A
Other languages
Japanese (ja)
Other versions
JP5687601B2 (en
Inventor
Ryota Nakada
亮太 中田
Takayuki Nakachi
孝之 仲地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011243096A priority Critical patent/JP5687601B2/en
Publication of JP2013097351A publication Critical patent/JP2013097351A/en
Application granted granted Critical
Publication of JP5687601B2 publication Critical patent/JP5687601B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a technique which performs image processing such as image evaluation without decrypting encrypted image data.SOLUTION: An image evaluation method includes the steps of: calculating a difference between image feature values of two images encrypted with a first parameter, as a first difference; calculating a difference between image feature values of the two images encrypted with a second parameter, as a second difference; multiplying the first difference and the second difference; decrypting a result of the multiplication; and performing image evaluation by using the decryption result. The encryption is performed by means of a secret sharing scheme.

Description

本発明は、暗号化したまま演算処理を行う秘密計算に関するものであり、特に画像データに対する秘密計算に関するものである。   The present invention relates to a secret calculation for performing calculation processing while being encrypted, and more particularly to a secret calculation for image data.

ソーシャルネットワーキングサービスやコンシューマ向けのクラウドサービス等の普及によって、あらゆるデータをネットワークを介したサーバ上に保存することが可能なサービスが増加している。中でも画像データは、スマートホンの普及等により、誰でも簡単にネットワークサービスを介してアップロードすることが可能となり、多くの画像データがネットワーク上で保存されるようになった。そこで、ネットワーク上に保存するデータに対して安全性を確保するには暗号化によりセキュリティ保護が重要となる。   With the widespread use of social networking services and consumer cloud services, services that can store all data on a server via a network are increasing. In particular, with the spread of smartphones, anyone can easily upload image data via a network service, and a large amount of image data is stored on the network. Therefore, in order to ensure the safety of data stored on the network, security protection by encryption is important.

これまで、ネットワークサービス上でセキュリティ保護されるべきデータの代表例はテキストベースの個人情報であった。今後はネットワーク上に保存されるデータは多種に及ぶことが想定され、その中には顔写真や位置が特定できるような風景画像等、個人情報が含まれる画像データも多く存在するが、ネットワーク上に保存される画像データに対するセキュリティについては問題視されてこなかった。   Until now, a typical example of data to be secured on a network service has been text-based personal information. In the future, it is assumed that there will be a wide variety of data stored on the network. Among them, there will be many image data containing personal information such as face photos and landscape images that can identify the location. The security of the image data stored in is not regarded as a problem.

また、多くの保護されるべきデータがネットワーク上に保存されている一方で、これらのデータを利用したクラウドサービスが増加している。そういったネットワークサービス上で画像データに対して何らかの処理を行う時、一般的には画像データは暗号化されていない平文の状態で処理される。クラウドサービス上でネットワークに保存されている画像データを暗号化によってセキュリティを確保する場合、これまで通り画像データを平文で処理しようとする際に一度画像データの復号をしなければならず、暗号化によるデータ保護はその時点では崩れてしまう問題が発生する。   In addition, while many data to be protected are stored on the network, cloud services using these data are increasing. When any processing is performed on image data on such a network service, the image data is generally processed in an unencrypted plain text state. When security is ensured by encrypting image data stored on the network on the cloud service, the image data must be decrypted once when attempting to process the image data in plain text as before. There is a problem that data protection by will collapse at that time.

Andrew Chi-Chih Yao、"How to Generate and Exchange Secrets"、Foundations of Computer Science, 1986., 27th Annual Symposium on, P. 162 - 167.Andrew Chi-Chih Yao, "How to Generate and Exchange Secrets", Foundations of Computer Science, 1986., 27th Annual Symposium on, P. 162-167. 千田 浩司、「効率的な3パーティ秘匿関数計算の提案とその運用モデルの考察」、情報処理学会研究報告. CSEC, [コンピュータセキュリティ] 2010-CSEC-48(1), 1-7, 2010-02-25Koji Senda, “Proposal of efficient three-party secret function calculation and consideration of its operation model”, IPSJ Research Report. CSEC, [Computer Security] 2010-CSEC-48 (1), 1-7, 2010-02 -twenty five 柴田賢介 、「表計算ソフトをフロントエンドとした委託型2パーティ秘匿回路計算システム」、情報処理学会シンポジウム論文集、2009年、11号、p. 625-630.Kensuke Shibata, “Consignment type two-party secret circuit computation system with spreadsheet software as front end”, Proceedings of IPSJ Symposium, 2009, 11, p. 625-630.

本発明は上記の問題点に鑑みてなされたものである。以下、画像データに対するセキュリティ保護のためのアプローチを説明しながら、本発明が解決しようとする課題について説明する。   The present invention has been made in view of the above problems. The problem to be solved by the present invention will be described below while describing an approach for security protection for image data.

1.ネットワーク上に保存されている画像データは常に暗号化し、情報漏洩と情報損失のリスクを回避する。   1. Image data stored on the network is always encrypted to avoid the risk of information leakage and information loss.

2.暗号化されているデータは復号せずに、暗号化されたまま直接演算処理を行う。   2. The encrypted data is directly decrypted without being decrypted and directly processed.

以上2点が実現できれば、ネットワーク上のデータに対して暗号化によるセキュリティを保ち、かつネットワーク上で画像処理を行うことができると考えられる。   If the above two points can be realized, it is considered that the data on the network can be secured by encryption and image processing can be performed on the network.

図1に示すように、従来の共通鍵や公開鍵を利用した一般的な暗号通信モデルでは、データをネットワーク上で送受信する際や、ローカルで保存する際に、ネットワーク通信路上やローカル保存領域でデータを暗号化することでデータの安全性を確保することを前提としている。そして、データを処理する際にはデータをローカルで復号した後に処理を行っている。このモデルでは上述したように暗号化によるデータ保護が失われる場合があるという問題がある。   As shown in FIG. 1, in a general encryption communication model using a conventional common key or public key, when data is transmitted / received on a network or stored locally, it is stored on a network communication path or a local storage area. It is assumed that data security is ensured by encrypting the data. And when processing data, it processes after decoding data locally. As described above, this model has a problem that data protection by encryption may be lost.

そこで、図2に示すように、従来の一般的な暗号通信モデルによる暗号化ではなく、ネットワーク上で処理中のデータに対して復号せずに処理を行う暗号モデルを採用することを検討する。ここで、暗号化されたデータに対して処理を行う技術として秘密計算技術が存在する。秘密計算は暗号化した数値や文字などのテキストデータに対して復号すること無く演算を行うことが可能な暗号プロトコルである。この秘密計算可能な暗号として準同型暗号等がある。   Therefore, as shown in FIG. 2, it is considered to adopt an encryption model that performs processing without decrypting data being processed on the network, instead of encryption using a conventional general encryption communication model. Here, there is a secret calculation technique as a technique for processing encrypted data. Secret calculation is an encryption protocol that can perform operations without decrypting encrypted text data such as numerical values and characters. There is a homomorphic encryption or the like as a cipher capable of secret computation.

画像データに対する処理に対し秘密計算を実装することが可能になれば、クラウド上に常に画像データを暗号化した状態で保存し、さらに秘密計算によって演算処理をすることも可能となる。   If it is possible to implement a secret calculation for the processing on the image data, it is possible to always store the image data in an encrypted state on the cloud and further perform an arithmetic process by the secret calculation.

本発明は上記の点に鑑みてなされたものであり、暗号化した画像データに対して復号せずに画像の評価等の画像処理を行う技術を提供することを目的とする。   The present invention has been made in view of the above points, and an object of the present invention is to provide a technique for performing image processing such as image evaluation without decrypting encrypted image data.

上記の課題を解決するために、本発明は、秘密分散法に基づく秘密計算により画像の評価を行う画像評価装置が実行する画像評価方法であって、
第1のパラメータで暗号化された2つの画像の画像特徴量の差分を第1の差分として計算し、
第2のパラメータで暗号化された前記2つの画像の画像特徴量の差分を第2の差分として計算し、
前記第1の差分と前記第2の差分とを掛け合わせ、掛け合わせた結果を復号し、当該復号の結果を用いて画像の評価を行う、画像評価方法であり、前記暗号化は、秘密分散法を用いてなされたものであることを特徴とする画像評価方法として構成される。
In order to solve the above problems, the present invention is an image evaluation method executed by an image evaluation apparatus that evaluates an image by a secret calculation based on a secret sharing method,
The difference between the image feature amounts of the two images encrypted with the first parameter is calculated as the first difference,
Calculating a difference between the image feature amounts of the two images encrypted with the second parameter as a second difference;
An image evaluation method that multiplies the first difference and the second difference, decrypts the multiplied result, and evaluates an image using the decrypted result, wherein the encryption is a secret sharing It is constituted as an image evaluation method characterized by being made using a method.

前記画像評価方法において、前記第1の差分に係る前記暗号化された各画像の画像特徴量は、当該画像の画像特徴量と所定数個の乱数からなるベクトルに前記第1のパラメータを用いて構成された行列を掛けることにより得られた行列であり、前記第2の差分に係る前記暗号化された各画像の画像特徴量は、当該画像の画像特徴量と所定数個の乱数からなるベクトルに前記第2のパラメータを用いて構成された行列を掛けることにより得られた行列であり、前記第1の差分と前記第2の差分とを掛け合わせる際に、当該第1の差分である行列と、当該第2の差分である行列の転置行列とを掛け合わせるように構成してもよい。   In the image evaluation method, the image feature amount of each encrypted image related to the first difference is obtained by using the first parameter in a vector composed of the image feature amount of the image and a predetermined number of random numbers. A matrix obtained by multiplying the configured matrix, and the image feature quantity of each encrypted image related to the second difference is a vector composed of the image feature quantity of the image and a predetermined number of random numbers Is a matrix obtained by multiplying the matrix configured by using the second parameter, and the matrix which is the first difference when the first difference is multiplied by the second difference. And the transposed matrix of the matrix that is the second difference may be multiplied.

前記画像評価方法において、前記各画像の画像特徴量は、当該画像の画像特徴量ベクトルにおける成分であり、前記第1の差分と前記第2の差分とを掛け合わせた結果を各成分について足し合わせ、足し合わせた結果を復号し、当該復号の結果を利用することにより画像の評価を行うようにしてもよい。   In the image evaluation method, the image feature amount of each image is a component in the image feature amount vector of the image, and the result obtained by multiplying the first difference and the second difference is added for each component. The result of addition may be decoded, and the image may be evaluated by using the result of the decoding.

また、前記復号の結果を画像特徴量ベクトルの差分二乗和として利用することにより、前記2つの画像間の類似性を評価するようにしてもよい。   Further, the similarity between the two images may be evaluated by using the decoding result as the sum of squared differences of the image feature vector.

また、例えば、前記2つの画像のうちの一方の画像はクエリ画像であり、他方の画像は検索先画像である。   Further, for example, one of the two images is a query image, and the other image is a search destination image.

本発明によれば、暗号化した画像データに対して復号せずに画像処理を行う技術が提供される。すなわち、画像データに対する秘密計算を実現できる。   According to the present invention, a technique for performing image processing without decrypting encrypted image data is provided. That is, it is possible to realize secret calculation for image data.

従来技術を説明するための図である。It is a figure for demonstrating a prior art. 本発明の課題を説明するための図である。It is a figure for demonstrating the subject of this invention. マルチパーティプロトコルの概念を示す図である。It is a figure which shows the concept of a multi party protocol. 本発明の実施の形態の概要を示す図である。It is a figure which shows the outline | summary of embodiment of this invention. 本発明の実施の形態に係る画像検索システムの構成図である。1 is a configuration diagram of an image search system according to an embodiment of the present invention. 本発明の実施の形態に係る画像検索システムの動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the image search system which concerns on embodiment of this invention.

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施の形態に限定されるものではない。本実施の形態を詳細に説明するにあたり、まず、本実施の形態に係る技術の概要、及び本実施の形態で用いる要素技術を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the following embodiments. In describing the present embodiment in detail, first, an outline of the technique according to the present embodiment and the elemental technique used in the present embodiment will be described.

(実施の形態の概要、要素技術)
本実施の形態では、暗号化したデータに対して演算する技術として秘密計算技術を用いる。前述したように、秘密計算は暗号化した数値や文字などのテキストデータに対して復号すること無く演算を行うことが可能な暗号技術であり、その演算結果は復号した平文に反映される。
(Outline of embodiment, elemental technology)
In the present embodiment, a secret calculation technique is used as a technique for calculating encrypted data. As described above, the secret calculation is an encryption technique that can perform an operation without decrypting the encrypted text data such as numerical values and characters, and the operation result is reflected in the decrypted plaintext.

現在、加算・乗算や絶対値・大小比較やソート等の基本的な演算が実現されている。ある暗号において、その暗号化に用いる関数がとある演算において準同型性を持つことができれば、その暗号はその演算において秘密計算が可能となる。この準同型性を持つ暗号としてエルガマル暗号やRSA暗号、秘密分散法が知られている。特に秘密分散法を利用し、複数のユーザがそれぞれ自身が保持する情報を秘密にし、図3に示すように、お互いの値の演算結果のみを共有することが可能なアルゴリズムをマルチパーティプロトコルという。図3において、x、y、zはそれぞれユーザA、B、Cの秘匿情報である。秘密分散法とマルチパーティプロトコルの詳細については後述する。   Currently, basic operations such as addition / multiplication, absolute value / size comparison, and sorting are realized. In a certain cipher, if a function used for the encryption can have homomorphism in a certain operation, the cipher can perform a secret calculation in the operation. Elgamal, RSA, and secret sharing methods are known as ciphers having homomorphism. In particular, an algorithm that uses the secret sharing method to keep the information held by each of the users secret and share only the calculation result of each other as shown in FIG. 3 is called a multi-party protocol. In FIG. 3, x, y, and z are confidential information of the users A, B, and C, respectively. Details of the secret sharing method and the multi-party protocol will be described later.

従来から、秘密計算技術を数値やテキストデータに対する演算に適用する適用例はあるが、本実施の形態では、従来はなかった画像処理に対する秘密計算技術を実現している。   Conventionally, there is an application example in which the secret calculation technique is applied to operations on numerical values and text data. However, in the present embodiment, a secret calculation technique for image processing that has not been conventionally achieved is realized.

すなわち、本実施の形態では、ネットワークサービス上での画像データに対して秘密計算を適用し、画像検索等のメディア処理を暗号化領域でセキュアに行えるアルゴリズムを提供し、実運用に耐えうるセキュリティシステムを実現する。なお、本実施の形態では、メディア処理として画像検索を行っているが、本発明の技術は画像検索に限られるものでない。例えば、秘密計算で画像圧縮や映像編集を行うことも可能である。   That is, in the present embodiment, a security system that can withstand actual operations by applying a secret calculation to image data on a network service and providing an algorithm that can securely perform media processing such as image search in an encryption area. Is realized. In this embodiment, image search is performed as media processing, but the technique of the present invention is not limited to image search. For example, image compression and video editing can be performed by secret calculation.

また、データの安全性を確保するには、破損によるデータ損失も考慮しなければならない。よってネットワーク上のデータを損失するリスクを避ける為に、保存するデータを分散化することによりデータの安全性を向上させることも考慮する為、データは秘密計算が可能な暗号によって暗号化し、かつロバストに分散化するのが望ましい。そこで、本実施の形態では、ロバストな保存・データの暗号化領域の演算の2点を実現するために、秘密計算可能な暗号として秘密分散法を用いている。   In addition, in order to ensure data safety, data loss due to corruption must also be considered. Therefore, in order to avoid the risk of losing data on the network and to consider improving the security of the data by distributing the data to be stored, the data is encrypted and encrypted with a cipher capable of secret computation. It is desirable to be dispersed. Therefore, in this embodiment, the secret sharing method is used as a cipher capable of secret calculation in order to realize two points of robust storage and calculation of data encryption area.

一般に画像処理では、画像の特徴的な成分や性質を抽出して処理をする場合が多い。例えば画像では画素の統計的な特徴を抽出し、特徴量空間で処理を行う。そこで、本実施の形態では、画像を暗号化していない状態である平文から特徴量(画像特徴量)を抽出し、特徴量空間での秘密計算処理を行っている。   In general, image processing is often performed by extracting characteristic components and properties of an image. For example, in the image, a statistical feature of a pixel is extracted and processed in a feature amount space. Therefore, in the present embodiment, feature amounts (image feature amounts) are extracted from plaintext in a state where the image is not encrypted, and secret calculation processing is performed in the feature amount space.

図4に、本実施の形態の概要を示す。図4に示すように、本実施の形態での画像検索は、クエリを画像として、秘密計算により、クエリ画像と検索先画像との間の特徴量の距離を計算することにより、検索先の多数の画像から、クエリ画像と類似度の高い画像を出力する。つまり、検索先画像及びクエリ画像の各々から特徴量が抽出され、これらが秘密分散暗号化され、暗号化領域で特徴量の距離の演算が行われる。このように、検索に係る演算処理を全て暗号化領域で行うことによって、映像コンテンツなど、セキュリティ性の高いデータを暗号化したまま保存することができ、ユーザは自分の欲しい映像をクエリとして簡易的な画像を送り検索することで、誰にも中身を知られること無く出力結果を知ることができる。   FIG. 4 shows an outline of the present embodiment. As shown in FIG. 4, the image search in the present embodiment is performed by calculating the distance of the feature amount between the query image and the search destination image by the secret calculation using the query as an image, so that many search destinations An image having a high similarity to the query image is output from the images. That is, feature amounts are extracted from each of the search destination image and the query image, and these are secret-shared encrypted, and the feature amount distance is calculated in the encryption area. In this way, by performing all of the computation processing related to the search in the encryption area, it is possible to store highly secure data such as video content while encrypting it, and the user can simply use the desired video as a query. By sending a simple image and retrieving it, the output result can be known without anyone knowing its contents.

次に、本実施の形態で使用する要素技術の内容について説明する。   Next, the contents of the elemental technology used in the present embodiment will be described.

[秘密分散法]
前述したように、本実施の形態では、秘密計算可能な暗号としてロバストな保存によってデータ損失からも保護が可能である秘密分散法を用いている。秘密分散法は、データを複数に分散・暗号化する暗号アルゴリズムで、復号するには一定数以上の分散情報を集める必要がある。一定数未満の場合は情報理論的に復号をすることができない。つまり、分散情報を一定数以上集めない限りは、不足した分散情報のみでは平文の情報は一切漏れることは無いとされる。その性質から情報の欠損に対して強い安全性を保つことができ、公開鍵暗号に利用する秘密鍵等、機密性の高い情報を保存する際などにリスク分散をする為に利用されている。また、暗号式の性質により元々が別の平文同士を同一のパラメータで暗号化した場合、暗号化された分散情報を演算することによってマルチパーティプロトコルを実現することができる。
[Secret sharing method]
As described above, this embodiment uses a secret sharing method that can protect against data loss by robust storage as a cipher capable of secret computation. The secret sharing method is an encryption algorithm that distributes and encrypts a plurality of data, and it is necessary to collect a certain number of pieces of shared information for decryption. If it is less than a certain number, it cannot be decoded theoretically. That is, as long as a certain number of shared information is not collected, plaintext information is not leaked at all with insufficient shared information. Due to its nature, it can maintain strong security against information loss and is used to distribute risk when storing highly confidential information such as a secret key used for public key cryptography. In addition, when originally plain texts are encrypted with the same parameters due to the nature of encryption, a multi-party protocol can be realized by calculating encrypted shared information.

秘密分散法にはいくつかのアルゴリズムが存在するが、本実施の形態では、一例としてShamirの秘密分散法を使用している。また、秘密分散法を利用した基本的な秘密計算としてマルチパーティプロトコルを使用している。以下、Shamir の秘密分散法、及びマルチパーティプロトコルについて説明する。なお、本発明に適用できる秘密分散法はShamirの秘密分散法に限られるわけではない。   There are several algorithms in the secret sharing method. In this embodiment, Shamir's secret sharing method is used as an example. In addition, a multi-party protocol is used as a basic secret calculation using a secret sharing method. The following describes Shamir's secret sharing method and multi-party protocol. The secret sharing method applicable to the present invention is not limited to Shamir's secret sharing method.

[Shamir の秘密分散アルゴリズム]
準備として以下のパラメータを与える。
[Shamir's secret sharing algorithm]
The following parameters are given as preparation.

暗号化
S:平文
k:復号に必要なしきい値
n:分散数
r:乱数
xi:自然数(パラメータ) xi≠xj(i ≠ j)
p:素数
wi:分散暗号文
次に以下の行列Xを定義する。
encryption
S: Plain text
k: Threshold required for decryption
n: Number of distributions
r: Random number
x i : Natural number (parameter) x i ≠ x j (i ≠ j)
p: Prime number
w i : Distributed ciphertext Next, the following matrix X is defined.

Figure 2013097351
この行列の行列式はVandermondeの行列式と呼ばれ、その値は必ず0にならないことが知られているので、必ず逆行列を持つ。
Figure 2013097351
The determinant of this matrix is called Vandermonde's determinant, and since it is known that its value is not always 0, it always has an inverse matrix.

以下の行列演算によって平文Sをn個に分散暗号化する。   The plaintext S is distributed and encrypted to n by the following matrix operation.

Figure 2013097351
復号
k個以上の分散暗号文を集め、さらにパラメータから逆行列を生成すると平文Sを復号できる。
Figure 2013097351
Decryption
The plaintext S can be decrypted by collecting k or more distributed ciphertexts and generating an inverse matrix from the parameters.

Figure 2013097351
[マルチパーティプロトコル]
マルチパーティプロトコルは、秘密分散法を利用した秘密計算のプロトコルであり、各ユーザの秘匿情報を互いに知られること無く、計算が可能である。平文での計算結果のみを互いに共有することがきる。一般にマルチパーティプロトコルでは、以下の手順により、平文での演算結果が共有される。
Figure 2013097351
[Multi-party protocol]
The multi-party protocol is a secret calculation protocol using a secret sharing method, and can calculate the secret information of each user without knowing each other. Only the calculation results in plain text can be shared with each other. In general, in a multi-party protocol, an operation result in plain text is shared by the following procedure.

ステップ1)各自秘匿にしたい情報を暗号化する。   Step 1) Each piece of information to be kept secret is encrypted.

ステップ2)暗号化した情報を各自共有する。   Step 2) Share the encrypted information.

ステップ3)共有した暗号文から秘密計算によって各自平文の演算結果を出力する。   Step 3) Output the calculation result of each plaintext by secret calculation from the shared ciphertext.

また、秘密分散法は加算においての準同型性を保持している。よって以下の演算によって加算のマルチパーティプロトコルを実現できる。ここでは2つの平文S1、S2の加算を求めるアルゴリズムを示す。次式では準同型性によって分散暗号化された値を加算した場合、その演算結果が復号された値にされる。 Also, the secret sharing method maintains homomorphism in addition. Therefore, an addition multi-party protocol can be realized by the following calculation. Here, an algorithm for obtaining the addition of two plaintexts S 1 and S 2 is shown. In the following equation, when a value that is distributed and encrypted by homomorphism is added, the result of the operation is converted into a decrypted value.

Figure 2013097351
上記の式(4)は、式(3)と同様に逆行列を左から掛けることで、復号可能であるので、S1+S2を求めることができる。
Figure 2013097351
Since Equation (4) above can be decoded by multiplying the inverse matrix from the left as in Equation (3), S 1 + S 2 can be obtained.

後述するように、本実施の形態では、Shamirの秘密分散法によるマルチパーティプロトコルによって差分の自乗和を計算可能なアルゴリズムに拡張している。この差分の自乗和を距離計算に利用することで、暗号化した特徴量同士の距離計算を可能にする。   As will be described later, in the present embodiment, the algorithm is capable of calculating the sum of squares of differences using a multi-party protocol based on Shamir's secret sharing scheme. By using the sum of squares of the differences for distance calculation, it is possible to calculate the distance between encrypted feature quantities.

[画像検索]
本実施の形態では、特徴量空間での処理例として画像検索を行う。本実施の形態での画像検索は、クエリを画像として、検索先の多数の画像から画像特徴の類似度の高い画像を出力する。この処理を全て暗号化することによって、映像コンテンツなど、セキュリティ性の高いデータを暗号化したまま保存することができ、ユーザは自分の欲しい映像をクエリとして簡易的な画像を送り検索することで、誰にも中身を知られること無く出力結果を知ることができる。
[Image search]
In the present embodiment, an image search is performed as an example of processing in the feature amount space. In the image search in the present embodiment, an image having a high similarity in image features is output from a large number of search destination images using a query as an image. By encrypting all this processing, it is possible to save highly secure data such as video content while encrypting it, and the user can send a simple image as a query and search for the desired video, The output result can be known without anyone knowing the contents.

具体的には、クエリ画像と検索先画像の画素の統計的特徴成分を抽出し、その類似度をマッチングさせるなどの方式がある。本実施の形態では、特徴量として統計的特徴量ベクトルをクエリ画像と検索先画像から抽出し、互いの特徴ベクトルの画像全体の位置をマッチングし、ベクトルの距離を計算し、距離が小さい画像を結果として出力する。よって暗号化したデータに対して画像検索処理を行うには以下のステップを全て暗号化領域で処理する必要がある。   Specifically, there is a method of extracting the statistical feature components of the pixels of the query image and the search destination image and matching their similarities. In the present embodiment, a statistical feature quantity vector is extracted as a feature quantity from a query image and a search destination image, the positions of the mutual feature vector images are matched, the vector distance is calculated, and an image with a small distance is calculated. Output as a result. Therefore, in order to perform image search processing on encrypted data, it is necessary to perform all the following steps in the encryption area.

ステップ11)検索先画像から統計的特徴量を抽出
ステップ12)クエリ画像から統計的特徴量を抽出
ステップ13)クエリ画像と検索先画像の特徴量のマッチング
ステップ14) 特徴量の距離を計算
ステップ15) 距離が短い検索目的画像を出力
本実施の形態では、一番演算が複雑であるステップ11の、画像から統計的特徴量を抽出する処理を、クエリ画像・検索先画像共に暗号化する前に行い、特徴量と平文画像をそれぞれ暗号化し、保存するという手法をとる。類似度をとる計算を暗号化し、元データは別途暗号化して保存することで最初のステップを暗号化領域で行うことができる。
Step 11) Extracting statistical feature values from the search destination image Step 12) Extracting statistical feature values from the query image Step 13) Matching feature values of the query image and the search destination image Step 14) Calculating the distance between the feature amounts Step 15 ) Output search target image with short distance In this embodiment, the process of extracting the statistical feature amount from the image in step 11, which is the most complicated in calculation, is performed before encrypting both the query image and the search destination image. The feature amount and the plaintext image are encrypted and stored. The first step can be performed in the encryption area by encrypting the calculation for obtaining the similarity and separately storing the original data.

また、本実施の形態の検索では、特徴量が元画像のどの平面空間上にあるかも考慮したものにする。よって類似した画素成分の類似度が高く、かつ類似した画素成分がクエリ画像上の座標と近い座標にあるような画像が結果として出力される。本実施の形態では、特徴量ベクトル同士の距離を暗号化領域で演算し、その復号した値を類似度とする。具体的には、互いの特徴量ベクトルの各成分の差分を自乗した値の総和を距離としている。また、周辺画素の平均値の差が大きいものほど特徴的な画素として優先的に距離計算をし、優先度の低い特徴量の演算を省略することで、検索の効率化を図ることとしてもよく、これにより、検索の効率化を図ることができる。   In the search according to the present embodiment, the plane space in which the feature amount is in the original image is also taken into consideration. Therefore, an image in which similar pixel components have a high similarity and the similar pixel components are at coordinates close to the coordinates on the query image is output as a result. In this embodiment, the distance between feature quantity vectors is calculated in the encryption area, and the decrypted value is used as the similarity. Specifically, the distance is the total sum of the squares of the differences between the components of the mutual feature vector. In addition, as the difference in the average value of neighboring pixels is larger, the distance is preferentially calculated as a characteristic pixel, and the calculation of the feature amount having a lower priority may be omitted, thereby improving the search efficiency. As a result, the search efficiency can be improved.

(実施の形態の詳細な説明)
[システム構成]
以下、本発明の実施の形態をより具体的に説明する。図5に、本実施の形態に係る画像検索システム10の構成図を示す。
(Detailed description of embodiment)
[System configuration]
Hereinafter, embodiments of the present invention will be described more specifically. FIG. 5 shows a configuration diagram of the image search system 10 according to the present embodiment.

図5に示すように、画像検索システム10は、クエリ画像情報秘密分散格納部11、検索先画像情報秘密分散格納部12、画像検索部13を有し、これらが通信ネットワークを介して互いに通信可能に構成されている。また、画像検索システム10にはクライアント端末20が通信ネットワークを介して接続されている。   As shown in FIG. 5, the image search system 10 has a query image information secret sharing storage unit 11, a search destination image information secret sharing storage unit 12, and an image search unit 13, which can communicate with each other via a communication network. It is configured. A client terminal 20 is connected to the image search system 10 via a communication network.

クエリ画像情報秘密分散格納部11は、クエリ画像の暗号化された特徴量を分散格納する格納部であり、例えば、複数のサーバがネットワーク接続されて構成されている。検索先画像情報秘密分散格納部12は、暗号化された検索先画像と、検索先画像の暗号化された特徴量とを分散格納する格納部であり、例えば、複数のサーバがネットワーク接続されて構成されている。なお、図5の例では、クエリ画像情報秘密分散格納部11と、検索先画像情報秘密分散格納部12とを分けて示しているが、これらを一体として構成してもよい。   The query image information secret sharing storage unit 11 is a storage unit that stores encrypted feature amounts of query images in a distributed manner. For example, a plurality of servers are connected to a network. The search destination image information secret distribution storage unit 12 is a storage unit that distributes and stores an encrypted search destination image and an encrypted feature amount of the search destination image. For example, a plurality of servers are connected to a network. It is configured. In the example of FIG. 5, the query image information secret sharing storage unit 11 and the search destination image information secret sharing storage unit 12 are shown separately, but they may be configured integrally.

画像検索部13は、後述する演算を実行することにより、クライアント端末20から指定されたクエリ画像に類似する暗号化された画像を検索先画像情報秘密分散格納部12から検索し、クライアント端末20に送信する機能部である。画像検索部13は、例えばサーバ(コンピュータ)により実現される。画像検索部13は、処理を実行するCPU、及びメモリやハードディスク等の記憶手段を備えており、当該記憶手段には、CPUによる演算に使用されるデータやパラメータが記憶される。また、画像検索部13は、秘密計算により画像の評価を行う装置であることから、画像評価装置と呼んでもよい。   The image retrieval unit 13 retrieves an encrypted image similar to the query image designated from the client terminal 20 from the retrieval destination image information secret sharing storage unit 12 by performing an operation described later, and sends it to the client terminal 20. It is a function part to transmit. The image search unit 13 is realized by a server (computer), for example. The image search unit 13 includes a CPU that executes processing, and storage means such as a memory and a hard disk, and the storage means stores data and parameters used for calculation by the CPU. The image search unit 13 may be called an image evaluation apparatus because it is an apparatus that evaluates an image by a secret calculation.

クライアント端末20は、クエリ画像から特徴量を抽出し、特徴量を秘密分散暗号化し、暗号化したデータをクエリ画像情報秘密分散格納部11に格納する機能、画像検索部13に対し、クエリ画像を指定して検索を指示する機能、及び、画像検索部13から受け取った暗号化された画像を復号する機能などを備える。また、クライアント端末20は、検索先画像となる画像から特徴量を抽出し、暗号化した当該画像と暗号化した特徴量とを検索先画像情報秘密分散格納部12に格納する機能を備えてもよい。更に、クライアント端末20が画像検索部13の機能を備えることとしてもよい。   The client terminal 20 extracts a feature amount from the query image, secretly encrypts the feature amount, stores the encrypted data in the query image information secret sharing storage unit 11, and sends the query image to the image search unit 13. A function of designating and instructing a search and a function of decrypting an encrypted image received from the image search unit 13 are provided. Further, the client terminal 20 has a function of extracting a feature amount from an image serving as a search destination image and storing the encrypted image and the encrypted feature amount in the search destination image information secret sharing storage unit 12. Good. Furthermore, the client terminal 20 may have the function of the image search unit 13.

上述した「暗号化」とは、後述するとおりの秘密分散法による暗号化である。また、図5では、クライアント端末20が1つだけ示されているが、実際には、多くのクライアント端末が接続されている。   The above-described “encryption” is encryption by a secret sharing method as described later. In FIG. 5, only one client terminal 20 is shown, but in reality, many client terminals are connected.

また、図5に示す本実施の形態のシステム構成は一例に過ぎない。本発明に係る処理内容を実現できるシステム構成であれば、図5に示すシステム構成以外の構成を用いてもよい。   Further, the system configuration of the present embodiment shown in FIG. 5 is merely an example. A configuration other than the system configuration shown in FIG. 5 may be used as long as the system configuration can realize the processing contents according to the present invention.

[システムの動作]
次に、図6のフローチャートを参照して、画像検索システム10の動作の概要について説明する。以下の動作例では、検索先画像の暗号化データ及びその特徴量の暗号化データは、各クライアント端末により作成され、検索先画像情報秘密分散格納部12に格納するものとするが、これは一例に過ぎず、検索先画像の暗号化データ及びその特徴量の暗号化データは、クライアント端末以外の装置で作成され格納されてもよい。
[System operation]
Next, an outline of the operation of the image search system 10 will be described with reference to the flowchart of FIG. In the following operation example, the encrypted data of the search destination image and the encrypted data of the feature amount are created by each client terminal and stored in the search destination image information secret sharing storage unit 12, but this is an example. However, the encrypted data of the search destination image and the encrypted data of the feature amount may be created and stored by a device other than the client terminal.

ステップ101)各クライアント端末で検索先画像の特徴量ベクトルを計算する。この特徴量ベクトルは特徴が強い順にソートされているものとする。   Step 101) The feature vector of the search destination image is calculated at each client terminal. It is assumed that the feature quantity vectors are sorted in descending order of features.

ステップ102)各クライアント端末で検索先画像の画像特徴量の成分を秘密分散法によって暗号化する。また、検索先画像も秘密分散法によって暗号化する。暗号化された画像特徴量の成分、及び暗号化された検索先画像は検索先画像情報秘密分散格納部12に格納される。なお、暗号化された特徴量のデータが、どの検索先画像のデータであるかは、例えば、暗号化された特徴量のデータに、検索先画像を識別する識別情報を付加することにより識別可能であるものとする。   Step 102) The component of the image feature quantity of the search destination image is encrypted by the secret sharing method at each client terminal. The search destination image is also encrypted by the secret sharing method. The encrypted component of the image feature amount and the encrypted search destination image are stored in the search destination image information secret sharing storage unit 12. Note that it is possible to identify which search destination image data the encrypted feature amount data is by adding identification information for identifying the search destination image to the encrypted feature amount data, for example. Suppose that

ステップ103)クライアント端末20は、クエリ画像の特徴量ベクトルを計算し、当該特徴量ベクトルの成分を暗号化し、暗号化されたデータをクエリ画像情報秘密分散格納部11に格納する。なお、暗号化された特徴量のデータが、どのクエリ画像のデータであるかは、例えば、暗号化された特徴量のデータに、クエリ画像を識別する識別情報を付加することにより識別可能であるものとする。ステップ103では、更に、クライアント端末20は、画像検索部13に対して上記クエリ画像を指定する(識別情報を指定する)ことにより、クエリ画像に類似した画像の検索を指示する。   Step 103) The client terminal 20 calculates the feature vector of the query image, encrypts the component of the feature vector, and stores the encrypted data in the query image information secret sharing unit 11. Note that it is possible to identify which query image data the encrypted feature amount data is, for example, by adding identification information for identifying the query image to the encrypted feature amount data. Shall. In step 103, the client terminal 20 further instructs the image search unit 13 to search for an image similar to the query image by specifying the query image (specifying identification information).

ステップ104)検索の指示を受け取った画像検索部13は、クエリ画像情報秘密分散格納部11と、検索先画像情報秘密分散格納部12とを参照することにより、クエリ画像の暗号化された特徴量と、検索先画像の特徴量とを取得し、これらの差分の自乗和を暗号化領域で計算する。   Step 104) Upon receiving the search instruction, the image search unit 13 refers to the query image information secret sharing storage unit 11 and the search destination image information secret sharing storage unit 12, thereby encrypting the feature amount of the query image. And the feature amount of the search destination image, and the square sum of these differences is calculated in the encryption area.

ステップ105)画像検索部13は、暗号化領域で求めた距離(差分の自乗和)を復号し、その値を類似度とする。なお、ステップ104、105の演算内容の詳細は後述する。   Step 105) The image search unit 13 decrypts the distance (sum of squared differences) obtained in the encryption area, and sets the value as the similarity. Details of the calculation contents of steps 104 and 105 will be described later.

ステップ106)ステップ104とステップ105は、検索先画像毎に行われ、検索先画像毎のクエリ画像に対する類似度が算出される。画像検索部13は、算出された類似度をソートし、ソートした結果、類似度が近いもの(距離が小さいもの)から順に、暗号化された画像を検索先画像情報秘密分散格納部12から取得し、クライアント端末20に送る。例えば、類似度が高いほうから上位N番目(Nは予め定めた自然数)までの暗号化画像をクライアント端末20に送るようにする。   Step 106) Steps 104 and 105 are performed for each search destination image, and the similarity to the query image for each search destination image is calculated. The image search unit 13 sorts the calculated similarities, and as a result of the sorting, obtains encrypted images from the search destination image information secret sharing storage unit 12 in order from the ones with similarities (from those with the smallest distance). To the client terminal 20. For example, encrypted images from the highest similarity to the top Nth (N is a predetermined natural number) are sent to the client terminal 20.

なお、画像検索部13が、画像の識別情報をクライアント端末20に送信し、クライアント端末20が検索先画像情報秘密分散格納部12から暗号化された画像を取得することとしてもよい。
ステップ107)クライアント端末20は、取得した暗号化画像を復号し、復号された画像を表示する。
The image search unit 13 may transmit image identification information to the client terminal 20, and the client terminal 20 may acquire the encrypted image from the search destination image information secret sharing storage unit 12.
Step 107) The client terminal 20 decrypts the acquired encrypted image and displays the decrypted image.

上記のように、本実施の形態によれば、ネットワーク上においては、画像及び特徴量を暗号化した状態で処理を実行することができる。   As described above, according to the present embodiment, it is possible to execute processing in a state where an image and a feature amount are encrypted on the network.

[演算の詳細]
以下、画像の特徴量の暗号化とマルチパーティプロトコルによる差分自乗の総和の演算について詳細に説明する。本実施の形態では、画像特徴量の暗号化は各クライアント端末により実行され、差分自乗の総和の演算は画像検索部13により実行される。
[Operation details]
Hereinafter, the encryption of the feature amount of the image and the calculation of the sum of squares of differences by the multi-party protocol will be described in detail. In the present embodiment, the encryption of the image feature amount is executed by each client terminal, and the calculation of the sum of squared differences is executed by the image search unit 13.

まず、クエリ画像の特徴量ベクトルを
S = (s1, s2, ....., sm) (5)
とおき、検索先画像の特徴量ベクトルを
T = (t1, t2, ......, tm) (6)
とおく。
First, the feature vector of the query image
S = (s 1 , s 2 , ....., s m ) (5)
And the feature vector of the search destination image
T = (t 1 , t 2 , ......, t m ) (6)
far.

この両ベクトルの距離を求めることで特徴量ベクトルの距離とする。よって、両ベクトルの差分自乗の総和である次式(7)が本実施の形態における検索に用いる各画像の類似度となる。   The distance between the two vectors is obtained as the distance between the feature vectors. Therefore, the following equation (7), which is the sum of the squares of the differences between both vectors, is the similarity of each image used for the search in this embodiment.

Figure 2013097351
本実施の形態では、この値を各成分を暗号化した状態で求めている。具体的には、以下で説明するように、Shamirの秘密分散法によるマルチパーティプロトコルを差分の自乗を求めるための形式に拡張することにより求める。以下に暗号化のプロセスと差分の自乗を求めるアルゴリズムについて説明する。このアルゴリズムは、例えばプログラムとして実現でき、コンピュータである画像検索部13により実行される。
Figure 2013097351
In the present embodiment, this value is obtained with each component encrypted. Specifically, as will be described below, the multiparty protocol based on Shamir's secret sharing method is obtained by extending it to a format for finding the square of the difference. The following describes the encryption process and the algorithm for calculating the square of the difference. This algorithm can be realized as a program, for example, and is executed by the image search unit 13 which is a computer.

まず、本実施の形態では、検索先画像とクエリ画像の特徴量ベクトルを暗号化領域で処理を行いたいので、ベクトルの成分であるsiとtiを以下のパラメータを用いて秘密分散法によって暗号化する。 First, in this embodiment, since it is desired to process the feature vector of the search destination image and the query image in the encryption area, the vector components s i and t i are obtained by the secret sharing method using the following parameters: Encrypt.

si:平文
ti:平文
k:復号に必要なしきい値
n:分散数
r:乱数
xj:自然数(パラメータ) xj ≠ xh(j ≠ h)
yj:自然数(パラメータ) yj ≠ yh(j ≠ h)
wj:分散暗号文
ここで、xjとyjは秘密鍵として扱うこととする。つまり、本実施の形態では、各クライアント端末において2種類のパラメータで画像特徴量を暗号化し、それぞれが秘密分散格納部に格納される。
s i : Plain text
t i : Plain text
k: Threshold required for decryption
n: Number of distributions
r: Random number
x j : Natural number (parameter) x j ≠ x h (j ≠ h)
y j : Natural number (parameter) y j ≠ y h (j ≠ h)
w j : distributed ciphertext Here, x j and y j are treated as secret keys. That is, in the present embodiment, image feature amounts are encrypted with two types of parameters at each client terminal, and each is stored in the secret sharing storage unit.

こうすることによってk個以上の情報を集めた者はマルチパーティプロトコルによる演算のみを行うことが可能であり、暗号化された演算結果と秘密鍵を持つ者のみが復号に必要な逆行列を生成できるので、演算結果を復号することが可能になる。本実施の形態では、この「暗号化された演算結果と秘密鍵を持つ者」は画像検索部13である。   In this way, those who have collected more than k pieces of information can only perform operations using the multi-party protocol, and only those who have the encrypted operation results and the private key generate the inverse matrix necessary for decryption. As a result, the calculation result can be decoded. In the present embodiment, this “person having an encrypted calculation result and a secret key” is the image search unit 13.

次に、差分は式(4)の加算と同様に成り立ち、その暗号文は以下のようになる。   Next, the difference is the same as the addition of equation (4), and the ciphertext is as follows.

Figure 2013097351
ただし、Δdi = si − ti 、Δrj = rj − r'jである。
Figure 2013097351
However, Δd i = s i −t i and Δr j = r j −r ′ j .

次に以下のようにパラメータyiによって秘密分散暗号化した暗号化データについても差分を用意する。以下の行列Yは、例えば式(1)のXと同様の構成を有するが、パラメータとしてxiではなくyiを用いている。 Next, a difference is also prepared for encrypted data obtained by secret sharing encryption using parameter y i as follows. The following matrix Y has the same configuration as, for example, X in equation (1), but uses y i instead of x i as a parameter.

Figure 2013097351
次にこの暗号文を転置したベクトルを算出する。
Figure 2013097351
Next, a vector obtained by transposing the ciphertext is calculated.

Figure 2013097351
このベクトルの右側の行列YTはパラメータ行列を転置したものであるが、転置行列は行列式の値が変化しないので、この行列についても逆行列が存在する。次に、以下のように、元の暗号文(式(8))と転置した暗号文(式(10))を掛ける。
Figure 2013097351
The matrix Y T on the right side of this vector is a transposed parameter matrix, but since the transposed matrix does not change the value of the determinant, an inverse matrix also exists for this matrix. Next, the original ciphertext (formula (8)) and the transposed ciphertext (formula (10)) are multiplied as follows.

Figure 2013097351
こうすることによって(1, 1)成分が
Figure 2013097351
By doing this, the (1, 1) component becomes

Figure 2013097351
となる。さらにこの行列(11)は加算の準同型性を持つので、特徴量の各成分について同様に暗号化した差分の自乗を演算した結果同士を加算すると、(1, 1) 成分が特徴量ベクトルの差分の自乗の総和となる。これでマルチパーティプロトコルによる差分の自乗の総和が暗号領域で算出される。最後にX-1を行列(11)の左から掛け、(YT)-1 を右から掛け、(1, 1) 成分を取り出すことで復号が完了し以下の定義した距離を求めることができる。
Figure 2013097351
It becomes. Furthermore, since this matrix (11) has homomorphism of addition, adding the results of calculating the squares of the encrypted differences in the same way for each component of the feature value, the (1, 1) component becomes the feature vector. The sum of the squares of the differences. Thus, the sum of the squares of the differences according to the multi-party protocol is calculated in the encryption area. Finally, X- 1 is multiplied from the left of the matrix (11), (Y T ) -1 is multiplied from the right, and the (1, 1) component is extracted to complete the decoding and the following defined distance can be obtained. .

Figure 2013097351
画像検索部13は、このような演算を検索先画像毎に行い、距離を評価して、類似度を判断し、類似すると判断された暗号化画像をクライアント端末20に送信する。
Figure 2013097351
The image search unit 13 performs such calculation for each search destination image, evaluates the distance, determines the similarity, and transmits the encrypted image determined to be similar to the client terminal 20.

(実施の形態のまとめ)
上述したように、本実施の形態によれば、画像検索を暗号化領域で可能にするアルゴリズムが実現される。本実施の形態の画像検索ではクエリを画像として、複数の画像から類似した画像を探し出すために、画像の画素値の統計的な性質を局所特徴量ベクトルとして抽出し、クエリの局所特徴量ベクトルとの距離を演算し、距離が近いものを類似画像として選び出す。
(Summary of embodiment)
As described above, according to the present embodiment, an algorithm that enables image search in the encryption area is realized. In the image search according to the present embodiment, in order to find a similar image from a plurality of images using a query as an image, a statistical characteristic of a pixel value of the image is extracted as a local feature vector, and the local feature vector of the query Are calculated, and images with close distances are selected as similar images.

これら全ての演算について暗号化領域で演算することは困難であることから、本実施の形態では、暗号化されていない平文画像から特徴量ベクトルを抽出し、特徴量ベクトルを暗号化することしている。そして距離計算を復号せずにマルチパーティプロトコルによって演算する。   Since it is difficult to perform all these operations in the encryption area, in this embodiment, feature vectors are extracted from plain text images that are not encrypted, and feature vectors are encrypted. . Then, the distance calculation is performed by a multi-party protocol without decoding.

実際のサービス上では、例えば、暗号化した特徴量ベクトルと別途暗号化した画像の両方をネットワーク上におくことで、復号鍵を持つユーザが暗号化したクエリ画像の特徴量によって検索した結果である類似画像を取得し、復号することが可能となる。   On the actual service, for example, a result of searching by a feature amount of a query image encrypted by a user having a decryption key by placing both an encrypted feature amount vector and a separately encrypted image on the network. Similar images can be acquired and decoded.

すなわち、従来、暗号化した数値データに対する秘密計算があったが、画像データに対する秘密計算は実現されていなかった。そこで、本実施の形態では、加算の準同型性の性質を有する秘密分散法を利用して、暗号化された画像特徴量どうしの差分二乗和を暗号領域で演算し、復号化することで、平文における差分二乗和を抽出し、画像どうしの類似性の評価を実現している。   That is, conventionally, there has been a secret calculation for encrypted numerical data, but a secret calculation for image data has not been realized. Therefore, in the present embodiment, by using the secret sharing method having the homomorphic property of addition, the difference square sum of the encrypted image feature quantities is calculated in the encryption area, and decrypted. The difference square sum in plaintext is extracted to evaluate the similarity between images.

また、本実施の形態の技術は、従来技術の演算対象を数値データから画像データに変更しただけの技術ではなく、汎用性の高いShamirの秘密分散法によるマルチパーティプロトコルを利用し、分散数の制限を受けることがないという特徴や、マルチパーティプロトコルによる積の演算を簡易的な方法で実現し、転置した行列の積を求めることで秘密計算の積の演算を可能にしたという従来技術にない特徴を有する。   In addition, the technology of the present embodiment is not a technology that simply changes the calculation target of the conventional technology from numerical data to image data, but uses a highly versatile multi-party protocol based on Shamir's secret sharing method. There is no feature that is not subject to restrictions, and the conventional technology that realized product operation by a multi-party protocol with a simple method and found the product of transposed matrix and made secret operation product operation possible Has characteristics.

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。   The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.

10 画像検索システム
11 クエリ画像情報秘密分散格納部
12 検索先画像情報秘密分散格納部
13 画像検索部
20 クライアント端末
DESCRIPTION OF SYMBOLS 10 Image search system 11 Query image information secret sharing storage part 12 Search destination image information secret sharing storage part 13 Image searching part 20 Client terminal

Claims (5)

秘密分散法に基づく秘密計算により画像の評価を行う画像評価装置が実行する画像評価方法であって、
第1のパラメータで暗号化された2つの画像の画像特徴量の差分を第1の差分として計算し、
第2のパラメータで暗号化された前記2つの画像の画像特徴量の差分を第2の差分として計算し、
前記第1の差分と前記第2の差分とを掛け合わせ、掛け合わせた結果を復号し、当該復号の結果を用いて画像の評価を行う、画像評価方法であり、
前記暗号化は、秘密分散法を用いてなされたものである
ことを特徴とする画像評価方法。
An image evaluation method executed by an image evaluation apparatus that evaluates an image by a secret calculation based on a secret sharing method,
The difference between the image feature amounts of the two images encrypted with the first parameter is calculated as the first difference,
Calculating a difference between the image feature amounts of the two images encrypted with the second parameter as a second difference;
An image evaluation method that multiplies the first difference and the second difference, decodes the multiplied result, and evaluates the image using the decoding result,
The image evaluation method, wherein the encryption is performed using a secret sharing method.
前記第1の差分に係る前記暗号化された各画像の画像特徴量は、当該画像の画像特徴量と所定数個の乱数からなるベクトルに前記第1のパラメータを用いて構成された行列を掛けることにより得られた行列であり、前記第2の差分に係る前記暗号化された各画像の画像特徴量は、当該画像の画像特徴量と所定数個の乱数からなるベクトルに前記第2のパラメータを用いて構成された行列を掛けることにより得られた行列であり、
前記第1の差分と前記第2の差分とを掛け合わせる際に、当該第1の差分である行列と、当該第2の差分である行列の転置行列とを掛け合わせる
請求項1に記載の画像評価方法。
The image feature amount of each encrypted image related to the first difference is multiplied by a matrix formed using the first parameter to a vector composed of the image feature amount of the image and a predetermined number of random numbers. The image feature amount of each encrypted image related to the second difference is obtained by adding the second parameter to a vector composed of the image feature amount of the image and a predetermined number of random numbers. Is a matrix obtained by multiplying the matrix constructed using
The image according to claim 1, wherein when the first difference and the second difference are multiplied, the matrix that is the first difference and the transposed matrix of the matrix that is the second difference are multiplied. Evaluation method.
前記各画像の画像特徴量は、当該画像の画像特徴量ベクトルにおける成分であり、
前記第1の差分と前記第2の差分とを掛け合わせた結果を各成分について足し合わせ、足し合わせた結果を復号し、当該復号の結果を利用することにより画像の評価を行う
請求項1又は2に記載の画像評価方法。
The image feature amount of each image is a component in the image feature amount vector of the image,
The result obtained by multiplying the first difference and the second difference is added for each component, the added result is decoded, and the image is evaluated by using the decoding result. 2. The image evaluation method according to 2.
前記復号の結果を画像特徴量ベクトルの差分二乗和として利用することにより、前記2つの画像間の類似性を評価する
請求項3に記載の画像評価方法。
The image evaluation method according to claim 3, wherein the similarity between the two images is evaluated by using the decoding result as a sum of squared differences of image feature amount vectors.
前記2つの画像のうちの一方の画像はクエリ画像であり、他方の画像は検索先画像である
請求項1ないし4のうちいずれか1項に記載の画像評価方法。
The image evaluation method according to claim 1, wherein one of the two images is a query image, and the other image is a search destination image.
JP2011243096A 2011-11-07 2011-11-07 Image evaluation method Expired - Fee Related JP5687601B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011243096A JP5687601B2 (en) 2011-11-07 2011-11-07 Image evaluation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011243096A JP5687601B2 (en) 2011-11-07 2011-11-07 Image evaluation method

Publications (2)

Publication Number Publication Date
JP2013097351A true JP2013097351A (en) 2013-05-20
JP5687601B2 JP5687601B2 (en) 2015-03-18

Family

ID=48619292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011243096A Expired - Fee Related JP5687601B2 (en) 2011-11-07 2011-11-07 Image evaluation method

Country Status (1)

Country Link
JP (1) JP5687601B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091233A1 (en) * 2020-10-28 2022-05-05 日本電気株式会社 Data transaction management device, data transaction management method, and computer readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373177A (en) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd Method and device for retrieving similar object
JP2004279526A (en) * 2003-03-13 2004-10-07 Oki Electric Ind Co Ltd Secrecy reconstruction method, distributed secrecy reconstruction device, and secrecy reconstruction system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373177A (en) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd Method and device for retrieving similar object
JP2004279526A (en) * 2003-03-13 2004-10-07 Oki Electric Ind Co Ltd Secrecy reconstruction method, distributed secrecy reconstruction device, and secrecy reconstruction system

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CSNG200700880036; 黒住 隆行、永野 秀尚、柏野 邦夫: '"実環境で収録された映像断片をキーとする一致映像探索"' 電子情報通信学会論文誌 D Vol.J90-D、No.8, 20070801, p.2223-2231, 社団法人電子情報通信学会 *
CSNG201200775002; 中田 亮太、仲地 孝之: '"秘密分散法を利用した乗算が可能な秘密計算の提案"' 電子情報通信学会技術研究報告 Vol.112、No.305, 20121114, p.15-20, 一般社団法人電子情報通信学会 *
CSNJ201110015117; 加藤 遼、桐淵 直人、吉浦 裕: '"マルチパーティ計算プログラムの効率化"' 2011年 暗号と情報セキュリティシンポジウム SCIS2011 [CD-ROM] 2C3-3, 20110125, p.1-7, 電子情報通信学会情報セキュリティ研究専門委員会 *
JPN6014044371; 加藤 遼、桐淵 直人、吉浦 裕: '"マルチパーティ計算プログラムの効率化"' 2011年 暗号と情報セキュリティシンポジウム SCIS2011 [CD-ROM] 2C3-3, 20110125, p.1-7, 電子情報通信学会情報セキュリティ研究専門委員会 *
JPN6014044375; 黒住 隆行、永野 秀尚、柏野 邦夫: '"実環境で収録された映像断片をキーとする一致映像探索"' 電子情報通信学会論文誌 D Vol.J90-D、No.8, 20070801, p.2223-2231, 社団法人電子情報通信学会 *
JPN6014044378; 中田 亮太、仲地 孝之: '"秘密分散法を利用した乗算が可能な秘密計算の提案"' 電子情報通信学会技術研究報告 Vol.112、No.305, 20121114, p.15-20, 一般社団法人電子情報通信学会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091233A1 (en) * 2020-10-28 2022-05-05 日本電気株式会社 Data transaction management device, data transaction management method, and computer readable medium

Also Published As

Publication number Publication date
JP5687601B2 (en) 2015-03-18

Similar Documents

Publication Publication Date Title
Liu et al. An efficient privacy-preserving outsourced calculation toolkit with multiple keys
CN107145791B (en) K-means clustering method and system with privacy protection function
US10630472B2 (en) Method and system for providing encrypted data on a client
CN105046234B (en) Facial image secret recognition methods in cloud environment based on rarefaction representation
JPWO2008087734A1 (en) Ciphertext generation apparatus, cryptographic communication system, and group parameter generation apparatus
Abusukhon et al. New direction of cryptography: A review on text-to-image encryption algorithms based on RGB color value
CN102594551B (en) Method for reliable statistics of privacy data on radio frequency identification (RFID) tag
Peng Danger of using fully homomorphic encryption: A look at Microsoft SEAL
Wu Fully homomorphic encryption: Cryptography's holy grail
WO2014030706A1 (en) Encrypted database system, client device and server, method and program for adding encrypted data
Deepthi et al. Hybrid secure cloud storage data based on improved encryption scheme
Ahmad et al. Distributed text-to-image encryption algorithm
JP2002026892A (en) Key sharing method, private key generating method, common key generating method, encryption communication method, private key generator, common key generator, encryption communication system and recording medium
CN112380404B (en) Data filtering method, device and system
WO2023185360A1 (en) Data processing method, apparatus, system and device, and storage medium
CN107484161A (en) A kind of efficient information push based on mobile self-grouping network and safe sharing method
JP5687601B2 (en) Image evaluation method
Sattar et al. Secured aerial photography using Homomorphic Encryption
Joseph et al. A Novel Algorithm for secured data sharing in cloud using GWOA-DNA cryptography
CN111984932B (en) Two-party data packet statistics method, device and system
Zheng et al. Improved anonymous proxy re-encryption with CCA security
CN112637442B (en) Method and device for encrypting circulating images by cloud server and local end
Nalwaya et al. A cryptographic approach based on integrating running key in feedback mode of elgamal system
EP3883178A1 (en) Encryption system and method employing permutation group-based encryption technology
Feng et al. Secure outsourced principal eigentensor computation for cyber-physical-social systems

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20131004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150122

R150 Certificate of patent or registration of utility model

Ref document number: 5687601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees