JP2013097351A - Image evaluation method - Google Patents
Image evaluation method Download PDFInfo
- Publication number
- JP2013097351A JP2013097351A JP2011243096A JP2011243096A JP2013097351A JP 2013097351 A JP2013097351 A JP 2013097351A JP 2011243096 A JP2011243096 A JP 2011243096A JP 2011243096 A JP2011243096 A JP 2011243096A JP 2013097351 A JP2013097351 A JP 2013097351A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- encrypted
- feature amount
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、暗号化したまま演算処理を行う秘密計算に関するものであり、特に画像データに対する秘密計算に関するものである。 The present invention relates to a secret calculation for performing calculation processing while being encrypted, and more particularly to a secret calculation for image data.
ソーシャルネットワーキングサービスやコンシューマ向けのクラウドサービス等の普及によって、あらゆるデータをネットワークを介したサーバ上に保存することが可能なサービスが増加している。中でも画像データは、スマートホンの普及等により、誰でも簡単にネットワークサービスを介してアップロードすることが可能となり、多くの画像データがネットワーク上で保存されるようになった。そこで、ネットワーク上に保存するデータに対して安全性を確保するには暗号化によりセキュリティ保護が重要となる。 With the widespread use of social networking services and consumer cloud services, services that can store all data on a server via a network are increasing. In particular, with the spread of smartphones, anyone can easily upload image data via a network service, and a large amount of image data is stored on the network. Therefore, in order to ensure the safety of data stored on the network, security protection by encryption is important.
これまで、ネットワークサービス上でセキュリティ保護されるべきデータの代表例はテキストベースの個人情報であった。今後はネットワーク上に保存されるデータは多種に及ぶことが想定され、その中には顔写真や位置が特定できるような風景画像等、個人情報が含まれる画像データも多く存在するが、ネットワーク上に保存される画像データに対するセキュリティについては問題視されてこなかった。 Until now, a typical example of data to be secured on a network service has been text-based personal information. In the future, it is assumed that there will be a wide variety of data stored on the network. Among them, there will be many image data containing personal information such as face photos and landscape images that can identify the location. The security of the image data stored in is not regarded as a problem.
また、多くの保護されるべきデータがネットワーク上に保存されている一方で、これらのデータを利用したクラウドサービスが増加している。そういったネットワークサービス上で画像データに対して何らかの処理を行う時、一般的には画像データは暗号化されていない平文の状態で処理される。クラウドサービス上でネットワークに保存されている画像データを暗号化によってセキュリティを確保する場合、これまで通り画像データを平文で処理しようとする際に一度画像データの復号をしなければならず、暗号化によるデータ保護はその時点では崩れてしまう問題が発生する。 In addition, while many data to be protected are stored on the network, cloud services using these data are increasing. When any processing is performed on image data on such a network service, the image data is generally processed in an unencrypted plain text state. When security is ensured by encrypting image data stored on the network on the cloud service, the image data must be decrypted once when attempting to process the image data in plain text as before. There is a problem that data protection by will collapse at that time.
本発明は上記の問題点に鑑みてなされたものである。以下、画像データに対するセキュリティ保護のためのアプローチを説明しながら、本発明が解決しようとする課題について説明する。 The present invention has been made in view of the above problems. The problem to be solved by the present invention will be described below while describing an approach for security protection for image data.
1.ネットワーク上に保存されている画像データは常に暗号化し、情報漏洩と情報損失のリスクを回避する。 1. Image data stored on the network is always encrypted to avoid the risk of information leakage and information loss.
2.暗号化されているデータは復号せずに、暗号化されたまま直接演算処理を行う。 2. The encrypted data is directly decrypted without being decrypted and directly processed.
以上2点が実現できれば、ネットワーク上のデータに対して暗号化によるセキュリティを保ち、かつネットワーク上で画像処理を行うことができると考えられる。 If the above two points can be realized, it is considered that the data on the network can be secured by encryption and image processing can be performed on the network.
図1に示すように、従来の共通鍵や公開鍵を利用した一般的な暗号通信モデルでは、データをネットワーク上で送受信する際や、ローカルで保存する際に、ネットワーク通信路上やローカル保存領域でデータを暗号化することでデータの安全性を確保することを前提としている。そして、データを処理する際にはデータをローカルで復号した後に処理を行っている。このモデルでは上述したように暗号化によるデータ保護が失われる場合があるという問題がある。 As shown in FIG. 1, in a general encryption communication model using a conventional common key or public key, when data is transmitted / received on a network or stored locally, it is stored on a network communication path or a local storage area. It is assumed that data security is ensured by encrypting the data. And when processing data, it processes after decoding data locally. As described above, this model has a problem that data protection by encryption may be lost.
そこで、図2に示すように、従来の一般的な暗号通信モデルによる暗号化ではなく、ネットワーク上で処理中のデータに対して復号せずに処理を行う暗号モデルを採用することを検討する。ここで、暗号化されたデータに対して処理を行う技術として秘密計算技術が存在する。秘密計算は暗号化した数値や文字などのテキストデータに対して復号すること無く演算を行うことが可能な暗号プロトコルである。この秘密計算可能な暗号として準同型暗号等がある。 Therefore, as shown in FIG. 2, it is considered to adopt an encryption model that performs processing without decrypting data being processed on the network, instead of encryption using a conventional general encryption communication model. Here, there is a secret calculation technique as a technique for processing encrypted data. Secret calculation is an encryption protocol that can perform operations without decrypting encrypted text data such as numerical values and characters. There is a homomorphic encryption or the like as a cipher capable of secret computation.
画像データに対する処理に対し秘密計算を実装することが可能になれば、クラウド上に常に画像データを暗号化した状態で保存し、さらに秘密計算によって演算処理をすることも可能となる。 If it is possible to implement a secret calculation for the processing on the image data, it is possible to always store the image data in an encrypted state on the cloud and further perform an arithmetic process by the secret calculation.
本発明は上記の点に鑑みてなされたものであり、暗号化した画像データに対して復号せずに画像の評価等の画像処理を行う技術を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a technique for performing image processing such as image evaluation without decrypting encrypted image data.
上記の課題を解決するために、本発明は、秘密分散法に基づく秘密計算により画像の評価を行う画像評価装置が実行する画像評価方法であって、
第1のパラメータで暗号化された2つの画像の画像特徴量の差分を第1の差分として計算し、
第2のパラメータで暗号化された前記2つの画像の画像特徴量の差分を第2の差分として計算し、
前記第1の差分と前記第2の差分とを掛け合わせ、掛け合わせた結果を復号し、当該復号の結果を用いて画像の評価を行う、画像評価方法であり、前記暗号化は、秘密分散法を用いてなされたものであることを特徴とする画像評価方法として構成される。
In order to solve the above problems, the present invention is an image evaluation method executed by an image evaluation apparatus that evaluates an image by a secret calculation based on a secret sharing method,
The difference between the image feature amounts of the two images encrypted with the first parameter is calculated as the first difference,
Calculating a difference between the image feature amounts of the two images encrypted with the second parameter as a second difference;
An image evaluation method that multiplies the first difference and the second difference, decrypts the multiplied result, and evaluates an image using the decrypted result, wherein the encryption is a secret sharing It is constituted as an image evaluation method characterized by being made using a method.
前記画像評価方法において、前記第1の差分に係る前記暗号化された各画像の画像特徴量は、当該画像の画像特徴量と所定数個の乱数からなるベクトルに前記第1のパラメータを用いて構成された行列を掛けることにより得られた行列であり、前記第2の差分に係る前記暗号化された各画像の画像特徴量は、当該画像の画像特徴量と所定数個の乱数からなるベクトルに前記第2のパラメータを用いて構成された行列を掛けることにより得られた行列であり、前記第1の差分と前記第2の差分とを掛け合わせる際に、当該第1の差分である行列と、当該第2の差分である行列の転置行列とを掛け合わせるように構成してもよい。 In the image evaluation method, the image feature amount of each encrypted image related to the first difference is obtained by using the first parameter in a vector composed of the image feature amount of the image and a predetermined number of random numbers. A matrix obtained by multiplying the configured matrix, and the image feature quantity of each encrypted image related to the second difference is a vector composed of the image feature quantity of the image and a predetermined number of random numbers Is a matrix obtained by multiplying the matrix configured by using the second parameter, and the matrix which is the first difference when the first difference is multiplied by the second difference. And the transposed matrix of the matrix that is the second difference may be multiplied.
前記画像評価方法において、前記各画像の画像特徴量は、当該画像の画像特徴量ベクトルにおける成分であり、前記第1の差分と前記第2の差分とを掛け合わせた結果を各成分について足し合わせ、足し合わせた結果を復号し、当該復号の結果を利用することにより画像の評価を行うようにしてもよい。 In the image evaluation method, the image feature amount of each image is a component in the image feature amount vector of the image, and the result obtained by multiplying the first difference and the second difference is added for each component. The result of addition may be decoded, and the image may be evaluated by using the result of the decoding.
また、前記復号の結果を画像特徴量ベクトルの差分二乗和として利用することにより、前記2つの画像間の類似性を評価するようにしてもよい。 Further, the similarity between the two images may be evaluated by using the decoding result as the sum of squared differences of the image feature vector.
また、例えば、前記2つの画像のうちの一方の画像はクエリ画像であり、他方の画像は検索先画像である。 Further, for example, one of the two images is a query image, and the other image is a search destination image.
本発明によれば、暗号化した画像データに対して復号せずに画像処理を行う技術が提供される。すなわち、画像データに対する秘密計算を実現できる。 According to the present invention, a technique for performing image processing without decrypting encrypted image data is provided. That is, it is possible to realize secret calculation for image data.
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施の形態に限定されるものではない。本実施の形態を詳細に説明するにあたり、まず、本実施の形態に係る技術の概要、及び本実施の形態で用いる要素技術を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the following embodiments. In describing the present embodiment in detail, first, an outline of the technique according to the present embodiment and the elemental technique used in the present embodiment will be described.
(実施の形態の概要、要素技術)
本実施の形態では、暗号化したデータに対して演算する技術として秘密計算技術を用いる。前述したように、秘密計算は暗号化した数値や文字などのテキストデータに対して復号すること無く演算を行うことが可能な暗号技術であり、その演算結果は復号した平文に反映される。
(Outline of embodiment, elemental technology)
In the present embodiment, a secret calculation technique is used as a technique for calculating encrypted data. As described above, the secret calculation is an encryption technique that can perform an operation without decrypting the encrypted text data such as numerical values and characters, and the operation result is reflected in the decrypted plaintext.
現在、加算・乗算や絶対値・大小比較やソート等の基本的な演算が実現されている。ある暗号において、その暗号化に用いる関数がとある演算において準同型性を持つことができれば、その暗号はその演算において秘密計算が可能となる。この準同型性を持つ暗号としてエルガマル暗号やRSA暗号、秘密分散法が知られている。特に秘密分散法を利用し、複数のユーザがそれぞれ自身が保持する情報を秘密にし、図3に示すように、お互いの値の演算結果のみを共有することが可能なアルゴリズムをマルチパーティプロトコルという。図3において、x、y、zはそれぞれユーザA、B、Cの秘匿情報である。秘密分散法とマルチパーティプロトコルの詳細については後述する。 Currently, basic operations such as addition / multiplication, absolute value / size comparison, and sorting are realized. In a certain cipher, if a function used for the encryption can have homomorphism in a certain operation, the cipher can perform a secret calculation in the operation. Elgamal, RSA, and secret sharing methods are known as ciphers having homomorphism. In particular, an algorithm that uses the secret sharing method to keep the information held by each of the users secret and share only the calculation result of each other as shown in FIG. 3 is called a multi-party protocol. In FIG. 3, x, y, and z are confidential information of the users A, B, and C, respectively. Details of the secret sharing method and the multi-party protocol will be described later.
従来から、秘密計算技術を数値やテキストデータに対する演算に適用する適用例はあるが、本実施の形態では、従来はなかった画像処理に対する秘密計算技術を実現している。 Conventionally, there is an application example in which the secret calculation technique is applied to operations on numerical values and text data. However, in the present embodiment, a secret calculation technique for image processing that has not been conventionally achieved is realized.
すなわち、本実施の形態では、ネットワークサービス上での画像データに対して秘密計算を適用し、画像検索等のメディア処理を暗号化領域でセキュアに行えるアルゴリズムを提供し、実運用に耐えうるセキュリティシステムを実現する。なお、本実施の形態では、メディア処理として画像検索を行っているが、本発明の技術は画像検索に限られるものでない。例えば、秘密計算で画像圧縮や映像編集を行うことも可能である。 That is, in the present embodiment, a security system that can withstand actual operations by applying a secret calculation to image data on a network service and providing an algorithm that can securely perform media processing such as image search in an encryption area. Is realized. In this embodiment, image search is performed as media processing, but the technique of the present invention is not limited to image search. For example, image compression and video editing can be performed by secret calculation.
また、データの安全性を確保するには、破損によるデータ損失も考慮しなければならない。よってネットワーク上のデータを損失するリスクを避ける為に、保存するデータを分散化することによりデータの安全性を向上させることも考慮する為、データは秘密計算が可能な暗号によって暗号化し、かつロバストに分散化するのが望ましい。そこで、本実施の形態では、ロバストな保存・データの暗号化領域の演算の2点を実現するために、秘密計算可能な暗号として秘密分散法を用いている。 In addition, in order to ensure data safety, data loss due to corruption must also be considered. Therefore, in order to avoid the risk of losing data on the network and to consider improving the security of the data by distributing the data to be stored, the data is encrypted and encrypted with a cipher capable of secret computation. It is desirable to be dispersed. Therefore, in this embodiment, the secret sharing method is used as a cipher capable of secret calculation in order to realize two points of robust storage and calculation of data encryption area.
一般に画像処理では、画像の特徴的な成分や性質を抽出して処理をする場合が多い。例えば画像では画素の統計的な特徴を抽出し、特徴量空間で処理を行う。そこで、本実施の形態では、画像を暗号化していない状態である平文から特徴量(画像特徴量)を抽出し、特徴量空間での秘密計算処理を行っている。 In general, image processing is often performed by extracting characteristic components and properties of an image. For example, in the image, a statistical feature of a pixel is extracted and processed in a feature amount space. Therefore, in the present embodiment, feature amounts (image feature amounts) are extracted from plaintext in a state where the image is not encrypted, and secret calculation processing is performed in the feature amount space.
図4に、本実施の形態の概要を示す。図4に示すように、本実施の形態での画像検索は、クエリを画像として、秘密計算により、クエリ画像と検索先画像との間の特徴量の距離を計算することにより、検索先の多数の画像から、クエリ画像と類似度の高い画像を出力する。つまり、検索先画像及びクエリ画像の各々から特徴量が抽出され、これらが秘密分散暗号化され、暗号化領域で特徴量の距離の演算が行われる。このように、検索に係る演算処理を全て暗号化領域で行うことによって、映像コンテンツなど、セキュリティ性の高いデータを暗号化したまま保存することができ、ユーザは自分の欲しい映像をクエリとして簡易的な画像を送り検索することで、誰にも中身を知られること無く出力結果を知ることができる。 FIG. 4 shows an outline of the present embodiment. As shown in FIG. 4, the image search in the present embodiment is performed by calculating the distance of the feature amount between the query image and the search destination image by the secret calculation using the query as an image, so that many search destinations An image having a high similarity to the query image is output from the images. That is, feature amounts are extracted from each of the search destination image and the query image, and these are secret-shared encrypted, and the feature amount distance is calculated in the encryption area. In this way, by performing all of the computation processing related to the search in the encryption area, it is possible to store highly secure data such as video content while encrypting it, and the user can simply use the desired video as a query. By sending a simple image and retrieving it, the output result can be known without anyone knowing its contents.
次に、本実施の形態で使用する要素技術の内容について説明する。 Next, the contents of the elemental technology used in the present embodiment will be described.
[秘密分散法]
前述したように、本実施の形態では、秘密計算可能な暗号としてロバストな保存によってデータ損失からも保護が可能である秘密分散法を用いている。秘密分散法は、データを複数に分散・暗号化する暗号アルゴリズムで、復号するには一定数以上の分散情報を集める必要がある。一定数未満の場合は情報理論的に復号をすることができない。つまり、分散情報を一定数以上集めない限りは、不足した分散情報のみでは平文の情報は一切漏れることは無いとされる。その性質から情報の欠損に対して強い安全性を保つことができ、公開鍵暗号に利用する秘密鍵等、機密性の高い情報を保存する際などにリスク分散をする為に利用されている。また、暗号式の性質により元々が別の平文同士を同一のパラメータで暗号化した場合、暗号化された分散情報を演算することによってマルチパーティプロトコルを実現することができる。
[Secret sharing method]
As described above, this embodiment uses a secret sharing method that can protect against data loss by robust storage as a cipher capable of secret computation. The secret sharing method is an encryption algorithm that distributes and encrypts a plurality of data, and it is necessary to collect a certain number of pieces of shared information for decryption. If it is less than a certain number, it cannot be decoded theoretically. That is, as long as a certain number of shared information is not collected, plaintext information is not leaked at all with insufficient shared information. Due to its nature, it can maintain strong security against information loss and is used to distribute risk when storing highly confidential information such as a secret key used for public key cryptography. In addition, when originally plain texts are encrypted with the same parameters due to the nature of encryption, a multi-party protocol can be realized by calculating encrypted shared information.
秘密分散法にはいくつかのアルゴリズムが存在するが、本実施の形態では、一例としてShamirの秘密分散法を使用している。また、秘密分散法を利用した基本的な秘密計算としてマルチパーティプロトコルを使用している。以下、Shamir の秘密分散法、及びマルチパーティプロトコルについて説明する。なお、本発明に適用できる秘密分散法はShamirの秘密分散法に限られるわけではない。 There are several algorithms in the secret sharing method. In this embodiment, Shamir's secret sharing method is used as an example. In addition, a multi-party protocol is used as a basic secret calculation using a secret sharing method. The following describes Shamir's secret sharing method and multi-party protocol. The secret sharing method applicable to the present invention is not limited to Shamir's secret sharing method.
[Shamir の秘密分散アルゴリズム]
準備として以下のパラメータを与える。
[Shamir's secret sharing algorithm]
The following parameters are given as preparation.
暗号化
S:平文
k:復号に必要なしきい値
n:分散数
r:乱数
xi:自然数(パラメータ) xi≠xj(i ≠ j)
p:素数
wi:分散暗号文
次に以下の行列Xを定義する。
encryption
S: Plain text
k: Threshold required for decryption
n: Number of distributions
r: Random number
x i : Natural number (parameter) x i ≠ x j (i ≠ j)
p: Prime number
w i : Distributed ciphertext Next, the following matrix X is defined.
以下の行列演算によって平文Sをn個に分散暗号化する。 The plaintext S is distributed and encrypted to n by the following matrix operation.
k個以上の分散暗号文を集め、さらにパラメータから逆行列を生成すると平文Sを復号できる。
The plaintext S can be decrypted by collecting k or more distributed ciphertexts and generating an inverse matrix from the parameters.
マルチパーティプロトコルは、秘密分散法を利用した秘密計算のプロトコルであり、各ユーザの秘匿情報を互いに知られること無く、計算が可能である。平文での計算結果のみを互いに共有することがきる。一般にマルチパーティプロトコルでは、以下の手順により、平文での演算結果が共有される。
The multi-party protocol is a secret calculation protocol using a secret sharing method, and can calculate the secret information of each user without knowing each other. Only the calculation results in plain text can be shared with each other. In general, in a multi-party protocol, an operation result in plain text is shared by the following procedure.
ステップ1)各自秘匿にしたい情報を暗号化する。 Step 1) Each piece of information to be kept secret is encrypted.
ステップ2)暗号化した情報を各自共有する。 Step 2) Share the encrypted information.
ステップ3)共有した暗号文から秘密計算によって各自平文の演算結果を出力する。 Step 3) Output the calculation result of each plaintext by secret calculation from the shared ciphertext.
また、秘密分散法は加算においての準同型性を保持している。よって以下の演算によって加算のマルチパーティプロトコルを実現できる。ここでは2つの平文S1、S2の加算を求めるアルゴリズムを示す。次式では準同型性によって分散暗号化された値を加算した場合、その演算結果が復号された値にされる。 Also, the secret sharing method maintains homomorphism in addition. Therefore, an addition multi-party protocol can be realized by the following calculation. Here, an algorithm for obtaining the addition of two plaintexts S 1 and S 2 is shown. In the following equation, when a value that is distributed and encrypted by homomorphism is added, the result of the operation is converted into a decrypted value.
後述するように、本実施の形態では、Shamirの秘密分散法によるマルチパーティプロトコルによって差分の自乗和を計算可能なアルゴリズムに拡張している。この差分の自乗和を距離計算に利用することで、暗号化した特徴量同士の距離計算を可能にする。 As will be described later, in the present embodiment, the algorithm is capable of calculating the sum of squares of differences using a multi-party protocol based on Shamir's secret sharing scheme. By using the sum of squares of the differences for distance calculation, it is possible to calculate the distance between encrypted feature quantities.
[画像検索]
本実施の形態では、特徴量空間での処理例として画像検索を行う。本実施の形態での画像検索は、クエリを画像として、検索先の多数の画像から画像特徴の類似度の高い画像を出力する。この処理を全て暗号化することによって、映像コンテンツなど、セキュリティ性の高いデータを暗号化したまま保存することができ、ユーザは自分の欲しい映像をクエリとして簡易的な画像を送り検索することで、誰にも中身を知られること無く出力結果を知ることができる。
[Image search]
In the present embodiment, an image search is performed as an example of processing in the feature amount space. In the image search in the present embodiment, an image having a high similarity in image features is output from a large number of search destination images using a query as an image. By encrypting all this processing, it is possible to save highly secure data such as video content while encrypting it, and the user can send a simple image as a query and search for the desired video, The output result can be known without anyone knowing the contents.
具体的には、クエリ画像と検索先画像の画素の統計的特徴成分を抽出し、その類似度をマッチングさせるなどの方式がある。本実施の形態では、特徴量として統計的特徴量ベクトルをクエリ画像と検索先画像から抽出し、互いの特徴ベクトルの画像全体の位置をマッチングし、ベクトルの距離を計算し、距離が小さい画像を結果として出力する。よって暗号化したデータに対して画像検索処理を行うには以下のステップを全て暗号化領域で処理する必要がある。 Specifically, there is a method of extracting the statistical feature components of the pixels of the query image and the search destination image and matching their similarities. In the present embodiment, a statistical feature quantity vector is extracted as a feature quantity from a query image and a search destination image, the positions of the mutual feature vector images are matched, the vector distance is calculated, and an image with a small distance is calculated. Output as a result. Therefore, in order to perform image search processing on encrypted data, it is necessary to perform all the following steps in the encryption area.
ステップ11)検索先画像から統計的特徴量を抽出
ステップ12)クエリ画像から統計的特徴量を抽出
ステップ13)クエリ画像と検索先画像の特徴量のマッチング
ステップ14) 特徴量の距離を計算
ステップ15) 距離が短い検索目的画像を出力
本実施の形態では、一番演算が複雑であるステップ11の、画像から統計的特徴量を抽出する処理を、クエリ画像・検索先画像共に暗号化する前に行い、特徴量と平文画像をそれぞれ暗号化し、保存するという手法をとる。類似度をとる計算を暗号化し、元データは別途暗号化して保存することで最初のステップを暗号化領域で行うことができる。
Step 11) Extracting statistical feature values from the search destination image Step 12) Extracting statistical feature values from the query image Step 13) Matching feature values of the query image and the search destination image Step 14) Calculating the distance between the feature amounts Step 15 ) Output search target image with short distance In this embodiment, the process of extracting the statistical feature amount from the image in
また、本実施の形態の検索では、特徴量が元画像のどの平面空間上にあるかも考慮したものにする。よって類似した画素成分の類似度が高く、かつ類似した画素成分がクエリ画像上の座標と近い座標にあるような画像が結果として出力される。本実施の形態では、特徴量ベクトル同士の距離を暗号化領域で演算し、その復号した値を類似度とする。具体的には、互いの特徴量ベクトルの各成分の差分を自乗した値の総和を距離としている。また、周辺画素の平均値の差が大きいものほど特徴的な画素として優先的に距離計算をし、優先度の低い特徴量の演算を省略することで、検索の効率化を図ることとしてもよく、これにより、検索の効率化を図ることができる。 In the search according to the present embodiment, the plane space in which the feature amount is in the original image is also taken into consideration. Therefore, an image in which similar pixel components have a high similarity and the similar pixel components are at coordinates close to the coordinates on the query image is output as a result. In this embodiment, the distance between feature quantity vectors is calculated in the encryption area, and the decrypted value is used as the similarity. Specifically, the distance is the total sum of the squares of the differences between the components of the mutual feature vector. In addition, as the difference in the average value of neighboring pixels is larger, the distance is preferentially calculated as a characteristic pixel, and the calculation of the feature amount having a lower priority may be omitted, thereby improving the search efficiency. As a result, the search efficiency can be improved.
(実施の形態の詳細な説明)
[システム構成]
以下、本発明の実施の形態をより具体的に説明する。図5に、本実施の形態に係る画像検索システム10の構成図を示す。
(Detailed description of embodiment)
[System configuration]
Hereinafter, embodiments of the present invention will be described more specifically. FIG. 5 shows a configuration diagram of the
図5に示すように、画像検索システム10は、クエリ画像情報秘密分散格納部11、検索先画像情報秘密分散格納部12、画像検索部13を有し、これらが通信ネットワークを介して互いに通信可能に構成されている。また、画像検索システム10にはクライアント端末20が通信ネットワークを介して接続されている。
As shown in FIG. 5, the
クエリ画像情報秘密分散格納部11は、クエリ画像の暗号化された特徴量を分散格納する格納部であり、例えば、複数のサーバがネットワーク接続されて構成されている。検索先画像情報秘密分散格納部12は、暗号化された検索先画像と、検索先画像の暗号化された特徴量とを分散格納する格納部であり、例えば、複数のサーバがネットワーク接続されて構成されている。なお、図5の例では、クエリ画像情報秘密分散格納部11と、検索先画像情報秘密分散格納部12とを分けて示しているが、これらを一体として構成してもよい。
The query image information secret
画像検索部13は、後述する演算を実行することにより、クライアント端末20から指定されたクエリ画像に類似する暗号化された画像を検索先画像情報秘密分散格納部12から検索し、クライアント端末20に送信する機能部である。画像検索部13は、例えばサーバ(コンピュータ)により実現される。画像検索部13は、処理を実行するCPU、及びメモリやハードディスク等の記憶手段を備えており、当該記憶手段には、CPUによる演算に使用されるデータやパラメータが記憶される。また、画像検索部13は、秘密計算により画像の評価を行う装置であることから、画像評価装置と呼んでもよい。
The
クライアント端末20は、クエリ画像から特徴量を抽出し、特徴量を秘密分散暗号化し、暗号化したデータをクエリ画像情報秘密分散格納部11に格納する機能、画像検索部13に対し、クエリ画像を指定して検索を指示する機能、及び、画像検索部13から受け取った暗号化された画像を復号する機能などを備える。また、クライアント端末20は、検索先画像となる画像から特徴量を抽出し、暗号化した当該画像と暗号化した特徴量とを検索先画像情報秘密分散格納部12に格納する機能を備えてもよい。更に、クライアント端末20が画像検索部13の機能を備えることとしてもよい。
The
上述した「暗号化」とは、後述するとおりの秘密分散法による暗号化である。また、図5では、クライアント端末20が1つだけ示されているが、実際には、多くのクライアント端末が接続されている。
The above-described “encryption” is encryption by a secret sharing method as described later. In FIG. 5, only one
また、図5に示す本実施の形態のシステム構成は一例に過ぎない。本発明に係る処理内容を実現できるシステム構成であれば、図5に示すシステム構成以外の構成を用いてもよい。 Further, the system configuration of the present embodiment shown in FIG. 5 is merely an example. A configuration other than the system configuration shown in FIG. 5 may be used as long as the system configuration can realize the processing contents according to the present invention.
[システムの動作]
次に、図6のフローチャートを参照して、画像検索システム10の動作の概要について説明する。以下の動作例では、検索先画像の暗号化データ及びその特徴量の暗号化データは、各クライアント端末により作成され、検索先画像情報秘密分散格納部12に格納するものとするが、これは一例に過ぎず、検索先画像の暗号化データ及びその特徴量の暗号化データは、クライアント端末以外の装置で作成され格納されてもよい。
[System operation]
Next, an outline of the operation of the
ステップ101)各クライアント端末で検索先画像の特徴量ベクトルを計算する。この特徴量ベクトルは特徴が強い順にソートされているものとする。 Step 101) The feature vector of the search destination image is calculated at each client terminal. It is assumed that the feature quantity vectors are sorted in descending order of features.
ステップ102)各クライアント端末で検索先画像の画像特徴量の成分を秘密分散法によって暗号化する。また、検索先画像も秘密分散法によって暗号化する。暗号化された画像特徴量の成分、及び暗号化された検索先画像は検索先画像情報秘密分散格納部12に格納される。なお、暗号化された特徴量のデータが、どの検索先画像のデータであるかは、例えば、暗号化された特徴量のデータに、検索先画像を識別する識別情報を付加することにより識別可能であるものとする。 Step 102) The component of the image feature quantity of the search destination image is encrypted by the secret sharing method at each client terminal. The search destination image is also encrypted by the secret sharing method. The encrypted component of the image feature amount and the encrypted search destination image are stored in the search destination image information secret sharing storage unit 12. Note that it is possible to identify which search destination image data the encrypted feature amount data is by adding identification information for identifying the search destination image to the encrypted feature amount data, for example. Suppose that
ステップ103)クライアント端末20は、クエリ画像の特徴量ベクトルを計算し、当該特徴量ベクトルの成分を暗号化し、暗号化されたデータをクエリ画像情報秘密分散格納部11に格納する。なお、暗号化された特徴量のデータが、どのクエリ画像のデータであるかは、例えば、暗号化された特徴量のデータに、クエリ画像を識別する識別情報を付加することにより識別可能であるものとする。ステップ103では、更に、クライアント端末20は、画像検索部13に対して上記クエリ画像を指定する(識別情報を指定する)ことにより、クエリ画像に類似した画像の検索を指示する。
Step 103) The
ステップ104)検索の指示を受け取った画像検索部13は、クエリ画像情報秘密分散格納部11と、検索先画像情報秘密分散格納部12とを参照することにより、クエリ画像の暗号化された特徴量と、検索先画像の特徴量とを取得し、これらの差分の自乗和を暗号化領域で計算する。
Step 104) Upon receiving the search instruction, the
ステップ105)画像検索部13は、暗号化領域で求めた距離(差分の自乗和)を復号し、その値を類似度とする。なお、ステップ104、105の演算内容の詳細は後述する。
Step 105) The
ステップ106)ステップ104とステップ105は、検索先画像毎に行われ、検索先画像毎のクエリ画像に対する類似度が算出される。画像検索部13は、算出された類似度をソートし、ソートした結果、類似度が近いもの(距離が小さいもの)から順に、暗号化された画像を検索先画像情報秘密分散格納部12から取得し、クライアント端末20に送る。例えば、類似度が高いほうから上位N番目(Nは予め定めた自然数)までの暗号化画像をクライアント端末20に送るようにする。
Step 106) Steps 104 and 105 are performed for each search destination image, and the similarity to the query image for each search destination image is calculated. The
なお、画像検索部13が、画像の識別情報をクライアント端末20に送信し、クライアント端末20が検索先画像情報秘密分散格納部12から暗号化された画像を取得することとしてもよい。
ステップ107)クライアント端末20は、取得した暗号化画像を復号し、復号された画像を表示する。
The
Step 107) The
上記のように、本実施の形態によれば、ネットワーク上においては、画像及び特徴量を暗号化した状態で処理を実行することができる。 As described above, according to the present embodiment, it is possible to execute processing in a state where an image and a feature amount are encrypted on the network.
[演算の詳細]
以下、画像の特徴量の暗号化とマルチパーティプロトコルによる差分自乗の総和の演算について詳細に説明する。本実施の形態では、画像特徴量の暗号化は各クライアント端末により実行され、差分自乗の総和の演算は画像検索部13により実行される。
[Operation details]
Hereinafter, the encryption of the feature amount of the image and the calculation of the sum of squares of differences by the multi-party protocol will be described in detail. In the present embodiment, the encryption of the image feature amount is executed by each client terminal, and the calculation of the sum of squared differences is executed by the
まず、クエリ画像の特徴量ベクトルを
S = (s1, s2, ....., sm) (5)
とおき、検索先画像の特徴量ベクトルを
T = (t1, t2, ......, tm) (6)
とおく。
First, the feature vector of the query image
S = (s 1 , s 2 , ....., s m ) (5)
And the feature vector of the search destination image
T = (t 1 , t 2 , ......, t m ) (6)
far.
この両ベクトルの距離を求めることで特徴量ベクトルの距離とする。よって、両ベクトルの差分自乗の総和である次式(7)が本実施の形態における検索に用いる各画像の類似度となる。 The distance between the two vectors is obtained as the distance between the feature vectors. Therefore, the following equation (7), which is the sum of the squares of the differences between both vectors, is the similarity of each image used for the search in this embodiment.
まず、本実施の形態では、検索先画像とクエリ画像の特徴量ベクトルを暗号化領域で処理を行いたいので、ベクトルの成分であるsiとtiを以下のパラメータを用いて秘密分散法によって暗号化する。 First, in this embodiment, since it is desired to process the feature vector of the search destination image and the query image in the encryption area, the vector components s i and t i are obtained by the secret sharing method using the following parameters: Encrypt.
si:平文
ti:平文
k:復号に必要なしきい値
n:分散数
r:乱数
xj:自然数(パラメータ) xj ≠ xh(j ≠ h)
yj:自然数(パラメータ) yj ≠ yh(j ≠ h)
wj:分散暗号文
ここで、xjとyjは秘密鍵として扱うこととする。つまり、本実施の形態では、各クライアント端末において2種類のパラメータで画像特徴量を暗号化し、それぞれが秘密分散格納部に格納される。
s i : Plain text
t i : Plain text
k: Threshold required for decryption
n: Number of distributions
r: Random number
x j : Natural number (parameter) x j ≠ x h (j ≠ h)
y j : Natural number (parameter) y j ≠ y h (j ≠ h)
w j : distributed ciphertext Here, x j and y j are treated as secret keys. That is, in the present embodiment, image feature amounts are encrypted with two types of parameters at each client terminal, and each is stored in the secret sharing storage unit.
こうすることによってk個以上の情報を集めた者はマルチパーティプロトコルによる演算のみを行うことが可能であり、暗号化された演算結果と秘密鍵を持つ者のみが復号に必要な逆行列を生成できるので、演算結果を復号することが可能になる。本実施の形態では、この「暗号化された演算結果と秘密鍵を持つ者」は画像検索部13である。
In this way, those who have collected more than k pieces of information can only perform operations using the multi-party protocol, and only those who have the encrypted operation results and the private key generate the inverse matrix necessary for decryption. As a result, the calculation result can be decoded. In the present embodiment, this “person having an encrypted calculation result and a secret key” is the
次に、差分は式(4)の加算と同様に成り立ち、その暗号文は以下のようになる。 Next, the difference is the same as the addition of equation (4), and the ciphertext is as follows.
次に以下のようにパラメータyiによって秘密分散暗号化した暗号化データについても差分を用意する。以下の行列Yは、例えば式(1)のXと同様の構成を有するが、パラメータとしてxiではなくyiを用いている。 Next, a difference is also prepared for encrypted data obtained by secret sharing encryption using parameter y i as follows. The following matrix Y has the same configuration as, for example, X in equation (1), but uses y i instead of x i as a parameter.
(実施の形態のまとめ)
上述したように、本実施の形態によれば、画像検索を暗号化領域で可能にするアルゴリズムが実現される。本実施の形態の画像検索ではクエリを画像として、複数の画像から類似した画像を探し出すために、画像の画素値の統計的な性質を局所特徴量ベクトルとして抽出し、クエリの局所特徴量ベクトルとの距離を演算し、距離が近いものを類似画像として選び出す。
(Summary of embodiment)
As described above, according to the present embodiment, an algorithm that enables image search in the encryption area is realized. In the image search according to the present embodiment, in order to find a similar image from a plurality of images using a query as an image, a statistical characteristic of a pixel value of the image is extracted as a local feature vector, and the local feature vector of the query Are calculated, and images with close distances are selected as similar images.
これら全ての演算について暗号化領域で演算することは困難であることから、本実施の形態では、暗号化されていない平文画像から特徴量ベクトルを抽出し、特徴量ベクトルを暗号化することしている。そして距離計算を復号せずにマルチパーティプロトコルによって演算する。 Since it is difficult to perform all these operations in the encryption area, in this embodiment, feature vectors are extracted from plain text images that are not encrypted, and feature vectors are encrypted. . Then, the distance calculation is performed by a multi-party protocol without decoding.
実際のサービス上では、例えば、暗号化した特徴量ベクトルと別途暗号化した画像の両方をネットワーク上におくことで、復号鍵を持つユーザが暗号化したクエリ画像の特徴量によって検索した結果である類似画像を取得し、復号することが可能となる。 On the actual service, for example, a result of searching by a feature amount of a query image encrypted by a user having a decryption key by placing both an encrypted feature amount vector and a separately encrypted image on the network. Similar images can be acquired and decoded.
すなわち、従来、暗号化した数値データに対する秘密計算があったが、画像データに対する秘密計算は実現されていなかった。そこで、本実施の形態では、加算の準同型性の性質を有する秘密分散法を利用して、暗号化された画像特徴量どうしの差分二乗和を暗号領域で演算し、復号化することで、平文における差分二乗和を抽出し、画像どうしの類似性の評価を実現している。 That is, conventionally, there has been a secret calculation for encrypted numerical data, but a secret calculation for image data has not been realized. Therefore, in the present embodiment, by using the secret sharing method having the homomorphic property of addition, the difference square sum of the encrypted image feature quantities is calculated in the encryption area, and decrypted. The difference square sum in plaintext is extracted to evaluate the similarity between images.
また、本実施の形態の技術は、従来技術の演算対象を数値データから画像データに変更しただけの技術ではなく、汎用性の高いShamirの秘密分散法によるマルチパーティプロトコルを利用し、分散数の制限を受けることがないという特徴や、マルチパーティプロトコルによる積の演算を簡易的な方法で実現し、転置した行列の積を求めることで秘密計算の積の演算を可能にしたという従来技術にない特徴を有する。 In addition, the technology of the present embodiment is not a technology that simply changes the calculation target of the conventional technology from numerical data to image data, but uses a highly versatile multi-party protocol based on Shamir's secret sharing method. There is no feature that is not subject to restrictions, and the conventional technology that realized product operation by a multi-party protocol with a simple method and found the product of transposed matrix and made secret operation product operation possible Has characteristics.
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。 The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.
10 画像検索システム
11 クエリ画像情報秘密分散格納部
12 検索先画像情報秘密分散格納部
13 画像検索部
20 クライアント端末
DESCRIPTION OF
Claims (5)
第1のパラメータで暗号化された2つの画像の画像特徴量の差分を第1の差分として計算し、
第2のパラメータで暗号化された前記2つの画像の画像特徴量の差分を第2の差分として計算し、
前記第1の差分と前記第2の差分とを掛け合わせ、掛け合わせた結果を復号し、当該復号の結果を用いて画像の評価を行う、画像評価方法であり、
前記暗号化は、秘密分散法を用いてなされたものである
ことを特徴とする画像評価方法。 An image evaluation method executed by an image evaluation apparatus that evaluates an image by a secret calculation based on a secret sharing method,
The difference between the image feature amounts of the two images encrypted with the first parameter is calculated as the first difference,
Calculating a difference between the image feature amounts of the two images encrypted with the second parameter as a second difference;
An image evaluation method that multiplies the first difference and the second difference, decodes the multiplied result, and evaluates the image using the decoding result,
The image evaluation method, wherein the encryption is performed using a secret sharing method.
前記第1の差分と前記第2の差分とを掛け合わせる際に、当該第1の差分である行列と、当該第2の差分である行列の転置行列とを掛け合わせる
請求項1に記載の画像評価方法。 The image feature amount of each encrypted image related to the first difference is multiplied by a matrix formed using the first parameter to a vector composed of the image feature amount of the image and a predetermined number of random numbers. The image feature amount of each encrypted image related to the second difference is obtained by adding the second parameter to a vector composed of the image feature amount of the image and a predetermined number of random numbers. Is a matrix obtained by multiplying the matrix constructed using
The image according to claim 1, wherein when the first difference and the second difference are multiplied, the matrix that is the first difference and the transposed matrix of the matrix that is the second difference are multiplied. Evaluation method.
前記第1の差分と前記第2の差分とを掛け合わせた結果を各成分について足し合わせ、足し合わせた結果を復号し、当該復号の結果を利用することにより画像の評価を行う
請求項1又は2に記載の画像評価方法。 The image feature amount of each image is a component in the image feature amount vector of the image,
The result obtained by multiplying the first difference and the second difference is added for each component, the added result is decoded, and the image is evaluated by using the decoding result. 2. The image evaluation method according to 2.
請求項3に記載の画像評価方法。 The image evaluation method according to claim 3, wherein the similarity between the two images is evaluated by using the decoding result as a sum of squared differences of image feature amount vectors.
請求項1ないし4のうちいずれか1項に記載の画像評価方法。 The image evaluation method according to claim 1, wherein one of the two images is a query image, and the other image is a search destination image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243096A JP5687601B2 (en) | 2011-11-07 | 2011-11-07 | Image evaluation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243096A JP5687601B2 (en) | 2011-11-07 | 2011-11-07 | Image evaluation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013097351A true JP2013097351A (en) | 2013-05-20 |
JP5687601B2 JP5687601B2 (en) | 2015-03-18 |
Family
ID=48619292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011243096A Expired - Fee Related JP5687601B2 (en) | 2011-11-07 | 2011-11-07 | Image evaluation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5687601B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022091233A1 (en) * | 2020-10-28 | 2022-05-05 | 日本電気株式会社 | Data transaction management device, data transaction management method, and computer readable medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002373177A (en) * | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | Method and device for retrieving similar object |
JP2004279526A (en) * | 2003-03-13 | 2004-10-07 | Oki Electric Ind Co Ltd | Secrecy reconstruction method, distributed secrecy reconstruction device, and secrecy reconstruction system |
-
2011
- 2011-11-07 JP JP2011243096A patent/JP5687601B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002373177A (en) * | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | Method and device for retrieving similar object |
JP2004279526A (en) * | 2003-03-13 | 2004-10-07 | Oki Electric Ind Co Ltd | Secrecy reconstruction method, distributed secrecy reconstruction device, and secrecy reconstruction system |
Non-Patent Citations (6)
Title |
---|
CSNG200700880036; 黒住 隆行、永野 秀尚、柏野 邦夫: '"実環境で収録された映像断片をキーとする一致映像探索"' 電子情報通信学会論文誌 D Vol.J90-D、No.8, 20070801, p.2223-2231, 社団法人電子情報通信学会 * |
CSNG201200775002; 中田 亮太、仲地 孝之: '"秘密分散法を利用した乗算が可能な秘密計算の提案"' 電子情報通信学会技術研究報告 Vol.112、No.305, 20121114, p.15-20, 一般社団法人電子情報通信学会 * |
CSNJ201110015117; 加藤 遼、桐淵 直人、吉浦 裕: '"マルチパーティ計算プログラムの効率化"' 2011年 暗号と情報セキュリティシンポジウム SCIS2011 [CD-ROM] 2C3-3, 20110125, p.1-7, 電子情報通信学会情報セキュリティ研究専門委員会 * |
JPN6014044371; 加藤 遼、桐淵 直人、吉浦 裕: '"マルチパーティ計算プログラムの効率化"' 2011年 暗号と情報セキュリティシンポジウム SCIS2011 [CD-ROM] 2C3-3, 20110125, p.1-7, 電子情報通信学会情報セキュリティ研究専門委員会 * |
JPN6014044375; 黒住 隆行、永野 秀尚、柏野 邦夫: '"実環境で収録された映像断片をキーとする一致映像探索"' 電子情報通信学会論文誌 D Vol.J90-D、No.8, 20070801, p.2223-2231, 社団法人電子情報通信学会 * |
JPN6014044378; 中田 亮太、仲地 孝之: '"秘密分散法を利用した乗算が可能な秘密計算の提案"' 電子情報通信学会技術研究報告 Vol.112、No.305, 20121114, p.15-20, 一般社団法人電子情報通信学会 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022091233A1 (en) * | 2020-10-28 | 2022-05-05 | 日本電気株式会社 | Data transaction management device, data transaction management method, and computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP5687601B2 (en) | 2015-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | An efficient privacy-preserving outsourced calculation toolkit with multiple keys | |
CN107145791B (en) | K-means clustering method and system with privacy protection function | |
US10630472B2 (en) | Method and system for providing encrypted data on a client | |
CN105046234B (en) | Facial image secret recognition methods in cloud environment based on rarefaction representation | |
JPWO2008087734A1 (en) | Ciphertext generation apparatus, cryptographic communication system, and group parameter generation apparatus | |
Abusukhon et al. | New direction of cryptography: A review on text-to-image encryption algorithms based on RGB color value | |
CN102594551B (en) | Method for reliable statistics of privacy data on radio frequency identification (RFID) tag | |
Peng | Danger of using fully homomorphic encryption: A look at Microsoft SEAL | |
Wu | Fully homomorphic encryption: Cryptography's holy grail | |
WO2014030706A1 (en) | Encrypted database system, client device and server, method and program for adding encrypted data | |
Deepthi et al. | Hybrid secure cloud storage data based on improved encryption scheme | |
Ahmad et al. | Distributed text-to-image encryption algorithm | |
JP2002026892A (en) | Key sharing method, private key generating method, common key generating method, encryption communication method, private key generator, common key generator, encryption communication system and recording medium | |
CN112380404B (en) | Data filtering method, device and system | |
WO2023185360A1 (en) | Data processing method, apparatus, system and device, and storage medium | |
CN107484161A (en) | A kind of efficient information push based on mobile self-grouping network and safe sharing method | |
JP5687601B2 (en) | Image evaluation method | |
Sattar et al. | Secured aerial photography using Homomorphic Encryption | |
Joseph et al. | A Novel Algorithm for secured data sharing in cloud using GWOA-DNA cryptography | |
CN111984932B (en) | Two-party data packet statistics method, device and system | |
Zheng et al. | Improved anonymous proxy re-encryption with CCA security | |
CN112637442B (en) | Method and device for encrypting circulating images by cloud server and local end | |
Nalwaya et al. | A cryptographic approach based on integrating running key in feedback mode of elgamal system | |
EP3883178A1 (en) | Encryption system and method employing permutation group-based encryption technology | |
Feng et al. | Secure outsourced principal eigentensor computation for cyber-physical-social systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131004 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5687601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |