JP2022015750A - アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ - Google Patents
アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ Download PDFInfo
- Publication number
- JP2022015750A JP2022015750A JP2020118795A JP2020118795A JP2022015750A JP 2022015750 A JP2022015750 A JP 2022015750A JP 2020118795 A JP2020118795 A JP 2020118795A JP 2020118795 A JP2020118795 A JP 2020118795A JP 2022015750 A JP2022015750 A JP 2022015750A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- data
- sensor
- random number
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000007123 defense Effects 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009792 diffusion process Methods 0.000 description 23
- 238000010801 machine learning Methods 0.000 description 14
- 238000012546 transfer Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本開示は、アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサに関する。
画像認識などのデータ認識に対する攻撃手段として、アドバーサリアル・エグザンプル(Adversarial Examples:敵対的サンプル)を用いたアドバーサリアル攻撃(Adversarial Attack)が知られている。アドバーサリアル攻撃は、例えば、通常の画像に、人間には認識できない微小ノイズを敵対的ノイズ(Adversarial Noise)として付加して、画像認識器に誤認識させる攻撃である。
非特許文献1は、アドバーサリアル攻撃に対する防御手法として、デノイジングオートエンコーダ(denoising autoencoder:DAE)を用いて、敵対的ノイズを除去することを開示している。デノイジングオートエンコーダは、正解画像と、正解画像にノイズを付加した入力画像と、を用いて、入力画像からノイズを除去する方法を学習した学習モデルである。ノイズが除去された画像が、画像認識器に与えられることで、誤認識が防止される。
Shixiang Gu et al., "TOWARDS DEEP NEURAL NETWORK ARCHITECTURES ROBUST TO ADVERSARIAL EXAMPLES",[online], ICLR(Workshop)2015, < https://arxiv.org/abs/1412.5068 >
Yoshikazu Nitta et al., "High-Speed Digital Double Sampling with Analog CDS on Column Parallel ADC Architecture for Low-Noise Active Pixel Sensor", 2006 IEEE International Solid State Circuits Conference - Digest of Technical Papers, San Francisco, CA, 2006, pp. 2024-2031.
Shinichiro Matsuo et al., "8.9-Megapixel Video Image Sensor With 14-b Column-Parallel SA-ADC", IEEE Transactions on Electron Devices, vol. 56, no. 11, pp. 2380-2389, Nov. 2009.
敵対的ノイズを除去するように学習されたデノイジングオートエンコーダを用いると、アドバーサリアル・エグザンプルから敵対的ノイズを除去することができる。しかし、攻撃者が、デノイジングオートエンコーダが除去可能なノイズを予測可能であると、デノイジングオートエンコーダが除去できない敵対的ノイズを生成することができる。
したがって、敵対的ノイズを除去するように学習されたデノイジングオートエンコーダを用いた防御手法では、アドバーサリアル攻撃を防御しきれないことがある。
したがって、アドバーサリアル攻撃に対する対処が望まれる。
本開示のある側面は、アドバーサリアル攻撃に対する防御方法である。開示の防御方法は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを得て、前記真正乱数ノイズを除去するよう構成されたノイズ除去器によって、前記データから、前記真正乱数ノイズとともに前記敵対的ノイズを除去したノイズ除去データを得て、データ認識器によって、前記ノイズ除去データに対するデータ認識をすることを備える。
本開示の他の側面は、アドバーサリアル攻撃に対する防御性を有するデータ認識装置である。開示のデータ認識装置は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを取得し、前記データから、前記真正乱数ノイズ及び前記敵対的ノイズを除去したノイズ除去データを生成するよう構成されたノイズ除去器と、前記ノイズ除去データに対するデータ認識をするよう構成された認識器と、を備える。
本開示の他の側面は、センサシステムである。開示のセンサシステムは、センサ素子と、前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するよう構成されたセンサ回路と、前記第2センサデータから前記真正乱数ノイズを除去した第3センサデータを生成するよう構成されたノイズ除去器と、を備える。
ある実施形態において、開示のセンサシステムは、センサ素子と、前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するセンサ回路と、前記第1センサデータ及び前記第2センサデータを用いて、前記第2センサデータから前記真正乱数ノイズを除去するようにニューラルネットワークを学習させるための機械学習器と、を備えることができる。
本開示の他の側面は、センサである。開示のセンサは、センサ素子と、前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するセンサ回路と、を備え、前記第1センサデータ及び前記第2センサデータを出力するよう構成されている。
更なる詳細は、後述の実施形態として説明される。
<1.アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサの概要>
(1)実施形態に係る防御方法は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを得て、前記真正乱数ノイズを除去するよう構成されたノイズ除去器によって、前記データから、前記真正乱数ノイズとともに前記敵対的ノイズを除去したノイズ除去データを得て、データ認識器によって、前記ノイズ除去データに対するデータ認識をすることを備える。ノイズ除去器が除去する真正乱数ノイズは予測が困難であるため、攻撃者はノイズ除去器が除去できない攻撃的ノイズを生成するのが困難である。この結果、アドバーサリアル攻撃に対する防御性能が高まる。
(2)前記ノイズ除去器は、前記データから前記真正乱数ノイズを除去するよう構成されたニューラルネットワークによって構成されているのが好ましい。
(3)前記ニューラルネットワークは、デノイジングオートエンコーダであるのが好まし。
(4)前記データは、例えば、イメージデータである。
(5)前記真正乱数ノイズは、前記アドバーサリアル・エグザンプルとなる検知対象が入力されるセンサにおける熱雑音に基づくのが好ましい。
(6)実施形態に係るデータ認識装置は、敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを取得し、前記データから、前記真正乱数ノイズ及び前記敵対的ノイズを除去したノイズ除去データを生成するよう構成されたノイズ除去器と、前記ノイズ除去データに対するデータ認識をするよう構成された認識器と、を備える。
(7)実施形態に係るセンサシステムは、前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するよう構成されたセンサ回路と、前記第2センサデータから前記真正乱数ノイズを除去した第3センサデータを生成するよう構成されたノイズ除去器と、を備える。この場合、センサシステムは、アドバーサリアル攻撃に対する防御性能を持つことができる。
(8)前記センサシステムは、前記第3センサデータに対するデータ認識をするデータ認識器を更に備えることができる。
(9)実施形態に係るセンサシステムは、センサ素子と、前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するセンサ回路と、前記第1センサデータ及び前記第2センサデータを用いて、前記第2センサデータから前記真正乱数ノイズを除去するようにニューラルネットワークを学習させるための機械学習器と、を備えることができる。この場合、センサシステムは、アドバーサリアル攻撃に対する防御性能を確保するためのノイズ除去器となるニューラルネットワークの学習をすることができる。
(10)前記センサシステムは、前記真正乱数ノイズの大きさを調整する調整器を更に備えるのが好ましい。
(11)実施形態に係るセンサは、センサ素子と、前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するセンサ回路と、を備え、前記第1センサデータ及び前記第2センサデータを出力するよう構成されている。この場合、アドバーサリアル攻撃に対する防御性能を確保するためのノイズ除去器となるニューラルネットワークの学習のための学習データとなる第1センサデータ及び第2センサデータを、センサが出力することができる。
(12)前記真正乱数ノイズは、前記センサ回路において生じる熱雑音に基づくのが好ましい。
<2.アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサの例>
図1は、アドバーサリアル攻撃に対する、実施形態に係る防御方法を示している。アドバーサリアル攻撃をする攻撃者は、オリジナルデータ100に対して敵対的ノイズを付加する。敵対的ノイズは、一般に、人間には認識できない微小ノイズである。図2に示すように、オリジナルデータに敵対的ノイズが付加されることで、アドバーサリアル・エグザンプル100A(敵対的サンプル)が生成される。図2に示すように、アドバーサリアル・エグザンプル100Aが認識器50に与えられると、認識器50は、誤認識を生じることがある。
敵対的ノイズは、例えば、オリジナルデータ100に対して、信号処理によって付加されるノイズデータである。
敵対的ノイズは、イメージセンサなどのセンサによる検知対象に施された加工又は細工であってもよい。加工又は細工が施された検知対象がセンサに入力されたときに得られたセンサデータが、アドバーサリアル・エグザンプル100Aになる。
敵対的ノイズになる加工又は細工は、例えば、車両に搭載された画像認識器によって認識される道路標識に、画像認識器が誤認識するよう施された加工である。敵対的ノイズになる加工又は細工の他の例は、音響認識器によって認識される音に、音認識器が誤認識するよう他の音を混入させることである。センサによる検知対象に敵対的ノイズになる加工又は細工がされる場合、敵対的ノイズになる加工又は細工が「されていない」検知対象を、センサによって検知して得られたデータが、オリジナルデータ100に相当する。
図1に示すように、実施形態に係る防御方法では、アドバーサリアル攻撃に対する防御のため、アドバーサリアル・エグザンプルに真正乱数が付加される。付加される真正乱数を真正乱数ノイズともいう。アドバーサリアル・エグザンプルが、複数のデータ要素の集合からなるデータである場合、各データ要素に真正乱数が付加される。例えば、データ要素が画素データであるイメージデータの場合、各画素データに真正乱数が付加される。また、データ要素が音のサンプリングデータである音響データの場合、各サンプリングデータに真正乱数が付加される。なお、真正乱数ノイズは、ランダムノイズとも呼ばれる。
真正乱数ノイズが付加されることで、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102が生成される。敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102は、オリジナルデータ100に、敵対的ノイズと真正乱数ノイズとを加えたものに相当する。
実施形態に係る防御方法では、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102が、ノイズ除去器40に与えられる。実施形態に係るノイズ除去器40は、真正乱数ノイズ除去器である。真正乱数ノイズ除去器40は、真正乱数ノイズを除去するよう構成されている。
実施形態に係る真正乱数ノイズ除去器40は、一例として、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102から真正乱数ノイズを除去するよう構成されたニューラルネットワークによって構成されている。真正乱数ノイズを除去するよう構成されたニューラルネットワークは、一例として、真正乱数ノイズを除去するよう構成されたデノイジングオートエンコーダ(DAE)である。
実施形態に係る防御方法において、アドバーサリアル・エグザンプルに付加される真正乱数ノイズは、真正乱数ノイズ除去器40によって除去可能なノイズである。換言すると、アドバーサリアル・エグザンプルに付加される真正乱数ノイズは、デノイジングオートエンコーダが、除去するように学習したノイズである。デノイジングオートエンコーダは、真正乱数ノイズが付加されたデータを用いて、真正乱数ノイズを除去するように学習されている。実施形態において、アドバーサリアル・エグザンプルに付加される真正乱数ノイズは、学習に用いられたデータに付加された真正乱数ノイズの発生源と同じ発生源から得られたものである。
真正乱数ノイズ除去器40は、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102から真正乱数ノイズを除去するとともに、敵対的ノイズも除去する。前述のように、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102は、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102は、オリジナルデータ100に、敵対的ノイズと真正乱数ノイズとを加えたものに相当する。オリジナルデータ100からみたノイズ成分である「敵対的ノイズ及び真正乱数ノイズ」は、敵対的ノイズをランダムに変化させたものであり、ノイズ成分全体としてみたときに「真正乱数ノイズ」である。
したがって、敵対的ノイズと真正乱数ノイズとを有するアドバーサリアル・エグザンプル102が、真正乱数ノイズ除去器40に与えられると、真正乱数ノイズ除去器40は、真正乱数ノイズ及び敵対的ノイズを除去したノイズ除去データを出力する。このように、実施形態に係る真正乱数ノイズ除去器40は、真正乱数ノイズ及び敵対的ノイズを除去することができる。
非特許文献1のように、敵対的ノイズを除去するように学習されたデノイジングオートエンコーダを用いた場合、攻撃者は、デノイジングオートエンコーダの特性を搾取することで、デノイジングオートエンコーダが除去可能なノイズを予測することができる。例えば、攻撃者は、攻撃者にとって既知の敵対的ノイズをノイズ除去器40に与え、ノイズ除去器40から生じるサイドチャネル情報によって、ノイズ除去器40の特性を搾取することができる。攻撃者は、デノイジングオートエンコーダが除去可能なノイズがわかれば、デノイジングオートエンコーダが除去できず、かつ、認識器が誤認識するような敵対的ノイズを生成することが可能である。
しかし、実施形態に係るノイズ除去器40は、予測できないランダムノイズである真正乱数ノイズを除去するものであり、攻撃者は、ノイズ除去器40が除去可能なノイズを予測することができない。攻撃者がどのような敵対的ノイズを用いても、敵対的ノイズに防御のための真正乱数ノイズが重畳されることで、敵対的ノイズは真正乱数ノイズになる。この結果、ノイズ除去器40が除去できない敵対的ノイズを生成することは、攻撃者にとって困難になる。
以上のように、実施形態に係るノイズ除去器40は、真正乱数ノイズとともに敵対的ノイズを除去して、オリジナルデータ100にほぼ等価なノイズ除去データ103を出力することができる。そして、データ認識器50は、敵対的ノイズが除去されたデータに対して、データ認識をするため、認識結果を誤るおそれは少ない。
図3は、アドバーサリアル攻撃に対して、前述のような防御性を有するデータ認識装置の一例としてのセンサシステム10を示している。
実施形態に係るセンサシステム10は、エッジAIデバイスであり、センサ20によってセンサデータを取得するとともに、センサ20から出力されたセンサデータに対して、学習済みモデルによって、センサデータの識別などのデータ認識処理を実行する。エッジAIデバイスは、クラウドサーバによって構築されたAIデバイスとは異なり、攻撃者の手元に存在するため、サイドチャネル攻撃のほか、アドバーサリアル攻撃を受けやすい。しかし、実施形態に係るセンサシステム10(データ認識装置)は、エッジAIデバイスであっても、アドバーサリアル攻撃に対する防御性を有しているため、安全性が高められている。
実施形態に係るセンサシステム10は、一例として、イメージセンサシステム10である。イメージセンサシステム10は、センサ20として、イメージセンサをそなえる。イメージセンサシステム10は、イメージセンサ20から出力されたイメージデータに対して、画像認識をして、認識結果を出力する。イメージセンサシステム10は、画像認識をする認識器50を備える。なお、センサシステム10は、センサ20として、音センサを備え、音響認識をして、認識結果を出力するものであってもよい。
イメージセンサ20には、アドバーサリアル・エグザンプルとなる検知対象が入力されることがある。例えば、センサシステム10が車両に搭載されている場合、イメージセンサ20は、車両周囲の物体を検知する。画像認識において誤認識が生じるように加工又は細工が施されている物体の像をイメージセンサ20が検知すると、アドバーサリアル攻撃を受けることになる。
画像認識において誤認識が生じるように加工又は細工が施されている物体の像がイメージセンサ20入力されると、イメージセンサ20は、敵対的ノイズを有するイメージデータ(アドバーサリアル・エグザンプル)を出力することになる。仮に、敵対的ノイズを有するイメージデータが、そのまま、認識器50に与えられると、認識器50は、敵対的ノイズのため、誤認識をするおそれがある。
アドバーサリアル攻撃に対する防御のため、実施形態に係るイメージセンサ20は、通常のイメージデータ(第1イメージデータ;第1センサデータ)に対して、意図的に真正乱数ノイズを付加したイメージデータ(第2イメージデータ;第2センサデータ)を生成し、出力するよう構成されている。実施形態に係るイメージセンサ20は、第1イメージデータ及び第2イメージデータの双方を、イメージセンサ20の外部に出力するよう構成されている。
アドバーサリアル攻撃を受けている場合、第1イメージデータは、オリジナルデータ100に敵対的ノイズが付加されたアドバーサリアル・エグザンプル100A(図2参照)に相当する。また、アドバーサリアル攻撃を受けている場合、第2イメージデータは、オリジナルデータ100に、敵対的ノイズ及び真正乱数ノイズを付加したアドバーサリアル・エグザンプル102(図1参照)に相当する。
実施形態に係るイメージセンサシステム10は、ノイズ除去器40を備える。ノイズ除去器40は、イメージセンサ20から、第2イメージデータを取得する。ノイズ除去器40は、第2イメージデータから真正乱数ノイズを除去するように構成されている。ノイズ除去器40は、第2イメージデータから、真正乱数ノイズとともに敵対的ノイズを除去し、ノイズ除去データ103(第3センサデータ)を出力する。ノイズ除去器40は、真正乱数ノイズを除去するよう学習されたデノイジングオートエンコーダによって構成されている。
ノイズ除去器40は、ノイズ除去データ103(第3センサデータ)を、認識器50に与える。認識器50は、ノイズ除去データ103に対して画像認識をして、認識結果を出力する。認識器50は、例えば、画像認識をするよう予め学習されたニューラルネットワークによって構成されている。画像認識をするニューラルネットワークは、例えば、ディープニューラルネットワーク(DNN)である。このように、実施形態においては、第2イメージデータから真正乱数ノイズを除去したノイズ除去イメージデータを用いて、画像認識などのデータ認識が行われる。なお、データ認識の際には、イメージセンサ20から出力された第1イメージデータは用いられない。第1イメージデータは、ノイズ除去器40のための学習モデルを生成する機械学習の際に用いられる。
実施形態に係るイメージセンサシステム10(データ認識装置)は、ノイズ除去器40のための学習モデルを生成する機械学習器30をそなえる。実施形態において、ノイズ除去器40は、デノイジングオートエンコーダ(DAE)によって構成されているため、機械学習器30は、DAE学習器であり、DAEのための学習モデルを生成する。なお、機械学習器30は、真正乱数ノイズ除去器40に備わっていてもよい。すなわち、真正乱数ノイズ除去器40が学習機能を有していてもよい。
機械学習器30は、学習データを用いて機械学習処理を実行する。機械学習処理は、常時実行されるわけではなく、例えば、ノイズ除去器40のための学習モデルを初期生成する場合、又は学習モデルを更新する場合など、必要な時に実行される。実施形態において、学習データは、イメージセンサ20から出力された第1イメージデータ及び第2イメージデータである。学習は、アドバーサリアル攻撃を受けていない状態で行われ、正常な検知対象をイメージセンサ20によって撮像して得られた第1イメージデータと第2イメージデータとが学習データとして用いられる。正常な検知対象からえられた第1イメージデータは、図1及び図2に示すオリジナルデータ100に相当する。第2イメージデータは、オリジナルデータ100に真正乱数ノイズを付加したデータである。
図4は、デノイジングオートエンコーダ(DAE)によって構成されたノイズ除去器40のための機械学習処理の手順を示している。機械学習器30は、イメージセンサ20から出力された第1イメージデータ及び第2イメージデータを学習用データとして取得する(ステップS11)。そして、機械学習器30は、デノイジングオートエンコーダに、真正乱数ノイズを有する第2イメージデータが入力されると、デノイジングオートエンコーダが真正乱数ノイズ付加前の第1イメージデータを出力するようデノイジングオートエンコーダを学習させる(ステップS12)。以上によって、真正乱数ノイズを除去するよう学習されたデノイジングオートエンコーダが得られる。
実施形態に係るイメージセンサシステム10は、ノイズ除去のための学習データに用いられる2つのイメージデータ(第1イメージデータ及び第2イメージデータ)を出力するよう構成されているため、イメージセンサシステム10が有するノイズ除去器40の学習に用いられる学習データを低コストで得られる。
図5は、実施形態に係るセンサ20の概略構成を示している。実施形態に係るセンサ20は、センサ素子21と、センサ回路23と、を備えている。センサ20は、例えば、イメージセンサである。センサ素子21は、例えば、イメージセンサ素子である。イメージセンサ素子は、例えば、フォトダイオードである。センサ回路23は、例えば、センサ素子21からセンサデータを読み出すよう構成された読み出し回路を含む。センサ回路23は、センサ素子21から読み出したセンサデータを出力する。センサ回路23は、読み出し回路のほか、センサデータをデジタルデータに変換するアナログ-デジタル変換器を備えていてもよい。
センサ回路23に含まれる回路素子は、熱雑音を発生させる。すなわち、センサ回路23は、熱雑音の発生源25を有する。実施形態に係るセンサ回路23は、センサ素子21から読み出された通常のセンサデータを第1センサデータとして出力するとともに、センサ素子21から読み出された通常のセンサデータに対して意図的に真正乱数ノイズが付加された第2センサデータを出力するよう構成されている。センサ回路23は、熱雑音の発生源25から得られる熱雑音に基づいて真正乱数ノイズを生成し、その真正乱数ノイズを第1センサデータに付加することで第2センサデータを生成する。
実施形態に係るセンサ20は、第1センサデータに付加される真正乱数ノイズの大きさを調整する調整器26を備える。第1センサデータに付加されるノイズ量を調整することで、認識器50による認識精度と、アドバーサリアル攻撃に対する防御性能と、のバランスを最適化することができる。例えば、真正乱数ノイズを小さくすることで、認識精度を高くすることができる。また、真正乱数ノイズを大きくすることで、防御性能を高めることができる。調整器26については後述する。
図6は、イメージセンサ20における1ピクセル分の回路200を示している。回路200をピクセルという。イメージセンサ20は、ピクセル200が2次元に配列されたピクセルアレイを有している。
図6に示すように、ピクセル200は、センサ素子21としてのフォトダイオード210と、読み出し回路230と、を備える。フォトダイオード210は、光電変換素子の一例である。読み出し回路230は、フォトダイオード210に接続された転送ゲート231と、リセットトランジスタ232と、ソースフォロワトランジスタ233と、セレクトトランジスタ234と、を備える。なお、図6に示す回路200は、一般的なイメージセンサに備わっている読み出し回路と同じである。
転送ゲート231には、フォトダイオード210から電荷を、フローティングディフュージョンFDへ転送するため、転送ゲート信号TGが与えられる。フローティングディフュージョンFDの電圧が、センサ出力(sensor output)になる。リセットトランジスタ232には、フローティングディフュージョンFDのリセットのためのリセット信号RSTが与えられる。セレクトトランジスタ234には、ピクセル200の選択のためのセレクト信号SELが与えられる。
図7に示すように、ピクセルから出力されたセンサ出力は、アナログ-デジタル変換器300に与えられ、デジタルデータに変換される。デジタルデータに変換されたイメージデータが、学習器30及びノイズ除去器40に与えられる。
実施形態に係るセンサ20は、図6に示す読み出し回路230を用いて、その駆動方法を一般的な駆動方法から変更することで、第1イメージデータとともに、第2イメージデータを生成する。実施形態に係るセンサ20は、一般的なセンサ20からの回路構成の大きな変更を伴うことなく、駆動方法の変更によって第2イメージデータを生成できる。したがって、第1イメージデータ及び第2イメージデータを出力するセンサ20を低コストで生産できる。
図8は、第1イメージデータ及び第2イメージデータ読み出しのための読み出し回路230の駆動方法の第1例を示している。図8に示す第1例では、真正乱数ノイズはアナログ信号として付加される。図8では、各ピクセルは、differential double sampling(DDS)法によって読み出される。
図8に示す第1イメージデータの読み出し手順は、図6に示す読み出し回路230の一般的な駆動方法である。図8に示す第1イメージデータの読み出し手順によって、真正乱数ノイズが付加されていない通常のイメージデータが、第1イメージデータとして得られる。
図8に示す第1イメージデータの読み出し手順では、まず、セレクト信号SELがON(High)になって、ピクセル200が選択される。そして、リセット信号RSTがON(High)になることで、フローティングディフュージョンFDの電圧がリセットされる。リセットされたフローティングディフュージョンFDの電圧はVRSTである。リセット後のタイミングt1において、VRSTが取得される。
タイミングt1の後、転送ゲート信号TGがON(High)になって、フォトダイオード210に蓄えられた電荷が、転送され、その分、フローティングディフュージョンFDの電圧が低下し、VSIGになる。転送後のタイミングt2において、VSIGが取得される。
VRSTは、読み出し回路230における熱雑音の影響を受けているため、VSIGも同様に熱雑音の影響を受けている。そこで、イメージセンサ20のセンサ回路23は、VRST-VSIGの演算を行うことで求まる値S1を、フォトダイオード210から得られるセンサデータとして出力する。VRST-VSIGの演算を行うことで、センサデータS1に含まれる熱雑音を除去することができる。
以上の手順が、各ピクセル200において行われることで、第1イメージデータが生成される。ここでは、correlated double sampling(CDS:相関二重サンプリング)法によって、2つのタイミングt1,t2において取得された2つの値VRST,VSIGから、ノイズの少ないセンサデータが読み出される。
図8に示す第2イメージデータの読み出し手順は、真正乱数ノイズが意図的に付加された第2イメージデータを得るためのものである。図8に示す第2イメージデータの読み出し手順は、図8に示す第1イメージデータの読み出し手順とは異なり、転送の前にリセットが2回行われる。
図8に示す第2イメージデータの読み出し手順では、まず、セレクト信号SELがON(High)になって、ピクセル200が選択される。そして、リセット信号RSTの1回目のON(High)によって、フローティングディフュージョンFDの電圧がリセットされる。リセットされたフローティングディフュージョンFDの電圧はVRSTである。リセット後のタイミングt1において、VRSTが取得される。
タイミングt1の後、リセット信号RSTの2回目のON(High)が生じ、フローティングディフュージョンFDの電圧が再リセットされる。再リセットされたフローティングディフュージョンFDの電圧はVRST’である。読み出し回路230において生じる熱雑音eのため、VRSTとはVRST’とはわずかに異なる。
再リセットの後、転送ゲート信号TGがON(High)になって、フォトダイオード210に蓄えられた電荷が、転送され、その分、フローティングディフュージョンFDの電圧が低下し、VSIGになる。転送後のタイミングt2において、VSIGが取得される。
イメージセンサ20のセンサ回路23は、VRST’-VSIGの演算を行うことで求まる値S2を、フォトダイオード210から得られるセンサデータとして出力する。VRST’-VSIGの演算は、前述の値S1に熱雑音eを付加したものに相当する。したがって、値S2は、値S1に、熱雑音由来の真正乱数ノイズが付加されたものに相当する。
以上の手順が、各ピクセル200において行われることで、第2イメージデータが生成される。この場合は、differential double sampling(DDS)法によって、2つのタイミングt1,t2において取得された2つの値VRST,VSIGから、ノイズの大きいセンサデータが読み出される。
図8に示す手順の場合、第1イメージデータを読み出す手順を実行した後に、第2イメージデータを読み出す手順を実行することで、第1イメージデータ及び第2イメージデータが得られる。
図9は、第1イメージデータ及び第2イメージデータ読み出しのための読み出し回路230の駆動方法の第2例を示している。図9に示す第2例でも、真正乱数ノイズはアナログ信号として付加される。
図9に示す第1イメージデータ及び第2イメージデータの読み出し手順においては、第1イメージデータのためのセンサデータの読み出しと、第2イメージのためのセンサデータの読み出しが2回行われる。第1イメージデータ及び第2イメージデータの双方を得ることで、ノイズ除去器40のための機械学習のための学習セットが得られる。ここで、同一のフォトダイオード210に蓄えられた電荷信号に対して第1イメージデータ及び第2イメージデータを取得することで、ノイズ除去器40において精度の高いノイズ除去の学習が可能となる。一方、図9示す第2イメージデータの読み出し手順においては、第2イメージデータのためのセンサデータの読み出しが1回行われる。第2イメージデータだけを得ることで、ノイズ除去器40及び認識器50を用いた画像認識のために必要な入力データが得られる。
図9に示す第1イメージデータ及び第2イメージデータの読み出し手順では、まず、セレクト信号がON(High)になって、ピクセル200が選択される。そして、リセット信号RSTの1回目のON(High)によって、フローティングディフュージョンFDの電圧がリセットされる。リセットされたフローティングディフュージョンFDの電圧はVRSTである。リセット後のタイミングt1において、VRSTが取得される。
タイミングt1の後、転送ゲート信号TGがON(High)になって、フォトダイオード210に蓄えられた電荷が、転送され、その分、フローティングディフュージョンFDの電圧が低下し、VSIGになる。転送後のタイミングt2において、VSIGが取得される。
イメージセンサ20のセンサ回路23は、VRST-VSIGの演算を行うことで求まる値S1を、フォトダイオード210から得られるセンサデータとして出力する。ここでは、correlated double sampling(CDS:相関二重サンプリング)法によって、第1イメージデータのためのノイズの少ないセンサデータが得られる。以上によって、センサデータの1回目の読み出しが完了する。
続いて、タイミングt2の後のタイミングt3において、再びVSIGが取得される。
タイミングt3の後、リセット信号RSTの2回目のON(High)が生じ、フローティングディフュージョンFDの電圧がリセットされる。リセットされたフローティングディフュージョンFDの電圧はVRST’である。読み出し回路230において生じる熱雑音eのため、VRSTとはVRST’とはわずかに異なる。
2回目のリセット後のタイミングt4において、VRST’が取得される。
イメージセンサ20のセンサ回路23は、VRST’-VSIGの演算を行うことで求まる値S2を、フォトダイオード210から得られるセンサデータとして出力する。ここでは、differential double sampling(DDS)法によって、第2イメージデータのためのノイズの少ないセンサデータが得られる。以上によって、センサデータの2回目の読み出しが完了する。
2回の読み出しによって得られた第1イメージデータ及び第2イメージデータは、学習データとして用いられる。
図9に示す第2イメージデータのみの読み出し手順では、図9に示す第1イメージデータ及び第2イメージデータの読み出し手順における2回目の読み出しだけが行われる。図9に示す第2イメージデータのみの読み出し手順で得られた第2イメージデータは、画像認識に用いられる。
図10は、読み出し回路230の駆動方法の第3例を示している。図10に示す第3例では、第1イメージデータの読み出しと真正乱数ノイズの読み出しとが行われる。第1例及び第2例では、熱雑音として物理的に付加された真正乱数ノイズを有する第2イメージデータが直接読み出されていたが、第3例では、イメージデータにとは別に真正乱数ノイズだけを読み出して、デジタル信号処理によって、読み出した真正乱数ノイズが第1イメージデータに事後的に付加されることで、第2イメージデータが生成される。
イメージデータとは分離して、真正乱数ノイズだけを読み出すことで、第1イメージデータに対する真正乱数ノイズの相対的な大きさを、デジタル信号処理によって調整することができる。
図10に示す読み出し手順では、まず、セレクト信号がON(High)になって、ピクセル200が選択される。そして、リセット信号RSTの1回目のON(High)によって、フローティングディフュージョンFDの電圧がリセットされる。リセットされたフローティングディフュージョンFDの電圧はVRSTである。リセット後のタイミングt1において、VRSTが取得される。
タイミングt1の後、転送ゲート信号TGがON(High)になって、フォトダイオード210に蓄えられた電荷が、転送され、その分、フローティングディフュージョンFDの電圧が低下し、VSIGになる。転送後のタイミングt2において、VSIGが取得される。
イメージセンサ20のセンサ回路23は、VRST-VSIGの演算を行うことで求まる値S1を、フォトダイオード210から得られるセンサデータとして出力する。ここでは、correlated double sampling(CDS:相関二重サンプリング)法によって、第1イメージデータのためのノイズの少ないセンサデータS1が得られる。以上によって、第1センサデータS1の読み出しが完了する。
タイミングt2の後、リセット信号RSTの2回目のON(High)が生じ、フローティングディフュージョンFDの電圧がリセットされる。リセットされたフローティングディフュージョンFDの電圧はVRST’である。
リセット後のタイミングt3において、VRST’が取得される。
タイミングt3の後、リセット信号RSTの3回目のON(High)が生じ、フローティングディフュージョンFDの電圧がリセットされる。リセットされたフローティングディフュージョンFDの電圧はVRST”である。読み出し回路230において生じる熱雑音eのため、VRST”とVRST’とはわずかに異なる。
3回目のリセット後のタイミングt4において、VRST”が取得される。
イメージセンサ20のセンサ回路23は、VRST”-VRST’の演算を行うことで求まる真正乱数ノイズeを出力する。ここでは、differential double sampling(DDS)法によって、真正乱数ノイズが得られる。以上によって、真正乱数ノイズの読み出しが完了する。読み出された真正乱数ノイズは、必要に応じて大きさが調整され、センサデータS1に付加されて、真正乱数ノイズを有するセンサデータS2が得られる。
真正乱数ノイズとして付加される値は、VRST”-VRST’の演算で得られる値の下位ビットだけであるのが好ましい。例えば、VRST”-VRST’の演算で得られる値が12ビットである場合、例えば、その下位1ビット又は2ビットを、センサデータS1に付加することができる。この場合、真正乱数ノイズの大きさを十分に小さくすることができる。また、下位ビットはランダム性が高いため、有利である。また、下位ビットからなる真正乱数ノイズは一様分布になるため有利である。
図11及び図12は、第4例を示している。第4例では、第3例と同様に、第1イメージデータの読み出しと真正乱数ノイズの読み出しとが行われる。第4例では、第1イメージデータの読み出しと真正乱数ノイズの読み出しに、読み出し回路230に接続されたADC301(図11参照)も用いられる。
図11に示すADC301は、シングルスロープアナログ-デジタル変換器(シングルスロープADC)である。シングルスロープADC310は、例えば、非特許文献2に開示されている。シングルスロープADC310は、ランプ電圧波を生じさせるデジタル-アナログ変換器311(DAC)と、コンパレータ312と、アップ/ダウンカウンタ313と、を備える。
第4例では、タイミングt1において、第3例におけるVRSTの大きさに応じて、カウンタ313がダウンカウントされる。その後、第4例では、タイミングt2において、第3例におけるVSIGの大きさに応じて、カウンタ313がアップカウントされる。アップカウント値が、第1センサデータS1に相当する。
第4例では、タイミングt3において、第3例におけるVRST’の大きさに応じて、カウンタ313がダウンカウントされる。その後、第4例では、タイミングt4において、第3例におけるVRST”大きさに応じて、カウンタ313がアップカウントされる。アップカウント値が、真正乱数ノイズeに相当する。
真正乱数ノイズeを取得する際に、カウンタ313に与えられるカウンタクロックの周波数を、第1センサデータS1を取得する際のカウンタクロックの周波数fCLKの1/n(nは任意の値)にすることで、真正乱数ノイズeの大きさを小さくすることができる。つまり、カウンタクロック周波数の調整により、真正乱数ノイズの大きさを調整できる。第4例において、カウンタ313は、真正乱数ノイズの大きさの調整器として機能する。
図13から図18は、第5例を示している。第5例では、第3例及び第4例と同様に、第1イメージデータの読み出しと真正乱数ノイズの読み出しとが行われる。第4例では、第1イメージデータの読み出しと真正乱数ノイズの読み出しに、Successive Approximation(SA)-ADC403と、SA-ADC403に接続されたカラムプロセッサ404(Column Processor)とが用いられる。SA-ADC403及びカラムプロセッサ404を用いたイメージセンサは、非特許文献3に開示されている。
図13に示すように、読み出し回路230のセンサ出力は、増幅器401及びスレッシュホールド回路402を介して、SA-ADC403に与えられてデジタル信号に変換される。デジタル信号に変換されたセンサ出力は、カラムプロセッサ404に与えられる。
図14は、カラムプロセッサ404の概略構成を示している。カラムプロセッサ404は、SA-ADC403の出力が与えられる算術演算装置501と、マルチプレクサ502と、SA-ADC403の出力値の各ビットが格納されるレジスタ600,601,602,603を備える。レジスタ600,601,602,603は、フリップフロップによって構成される。
図15は、第5例に係るカラムプロセッサ404の動作を示している。第5例では、まず、タイミングt1におけるV1(第3例におけるVRSTに相当)の各ビットが、レジスタ600,601,602,603に格納(加算)される(図16のタイミングS100からS103参照)。
続いて、タイミングt2におけるV2(第3例におけるVSIGに相当)を減算した値の各ビットが、レジスタ600,601,602,603に格納される(図16のタイミングS200,S203参照)。ここまでの処理で、レジスタ600,601,602,603に格納された値は、V1-V2であり、第1センサデータS1に相当する。
そして、タイミングt3におけるV3(第3例におけるVRST’に相当)を加算した値の各ビットが、レジスタ600,601,602,603に格納される(図17参照)。ただし、ここでは、V3の最下位ビットLSBだけが加算される。
さらに、タイミングt4におけるV4(第3例におけるVRST”相当)を減算した値の各ビットが、レジスタ600,601,602,603に格納される(図18参照)。ただし、ここでは、V4の最下位ビットLSBだけが減算される。
ここまでの処理で、レジスタ600,601,602,603に格納された値は、(V1-V2)-(V3LSB-V4LSB)=S1+eLSBであり、第1センサデータS1に真正乱数ノイズの最下位ビットを付加したものに相当する。
以上のように、第5例では、カラムプロセッサ404を利用して、真正乱数ノイズが付加されたデータを得ることができる。
図16から図18は、第5例におけるカラムプロセッサ404の動作の詳細を示している。図16では、レジスタ600,601,602,603がリセットされた状態から、(V1-V2)の値が格納されるまでを示している。
ここでは、V1,V2,V3,V4は、それぞれ、4ビットの値である。V1の各ビットは、v1(0),v1(1),v1(2),v1(3)で表され、v1(0)がV1の最下位ビットであり、v1(3)がV1の最上位ビットである。同様に、V2の各ビットは、v2(0),v2(1),v2(2),v2(3)で表され、v2(0)がV2の最下位ビットであり、v2(3)がV2の最上位ビットである。V3の各ビットは、v3(0),v3(1),v3(2),v3(3)で表され、v3(0)がV1の最下位ビットV3LSBであり、v3(3)がV3の最上位ビットである。V4の各ビットは、v4(0),v4(1),v4(2),v4(3)で表され、v4(0)がV4の最下位ビットV4LSBであり、v4(3)がV4の最上位ビットである。
図16において、最初のタイミングS100において、v1(3)が、レジスタ600(図16に示すD0)に格納される。次のタイミングS101において、v1(2)が、レジスタ600に格納され、v1(3)は右側のレジスタ601(図16に示すD1)にシフトする。次のタイミングS102において、v1(1)が、レジスタ600に格納され、レジスタの各値は右側へシフトする。次のタイミングS103において、v1(0)が、レジスタ600に格納され、レジスタの各値は右側へシフトする。以上で、V1の全ビットがレジスタ600,601,602,603に格納された状態になる。
次のタイミングS200において、v1(3)-v2(3)の値が、レジスタ600に格納され、レジスタの各値は右側へシフトする。同様の処理が繰り返され、タイミングS203において、V1-V2の全ビットがレジスタ600,601,602,603に格納された状態になる。
図17に示すように、タイミングS203に続くタイミングS300、S301,S302において、v3(3)、v3(2)、v3(1)が発生するが、カラムプロセッサ404における加算又は減算は行われず、スキップされる。タイミングS303において、V3の最下位ビットV3LSBであるv3(0)が発生すると、v1(0)-v2(0)に加算されて、レジスタ600に格納される。以上で、V1-V2+V3LSBの全ビットが、レジスタ600,601,602,603に格納された状態になる。
図18に示すように、タイミングS303に続くタイミングS400、S401,S402において、v4(3)、v4(2)、v4(1)が発生するが、カラムプロセッサ404における加算又は減算は行われず、スキップされる。タイミングS403において、V4の最下位ビットV4LSBであるv4(0)が発生すると、v1(0)-v2(0)+v3(0)から減算されて、レジスタ600に格納される。以上で、V1-V2+V3LSB-V4LSBの全ビットが、レジスタ600,601,602,603に格納された状態になる。
第5例では、カラムプロセッサ404が、真正乱数ノイズの大きさを調整する調整器として機能する。
熱雑音から生成したランダムノイズは、ガウシアン分布をとるガウシアンノイズになるが、ガウシアンノイズの下位ビットだけを抽出すると、一様分布ノイズになる。ノイズが一様分布であると、ノイズの予測が一層困難になり有利である。
<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
10 :センサシステム
20 :センサ
21 :センサ素子
23 :センサ回路
25 :熱雑音の発生源
26 :調整器
30 :機械学習器
40 :真正乱数ノイズ除去器
50 :データ認識器
100 :オリジナルデータ
100A :ランダムノイズを有するアドバーサリアル・エグザンプル
102 :アドバーサリアル・エグザンプル
103 :ノイズ除去データ
200 :ピクセル
210 :フォトダイオード
230 :読み出し回路
231 :転送ゲート
232 :リセットトランジスタ
233 :ソースフォロワトランジスタ
234 :セレクトトランジスタ
300 :アナログ-デジタル変換器
310 :シングルスロープADC
311 :デジタル-アナログ変換器
312 :コンパレータ
313 :カウンタ
401 :増幅器
402 :スレッシュホールド回路
403 :SA-ADC
404 :カラムプロセッサ
501 :算術演算装置
502 :マルチプレクサ
600 :レジスタ
601 :レジスタ
602 :レジスタ
603 :レジスタ
20 :センサ
21 :センサ素子
23 :センサ回路
25 :熱雑音の発生源
26 :調整器
30 :機械学習器
40 :真正乱数ノイズ除去器
50 :データ認識器
100 :オリジナルデータ
100A :ランダムノイズを有するアドバーサリアル・エグザンプル
102 :アドバーサリアル・エグザンプル
103 :ノイズ除去データ
200 :ピクセル
210 :フォトダイオード
230 :読み出し回路
231 :転送ゲート
232 :リセットトランジスタ
233 :ソースフォロワトランジスタ
234 :セレクトトランジスタ
300 :アナログ-デジタル変換器
310 :シングルスロープADC
311 :デジタル-アナログ変換器
312 :コンパレータ
313 :カウンタ
401 :増幅器
402 :スレッシュホールド回路
403 :SA-ADC
404 :カラムプロセッサ
501 :算術演算装置
502 :マルチプレクサ
600 :レジスタ
601 :レジスタ
602 :レジスタ
603 :レジスタ
Claims (12)
- アドバーサリアル攻撃に対する防御方法であって、
敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを得て、
前記真正乱数ノイズを除去するよう構成されたノイズ除去器によって、前記データから、前記真正乱数ノイズとともに前記敵対的ノイズを除去したノイズ除去データを得て、
データ認識器によって、前記ノイズ除去データに対するデータ認識をする
ことを備える、アドバーサリアル攻撃に対する防御方法。 - 前記ノイズ除去器は、前記データから前記真正乱数ノイズを除去するよう構成されたニューラルネットワークによって構成されている
請求項1に記載の防御方法。 - 前記ニューラルネットワークは、デノイジングオートエンコーダである
請求項2に記載の防御方法。 - 前記データは、イメージデータである
請求項1から請求項3のいずれか1項に記載の防御方法。 - 前記真正乱数ノイズは、前記アドバーサリアル・エグザンプルとなる検知対象が入力されるセンサにおける熱雑音に基づく
請求項1から請求項4のいずれか1項に記載の防御方法。 - アドバーサリアル攻撃に対する防御性を有するデータ認識装置であって、
敵対的ノイズを含むアドバーサリアル・エグザンプルに真正乱数ノイズが付加されたデータを取得し、前記データから、前記真正乱数ノイズ及び前記敵対的ノイズを除去したノイズ除去データを生成するよう構成されたノイズ除去器と、
前記ノイズ除去データに対するデータ認識をするよう構成された認識器と、
を備えるデータ認識装置。 - センサ素子と、
前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するよう構成されたセンサ回路と、
前記第2センサデータから前記真正乱数ノイズを除去した第3センサデータを生成するよう構成されたノイズ除去器と、
を備えるセンサシステム。 - 前記第3センサデータに対するデータ認識をするデータ認識器を更に備える
請求項7に記載のセンサシステム。 - センサ素子と、
前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するセンサ回路と、
前記第1センサデータ及び前記第2センサデータを用いて、前記第2センサデータから前記真正乱数ノイズを除去するようにニューラルネットワークを学習させるための機械学習器と、
を備えるセンサシステム。 - 前記真正乱数ノイズの大きさを調整する調整器を更に備える
請求項7から請求項9のいずれか1項に記載のセンサシステム。 - センサ素子と、
前記センサ素子から第1センサデータを読み出すとともに、前記第1センサデータに真正乱数ノイズが付加された第2センサデータを生成するセンサ回路と、
を備え、
前記第1センサデータ及び前記第2センサデータを出力するよう構成されている
センサ。 - 前記真正乱数ノイズは、前記センサ回路において生じる熱雑音に基づく
請求項11に記載のセンサ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020118795A JP2022015750A (ja) | 2020-07-09 | 2020-07-09 | アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020118795A JP2022015750A (ja) | 2020-07-09 | 2020-07-09 | アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022015750A true JP2022015750A (ja) | 2022-01-21 |
Family
ID=80120921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020118795A Pending JP2022015750A (ja) | 2020-07-09 | 2020-07-09 | アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022015750A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205608A (zh) * | 2022-09-15 | 2022-10-18 | 杭州涿溪脑与智能研究所 | 基于压缩感知的自适应图像对抗样本检测与防御方法 |
CN117040722A (zh) * | 2023-10-08 | 2023-11-10 | 杭州海康威视数字技术股份有限公司 | 一种基于多损耗正则化降噪自动编码器的侧信道分析方法 |
-
2020
- 2020-07-09 JP JP2020118795A patent/JP2022015750A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205608A (zh) * | 2022-09-15 | 2022-10-18 | 杭州涿溪脑与智能研究所 | 基于压缩感知的自适应图像对抗样本检测与防御方法 |
CN115205608B (zh) * | 2022-09-15 | 2022-12-09 | 杭州涿溪脑与智能研究所 | 基于压缩感知的自适应图像对抗样本检测与防御方法 |
CN117040722A (zh) * | 2023-10-08 | 2023-11-10 | 杭州海康威视数字技术股份有限公司 | 一种基于多损耗正则化降噪自动编码器的侧信道分析方法 |
CN117040722B (zh) * | 2023-10-08 | 2024-02-02 | 杭州海康威视数字技术股份有限公司 | 一种基于多损耗正则化降噪自动编码器的侧信道分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9247162B2 (en) | System and method for digital correlated double sampling in an image sensor | |
US10291251B1 (en) | Imaging systems with sub-radix-2 charge sharing successive approximation register (SAR) analog-to-digital converters | |
JP2022015750A (ja) | アドバーサリアル攻撃に対する防御方法、データ認識装置、センサシステム、及びセンサ | |
CN111669524B (zh) | 固态摄像装置、固态摄像装置的驱动方法、以及电子设备 | |
KR101678842B1 (ko) | 아날로그 디지털 컨버터 및 이를 포함하는 이미지 센서 | |
JP5814050B2 (ja) | 固体撮像装置 | |
JP4677310B2 (ja) | イメージセンサの検出回路 | |
JP5077091B2 (ja) | 固体撮像装置 | |
KR102597604B1 (ko) | 아날로그-디지털 변환기 및 이를 포함하는 이미지 센서 | |
US20080297636A1 (en) | Solid-state image pickup device and signal processing method using solid-state image pickup device | |
TW201410020A (zh) | 用於減少互補式金屬氧化物半導體影像感測器之類比影像資料中之雜訊之方法及裝置 | |
JP2010103913A (ja) | A/d変換器、及びそれを備えた固体撮像装置 | |
JP5936030B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US9448109B2 (en) | Analog-to-digital conversion circuit, imaging apparatus and imaging system | |
JP6651603B2 (ja) | 位相差オートフォーカス画像センサ用のアナログ−デジタルコンバータ | |
JP5680796B2 (ja) | 分解能検出器および可変ディザを含むadc | |
JP6903154B2 (ja) | 増幅回路及びそれを備えるアナログデジタル変換システム | |
KR101397182B1 (ko) | 영상 처리 장치 및 가로줄 노이즈 개선 방법 | |
JP6639271B2 (ja) | 撮像装置、撮像システム | |
KR102431248B1 (ko) | 아날로그-디지털 변환 장치 및 그 방법과 그에 따른 씨모스 이미지 센서 | |
CN111246129A (zh) | 光学传感器以及影像感测方法 | |
KR101700371B1 (ko) | 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서 | |
WO2018230365A1 (ja) | 信号処理装置および方法、並びにプログラム | |
JP6012829B2 (ja) | 固体撮像装置 | |
JP6195142B1 (ja) | Ad変換装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240625 |